面向矿用巡检机器人的多模态信息融合目标识别方法

1.本发明涉及巡检机器人技术领域，尤其涉及一种面向矿用巡检机器人的多模态信息融合目标识别方法。


背景技术：

2.煤炭生产是典型的高危、艰苦行业，现有煤矿设备需要技术工人直接或间接参与，存在较高的安全隐患和成本代价。从产业的安全性和效率性考虑，使用矿用巡检机器人代替人参与煤炭生产是煤矿企业实现“少人化”甚至“无人化”生产的必然途径，也符合“数字化”矿山的基本目标。
3.矿井中用于环境感知的数据主要来源于图像传感器和激光雷达。图像传感器可以以高帧率、高分辨率来获取周围复杂的环境信息，包括丰富的颜色、轮廓和纹理等信息，且成本较低，被广泛应用于行为检测、运动分析以及监控系统等智能设备中。但作为一种被动式传感器，图像传感器本身并不发光，其成像质量受外界光照影响较大，无法在过曝、黑夜以及恶劣天气如雾霾、暴雪等极端光照条件下完成感知任务。激光雷达作为一种主动式光学传感器，通过发射脉冲激光并探测目标的散射光特性来获取目标的深度信息，因而对光照具有较好的鲁棒性，且具有精度高、范围大、抗有源干扰能力强的特性。但是受限于技术条件，激光雷达获取的数据存在稀疏无序、难以直接利用的特点，且缺乏颜色和纹理信息，因而单靠激光雷达数据很难提高矿用巡检机器人感知周围环境的能力。
4.多传感器融合在矿井煤炭生产领域有着广阔的发展前景，是智能环境感知技术的发展趋势。激光雷达和图像传感器优势互补，可以使矿用巡检机器人的环境感知系统对外界环境的变化具有更好鲁棒性，从而使其可以更精准地感知周围的环境，检测巷道环境、设备等巡检目标，提高巡检系统的可靠性和稳定性，提升巡检过程的安全性并为后期决策奠定坚实基础。因此，亟需一种较为成熟的基于激光与视觉信息结合的运动目标检测技术，用以对矿井机器人巡检目标进行识别，从而实现目标精准全面的感知。


技术实现要素：

5.为克服现有煤矿巡检机器人领域缺乏一种较为成熟的基于激光与视觉信息结合的运动目标检测技术的技术缺陷，本发明提供了一种面向矿用巡检机器人的多模态信息融合目标识别方法。
6.本发明提供的面向矿用巡检机器人的多模态信息融合目标识别方法，依次包括如下步骤：
7.s1.获取多模态信息数据并划分训练集、验证集和测试集，所述多模态信息数据包括激光雷达的点云数据和图像传感器的rgb图像数据；
8.s2.使用选择核卷积替换resnet50中conv2_x和conv3_x部分的3
×
3标准卷积，并在conv4_x部分使用混合空洞卷积，构造基于空间注意力机制和混合空洞卷积改进的resnet50网络特征提取模型；
9.s3.引入giou损失函数，构造基于iou优化的yolov3的道路目标边框识别模型，联合改进的resnet50网络特征提取模型为ariy3，所述giou损失函数的计算公式如下：
[0010][0011]
式中，iou为预测边界框和真实边界框的交并比，ac为预测边界框和真实边界框的最小外接矩形c的面积，u为预测边界框和真实边界框并集的面积；
[0012]
s4.构造多模态信息数据的信息融合模型lidar-rgb-ariy3；
[0013]
s5.在训练集上对信息融合模型lidar-rgb-ariy3进行训练，并在验证集上保存表现最好的信息融合模型lidar-rgb-ariy3；
[0014]
s6.调用验证集上保存的信息融合模型lidar-rgb-ariy3，并在测试集上进行目标识别，自动生成识别结果。可选的，在步骤s1中，所述多模态信息数据为kitti数据集中的数据。
[0015]
可选的，在步骤s2中，所述选择核卷积由分裂、融合和选择三个步骤形成；
[0016]
所述分裂步骤为：对于给定的输入特征映射通过卷积核大小为3
×
3且扩张率分别为1、2、3的三个分组卷积转换，得到三个感受野大小不同的特征图和所述融合步骤为：首先将三个特征图相加u＝u1+u2+u3，然后实用全局平均池化层嵌入全局信息，得到通道尺度上具有全局信息的向量s，所述向量s的计算公式如下：
[0017][0018]
最后经过一层全连接层，生成紧凑特征z，所述紧凑特征z的计算公式如下：
[0019]
z＝f
fc
(s)＝δ
relu
(b(ws))
[0020]
式中，δ表示relu激活函数，b表示批量归一化，所述紧凑特征z的维度d的计算公式如下：
[0021]
所述选择步骤为：基于softmax方法，利用紧凑特征z指导空间注意力机制动态的选择不同感受野大小的信息，每条支流的权重向量计算公式如下：
[0022][0023][0024][0025]
式中，a、b和c分别表示特征图u1、u2和u3的软注意力机制向量，an表示a的第n个序列值，bn表示b的第n个序列值，cn表示c的第n个序列值，an表示a的第n行，bn表示b的第n行，cn表示c的第n行，通过将软注意力机制向量a、b和c分别与特征图u1、u2和u3加
权求和，获得输出向量v，v＝{v1,v2...vn}，vn＝an×
u1+bn×
u2+cn×
u3。
[0026]
可选的，在步骤s2中，所述混合空洞卷积的序列[r1,...ri,...,rn]根据最大扩张率mi选取设计，所述最大扩张率mi的计算公式如下：
[0027]
mi＝max[m
i+1-2ri,m
i+1-2(m
i+1-ri),ri]
[0028]
式中，ri是第i层的膨胀率。
[0029]
可选的，在步骤s4中，将resnet50网络特征提取模型输出的特征融合到原有点云数据中，同时分别使用两个卷积核大小为1
×
1的卷积层将rgb图像数据分别压缩到1
×1×
p和1
×1×
q的尺寸，整体构造点云数据与rgb图像数据的信息融合模型lidar-rgb-ariy3。
[0030]
可选的，在步骤s6中，在测试集上对信息融合模型lidar-rgb-ariy3进行评估。
[0031]
可选的，评估的指标为准确率、召回率、p-r曲线和平均精度。
[0032]
本发明提供的技术方案与现有技术相比具有如下优点：
[0033]
本发明提供的面向矿用巡检机器人的多模态信息融合目标识别方法，使用选择核卷积替换resnet50中conv2_x和conv3_x部分的3
×
3标准卷积，使网络可以根据特征尺寸动态调整感受野的大小；在conv4_x部分中使用混合空洞卷积，使网络能够捕捉多尺度上下文信息，提高网络特征提取能力；将yolov3中的定位损失函数替换为giou损失函数，在实际应用时有较好的可操作性。如此，使得本方法能够提供一种较为成熟的基于激光与视觉信息结合的运动目标检测技术，直观的展示识别结果和准确率，使识别更加快捷高效，大大提高了自动驾驶领域目标识别的可操作性，提高了工作效率。
附图说明
[0034]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
[0035]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]
图1为本发明实施例中所述面向矿用巡检机器人的多模态信息融合目标识别方法的总体流程图；
[0037]
图2为本发明实施例中所述面向矿用巡检机器人的多模态信息融合目标识别方法的block和bottleneck结构图；
[0038]
图3为本发明实施例中所述面向矿用巡检机器人的多模态信息融合目标识别方法的resnet50网络结构图；
[0039]
图4为本发明实施例中所述面向矿用巡检机器人的多模态信息融合目标识别方法的选择核卷积的分裂步骤结构图；
[0040]
图5为本发明实施例中所述面向矿用巡检机器人的多模态信息融合目标识别方法的选择核卷积的融合步骤结构图；
[0041]
图6为本发明实施例中所述面向矿用巡检机器人的多模态信息融合目标识别方法的选择核卷积的选择步骤结构图；
[0042]
图7为本发明实施例中所述面向矿用巡检机器人的多模态信息融合目标识别方法的引入空间注意力机制的残差模块结构图；
[0043]
图8为本发明实施例中所述面向矿用巡检机器人的多模态信息融合目标识别方法的改进的resnet50的网络结构图；
[0044]
图9为本发明实施例中所述面向矿用巡检机器人的多模态信息融合目标识别方法的darknet-53结构图；
[0045]
图10为本发明实施例中所述面向矿用巡检机器人的多模态信息融合目标识别方法的基本卷积单元dbl结构图；
[0046]
图11为本发明实施例中所述面向矿用巡检机器人的多模态信息融合目标识别方法的残差结构图；
[0047]
图12为本发明实施例中所述面向矿用巡检机器人的多模态信息融合目标识别方法的yolov3网络结构图。
具体实施方式
[0048]
为了能够更清楚地理解本发明的上述目的、特征和优点，下面将对本发明的方案进行进一步描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
[0049]
在描述中，需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0050]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但本发明还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本发明的一部分实施例，而不是全部的实施例。
[0051]
下面结合附图对本发明的具体实施例进行详细说明。
[0052]
在一个实施例中，参照图1，面向矿用巡检机器人的多模态信息融合目标识别方法包括步骤s1至s6，详细如下：
[0053]
s1.获取多模态信息数据并划分训练集、验证集和测试集，多模态信息数据包括激光雷达的点云数据和图像传感器的rgb图像数据。
[0054]
具体的，多模态信息数据为kitti公开的数据集中的激光点云和彩色相机数据。
[0055]
s2.使用选择核卷积替换resnet50中conv2_x和conv3_x部分的3
×
3标准卷积，并在conv4_x部分使用混合空洞卷积，构造基于空间注意力机制和混合空洞卷积改进的resnet50网络特征提取模型。
[0056]
具体的，resnet50实现时，考虑到计算成本，采用block和bottleneck两种残差模块，如图2所示，bottleneck使用1
×
1+3
×
3+1
×
1的卷积结构，先利用第一个尺寸为1
×
1的卷积进行降维，然后在第二个尺寸为1
×
1的卷积中还原维度，达到计算精度不变，且能够降低计算量的目的。bottleneck残差模块的参数量是block残差模块的1/16.94。
[0057]
resnet50网络由conv1、conv2_x、conv3_x、conv4_x、conv5_x和一个全连接层组成，图3展示了resnet50的网络结构，其中conv1是卷积核大小为7
×
7的标准卷积，conv2_x、
conv3_x、conv4_x和conv5_x部分由残差模块堆叠而成，数量分别为3、4、6、3，每一部分的残差模块都可以根据需要更改参数，模型的模块化性能优越。
[0058]
resnet50是通过增加深度来提高模型的特征提取能力，它由bottleneck残差模块堆叠而成。bottleneck残差模块是通过三层标准卷积来实现对输入数据的特征提取，其第一层与第三层卷积，卷积核大小均为1
×
1，在特征提取过程中起辅助作用。第一层1
×
1卷积对输入数据进行降维处理，第二层1
×
1卷积还原数据维度，使得bottleneck残差模块与block残差模块相比，运算过程中既保证了计算的精度，也降低了参数量。resnet50网络通过不同的步长设计，随着网络深度的增加，卷积的感受野越来越大，提取的特征越来越具有全局性，在这个过程中，使用标准卷积的残差模块对图片中每一部分关注度相同，固定的感受野大小只能学习到相应尺寸的图片特征。
[0059]
具体的，选择核卷积由分裂、融合和选择三个步骤形成；
[0060]
分裂步骤为：参照图4，对于给定的输入特征映射通过卷积核大小为3
×
3且扩张率分别为1、2、3的三个分组卷积转换，得到三个感受野大小不同的特征图和三条直流均由分组卷积、批量归一化和relu激活函数共同组成。
[0061]
融合步骤为：参照图5，首先将三个特征图相加u＝u1+u2+u3，然后实用全局平均池化层嵌入全局信息，得到通道尺度上具有全局信息的向量s，向量s的计算公式如下：
[0062][0063]
最后经过一层全连接层，生成紧凑特征z，紧凑特征z的计算公式如下：
[0064]
z＝f
fc
(s)＝δ
relu
(b(ws))
[0065]
式中，δ表示relu激活函数，b表示批量归一化，紧凑特征z的维度d的计算公式如下：
[0066][0067]
选择步骤为：参照图6，基于softmax方法，利用紧凑特征z指导空间注意力机制动态的选择不同感受野大小的信息，每条支流的权重向量计算公式如下：
[0068][0069][0070][0071]
式中，a、b和c分别表示特征图u1、u2和u3的软注意力机制向量，an表示a的第n个序列值，bn表示b的第n个序列值，cn表示c的第n个序列值，an表示a的第n行，bn表示b的第n行，cn表示c的第n行，通过将软注意力机制向量a、b和c分别与特征图u1、u2和u3加
权求和，获得输出向量v，v＝{v1,v2...vn}，vn＝an×
u1+bn×
u2+cn×
u3。
[0072]
在resnet50网络中引入空间注意力机制，即将选择核卷积替换bottleneck残差模块中的标准卷积，图7展示了使用选择核卷积的bottleneck残差模块。在resnet50网络中使用选择核卷积，不仅可以筛选特征信息，提高数据的利用效率，而且在选择核卷积的融合操作部分，卷积核尺寸不同的三组分组卷积既可以使网络提取的特征更多样，也增加了resnet50网络的宽度。选择核卷积只对于卷积核大于1的标准卷积改造有效，选择核卷积替换bottleneck残差模块中的第二层卷积，其卷积核大小为3
×
3。
[0073]
在resnet50网络的conv2_x、conv3_x部分，使用选择核卷积替换bottleneck残差模块中的3
×
3标准卷积。
[0074]
具体的，混合空洞卷积的序列[r1,...ri,...,rn]根据最大扩张率mi选取设计，最大扩张率mi的计算公式如下：
[0075]
mi＝max[m
i+1-2ri,m
i+1-2(m
i+1-ri),ri]
[0076]
式中，ri是第i层的膨胀率。
[0077]
利用上式计算，混合空洞卷积为连续三层卷积核大小均为3
×
3，扩张率分别为1、2、3。resnet50网络的conv4_x部分由六个残差模块堆叠而成，第一个残差模块的输入特征图尺寸为28
×
28，其余五个残差模块的输入特征图为14
×
14。conv5_x部分由三个残差模块堆叠而成，第一个残差模块的输入特征图尺寸为14
×
14，其余两个残差模块的输入特征图为7
×
7，conv5_x部分的特征图尺寸太小。因此在conv4_x部分引入混合空洞卷积，使用混合空洞卷积序列[1,2]，conv4_x部分3
×
3标准卷积的扩张率序列为[1,2,1,2,1,2]。
[0078]
基于resnet50进行改进，一方面在conv2_x和conv3_x部分引入空间注意力机制，使用选择核卷积替换bottleneck残差模块中3
×
3标准卷积；另一方面在conv4_x部分应用锯齿状混合空洞卷积[1,2,1,2,1,2]，即使用卷积核尺寸为3
×
3、扩张率为2的空洞卷积替换conv4_x部分的第二、第四和第六个bottleneck残差模块的3
×
3标准卷积，图8展示了改进的resnet50的网络结构。
[0079]
s3.引入giou损失函数，构造基于iou优化的yolov3的道路目标边框识别模型，联合改进的resnet50网络特征提取模型为ariy3，giou损失函数的计算公式如下：
[0080][0081]
式中，iou为预测边界框和真实边界框的交并比，ac为预测边界框和真实边界框的最小外接矩形c的面积，u为预测边界框和真实边界框并集的面积。
[0082]
具体的，yolov3网络的主体框架为darknet-53结构，共有53个卷积层，代替了yolov2中的darknet-19，与其相比，darknet-53属于全卷积网络，因为其没有最大池化层，下采样操作也是卷积层实现的。卷积层、批量归一化层以及leakyrelu激活函数共同组成darknet-53中的基本卷积单元dbl，darknet-53结构图如图9所示，dbl图如图10所示。
[0083]
darknet-53的特征提取部分借助了残差网络的思想，残差结构如图11所示。
[0084]
yolov3网络共使用了5个残差块，对其中的第3、4、5个残差块所提取出的8倍、16倍和32倍下采样特征图进行目标识别。yolov3的结构如图12所示。
[0085]
s4.构造多模态信息数据的信息融合模型lidar-rgb-ariy3。
[0086]
具体的，将resnet50网络特征提取模型输出的特征融合到原有点云数据中以提高
点云稀疏目标的检测精度，同时分别使用两个卷积核大小为1
×
1的卷积层将rgb图像数据分别压缩到1
×1×
p和1
×1×
q的尺寸，整体构造点云数据与rgb图像数据的信息融合模型lidar-rgb-ariy3。
[0087]
s5.在训练集上对信息融合模型lidar-rgb-ariy3进行训练，并在验证集上保存表现最好的信息融合模型lidar-rgb-ariy3。
[0088]
具体的，本实施例使用的操作系统为ubuntu16.04，gpu为nvidiartx2080ti，显存为11g。实验采用pytorch1.5.0框架对模型进行搭建、训练和测试，python版本为3.7，cuda版本为10.1。在训练阶段，根据显存大小将batchsize设置为8，每个批次中的输入图像尺寸都被固定至512
×
512大小。动量配置为0.937，权重衰减配置为0.0005，初始学习率为10e-3。实验发现，当程序运行到60000代之后，损失值出现震荡不再下降，因此在第60000代将学习率设置为原来的0.1以实现损失值继续小范围下降，达到更好的的拟合效果。
[0089]
s6.调用验证集上保存的信息融合模型lidar-rgb-ariy3，并在测试集上进行目标识别，自动生成识别结果。具体的，在测试集上对信息融合模型lidar-rgb-ariy3进行评估。
[0090]
更具体的，评估的指标为p-r曲线和平均精度(map)。
[0091]
细节的，在绘制p-r曲线时，首先通过真正例(tp，truepositive)、真反例(tn,trunegative)、假正例(fp，falsepositive)和假反例(fn，falsenegative)计算准确率precision和召回率recall，公式如下：
[0092][0093]
针对具体类别，以召回率为横轴，以准确率为纵轴可以绘制p-r曲线，曲线所包含的面积即为该类别的ap。map则是对多种类别的ap值求平均所得。ap值代表模型对某一类目标的检测效果，map则代表了对所有类别的检测效果，值越大，表示检测效果越好。实验设置初始iou阈值为0.5，使用giou检测预测框与真实框的交并比并以此划分样本。
[0094]
本实施例的面向矿用巡检机器人的多模态信息融合目标识别方法，将多模态信息数据输入lidar-rgb-ariy3模型进行目标识别，然后自动得出识别结果。既能使网络关注重点信息、抑制无用信息和动态调整感受野大小的，又能通过引入rgb特征为点云特征提供额外的语义信息，从而提升识别精度，为祖国的未来智能矿山建设提供可靠的理论和技术基础。
[0095]
以上仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。尽管参照前述各实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离各实施例技术方案的范围，其均应涵盖权利要求书的保护范围中。

技术特征：
1.一种面向矿用巡检机器人的多模态信息融合目标识别方法，其特征在于，依次包括如下步骤：s1.获取多模态信息数据并划分训练集、验证集和测试集，所述多模态信息数据包括激光雷达的点云数据和图像传感器的rgb图像数据；s2.使用选择核卷积替换resnet50中conv2_x和conv3_x部分的3
×
3标准卷积，并在conv4_x部分使用混合空洞卷积，构造基于空间注意力机制和混合空洞卷积改进的resnet50网络特征提取模型；s3.引入giou损失函数，构造基于iou优化的yolov3的道路目标边框识别模型，联合改进的resnet50网络特征提取模型为ariy3，所述giou损失函数的计算公式如下：式中，iou为预测边界框和真实边界框的交并比，a
c
为预测边界框和真实边界框的最小外接矩形c的面积，u为预测边界框和真实边界框并集的面积；s4.构造多模态信息数据的信息融合模型lidar-rgb-ariy3；s5.在训练集上对信息融合模型lidar-rgb-ariy3进行训练，并在验证集上保存表现最好的信息融合模型lidar-rgb-ariy3；s6.调用验证集上保存的信息融合模型lidar-rgb-ariy3，并在测试集上进行目标识别，自动生成识别结果。2.根据权利要求1所述的面向矿用巡检机器人的多模态信息融合目标识别方法，其特征在于，在步骤s1中，所述多模态信息数据为kitti数据集中的数据。3.根据权利要求1所述的面向矿用巡检机器人的多模态信息融合目标识别方法，其特征在于，在步骤s2中，所述选择核卷积由分裂、融合和选择三个步骤形成；所述分裂步骤为：对于给定的输入特征映射通过卷积核大小为3
×
3且扩张率分别为1、2、3的三个分组卷积转换，得到三个感受野大小不同的特征图和所述融合步骤为：首先将三个特征图相加u＝u1+u2+u3，然后实用全局平均池化层嵌入全局信息，得到通道尺度上具有全局信息的向量s，所述向量s的计算公式如下：最后经过一层全连接层，生成紧凑特征z，所述紧凑特征z的计算公式如下：z＝f
fc
(s)＝δ
relu
(b(ws))式中，δ表示relu激活函数，b表示批量归一化，所述紧凑特征z的维度d的计算公式如下：所述选择步骤为：基于softmax方法，利用紧凑特征z指导空间注意力机制动态的选择不同感受野大小的信息，每条支流的权重向量计算公式如下：
式中，a、b和c分别表示特征图u1、u2和u3的软注意力机制向量，a
n
表示a的第n个序列值，b
n
表示b的第n个序列值，c
n
表示c的第n个序列值，a
n
表示a的第n行，b
n
表示b的第n行，c
n
表示c的第n行，通过将软注意力机制向量a、b和c分别与特征图u1、u2和u3加权求和，获得输出向量v，v
n
＝a
n
×
u1+b
n
×
u2+c
n
×
u3。4.根据权利要求3所述的面向矿用巡检机器人的多模态信息融合目标识别方法，其特征在于，在步骤s2中，所述混合空洞卷积的序列[r1,...r
i
,...,r
n
]根据最大扩张率m
i
选取设计，所述最大扩张率m
i
的计算公式如下：m
i
＝max[m
i+1-2r
i
,m
i+1-2(m
i+1-r
i
),r
i
]式中，r
i
是第i层的膨胀率。5.根据权利要求1所述的面向矿用巡检机器人的多模态信息融合目标识别方法，其特征在于，在步骤s4中，将resnet50网络特征提取模型输出的特征融合到原有点云数据中，同时分别使用两个卷积核大小为1
×
1的卷积层将rgb图像数据分别压缩到1
×1×
p和1
×1×
q的尺寸，整体构造点云数据与rgb图像数据的信息融合模型lidar-rgb-ariy3。6.根据权利要求1至5任一项所述的面向矿用巡检机器人的多模态信息融合目标识别方法，其特征在于，在步骤s6中，在测试集上对信息融合模型lidar-rgb-ariy3进行评估。7.根据权利要求6所述的面向矿用巡检机器人的多模态信息融合目标识别方法，其特征在于，评估的指标为准确率、召回率、p-r曲线和平均精度。

技术总结
本发明涉及巡检机器人技术领域，具体涉及一种面向矿用巡检机器人的多模态信息融合目标识别方法，依次包括：获取多模态信息数据；构造基于空间注意力机制和混合空洞卷积改进的ResNet50网络特征提取模型；构造基于IoU优化的YOLOv3的道路目标边框识别模型；构造多模态信息数据的信息融合模型LiDAR-RGB-ARIY3；在训练集上进行训练，并在验证集上保存表现最好模型；调用模型，并在测试集上进行目标识别，自动生成识别结果。本发明的面向矿用巡检机器人的多模态信息融合目标识别方法，既能使网络关注重点信息、抑制无用信息和动态调整感受野大小，又能通过引入RGB特征为点云特征提供额外的语义信息，从而提升识别精度。从而提升识别精度。从而提升识别精度。


技术研发人员：张文杰 桑艺昱 续欣莹 韩晓明
受保护的技术使用者：太原理工大学
技术研发日：2023.08.01
技术公布日：2023/10/6