一种煤矿井下环境感知方法、装置及存储介质与流程

1.本发明涉及煤炭智能化作业技术领域，尤其涉及一种煤矿井下环境感知方法、装置及存储介质。


背景技术：

2.煤矿作业环境的场景、结构、光线、信号常常发生变化，令煤炭作业较为困难且容易发生事故。随着计算机技术、通信技术、微电子技术的迅速发展，多传感器数据融合技术受到普遍关注和广泛应用，将其应用于煤炭作业领域，用于环境感知，大大降低了煤矿下作业的难度。
3.其中，基于rgb图像与激光雷达数据的融合技术因其在深度感知方面的实用性和高性能而备受关注，现阶段的工作主要探索了两种不同的融合方法：激光雷达和单目图像融合、激光雷达和立体图像融合。
4.但是，目前通过上述融合方法进行图像的深度估计通常是基于像素的回归，这种回归具有内在的不可靠性和模糊性，且信息融合不充分，传感器特性优势发挥不充分，导致煤矿井下环境感知结果精确度不足。


技术实现要素：

5.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
6.为此，本发明的第一方面的目的在于提出一种煤矿井下环境感知方法，以使rgb图像与激光雷达数据充分融合，提高煤矿井下环境感知结果的精确度。
7.本发明的第二个目的在于提出一种煤矿井下环境感知装置。
8.本发明的第三个目的在于提出另一种煤矿井下环境感知装置。
9.本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
10.本发明的第五个目的在于提出一种计算机程序产品。
11.为达上述目的，本发明一个实施例提出了一种方法，包括：
12.获取煤矿井下待感知区域的视觉环境图像和激光雷达环境图像；
13.基于待感知区域的环境类型，对所述视觉环境图像和所述激光雷达环境图像进行融合，得到融合图像；
14.将所述融合图像输入不同场景下的任务程序，以输出所述待感知区域在对应场景下的环境感知结果。
15.在一些可能的实现方式中，所述基于待感知区域的环境类型，对所述视觉环境图像和所述激光雷达环境图像进行融合，包括：
16.在所述待感知区域的环境类型为目标环境的情况下，对所述视觉环境图像和所述激光雷达环境图像进行融合时，以所述激光雷达环境图像作为基准图像，以所述视觉环境图像作为补充图像；
17.对所述视觉环境图像和所述激光雷达环境图像进行融合时，所述基准图像的像素
值权重大于所述补充图像的像素值权重。
18.在一些可能的实现方式中，所述基于待感知区域的环境类型，对所述视觉环境图像和所述激光雷达环境图像进行融合，包括：
19.在所述待感知区域的环境类型为非目标环境的情况下，在对所述视觉环境图像和所述激光雷达环境图像进行融合时，在待感知区域的成像距离为一级距离的情况下，以所述视觉环境图像作为基准图像，以所述激光雷达环境图像作为补充图像；在待感知区域的成像距离为二级距离的情况下，以所述激光雷达环境图像作为基准图像；所述一级距离和所述二级距离依据距离划分。
20.在一些可能的实现方式中，所述对所述视觉环境图像和所述激光雷达环境图像进行融合，包括：
21.在采集所述视觉环境图像时，基于相机标定过程中空间坐标系与世界坐标系的关系，获得所述视觉环境图像的相机世界三维坐标信息；
22.依据激光雷达获得的所述激光雷达环境图像的世界三维信息，并将所述相机世界三维坐标信息作参照融合所述视觉环境图像和所述激光雷达环境图像。
23.在一些可能的实现方式中，所述对所述视觉环境图像和所述激光雷达环境图像进行融合，包括：
24.分别对所述视觉环境图像对应的三维环境空间信息提取第一环境特征信息、对所述激光雷达环境图像对应的三维环境空间信息提取第二环境特征信息，将得到的所述第一环境特征信息和所述第二环境特征信息进行融合。
25.在一些可能的实现方式中，所述将所述融合图像输入不同场景下的任务程序，以输出所述待感知区域在对应场景下的环境感知结果，包括：
26.在所述场景为交通环境场景的情况下，通过目标检测识别移动物体以及进行行人识别；
27.在所述场景为去噪场景的情况下，通过图像增强进行去噪除雾；
28.在所述场景为轨道线场景的情况下，通过实地分割识别边缘线；
29.在所述场景为煤矿井下的地面环境场景的情况下，通过语义分割提取地面环境。
30.在一些可能的实现方式中，所述方法还包括：
31.基于激光雷达的角速度和线速度对激光雷达进行畸变补偿，以得到所述激光雷达环境图像。
32.为达上述目的，本发明第二方面实施例提出了一种煤矿井下环境感知装置，包括：
33.图像获取模块，用于获取煤矿井下待感知区域的视觉环境图像和激光雷达环境图像；
34.图像融合模块，用于基于待感知区域的环境类型，对所述视觉环境图像和所述激光雷达环境图像进行融合，得到融合图像；
35.环境感知模块，用于将所述融合图像输入不同场景下的任务程序，以输出所述待感知区域在对应场景下的环境感知结果。
36.为达上述目的，本发明第三方面实施例提出了一种煤矿井下环境感知装置，包括存储器，收发机，处理器：
37.存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处
理器，用于读取所述存储器中的计算机程序并执行以下操作：
38.获取煤矿井下待感知区域的视觉环境图像和激光雷达环境图像；
39.基于待感知区域的环境类型，对所述视觉环境图像和所述激光雷达环境图像进行融合，得到融合图像；
40.将所述融合图像输入不同场景下的任务程序，以输出所述待感知区域在对应场景下的环境感知结果。
41.为了实现上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本发明第一方面实施例提出的一种煤矿井下环境感知方法。
42.为了实现上述目的，本发明第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行本发明第一方面实施例提出的一种煤矿井下环境感知方法。
43.本发明的实施例提供的技术方案可以包括以下有益效果：获取煤矿井下待感知区域的视觉环境图像和激光雷达环境图像；基于待感知区域的环境类型对视觉环境图像和激光雷达环境图像进行融合；将融合图像输入包含不同场景的多任务程序，以输出待感知区域在对应场景下的环境感知结果。通过自适应融合的方式使视觉环境图像和激光雷达环境图像充分融合，精确反映待感知区域的信息，提高煤矿井下环境感知结果的精确度。
44.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
45.本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
46.图1为本发明实施例所提供的一种煤矿井下环境感知方法的流程示意图；
47.图2为本发明实施例所提供的另一种煤矿井下环境感知方法的流程示意图；
48.图3为本发明实施例所提供的另一种煤矿井下环境感知方法的流程示意图；
49.图4为本发明实施例所提供的一种煤矿井下环境感知装置的结构示意图。
具体实施方式
50.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
51.下面参考附图描述本发明实施例的一种煤矿井下环境感知方法。
52.图1为本发明实施例所提供的一种煤矿井下环境感知方法的流程示意图。
53.摄像机在环境感知方面具有语义丰富、细节多等优势，但是对于环境中的位置估计不准、距离近但易受环境干扰(比如多粉尘、多雾环境)；雷达在环境感知方面具有位置估计准、探测距离远、不易受环境干扰等优点，但是存在细节不够，远处分类不准等缺点。因此基于摄像机和雷达各自的优势，通过rgb图像与激光雷达数据的融合技术进行环境感知，以获取高精度的三维环境信息。但是现阶段的融合技术信息融合不充分，会导致煤矿井下环
境感知结果精确度不足。
54.针对这一问题，本发明实施例提供了一种煤矿井下环境感知方法，以提高煤矿井下环境感知结果的精确度，如图1所示，该方法包括以下步骤：
55.步骤101，获取煤矿井下待感知区域的视觉环境图像和激光雷达环境图像。
56.待感知区域是煤矿井下需要进行环境感知的区域。
57.可选地，通过相机采集待感知区域的rgb图像作为视觉环境图像，通过激光雷达采集待感知区域的激光雷达环境图像。
58.步骤102，基于待感知区域的环境类型，对视觉环境图像和激光雷达环境图像进行融合，得到融合图像。
59.基于不同的待感知区域的环境类型，对视觉环境图像和激光雷达环境图像进行对应的融合，得到融合图像，通过自适应融合的方式使视觉环境图像和激光雷达环境图像充分融合，以精确反映待感知区域的信息。
60.步骤103，将融合图像输入不同场景下的任务程序，以输出待感知区域在对应场景下的环境感知结果。
61.以融合得到的图像作为输入，利用多场景对应的多任务程序提取待感知区域的信息，以获取不同场景下待感知区域的环境感知结果。
62.可选地，环境感知结果可以是环境特征的识别结果。
63.本实施例中，获取煤矿井下待感知区域的视觉环境图像和激光雷达环境图像；基于待感知区域的环境类型对视觉环境图像和激光雷达环境图像进行融合；将融合图像输入包含不同场景的多任务程序，以输出待感知区域在对应场景下的环境感知结果。通过自适应融合的方式使视觉环境图像和激光雷达环境图像充分融合，精确反映待感知区域的信息，提高煤矿井下环境感知结果的精确度。
64.为了清楚说明上一实施例，本实施例提供了另一种煤矿井下环境感知方法，图2为本发明实施例所提供的另一种煤矿井下环境感知方法的流程示意图。
65.如图2所示，该方法可以包括以下步骤：
66.步骤201，获取煤矿井下待感知区域的视觉环境图像和激光雷达环境图像。
67.可选地，基于激光雷达的角速度和线速度对激光雷达进行畸变补偿，以得到激光雷达环境图像。
68.因为相机和雷达本身的特性，会存在相机和雷达标定、同步误差以及运动过程中的松动的问题，同时在实际使用过程中，相机画面会缺失，雷达也会丢失点云数据与丢帧；对于恶劣环境下，相机存在图像模糊的情况，雷达存在形成凝露的情况。
69.针对上述问题，对于相机进行内参和外参的标定，并进行偏移补偿。
70.需要说明的是，相机内参标定是指相机到图像坐标系的转换；相机外参标定是指3d空间坐标到相机坐标系转换。
71.雷达姿态调节，对于雷达的位置信息、前后帧的相对位置关系进行建模和补偿。
72.对于同步误差，针对雷达扫描一圈存在时间差，进行相机和激光雷达的同步。
73.需要说明的是，针对硬件部分的同步误差，解决同步误差是要同步不同传感器的时间戳。通过计算雷达自身角速度与线速度，还原激光真实情况，完成畸变补偿。
74.可选地，gps时间戳的时间同步方法为：首先判断传感的硬件是否支持该种方法，
如果支持则传感器给出的数据包会有全局的时间戳，这些时间戳以gps为基准，这样就使用了相同的时钟，而非各自传感器的时钟了。但是不同传感器的数据频率是不同的，例如激光雷达的频率为10hz，摄像机的频率为25/30hz，不同传感器之间的数据还是存在延迟。此时可以通过找相邻时间戳的方法找到最近帧。
75.可选地，硬同步方法：以激光雷达作为触发其它传感器的源头，当激光雷达转到某个角度时，才触发该角度的摄像头，这可以大大减少时间差的问题。这套时间同步方案可以做到硬件中，可以缓解查找时间戳造成的误差现象。可以大大降低同步误差，提高数据对齐效果。
76.通过畸变补偿确保任一时刻的点云和该时刻对应位置的相机能同时触发，使视觉环境图像和激光雷达环境图像时间戳同步。
77.对于运动补偿，当物体运动时会导致环境发生变化，此时激光雷达也在同步扫描补充信息。
78.可选地，在雷达丢失部分或全部点云、和/或雷达形成凝露时，进行故障提示。
79.步骤202，基于待感知区域的环境类型，对视觉环境图像和激光雷达环境图像进行融合，得到融合图像。
80.需要说明的是，在获取融合图像时，可以根据待感知区域的环境类型自适应选取前融合的方式、后融合的方式或者前融合和后融合相结合的方式进行视觉环境图像和激光雷达环境图像的融合。
81.其中，前融合的过程为：在采集视觉环境图像时，基于相机标定过程中空间坐标系与世界坐标系的关系，获得视觉环境图像的相机世界三维坐标信息，依据激光雷达获得的激光雷达环境图像的世界三维信息，并将相机世界三维坐标信息作参照融合视觉环境图像和激光雷达环境图像。
82.其中，后融合的过程为：分别对视觉环境图像对应的三维环境空间信息提取第一环境特征信息、对激光雷达环境图像对应的三维环境空间信息提取第二环境特征信息，将得到的第一环境特征信息和第二环境特征信息进行融合。
83.可选地，在待感知区域的环境类型为目标环境的情况下，对视觉环境图像和激光雷达环境图像进行融合时，以激光雷达环境图像作为基准图像，以视觉环境图像作为补充图像。
84.需要说明的是，目标环境是多雾环境、多粉尘环境或者暗光环境，通过环境识别模型确定，环境识别模型通过学习不同环境类型的图像特征获取。
85.对视觉环境图像和激光雷达环境图像进行融合时，基准图像的像素值权重大于补充图像的像素值权重。
86.进一步的，在相机内加入环境识别模型，所述通过对不同环境类别的图像特征进行学习，自动实现对环境照片的识别判定，来判断待感知区域是否为目标环境。
87.基准图像的像素值权重大于补充图像的像素值权重，基准图像的像素值权重和补充图像的像素值权重之和为1，则基准图像的像素值权重大于0.5。
88.可选地，在待感知区域的环境类型为非目标环境的情况下，在对视觉环境图像和激光雷达环境图像进行融合时，在待感知区域的成像距离为一级距离的情况下，以视觉环境图像作为基准图像，以激光雷达环境图像作为补充图像；在待感知区域的成像距离为二
级距离的情况下，以激光雷达环境图像作为基准图像，以视觉环境图像作为补充图像；一级距离和二级距离依据距离划分。
89.需要说明的是，一级距离和二级距离的划分标准根据硬件参数来决定，一般情况下，煤矿井下的相机只用于近距离的环境细节感知，一般为10米内的距离；而雷达与激光雷达，例如radar属于毫米波，通常是4-12mm，有效工作距离更远。lidar用的是激光波长通常在900-1500nm之间，看得更“细”，更精确。
90.基于上述硬件参数，作为一种可能的实现方式，小于10米的成像距离为一级距离，否则为二级距离。
91.可以理解的是，无论通过前融合的方法还是后融合的方法进行视觉环境图像和激光雷达环境图像的融合，均可基于距离进行基准确定。
92.通过不同环境类型下的图像融合，以更能反映待感知区域精确信息的图像作为基准图像，再以补充图像作为辅助，对基准图像进行完善，能够在不同环境类型下得到待感知区域精确的融合图像，获取更加稠密准确的视差图，提高环境感知的精度，为整个环境感知方法提供一个准确的深度估计，进而可以为煤矿道路环境感知、视觉测量系统、无人矿车导航系统、矿井搜救机器人等应用提供可靠的图像信息以及技术支持。
93.步骤203，将融合图像输入不同场景下的任务程序，以输出待感知区域在对应场景下的环境感知结果。
94.步骤203可参见前述实施例中对应步骤的相关说明，本实施例中对此不再赘述。
95.本实施例提供了另一种煤矿井下环境感知方法，图3为本发明实施例所提供的另一种煤矿井下环境感知方法的流程示意图。
96.如图3所示，该方法可以包括以下步骤：
97.步骤301，获取煤矿井下待感知区域的视觉环境图像和激光雷达环境图像。
98.步骤302，基于待感知区域的环境类型，对视觉环境图像和激光雷达环境图像进行融合，得到融合图像。
99.步骤301和步骤302可参见前述实施例中对应步骤的相关说明，本实施例中对此不再赘述。
100.步骤303，将融合图像输入不同场景下的任务程序，以输出待感知区域在对应场景下的环境感知结果。
101.需要说明的是，不同场景的多任务程序可以并行也可以串行，根据实际算力和最优化路径选择。即，作为一种可能的实现方式，融合图像可以输入到不同的场景并行进行功能实现；作为另一种可能的实现方式，也可以先识别出对应场景，进行对应的程序选择，再将融合图像输入对应场景的程序中，得到输出结果。
102.作为一种可能的实现方式，在场景为交通环境场景的情况下，通过目标检测识别移动物体以及进行行人识别。
103.交通环境场景是指包含了交通环境的场景，交通环境包括较多移动目标，如移动的人、车辆、物体等，是不断变化的，而目标检测能够追踪到物体的移动轨迹，因此对于移动目标较多的交通环境，通过目标检测来进行移动物体和行人的识别。
104.作为一种可能的实现方式，在场景为障碍物场景的情况下，通过目标检测识别障碍物。
105.障碍物场景是指包含了静态障碍物的场景，如栏杆、堆石，目标检测能够定位到不同的物体，通过目标检测能够识别出障碍物场景中需要进行检测的障碍物。
106.作为一种可能的实现方式，在场景为去噪场景的情况下，通过图像增强进行去噪除雾。
107.去噪场景是指包含需要进行去噪的环境类型的场景，如多雾环境、多粉尘环境或者暗光环境，也即目标环境。
108.作为一种可能的实现方式，在场景为轨道线场景的情况下，通过实地分割识别边缘线。
109.轨道线场景是指包含轨道线的场景，煤矿井下利用矿下轨道运输车进行煤炭、爆破物品等运输，部分路面上可能会包含轨道线。
110.作为一种可能的实现方式，在场景为煤矿井下的地面环境场景的情况下，通过语义分割提取地面环境。
111.地面环境场景是指不包含其他障碍物、移动物体等，只存在井下地面的场景。
112.步骤304，将待感知区域在不同场景下的环境感知结果应用于不同设备，实现煤矿井下设备的控制和应用。
113.由于不同设备利用环境感知结果的目的不同，首先根据环境感知结果待应用的设备，确定每个场景下的环境感知结果的权重。
114.作为一种可能的实现方式，需要将环境感知结果应用到不断移动的设备上，如移动机器人，其环境感知结果的权重排列为：地面环境场景＞轨道线场景＞障碍物场景＞交通环境场景＞去噪场景。
115.作为另一种可能的实现方式，作为固定点位识别的设备，其环境感知结果的权重排列为：去噪场景＞地面环境场景＞交通环境场景＞轨道线场景＞障碍物场景。
116.获取不同场景下环境感知结果的权重之后，通过控制井下设备，完成决策。
117.作为一种可能的实现方式，对于移动机器人，得到环境感知结果后，将环境感知结果传输到自身的处理器，处理器根据专家系统或者自身预设的处理命令，将命令下发控制器，主要为电机控制器，通过控制相应转速，实现转向、停止、加速、急停等操作。
118.作为另一种可能的实现方式，对于固定点位环境，得到环境感知结果后，通过云-边-端协同技术，将环境感知结果上传到本地端服务器以及云端服务器，进行相应数据存储及处理。
119.但出现预先设定的违规危险情况时，比如：有落石、行人误闯入危险区、未戴安全帽等，该情况由云-边-端协同的处理中心，根据危险层级进行相应设备的控制。
120.例如，对于未戴安全帽，可将处理结果传输到移动边缘控制器进行处理，并由移动边缘控制器对报警器等设备进行联动控制；对于落石等，可由本地或云端服务器进行报警记录，并发布警报到中控中心，由人工协同进行处理，包括现场封闭等。
121.本实施例提供了一种煤矿井下环境感知装置，图4为本发明实施例所提供的一种煤矿井下环境感知装置的结构示意图。
122.如图4所示，煤矿井下环境感知装置包括：图像获取模块401、图像融合模块402以及环境感知模块403。
123.图像获取模块401，用于获取煤矿井下待感知区域的视觉环境图像和激光雷达环
境图像。
124.图像融合模块402，用于基于待感知区域的环境类型，对视觉环境图像和激光雷达环境图像进行融合，得到融合图像。
125.环境感知模块403，用于将融合图像输入不同场景下的任务程序，以输出待感知区域在对应场景下的环境感知结果。
126.作为一种可能的实现方式，图像融合模块402，在待感知区域的环境类型为目标环境的情况下，对视觉环境图像和激光雷达环境图像进行融合时，以激光雷达环境图像作为基准图像，以视觉环境图像作为补充图像；对视觉环境图像和激光雷达环境图像进行融合时，基准图像的像素值权重大于补充图像的像素值权重。
127.作为一种可能的实现方式，图像融合模块402，在待感知区域的环境类型为非目标环境的情况下，在对视觉环境图像和激光雷达环境图像进行融合时，在待感知区域的成像距离为一级距离的情况下，以视觉环境图像作为基准图像，以激光雷达环境图像作为补充图像；在待感知区域的成像距离为二级距离的情况下，以激光雷达环境图像作为基准图像；一级距离和二级距离依据距离划分。
128.作为一种可能的实现方式，图像融合模块402，还包括：
129.在采集视觉环境图像时，基于相机标定过程中空间坐标系与世界坐标系的关系，获得视觉环境图像的相机世界三维坐标信息；
130.依据激光雷达获得的激光雷达环境图像的世界三维信息，并将相机世界三维坐标信息作参照融合视觉环境图像和激光雷达环境图像。
131.作为一种可能的实现方式，图像融合模块402，还包括：
132.分别对视觉环境图像对应的三维环境空间信息提取第一环境特征信息、对激光雷达环境图像对应的三维环境空间信息提取第二环境特征信息，将得到的第一环境特征信息和第二环境特征信息进行融合。
133.作为一种可能的实现方式，环境感知模块403，还包括：
134.在场景为交通环境场景的情况下，通过目标检测识别移动物体以及进行行人识别；
135.在场景为去噪场景的情况下，通过图像增强进行去噪除雾；
136.在场景为轨道线场景的情况下，通过实地分割识别边缘线；
137.在场景为煤矿井下的地面环境场景的情况下，通过语义分割提取地面环境。
138.需要说明的是，前述对煤矿井下环境感知方法实施例的解释说明也适用于该实施例的煤矿井下环境感知装置，此处不再赘述。
139.为了实现上述实施例，本发明还提出另一种煤矿井下环境感知装置，包括：处理器，以及用于存储所述处理器可执行指令的存储器。
140.其中，处理器被配置为执行所述指令，以实现一种煤矿井下环境感知方法：
141.获取煤矿井下待感知区域的视觉环境图像和激光雷达环境图像；
142.基于待感知区域的环境类型，对视觉环境图像和激光雷达环境图像进行融合，得到融合图像；
143.将融合图像输入不同场景下的任务程序，以输出待感知区域在对应场景下的环境感知结果。
144.为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器被执行时，使得电子设备的能够执行一种煤矿井下环境感知方法，所述方法包括：
145.获取煤矿井下待感知区域的视觉环境图像和激光雷达环境图像；
146.基于待感知区域的环境类型，对视觉环境图像和激光雷达环境图像进行融合，得到融合图像；
147.将融合图像输入不同场景下的任务程序，以输出待感知区域在对应场景下的环境感知结果。
148.为了实现上述实施例，本发明还提出一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行一种煤矿井下环境感知方法，所述方法包括：
149.获取煤矿井下待感知区域的视觉环境图像和激光雷达环境图像；
150.基于待感知区域的环境类型，对视觉环境图像和激光雷达环境图像进行融合，得到融合图像；
151.将融合图像输入不同场景下的任务程序，以输出待感知区域在对应场景下的环境感知结果。
152.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
153.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
154.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
155.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器
(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
156.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
157.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
158.上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种煤矿井下环境感知方法，其特征在于，包括以下步骤：获取煤矿井下待感知区域的视觉环境图像和激光雷达环境图像；基于待感知区域的环境类型，对所述视觉环境图像和所述激光雷达环境图像进行融合，得到融合图像；将所述融合图像输入不同场景下的任务程序，以输出所述待感知区域在对应场景下的环境感知结果。2.根据权利要求1所述的方法，其特征在于，所述基于待感知区域的环境类型，对所述视觉环境图像和所述激光雷达环境图像进行融合，包括：在所述待感知区域的环境类型为目标环境的情况下，对所述视觉环境图像和所述激光雷达环境图像进行融合时，以所述激光雷达环境图像作为基准图像，以所述视觉环境图像作为补充图像；对所述视觉环境图像和所述激光雷达环境图像进行融合时，所述基准图像的像素值权重大于所述补充图像的像素值权重。3.根据权利要求2所述的方法，其特征在于，所述基于待感知区域的环境类型，对所述视觉环境图像和所述激光雷达环境图像进行融合，包括：在所述待感知区域的环境类型为非目标环境的情况下，在对所述视觉环境图像和所述激光雷达环境图像进行融合时，在待感知区域的成像距离为一级距离的情况下，以所述视觉环境图像作为基准图像，以所述激光雷达环境图像作为补充图像；在待感知区域的成像距离为二级距离的情况下，以所述激光雷达环境图像作为基准图像；所述一级距离和所述二级距离依据距离划分。4.根据权利要求1所述的方法，其特征在于，所述对所述视觉环境图像和所述激光雷达环境图像进行融合，包括：在采集所述视觉环境图像时，基于相机标定过程中空间坐标系与世界坐标系的关系，获得所述视觉环境图像的相机世界三维坐标信息；依据激光雷达获得的所述激光雷达环境图像的世界三维信息，并将所述相机世界三维坐标信息作参照融合所述视觉环境图像和所述激光雷达环境图像。5.根据权利要求1所述的方法，其特征在于，所述对所述视觉环境图像和所述激光雷达环境图像进行融合，包括：分别对所述视觉环境图像对应的三维环境空间信息提取第一环境特征信息、对所述激光雷达环境图像对应的三维环境空间信息提取第二环境特征信息，将得到的所述第一环境特征信息和所述第二环境特征信息进行融合。6.根据权利要求1所述的方法，其特征在于，所述将所述融合图像输入不同场景下的任务程序，以输出所述待感知区域在对应场景下的环境感知结果，包括：在所述场景为交通环境场景的情况下，通过目标检测识别移动物体以及进行行人识别；在所述场景为去噪场景的情况下，通过图像增强进行去噪除雾；在所述场景为轨道线场景的情况下，通过实地分割识别边缘线；在所述场景为煤矿井下的地面环境场景的情况下，通过语义分割提取地面环境。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于激光雷达的角速度和线速度对激光雷达进行畸变补偿，以得到所述激光雷达环境图像。8.一种煤矿井下环境感知装置，其特征在于，包括存储器，收发机，处理器：存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，用于读取所述存储器中的计算机程序并执行以下操作：获取煤矿井下待感知区域的视觉环境图像和激光雷达环境图像；基于待感知区域的环境类型，对所述视觉环境图像和所述激光雷达环境图像进行融合，得到融合图像；将所述融合图像输入不同场景下的任务程序，以输出所述待感知区域在对应场景下的环境感知结果。9.一种煤矿井下环境感知装置，其特征在于，包括：图像获取模块，用于获取煤矿井下待感知区域的视觉环境图像和激光雷达环境图像；图像融合模块，用于基于待感知区域的环境类型，对所述视觉环境图像和所述激光雷达环境图像进行融合，得到融合图像；环境感知模块，用于将所述融合图像输入不同场景下的任务程序，以输出所述待感知区域在对应场景下的环境感知结果。10.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7任一项所述的方法。

技术总结
本发明提出一种煤矿井下环境感知方法、装置及存储介质，涉及煤炭智能化作业技术领域，其中，方法包括：获取煤矿井下待感知区域的视觉环境图像和激光雷达环境图像；基于待感知区域的环境类型，对视觉环境图像和激光雷达环境图像进行融合；将融合图像输入包含不同场景的多任务程序，以输出待感知区域在对应场景下的环境感知结果。通过自适应融合的方式使视觉环境图像和激光雷达环境图像充分融合，精确反映待感知区域的信息，提高煤矿井下环境感知结果的精确度。的精确度。的精确度。


技术研发人员：杨志方 张立亚 赵青 郝博南 孟庆勇 吴文臻 李晨鑫 李标 王超 彭丽 马征
受保护的技术使用者：煤炭科学技术研究院有限公司
技术研发日：2023.05.16
技术公布日：2023/7/20