一种装载机地空协同作业方法

1.本发明涉及工程机械技术领域，具体是一种装载机地空协同作业方法。


背景技术：

2.作为工程机械领域历史最悠久，产业链最完善的机型，尽管部分功能可以由挖掘机所取代，装载机依旧在钢铁，煤炭和港口等特定工作场景下不可替代。而对于操作者，在装载机的整个作业循环中，驾驶员需要控制装载机在短时间内连续完成六十到八十次作业循环，这不仅对操作人员眼脑手的配合要求极高，同时也会消耗大量的体力和精力。而在技术变革的推动下，传统装载机行业正在向着自主化与电动化的方向转型。
3.在工程机械自主化转型的进程中，机器视觉起到了极为重要的作用。机器视觉技术能够解决人眼识别准确率低、效率差以及监控效率低等弊端，同时操作人员不必再前往操作场地，避免了现场扬尘对驾驶员身体健康的影响。然而由于作业场景地形复杂，高大的障碍物易产生视野盲区，单一视角下的图像感知系统不易检测到视野盲区内可能存在的物体，从一定程度上提升了生产过程中的风险。


技术实现要素：

4.本发明的目的在于提供一种装载机地空协同作业方法，以解决机器识别准确率低、效率差和监控效率低的问题。
5.为实现上述目的，本发明提供如下技术方案：一种装载机地空协同作业方法，基于无人装载机和无人机，无人装载机为分布式电驱动无人装载机；该作业方法包括以下步骤：步骤1作业场景三维地图构建：遥控无人机在作业现场飞行，获取作业现场二维图和作业场地三维点云信息，将作业现场二维图和作业场地三维点云信息，构建作业场景三维视图；步骤2装载机作业路径规划：规划作业场景三维地形图中无人装载机所有可能的作业路径，可行作业路径结合所获取各路径之间的路面状况构造最优作业路径；步骤3：物料识别与作业装置智能控制：获取作业路径的料堆信息，以根据事先训练好的模型，输入料堆信息以实现装载机工作的智能控制。
6.在上述技术方案的基础上，本发明还提供以下可选技术方案：在一种可选方案中：所述作业场景三维地图构建的具体步骤如下：步骤1-1：操作人员向无人机下达工作指令，无人机从停机平台起飞；步骤1-2：无人机环绕作业现场飞行，并获取无人装载机的工作现场图像以及三维点云信息，同时无人机还获取本身的位姿信息；其中，位置信息包括无人机姿态信息和无人机位置信息；步骤1-3：根据获取到的无人机的姿态信息对所获取的图像进行畸变矫正并标定
关键像素点，以此为参考将相邻帧的图像进行拼接，得到作业现场二维图；步骤1-4：识别场景内各特征的类别；其中，识别的特征包括无人装载机、料堆和厂房内的车辆；步骤1-5：将获取的作业场地三维点云信息，结合无人机反馈回的数据进行畸变处理；将畸变处理完成的点云数据与全局二维视图进行数据融合，构建作业场景三维视图。
7.在一种可选方案中：所述装载机作业路径规划的具体步骤如下：步骤2-1：通过图像识别算法对得到的作业场景三维地形图中料堆、车辆、建筑物以及各类地形特征进行图像分割并进行位置标定；步骤2-2：根据作业场景三维地形图分析各节点之间的路面地形状况，分析各路径的通过可行性；步骤2-3：以装载机实时位置，料堆位置与卸料点位置作为工作路径中的节点，将其余特征作为障碍点，规划出所有可能的作业路径；步骤2-4：根据无人装载机可行作业路径并结合各路径之间的路面状况，以路径与功耗最优为目标构造一条最优作业路径。
8.在一种可选方案中：所述物料识别与作业装置智能控制的具体步骤如下：步骤3-1：在优化后的作业路径卸料点到料堆点方向标定关键帧捕捉点；步骤3-2：在关键帧捕捉点获取料堆彩色图像，通过图像识别算法对料堆种类进行识别；步骤3-3：对图像进行关键特征点提取，捕捉料堆内角点位置，根据捕捉到的角点位置对料堆图像进行网格划分，根据网格内料堆中物料粒度的大小；步骤3-4：将料堆点云信息与彩色图像进行数据融合，获取料堆长宽高三维几何信息；步骤3-5：根据事先训练好的模型，以料堆的物料种类、几何形状、料堆大小、湿度为输入，驱动电机转矩和料堆铲装点作为输出，实现对无人装载机的智能控制。
9.在一种可选方案中：所述无人装载机包括底盘和工作装置；其中，装载机底盘为铰接式结构，前后车架由铰接销连接，整车的转向由转向电缸驱动，转向电缸缸筒和电推杆分别通过铰接销与前后车架连接，工作装置固定在前车架上；无人机停机坪设置在后车架上方。
10.在一种可选方案中：所述无人装载机还包括环境感知模块、姿态感知模块和中央控制模块，所述环境感知模块用于获取周边场景的实际情况；所述姿态感知模块用于获取无人装载机行走姿态和速度信息；所述中央控制模块用于获取各个模块的信息，中央控制模块中具有路径规划单元，路径规划单元规划出无人装载机作业路径。
11.在一种可选方案中：环境感知模块为对个并分别安装在无人装载机后车架的前侧、后侧以及车身的两侧；其中，无人装载机后车架前侧的环境感知模块包括激光雷达单元与图像感知单元，无人装载机后车架的后侧和左右两侧的安全感知模块由超声波雷达组成；图像感知单元用以实时获取周边的场景彩色图像，激光雷达单元用以获取景深信息，超声波雷达用于感知车身周围是否存在未知障碍物；各单元将所获取信息通过数据线传输至装载机机载中央控制模块内。
12.在一种可选方案中：无人机上配置有激光雷达、摄像头、gps 、位姿感知模块、机载控制模块和遥控器；所述激光雷达用于获取的三维点云信息，摄像头用于获取无人装载机的工作现场图像；gps 用于获取无人机的位置信息；机载控制模块与遥控器相连并用于对无人机进行飞行控制；位姿感知元件用以实时获取无人机的飞行姿态、速度和位置信息相较于现有技术，本发明的有益效果如下：本发明通过无人机和装载机地空双视角场景构图，能够全方位无死角实现工作场景构造。
13.本发明无人机与装载机均采用模块化设计，可根据不同场景选择不同种类的环境感知模块，以实现不同的工作目的；无人机与装载机均具备独立的高性能中央控制模块，提升了数据处理的效率；本发明将机器视觉技术融入到了真实的作业现场中，并且无人机与装载机均可通过遥控器远程操控，操作人员无需进入作业现场即可完成生产任务，提升了生产的安全性，减少作业现场产生的灰尘对操作人员身体健康的影响。
14.本发明可结合工作场景的图像特征，景深信息与装载机自身的位姿状态构建多条装载机作业路径，并根据不同作业阶段设定的不同目标函数，选择一条优选的作业路径。
附图说明
15.图1为地空协同作业系统硬件组成。
16.图2为地空协同作业系统中装载机的硬件组成。
17.图3为地空协同作业系统中无人机的硬件组成。
18.图4为地空协同作业系统具体包含的步骤。
19.图5为无人机作业场景构建的具体步骤。
20.图6为作业路径规划的具体步骤。
21.图7为物料识别与作业装置智能控制的具体步骤。
22.附图标记注释：无人装载机-1、底盘-101、工作装置-102、无人机停机坪-103、环境感知模块-104、姿态感知模块-105、中央控制模块-106、无人机-2、激光雷达-201、摄像头-202、gps-203、姿态感知元件-204、机载控制模块-205和遥控器-206。
具体实施方式
23.为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例，对本发明进行进一步详细说明；在附图或说明中，相似或相同的部分使用相同的标号，并且在实际应用中，各部件的形状、厚度或高度可扩大或缩小。本发明所列举的各实施例仅用以说明本发明，并非用以限制本发明的范围。对本发明所作的任何显而易知的修饰或变更都不脱离本发明的精神与范围。
24.如图1所示：一种装载机地空协同作业方法，其特征在于，所述方法包含的硬件有：无人装载机1和无人机2；地空协同作业方法具体包括以下功能：作业场景三维地图构建；装载机作业路径规划：目标检测与物料识别功能以及安全避障功能。
25.如图2和图4所示，所述无人装载机为分布式电驱动无人装载机，其具体包括：底盘101、工作装置102、无人机停机坪103、环境感知模块104、姿态感知模块105和中央控制模块
106。
26.底盘101为铰接式结构，前后车架由铰接销连接，整车的转向由转向电缸驱动，转向电缸缸筒和电推杆分别通过铰接销与前后车架连接。装载机的驱动方式为分布式驱动，前后车桥分别由一个永磁同步电机提供动力。工作装置102固定在前车架上，其动力元件为滚柱丝杠电缸；装载机的动力源为锂电池。无人机停机坪103设置在后车架上方，锂电池上设有充电口，可对无人机进行充电；如图3和图4所示：所述无人机2为中等大小的无人机开发平台，其具有大载重，长续航以及可拓展的特性。其可根据需要配备有激光雷达201、摄像头202、gps203等智能化设备。对无人装载机1上午工作现场进行全局检测；无人机2上搭载有机载控制模块205，操作人员可通过遥控器206对对无人机2下达起飞、降落等控制指令；无人机2上安装有姿态感知元件204，用以实时获取无人机2飞行姿态与速度等信息。
27.如图5所示，无人机作业场景构建的具体步骤如下：步骤一：操作人员向无人机2下达工作指令，无人机2从停机平台起飞；步骤二：无人机2环绕作业现场飞行，并将摄像头202拍摄的工作现场图像与激光雷达201获取的三维点云信息至中央控制模块106内，同时无人机姿态感知模块104将获取的无人机1的姿态信息传递至无人机机载控制模块205中，所述无人机位姿信息包括imu获取的无人机姿态信息与gps获取的无人机位置信息；步骤三：机载控制模块205的图像处理单元内，根据获取到的无人机姿态信息对所获取的图像进行畸变矫正并标定关键像素点，以此为参考将相邻帧的图像进行拼接，得到作业现场二维图；步骤四：识别场景内各特征的类别，需要识别的特征包括但不限于无人装载机1、料堆、厂房内其他车辆、各种台架等；步骤五：将激光雷达获取的作业场地三维点云信息，结合无人机2姿态感知模块反馈回的数据进行畸变处理。将处理好的点云数据与全局二维视图进行数据融合，构建作业场景三维视图。
28.如图6所示，作业路径规划的具体步骤如下：步骤一：通过图像识别算法对得到的作业场景三维地形图中料堆、车辆、建筑物以及各类地形特征进行图像分割并进行位置标定。
29.步骤二：根据作业场景三维地形图分析各节点之间的路面状况，分析各路径的通过可行性。
30.步骤三：以无人装载机1实时位置、料堆位置与卸料点位置作为工作路径中的节点，将其余特征作为障碍点，经中央控制模块106中的路径规划单元处理，规划出所有可能的作业路径。
31.步骤四：根据装载机可行作业路径并结合各路径之间的路面状况，以路径与功耗最优为目标构造一条最优作业路径。
32.如图7所示，物料识别与作业装置智能控制的具体步骤如下：步骤一：在优化后的作业路径卸料点到料堆点方向标定关键帧捕捉点。
33.步骤二：在关键帧捕捉点获取料堆彩色图像，通过图像识别算法对料堆种类进行识别；
步骤三：对图像进行关键特征点提取，捕捉料堆内角点位置，根据捕捉到的角点位置对料堆图像进行网格划分，根据网格内料堆中物料粒度的大小。
34.步骤四：将料堆点云信息与彩色图像进行数据融合，获取料堆长宽高等三维几何信息。
35.步骤五：根据事先训练好的模型，以料堆的物料种类、几何形状、料堆大小、湿度为输入，驱动电机转矩和料堆铲装点等作为输出，实现装载机工作装置的智能控制。
36.除此之外，所述无人装载机1具备安全避障功能，在无人装载机1后车架左右两侧与后侧安装有超声波雷达。当检测到距离车身一定距离范围内有障碍物时，装载机可实现自动停车。
37.以上所述仅为本发明的优选实例，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
38.以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种装载机地空协同作业方法，基于无人装载机和无人机，其特征在于，无人装载机为分布式电驱动无人装载机；该作业方法包括以下步骤：步骤1作业场景三维地图构建：遥控无人机在作业现场飞行，获取作业现场二维图和作业场地三维点云信息，将作业现场二维图和作业场地三维点云信息，构建作业场景三维视图；步骤2装载机作业路径规划：规划作业场景三维地形图中无人装载机所有可能的作业路径，可行作业路径结合所获取各路径之间的路面状况构造最优作业路径；步骤3：物料识别与作业装置智能控制：获取作业路径的料堆信息，以根据事先训练好的模型，输入料堆信息以实现装载机工作的智能控制。2.根据权利要求1所述的装载机地空协同作业方法，其特征在于，所述作业场景三维地图构建的具体步骤如下：步骤1-1：操作人员向无人机下达工作指令，无人机从停机平台起飞；步骤1-2：无人机环绕作业现场飞行，并获取无人装载机的工作现场图像以及三维点云信息，同时无人机还获取本身的位姿信息；其中，位置信息包括无人机姿态信息和无人机位置信息；步骤1-3：根据获取到的无人机的姿态信息对所获取的图像进行畸变矫正并标定关键像素点，以此为参考将相邻帧的图像进行拼接，得到作业现场二维图；步骤1-4：识别场景内各特征的类别；其中，识别的特征包括无人装载机、料堆和厂房内的车辆；步骤1-5：将获取的作业场地三维点云信息，结合无人机反馈回的数据进行畸变处理；将畸变处理完成的点云数据与全局二维视图进行数据融合，构建作业场景三维视图。3.根据权利要求1所述的装载机地空协同作业方法，其特征在于，所述装载机作业路径规划的具体步骤如下：步骤2-1：通过图像识别算法对得到的作业场景三维地形图中料堆、车辆、建筑物以及各类地形特征进行图像分割并进行位置标定；步骤2-2：根据作业场景三维地形图分析各节点之间的路面地形状况，分析各路径的通过可行性；步骤2-3：以无人装载机实时位置、料堆位置与卸料点位置作为工作路径中的节点，将其余特征作为障碍点，规划出所有可能的作业路径；步骤2-4：根据无人装载机可行作业路径并结合各路径之间的路面状况，以路径与功耗最优为目标构造一条最优作业路径。4.根据权利要求1所述的装载机地空协同作业方法，其特征在于，所述物料识别与作业装置智能控制的具体步骤如下：步骤3-1：在优化后的作业路径卸料点到料堆点方向标定关键帧捕捉点；步骤3-2：在关键帧捕捉点获取料堆彩色图像，通过图像识别算法对料堆种类进行识别；步骤3-3：对图像进行关键特征点提取，捕捉料堆内角点位置，根据捕捉到的角点位置对料堆图像进行网格划分，根据网格内料堆中物料粒度的大小；
步骤3-4：将料堆点云信息与彩色图像进行数据融合，获取料堆长宽高三维几何信息；步骤3-5：根据事先训练好的模型，以料堆的物料种类、几何形状、料堆大小和湿度为输入，驱动电机转矩和料堆铲装点作为输出，实现对无人装载机的智能控制。5.根据权利要求1所述的装载机地空协同作业方法，其特征在于，所述无人装载机包括底盘和工作装置；其中，装载机底盘为铰接式结构，前后车架由铰接销连接，整车的转向由转向电缸驱动，转向电缸缸筒和电推杆分别通过铰接销与前后车架连接，工作装置固定在前车架上；无人机停机坪设置在后车架上方。6.根据权利要求5所述的装载机地空协同作业方法，其特征在于，所述无人装载机还包括环境感知模块、姿态感知模块和中央控制模块，所述环境感知模块用于获取周边场景的实际情况；所述姿态感知模块用于获取无人装载机行走姿态和速度信息；所述中央控制模块用于获取各个模块的信息，中央控制模块中具有路径规划单元，路径规划单元规划出无人装载机作业路径。7.根据权利要求6所述的装载机地空协同作业方法，其特征在于，环境感知模块为对个并分别安装在无人装载机后车架的前侧、后侧以及车身的两侧；其中，无人装载机后车架前侧的环境感知模块包括激光雷达单元与图像感知单元，无人装载机后车架的后侧和左右两侧的安全感知模块由超声波雷达组成；图像感知单元用以实时获取周边的场景彩色图像，激光雷达单元用以获取景深信息，超声波雷达用于感知车身周围是否存在未知障碍物；各单元将所获取信息通过数据线传输至装载机机载中央控制模块内。8.根据权利要求1所述的装载机地空协同作业方法，其特征在于，无人机上配置有激光雷达、摄像头、gps 、位姿感知模块、机载控制模块和遥控器；所述激光雷达用于获取的三维点云信息，摄像头用于获取无人装载机的工作现场图像；gps 用于获取无人机的位置信息；机载控制模块与遥控器相连并用于对无人机进行飞行控制；位姿感知元件用以实时获取无人机的飞行姿态、速度和位置信息。

技术总结
本发明公开了一种装载机地空协同作业方法，涉及工程机械技术领域，其硬件包括装载机和无人机，经机载中央控制模块的图像处理单元处理后构建作业现场全局三维图；所构建的三维地图经装载机上安装的路径规划单元处理后，可构建装载机工作过程中最优工作路线；此外，安装在装载机上的环境感知模块获取地面视角的作业现场图，通过中央处理模块处理识别料堆中物料的种类与三维建模，并以识别结果作为模型输入量实现工作装置的智能控制。这种地空协同作业方法能够结合单目相机与激光雷达二者的优势，准确构建作业场地三维场景，此外融合陆域与空域双视角对场地的建模，可完整包含单视角视野盲区内的行人以及障碍物，为装载机的安全作业提供保障。全作业提供保障。全作业提供保障。


技术研发人员：姚宗伟 李昊旻 毕秋实 王永 涂鑫 李盟
受保护的技术使用者：吉林大学
技术研发日：2022.12.13
技术公布日：2023/4/17