基于深度学习的无人驾驶塔机控制方法与流程

1.本发明属于塔机控制技术领域，具体涉及基于深度学习的无人驾驶塔机控制方法。


背景技术：

2.随着科技的不断发展和工程建设的需求增加，无人驾驶塔机作为一种高效、自动化的工程机械设备，得到了广泛的应用。传统的无人驾驶塔机控制方法主要依赖于人工操作和传感器的使用，存在一些问题，如安全性、操作效率和能耗优化等方面的挑战。为了克服这些问题，近年来涌现出一些技术和方法，试图改善无人驾驶塔机的控制性能和自主性。
3.目前，针对无人驾驶塔机控制的现有技术主要集中在以下几个方面：传统遥控操作：传统的无人驾驶塔机主要通过人工遥控操作来实现，操作人员需要具备专业的技术和经验。这种方法存在操作依赖性强、操作效率低和安全风险高的问题。而且，在复杂的施工环境中，操作人员面临的压力和风险更大，容易出现误操作和事故。
4.传感器辅助定位：为了提高无人驾驶塔机的定位准确性，一些现有技术利用传感器，如全球定位系统（gps）、惯性导航系统（ins）和激光测距仪等，对塔机位置进行测量和定位。然而，这些传感器在复杂的施工环境中可能受到遮挡、多路径传播和信号干扰等问题的影响，导致定位误差较大，无法满足精准定位的要求。
5.路径规划算法：为了实现无人驾驶塔机的自主导航和路径规划，一些现有技术采用了传统的路径搜索算法，如dijkstra算法、a*算法等。然而，这些算法仅考虑了最短路径的计算，忽略了塔机的操作限制和环境约束。在实际施工场景中，塔机需要绕过障碍物、避免碰撞，并考虑到操作动作的合理性和能耗优化等因素，传统路径规划算法无法满足这些要求。
6.尽管已经有一些技术在无人驾驶塔机控制领域取得了一定的进展，但仍然存在一些问题和挑战。现有技术在安全性方面，对于障碍物的感知和定位仍然存在一定的局限性。传感器辅助定位技术虽然可以提供一定的定位准确性，但在复杂的施工环境中仍然容易受到干扰和误差的影响，导致定位不够精准。路径规划算法在考虑最短路径的同时，未能考虑到塔机的操作限制和环境约束，导致规划出的路径不够安全和高效。
7.此外，现有技术在操作效率和能耗优化方面也存在一些限制。传统的遥控操作依赖于操作人员的技能和经验，操作效率较低，并且容易出现误操作和事故。而且，在大型施工工地上，需要同时操作多台塔机，人工遥控操作的效率更是受到限制。现有的能耗优化方法也较为有限，缺乏针对塔机操作特点的专门优化策略，无法实现最佳的操作节能效果。


技术实现要素：

8.本发明的主要目的在于提供基于深度学习的无人驾驶塔机控制方法，具有高安全性和操作效率高的优点；本发明实现了精准定位、实现了自主导航和路径规划和实现了能耗优化，推动无人驾驶塔机技术的发展和应用。
9.为了解决上述问题，本发明的技术方案是这样实现的：基于深度学习的无人驾驶塔机控制方法，所述方法执行以下步骤：步骤1：以塔机的塔身所处位置作为塔机中心位置，围绕塔机中心位置，以塔机最大臂长为半径，以起重臂最高位置为顶面位置，以起重臂最低位置为底面位置，构建一个圆柱形区域作为周围环境区域；以塔机中心位置为中心，图像获取装置按照设定的周期间隔，旋转360度，获取周围环境区域的全景图像；步骤2：构建周围环境区域的空间坐标系，对全景图像进行图像识别和分析，以找到全景图像中的障碍物；对于每个障碍物，以障碍物的质心为圆心，以障碍物上距离圆心最短的点为半径，构建障碍物的区域球；步骤3：接收塔机任务指令，所述塔机任务指令至少包括：任务起点、任务终点和操作动作；基于任务起点和任务终点，进行塔机路径规划，具体包括：基于任务起点和任务终点，应用路径搜索算法，确定塔机的起重臂运动的最佳路径；在得到最佳路径后，判断最佳路径是否经过了区域球，若是，则重新确定最佳路径，直到最佳路径没有经过任何区域球，将此时的路径作为最终路径；步骤4：获取塔机运行数据；基于塔机运行数据、操作动作和最终路径，进行动作规划，具体包括：基于塔机运行数据，获得塔机姿态数据和起重臂位置数据；结合塔机姿态数据、起重臂位置数据、操作动作和最终路径，制定执行操作的动作序列，将该动作序列作为最终的控制命令，控制塔机完成本次任务操作。
10.进一步的，所述操作动作的种类包括：垂直运动、旋转和平移；所述塔机姿态数据至少包括：塔头相对于塔机底座的旋转角度、吊具的旋转角度和吊具的摆动角度；所述起重臂位置数据至少包括：起重臂实时长度、起重臂实时俯仰角度和起重臂实时相对于塔机底座的旋转角度。
11.进一步的，所述步骤3基于任务起点和任务终点，应用路径搜索算法，确定塔机的起重臂运动的最佳路径的方法包括：将周围环境区域定义为空间集合，所述空间集合包括节点集合和边集合；定义任务起点为和任务终点为；定义空间群体，所述空间群体中包括多个成员，每个成员代表一个候选解；设置迭代次数为，迭代计数器为，最佳路径为，以及最优适应度值为；对于每个成员，计算其适应度值；适应度值表示该成员到达终止节点的路径长度；初始时，将所有成员的适应度值设为无穷大，即；将起始节点的适应度值设为零，即；当迭代计数器小于时，执行以下步骤：对于每个成员，更新其位置和速度，以模拟成员的移动行为；这里的位置表示当前节点，速度表示路径搜索的方向；根据更新后的位置和速度，计算成员的新适应度值；如果小于当前适应度值，则使用如下公式更新适应度值和最佳路径：，；通过选择适应度值最小的成员，使用如下公式更新当前最优适应度值：
；增加迭代计数器；最佳路径即为从起始节点到终止节点的最短路径。
12.进一步的，在得到最佳路径后，若最佳路径经过了区域球，重新确定最佳路径的方法包括：从空间群体中删除该最佳路径对应的成员，重新进行最佳路径的计算。
13.进一步的， 所述步骤4包括：步骤4.1：将塔机整体划分为多个子部分，所述子部分包括：起重臂、塔头、塔身、旋转底座和配重块；步骤4.2：对于每个子部分，将其视为一个操作主体，为其分配三个操作动作，分别为：垂直运动、旋转和平移；以组成一个操作单元，所述操作单元包括：操作主体和操作动作；步骤4.3：获取塔机的历史运行数据，所述历史运行数据包括塔机的每个操作单元的操作主体在执行不同的操作动作时对应的能耗数据；所述操作动作对应的能耗数据定义为：操作主体在执行一个标准单位的操作动作时，对应的能量消耗数据；步骤4.4：基于历史运行数据，使用深度学习的方法，建立塔机操作能耗模型；步骤4.5：结合塔机姿态数据、起重臂位置数据、操作动作和最终路径，利用穷举的方式计算出能够完成本次任务的所有动作序列，使用太极操作能耗模型，计算每个动作序列的能耗值，将能耗值最低的动作序列作为完成本次任务的动作序列。
14.进一步的，在每个操作主体垂直运动或平移时，所述标准单位定义为：一米；在每个操作主体旋转时，所述标准单位定义为：一度。
15.进一步的，所述塔机操作能耗模型的使用如下公式进行表示：；其中，为能耗值，为每个子部分，即每个操作主体的权重系数，为每个操作主体执行的旋转操作对应的标准单位的个数，为每个操作主体执行的垂直运动或平移时对应的标准单位的个数；为每个操作主体执行一个标准单位的垂直运动或平移时的能量消耗数据；为每个操作主体执行一个标准单位的旋转时的能量消耗数据。
16.进一步的，所述图像获取装置按照设定的周期间隔，旋转360度，获取周围环境区域的全景图像后，还将对获取到的全景图像进行图像预处理；所述图像预处理过程包括：使用透视变换的方法对全景图像进行预处理。
17.进一步的，所述步骤2中构建周围环境区域的空间坐标系，对全景图像进行图像识别和分析，以找到全景图像中的障碍物的方法包括：将预处理后的全景图像转换为球面坐标系表示，使用全景图像分割算法对校正后的全景图像进行分割，得到初始的超像素区域，对每个超像素区域计算颜色特征；根据颜色特征的差异性和障碍物的特点，设定阈值来判断是否为障碍物区域；对被判定为障碍物的超像素区域进行合并，得到最终的障碍物区域。
18.进一步的，所述步骤2还包括：对障碍物区域进行边界检测，使用边缘检测算法提取障碍物的边界。
19.本发明的基于深度学习的无人驾驶塔机控制方法，具有以下有益效果：
提高安全性：无人驾驶塔机通常在复杂和危险的环境中操作，人工控制存在一定的风险和错误的可能性。本发明专利利用深度学习技术，通过对周围环境的感知和分析，能够准确地识别和定位障碍物，提前预警操作人员，并采取相应的安全措施，从而大大降低事故发生的概率，提高工作场所的安全性。
20.提升操作效率：传统的无人驾驶塔机控制方法通常需要人工干预，对操作人员的操作技能有一定的要求，并且操作效率较低。而本发明专利提出的基于深度学习的控制方法能够自动规划最佳路径和操作动作，减少人工干预的需求，并能够根据任务起点和终点，高效地规划塔机的起重臂运动路径，提高操作效率，节约时间和成本。
21.实现精准定位：本发明专利中，通过图像获取装置获取周围环境的全景图像，并利用图像识别和分析技术对障碍物进行定位和边界检测。这样可以精准地确定障碍物的位置和形状，为塔机的定位和操作提供准确的参考，避免与障碍物发生碰撞，实现精准定位。
22.实现动作规划和能耗优化：本发明专利中，通过获取塔机的运行数据和操作动作，利用深度学习建立塔机操作能耗模型，实现对塔机操作能耗的优化和规划。通过动作序列的计算和能耗模型的应用，可以找到能耗最低的动作序列，从而实现塔机操作的能耗优化。这有助于降低能源消耗、减少运营成本，并对环境保护产生积极影响。
附图说明
23.图1为本发明实施例提供的基于深度学习的无人驾驶塔机控制方法；图2为本发明实施例提供的基于深度学习的无人驾驶塔机控制方法构建的圆柱形的周围环境区域的俯视图；图3为本发明实施例提供的基于深度学习的无人驾驶塔机控制方法的塔机的起重臂最高位置和起重臂最低位置相对于塔身的分布示意图。
具体实施方式
24.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
25.以下分别进行详细说明。
26.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。
27.参考图1、图2和图3，基于深度学习的无人驾驶塔机控制方法，所述方法执行以下步骤：步骤1：以塔机的塔身所处位置作为塔机中心位置，围绕塔机中心位置，以塔机最大臂长为半径，以起重臂最高位置为顶面位置，以起重臂最低位置为底面位置，构建一个圆柱形区域作为周围环境区域；以塔机中心位置为中心，图像获取装置按照设定的周期间隔，
旋转360度，获取周围环境区域的全景图像；在实际应用中，可以使用激光雷达、摄像头或者其他传感器装置来获取全景图像，以便地感知塔机周围环境。
28.步骤2：构建周围环境区域的空间坐标系，对全景图像进行图像识别和分析，以找到全景图像中的障碍物；对于每个障碍物，以障碍物的质心为圆心，以障碍物上距离圆心最短的点为半径，构建障碍物的区域球；图像识别和分析过程中，可以使用深度学习模型来识别和分类不同类型的障碍物，例如建筑物、人员或其他物体，以更好地理解周围环境并采取相应的控制策略。
29.步骤3：接收塔机任务指令，所述塔机任务指令至少包括：任务起点、任务终点和操作动作；基于任务起点和任务终点，进行塔机路径规划，具体包括：基于任务起点和任务终点，应用路径搜索算法，确定塔机的起重臂运动的最佳路径；在得到最佳路径后，判断最佳路径是否经过了区域球，若是，则重新确定最佳路径，直到最佳路径没有经过任何区域球，将此时的路径作为最终路径；步骤4：获取塔机运行数据；基于塔机运行数据、操作动作和最终路径，进行动作规划，具体包括：基于塔机运行数据，获得塔机姿态数据和起重臂位置数据；结合塔机姿态数据、起重臂位置数据、操作动作和最终路径，制定执行操作的动作序列，将该动作序列作为最终的控制命令，控制塔机完成本次任务操作。
30.在本发明中，图像获取装置按照设定的周期间隔，旋转360度，获取周围环境区域的全景图像。这里的周期间隔为一个设定值，设定周期间隔的原因在于，周围环境区域是不断变化的，因此，通过周期性的获取图像，以更新周围环境区域，保持周围环境区域的实时性。
31.对于每一次获取到的周围环境区域的全景图像，都将构建周围环境区域的空间坐标系，对全景图像进行图像识别和分析，以找到全景图像中的障碍物；对于每个障碍物，以障碍物的质心为圆心，以障碍物上距离圆心最短的点为半径，构建障碍物的区域球。通过上述过程，可以使得障碍物的区域球的实时性更强，保证后续处理的准确率。
32.优选地，所述操作动作的种类包括：垂直运动、旋转和平移；所述塔机姿态数据至少包括：塔头相对于塔机底座的旋转角度、吊具的旋转角度和吊具的摆动角度；所述起重臂位置数据至少包括：起重臂实时长度、起重臂实时俯仰角度和起重臂实时相对于塔机底座的旋转角度。
33.垂直运动：塔机可以进行上升和下降运动，使吊具或工作平台在垂直方向上移动到所需的高度。这种运动可以实现塔机在垂直方向上对物体进行抓取、放置或举升。
34.旋转：塔机具有旋转功能，可以使塔身或吊具相对于塔机底座进行旋转运动。通过旋转，塔机可以改变工作方向，覆盖更广的工作区域，并对准目标位置进行精确操作。
35.平移：平移是指塔机的水平移动，使塔机整体在水平方向上进行移动。这种运动可以让塔机从一个位置移动到另一个位置，以适应不同的工作区域或执行特定的操作任务。
36.塔头相对于塔机底座的旋转角度：它指的是塔头（也称为回转台）相对于塔机底座的旋转角度。通过监测和控制塔头的旋转角度，可以改变塔机的工作方向和覆盖范围。
37.吊具的旋转角度：它表示吊具（如起重钩）相对于塔头的旋转角度。吊具的旋转角度可以调整吊具在水平平面上的方向，以便准确定位和操作目标物体。
38.吊具的摆动角度：它描述了吊具在垂直平面上的摆动角度。吊具的摆动角度可以调整吊具在垂直方向上的位置，以适应不同高度的物体操作或提升任务。
39.起重臂位置数据至少包括：起重臂实时长度、起重臂实时俯仰角度和起重臂实时相对于塔机底座的旋转角度。这些数据用于描述起重臂的状态和位置。起重臂实时长度：它表示起重臂的实际伸缩长度。起重臂实时俯仰角度：它描述了起重臂相对于水平方向的俯仰角度。通过控制起重臂的俯仰角度，可以调整吊具在垂直方向上的位置和高度。起重臂实时相对于塔机底座的旋转角度：它表示起重臂相对于塔机底座的旋转角度。通过控制起重臂的旋转角度，可以调整吊具在水平平面上的方向和位置。
40.优选地，所述步骤3基于任务起点和任务终点，应用路径搜索算法，确定塔机的起重臂运动的最佳路径的方法包括：将周围环境区域定义为空间集合，所述空间集合包括节点集合和边集合；定义任务起点为和任务终点为；定义空间群体，所述空间群体中包括多个成员，每个成员代表一个候选解；设置迭代次数为，迭代计数器为，最佳路径为，以及最优适应度值为；对于每个成员，计算其适应度值；适应度值表示该成员到达终止节点的路径长度；初始时，将所有成员的适应度值设为无穷大，即；将起始节点的适应度值设为零，即；当迭代计数器小于时，执行以下步骤：对于每个成员，更新其位置和速度，以模拟成员的移动行为；这里的位置表示当前节点，速度表示路径搜索的方向；根据更新后的位置和速度，计算成员的新适应度值；如果小于当前适应度值，则使用如下公式更新适应度值和最佳路径：，；通过选择适应度值最小的成员，使用如下公式更新当前最优适应度值：；增加迭代计数器；最佳路径即为从起始节点到终止节点的最短路径。
41.通过应用路径搜索算法，可以自动化地找到起始节点到终止节点的最佳路径，减少了人工规划路径的工作量。算法能够快速搜索空间中的可行路径，有效地提高了路径规划的效率。
42.利用全景图像来建模塔机周围的环境。通过全景图像的获取和分析，可以得到更全面、准确的环境信息，包括障碍物的位置和形状。相比传统的基于地图或栅格的环境建模，全景图像提供了更直观、高维度的环境感知数据。这种创新的环境建模方法使得路径搜索可以更好地适应复杂和动态的环境。
43.采用迭代搜索和适应度值的更新，使得塔机能够自主地探索最佳路径，并根据塔机的状态和任务要求进行动作规划。这种自主性和实时性使得塔机能够灵活应对不同任务场景，并根据环境变化和实时需求进行决策和调整。
44.优选地，在得到最佳路径后，若最佳路径经过了区域球，重新确定最佳路径的方法
包括：从空间群体中删除该最佳路径对应的成员，重新进行最佳路径的计算。
45.当最佳路径经过了区域球时，重新确定最佳路径的方法是从空间群体中删除该最佳路径对应的成员，并重新进行最佳路径的计算。这样的处理方式可以确保最终选择的路径不经过任何区域球，从而避免与障碍物发生碰撞。
46.删除最佳路径对应的成员是为了避免重复搜索相同的路径。通过从空间群体中删除这些成员，可以使路径搜索算法集中精力寻找其他可能的路径解决方案。随后，重新进行最佳路径的计算意味着在剩余的空间群体成员中，再次使用路径搜索算法来寻找新的最佳路径。这个过程会基于任务起点和终点重新计算路径，并根据路径的长度和其他适应度评估指标确定新的最佳路径。通过反复删除经过区域球的路径成员并重新计算最佳路径，算法可以逐渐收敛于不经过任何区域球的最优路径。这种方法确保了塔机在路径规划过程中遵循安全约束，避免与障碍物发生碰撞，同时达到任务起点和终点。重新确定最佳路径的过程可能需要进行多次迭代，直到找到不经过任何区域球的最终路径。这种迭代的方式能够在考虑安全性的同时，寻找到较为优化的路径解决方案。
47.优选地， 所述步骤4包括：步骤4.1：将塔机整体划分为多个子部分，所述子部分包括：起重臂、塔头、塔身、旋转底座和配重块；步骤4.2：对于每个子部分，将其视为一个操作主体，为其分配三个操作动作，分别为：垂直运动、旋转和平移；以组成一个操作单元，所述操作单元包括：操作主体和操作动作；步骤4.3：获取塔机的历史运行数据，所述历史运行数据包括塔机的每个操作单元的操作主体在执行不同的操作动作时对应的能耗数据；所述操作动作对应的能耗数据定义为：操作主体在执行一个标准单位的操作动作时，对应的能量消耗数据；步骤4.4：基于历史运行数据，使用深度学习的方法，建立塔机操作能耗模型；步骤4.5：结合塔机姿态数据、起重臂位置数据、操作动作和最终路径，利用穷举的方式计算出能够完成本次任务的所有动作序列，使用太极操作能耗模型，计算每个动作序列的能耗值，将能耗值最低的动作序列作为完成本次任务的动作序列。
48.在考虑塔机不同部分的操作和能耗情况的基础上，通过深度学习技术建立操作能耗模型，并在计算能耗最低的动作序列时综合考虑塔机姿态、位置和路径等因素。这种综合优化能够使塔机在执行任务时具备更高的能源效率和操作效率。
49.优选地，在每个操作主体垂直运动或平移时，所述标准单位定义为：一米；在每个操作主体旋转时，所述标准单位定义为：一度。
50.优选地，所述塔机操作能耗模型的使用如下公式进行表示：；其中，为能耗值，为每个子部分，即每个操作主体的权重系数，为每个操作主体执行的旋转操作对应的标准单位的个数，为每个操作主体执行的垂直运动或平移时对应的标准单位的个数；为每个操作主体执行一个标准单位的垂直运动或平移时的能量消耗数据；为每个操作主体执行一个标准单位的旋转时的能量消耗数据。
51.通过这个能耗模型，可以综合考虑塔机不同操作主体在执行旋转、垂直运动或平移时的能耗情况。旋转操作的能耗取决于旋转角度的单位个数，垂直运动或平移操作的能耗取决于单位距离的个数。每个操作主体的能耗值是通过将每个操作主体执行的操作对应的标准单位数与能量消耗数据相乘，然后加总得到的。使用指数函数和对数函数的组合可以使能耗模型的数值范围适应实际情况，并提供更好的能耗值比较和优化。
52.这样的能耗模型可以在考虑不同操作主体的能耗特性的基础上，计算出执行特定动作序列时的能耗值，并根据能耗值最小化的原则选择能耗最低的动作序列。通过优化能耗模型和路径规划，可以实现更高效、节能的塔机操作。
53.优选地，所述图像获取装置按照设定的周期间隔，旋转360度，获取周围环境区域的全景图像后，还将对获取到的全景图像进行图像预处理；所述图像预处理过程包括：使用透视变换的方法对全景图像进行预处理。
54.透视变换是一种图像处理技术，用于将图像从一种视角或投影方式转换为另一种视角或投影方式。在该方法中，透视变换被应用于全景图像的预处理，可能出于以下目的：透视校正：全景图像可能受到摄像机拍摄时的视角和透视变形的影响，通过透视变换可以对图像进行校正，使其具有更准确和可靠的几何结构。透视校正可以提高后续图像处理和分析的准确性。
55.视角转换：透视变换还可以用于将全景图像从鸟瞰视角转换为其他视角，以满足特定的需求。例如，将全景图像转换为俯视图或斜视图，以更好地理解塔机周围环境的几何关系和障碍物的分布。
56.透视变换的具体步骤通常涉及选择适当的变换矩阵，通过映射像素的坐标来实现图像的变换。这些变换矩阵根据全景图像的几何特征和变换需求来确定。透视变换可以用于校正图像的形状、角度和比例，以提供更准确和一致的输入数据供后续处理使用。
57.通过图像预处理中的透视变换，可以改善全景图像的质量和几何形状，为后续的图像识别、障碍物检测和路径规划等步骤提供更可靠的输入数据。这有助于提高无人驾驶塔机的感知和决策能力，增强塔机在复杂环境中的自主导航和任务执行能力。
58.优选地，所述步骤2中构建周围环境区域的空间坐标系，对全景图像进行图像识别和分析，以找到全景图像中的障碍物的方法包括：将预处理后的全景图像转换为球面坐标系表示，使用全景图像分割算法对校正后的全景图像进行分割，得到初始的超像素区域，对每个超像素区域计算颜色特征；根据颜色特征的差异性和障碍物的特点，设定阈值来判断是否为障碍物区域；对被判定为障碍物的超像素区域进行合并，得到最终的障碍物区域。
59.将预处理后的全景图像转换为球面坐标系表示：将预处理后的全景图像从平面图像转换为球面坐标系，以更准确地反映真实环境的几何结构。这种转换考虑了球面的投影性质，使得后续的图像处理和分析更加精确。
60.使用全景图像分割算法对校正后的全景图像进行分割：应用全景图像分割算法对校正后的图像进行分割，将图像分割为多个超像素区域。全景图像分割旨在将图像分割成具有一定语义和连续性的区域，为障碍物的检测和识别提供基础。
61.对每个超像素区域计算颜色特征：对每个超像素区域进行颜色特征的计算。颜色特征可以通过提取超像素区域内像素的颜色信息，如颜色直方图、颜色均值等来表示。这些特征可以用于区分障碍物和背景，帮助识别和定位障碍物。
62.设定阈值来判断是否为障碍物区域：根据颜色特征的差异性和障碍物的特点，设定合适的阈值来判断每个超像素区域是否为障碍物区域。通过比较超像素区域的颜色特征与阈值进行对比，可以将可能的障碍物区域进行初步筛选。
63.对被判定为障碍物的超像素区域进行合并，得到最终的障碍物区域：对被判定为障碍物的超像素区域进行合并，将相邻的障碍物区域连接成一个更大的区域。这样可以得到最终的障碍物区域，表示全景图像中存在的障碍物。
64.优选地，所述步骤2还包括：对障碍物区域进行边界检测，使用边缘检测算法提取障碍物的边界。
65.多尺度高斯滤波：对障碍物区域进行一系列不同尺度的高斯滤波，得到多个尺度空间上的图像：；其中，表示标准差为的高斯滤波器，表示在尺度 s 上进行高斯滤波后的图像。计算梯度幅值：对每个尺度上的图像进行算子运算，计算水平和垂直梯度分量，然后计算梯度幅值图像：；其中，和分别是算子的水平和垂直梯度算子。尺度空间极大值检测：在尺度空间上检测极大值，找到每个像素点在不同尺度上的局部最大值：；其中，表示在不同尺度上的梯度幅值图像的极大值图像。非极大值抑制：对进行非极大值抑制，将梯度幅值图像中的非极大值点抑制为，只保留局部最大值点。阈值分割：根据设定的阈值，将梯度幅值图像二值化，得到边缘图像：
ꢀꢀ
；其中表示高阈值，表示低阈值。
66.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
67.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
68.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目
的。
69.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
70.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
71.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.基于深度学习的无人驾驶塔机控制方法，其特征在于，所述方法执行以下步骤：步骤1：以塔机的塔身所处位置作为塔机中心位置，围绕塔机中心位置，以塔机最大臂长为半径，以起重臂最高位置为顶面位置，以起重臂最低位置为底面位置，构建一个圆柱形区域作为周围环境区域；以塔机中心位置为中心，图像获取装置按照设定的周期间隔，旋转360度，获取周围环境区域的全景图像；步骤2：构建周围环境区域的空间坐标系，对全景图像进行图像识别和分析，以找到全景图像中的障碍物；对于每个障碍物，以障碍物的质心为圆心，以障碍物上距离圆心最短的点为半径，构建障碍物的区域球；步骤3：接收塔机任务指令，所述塔机任务指令至少包括：任务起点、任务终点和操作动作；基于任务起点和任务终点，进行塔机路径规划，具体包括：基于任务起点和任务终点，应用路径搜索算法，确定塔机的起重臂运动的最佳路径；在得到最佳路径后，判断最佳路径是否经过了区域球，若是，则重新确定最佳路径，直到最佳路径没有经过任何区域球，将此时的路径作为最终路径；步骤4：获取塔机运行数据；基于塔机运行数据、操作动作和最终路径，进行动作规划，具体包括：基于塔机运行数据，获得塔机姿态数据和起重臂位置数据；结合塔机姿态数据、起重臂位置数据、操作动作和最终路径，制定执行操作的动作序列，将该动作序列作为最终的控制命令，控制塔机完成本次任务操作。2.如权利要求1所述的基于深度学习的无人驾驶塔机控制方法，其特征在于，所述操作动作的种类包括：垂直运动、旋转和平移；所述塔机姿态数据至少包括：塔头相对于塔机底座的旋转角度、吊具的旋转角度和吊具的摆动角度；所述起重臂位置数据至少包括：起重臂实时长度、起重臂实时俯仰角度和起重臂实时相对于塔机底座的旋转角度。3.如权利要求2所述的基于深度学习的无人驾驶塔机控制方法，其特征在于，所述步骤3基于任务起点和任务终点，应用路径搜索算法，确定塔机的起重臂运动的最佳路径的方法包括：将周围环境区域定义为空间集合，所述空间集合包括节点集合和边集合；定义任务起点为和任务终点为；定义空间群体，所述空间群体中包括多个成员，每个成员代表一个候选解；设置迭代次数为，迭代计数器为，最佳路径为，以及最优适应度值为；对于每个成员，计算其适应度值；适应度值表示该成员到达终止节点的路径长度；初始时，将所有成员的适应度值设为无穷大，即；将起始节点的适应度值设为零，即；当迭代计数器小于时，执行以下步骤：对于每个成员，更新其位置和速度，以模拟成员的移动行为；这里的位置表示当前节点，速度表示路径搜索的方向；根据更新后的位置和速度，计算成员的新适应度值；如果小于当前适应度值，则使用如下公式更新适应度值和最佳路径：，；通过选择适应度值最小的成员，使用如下公式更新当前最优适应度值：
；增加迭代计数器；最佳路径即为从起始节点到终止节点的最短路径。4.如权利要求3所述的基于深度学习的无人驾驶塔机控制方法，其特征在于，在得到最佳路径后，若最佳路径经过了区域球，重新确定最佳路径的方法包括：从空间群体中删除该最佳路径对应的成员，重新进行最佳路径的计算。5.如权利要求4所述的基于深度学习的无人驾驶塔机控制方法，其特征在于， 所述步骤4包括：步骤4.1：将塔机整体划分为多个子部分，所述子部分包括：起重臂、塔头、塔身、旋转底座和配重块；步骤4.2：对于每个子部分，将其视为一个操作主体，为其分配三个操作动作，分别为：垂直运动、旋转和平移；以组成一个操作单元，所述操作单元包括：操作主体和操作动作；步骤4.3：获取塔机的历史运行数据，所述历史运行数据包括塔机的每个操作单元的操作主体在执行不同的操作动作时对应的能耗数据；所述操作动作对应的能耗数据定义为：操作主体在执行一个标准单位的操作动作时，对应的能量消耗数据；步骤4.4：基于历史运行数据，使用深度学习的方法，建立塔机操作能耗模型；步骤4.5：结合塔机姿态数据、起重臂位置数据、操作动作和最终路径，利用穷举的方式计算出能够完成本次任务的所有动作序列，使用太极操作能耗模型，计算每个动作序列的能耗值，将能耗值最低的动作序列作为完成本次任务的动作序列。6.如权利要求5所述的基于深度学习的无人驾驶塔机控制方法，其特征在于，在每个操作主体垂直运动或平移时，所述标准单位定义为：一米；在每个操作主体旋转时，所述标准单位定义为：一度。7.如权利要求6所述的基于深度学习的无人驾驶塔机控制方法，其特征在于，所述塔机操作能耗模型的使用如下公式进行表示：；其中，为能耗值，为每个子部分，即每个操作主体的权重系数，为每个操作主体执行的旋转操作对应的标准单位的个数，为每个操作主体执行的垂直运动或平移时对应的标准单位的个数；为每个操作主体执行一个标准单位的垂直运动或平移时的能量消耗数据；为每个操作主体执行一个标准单位的旋转时的能量消耗数据。8.如权利要求1所述的基于深度学习的无人驾驶塔机控制方法，其特征在于，所述图像获取装置按照设定的周期间隔，旋转360度，获取周围环境区域的全景图像后，还将对获取到的全景图像进行图像预处理；图像预处理过程包括：使用透视变换的方法对全景图像进行预处理。9.如权利要求8所述的基于深度学习的无人驾驶塔机控制方法，其特征在于，所述步骤2中构建周围环境区域的空间坐标系，对全景图像进行图像识别和分析，以找到全景图像中的障碍物的方法包括：将预处理后的全景图像转换为球面坐标系表示，使用全景图像分割算法对校正后的全景图像进行分割，得到初始的超像素区域，对每个超像素区域计算颜色
特征；根据颜色特征的差异性和障碍物的特点，设定阈值来判断是否为障碍物区域；对被判定为障碍物的超像素区域进行合并，得到最终的障碍物区域。10.如权利要求9所述的基于深度学习的无人驾驶塔机控制方法，其特征在于，所述步骤2还包括：对障碍物区域进行边界检测，使用边缘检测算法提取障碍物的边界。

技术总结
本发明涉及塔机控制技术领域，更进一步地，涉及基于深度学习的无人驾驶塔机控制方法。所述方法执行以下步骤：步骤1：获取周围环境区域的全景图像；步骤2：构建周围环境区域的空间坐标系，构建障碍物的区域球；步骤3：接收塔机任务指令，应用路径搜索算法，确定塔机的起重臂运动的最佳路径；在得到最佳路径后，判断最佳路径是否经过了区域球，若是，则重新确定最佳路径，直到最佳路径没有经过任何区域球，将此时的路径作为最终路径；步骤4：基于塔机运行数据控制塔机完成本次任务操作。本发明实现了精准定位、实现了自主导航和路径规划，实现了能耗优化，推动无人驾驶塔机技术的发展和应用。和应用。和应用。


技术研发人员：阮辉华 何顺雄 刘顺利 孙兆帅 吴元章 张正嵩 张旭日 李洪鹏 李茂
受保护的技术使用者：山东中建众力设备租赁有限公司
技术研发日：2023.07.14
技术公布日：2023/8/13