一种基于轻量模型的软体机械臂自由眼系统目标追踪方法与流程

1.本发明涉及机械臂目标追踪技术领域，具体涉及一种基于轻量模型的软体机械臂自由眼系统目标追踪方法。


背景技术：

2.在地铁隧道建设中，经常会发生不同形式和不同程度的隧道与地下工程灾害，因此，对施工期和运营期的隧道进行高效的检测、监测和维护变得尤为重要。运营期地铁隧道的日常巡检主要包括对衬砌表观损伤(裂缝、渗漏、剥落)、隧道结构变形、接触网及钢轨的检测。但目前的日常巡检任务主要人工来完成，而人工多以主观经验判断，容易错检、漏检。而且传统的人工巡检工作效率低、成本高、风险大。
3.目前除了传统的借助依靠人工进行巡检之外，还可以通过智能巡检车执行巡检任务，但现有的利用智能巡检车进行巡检任务时，需要通过安装在智能巡检车上的机械臂顶端的摄像头识别目标，然后调节机械臂对识别的目标进行追踪。
4.在对目标进行识别的过程中，可以利用rfbnet模型对隧道壁上的目标进行识别，但是有些需要巡检的目标偏小，传统的rfbnet模型的识别效果并不好，会导致漏检和错检的情况，同时，传统的rfbnet模型还存在识别速度慢的问题；另外，在检测到目标后，需要调节机械臂使得安装在机械臂上的摄像头与识别到的目标正对，在调节机械臂的过程中，利用传统的pid控制算法机械臂需要调节的量时，并未考虑其他因素对于机械臂调节的影响，因此会有一定的偏差出现，导致对于机械臂的调节的误差变大，使得目标追踪不准确。


技术实现要素：

5.为了解决上述技术问题，本发明的目的在于提供一种基于轻量模型的软体机械臂自由眼系统目标追踪方法，所采用的技术方案具体如下：
6.本发明一个实施例提供了一种基于轻量模型的软体机械臂自由眼系统目标追踪方法：构建目标识别模型，替换目标识别模型的骨干网络和设计损失函数，获得优化目标识别模型；
7.按照时序获得隧道内各帧图像，将各帧图像输入优化目标识别模型，输出各帧图像中每个目标的坐标；
8.基于第一帧和第二帧图像中所有目标的坐标并利用跟踪模型对每个目标进行跟踪，被跟踪到的目标记为跟踪目标，获取各跟踪目标的中心坐标；
9.任选一个跟踪目标，根据该跟踪目标中心坐标和当前帧图像的中心点坐标获取坐标偏差；设计控制函数，利用控制函数基于所述坐标偏差计算软体机械臂的旋转角度和弯曲角度；
10.根据所述旋转角度和弯曲角度调节软体机械臂的预设数量的钢丝绳的变化量，根据所述变化量调节软体机械臂使得软体机械臂顶端的摄像头的中心点正对跟踪目标的中心点。
11.优选地，替换目标识别模型的骨干网络，包括：
12.利用第一轻量级网络替换目标识别模型中的骨干网络；并删除第一轻量级网络中的第一个最大池化层。
13.优选地，设计损失函数，包括：
14.设计置信度损失和位置损失，置信度损失和位置损失组成损失函数，损失函数为：
[0015][0016]
其中，l(x,c,l,g)表示损失函数；n表示匹配到默认框的数量；x表示输入样本；c表示置信度；l表示预测框；g表示真实框；α表示分类和回归的权重系数；
[0017]
置信度损失为：
[0018][0019]
其中l
conf
(x,c)表示置信度损失；表示第i个预测框预测类别p的概率值；表示第i个预测框预测类别p的置信度预测值；表示第i个预测框和类别p第j个真实框的匹配值，i表示预测框序号，j表示真实框序号，p表示类别序号；pos表示正样本，neg表示负样本；ω
p
表示类别p的权重，β表示正负样本之间的权重系数；
[0020]
位置损失为：
[0021][0022]
其中，l
loc
(x,l,g)表示位置损失；(x,l,g)表示位置损失；(x,l,g)表示位置损失；表示第i个预测框的中心点的横坐标，表示第i个预测框的中心点的纵坐标；表示第j个真实框的中心点的横坐标，表示j个真实框的中心点的纵坐标；表示第j个真实框的中心点的横坐标的编码值，表示j个真实框的中心点的纵坐标的编码值；表示第i个预测框的宽，表示第i个预测框的高；表示第j个真实框的宽，表示第j个真实框的高；表示第j个真实框的宽的编码值，表示第j个真实框的高的编码值；表示第i个先验框的宽，表示第i个先验框的高。
[0023]
优选地，优化目标识别模型，还包括：
[0024]
将目标识别模型的iou(intersection over union)替换为giou(generalized intersection over union)，优化目标识别模型中为giou。
[0025]
优选地，获取各跟踪目标的中心坐标，包括：
[0026]
将目标识别后的第一帧图像和第二帧图像输入跟踪模型，根据第一帧图像中识别到的目标初始化并创建跟踪器，并对所有目标标注id；
[0027]
根据第二帧图像中所有目标的坐标计算跟踪器所有目标与第二帧图像中识别到的目标的iou，并得到能够匹配到目标的所有目标中各目标的iou最大的唯一匹配，记为跟踪匹配对；利用跟踪匹配对中属于第二帧图像中目标更新卡尔曼滤波器，获取跟踪目标，并获取各跟踪目标的中心坐标。
[0028]
优选地，设计控制函数，利用控制函数基于所述坐标偏差计算软体机械臂的旋转角度和弯曲角度，包括：
[0029][0030]
其中u(t)表示控制函数；e(t)表示一个维度上跟踪目标的中心与当前帧的图像中心点的坐标偏差；t表示离散的时间；k
p
、ki、kd、kg和kf分别为e(t)的比例参数、积分参数、微分参数、正弦参数和幂次参数；
[0031]
将坐标偏差带入控制函数，获得软体机械臂的旋转角度和弯曲角度。
[0032]
优选地，根据所述旋转角度和弯曲角度调节软体机械臂的预设数量的钢丝绳的变化量，包括：
[0033]
所述软体机械臂采用欠驱绳驱方式，利用预设数量的钢丝绳控制所有软体机械臂所有关节，关节点处与软轴固定，钢丝绳以软轴为中心成90
°
间隔分布；
[0034]
利用所述旋转角度和弯曲角度计算预设数量的钢丝绳的变化量，具体为：
[0035][0036]
其中，l1、l2、l3和l4分别表示第一根钢丝绳、第二根钢丝绳、第三根钢丝绳和第四根钢丝绳的变化量；l0表示软体机械臂在直立状态下，两根钢丝绳的总长度；n表示中间节点数；表示每个节点的弯曲角度，tilt表示弯曲角度；h0表示相邻的两个节点之间的距离；的距离；表示旋转角度，d表示直立状态下两根绳索之间的距离。
[0037]
优选地，按照时序获得隧道内各帧图像，还包括：
[0038]
获取软体机械臂初始的旋转角度，根据所述初始的旋转角度对隧道内各帧图像进行处理，得到每帧隧道内图像的正立图像。
[0039]
本发明实施例至少具有如下有益效果：本发明构建了目标识别模型，目标识别模
型为传统的rfbnet模型，将目标识别模型中的骨干网络进行了替换，使得目标识别模型的骨干网络变得更加轻量级，提高了对于目标的识别速度，同时设计了损失函数，利用设计的损失函数能够大幅度的提高对于目标识别的准确性，本发明中优化目标识别模型能够在提高识别速度的同时，保证对于目标识别的准确性；进一步的，利用跟踪模型获取到跟踪目标的中心坐标，并基于跟踪目标的中心坐标获取坐标偏差，基于坐标偏差对软体机械臂进行调节使得安装在软体机械臂顶端的摄像头能够对准识别出的目标，在调节过程中，设计控制函数，并利用控制函数基于坐标偏差计算旋转角度和弯曲角度，设计的控制函数考虑了重力因素和软体机械臂的钢丝绳的弹力因素，因此根据坐标偏差利用设计好的控制函数能够更加准确的计算出软体机械臂的旋转角度和弯曲角度，然后根据软体机械臂的旋转角度和弯曲角度来计算软体机械臂调节预设数量的钢丝绳的变化量，根据所述变化量调节软体机械臂使得软体机械臂顶端的摄像头的中心点正对跟踪目标的中心点，能够提高对目标跟踪的准确性，并能够更加清晰的拍摄识别到的目标的图像。
附图说明
[0040]
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0041]
图1为本发明实施例提供的一种基于轻量模型的软体机械臂自由眼系统目标追踪方法；
[0042]
图2为本发明实施例提供的目标跟踪流程图；
[0043]
图3为本发明实施例提供的软体机械臂结构示意图；
[0044]
图4为本发明实施例提供的软体机械臂绳驱示意图；
[0045]
图5为本发明实施例提供的软体机械臂驱动时的几何关系示意图；
[0046]
图6为本发明实施例提供的软体机械臂驱动时钢丝绳的几何关系示意图；
[0047]
图7为本发明实施例提供的优化目标识别模型结构示意图。
具体实施方式
[0048]
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于轻量模型的软体机械臂自由眼系统目标追踪方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
[0049]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
[0050]
下面结合附图具体的说明本发明所提供的一种基于轻量模型的软体机械臂自由眼系统目标追踪方法的具体方案。
[0051]
实施例：
[0052]
本发明的主要应用场景为：在对地铁隧道的建设中，经常会发生不同形式和不同
程度的隧道与地下工程灾害，因此需要通过对隧道的巡检，来发现隧道内的损伤，包括衬砌表观损伤(裂缝、渗漏、剥落)、隧道结构变形，其中还需要对接触网以及钢轨进行巡检，在巡检过程中，在识别出的目标后，需要进一步的调节机械臂对识别出的目标进行追踪，使得安装在机械臂顶端的摄像头对准识别出的目标，进行拍照得到质量更好的图像，然后进行进一步的分析。
[0053]
同时，现有的智能巡检车上搭载的机械臂多采用的是六轴全驱动的刚性机械臂，这导致智能巡检车的重量非常重，当智能巡检车的重量较重时，不便于携带，同时在更换其轨道线路时，也有一定的影响，这会对地铁列车的正常运行造成一定的影响；因此智能巡检车上需要搭载的自由眼机械臂需要重量轻、结构简单，降低智能巡检车的整体质量，使智能巡检车为轻量化巡检车。
[0054]
本发明中智能巡检车上搭载的机械臂为软体机械臂，软体机械臂都是通过绳驱的。通过钢丝绳驱动机械臂的转动，调整机械臂的姿态。
[0055]
请参阅图1，其示出了本发明实施例提供的一种基于轻量模型的软体机械臂自由眼系统目标追踪方法的方法流程图，该方法包括以下步骤：
[0056]
步骤s1：构建目标识别模型，替换目标识别模型的骨干网络和设计损失函数，获得优化目标识别模型。
[0057]
对于隧道内的衬砌表观损伤(裂缝、渗漏、剥落)、隧道结构变形、接触网及钢轨等，都是巡检车在巡检过程中需要识别的目标，因此需要对这些目标进行识别，然后再调节软体机械臂对这些目标进行跟踪。
[0058]
进一步的，构建目标识别模型，本发明实施例中构建的目标识别模型为rfbnet模型，但传统的rfbnet模型存在着识别速度慢和识别目标框不精确的问题，因此需要对目标识别模型进行优化。在本发明中利用第一轻量级网络替换目标识别模型中的骨干网络，也既是rfbnet模型中的骨干网络，其中第一轻量级网络为shufflenet v2网络，替换之后，在提取特征时，可以获得一系列分辨率低、接受域增加的特征图。
[0059]
其中替换后的骨干网络是由四个阶段组成的，分别为：shufflenet v2网络的conv1、stage2、stage3和stage4，同时需要删除第一轻量级网络中的第一个最大池化层，也既是删除shufflenet v2网络的第一个最大池化层，这是由于最大池化操作会破坏接受域。
[0060]
在替换了骨干网络后，在第一轻量级网络中对于图像的处理的过程具体为：在conv1中，对输入图像应用3
×
3的卷积层，步幅为2，将输入大小减小2倍。stage2、stage3和stage4采用多个重复单元进行。在conv1之后，执行了包含多个单元的三个阶段。stage2包含1个shufflenet v2 block(b)和3个shufflenet v2 block(a)，stage3包含1个shufflenet v2 block(b)和7个shufflenet v2 block(a)，stage4包含1个shufflenet v2 block(b)和3个shufflenet v2block(a)。从conv1到stage4，输入图像的大小有16倍的降采样。
[0061]
为了从不同大小的不同特征图中检测对象，使用骨干网络的stage3和stage4，提取6层特征，其中特征图大小分别为40
×
40和20
×
20。在stage4之后，两个rfb模块特征图大小分别为10
×
10和5
×
5。最后，使用额外层的conv10_2和conv11_2分别作为3
×
3和1
×
1的特征提取层。至此可以提取到输入的图像的特征。其中优化目标识别模型的结构如图7所示，从图7中可以看出其骨干网络被替换为了第一轻量级网络。
[0062]
进一步的，为了使目标识别模型识别目标的边界框更加准确，将rfbnet模型中的iou(intersection over union)替换为giou(generalized intersection over union)，作为预测边界框正负样本选择标准的方法，可以改善边界框的预测位置，giou是对iou的改进，giou在一定程度上考虑了偏移角、真实边界框的距离，并预测了边界框。
[0063]
同时为了对目标识别模型进行进一步的优化，还需要设计损失函数，在隧道巡检时，巡检时有些目标偏小且不易与隧道衬砌区分，造成目标漏检、分类错误和目标位置不准确等问题，因此需要设计一种损失函数，其表达式为：
[0064]
损失函数为：
[0065][0066]
其中，l(x,c,l,g)表示损失函数；n表示匹配到默认框的数量；x表示输入样本；c表示置信度；l表示预测框；g表示真实框；α表示分类和回归的权重系数；
[0067]
其中损失函数是由置信度损失和位置损失共同组成的，置信度损失为l
conf
(x,c)，设计置信度损失是为了使得巡检目标与隧道衬砌更易区分，解决巡检目标的各类样本数目差距大的问题，则置信度损失具体为：
[0068][0069]
其中l
conf
(x,c)表示置信度损失；表示第i个预测框预测类别p的概率值；表示第i个预测框预测类别p的置信度预测值；表示第i个预测框和类别p第j个真实框的匹配值，i表示预测框序号，j表示真实框序号，p表示类别序号；pos表示正样本，neg表示负样本；ω
p
表示类别p的权重，β表示正负样本之间的权重系数；
[0070]
进一步的，设计位置损失是为了对隧道中的小目标识别的更加准确，使小目标框对误差更敏感，其中位置损失具体为：
[0071][0072]
其中，l
loc
(x,l,g)表示位置损失；(x,l,g)表示位置损失；(x,l,g)表示位置损失；表示第i个预测框的中心点的横坐标，表示第i个预测框的中心点的纵坐标；表示第j个真实框的中心点的横坐标，表示j个真实框的中心点的纵坐标；表示第j个真实框的中心点的横坐标的编码值，表示j个真实框的中心点的纵坐标的编码值；表示第i个预测框的宽，表示
第i个预测框的高；表示第j个真实框的宽，表示第j个真实框的高；表示第j个真实框的宽的编码值，表示第j个真实框的高的编码值；表示第i个先验框的宽，表示第i个先验框的高。
[0073]
至此，对目标识别模型的优化完成，获得优化目标检测模型。
[0074]
步骤s2，按照时序获得隧道内各帧图像，将各帧图像输入优化目标识别模型，输出各帧图像中每个目标的坐标。
[0075]
在进行目标追踪的过程中，目标的位置和状态是随着时间的变化，因此需要按照时序获取隧道内各帧图像，利用安装在软体机械臂顶端的摄像头获取图像，因为软体机械臂一直处在旋转的过程当中，因此拍摄的图像可能不是正立图像，在得到摄像头拍摄的图像后，需要对图像进行进一步的处理，使其成为正立图像。其中本发明中获取的隧道内的图像为bgr图像。
[0076]
获取软体机械臂此时的旋转角度，对摄像头拍摄到的各帧图像进行裁剪和旋转得到正立的图像，然后还需要将正立后的图像转化为rgb图像，同时对图像进行缩放，优选地，本发明实施例中图像缩放后的尺寸为300*300，其中本发明实施例中对图像的颜色空间的转换以及缩放都是利用opencv完成的，至此完成了对隧道内图像的处理，后续对于图像的分析都是基于处理后的各帧图像进行分析的。
[0077]
将处理后的各帧图像输入优化目标识别模型，输出各帧图像中每个目标的坐标。需要说明的是，图像中识别到的目标为巡检所需要的识别的目标，同时本发明实施例中对于目标识别模型的优化，使得优化目标识别模型识别的精确性和实时性达到了有效平衡，同时在后续调节软体机械臂来追踪目标的速度同样会提升，优化目标识别模型相较于未进行修改的目标识别模型，在测试集上的检测精度map从0.733上升到0.803。
[0078]
步骤s3，基于第一帧和第二帧图像中所有目标的坐标并利用跟踪模型对每个目标进行跟踪，被跟踪到的目标记为跟踪目标，获取各跟踪目标的中心坐标。
[0079]
在获取了每一帧图像中各目标的坐标后需要利用跟踪模型对目标进行跟踪，优选地，本发明实施例中的跟踪模型为sort模型，实施者还可以根据实际情况选择其他跟踪算法进行目标跟踪。同时，本发明实施例以相邻的两帧图像中识别到的目标的跟踪为例进行说明。
[0080]
具体的，将目标识别后的第一帧图像和第二帧图像输入跟踪模型，根据第一帧图像中识别到的目标初始化并创建跟踪器，并对所有目标标注id，标注id的目的是为了方便对目标进行跟踪；然后通过得到的第一帧图像中目标的坐标和卡尔曼滤波器获得第一帧图像中目标产生的状态预测和协方差预测；再计算跟踪器中所有目标状态与第二帧图像中识别到的目标的iou，通过匈牙利算法得到iou最大的唯一匹配，需要说明的是，iou最大的唯一匹配指的是能够匹配到目标的所有目标中各目标的iou最大的唯一匹配，例如，第一帧图像中一个目标匹配到了多个第二帧的目标，只选择iou最大的那个匹配目标，因此可以匹配到目标的第一帧图像中的目标都会得到一个来自第二帧图像中目标iou最大的唯一匹配，得到的匹配记为跟踪匹配对，跟踪匹配对中一个目标来自第一帧图像，一个目标来自第二帧图像。
[0081]
跟踪匹配对中的属于第一帧图像和第二帧图像的目标都为被跟踪到的目标，最后
利用跟踪匹配对中属于第二帧图像中的目标更新卡尔曼滤波器，计算卡尔曼增益，状态更新值和协方差更新值，将状态更新值作为第二帧的跟踪目标，由此可以得到每个跟踪匹配对对应的跟踪目标，最后获取各跟踪目标的id和中心坐标。
[0082]
步骤s4，任选一个跟踪目标，根据该跟踪目标中心坐标和当前帧图像的中心点坐标获取坐标偏差；设计控制函数，利用控制函数基于所述坐标偏差计算软体机械臂的旋转角度和弯曲角度。
[0083]
由于跟踪的目标有多个，因此软体机械壁自由眼系统需要随机挑选一个跟踪目标，然后根据跟踪目标的信息来调节软体机械臂对跟踪目标进行跟踪。
[0084]
具体的，任意选择一个跟踪目标，将其中心目标记为(x,y)，同时获取摄像头获取的图像的中心点的坐标(w/2,h/2)，分别计算水平方向和竖直方向上的坐标偏差，分别为w/2-x和h/2-y，也即是两个维度上的坐标偏差。
[0085]
进一步的，需要根据两个维度上的坐标偏差进行分析，来调节软体机械臂的转动，设计控制函数，本发明中的控制函数是基于pid控制算法进行改进的，具体为：
[0086][0087]
其中，其中u(t)表示控制函数；e(t)表示一个维度上跟踪目标的中心与当前帧的图像中心点的坐标偏差；t表示离散的时间；k
p
、ki、kd、kg和kf分别为e(t)的比例参数、积分参数、微分参数、正弦参数和幂次参数。
[0088]
需要说明的是，在传统的pid控制算法中并不存在k
g sin(e(t))、和这三项，传统的pid控制算法只从比例、积分和微分这三项上来进行控制，但当跟踪目标的中心点与图像的中心点的坐标偏差较大时，软体机械臂在转动过程中是受软体机械臂自身重量和软体机械臂的中心软轴的弹性所影响的，因此为了使得软体机械臂在跟踪目标的过程中转动更加精确，还需要考虑驱动软体机械臂的重量以及软体机械臂的中心软轴对于机械臂转动的影响，因此引入了和这三项来对软体机械臂的重力和软体机械臂的中心软轴的弹力的影响进行修正。
[0089]
当软体机械臂向下旋转时，软体机械臂本身的重力会导致软体机械臂实际转动的角度大于实际需要转动的角度，而当软体机械臂向上旋转时，软体机械臂本身的重力反而会导致软体机械臂实际转动的角度小于实际需要转动的角度，sin(e(t))用来表示软体机械臂旋转过程中实际需要旋转的角度和软体机械臂实际旋转角度偏差的变化趋势；当0≤e(t)≤1时，即软体机械臂向下旋转时，e(t)和sin(e(t))为正相关，当-1≤e(t)《0，即自由眼机械臂向上旋转时，e(t)和sin(e(t))为负相关。
[0090]
由于软体机械臂的中心软轴具有一定的弹力，当软体机械臂向下旋转时，中心软轴的弹力会导致软体机械臂实际旋转角度小于实际需要旋转的角度，当软体机械臂向上旋转时，中心软轴的弹力会导致软体机械臂实际旋转角度大于实际需要旋转的角度。当0≤e(t)≤1，即软体机械臂向下旋转时，实际需要旋转的角度和软体机械臂实际旋转角度偏差
的变化为当-1≤e(t)《0，即软体机械臂向上旋转时，软体机械臂实际需要旋转的角度和软体机械臂实际旋转角度偏差的变化为
[0091]
需要说明的是，sin(e(t))、和是通过实验拟合而来的，其特征与软体机械臂自身的重力和软体机械臂中心软轴的弹性对于软体机械臂姿态的调整的影响是相符合的。
[0092]
最后，将水平方向上的坐标偏差e(t)＝w/2-x，也即是一个维度上的坐标偏差带入设计的控制函数，可以获取软体机械臂的旋转角度将数值方向上的坐标偏差e(t)＝h/2-y，也即是另一个维度上的坐标偏差带入设计的控制函数，可以获取软体机械臂的弯曲角度
[0093]
至此，获取了软体机械臂的旋转角度和弯曲角度。
[0094]
步骤s5，根据所述旋转角度和弯曲角度调节软体机械臂的预设数量的钢丝绳的变化量，根据所述变化量调节软体机械臂使得软体机械臂顶端的摄像头的中心点正对跟踪目标的中心点。
[0095]
在获取了软体机械臂的旋转角度和弯曲角度后，根据旋转角度和弯曲角度对软体机械臂的姿态进行调整。
[0096]
其中本发明中的软体机械臂如图3所示，软体机械臂是采用的绳驱的方式进行驱动的，图3中可以看到预设数量的钢丝绳控制所有关节，其中在本发明实施例中预设数量的取值为4，关节点中心处与具有弹性的软轴固定，钢丝绳以软轴为中心成90
°
的间隔均匀分布。
[0097]
进一步的，通过关节空间到驱动空间的运动学建模计算软体机械臂中4根钢丝绳的变化量，具体为：
[0098]
如图4和图5所示，表示的是一个节点，同时由图3可知，节点为圆形节点，每个圆形节点的直径为d，节点的总高度为h，直立状态下，两根钢丝绳之间的距离为d，两个相邻的圆形节点之间的距离为h0，在钢丝绳没有任何弯曲的情况下，也即是直立状态下，两个连接点之间的钢丝绳的总长度为l0＝2h+h0，如图5所示，当关节弯曲的角度为θ时，两根钢丝绳的总长度可以分别记为l
l
＝2h+h
l
和lr＝2h+hr，其中h
l
和hr可以根据弯曲角度θ求出。
[0099]
因此，当软体机械臂有n个中间节点和高度分别为hs，he的根节点和末端节点时，可以得到软体机械臂在直立状态下，一根钢丝绳的总长度为：
[0100]
l0＝(n+1)(h+h0)-h+hs+he[0101]
其中，n表示中间节点数，h表示节点高度，h0表示两个相邻节点之间的距离，hs表示根节点高度，he表示末端节点高度。
[0102]
如图5所示，软体机械臂有四根钢丝绳，分为两组，机械臂有多个节点，每两个节点构成一个关节，图5为一组钢丝绳一个弯曲关节的几何关系，θ为一个关节的弯曲角度，h
l
和hr分别为一个弯曲关节两根钢丝绳的长度。
[0103]
当四根钢丝绳的牵引作用到软体机械臂上时，根据求得的弯曲角度θ，如图6所示，软体机械壁从驱动空间到关节空间的正向映射为：
[0104][0105]
其中，l1、l2、l3和l4分别表示第一根钢丝绳、第二根钢丝绳、第三根钢丝绳和第四根钢丝绳的变化量；l0表示软体机械臂在直立状态下，两根钢丝绳的总长度；n表示中间节点数；表示每个节点的弯曲角度，tilt表示弯曲角度；h0表示相邻的两个节点之间的距离；的距离；表示旋转角度，d表示直立状态下两根绳索之间的距离。
[0106]
如图6所示，其中，也是钢丝绳p2和钢丝绳p4与虚拟的弯曲轴y
′
之间的距离，也是p
′1到坐标轴x的距离，为钢丝绳p1和钢丝绳p3与虚拟的弯曲轴y
′
之间的距离，也是p
′1到坐标轴y的距离。
[0107]
在图6中，p1、p2、p3、p4分别表示软体机械臂上的四根钢丝绳，x，y分别为两组钢丝绳分别作用时的弯曲轴，x
′
，y
′
分别为两组钢丝绳同时作用时的虚拟的弯曲轴，a表示p2和p4与虚拟的弯曲轴y
′
之间的距离，b表示p1和p3与虚拟弯曲轴y
′
之间的距离，表示旋转角度。
[0108]
其中，本发明中软体机械臂的规格属性表如下：
[0109][0110]
表1软体机械臂设计规格表
[0111]
根据设计规格表中的内容，将n＝6，d＝36，d＝50，h0＝20，h＝8，hs＝8，he＝8，带入，获取第一根钢丝绳、第二根钢丝绳、第三根钢丝绳和第四根钢丝绳的变化量l1、l2、l3和l4。
[0112]
4根钢丝绳分别由四个28byj-48单极性步进电机控制，gpio引脚每完成8个周期的高低电平输出，转子旋转一圈；转子每旋转约64圈，主轴旋转1圈。齿轮比计算公式如下：
[0113][0114]
根据4根钢丝绳的变化量，计算每个步进电机旋转周期，然后4个步进电机线程并
发执行，完成钢丝绳牵引，对自由眼机械臂姿态进行调整，以使软体机械臂顶端摄像头中心点正对目标中心点，完成一次目标追踪。重复进行上述过程，完成对每一个需要跟踪的目标的跟踪。
[0115]
另外，本发明本实例软件驱动模块通过python环境开发，部署在树莓派4b中，所以需要在树莓派4b中安装python环境，并导入目标识别、目标跟踪和控制引脚的相关包。
[0116]
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0117]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0118]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于轻量模型的软体机械臂自由眼系统目标追踪方法，其特征在于，该方法包括：构建目标识别模型，替换目标识别模型的骨干网络和设计损失函数，获得优化目标识别模型；按照时序获得隧道内各帧图像，将各帧图像输入优化目标识别模型，输出各帧图像中每个目标的坐标；基于第一帧和第二帧图像中所有目标的坐标并利用跟踪模型对每个目标进行跟踪，被跟踪到的目标记为跟踪目标，获取各跟踪目标的中心坐标；任选一个跟踪目标，根据该跟踪目标中心坐标和当前帧图像的中心点坐标获取坐标偏差；设计控制函数，利用控制函数基于所述坐标偏差计算软体机械臂的旋转角度和弯曲角度；根据所述旋转角度和弯曲角度调节软体机械臂的预设数量的钢丝绳的变化量，根据所述变化量调节软体机械臂使得软体机械臂顶端的摄像头的中心点正对跟踪目标的中心点。2.根据权利要求1所述的一种基于轻量模型的软体机械臂自由眼系统目标追踪方法，其特征在于，所述替换目标识别模型的骨干网络，包括：利用第一轻量级网络替换目标识别模型中的骨干网络；并删除第一轻量级网络中的第一个最大池化层。3.根据权利要求1所述的一种基于轻量模型的软体机械臂自由眼系统目标追踪方法，其特征在于，所述设计损失函数，包括：设计置信度损失和位置损失，置信度损失和位置损失组成损失函数，损失函数为：其中，l(x,c,l,g)表示损失函数；n表示匹配到默认框的数量；x表示输入样本；c表示置信度；l表示预测框；g表示真实框；α表示分类和回归的权重系数；置信度损失为：其中l
conf
(x,c)表示置信度损失；表示第i个预测框预测类别p的概率值；表示第i个预测框预测类别p的置信度预测值；表示第i个预测框和类别p第j个真实框的匹配值，i表示预测框序号，j表示真实框序号，p表示类别序号；pos表示正样本，neg表示负样本；ω
p
表示类别p的权重，β表示正负样本之间的权重系数；位置损失为：
其中，l
loc
(x,l,g)表示位置损失；(x,l,g)表示位置损失；(x,l,g)表示位置损失；表示第i个预测框的中心点的横坐标，表示第i个预测框的中心点的纵坐标；表示第j个真实框的中心点的横坐标，表示j个真实框的中心点的纵坐标；表示第j个真实框的中心点的横坐标的编码值，表示j个真实框的中心点的纵坐标的编码值；表示第i个预测框的宽，表示第i个预测框的高；表示第j个真实框的宽，表示第j个真实框的高；表示第j个真实框的宽的编码值，表示第j个真实框的高的编码值；表示第i个先验框的宽，表示第i个先验框的高。4.根据权利要求1所述的一种基于轻量模型的软体机械臂自由眼系统目标追踪方法，其特征在于，所述优化目标识别模型，还包括：将目标识别模型的iou(intersection over union)替换为giou(generalized intersection over union)，优化目标识别模型中为giou。5.根据权利要求1所述的一种基于轻量模型的软体机械臂自由眼系统目标追踪方法，其特征在于，所述获取各跟踪目标的中心坐标，包括：将目标识别后的第一帧图像和第二帧图像输入跟踪模型，根据第一帧图像中识别到的目标初始化并创建跟踪器，并对所有目标标注id；根据第二帧图像中所有目标的坐标计算跟踪器所有目标与第二帧图像中识别到的目标的iou，并得到能够匹配到目标的所有目标中各目标的iou最大的唯一匹配，记为跟踪匹配对；利用跟踪匹配对中属于第二帧图像中目标更新卡尔曼滤波器，获取跟踪目标，并获取各跟踪目标的中心坐标。6.根据权利要求1所述的一种基于轻量模型的软体机械臂自由眼系统目标追踪方法，其特征在于，所述设计控制函数，利用控制函数基于所述坐标偏差计算软体机械臂的旋转角度和弯曲角度，包括：其中u(t)表示控制函数；e(t)表示一个维度上跟踪目标的中心与当前帧的图像中心点的坐标偏差；t表示离散的时间；k
p
、k
i
、k
d
、k
g
和k
f
分别为e(t)的比例参数、积分参数、微分参数、正弦参数和幂次参数；
将坐标偏差带入控制函数，获得软体机械臂的旋转角度和弯曲角度。7.根据权利要求1所述的一种基于轻量模型的软体机械臂自由眼系统目标追踪方法，其特征在于，所述根据所述旋转角度和弯曲角度调节软体机械臂的预设数量的钢丝绳的变化量，包括：所述软体机械臂采用欠驱绳驱方式，利用预设数量的钢丝绳控制所有软体机械臂所有关节，关节点处与软轴固定，钢丝绳以软轴为中心成90
°
间隔分布；利用所述旋转角度和弯曲角度计算预设数量的钢丝绳的变化量，具体为：其中，l1、l2、l3和l4分别表示第一根钢丝绳、第二根钢丝绳、第三根钢丝绳和第四根钢丝绳的变化量；l0表示软体机械臂在直立状态下，两根钢丝绳的总长度；n表示中间节点数；表示每个节点的弯曲角度，tilt表示弯曲角度；h0表示相邻的两个节点之间的距离；表示相邻的两个节点之间的距离；表示旋转角度，d表示直立状态下两根绳索之间的距离。8.根据权利要求1所述的一种基于轻量模型的软体机械臂自由眼系统目标追踪方法，其特征在于，所述按照时序获得隧道内各帧图像，还包括：获取软体机械臂初始的旋转角度，根据所述初始的旋转角度对隧道内各帧图像进行处理，得到每帧隧道内图像的正立图像。

技术总结
本发明涉及机械臂目标追踪技术领域，具体涉及一种基于轻量模型的软体机械臂自由眼系统目标追踪方法。该方法包括：将各帧图像输入优化目标识别模型，输出各帧图像中每个目标的坐标；获取各跟踪目标的中心坐标；任选一个跟踪目标，根据该跟踪目标中心坐标和当前帧图像的中心点坐标获取坐标偏差；设计控制函数，利用控制函数基于所述坐标偏差计算软体机械臂的旋转角度和弯曲角度；根据所述旋转角度和弯曲角度调节软体机械臂的预设数量的钢丝绳的变化量，根据所述变化量调节软体机械臂使得软体机械臂顶端的摄像头的中心点正对跟踪目标的中心点。本发明能够精确的对隧道内的所需追踪的目标进行追踪。踪的目标进行追踪。踪的目标进行追踪。


技术研发人员：佟立国 邹建伟 庞占军 卢智勇 王雪纯 郝彦超 符铁亮 胡雪岩 齐俭 王广成 孙海涛 蒋伟 张国友
受保护的技术使用者：中铁九局集团有限公司
技术研发日：2023.05.22
技术公布日：2023/8/14