一种基于机器视觉的车轮轮毂识别定位方法及系统

1.本发明涉及图像处理技术领域，具体涉及一种基于机器视觉的车轮轮毂识别定位方法及系统。


背景技术：

2.目前，在高速车轮轮毂经过淬火、回火工序后需要在轮毂表面标注溯源管理信息如生产日期、车轮型号、尺寸等，由于轮毂经回火处理后仍处于高温阶段使用夹具固定将会对轮毂内部结构产生影响，所以只能依赖人工视觉的作业方式将车轮型号、尺寸等信息标记在经过回火冷却后的轮毂淬火带上。
3.由于人工视觉具有精度受限、处理速度慢以及疲劳和错误等固有性质，无法准确、高效的将信息标注在轮毂淬火带上。为此，提出一种基于机器视觉的车轮轮毂识别定位方法。


技术实现要素：

4.本发明所要解决的技术问题在于：如何提升高速车轮轮毂表面标注作业的效率，提供了一种基于机器视觉的车轮轮毂识别定位方法。
5.本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：
6.s1：通过第一工业相机拍摄工作区，同时通过第二工业相机拍摄等待区，将实时图像发送至视觉处理模块；视觉处理模块调用自闭塞算法预测到达等待区的轮毂是否会碰撞停在作业区的轮毂，若否，转到步骤s2；反之，触发辊道截停装置将轮毂截停在等待区，截停时间结束后释放轮毂；
7.s2：视觉处理模块调用轮毂识别算法识别工作区图像是否存在轮毂，若检测到工作区图像中有轮毂，给出目标检测框的位置坐标，转到步骤s3；反之，第一工业相机继续拍摄工作区，将实时图像发送至视觉处理模块；
8.s3：视觉处理模块调回火带定位算法检测轮毂内环中心点位置以及回火带所在区域；
9.s4：视觉处理模块调用淬火带定位算法检测淬火带所在区域并将位置坐标发送至标注装置，标注装置将淬火带所在区域作为限制范围制定标注计划，随后进行标注作业。
10.更进一步地，在所述步骤s1中，第一工业相机与工作区位置相对固定，第二工业相机与等待区位置相对固定，第一工业相机、第二工业相机在辊道上方拍摄工作区与等待区，将拍摄到的实时图像发送至视觉处理模块，其中，辊道的运行速度是固定值。
11.更进一步地，在所述步骤s1中，自闭塞算法包括以下步骤：
12.s11：预先在第二工业相机拍摄的等待区图片区域设定等待区的矩形框像素坐标；
13.s12：接收到第二工业相机拍摄的实时图像后，通过轮毂识别算法给出轮毂矩形框设为box1，将等待区矩形框设为box2，计算box1与box2的交并比，即：
[0014][0015]
设置判据1如下：
[0016][0017]
其中，α为阈值常量，即当轮毂矩形框与等待区矩形框的交并比大于阈值时认为轮毂完全进入等待区，此时令f1＝1，将初始值为-1的计数器a的值加1；反之，若f1＝0，继续执行步骤s12；
[0018]
s13：判断计数器a中的值是否为-1，若是，用时间戳变量t0记录轮毂完全到达等待区的时刻，转到步骤s02；若否，用时间戳变量t1记录轮毂完全到达等待区的时刻，并计算时间差δt＝t
1-t0，随后计算标注装置动作时间tw与δt差值，设置判据2如下：
[0019][0020]
其中：δt为每个轮毂到达等待区应被截停的时长，即：当标注装置动作时间tw大于前后两个轮毂到达等待区的时间差时，后到达辊道的轮毂会影响正在进行标注作业的轮毂，此时，δt＝t
w-δt；反之，后一个到达辊道的轮毂，不会影响前一个轮毂的标注作业，此时，δt＝0；
[0021]
s14：触发等待区辊道截停装置将轮毂截停在等待区，时长为δt，当δt＝0时辊道截停装置不动作，随后根据截停时间更新变量t0，即：
[0022]
t0＝t1+δt
[0023]
其中，t1为轮毂到达等待区的时刻，δt为轮毂需要在等待区被截停的时长，t0为轮毂被释放的时刻，然后转到步骤s12。
[0024]
更进一步地，在所述步骤s1中，辊道截停装置在接收到视觉处理模块的截停信息后，使等待区辊道电机的传动轴与等待区辊道分离。
[0025]
更进一步地，在所述步骤s2中，轮毂识别算法具体包括以下步骤：
[0026]
s21：模型训练
[0027]
采集车轮轮毂产线上轮毂的图像并制作数据集，利用数据集对改进后yolov5s网络进行训练，训练时采用adam优化器优化网络学习、采用step学习率调度策略控制训练过程，得到训练后的网络模型；
[0028]
s22：输入预测
[0029]
将需要识别的图片输入到训练好的网络模型中进行预测，网络模型根据输入图像特征生成检测框；
[0030]
s23：输出结果
[0031]
采用非极大值抑制nms算法，去除重复的检测框，并选择置信度最高的检测框作为最终的检测结果，检测结果中包含轮毂所在矩形框的位置坐标，检测框为矩形框。
[0032]
更进一步地，在所述步骤s21中，在所述步骤s21中，将原始yolov5s网络中的csp残差块替换为faster-csp模块，降低模型参数量与计算复杂程度；引入有效通道注意力机制模块，加深网络对目标特征的关注度，最后采用cdice loss作为边界损失函数，得到改进后yolov5s网络。
[0033]
更进一步地，在所述步骤s2中，回火带定位算法包括以下步骤：
[0034]
s31：将通过轮毂识别算法给出轮毂矩形框设为：box3，将工作区矩形框设为：box4，计算box3与box4的交并比，即：
[0035][0036]
设置判据3如下：
[0037][0038]
其中，β为阈值常量，即当轮毂所在矩形框与工作区矩形框的交并比大于阈值时认为轮毂完全进入工作区，此时令f3＝1，触发辊道截停装置将轮毂截停在工作区辊道截停装置，并将box3所对应的矩形框区域截取下来，作为感兴趣区域area1；反之，若f3＝0，此时轮毂未完全进入工作区，根据轮毂识别算法结果更新box3的位置坐标，而后继续执行步骤s31；
[0039]
s32：将area1的图像进行高斯降噪，然后，抽取图像的r通道图像imgr；根据imgr的灰度直方图对imgr做自适应图像二值化得到二值化后的图像imgb；然后，对图像依次进行两次腐蚀操作、两次膨胀操作，得到连通图像；随后提取连通图像中的所有连通域，计算个连通域的面积s1，s2，
…
，sn，提取连通区域面积最大的为目标区域，并将其他连通区域的像素值置为0得到只含有回火带区域的二值化图像area1
img
；然后利用canny算子对area1
img
进行边缘提取得到回火带外侧轮廓记为：l1，内轮廓记为：l2，随后计算轮廓l1的矩，即：
[0040][0041]
其中，i、j表示表示矩的阶次，i(x，y)表示在位置(x，y)的像素值，根据二次矩计算出轮毂的重心坐标(xc,yc)，即：
[0042][0043]
其中，m
00
表示轮廓面积，即通过一阶矩与零阶矩确定轮廓的重心，而在二值化图像中轮廓的重心可以认为是回火带的中心点坐标：(xc,yc)，而后通过点(xc,yc)与边缘点的连线长度划分出外轮廓l1与内轮廓l2，随后分别获取回火带外轮廓l1与内轮廓l2上的所有点进行最小二乘法的圆最佳参数拟合，即：
[0044][0045]
其中，f(x)为预测值，yi为实际观测值，即当实际观测值与预测值的残差平和最小时，拟合的圆参数与实际参数最为符合，最后根据拟合结果得到回火带内轮廓圆心记为o：(xf,yf)，半径记为：rf，外轮廓半径记为：rf，则回火带区域为以o：(xf,yf)为圆心，外径为rf，内径为rf的圆环区域，实现对回火带区域的识别。
[0046]
更进一步地，在所述步骤s4中，淬火带定位算法包括以下步骤：
[0047]
s41：对步骤s32得到的r通道图像imgr进行canny边缘检测，阈值为(100,200)得到边缘图像设为：imge，而后将imge图像中位于轮廓l1中的所有像素点剔除，得到含有淬火带外轮廓边缘的二值化图像记为：imgh；
[0048]
s42：遍历所有边缘点生成边缘点坐标集合：pi＝[p1(x,y),p2(x,y),
…
,pn(x,y)]，计算坐标集合pi中的所有元素与步骤s32得到的回火带内轮廓圆心o：(xf,yf)连线的长度得到集合
[0049][0050]
s43：对集合d进行k-means聚类，k值为2，得到半径簇与非半径簇，然后将半径簇聚类中心记为：认为是轮毂的半径长度；
[0051]
s44：轮毂的淬火带区域为以o：(xf,yf)为圆心，外径为内径为rf的圆环区域记为c，c区域即为轮毂表面标注区域，最后利用相机内外参数将标注区域坐标转化为世界坐标发送给标注装置，标注装置将淬火带所在区域作为限制范围制定标注计划，随后进行标注作业。
[0052]
本发明还提供了一种基于机器视觉的车轮轮毂识别定位系统，采用上述的车轮轮毂识别定位方法，实现对车轮轮毂表面标注范围的定位工作，包括：第一工业相机、第二工业相机、视觉处理模块、标注装置、两个门型支架、辊道；所述第一工业相机、第二工业相机分别安装在两个所述门型支架上，位于所述辊道上方，用于拍摄辊道的工作区以及等待区，所述视觉处理模块分别与第一工业相机、第二工业相机通信连接，其中部署有轮毂识别算法、自闭塞算法、回火带定位算法以及淬火带定位算法，用于接收并处理第一工业相机、第二工业相机拍摄的实时图像，所述标注装置用于根据标注区域制定标注计划并在轮毂表面进行标注作业。
[0053]
本发明相比现有技术具有以下优点：该基于机器视觉的车轮轮毂识别定位方法及系统，具有成本低、部署便捷等优点，能够有效代替人工视觉进行车轮轮毂表面标注作业；特别在高温危险环境中，能够有效减少人工作业次数，减少安全事故，节约运维成本。
附图说明
[0054]
图1是本发明实施例中基于机器视觉的车轮轮毂识别定位系统的系统部署图；
[0055]
图2是本发明实施例中回火带以及淬火带的位置示意图；
[0056]
图3是本发明实施例中的基于机器视觉的车轮轮毂识别定位方法的流程示意图；
[0057]
图4a是本发明实施例二中通过原始yolov5s网络预测置信度较低的示意图；
[0058]
图4b是本发明实施例二通过原始yolov5s网络出现漏检现象的示意图；
[0059]
图4c是本发明实施例二中通过原始yolov5s网络出现误检现象的示意图；
[0060]
图5a是本发明实施例二中通过改进后yolov5s网络预测置信度较高的示意图；
[0061]
图5b是本发明实施例二中通过改进后yolov5s网络未出现漏检现象的示意图；
[0062]
图5c是本发明实施例二中通过改进后yolov5s网络未出现误检现象的示意图；
[0063]
图6a是本发明实施例二中工业相机2拍摄的视频中的图像(其中一帧)；
[0064]
图6b是本发明实施例二中轮毂识别算法得到的矩形框box1示意图；
[0065]
图6c是本发明实施例二中轮毂识别算法得到的矩形框box3示意图；
[0066]
图6d是本发明实施例二中截取得到的感兴趣区域aear1示意图；
[0067]
图6e是本发明实施例二中腐蚀膨胀后得到的连通图像；
[0068]
图6f是本发明实施例二中只含有回火带区域的二值化图像；
[0069]
图6g是本发明实施例二中回火带外轮廓l1以及内轮廓l2的示意图；
[0070]
图6h是本发明实施例二中canny边缘检测提取的淬火带外轮廓示意图；
[0071]
图6l是本发明实施例二中检测结果示意图(其中蓝色轮廓为检测到的淬火带外轮廓，红色轮廓为检测到的淬火带内轮廓，中心绿色点心为检测到的轮毂中心)。
具体实施方式
[0072]
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0073]
实施例一
[0074]
如图1所示，本实施例提供一种技术方案：一种基于机器视觉的车轮轮毂识别定位系统，包括：工业相机1、2，视觉处理模块3，标注装置4，门型支架5，辊道6；其中，工业相机1与工业相机2安装于辊道6上方，用于拍摄辊道6的工作区与等待区，视觉处理模块2与工业相机1、2通讯连接，所述视觉处理模块2中部署有轮毂识别算法、自闭塞算法、回火带定位算法以及淬火带定位算法，用于接收并处理轮毂图像；标注装置4安装于辊道6一侧，用于根据作业起始点坐标在轮毂表面进行标注作业；门型支架5用于固定工业相机1、2。
[0075]
如图2-3所示，本实施例还提供了一种基于机器视觉的车轮轮毂识别定位方法，用于采用上述的基于机器视觉的车轮轮毂识别定位系统实现对车轮轮毂表面标注范围的定位工作，包括以下步骤：
[0076]
步骤(1)：工业相机1拍摄工作区，同时工业相机2拍摄等待区，将实时图像发送至视觉处理模块；视觉处理模块调用自闭塞算法判断进入等待区的轮毂是否会影响标注作业的轮毂，若否，转到步骤(2)；反之，触发辊道截停装置将轮毂截停在等待区，截停时间结束后释放轮毂；
[0077]
步骤(2)：视觉处理模块调用轮毂识别算法识别工作区是否存在轮毂，若检测到工作区图像中有轮毂，给出目标检测框的位置坐标，转到步骤(3)；反之，工业相机1继续拍摄工作区，将实时图像发送至视觉处理模块；
[0078]
步骤(3)：视觉处理模块调用回火带定位算法检测轮毂内环中心点位置以及回火带所在区域定位；
[0079]
步骤(4)：视觉处理模块调用淬火带定位算法确定回火带区域，然后利用标注装置4根据回火带所在区域制定标注计划，而后进行标注作业。
[0080]
在所述步骤(1)中，工业相机2与等待区位置相对固定，辊道的运行速度亦是固定的，标注装置4的动作时间稳定在一个具体的时间tw，工业相机2向下拍摄等待区，将实时图像发送至视觉处理模块。
[0081]
在所述步骤(1)中，所述自闭塞算法包括以下步骤：
[0082]
s11：预先在工业相机2拍摄的等待区图片区域设定等待区的矩形框像素坐标；
[0083]
s12：接收到工业相机2拍摄的视频后，通过轮毂识别算法给出轮毂矩形框设为box1，将等待区矩形框设为box2，计算box1与box2的交并比，即：
[0084][0085]
设置判据1如下：
[0086][0087]
其中，α为阈值常量，即当轮毂矩形框与等待区矩形框的交并比大于阈值时认为轮毂完全进入等待区，此时令f1＝1，将初始值为-1的计数器a的值加1；反之，若f1＝0，继续执行步骤s12；
[0088]
s13：判断计数器a中的值是否为-1，若是，用时间戳变量t0记录轮毂完全到达等待区的时刻，转到步骤s02；若否，用时间戳变量t1记录轮毂完全到达等待区的时刻，并计算时间差δt＝t
1-t0，随后计算tw与δt差值，设置判据2如下：
[0089][0090]
其中：δt为每个轮毂到达等待区应被截停的时长，即：当标注装置动作时间tw大于前后两个轮毂到达等待区的时间差时，后到达辊道的轮毂会影响正在进行标注作业的轮毂，此时，δt＝t
work-δt；反之，后一个到达辊道的轮毂，不会影响前一个轮毂的标注作业，此时，δt＝0；
[0091]
s14：触发等待区辊道截停装置将轮毂截停在等待区，时长为δt，当δt＝0时辊道截停装置不动作，随后根据截停时间更新变量t0，即：
[0092]
t0＝t1+δt
[0093]
其中，t1为轮毂到达等待区的时刻，δt为轮毂需要在等待区被截停的时长，t0为轮毂被释放的时刻，然后转到步骤s12。
[0094]
需要说明的是，辊道截停装置在接收到视觉处理模块的截停信息后，使等待区辊道电机的传动轴与等待区辊道分离，即使轮毂会继续运动一段距离，仍可通过对等待区的锚定框选取作出调整，使得轮毂最终停留在等待区。
[0095]
在所述步骤(2)中，工业相机1与工作区位置相对固定，工业相机1、2在辊道6上方拍摄工作区与等待区，将拍摄到的实时图像发送至视觉处理模块，所述轮毂识别算法包括以下步骤：
[0096]
s21：模型训练：采集车轮轮毂产线上轮毂的图像并制作数据集，为了在保障识别精度的基础上提升算法效率，将原始yolov5s网络中的csp残差块替换为更为轻量级的faster-csp模块以降低模型参数量与计算复杂程度，faster-csp模块与csp残差块主要区别于csp残差块中使用的是标准卷积(con)而faster-csp模块中使用了部分卷积(pcon)，con在对输入特征图(h,w,c)进行卷积时每个卷积核(k
×
k)与所有特征图进行卷积运算，其flops可以用公式表示，即：
[0097]
con
flops
＝h
×w×
k2×c[0098]
而pcon考虑到不同通道之间存在较多的信息冗余，通过引入一个比率参数来控制进行卷积的通道数量，而其余通道不进行本层卷积运算，其flops可以用公式表示，
即：
[0099]
con
flops
＝h
×w×
k2×cp
[0100]
其中，c为输入特征层的通道数，即当时，pcon的flops仅为con的而pcon的内存访问量也仅为con的引入较为轻量级的有效通道注意力机制(eca)模块加深网络对目标特征的关注度从而提高模型的泛化能力，相较于通道压缩注意力机制(se)，eca模块为避免通道压缩对通道注意预测效果通过执行大小为k的快速1d卷积核sigmod激活函数来实现本地跨通道交互并生成权重ω，ω的计算公式为：
[0101][0102]
其中：为的k个领域通道，σ为sigmod激活函数，k由通道维度c的映射自适应确定，k的计算公式为：
[0103][0104]
其中：γ＝2，b＝1，eca模块有效避免了因维度缩减带来的不良影响，在降低注意力模型复杂度的同时提升了注意力机制在网络中的作用；
[0105]
最后为了缓解因数据长尾分布导致网络预测偏见问题，采用cdice loss作为边界损失函数，得到改进后yolov5s网络，轮毂数据根据实际产线获取，难以获取多背景轮毂图像，由于工业现场的识别需要，仅将轮毂作为真值，导致正负样本比例失调，协同交叉熵损失与dice loss作用于边界框回归损失，即：交叉熵损失函数能提供最优的梯度方向，但用于二分类的前景与背景识别时，若背景占比较大，损失函数中的前景成分将会被背景淹没，模型偏向于背景识别导致识别效果差，而dice loss通过最大化dice系数来最小化dice loss值，可以有效解决识别任务中正负样本不协调问题，但dice loss在应对小目标真值时，易失去正确的梯度方向指导造成loss的剧烈波动，所以采用交叉熵损失提供梯度方向引导dice loss提供无偏见的损失值缓解数据集长尾分布问题，得到改进后yolov5s网络，训练时则采用adam优化器优化网络学习、采用step学习率调度策略控制训练过程；
[0106]
在本实施例中，改进后yolov5s网络仍由backbone、spp、neck、head构成，不同的是相较于原始yolov5s网络的backbone和neck部分，在改进后yolov5s网络的backbone和neck中将csp模块替换为轻量级的fast-csp模块；相较于原始yolov5s网络中由backbone与spp获得的三个特征层直接作为neck部分的输入特征层，改进后的yolov5s网络中由backbone与spp获得的三个特征层先分别输入到eca注意力机制模块进行特征加权，而后再作为neck部分的输入特征层。
[0107]
s22：输入预测：将需要识别的图片输入到训练好的网络模型中进行预测，网络模型根据输入图像特征生成检测框。
[0108]
s23：输出结果：采用非极大值抑制nms算法，去除重复的检测框，并选择置信度最高的检测框作为最终的检测结果，检测结果中包含轮毂所在矩形检测框的位置坐标。
[0109]
在所述步骤(3)中，针对霍夫变换以及其他改进的霍夫变化通过限定拟合范围来
确定同心圆域的方法应用于轮毂表面指定圆域(淬火带轮廓以及回火带轮廓)的拟合出现误检、漏检现象严重问题，提出一种针对轮毂表面同心圆的拟合方法：k-lsm同心圆拟合方法，具体为：首先，对blob分析得到的轮廓进行矩分析，得到轮廓的重心，然后通过重心划分出轮廓所属圆域范围，随后由lsm拟合出轮廓最完整的圆，并将其圆心作为轮毂的中心点，而后向外进行lsm拟合出回火带圆域，最后采用k-means聚类对边缘残缺较大的淬火带外轮廓进行拟合，能够准确划分出轮毂表面多个同心圆域，为方便描述不妨将拟合出回火带的步骤称为回火带定位算法，将拟合出外轮廓的步骤称为淬火带定位算法，回火带定位算法包括以下步骤：
[0110]
s31：将通过轮毂识别算法给出轮毂矩形框设为：box3，将工作区矩形框设为：box4，计算box3与box4的交并比，即：
[0111][0112]
设置判据3如下：
[0113][0114]
其中，β为阈值常量，即当轮毂所在矩形框与工作区矩形框的交并比大于阈值时认为轮毂完全进入工作区，此时令f3＝1，触发辊道截停装置将轮毂截停在工作区，并将box3所对应的矩形框区域截取下来为感兴趣区域area1；反之，若f3＝0，此时轮毂未完全进入工作区，根据轮毂识别算法结果更新box3的位置坐标，而后继续执行步骤s31。
[0115]
s32：将area1的图像进行高斯降噪，然后，抽取图像的r通道图像imager；根据imager的灰度直方图对imager做自适应图像二值化得到二值化后的图像imgb；然后，对图像依次进行两次腐蚀操作、两次膨胀操作，得到连通图像；随后提取连通图像中的所有连通域，计算个连通域的面积s1，s2，
…
，sn，提取连通区域面积最大的为目标区域，并将其他连通区域的像素值置为0得到只含有回火带区域的二值化图像area1
img
；然后利用canny算子对area1
img
进行边缘提取得到回火带外侧轮廓l1与内轮廓l2，随后计算轮廓l1的矩，即：
[0116][0117]
其中，i、j表示表示矩的阶次，i(x，y)表示在位置(x，y)的像素值，根据二次矩计算出轮毂的重心坐标(xc,yc)，即：
[0118][0119]
其中，m
00
表示轮廓面积，即通过一阶矩与零阶矩确定轮廓的重心，而在二值化图像中轮廓的重心可以认为是回火带的中心点坐标：(xc,yc)，而后通过点(xc,yc)与边缘点的连线长度划分出外轮廓l1与内轮廓l2，随后分别获取回火带外轮廓l1与内轮廓l2上的所有点进行最小二乘法的圆最佳参数拟合，即：
[0120][0121]
其中，f(x)为预测值，yi为实际观测值，即当实际观测值与预测值的残差平和最小时，拟合的圆参数与实际参数最为符合，最后根据拟合结果得到回火带内轮廓圆心记为o：(xf,yf)，半径记为：rf，外轮廓半径记为：rf，则回火带区域为以o：(xf,yf)为圆心，外径为rf，内径为rf的圆环区域，实现对回火带区域的识别。
[0122]
在所述步骤(4)中，淬火带定位方法包括以下步骤：
[0123]
s41：对步骤s32得到的r通道图像imgr进行canny边缘检测，阈值为(100,200)得到边缘图像设为：imge，而后将imge图像中位于轮廓l1中的所有像素点剔除，得到含有淬火带外轮廓边缘的二值化图像记为：imgh；
[0124]
s42：遍历所有边缘点生成边缘点坐标集合：pi＝[p1(x,y),p2(x,y),
…
,pn(x,y)]，计算坐标集合pi中的所有元素与步骤s32得到的回火带内轮廓圆心o：(xf,yf)连线的长度得到集合
[0125][0126]
s43：对集合d进行k-means聚类，k值为2，得到半径簇与非半径簇，然后将半径簇聚类中心记为：认为是轮毂的半径长度；
[0127]
s44：轮毂的淬火带区域为以o：(xf,yf)为圆心，外径为内径为rf的圆环区域记为c，c区域即为轮毂表面标注区域，最后利用相机内外参数将标注区域坐标转化为世界坐标发送给标注装置4，标注装置4将淬火带所在区域作为限制范围制定标注计划，随后进行标注作业。
[0128]
实施例二
[0129]
本实施例以图1所示系统部署图为例，对实施例一进行更进一步的说明，一种基于机器视觉的车轮轮毂识别定位系统主要包含工业相机1、2，视觉处理模块3，标注装置4，门型支架5，辊道6。其中，工业相机1、2安装于辊道6上方；视觉处理模块3连接于工业相机1、2；标注装置4安装于辊道6一侧，门型支架5用于固定工业相机1、2。
[0130]
应该指出的是，所述工业相机1和2、视觉处理模块3以及标注装置4，门型支架5，辊道6其数量、型号、安装方式等参数可根据现场环境和识别与定位精度需求进行调整。
[0131]
本实施例中还提供了一种基于机器视觉的车轮轮毂识别定位方法用于采用上述的基于机器视觉的车轮轮毂识别定位系统实现对车轮轮毂表面作业起始点范围的定位工作，包括以下步骤：
[0132]
步骤(1)，如图1所示，工业相机1拍摄工作区同时工业相机2拍摄等待区，将实时图像发送至视觉处理模块；视觉处理模块调用自闭塞算法判断进入等待区的轮毂是否会影响标注作业的轮毂，若否，转到步骤(2)；反之，触发辊道截停装置将轮毂截停在等待区，截停时间结束后释放轮毂。
[0133]
具体实施时：工业相机2与等待区位置相对固定，辊道的运行速度亦是固定的，标注装置的动作时间应稳定在一个具体的时间tw，工业相机2向下拍摄等待区，将实时图像发送至视觉处理模块，随后进行以下步骤：
[0134]
s11：预先在工业相机2拍摄的等待区图片区域设定等待区的矩形框像素坐标。
[0135]
s12：接收到工业相机2拍摄的视频(图6a)后，将通过轮毂识别算法给出轮毂矩形框设为：box1，将等待区矩形框(图6b)设为：box2，计算box1与box2的交并比，即：
[0136][0137]
设置判据1如下：
[0138][0139]
其中：α为阈值常量，即当轮毂所在矩形框与等待区矩形框的交并比大于阈值时认为轮毂完全进入等待区，此时令f1＝1，将初始值为-1的计数器a的值加1；反之，若f1＝0，继续执行步骤s12。
[0140]
s13：判断计数器a中的值是否为-1，若是，用时间戳变量t0记录轮毂完全到达等待区的时刻，转到步骤s02；若否，用时间戳变量t1记录轮毂完全到达等待区的时刻，并计算时间差δt＝t
1-t0，由于轮毂进入工作区时会被截停在工作区进行标注作业，截停时间为tw，在截停时间段内后轮会碰撞工作区轮毂，影响标注作业，所以计算tw与δt差值，设置判据2如下：
[0141][0142]
其中：δt为每个轮毂到达等待区应被截停的时长，即：当标注装置动作时间tw大于前后两个轮毂到达等待区的时间差时，后到达辊道的轮毂会影响正在进行标注作业的轮毂，此时，δt＝t
w-δt；反之，后一个到达辊道的轮毂，不会影响前一个轮毂的标注作业，此时，δt＝0。
[0143]
s14：触发等待区辊道截停装置将轮毂截停在等待区，时长为δt，当δt＝0时辊道截停装置不动作，随后根据截停时间更新变量t0，即：
[0144]
t0＝t1+δt
[0145]
其中：t1为轮毂到达等待区的时刻，δt为轮毂需要在等待区被截停的时长，t0为轮毂被释放的时刻，然后转到步骤s12。
[0146]
步骤(2)，如图2所示，视觉处理模块3调用轮毂识别算法识别工作区是否存在轮毂。
[0147]
具体实施时：尽管轮毂在辊道上的位置千变万化，但由于彩虹色现象，经过相同回火工艺后的轮毂表面呈现的特征相较稳定。因此，可以依次进行以下步骤：
[0148]
s21：模型训练：采集车轮轮毂产线上轮毂的图像并制作数据集，为了在保障识别精度的基础上提升算法效率，将原始yolov5s网络中的csp残差块替换为更为轻量级的faster-csp模块以降低模型参数量与计算复杂程度，faster-csp模块与csp残差块主要区别于csp残差块中使用的是标准卷积(con)而faster-csp模块中使用了部分卷积(pcon)，con在对输入特征图(h,w,c)进行卷积时每个卷积核(k
×
k)与所有特征图进行卷积运算，其flops可以用公式表示，即：
[0149]
con
flops
＝h
×w×
k2×c[0150]
而pcon考虑到不同通道之间存在较多的信息冗余，通过引入一个比率参数
来控制进行卷积的通道数量，而其余通道不进行本层卷积运算，其flops可以用公式表示，即：
[0151]
con
flops
＝h
×w×
k2×cp
[0152]
其中，c为输入特征层的通道数，即当时，pcon的flops仅为con的而pcon的内存访问量也仅为con的引入较为轻量级的有效通道注意力机制(eca)模块加深网络对目标特征的关注度从而提高模型的泛化能力，相较于通道压缩注意力机制(se)，eca模块为避免通道压缩对通道注意预测效果通过执行大小为k的快速1d卷积核sigmod激活函数来实现本地跨通道交互并生成权重ω，ω的计算公式为：
[0153][0154]
其中：为的k个领域通道，σ为sigmod激活函数，k由通道维度c的映射自适应确定，k的计算公式为：
[0155][0156]
其中：γ＝2，b＝1，eca模块有效避免了因维度缩减带来的不良影响，在降低注意力模型复杂度的同时提升了注意力机制在网络中的作用；
[0157]
最后为了缓解因数据长尾分布导致网络预测偏见问题，采用cdice loss作为边界损失函数，得到改进后yolov5s网络，轮毂数据根据实际产线获取，难以获取多背景轮毂图像，由于工业现场的识别需要，仅将轮毂作为真值，导致正负样本比例失调，协同交叉熵损失与dice loss作用于边界框回归损失，即：交叉熵损失函数能提供最优的梯度方向，但用于二分类的前景与背景识别时，若背景占比较大，损失函数中的前景成分将会被背景淹没，模型偏向于背景识别导致识别效果差，而dice loss通过最大化dice系数来最小化dice loss值，可以有效解决识别任务中正负样本不协调问题，但dice loss在应对小目标真值时，易失去正确的梯度方向指导造成loss的剧烈波动，所以采用交叉熵损失提供梯度方向引导dice loss提供无偏见的损失值缓解数据集长尾分布问题，得到改进后yolov5s网络，训练时则采用adam优化器优化网络学习、采用step学习率调度策略控制训练过程；
[0158]
在本实施例中，改进后yolov5s网络仍由backbone、spp、neck、head构成，不同的是相较于原始yolov5s网络的backbone和neck部分，在改进后yolov5s网络的backbone和neck中将csp模块替换为轻量级的fast-csp模块；相较于原始yolov5s网络中由backbone与spp获得的三个特征层直接作为neck部分的输入特征层，改进后的yolov5s网络中由backbone与spp获得的三个特征层先分别输入到eca注意力机制模块进行特征加权，而后再作为neck部分的输入特征层。
[0159]
s22：输入预测：将需要识别的图片输入到训练好的网络模型中进行预测，网络模型根据输入图像特征生成检测框。
[0160]
s23：输出结果：采用非极大值抑制nms算法，去除重复的检测框，并选择置信度最高的检测框作为最终的检测结果，检测结果中包含轮毂所在矩形框(检测框)的位置坐标。
[0161]
步骤(3)，如图2所示，视觉处理模块3调用回火带定位算法检测轮毂表面回火带所在位置以及轮心坐标。
[0162]
具体实施时：尽管淬火带宽度会变化，但淬火带颜色呈现较为稳定的暗红色，在r通道上的灰度值与图片中的其他部分差别较大，而被淬火带包围的中心点较为固定。因此，首先将通过轮毂识别算法给出轮毂矩形框(图6c)设为：box3，将工作区矩形框设为：box4，计算box3与box4的交并比，即：
[0163][0164]
设置判据3如下：
[0165][0166]
其中：β为阈值常量，即当轮毂所在矩形框与工作区矩形框的交并比大于阈值时认为轮毂完全进入工作区，此时令f3＝1，触发辊道截停装置将轮毂截停在工作区，并将box3所对应的矩形框区域截取下来，作为感兴趣区域(图6d)：area1；反之，若f3＝0，此时轮毂未完全进入工作区，根据轮毂识别算法结果更新box3的位置坐标，而后继续执行步骤s31。
[0167]
其次：将area1的图像进行高斯降噪，然后，抽取图像的r通道图像：imgr。根据imgr的灰度直方图对imgr做自适应图像二值化得到二值化后的图像：imgb。然后，对图像依次进行两次腐蚀操作、两次膨胀操作，得到连通图像(图6e)。随后提取连通图像中的所有连通域，计算个连通域的面积s1，s2，
…
，sn，提取连通区域面积最大的为目标区域，并将其他连通区域的像素值置为0得到只含有回火带区域的二值化图像(图6f)：area1
img
。然后利用canny算子对area1
img
进行边缘提取得到回火带外侧轮廓记为：l1与内轮廓记为：l2(图6g)，随后计算轮廓l1的矩，即：
[0168][0169]
其中，i、j表示表示矩的阶次，i(x，y)表示在位置(x，y)的像素值，根据二次矩计算出轮毂的重心坐标(xc,yc)，即：
[0170][0171]
其中，m
00
表示轮廓面积，即通过一阶矩与零阶矩确定轮廓的重心，而在二值化图像中轮廓的重心可以认为是回火带的中心点坐标：(xc,yc)，而后通过点(xc,yc)与边缘点的连线长度划分出外轮廓l1与内轮廓l2，随后分别获取回火带外轮廓l1与内轮廓l2上的所有点进行最小二乘法的圆最佳参数拟合，即：
[0172][0173]
其中，f(x)为预测值，yi为实际观测值，即当实际观测值与预测值的残差平和最小
时，拟合的圆参数与实际参数最为符合，最后根据拟合结果得到回火带内轮廓圆心记为o：(xf,yf)，半径记为：rf，外轮廓半径记为：rf，则回火带区域为以o：(xf,yf)为圆心，外径为rf，内径为rf的圆环区域，实现对回火带区域的识别。
[0174]
步骤(4)，如图2所示，视觉处理模块调用淬火带定位算法确定轮毂表面标注范围坐标。具体实施时：淬火带较为均匀分布的分布在回火带外围，虽然回火带灰度值与辊道较为接近，只能提取到部分回火带外轮廓边缘信息，但是在利用淬火区域中心点和半径可以剔除部分非回火带外轮廓边缘，增加回火带外轮廓边缘占比。因此，对imgr图像进行canny边缘检测，阈值为(100,200)得到边缘图像设为：imge(图6h)，而后将imge图像中位于轮廓l1中的所有像素点剔除，得到含有淬火带外轮廓边缘的二值化图像记为：imgh，然后，遍历所有边缘点生成边缘点坐标集合：pi＝[p1(x,y),p2(x,y),
…
,pn(x,y)]，计算坐标集合pi中的所有元素与o：(xf,yf)连线的长度得到集合最后对集合d进行k-means聚类，k值为2，得到半径簇与非半径簇，然后将半径簇聚类中心记为：认为是轮毂的半径长度，轮毂的淬火带区域为以o：(xf,yf)为圆心，外径为内径为rf的圆环区域记为c(图6l)，c区域即为轮毂表面标注区域，最后通过相机内外参数将标注区域像素坐标转化为世界坐标发送给标注装置，标注装置将c区域的世界坐标作确定限制区域并制定标注计划，随后进行标注作业。
[0175]
在本实施例中，本实施例中改进后的yolov5s网络与原始yolov5s网络的实验对比表如下表1所示：
[0176]
表1改进后的yolov5s网络与原始yolov5s网络的实验对比表
[0177][0178]
(注：pytorch1.2.0；python3.6；cpu：intel b460md2v；gpu：nvidia geforce gtx1650；learning rate：1e-3
；epoch＝200)
[0179]
在本实施例中，通过改进后yolov5s网络的识别结果示例图如图4a-4c所示，通过原始yolov5s网络的识别结果示例图如图5a-5c所示，由图中可知，由于车轮轮毂产线背景环境复杂以及特定轮毂数据集存在长尾分布等问题，导致原始yolov5s网络应用于轮毂检测中会出现漏检、误检、置信度较低以及浮点计算量较大等问题，鉴于此，首先原始yolov5s引入较为轻量级的有效通道注意力机制(eca)模块加深网络对目标特征的关注度从而提高模型的泛化能力，其次为了缓解因数据长尾分布导致网络预测偏见问题，采用cdice loss作为边界损失函数，从而改善了误检、漏检以及置信度较低等现象，此外将原始yolov5s网络中的csp残差块替换为更为轻量级的faster-csp模块，在保障模型精度的同时降低模型参数量与计算复杂程度，进一步降低了系统硬件成本。
[0180]
综上所述，上述实施例的基于机器视觉的车轮轮毂识别定位方法，具有成本低、部署便捷等优点，能够有效代替人工视觉进行车轮轮毂表面标注作业；特别在高温危险环境中，能够有效减少人工作业次数，减少安全事故，节约运维成本。
[0181]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种基于机器视觉的车轮轮毂识别定位方法，其特征在于，包括以下步骤：s1：通过第一工业相机拍摄工作区，同时通过第二工业相机拍摄等待区，将实时图像发送至视觉处理模块；视觉处理模块调用自闭塞算法预测到达等待区的轮毂是否会碰撞停在作业区的轮毂，若否，转到步骤s2；反之，触发辊道截停装置将轮毂截停在等待区，截停时间结束后释放轮毂；s2：视觉处理模块调用轮毂识别算法识别工作区图像是否存在轮毂，若检测到工作区图像中有轮毂，给出目标检测框的位置坐标，转到步骤s3；反之，第一工业相机继续拍摄工作区，将实时图像发送至视觉处理模块；s3：视觉处理模块调回火带定位算法检测轮毂内环中心点位置以及回火带所在区域；s4：视觉处理模块调用淬火带定位算法检测淬火带所在区域并将位置坐标发送至标注装置，标注装置将淬火带所在区域作为限制范围制定标注计划，随后进行标注作业。2.根据权利要求1所述的一种基于机器视觉的车轮轮毂识别定位方法，其特征在于：在所述步骤s1中，第一工业相机与工作区位置相对固定，第二工业相机与等待区位置相对固定，第一工业相机、第二工业相机在辊道上方拍摄工作区与等待区，将拍摄到的实时图像发送至视觉处理模块，其中，辊道的运行速度是固定值。3.根据权利要求1所述的一种基于机器视觉的车轮轮毂识别定位方法，其特征在于：在所述步骤s1中，自闭塞算法包括以下步骤：s11：预先在第二工业相机拍摄的等待区图片区域设定等待区的矩形框像素坐标；s12：接收到第二工业相机拍摄的实时图像后，通过轮毂识别算法给出轮毂矩形框设为box1，将等待区矩形框设为box2，计算box1与box2的交并比，即：设置判据1如下：其中，α为阈值常量，即当轮毂矩形框与等待区矩形框的交并比大于阈值时认为轮毂完全进入等待区，此时令f1＝1，将初始值为-1的计数器a的值加1；反之，若f1＝0，继续执行步骤s12；s13：判断计数器a中的值是否为-1，若是，用时间戳变量t0记录轮毂完全到达等待区的时刻，转到步骤s02；若否，用时间戳变量t1记录轮毂完全到达等待区的时刻，并计算时间差δt＝t
1-t0，随后计算标注装置动作时间t
w
与δt差值，设置判据2如下：其中：δt为每个轮毂到达等待区应被截停的时长，即：当标注装置动作时间t
w
大于前后两个轮毂到达等待区的时间差时，后到达辊道的轮毂会影响正在进行标注作业的轮毂，此时，δt＝t
w-δt；反之，后一个到达辊道的轮毂，不会影响前一个轮毂的标注作业，此时，δt＝0；s14：触发等待区辊道截停装置将轮毂截停在等待区，时长为δt，当δt＝0时辊道截停装置不动作，随后根据截停时间更新变量t0，即：
t0＝t1+δt其中，t1为轮毂到达等待区的时刻，δt为轮毂需要在等待区被截停的时长，t0为轮毂被释放的时刻，然后转到步骤s12。4.根据权利要求3所述的一种基于机器视觉的车轮轮毂识别定位方法，其特征在于：在所述步骤s1中，辊道截停装置在接收到视觉处理模块的截停信息后，使等待区辊道电机的传动轴与等待区辊道分离。5.根据权利要求3所述的一种基于机器视觉的车轮轮毂识别定位方法，其特征在于：在所述步骤s2中，轮毂识别算法具体包括以下步骤：s21：模型训练采集车轮轮毂产线上轮毂的图像并制作数据集，利用数据集对改进后yolov5s网络进行训练，训练时采用adam优化器优化网络学习、采用step学习率调度策略控制训练过程，得到训练后的网络模型；s22：输入预测将需要识别的图片输入到训练好的网络模型中进行预测，网络模型根据输入图像特征生成检测框；s23：输出结果采用非极大值抑制nms算法，去除重复的检测框，并选择置信度最高的检测框作为最终的检测结果，检测结果中包含轮毂所在矩形框的位置坐标，检测框为矩形框。6.根据权利要求5所述的一种基于机器视觉的车轮轮毂识别定位方法，其特征在于：在所述步骤s21中，将原始yolov5s网络中的csp残差块替换为faster-csp模块，降低模型参数量与计算复杂程度；引入有效通道注意力机制模块，加深网络对目标特征的关注度，最后采用cdice loss作为边界损失函数，得到改进后yolov5s网络。7.根据权利要求5所述的一种基于机器视觉的车轮轮毂识别定位方法，其特征在于：在所述步骤s3中，回火带定位算法包括以下步骤：s31：将通过轮毂识别算法给出轮毂矩形框设为：box3，将工作区矩形框设为：box4，计算box3与box4的交并比，即：设置判据3如下：其中，β为阈值常量，即当轮毂所在矩形框与工作区矩形框的交并比大于阈值时认为轮毂完全进入工作区，此时令f3＝1，触发辊道截停装置将轮毂截停在工作区辊道截停装置，并将box3所对应的矩形框区域截取下来，作为感兴趣区域area1；反之，若f3＝0，此时轮毂未完全进入工作区，根据轮毂识别算法结果更新box3的位置坐标，而后继续执行步骤s31；s32：将area1的图像进行高斯降噪，然后，抽取图像的r通道图像img
r
；根据img
r
的灰度直方图对img
r
做自适应图像二值化得到二值化后的图像img
b
；然后，对图像依次进行两次腐蚀操作、两次膨胀操作，得到连通图像；随后提取连通图像中的所有连通域，计算个连通域的面积s1，s2，
…
，s
n
，提取连通区域面积最大的为目标区域，并将其他连通区域的像素值置
为0得到只含有回火带区域的二值化图像area1
img
；然后利用canny算子对area1
img
进行边缘提取得到回火带外侧轮廓记为：l1，内轮廓记为：l2，随后计算轮廓l1的矩，即：其中，i、j表示表示矩的阶次，i(x，y)表示在位置(x，y)的像素值，根据二次矩计算出轮毂的重心坐标(x
c
,y
c
)，即：其中，m
00
表示轮廓面积，即通过一阶矩与零阶矩确定轮廓的重心，而在二值化图像中轮廓的重心可以认为是回火带的中心点坐标：(x
c
,y
c
)，而后通过点(x
c
,y
c
)与边缘点的连线长度划分出外轮廓l1与内轮廓l2，随后分别获取回火带外轮廓l1与内轮廓l2上的所有点进行最小二乘法的圆最佳参数拟合，即：其中，f(x)为预测值，y
i
为实际观测值，即当实际观测值与预测值的残差平和最小时，拟合的圆参数与实际参数最为符合，最后根据拟合结果得到回火带内轮廓圆心记为o：(x
f
,y
f
)，半径记为：r
f
，外轮廓半径记为：r
f
，则回火带区域为以o：(x
f
,y
f
)为圆心，外径为r
f
，内径为r
f
的圆环区域，实现对回火带区域的识别。8.根据权利要求7所述的一种基于机器视觉的车轮轮毂识别定位方法，其特征在于：在所述步骤s4中，淬火带定位算法包括以下步骤：s41：对步骤s32得到的r通道图像img
r
进行canny边缘检测，阈值为(100,200)得到边缘图像设为：img
e
，而后将img
e
图像中位于轮廓l1中的所有像素点剔除，得到含有淬火带外轮廓边缘的二值化图像记为：img
h
；s42：遍历所有边缘点生成边缘点坐标集合：p
i
＝[p1(x,y),p2(x,y),
…
,p
n
(x,y)]，计算坐标集合p
i
中的所有元素与步骤s32得到的回火带内轮廓圆心o：(x
f
,y
f
)连线的长度得到集合s43：对集合d进行k-means聚类，k值为2，得到半径簇与非半径簇，然后将半径簇聚类中心记为：认为是轮毂的半径长度；s44：轮毂的淬火带区域为以o：(x
f
,y
f
)为圆心，外径为内径为r
f
的圆环区域记为c，c区域即为轮毂表面标注区域，最后利用相机内外参数将标注区域坐标转化为世界坐标发送给标注装置，标注装置将淬火带所在区域作为限制范围制定标注计划，随后进行标注作业。9.一种基于机器视觉的车轮轮毂识别定位系统，其特征在于，采用如权利要求8所述的车轮轮毂识别定位方法，实现对车轮轮毂表面进行标注作业工作，包括：第一工业相机、第二工业相机、视觉处理模块、标注装置、两个门型支架、辊道；所述第一工业相机、第二工业
相机分别安装在两个所述门型支架上，位于所述辊道上方，用于拍摄辊道的工作区、等待区，所述视觉处理模块分别与第一工业相机、第二工业相机通信连接，其中部署有轮毂识别算法、自闭塞算法、回火带定位算法以及淬火带定位算法，用于接收并处理第一工业相机、第二工业相机拍摄的实时图像，所述标注装置用于根据标注区域制定标注计划并在轮毂表面进行标注作业。

技术总结
本发明公开了一种基于机器视觉的车轮轮毂识别定位方法及系统，属于图像处理技术领域，系统包括第一工业相机、第二工业相机、视觉处理模块、标注装置、两个门型支架、辊道；所述第一工业相机、第二工业相机分别安装在两个所述门型支架上，位于所述辊道上方，用于拍摄辊道的工作区以及等待区，所述视觉处理模块分别与第一工业相机、第二工业相机通信连接，其中部署有轮毂识别算法、自闭塞算法、回火带定位算法以及淬火带定位算法。本发明具有成本低、部署便捷等优点，能够有效代替人工视觉进行车轮轮毂表面标注作业；特别在高温危险环境中，能够有效减少人工作业次数，减少安全事故，节约运维成本。约运维成本。约运维成本。


技术研发人员：方挺 许军利 董冲 韩家明
受保护的技术使用者：安徽工业大学
技术研发日：2023.04.24
技术公布日：2023/8/13