一种基于机器视觉的车门上饰板缝线位置检测方法及系统与流程

1.本发明涉及车门上饰板缝线位置检测技术领域，具体涉及一种基于机器视觉的车门上饰板缝线位置检测方法及系统。


背景技术：

2.机器视觉测量技术是利用计算机视觉和图像处理算法来实现物体尺寸的精确测量；其具体是通过使用摄像机或其他感知设备捕获物体的图像，再应用图像处理算法对图像进行分析和处理，提取出关键特征和几何信息，接着推断出物体的尺寸和形状。
3.目前，车门上饰板在生产制作完成后需要对车门上饰板上的每一段缝线到黑边的距离进行检测，现有的检测方案普遍难以准确的检测出每一段缝线到黑边的距离，导致成品车门上饰板容易出现缝线位置不合格的情况，且检测过程中也容易受到外部环境、工件位置和工件种类的影响；因此，需要设计一种基于机器视觉的车门上饰板缝线位置检测方法及系统。


技术实现要素：

4.本发明的目的是克服现有技术的不足，为更好的解决现有的检测方案由于普遍难以准确的检测出每一段缝线到黑边的距离，从而导致成品车门上饰板容易出现缝线位置不合格的情况，且检测过程中也容易受到外部环境、工件位置和工件种类影响的问题，提供了一种基于机器视觉的车门上饰板缝线位置检测方法及系统，本发明实现了具有能够在图像中快速准确地检测出多尺度和不同大小目标的功能，且还能适应不同的目标类别和复杂场景，具有良好的泛化性能，还实现了具有快速测量出缝线到黑边距离的功能，且检测准确性较高。
5.为了达到上述目的，本发明所采用的技术方案是：一种基于机器视觉的车门上饰板缝线位置检测方法，包括以下步骤，步骤（a），采集训练图片并制作成数据集，再利用数据集训练深度学习算法，完成定位测量模型的构建；步骤（b），采集样本图片并输入至定位测量模型，再利用定位测量模型定位测量位置；步骤（c），将定位好的测量位置裁剪，输出裁剪图片；步骤（d），将裁剪图片灰度化并定位缝线位置，再分离缝线，接着定位黑边区域，并获取区域骨架；步骤（e），利用缝线和区域骨架计算距离，获得计算数据；步骤（f），对计算数据进行结果判定，完成车门上饰板缝线位置的检测作业。
6.前述的一种基于机器视觉的车门上饰板缝线位置检测方法，步骤（a），采集训练图片并制作成数据集，再利用数据集训练深度学习算法，完成定位测量模型的构建，具体步骤如下，
步骤（a1），采集训练图片并制作成数据集，采集的训练图片为工件表面清晰的图片，其中数据集中80％作为训练集，20％作为验证集，所述训练集用于提供训练样本数据，并使得深度学习算法学习不同目标类别的特征和形状，所述验证集用于检测深度学习算法的性能；步骤（a2），利用数据集训练深度学习算法，其中深度学习算法使用的是yolov5s方法，且yolov5s方法由主干网络、特征金字塔和预测头组合而成，利用数据集训练深度学习算法的具体步骤如下，步骤（a21），数据集中的图片经主干网络提取图像特征，并输出三个特征图，而三个特征图经特征金字塔输出三个预测特征层；步骤（a22），由三个预测特征层经预测头生成不同大小的锚框，且不同大小的锚框用来预测不同大小的目标；步骤（a23），输出每个锚框的置信度、类别分数和预测边界框的坐标，并根据置信度分数筛选部分锚框，其中置信度低于0.5的舍弃，否则保留；步骤（a24），通过非极大值抑制筛选剩余的锚框，具体步骤如下，步骤（a241），非极大值抑制，对于输入的锚框根据置信度排序，再根据边界框的置信度得分对它们按照得分降序进行排序；步骤（a242），选择最高得分边界框，从排序后的边界框列表中选择置信度得分最高的边界框，并将其设为最佳检测结果，再将其添加至选框列表中；步骤（a243），计算重叠区域，对于剩余的边界框，计算它们与最高得分边界框的重叠区域；步骤（a244），剔除重叠边界框，对于重叠区域大于预设阈值的边界框，将其从列表中删除，再重复执行步骤，直到所有边界框都被处理完毕；步骤（a245），输出，输出是经过非极大值抑制后的边界框列表，其中每个边界框都表示一个唯一的目标。
7.前述的一种基于机器视觉的车门上饰板缝线位置检测方法，步骤（b），采集样本图片并输入至定位测量模型，再利用定位测量模型定位测量位置，其中定位测量模型会返回缝线位置的左上角坐标、右下角坐标、置信度分数和类别分数，而缝线位置的左上角坐标和右下角坐标用于定位测量位置。
8.前述的一种基于机器视觉的车门上饰板缝线位置检测方法，步骤（c），将定位好的测量位置裁剪，输出裁剪图片，其中具体是根据返回的缝线位置左上角坐标和右下角坐标信息采用切片的方式将测量位置裁剪。
9.前述的一种基于机器视觉的车门上饰板缝线位置检测方法，步骤（d），将裁剪图片灰度化并定位缝线位置，再分离缝线，接着定位黑边区域，并获取区域骨架，具体步骤如下，步骤（d1），将裁剪图片灰度化，灰度化具体是将三通道的图片转换成单通道的灰度图像；步骤（d2），定位缝线位置，其中图像灰度化之后缝线位置为白色高亮状态，其他区域呈现为灰色或黑色较暗的区域，而定位缝线位置是使用阈值分割获取灰度值为120-255的较亮缝线区域；步骤（d3），分离缝线，利用开运算将每段缝线的区域分割开，并将每一段区域分割
成独立的区域，再获取每一段区域的中心点坐标；步骤（d4），定位黑边区域，具体步骤如下，步骤（d41），裁剪图片灰度化后黑边位置呈现灰度值较低的黑色或灰色状态，再使用阈值分割获取灰度值为0-40的区域；步骤（d42），利用开运算去除噪点，再通过闭运算闭合没有连通的区域；步骤（d43），对闭运算做判断，若连通域的区域等于1则继续下一步，若连通域的区域大于1，则加大闭运算卷积核继续做闭运算，直到只剩下一个连通区域；步骤（d5），获取区域骨架，其中具体是使用zhang-suen算法中的opencv扩展模块ximgproc的thinning()算子对图像区域进行细化并获取区域骨架。
10.前述的一种基于机器视觉的车门上饰板缝线位置检测方法，步骤（e），利用缝线和区域骨架计算距离，获得计算数据，其中计算距离具体是利用获取的每段缝线中线点的坐标计算每个点到黑边区域骨架的距离，得到的计算数据为缝线到黑边的距离。
11.前述的一种基于机器视觉的车门上饰板缝线位置检测方法，步骤（f），对计算数据进行结果判定，完成车门上饰板缝线位置的检测作业，其中具体是根据需求设定一个上下限，再判定每一段缝线到黑边的距离是否在设定的范围内，若每一段距离都在设置的范围内则返回ok，否则返回ng。
12.一种基于机器视觉的车门上饰板缝线位置检测系统，包括模型构建模块、模型定位模块、位置裁剪模块、形态学分析模块、距离计算模块和数据判定模块，所述模型构建模块用于采集训练图片并制作成数据集，再利用数据集训练深度学习算法，完成定位测量模型的构建；所述模型定位模块用于采集样本图片并输入至定位测量模型，再利用定位测量模型定位测量位置；所述位置裁剪模块用于将定位好的测量位置裁剪，输出裁剪图片；所述形态学分析模块用于将裁剪图片灰度化并定位缝线位置，再分离缝线，接着定位黑边区域，并获取区域骨架；所述距离计算模块用于利用缝线和区域骨架计算距离，获得计算数据；所述数据判定模块用于对计算数据进行结果判定，完成车门上饰板缝线位置的检测作业。
13.本发明的有益效果是：本发明的一种基于机器视觉的车门上饰板缝线位置检测方法及系统，首先采集训练图片并制作成数据集，并通过数据集中的训练集能提供样本数据，这样能帮助深度学习算法学习不同目标类别的特征和形状，从而提高了定位测量模型的准确性和鲁棒性，再通过验证集能检测深度学习算法的性能，接着通过深度学习算法使用由主干网络、特征金字塔和预测头组合而成的yolov5s方法能够在图像中快速准确地检测出多尺度和不同大小的目标，且yolov5s方法还能适应不同的目标类别和复杂场景，具有良好的泛化性能，随后根据定位测量模型返回的缝线位置左上角坐标和右下角坐标信息采用切片的方式将测量位置裁剪，再将裁剪图片灰度化并定位缝线位置，然后分离缝线，并定位黑边区域，再获取区域骨架，最后利用缝线和区域骨架计算距离，并获得计算数据，再对计算数据进行结果判定，完成车门上饰板缝线位置的检测作业，有效的实现了该车门上饰板缝线位置检测系统及方法具有快速测量出缝线到黑边距离的功能，且检测准确性较高，具有方法科学合理、适用性强和效果佳等优点。
附图说明
14.图1是本发明的整体流程图；
图2是本发明的定位黑边区域具体流程图；图3是本发明的定位测量模型定位测量结果图；图4是本发明的缝线和区域骨架分离示意图。
具体实施方式
15.下面将结合说明书附图，对本发明作进一步的说明。
16.如图1所示，本发明的一种基于机器视觉的车门上饰板缝线位置检测方法及系统，包括以下步骤，步骤（a），采集训练图片并制作成数据集，再利用数据集训练深度学习算法，完成定位测量模型的构建，具体步骤如下，步骤（a1），采集训练图片并制作成数据集，采集的训练图片为工件表面清晰的图片，其中数据集中80％作为训练集，20％作为验证集，所述训练集用于提供训练样本数据，并使得深度学习算法学习不同目标类别的特征和形状，所述验证集用于检测深度学习算法的性能；其中，具体采集500张的训练图片，通过数据集中的训练集能提供样本数据，这样能帮助深度学习算法学习不同目标类别的特征和形状，从而提高了定位测量模型的准确性和鲁棒性，再通过验证集能检测深度学习算法的性能。
17.步骤（a2），利用数据集训练深度学习算法，其中深度学习算法使用的是yolov5s方法，且yolov5s方法由主干网络、特征金字塔和预测头组合而成，利用数据集训练深度学习算法的具体步骤如下，步骤（a21），数据集中的图片经主干网络提取图像特征，并输出三个特征图，而三个特征图经特征金字塔输出三个预测特征层；步骤（a22），由三个预测特征层经预测头生成不同大小的锚框，且不同大小的锚框用来预测不同大小的目标；步骤（a23），输出每个锚框的置信度、类别分数和预测边界框的坐标，并根据置信度分数筛选部分锚框，其中置信度低于0.5的舍弃，否则保留；步骤（a24），通过非极大值抑制筛选剩余的锚框，具体步骤如下，步骤（a241），非极大值抑制，对于输入的锚框根据置信度排序，再根据边界框的置信度得分对它们按照得分降序进行排序；步骤（a242），选择最高得分边界框，从排序后的边界框列表中选择置信度得分最高的边界框，并将其设为最佳检测结果，再将其添加至选框列表中；步骤（a243），计算重叠区域，对于剩余的边界框，计算它们与最高得分边界框的重叠区域；步骤（a244），剔除重叠边界框，对于重叠区域大于预设阈值的边界框，将其从列表中删除，再重复执行步骤，直到所有边界框都被处理完毕；步骤（a245），输出，输出是经过非极大值抑制后的边界框列表，其中每个边界框都表示一个唯一的目标。
18.其中，通过深度学习算法使用由主干网络、特征金字塔和预测头组合而成的yolov5s方法能够在图像中快速准确地检测出多尺度和不同大小的目标，且yolov5s方法还
能适应不同的目标类别和复杂场景，具有良好的泛化性能。
19.如图3所示，步骤（b），采集样本图片并输入至定位测量模型，再利用定位测量模型定位测量位置，其中定位测量模型会返回缝线位置的左上角坐标、右下角坐标、置信度分数和类别分数，而缝线位置的左上角坐标和右下角坐标用于定位测量位置。
20.步骤（c），将定位好的测量位置裁剪，输出裁剪图片，其中具体是根据返回的缝线位置左上角坐标和右下角坐标信息采用切片的方式将测量位置裁剪。
21.步骤（d），将裁剪图片灰度化并定位缝线位置，再分离缝线，接着定位黑边区域，并获取区域骨架，具体步骤如下，步骤（d1），将裁剪图片灰度化，灰度化具体是将三通道的图片转换成单通道的灰度图像；步骤（d2），定位缝线位置，其中图像灰度化之后缝线位置为白色高亮状态，其他区域呈现为灰色或黑色较暗的区域，而定位缝线位置是使用阈值分割获取灰度值为120-255的较亮缝线区域；步骤（d3），分离缝线，利用开运算将每段缝线的区域分割开，并将每一段区域分割成独立的区域，再获取每一段区域的中心点坐标；如图2所示，步骤（d4），定位黑边区域，具体步骤如下，步骤（d41），裁剪图片灰度化后黑边位置呈现灰度值较低的黑色或灰色状态，再使用阈值分割获取灰度值为0-40的区域；步骤（d42），利用开运算去除噪点，再通过闭运算闭合没有连通的区域；步骤（d43），对闭运算做判断，若连通域的区域等于1则继续下一步，若连通域的区域大于1，则加大闭运算卷积核继续做闭运算，直到只剩下一个连通区域；步骤（d5），获取区域骨架，其中具体是使用zhang-suen算法中的opencv扩展模块ximgproc的thinning()算子对图像区域进行细化并获取区域骨架。
22.如图4所示，步骤（e），利用缝线和区域骨架计算距离，获得计算数据，其中计算距离具体是利用获取的每段缝线中线点的坐标计算每个点到黑边区域骨架的距离，得到的计算数据为缝线到黑边的距离。
23.步骤（f），对计算数据进行结果判定，完成车门上饰板缝线位置的检测作业，其中具体是根据需求设定一个上下限，再判定每一段缝线到黑边的距离是否在设定的范围内，若每一段距离都在设置的范围内则返回ok，否则返回ng。
24.一种基于机器视觉的车门上饰板缝线位置检测系统，包括模型构建模块、模型定位模块、位置裁剪模块、形态学分析模块、距离计算模块和数据判定模块，所述模型构建模块用于采集训练图片并制作成数据集，再利用数据集训练深度学习算法，完成定位测量模型的构建；所述模型定位模块用于采集样本图片并输入至定位测量模型，再利用定位测量模型定位测量位置；所述位置裁剪模块用于将定位好的测量位置裁剪，输出裁剪图片；所述形态学分析模块用于将裁剪图片灰度化并定位缝线位置，再分离缝线，接着定位黑边区域，并获取区域骨架；所述距离计算模块用于利用缝线和区域骨架计算距离，获得计算数据；所述数据判定模块用于对计算数据进行结果判定，完成车门上饰板缝线位置的检测作业。
25.综上所述，本发明的一种基于机器视觉的车门上饰板缝线位置检测方法及系统，首先采集训练图片并制作成数据集，再利用数据集训练深度学习算法，有效的完成了定位
测量模型的构建，接着采集样本图片并输入至定位测量模型，再利用定位测量模型定位测量位置，随后将定位好的测量位置裁剪并输出裁剪图片，再将裁剪图片灰度化并定位缝线位置，然后分离缝线，并定位黑边区域，再获取区域骨架，最后利用缝线和区域骨架计算距离，并获得计算数据，再对计算数据进行结果判定，有效的完成了车门上饰板缝线位置的检测作业，本发明实现了具有能够在图像中快速准确地检测出多尺度和不同大小目标的功能，且还能适应不同的目标类别和复杂场景，具有良好的泛化性能，还实现了具有快速测量出缝线到黑边距离的功能，且检测准确性较高。
26.以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

技术特征：
1.一种基于机器视觉的车门上饰板缝线位置检测方法，其特征在于：包括以下步骤，步骤（a），采集训练图片并制作成数据集，再利用数据集训练深度学习算法，完成定位测量模型的构建；步骤（b），采集样本图片并输入至定位测量模型，再利用定位测量模型定位测量位置；步骤（c），将定位好的测量位置裁剪，输出裁剪图片；步骤（d），将裁剪图片灰度化并定位缝线位置，再分离缝线，接着定位黑边区域，并获取区域骨架；步骤（e），利用缝线和区域骨架计算距离，获得计算数据；步骤（f），对计算数据进行结果判定，完成车门上饰板缝线位置的检测作业。2.根据权利要求1所述的一种基于机器视觉的车门上饰板缝线位置检测方法，其特征在于：步骤（a），采集训练图片并制作成数据集，再利用数据集训练深度学习算法，完成定位测量模型的构建，具体步骤如下，步骤（a1），采集训练图片并制作成数据集，采集的训练图片为工件表面清晰的图片，其中数据集中80％作为训练集，20％作为验证集，所述训练集用于提供训练样本数据，并使得深度学习算法学习不同目标类别的特征和形状，所述验证集用于检测深度学习算法的性能；步骤（a2），利用数据集训练深度学习算法，其中深度学习算法使用的是yolov5s方法，且yolov5s方法由主干网络、特征金字塔和预测头组合而成，利用数据集训练深度学习算法的具体步骤如下，步骤（a21），数据集中的图片经主干网络提取图像特征，并输出三个特征图，而三个特征图经特征金字塔输出三个预测特征层；步骤（a22），由三个预测特征层经预测头生成不同大小的锚框，且不同大小的锚框用来预测不同大小的目标；步骤（a23），输出每个锚框的置信度、类别分数和预测边界框的坐标，并根据置信度分数筛选部分锚框，其中置信度低于0.5的舍弃，否则保留；步骤（a24），通过非极大值抑制筛选剩余的锚框，具体步骤如下，步骤（a241），非极大值抑制，对于输入的锚框根据置信度排序，再根据边界框的置信度得分对它们按照得分降序进行排序；步骤（a242），选择最高得分边界框，从排序后的边界框列表中选择置信度得分最高的边界框，并将其设为最佳检测结果，再将其添加至选框列表中；步骤（a243），计算重叠区域，对于剩余的边界框，计算它们与最高得分边界框的重叠区域；步骤（a244），剔除重叠边界框，对于重叠区域大于预设阈值的边界框，将其从列表中删除，再重复执行步骤，直到所有边界框都被处理完毕；步骤（a245），输出，输出是经过非极大值抑制后的边界框列表，其中每个边界框都表示一个唯一的目标。3.根据权利要求2所述的一种基于机器视觉的车门上饰板缝线位置检测方法，其特征在于：步骤（b），采集样本图片并输入至定位测量模型，再利用定位测量模型定位测量位置，其中定位测量模型会返回缝线位置的左上角坐标、右下角坐标、置信度分数和类别分数，而
缝线位置的左上角坐标和右下角坐标用于定位测量位置。4.根据权利要求3所述的一种基于机器视觉的车门上饰板缝线位置检测方法，其特征在于：步骤（c），将定位好的测量位置裁剪，输出裁剪图片，其中具体是根据返回的缝线位置左上角坐标和右下角坐标信息采用切片的方式将测量位置裁剪。5.根据权利要求4所述的一种基于机器视觉的车门上饰板缝线位置检测方法，其特征在于：步骤（d），将裁剪图片灰度化并定位缝线位置，再分离缝线，接着定位黑边区域，并获取区域骨架，具体步骤如下，步骤（d1），将裁剪图片灰度化，灰度化具体是将三通道的图片转换成单通道的灰度图像；步骤（d2），定位缝线位置，其中图像灰度化之后缝线位置为白色高亮状态，其他区域呈现为灰色或黑色较暗的区域，而定位缝线位置是使用阈值分割获取灰度值为120-255的较亮缝线区域；步骤（d3），分离缝线，利用开运算将每段缝线的区域分割开，并将每一段区域分割成独立的区域，再获取每一段区域的中心点坐标；步骤（d4），定位黑边区域，具体步骤如下，步骤（d41），裁剪图片灰度化后黑边位置呈现灰度值较低的黑色或灰色状态，再使用阈值分割获取灰度值为0-40的区域；步骤（d42），利用开运算去除噪点，再通过闭运算闭合没有连通的区域；步骤（d43），对闭运算做判断，若连通域的区域等于1则继续下一步，若连通域的区域大于1，则加大闭运算卷积核继续做闭运算，直到只剩下一个连通区域；步骤（d5），获取区域骨架，其中具体是使用zhang-suen算法中的opencv扩展模块ximgproc的thinning()算子对图像区域进行细化并获取区域骨架。6.根据权利要求5所述的一种基于机器视觉的车门上饰板缝线位置检测方法，其特征在于：步骤（e），利用缝线和区域骨架计算距离，获得计算数据，其中计算距离具体是利用获取的每段缝线中线点的坐标计算每个点到黑边区域骨架的距离，得到的计算数据为缝线到黑边的距离。7.根据权利要求6所述的一种基于机器视觉的车门上饰板缝线位置检测方法，其特征在于：步骤（f），对计算数据进行结果判定，完成车门上饰板缝线位置的检测作业，其中具体是根据需求设定一个上下限，再判定每一段缝线到黑边的距离是否在设定的范围内，若每一段距离都在设置的范围内则返回ok，否则返回ng。8.一种基于机器视觉的车门上饰板缝线位置检测系统，所述系统采用基于权利要求1-7任一项所述的方法，其特征在于：包括模型构建模块、模型定位模块、位置裁剪模块、形态学分析模块、距离计算模块和数据判定模块，所述模型构建模块用于采集训练图片并制作成数据集，再利用数据集训练深度学习算法，完成定位测量模型的构建；所述模型定位模块用于采集样本图片并输入至定位测量模型，再利用定位测量模型定位测量位置；所述位置裁剪模块用于将定位好的测量位置裁剪，输出裁剪图片；所述形态学分析模块用于将裁剪图片灰度化并定位缝线位置，再分离缝线，接着定位黑边区域，并获取区域骨架；
所述距离计算模块用于利用缝线和区域骨架计算距离，获得计算数据；所述数据判定模块用于对计算数据进行结果判定，完成车门上饰板缝线位置的检测作业。

技术总结
本发明公开了一种基于机器视觉的车门上饰板缝线位置检测方法及系统，首先采集训练图片并制作成数据集，再利用数据集训练深度学习算法，接着采集样本图片并输入至定位测量模型，再利用定位测量模型定位测量位置，随后将定位好的测量位置裁剪，并输出裁剪图片，然后将裁剪图片灰度化并定位缝线位置，再分离缝线，最后定位黑边区域，并获取区域骨架；本发明实现了具有能够在图像中快速准确地检测出多尺度和不同大小目标的功能，且还能适应不同的目标类别和复杂场景，具有良好的泛化性能，还实现了具有快速测量出缝线到黑边距离的功能，且检测准确性较高，具有方法科学合理、适用性强和效果佳等优点，适合被广泛推广和使用。适合被广泛推广和使用。适合被广泛推广和使用。


技术研发人员：孔啸 仇梁 姚韦 徐海福
受保护的技术使用者：江苏润模汽车检测装备有限公司
技术研发日：2023.06.29
技术公布日：2023/8/14