车身漆面缺陷快速检测方法、图像处理设备及可读介质与流程

1.本技术涉及漆面缺陷检测技术领域，特别是涉及一种车身漆面缺陷快速检测方法、图像处理设备及可读介质。


背景技术：

2.涂装工艺是汽车生产过程中的重要环节，通过在车表面喷涂油漆从而提升身体的抗腐蚀性以及美化汽车外观。由于受到生产环境与工业水平的限制，在汽车涂装过程中车身漆面不可避免会存在一些缺陷，比如喷涂过程中杂质引起的细小颗粒点，搬运过程中操作不当引起的漆面划痕，这些漆面缺陷的存在严重影响车辆品质，需要对其进行检测修复。目前对于车身漆面缺陷检测主要采取传统的人工目视检测，一辆车的检测往往需要6-8人，用工成本高，检测效率低下、主观性强、漏检率高，难以满足生产线快速检测的要求。
3.随着工业4.0时代的快速推进以及人工智能、计算机视觉等技术近年来的快速发展，深度学习目标检测已经在工业界得到了广泛的应用，但在车身漆面缺陷检测这一领域仍处于空白。目前在工业界常用的目标检测方法如fast rcnn、faster rcnn等方法为两阶段检测算法，在目标检测过程中需要首先提取候选区域再进行目标检测，检测速度慢，难以在生产线节拍时间内完成车身漆面缺陷检测。


技术实现要素：

4.基于此，有必要针对工业界常用的目标检测算法如fast rcnn及faster rcnn等均为两阶段检测算法，检测速度慢，难以在生产线节拍时间内完成车身漆面缺陷检测的问题，提供一种车身漆面缺陷快速检测方法、图像处理设备及可读介质。
5.本技术提供一种车身漆面缺陷快速检测方法，包括：
6.获取检测工位中车身的表面图像信息；
7.将所述表面图像信息输入至缺陷检测模型，运行所述缺陷检测模型，获取所述缺陷检测模型的检测结果；
8.其中，所述缺陷检测模型采用yolov5模型。
9.本技术还提供一种图像处理设备，包括：包括存储器和处理器，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述内容所述的车身漆面缺陷快速检测方法。
10.本技术还提供一种计算机可读介质，所述计算机程序被处理器执行时实现如上述内容所述的车身漆面缺陷快速检测方法。
11.本技术涉及一种车身漆面缺陷快速检测方法、图像处理设备及可读介质，其中车身漆面缺陷快速检测方法通过采用yolov5模型作为缺陷检测模型对车身的表面图像信息进行分析，能够准确识别出车身漆面存在的细小缺陷，缺陷检测识别的精确率达到98％，召回率达到98％，从而实现车身漆面缺陷的快速检测。相比于使用同类目标检测方法如fast rcnn和faster rcnn等算法，在保证检测精度的同时，大幅提高了检测速度，图片检测速度
达到20张/s，能够满足汽车生产线的节拍需求。
附图说明
12.图1为本技术一实施例提供的车身漆面缺陷快速检测方法的流程示意图。
13.图2为本技术一实施例提供的车身漆面缺陷快速检测方法中缺陷检测模型的网络结构图。
14.图3为本技术一实施例提供的车身漆面缺陷快速检测方法中缺陷检测模型的预测检测框和缺陷真实框的示意图。
15.图4为本技术一实施例提供的车身漆面缺陷快速检测方法中图像切分的示意图。
16.图5为本技术一实施例提供的车身漆面缺陷快速检测方法中改进后的缺陷检测模型的网络结构图。
17.图6为本技术一实施例提供的车身漆面缺陷快速检测方法中光源和面阵相机的示意图。
18.图7(a)至图7(d)为本技术一实施例提供的车身漆面缺陷快速检测方法中图像预处理的过程示意图，其中图7(a)为同一位置的第一张缺陷图像，图7(b)为同一位置的第二张缺陷图像，图7(c)为两张缺陷图像进行差分处理后所获得得差分图，图7(d)为数据增强后的图像。
19.图8为本技术一实施例提供的车身漆面缺陷快速检测方法中模型训练过程中各指标的变化情况。
20.图9为本技术一实施例提供的车身漆面缺陷快速检测方法的检测结果图，检测出的缺陷为颗粒。
21.图10为本技术一实施例提供的车身漆面缺陷快速检测方法的另一检测结果图，检测出的缺陷为纤维。
具体实施方式
22.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
23.本技术提供一种车身漆面缺陷快速检测方法。需要说明的是，本技术提供的车身漆面缺陷快速检测方法的可应用于一种或多种不同类型车身漆面缺陷的检测，如颗粒、纤维、缩孔、电泳缩孔、漆点、钣金、流痕、外伤等缺陷。
24.此外，本技术提供的车身漆面缺陷快速检测方法不限制其执行主体。可选地，本技术提供的车身漆面缺陷快速检测方法的执行主体的可以为一种工控机。
25.如图1所示，在本技术的一实施例中，所述车身漆面缺陷快速检测方法包括如下s100至s200：
26.s100，获取检测工位中车身的表面图像信息。
27.s200，将所述表面图像信息输入至缺陷检测模型，运行所述缺陷检测模型，获取所述缺陷检测模型的检测结果。具体的，所述缺陷检测模型采用yolov5模型。
28.例如，检测结果如图9和图10所示，其中缺陷被框选出，并示出有缺陷类型和置信
度。可以观测到图9中的缺陷类型为颗粒(keli),置信度为0.82。图10中的缺陷类型为纤维(xianwei)，置信度为0.85。
29.在本实施例中，通过采用yolov5模型作为缺陷检测模型对车身的表面图像信息进行分析，能够准确识别出车身漆面存在的细小缺陷，缺陷检测识别的精确率达到98％，召回率达到98％，从而实现车身漆面缺陷的快速检测。相比于使用同类目标检测方法如fast rcnn和faster rcnn等算法，在保证检测精度的同时，大幅提高了检测速度，图片检测速度达到20张/s，能够满足汽车生产线的节拍需求。
30.如图2所示，在本技术的一实施例中，所述yolov5模型的网络结构包括：input输入端，backbone基础网络，neck网络和prediction输出层。
31.具体而言，input输入端包括mosaic数据增强结构、自适应锚框计算结构和自适应图片缩放结构。backbone基础网络包括focus单元、spp单元和c3单元。neck网络采用fpn+pan的结构，其中fpn结构用于自上向下传递强语义特征信息。pan结构在fpn结构之后增加一个向上的特征金字塔，用于自下向上传递强定位信息。prediction输出层包括bounding box损失函数和nms非极大抑制。
32.如图3所示，在本技术的一实施例中，所述bounding box损失函数采用ciou_loss损失函数，所述ciou_loss损失函数的表达式如下：
[0033][0034][0035][0036]
式1至式3中，iou表示缺陷预测框和缺陷真实框的交并比，ρ2(b，b
gt
)表示缺陷预测框中心点b和缺陷真实框的中心点b
gt
的欧氏距离，c表示缺陷预测框和缺陷真实框所构成整体的外接矩形的对角线长度。v表示缺陷预测框和缺陷真实框的宽高比相似度，α表示v的影响因子。w
gt
表示真实矩形框的宽，h
gt
表示真实矩形框的高，w
p
表示预测矩形框的宽，h
p
表示预测矩形框的高。
[0037]
在漆面缺陷目标检测任务中，检测框为矩形框，而缺陷往往是不规则的，可能存在圆形、长条形、流线形等多种形状，并且缺陷间可能距离很近。因此在多个目标检测过程中不可避免会存在检测框重叠和重复的问题，因此在目标检测的后处理过程中，需要对多目标框进行筛选。
[0038]
在本技术的一实施例中，所述nms非极大抑制采用加权nms，对多目标框进行筛选得到最终预测框，筛选条件如下：
[0039][0040]
式4中，i表示目标框的序号，iou表示多目标框的交并比，ni表示设定的目标值。
[0041]
当iou小于ni时，si＝si，表示保留目标框。
[0042]
当iou大于或等于ni时，si＝0，表示舍去目标框。
[0043]
在本实施例中，通过采用加权nms的方式对，多目标框进行筛选，避免在多个目标检测过程中检测框重叠和重复。
[0044]
优选的，由于待检测缺陷较为密集，为避免预测框重叠，将ni设置为0.1。
[0045]
根据缺陷的统计结果，车身漆面缺陷中颗粒缺陷占90％以上，颗粒缺陷在图像中通常呈圆形，直径在0.1mm～1mm之间，而拍摄得到一张图像的尺寸为160
×
160mm，因此对于细小颗粒缺陷的检测属于目标检测任务中的小目标检测。经过测试，发现原始的yolov5模型对于直径在0.5mm以下的缺陷检测效果不佳。针对小颗粒检测情况，需对原始yolov5模型作出改进。
[0046]
在本技术的一实施例中，在所述将所述表面图像信息输入至缺陷检测模型之前，所述车身漆面缺陷快速检测方法还包括：
[0047]
对于目标检测detect模块，增加了图像切割部分。将原始图像裁剪为多个切分图像，将多个切分图像作为表面图像信息输入至缺陷检测模型，模型输出切分图像中的缺陷坐标、缺陷类型等缺陷信息，再将各切分图像的缺陷信息整合。
[0048]
例如，如图4所示，将5120
×
5120px的原始图像裁剪为若干640
×
640px图像。
[0049]
其中缺陷在原始图像中的坐标(x,y)为：
[0050]
x＝x
ij
+640
×
(j-1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式5
[0051]
y＝y
ij
+640
×
(i-1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式6
[0052]
式5和式6中，x
ij
为缺陷在裁剪后第i行第j列的切分图像中的横坐标。y
ij
为缺陷在裁剪后第i行第j列的切分图像中的纵坐标。
[0053]
在实施例中，通过图像剪裁操作，增加了缺陷点在图像中的比例大小，提高缺陷检测模型对于小颗粒缺陷的检测效果。
[0054]
如图5所示，在本技术的一实施例中，为了增强缺陷检测模型对于小目标的检测能力，对yolov5模型的网络结构做出如下改进：
[0055]
1)在所述yolov5模型的网络结构的第17层c3_3单元之后，还增加有第19层上采样单元(upsample)。
[0056]
2)在第20层concat单元，将获取到的特征图与backbone基础网络中第2层c3_3单元的特征图进行concat融合，以此获得更大的特征图进行小目标检测。
[0057]
3)在目标检测层部分，于第21层c3_3单元之后，还增加一个小目标层detect，改进后的缺陷检测模型一共使用四层c3_3单元的特征图进行检测，如第21层c3_3单元，第24层c3_3单元，第27层c3_3单元，第30层c3_3单元。
[0058]
经对比测试，改进前后的缺陷检测模型对于不同直径大小的缺陷检测性能如以下表1和表2所示：
[0059]
表1为改进前的缺陷检测模型对于不同尺寸缺陷的检测性能表
[0060][0061]
表2为改进后的缺陷检测模型对于不同尺寸缺陷的检测性能表
[0062][0063][0064]
基于表1和表2的比对，综合考虑准确率(precision)和召回率(recall)，改进后的缺陷检测模型对于直径小于且等于3mm缺陷的检测性能明显提升。
[0065]
在本实施例中，在既有的目标检测框基础上，增加了一组较小的anchor，增强模型对于小颗粒目标的捕捉能力。
[0066]
在本技术的一实施例中，所述缺陷检测模型的建立方法包括如下st10至st50。
[0067]
st10，采集车身漆面缺陷图像作为缺陷数据集。
[0068]
st20，对所述缺陷数据集进行图像预处理。
[0069]
st30，对图像预处理后的缺陷数据集进行缺陷标注，并在标注后划分为训练集，验证集和测试集。
[0070]
st40，利用所述构建的训练集和验证集对缺陷检测模型进行训练和验证。
[0071]
st50，使用训练完成的缺陷检测模型对所述测试集进行检测，分析检测结果。
[0072]
如图1所示，在本技术的一实施例中，所述st10包括如下st11至st13。
[0073]
st11，人工预设置车身漆面缺陷。
[0074]
具体的，车身漆面缺陷类型共考虑颗粒、纤维、缩孔、电泳缩孔、漆点、钣金、流痕、外伤等8种主要缺陷。
[0075]
st12，采集车身漆面缺陷图像，每个点位按照不同光源形式拍摄两张图像。
[0076]
具体的，如图6所示，车身漆面缺陷图像的采集利用led黑白条纹光源101，配合三台2500万像素工业面阵相机102获取车身漆面缺陷照片，同一位置分别按照黑白光与白黑光拍摄两次，得到两张缺陷照片。激光传感器103用于检测相机与车身的距离。
[0077]
st13，筛选清晰的车身漆面缺陷图像制备车身漆面缺陷数据集。
[0078]
在本技术的一实施例中，所述st20包括如下st21至st22。
[0079]
st21，对车身漆面缺陷图像进行裁剪。
[0080]
在一实施例中，可将车身漆面缺陷图像剪裁为多张640*640像素的正方形图像。
[0081]
st22，将同一位置的两张缺陷图像进行差分处理得到差分图，进而得到清晰的缺陷图像。
[0082]
st23，对差分图进行数据增强处理，提升图像中缺陷的可见度。
[0083]
例如，下面介绍一种实施例，如图7(a)至图7(d)所示，图7(a)和图7(b)为同一位置的两张正弦相移条纹光下的图像，图7(c)为图7(a)和图7(b)两张图像进行差分处理合并后的图像，进行数据增强后获得图7(d)所示的数据增强后的差分图，根据图7(d)所呈现的效果，缺陷的可见度明显提高。
[0084]
在本实施例中，通过对车身漆面缺陷图像进行裁剪，差分和数据增强操作，使得缺陷在图像中更加明显，易于被模型检测。
[0085]
在本技术的一实施例中，所述st30包括如下st31至st33。
[0086]
st31，使用标注软件labellmg，生成包含缺陷位置与大小信息的yolo格式标注文件。
[0087]
具体使用软件labellmg进行缺陷标注过程中，以矩形框的形式将图像中的缺陷标出，标注后生成包含缺陷位置与大小信息的yolo格式标注文件，存入labels文件夹中。
[0088]
st32，对缺陷数据集进行标注二次检查，统一标注标准。
[0089]
在本实施例中，通过采用二次检查，降低不同工作人员缺陷标注的主观性。
[0090]
st33，按照8：1：1的比例将标注好的图像划分为训练集、验证集、测试集。
[0091]
在本技术的一实施例中，所述st40包括如下st41至st43。
[0092]
st41，配置模型训练环境。
[0093]
st42，将训练集与验证集中的图像输入模型进行训练与验证，设置训练轮数为300。
[0094]
st43，分别采用yolov5s、yolov5m和yolov5l这三种网络结构对模型进行训练，得到对应的.pt权重文件。
[0095]
例如，下面介绍一种实施例，采用的训练模型为yolov5 v6.2模型，模型的环境配置为python＝3.9，torch＝1.13.0，cuda＝11.7，gpu＝nvidia geforce rtx 3090 ti，core
tm
i9 i9-12900k。训练前需要设置模型的训练参数，本实施例中设置网络迭代次数为200，学习率为0.01，训练批量大小batch size为16，分别采用官方提供的yolov5s，yolov5m和yolov5l这三种网络结构对模型进行训练。
[0096]
在本技术的一实施例中，所述st50包括如下st51至st53。
[0097]
st51，将测试集的中的图像输入训练好的模型中，验证模型检测效果。
[0098]
st52，对比yolov5s，yolov5m和yolov5l这三种模型的检测效果，选用最优模型。
[0099]
st53，将得到的最优模型进行部署。
[0100]
例如，下面介绍一种实施例，模型评价指标包括准确率p、召回率r、平均精度均值map和测试2000张图片所需时间，相关公式如下式7至式10：
[0101][0102][0103]
[0104][0105]
在本次任务中，当预测框与真实框交并比大于0.5时(即iou＞0.5)被认为是正确预测。以上式7至式10中，准确率p表示模型给出的所有预测结果中，正确的预测结果所占比例。召回率r表示真实结果中，被正确预测的结果所占比例。tp表示存在缺陷被正确预测出的缺陷个数。fp表示不存在缺陷被预测为缺陷的个数。fn表存在缺陷但没有预测出的个数。平均准确率ap表示某一缺陷类别预测准确率和召回率曲线下的面积大小，采用插值法计算，m为插值的点个数，p(r)表示插值点对应的准确率p。平均精度均值map表示所有缺陷类别ap的均值，m表示预测的缺陷类别数。
[0106]
模型训练过程中，随着迭代轮次各指标的情况如图8所示，可以看出随着模型迭代轮次增加，训练集和验证集的损失函数train/box_loss，train/obj_loss，train/cls_loss，val/box_loss，val/obj_loss，val/cls_loss不断减小，准确率precisio n，召回率recall和平均精度均值map_0.5不断增加。各预测模型指标如下表3所示。
[0107]
表3为各预测模型的指标数据表
[0108]
模型precision(p)recall(r)map(0.5)检测2000张图片所用时间yolov5.s0.9380.9450.969103syolov5.m0.9560.9490.974120syolov5.l0.9610.9710.981157s
[0109]
在本实施例中，综合考虑检测准确率与检测效率，选择使用yolov5.m模型，预测精度95.6％，检测2000张图片用时120s，在其他使用场景中应根据具体的需求部署模型。
[0110]
本技术还提供一种图像处理设备。
[0111]
在本技术的一实施例中，所述图像处理设备包括存储器和处理器，所述存储器与所述处理器耦接。其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现前述内容所述的车身漆面缺陷快速检测方法。
[0112]
本技术还提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述内容所述的车身漆面缺陷快速检测方法。
[0113]
以上所述实施例的各技术特征可以进行任意的组合，各方法步骤也并不做执行顺序的限制，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0114]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.一种车身漆面缺陷快速检测方法，其特征在于，所述车身漆面缺陷快速检测方法包括：获取检测工位中车身的表面图像信息；将所述表面图像信息输入至缺陷检测模型，运行所述缺陷检测模型，获取所述缺陷检测模型的检测结果；其中，所述缺陷检测模型采用yolov5模型。2.根据权利要求1所述的车身漆面缺陷快速检测方法，其特征在于，所述yolov5模型的网络结构包括：input输入端，包括mosaic数据增强结构、自适应锚框计算结构和自适应图片缩放结构；backbone基础网络，包括focus单元、spp单元和c3单元；neck网络，采用fpn+pan的结构，其中fpn结构用于自上向下传递强语义特征信息；pan结构在fpn结构之后增加一个向上的特征金字塔，用于自下向上传递强定位信息；prediction输出层，包括bounding box损失函数和nms非极大抑制。3.根据权利要求2所述的车身漆面缺陷快速检测方法，其特征在于，所述bounding box损失函数采用ciou_loss损失函数，所述ciou_loss损失函数的表达式如下：损失函数采用ciou_loss损失函数，所述ciou_loss损失函数的表达式如下：损失函数采用ciou_loss损失函数，所述ciou_loss损失函数的表达式如下：式中，iou表示缺陷预测框和缺陷真实框的交并比，ρ2(b，b
gt
)表示缺陷预测框中心点b和缺陷真实框的中心点b
gt
的欧氏距离，c表示缺陷预测框和缺陷真实框所构成整体的外接矩形的对角线长度；v表示缺陷预测框和缺陷真实框的宽高比相似度，α表示v的影响因子；w
gt
表示真实矩形框的宽，h
gt
表示真实矩形框的高，w
p
表示预测矩形框的宽，h
p
表示预测矩形框的高。4.根据权利要求2所述的车身漆面缺陷快速检测方法，其特征在于，所述nms非极大抑制采用加权nms，对多目标框进行筛选得到最终预测框，筛选条件如下：其中，i表示目标框的序号，iou表示多目标框的交并比，n
i
表示设定的目标值；当iou小于n
i
时，s
i
＝s
i
，表示保留目标框；当iou大于或等于n
i
时，s
i
＝0，表示舍去目标框。5.根据权利要求2所述的车身漆面缺陷快速检测方法，其特征在于，在所述将所述表面图像信息输入至缺陷检测模型之前，所述车身漆面缺陷快速检测方法还包括：将原始图像裁剪为多个切分图像，将多个切分图像作为表面图像信息输入至缺陷检测
模型；其中缺陷在原始图像中的坐标(x,y)为：x＝x
ij
+640
×
(j-1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式5y＝y
ij
+640
×
(i-1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式6其中，x
ij
为缺陷在裁剪后第i行第j列的切分图像中的横坐标；y
ij
为缺陷在裁剪后第i行第j列的切分图像中的纵坐标。6.根据权利要求5所述的车身漆面缺陷快速检测方法，其特征在于，所述yolov5模型的网络结构在第17层c3_3单元之后，还增加有第19层上采样单元；在第20层concat单元，将获取到的特征图与backbone基础网络中第2层c3_3单元的特征图进行concat融合，以此获得更大的特征图进行小目标检测；在目标检测层部分，于第21层c3_3单元之后，还增加一个小目标层detect。7.根据权利要求1所述的车身漆面缺陷快速检测方法，其特征在于，所述缺陷检测模型通过如下建立方法建立：采集车身漆面缺陷图像作为缺陷数据集；对所述缺陷数据集进行图像预处理；对图像预处理后的缺陷数据集进行缺陷标注，并在标注后划分为训练集，验证集和测试集；利用所述构建的训练集和验证集对缺陷检测模型进行训练和验证；使用训练完成的缺陷检测模型对所述测试集进行检测，分析检测结果。8.根据权利要求1所述的车身漆面缺陷快速检测方法，其特征在于，所述采集车身漆面缺陷图像作为缺陷数据集包括：采用条纹光源配合面阵相机获取漆面缺陷图像，其中同一位置获取两张正弦相移条纹图像；所述对所述缺陷数据集进行图像预处理包括：对车身漆面缺陷图像进行裁剪；将同一位置的两张车身漆面缺陷图像进行差分处理得到差分图；对差分图进行数据增强处理。9.一种图像处理设备，其特征在于，包括存储器和处理器，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述权利要求1至8中任一项所述的车身漆面缺陷快速检测方法。10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任意一项所述的车身漆面缺陷快速检测方法。

技术总结
本申请涉及一种车身漆面缺陷快速检测方法、图像处理设备及可读介质，其中车身漆面缺陷快速检测方法通过采用YOLOv5模型作为缺陷检测模型对车身的表面图像信息进行分析，能够准确识别出车身漆面存在的细小缺陷，缺陷检测识别的精确率达到98％，召回率达到98％，从而实现车身漆面缺陷的快速检测。相比于使用同类目标检测方法如Fast RCNN和Faster RCNN等算法，在保证检测精度的同时，大幅提高了检测速度，图片检测速度达到20张/s，能够满足汽车生产线的节拍需求。产线的节拍需求。产线的节拍需求。


技术研发人员：王云鹏 王宇哲 俞宏秋
受保护的技术使用者：杭州爱祺昇视像科技有限公司
技术研发日：2023.05.31
技术公布日：2023/10/15