基于YOLOv5m的透明塑料瓶表面缺陷检测方法

基于yolov5m的透明塑料瓶表面缺陷检测方法
技术领域
1.本发明属于塑料表面缺陷检测技术领域，涉及基于yolov5m的透明塑料瓶表面缺陷检测方法。


背景技术：

2.塑料因具有化学性质稳定、成型性、着色性好、加工成本低、耐磨性好、绝缘性好等特点，广泛应用于建筑、医疗、工业、农业等方面。而对于诸如塑料水杯、产品包装容器这类透明塑料消费产品则对外观具有很高的要求，但在生成过程中由于诸多因素的影响很容易出现如黑点、划痕、油滴、气泡等缺陷，影响其外观的美观度，因此在实际生产中实时对透明塑料制品表面进行缺陷检测是一个十分重要的环节。
3.然而，目前塑料制品生产企业，对塑料制品表面缺陷检测主要采用人工检测法。但是使用人工检测法对塑料制品表面缺陷进行检测，不仅检测精度低、劳动强度较大而且受认知因素影响较大。为了提高产品的检测效率和检测精度，以适应目前更加高效，更加智能的生产方式，将基于深度学习的机器视觉应用于塑料表面缺陷检测具有很高的实践意义。yolov5作为最著名的深度学习目标检测算法之一，也被应用于表面缺陷检测。yolov5m属于yolov5算法中一个较小的模型，使用yolov5m实现对透明塑料瓶在生成过程中常见的四种表面缺陷(黑点、划痕、油滴、气泡)的检测，不仅能够节约劳动力，还能够提高产品检测的效率和精度。


技术实现要素：

4.本发明的目的是提供基于yolov5m的透明塑料瓶表面缺陷检测方法，解决了现有技术中存在的透明塑料瓶表面缺陷检测的检测效率与精度低下的问题。
5.本发明所采用的技术方案是，基于yolov5m的透明塑料瓶表面缺陷检测方法，具体按照以下步骤实施：
6.步骤1、利用基于机器视觉的图像采集装置采集透明塑料瓶表面缺陷数据；
7.步骤2、对步骤1采集的透明塑料瓶表面缺陷数据进行预处理，对预处理后的透明塑料瓶表面缺陷数据中每一张图像的缺陷进行标注，将标注后塑料表面缺陷数据划分为训练集、验证集和测试集。
8.步骤3、搭建yolov5m网络结构模型，对yolov5m网络结构模型进行改进，得到改进的yolov5m网络结构模型；
9.步骤4、将步骤2中的训练集输入步骤3改进的yolov5m网络模型中进行训练，得到透明塑料瓶表面缺陷检测模型；
10.步骤5、利用步骤4中的透明塑料瓶表面缺陷检测模型，对步骤2中的测试集进行测试。
11.本发明的特点还在于，
12.步骤2训练集、验证集和测试集的比例设置为8:1:1。
13.搭建yolov5m网络结构模型包括输入层、backbone、neck、prediction；backbone结构包括cbs模块、c3模块和sppf模块，在yolov5m网络结构模型的backbone结构中添加ca注意力机制，并引入aspp模块，ca注意力机制加入backbone结构的第三个c3模块前，aspp模块用于代替在backbone结构中网络中原有的sppf模块。
14.ca注意力机制通过在水平和垂直两个方向上同时进行平均池化，从而得到两个1d向量，在空间维度上通过concat和1
×
1conv来压缩通道，通过bn和non-linear来编码垂直方向和水平方向的空间信息，各自通过1
×
1conv得到input feature maps一样的通道数，之后归一化加权。
15.aspp模块具有不同采样率的多个并行空洞卷积层，为每个采样率提取的特征在单独的分支中进一步处理，并融合以生成最终结果以实现多尺度融合。
16.预处理时，将透明塑料瓶表面缺陷数据中每一张图像进行对比度增强图像处理，并对处理后的图片通过复制粘贴、缩放拼接、旋转等方法进行数据增强；
17.标注时，使用图像标注工具labelimg对预处理之后的透明塑料瓶表面缺陷数据中每一张图像的缺陷进行标注。
18.步骤4得到透明塑料瓶表面缺陷检测模型包括权重文件以及改进的yolov5m网络结构模型在训练集上的准确率、召回率以及map值；训练epoch设定为200，分组尺寸batch size设定为8，图片尺寸image size设定为1280
×
1280。
19.步骤5采用步骤4中表面缺陷检测模型的权重文件以及步骤2中的测试集进行测试，得到透明塑料瓶表面缺陷检测模型在测试集上的准确率、召回率以及map值。
20.步骤1基于机器视觉的图像采集装置，根据实际需求分析，包括三个工业相机和镜头、一个白光led背光源、一个可旋转白光led底光源和一个上位机(电脑)，其中三个工业相机均采用海康威视mv-ch120-10um，搭配mvl-kf1228m-12mpfa镜头。
21.本发明的有益效果是：本发明基于yolov5m的透明塑料瓶表面缺陷检测方法，通过在yolov5m网络结构中引入注意力机制coordattention，在backbone网络结构的第三个c3模块之前引入coordattention注意力机制，通过coordattention注意力机制同时考虑通道间关系和位置信息优势，提高目标区域的准确识别能力；使用atrous spatial pyramid pooling模块替代backbone网络结构中原有的sppf模块，实现了在分辨率损失较小的情况下，获取不同感受野大小可以获得不同尺度的信息，有利于对小目标的检测，提高检测的准确率，加快检测时间。
附图说明
22.图1是本发明基于yolov5m的透明塑料瓶表面缺陷检测方法的流程图；
23.图2是透明塑料瓶缺陷数据采集装置示意图；
24.图3是本发明中yolov5m的骨干网络结构图；
25.图4是本发明中aspp空洞卷积池化金字塔原理图；
26.图5是本发明中coordattention注意力机制原理图；
27.图6是本发明中改进后yolov5m的骨干网络结构图；
28.图7是本发明实施例中两种模型对四种缺陷检测精度对比图；
29.图8是本发明实施例中两种模型对四种缺陷误检率对比图。
具体实施方式
30.下面结合附图和具体实施方式对本发明进行详细说明。
31.本发明基于yolov5m的透明塑料瓶表面缺陷检测方法的流程图，如图1所示，具体按照以下步骤实施：
32.步骤1、利用基于机器视觉的图像采集装置采集透明塑料瓶表面缺陷数据；
33.如图2所示，基于机器视觉的图像采集装置包括三个工业相机和镜头、一白光led背光源、一个可旋转白光led底光源和一个上位机，即电脑，其中三个工业相机均采用海康威视mv-ch120-10um，搭配mvl-kf1228m-12mpfa镜头。
34.步骤2、对步骤1采集的透明塑料瓶表面缺陷数据进行预处理，对预处理后的透明塑料瓶表面缺陷数据中每一张图像的缺陷进行标注，将标注后塑料表面缺陷数据划分为训练集、验证集和测试集。训练集用于训练、验证集用于验证、测试集用于测试；训练集、验证集和测试集的比例设置为8:1:1。
35.预处理时，将透明塑料瓶表面缺陷数据中每一张图像进行对比度增强图像处理，并对处理后的图片通过复制粘贴、缩放拼接、旋转等方法进行数据增强；标注时，使用图像标注工具labelimg对预处理之后的透明塑料瓶表面缺陷数据中每一张图像的缺陷进行标注。
36.步骤3、搭建yolov5m网络结构模型，对yolov5m网络结构模型进行改进，得到改进的yolov5m网络结构模型；
37.搭建yolov5m网络结构模型包括输入层、backbone、neck、prediction；在yolov5m网络结构模型的backbone结构中添加coordattention注意力机制(简称ca注意力机制)，并引入atrous spatial pyramid pooling空洞卷积池化金字塔(简称aspp)模块。如图6所示，ca注意力机制加入backbone结构的第三个c3模块前，aspp模块用于代替在backbone结构中网络中原有的sppf模块。
38.如图3所示，backbone结构包括cbs模块、c3模块和sppf模块，cbs模块和c3模块共同用于解决backbone结构中网络优化的梯度信息重复，减少yolov5m网络结构模型的参数量，保证检测速度和准确率的同时，减少模型的尺寸。
39.如图5所示，ca注意力机制通过在水平和垂直两个方向上同时进行平均池化，从而得到两个1d向量，在空间维度上通过concat和1
×
1conv来压缩通道，通过bn和non-linear来编码垂直方向和水平方向的空间信息，各自通过1
×
1conv得到input feature maps一样的通道数，之后归一化加权。ca注意力机制同时考虑了通道间的关系和位置信息，使得模型更加准确定位并识别到目标区域。
40.如图4所示，aspp模块具有不同采样率的多个并行空洞卷积层，为每个采样率提取的特征在单独的分支中进一步处理，并融合以生成最终结果。sppf结构作为池化层，将csp结构输出的任意尺寸的特征图转换成固定尺寸的特征向量用于yolov5m的训练。
41.步骤4、将步骤2中的训练集输入步骤3改进的yolov5m网络模型中进行训练，得到透明塑料瓶表面缺陷检测模型；
42.得到透明塑料瓶表面缺陷检测模型包括权重文件以及改进的yolov5m网络结构模型在训练集上的准确率、召回率以及map值；训练epoch设定为200，分组尺寸batch size设定为8，图片尺寸image size设定为1280
×
1280。
43.步骤5、利用步骤4中的透明塑料瓶表面缺陷检测模型，对步骤2中的测试集进行测试。
44.采用步骤4中表面缺陷检测模型的权重文件以及步骤2中的测试集进行测试，得到透明塑料瓶表面缺陷检测模型在测试集上的准确率、召回率以及map值。
45.本发明基于yolov5m的透明塑料瓶表面缺陷检测的方法，在yolov5m网络结构模型的backbone结构的sppf结构使用aspp结构替代，并在第三个c3模块前引入ca注意力机制对现有的yolov5m网络结构进行改进，提高yolov5m网路结构模型在缺陷检测任务中的检测精度。aspp使用空洞卷积替代了池化层，aspp通过多尺度的空洞卷积直接在原始特征图上进行操作，保留了更多的原始信息。此外，由于其使用空洞卷积，从而有效地减少计算量，且通过使用不同采样率的空洞卷积，aspp能够捕捉不同尺度的信息，从而更好地适应目标物体的大小和形状；而ca注意力机制作为坐标注意力机制，为了解决2d全局平均池化带来的空间位置信息丢失，将通道注意力分解为两个并行的1d特征编码过程，有效的将空间位置信息整合到生成的注意图中，有效的解决了se、cbam等通道注意力机制空间位置信息丢失的缺点。ca注意力机制同时考虑了通道间的关系以及空间位置信息，使得网络结构模型更精确的定位并识别到目标区域。通过在yolov5m网络结构中引入ca注意力机制和aspp模块，不仅丰富了网络的上下文信息并且增加了对位置信息的关注，还减低了网络的计算量，从而有效的提升了网络检测精度和效率。
46.实施例
47.为了检验yolov5m网络结构改进后的检测效果进行对比实验，首先使用训练集以及yolov5m网络结构模型进行训练，得到训练好的yolov5m网络结构模型的权重文件以及yolov5m网络结构模型在训练集上的准确率、召回率、map值以及训练时长；
48.再使用本发明的练集以及改进的yolov5m网络结构模型进行训练，得到训练好的yolov5m+ca+aspp网络结构模型的权重文件以及改进的yolov5m网络结构模型在训练集上的准确率、召回率、map值以及训练时长，其中训练好的yolov5m+ca+aspp网络结构模型即为透明塑料瓶表面缺陷检测模型。两种模型训练结果如表1所示：
49.表1两种模型训练结果数据表
50.模型precisionrecallmap@0.5map@0.5:0.95训练时间yolov5m93.2％99％95.1％53.6％11hyolov5m+ca+aspp94.1％99％96.7％57.7％10.2h
51.表1中，precision为准确率；recall为召回率，map是所有类别的平均精度的均值，map@0.5表示设定阈值为0.5时iou计算得到的map值，map@0.5:0.95表示步长为0.05，阈值设定为0.5到0.95时iou计算得到的平均map值。map@0.5与map@0.5：0.95是目标检测算法中比较算法检测精度的重要指标。改进的yolov5m网络结构模型在训练集上的map值要高于yolov5m网络结构模型，yolov5m在训练集上的训练时间高于改进的yolov5m网络结构模型。
52.利用步骤4中的透明塑料瓶表面缺陷检测模型，对测试集进行测试。采用训练好的yolov5m网络结构模型的权重文件以及测试集进行测试，得到其准确率、召回率以及map值；
53.采用本发明训练好的yolov5m+ca+aspp网络结构模型的权重文件以及测试集进行测试，得到其准确率、召回率以及map值，训练好的yolov5m+ca+aspp网络结构模型即为透明塑料瓶表面缺陷检测模型。两种模型检测结果如表2所示：
54.表2两种模型检测结果数据表
55.模型precisionrecallmap@0.5map@0.5:0.95yolov5m89.9％97％94.3％51.2％yolov5m+ca+aspp92.8％98％96.2％54.3％
56.表2中，透明塑料瓶表面缺陷检测模型在测试集上的map值高于yolov5m网络结构模型。如图7所示，在对透明塑料瓶常见的四种表面缺陷(黑点、划痕、油滴、气泡)的检测精度上，透明塑料瓶表面缺陷检测模型相较于yolov5m网络结构模型均有提升。如图8所示，针对四种缺陷误检的情况，透明塑料瓶表面缺陷检测模型比yolov5m网络结构模型有明显的改观，尤其对油滴和划痕缺陷的误检率明显降低。
57.本发明基于yolov5m的透明塑料瓶表面缺陷检测方法，通过使用引入ca注意力机制和aspp模块的yolov5m目标检测方法对透明塑料瓶表面缺陷进行检测，对比于未改进的yolov5m网格结构模型的检测效果，实现了对透明塑料瓶表面缺陷检测的快速性与精准性。

技术特征：
1.基于yolov5m的透明塑料瓶表面缺陷检测方法，其特征在于，具体按照以下步骤实施：步骤1、利用基于机器视觉的图像采集装置采集透明塑料瓶表面缺陷数据；步骤2、对步骤1采集的透明塑料瓶表面缺陷数据进行预处理，对预处理后的透明塑料瓶表面缺陷数据中每一张图像的缺陷进行标注，将标注后塑料表面缺陷数据划分为训练集、验证集和测试集；步骤3、搭建yolov5m网络结构模型，对yolov5m网络结构模型进行改进，得到改进的yolov5m网络结构模型；步骤4、将步骤2中的训练集输入步骤3改进的yolov5m网络模型中进行训练，得到透明塑料瓶表面缺陷检测模型；步骤5、利用步骤4中的透明塑料瓶表面缺陷检测模型，对步骤2中的测试集进行测试。2.根据权利要求1所述的基于yolov5m的透明塑料瓶表面缺陷检测方法，其特征在于，所述步骤2训练集、验证集和测试集的比例设置为8:1:1。3.根据权利要求2所述的基于yolov5m的透明塑料瓶表面缺陷检测方法，其特征在于，所述搭建yolov5m网络结构模型包括输入层、backbone、neck、prediction；backbone结构包括cbs模块、c3模块和sppf模块，在yolov5m网络结构模型的backbone结构中添加ca注意力机制，并引入aspp模块，ca注意力机制加入backbone结构的第三个c3模块前，aspp模块用于代替在backbone结构中网络中原有的sppf模块。4.根据权利要求3所述的基于yolov5m的透明塑料瓶表面缺陷检测方法，其特征在于，所述ca注意力机制通过在水平和垂直两个方向上同时进行平均池化，从而得到两个1d向量，在空间维度上通过concat和1
×
1conv来压缩通道，通过bn和non-linear来编码垂直方向和水平方向的空间信息，各自通过1
×
1conv得到input feature maps一样的通道数，之后归一化加权。5.根据权利要求3所述的基于yolov5m的透明塑料瓶表面缺陷检测方法，其特征在于，所述aspp模块具有不同采样率的多个并行空洞卷积层，为每个采样率提取的特征在单独的分支中进一步处理，并融合以生成最终结果。6.根据权利要求2所述的基于yolov5m的透明塑料瓶表面缺陷检测方法，其特征在于，所述预处理时，将透明塑料瓶表面缺陷数据中每一张图像进行对比度增强图像处理，并对处理后的图片通过复制粘贴、缩放拼接、旋转等方法进行数据增强。7.根据权利要求2所述的基于yolov5m的透明塑料瓶表面缺陷检测方法，其特征在于，所述标注时，使用图像标注工具labelimg对预处理之后的透明塑料瓶表面缺陷数据中每一张图像的缺陷进行标注。8.根据权利要求1所述的基于yolov5m的透明塑料瓶表面缺陷检测方法，其特征在于，所述步骤4得到透明塑料瓶表面缺陷检测模型包括权重文件以及改进的yolov5m网络结构模型在训练集上的准确率、召回率以及map值；训练epoch设定为200，分组尺寸batch size设定为8，图片尺寸image size设定为1280
×
1280。9.根据权利要求1所述的基于yolov5m的透明塑料瓶表面缺陷检测方法，其特征在于，所述步骤5采用步骤4中表面缺陷检测模型的权重文件以及步骤2中的测试集进行测试，得到透明塑料瓶表面缺陷检测模型在测试集上的准确率、召回率以及map值。
10.根据权利要求1所述的基于yolov5m的透明塑料瓶表面缺陷检测方法，其特征在于，所述步骤1基于机器视觉的图像采集装置包括三个工业相机和镜头、一白光led背光源、一个可旋转白光led底光源和一个上位机，其中三个工业相机均采用海康威视mv-ch120-10um，搭配mvl-kf1228m-12mpfa镜头。

技术总结
本发明公开了基于YOLOv5m的透明塑料瓶表面缺陷检测方法，具体按照以下步骤实施：采集透明塑料瓶表面缺陷数据，进行预处理并进行标注，将标注后塑料表面缺陷数据划分为训练集、验证集和测试集；搭建改进的YOLOv5m网络结构模型；将训练集输入改进的YOLOv5m网络模型中进行训练，得到透明塑料瓶表面缺陷检测模型；对测试集进行测试。本发明解决了现有技术中存在的透明塑料瓶表面缺陷检测的检测效率与精度低下的问题。度低下的问题。度低下的问题。


技术研发人员：李淑娟 裴靖妮 李言 赵智渊 袁启龙
受保护的技术使用者：西安理工大学
技术研发日：2023.04.24
技术公布日：2023/7/20