一种基于GhostNetV2轻量化工业产品零部件缺陷检测方法

一种基于ghostnetv2轻量化工业产品零部件缺陷检测方法
技术领域
1.本发明涉及一种工业产品缺陷检测方法，特别是涉及到一种基于ghostnetv2轻量化工业产品零部件缺陷检测方法。


背景技术：

2.工业生产过程中，由于受原材料、制造技术、生产工艺等因素的影响，可能导致产品的质量缺陷，其中表面缺陷是最为常见与最直观的表现形式。为了保证产品合格率及可靠性，必须进行产品表面缺陷检测，以避免不合格的产品流入市场。
3.影响产品质量的因素有很多，如外观质量，功能质量，性能质量等。用户与企业对产品质量提出了越来越高的要求，除了具有较高的功能品质和性能品质之外，对外观品质也提出了更高的要求。而且每年的需求都在增加。如果产品有变形、污垢、划痕等表面缺陷，会影响产品的外观质量。对每个工序都进行了严格的控制，也不可能让合格率达到100％。而表面瑕疵的检查，则是防止不合格产品进入市场的“门神”。无论是在生产过程中，还是在出厂之前，都是一个非常重要的环节。以钢板表面检验为例，钢板表面品质是评价产品品质的重要指标。
4.大多数零部件制造商仍然使用传统的接触式检测方式来检测产品的表面缺陷。因为在生产过程中，存在着很大的主观因素，所以会造成生产效率低，误检率高，还不利于生产。由于生产过程是自动化和信息化的，因此难以对各个工序进行反馈控制。随着智能化生产的不断发展，对各类零部件的测量精度的要求也在不断提高，接触式的测量方法已经难以满足零部件的高精度。


技术实现要素：

5.本发明的目的在于提供一种基于ghostnetv2轻量化工业产品零部件缺陷检测方法，本发明用yolov5结构为基础对采集图片进行数据预处理，提取数据特征并将需要的特征信息传递到零部件缺陷识别模块，识别出缺陷位置并标记，以提高工业产品质量。
6.本发明的目的是通过以下技术方案实现的：
7.一种基于ghostnetv2轻量化工业产品零部件缺陷检测方法,所述方法构建轻量化节省算力的图像检测网络模型，零部件缺陷图像检测网络模型实时检测出零部件的缺陷并标记类型，具体包括以下步骤:
8.1)制作用于零部件缺陷检测系统的目标检测的数据集；
9.2)配置深度学习网络训练环境，在匹配的环境下采用ghostnetv2轻量化网络替换yolov5的backbone网络，在neck网络中，使用重复加权双向特征金字塔网络bifpn，构建出轻量化检测网络；
10.3)以eiou为损失函数，将预处理后的样本放入改进后的神经网络中，并在其上装载了预训练后的权重；
11.4)拍摄工业产品的零部件的视频及照片对此改进的模型进行测试；
12.5)对工业零部件缺陷检测的图片进行整理，以此对系统进行优化。
13.所述的一种基于ghostnetv2轻量化工业产品零部件缺陷检测方法，所述系统对输入模型的图片数据集进行预处理操作；数据集分为四种缺陷类型，分别是“擦花”、“漏底”、“凸粉”和“碰凹”，将此数据集采用旋转、缩放、裁剪方式进行数据增强，对图片整理，并将其转化成jpg格式；使用labelimg工具对图片数据进行标注，将标签格式以xm1格式进行输出；用代码将xml格式的标签转化成txt格式；进行网络训练的时候，将数据分成两个部分，分别是训练集和测试集；将数据集中的80％作为网络的训练集，剩下的20％的数据集作测试集。
14.所述的一种基于ghostnetv2轻量化工业产品零部件缺陷检测方法，所述对图片数据集进行预处理，完成图像处理对象检测模型的建立；模型架构被分成了四个部分，分别是input输入端、ghostnetv2骨干网络、neck网络层、head输出端；在输入端，对输入的图片展开处理，使用mosaic数据增强、自适应锚框计算、自适应图片缩放形式，提高了模型训练的速度和网络的精度；在ghostnetv2网络中，用dfc注意力机制，对硬件友好，在常见硬件上快速执行，或捕获长程像素直接的依赖性；在neck网络中，用重复加权双向特征金字塔网络bifpn，在不增加太多成本的情况下融合更多的特性。
15.所述的一种基于ghostnetv2轻量化工业产品零部件缺陷检测方法，所述head用eiou作为损失函数，预测图像特征，并生成边界框和类别置信度；模型加载yolov5s预训练权重，初始学习率使用0.001，动量设置0.937，损失函数使用eiou，采用余弦退火策略，其余参数使用默认值。
16.所述的一种基于ghostnetv2轻量化工业产品零部件缺陷检测方法，所述系统对模型的优化，设定每次向网络中输入的数据数量，训练轮数，工作线程参数，并启动模型的训练；在模型训练结束后，对模型的各项性能指标进行检验，然后打开相机，对输入的数据进行检验，并对预测的可信度进行检验。
17.所述的一种基于ghostnetv2轻量化工业产品零部件缺陷检测方法，所述模型训练完毕后，采集工业零部件图片以及视频对其进行检测，并且部署到有算力的计算机上，使之提高工业产品的质量。
18.本发明的优点与效果是：
19.本发明采用一种轻量化的工业零部件缺陷检测方法，采用ghostnetv2替代yolov5中的主干网络，构造轻量化网络，利用轻量化的优点和yolo网络识别准确率高的特点，节省更多的算力来检测缺陷。
20.本发明采用一种轻量化的工业零部件缺陷检测方法，采用重复加权双向特征金字塔网络模块，不同的输入特征具有不同的分辨率，他们对融合输出特征的贡献通常是不相等的，它可以方便、快速地进行多尺度特征融合。
21.本发明采用一种轻量化的工业零部件缺陷检测方法，为了解决ciou有时会阻碍模型有效的优化相似性的问题，有作者提出了eiou，并且加入focal聚焦优质的预测框，eiou的惩罚项是在ciou的惩罚项基础上将纵横比的影响因子拆开分别计算目标框和预测框的长和宽，该损失函数包含三个部分：重叠损失，中心距离损失，宽高损失，前两部分延续ciou中的方法，但是宽高损失直接使目标框与预测框的宽度和高度之差最小，本发明采用eiou作为损失函数，使得收敛速度更快。
附图说明
22.图1为本发明的缺陷检测流程图；
23.图2为本发明的改进的yolov5模型结构图；
24.图3为本发明的ghostnetv2网络流程图；
25.图4为本发明的dfc注意力流程图；
26.图5为本发明的map曲线图；
27.图6为本发明的准确率曲线图。
28.具体实施方试
29.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方案进行详细描述。
30.本发明一种轻量化的工业零部件缺陷检测方法。采用如下技术步骤：
31.1.采用某铝型材商品制造厂的“铝型材瑕疵识别”数据集，并且进行数据增强操作扩充数据集之后，使用labelimg工具对图片数据进行标注，之后，将标签格式以xm1格式进行输出。因为yolo的标签格式是txt，因此，我们需要用代码将xml格式的标签转化成txt格式。在进行网络训练的时候，需要将数据分成两个部分，分别是训练集和测试集。在此，将数据集中的80％作为网络的训练集，而剩下的20％的数据集作测试集；
32.2.本发明以windows10为操作系统，以gpu为计算加速，以python3.8及pytorch 1.17.0深度学习框架为软件环境，以sgd优化器对模型参数进行优化，并在此环境下进行建模；
33.3.网络模型以二阶段yolov5网络为基础，引入了ghostnetv2轻量化网络，并在neck部位的concat的fpn替换成了bifpn。考虑到ciou有时会阻碍模型有效的优化相似性的情况，在模型中采用eiou损失函数来代替ciou激活函数，将纵横比的损失项拆分成预测的宽高分别与最小外接框宽高的差值，加速了收敛提高了回归精度。
34.4.为衡量算法性能，在铝型材瑕疵识别数据集上采用首位准确率(p)和平均准确度(map)两个指标衡量网络模型的有效性。
35.上述步骤1的具体实现步骤为:
36.本发明所使用的铝型材图片来自于铝材企业。原始的铝型材图像数据集由342幅铝型材缺陷图像组成，缺陷图像样本数量很少，而且部分缺陷在数据集中所占比例很小，缺陷数据不平衡。在深度学习的训练过程中，当样本数量很小时，模型可能会产生过拟合问题。针对以上问题，提出了一种基于图像增强法的含缺陷铝合金型材图像数据集扩展方法。通过对原始图像进行一系列的对比度调整和旋转，得到与原始图像相似但又不完全相同的训练样本，在增大训练样本数量的同时，减少模型对特定特征的依赖性，增强模型的泛化能力。数据集均为jpg格式，输入尺寸为640*640，通道数为3。
37.上述步骤2的具体实现步骤为:
38.迭代次数为300，批处理大小为4，模型最大学习率为1e-2，最小学习率为最大学习率的0.001，优化器为sgd，动量系数为0.937，学习率下降方式为cos。
39.上述步骤3的具体实现步骤为:
40.本发明将yolov5网络结合一个新的轻量型骨干网络ghostnetv2，它可以在精度和推理速度之间获得更好的平衡。
41.首先看ghostnet，对于输入x∈rh×w×c，ghost module将一个标准的卷积替换成两步。首先用一个1x1卷积生成intrinsic feature，如(1)所示。
42.y
′
＝x*f1×1(1)
43.其中*表示卷积操作，是f1×1point-wise卷积，是输出的intrinsic feature，它的通道数小于原始输出的通道数，即co′
ut
＜c
out
。接着cheap operation比如深度可分离卷积(depth-wise convolution)作用于intrinsic feature用来生成更多的特征。最后将两部分特征沿通道拼接起来就得到了最终的输出，如(2)所示。
44.y＝concat([y
′
,y
′
*f
dp
])(2)
[0045]
其中f
dp
表示深度可分离卷积，是输出特征。尽管ghost module可以显著降低计算成本，但其表示能力也减弱了。空间像素之间的关系对准确识别至关重要，但在ghostnet中，空间信息只通过廉价操作(通常为3x3深度可分离卷积)作用于一半的特征来捕获，其余的特征通过1x1卷积生成，其中没有与空间其它像素的交互。由于捕获空间信息的能力较弱，阻碍了模型性能的进一步提升。
[0046]
基于ghostnet v1加入了dfc attention增强其表示能力，提出了ghostnet v2。
[0047]
输入x∈rh×w×c分别送入两个分支，原始的ghost module按式(1)(2)生成输出特征y，对于输入x先用一个1x1卷积将其转换成dfc的输入z，最终的输出o∈rh×w×c是两个分支输出的乘积
[0048]
o＝sigmoid(a)θν(x)(3)
[0049]
bifpn是基于pan技术而得到的一种改进。双向性特征金字塔(bifpn)采用双向性融合的思路，重构自上而下、自下而上的路径，实现多个维度的特征信息的融合，利用上下抽样、上下抽样等方法实现多个维度的特征空间，实现多个维度的特征空间的有效融合。bifpn的构成如下所示，其中单输入的结点对特征融合的贡献不大，因此删除了单输入的结点，以使网络结构简单；该算法在原输入结点与输出结点间添加一条边线，目的是在不耗费任何代价的前提下实现更多特征的融合；为了支持更高级别的特征融合，将自上而下和自下而上的路径整合在一个模块中，以便实现更高层次的特征融合。
[0050]
yolov5损失函数由定位损失函数(localization loss)、置信度损失函数(confidence loss)和类别损失函数(classification)组成。类别损失和置信度损失均采用bcewithlogitsloss函数进行计算，本发明定位损失采用eiou计算，计算公式如下：
[0051][0052]
本发明设计的属于轻量化网络模型，提升了模型精度，同时提高了模型泛化能力。
[0053]
上述步骤4的具体实现步骤为:
[0054]
将预处理完成的训练集和测试集送入网络分别进行模型的训练和测试；本发明使用准确率(precision，p)和平均精度均值(mean average precision，map)来衡量模型的检测精度，以上的评价指标计算公式如下所示：
[0055][0056]
[0057][0058][0059]
tp代表了被准确地分为正例的数量，也就是，样本是正的，预测结果也是正的。fp代表了一个被误判为正例的数量，即一个负的样本和一个正的预测结果。fn代表了一个被误判为负的样本的数目，也就是说，一个正的样本和一个负的预测。其中，准确度是指在评价过程中，正样本所占检测样本的比重，而召回率则是指检测出的正样本占所有正样本的比重。

技术特征：
1.一种基于ghostnetv2轻量化工业产品零部件缺陷检测方法,其特征在于,所述方法构建轻量化节省算力的图像检测网络模型，零部件缺陷图像检测网络模型实时检测出零部件的缺陷并标记类型，具体包括以下步骤:1)制作用于零部件缺陷检测系统的目标检测的数据集；2)配置深度学习网络训练环境，在匹配的环境下采用ghostnetv2轻量化网络替换yolov5的backbone网络，在neck网络中，使用重复加权双向特征金字塔网络bifpn，构建出轻量化检测网络；3)以eiou为损失函数，将预处理后的样本放入改进后的神经网络中，并在其上装载了预训练后的权重；4)拍摄工业产品的零部件的视频及照片对此改进的模型进行测试；5)对工业零部件缺陷检测的图片进行整理，以此对系统进行优化。2.根据权利要求1所述的一种基于ghostnetv2轻量化工业产品零部件缺陷检测方法，其特征在于，所述系统对输入模型的图片数据集进行预处理操作；数据集分为四种缺陷类型，分别是“擦花”、“漏底”、“凸粉”和“碰凹”，将此数据集采用旋转、缩放、裁剪方式进行数据增强，对图片整理，并将其转化成jpg格式；使用labelimg工具对图片数据进行标注，将标签格式以xm1格式进行输出；用代码将xml格式的标签转化成txt格式；进行网络训练的时候，将数据分成两个部分，分别是训练集和测试集；将数据集中的80％作为网络的训练集，剩下的20％的数据集作测试集。3.根据权利要求1所述的一种基于ghostnetv2轻量化工业产品零部件缺陷检测方法，其特征在于，所述对图片数据集进行预处理，完成图像处理对象检测模型的建立；模型架构被分成了四个部分，分别是input输入端、ghostnetv2骨干网络、neck网络层、head输出端；在输入端，对输入的图片展开处理，使用mosaic数据增强、自适应锚框计算、自适应图片缩放形式，提高了模型训练的速度和网络的精度；在ghostnetv2网络中，用dfc注意力机制，对硬件友好，在常见硬件上快速执行，或捕获长程像素直接的依赖性；在neck网络中，用重复加权双向特征金字塔网络bifpn，在不增加太多成本的情况下融合更多的特性。4.根据权利要求1所述的一种基于ghostnetv2轻量化工业产品零部件缺陷检测方法，其特征在于，所述head用eiou作为损失函数，预测图像特征，并生成边界框和类别置信度；模型加载yolov5s预训练权重，初始学习率使用0.001，动量设置0.937，损失函数使用eiou，采用余弦退火策略，其余参数使用默认值。5.根据权利要求1所述的一种基于ghostnetv2轻量化工业产品零部件缺陷检测方法，其特征在于，所述系统对模型的优化，设定每次向网络中输入的数据数量，训练轮数，工作线程参数，并启动模型的训练；在模型训练结束后，对模型的各项性能指标进行检验，然后打开相机，对输入的数据进行检验，并对预测的可信度进行检验。6.根据权利要求1所述的一种基于ghostnetv2轻量化工业产品零部件缺陷检测方法，其特征在于，所述模型训练完毕后，采集工业零部件图片以及视频对其进行检测，并且部署到有算力的计算机上，使之提高工业产品的质量。

技术总结
本发明是一种基于GhostNetV2轻量化工业产品零部件缺陷检测方法，涉及一种工业产品缺陷检测方法，所述方法包括以下步骤：首先构建零部件数据集，一般是带有缺陷的图片；然后对这些数据进行数据增强，减少网络过拟合；之后构建轻量化网络，分为特征提取网络、多尺度特征融合网络和特征提取网络；然后训练最优模型，最优参数；最后检测零部件缺陷。本发明通过卷积神经网络和GhostNetV2为理论知识实现了对工业零部件表面缺陷的检测，通过训练好的模型参数判断零部件表面是否有缺陷。本发明可以提高检测零部件缺陷的精度和速度。提高检测零部件缺陷的精度和速度。提高检测零部件缺陷的精度和速度。


技术研发人员：李元 高敏
受保护的技术使用者：沈阳化工大学
技术研发日：2023.06.12
技术公布日：2023/10/15