基于改进三阶递归门控卷积的针织棉布料结头瑕疵的检测方法

1.本发明属于计算机视觉中的目标检测和模式识别领域，涉及一种基于深度学习的 针织棉布料结头瑕疵的检测方法。


背景技术：

2.随着社会经济水平的不断提高，人们对日常穿搭的外观要求不断提高，布料的外观会极大的影响人们对产品价值和功能的判断。针织棉布料是人们日常生活中许多衣物的制作材料，如果布料制造商生产出来的布料存在瑕疵缺陷，将导致衣物的美观性大打折扣，使得企业的有效竞争力大幅下降。然而在实际生产中，由于生产环境和技术的影响，针织棉布料往往会出现各种瑕疵，其中结头瑕疵的尺寸小，形状各异，检测难度较大，是布料生产的痛点之一。目前对针织棉布料结头瑕疵的检测方法大都是一些传统图像处理和人工检测的方法，其中人工检测的方法效率低下，成本昂贵，无法满足现代工业对于成本控制和检测效率的要求，而传统图像的方法一般通过人工设计特征提取算法的方式来提取缺陷瑕疵的特征，但是这种方法精度低，鲁棒性不够好，对于针织棉布料结头瑕疵的检测也不够理想。因此需要设计一种新的针织棉布料结头瑕疵检测算法用于实际生产制造中。
3.近年来得益于深度学习的迅猛发展和算力的不断普及，基于深度学习的目标检测方法在工业品瑕疵检测领域表现出色，检测精度和速度相对于以往方法有大幅度的提升。由于布料结头瑕疵在不同风格的布料上尺寸小且形态各异，本发明考虑采用一种用多层感知机改进三阶递归门控卷积的方式用于针织棉布料结头瑕疵的检测。本发明即插即用，能够在提高对针织棉布料瑕疵的检测精度的同时，增强模型的领域泛化性能，提高布料的生产质量。


技术实现要素：

4.本发明基于改进三阶递归门控卷积的针织棉布料结头瑕疵的检测方法。通过多层感知机分支进一步将不同阶的特征进行交互，保留了底层的瑕疵信息的同时还丰富了网络的多尺度信息，有效提高了针织棉布料的结头瑕疵检出率。
5.为实现上述目的，本发明的具体步骤如下：
6.步骤1、通过线性投影函数把上一层网络输出的特征按照通道划分为一组投影特征，记为其中，将切分后的特征，依次输入到门控卷积中进行递归运算，计算公式为，其中符号表示特征之间的点乘，，特征映射函数f为一个卷积核大小为7*7，步长为1，填充为3的逐通道卷积层。为了保证空间交互过程中的通道数，维度映射函数设计为：
其中identity为恒等映射函数，即将当前特征不做任何处理直接输出；为通道扩充函数，由1*1的卷积核实现，将特征通道数从扩充为。
7.步骤2、对上述三阶递归门控卷积的结构进行修改：由于三阶递归门控卷积中特征的交互方式仅限于相邻特征和之间的交互，并未考虑到跨阶的交互方式，同时鉴于多层感知机相对于卷积网络能更好地利用全局结构信息，因此考虑在第一阶门控卷积的输出特征图的后面单独加入多层感知机分支，同时扩充该分支的通道，用于与第二阶门控卷积的输出特征图进行空间特征的交互，更多地保留瑕疵底层信息，丰富网络的多尺度细节特征，以适应不同布料结头瑕疵的特点。
8.步骤3、将yolov7的颈部网络的所有卷积模块替换成改进后的三阶递归卷积；
9.步骤4、工业面阵相机采集布料图像，手工标注布料瑕疵，得到一个瑕疵数据集；
10.步骤5、将采集标注好的布料数据集加载到改进好的yolov7网络模型中，模型定位损失采用ciou损失函数，记为；模型分类损失和置信度损失均采用二元交叉熵损失，分别记为，；再设置不同权重进行加权即，其中为损失权重，取值0.05，为损失权重，取值0.3，为损失权重，取值0.7。将上述修改过的模型重新训练，得到目标网络模型权重。
11.步骤6、将目标网络模型权重加载到布料实时检测系统中去，将相机采集的实时图像进行推理分析，将针织棉布料的结头瑕疵及其他瑕疵检测结果存入系统。
12.本发明的创新性在于改变原有三阶递归门控卷积特征提取方式，增加了跨阶的特征交互方式，增强网络的底层特征提取能力，使得网络对小目标的细节特征更加敏锐。针对现有的检测算法对于针织棉布料结头瑕疵检出效果不佳，精度低等突出问题，提供了一个良好的解决方案。
附图说明
13.图1为布料检测系统的检测流程示意图；
14.图2为本发明改进的三阶递归门控卷积示意图；
具体实施方式
15.下面结合具体实施放方案和附图对本发明作进一步说明。
16.布料瑕疵检测系统的整体流程图如图1所示，其步骤依次为：
17.（s1）工业相机实时高速采集布料图片；
18.（s2）模型读入输入的图片进行实时检测；
19.（s3）模型判断该布料图片是否有瑕疵，如果有瑕疵则进入步骤（s4），否则进入步骤（s5）；
20.（s4）模型将瑕疵图片上的瑕疵进行标注，并将瑕疵类别信息存入系统；
21.（s5）系统给出是否继续检测的指令，如果是，则继续检测，返回至步骤（s2），否则直接结束检测；
22.其中模型的获取方式需要通过以下步骤：
23.（1）首先需要修改三阶递归门控卷积的结构，如图2结构所示。线性投影函数把上一层网络输出的特征按照通道划分为一组投影特征，记
为，其中，把特征根据递归计算公式依次输入到门控卷积中进行递归运算，首先将其中切分后的特征根据特征映射函数，计算得到，特征则通过维度映射函数,（）得到，则，其中符号表示特征之间的点乘，再将通过维度映射函数得到，同理，。由于三阶递归门控卷积中特征的交互方式仅限于相邻特征和之间的交互，并未考虑到跨阶的交互方式，同时鉴于多层感知机相对于卷积网络能更好地利用全局结构信息，因此考虑在第一阶门控卷积的输出特征图的后面单独加入多层感知机分支同时扩充通道，便于与第二阶的输出特征图进行空间特征的交互，记为，其中)))，表示将特征在h和w的维度上展平为一维向量，以便于后面的全连接操作。表示输入层到隐藏层的全连接，表示隐藏层到输出层的全连接，relu表示对合并后的特征图进行非线性处理。表示将一维向量重新转换成h
×
w的特征图。再根据特征可得，表示特征逐元素相加。最后将特征与特征点乘得到，经过最后的投影层得到最终的输出。
24.(3)将yolov7的颈部网络的所有卷积模块替换成改进后的三阶递归卷积
25.（4）工业面阵相机采集布料图像，手工标注布料瑕疵，得到一个瑕疵数据集；
26.（5）将采集标注好的布料数据集加载到改进好的yolov7网络模型中，模型定位损失采用ciou损失函数，记为；模型分类损失和置信度损失均采用二元交叉熵损失，分别记为，；再设置不同权重进行加权即，其中为损失权重，取值0.05，为损失权重，取值0.3，为损失权重，取值0.7。将上述修改过的模型重新训练，得到目标网络模型权重。
27.其中改进后的三阶递归门控卷积推理图片的步骤如下：
28.步骤（1）、布料图像输入到yolov7网络中，首先经过上层网络提取图像特征得到一组特征图记为，然后经过线性投影函数得到一组特征。
29.，其中表示卷积核大小为1*1的卷积层，将输入的特征通道c扩充为原来的2倍。
[0030][0031]
，
[0032]
步骤（2）、将特征切分后得到的，一同输入至特征映射函数f(x)，计算得到；特征则通过维度映射函数得到。
[0033]
，，其中表示卷积核大小为7*7，步长为1，填充为3的逐通道卷积层，输入输出的特征通道维持不变。
[0034]
, 其中表示卷积核大小为1*1的卷积层，输入输出的特征通道维持不变。
[0035]
步骤（3）、将步骤（2）得到的输入到门控卷积中根据递归计算公式，进行第一阶的递归运算得到。
[0036]
, 其中符号表示特征之间的点乘。
[0037]
步骤（4）、将步骤（3）得到的输入至维度映射函数得到,再将输入到门控卷积中根据递归计算公式进行第二阶的递归运算得到，同时将输入到多层感知机分支，得到。
[0038]
,
[0039]
，。
[0040]
)))，表示将特征在h和w的维度上展平为一维向量，以便于后面的全连接操作。表示输入层到隐藏层的全连接，表示隐藏层到输出层的全连接，relu表示对合并后的特征图进行非线性处理。
[0041]
，，表示将一维向量重新转换成h
×
w的特征图。
[0042]
步骤（5）、将步骤（4）得到的输入至维度映射函数得到，再与进行add操作得到。
[0043][0044]
,表示将特征逐元素相加。
[0045]
步骤（6）、将步骤（5）得到的输入到门控卷积中与特征点乘可得，再经过最后的投影层得到最终的输出。
[0046][0047]

技术特征：
1.基于改进三阶递归门控卷积的针织棉布料结头瑕疵的检测方法，其特征在于该方法包括以下步骤：步骤1、在yolov7网络模型中通过线性投影函数把上一层网络输出的特征按照通道划分为一组投影特征，记为，其中，将切分后的特征，根据递归公式依次输入到门控卷积中进行递归运算，其中符号表示特征之间的点乘，，特征映射函数f为深度卷积层。为了对齐空间交互过程中的通道数，维度映射函数设计为：，其中identity为恒等映射函数，即当前特征不做任何处理直接输出；为通道扩充函数，将特征通道数从扩充为；步骤2、对上述三阶递归门控卷积的结构进行修改：设计一个三层结构的多层感知机，其中输入层、输出层、隐藏层的节点数量一致。在第一阶门控卷积的输出特征图的后面单独加入该多层感知机分支，同时扩充该分支的通道，以便于与更高阶的特征图输出通道对齐进行特征融合。这样既保留了瑕疵底层信息，又丰富了网络的多尺度细节特征，以适应不同布料结头瑕疵的特点；步骤3、将yolov7的颈部网络的所有卷积模块替换成改进后的三阶递归卷积；步骤4、工业面阵相机采集布料图像，手工标注布料瑕疵，得到一个瑕疵数据集；步骤5、将采集标注好的布料数据集加载到改进好的yolov7网络模型中，重新训练，得到目标网络模型权重；步骤6、将目标网络模型权重加载到布料实时检测系统中去，将相机采集的实时图像进行推理分析，将针织棉布料结头瑕疵及其他瑕疵检测结果存入系统。2.根据权利要求1所述的基于改进三阶递归门控卷积的针织棉布料结头瑕疵的检测方法，其特征在于：步骤1中线性投影函数和通道扩充函数均由一个1*1的卷积层实现，用于扩充特征图的通道；为了降低计算量，特征映射函数f由一个逐通道卷积层实现，其卷积核大小为7*7，步长为1，填充为3，在不改变特征图的大小的情况下，大的卷积核更适于特征图不同位置间特征的交互。3.根据权利要求1所述的基于改进三阶递归门控卷积的针织棉布料结头瑕疵的检测方法，其特征在于：步骤5中用于评价模型训练效果的损失函数由不同损失函数加权融合得到，其中分类损失和置信度损失均采用二元交叉熵损失，定位损失为ciou损失函数。

技术总结
本发明公开了一种基于改进三阶递归门控卷积的针织棉布料结头瑕疵的检测方法。本发明首先读取布料图像，将图像输入到检测网络中进行检测推理，并将模型的推理结果在布料图像上进行标注。本发明通过对yolov7网络模型进行高阶空间交互的改进，在颈部网络通过改进三阶递归门控卷积来融合图像特征，向三阶递归门控卷积加入多层感知机，显式增加高低阶空间的交互，保留了瑕疵的底层信息，提高对针织棉布料瑕疵检测尤其是结头瑕疵检测的准确率。本发明用于针织棉布料瑕疵检测可以有效提高布料产品的质量，无需人工干预检测，降低了企业人力成本和时间成本，提高企业的智能化生产水平。提高企业的智能化生产水平。


技术研发人员：李笑岚 陈新意
受保护的技术使用者：浙江工商大学
技术研发日：2023.06.13
技术公布日：2023/9/14