一种改进的深度分离层聚合和空间增强注意力的布匹瑕疵检测方法

1.本发明属于计算机视觉中的目标检测领域，改进了yolov7的网络结构模块，设计了一种实时布匹瑕疵目标检测网络，该网络能对工业上的布匹瑕疵进行准确实时的检测。


背景技术：

2.近几年来，随着深度学习的快速发展，计算机相关领域技术的不断提升和计算机基础硬件的升级，为深度学习的蓬勃发展提供了更便利的条件。
3.基于深度学习的目标检测方法已经越来越多应用在工业生产上，例如应用在布匹瑕疵的检测上。在布匹的生产过程中，布匹表面往往会产生不同种类的瑕疵，不同瑕疵之间的形状差异较大，通常表现为形状不规则、长宽比例不均匀的目标，并且布匹的瑕疵图片中很难找到稳定的关键性特征，同时在瑕疵中难免会包含各种各样的背景，如布匹的纹理、颜色等导致布匹的检测难度较大。
4.yolov7作为2022年提出的效果非常优秀的目标检测模型，在大多数领域上都能取得相当不错的检测效果，给目标检测领域的后续发展提供了很好的借鉴作用。但由于布匹瑕疵自身带有的特性，给目标检测带来了许多难题，在实际应用中，yolov7的布匹瑕疵检测效果做不到令人满意，仍然存在改进的空间。
5.为了解决以往方法在布匹中无法有效提取瑕疵特征以及布匹瑕疵质量检测的实时性问题，本发明设计了一种实时布匹瑕疵目标检测网络。该网络在yolov7网络的基础上，增加了深度分离层聚合和空间增强注意力模块，有效解决了布匹瑕疵检测的问题，提高了网络的检测性能，使网络能更好地学习到布匹的关键特征，扩大网络的感受野，提取上下文关键信息，提高在下游任务布匹瑕疵检测中对瑕疵目标形状和纹理的吸收归纳。做到了对布匹产品中常见的瑕疵进行准确的实时检测。


技术实现要素：

6.本发明针对布匹瑕疵检测难度大的特点，提出了一种基于深度分离层聚合和空间增强注意力的布匹瑕疵检测方法，该方法优化了yolov7的网络结构，基于elan提出了深度分离层聚合模块dw-elan，使用5
×
5的深度可分离卷积替换3
×
3卷积，增大了网络感受野，提高网络对关键信息的提取能力。同时引入空间增强注意力模块mpcoa，替代了原本用最大池化层和卷积两个分支组成的mp2模块，利用注意力机制将空间中的关键特征信息保留到深层结构中，减少了一些位置信息的丢失，有效提高布匹瑕疵检测的准确率。
7.本发明包含以下步骤：
8.步骤1：使用工业相机在实地工厂对布匹瑕疵数据进行采集。
9.步骤2：基于yolov7的网络结构，对以下模块进行改进：在yolov7的主干网络中，把所有的四个elan模块替换成深度分离层聚合dw-elan模块，主要目的是通过引入大尺度的5
×
5深度可分离卷积核来替换elan模块中的普通3
×
3卷积来扩大感受野，在更大范围内对
瑕疵特征进行提取。
10.步骤3：在yolov7网络的头部结构中，把原本的一个分支为池化层和1
×
1卷积层以及另一分支为1
×
1卷积层和3
×
3卷积层的mp2模块，都替换成空间增强注意力mpcoa模块。mpcoa模块主要包含最大池化卷积层mp和1
×
1卷积层、短路连接和空间注意力三个分支。和mp2模块一样，特征图经过mpcoa模块之后它的特征图尺寸不变、通道数减半。mpcoa模块利用了注意力机制，对卷积堆叠的部分进行改进，使用一维全局池化从水平和垂直两个方向对输入的特征图进行特征聚合，分为两个分支分别带有两个方向的位置信息，把特征中的方向位置信息进行编码保留到深层网络，指导深层网络中对布匹瑕疵位置的预测，有效提升布匹瑕疵检测的准确率。
11.步骤4：将待检测的可能包含布匹瑕疵的图片，输入至改进后的布匹检测网络进行推理。
12.本发明提供的技术方案的改进效果是：本发明主要针对布匹瑕疵形状不规则、长宽比例不均匀、特征不明显，导致使用深度学习方法进行瑕疵的难度大大提升。本发明提出的基于yolov7的优化结构提出了新的深度分离层聚合和空间增强注意力模块，分别替换了原有的elan和mp2模块。增强了网络对细节特征的敏感性，提高了网络的检测性能，使网络能更好地学习到布匹的关键特征。使用5
×
5的深度可分离卷积替换3
×
3卷积，增大了网络感受野，提高网络对关键信息的提取能力。并且利用注意力机制对特征中需要重点关注的特征放大，使网络提取特征更完整丰富，使得关键特征信息得以保留到深层结构中，增加了特征的表现力，更适配于本发明所提出的对布匹瑕疵的实施准确检测。
附图说明
13.为了更清楚的展示本发明的网络结构以及训练过程，下面将对实施例中所需要的附图做以简单的介绍。
14.图1为本发明的布匹瑕疵检测流程。
15.图2为本发明设计的深度分离层聚合模块dw-elan结构图。
16.图3为本发明设计的空间增强注意力模块mpcoa结构图。
具体实施方式
17.为了更具体地描述本发明，下面将结合附图以及具体实施方式对本发明的方案进行详细说明。
18.本发明设计了一种改进的深度分离层聚合和空间增强注意力的布匹瑕疵检测方法，布匹瑕疵检测的工作流程如图1所示，其主要步骤如下：
19.1.布匹瑕疵检测网络实时读取布匹图像；
20.2.布匹图像将输入到网络模型中，进行前向推理过程；
21.3.进入网络判断布匹图像中是否存在瑕疵，如果有瑕疵则进入步骤4，否则进入步骤5；
22.4.检测系统将对布匹瑕疵进行标注，并提示该图像存在瑕疵；
23.5.继续将未读取的图像输入网络模型，如果存在未读取图像则回到步骤1，否则结束此次检测。
24.其中的网络模型在改进yolov7模块的基础上得到，具体实施方式如下：步骤1：使用工业相机在实地工厂对布匹瑕疵数据进行采集。
25.步骤2：在yolov7的主干网络中，包含有四个elan模块，它是一个高效的网络结构，能让网络能够学习到更多的特征，并且提高鲁棒性，elan模块的输入输出的特征图大小、通道数相同。
26.把yolov7的所有elan模块都替换成深度分离层聚合dw-elan模块，主要思路是将四个3
×
3卷积替换成四个5
×
5的深度可分离卷积。dw-elan模块具体结构如图2，共分为4个分支。首先对输入的特征图使用3
×
3卷积得到提取的特征，之后将提取的特征分别通过2个1
×
1的卷积可以得到分支3和分支4，将分支3经过2个5
×
5的深度可分离卷积可以得到分支1的结果，而分支2的结果是分支3经过4个5
×
5的深度可分离卷积得到。最后将在四条分支下得到的特征在通道维度进行拼接，可以得到dw-elan的来自不同感受野的融合特征：
27.输出=concat(分支1, 分支2, 分支3, 分支4 )
28.其中concat( )表示特征在通道维度拼接，最终得到的特征再经过一个1
×
1的卷积层改变维度后，得到图像在融合深度分离层聚合模块后提取的特征。通过深度分离层聚合dw-elan模块的5
×
5大尺度深度可分离卷积，主要是为了增大该模块的感受野，因为在深度学习中，模型的感受野通常表示网络内部的对原图像的感受范围的大小，大感受野下对关键特征的提取更加有效。因此在布匹瑕疵检测中应用大尺度的卷积能够提高网络的特征提取能力。
29.而应用深度可分离卷积的优点是可以大幅度地减少卷积的参数，深度可分离卷积能在不牺牲模型性能的前提下显著提高效率。同时减轻由于使用深度可分离5
×
5卷积替换3
×
3卷积对模型带来的额外计算量的影响，提高网络检测的总体性能，降低模型训练和推理的成本。该模块结构的输入输出特征图大小、通道数相同。
30.步骤3：在yolov7网络的头部结构中，包含有两个mp2模块，它的组成为一个分支为池化层和1
×
1卷积层以及另一分支为1
×
1卷积层和3
×
3卷积层，该模块的输出会将输入的通道数扩大一倍。
31.把yolov7的所有mp2模块，都替换成空间增强注意力mpcoa模块。mpcoa模块具体结构如图3，共分为3个分支。第一个分支中输入将通过一个最大池化卷积层mp（主要由最大池化层和1
×
1卷积组合而成）和1
×
1卷积层对池化后的结果提取特征，提取特征后的结果为分支1。分支2是一个短路连接，相当于对输入进行了简单的复制，类似于电路中的“短路”。通过增加短路连接，可以提高网络的鲁棒性和稳定性。分支3分为两部分，主要思想是对输入特征通过注意力机制对空间位置信息进行增强，具体实现为首先对输入进行水平和垂直方向的一维全局池化，图3中的x-p和y-p分别代表了水平方向和垂直方向的一维全局池化，对得到的两个结果在通道维度进行拼接，此时就得到了两个方向上的位置特征。将这两个方向的特征经过1
×
1卷积层和激活函数relu得到一对拥有方向感知的特征图。最后分别经过1
×
1卷积层后，两个特征图进行向量乘法结合为空间增强的位置信息，记为分支3。
32.将在三条分支下得到的特征在通道维度进行拼接，可以得到增强的注意力信息的提取：
33.输出=concat(分支1, 分支2, 分支3 )
34.其中concat( )表示特征在通道维度拼接。mpcoa模块实现了空间位置信息的提
取，将信息传递到后续深层的网络中，对后续网络结构实现了空间位置信息的增强，丰富了深层网络中的特征，能提高模型对空间中目标位置信息的敏感程度。该模块结构输入输出的特征图大小不变，通道数将扩大一倍。
35.步骤4：把包含布匹瑕疵的图片输入到布匹瑕疵检测网络中，进行前向推理。根据前向推理的结果在布匹原图上画出瑕疵检测框，获得可视化的瑕疵检测效果。网络的布匹瑕疵检测过程结束。
36.综上，本发明针对布匹瑕疵本身形状不规则、长宽比例不均匀，包含背景纹理的情况，在改进yolov7的基础上，设计了新的模块dw-elan和mpcoa。本发明首先采集了工业布匹瑕疵数据，将数据输入到网络结构中推理出结果，对检测出的布匹瑕疵进行标注。本发明提出了新的深度分离层聚合模块dw-elan，能有效增大网络的感受野，融合深层和浅层的特征，更好地提取上下文的关键信息。还提出了空间增强注意力模块mpcoa，用来替换原本的mp2模块，减少了位置信息的丢失，使细节信息能在网络深层更好地表达。从总体上说，该网络的设计能有效地对布匹瑕疵进行实现检测，满足实际应用的需要。

技术特征：
1.本发明设计了一种改进的深度分离层聚合和空间增强注意力的布匹瑕疵检测方法，其中的网络模型在改进yolov7模块的基础上得到，其特征在于具体实施方式如下：步骤1：使用工业相机在实地工厂对布匹瑕疵数据进行采集；步骤2：在yolov7的主干网络中，包含有四个elan模块，它是一个高效的网络结构，能让网络能够学习到更多的特征，并且提高鲁棒性，elan模块的输入输出的特征图大小、通道数相同。把yolov7的所有elan模块，都替换成深度分离层聚合dw-elan模块。主要思路是将四个3
×
3卷积替换成四个5
×
5的深度可分离卷积。dw-elan模块具体结构共分为4个分支。首先对输入的特征图使用3
×
3卷积得到提取的特征，之后将提取的特征分别通过2个1
×
1的卷积可以得到分支3和分支4，将分支3经过2个5
×
5的深度可分离卷积可以得到分支1的结果，而分支2的结果是分支3经过4个5
×
5的深度可分离卷积得到，得到大感受野下对关键的特征的提取；步骤3：在yolov7网络的头部结构中，包含有两个mp2模块，它的组成为一个分支为池化层和1
×
1卷积层以及另一分支为1
×
1卷积层和3
×
3卷积层，该模块的输出会将输入的通道数扩大一倍。把yolov7的所有mp2模块，都替换成空间增强注意力mpcoa模块。mpcoa模块具体结构共分为3个分支。第一个分支中输入将通过一个最大池化卷积层mp和1
×
1卷积层对池化后的结果提取特征，提取特征后的结果为分支1。分支2是一个短路连接，不对输入进行任何操作，相当于对输入进行了简单的复制，通过增加短路连接，可以提高网络的鲁棒性和稳定性。分支3分为两部分，主要思想是对输入特征通过注意力机制对空间位置信息进行增强，具体实现为首先对输入进行水平和垂直方向的一维全局池化x-p和y-p，对得到的两个结果在通道维度进行拼接，此时就得到了两个方向上的位置特征。将这两个方向的特征经过1
×
1卷积层和激活函数relu得到一对拥有方向感知的特征图。最后分别经过1
×
1卷积层后，两个特征图进行向量乘法结合为空间增强后的位置信息，记为分支3；步骤4：把包含布匹瑕疵的图片输入到布匹瑕疵检测网络中，进行前向推理。根据前向推理的结果在布匹原图上画出瑕疵检测框，获得可视化的瑕疵检测效果。网络的布匹瑕疵检测过程结束。2.根据权利要求1所述的深度分离层聚合和空间增强注意力的布匹瑕疵检测方法，其特征在于：对步骤2中四条分支下得到的特征在通道维度进行拼接，可以得到dw-elan的来自不同感受野的融合特征：输出=concat(分支1, 分支2, 分支3, 分支4 )其中concat( )表示特征在通道维度拼接，最终得到的特征再经过一个1
×
1的卷积层改变维度后，得到图像在融合深度分离层聚合模块后提取的特征。该模块结构的输入输出特征图大小、通道数相同。3.根据权利要求1所述的深度分离层聚合和空间增强注意力的布匹瑕疵检测方法，其特征在于：将在步骤3中的三条分支下得到的特征在通道维度进行拼接，可以得到增强的注意力信息的提取：输出=concat(分支1, 分支2, 分支3 )其中concat( )表示特征在通道维度拼接。mpcoa模块实现了空间位置信息的提取，将信息传递到后续深层的网络中，对后续网络结构实现了空间位置信息的增强，丰富了深层网络中的特征，能提高模型对空间中目标位置信息的敏感程度。该模块结构输入输出的特
征图大小不变，通道数将扩大一倍。

技术总结
本发明针对布匹瑕疵本身形状不规则、长宽比例不均匀，包含背景纹理的情况，在改进YOLOv7的基础上，设计了新的模块DW-ELAN和MPCOA。本发明首先采集了工业布匹瑕疵数据，将数据输入到网络结构中推理出结果，对检测出的布匹瑕疵进行标注。本发明针对布匹瑕疵检测难度大的特点，提出了一种基于深度分离层聚合和空间增强注意力的布匹瑕疵检测方法，该方法优化了YOLOv7的网络结构，基于ELAN提出了深度分离层聚合模块DW-ELAN，使用5


技术研发人员：李笑岚 应铭 邵泽源
受保护的技术使用者：浙江工商大学
技术研发日：2023.05.19
技术公布日：2023/7/27