一种基于多头不平衡半监督网络的工业图像缺陷检测方法与流程

1.本发明涉及到工业图像缺陷检测技术领域，具体涉及到一种基于多头不平衡半监督网络的工业图像缺陷检测方法。


背景技术：

2.工业图像缺陷及异常检测一般被看作是图像目标检测与分类任务在工业领域的具体应用。目前已有的基于深度学习的工业图像异常检测算法主要分为监督学习型、无监督学习型以及半监督学习型。
3.其中，基于传统监督学习的工业图像缺陷检测要求训练集标签不可或缺，且样本必须均具有完整标签。代表性的工作有：基于siamese network的异常检测方法；基于shufflenet的异常检测方法；基于faster r-cnn的异常检测方法；以及基于u-net的异常检测方法。然而，在工业图像中找出缺陷区域并进行有效标注十分费力，且收集大量的缺陷样本往往不切实际。因此，基于监督学习的异常检测并不能适用于所有的工业图像质检领域。
4.基于无监督学习的工业图像缺陷检测主要利用重建损失进行模型训练与异常判断。代表性的工作有：基于autoencoder的异常检测框架；基于gan的异常检测方法；以及基于特征学习的异常检测框架。相较于监督学习模式下的异常检测而言，无监督学习省去了训练中对大量标记数据的依赖，减少了人工参与。然而，由于缺少了关键的监督信息，无监督模型的分类准确率以及鲁棒性仍有待提高。
5.半监督学习融合了监督学习与无监督学习的特点，在仅有少量标记样本及大量无标记样本的条件下，其训练效果逼近甚至是超越监督学习。代表性的工作有：基于少量标签样本的半监督方法，以及基于弱标签的半监督方法，以及最新的基于人工生成异常的半监督方法。此外，与本发明最接近的工作有unbiased teacher方法以及半监督伪标签目标检测方法。然而，以上方法均未充分考虑实际应用中类别不平衡对半监督目标检测准确率造成的严重威胁，仅仅简单的在同一分类头进行重采样或者重加权被证明会影响特征提取效果，从而不可避免地导致异常样本不能被很好地表征，进而影响其检测准确率。
6.在类不平衡半监督学习最新研究中，针对简单的在同一分类头进行重采样或者重加权导致的特征提取退化问题，最近，有研究人员引入了一个附加到现有半监督算法的辅助平衡分类器层，以有效地在训练中同时兼顾到高质量特征表示和分类准确率。随后也有提出了一个名为cossl的三并行模块协同学习框架用于有效的基于伪标签的类不平衡半监督方法，具有解耦的表示和分类器学习。类似地，有人提出了一个用于类不平衡半监督学习问题的三阶段标签传播和重新分配框架，该框架包含三个阶段，其中特意在第二阶段提出了一个额外的离线标签传播阶段，以获得更为稳定的伪标签。然而，目前针对类不平衡半监督学习的前沿研究通常侧重于训练中的平衡伪标签策略，并没有过多考虑标签传播效率低下的问题。与此同时，在目标(异常)检测领域，类不平衡半监督学习算法的有效融入目前仍处于起步探索阶段。


技术实现要素：

7.为了解决以上现有技术的不足，本发明的目的在于提供一种基于多头不平衡半监督网络的工业图像缺陷检测方法，解决以下问题：
8.1.如何将类不平衡半监督学习方法融入目标检测模型中，以充分应对工业图像异常检测中正负样本严重失衡、标签数据缺乏等问题，从而提高缺陷检测的准确率；
9.2.如何在类不平衡半监督条件下实现伪标签的可靠传播并对未标记的样本进行合理筛选；
10.3.如何在类不平衡情况下获得兼顾表征有效性及分类平衡准确性的目标检测模型，从而有效提高小类别(异常数据)的检测精度。
11.本发明采用的技术方案如下：一种基于多头不平衡半监督网络的工业图像缺陷检测方法，包括以下步骤：
12.s1、创建模型并初始化模型参数；
13.s2、构建工业图像的数据集合；
14.s3、创建优化目标和优化器；
15.s4、采用s1模型处理s2的数据；
16.s5、根据s4处理后的数据是否符合需求来判断当前模型是否有所提升；
17.s6、根据s5的判断结果，若有提升则结束，若无提升则重复步骤s4、s5，直到前模型有所提升或达到最大的步骤s4的重复次数；
18.所述步骤s1的创建模型并初始化模型参数包括监督分支头模型、半监督分支头模型和无监督分支头模型。
19.进一步的，所述步骤s4包括以下步骤：
20.a1、随机抽取s2的数据；
21.a2、将数据预处理后迭入模型中计算损失；
22.a3、利用s3的优化器更新模型参数。
23.进一步的，所述步骤s6中包括以下步骤：
24.b1、判断a3步骤的模型参数是否比当前模型有所提升，若有则在更新并保存模型参数后判断是否达到s4步骤的最大重复次数，若否则直接判断是否达到s4步骤的最大重复次数；
25.b2、根据b1步骤判断的是否达到s4步骤的最大重复次数，若是则结束，若否则重复步骤4、步骤5。
26.进一步的，所述s2步骤的数据包括有标签数据和无标签数据。
27.值得说明的是，对于所述步骤s1的所创建模型并初始化模型参数的监督分支头模型、半监督分支头模型和无监督分支头模型。在创建模型并初始化模型参数时，首先为了兼顾信息丰富的特征提取效果和准确的平衡分类结果，因此，采用了3网络分支头架构，即监督分支头模型、半监督分支头模型和无监督分支头模型。同时为了将类不平衡半监督学习方法有效融入目标检测模型中，本发明利用伪标签作为rpn和roihead的显式监督，从而缓解rpn和roihead中对极少标签样本的过拟合问题。其次，为了尽量不影响faster-rcnn目标检测的已有结构，并且简化半监督网络架构，仅对roihead的分类端进行更改。具体地，在roihead的分类层前嫁接了3个网络分支头，分别为监督分支头模型、半监督分支头模型以
及无监督分支头模型。三个分支头模型说明如下：
28.对于监督分支头模型，为了有效利用置信度高的伪标签数据进行监督训练，并尽量减轻错误标签对模型稳定训练带来的威胁，此处发明提出了采用广义pagerank(gpr)来捕获样本特征之间的相关性，从而进行可靠的伪标签。此外，监督损失函数采用了具有重加权策略的交叉熵损失函数，记为loss
sup
。
29.本发明构建了一个批次(batch size＝4,rtx3090 gpu)内候选目标的动态小图，以完全适应原始mini-batch sgd的训练过程，并没有显著增加模型的运行时间。首先，通过共享特征提取器g(
·
)后获得了候选感兴趣bounding box对应图像的深度特征，将其记为box对应图像的深度特征，将其记为dm是提取的特征维度，b为该批次下候选感兴趣bounding box数。在本发明中，为方便表述，在此将连接在g(
·
)全连接层前的faster-rcnn部分也归为g(
·
)。而后，计算获得具有自循环的归一化相似矩阵i表示单位矩阵。接下来，在图网络信息传播部分，发明通过构建一个结构为[d
m-dropout(0.5)-relu-dm×
2-relu-c]的全连接网络生成每个节点的隐藏层特征h0＝s(ea)，其中c为类别数。随后发明采用gpr来捕获顶点之间的相关性。因此，基于图的分类器头h(
·
)表示为：
[0030][0031]
其中，ω0及ω1是控制前两步传播的可学习权重。从上式中可以看出，与线性分类器头不同，本发明将一批数据传入用于信息传播的图网络，进一步获得更可靠的标签传播结果。此处需要强调的是，通过实验证明，采用gpr传播后对训练样本中无标签训练数据的伪标签准确率相较于全连接线性分类器高5％以上。
[0032]
接下来，在一个批次更新中，本发明定义loss
sup
如公式2所示:
[0033][0034]
其中y＝{y1,y2,...yb}，为一批检测物体中所有数据的标签，对于有标签数据，其值为one-hot真值。对于无标签数据的伪标签yi，其值由该数据ui的弱增强(随机水平翻转)版本经过网络后取最大值位置获得，即而为了增强模型的泛化能力，对于无标签数据的ea获取，采用强增强(颜色抖动，高斯模糊和随机裁剪)版本的经过faster-crnn前层并输入至g(
·
)后获取。
[0035]
w(y)为重加权函数，针对其中数据xi对应的标签yi而言，其权重定义为：
[0036][0037]
其中mc为统计的属于最大类别c的样本数，为属于类别yi的样本数。由此可以看出，对于样本数少的类别而言，其重加权权重w(yi)更大，对于样本数多的类别而言，其重加权权重越小。可见，采用重加权的方式可以在监督分支头端训练平衡的分类器。
[0038]
此外，公式2中为判别函数，即内部条件满足时返回1，否则返回0。配合超参数阈值可以筛选出可靠的样本进行监督训练，在本发明中统一将其设置为0.7。为表述简洁，对于有标签数据，统一设置此条件是满足的。ce(
·
,
·
)为标准交叉熵损失函数。重要的
是，为了解决重复框预测问题，在使用阈值筛选之前，通过应用按类的非极大值抑制(non-maximum suppression，nms)来去除重复预测。
[0039]
对于半监督分支头模型，为了综合利用有标签数据及无标签数据获得可靠的数据表征，在此部分可采用目前流行的半监督网络头及损失函数，如remixmatch、fixmatch、flexmatch、freematch等。优选地，采用了更为通用且简单的fixmatch损失函数形式，记为loss
semi
。具体地：
[0040]
此部分的半监督损失由监督损失和无监督损失组成，网络结构沿用faster-rcnn的分类头结构。同样，针对一个batch的更新，loss
semi
定义为：
[0041][0042]
由公式2与公式4对比可以看出，二者形式十分类似，不同之处在于此处并没有加入重加权部分。原因在于重加权被证明对于模型的特征有效提取具有负面效果，因此为了兼顾监督模型分类头的平衡性与特征提取的有效性，此处的半监督部分并没有做适应类不平衡的任何调整。由于公式4所述为已有技术，而本发明只是将其用于获得类不平衡半监督目标检测条件下更为有效的特征，关键创新在于多分支头网络架构，这里不做过多赘述。
[0043]
此处值得注意的是，l(
·
)并没有采用(1)中构建的图网络分支头h(
·
)，原因在于异构网络往往更容易学习到侧重点不同的数据表征，而在类不平衡半监督问题中所天然具有的小样本特性，异构分类头的抗过拟合作用更为明显。
[0044]
对于无监督分支头模型，为进一步增强模型特征提取的无偏性，发明进一步建立了一个无监督分支头，并将所有数据当做无标签数据进行自监督训练，从而在充分利用无标签数据提取有效特征的前提下，尽量减少模型认为不稳定的无标签数据对训练的偏置影响。损失函数记为loss
unsup
。具体地：
[0045]
考虑到运算成本及实验效果，优选地，本发明利用简单的一致性正则进行自监督训练。因此，无监督分支头的损失函数loss
unsup
表示为：
[0046][0047]
其中及为无监督样本的两个不同弱增强版本，consist(
·
,
·
)为一致性惩罚函数，在本发明中选择l2-norm损失函数，f(
·
)为单层全连接网络，结构为[d
m-c]。值得注意的是，通常为了有效利用所有数据，无标签样本中将包含有标签样本，而仅仅在训练中不使用其标签值。由公式5可以看出，无监督损失驱使模型尽量在所有样本周围进行平滑的一致性表征，从而一方面增强模型表征的泛化能力，另一方面缓解类别不平衡训练中由于标签的嵌入引起的特征偏移。
[0048]
此外，为了防止标签/无标签数据的分离式训练方式导致模型输出的“特征偏移”从而发生确认偏差的恶化，此处提出一种特征匹配损失对监督分支头和无监督分支头输出特征进行无偏约束，表示为loss
fm
：
[0049]
loss
fm
＝mean(|mean(h(x
l
),0)-mean(f(su),0)|)
ꢀꢀꢀꢀꢀꢀ
(6)
[0050]
其中f(
·
)表示无监督分支头输出，h(
·
)为监督分支头输出mean(h(
·
),0)表示对h(
·
)输出中的第0维取平均操作。由公式6可以看出，模型鼓励有标签样本的特征分布与无标签样本一致，从而进一步降低模型对标签样本的过拟合以及对无标签样本的错误划
分。
[0051]
综上，本发明的总损失函数被定义为公式7：
[0052]
loss＝loss
sup
+loss
semi
+loss
unsup
+loss
fm
ꢀꢀꢀ
(7)
[0053]
最后，当模型训练完毕后，发明依据监督头的预测结果进行最终的目标检测任务输出。
[0054]
有益效果：
[0055]
本发明提供的一种基于多头不平衡半监督网络的工业图像缺陷检测方法，面向类不平衡半监督缺陷检测中的更高效的端到端架构，使用多分类器头兼顾表征的有效性及分类的平衡与准确性，将类不平衡半监督框架融入目前流行的目标检测框架中，可充分应对工业图像异常检测中正负样本严重失衡、标签数据缺乏等问题，从而提高实际缺陷检测任务的准确率，具有更高的检测精度；本发明将广义pagerank作为无标签数据的信息传播方案，实现在类不平衡半监督条件下伪标签的可靠传播与平衡筛选；同时本发明将无监督学习、半监督学习、监督学习融合，构建三头网络架构，实现兼顾表征有效性及分类平衡准确性的目标检测模型。如下列两个表中所示，本发明采用的方法具有更高的准确率、精确率。
[0056]
表1螺母表面缺陷检测性能表(％)
[0057]
方法准确率精确率召回率faster-rcnn79.7028.2483.30半监督伪标签目标检测方法86.6739.7190.00本发明方法89.0945.0090.00
[0058]
表2东北大学带钢表面缺陷检测ap_50值(％)
[0059]
附图说明
[0060]
图1为本发明一种基于多头不平衡半监督网络的工业图像缺陷检测方法的流程图；
[0061]
图2为本发明一种基于多头不平衡半监督网络的工业图像缺陷检测方法中建立初始化模型参数的架构图；
[0062]
图3为使用本发明一种基于多头不平衡半监督网络的工业图像缺陷检测方法对螺母表面缺陷检测的测试效果图，其中红色框代表检测出的螺母缺陷位置；
[0063]
图4为使用本发明一种基于多头不平衡半监督网络的工业图像缺陷检测方法对带钢表面缺陷检测测试效果图，其中彩色框代表检测出的缺陷位置。
具体实施方式
[0064]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明的保护范围。
[0065]
如图1、图2所示的一种基于多头不平衡半监督网络的工业图像缺陷检测方法，包括以下步骤：
[0066]
s1、创建模型并初始化模型参数；
[0067]
s2、构建工业图像的数据集合；
[0068]
s3、创建优化目标和优化器；
[0069]
s4、采用s1模型处理s2的数据；
[0070]
s5、根据s4处理后的数据是否符合需求来判断当前模型是否有所提升；
[0071]
s6、根据s5的判断结果，若有提升则结束，若无提升则重复步骤s4、s5，直到前模型有所提升或达到最大的步骤s4的重复次数；
[0072]
所述步骤s1的创建模型并初始化模型参数包括监督分支头模型、半监督分支头模型和无监督分支头模型。
[0073]
进一步的，所述步骤s4包括以下步骤：
[0074]
a1、随机抽取s2的数据；
[0075]
a2、将数据预处理后迭入模型中计算损失；
[0076]
a3、利用s3的优化器更新模型参数。
[0077]
进一步的，所述步骤s6中包括以下步骤：
[0078]
b1、判断a3步骤的模型参数是否比当前模型有所提升，若有则在更新并保存模型参数后判断是否达到s4步骤的最大重复次数，若否则直接判断是否达到s4步骤的最大重复次数；
[0079]
b2、根据b1步骤判断的是否达到s4步骤的最大重复次数，若是则结束，若否则重复步骤4、步骤5。
[0080]
进一步的，所述s2步骤的数据包括有标签数据和无标签数据。
[0081]
值得说明的是，对于所述步骤s1的所创建模型并初始化模型参数的监督分支头模型、半监督分支头模型和无监督分支头模型。在创建模型并初始化模型参数时，首先为了兼顾信息丰富的特征提取效果和准确的平衡分类结果，因此，采用了3网络分支头架构，即监督分支头模型、半监督分支头模型和无监督分支头模型。同时为了将类不平衡半监督学习方法有效融入目标检测模型中，本发明利用伪标签作为rpn和roihead的显式监督，从而缓解rpn和roihead中对极少标签样本的过拟合问题。其次，为了尽量不影响faster-rcnn目标检测的已有结构，并且简化半监督网络架构，仅对roihead的分类端进行更改。具体地，在roihead的分类层前嫁接了3个网络分支头，分别为监督分支头模型、半监督分支头模型以及无监督分支头模型。三个分支头模型说明如下：
[0082]
对于监督分支头模型，为了有效利用置信度高的伪标签数据进行监督训练，并尽量减轻错误标签对模型稳定训练带来的威胁，此处发明提出了采用广义pagerank(gpr)来捕获样本特征之间的相关性，从而进行可靠的伪标签。此外，监督损失函数采用了具有重加权策略的交叉熵损失函数，记为loss
sup
。
[0083]
本发明构建了一个批次(batch size＝4,rtx3090 gpu)内候选目标的动态小图，以完全适应原始mini-batch sgd的训练过程，并没有显著增加模型的运行时间。首先，通过共享特征提取器g(
·
)后获得了候选感兴趣bounding box对应图像的深度特征，将其记为box对应图像的深度特征，将其记为dm是提取的特征维度，b为该批次下候选感兴趣bounding box数。在本发明中，为方便表述，在此将连接在g(
·
)全连接层前的faster-rcnn部分也归为g(
·
)。而后，计算获得具有自循环的归一化相似矩阵i表示单位矩阵。接下来，在图网络信息传播部分，发明通过构建一个结构为[d
m-dropout(0.5)-relu-dm×
2-relu-c]的全连接网络生成每个节点的隐藏层特征h0＝s(ea)，其中c为类别数。随后发明采用gpr来捕获顶点之间的相关性。因此，基于图的分类器头h(
·
)表示为：
[0084][0085]
其中，ω0及ω1是控制前两步传播的可学习权重。从上式中可以看出，与线性分类器头不同，本发明将一批数据传入用于信息传播的图网络，进一步获得更可靠的标签传播结果。此处需要强调的是，通过实验证明，采用gpr传播后对训练样本中无标签训练数据的伪标签准确率相较于全连接线性分类器高5％以上。
[0086]
接下来，在一个批次更新中，本发明定义loss
sup
如公式2所示:
[0087][0088]
其中y＝{y1,y2,...yb}，为一批检测物体中所有数据的标签，对于有标签数据，其值为one-hot真值。对于无标签数据的伪标签yi，其值由该数据ui的弱增强(随机水平翻转)版本经过网络后取最大值位置获得，即而为了增强模型的泛化能力，对于无标签数据的ea获取，采用强增强(颜色抖动，高斯模糊和随机裁剪)版本的经过faster-crnn前层并输入至g(
·
)后获取。
[0089]
w(y)为重加权函数，针对其中数据xi对应的标签yi而言，其权重定义为：
[0090][0091]
其中mc为统计的属于最大类别c的样本数，为属于类别yi的样本数。由此可以看出，对于样本数少的类别而言，其重加权权重w(yi)更大，对于样本数多的类别而言，其重加权权重越小。可见，采用重加权的方式可以在监督分支头端训练平衡的分类器。
[0092]
此外，公式2中为判别函数，即内部条件满足时返回1，否则返回0。配合超参数阈值可以筛选出可靠的样本进行监督训练，在本发明中统一将其设置为0.7。为表述简洁，对于有标签数据，统一设置此条件是满足的。ce(
·
,
·
)为标准交叉熵损失函数。重要的是，为了解决重复框预测问题，在使用阈值筛选之前，通过应用按类的非极大值抑制
(non-maximum suppression，nms)来去除重复预测。
[0093]
对于半监督分支头模型，为了综合利用有标签数据及无标签数据获得可靠的数据表征，在此部分可采用目前流行的半监督网络头及损失函数，如remixmatch、fixmatch、flexmatch、freematch等。优选地，采用了更为通用且简单的fixmatch损失函数形式，记为loss
semi
。具体地：
[0094]
此部分的半监督损失由监督损失和无监督损失组成，网络结构沿用faster-rcnn的分类头结构。同样，针对一个batch的更新，loss
semi
定义为：
[0095][0096]
由公式2与公式4对比可以看出，二者形式十分类似，不同之处在于此处并没有加入重加权部分。原因在于重加权被证明对于模型的特征有效提取具有负面效果，因此为了兼顾监督模型分类头的平衡性与特征提取的有效性，此处的半监督部分并没有做适应类不平衡的任何调整。由于公式4所述为已有技术，而本发明只是将其用于获得类不平衡半监督目标检测条件下更为有效的特征，关键创新在于多分支头网络架构，这里不做过多赘述。
[0097]
此处值得注意的是，l(
·
)并没有采用(1)中构建的图网络分支头h(
·
)，原因在于异构网络往往更容易学习到侧重点不同的数据表征，而在类不平衡半监督问题中所天然具有的小样本特性，异构分类头的抗过拟合作用更为明显。
[0098]
对于无监督分支头模型，为进一步增强模型特征提取的无偏性，发明进一步建立了一个无监督分支头，并将所有数据当做无标签数据进行自监督训练，从而在充分利用无标签数据提取有效特征的前提下，尽量减少模型认为不稳定的无标签数据对训练的偏置影响。损失函数记为loss
unsup
。具体地：
[0099]
考虑到运算成本及实验效果，优选地，本发明利用简单的一致性正则进行自监督训练。因此，无监督分支头的损失函数loss
unsup
表示为：
[0100][0101]
其中及为无监督样本的两个不同弱增强版本，consist(
·
,
·
)为一致性惩罚函数，在本发明中选择l2-norm损失函数，f(
·
)为单层全连接网络，结构为[d
m-c]。值得注意的是，通常为了有效利用所有数据，无标签样本中将包含有标签样本，而仅仅在训练中不使用其标签值。由公式5可以看出，无监督损失驱使模型尽量在所有样本周围进行平滑的一致性表征，从而一方面增强模型表征的泛化能力，另一方面缓解类别不平衡训练中由于标签的嵌入引起的特征偏移。
[0102]
此外，为了防止标签/无标签数据的分离式训练方式导致模型输出的“特征偏移”从而发生确认偏差的恶化，此处提出一种特征匹配损失对监督分支头和无监督分支头输出特征进行无偏约束，表示为loss
fm
：
[0103]
loss
fm
＝mean(|mean(h(x
l
),0)-mean(f(xu),0)|)
ꢀꢀꢀꢀꢀꢀ
(6)
[0104]
其中f(
·
)表示无监督分支头输出，h(
·
)为监督分支头输出mean(h(
·
),0)表示对h(
·
)输出中的第0维取平均操作。由公式6可以看出，模型鼓励有标签样本的特征分布与无标签样本一致，从而进一步降低模型对标签样本的过拟合以及对无标签样本的错误划分。
[0105]
综上，本发明的总损失函数被定义为公式7：
[0106]
loss＝loss
sup
+loss
semi
+loss
unsup
+loss
fm
ꢀꢀꢀ
(7)
[0107]
最后，当模型训练完毕后，发明依据监督头的预测结果进行最终的目标检测任务输出。
[0108]
具体实施该基于多头不平衡半监督网络的工业图像缺陷检测方法时，如图1所示，包含以下实施步骤：
[0109]
1、采用faster-rcnn以及resnet-50作为目标检测基础网络，并使用在coco上的预训练模型。针对类不平衡半监督学习问题的特点，构建基于多头类不平衡半监督学习的目标检测。
[0110]
2、构建训练用标签数据和无标签训练数据集，这部分视具体实际应用而定，其中标记数据采用labelme，存储为.xml格式的标记框。
[0111]
3、建立类不平衡半监督目标检测框架下的优化目标，此部分设置详见技术方案。初始学习率为1e-3，最小学习率为1e-6，且使用cosine衰减；优化器采用adam。
[0112]
4、随机采样无标签/标签图像。一个batch中标签-无标签各2张，且以标签数据全部完成一轮训练为一个epoch。
[0113]
5、进行数据预处理，将训练图片大小统一为600
×
600，送入构建好的类不平衡半监督目标检测网络，计算损失函数。
[0114]
6、构建深度学习模型更新过程，使用优化目标对模型进行训练。
[0115]
7、重复步骤(4)至步骤(6)，直到达到规定epoch数停止，保存训练好的网络模型用于测试。
[0116]
8、测试阶段，将测试图片大小统一为600
×
600，送入训练好的网络模型，输出检测结果。
[0117]
综上，本发明提出的方法为面向类不平衡半监督缺陷检测中的更高效的端到端架构，使用多分类器头兼顾表征的有效性及分类的平衡与准确性，将类不平衡半监督框架融入目前流行的目标检测框架中。
[0118]
值得说明的是，在测试阶段，仅需要加载最后保存的模型，并将测试图片缩放至600
×
600大小并送入模型，即可输出检测结果。
[0119]
如图3所示，在实际螺母异常检测任务中(训练数据仅有约30％数据使用labelme进行缺陷位置标注，去掉部分重复或者十分相近的图片，标注的正常/异常比例约为10:1)，以iou为0.5确认为异常检测正确的情况下，相比传统faster-rcnn只用有标签样本进行训练，本发明异常检测的召回率提高了6.7％，整体准确率达到89％+，大大提高了检测精度，减少人力消耗。相较于li等人提出的半监督伪标签目标检测方法，异常检测的精确率也提高了至少5.2％。
[0120]
如图4所示，在公开的东北大学带钢表面缺陷检测中，随机挑选20％数据作为测试集，对于剩下的训练集发明通过将6种缺陷(开裂、内含物、斑块、点腐蚀表面、轧制氧化皮、划痕)样本数量按照从240至24指数衰减(240、150、96、60、38、24)，并将标签比例设置为50％。本发明所提出的面向类不平衡半监督目标检测算法效果与faster-rcnn使用100％标签时的效果持平，这也充分证明了本发明方法针对半监督目标检测问题的有效性，更重要的是，由于标签比例的降低，本发明仅需要一半的人工标注消耗即可达到全标注的检测效
果。图4中，第一行为训练集真值标注，第二行为faster-rcnn使用100％标签时的检测结果，第三行为本发明检测结果，不同颜色代表不同的表面缺陷。可以看出，在仅用50％标签的条件下，本发明提出的方法与全标签faster-rcnn方法检测效果十分相近。为了凸显类不平衡条件下本发明算法对于小类别的检测性能，采用ap_50作为衡量标准。从图3展示的效果来看，本发明的算法具有很高的检测精度
[0121]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所有的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于多头不平衡半监督网络的工业图像缺陷检测方法，其特征在于，包括以下步骤：s1、创建模型并初始化模型参数；s2、构建工业图像的数据集合；s3、创建优化目标和优化器；s4、采用s1模型处理s2的数据；s5、根据s4处理后的数据是否符合需求来判断当前模型是否有所提升；s6、根据s5的判断结果，若有提升则结束，若无提升则重复步骤s4、s5，直到前模型有所提升或达到最大的步骤s4的重复次数；所述步骤s1的创建模型并初始化模型参数包括监督分支头模型、半监督分支头模型和无监督分支头模型。2.根据权利要求1所述的一种基于多头不平衡半监督网络的工业图像缺陷检测方法，其特征在于：所述步骤s4包括以下步骤：a1、随机抽取s2的数据；a2、将数据预处理后迭入模型中计算损失；a3、利用s3的优化器更新模型参数。3.根据权利要求2所述的一种基于多头不平衡半监督网络的工业图像缺陷检测方法，其特征在于：所述步骤s6中包括以下步骤：b1、判断a3步骤的模型参数是否比当前模型有所提升，若有则在更新并保存模型参数后判断是否达到s4步骤的最大重复次数，若否则直接判断是否达到s4步骤的最大重复次数；b2、根据b1步骤判断的是否达到s4步骤的最大重复次数，若是则结束，若否则重复步骤4、步骤5。4.根据权利要求1所述的一种基于多头不平衡半监督网络的工业图像缺陷检测方法，其特征在于：所述s2步骤的数据包括有标签数据和无标签数据。

技术总结
本发明涉及到工业图像缺陷检测技术领域，具体涉及到一种基于多头不平衡半监督网络的工业图像缺陷检测方法。本发明提供的一种基于多头不平衡半监督网络的工业图像缺陷检测方法，面向类不平衡半监督缺陷检测中的更高效的端到端架构，使用多分类器头兼顾表征的有效性及分类的平衡与准确性，将类不平衡半监督框架融入目前流行的目标检测框架中，可充分应对工业图像异常检测中正负样本严重失衡、标签数据缺乏等问题，从而提高实际缺陷检测任务的准确率，具有更高的检测精度。具有更高的检测精度。具有更高的检测精度。


技术研发人员：韩晓晨
受保护的技术使用者：奇智科技（北京）有限公司
技术研发日：2023.05.16
技术公布日：2023/8/23