缺陷检测模型训练方法及装置、缺陷检测方法和电子设备与流程

1.本公开涉及图像处理领域，尤其涉及一种缺陷检测模型训练方法及装置、缺陷检测方法和电子设备。


背景技术：

2.在塑料产品、金属器件等生产加工过程中，加工得到的产品会出现表面质量问题，如裂缝、凹陷和沟槽等，这些缺陷会影响产品的性能，进而影响用户对产品的使用。
3.目前，通常采用单一类型的数据和训练方式训练网络模型，以识别产品的表面质量问题，该方式存在训练得到的网络模型鲁棒性低的问题，进而导致无法准确的识别产品的表面质量问题。


技术实现要素：

4.本公开的多个方面提供一种缺陷检测模型训练方法及装置、缺陷检测方法和电子设备，以提高网络模型的鲁棒性，进而解决无法准确的识别产品的表面质量问题。
5.本公开实施例第一方面提供一种缺陷检测模型训练方法，包括：获取训练集，训练集中的数据种类至少包括以下一种：正常图像、异常图像、图像类型标签、图像掩膜标注；根据训练集中的数据种类，确定待训练单元和训练方式，训练方式包括：无监督、弱监督或有监督，待训练单元至少包括缺陷检测模型中的单元；通过训练方式，采用训练集训练待训练单元；在确定满足预设训练条件的情况下，结束训练，得到训练完成的缺陷检测模型。
6.本公开实施例第二方面提供一种缺陷检测方法，包括：获取目标图像，目标图像包括待检测对象；通过缺陷检测模型的第一分支网络对目标图像进行图像预测，得到第一分支网络输的第一预测图像；通过缺陷检测模型的第二分支网络对目标图像进行图像预测，得到第二分支网络输出的第二预测图像；确定第一预测图像和第二预测图像的损失值，并根据损失值确定目标图像的类别，其中，缺陷检测模型是根据上述的缺陷检测模型训练方法得到的。
7.本公开实施例第三方面提供一种缺陷检测模型训练装置，包括：
8.获取模块，用于获取训练集，训练集中的数据种类至少包括以下一种：正常图像、异常图像、图像类型标签、图像掩膜标注；
9.确定模块，用于根据训练集中的数据种类，确定待训练单元和训练方式，训练方式包括：无监督、弱监督或有监督，待训练单元至少包括缺陷检测模型中的单元；
10.训练模块，用于通过训练方式，采用训练集训练待训练单元；
11.结束模块，用于在确定满足预设训练条件的情况下，结束训练，得到训练完成的缺陷检测模型。
12.本公开实施例第四方面提供一种电子设备，包括：处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面的缺陷检测模型训练方法，和/或第二方面的缺陷检测方法。
13.本公开实施例第五方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现第一方面的缺陷检测模型训练方法，和/或第二方面的缺陷检测方法。
14.本公开实施例第六方面提供了一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行第一方面的缺陷检测模型训练方法，和/或第二方面的缺陷检测方法。
15.本公开实施例应用在产品表面缺陷的检测场景中，通过获取训练集，训练集中的数据种类至少包括以下一种：正常图像、异常图像、图像类型标签、图像掩膜标注；根据训练集中的数据种类，确定待训练单元和训练方式，训练方式包括：无监督、弱监督或有监督，待训练单元至少包括缺陷检测模型中的单元；通过训练方式，采用训练集训练待训练单元；在确定满足预设训练条件的情况下，结束训练，得到训练完成的缺陷检测模型。本公开提供的缺陷检测模型可以采用不同的数据种类进行训练，提高缺陷检测模型的鲁棒性，进而能够得到准确识别产品表面缺陷的缺陷检测模型。
附图说明
16.此处所说明的附图用来提供对本公开的进一步理解，构成本公开的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
17.图1为本公开示例性实施例提供的一种缺陷检测模型训练方法的应用场景图；
18.图2为本公开示例性实施例提供的一种训练阶段的缺陷检测模型的结构示意图；
19.图3为本公开示例性实施例提供的一种缺陷检测模型训练方法的步骤流程图；
20.图4为本公开示例性实施例提供的一种正常图像和第一掩膜标注的示意图；
21.图5为本公开示例性实施例提供的一种异常图像和第二掩膜标注的示意图；
22.图6为本公开示例性实施例提供的一种无监督训练方式的步骤流程图像；
23.图7为本公开示例性实施例提供的一种弱监督训练方式的步骤流程图像；
24.图8为本公开示例性实施例提供的一种有监督训练方式的步骤流程图像；
25.图9为本公开示例性实施例提供的一种缺陷检测方法的步骤流程图像；
26.图10为本公开示例性实施例提供的一种缺陷检测模型的结构示意图；
27.图11为本公开示例性实施例提供的一种缺陷检测模型训练装置的结构框图；
28.图12为本公开示例性实施例提供的一种缺陷检测装置的结构框图；
29.图13为本公开示例性实施例提供的一种电子设备的结构示意图。
具体实施方式
30.为使本公开的目的、技术方案和优点更加清楚，下面将结合本公开具体实施例及相应的附图对本公开技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
31.在塑料产品、金属器件等生产加工过程中，加工得到的产品会出现表面质量问题，如裂缝、凹陷和沟槽等，这些缺陷会影响产品的性能，进而影响用户对产品的使用。目前，通
常采用单一类型的数据和训练方式训练网络模型，存在训练得到的网络模型鲁棒性低的问题，进而导致无法准确的识别产品的表面质量问题。
32.基于上述问题，本公开通过构建一缺陷检测模型，该缺陷检测模块可以采用不同的数据种类和不同的训练方式训练缺陷检测模型，能够提高缺陷检测模型的鲁棒性，使得到的缺陷检测模型可以更准确的识别产权的表名质量问题。
33.此外，本公开实施例的一种应用场景如图1，在图1中，在服务器11上部署训练好的缺陷检测模型，终端12对待检测对象13采集目标图像p，终端12将该目标图像p1发送给服务器11，服务器11采用缺陷检测模型检测目标图像p1，得到目标图像p1是否为缺陷图像的检测结果。
34.其中，图1只是示例性的一种应用场景，本公开实施例可以应用在任意物体的表面缺陷的检测场景中。本公开实施例不对具体的应用场景进行限定。
35.参照图2，为本公开实施例提供的缺陷检测模型的结构示意图，该缺陷检测模型包括：第一分支网络和第二分支网络，其中：
36.第一分支网络包括：多个依次连接的第一卷积单元和第一归一化单元；其中，第一归一化单元和最后一个第一卷积单元的输出端连接；第一分支网络与分类模块连接，分类模块包括：第二卷积单元和分类单元，分类模块包括：第二卷积单元和分类单元，第二卷积单元和最后一个第一卷积单元的输出端连接，分类单元和第二卷积单元的输出端连接；
37.第二分支网络包括：多个依次连接的第三卷积单元和第二归一化单元，第二归一化单元和最后一个第三卷积单元的输出端连接，第一分支网络和第二分支网络的初始的网络参数相同；其中，第二分支网络与分割模块连接，分割模块包括：第四卷积单元、上采样单元和拼接单元，第四卷积单元和最后一个第三卷积单元的输出端连接，上采样点单元用于对多个第三卷积单元和第四卷积单元输出的特征图像进行上采样处理，拼接单元与上采样单元的输出端连接。
38.进一步地，第一归一化单元包括第一卷积层和第一归一化层，第二归一化单元包括第二卷积层和第二归一化层。
39.在本技术实施例中，分类模块用于训练第一分支网络，分割模块用于训练第二分支网络。
40.图3为本公开示例性实施例提供的一种缺陷检测模型训练方法的步骤流程图。缺陷检测模型包括该缺陷检测模型训练方法具体包括以下步骤：
41.s301，获取训练集。
42.其中，训练集中的数据种类至少包括以下一种：正常图像、异常图像、图像类型标签、图像掩膜标注。
43.具体地，正常图像是指图像中包含的对象的表面无缺陷，异常图像是指图像中包含的对象的表面有缺陷。图像类型标签包括正常图像的第一类型标签和异常图像的第二类型标签。第一类型标签如“1”，表示是正常图像。第二类型标签如“0”，表示图像为异常图像。图像掩膜标注包括：正常图像的第一掩膜标注和异常图像的第二掩膜标注。其中，第一掩膜标注和第二掩膜标注均为掩膜图像。第一掩膜标注和对应的正常图像的尺寸相同，第二掩膜图像和对应的异常图像的尺寸相同。正常图像的第一掩膜标注的各像素的像素值相同，异常图像包括正常区域和缺陷区域，正常区域的各像素的像素值相同，缺陷区域的各像素
的像素值相同，并且正常区域的像素值和缺陷区域的像素值不同。
44.示例性地，参照图4，为一正常图像和正常图像的第一掩膜标注，正常图像的第一掩膜标注是和正常图像尺寸相同的黑色图像。参照图5为一异常图像和异常图像的第二掩膜标注，异常图像的第二掩膜标注在正常区域是黑色的，在缺陷区域是白色的。
45.s302，根据训练集中的数据种类，确定待训练单元和训练方式。
46.其中，训练方式包括：无监督、弱监督或有监督，待训练单元至少包括缺陷检测模型中的单元。
47.一种可选实施例中，根据训练集中的数据种类，确定待训练单元和训练方式，包括：当训练集中的数据种类为正常图像，确定待训练单元为第二分支网络，训练方式为无监督训练方式。
48.一种可选实施例中，根据训练集中的数据种类，确定待训练单元和训练方式，包括：当训练集中的数据种类为正常图像、正常图像的第一类型标签、异常图像和异常图像的第二类型标签，确定待训练单元为第一分支网络和分类模块，训练方式为弱监督训练方式。该实施例中，分类模块用于训练第一分支网络。
49.一种可选实施例中，根据训练集中的数据种类，确定待训练单元和训练方式，包括：当训练集中的数据种类为正常图像、正常图像的第一掩膜标注、异常图像和异常图像的第二掩膜标注，确定待训练单元为第二分支网络和分割模块，训练方式为有监督训练方式。该实施例中，分类模块用于训练第二分支网络。
50.进一步地，参照图4，可以预设数据种类、训练单元和训练方式的对应关系，其中数据种类有多种组合方式，参照表1所示：
51.表1
[0052][0053]
s303，通过训练方式，采用训练集训练待训练单元。
[0054]
一种可选实施例中，参照图6，当训练集中的数据种类为正常图像时，为无监督训练方式，通过训练方式，采用训练集训练待训练单元，包括以下步骤：
[0055]
s601，通过多个依次连接的第一卷积单元对正常图像进行图像特征提取，得到最后一个第一卷积单元输出的第一特征图像。
[0056]
参照图2，示例性地，图2中的图像为正常图像，正常图像输入第一分支网络中，经过多个依次连接的第一卷积单元对正常图像进行图像特征提取，其中，第一卷积单元i的输入为第一卷积单元i-1的输出，i可以取1至n，n为第一卷积单元的数量。第一卷积单元0的输
入为正常图像。此外，最后一个第一卷积单元n输出的特征图像an为第一特征图像。
[0057]
s602，通过第一归一化单元对第一特征图像进行归一化处理，得到第一预测图像。
[0058]
其中，第一归一化单元包括第一卷积层和第一归一化层，先通过第一卷积层对第一特征图像进行卷积处理后得到的特征图像，再经过第一归一化层进行归一化处理，可以得到第一预测图像。示例性地，参照图2，第一预测图像为预测图像c1。
[0059]
s603，通过多个依次连接的第三卷积单元对正常图像进行图像特征提取，得到最后一个第三卷积单元输出的第二特征图像。
[0060]
参照图2，示例性地，图2中的图像为正常图像，正常图像输入第二分支网络中，经过多个依次连接的第三卷积单元对正常图像进行图像特征提取，其中，第三卷积单元i的输入为第一三卷积单元i-1的输出。第三卷积单元0的输入为正常图像。此外，最后一个第三卷积单元n输出的特征图像bn为第二特征图像。
[0061]
s604，通过第二归一化单元对最后一个第三卷积单元输出的第二特征图像进行归一化处理，得到第二预测图像。
[0062]
其中，第二归一化单元包括第二卷积层和第二归一化层，先通过第二卷积层对第二特征图像进行卷积处理后得到的特征图像，再经过第二归一化层进行归一化处理，可以得到第二预测图像。示例性地，参照图2，第二预测图像为预测图像c2。
[0063]
s605，确定第一预测图像和第二预测图像的第一损失值，并采用第一损失值调整第二分支网络的网络参数。
[0064]
在本公开实施例中，采用第一损失值调整第二分支网络的网络参数，其中，在无监督训练中，第一分支网络中的网络参数是固定不进行调整的。
[0065]
此外，虽然第一分支网络和第二分支网络的网络参数在初始阶段是相同的，但是由于第二分支网络中的归一化层内部的参数是会根据特征图像的不同而调整。第一分支网络的归一化层也不会根据特征图像的变化而变化，但是第二分支网络的归一化层是不固定的，所以会根据特征图像来计算其参数，所以只要分支网络中存在归一化层，只要走过一个归一化层第一分支网络和爹分支网络的输出就会不一样。
[0066]
进一步地，在确定满足预设训练条件的情况下，结束训练。具体可以为，在第一损失值小于第一损失值阈值或者训练次数大于次数阈值的情况下，结束训练。
[0067]
在本公开实施例中，可以采用无监督训练方式训练缺陷预测模型，可以使缺陷预测模型学习分辨正常图像和异常图像的能力。
[0068]
一种可选实施例中，参照图7，为弱监督训练方式，当训练集中的数据种类为正常图像、正常图像的第一类型标签、异常图像和异常图像的第二类型标签时，通过训练方式，采用训练集训练待训练单元，包括以下步骤：
[0069]
s701，通过多个依次连接的第一卷积单元对正常图像进行图像特征提取，得到最后一个第一卷积单元输出的第三特征图像。
[0070]
s702，通过第一归一化单元对第三特征图像进行归一化处理，得到第三预测图像。
[0071]
s703，通过多个依次连接的第三卷积单元对正常图像进行图像特征提取，得到最后一个第三卷积单元输出的第四特征图像。
[0072]
s704，通过第二归一化单元对最后一个第三卷积单元输出的第二特征图像进行归一化处理，得到第四预测图像。
[0073]
其中，在弱监督训练过程中，s701至s704可以参照s601至s604，在此不再赘述。
[0074]
s705，确定第三预测图像和第四预测图像的第二损失值，并采用第二损失值调整第一分支网络的网络参数。
[0075]
其中，在弱监督训练过程中，是采用第二损失值调整第一分支网络的网络参数，其中，第二分支网络的网络参数是固定的不进行调整的。
[0076]
进一步地，在确定满足预设训练条件的情况下，结束训练。具体可以为，在第二损失值小于第二损失值阈值或者训练次数大于次数阈值的情况下，结束训练。
[0077]
s706，通过第二卷积单元对第三特征图像进行卷积处理，得到第五特征图像。
[0078]
示例性地，第三特征图像如图2中的特征图像a1，在弱监督训练方式中，第三特征图像需要经过分类模块进行分类处理，在分类处理过程中先经过第二卷积单元进行卷积处理得到第五特征图像。
[0079]
s707，通过分类单元对第五特征图像进行分类，得到第一预测类别。
[0080]
参照图2，分类单元输出的预测类别为第一预测类别，该第一预测类别可以是“1”或者“0”，其中，“1”表示正常图像，“0”表示异常图像。正常图像的第一类别标签表示正常图像，如为“1”。
[0081]
s708，确定第一预测类别和第一标签类别的第三损失值，并采用第三损失值调整第一卷积单元和分类模块的网络参数。
[0082]
在本公开实施例中，采用第三损失值调整调整多个第一卷积单元和分类模块的网络参数。
[0083]
进一步地，在确定满足预设训练条件的情况下，结束训练。具体可以为，在第三损失值小于第三损失值阈值或者训练次数大于次数阈值的情况下，结束训练。
[0084]
s709，通过多个依次连接的第一卷积单元对异常图像进行图像特征提取，得到最后一个第一卷积单元输出的第六特征图像。
[0085]
s710，通过第二卷积单元对第六特征图像进行卷积处理，得到第七特征图像。
[0086]
s711，通过分类单元对第七特征图像进行分类，得到第二预测类别。
[0087]
s712，确定第二预测类别和第二标签类别的第四损失值，并采用第四损失值调整第一卷积单元和分类模块的网络参数。
[0088]
在本公开实施例中，可以采用弱监督训练方式训练缺陷预测模型，可以使缺陷预测模型学习到更多的正常图像和异常图像的特征，并且可以使缺陷预测模型学习分辨正常图像和异常图像的能力，进而提高缺陷预测模型的鲁棒性。
[0089]
在本公开实施例中，弱监督训练方式中，数据种类还包括异常图像和异常图像的第二类别标签。因此，可以将异常图像通过多个第一卷积单元和分类模块进行处理后，得到第二预测类别。
[0090]
其中，采用第四损失值调整调整多个第一卷积单元和分类模块的网络参数，进一步地，在确定满足预设训练条件的情况下，结束训练。具体可以为，在第四损失值小于第四损失值阈值或者训练次数大于次数阈值的情况下，结束训练。
[0091]
在弱监督训练中，第二分支网络中各第三卷积单元的网络参数是固定不进行调整的，调整第一分支网络、分类模块和第二归一化单元的网络参数。
[0092]
一种可选实施例中，参照图8，为有监督训练方式，当训练集中的数据种类为正常
图像、正常图像的第一掩膜标注、异常图像和异常图像的第二掩膜标注，通过训练方式，采用训练集训练待训练单元，包括以下步骤：
[0093]
s801，通过多个依次连接的第一卷积单元对正常图像进行图像特征提取，得到最后一个第一卷积单元输出的第八特征图像。
[0094]
s802，通过第一归一化单元对第八特征图像进行归一化处理，得到第五预测图像。
[0095]
s803，通过多个依次连接的第三卷积单元对正常图像进行图像特征提取，得到各第三卷积单元输出的第九特征图像。
[0096]
s804，通过第二归一化单元对最后一个第三卷积单元输出的第九特征图像进行归一化处理，得到第六预测图像。
[0097]
s805，确定第五预测图像和第六预测图像的第五损失值，并采用第五损失值调整第二分支网络的网络参数。
[0098]
s801至s805可以参照s601至s605，在此不再赘述。
[0099]
s806，通过第四卷积单元对最后一个第九特征图像进行卷积处理，得到第十特征图像。
[0100]
参照图2，最后一个第九特征图像是最后一个第三卷积单元n输出的特征图像bn。
[0101]
s807，通过上采样单元对多个第九特征图像中的至少部分第九特征图像和第十特征图像进行上采样，得到对应的多个第十一特征图像。
[0102]
参照图2，当图2中输入第三卷积单元0的图像为异常图像时，其中，每个第三卷积单元i会输出一个特征图像bi，该特征图像bi可以是第九特征图像。进一步地，至少部分第九特征图像可以是所有的第九特征图像，如图2中的特征图像b0至特征图像bn。至少部分第九特征图像可以是任意几个第九特征图像或者是后几个第九特征图像，如图2中的特征图像b2至特征图像bn为至少部分第九特征图像。
[0103]
进一步地，上采样单元对至少部分第九特征图像中的每个第九特征图像进行上采样，得到对应的第十一特征图像。上采样单元对第十特征图像进行上采样，得到对应的第十一特征图像。其中，多个第十一特征图像的尺寸相同。
[0104]
s808，确定第一预测掩膜图像和第一掩膜标注的第六损失值，并采用第六损失值调整第二卷积单元和分割模块的网络参数。
[0105]
s809，通过多个依次连接的第一卷积单元对异常图像进行图像特征提取，得到最后一个第一卷积单元输出的第十二特征图像。
[0106]
s810，通过第一归一化单元对第十二特征图像进行归一化处理，得到第七预测图像。
[0107]
s811，通过多个依次连接的第三卷积单元对异常图像进行图像特征提取，得到各第三卷积单元输出的第十三特征图像。
[0108]
s812，通过第二归一化单元对最后一个第三卷积单元输出的第十三特征图像进行归一化处理，得到第八预测图像。
[0109]
步骤s809至s812，可参照s801至s804，在此不再赘述。
[0110]
s813，确定第七预测图像和第八预测图像的第七损失值，并采用第七损失值调整第二分支网络的网络参数。
[0111]
在本技术实施例中，s809至s813是对异常图像的处理，本技术训练期望第七损失
值越大越好，则可以在第七损失值小于第七损失值阈值时，继续训练，在第七损失值大于第七损失值阈值时，结束训练。
[0112]
进一步地，确定第七预测图像和第八预测图像的第七损失值，具体可以是确定第一预测图像的每个像素与第八预测图像中对应像素的损失值，引入第二掩膜标注，第一预测图像中与第二掩膜标注的缺陷区域对应的像素的损失值期望越大越好，第一预测图像中与第二掩膜标注的正常区域对应的像素的损失值期望越小越好。
[0113]
s814，通过第四卷积单元对最后一个第十三特征图像进行卷积处理，得到第十四特征图像。
[0114]
s815，通过上采样单元对多个第十三特征图像中的至少部分第十三特征图像和第十四特征图像进行上采样，得到第二预测掩膜图像。
[0115]
s814至s815参照s806和s807，在此不再赘述。
[0116]
s816，确定第二预测掩膜图像和第二掩膜标注的第八损失值，并采用第八损失值调整第二卷积单元和分割模块的网络参数。
[0117]
在本公开实施例中，弱监督训练方式中，数据种类还包括异常图像和异常图像的第二掩膜标注。因此，可以将异常图像通过多个第三卷积单元和分割模块进行处理后，得到第二预测掩膜图像。
[0118]
其中，采用第八损失值调整调整多个第三卷积单元和分割模块的网络参数，进一步地，在确定满足预设训练条件的情况下，结束训练。具体可以为，在第八损失值小于第八损失值阈值或者训练次数大于次数阈值的情况下，结束训练。
[0119]
在有监督训练中，第一分支网络中各第一卷积单元的网络参数是固定不进行调整的，调整第二分支网络和分割模块和第一归一化单元的网络参数。
[0120]
在本公开实施例中，可以采用有监督训练方式训练缺陷预测模型，可以使缺陷预测模型学习到更多的正常图像和异常图像的特征，并且可以使缺陷预测模型学习分辨正常图像和异常图像的能力，进而提高缺陷预测模型的鲁棒性。
[0121]
s304，在确定满足预设训练条件的情况下，结束训练，得到训练完成的缺陷检测模型。
[0122]
其中，训练条件可以为训练次数达到训练次数阈值，即在上述各种方式的训练次数达到训练次数阈值的情况下，结束训练。训练条件还可以为损失值小于预设的损失值阈值，在上述损失值小于对应的损失值阈值的情况下，结束训练。
[0123]
在本公开实施例中，可以实现根据数据种类的不同，自适应的调整训练方式，采用对应的训练方式对缺陷检测模型对应的待训练单元进行训练，对于不同的数据类型，均可以实现对缺陷检测模型的训练，使训练得到的缺陷检测模型具有很好的鲁棒性，可以准确的识别产品表面缺陷。
[0124]
参照图9，为本公开提供的一种缺陷检测方法的步骤流程图，具体包括以下步骤：
[0125]
s901，获取目标图像。
[0126]
其中，目标图像包括待检测对象。在本公开中，目标图像是针对待检测图像采集到的。
[0127]
s902，通过缺陷检测模型的第一分支网络对目标图像进行图像预测，得到第一分支网络输的第一预测图像。
[0128]
推理阶段中，缺陷检测模型的结构如图10所示，包括第一分支网络和第二分支网络。第一分支网络对目标图像进行预测后得到第一预测图像。
[0129]
s903，通过缺陷检测模型的第二分支网络对目标图像进行图像预测，得到第二分支网络输出的第二预测图像。
[0130]
参照图10，第二分支网络对目标图像进行图像预测后，得到第二预测图像。
[0131]
s904，确定第一预测图像和第二预测图像的损失值，并根据损失值确定目标图像的类别。
[0132]
其中，缺陷检测模型是根据上述任一项的缺陷检测模型训练方法得到的。
[0133]
在本公开中，训练得到的第一分支网络和第二分支网络对于正常图像预测得到的预测图像之间损失值小于预设阈值，对于异常图像预测得到的预测图像之间损失值大于或等于预设阈值，进而可以根据损失值可以确定目标图像的类别是正常图像还是异常图像。
[0134]
进一步地，若确定目标图像为异常图像，可以根据第一预测图像和第二预测图像每个像素之间的损失值，确定损失值大于或等于预设阈值的像素为缺陷区域的像素，进而可以确定异常图像对应的像素为缺陷区域的像素，则可以确定异常图像的缺陷区域在异常图像中的像素位置。
[0135]
在本公开中，通过预先训练好的缺陷检测模型，可以高效准确的检测目标图像是否为有缺陷的图像。
[0136]
参照图11，在本公开实施例中除了提供缺陷检测模型训练方法之外，还提供缺陷检测模型训练装置110，包括：
[0137]
获取模块111，用于获取训练集，训练集中的数据种类至少包括以下一种：正常图像、异常图像、图像类型标签、图像掩膜标注；
[0138]
确定模块112，用于根据训练集中的数据种类，确定待训练单元和训练方式，训练方式包括：无监督、弱监督或有监督，待训练单元至少包括缺陷检测模型中的单元；
[0139]
训练模块113，用于通过训练方式，采用训练集训练待训练单元；
[0140]
结束模块114，用于在确定满足预设训练条件的情况下，结束训练，得到训练完成的缺陷检测模型。
[0141]
一种可选实施例中，缺陷检测模型包括：第一分支网络、第二分支网络、分类模块、分割模块；其中：
[0142]
第一分支网络包括：多个依次连接的第一卷积单元和第一归一化单元；其中，第一归一化单元和最后一个第一卷积单元的输出端连接；
[0143]
分类模块包括：第二卷积单元和分类单元，第二卷积单元和最后一个第一卷积单元的输出端连接，分类单元和第二卷积单元的输出端连接；
[0144]
第二分支网络包括：多个依次连接的第三卷积单元和第二归一化单元，第二归一化单元和最后一个第三卷积单元的输出端连接，第一分支网络和第二分支网络的初始的网络参数相同；
[0145]
分割模块包括：第四卷积单元、上采样单元和拼接单元，第四卷积单元和最后一个第三卷积单元的输出端连接，上采样点单元用于对多个第三卷积单元和第四卷积单元输出的特征图像进行上采样处理，拼接单元与上采样单元的输出端连接。
[0146]
一种可选实施例中，确定模块112，具体用于当训练集中的数据种类为正常图像，
确定待训练单元为第二分支网络，训练方式为无监督训练方式。
[0147]
一种可选实施例中，训练模块113，具体用于通过多个依次连接的第一卷积单元对正常图像进行图像特征提取，得到最后一个第一卷积单元输出的第一特征图像；通过第一归一化单元对第一特征图像进行归一化处理，得到第一预测图像；通过多个依次连接的第三卷积单元对正常图像进行图像特征提取，得到最后一个第三卷积单元输出的第二特征图像；通过第二归一化单元对最后一个第三卷积单元输出的第二特征图像进行归一化处理，得到第二预测图像；确定第一预测图像和第二预测图像的第一损失值，并采用第一损失值调整第二分支网络的网络参数。
[0148]
一种可选实施例中，确定模块112，具体用于当训练集中的数据种类为正常图像、正常图像的第一类型标签、异常图像和异常图像的第二类型标签，确定待训练单元为第一分支网络和分类模块，训练方式为弱监督训练方式。
[0149]
一种可选实施例中，训练模块113，具体用于通过多个依次连接的第一卷积单元对正常图像进行图像特征提取，得到最后一个第一卷积单元输出的第三特征图像；通过第一归一化单元对第三特征图像进行归一化处理，得到第三预测图像；通过多个依次连接的第三卷积单元对正常图像进行图像特征提取，得到最后一个第三卷积单元输出的第四特征图像；通过第二归一化单元对最后一个第三卷积单元输出的第二特征图像进行归一化处理，得到第四预测图像；确定第三预测图像和第四预测图像的第二损失值，并采用第二损失值调整第一分支网络的网络参数；通过第二卷积单元对第三特征图像进行卷积处理，得到第五特征图像；通过分类单元对第五特征图像进行分类，得到第一预测类别；确定第一预测类别和第一标签类别的第三损失值，并采用第三损失值调整第一卷积单元和分类模块的网络参数。
[0150]
一种可选实施例中，训练模块113，还具体用于通过多个依次连接的第一卷积单元对异常图像进行图像特征提取，得到最后一个第一卷积单元输出的第六特征图像；通过第二卷积单元对第六特征图像进行卷积处理，得到第七特征图像；通过分类单元对第七特征图像进行分类，得到第二预测类别；确定第二预测类别和第二标签类别的第四损失值，并采用第四损失值调整第一卷积单元和分类模块的网络参数。
[0151]
一种可选实施例中，确定模块112，具体用于当训练集中的数据种类为正常图像、正常图像的第一掩膜标注、异常图像和异常图像的第二掩膜标注，确定待训练单元为第二分支网络和分割模块，训练方式为有监督训练方式。
[0152]
一种可选实施例中，训练模块113，具体用于通过多个依次连接的第一卷积单元对正常图像进行图像特征提取，得到最后一个第一卷积单元输出的第八特征图像；通过第一归一化单元对第八特征图像进行归一化处理，得到第五预测图像；通过多个依次连接的第三卷积单元对正常图像进行图像特征提取，得到各第三卷积单元输出的第九特征图像；通过第二归一化单元对最后一个第三卷积单元输出的第九特征图像进行归一化处理，得到第六预测图像；确定第五预测图像和第六预测图像的第五损失值，并采用第五损失值调整第二分支网络的网络参数；通过第四卷积单元对最后一个第九特征图像进行卷积处理，得到第十特征图像；通过上采样单元对多个第九特征图像中的至少部分第九特征图像和第十特征图像进行上采样，得到对应的多个第十一特征图像；通过拼接单元对多个第十一特征图像进行拼接处理，得到第一预测掩膜图像；确定第一预测掩膜图像和第一掩膜标注的第六
损失值，并采用第六损失值调整第二卷积单元和分割模块的网络参数。
[0153]
一种可选实施例中，训练模块113，还具体用于通过多个依次连接的第一卷积单元对异常图像进行图像特征提取，得到最后一个第一卷积单元输出的第十二特征图像；通过第一归一化单元对第十二特征图像进行归一化处理，得到第七预测图像；通过多个依次连接的第三卷积单元对异常图像进行图像特征提取，得到各第三卷积单元输出的第十三特征图像；通过第二归一化单元对最后一个第三卷积单元输出的第十三特征图像进行归一化处理，得到第八预测图像；确定第七预测图像和第八预测图像的第七损失值，并采用第七损失值调整第二分支网络的网络参数；通过第四卷积单元对最后一个第十三特征图像进行卷积处理，得到第十四特征图像；通过上采样单元对多个第十三特征图像中的至少部分第十三特征图像和第十四特征图像进行上采样，得到第二预测掩膜图像；确定第二预测掩膜图像和第二掩膜标注的第八损失值，并采用第八损失值调整第二卷积单元和分割模块的网络参数。
[0154]
本公开提供的缺陷检测模型训练装置能够实现上述缺陷检测模型训练方法，具体参照上述，在此不再赘述。
[0155]
参照图12，在本公开实施例中除了缺陷检测方法之外，还提供缺陷检测装置120，包括：
[0156]
获取模块121，用于获取目标图像，目标图像包括待检测对象；
[0157]
第一预测模块122，用于通过缺陷检测模型的第一分支网络对目标图像进行图像预测，得到第一分支网络输的第一预测图像；
[0158]
第二预测模块123，用于通过缺陷检测模型的第二分支网络对目标图像进行图像预测，得到第二分支网络输出的第二预测图像；
[0159]
确定模块124，用于确定第一预测图像和第二预测图像的损失值，并根据损失值确定目标图像的类别，其中，缺陷检测模型是根据上述任一项的缺陷检测模型训练方法得到的。
[0160]
本公开提供的缺陷检测装置能够实现上述缺陷检测方法，具体参照上述，在此不再赘述。
[0161]
另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第二”、“第一”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第二”和“第一”是不同的类型。
[0162]
图13为本公开一示例实施例提供的电子设备的结构示意图。如图13所示，该电子设备130包括：处理器131，以及与处理器131通信连接的存储器132，存储器132存储计算机执行指令。
[0163]
其中，处理器执行存储器存储的计算机执行指令，以实现上述任一方法实施例所提供的缺陷检测模型训练方法和/或缺陷检测方法，具体功能和所能实现的技术效果此处不再赘述。
[0164]
本公开实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计
算机执行指令，计算机执行指令被处理器执行时用于实现上述任一方法实施例提供的缺陷检测模型训练方法和/或缺陷检测方法。
[0165]
本公开实施例还提供了一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一方法实施例提供的缺陷检测模型训练方法和/或缺陷检测方法。
[0166]
在本公开所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0167]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0168]
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0169]
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本公开各个实施例方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0170]
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0171]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
[0172]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

技术特征：
1.一种缺陷检测模型训练方法，其特征在于，包括：获取训练集，所述训练集中的数据种类至少包括以下一种：正常图像、异常图像、图像类型标签、图像掩膜标注；根据所述训练集中的数据种类，确定待训练单元和训练方式，所述训练方式包括：无监督、弱监督或有监督，所述待训练单元至少包括所述缺陷检测模型中的单元；通过所述训练方式，采用所述训练集训练所述待训练单元；在确定满足预设训练条件的情况下，结束训练，得到训练完成的缺陷检测模型。2.根据权利要求1所述的缺陷检测模型训练方法，其特征在于，所述缺陷检测模型包括：第一分支网络和第二分支网络；其中：所述第一分支网络包括：多个依次连接的第一卷积单元和第一归一化单元，其中，所述第一归一化单元和最后一个第一卷积单元的输出端连接；所述第一分支网络与分类模块连接，所述分类模块包括：第二卷积单元和分类单元，所述第二卷积单元和最后一个第一卷积单元的输出端连接，所述分类单元和所述第二卷积单元的输出端连接；所述第二分支网络包括：多个依次连接的第三卷积单元和第二归一化单元，所述第二归一化单元和最后一个第三卷积单元的输出端连接，所述第一分支网络和所述第二分支网络的初始的网络参数相同；其中，所述第二分支网络与分割模块连接，所述分割模块包括：第四卷积单元、上采样单元和拼接单元，所述第四卷积单元和所述最后一个第三卷积单元的输出端连接，所述上采样点单元用于对多个第三卷积单元和第四卷积单元输出的特征图像进行上采样处理，所述拼接单元与所述上采样单元的输出端连接。3.根据权利要求2所述的缺陷检测模型训练方法，其特征在于，所述根据所述训练集中的数据种类，确定待训练单元和训练方式，包括：当所述训练集中的数据种类为正常图像，确定所述待训练单元为所述第二分支网络，所述训练方式为无监督训练方式。4.根据权利要求3所述的缺陷检测模型训练方法，其特征在于，所述通过所述训练方式，采用所述训练集训练所述待训练单元，包括：通过所述多个依次连接的第一卷积单元对所述正常图像进行图像特征提取，得到最后一个第一卷积单元输出的第一特征图像；通过所述第一归一化单元对所述第一特征图像进行归一化处理，得到第一预测图像；通过所述多个依次连接的第三卷积单元对所述正常图像进行图像特征提取，得到最后一个第三卷积单元输出的第二特征图像；通过所述第二归一化单元对最后一个第三卷积单元输出的所述第二特征图像进行归一化处理，得到第二预测图像；确定所述第一预测图像和所述第二预测图像的第一损失值，并采用所述第一损失值调整所述第二分支网络的网络参数。5.根据权利要求2所述的缺陷检测模型训练方法，其特征在于，所述根据所述训练集中的数据种类，确定待训练单元和训练方式，包括：当所述训练集中的数据种类为正常图像、正常图像的第一类型标签、异常图像和异常图像的第二类型标签，确定所述待训练单元为所述第一分支网络和所述分类模块，所述训练方式为弱监督训练方式。
6.根据权利要求5所述的缺陷检测模型训练方法，其特征在于，所述通过所述训练方式，采用所述训练集训练所述待训练单元，包括：通过所述多个依次连接的第一卷积单元对所述正常图像进行图像特征提取，得到最后一个第一卷积单元输出的第三特征图像；通过所述第一归一化单元对所述第三特征图像进行归一化处理，得到第三预测图像；通过所述多个依次连接的第三卷积单元对所述正常图像进行图像特征提取，得到最后一个第三卷积单元输出的第四特征图像；通过所述第二归一化单元对最后一个第三卷积单元输出的所述第二特征图像进行归一化处理，得到第四预测图像；确定所述第三预测图像和所述第四预测图像的第二损失值，并采用所述第二损失值调整所述第一分支网络的网络参数；通过所述第二卷积单元对所述第三特征图像进行卷积处理，得到第五特征图像；通过所述分类单元对所述第五特征图像进行分类，得到第一预测类别；确定所述第一预测类别和所述第一标签类别的第三损失值，并采用所述第三损失值调整所述第一卷积单元和所述分类模块的网络参数。7.根据权利要求6所述的缺陷检测模型训练方法，其特征在于，所述通过所述训练方式，采用所述训练集训练所述待训练单元，还包括：通过所述多个依次连接的第一卷积单元对所述异常图像进行图像特征提取，得到最后一个第一卷积单元输出的第六特征图像；通过所述第二卷积单元对所述第六特征图像进行卷积处理，得到第七特征图像；通过所述分类单元对所述第七特征图像进行分类，得到第二预测类别；确定所述第二预测类别和所述第二标签类别的第四损失值，并采用所述第四损失值调整所述第一卷积单元和所述分类模块的网络参数。8.根据权利要求2所述的缺陷检测模型训练方法，其特征在于，所述根据所述训练集中的数据种类，确定待训练单元和训练方式，包括：当所述训练集中的数据种类为正常图像、正常图像的第一掩膜标注、异常图像和异常图像的第二掩膜标注，确定所述待训练单元为所述第二分支网络和所述分割模块，所述训练方式为有监督训练方式。9.根据权利要求8所述的缺陷检测模型训练方法，其特征在于，所述通过所述训练方式，采用所述训练集训练所述待训练单元，包括：通过所述多个依次连接的第一卷积单元对所述正常图像进行图像特征提取，得到最后一个第一卷积单元输出的第八特征图像；通过所述第一归一化单元对所述第八特征图像进行归一化处理，得到第五预测图像；通过所述多个依次连接的第三卷积单元对所述正常图像进行图像特征提取，得到各第三卷积单元输出的第九特征图像；通过所述第二归一化单元对最后一个第三卷积单元输出的第九特征图像进行归一化处理，得到第六预测图像；确定所述第五预测图像和所述第六预测图像的第五损失值，并采用所述第五损失值调整所述第二分支网络的网络参数；
通过所述第四卷积单元对最后一个第九特征图像进行卷积处理，得到第十特征图像；通过所述上采样单元对多个第九特征图像中的至少部分第九特征图像和所述第十特征图像进行上采样，得到对应的多个第十一特征图像；通过所述拼接单元对所述多个第十一特征图像进行拼接处理，得到第一预测掩膜图像；确定所述第一预测掩膜图像和所述第一掩膜标注的第六损失值，并采用所述第六损失值调整所述第二卷积单元和所述分割模块的网络参数。10.根据权利要求9所述的缺陷检测模型训练方法，其特征在于，所述通过所述训练方式，采用所述训练集训练所述待训练单元，还包括：通过所述多个依次连接的第一卷积单元对所述异常图像进行图像特征提取，得到最后一个第一卷积单元输出的第十二特征图像；通过所述第一归一化单元对所述第十二特征图像进行归一化处理，得到第七预测图像；通过所述多个依次连接的第三卷积单元对所述异常图像进行图像特征提取，得到各第三卷积单元输出的第十三特征图像；通过所述第二归一化单元对最后一个第三卷积单元输出的第十三特征图像进行归一化处理，得到第八预测图像；确定所述第七预测图像和所述第八预测图像的第七损失值，并采用所述第七损失值调整所述第二分支网络的网络参数；通过所述第四卷积单元对最后一个第十三特征图像进行卷积处理，得到第十四特征图像；通过所述上采样单元对多个第十三特征图像中的至少部分第十三特征图像和所述第十四特征图像进行上采样，得到第二预测掩膜图像；确定所述第二预测掩膜图像和所述第二掩膜标注的第八损失值，并采用所述第八损失值调整所述第二卷积单元和所述分割模块的网络参数。11.一种缺陷检测方法，其特征在于，包括：获取目标图像，所述目标图像包括待检测对象；通过缺陷检测模型的第一分支网络对所述目标图像进行图像预测，得到所述第一分支网络输的第一预测图像；通过所述缺陷检测模型的第二分支网络对所述目标图像进行图像预测，得到所述第二分支网络输出的第二预测图像；确定所述第一预测图像和所述第二预测图像的损失值，并根据所述损失值确定所述目标图像的类别，其中，所述缺陷检测模型是根据权利要求3至10任一项所述的缺陷检测模型训练方法得到的。12.一种电子设备，其特征在于，包括：处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如权利要求1至10任一项所述的缺陷检测模型训练方法，和/或权利要求11所述的缺陷检测方法。13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现权利要求1至10任一项所述的缺
陷检测模型训练方法，和/或权利要求11所述的缺陷检测方法。

技术总结
本公开提供一种缺陷检测模型训练方法及装置、缺陷检测方法和电子设备，该缺陷检测模型训练方法包括：获取训练集，训练集中的数据种类至少包括以下一种：正常图像、异常图像、图像类型标签、图像掩膜标注；根据训练集中的数据种类，确定待训练单元和训练方式，训练方式包括：无监督、弱监督或有监督；通过训练方式，采用训练集训练待训练单元；在确定满足预设训练条件的情况下，结束训练，得到训练完成的缺陷检测模型。本公开提供的缺陷检测模型可以采用不同的数据种类进行训练，提高缺陷检测模型的鲁棒性，进而能够得到准确识别产品表面缺陷的缺陷检测模型。的缺陷检测模型。的缺陷检测模型。


技术研发人员：洪恺临 丁有爽 邵天兰
受保护的技术使用者：梅卡曼德（北京）机器人科技有限公司
技术研发日：2023.07.31
技术公布日：2023/10/11