基于少量正常样本数据集训练的缺陷检测方法及装置与流程

1.本发明涉及产品表面缺陷检测的技术领域，尤其是涉及一种基于少量正常样本数据集训练的缺陷检测方法及装置。


背景技术：

2.随着生产力的发展和社会的进步，目前在3c产品和高端玩具等生产领域中已开始呈现少批量多款式(high mix low volume)的生产特性，即生产线上所生产的产品种类会经常变化，且每一批次产品的产量不会很大。在这种情况下，现有的工业自动化视觉缺陷检测系统面临着巨大挑战。首先，现有的工业自动化视觉缺陷检测系统多是基于手工设计(hand crafted)的特征，利用模板匹配(template matching)的方法对比正常样本和缺陷样本特征之间的差异，以判断出缺陷所在的位置和种类，但是手工设计的特征只能针对一种物体，而且手工设计需要专业人员投入大量时间进行开发，通常需3个月以上，且更换一个新产品后则需要重新设计一个算法，因此，手工设计耗时长，花销大，难以适用于高频率迭代的生产线。其次，基于人工智能开发的缺陷检测算法往往需要大量有标注的样本数据进行训练，但是小批量的生产线很难采集到足够的样本数据，而且通常情况下存在缺陷的产品出现的概率十分低，想要收集到足够的样本数据是难以实现的。再者，现有的工业自动化视觉缺陷检测方法为了追求速度与精度的平衡，通常会使用较低分辨率的图像进行分析，由此会导致部分细微缺陷无法被准确检测出。
3.因此，如何研发一种基于少量样本数据，并适用于少批量多款式生产特性的生产线，且能够实现较快速度和较高精度检测的产品表面缺陷检测技术，已成为本领域亟待解决的技术问题之一。


技术实现要素：

4.本技术方案要解决的技术问题是，如何提供一种基于产品结构表面异常检测的技术，以利用少量正常样本数据训练即可在短时间内训练出稳定精确的ai模型，以对生产线上呈少批量多款式且具有复杂结构表面的产品进行快速、精确的缺陷检测，从而满足生产线上产品更新换代的需求，并降低产品质量监管环节人力、时间及资金的投入。
5.为了解决上述技术问题，本技术方案提供了一种基于少量正常样本数据集训练的缺陷检测方法，该缺陷检测方法的步骤包括：
6.制作正常样本数据集：获取多张包含有对象结构表面的高分辨率的正常样本图像，以形成正常样本数据集；
7.构建特征提取模型：应用卷积神经网络技术分别构建一图像特征提取网络模型以及一边缘特征提取网络模型；
8.特征提取模型预训练：对正常样本数据集中的多张正常样本图像进行图像尺寸标准化处理，将图像尺寸标准化处理后的正常样本图像分割为多个图像尺寸相等的小图像块，并将正常样本图像的多个小图像块组合成一具有尺寸的张量，通过将多张正常样本图
像的具有尺寸的张量分别输入至图像特征提取网络模型及边缘特征提取网络模型进行特征提取、图像重建、重建前后比对及模型参数修正，以训练图像特征提取网络模型及边缘特征提取网络模型的特征提取能力；
9.正常样本特征提取与拼接：将多张正常样本图像的具有尺寸的张量分别输入至预训练的图像特征提取网络模型及边缘特征提取网络模型，以分别提取该多张正常样本图像的多个小图像块的语义特征向量以及边缘特征向量，同时依据正常样本图像的每个小图像块在正常样本图像中的所属位置，使用cosine position编码方式对每个小图像块赋予对应的位置向量，并且使用并列连接方式分别将每张正常样本图像的多个小图像块的语义特征向量、边缘特征向量及位置向量在同一维度上进行拼接，以获得一具有另一尺寸的张量；
10.创建正常样本特征分布：应用多头自注意力模块分别对多张正常样本图像的具有另一尺寸的张量进行特征融合，以得到该多张正常样本图像的判别特征向量，之后对该多张正常样本图像的判别特征向量进行多元高斯分布计算，以得到正常样本低秩特征矩阵；
11.产品图像特征获取：获取包含有对象结构表面的高分辨率的产品图像，对产品图像进行图像尺寸标准化处理后，将其分割为多个图像尺寸相等的小图像块，并将产品图像的多个小图像块组合成一具有尺寸的张量，将产品图像的具有尺寸的张量分别输入至预训练的图像特征提取网络模型及边缘特征提取网络模型，以分别提取产品图像的多个小图像块的语义特征向量以及边缘特征向量，同时依据产品图像的每个小图像块在产品图像中的所属位置，使用cosine position编码方式对产品图像的每个小图像块赋予对应的位置向量，并且使用并列连接方式将产品图像的多个小图像块的语义特征向量、边缘特征向量及位置向量在同一维度上进行拼接，以获得一具有另一尺寸的张量，之后应用多头自注意力模块对产品图像的具有另一尺寸的张量进行特征融合，以得到产品图像的特征向量；
12.产品图像缺陷检测：计算正常样本低秩特征矩阵与产品图像的特征向量的每个向量元素间的马氏距离，以得到产品图像的异常分布热度图；
13.缺陷显示：将异常分布热度图的热度区域进行提取，以覆盖于产品图像的相应区域进行显示。
14.作为本缺陷检测方法的进一步实施，该图像尺寸标准化处理为如果图像的长及/或宽小于预设尺寸，则在图像的边缘填充黑色像素，以使填充黑色像素后的图像的长及/或宽等于预设尺寸。
15.作为本缺陷检测方法的进一步实施，该特征提取模型预训练步骤及产品图像特征获取步骤中，是将正常样本图像及产品图像均分割为16个图像尺寸相等的小图像块。
16.作为本缺陷检测方法的进一步实施，正常样本图像及产品图像是由工业相机拍摄的分辨率大于20megapixels的图像。
17.作为本缺陷检测方法的进一步实施，该创建正常样本特征分布步骤中，对多张正常样本图像的判别特征向量进行多元高斯分布计算，以得到正常样本低秩特征矩阵的具体方法为：
18.计算多张正常样本图像的判别特征向量的平均值μ，n为正常样本图像的数量，vi为第i张正常样本图像的判别特征向量；
19.计算正常样本每个向量元素的多元高斯分布，以得到正常样本低秩特征矩阵(σ，μ)，σ为协方差矩阵。
20.作为本缺陷检测方法的进一步实施，该产品图像缺陷检测步骤中，计算正常样本低秩特征矩阵与产品图像的特征向量的每个向量元素间的马氏距离d的具体方法为：x为产品图像的特征向量。
21.为了解决上述技术问题，本技术方案还提供了一种基于少量正常样本数据集训练的缺陷检测装置，该缺陷检测装置包括：
22.图像采集模块，用于采集包含有对象结构表面的高分辨率的产品图像，以制作正常样本数据集或进行缺陷检测；
23.图像处理模块，用于将产品图像进行图像尺寸标准化处理，并将图像尺寸标准化处理后的产品图像分割为多个图像尺寸相等的小图像块，将产品图像的多个小图像块组合成具有尺寸的张量；
24.模型预训练模块，用于将正常样本数据集中经图像处理模块处理后的正常样本图像的具有尺寸的张量分别输入至一图像特征提取网络模型以及一边缘特征提取网络模型，以训练图像特征提取网络模型及边缘特征提取网络模型的特征提取能力；
25.图像特征提取模块，用于将经过图像处理模块处理后的产品图像的具有尺寸的张量分别输入至预训练的图像特征提取网络模型及边缘特征提取网络模型，以分别提取产品图像的语义特征向量以及边缘特征向量，同时使用cosine position编码方式对产品图像赋予位置向量，并且使用并列连接方式将产品图像的语义特征向量、边缘特征向量及位置向量在同一维度上进行拼接，以获得具有另一尺寸的张量，之后应用多头自注意力模块对产品图像的具有另一尺寸的张量进行特征融合，以得到产品图像的判别特征向量；
26.正常样本特征分布创建模块，用于将经过图像处理模块以及图像特征提取模块处理后的正常样本数据集中的多张正常样本图像的判别特征向量进行多元高斯分布计算，以得到正常样本低秩特征矩阵；
27.缺陷检测模块，用于计算正常样本低秩特征矩阵与一产品图像的判别特征向量的每个向量元素间的马氏距离，以得到产品图像的异常分布热度图；
28.显示模块，用于将异常分布热度图的热度区域进行提取，以覆盖于产品图像的相应区域进行显示。
29.作为本缺陷检测装置的进一步实施，该图像采集模块为图像分辨率大于20megapixels的工业相机。
30.作为本缺陷检测装置的进一步实施，该正常样本特征分布创建模块是通过先计算多张正常样本图像的判别特征向量的平均值μ，n为正常样本图像的数量，vi为第i张正常样本图像的判别特征向量；再计算正常样本每个向量元素的多元高斯分布，以
得到正常样本低秩特征矩阵(σ，μ)，σ为协方差矩阵。
31.作为本缺陷检测装置的进一步实施，该缺陷检测模块是通过正常样本低秩特征矩阵(σ，μ)与产品图像的特征向量x计算每个向量元素间的马氏距离d，
[0032][0033]
据此，本技术方案的缺陷检测方法及缺陷检测装置是应用卷积神经网络的隐藏层输出的特征，而不是应用卷积神经网络的输出结果，且仅通过少量(100张至200张)正常样本图像即可训练基于卷积神经网络技术的图像特征提取网络模型及边缘特征提取网络模型的特征提取能力。并且本技术方案使用高分辨率的图像(包括正常样本图像及产品图像)，且不进行降采样压缩其大小而保持图像原始的分辨率，以此可确保图像上的细微缺陷(最小3mm以下)能够被准确检测到。但由于使用高分辨率的图像势必会增加上述网络模型特征提取的难度并降低特征提取的效率，因此，本技术方案是先将高分辨率的图像分割为多个小图像块，再应用预训练的上述网络模型进行相应的特征提取，之后再将多个图像块的语义特征向量、边缘特征向量及位置向量在同一维度上进行拼接，即可得到完整图像的相应特征向量，据此不仅可极大的降低上述网络模型特征提取的信息量，以确保较高的运行效率，从而维持较快的指令周期，而且可充分保留图像上的细微特征，从而确保缺陷识别的准确率。而通过应用多头自注意力模块还可在多个维度保留图像更多的特征细节，从而提高上述网络模型在少量正常样本数据训练下的特征提取精度。而通过将多张正常样本图像的判别特征向量进行多元高斯分布计算，则可得到分布合理的正常样本低秩特征矩阵，以便通过马氏距离判断产品图像特征向量的每个向量元素偏离正常样本低秩特征矩阵的程度，从而实现产品图像中缺陷区域的高效精准的识别。
[0034]
另外，本技术方案通过应用边缘特征提取网络模型可对图像中对象的边缘特征向量进行提取，以此可引导本技术方案重点关注产品表面结构性的缺陷，而有效解决金属零部件在拍摄图像时存在的反光问题，以及减少产品表面非缺陷的特殊颜色或样式引起的误判。
附图说明
[0035]
图1为本发明基于少量正常样本数据集训练的缺陷检测方法的步骤流程图；
[0036]
图2为本发明基于少量正常样本数据集训练的缺陷检测装置的模块示意图。
[0037]
附图中的符号说明：1缺陷检测装置；10图像采集模块；20图像处理模块；30模型预训练模块；31图像特征提取网络模型；32边缘特征提取网络模型；40图像特征提取模块；41预训练的图像特征提取网络模型；42预训练的边缘特征提取网络模型；43cosine position编码方式；44并列连接方式；45语义特征向量；46边缘特征向量；47位置向量；48多头自注意力模块；49判别特征向量；50正常样本特征分布创建模块；51正常样本低秩特征矩阵；60缺陷检测模块；61判别特征向量；70显示模块；71热度区域。
具体实施方式
[0038]
有关本发明的详细说明及技术内容，配合图式说明如下，然而所附图式仅提供参考与说明用，并非用来对本发明加以限制。
[0039]
目前，在3c产品和高端玩具等生产领域已开始呈现少批量多款式(high mix low volume)的生产特点，现有基于手工特征(hand crafted feature)的缺陷检测模型逐渐显示出通用性不足的问题，且基于手工特征的缺陷检测方法设计耗时长，而且无法快速迭代以适应生产线上少批量多款式的产品。为此，本发明提出一种基于少量正常样本数据集训练的缺陷检测方法及装置，其利用少量正常样本数据训练即可在短时间内训练出稳定、精确的ai模型，以对生产线上呈少批量多款式且具有复杂结构表面的产品进行快速、精确的缺陷检测，并能够克服产品表面反光、产品表面存在非缺陷的特殊颜色或样式等问题。
[0040]
具体而言，结合图1所示的本发明基于少量正常样本数据集训练的缺陷检测方法的步骤流程图，本发明的缺陷检测方法的步骤主要包括：
[0041]
制作正常样本数据集：获取多张包含有对象结构表面的高分辨率的正常样本图像，以形成正常样本数据集；
[0042]
构建特征提取模型：应用卷积神经网络技术分别构建一图像特征提取网络模型以及一边缘特征提取网络模型；
[0043]
特征提取模型预训练：对正常样本数据集中的多张正常样本图像进行图像尺寸标准化处理，将图像尺寸标准化处理后的正常样本图像分割为多个图像尺寸相等的小图像块，并将正常样本图像的多个小图像块组合成一具有尺寸的张量，通过将多张正常样本图像的具有尺寸的张量分别输入至图像特征提取网络模型及边缘特征提取网络模型进行特征提取、图像重建、重建前后比对及模型参数修正，以训练图像特征提取网络模型及边缘特征提取网络模型的特征提取能力；
[0044]
正常样本特征提取与拼接：将多张正常样本图像的具有尺寸的张量分别输入至预训练的图像特征提取网络模型及边缘特征提取网络模型，以分别提取该多张正常样本图像的多个小图像块的语义特征向量以及边缘特征向量，同时依据正常样本图像的每个小图像块在正常样本图像中的所属位置，使用cosine position编码方式对每个小图像块赋予对应的位置向量，并且使用并列连接方式分别将每张正常样本图像的多个小图像块的语义特征向量、边缘特征向量及位置向量在同一维度上进行拼接，以获得一具有另一尺寸的张量；
[0045]
创建正常样本特征分布：应用多头自注意力模块分别对多张正常样本图像的具有另一尺寸的张量进行特征融合，以得到该多张正常样本图像的判别特征向量，之后对该多张正常样本图像的判别特征向量进行多元高斯分布计算，以得到正常样本低秩特征矩阵；
[0046]
产品图像特征获取：获取包含有对象结构表面的高分辨率的产品图像，对产品图像进行图像尺寸标准化处理后，将其分割为多个图像尺寸相等的小图像块，并将产品图像的多个小图像块组合成一具有尺寸的张量，将产品图像的具有尺寸的张量分别输入至预训练的图像特征提取网络模型及边缘特征提取网络模型，以分别提取产品图像的多个小图像块的语义特征向量以及边缘特征向量，同时依据产品图像的每个小图像块在产品图像中的所属位置，使用cosine position编码方式对产品图像的每个小图像块赋予对应的位置向量，并且使用并列连接方式将产品图像的多个小图像块的语义特征向量、边缘特征向量及位置向量在同一维度上进行拼接，以获得一具有另一尺寸的张量，之后应用多头自注意力
模块对产品图像的具有另一尺寸的张量进行特征融合，以得到产品图像的特征向量；
[0047]
产品图像缺陷检测：计算正常样本低秩特征矩阵与产品图像的特征向量的每个向量元素间的马氏距离，以得到产品图像的异常分布热度图；
[0048]
缺陷显示：将异常分布热度图的热度区域进行提取，以覆盖于产品图像的相应区域进行显示。
[0049]
本缺陷检测方法是由装设于生产线中的工业相机从同一固定位置及角度对生产线中的产品进行拍摄以获取产品的正常样本图像及产品图像，且工业相机拍摄图像的分辨率是大于20megapixels。在制作正常样本数据集的步骤中，仅需获取100至200张正常样本图像，即可制作该正常样本数据集。而在特征提取模型预训练步骤中，仅需应用该正常样本数据集中的100至200张正常样本图像对该图像特征提取网络模型及该边缘特征提取网络模型训练1至2小时，即可完成对上述网络模型的预训练。
[0050]
本发明中，该图像特征提取网络模型及边缘特征提取网络模型是基于卷积神经网络而分别构建的，卷积神经网络可以提取图像的特征，该特征可包括颜色、形状、线条等，通过在训练过程中给予卷积神经网络不同的权重，即可分别构建专注于图像颜色、形状或线条等特征的不同的特征提取模型。于本发明中，产品边缘特征的提取对于整个产品的缺陷检测识别是非常重要的，将产品边缘特征与产品语义特征结合应用，即可克服产品表面反光、产品表面存在非缺陷的特殊颜色或样式等问题对缺陷检测造成的不利影响。
[0051]
进一步而言，本缺陷检测方法中图像尺寸标准化处理具体为：如果图像的长及/或宽小于预设尺寸，则在图像的边缘填充黑色像素，以使填充黑色像素后的图像的长及/或宽等于预设尺寸。而在该特征提取模型预训练步骤及产品图像特征获取步骤中，是将正常样本图像及产品图像均分割为16个图像尺寸相等的小图像块，当然本发明对于分割小图像块的数量并不做严格限定，在实际操作中，可根据图像的大小及分辨率高低而将正常样本图像及产品图像分割为9个、25个等数量的小图像块。
[0052]
更进一步而言，本缺陷检测方法的创建正常样本特征分布步骤中，对多张正常样本图像的判别特征向量进行多元高斯分布计算，以得到正常样本低秩特征矩阵的具体方法为：
[0053]
计算多张正常样本图像的判别特征向量的平均值μ，n为正常样本图像的数量，vi为第i张正常样本图像的判别特征向量；
[0054]
计算正常样本每个向量元素的多元高斯分布，以得到正常样本低秩特征矩阵(σ，μ)，σ为协方差矩阵。
[0055]
更进一步而言，本缺陷检测方法的产品图像缺陷检测步骤中，计算正常样本低秩特征矩阵与产品图像的特征向量的每个向量元素间的马氏距离d的具体方法为：x为产品图像的特征向量。
[0056]
另外，如图2所示，本发明还提供了一种基于少量正常样本数据集训练的缺陷检测装置1，该缺陷检测装置1包括：
[0057]
图像采集模块10，用于采集包含有对象结构表面的高分辨率的产品图像，以制作正常样本数据集或进行缺陷检测；
[0058]
图像处理模块20，用于将产品图像进行图像尺寸标准化处理，并将图像尺寸标准化处理后的产品图像分割为多个图像尺寸相等的小图像块，将产品图像的多个小图像块组合成具有尺寸的张量；
[0059]
模型预训练模块30，用于将正常样本数据集中经图像处理模块20处理后的正常样本图像的具有尺寸的张量分别输入至一图像特征提取网络模型31以及一边缘特征提取网络模型32，以训练图像特征提取网络模型31及边缘特征提取网络模型32的特征提取能力；
[0060]
图像特征提取模块40，用于将经过图像处理模块20处理后的产品图像的具有尺寸的张量分别输入至预训练的图像特征提取网络模型41及预训练的边缘特征提取网络模型42，以分别提取产品图像的语义特征向量45以及边缘特征向量46，同时使用cosine position编码方式43对产品图像赋予位置向量47，并且使用并列连接方式44将产品图像的语义特征向量45、边缘特征向量46及位置向量47在同一维度上进行拼接，以获得具有另一尺寸的张量，之后应用多头自注意力模块48对产品图像的具有另一尺寸的张量进行特征融合，以得到产品图像的判别特征向量49；
[0061]
正常样本特征分布创建模块50，用于将经过图像处理模块20以及图像特征提取模块40处理后的正常样本数据集中的多张正常样本图像的判别特征向量49进行多元高斯分布计算，以得到正常样本低秩特征矩阵51；
[0062]
缺陷检测模块60，用于计算正常样本低秩特征矩阵51与一产品图像的判别特征向量61的每个向量元素间的马氏距离，以得到产品图像的异常分布热度图；
[0063]
显示模块70，用于将异常分布热度图的热度区域71进行提取，以覆盖于产品图像的相应区域进行显示。
[0064]
进一步而言，本缺陷检测装置1中的该图像采集模块10为图像分辨率大于20megapix els的工业相机。
[0065]
本缺陷检测装置1中的该正常样本特征分布创建模块50是通过先计算多张正常样本图像的判别特征向量的平均值μ，n为正常样本图像的数量，vi为第i张正常样本图像的判别特征向量；再计算正常样本每个向量元素的多元高斯分布，以得到正常样本低秩特征矩阵(σ，μ)，σ为协方差矩阵。
[0066]
本缺陷检测装置1中的该缺陷检测模块60是通过正常样本低秩特征矩阵(σ，μ)与产品图像的特征向量x计算每个向量元素间的马氏距离d，
[0067]
综上所述，本发明的缺陷检测方法及缺陷检测装置是应用卷积神经网络的隐藏层
输出的特征，而不是应用卷积神经网络的输出结果，且仅通过少量(100张至200张)正常样本图像即可训练基于卷积神经网络技术的图像特征提取网络模型及边缘特征提取网络模型的特征提取能力。并且本发明使用高分辨率的图像(包括正常样本图像及产品图像)，且不进行降采样压缩其大小而保持图像原始的分辨率，以此可确保图像上的细微缺陷(最小3mm以下)能够被准确检测到。但由于使用高分辨率的图像势必会增加上述网络模型特征提取的难度并降低特征提取的效率，因此，本发明是先将高分辨率的图像分割为多个小图像块，再应用预训练的上述网络模型进行相应的特征提取，之后再将多个图像块的语义特征向量、边缘特征向量及位置向量在同一维度上进行拼接，即可得到完整图像的相应特征向量，据此不仅可极大的降低上述网络模型特征提取的信息量，以确保较高的运行效率，从而维持较快的指令周期，而且可充分保留图像上的细微特征，从而确保缺陷识别的准确率。而通过应用多头自注意力模块还可在多个维度保留图像更多的特征细节，从而提高上述网络模型在少量正常样本数据训练下的特征提取精度。而通过将多张正常样本图像的判别特征向量进行多元高斯分布计算，则可得到分布合理的正常样本低秩特征矩阵，以便通过马氏距离判断产品图像特征向量的每个向量元素偏离正常样本低秩特征矩阵的程度，从而实现产品图像中缺陷区域的高效精准的识别。
[0068]
另外，本发明通过应用边缘特征提取网络模型可对图像中对象的边缘特征向量进行提取，以此可引导本发明重点关注产品表面结构性的缺陷，而有效解决金属零部件在拍摄图像时存在的反光问题，以及减少产品表面非缺陷的特殊颜色或样式引起的误判。
[0069]
本发明能够在多个不同的生产领域得到应用，包括小型3c产品、玩具制造、金属零部件加工，甚至是布料生产领域。
[0070]
以上仅为本发明的较佳实施例，并非用以限定本发明的专利范围，其他运用本发明的专利构思所做的等效变化，均应属于本发明的专利保护范围。

技术特征：
1.一种基于少量正常样本数据集训练的缺陷检测方法，其特征在于，步骤包括：制作正常样本数据集：获取多张包含有对象结构表面的高分辨率的正常样本图像，以形成正常样本数据集；构建特征提取模型：应用卷积神经网络技术分别构建一图像特征提取网络模型以及一边缘特征提取网络模型；特征提取模型预训练：对所述正常样本数据集中的多张正常样本图像进行图像尺寸标准化处理，将图像尺寸标准化处理后的所述正常样本图像分割为多个图像尺寸相等的小图像块，并将所述正常样本图像的多个所述小图像块组合成一具有尺寸的张量，通过将多张所述正常样本图像的所述具有尺寸的张量分别输入至所述图像特征提取网络模型及所述边缘特征提取网络模型进行特征提取、图像重建、重建前后比对及模型参数修正，以训练所述图像特征提取网络模型及所述边缘特征提取网络模型的特征提取能力；正常样本特征提取与拼接：将多张所述正常样本图像的所述具有尺寸的张量分别输入至预训练的所述图像特征提取网络模型及所述边缘特征提取网络模型，以分别提取多张所述正常样本图像的多个所述小图像块的语义特征向量以及边缘特征向量，同时依据所述正常样本图像的每个所述小图像块在正常样本图像中的所属位置，使用cosine position编码方式对每个所述小图像块赋予对应的位置向量，并且使用并列连接方式分别将每张所述正常样本图像的多个所述小图像块的语义特征向量、边缘特征向量及位置向量在同一维度上进行拼接，以获得一具有另一尺寸的张量；创建正常样本特征分布：应用多头自注意力模块分别对多张所述正常样本图像的所述具有另一尺寸的张量进行特征融合，以得到多张所述正常样本图像的判别特征向量，之后对多张所述正常样本图像的判别特征向量进行多元高斯分布计算，以得到正常样本低秩特征矩阵；产品图像特征获取：获取包含有对象结构表面的高分辨率的产品图像，对所述产品图像进行图像尺寸标准化处理后，将其分割为多个图像尺寸相等的小图像块，并将所述产品图像的多个所述小图像块组合成一具有尺寸的张量，将所述产品图像的所述具有尺寸的张量分别输入至预训练的所述图像特征提取网络模型及所述边缘特征提取网络模型，以分别提取所述产品图像的多个所述小图像块的语义特征向量以及边缘特征向量，同时依据所述产品图像的每个所述小图像块在产品图像中的所属位置，使用cosine position编码方式对所述产品图像的每个所述小图像块赋予对应的位置向量，并且使用并列连接方式将所述产品图像的多个所述小图像块的语义特征向量、边缘特征向量及位置向量在同一维度上进行拼接，以获得一具有另一尺寸的张量，之后应用多头自注意力模块对所述产品图像的所述具有另一尺寸的张量进行特征融合，以得到所述产品图像的特征向量；产品图像缺陷检测：计算所述正常样本低秩特征矩阵与所述产品图像的特征向量的每个向量元素间的马氏距离，以得到所述产品图像的异常分布热度图；缺陷显示：将所述异常分布热度图的热度区域进行提取，以覆盖于所述产品图像的相应区域进行显示。2.根据权利要求1所述的缺陷检测方法，其特征在于，所述图像尺寸标准化处理为如果图像的长及/或宽小于预设尺寸，则在所述图像的边缘填充黑色像素，以使填充黑色像素后的所述图像的长及/或宽等于所述预设尺寸。
3.根据权利要求1所述的缺陷检测方法，其特征在于，所述特征提取模型预训练步骤及产品图像特征获取步骤中，是将所述正常样本图像及产品图像均分割为16个图像尺寸相等的小图像块。4.根据权利要求1所述的缺陷检测方法，其特征在于，所述正常样本图像及产品图像是由工业相机拍摄的分辨率大于20megapixels的图像。5.根据权利要求1所述的缺陷检测方法，其特征在于，所述创建正常样本特征分布步骤中，对多张所述正常样本图像的判别特征向量进行多元高斯分布计算，以得到所述正常样本低秩特征矩阵的具体方法为：计算多张所述正常样本图像的判别特征向量的平均值μ，n为正常样本图像的数量，v
i
为第i张正常样本图像的判别特征向量；计算正常样本每个向量元素的多元高斯分布，以得到所述正常样本低秩特征矩阵(σ，μ)，σ为协方差矩阵。6.根据权利要求5所述的缺陷检测方法，其特征在于，所述产品图像缺陷检测步骤中，计算所述正常样本低秩特征矩阵与所述产品图像的特征向量的每个向量元素间的马氏距离d的具体方法为：x为产品图像的特征向量。7.一种基于少量正常样本数据集训练的缺陷检测装置，其特征在于，包括：图像采集模块，用于采集包含有对象结构表面的高分辨率的产品图像，以制作正常样本数据集或进行缺陷检测；图像处理模块，用于将所述产品图像进行图像尺寸标准化处理，并将图像尺寸标准化处理后的所述产品图像分割为多个图像尺寸相等的小图像块，将所述产品图像的多个所述小图像块组合成具有尺寸的张量；模型预训练模块，用于将所述正常样本数据集中经所述图像处理模块处理后的正常样本图像的具有尺寸的张量分别输入至一图像特征提取网络模型以及一边缘特征提取网络模型，以训练所述图像特征提取网络模型及所述边缘特征提取网络模型的特征提取能力；图像特征提取模块，用于将经过所述图像处理模块处理后的所述产品图像的具有尺寸的张量分别输入至预训练的所述图像特征提取网络模型及所述边缘特征提取网络模型，以分别提取所述产品图像的语义特征向量以及边缘特征向量，同时使用cosine position编码方式对所述产品图像赋予位置向量，并且使用并列连接方式将所述产品图像的语义特征向量、边缘特征向量及位置向量在同一维度上进行拼接，以获得具有另一尺寸的张量，之后应用多头自注意力模块对所述产品图像的所述具有另一尺寸的张量进行特征融合，以得到所述产品图像的判别特征向量；正常样本特征分布创建模块，用于将经过所述图像处理模块以及图像特征提取模块处理后的所述正常样本数据集中的多张正常样本图像的判别特征向量进行多元高斯分布计
算，以得到正常样本低秩特征矩阵；缺陷检测模块，用于计算所述正常样本低秩特征矩阵与一产品图像的判别特征向量的每个向量元素间的马氏距离，以得到所述产品图像的异常分布热度图；显示模块，用于将所述异常分布热度图的热度区域进行提取，以覆盖于所述产品图像的相应区域进行显示。8.根据权利要求7所述的缺陷检测装置，其特征在于，所述图像采集模块为图像分辨率大于20megapixels的工业相机。9.根据权利要求7所述的缺陷检测装置，其特征在于，所述正常样本特征分布创建模块是通过先计算多张正常样本图像的判别特征向量的平均值μ，n为正常样本图像的数量，v
i
为第i张正常样本图像的判别特征向量；再计算正常样本每个向量元素的多元高斯分布，以得到所述正常样本低秩特征矩阵(σ，μ)，σ为协方差矩阵。10.根据权利要求9所述的缺陷检测装置，其特征在于，所述缺陷检测模块是通过所述正常样本低秩特征矩阵(σ，μ)与产品图像的特征向量x计算每个向量元素间的马氏距离d，

技术总结
一种基于少量正常样本数据集训练的缺陷检测方法及装置，其中缺陷检测方法步骤包括获取多张高分辨率正常样本图像以制作正常样本数据集；构建图像特征及边缘特征提取网络模型；将正常样本图像处理后输入上述网络模型以训练特征提取能力；应用预训练的上述网络模型对处理后的多张正常样本图像进行特征提取与拼接；应用多头自注意力模块对拼接结果进行特征融合并经多元高斯分布计算得到正常样本低秩特征矩阵；将一高分辨率产品图像处理后通过上述网络模型进行特征提取、拼接及特征融合后得到其特征向量；计算产品图像特征向量与正常样本低秩特征矩阵的马氏距离以得到异常分布热度图并显示。以此实现对具有复杂结构对象表面缺陷的快速检测和精准定位。面缺陷的快速检测和精准定位。面缺陷的快速检测和精准定位。


技术研发人员：李维晋 陆紫妍 罗恩妮 吕叶涛 葛明
受保护的技术使用者：香港工业人工智能及机械人研发中心有限公司
技术研发日：2022.12.27
技术公布日：2023/7/13