一种基于图像生成的提升缺陷检测模型检出能力的方法与流程

1.本发明涉及缺陷检测模型训练领域，更具体的，涉及一种基于图像生成的提升缺陷检测模型检出能力的方法。


背景技术：

2.在现有的产品缺陷检测过程中，由于模型训练过程中没有通过添加噪声和文字信息，造成模型训练后的输出结果误差较大，此外也会出现过杀或漏检的情况出现，模型精度较差。


技术实现要素：

3.为了解决上述至少一个技术问题，本发明提出了一种基于图像生成的提升缺陷检测模型检出能力的方法。
4.本发明第一方面提供了一种基于图像生成的提升缺陷检测模型检出能力的方法，包括：
5.s1,构建预训练模型：获取大量带像素级标注的工业数据，并对工业数据进行文字标注；通过对mask工业数据的标注，得到mask空白区域；将工业数据的文字标注使用ascii编码方式进行编码；往mask区域中添加噪声，并把添加噪音的图片和编码后的文字信息作为预训练模型训练过程的输入，
6.而原图作为预训练模型的输出，对预训练模型进行训练；
7.s2，使用yolov5模型作为缺陷检测模型，通过大量带像素级标注的工业数据训练yolov5模型；
8.s3，预训练微调：在训练yolov5模型的过程中，每经过若干次迭代，模型针对数据集进行测试，得到模型测试结果，若模型测试结果为图像过杀或漏检，则将过杀或漏检的图像输入进预训练模型，在缺陷区域打上mask并加上文字信息，再次训练生成预训练模型；
9.s4，在yolov5检测模型训练结束后，使用生成模型，在良品样本上大量生成缺陷样本，并加入yolov5检测模型的训练集用以训练。
10.本发明一个较佳实施例中，s1中构建预训练模型为u-net模型；u-net模型的结构包括四个下采样层与四个上采样层，四个下采样层作为编码器，四个上采样层作为解码器。
11.本发明一个较佳实施例中，s1中的文字标注包括塑胶件划痕、金属件脏污或玻璃件裂纹。
12.本发明一个较佳实施例中，将工业数据的文字标注使用ascii编码方式进行编码；往mask区域中添加噪声，并把添加噪音的图片和编码后的文字信息作为预训练模型训练过程的输入，而原图作为预训练模型的输出，对预训练模型进行训练，包括：
13.将加噪图片和编码文字输入u-net模型，输出在噪音区域生成缺陷的图片；将生成图像与原图进行误差计算，并更新u-net模型参数。
14.本发明一个较佳实施例中，所述输出噪音区域生成的缺陷图片，包括：
15.噪音区域为mask区域，误差使用损失函数计算；损失函数的计算公式如下：
[0016][0017]
其中yi是输出图片，为groundtruth。
[0018]
本发明一个较佳实施例中，所述模型测试结果包括过杀、漏检与正确检出。
[0019]
本发明的上述技术方案相比现有技术具有以下优点：
[0020]
通过对mask工业数据的标注，得到mask空白区域；将工业数据的文字标注使用ascii编码方式进行编码；往mask区域中添加噪声，并把添加噪音的图片和编码后的文字信息作为预训练模型训练过程的输入，而原图作为预训练模型的输出，对预训练模型进行训练，提高模型训练精度，并动态调整模型参数，使模型输出更加接近实际结果。
附图说明
[0021]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的一些附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]
图1是本发明实施例基于图像生成的提升缺陷检测模型检出能力的方法流程图。
具体实施方式
[0023]
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
[0024]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
[0025]
实施例一
[0026]
参见图1所示，本发明提出一种基于图像生成的提升缺陷检测模型检出能力的方法，包括：
[0027]
构建预训练模型：预训练模型为u-net模型；u-net模型的结构包括四个下采样层与四个上采样层，四个下采样层作为编码器，四个上采样层作为解码器，获取大量带像素级标注的工业数据，并对工业数据进行文字标注(工业数据的来源主要有：公开的工业数据集和收集的工业数据；文字标注主要是作为一种prompt，简单理解prompt就是一种指导，比如轻微的塑胶件划痕，让模型更细致的区分不同的缺陷)；mask工业数据的标注，得到mask空白区域；将数据的文字标注使用ascii编码方式进行编码；往mask区域中添加噪声，并把添加噪音的图片和编码后的文字信息作为预训练模型训练过程的输入，而原图作为预训练模型的输出，对预训练模型进行训练。
[0028]
使用yolov5模型作为缺陷检测模型，作为一种有监督学习网络，训练yolov5模型往往需要大量的带像素级标注的工业数据，比如完成玻璃表面缺陷检测项目时，我们需要收集大量玻璃的图片，但是现场往往很难收集到某些种类的缺陷，所以需要利用预训练模
型来生成一些不容易收集到的缺陷，对于模型来说，如果某一种缺陷特别少见，那么就容易造成过杀漏检现象，我们使用过杀漏检的图片微调预训练模型，生成更多该类别的缺陷。
[0029]
需要说明的是，训练图像设置如下：将像素级标注与原图像相乘，使得mask区域空白，并往空白区域添加高斯噪音；将数据的文字标注使用ascii编码方式进行编码；添加噪音的图片和编码后的文字信息作为预训练模型训练过程的输入；而原图作为预训练模型训练的ground-truth。
[0030]
需要说明的是，将加噪图片和编码文字输入u-net模型，输出在噪音区域生成缺陷的图片；将生成图像与原图进行误差计算，并更新u-net模型参数。
[0031]
所述输出噪音区域生成的缺陷图片，包括：
[0032]
噪音区域为mask区域，误差使用损失函数计算；损失函数的计算公式如下：
[0033][0034]
其中yi是输出图片，为groundtruth。
[0035]
获得预训练模型后，为了使其在某个特定项目上具有良好的生成能力，需要对预训练模型进行微调，预训练微调过程如下：在训练yolov5模型的过程中，每经过若干次迭代，模型会针对validation数据集进行测试，测评模型效果。将模型测试的结果分为：过杀、漏检和正确检出。然后将过杀和漏检的图像输入进预训练模型，在缺陷区域打上mask并加上文字信息(缺陷程度加上缺陷类别，如模糊的划痕)，用以再次训练生成预训练模型。
[0036]
在yolov5检测模型训练结束后，使用生成模型，在玻璃的良品样本上大量生成缺陷样本，并加入yolov5检测模型的训练集(更新训练集数据，使训练集数据更加的多样化)用以训练。
[0037]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0038]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对上述实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的上述实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
[0039]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种基于图像生成的提升缺陷检测模型检出能力的方法，其特征在于，包括：s1,构建预训练模型：获取大量带像素级标注的工业数据，并对工业数据进行文字标注；通过对mask工业数据的标注，得到mask空白区域；将工业数据的文字标注使用ascii编码方式进行编码；往mask区域中添加噪声，并把添加噪音的图片和编码后的文字信息作为预训练模型训练过程的输入，而原图作为预训练模型的输出，对预训练模型进行训练；s2，使用yolov5模型作为缺陷检测模型，通过大量带像素级标注的工业数据训练yolov5模型；s3，预训练微调：在训练yolov5模型的过程中，每经过若干次迭代，模型针对数据集进行测试，得到模型测试结果，若模型测试结果为图像过杀或漏检，则将过杀或漏检的图像输入进预训练模型，在缺陷区域打上mask并加上文字信息，再次训练生成预训练模型；s4，在yolov5检测模型训练结束后，使用生成模型，在良品样本上大量生成缺陷样本，并加入yolov5检测模型的训练集用以训练。2.根据权利要求1所述的基于图像生成的提升缺陷检测模型检出能力的方法，其特征在于，s1中构建预训练模型为u-net模型；u-net模型的结构包括四个下采样层与四个上采样层，四个下采样层作为编码器，四个上采样层作为解码器。3.根据权利要求1所述的基于图像生成的提升缺陷检测模型检出能力的方法，其特征在于,s1中的文字标注包括塑胶件划痕、金属件脏污或玻璃件裂纹。4.根据权利要求1所述的基于图像生成的提升缺陷检测模型检出能力的方法，其特征在于，将工业数据的文字标注使用ascii编码方式进行编码；往mask区域中添加噪声，并把添加噪音的图片和编码后的文字信息作为预训练模型训练过程的输入，而原图作为预训练模型的输出，对预训练模型进行训练，包括：将加噪图片和编码文字输入u-net模型，输出在噪音区域生成缺陷的图片；将生成图像与原图进行误差计算，并更新u-net模型参数。5.根据权利要求4所述的基于图像生成的提升缺陷检测模型检出能力的方法，其特征在于，所述输出噪音区域生成的缺陷图片，包括：噪音区域为mask区域，误差使用损失函数计算；损失函数的计算公式如下：其中y
i
是输出图片，为groundtruth。6.根据权利要求1所述的基于图像生成的提升缺陷检测模型检出能力的方法，其特征在于，所述模型测试结果包括过杀、漏检与正确检出。

技术总结
本发明公开的一种基于图像生成的提升缺陷检测模型检出能力的方法，包括获取大量带像素级标注的工业数据，并对工业数据进行文字标注；通过对mask工业数据的标注，得到mask空白区域；将工业数据的文字标注使用ASCII编码方式进行编码；往mask区域中添加噪声，并把添加噪音的图片和编码后的文字信息作为预训练模型训练过程的输入，而原图作为预训练模型的输出，对预训练模型进行训练，使用Yolov5模型作为缺陷检测模型，通过大量带像素级标注的工业数据训练Yolov5模型，训练结束后，使用生成模型，在良品样本上大量生成缺陷样本，并更新训练集用以训练，提高模型训练精度，并动态调整模型参数，使模型输出更加接近实际结果。使模型输出更加接近实际结果。使模型输出更加接近实际结果。


技术研发人员：肖继民 方正
受保护的技术使用者：苏州元瞰科技有限公司
技术研发日：2023.08.23
技术公布日：2023/10/15