基于AI深度学习技术的玻璃容器质量检测方法与流程

基于ai深度学习技术的玻璃容器质量检测方法
技术领域
1.本发明涉及图像识别和深度学习技术领域，特别涉及一种基于ai深度学习技术的玻璃容器质量检测方法。


背景技术：

2.随着玻璃容器生产工艺的不断发展，我国日用玻璃行业生产技术越发成熟，与国际先进技术的差距不断缩小。但是随着生产工艺的不断发展，现在客户对于玻璃容器的检测要求越来越高。
3.在玻璃容器行业，现有技术主要的检测手段是基于传统机器视觉的各种处理技术，包括blob分析、形态学处理、以及特征匹配等。在专利《cn201720728586.2一种玻璃容器制造颈部裂纹缺陷视觉检测系统》、《cn201510427763.9透明玻璃容器制造缺陷视觉检测系统及方法》以及《cn202020271276.4用于药用玻璃瓶在线视觉检测的旋转装置》中，都是采用传统机器视觉的处理技术来解决需要处理的问题。
4.随着玻璃容器形态和花纹的多样化，复杂化，越来越多的缺陷出现在花纹周围甚至是花纹里面。无法检测花纹周边的缺陷，正是传统算法的痛点以及难点。对于人类来说，目标检测是一个非常简单的任务。然而，计算机能够“看到”的是图像被编码之后的数字，传统算法很难理解图像中出现了人们定义的产品缺陷这样的高层语义概念，也就更加难以定位目标出现在图像中哪个区域。最终导致的就是检测效率低下，以及检测精度低的结果。


技术实现要素：

5.本发明提供一种基于ai深度学习技术的玻璃容器质量检测方法，所述基于ai深度学习技术的玻璃容器质量检测方法包括以下步骤：
6.步骤1，将具有缺陷标签的玻璃容器图像数据作为训练集输入深度学习模型进行训练；
7.步骤2，对训练集进行预处理和归一化；
8.步骤3，对训练集进行特征提取；
9.步骤4，通过特征和训练集生成损失函数，使深度学习模型收敛；
10.步骤5，将待检测玻璃容器图像数据输入训练后的深度学习模型；
11.步骤6，通过深度学习模型对待检测玻璃容器图像数据进行缺陷预测，生成回归框和缺陷类型；
12.步骤7，对回归框对应缺陷进行二次特征提取，进一步判断缺陷类型。
13.更近一步地，在步骤1中，所述缺陷标签包括瓶口常见缺陷：亮剪刀印、亮结石、暗剪刀印和暗结石；瓶底常见缺陷：结石、气泡污点和裂纹。
14.更近一步地，在步骤7中，所述检测方法还包括以下步骤：
15.步骤71，通过置信度对多个缺陷对应的回归框分别进行筛选，生成真实缺陷；
16.步骤72，对深度学习模型预测的多个缺陷对应的回归框分别进行分割；
17.步骤73，基于回归框进行缺陷动态聚类；
18.步骤74，通过缺陷滤波器对瓶底花纹区进行二次特征提取，确定缺陷类型和准确位置。
19.更近一步地，在步骤73中，还包括以下步骤：
20.步骤731，计算回归框进内每个像素的特征向量：
21.f(x,y)＝[i(x,y),g
sigma
i(x,y),g
sigma
i2(x,y)]
[0022]
其中，i(x,y)表示图像中像素(x,y)的灰度值，g
sigma
i和g
sigma
i2分别表示图像i和i2的高斯模糊结果，sigma表示高斯核的标准差；
[0023]
步骤732，对回归框进内所有像素的特征向量进行聚类，得到聚类中心集合：
[0024]
c＝{c1,c2,
…
,ck}
[0025]
其中，ck为聚类中心，k是聚类中心的个数；
[0026]
步骤733，对回归框进内所有像素(x,y)，计算该像素与聚类中心的相似度：
[0027]
sk(x,y)＝f(x,y)
·ck
[0028]
其中，f(x,y)
·ck
表示特征向量f(x,y)与聚类中心ck的点积；
[0029]
步骤734，计算每个聚类中心ck的阈值：
[0030]
tk＝max{f(x,y)
·ck
}
[0031]
步骤735，并将像素(x,y)的阈值设为最接近它的聚类中心的阈值；
[0032]
步骤736，通过阈值提取回归框中有效缺陷。
[0033]
更近一步地，在步骤74中，还包括以下步骤：
[0034]
步骤741，构造特征集合：
[0035]
f＝{area,width,height,anisometry,
…
m}
[0036]
area表示聚类区域面积，width表示聚类区域长度，height表示聚类区域宽度，anisometry表示长半轴与短半轴的比，m表示构造特征集合项目数；
[0037]
步骤742：构造特征权值向量：
[0038]
l＝{a,b,c,d,...,m
′
}
[0039]
其中，a,b,c,d,...,m
′
分别表示构造特征集合f中对应构造特征的权值；
[0040]
步骤743：特征集合与特征权值的卷积操作输出样本特征值
[0041][0042]
其中，i∈(1，m)表示构造特征集合中第i项。
[0043]
步骤744，将计算的样本特征值与预设的特征条件进行比较，符合预设的特征条件则判断为存在缺陷，否则不视为缺陷。
[0044]
本发明达到的有益效果是：
[0045]
本发明通过加强对玻璃容器复杂背景区域的训练，可以解决传统算法无法检测的缺陷。
[0046]
本发明通过对ai网络模型浅层纹理信息进行监督训练，增强网络对图像纹理信息的特征提取能力，构建检测网路，提高图像抗复杂背景干扰能力，模型鲁棒性强。
附图说明
[0047]
图1为基于ai深度学习技术的玻璃容器质量检测方法的流程图。
[0048]
图2为基于ai深度学习技术的玻璃容器质量检测方法中图像神经网络简要结构示意图。
[0049]
图3为基于ai深度学习技术的玻璃容器质量检测方法中深度学习卷积层示意图。
[0050]
图4为基于ai深度学习技术的玻璃容器质量检测方法中特征融合操作示意图。
[0051]
图5为基于ai深度学习技术的玻璃容器质量检测方法中维度扩张模块示意图。
[0052]
图6为基于ai深度学习技术的玻璃容器质量检测方法中瓶底花纹区域裂纹检测示意图。
[0053]
图7为基于ai深度学习技术的玻璃容器质量检测方法中瓶底防滑块复杂背景气泡检测示意图。
[0054]
图8为基于ai深度学习技术的玻璃容器质量检测方法中瓶口内环区域崩口示意图。
[0055]
图9为基于ai深度学习技术的玻璃容器质量检测方法中瓶底定位以及读模示意图；
[0056]
图10为基于ai深度学习技术的玻璃容器质量检测方法在应用中检测容器缺陷的操作界面示意图；
[0057]
图11为基于ai深度学习技术的玻璃容器质量检测方法在应用中检测容器缺陷的操作界面示意图；
[0058]
图12为基于ai深度学习技术的玻璃容器质量检测方法在应用中检测容器缺陷后人工复检的操作界面示意图。
具体实施方式
[0059]
下面结合附图对本发明的技术方案进行更详细的说明，本发明包括但不仅限于下述实施例。
[0060]
如附图1所示，本发明提供基于ai深度学习技术的玻璃容器质量检测方法，包括以下步骤：
[0061]
步骤1，将具有缺陷标签的玻璃容器图像数据作为训练集输入深度学习模型进行训练；
[0062]
在图像输入如附图2中的神经网络进行训练之前，需对数据进行收集和清洗，确定类别集合。同时确保图像内容清晰完整，各个类别数据量大致相同。
[0063]
瓶口常见缺陷类别为亮剪刀印、亮结石、暗剪刀印和暗结石，瓶底常见缺陷类别为结石、气泡污点和裂纹；同时还可以针对其他可能产生的缺陷进行自定义检测。
[0064]
具体的，瓶口常见缺陷还包括有麻点、双口、破口、口不足、口面气泡、堵颈等；瓶身常见缺陷还包括气泡、结石、油污、垂直轴偏差、瓶内搭丝、死料、淬纹、飞机翅膀、模缝线粗等；瓶底常见缺陷还包括瓶底油污、闷头印偏、漏底等。
[0065]
步骤2，对训练集进行预处理和归一化；
[0066]
数据预处理过程属于神经网络的图像输入端，其主要作用在于对图像使用特定的方法进行预处理和归一化，使得图像特征更明显，加快神经网络模型的收敛。常用的数据预
处理方式有图像滤波、图像边缘检测等。
[0067]
步骤3，对训练集进行特征提取；
[0068]
特征提取部分较常用的是卷积神经网络模型如附图4。
[0069]
输入层是整个神经网络的输入，通过各个神经元的链接和作用，层层提取输入图像特征信息，并将得到的特征信息加以分析和抽象，得到更高维度、更抽象的图像特征。
[0070]
如附图5所示，在神经网络中特征在提取过程中，将特征的进行维度扩张，然后将扩张的维度特征进行concat处理，保证能够得到识别特征的高维信息。
[0071]
步骤4，通过特征和训练集生成损失函数，使深度学习模型收敛；
[0072]
损失函数是用来表现模型预测结果与实际数据的差距程度的运算函数，损失函数越小，模型的鲁棒性就越好。
[0073]
在模型训练过程中，损失函数会实时评判模型训练的情况，损失函数的值反映了模型当前在训练集上的表现情况。得到损失值之后，模型通过反向传播去更新各个参数，来降低真实值与预测值之间的损失，使得模型生成的预测值往真实值方向靠拢，从而达到学习的目的。
[0074]
步骤5，将待检测玻璃容器图像数据输入训练后的深度学习模型；
[0075]
将待检测玻璃容器图像作为测试集输入通过训练收敛过的深度学习模型，
[0076]
步骤6，通过深度学习模型对待检测玻璃容器图像数据进行缺陷预测，生成回归框和缺陷类型；
[0077]
缺陷预测任务即让计算机在特定的类别集合中找出目标图像所属类别。由于在学习的过程中，收集缺陷的时候以及标注的时候，会采用数据增强的手段，包括平移旋转裁切等等，训练的时候还采用mosaic的方式，将数据增广。因此，算法不必关心缺陷在图像中的位置，只需关心图中是否存在特定集合中标注的缺陷类型即可。
[0078]
例如图3所示，输入的图像为3*608*608大小的图片。
[0079]
当算法模型接收到图像数据后，会给出当前输入图像对应四个类别的概率值。这四个类别分别对应训练时候标注的分类类别。比如瓶底一般比标注的是结石，裂纹，气泡，污点。如输入一张有污点的瓶底图像，预测这四类缺陷得到的概率值p可能为：
[0080]
p＝{0.1，0.1，0.8，0.9}
[0081]
因此，在实际缺陷检测中，图像分类算法常用于缺陷目标较大，各个缺陷特征较为明显的情况。如附图7、8、9中为在实际应用的典型的检测任务示意图。
[0082]
步骤7，对回归框对应缺陷进行二次特征提取，进一步判断缺陷类型；
[0083]
在ai缺陷预测以及回归框预测之后，本方法又增加了一个缺陷筛选模块层。在该层的加持下，整个流程在玻璃容器的现场应用非常的流畅。该方法充分利用深度学习预测的回归框进行了小样本特征的双重提取。具体步骤如图6。
[0084]
步骤71：目标检测定位框的分割。
[0085]
{checkbox1...checkboxn}
[0086]
回归框与检测框的筛选。
[0087]
假设有n个回归框，分别对应的置信度为c_{1},c_{2},...,c_{n}，而检测框的置信度要求为c_{d}，则可以用如下的公式表达：
[0088]
max(c1,c2,...,cn)》c_{d}
[0089]
其中max(c_{1},c_{2},...,c_{n})表示n个置信度中的最大值。如果最大值大于检测框的置信度要求c_{d}，则表示多个回归框的置信度大于设定的置信度，大于设定的置信度，表明该回归框中的目标是缺陷，筛选多个回归框是会回归框的内容当作下层的输入进行继续的识别。
[0090]
步骤72：基于回归框的双重特征提取。
[0091]
该方法首先利用回归框与原始图像进行裁剪，得到一个新的子图像，也称为reduceimage。然后，在reduceimage上进行第二轮的特征提取，以获取更加丰富和精细的特征信息。这种方法能够充分利用目标区域的特征信息，从而提高模型的性能和鲁棒性。
[0092]
设回归框在图像中的坐标为(x_{1},y_{1})和(x_{2},y_{2})，其中(x_{1},y_{1})表示回归框的左上角坐标，(x_{2},y_{2})表示回归框的右下角坐标。则可以用以下的公式来表示在图像上提取出回归框对应的部分：
[0093]
imagecropped＝image(y1:y2,x1:x2)
[0094]
其中image表示原始的图像，imagecropped表示在回归框上抠出的部分图像。冒号“:”表示切片操作，y1:y2表示选取图像在垂直方向上坐标从y1到y2的部分，x1:x2表示选取图像在水平方向上坐标从x1到x2的部分。
[0095]
步骤73：动态聚类小样本分割
[0096]
步骤731，计算回归框内每个像素的特征向量：
[0097]
f(x,y)＝[i(x,y),g
sigma
i(x,y),g
sigma
i2(x,y)]
[0098]
其中，i(x,y)表示图像中像素(x,y)的灰度值，g
sigma
i和g
sigma
i2分别表示图像i和i2的高斯模糊结果，sigma表示高斯核的标准差。
[0099]
步骤732，对回归框进内所有像素的特征向量进行聚类，得到聚类中心集合：
[0100]
c＝{c1,c2,
…
,ck}
[0101]
其中，k是聚类中心的个数。
[0102]
步骤733：对回归框进内所有像素(x,y)，计算该像素与聚类中心的相似度：
[0103]
sk(x,y)＝f(x,y)
·ck
[0104]
步骤734：计算每个聚类中心ck的阈值：
[0105]
tk＝max{f(x,y)
·ck
}
[0106]
f(x,y)
·ck
表示特征向量f(x,y)与聚类中心ck的点积。
[0107]
步骤735，将像素(x,y)的阈值设为最接近它的聚类中心的阈值：
[0108]
t(x,y)＝t{hat{k}}
[0109]
其中hat{k}＝arg(max{sk(x,y)})。
[0110]
步骤736，通过阈值提取回归框中有效缺陷；
[0111]
通过阈值将回归框图片中背景部分去除，保留前景，提取出有效缺陷的图案。
[0112]
在这个方法中，聚类中心集合c的个数是事先设定的。在实际应用中，通过交叉验证的方法来确定聚类中心的个数，以得到最佳的分割效果。该方法充分利用了图像中像素的局部统计信息，从而提高了分割的准确性和鲁棒性。同时，由于该方法仅使用少量的样本进行训练，因此可以有效地处理玻璃容器中缺陷小样本问题。
[0113]
步骤74，通过缺陷滤波器对瓶底花纹区进行二次特征提取，确定缺陷类型和准确位置；
[0114]
步骤741，构造特征集合：
[0115]
f＝{area,width,height,anisometry,
…
m}
[0116]
area表示聚类区域面积，width表示聚类区域长度，height表示聚类区域宽度，anisometry表示长半轴与短半轴的比，m表示构造特征集合项目数；
[0117]
步骤742，构造特征权值向量：
[0118]
l＝{a,b,c,d,...,m
′
}
[0119]
其中，a,b,c,d,...,m
′
分别表示构造特征集合f中对应构造特征的权值，该权值通过回归框中有效缺陷的特征通过机器学习和迭代确定。
[0120]
步骤743，特征集合与特征权值的卷积操作输出样本特征值
[0121][0122]
其中，i∈(1，m)表示构造特征集合中第i项。
[0123]
步骤744，将计算的样本特征值与预设的特征条件进行比较，符合预设的特征条件则判断为存在缺陷，否则不视为缺陷。
[0124]
通过上述的步骤操作，在玻璃容器上目前的使用既满足现场复杂背景以及复杂工况的应用，又能满足客户对于快速换产，精确踢废的要求，大大提高了客户的生产效率以及成本控制。
[0125]
目前，采用现有深度学习神经网络对玻璃容器底部的花纹区进行检测，缺陷漏检的概率高达90％以上；而通过本技术提出的方法，可以将花纹区缺陷的漏检率降低到10％。并且，该数据还是在保证不提高误解率的情况下测试出的。
[0126]
具体的，根据在使用现场对本发明精确度以及检测情况进行统计，主要统计11天内的检测结果。统计结果和精确度分析如下表所示：
[0127]
[0128][0129]
表中可以明显分析出，本发明的可靠性较高。每天检测次数不一样，少则几千次多则上万次，检测缺陷也会不断变化，但是每天检测精确度均能控制在百分之99以上，另外，误检个数可以控制在个位数，总体而言大概万分之一左右。
[0130]
下表为重点类别统计，统计了四个重点类型，结石，污点，裂纹，气泡缺陷的个数和占比。
[0131]
天数检出缺陷结石污点裂纹气泡第1天410293130104第2天737455946198第3天10455483436269第4天168772121751425第5天2381941761137539第6天25231001831211569第7天227162110849第8天10683498611152第9天6831351391100第10天4871327227121第11天351199118117
[0132]
可以看出，裂纹，气泡等占比较高，这和模制瓶的生产工艺吻合，较为多次出现的缺陷更容易被神经网络捕捉到，另外(参考饼状图，图10，图11)，小污点，闭合气泡等不易出现的缺陷也能够正确检出并且精确度符合要求。所有数据的统计均通过人工比对，通过如图12的界面进行人工校验。
[0133]
本发明不仅局限于上述具体实施方式，本领域一般技术人员根据实施例和附图公开内容，可以采用其它多种具体实施方式实施本发明，因此，凡是采用本发明的设计结构和思路，做一些简单的变换或更改的设计，都落入本发明保护的范围。

技术特征：
1.一种基于ai深度学习技术的玻璃容器质量检测方法，其特征在于，所述基于ai深度学习技术的玻璃容器质量检测方法包括以下步骤：步骤1，将具有缺陷标签的玻璃容器图像数据作为训练集输入深度学习模型进行训练；步骤2，对训练集进行预处理和归一化；步骤3，对训练集进行特征提取；步骤4，通过特征和训练集生成损失函数，使深度学习模型收敛；步骤5，将待检测玻璃容器图像数据输入训练后的深度学习模型；步骤6，通过深度学习模型对待检测玻璃容器图像数据进行缺陷预测，生成回归框和缺陷类型；步骤7，对回归框对应缺陷进行二次特征提取，进一步判断缺陷类型。2.根据权利要求1所述基于ai深度学习技术的玻璃容器质量检测方法，其特征在于，在步骤1中，所述缺陷标签包括瓶口常见缺陷：亮剪刀印、亮结石、暗剪刀印和暗结石；瓶底常见缺陷：结石、气泡污点和裂纹。3.根据权利要求1所述基于ai深度学习技术的玻璃容器质量检测方法，其特征在于，在步骤7中，所述检测方法还包括以下步骤：步骤71，通过置信度对多个缺陷对应的回归框分别进行筛选，生成真实缺陷；步骤72，对深度学习模型预测的多个缺陷对应的回归框分别进行分割；步骤73，基于回归框进行缺陷动态聚类；步骤74，通过缺陷滤波器对瓶底花纹区进行二次特征提取，确定缺陷类型和准确位置。4.根据权利要求3所述基于ai深度学习技术的玻璃容器质量检测方法，其特征在于，在步骤73中，还包括以下步骤：步骤731，计算回归框进内每个像素的特征向量：f(x,y)＝[i(x,y),g
sigma
i(x,y),g
sigma
i2(x,y)]其中，i(x,y)表示图像中像素(x,y)的灰度值，g
sigma
i和g
sihma
i2分别表示图像i和i2的高斯模糊结果，sigma表示高斯核的标准差；步骤732，对回归框进内所有像素的特征向量进行聚类，得到聚类中心集合：c＝{c1,c2,
…
,c
k
}其中，c
k
为聚类中心，k是聚类中心的个数；步骤733，对回归框进内所有像素(x,y)，计算该像素与聚类中心的相似度：s
k
(x,y)＝f(x,y)
·
c
k
其中，f(x,y)
·
c
k
表示特征向量f(x,y)与聚类中心c
k
的点积；步骤734，计算每个聚类中心c
k
的阈值：t
k
＝max{f(x,y)
·
c
k
}步骤735，并将像素(x,y)的阈值设为最接近它的聚类中心的阈值；步骤736，通过阈值提取回归框中有效缺陷。5.根据权利要求3所述基于ai深度学习技术的玻璃容器质量检测方法，其特征在于，在步骤74中，还包括以下步骤：步骤741，构造特征集合：f＝{area,width,height,anisometry,
…
m}
area表示聚类区域面积，width表示聚类区域长度，height表示聚类区域宽度，anisometry表示长半轴与短半轴的比，m表示构造特征集合项目数；步骤742：构造特征权值向量：l＝{a,b,c,d,...,m
′
}其中，a,b,c,d,...,m
′
分别表示构造特征集合f中对应构造特征的权值；步骤743：特征集合与特征权值的卷积操作输出样本特征值其中，i∈(1，m)表示构造特征集合中第i项。步骤744，将计算的样本特征值与预设的特征条件进行比较，符合预设的特征条件则判断为存在缺陷，否则不视为缺陷。

技术总结
本发明涉及图像识别和深度学习技术领域，提供了一种基于AI深度学习技术的玻璃容器质量检测方法，包括步骤1，将具有缺陷标签的玻璃容器图像数据作为训练集输入深度学习模型进行训练；步骤2，对训练集进行预处理和归一化；步骤3，对训练集进行特征提取；步骤4，通过特征和训练集生成损失函数，使深度学习模型收敛；步骤5，将待检测玻璃容器图像数据输入训练后的深度学习模型；步骤6，通过深度学习模型对待检测玻璃容器图像数据进行缺陷预测，生成回归框和缺陷类型；步骤7，对回归框对应缺陷进行二次特征提取，进一步判断缺陷类型。本发明通过对玻璃容器复杂背景区域的训练，可以解决传统算法无法检测的缺陷。算法无法检测的缺陷。算法无法检测的缺陷。


技术研发人员：郝福龙 郭蔚然 王铮 王亚鹏 申磊 赵慧阳
受保护的技术使用者：潍坊天恒检测科技有限公司
技术研发日：2023.05.19
技术公布日：2023/8/9