一种基于机器视觉的瓶装产品贴标质量检测方法

1.本发明涉及贴标质量检测技术领域，尤其是涉及一种检测瓶装产品贴标质量缺陷的方法。


背景技术：

2.产品贴标是将包含保质期、生产许可证号、产品使用方法等产品信息的标签贴在产品表面，消费者可以根据标签信息去选购、使用产品。如果产品标签存在破损等缺陷，不仅会影响到消费者的购买体验，甚至会导致消费者的非正确使用而引起安全问题。
3.随着技术的发展，传统的人工贴标已经被自动化贴标机所取代，采用自动化贴标更要求对贴标后的产品进行标签缺陷的检测。针对自动化贴标机的贴标缺陷，人工检测的速度明显不够，检测标准也会因为不同个体而产生差异；此外，人工长期工作会产生人眼视觉疲劳，导致漏检、误检率增加。因此，采用机器视觉的方法对产品贴标质量进行检测十分有必要。


技术实现要素：

4.本发明的目的是提供一种检测瓶装产品贴标质量缺陷的方法。
5.为解决上述问题提出一种检测瓶装产品贴标质量缺陷的方法，包括：
6.步骤(1)、采用蓝色环形光源照射瓶顶，调整相机位置并调节镜头焦距以实现相机对瓶身图像的清晰拍摄；
7.步骤(2)、利用多尺度表示实现对采集图像目标边缘的检测提取；
8.步骤(3)、根据瓶身目标边缘的最小外接矩形，裁剪标签roi目标图像；
9.步骤(4)、计算并比较roi目标图像和标准图像的灰度均值、灰度标准差、灰度直方图分布；
10.步骤(5)、对roi目标图像边缘进行霍夫直线检测，计算直线倾斜角度；
11.步骤(6)、当目标图像同时满足灰度均值、灰度标准差在阈值范围内，灰度直方图分布没有明显波动，roi目标图像的标签边缘线段倾斜角度≤2
°
时，判断该瓶装产品贴标质量合格。
12.进一步的，所述步骤(2)利用多尺度表示实现对采集图像目标边缘的检测提取的详细步骤包括：
13.a.利用多尺度表示目标图像边缘，通过深度学习模型，学习多尺度分级特征，实现包括细节边缘在内的边缘检测；
14.将待测图像作为vgg网络的输入，分别获取第1-5层五个不同尺度的卷积特征图，在卷积层之后插入输出层，并施加深度监督，输出每一尺度特征图的边缘预测结果，将五层输出结果融合，实现包括细节边缘在内的边缘检测；
15.边缘预测结果的融合输出y表示为：
16.17.其中，hm表示每一层预测值的输出权重，a
(m)
表示第m层的输出预测值；
18.b.根据检测到的边缘信息提取目标轮廓。对检测到的边缘信息二值图进行两次形态学腐蚀膨胀操作，来实现目标区域的分割：
19.膨胀运算用来填补标签细小边缘中的中断，膨胀操作中，对于待操作像素f(x，y)，不论f(x，y-1)，f(x，y+1)，f(x-1，y)，f(x+1，y)哪一个像素值为255，则f(x，y)＝255，运算公式如下：
[0020][0021]
其中a为一个包含所有待操作像素的集合，b为结构元素，膨胀理解为b的中心沿着a的外边界走了一圈；
[0022]
腐蚀运算用来消除图像中一些小的边缘轮廓，使用腐蚀运算消除图像的背景部分，对于待操作像素f(x，y)，只有f(x，y-1)，f(x，y+1)，f(x-1，y)，f(x+1，y)每一个像素值都为255，则f(x，y)＝255，运算公式如下：
[0023][0024]
通过对步骤(2a)中检测出的边缘重复两次膨胀腐蚀操作后，分割出目标标签区域。
[0025]
进一步的，所述步骤(3)中，根据瓶身目标边缘的最小外接矩形，裁剪标签roi目标图像的详细步骤包括：
[0026]
a.获取目标轮廓的最小外接矩形；并返回矩形四个顶点的坐标，分别为(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)，依次代表左下角、左上角、右上角和右下角；
[0027]
b.根据最小外接矩形的四个顶点坐标，裁剪包含最小外接矩形的水平矩形作为标签roi目标图像，水平矩形的顶点坐标分别为(m1，n1)、(m2，n2)、(m3，n3)、(m4，n4)，依次代表左下角、左上角、右上角和右下角：
[0028]
m1＝m2＝min(x1，x2，x3，x4)，
[0029]
n1＝n4＝min(y1，y2，y3，y4)，
[0030]
m3＝m4＝max(x1，x2，x3，x4)，
[0031]
n2＝n3＝max(y1，y2，y3，y4)；
[0032]
以该水平矩形内部区域作为标签roi目标图像，包含所有标签边缘信息。
[0033]
进一步的，所述步骤(4)中，计算并比较roi目标图像和标准图像的灰度均值、灰度标准差、灰度直方图分布的详细步骤包括：
[0034]
a.采用中值滤波算法实现对标签roi目标图像和标准图像的降噪；
[0035]
设一维序列为f1，f2…fn
，假设中值滤波器为一个含有m个像素的窗口，m为奇数，处理过程中，将窗口正中的像素灰度值用窗口内各像素灰度值的中值来代替。对该一维序列进行中值滤波，就是从输入序列中相续抽出m个数，将这m个点的数值按大小排列，取序列最中间的数作为滤波输出，用v表示中值滤波器窗口的中心值，则图像中第i个像素的中值滤波yi可表示为：
[0036]
yi＝med{f
i-v
，...，fi，...，f
i+v
}，
[0037]
v＝(m-1)/2；
[0038]
b.随机选取d张标准图像(d≥10，避免阈值数据结果的偶然性)，分别计算这些图
像的灰度均值、灰度标准差，并以此确定判断漏标的阈值范围，观察灰度直方图分布并确定判断标签破损的灰度级频率阈值；
[0039]
c.计算标签roi目标图像的灰度均值、灰度标准差、绘制灰度分布直方图，并与标准阈值进行比较判断；
[0040]
d.当roi目标图像的灰度均值、灰度标准差不满足标准阈值时，判断该贴标质量不合格，缺陷类型为“漏标”，当roi目标图像的灰度分布直方图波动较大，超过标准灰度级频率阈值时，判断该贴标质量不合格，缺陷类型为“标签破损”。
[0041]
进一步的，所述步骤(5)中，对roi目标图像边缘进行霍夫直线检测，计算直线倾斜角度的详细步骤包括：
[0042]
a.对roi目标图像边缘进行霍夫直线检测；
[0043]
b.根据霍夫直线检测，获取roi目标图像标签边缘的最长线段端点坐标，计算标签边缘线段的倾斜角度；
[0044]
c.当roi目标图像的标签边缘线段倾斜角度≤2
°
时，判断该瓶装产品贴标质量合格，否则不合格，缺陷类型为“标签歪斜”。
[0045]
本发明的有益效果：
[0046]
本发明采用机器视觉的方法进行贴标缺陷检测，并结合深度学习模型用于标签边缘的提取，检测精确度更高，更具有鲁棒性，旨在实现对标签质量的高精度实时检测。
附图说明
[0047]
为了清楚地说明本发明的具体实施方式，对具体实施方式中所需使用的附图说明如下：
[0048]
图1为本发明实时贴标质量检测的流程图；
[0049]
图2为本发明的实施例的贴标质量合格样图；
[0050]
图3为本发明的实施例的贴标质量不合格样图。
具体实施方式
[0051]
下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述。本发明所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0052]
实施例
[0053]
本实施例提供一种瓶装产品标签质量缺陷检测方法，包括：
[0054]
步骤(1)采用蓝色环形光源照射瓶顶，调整相机位置并调节镜头焦距以实现相机对瓶身图像的清晰拍摄；
[0055]
步骤(2)利用多尺度表示实现对采集图像目标边缘的检测提取；
[0056]
步骤(3)根据瓶身最大边缘的最小外接矩形，裁剪标签roi目标图像；
[0057]
步骤(4)计算并比较roi目标图像和标准图像的灰度均值、灰度标准差、灰度直方图分布；
[0058]
步骤(5)对roi目标图像边缘进行霍夫直线检测，计算倾斜直线角度；
[0059]
步骤(6)当目标图像同时满足灰度均值、灰度标准差在阈值范围内，灰度直方图分布没有明显波动，roi目标图像的标签边缘线段倾斜角度≤2
°
时，判断该瓶装产品贴标质量合格。
[0060]
在本实施例中，采用深度学习模型用于标签边缘的提取，提取效果更好，并利用改进的传统标签缺陷检测算法，用于标签质量缺陷的分类，检测精确度更高，更具有鲁棒性，旨在实现对标签质量的高精度实时检测。
[0061]
图1示出了实施例的具体检测流程。
[0062]
具体的，在本实施例中，所述步骤(2)中利用多尺度表示实现对采集图像目标边缘的检测提取的步骤包括：
[0063]
a.将待测图像作为vgg网络的输入，分别获取第1-5层五个不同尺度的卷积特征图，在卷积层之后插入输出层，并施加深度监督，输出每一尺度特征图的边缘预测结果，将五层输出结果融合，实现包括细节边缘在内的边缘检测；
[0064]
边缘预测结果的融合输出y可以表示为：
[0065][0066]
其中，hm表示每一层预测值的输出权重，该参数可通过网络训练获得，a
(m)
表示第m层的输出预测值。对m层的输出预测值结果加和后，采用σ函数进行归一化获得多尺度预测融合后的边缘结果。
[0067]
b.对检测到的边缘信息二值图进行两次形态学腐蚀膨胀操作，来实现目标区域的分割：
[0068]
膨胀运算用来填补标签细小边缘中的中断，膨胀操作中，对于待操作像素f(x，y)，不论f(x，y-1)，f(x，y+1)，f(x-1，y)，f(x+1，y)哪一个像素值为255，则f(x，y)＝255，运算公式如下：
[0069][0070]
其中b为结构元素，膨胀可以理解为b的中心沿着a的外边界走了一圈；
[0071]
腐蚀运算用来消除图像中一些小的边缘轮廓，使用腐蚀运算消除图像的背景部分，也可以产生滤波器的效果，对于待操作像素f(x，y)，只有f(x，y-1)，f(x，y+1)，f(x-1，y)，f(x+1，y)每一个像素值都为255，则f(x，y)＝255，运算公式如下：
[0072][0073]
其中a为一个包含所有待操作像素的集合(本专利中指标签边缘图像)，b为结构元素，腐蚀可以理解为b的中心沿着a的内边界走了一圈；
[0074]
通过对步骤(2a)中检测出的边缘重复两次膨胀腐蚀操作后，分割出目标标签区域。
[0075]
所述步骤(3)中，根据瓶身目标边缘的最小外接矩形，裁剪标签roi目标图像的步骤包括：
[0076]
a.获取分割出的目标轮廓的最小外接矩形，并返回矩形四个顶点的坐标，分别为(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)，依次代表左下角、左上角、右上角和右下角；
[0077]
b.根据最小外接矩形的四个顶点坐标，裁剪包含最小外接矩形的水平矩形作为标签roi目标图像，水平矩形的顶点坐标分别为(m1，n1)、(m2，n2)、(m3，n3)、(m4，n4)，依次代表左
下角、左上角、右上角和右下角：
[0078]
m1＝m2＝min(x1，x2，x3，x4)，
[0079]
n1＝n4＝min(y1，y2，y3，y4)，
[0080]
m3＝m4＝max(x1，x2，x3，x4)，
[0081]
n2＝n3＝max(y1，y2，y3，y4)；
[0082]
以该水平矩形内部区域作为标签roi目标图像，包含所有标签边缘信息。
[0083]
所述步骤(4)中，计算并比较roi目标图像和标准图像的灰度均值、灰度标准差、灰度直方图分布的步骤包括：
[0084]
a.采用中值滤波算法实现对标签roi目标图像和标准图像的降噪，使图像更加平滑；
[0085]
设一维序列为f1，f2...fn，假设中值滤波器为一个含有m个像素的窗口，m为奇数，处理过程中，将窗口正中的像素灰度值用窗口内各像素灰度值的中值来代替。对该一维序列进行中值滤波，就是从输入序列中相续抽出m个数，将这m个点的数值按大小排列，取序列最中间的数作为滤波输出，用v表示中值滤波器窗口的中心值，则图像中第i个像素的中值滤波yi可表示为：
[0086]
yi＝med{f
i-v
，...，fi，...f
i+v
}，
[0087]
v＝(m-1)/2；
[0088]
b.随机选取d张标准图像(d≥10，避免阈值数据结果的偶然性)，分别计算这些图像经过目标区域提取、中值滤波等处理后的灰度均值、灰度标准差，并以此确定判断漏标的阈值范围，观察灰度直方图分布并确定判断标签破损的灰度级频率阈值；
[0089]
c.计算标签roi目标图像的灰度均值、灰度标准差、绘制灰度分布直方图，并与标准阈值进行比较判断；
[0090]
以标签roi目标图像为例，假设目标图像的尺寸为w
×
h，每个像素点的灰度值为si∈[0，255]，计算灰度均值灰度标准差σ，并绘制灰度直方图，灰度直方图的横坐标是灰度级，纵坐标是该灰度级出现的频率p：
[0091][0092][0093]
p(rk)＝nk/w
×
h；
[0094]
其中rk是像素的灰度级，nk是具有灰度rk的像素的个数；
[0095]
d.当roi目标图像的灰度均值、灰度标准差不满足标准阈值时，判断该贴标质量不合格，缺陷类型为“漏标”，当roi目标图像的灰度分布直方图波动较大，超过标准灰度级频率阈值时，判断该贴标质量不合格，缺陷类型为“标签破损”。
[0096]
所述步骤(5)中，对roi目标图像边缘进行霍夫直线检测，计算倾斜直线角度的步骤包括：
[0097]
a.预先设定roi目标图像边缘线段的最低长度阈值、平行线段连接的最大距离后对其进行霍夫直线检测；
[0098]
b.根据霍夫直线检测，获取roi目标图像标签边缘的最长线段端点坐标，根据线段
端点计算标签边缘线段的平均倾斜角度；
[0099]
假设线段的端点坐标为(x1，y1)、(x2，y2)，则线段的倾斜角度可以表示为：
[0100][0101]
c.当roi目标图像的标签边缘线段倾斜角度≤2
°
时，判断该瓶装产品贴标质量合格，否则不合格，缺陷类型为“标签歪斜”。

技术特征：
1.一种基于机器视觉的瓶装产品贴标质量检测方法，其特征在于包括如下步骤：(1)、采用蓝色环形光源照射瓶顶，调整相机位置并调节镜头焦距以实现相机对瓶身图像的清晰拍摄；(2)、利用多尺度表示实现对采集图像目标边缘的检测提取；(3)、根据瓶身目标边缘的最小外接矩形，裁剪标签roi目标图像；(4)、计算并比较roi目标图像和标准图像的灰度均值、灰度标准差、灰度直方图分布；(5)、对roi目标图像边缘进行霍夫直线检测，计算边缘线段倾斜角度；(6)、当目标图像同时满足灰度均值、灰度标准差在阈值范围内，灰度直方图分布没有明显波动，roi目标图像的标签边缘线段倾斜角度≤2
°
时，判断该瓶装产品贴标质量合格。2.根据权利要求1所述的一种基于机器视觉的瓶装产品贴标质量检测方法，其特征在于所述步骤(2)的具体步骤包括：2a、利用多尺度表示目标图像边缘，通过深度学习模型，学习多尺度分级特征，实现包括细节边缘在内的边缘检测；将待测图像作为vgg网络的输入，分别获取第1-5层五个不同尺度的卷积特征图，在卷积层之后插入输出层，并施加深度监督，输出每一尺度特征图的边缘预测结果，将五层输出结果融合，实现包括细节边缘在内的边缘检测；边缘预测结果的融合输出y表示为：其中，h
m
表示每一层预测值的输出权重，a
(m)
表示第m层的输出预测值；2b、根据检测到的边缘信息提取目标轮廓对检测到的边缘信息二值图进行两次形态学腐蚀膨胀操作，来实现目标区域的分割：膨胀运算用来填补标签细小边缘中的中断，膨胀操作中，对于待操作像素f(x,y)，不论f(x,y-1)，f(x,y+1)，f(x-1,y)，f(x+1,y)哪一个像素值为255，则f(x,y)＝255，运算公式如下：其中a为一个包含所有待操作像素的集合，b为结构元素，膨胀理解为b的中心沿着a的外边界走了一圈；腐蚀运算用来消除图像中一些小的边缘轮廓，使用腐蚀运算消除图像的背景部分，对于待操作像素f(x，y)，只有f(x，y-1)，f(x，y+1)，f(x-1，y)，f(x+1，y)每一个像素值都为255，则f(x，y)＝255，运算公式如下：通过对步骤(2a)中检测出的边缘重复两次膨胀腐蚀操作后，分割出目标标签区域。3.根据权利要求2所述的一种基于机器视觉的瓶装产品贴标质量检测方法，其特征在于所述步骤(3)的具体步骤包括：3a、获取目标轮廓的最小外接矩形；并返回矩形四个顶点的坐标，分别为(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)，依次代表左下角、左上角、右上角和右下角；3b、根据最小外接矩形的四个顶点坐标，裁剪包含最小外接矩形的水平矩形作为标签
roi目标图像，水平矩形的顶点坐标分别为(m1，n1)、(m2，n2)、(m3，n3)、(m4，n4)，依次代表左下角、左上角、右上角和右下角：m1＝m2＝min(x1，x2，x3，x4)，n1＝n4＝min(y1，y2，y3，y4)，m3＝m4＝max(x1，x2，x3，x4)，n2＝n3＝max(y1，y2，y3，y4)；以该水平矩形内部区域作为标签roi目标图像，包含所有标签边缘信息。4.根据权利要求3所述的一种基于机器视觉的瓶装产品贴标质量检测方法，其特征在于所述步骤(4)的具体步骤包括：4a、采用中值滤波算法实现对标签roi目标图像和标准图像的降噪；设一维序列为f1，f2...f
n
，假设中值滤波器为一个含有m个像素的窗口，m为奇数，处理过程中，将窗口正中的像素灰度值用窗口内各像素灰度值的中值来代替。对该一维序列进行中值滤波，就是从输入序列中相续抽出m个数，将这m个点的数值按大小排列，取序列最中间的数作为滤波输出，用v表示中值滤波器窗口的中心值，则图像中第i个像素的中值滤波y
i
表示为：y
i
＝med{f
i-v
，...，f
i
，...，f
i+v
}，4b、随机选取d张标准图像，d≥10，分别计算这些图像的灰度均值、灰度标准差，并以此确定判断漏标的阈值范围，观察灰度直方图分布并确定判断标签破损的灰度级频率阈值；4c、计算标签roi目标图像的灰度均值、灰度标准差、绘制灰度分布直方图，并与标准阈值进行比较判断；4d、当roi目标图像的灰度均值、灰度标准差不满足标准阈值时，判断该贴标质量不合格，缺陷类型为“漏标”，当roi目标图像的灰度分布直方图波动较大，超过标准灰度级频率阈值时，判断该贴标质量不合格，缺陷类型为“标签破损”。5.根据权利要求4所述的一种基于机器视觉的瓶装产品贴标质量检测方法，其特征在于所述步骤(5)的具体步骤包括：5a、对roi目标图像边缘进行霍夫直线检测；5b、根据霍夫直线检测，获取roi目标图像标签边缘的最长线段端点坐标，计算标签边缘线段的倾斜角度；5c、当roi目标图像的标签边缘线段倾斜角度≤2
°
时，判断该瓶装产品贴标质量合格，否则不合格，缺陷类型为“标签歪斜”。

技术总结
本发明公开了一种检测瓶装产品表面贴标质量缺陷的方法。方法步骤为：采用蓝色环形光源照射瓶顶，获取瓶身图像；利用多尺度表示实现对目标边缘的检测提取并获取ROI目标图像；计算ROI目标图像的灰度均值、灰度标准差，若不满足阈值条件，判断标签漏贴；比较ROI目标图像和标准图像的灰度直方图分布，若存在明显波动，判断标签破损；对ROI目标图像的标签边缘进行霍夫直线检测，计算标签边缘线段倾斜角度，当倾斜角≤2


技术研发人员：魏长赟 杨颖 夏煜
受保护的技术使用者：河海大学
技术研发日：2023.05.12
技术公布日：2023/8/13