一种面向复杂环境的零售酒类识别方法

1.本发明属于物体检测技术领域，具体的说是涉及一种面向复杂环境的零售酒类识别方法。


背景技术：

2.目前的主要的识别技术有基于视觉的物体检测,rfid射频识别和barcode。基于视觉的物体检测方法将目标区域预测和目标类别预测整合于单个神经网络模型中，实现在准确率较高的情况下快速目标检测与识别，更加适合现场应用环境。rfid射频识别作为一种非接触式的自动识别技术，通过射频信号自动识别目标对象并获取相关数据，识别工作无需人工干预，可工作于各种恶劣环境。barcode方法具有成本非接触式的自动识别技术，通过射频信号自动识别目标对象并获取相关数据，识别工作无需人工干预，可工作于各种恶劣环境。
3.但是基于视觉的物体检测对小目标及邻近目标检测效果差，且受限于复杂环境，当一个小格中出现多于两个小目标或者一个小格中出现多个不同目标时效果欠佳，光照异常、玻璃遮挡等环境因素也会影响识别效果。rfid成本太高，以及rfid发射器，读取机，编码器及天线等设备的花费也不低，且会涉及到个人隐私的问题。barcode方法具有成本低、效率高、差错率低的优点，可也存在数据容量小、尺寸大、易损坏等不可忽视的缺点。
4.虽然传统的识别方法，在普通环境下已经取得了一定的准确率，但在复杂环境下仍显不足，还存在较大的进步空间。在目前的零售中的酒类识别，由于品类复杂、玻璃反光严重、店铺光照较暗等问题，现有人工智能方法存在复杂情况下识别率低的问题。


技术实现要素：

5.为了解决上述技术问题，本发明提供可了一种面向复杂环境的零售酒类识别方法，该方法利用深度学习图像处理方法，通过去反光、暗光增强、超分辨等进行图像增强，并有效结合yolo(you only look once，指只需要浏览一次就可以识别出图中的物体的类别和位置)检测物体的识别速度优势，从而在复杂环境下提高零售中的酒类检测的识别率和准确率。
6.为了达到上述目的，本发明是通过以下技术方案实现的：
7.本发明是一种面向复杂环境的零售酒类识别方法，该方法包括如下步骤：
8.步骤1：采集在不同环境下酒类的图像，并对采集到的图像进行预处理；
9.步骤2：对步骤1预处理后的酒类的图像进行去反光，去除瓶身以及标签的反光；
10.步骤3：将步骤2去反光后的图像进行低光增强，增强阴影部分的信息；
11.步骤4：对经过步骤3处理的图像进行超分辨率，增强图像的细节信息；
12.步骤5：针对步骤4处理后的图像，用训练好的物体检测模型进行酒类的分类识。
13.本发明可以利用深度学习图像处理方法进行图像增强，有效结合yolo检测物体的识别速度优势，从而在复杂环境下提高物体检测的识别率和准确率。
14.进一步的，步骤(1)中的不同环境下的酒类的图像选取正常光照，反光环境，低光环境，或者低分辨率的图像。
15.进一步的，步骤(1)中预处理具体包含图像锐化，平滑、去噪等操作，改善图像的视觉效果转换为更适合于人或机器分析处理的形式。
16.进一步的，步骤(2)2具体包括：
17.(2-1)基于多尺度高斯函数的光照分量的提取。本方法选用多尺度高斯函数的方法来提取光照不均匀图像的光照分量，为了同时兼顾提取出的光照值的全局特性和局部特性,本文采用多尺度高斯函数的方法,利用不同尺度的高斯函数分别提取出场景的光照分量后进行加权,最终得到光照分量的估计值。
18.(2-2)基于二维伽马函数的自适应亮度校正，在提取出场景的光照分量后,就可以根据光照分量的分布特性构造光照不均匀校正函数,对图像进行去反光处理，降低光照过强区域的亮度值。
19.(2-3)色彩空间转换。鉴于hsv色彩空间更符合人眼的视觉特性,而且hsv色彩空间中的色调(h)、饱和度(s)和亮度(v)三者相互独立(根据颜色的直观特性创建的一种颜色空间),因此对于亮度v的操作不会影响图像的色彩信息,因此选择在hsv色彩空间中实现对彩色图像进行去反光处理。
20.进一步的，步骤(3)具体包括：
21.(2-1)使用了一个3*3的卷积从输入图像中提取特征，然后用relu为激活函数的3*3卷积从rgb图像中映射出反射率和光照，最后一个3*3的卷积从特征空间投影r和i。
22.(2-2)采用多尺度级联的方式，在不同的层级上分别调整光照。首先对图像进行3次下采样，使网络提取出光照特性。在拥有大量光照的信息后，采用三个逐步向上的上采样块，每个上采样块中提取出c通道特征图。
23.(2-3)将增强后的光照图和反射图依据公式s＝r*i进行恢复，从而得到一个增强的图像。
24.进一步的，步骤(4)具体包括：
25.(4-1)浅层特征抽取网络，提取浅层特征。低分辨率图像进入后会经过一个卷积+relu函数，将输入通道数调整为64。
26.(4-2)使用了rddb结构，提升了网络容量，使训练变得更容易。其中包含若干个rdb密集残差块和一个残差边，每个rdb都包含5个卷积+relu，将主干网络的输出与残差边叠加。
27.(4-3)上采样网络，进入上采样部分，在经过两次上采样后，原图的高宽变为原来的4倍，并且实现分辨率的提升。
28.(4-4)对抗网络，使用相对论平均判别器rad，通过在对抗训练中生成的数据和实际的数据的渐变使得网络学习到更尖锐的边缘和细节的纹理。
29.(4-5)感知损失，采用的是激活前的特征，感知损失在预先训练的深度网络的激活层上预先定义。
30.本发明的有益效果是：本发明的零售酒类识别方法针对低分辨率、低光环境、玻璃反射等情况进行分析，以实现在复杂环境下的酒类识别与检测；
31.本发明利用深度学习图像处理方法进行图像增强，有效结合yolo检测物体的识别
速度优势，从而在复杂环境下提高物体检测的识别率和准确率。
32.通过实验可以发现，使用本发明相比于传统的物体检测方法可以极大提高复杂场景下的识别性能。
附图说明
33.图1是本发明方法流程图。
34.图2是本发明使用该发明方法在复杂环境下提高检测识别率的结果示意图。
35.图3是本发明拍摄到的原始图片。
36.图4是经过本发明识别方法增强后的图片
具体实施方式
37.以下将以图式揭露本发明的实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明的部分实施方式中，这些实务上的细节是非必要的。
38.如图1所示，本发明是一种面向复杂环境的零售酒类识别方法，该方法包括如下步骤：
39.步骤1：采集在不同环境下酒类的图像，并对采集到的图像进行预处理。
40.采用常规的预处理方法，用均值滤波对图像进行平滑处理消除噪点，再用高通滤波进行锐化，增强图像的边缘和线条信息，改善图像的视觉效果转换为更适合于人或机器分析处理的形式，不同环境下的酒类的图像选取正常光照、反光环境、低光环境或者低分辨率的图像。
41.步骤2：对步骤1预处理后的酒类的图像进行去反光，去除瓶身以及标签的反光。
42.步骤2-1：基于多尺度高斯函数的光照分量的提取。根据retinex理论——人感知到某点的颜色和亮度并不仅仅取决于该点进入人眼的绝对光线，还和其周围的颜色和亮度有关。做如下假设：真实场景图像的光照分量主要存在于图像低频部分并且整体变化平缓；而反射分量则主要存在于图像高频部分，如边缘、纹理等处，其变化比较剧烈。因此希望提取出的场景的光照分量只包含光照变化信息，不包含图像的细节信息。本发明选用多尺度高斯函数的方法来提取光照不均匀图像的光照分量，用到的高斯函数为
[0043][0044]
式中：c为尺度因子，λ为归一化常数，确保高斯函数g(x，y)满足归一化条件，即∫∫g(x,y)dxdy＝1，利用高斯函数和原图像做卷积即可得到光照分量的估计值，其结果如下：
[0045]
i(x，y)＝f(x，y)g(x，y)
[0046]
为了同时兼顾提取出的光照值的全局特性和局部特性,采用多尺度高斯函数的方法,利用不同尺度的高斯函数分别提取出场景的光照分量后进行加权,最终得到光照分量的估计值，其表达式为：
[0047]
[0048]
式中：i(x,y)为(x,y)点处由多个不同尺度的高斯函数提取并加权后的光照分量值，ωi为第i个尺度高斯函数提取出的光照分量的权系数，i＝1,2,
…
,n为用到的尺度数。
[0049]
步骤2-2：基于二维伽马函数的自适应亮度校正。在提取出场景的光照分量后,就可以根据光照分量的分布特性构造光照不均匀校正函数，对图像进行去反光处理，降低光照过强区域的亮度值。本发明采用了一种基于二维伽马函数的自适应亮度校正方法，利用图像的光照分量的分布特性自适应地调整二维伽马函数的参数,实现提高光照不均匀图像整体质量的目的。对于输入的图像f(x,y),假设提取出的光照分量为i(x,y)，构造了一种新的二维伽马函数，其表达式为：
[0050][0051]
式中：o(x，y)为校正后的输出图像的亮度值；γ为用于亮度增强的指数值，其中包含了图像的光照分量特性，m为光照分量的亮度均值；
[0052]
当某一点(x，y)处的光照值大于整幅光照分量的均值时，二维伽马函数会依指数减弱原图像在该点处的亮度值，光照过强的区域的亮度得到了衰减，同时压缩了图像的动态范围，正是在光照分量的均值和每一个像素点处的光照值的共同作用下，得到较好的光照不均匀校正效果。
[0053]
步骤2-3：色彩空间转换：人眼对亮度的敏感程度要高于对颜色的敏感程度,因此对亮度分量的校正处理是光照不均匀校正算法的关键.对于彩色图像，如果直接在rgb(红绿蓝)3个通道做校正处理，不仅很难保证每个通道都按照相同的比例增强或者衰减，从而导致校正处理后的图像发生色彩失真现象，而且同时对3个通道进行处理的运算量也比较大。鉴于hsv色彩空间更符合人眼的视觉特性，而且hsv色彩空间中的色调(h)、饱和度(s)和亮度(v)三者相互独立，因此对于亮度v的操作不会影响图像的色彩信息，因此选择在hsv色彩空间中实现对彩色图像进行去反光处理。
[0054]
步骤3：将步骤2去反光后的图像进行低光增强，增强阴影部分的信息。
[0055]
低光增强网络主要由三部分分解网络、调整网络以及重构三部分组成，低光增强网络具体包括：
[0056]
步骤3-1：在分解网络中，先是使用了一个3*3的卷积从输入图像中提取特征，然后用relu为激活函数的3*3卷积从rgb图像中映射出反射率和光照，最后一个3*3的卷积从特征空间投影r和i，最后用一个sigmod函数将r和i约束在(0,1)范围内。
[0057]
relu函数：f(x)＝max(0，x)
[0058]
sigmod函数:
[0059]
步骤3-2：在调整网络中，采用多尺度级联的方式，在不同的层级上分别调整光照：首先对图像进行3次下采样，使网络提取出光照特性，在拥有大量光照的信息后，采用三个逐步向上的上采样块，每个上采样块中提取出c通道特征图，通过最近邻差值将这些特征图从不同的尺度调整到最终尺度，将它们连接到一个c*m的通道特征图中，用一个1*1的卷积层把他简化到c通道，最后用3*3的卷积对光照进行重建；
[0060]
步骤3-3：重构是将增强后的光照和反射图依据公式s＝r*i进行恢复，从而得到一个增强的图像；
[0061]
步骤3-4：残差loss分为分解网络和调整网络，其中分解网络部分由重构损失、反射率一致性损失和结构平滑损失组成，引入了两个lambda系数进行平衡，调整网络包括重构损失和光照结构平滑损失。
[0062]
步骤4：对经过步骤3处理的图像进行超分辨率，增强图像的细节信息；
[0063]
超分辨率主要有三个关键组成部分：网络结构(残差模块)，对抗网络(判别器)和感知损失。
[0064]
(4-1)网络结构共由三部分组成：
[0065]
浅层特征抽取网络，提取浅层特征。低分辨率图像进入后会经过一个卷积+relu函数，将输入通道数调整为64。
[0066]
使用了rddb结构，提升了网络容量，使训练变得更容易。其中包含若干个rdb密集残差块和一个残差边，每个rdb都包含5个卷积+relu，将主干网络的输出与残差边叠加。
[0067]
上采样网络，进入上采样部分，在经过两次上采样后，原图的高宽变为原来的4倍，并且实现分辨率的提升。
[0068]
(4-2)使用相对论平均判别器rad，网络不仅可以从生成的数据接收梯度，还可以从实际数据接收梯度。这提高了边缘和纹理的质量。rad可以用公式表示为：
[0069][0070]
其中σ是sigmoid函数，c(x)是非变换判别器输出，e
x
表示在mini批处理中对所有假数据取平均值的操作，xf代表lr图像输入，是原始低分辨率图像经过生成器以后的图像，xr代表原始真实图像输入。
[0071]
判别器损失函数为：
[0072][0073]
生成器的对抗损失(与判别器是对成形式):
[0074][0075]
(4-3)在感知损失中我们采用的是激活前的特征(即在vgg16网络输出的feature map)。
[0076]
感知损失在预先训练的深度网络的激活层上预先定义，其中两个激活特征之间的距离是最小的，与惯例相反，本发明在激活层之前使用特性，这将克服原始设计的两个缺点。首先，激活的特征是非常稀疏的，特别是在一个非常深的网络之后。稀疏激活提供了薄弱的监督，从而导致较差的性能。其次，使用激活后的特征也会导致重建亮度与地面真实图像不一致。
[0077]
对于生成器的损失函数为：
[0078][0079]
其中l1评估恢复图像，l
percep
是感知损失，λ和η是平衡不同损失项的系数。
[0080]
步骤5：针对步骤4处理后的图像，用训练好的物体检测模型进行酒类的分类识别。
[0081]
对增强后的图像进行识别与分类，采用yolov5进行图像识别。将所有酒类数据集s按一定比例随机划分成s
train
、验证集s
valid
和测试集s
test
。
[0082]
本实施例中，数据集s包含了多种类型的酒类图片，将样本集s按照3:1:1的比例划
分成训练集s
train
、验证集s
valid
和测试集s
test
，划分的方法包括但不限于交叉验证发、留出法和自助法。
[0083]
通过本发明方法，可以利用深度学习图像处理方法进行图像增强，有效结合yolo检测物体的识别速度优势，从而在复杂环境下提高物体检测的识别率和准确率。
[0084]
图2所示为使用本方法对以及不使用本方法，作为输入对测试集s
test
进行物体检测的测试结果。可以看出，在使用本发明方法时，去反光方法，识别正确率提升了12％左右，低光增强方法，提升了13％左右。超分辨率方法，也能提升12％左右，使用三种增强后识别正确率提高到93.4％。
[0085]
本发明根据各种环境特征，对酒瓶的识别进行规律总结。当环境中灯光过于强烈时，在酒瓶的玻璃上会出现较为明显的反光，通过去反光技术去增强图像的显示效果；而在一些无法被环境光照到的区域或者环境光较弱的区域，会存在亮度过低导致的图像细节的丢失，本发明采用了低光增强技术，增加对应区域的亮度值，恢复图像的细节；在之前两步的基础上，本发明采用了超分辨率技术，通过深度学习，提升图像的分辨率，旨在还原和修复更多的图像细节，进一步提高识别的准确率。
[0086]
以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。

技术特征：
1.一种面向复杂环境的零售酒类识别方法，其特征在于：所述零售酒类识别方法包括如下步骤：步骤1：采集在不同环境下酒类的图像，并对采集到的图像进行预处理；步骤2：对步骤1预处理后的酒类的图像进行去反光，去除瓶身以及标签的反光；步骤3：将步骤2去反光后的图像进行低光增强，增强阴影部分的信息；步骤4：对经过步骤3处理的图像进行超分辨率，增强图像的细节信息；步骤5：针对步骤4处理后的图像，用训练好的物体检测模型进行酒类的分类识别。2.根据权利要求1所述的一种面向复杂环境的零售酒类识别方法，其特征在于：所述步骤2对预处理后的酒类的图像进行去反光具体包括如下步骤：步骤2-1：基于多尺度高斯函数的光照分量的提取光照不均匀图像的光照分量，利用不同尺度的高斯函数分别提取出场景的光照分量后进行加权，最终得到光照分量的估计值；步骤2-2：基于二维伽马函数的自适应亮度校正，在提取出场景的光照分量后根据光照分量的分布特性构造光照不均匀校正函数，对图像进行去反光处理，降低光照过强区域的亮度值；步骤2-3：色彩空间转换：在hsv色彩空间中实现对彩色图像进行去反光处理。3.根据权利要求2所述的一种面向复杂环境的零售酒类识别方法，其特征在于：所述步骤2-1具体为：步骤2-1-1：基于多尺度高斯函数的光照分量的提取光照不均匀图像的光照分量，其中高斯函数为式中：c为尺度因子，λ为归一化常数，确保高斯函数g(x，y)满足归一化条件，即∫∫g(x,y)dxdy＝1，利用高斯函数和原图像做卷积即可得到光照分量的估计值，其结果如下：i(x，y)＝f(x，y)g(x，y)步骤2-1-2：采用多尺度高斯函数，利用不同尺度的高斯函数分别提取出场景的光照分量后进行加权，最终得到光照分量的估计值，表达式为：式中：i(x,y)为(x,y)点处由多个不同尺度的高斯函数提取并加权后的光照分量值，ω
i
为第i个尺度高斯函数提取出的光照分量的权系数，i＝1,2,
…
,n为用到的尺度数。4.根据权利要求2所述的一种面向复杂环境的零售酒类识别方法，其特征在于：所述步骤2-2具体为：对于输入的图像f(x,y)，假设提取出的光照分量为i(x,y)，构造二维伽马函数：式中：o(x，y)为校正后的输出图像的亮度值；γ为用于亮度增强的指数值，其中包含了图像的光照分量特性，m为光照分量的亮度均值；
当某一点(x，y)处的光照值大于整幅光照分量的均值时，二维伽马函数会依指数减弱原图像在该点处的亮度值，光照过强的区域的亮度得到了衰减，同时压缩了图像的动态范围，正是在光照分量的均值和每一个像素点处的光照值的共同作用下，得到较好的光照不均匀校正效果。5.根据权利要求1所述的一种面向复杂环境的零售酒类识别方法，其特征在于：所述步骤3将去反光后的图像进行低光增强，低光增强网络主要由三部分分解网络、调整网络以及重构三部分组成，低光增强网络具体包括：步骤3-1：在分解网络中，先是使用了一个3*3的卷积从输入图像中提取特征，然后用relu为激活函数的3*3卷积从rgb图像中映射出反射率和光照，最后一个3*3的卷积从特征空间投影r和i，最后用一个sigmod函数将r和i约束在(0,1)范围内,relu函数：f(x)＝max(0，x)sigmod函数:步骤3-2：在调整网络中，采用多尺度级联的方式，在不同的层级上分别调整光照：首先对图像进行3次下采样，使网络提取出光照特性，在拥有大量光照的信息后，采用三个逐步向上的上采样块，每个上采样块中提取出c通道特征图，通过最近邻差值将这些特征图从不同的尺度调整到最终尺度，将它们连接到一个c*m的通道特征图中，用一个1*1的卷积层把他简化到c通道，最后用3*3的卷积对光照进行重建；步骤3-3：重构是将增强后的光照和反射图依据公式s＝r*i进行恢复，从而得到一个增强的图像。6.根据权利要求5所述的一种面向复杂环境的零售酒类识别方法，其特征在于：分解网络部分由重构损失、反射率一致性损失和结构平滑损失组成，引入了两个lambda系数进行平衡，调整网络包括重构损失和光照结构平滑损失。7.根据权利要求1所述的一种面向复杂环境的零售酒类识别方法，其特征在于：所述步骤4中的超分辨率由网络结构，对抗网络即判别器和感知损失组成，其中：所述网络结构由浅层特征抽取网络、rddb结构和上采样网络三部分组成，浅层特征抽取网络，提取浅层特征，rddb结构包含若干个rdb密集残差块和一个残差边，每个rdb都包含5个卷积+relu，将主干网络的输出与残差边叠加，上采样网络，进入上采样部分，在经过两次上采样后，原图的高宽变为原来的4倍，并且实现分辨率的提升；所述对抗网络即判别器rad用公式表示为：其中：σ是sigmoid函数，c(x)是非变换判别器输出，e
x
表示在mini批处理中对所有假数据取平均值的操作，x
f
代表lr图像输入，是原始低分辨率图像经过生成器以后的图像，x
r
代表原始真实图像输入，判别器损失函数为：与判别器对成形式的生成器的对抗损失为：
所述感知损失采用的是激活前的特征即在vgg16网络输出的feature map，对于生成器的损失函数为：其中l1评估恢复图像，l
percep
是感知损失，λ和η是平衡不同损失项的系数。8.根据权利要求1所述的一种面向复杂环境的零售酒类识别方法，其特征在于：所述步骤5中为采用yolov5进行图像识别。9.根据权利要求1-8任一项所述的一种面向复杂环境的零售酒类识别方法，其特征在于：步骤1中预处理具体包含图像锐化，平滑、去噪操作，改善图像的视觉效果转换为更适合于人或机器分析处理的形式，不同环境下的酒类的图像选取正常光照、反光环境、低光环境或者低分辨率的图像。

技术总结
本发明属于物体检测技术领域，公开了一种面向复杂环境的零售酒类识别方法，包括：步骤1：采集在不同环境下酒类的图像，并对采集到的图像进行预处理；步骤2：对步骤1预处理后的酒类的图像进行去反光，去除瓶身以及标签的反光；步骤3：将步骤2去反光后的图像进行低光增强，增强阴影部分的信息；步骤4：对经过步骤3处理的图像进行超分辨率，增强图像的细节信息；步骤5：针对步骤4处理后的图像，用训练好的物体检测模型进行酒类的分类识别。本发明通过深度学习对酒瓶的特征进行归类和分析，采用了去反光、低光增强和超分辨率的三种图像增强技术，对待识别的酒瓶图像进行修复和校正，最后通过YOLO输出不同的品类，提高识别的正确率。提高识别的正确率。提高识别的正确率。


技术研发人员：袁宇航 罗培原 侯天旭 张伯雷
受保护的技术使用者：南京邮电大学
技术研发日：2023.04.19
技术公布日：2023/7/7