一种基于深度学习的扭曲二维码校正方法

1.本发明涉及工业物联网技术领域，特别是涉及一种基于深度学习的扭曲二维码校正方法。


背景技术：

2.如今，二维码已广泛应用于工业物联网领域，越来越多的工厂、物流管理使用二维码来存储信息，然而二维码图像很容易因为图像载体(如纸张等)弯曲或者折叠、拍摄环境和相机位置等因素出现扭曲的情况，这会导致无法及时获取二维码上完备的信息，影响工业生产活动。这也使得二维码去扭曲的研究作为一个新的研究方向越来越受到人们的关注。
3.传统的去扭曲方法往往需要复杂的过程，通过提取图像的手工特征来构建2d或3d的校正模型。其中的一些方法利用图像上的视觉线索来重建图像表面，另外一些则使用几何属性或多视图来纠正失真的图像。如果是简单的偏斜情况，基于手工特征的校正模型能够显示出良好的性能。然而，由于图像复杂的扭曲失真和多变的外部条件，这些方法很难用于处理从工业场景中捕获的失真图像。
4.随着深度学习技术的发展，目前的研究工作利用从扭曲图像中学习到的特征来恢复失真。尽管更高质量的训练数据集和更丰富的真实标注使模型更容易学习有用的特征，但这也增加了研究者构建数据集和模型的难度。为了更好地权衡模型复杂度和整改性能，全卷积网络(fcn)被提出以估计像素位移和背景分类。与传统的卷积神经网络(cnn)相比，fcn能够兼容不同大小的尺寸输入，并且可以大大减少网络参数量，从而提升网络的训练效率。与传统方法相比，fcn在各种扭曲的图像上取得了更好的性能，但在计算复杂度和后处理步骤上仍有改进的空间。
5.现有的研究大多将校正任务视为密集网格预测的问题，该问题以2d图像为输入，并输出前向映射或向后映射。通常这种映射的变换是简单易行的，但在有些变换比较复杂的场合，这种变换是很难得到结果的。而稀疏映射相较于基础的映射变换更加简洁精炼，对于图像特征具有比前者更强的表达能力。若能够在深度学习网络中使用稀疏映射，辅以插值方法将其转换为密集的后向映射，那么肯定能够更加敏感地捕捉图像上有用的特征，从而使得网络校正的结果具有更高的精度。
6.综上所述，如何在现有深度学习技术的基础上通过插值将稀疏映射转换为密集的向后映射来实现二维码图像实时去扭曲，也就成为了本领域内技术人员亟待解决的问题。


技术实现要素：

7.为了解决以上技术问题，本发明提供一种基于深度学习的扭曲二维码校正方法，包括以下步骤
8.s1、获取扭曲二维码图像；
9.s2、采用编码器结构作为特征提取器，然后利用提取的特征以多任务方式分别预
测控制点和参考点；
10.s3、在控制点和参考点之间采用插值方法来移动控制点的位置，并将稀疏映射转换为密集映射，以将控制点移动到参考点的位置；
11.s4、使用损失函数对网络进行训练，不断比较训练结果来更新网络参数，构建最终的二维码去扭曲模型；
12.s5、利用二维码去扭曲模型，对扭曲二维码图像进行校正处理。
13.本发明进一步限定的技术方案是：
14.进一步的，步骤s1具体包括以下分步骤
15.s1.1、应用脚本文件设计图像数据集，通过改变控制点设置图像数据集中二维码的扭曲程度；图像数据集中包括同一场景下扭曲与常规的二维码图像，通过划分得到训练集和验证集；
16.s1.2、对上一步骤中获取的二维码数据集进行预处理操作，以对二维码数据集进行数据增强处理，增加训练数据。
17.前所述的一种基于深度学习的扭曲二维码校正方法，步骤s1.2中，对二维码数据集进行的预处理操作包括随机阴影、仿射变换、高斯模糊以及背景纹理变换。
18.前所述的一种基于深度学习的扭曲二维码校正方法，步骤s2具体包括以下分步骤
19.s2.1、编码器结构的前两层均为卷积层，编码器结构中还使用扩张的残差块和具有堆叠扩张卷积的空间金字塔结构；在每次卷积之后，应用批量归一化处理和relu激活函数；
20.s2.2、将编码器结构最后一层的特征进行展平，并将其反馈到完全连接的神经网络中，以预测参考点之间的间隔；
21.s2.3、使用两层卷积网络来预测尺寸为31
×
31
×
2的控制点，控制点在第一次卷积后应用批量归一化处理和prelu激活函数；
22.s2.4、编码器结构提取图像特征并将其发送到上分支和下分支，上分支为一个用于预测参考点之间间隔的完全连接的神经网络；下分支为用于预测控制点的两层卷积网络。
23.前所述的一种基于深度学习的扭曲二维码校正方法，步骤s2.1中，编码器结构的前两层均为卷积层，卷积层的步幅为2，且卷积核大小为3
×
3。
24.前所述的一种基于深度学习的扭曲二维码校正方法，步骤s3中，为了获得可变分辨率大小的输出图像，按下式对控制点进行调整：
[0025][0026]
其中，m是原始控制点，r
old
和r
new
分别表示原始图像分辨率和调整后图像分辨率，f是插值和重映射，i
new
和o
new
是失真图像和具有新分辨率的校正图像。
[0027]
前所述的一种基于深度学习的扭曲二维码校正方法，步骤s4中，通过使用合成参考点和控制点作为参考标准，以监督的方式训练模型；训练损失函数包括两部分，一部分为回归点的位置，另一部分为水平和垂直方向上两点之间的间隔；
[0028]
其中，使用smooth l1 loss用于控制点的位置回归，表示为l
smoothl1
；使用l1 loss对参考点进行区间回归，表示为lr；使用约束条件来期望局部交叉点处的预测位移趋势，表
示为lc；最终损失函数定义为不同损失的线性组合：
[0029]
l＝l
smoothl1
+αlc+βlr[0030]
其中，α和β代表lc和lr在线性公式中所占的权重。
[0031]
前所述的一种基于深度学习的扭曲二维码校正方法，步骤s4中，smooth l1loss用于控制点的位置回归，定义为：
[0032][0033][0034]
其中，nc是控制点的数量，pi和分别表示参考标准以及预测映射在2d网格中的位置；
[0035]
使用微分坐标作为中心坐标的替代表示，使用δ表示交点与两个方向之间的局部位置相关性，表示为：
[0036][0037]
其中，k表示元素个数，pi表示其交集；
[0038]
使用l1 loss对参考点进行区间回归，并将其定义为：
[0039][0040]
使用约束条件来期望局部交叉点处的预测位移趋势，位移趋势表示局部区域与其中心点之间的相对关系；将lc函数公式化如下：
[0041][0042]
所以最终损失函数定义为不同损失的线性组合：
[0043]
l＝l
sdeefhl1
+αlc+βln[0044]
其中，α和β代表lc和lr在线性公式中所占的权重。
[0045]
本发明的有益效果是：
[0046]
(1)本发明中，着眼于二维码的扭曲与失真分析，通过采集二维码图像特征进行分析的方式，有效地兼顾到了工业场景中复杂扭曲和多变环境的特点；
[0047]
(2)本发明中，基于深度学习技术使用插值将稀疏映射转换为密集的向后映射，通过这种方法来精炼对于图像特征的处理，充分地利用了其各自的优势，显著地提升了扭曲校正的精度；
[0048]
(3)本发明中，使用的神经网络在结构中使用了扩张的残差块和具有堆叠扩张卷积的空间金字塔，从而进一步提高了对二维码图像上有用特征的学习效率，也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于其他与二维码校正方法相关的技术方案中，具有十分广阔的应用前景。
附图说明
[0049]
图1为本发明二维码去扭曲模型的结构示意图；
[0050]
图2为本发明实施例中合成扭曲的二维码图像示意图；
[0051]
图3为本发明实施例中控制点与参考点的示意图；
[0052]
图4为本发明实施例中二维码去扭曲方法示意图。
具体实施方式
[0053]
本实施例提供的一种基于深度学习的扭曲二维码校正方法，使用插值将稀疏映射转换为密集的向后映射，用于扭曲二维码的校正工作，主要提升了扭曲校正的精度。
[0054]
现如今二维码的运用场合非常广泛，例如日常生活“扫一扫”，物流管理的信息储存等等，密集映射方法在针对性和校正精度上的优势都是已有的前向映射或向后映射所无法比拟的。
[0055]
本实施例提供的方法大体包含两部分，即捕获特征和扭曲校正。首先，通过神经网络算法进行二维码图像检测并获得图像特征数据；而在扭曲校正方面，使用插值将稀疏映射转换为密集的向后映射方法对扭曲二维码图像上的有用特征进行提取分析，再利用损失函数监督训练以获取最佳校正精度的模型。
[0056]
本实施例提供的一种基于深度学习的扭曲二维码校正方法，如图1所示，包括以下步骤
[0057]
s1、获取扭曲二维码图像，具体包括以下分步骤
[0058]
s1.1、如图2所示，应用脚本文件设计图像数据集，通过改变控制点设置图像数据集中二维码的扭曲程度；图像数据集中包括同一场景下扭曲与常规的二维码图像，通过划分得到训练集和验证集；
[0059]
s1.2、对上一步骤中获取的二维码数据集进行预处理操作，即通过随机阴影、仿射变换、高斯模糊以及背景纹理变换等方法对二维码数据集进行数据增强处理，增加训练数据，提升模型泛化效果。
[0060]
s2、采用编码器结构作为特征提取器，然后利用提取的特征以多任务方式分别预测控制点和参考点，控制点和参考点如图3所示，步骤s2具体包括以下分步骤
[0061]
s2.1、编码器结构的前两层均为卷积层，卷积层的步幅为2，且卷积核大小为3
×
3，编码器结构中还使用扩张的残差块和具有堆叠扩张卷积的空间金字塔结构；在每次卷积之后，应用批量归一化处理和relu激活函数；
[0062]
s2.2、将编码器结构最后一层的特征进行展平，并将其反馈到完全连接的神经网络中，以预测参考点之间的间隔；
[0063]
s2.3、使用两层卷积网络来预测尺寸为31
×
31
×
2的控制点，控制点在第一次卷积后应用批量归一化处理和prelu激活函数；
[0064]
s2.4、编码器结构提取图像特征并将其发送到上分支和下分支，上分支为一个用于预测参考点之间间隔的完全连接的神经网络；下分支为用于预测控制点的两层卷积网络。
[0065]
s3、在控制点和参考点之间采用插值方法来移动控制点的位置，并将稀疏映射转换为密集映射，以将控制点移动到参考点的位置；
[0066]
为了获得可变分辨率大小的输出图像，按下式对控制点进行调整，从而可以自由地更改直线图像的分辨率：
[0067][0068]
其中，m是原始控制点，r
old
和r
new
分别表示原始图像分辨率和调整后图像分辨率，f是插值和重映射，i
new
和o
new
是失真图像和具有新分辨率的校正图像。
[0069]
s4、使用损失函数对网络进行训练，不断比较训练结果来更新网络参数，构建最终的二维码去扭曲模型；
[0070]
通过使用合成参考点和控制点作为参考标准，以监督的方式训练模型；训练损失函数包括两部分，一部分为回归点的位置，另一部分为水平和垂直方向上两点之间的间隔；
[0071]
其中，使用smooth l1 loss用于控制点的位置回归，表示为l
smoothl1
；使用l1 loss对参考点进行区间回归，表示为lr；使用约束条件来期望局部交叉点处的预测位移趋势尽可能接近真实情况，表示为lc；最终损失函数定义为不同损失的线性组合：
[0072]
l＝l
sdeofhl1
+αlc+βlr[0073]
其中，α和β代表lc和lr在线性公式中所占的权重。
[0074]
步骤s4中，smooth l1 loss用于控制点的位置回归，它对异常值不太敏感，定义为：
[0075][0076][0077]
其中，nc是控制点的数量，pi和分别表示参考标准以及预测映射在2d网格中的位置。
[0078]
与其他图像关键点检测不同，二维码图像的内容布局不规则，尽管smooth l1loss指导模型如何将每个顶点放置在近似位置，但很难在每个表面点表示一个点相对于其邻居或局部细节的关系，为了建立一个更容错的模型来更好地描述形状，使用微分坐标作为中心坐标的替代表示，这将有助于在相应的方向上保持相关性，使用δ表示交点与两个方向之间的局部位置相关性，表示为：
[0079][0080]
其中，k表示元素个数，pi表示其交集；
[0081]
使用l1 loss对参考点进行区间回归，并将其定义为：
[0082][0083]
使用约束条件来期望局部交叉点处的预测位移趋势尽可能接近真实情况，位移趋势表示局部区域与其中心点之间的相对关系；将lc函数公式化如下：
[0084][0085]
所以最终损失函数定义为不同损失的线性组合：
[0086]
l＝l
sdeofhl1
+αlc+βlr[0087]
其中，α和β代表lc和lr在线性公式中所占的权重。
[0088]
s5、利用二维码去扭曲模型，对扭曲二维码图像进行校正处理。
[0089]
总体而言，本发明首先利用神经网络算法进行二维码图像检测并采用编码器结构作为特征提取器捕获图像特征；然后，利用提取的特征以多任务方式分别预测控制点和参考点；最后，使用插值将稀疏映射转换为密集的向后映射得出最终的扭曲校正结果；从而充分考虑了扭曲二维码情况复杂的特点，创造性地利用插值将稀疏映射转换为密集的向后映射，通过对图像特征的高效利用，显著地提升了扭曲校正的精度，如图4所示，校正后的二维码图像可以正常读取信息。
[0090]
除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。

技术特征：
1.一种基于深度学习的扭曲二维码校正方法，其特征在于：包括以下步骤s1、获取扭曲二维码图像；s2、采用编码器结构作为特征提取器，然后利用提取的特征以多任务方式分别预测控制点和参考点；s3、在控制点和参考点之间采用插值方法来移动控制点的位置，并将稀疏映射转换为密集映射，以将控制点移动到参考点的位置；s4、使用损失函数对网络进行训练，不断比较训练结果来更新网络参数，构建最终的二维码去扭曲模型；s5、利用二维码去扭曲模型，对扭曲二维码图像进行校正处理。2.根据权利要求1所述的一种基于深度学习的扭曲二维码校正方法，其特征在于：所述步骤s1具体包括以下分步骤s1.1、应用脚本文件设计图像数据集，通过改变控制点设置图像数据集中二维码的扭曲程度；图像数据集中包括同一场景下扭曲与常规的二维码图像，通过划分得到训练集和验证集；s1.2、对上一步骤中获取的二维码数据集进行预处理操作，以对二维码数据集进行数据增强处理，增加训练数据。3.根据权利要求2所述的一种基于深度学习的扭曲二维码校正方法，其特征在于：所述步骤s1.2中，对二维码数据集进行的预处理操作包括随机阴影、仿射变换、高斯模糊以及背景纹理变换。4.根据权利要求1所述的一种基于深度学习的扭曲二维码校正方法，其特征在于：所述步骤s2具体包括以下分步骤s2.1、编码器结构的前两层均为卷积层，编码器结构中还使用扩张的残差块和具有堆叠扩张卷积的空间金字塔结构；在每次卷积之后，应用批量归一化处理和relu激活函数；s2.2、将编码器结构最后一层的特征进行展平，并将其反馈到完全连接的神经网络中，以预测参考点之间的间隔；s2.3、使用两层卷积网络来预测尺寸为31
×
31
×
2的控制点，控制点在第一次卷积后应用批量归一化处理和prelu激活函数；s2.4、编码器结构提取图像特征并将其发送到上分支和下分支，上分支为一个用于预测参考点之间间隔的完全连接的神经网络；下分支为用于预测控制点的两层卷积网络。5.根据权利要求4所述的一种基于深度学习的扭曲二维码校正方法，其特征在于：所述步骤s2.1中，编码器结构的前两层均为卷积层，卷积层的步幅为2，且卷积核大小为3
×
3。6.根据权利要求1所述的一种基于深度学习的扭曲二维码校正方法，其特征在于：所述步骤s3中，为了获得可变分辨率大小的输出图像，按下式对控制点进行调整：其中，m是原始控制点，r
old
和r
new
分别表示原始图像分辨率和调整后图像分辨率，f是插值和重映射，i
new
和o
new
是失真图像和具有新分辨率的校正图像。7.根据权利要求1所述的一种基于深度学习的扭曲二维码校正方法，其特征在于：所述步骤s4中，通过使用合成参考点和控制点作为参考标准，以监督的方式训练模型；训练损失
函数包括两部分，一部分为回归点的位置，另一部分为水平和垂直方向上两点之间的间隔；其中，使用smooth l1 loss用于控制点的位置回归，表示为l
smoothl1
；使用l1 loss对参考点进行区间回归，表示为l
r
；使用约束条件来期望局部交叉点处的预测位移趋势，表示为l
c
；最终损失函数定义为不同损失的线性组合：l＝l
smoothl1
+αl
c
+βl
r
其中，α和β代表l
c
和l
r
在线性公式中所占的权重。8.根据权利要求7所述的一种基于深度学习的扭曲二维码校正方法，其特征在于：所述步骤s4中，smooth l1 loss用于控制点的位置回归，定义为：loss用于控制点的位置回归，定义为：其中，n
c
是控制点的数量，p
i
和分别表示参考标准以及预测映射在2d网格中的位置；使用微分坐标作为中心坐标的替代表示，使用δ表示交点与两个方向之间的局部位置相关性，表示为：其中，k表示元素个数，p
i
表示其交集；使用l1 loss对参考点进行区间回归，并将其定义为：使用约束条件来期望局部交叉点处的预测位移趋势，位移趋势表示局部区域与其中心点之间的相对关系；将l
c
函数公式化如下：所以最终损失函数定义为不同损失的线性组合：l＝l
smoothl1
+αl
c
+βl
r
其中，α和β代表l
c
和l
r
在线性公式中所占的权重。

技术总结
本发明公开了一种基于深度学习的扭曲二维码校正方法，涉及工业物联网技术领域，主要包括如下步骤：S1、输入扭曲二维码图像；S2、采用编码器结构作为特征提取器来预测控制点和参考点；S3、在控制点和参考点之间采用插值方法来移动控制点的位置，将控制点移动到参考点的位置；S4、使用损失函数对网络训练，不断优化更新网络参数，构建最终的二维码去扭曲模型；采用深度学习网络实现二维码去扭曲，通过编码器结构提取输入图像的特征，有效地提升模型对不同程度扭曲二维码图像的鲁棒性；且采用插值方法将通过将稀疏映射转换为密集映射完成了二维码去扭曲处理，不仅简化了模型对图像的处理过程，而且显著提升了对于扭曲二维码的校正能力。能力。能力。


技术研发人员：孙科学 谷文成 张瑛
受保护的技术使用者：南京邮电大学
技术研发日：2023.05.19
技术公布日：2023/8/9