一种适用于拍照文档的图像配准方法、系统、装置及介质

1.本发明涉及模式识别与人工智能技术领域，尤其涉及一种适用于拍照文档的图像配准方法、系统、装置及介质。


背景技术：

2.图像配准任务的目的在于将不同时间、不同成像设备、不同条件下获取的两幅或多幅图像进行匹配、对齐。该技术在医学图像、遥感等领域有着重要的应用，可以实现自动医学诊断、遥感图像拼接等。近年来，图像配准在自然图像中得到了广泛的研究，根据成对图像之间的差异，可分为光流对应、几何对应和语义对应，但是在文档图像研究较少。文档图像配准与几何对应更相关，可以实现文档自动化信息抽取，从而实现办公自动化。虽然人们对自然图像配准进行了深入的研究并取得了很大的进步，但是这些方法都是基于自然图像的特点进行设计的。相比于自然图像，文档图像存在大量的重复模式、无约束捕获环境引入的显著全局不对齐、需要较高的准确性和处理大变化的能力、基本元素(即字符和单词)具有比自然图像更精细的粒度结构。上述难点使得现有方法对文档图像的效果不佳。


技术实现要素：

3.为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种适用于拍照文档的图像配准方法、系统、装置及介质。
4.本发明所采用的技术方案是：
5.一种适用于拍照文档的图像配准方法，包括以下步骤：
6.获取拍照文档图像，对所述拍照文档图像进行非刚性预对齐，获得预对齐文档图像；
7.获取干净文档图像，对所述干净文档图像和预对齐文档图像进行分层对齐，获得多尺度特征图和偏移场；
8.对所述多尺度特征图和偏移场进行细粒度循环细化，获得与所述预对齐文档图像相同尺度大小的偏移场。
9.进一步地，所述拍照文档图像为通过拍摄设备拍摄获得的文档图像。由于拍摄设备和拍摄环境的影响，通常在拍照文档图像中会出现纸张扭曲、褶皱、光照阴影变化等干扰因素，均属于拍照文档图像的正常情况。
10.进一步地，所述对所述拍照文档图像进行非刚性预对齐，获得预对齐文档图像，包括：
11.对所述拍照文档图像进行边缘提取，区分所述拍照文档图像中前景文档区域和环境边界区域，获取前景文档区域的掩膜图；
12.在所述掩模图上进行控制点检测，得到四个角点和四条边上的一系列等距点；
13.将所述四个角点和四条边上的一系列等距点映射到四边形的参考点上，得到映射点对；
14.对所述映射点对进行薄板样条矫正(tps)的非刚性变换，得到预对齐文档图像。
15.进一步地，所述干净文档图像，是由数字格式进行转化得到的图像，或者是通过扫描设备扫描获得的图像。该图像通常比较规整干净并且不存在扭曲、褶皱、阴影等干扰。
16.进一步地，所述对所述干净文档图像和预对齐文档图像进行分层对齐，获得多尺度特征图和偏移场，包括：
17.将所述干净文档图像送入预设的主干网络，获得多尺度特征图
18.将所述预对齐文档图像送入预设的主干网络，获得多尺度特征图
19.对所述多尺度特征图x
t
和xs中的前三层特征进行迭代对齐，以获得偏移场。
20.进一步地，所述对所述多尺度特征图x
t
和xs中的前三层特征进行迭代对齐，以获得偏移场，包括：
21.对第l-1层多尺度特征进行上采样操作，并与第l层多尺度特征图相加，获得第l层多尺度特征图
22.通过一个相关层来计算所述多尺度特征图和之间的匹配损失；
23.通过匹配损失和cnn解码器计算得到第l层多尺度特征之间的偏移场。
24.进一步地，所述对所述多尺度特征图和偏移场进行细粒度循环细化，获得与所述预对齐文档图像相同尺度大小的偏移场，包括：
25.对第三层偏移场进行2倍上采样操作，得到放大2倍的偏移场；
26.对所述第三层偏移场进行8倍上采样操作，得到放大8倍的偏移场；
27.使用convgru单元对第4层多尺度特征图、放大2倍的偏移场和放大8倍的偏移场进行循环细化，获得与所述预对齐文档图像相同尺度大小的偏移场。
28.本发明所采用的另一技术方案是：
29.一种适用于拍照文档的图像配准系统，包括：
30.非刚性预对齐模块，用于获取拍照文档图像，对所述拍照文档图像进行非刚性预对齐，获得预对齐文档图像；
31.分层对齐模块，用于获取干净文档图像，对所述干净文档图像和预对齐文档图像进行分层对齐，获得多尺度特征图和偏移场；
32.细粒度循环细化模块，用于对所述多尺度特征图和偏移场进行细粒度循环细化，获得与所述预对齐文档图像相同尺度大小的偏移场。
33.本发明所采用的另一技术方案是：
34.一种适用于拍照文档的图像配准装置，包括：
35.至少一个处理器；
36.至少一个存储器，用于存储至少一个程序；
37.当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
38.本发明所采用的另一技术方案是：
39.一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
40.本发明的有益效果是：本发明能够处理具有不同干扰因素的拍照文档图像，包括
纸张扭曲、纸张褶皱、拍摄光照变化或者阴影变化的情况。
附图说明
41.为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
42.图1是本发明实施例中一种适用于拍照文档的图像配准方法的总体流程图；
43.图2是本发明实施例中细粒度循环细化模块的结构流程图；
44.图3是本发明实施例中使用本发明方法得到的偏移场进行文档图像矫正的效果；
45.图4是本发明实施例中一种适用于拍照文档的图像配准方法的步骤流程图。
具体实施方式
46.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
47.在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
48.在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
49.本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
50.如图4所示，本实施例提供一种适用于拍照文档的图像配准方法，该方法可以在拍照文档图像和干净文档图像之间进行图像配准对齐，得到偏移场，从而可以建立同一文档在拍照图像和干净图像场景之间的像素点到点映射关系。对文档版面分析、文档图像矫正等有重大的作用和意义。该方法具体包括以下步骤：
51.s1、获取拍照文档图像，对所述拍照文档图像进行非刚性预对齐，获得预对齐文档图像。
52.在本实施例中，该拍照文档图像可以为通过拍摄设备(例如：智能终端、摄像机等)拍摄获得的文档图像。由于拍摄设备和拍摄环境的影响，通常在拍照文档图像中会出现纸张扭曲、褶皱、光照阴影变化等干扰因素，这些都属于拍照文档图像的正常情况。
53.具体地，如图1左侧非刚性预对齐模块所示，步骤s1包括步骤s11-s14：
54.s11、使用基于深度学习的语义分割方法对拍照文档图像进行像素点分类，进而提取出拍照文档的边缘，区分该拍照文档图像中前景文档区域和环境边界区域，获取前景文档区域的掩膜图；
55.s12、使用多边形拟合算法在前景文档区域的掩膜图上提取出文档的四个角点和最小外接矩形，然后根据预设的等分比例在最小外接矩形上设置垂直等分线，使等分线和掩模图边界相交，获得掩膜图四条边界上的一系列等距点；
56.s13、将四个角点和四条边上的一系列等距点映射到四边形的四个焦点和四条边上的一系列参考点上，得到映射点对；
57.s14、对所述映射点对进行基于tps的非刚性变换，得到预对齐文档图像。
58.s2、获取干净文档图像，对所述干净文档图像和预对齐文档图像进行分层对齐，获得多尺度特征图和偏移场。
59.在本实施例中，该干净文档图像可以为由word、pdf等数字格式进行转化得到的图像，也可以是通过扫描设备扫描获得的图像，该图像通常比较规整干净并且不存在扭曲、褶皱、阴影等干扰。
60.具体地，如图1中间分层对齐模块所示，步骤s2包括步骤s21-s23：
61.s21、使用基于卷积神经网络的主干网络对干净文档图像进行特征提取，在不同深度的网络层可以获取到干净文档图像的多尺度特征图
62.s22、使用基于卷积神经网络的主干网络对预对齐文档图像进行特征提取，在不同深度的网络层可以获取到预对齐文档图像的多尺度特征图
63.s23、如图1所示，步骤s21和s22分别可以获得干净文档图像和预对齐文档图像的四层不同尺度的特征图，对多尺度特征图x
t
和xs中的前三层特征进行迭代对齐。首先，对所述第l-1层多尺度特征进行两倍上采样操作，并与第l层多尺度特征图相加，获得第l层多尺度特征图然后，通过一个全局/局部相关层来计算多尺度特征图和之间的匹配损失；最后，通过匹配损失和cnn解码器计算得到第l层多尺度特征之间的偏移场。
64.s3、对所述多尺度特征图和偏移场进行细粒度循环细化，获得与所述预对齐文档图像相同尺度大小的偏移场。
65.上述步骤s23在多尺度特征图的前三层进行迭代对齐，迭代结果获得第三层多尺度特征图的偏移场，该偏移场的宽高为预对齐文档图像宽高的1/8。步骤s3将步骤s2得到的多尺度特征和偏移场进行细粒度循环细化，从而获得与预对齐文档图像宽高相同的输出偏移场。
66.具体地，如图1中的细粒度循环细化模块和图2该模块的结构流程图所示，步骤s3包括步骤s31-s33：
67.s31、对步骤s2得到的第三层多尺度特征图的偏移场进行2倍上采样操作，该上采样操作为双线性插值，得到放大2倍的偏移场；
68.s32、对步骤s2得到的第三层多尺度特征图的偏移场进行8倍上采样操作，该上采样操作为双线性插值，得到放大8倍的偏移场；
69.s33、使用convgru单元对步骤s2得到的第4层多尺度特征图和放大2倍的偏移场和放大8倍的偏移场进行循环细化，总共迭代n次，获得与预对齐文档图像相同尺度大
小的偏移场。
70.因此，通过步骤s1-s3，可以在给定成对的干净文档图像和拍照文档图像的情况下，进行图像配准，得到两者之间的偏移场。该偏移场可以建立成对的干净文档图像和拍照文档图像之间的像素点到点映射关系，利用获得的偏移场，可以进行文档图像矫正。文档图像矫正效果如图3所示，对于拍照文档图像中存在扭曲和褶皱干扰情况下，本实施例提供的方法均能取得较好的矫正效果。
71.在一些可选的实施例中，步骤s2和s3中采用深度神经网络获取预对齐文档图像和干净文档图像的多尺度特征图和偏移场，网络参数用合成数据预先训练优化和真实数据自监督训练优化。其中网络参数优化具体包括：
72.(1)数据获取：在互联网上收集pdf文件并转化为干净的文档图像，通过数据合成技术获得对应的合成的仿拍照文档图像以及对应的偏移场。包括10000个训练数据样本，以及2000个验证数据样本；
73.(2)网络训练：
74.(2-1)构建深度神经网络：使用resnet-18模型作为主干网络，使用convgru单元作为细粒度循环细化模块的基本单元。
75.(2-2)训练方式：训练使用梯度下降算法，通过从最后一层计算梯度，逐层传递，更新所有的参数，达到训练网络的目的。训练时损失函数为l1损失。
76.(2-3)训练参数的设定：
77.迭代次数：100epoch
78.优化器：adam
79.学习率：0.0005(学习率更新策略：每经过30次迭代，学习率衰减为原来的0.3)
80.weight decay：0.0005
81.(2-4)主干网络采用在imagenet数据集上的预训练权重进行初始化，其余模块采用随机初始化参数进行初始化，然后开始训练深度神经网络。
82.本实施例还提供一种适用于拍照文档的图像配准系统，包括：
83.非刚性预对齐模块，用于获取拍照文档图像，对所述拍照文档图像进行非刚性预对齐，获得预对齐文档图像；
84.分层对齐模块，用于获取干净文档图像，对所述干净文档图像和预对齐文档图像进行分层对齐，获得多尺度特征图和偏移场；
85.细粒度循环细化模块，用于对所述多尺度特征图和偏移场进行细粒度循环细化，获得与所述预对齐文档图像相同尺度大小的偏移场。
86.本实施例的一种适用于拍照文档的图像配准系统，可执行本发明方法实施例所提供的一种适用于拍照文档的图像配准方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
87.本实施例还提供一种适用于拍照文档的图像配准装置，包括：
88.至少一个处理器；
89.至少一个存储器，用于存储至少一个程序；
90.当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图4所示方法。
91.本实施例的一种适用于拍照文档的图像配准装置，可执行本发明方法实施例所提供的一种适用于拍照文档的图像配准方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
92.本技术实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图4所示的方法。
93.本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种文档图像几何校正方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
94.在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
95.此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
96.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
97.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
98.计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
99.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
100.在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
101.尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
102.以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。

技术特征：
1.一种适用于拍照文档的图像配准方法，其特征在于，包括以下步骤：获取拍照文档图像，对所述拍照文档图像进行非刚性预对齐，获得预对齐文档图像；获取干净文档图像，对所述干净文档图像和预对齐文档图像进行分层对齐，获得多尺度特征图和偏移场；对所述多尺度特征图和偏移场进行细粒度循环细化，获得与所述预对齐文档图像相同尺度大小的偏移场。2.根据权利要求1所述的一种适用于拍照文档的图像配准方法，其特征在于，所述拍照文档图像为通过拍摄设备拍摄获得的文档图像。3.根据权利要求1所述的一种适用于拍照文档的图像配准方法，其特征在于，所述对所述拍照文档图像进行非刚性预对齐，获得预对齐文档图像，包括：对所述拍照文档图像进行边缘提取，区分所述拍照文档图像中前景文档区域和环境边界区域，获取前景文档区域的掩膜图；在所述掩模图上进行控制点检测，得到四个角点和四条边上的多个等距点；将所述四个角点和四条边上的多个等距点映射到四边形的参考点上，得到映射点对；对所述映射点对进行薄板样条矫正的非刚性变换，得到预对齐文档图像。4.根据权利要求1所述的一种适用于拍照文档的图像配准方法，其特征在于，所述干净文档图像，是由数字格式进行转化得到的图像，或者是通过扫描设备扫描获得的图像。5.根据权利要求1所述的一种适用于拍照文档的图像配准方法，其特征在于，所述对所述干净文档图像和预对齐文档图像进行分层对齐，获得多尺度特征图和偏移场，包括：将所述干净文档图像送入预设的主干网络，获得多尺度特征图将所述预对齐文档图像送入预设的主干网络，获得多尺度特征图对所述多尺度特征图x
t
和x
s
中的前三层特征进行迭代对齐，以获得偏移场。6.根据权利要求5所述的一种适用于拍照文档的图像配准方法，其特征在于，所述对所述多尺度特征图x
t
和x
s
中的前三层特征进行迭代对齐，以获得偏移场，包括：对第l-1层多尺度特征进行上采样操作，并与第l层多尺度特征图相加，获得第l层多尺度特征图通过一个相关层来计算所述多尺度特征图和之间的匹配损失；通过匹配损失和cnn解码器计算得到第l层多尺度特征之间的偏移场。7.根据权利要求6所述的一种适用于拍照文档的图像配准方法，其特征在于，所述对所述多尺度特征图和偏移场进行细粒度循环细化，获得与所述预对齐文档图像相同尺度大小的偏移场，包括：对第三层偏移场进行2倍上采样操作，得到放大2倍的偏移场；对所述第三层偏移场进行8倍上采样操作，得到放大8倍的偏移场；使用convgru单元对第4层多尺度特征图、放大2倍的偏移场和放大8倍的偏移场进行循环细化，获得与所述预对齐文档图像相同尺度大小的偏移场。8.一种适用于拍照文档的图像配准系统，其特征在于，包括：非刚性预对齐模块，用于获取拍照文档图像，对所述拍照文档图像进行非刚性预对齐，获得预对齐文档图像；
分层对齐模块，用于获取干净文档图像，对所述干净文档图像和预对齐文档图像进行分层对齐，获得多尺度特征图和偏移场；细粒度循环细化模块，用于对所述多尺度特征图和偏移场进行细粒度循环细化，获得与所述预对齐文档图像相同尺度大小的偏移场。9.一种适用于拍照文档的图像配准装置，其特征在于，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-7任一项所述方法。10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述方法。

技术总结
本发明公开了一种适用于拍照文档的图像配准方法、系统、装置及介质，其中方法包括：获取拍照文档图像，对所述拍照文档图像进行非刚性预对齐，获得预对齐文档图像；获取干净文档图像，对所述干净文档图像和预对齐文档图像进行分层对齐，获得多尺度特征图和偏移场；对所述多尺度特征图和偏移场进行细粒度循环细化，获得与所述预对齐文档图像相同尺度大小的偏移场。本发明能够处理具有不同干扰因素的拍照文档图像，包括纸张扭曲、纸张褶皱、拍摄光照变化或者阴影变化的情况。本发明可广泛应用于模式识别与人工智能技术领域。式识别与人工智能技术领域。式识别与人工智能技术领域。


技术研发人员：金连文 陈邦栋 张家鑫
受保护的技术使用者：华南理工大学
技术研发日：2023.03.16
技术公布日：2023/7/25