一种基于仿射变换和深度学习的图像特征点匹配方法

1.本发明涉及图像匹配技术领域的图像特征点匹配方法，特别是涉及了一种基于仿射变换和深度学习的图像特征点匹配方法。


背景技术：

2.图像匹配是计算机视觉领域中的一个重要研究方向，主要是指在两个或多个图像之间寻找相似点或相同区域的过程，主要包括以下内容：特征提取、特征描述、特征匹配和外点滤除。传统的图像匹配算法分为两大类，一类是特征点匹配法，这种方法首先需要对两幅图像中的特征点进行提取和描述，然后通过比较特征向量的距离来匹配两幅图像中的特征点。常用的特征点匹配算法包括sift、surf、orb等。另外一类是灰度匹配法，如光流匹配、模板匹配等。其中，模板匹配方法首先需要选取一幅图像中的模板图像，然后在另一幅图像中搜索与模板图像最相似的区域。常用的模板匹配算法包括平均绝对误差匹配、平方误差匹配等。光流匹配算法是一种基于运动信息的匹配方法。这种方法通过分析两幅连续帧之间的像素变化，推算出每个像素点的运动方向和速度，然后根据运动信息来匹配两幅图像。常用的光流匹配算法包括基于块匹配的光流匹配、基于全局优化的光流匹配等。
3.近年来，随着深度学习技术的发展，越来越多的基于神经网络的图像匹配算法也被提出并取得了比传统方法更好的效果。卷积神经网络是深度学习算法中最为常用的一种，它能够自动从原始图像中学习特征。cnn可以在保留图像原始结构信息的同时，对图像中的特征进行有效的提取和表示，这使得它成为图像匹配中的重要工具。特征描述算法则将提取到的特征进行描述，通常使用的方法是将其转化为一些向量。比较著名的深度学习特征点有superpoint等。他们通过大数据学习和训练，能对少量的形变和尺度变换有一定的适应性。但在较大尺度和形变时，效果欠佳。


技术实现要素：

4.本发明旨在解决背景技术中存在的问题，提供一种基于仿射变换和深度学习的图像特征点匹配方法，以极大提高图像特征匹配效果。本发明提出了一种使用仿射变换不变的superpoint算法来提取特征的方法，旨在解决在视角与尺度等变化较大的图像之间难以进行准确匹配的问题。所提出的图像匹配方法结合了仿射变换和深度学习superpoint特征点提取方法，有效地提高了匹配点对的数量和匹配内点率。
5.本发明提出了一种基于仿射变换和深度学习的图像特征点匹配方法。本发明利用仿射变换生成多个不同的图像，并保留相应的仿射变换矩阵。同时，采用卷积神经网络自动学习图像中的特征点并生成描述子，计算仿射变换矩阵的逆，反投影特征点到原图像，并使用描述子的欧式距离来匹配图像中的特征点。最后，通过随机抽样一致性(ransac)算法来筛选出正确的匹配对。
6.本发明能够有效提高特征点匹配的成功率，尤其是在视角变换较大的情况下，具有很好的匹配效果。其特点在于使用了superpoint算法进行特征点提取，并结合仿射变换
实现了更准确的匹配。
7.本发明采用的技术方案如下：
8.1)对待匹配的图像对进行预处理后，获得第一预处理后的图像和第二预处理后的图像；
9.2)利用多个仿射变换矩阵对第一预处理后的图像以及第二预处理后的图像分别进行仿射变换和插值后，分别获得对应的多张仿射变换后的图像；
10.3)分别提取和反投影第一预处理后的图像和第二预处理后的图像对应多张仿射变换后的图像的特征点，从而构建第一特征点集合和第二特征点集合；
11.4)使用暴力匹配方法对第一特征点集合和第二特征点集合中的仿射变换前的特征点进行匹配，获得初始匹配对集合；
12.5)采用随机抽样一致性算法初始匹配对集合进行筛选，获得最终的匹配对集合。
13.所述1)具体为：
14.分别将待匹配的图像对中的两张图像进行灰度和归一化处理，分别获得对应的灰度归一化图像并记为第一预处理后的图像和第二预处理后的图像。
15.3.1)使用卷积神经网络分别提取第一预处理后的图像和第二预处理后的图像对应多张仿射变换后的图像的特征点，从而获得第一初始特征点集合和第二初始特征点集合；
16.3.2)根据极大值抑制原理分别去除第一初始特征点集合和第二初始特征点集合中置信度较低的特征点，分别获得对应的第一去噪特征点集合和第二去噪特征点集合；
17.3.3)根据多个仿射变换矩阵分别对第一去噪特征点集合和第二去噪特征点集合进行反投影，分别获得第一仿射变换前的特征点集合和第二仿射变换前的特征点集合；
18.3.4)分别移除第一仿射变换前的特征点集合和第二仿射变换前的特征点集合中在对应预处理后的图像边界外的特征点，从而获得最终的第一特征点集合和第二特征点集合。
19.所述3.1)中的卷积神经网络为超级点网络，即superpoint网络。
20.所述4)中，对于第一特征点集合中每个仿射变换前的特征点i，计算仿射变换前的特征点i与第二特征点集合中所有仿射变换前的特征点对应的描述子之间的欧式距离，将第二特征点集合中欧式距离最小的仿射变换前的特征点作为仿射变换前的特征点i的匹配点并形成匹配对，如果当前匹配对的描述子之间的相似度小于预设阈值，则去除该匹配对，否则保留该匹配对。
21.与现有技术相比，本发明的有益效果在于：
22.1.与原始的superpoint算法相比，本发明将仿射不变性引入到了特征点的提取和描述子生成中，使其能够对图像的旋转、缩放等仿射变换具有更好的鲁棒性。
23.2.本发明能够处理多种仿射变换，并且对于复杂场景和遮挡情况下的特征点提取也有很好的表现。同时，本发明获得的描述子具有独特性，使得它在匹配效果和计算效率方面都表现出了很好的性能。
附图说明
24.图1为本发明的方法流程图。
25.图2为本发明的匹配结果图。
具体实施方式
26.下面结合附图和实施例对本发明做进一步说明。
27.如图1所示，本发明包括以下步骤：
28.1)对待匹配的图像对进行预处理后，获得第一预处理后的图像和第二预处理后的图像；
29.1)具体为：
30.将待匹配的图像对中的两张图像的尺寸相同，具体实施中，图像的尺寸越小，处理效率越高。分别将待匹配的图像对中的两张图像进行灰度和归一化处理，分别获得对应的灰度归一化图像并记为第一预处理后的图像和第二预处理后的图像。其中，首先将图像进行灰度转换，然后将灰度图除以255后，得到归一化后的图像。
31.2)利用多个仿射变换矩阵对第一预处理后的图像以及第二预处理后的图像分别进行仿射变换和插值后，分别获得对应的多张仿射变换后的图像；
32.在生成仿射变换图像过程中，包括旋转、缩放和平移三个参数。其中，旋转和缩放的设置需要通过一些参数来控制。将图像在尺度空间中缩小或放大，并对缩放后的图像进行旋转操作，通过这些操作来生成一组旋转和缩放不同的图像，并且记录此时的仿射变换矩阵。本发明选择不同的旋转角度和缩放因子来进行图像变换，这里将缩放因子t设置为这里的是在精度和图像数量之间的权衡，即具体实施中，每张图像的仿射变换矩阵为6个。旋转根据缩放值，在[0,180
°
]区间内，旋转角度间隔phi设置为72/t。当缩放参数t＝1,旋转参数phi＝0的时候，不进行任何变化。最终两幅图像之间视角缩放变化可达到32，覆盖的区域可达原图像的13.5倍。
[0033]
仿射变换矩阵a可以使用下式表示：
[0034][0035]
其中，a
11
、a
12
、a
21
、a
22
分别表示图像经过缩放、旋转、剪切后共同作用后的第一-第四参数，t
x
和ty表示第一和第二平移参数。
[0036]
在生成完图像后，由于变换后的坐标可能不是整数，需要对每个像素的值进行插值，以获取最终图像中的像素值。
[0037]
3)分别提取和反投影第一预处理后的图像和第二预处理后的图像对应多张仿射变换后的图像的特征点，从而构建第一特征点集合和第二特征点集合；
[0038]
3)具体为：
[0039]
3.1)使用卷积神经网络(cnn)分别提取第一预处理后的图像和第二预处理后的图像对应多张仿射变换后的图像的特征点，从而获得第一初始特征点集合和第二初始特征点集合；卷积神经网络为superpoint网络。
[0040]
3.2)根据极大值抑制原理分别去除第一初始特征点集合和第二初始特征点集合中置信度较低的特征点，分别获得对应的第一去噪特征点集合和第二去噪特征点集合；
[0041]
3.3)根据多个仿射变换矩阵分别对第一去噪特征点集合和第二去噪特征点集合
进行反投影，分别获得第一仿射变换前的特征点集合和第二仿射变换前的特征点集合；具体是求解仿射变换矩阵a的逆矩阵，利用逆矩阵对相应的特征点进行反投影，获得对应的仿射变换前的特征点。
[0042]
3.4)分别移除第一仿射变换前的特征点集合和第二仿射变换前的特征点集合中在对应预处理后的图像边界外的特征点，从而获得最终的第一特征点集合和第二特征点集合。
[0043]
cnn是一种强大的图像处理工具，可以自动提取图像的高层特征。在本发明中，使用superpoint算法作为特征点检测器，其基于cnn网络，并可以提取旋转不变和尺度不变的特征点。
[0044]
4)使用暴力匹配方法对第一特征点集合和第二特征点集合中的仿射变换前的特征点进行匹配，获得初始匹配对集合；
[0045]
4)中，对于第一特征点集合中每个仿射变换前的特征点i，计算仿射变换前的特征点i与第二特征点集合中所有仿射变换前的特征点对应的描述子之间的欧式距离，将第二特征点集合中欧式距离最小的仿射变换前的特征点作为仿射变换前的特征点i的匹配点并形成匹配对，如果当前匹配对的描述子之间的相似度小于预设阈值，则去除该匹配对，否则则保留该匹配对。
[0046]
其中，欧式距离的计算公式为：
[0047][0048]
其中，m
m,j
表示第一预处理后的图像中第i个特征点和第二预处理后的图像中第j个特征点的匹配程度，即欧氏距离。
[0049]
5)由于图像可能存在遮挡和噪声等问题，匹配不一定都是准确的。采用随机抽样一致性(ransac)算法初始匹配对集合进行筛选，获得最终的匹配对集合。根据这些匹配点计算h矩阵，然后计算匹配点通过h矩阵映射后的重投影误差，将误差小于一个阈值的归为内点，距离大于阈值的归为外点。接下来，将这个过程重复执行多次，选择距离内点最多的h作为最优模型。
[0050]
具体地：
[0051]
从匹配对中随机选择一组样本，根据这组样本估计出h矩阵。计算匹配对中经过h矩阵映射后的重投影误差，将距离小于一个阈值的归为内点，距离大于阈值的归为外点。如果内点的数量超过了预先设定的阈值，就使用内点重新估计h矩阵。将这个过程重复执行多次，选择距离内点最多的模型作为最优模型。
[0052]
本发明将仿射变换和深度学习方法相结合，使用superpoint算法提取特征点和描述子，提高了图像特征点匹配的准确性和鲁棒性。在仿射变换下生成多张不同的图像，利用深度学习网络提取每张图像的特征点，并生成对应的描述子。通过计算仿射变换矩阵的逆，将特征点反投影回原图像，并使用描述子的欧式距离来匹配特征点，最后通过随机抽样一致性算法筛选出正确的匹配对。通过这种方法，本发明能够有效地处理视角变化较大的图像，提高了匹配点对的数量和匹配内点率。
[0053]
为评估本发明的效果，本发明使用了公开数据集进行了实验，并得到了以下定量分析结果：分别是匹配的特征点数量以及通过外点滤除后的匹配内点率。在视角变换较大
的情况下，本发明的特征点数量和内点率明显优于传统方法。因此，本发明可以得出结论：本发明通过仿射变换的方式，在视角变换较大的情况下极大地提升了匹配的内点率和特征点数量。定性结果可见表1，定性分析结果可见图2，图2的(a)-(j)为10种图像对对应的图像匹配图，每张图像匹配图中从左向右依次是采用sift、superpoint和affine superpoint(即本发明)处理后获得的图像匹配图。由此可以看出本发明在10张图像上提取的特征点和内点率都是最高的。虽然内点率只比super point高了1％左右，但是，本发明的特征点匹配数量对，从而相应的内点匹配数量也多，证明了本发明的可行性和有效性。
[0054]
表1图像匹配特征点数量和内点率
[0055][0056]
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

技术特征：
1.一种基于仿射变换和深度学习的图像特征点匹配方法，其特征在于，包括以下步骤：1)对待匹配的图像对进行预处理后，获得第一预处理后的图像和第二预处理后的图像；2)利用多个仿射变换矩阵对第一预处理后的图像以及第二预处理后的图像分别进行仿射变换和插值后，分别获得对应的多张仿射变换后的图像；3)分别提取和反投影第一预处理后的图像和第二预处理后的图像对应多张仿射变换后的图像的特征点，从而构建第一特征点集合和第二特征点集合；4)使用暴力匹配方法对第一特征点集合和第二特征点集合中的仿射变换前的特征点进行匹配，获得初始匹配对集合；5)采用随机抽样一致性算法初始匹配对集合进行筛选，获得最终的匹配对集合。2.根据权利要求1所述的一种基于仿射变换和深度学习的图像特征点匹配方法，其特征在于，所述1)具体为：分别将待匹配的图像对中的两张图像进行灰度和归一化处理，分别获得对应的灰度归一化图像并记为第一预处理后的图像和第二预处理后的图像。3.根据权利要求1所述的一种基于仿射变换和深度学习的图像特征点匹配方法，其特征在于，所述3)具体为：3.1)使用卷积神经网络分别提取第一预处理后的图像和第二预处理后的图像对应多张仿射变换后的图像的特征点，从而获得第一初始特征点集合和第二初始特征点集合；3.2)根据极大值抑制原理分别去除第一初始特征点集合和第二初始特征点集合中置信度较低的特征点，分别获得对应的第一去噪特征点集合和第二去噪特征点集合；3.3)根据多个仿射变换矩阵分别对第一去噪特征点集合和第二去噪特征点集合进行反投影，分别获得第一仿射变换前的特征点集合和第二仿射变换前的特征点集合；3.4)分别移除第一仿射变换前的特征点集合和第二仿射变换前的特征点集合中在对应预处理后的图像边界外的特征点，从而获得最终的第一特征点集合和第二特征点集合。4.根据权利要求3所述的一种基于仿射变换和深度学习的图像特征点匹配方法，其特征在于，所述3.1)中的卷积神经网络为超级点网络。5.根据权利要求1所述的一种基于仿射变换和深度学习的图像特征点匹配方法，其特征在于，所述4)中，对于第一特征点集合中每个仿射变换前的特征点i，计算仿射变换前的特征点i与第二特征点集合中所有仿射变换前的特征点对应的描述子之间的欧式距离，将第二特征点集合中欧式距离最小的仿射变换前的特征点作为仿射变换前的特征点i的匹配点并形成匹配对，如果当前匹配对的描述子之间的相似度小于预设阈值，则去除该匹配对，否则保留该匹配对。

技术总结
本发明公开了一种基于仿射变换和深度学习的图像特征点匹配方法。本发明在仿射变换下生成多张不同的图像，利用深度学习网络提取图像对的特征点，并生成对应的描述子。通过计算仿射变换矩阵的逆，将特征点反投影回原图像，并使用描述子的欧式距离来匹配特征点，最后通过随机抽样一致性算法筛选出正确的匹配对。本发明将仿射变换和深度学习特征点相结合，通过在多个变换尺度上提取特征点，提高了图像特征点匹配的准确性和鲁棒性，可以使得最终获取的特征点具有较强的尺度和形变不变性，从而提高在大尺度和视角形变场景下特征点匹配的成功率，本发明在匹配成功率方面取得了显著的提升。升。升。


技术研发人员：赵腾起 项志宇
受保护的技术使用者：浙江大学
技术研发日：2023.04.10
技术公布日：2023/7/20