一种基于匹配追踪的动态图像配准方法、系统及装置

1.本发明涉及图像配准领域，尤其涉及一种基于匹配追踪的动态图像配准方法、系统及装置。


背景技术：

2.图像配准是一种实现图像几何校准的技术，它通过计算单应性矩阵来获得基准图像与待配准图像之间的映射关系。在图像配准中，单应性矩阵扮演着举足轻重的角色，通过在多幅图像中找到对应的特征点，并计算这些点对应的单应性矩阵，可以实现图像的配准和重构。然而在使用特征点检测算子检测图像时，往往会出现大量平凡且聚集的特征点，根据这些特征点计算得到的单应性矩阵，会出现对图像局部区域的过度描述，进而导致配准质量低。


技术实现要素：

3.为了解决上述技术问题，本发明的目的是提供一种基于匹配追踪的动态图像配准方法、系统及装置，能够选取出有效描述图像的特征点，提升单应性矩阵重构精度，进而提高图像配准质量。
4.本发明所采用的第一技术方案是：一种基于匹配追踪的动态图像配准方法，包括以下步骤：读取图像并进行初步特征点匹配，得到匹配点；根据匹配点构建初始单应性矩阵；基于残差矩阵选择残差最大的匹配点，并更新所选匹配点抑制半径内的所有匹配点的距离权值；基于所选匹配点更新单应性矩阵；返回选择匹配点步骤，直至满足迭代停止条件，得到最终单应性矩阵；基于最终单应性矩阵完成图像配准。
5.进一步，所述读取图像并进行初步特征点匹配，得到匹配点这一步骤，其具体包括：获取待处理图像；对待处理图像进行特征点检测处理，得到所述待处理图像对应的特征点；根据所述特征点计算汉明距离并排除错误匹配的特征点，完成特征点的初匹配，得到匹配点。
6.通过该优选步骤，利用常规特征点检测和匹配方法进行初步匹配，后续针对该初步匹配的结果进行处理。
7.进一步，还包括：基于目标识别方法对匹配点赋予位置权值并进行初步筛选。
8.通过该优选步骤，通过深度学习目标识别技术对匹配点赋予位置权值，筛去不稳
定的匹配点，以确保剩余的匹配点能够更准确地描述图像。
9.进一步，所述基于残差矩阵选择残差最大的匹配点，并更新所选匹配点抑制半径内的所有匹配点的距离权值这一步骤，其具体包括：引入残差矩阵；基于残差矩阵计算匹配点的残差大小并选择残差最大的匹配点；定义存储矩阵并将预设数量匹配点的转置向量添加至存储矩阵；设定抑制半径并更新所选匹配点抑制半径内的所有匹配点的距离权值。
10.通过该优选步骤，迭代更新残差矩阵，每次选择残差最大的匹配点，综合考虑所选特征点的稳定性和显著性，淘汰其他不显著的平凡的特征点，有利于提升单应性矩阵重构的精度；为所选匹配点抑制半径内的所有特征相似的匹配点更新距离权值，降低该范围内的匹配点在下一次迭代中被再次选中的可能性，以减少对图像的冗余描述，有利于提高所选匹配点的离散性。
11.进一步，所述残差矩阵公式表示如下：上式中，e表示残差矩阵，表示残差矩阵的展开形式，表示残差矩阵的第一行，表示残差矩阵的第n行，表示位置权值的展开形式，表示位置权值的第一行，表示位置权值的第n行，表示距离权值的展开形式，表示距离权值的第一行，表示距离权值的第n行，表示系数矩阵的对应行，h表示单应性矩阵，表示对应元素相乘，表示待配准图像中对应匹配点在第二图像上的坐标信息，n由匹配点的数量确定。
12.进一步，所述距离权值的更新公式如下：
上式中，表示距离权值，表示更新前的距离权值，表示被赋予距离权值的一对匹配点分别到其对应中心的距离的几何平均，a、b、k表示预设常数，e表示自然常数。
13.进一步，还包括：对特征点进行归一化处理。
14.通过该优选步骤，对所有特征点坐标归一化处理，有助于后续坐标的计算处理。
15.进一步，所述基于最终单应性矩阵完成图像配准这一步骤，其具体包括：将最终单应性矩阵还原为实际坐标的单应性矩阵；根据实际坐标的单应性矩阵进行投影映射，完成图像配准。
16.通过该优选步骤，两幅待处理图像中第一图像的点最终通过单应性矩阵映射到第二图像中，从而完成图像的配准。
17.本发明所采用的第二技术方案是：一种基于匹配追踪的动态图像配准系统，包括：初步匹配模块，用于读取图像并进行初步特征点匹配，得到匹配点；初始矩阵模块，用于根据匹配点构建初始单应性矩阵；更新模块，基于残差矩阵选择残差最大的匹配点，并更新所选匹配点抑制半径内的所有匹配点的距离权值；基于所选匹配点更新单应性矩阵；判定模块，返回选择匹配点步骤，直至满足迭代停止条件，得到最终单应性矩阵；配准模块，基于最终单应性矩阵完成图像配准。
18.本发明所采用的第三技术方案是：一种基于匹配追踪的动态图像配准装置，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种基于匹配追踪的动态图像配准方法。
19.本发明方法、系统及装置的有益效果是：本发明通过深度学习目标识别技术对每类匹配点赋予不同的位置权值，以获取能够准确描述图像的匹配点；通过残差矩阵的迭代更新并选择残差最大的匹配点，能够淘汰不显著的平凡匹配点，有利于提升单应性矩阵重构的精度；通过为所选匹配点抑制半径内的所有特征相似的匹配点更新距离权值，能够减少对图像的冗余描述，有利于提高所选匹配点的离散性。本发明重构的单应性矩阵能更精确地描述图像间的映射关系，以便最终更好地实现动态图像配准。
附图说明
20.图1是本发明一种基于匹配追踪的动态图像配准方法的步骤流程图；图2是本发明具体实施例距离权值在区间上的映射图像；图3是本发明具体实施例图像像素点的映射示意图；图4是本发明一种基于匹配追踪的动态图像配准系统的结构框图。
21.附图标记：1、第一图像；2、第二图像。
具体实施方式
22.下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的
步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
23.如图1所示，本发明提供了一种基于匹配追踪的动态图像配准方法，该方法包括以下步骤：s1、读取图像并进行初步特征点匹配，得到匹配点；s1.1、获取待处理的多张图像；s1.2、对待处理图像进行特征点检测处理，得到所述待处理图像对应的特征点；具体地，通过特征点检测算子，如sift算子、surf算子、orb算子等，完成图像特征点的检测，并使用128维的向量作为描述符来描述这些特征点。
24.s1.3、根据所述特征点计算汉明距离并排除错误匹配点，完成特征点的初匹配，得到匹配点。
25.具体地，计算每两幅图像特征点之间的描述符的汉明距离，以完成特征点的初匹配，然后使用ransac算法来排除错误匹配点，从而最终完成每两幅图像特征点的初匹配。
26.s2、基于目标识别方法对匹配点赋予位置权值并进行初步筛选。
27.使用深度学习目标识别技术，识别图像内动态目标并获得对应目标框，实现对不同匹配点赋予位置权值，其中对任意：(1)筛除位置权值为0的匹配点，完成初步筛选。
28.s3、根据匹配点构建初始单应性矩阵；s3.1、平移图像坐标，使图像坐标原点为特征点的重心。坐标平均偏移量如下：(2)上式中，为待配准图像中第对匹配点，待配准图像包括第一图像和第二图像，表示第对匹配点第一图像的x坐标，表示第对匹配点第一图像的y坐标，表示第对匹配点第二图像的x坐标，表示第对匹配点第二图像的y坐标，n由匹配点的数量确定，表示第一图像所有匹配点的重心的x坐标平均偏移量，表示第一图像所有匹配点的重心的y坐标平均偏移量，表示第二图像所有匹配点的重心的x坐标平均偏移量，表示第二图像所有匹配点的重心的y坐标平均偏移量。
29.s3.2、对图像坐标缩放，使特征点到原点的平均距离为1。坐标缩放尺度如下：
ꢀꢀ
(3)上式中，表示第一图像所有匹配点的x坐标的缩放尺度，表示第一图像所有匹
配点的y坐标的缩放尺度，表示第二图像所有匹配点的x坐标的缩放尺度，表示第二图像所有匹配点的y坐标的缩放尺度。
30.s3.3、构造对应坐标变换矩阵，实现对所有特征点坐标归一化处理：
ꢀꢀ
(4)上式中，为归一化后的一对特征点的坐标，即归一化后的匹配点。
31.s3.4、求解单应性矩阵的标准线性方程组如下：(5)上式中，单应性矩阵，为待配准图像中第对匹配点，。
32.s3.5、由于尺度等价性，令，将单应性矩阵尺度固定住。上述方程组等价形式如下：(6)上式中，一组匹配点贡献两行，故系数矩阵为的形式，m表示目标矩阵，用于存放系数矩阵中每一行系数向量对应的目标值；由于是第一幅图像向第二幅图像映
射，故目标矩阵m的实际含义是：用于存放该对匹配点在第二幅图像上的坐标值。系数矩阵中的每一行系数向量乘以h等于目标值，得到的每一个约束方程用于构造最小二乘问题求解h中的8个未知参数。
33.s4、基于残差矩阵选择残差最大的匹配点，并更新所选匹配点抑制半径内的所有匹配点的距离权值；s4.1、引入残差矩阵，用于寻找对单应性矩阵的重构贡献较大且相对稳定的匹配点。
34.残差矩阵定义如下：(7)上式中，e表示残差矩阵，表示残差矩阵e的对应行，表示位置权值的对应行，表示距离权值的对应行，表示系数矩阵的对应行，表示对应元素相乘，表示待配准图像中对应匹配点在第二图像上的坐标信息，n由匹配点的数量确定，n由匹配点的数量确定。
35.s4.2、定义存储矩阵f，其初值为空集，用于存放所选匹配点在系数矩阵a中对应的两个系数向量的转置。一对匹配点在系数矩阵a中贡献两行，故一对匹配点在存储矩阵f中贡献两个转置系数向量，如： (8)上式中，上式中，对匹配点对应的第1个系数向量的转置，对匹配点对应的第1个系数向量的转置，对匹配点对应的第1个系数向量的转置，对匹配点对应的第2个系数向量的转置，其中表示向上取整，k表示预设常数，一般取10。
36.s4.3、随机选择位置权值为1的四组匹配点代入式(6)中，完成单应性矩阵中的初始化，并将4组匹配点的8个转置向量添加到存储矩阵f当中。
37.s4.4、为每个已选择过的匹配点设定抑制半径，并更新抑制半径内所有匹配点的距离权值。所有匹配点初始距离权值均设为1，其用如下表达式衡量：(9)上式中，表示更新前的距离权值，即当前的距离权值，表示被赋予距离权值的一对匹配点分别到其对应中心的距离的几何平均，a、b、k表示预设常数，e表示自然常数。
38.通常，令式中实现距离权值在区间上的映射，函数图像参
照图2。
39.s4.4、计算匹配点的残差大小。
40.具体地，求取最大相关，将单应性矩阵代入式(7)中计算的残差，完成对残差矩阵的更新。
41.s4.5、将残差矩阵中第个最大残差对应的匹配点的两个转置向量添加到存储矩阵f中，并按式（9）更新距离权值。
42.s5、基于所选匹配点更新单应性矩阵；将该次迭代所选匹配点的对应两个系数向量的转置存入储存矩阵f中，再依据更新后的存储矩阵f更新单应性矩阵。该过程对应求解一个最小二乘问题：(10)上式中，为转置符号，此时仅包含f中已有向量对应的目标值，表示向量的l2范数。
43.s6、返回步骤s4，直至满足迭代停止条件，跳出循环，得到最终单应性矩阵；具体地，循环步骤s4.4-s5，直到残差矩阵的范数小于预设阈值或者存储矩阵f中列向量的个数超过预设阈值，则迭代过程停止，表示已经找到了一个足够稀疏的表示，用于重构单应性矩阵。
44.存储矩阵f中列向量的个数等同于匹配点的数目。
45.s7、基于最终单应性矩阵完成图像配准。
46.s7.1、将重构出的最终单应性矩阵还原成一般形式的最终单应性矩阵：(11)s7.2、由于之前经过对特征点坐标归一化处理，还需要将一般形式的最终单应性矩阵还原成实际坐标下的最终单应性矩阵：(12)其中，表示第一恢复矩阵，表示第二恢复矩阵，和的表达式如下：(13)s7.3、根据实际坐标的单应性矩阵进行投影映射，完成图像配准。
47.相机围绕一点进行旋转得到两幅不同的图像时（如图3所示），则两幅图像之间即为投影映射，它们之间的关系就可以用实际坐标下的最终单应性矩阵来描述。图中为
第一图像中的一点，则映射到第二图像中的另一点。所以第一图像中的点最终通过实际坐标下的最终单应性矩阵映射到第二图像中，从而完成图像的配准。
48.如图4所示，一种基于匹配追踪的动态图像配准系统，包括：初步匹配模块，用于读取图像并进行初步特征点匹配，得到匹配点；初始矩阵模块，用于根据匹配点构建初始单应性矩阵；更新模块，基于残差矩阵选择残差最大的匹配点，并更新所选匹配点抑制半径内的所有匹配点的距离权值；基于所选匹配点更新单应性矩阵；判定模块，返回选择匹配点步骤，直至满足迭代停止条件，得到最终单应性矩阵；配准模块，基于最终单应性矩阵完成图像配准。
49.上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
50.一种基于匹配追踪的动态图像配准装置：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种基于匹配追踪的动态图像配准方法。
51.上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
52.一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现如上所述一种基于匹配追踪的动态图像配准方法。
53.上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
54.以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。

技术特征：
1.一种基于匹配追踪的动态图像配准方法，其特征在于，包括以下步骤：读取图像并进行初步特征点匹配，得到匹配点；根据匹配点构建初始单应性矩阵；基于残差矩阵选择残差最大的匹配点，并更新所选匹配点抑制半径内的所有匹配点的距离权值；基于所选匹配点更新单应性矩阵；返回选择匹配点步骤，直至满足迭代停止条件，得到最终单应性矩阵；基于最终单应性矩阵完成图像配准。2.根据权利要求1所述一种基于匹配追踪的动态图像配准方法，其特征在于，所述读取图像并进行初步特征点匹配，得到匹配点这一步骤，其具体包括：获取待处理图像；对待处理图像进行特征点检测处理，得到所述待处理图像对应的特征点；根据所述特征点计算汉明距离并排除错误匹配的特征点，完成特征点的初匹配，得到匹配点。3.根据权利要求2所述一种基于匹配追踪的动态图像配准方法，其特征在于，还包括：基于目标识别方法对匹配点赋予位置权值并进行初步筛选。4.根据权利要求3所述一种基于匹配追踪的动态图像配准方法，其特征在于，所述基于残差矩阵选择残差最大的匹配点，并更新所选匹配点抑制半径内的所有匹配点的距离权值这一步骤，其具体包括：引入残差矩阵；基于残差矩阵计算匹配点的残差大小并选择残差最大的匹配点；定义存储矩阵并将预设数量匹配点的转置向量添加至存储矩阵；设定抑制半径并更新所选匹配点抑制半径内的所有匹配点的距离权值。5.根据权利要求4所述一种基于匹配追踪的动态图像配准方法，其特征在于，所述残差矩阵公式表示如下：上式中，e表示残差矩阵，表示残差矩阵的展开形式，表示残差矩阵的第一行，表示残差矩阵的第n行，表示位置权值的展开形式，表示位置权值的第一行，表示位置权值的第n行，
表示距离权值的展开形式，表示距离权值的第一行，表示距离权值的第n行，表示系数矩阵的对应行，h表示单应性矩阵，表示对应元素相乘，表示待配准图像中对应匹配点在第二图像上的坐标信息，n由匹配点的数量确定。6.根据权利要求4所述一种基于匹配追踪的动态图像配准方法，其特征在于，所述距离权值的更新公式如下：上式中，表示距离权值，表示更新前的距离权值，表示被赋予距离权值的一对匹配点分别到其对应中心的距离的几何平均，a、b、k表示预设常数，e表示自然常数。7.根据权利要求2所述一种基于匹配追踪的动态图像配准方法，其特征在于，还包括：对特征点进行归一化处理。8.根据权利要求7所述一种基于匹配追踪的动态图像配准方法，其特征在于，所述基于最终单应性矩阵完成图像配准这一步骤，其具体包括：将最终单应性矩阵还原为实际坐标的单应性矩阵；根据实际坐标的单应性矩阵进行投影映射，完成图像配准。9.一种基于匹配追踪的动态图像配准系统，其特征在于，包括：初步匹配模块，用于读取图像并进行初步特征点匹配，得到匹配点；初始矩阵模块，用于根据匹配点构建初始单应性矩阵；更新模块，基于残差矩阵选择残差最大的匹配点，并更新所选匹配点抑制半径内的所有匹配点的距离权值；基于所选匹配点更新单应性矩阵；判定模块，返回选择匹配点步骤，直至满足迭代停止条件，得到最终单应性矩阵；配准模块，基于最终单应性矩阵完成图像配准。10.一种基于匹配追踪的动态图像配准装置，其特征在于，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-8任一项所述一种基于匹配追踪的动态图像配准方法。

技术总结
本发明公开了一种基于匹配追踪的动态图像配准方法、系统及装置，该方法包括：读取图像并进行初步特征点匹配；构建初始单应性矩阵；基于残差矩阵选择残差最大的匹配点，并更新所选匹配点抑制半径内的所有匹配点的距离权值；更新单应性矩阵；返回选择匹配点步骤，直至满足迭代停止条件，得到最终单应性矩阵；完成图像配准。该系统包括：初步匹配模块、初始矩阵模块、更新模块、判定模块和配准模块。该装置包括存储器以及用于执行上述基于匹配追踪的动态图像配准方法的处理器。通过使用本发明，能够选取有效描述图像的特征点，提升单应性矩阵重构精度，进而提高图像配准质量。本发明可广泛应用于图像配准领域。应用于图像配准领域。应用于图像配准领域。


技术研发人员：朱正东 杨祖元 李陵江 谢双龙 冯浩天 谢胜利
受保护的技术使用者：广东工业大学
技术研发日：2023.06.15
技术公布日：2023/7/21