图像配准方法、装置、计算机可读存储介质及电子设备与流程

1.本发明涉及图像配准领域，具体而言，涉及一种图像配准方法、装置、计算机可读存储介质及电子设备。


背景技术：

2.图像配准就是将不同时间、不同传感器、不同成像设备或不同条件下（天候、照度、摄像位置和角度等）获取的两幅或多幅图像进行匹配、叠加的过程，图像配准已经被广泛地应用于遥感数据分析、计算机视觉、图像处理、材料力学等领域。
3.例如，在医学图像处理与分析中，对于同一患者，可以采集具有准确解剖信息的图像，诸如ct（computed tomography，电子计算机断层扫描）、mri（magnetic resonance imaging，磁共振成像）等图像；同时，也可以采集到含有功能信息的图像，诸如pet（positron emission tomography，正电子发射断层成像术）等图像。采用正确的图像配准方法可以将多种多样的信息准确地融合到同一图像中，使医生更方便更精确地从各个角度观察病灶和结构。此外，通过对不同时刻采集的动态图像进行配准，可以定量分析病灶和器官的变化情况，使得医疗诊断、制定手术计划、放射治疗计划更准确可靠。又例如，在计算机视觉领域，图像配准可被用来进行视频分析、模式识别，自动跟踪对象的运动变化。再例如，在材料力学方面，图像配准可以用来研究力学性质。通过对不同相机、不同传感器采集到的信息（形状、温度等）进行融合比较，可以计算得到例如应变场、温度场等数值，通过带入理论模型可以进行参数反向优化等。
4.目前，相关技术在图像配准过程中，通常采用单一的配准方法对图像中的所有区域进行图像配准，从而存在配准准确性低的问题。
5.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

6.本发明实施例提供了一种图像配准方法、装置、计算机可读存储介质及电子设备，以至少解决现有技术在图像配准过程中，采用单一的配准方法对图像中的所有区域进行图像配准，导致配准准确性低的技术问题。
7.根据本发明实施例的一个方面，提供了一种图像配准方法，包括：获取待配准图像和参考图像；识别待配准图像中需要进行刚性配准的区域，得到第一区域，并将待配准图像中除第一区域以外的区域确定为第二区域；根据参考图像，对待配准图像中的第一区域进行刚性配准以及对第二区域进行形变配准，得到目标图像。
8.进一步地，图像配准方法还包括：确定用于将待配准图像形变配准至参考图像的第一初始形变场；从第一初始形变场中提取与第一区域匹配的第一子形变场；获取第一刚性配准参数，并利用第一刚性配准参数对第一初始形变场中的第一子形变场进行修正，得到修正后的第一初始形变场；利用修正后的第一初始形变场，对待配准图像中的第一区域进行刚性配准以及对第二区域进行形变配准，得到目标图像。
9.进一步地，图像配准方法还包括：根据第一子形变场，计算第一区域中每个像素形变配准后的第一坐标；对于每个像素，根据像素在待配准图像中的坐标和像素的第一坐标，建立第一刚性配准方程组；根据第一区域中多个像素的第一刚性配准方程组求解第一刚性配准参数。
10.进一步地，图像配准方法还包括：根据第一刚性配准参数，计算第一区域中每个像素刚性配准后的第二坐标；对于每个像素，根据像素在待配准图像中的坐标和像素的第二坐标，确定像素匹配的形变向量；采用各个像素匹配的形变向量替换第一初始形变场的第一子形变场中的形变向量，得到修正后的第一初始形变场。
11.进一步地，图像配准方法还包括：在得到目标图像之后，确定用于将目标图像形变配准至参考图像的形变场；基于修正后的第一初始形变场和目标图像匹配的形变场，确定第二初始形变场；重复执行对第二初始形变场进行修正，并利用修正后的第二初始形变场对待配准图像进行配准的步骤，直至满足预设迭代条件，将得到的目标图像确定为图像配准结果。
12.进一步地，图像配准方法还包括：利用第一刚性配准参数对第二初始形变场进行修正，得到修正后的第二初始形变场，或者，根据第二子形变场，计算第一区域中每个像素形变配准后的第二坐标，其中，第二子形变场为第二初始形变场中与第一区域匹配的形变场；对于每个像素，根据像素在待配准图像中的坐标和像素的第二坐标，建立第二刚性配准方程组；根据第二区域中多个像素的第二刚性配准方程组求解第二刚性配准参数；利用第二刚性配准参数对第二初始形变场进行修正，得到修正后的第二初始形变场。
13.进一步地，图像配准方法还包括：在得到目标图像之后，判断目标图像中是否存在第一像素位置，其中，第一像素位置为待配准图像中不同像素配准后发生重叠的像素位置；在存在第一像素位置的情况下，根据不同像素在待配准图像中的像素值，确定第一像素位置的像素值；根据第一像素位置的像素值对目标图像中处于第一像素位置的像素进行赋值，得到更新后的目标图像。
14.进一步地，图像配准方法还包括：在得到目标图像之后，判断目标图像中是否存在第二像素位置，其中，第二像素位置不同于待配准图像中任意一个像素配准后的像素位置；在存在第二像素位置的情况下，利用目标插值法，根据目标像素值确定第二像素位置的像素值，其中，目标像素值为目标图像中的像素值或者待配准图像中的像素值；根据第二像素位置的像素值对目标图像中处于第二像素位置的像素进行赋值，得到更新后的目标图像。
15.根据本发明实施例的另一方面，还提供了一种图像配准装置，包括：获取模块，用于获取待配准图像和参考图像；识别模块，用于识别待配准图像中需要进行刚性配准的区域，得到第一区域，并将待配准图像中除第一区域以外的区域确定为第二区域；配准模块，用于根据参考图像，对待配准图像中的第一区域进行刚性配准以及对第二区域进行形变配准，得到目标图像。
16.根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述的图像配准方法。
17.根据本发明实施例的另一方面，还提供了一种电子设备，电子设备包括一个或多个处理器；存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行
时，使得一个或多个处理器实现用于运行程序，其中，程序被设置为运行时执行上述的图像配准方法。
18.在本发明实施例中，采用通过不同的配准方法对图像中的不同区域进行配准的方式，通过获取待配准图像和参考图像，然后识别待配准图像中需要进行刚性配准的区域，得到第一区域，并将待配准图像中除第一区域以外的区域确定为第二区域，从而根据参考图像，对待配准图像中的第一区域进行刚性配准以及对第二区域进行形变配准，得到目标图像。
19.在上述过程中，通过将待配准图像中的区域区分为第一区域和第二区域，并对第一区域和第二区域采用不同的配准方法，实现了根据待配准图像中各区域的配准需求，对各区域进行具有针对性的配准，从而提高了配准准确性，避免了对待配准图像中所有区域采用单一配准方法时，配准方法无法适配图像中所有区域的现象。
20.由此可见，本技术所提供的方案达到了通过不同的配准方法对图像中的不同区域进行配准的目的，从而实现了提高配准准确性的技术效果，进而解决了现有技术在图像配准过程中，采用单一的配准方法对图像中的所有区域进行图像配准，导致配准准确性低的技术问题。
附图说明
21.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
22.图1是根据本发明实施例的一种可选的图像配准方法的示意图；
23.图2是根据本发明实施例的一种可选的参考图像的示意图；
24.图3是根据本发明实施例的一种可选的待配准图像的示意图；
25.图4是根据本发明实施例的一种可选的待配准图像对应的骨骼二值图的示意图；
26.图5是根据本发明实施例的一种可选的第一初始形变场的示意图；
27.图6是根据本发明实施例的一种可选的第一子形变场的示意图；
28.图7是根据本发明实施例的一种可选的图像配准装置的示意图；
29.图8是根据本发明实施例的一种可选的电子设备的示意图。
具体实施方式
30.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
31.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于
清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
32.实施例1
33.根据本发明实施例，提供了一种图像配准方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
34.本技术所提供的图像配准方法可以应用于医学影像处理、遥感影像处理、车辆智能驾驶、工业产品检测等场景。在本实施例中，以医学影像处理场景为示例，对前述的图像配准方法进行说明。
35.图1是根据本发明实施例的一种可选的图像配准方法的示意图，如图1所示，该方法包括如下步骤：
36.步骤s101，获取待配准图像和参考图像。
37.可选的，可以将电子设备、应用系统、服务器等装置作为执行主体执行前述的图像配准方法，在本实施例中，将目标配准系统作为执行主体以获取待配准图像和参考图像，目标配准系统用于将待配准图像配准至参考图像。其中，参考图像为在配准过程中作为基准参考的图像，其不需要移动、旋转或变形，待配准图像为在配准过程中需要进行移动、旋转或变形的图像。
38.可选的，在医学影像处理场景中，待配准图像和参考图像可以是ct\mri\cbct（锥形束ct）\pet等多模态图像，也可以是其它类型的图像。例如，一种可选的参考图像如图2所示，在图2中，包含骨骼区域以及非骨骼区域，一种可选的待配准图像如图3所示，在图3中，同样包含骨骼区域和非骨骼区域。
39.步骤s102，识别待配准图像中需要进行刚性配准的区域，得到第一区域，并将待配准图像中除第一区域以外的区域确定为第二区域。
40.由于待配准图像中并非所有区域对应的部位均会随时间变化发生形变，因此，在配准过程中，对于这些不会发生形变或者是形变程度可以忽略的部位在待配准图像中所对应的区域（即前述的第一区域），可以采用刚性配准；对于可能发生一定形变的部位在待配准图像中所对应的区域（即前述的第二区域），采用形变配准。其中，形变程度可以忽略的部位是指预测的形变程度值小于预设程度值的部位，可能发生一定形变的部位是指预测的形变程度值大于或等于预设程度值的部位。
41.可选的，根据应用场景的不同，用户可以预先确定前述的不会发生形变或者是形变程度可以忽略的部位。进一步地，目标配准系统可以根据部位的特征，在待配准图像中识别该部位所对应的区域，从而得到第一区域。其中，待配准图像中可以存在一个或多个第一区域。
42.例如，在医学影像处理场景下，待配准图像为ct图像，前述的不会发生形变或者是形变程度可以忽略的部位可以是骨骼，其中，松质骨的ct值最小值约300hu。图4是根据本发明实施例的一种可选的待配准图像对应的骨骼二值图的示意图，可选的，目标配准系统可以以300hu为阈值对图3中的待配准图像做阈值分割，得到如图4所示的骨骼二值图，然后对骨骼二值图中的连通区域进行标记，从而得到图4中所示出的连通区域和连通区域，进
而可以将连通区域在待配准图像中所对应的区域确定为一个第一区域，将连通区域在待配准图像中所对应的区域确定为另一个第一区域，由此实现对第一区域的确定。其中，在前述的阈值分割的过程中，目标配准系统可以确定每个像素的ct值，并将每个像素的ct值与前述的300hu进行比较，从而根据比较结果确定每个像素对应的区域是否属于第一区域。
43.又例如，目标配准系统可以根据预先训练好的神经网络模型，对待配准图像中的第一区域进行识别，从而根据神经网络模型的识别结果确定第一区域。其中，前述的神经网络模型的训练样本集由标记有第一区域的样本图像构成。
44.进一步地，目标配准系统可以将待配准图像中除第一区域以外的区域确定为第二区域。
45.步骤s103，根据参考图像，对待配准图像中的第一区域进行刚性配准以及对第二区域进行形变配准，得到目标图像。
46.可选的，目标配准系统可以确定用于对第一区域进行刚性配准的刚性配准参数，并确定将待配准图像形变配准至参考图像的形变场，从而根据第一区域匹配的刚性配准参数对待配准图像匹配的形变场进行修正，然后根据修正后的形变场对待配准图像中的第一区域进行刚性配准以及对第二区域进行形变配准，得到目标图像。
47.可选的，目标配准系统也可以确定用于对第一区域进行刚性配准的刚性配准参数，并确定用于对第二区域进行形变配准的形变场，从而根据刚性配准参数对第一区域进行刚性配准，根据形变场对第二区域进行形变配准，得到目标图像。
48.其中，对确定第一区域匹配的刚性配准参数以及确定第二区域匹配的形变场的过程进行说明。可选的，目标配准系统可以从参考图像中识别出前述的不会发生形变或者是形变程度可以忽略的部位所匹配的区域，然后将该区域作为第一区域的参考区域，从而根据第一区域的参考区域确定用于对第一区域进行刚性配准的刚性配准参数。此外，将该参考图像中的剩余区域作为第二区域的参考区域，从而根据第二区域的参考区域确定用于对第二区域进行形变配准的形变场。
49.可选的，目标配准系统也可以根据参考图像确定用于对待配准图像进行刚性配准的刚性配准参数，并根据参考图像确定用于对待配准图像进行形变配准的形变场，从而将待配准图像匹配的刚性配准参数确定为第一区域匹配的刚性配准参数，从待配准图像匹配的形变场中确定第二区域匹配的形变场。
50.进一步地，对得到目标图像的过程进行说明。可选的，目标配准系统可以从待配准图像中裁剪出第一区域，然后根据第一区域的刚性配准参数对第一区域进行刚性配准，得到第一子图像，根据第二区域匹配的形变场对裁剪后的待配准图像（也即前述的第二区域）进行形变配准，得到第二子图像，从而对第一子图像和第二子图像进行融合，得到目标图像。
51.可选的，目标配准系统也可以将第一区域匹配的刚性配准参数转换为形变场的形式，从而将第一区域匹配的形变场和第二区域匹配的形变场进行融合，进而通过融合后的形变场对第一区域进行刚性配准以及对第二区域进行形变配准，得到目标图像。
52.需要强调的是，当第一区域的数量为多个时，不同第一区域的刚性配准参数可以相同也可以不同。
53.基于上述步骤s101至步骤s103所限定的方案，可以获知，在本发明实施例中，采用
通过不同的配准方法对图像中的不同区域进行配准的方式，通过获取待配准图像和参考图像，然后识别待配准图像中需要进行刚性配准的区域，得到第一区域，并将待配准图像中除第一区域以外的区域确定为第二区域，从而根据参考图像，对待配准图像中的第一区域进行刚性配准以及对第二区域进行形变配准，得到目标图像。
54.容易注意到的是，在上述过程中，通过将待配准图像中的区域区分为第一区域和第二区域，并对第一区域和第二区域采用不同的配准方法，实现了根据待配准图像中各区域的配准需求，对各区域进行具有针对性的配准，从而提高了配准准确性，避免了对待配准图像中所有区域采用单一配准方法时，配准方法无法适配图像中所有区域的现象。
55.由此可见，本技术所提供的方案达到了通过不同的配准方法对图像中的不同区域进行配准的目的，从而实现了提高配准准确性的技术效果，进而解决了现有技术在图像配准过程中，采用单一的配准方法对图像中的所有区域进行图像配准，导致配准准确性低的技术问题。
56.在一种可选的实施例中，在根据参考图像，对待配准图像中的第一区域进行刚性配准以及对第二区域进行形变配准，得到目标图像的过程中，目标配准系统可以确定用于将待配准图像形变配准至参考图像的第一初始形变场，然后从第一初始形变场中提取与第一区域匹配的第一子形变场，接着获取第一刚性配准参数，并利用第一刚性配准参数对第一初始形变场中的第一子形变场进行修正，得到修正后的第一初始形变场，从而利用修正后的第一初始形变场，对待配准图像中的第一区域进行刚性配准以及对第二区域进行形变配准，得到目标图像。
57.可选的，目标配准系统可以利用形变配准方法确定用于将待配准图像形变配准至参考图像的第一初始形变场，例如，图5是根据本发明实施例的一种可选的第一初始形变场的示意图，图5中所示出的第一初始形变场即为图3中的待配准图像所匹配的第一初始形变场。其中，前述的形变配准方法可以是demons配准方法，demons配准方法是一种全局坐标变换模型的配准算法，可选的，形变配准方法也可以是其它配准方法，在本实施例中不作具体限定。
58.可选的，第一初始形变场包含待配准图像中每一个像素对应的形变向量，目标配准系统可以从第一初始形变场中提取与第一区域匹配的第一子形变场，第一子形变场包含第一区域中每一个像素对应的形变向量，例如，图6是根据本发明实施例的一种可选的第一子形变场的示意图，图6中所示出的第一子形变场即为从图5中的第一初始形变场提取得到的。当确定第一子形变场之后，目标配准系统可以获取用于对第一区域进行刚性配准的刚性配准参数，也即获取第一刚性配准参数，从而可以利用第一刚性配准参数对第一初始形变场中的第一子形变场进行修正，得到修正后的第一初始形变场。
59.其中，对第一刚性配准参数的获取方法进行说明。可选的，目标配准系统可以利用刚性配准方法，根据前述的第一区域的参考区域，确定第一刚性配准参数。可选的，目标配准系统也可以利用刚性配准方法，确定待配准图像匹配的刚性配准参数，从而将待配准图像匹配的刚性配准参数确定为第一刚性配准参数。可选的，目标配准系统还可以根据第一子形变场，确定第一刚性配准参数。
60.更进一步地，由于修正后的第一初始形变场包含待配准图像中每一个像素对应的最终的形变向量，因此，当确定了修正后的第一初始形变场之后，目标配准系统可以利用修
正后的第一初始形变场，对待配准图像中的第一区域进行刚性配准以及对第二区域进行形变配准，从而得到目标图像。
61.需要说明的是，通过根据第一刚性配准参数对待配准图像的第一初始形变场进行修正，得到修正后的第一初始形变场，使得当利用修正后的第一初始形变场对待配准图像进行配准时，能够同时实现两种配准方法，避免了采用第一刚性配准参数和第一初始形变场对待配准图像进行配准时，需要单独执行两种配准方法，从而提高了配准效率。
62.在一种可选的实施例中，在获取第一刚性配准参数的过程中，目标配准系统可以根据第一子形变场，计算第一区域中每个像素形变配准后的第一坐标，然后对于每个像素，根据像素在待配准图像中的坐标和像素的第一坐标，建立第一刚性配准方程组，从而根据第一区域中多个像素的第一刚性配准方程组求解第一刚性配准参数。
63.在刚性配准中，存在如公式（1）所示的刚性变换公式：
64.（1）
65.其中，表示参考图像，x表示待配准图像，r表示旋转矩阵，t表示平移矢量。
66.其中，，。
67.进一步地，由于第一区域所对应的部位为不会发生形变或者是形变程度可以忽略的部位。因此，对于第一区域中的像素，可以建立如公式（2）所示的方程：
68.（2）
69.其中，表示第i个第一区域中的第j个像素在待配准图像中的坐标，，j=1,2,3
…
,m，表示第i个第一区域中的第j个像素的第一坐标，，表示第i个第一区域对应的旋转矩阵，， ti表示第i个第一区域对应的平移矢量，。在此方程中，和ti为未知数。
70.前述的为根据公式（3）计算得到的：
71.（3）
72.其中，表示第一子形变场中与第i个第一区域中的第j个像素所对应的形变向量。
73.更进一步地，将方程展开，即可得到如公式（4）所示的第一刚性配准方程组：
74.（4）
75.可选的，当确定了第一区域中每个像素匹配的第一刚性配准方程组之后，目标配准系统可以根据第一区域中多个像素的第一刚性配准方程组中的第一个方程，通过最小二乘法进行直线拟合求解、、、，并依照前述方法分别根据第二个方程和第三个方程
求解、、、以及、、、，从而实现对前述的和的求解，其中，和ti即为第一刚性配准参数。可选的，在求解过程中，目标配准系统可以根据第一区域中所有像素的第一刚性配准方程组进行求解，也可以只根据第一区域中部分像素的第一刚性配准方程组进行求解。
76.需要说明的是，通过根据第一子形变场确定第一刚性配准参数，实现了采用形变配准的方法确定刚性配准的参数，也即在本技术中，可以直接通过一种配准方法确定两种配准方法所需要使用的参数，从而提高了确定参数的效率。
77.在一种可选的实施例中，在利用第一刚性配准参数对第一初始形变场中的第一子形变场进行修正，得到修正后的第一初始形变场的过程中，目标配准系统可以根据第一刚性配准参数，计算第一区域中每个像素刚性配准后的第二坐标，然后对于每个像素，根据像素在待配准图像中的坐标和像素的第二坐标，确定像素匹配的形变向量，从而采用各个像素匹配的形变向量替换第一初始形变场的第一子形变场中的形变向量，得到修正后的第一初始形变场。
78.可选的，当确定了第一刚性配准参数之后，也即确定了和ti之后，目标配准系统可以根据公式（5）计算得到第一区域中的像素的第二坐标：
79.（5）
80.其中，表示第i个第一区域中的第j个像素的第二坐标。
81.进一步地，目标配准系统可以根据公式（6）确定像素匹配的形变向量：
82.（6）
83.其中，表示第i个第一区域中的第j个像素匹配的形变向量。
84.更进一步地，对于第一区域中的每个像素，目标配准系统可以将第一子形变场中该像素对应的形变向量（）替换为前述的该像素匹配的形变向量（），从而在对第一区域中的所有像素替换完成后，得到修正后的第一初始形变场，其中，表示修正后的第一初始形变场，f表示第一初始形变场，表示第二区域，表示第一初始形变场中与第二区域匹配的子形变场，表示由第i个第一区域中所有像素匹配的形变向量（）组成的子形变场。
85.需要说明的是，通过根据第一刚性配准参数计算第一区域中每个像素刚性配准后的第二坐标，然后根据第二坐标重新计算形变向量，从而通过重新计算的形变向量对第一初始形变场进行修正，提高了修正后的第一初始形变场的准确度。
86.在一种可选的实施例中，在得到目标图像之后，目标配准系统可以确定用于将目标图像形变配准至参考图像的形变场，然后基于修正后的第一初始形变场和目标图像匹配的形变场，确定第二初始形变场，接着重复执行对第二初始形变场进行修正，并利用修正后的第二初始形变场对待配准图像进行配准的步骤，直至满足预设迭代条件，将得到的目标图像确定为图像配准结果。
87.可选的，为了进一步地提高配准精度，在本实施例中，可以以迭代的方式进行多次配准，从而得到更加准确的目标图像。
88.具体地，目标配准系统在得到前述的目标图像时，可以确定为完成一轮迭代。之
后，目标配准系统可以利用形变配准方法确定用于将目标图像形变配准至参考图像的形变场，其中，该形变配准方法可以与确定第一初始形变场时所使用的形变配准方法相同，也可以不同。
89.进一步地，目标配准系统可以基于公式（7）确定第二初始形变场：
90.（7）
91.其中，f＇表示第二初始形变场，表示目标图像匹配的形变场。
92.进一步地，目标配准系统可以参考对第一初始形变场进行修正的方法，对第二初始形变场进行修正，得到修正后的第二初始形变场，从而利用修正后的第二初始形变场对待配准图像进行配准，得到新的目标图像，由此完成第二轮迭代。
93.其中，在得到新的目标图像时，目标配准系统可以判断当前迭代轮次是否满足预设迭代条件，预设迭代条件可以是已迭代轮次达到预设次数，或者，已迭代时间达到预设时间，或者是其它条件。
94.更进一步地，若当前迭代轮次未满足预设迭代条件，则目标配准系统可以确定用于将新的目标图像形变配准至参考图像的形变场，从而基于修正后的第二初始形变场和新的目标图像匹配的形变场，确定第三初始形变场。之后，参考对第一初始形变场进行修正的方法，对第三初始形变场进行修正，得到修正后的第三初始形变场，从而利用修正后的第三初始形变场对待配准图像进行配准，得到又一个新的目标图像，进而完成第三轮迭代。由此，目标配准系统可以不断进行迭代，直至满足预设迭代条件时，将得到的最新的目标图像确定为图像配准结果。
95.需要说明的是，通过以迭代的方式进行多次配准，可以更进一步地提高配准的准确性。
96.在一种可选的实施例中，在对第二初始形变场进行修正的过程中，目标配准系统可以利用第一刚性配准参数对第二初始形变场进行修正，得到修正后的第二初始形变场，或者，根据第二子形变场，计算第一区域中每个像素形变配准后的第二坐标，然后对于每个像素，根据像素在待配准图像中的坐标和像素的第二坐标，建立第二刚性配准方程组，接着根据第二区域中多个像素的第二刚性配准方程组求解第二刚性配准参数，从而利用第二刚性配准参数对第二初始形变场进行修正，得到修正后的第二初始形变场。其中，第二子形变场为第二初始形变场中与第一区域匹配的形变场。
97.可选的，在以迭代方式进行多次配准的过程中，目标配准系统可以始终采用第一轮迭代中的第一刚性配准参数对每轮迭代中的形变场进行修正，也即采用同一刚性配准参数对每轮迭代中的形变场进行修正。具体地，目标配准系统可以从第二初始形变场中提取与第一区域匹配的第二子形变场，从而利用第一刚性配准参数对第二初始形变场中的第二子形变场进行修正，得到修正后的第二初始形变场。
98.可选的，目标配准系统也可以在每轮迭代中使用不同的刚性配准参数对形变场进行修正。具体地，目标配准系统可以从第二初始形变场中提取与第一区域匹配的第二子形变场，然后参照第一轮迭代中根据第一子形变场确定第一刚性配准参数的方法，根据第二子形变场确定第二刚性配准参数，从而利用第二刚性配准参数对第二初始形变场中的第二子形变场进行修正，得到修正后的第二初始形变场。
99.需要说明的是，通过采用同一刚性配准参数对每轮迭代中的形变场进行修正，可
以有效提升确定最终的目标图像的效率，通过在每轮迭代中使用不同的刚性配准参数对形变场进行修正，可以更进一步地提高图像配准的准确性。
100.在一种可选的实施例中，在得到目标图像之后，目标配准系统可以判断目标图像中是否存在第一像素位置，然后在存在第一像素位置的情况下，根据不同像素在待配准图像中的像素值，确定第一像素位置的像素值，从而根据第一像素位置的像素值对目标图像中处于第一像素位置的像素进行赋值，得到更新后的目标图像。其中，第一像素位置为待配准图像中不同像素配准后发生重叠的像素位置。
101.可选的，由于目标图像为对待配准图像采用两种配准方法进行配准得到的，因此，在配准过程中，可能会产生待配准图像中的不同像素映射到目标图像中的同一像素位置的现象。
102.故而，目标配准系统可以在得到目标图像之后，判断目标图像中是否存在第一像素位置，第一像素位置也即待配准图像中不同像素配准后发生位置重叠的像素位置。进一步地，如果不存在第一像素位置，则目标配准系统可以不对目标图像进行处理。反之，如果存在第一像素位置，则目标配准系统可以根据待配准图像中配准至第一像素位置的像素（也即前述的不同像素）在待配准图像中的像素值，确定第一像素位置的像素值。例如，对待配准图像中配准至第一像素位置的像素在待配准图像中的像素值取均值，将该均值作为第一像素位置的像素值。可选的，目标配准系统也可以利用其它计算方法确定第一像素位置的像素值。
103.之后，目标配准系统可以根据第一像素位置的像素值对目标图像中处于第一像素位置的像素进行赋值，从而得到更新后的目标图像。其中，若采用迭代的方式对图像进行多次配准，则目标配准系统可以在每轮迭代中得到目标图像之后，均对目标图像中是否存在第一像素位置进行判断，并根据判断结果进行对应的处理，从而得到当前迭代轮次中更新后的目标图像，并在下一轮迭代中，确定用于将前述的当前迭代轮次中更新后的目标图像形变配准至参考图像的形变场，从而得到下一轮迭代中的初始形变场。
104.需要说明的是，通过判断目标图像中是否存在第一像素位置，实现了对待配准图像在配准过程中是否发生重叠现象的准确判断，通过在存在第一像素位置的情况下，根据待配准图像中对应的像素确定重叠位置的像素值，实现了对目标图像的有效处理，从而更进一步地提高了配准准确性。
105.在一种可选的实施例中，在得到目标图像之后，目标配准系统可以判断目标图像中是否存在第二像素位置，从而在存在第二像素位置的情况下，利用目标插值法，根据目标像素值确定第二像素位置的像素值，根据第二像素位置的像素值对目标图像中处于第二像素位置的像素进行赋值，得到更新后的目标图像。其中，第二像素位置不同于待配准图像中任意一个像素配准后的像素位置，目标像素值为目标图像中的像素值或者待配准图像中的像素值。
106.可选的，由于目标图像为对待配准图像采用两种配准方法进行配准得到的，因此，在配准过程中，可能会使得得到的目标图像中出现间隙区域，也即目标图像中可能存在一些没有被待配准图像中的像素映射到的像素位置，但该像素位置四周的像素位置均被待配准图像中的像素映射到。
107.故而，目标配准系统可以在得到目标图像之后，判断目标图像中是否存在第二像
素位置，第二像素位置也即不同于待配准图像中任意一个像素配准后的像素位置，且更具体地，第二像素位置的四周均存在由待配准图像中的像素配准后得到的像素位置。进一步地，如果不存在第二像素位置，则目标配准系统可以不对目标图像进行处理。反之，如果存在二像素位置，则目标配准系统可以利用目标插值法，根据目标像素值确定第二像素位置的像素值。其中，前述的目标插值法可以是双线性插值算法，也可以是其它插值方法，目标像素值根据使用的目标插值法的不同，可以是目标图像中的至少一个像素值，也可以是待配准图像中的至少一个像素值。
108.之后，目标配准系统可以根据第二像素位置的像素值对目标图像中处于第二像素位置的像素进行赋值，得到更新后的目标图像。其中，若采用迭代的方式对图像进行多次配准，则目标配准系统可以在每轮迭代中得到目标图像之后，均对目标图像中是否存在第二像素位置进行判断，并根据判断结果进行对应的处理，从而得到当前迭代轮次中更新后的目标图像，并在下一轮迭代中，确定用于将前述的当前迭代轮次中更新后的目标图像形变配准至参考图像的形变场，从而得到下一轮迭代中的初始形变场。
109.需要说明的是，通过判断目标图像中是否存在第二像素位置，实现了对待配准图像在配准过程中是否产生图像间隙的准确判断，通过在存在第二像素位置的情况下，利用目标插值法确定间隙位置的像素值，实现了对目标图像的有效处理，从而更进一步地提高了配准准确性。
110.在一种可选的实施例中，目标配准系统可以既对目标图像中是否存在第一像素位置进行判断，也对目标图像中是否存在第二像素位置进行判断。从而在目标图像中不存在第一像素位置且不存在第二像素位置的情况下，不对目标图像进行处理。在目标图像中同时存在第一像素位置和第二像素位置的情况下，先确定第一像素位置的像素值，然后对目标图像中处于第一像素位置的像素进行赋值，得到更新后的目标图像，接着确定第二像素位置的像素值，然后对更新后的目标图像中处于第二像素位置的像素进行赋值，得到再次更新的目标图像，由此完成对图像的处理。其中，目标配准系统可以先对第二像素位置的像素进行赋值，再对第一像素位置的像素进行赋值，故此处不再赘述。
111.由此可见，本技术所提供的方案达到了通过不同的配准方法对图像中的不同区域进行配准的目的，从而实现了提高配准准确性的技术效果，进而解决了现有技术在图像配准过程中，采用单一的配准方法对图像中的所有区域进行图像配准，导致配准准确性低的技术问题。
112.实施例2
113.根据本发明实施例，提供了一种图像配准装置的实施例，其中，图7是根据本发明实施例的一种可选的图像配准装置的示意图，如图7所示，该装置包括：
114.获取模块701，用于获取待配准图像和参考图像；
115.识别模块702，用于识别待配准图像中需要进行刚性配准的区域，得到第一区域，并将待配准图像中除第一区域以外的区域确定为第二区域；
116.配准模块703，用于根据参考图像，对待配准图像中的第一区域进行刚性配准以及对第二区域进行形变配准，得到目标图像。
117.需要说明的是，上述获取模块701、识别模块702以及配准模块703对应于上述实施例中的步骤s101至步骤s103，三个模块与对应的步骤所实现的示例和应用场景相同，但不
限于上述实施例1所公开的内容。
118.可选的，配准模块703还包括：确定子模块，用于确定用于将待配准图像形变配准至参考图像的第一初始形变场；提取子模块，用于从第一初始形变场中提取与第一区域匹配的第一子形变场；第一修正子模块，用于获取第一刚性配准参数，并利用第一刚性配准参数对第一初始形变场中的第一子形变场进行修正，得到修正后的第一初始形变场；配准子模块，用于利用修正后的第一初始形变场，对待配准图像中的第一区域进行刚性配准以及对第二区域进行形变配准，得到目标图像。
119.可选的，第一修正子模块还包括：第一计算单元，用于根据第一子形变场，计算第一区域中每个像素形变配准后的第一坐标；第一处理单元，用于对于每个像素，根据像素在待配准图像中的坐标和像素的第一坐标，建立第一刚性配准方程组；第二处理单元，用于根据第一区域中多个像素的第一刚性配准方程组求解第一刚性配准参数。
120.可选的，第一修正子模块还包括：第二计算单元，用于根据第一刚性配准参数，计算第一区域中每个像素刚性配准后的第二坐标；确定单元，用于对于每个像素，根据像素在待配准图像中的坐标和像素的第二坐标，确定像素匹配的形变向量；替换单元，用于采用各个像素匹配的形变向量替换第一初始形变场的第一子形变场中的形变向量，得到修正后的第一初始形变场。
121.可选的，图像配准装置还包括：第一确定模块，用于确定用于将目标图像形变配准至参考图像的形变场；第二确定模块，用于基于修正后的第一初始形变场和目标图像匹配的形变场，确定第二初始形变场；第三确定模块，用于重复执行对第二初始形变场进行修正，并利用修正后的第二初始形变场对待配准图像进行配准的步骤，直至满足预设迭代条件，将得到的目标图像确定为图像配准结果。
122.可选的，第三确定模块还包括：第二修正子模块，用于利用第一刚性配准参数对第二初始形变场进行修正，得到修正后的第二初始形变场，或者，计算子模块，用于根据第二子形变场，计算第一区域中每个像素形变配准后的第二坐标，其中，第二子形变场为第二初始形变场中与第一区域匹配的形变场；第一处理子模块，用于对于每个像素，根据像素在待配准图像中的坐标和像素的第二坐标，建立第二刚性配准方程组；第二处理子模块，用于根据第二区域中多个像素的第二刚性配准方程组求解第二刚性配准参数；第三修正子模块，用于利用第二刚性配准参数对第二初始形变场进行修正，得到修正后的第二初始形变场。
123.可选的，图像配准装置还包括：第一判断模块，用于判断目标图像中是否存在第一像素位置，其中，第一像素位置为待配准图像中不同像素配准后发生重叠的像素位置；第四确定模块，用于在存在第一像素位置的情况下，根据不同像素在待配准图像中的像素值，确定第一像素位置的像素值；第一处理模块，用于根据第一像素位置的像素值对目标图像中处于第一像素位置的像素进行赋值，得到更新后的目标图像。
124.可选的，图像配准装置还包括：第二判断模块，用于判断目标图像中是否存在第二像素位置，其中，第二像素位置不同于待配准图像中任意一个像素配准后的像素位置；第五确定模块，用于在存在第二像素位置的情况下，利用目标插值法，根据目标像素值确定第二像素位置的像素值，其中，目标像素值为目标图像中的像素值或者待配准图像中的像素值；第二处理模块，用于根据第二像素位置的像素值对目标图像中处于第二像素位置的像素进行赋值，得到更新后的目标图像。
125.实施例3
126.根据本发明实施例的另一方面，还提供了计算机可读存储介质，计算机可读存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述的图像配准方法。
127.实施例4
128.根据本发明实施例的另一方面，还提供了一种电子设备，其中，图8是根据本发明实施例的一种可选的电子设备的示意图，如图8所示，电子设备包括一个或多个处理器；存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现用于运行程序，其中，程序被设置为运行时执行上述的图像配准方法。
129.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
130.在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
131.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
132.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
133.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
134.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
135.以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：
1.一种图像配准方法，其特征在于，包括：获取待配准图像和参考图像；识别所述待配准图像中需要进行刚性配准的区域，得到第一区域，并将所述待配准图像中除所述第一区域以外的区域确定为第二区域；根据所述参考图像，对所述待配准图像中的所述第一区域进行刚性配准以及对所述第二区域进行形变配准，得到目标图像。2.根据权利要求1所述的方法，其特征在于，根据所述参考图像，对所述待配准图像中的所述第一区域进行刚性配准以及对所述第二区域进行形变配准，得到目标图像，包括：确定用于将所述待配准图像形变配准至所述参考图像的第一初始形变场；从所述第一初始形变场中提取与所述第一区域匹配的第一子形变场；获取第一刚性配准参数，并利用所述第一刚性配准参数对所述第一初始形变场中的第一子形变场进行修正，得到修正后的第一初始形变场；利用所述修正后的第一初始形变场，对所述待配准图像中的所述第一区域进行刚性配准以及对所述第二区域进行形变配准，得到所述目标图像。3.根据权利要求2所述的方法，其特征在于，获取第一刚性配准参数，包括：根据所述第一子形变场，计算所述第一区域中每个像素形变配准后的第一坐标；对于所述每个像素，根据所述像素在所述待配准图像中的坐标和所述像素的第一坐标，建立第一刚性配准方程组；根据所述第一区域中多个像素的第一刚性配准方程组求解所述第一刚性配准参数。4.根据权利要求2所述的方法，其特征在于，利用所述第一刚性配准参数对所述第一初始形变场中的第一子形变场进行修正，得到修正后的第一初始形变场，包括：根据所述第一刚性配准参数，计算所述第一区域中每个像素刚性配准后的第二坐标；对于所述每个像素，根据所述像素在所述待配准图像中的坐标和所述像素的第二坐标，确定所述像素匹配的形变向量；采用各个像素匹配的形变向量替换所述第一初始形变场的第一子形变场中的形变向量，得到所述修正后的第一初始形变场。5.根据权利要求2所述的方法，其特征在于，在得到所述目标图像之后，所述方法还包括：确定用于将所述目标图像形变配准至所述参考图像的形变场；基于所述修正后的第一初始形变场和所述目标图像匹配的所述形变场，确定第二初始形变场；重复执行对所述第二初始形变场进行修正，并利用修正后的第二初始形变场对所述待配准图像进行配准的步骤，直至满足预设迭代条件，将得到的目标图像确定为图像配准结果。6.根据权利要求5所述的方法，其特征在于，对所述第二初始形变场进行修正，包括：利用所述第一刚性配准参数对所述第二初始形变场进行修正，得到所述修正后的第二初始形变场，或者，根据第二子形变场，计算所述第一区域中每个像素形变配准后的第二坐标，其中，所述第二子形变场为所述第二初始形变场中与所述第一区域匹配的形变场；
对于每个像素，根据所述像素在所述待配准图像中的坐标和所述像素的第二坐标，建立第二刚性配准方程组；根据所述第二区域中多个像素的第二刚性配准方程组求解第二刚性配准参数；利用所述第二刚性配准参数对所述第二初始形变场进行修正，得到所述修正后的第二初始形变场。7.根据权利要求1所述的方法，其特征在于，在得到目标图像之后，所述方法还包括：判断所述目标图像中是否存在第一像素位置，其中，所述第一像素位置为所述待配准图像中不同像素配准后发生重叠的像素位置；在存在所述第一像素位置的情况下，根据所述不同像素在所述待配准图像中的像素值，确定所述第一像素位置的像素值；根据所述第一像素位置的像素值对所述目标图像中处于所述第一像素位置的像素进行赋值，得到更新后的目标图像。8.根据权利要求1所述的方法，其特征在于，在得到目标图像之后，所述方法还包括：判断所述目标图像中是否存在第二像素位置，其中，所述第二像素位置不同于所述待配准图像中任意一个像素配准后的像素位置；在存在所述第二像素位置的情况下，利用目标插值法，根据目标像素值确定所述第二像素位置的像素值，其中，所述目标像素值为所述目标图像中的像素值或者所述待配准图像中的像素值；根据所述第二像素位置的像素值对所述目标图像中处于所述第二像素位置的像素进行赋值，得到更新后的目标图像。9.一种图像配准装置，其特征在于，包括：获取模块，用于获取待配准图像和参考图像；识别模块，用于识别所述待配准图像中需要进行刚性配准的区域，得到第一区域，并将所述待配准图像中除所述第一区域以外的区域确定为第二区域；配准模块，用于根据所述参考图像，对所述待配准图像中的所述第一区域进行刚性配准以及对所述第二区域进行形变配准，得到目标图像。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至8任一项中所述的图像配准方法。11.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现用于运行程序，其中，所述程序被设置为运行时执行所述权利要求1至8任一项中所述的图像配准方法。

技术总结
本发明公开了一种图像配准方法、装置、计算机可读存储介质及电子设备。该方法包括：获取待配准图像和参考图像；识别待配准图像中需要进行刚性配准的区域，得到第一区域，并将待配准图像中除第一区域以外的区域确定为第二区域；根据参考图像，对待配准图像中的第一区域进行刚性配准以及对第二区域进行形变配准，得到目标图像。本发明解决了现有技术在图像配准过程中，采用单一的配准方法对图像中的所有区域进行图像配准，导致配准准确性低的技术问题。题。题。


技术研发人员：周琦超 黄治国
受保护的技术使用者：福建自贸试验区厦门片区Manteia数据科技有限公司
技术研发日：2023.06.21
技术公布日：2023/8/1