一种基于符号距离函数协同分割的跨模态医学图像配准方法与流程

1.本发明涉及图像分割和图像配准技术领域，尤其是一种基于符号距离函数协同分割的跨模态医学图像配准方法。


背景技术：

2.图像配准和图像分割是医学领域的两个基本任务，广泛应用于如脑图谱构建、疾病诊断、手术引导的医疗场景中。图像分割和图像配准是两个独立课题，但是在生物医学领域中，分割和配准在本质上是互补的，既可以基于配准实现分割，也可以基于分割实现配准。
3.随着高分辨率光学显微镜的发展，高通量高分辨率成像技术产生了大量的不同模态的鼠脑图像，例如荧光显微光学切片断层成像(fmost)、同步快速扫描和读出的体积成像(visor)和串行双光子断层成像(stpt)等。对这些不同成像模态的生物医学图像进行跨模态图像配准可以使得他们在统一的坐标空间下进行比较、分析和可视化。近些年，深度学习给图像配准技术带来了精度和速度上的提升。然而生物医学领域的数据难以获取，同时数据的标注耗时耗力且需要专家知识，数据量通常以百为量级。基于深度学习的无监督配准方法突破了数据标签的限制，然而目前这些任务以mse，ncc等相似性度量来驱动网络训练，这些基于灰度分布的统计信息指标方法对于没有类似解剖结构和相对稳定的亮度分布的组织，如fmost,ccf,visor数据来说并不适应，对于无监督跨模态图像配准技术而言，设计一个完美的跨模态相似度量是一个有挑战的任务。
4.因此，针对生物医学图像在基于深度学习的跨模态配准技术中面临的难以设计有效的跨模态相似性度量以及少量标注的问题，如何深度挖掘分割任务和配准任务之间的相关性和互补性，建立分割和配准任务的高效协同来完成跨模态配准是一个亟待解决的问题。


技术实现要素：

5.本发明的目的在于提供一种能够通过符号距离函数挖掘到分割和配准任务的潜在相关性，耦合配准和分割实现跨模态图像配准，提高配准效率和准确性的基于符号距离函数协同分割的跨模态医学图像配准方法。
6.为实现上述目的，本发明采用了以下技术方案：一种基于符号距离函数协同分割的跨模态医学图像配准方法，该方法包括下列顺序的步骤：
7.(1)获取跨模态生物医学图像数据及分割标签，并将跨模态生物医学图像分为浮动图像和固定图像；
8.(2)用固定图像构建重构模型，并进行模型训练，使用训练的重构模型预估固定图像的符号距离场；
9.(3)使用预估的固定图像符号距离场作为分割模型的输入，并进行分割模型训练，得到训练后的分割模型；
10.(4)通过浮动图像的分割标签计算其真实的符号距离场，使用预估的固定图像符号距离场和计算的浮动图像真实符号距离场作为voxel-morph配准模型的输入，进行voxel-morph配准模型的训练，voxel-morph配准模型由图像相似性约束和形变场正则化构建代价函数来驱动配准模型训练；使用训练后的分割模型为voxel-morph配准模型生成分割标签，使用该分割标签来辅助voxel-morph配准模型的训练；
11.(5)重复步骤(2)到步骤(4)，直到重构模型、分割模型和配准模型收敛；
12.(6)将待配准固定图像输入到收敛后的重构模型中预估符号距离场，通过待配准浮动图像的分割标签计算其真实的符号距离场，然后将预估符号距离场和计算的待配准浮动图像的真实符号距离场输入收敛后的voxel-morph配准模型中生成配准后的浮动图像。
13.所述步骤(1)具体是指：获取两种不同模态的生物医学图像数据集，包括x模态生物医学图像数据和y模态生物医学图像数据，其中，y模态生物医学图像为一张标准的3d脑均值图谱，称为浮动图像；x模态的生物医学图像为固定图像。
14.所述步骤(2)中的重构模型基于3dunet卷积神经网络构建，包含编码路径和解码路径，每个路径有四个分辨率阶段，所述编码路径包括两个卷积核大小为3
×3×
3的卷积层，每个卷积层均后接groupbn层和relu层，下采样通过maxpooling实现；解码路径的每一层包括一个卷积核大小为3
×3×
3的反卷积层，每个反卷积层均后接groupbn层和relu层，通过跳跃连接，将编码路径中相同分辨率的层传递到解码路径，为解码路径提供高分辨率特征；
15.使用重构模型预估符号距离场，具体包括以下步骤：
16.(2a)将重构模型的训练看作一个回归问题，首先需要固定图像的真实符号距离场作为标签来约束模型的训练，真实符号距离场的计算公式如下所示：
[0017][0018]
其中，是三维图像中的脑部感兴趣区域，ωc是ω在i中的补充，τ表示感兴趣脑区的边界，x、y分别表示感兴趣区域内的点和边界上的点，x-y2表示x和y两点间的欧氏距离；
[0019]
(2b)将固定图像输入重构模型，重构模型输出与固定图像分辨率相同的符号距离场，并通过损失函数huberloss来最小化预测符号距离场与真实符号距离场的差异，从而驱动重构网络的训练，损失函数huberloss的计算公式如下所示：
[0020][0021]
其中，y
gt
为真实的符号距离场，f(x)为预估的符号距离场，δ是参数。
[0022]
所述步骤(3)中的分割模型采用3dunet网络框架。
[0023]
所述步骤(4)中voxel-morph配准模型的训练过程包括以下步骤：
[0024]
(4a)用步骤(2)中预估的固定图像的符号距离场和计算的浮动图像的真实符号距
离场作为voxel-morph配准模型的输入，训练voxel-morph配准模型，由voxel-morph配准模型预估形变场；
[0025]
(4b)利用形变场对浮动图像的符号距离场进行双线性插值，得到配准后的浮动图像的符号距离场；
[0026]
(4c)结合配准后的浮动图像的符号距离场和计算的固定图像的真实符号距离场的相似性约束与形变场的正则项，来构造voxel-morph配准模型的代价函数，所述相似性约束为均方误差mse：
[0027][0028]
其中，sdmf和分别是固定图像的计算的符号距离函数和浮动图像配准后的符号距离场，p是3d图像感兴趣区域ω中的一个voxel；
[0029]
所述形变场的正则项公式为：
[0030][0031][0032]
其中，u(p)表示体素p的位移；
[0033]
(4d)将分割模型生成的固定图像的分割标签作为弱监督数据辅助voxel-morph配准模型的训练，voxel-morph配准模型采用相似性度量指标dice来度量配准后浮动图像的分割标签和固定图像的分割标签的解剖结构之间的重合度，所述dice的计算公式如下：
[0034][0035][0036]
其中，k表示解剖结构的数量，sf表示固定图像的分割标签，表示配准后浮动图像的分割标签，表示固定图像第k类解剖结构的分割标签，表示配准后的第k类浮动图像的分割标签。
[0037]
由上述技术方案可知，本发明的有益效果为：本发明将跨模态图像的符号距离场作为潜在结构特征有效协同分割和配准任务，对于跨模态图像配准来说，将跨模态图像配准问题转化成模态无关的单模态配准问题，避免了使用跨模态相似性度量，从而大大提高了小样本场景下的跨模态生物医学图像的配准表现，既提高了跨模态脑配准的精度，又为脑图像产生了标签，为小样本场景下跨模态生物医学图像配准提供了新方案。
附图说明
[0038]
图1为本发明的方法流程图。
具体实施方式
[0039]
如图1所示，一种基于符号距离函数协同分割的跨模态医学图像配准方法，该方法包括下列顺序的步骤：
[0040]
(1)获取跨模态生物医学图像数据及分割标签，并将跨模态生物医学图像分为浮动图像和固定图像；
[0041]
(2)用固定图像构建重构模型，并进行模型训练，使用训练的重构模型预估固定图像的符号距离场；
[0042]
(3)使用预估的固定图像的符号距离场作为分割模型的输入，并进行分割模型的训练，得到训练后的分割模型；
[0043]
(4)通过浮动图像的分割标签计算其真实的符号距离场，使用预估的固定图像的符号距离场和计算的浮动图像的真实符号距离场作为voxel-morph配准模型的输入，进行voxel-morph配准模型的训练，voxel-morph配准模型由图像相似性约束和形变场正则化构建代价函数来驱动配准模型训练；使用训练后的分割模型为voxel-morph配准模型生成分割标签，使用该分割标签来辅助voxel-morph配准模型的训练；
[0044]
(5)重复步骤(2)到步骤(4)，直到重构模型、分割模型和配准模型收敛；
[0045]
(6)将待配准的跨模态生物医学图像的固定图像输入到收敛后的重构模型中预估符号距离场，通过待配准的跨模态生物医学图像的浮动图像的分割标签计算其真实的符号距离场，然后将预估符号距离场和计算的待配准的跨模态生物医学图像的浮动图像的真实的符号距离场输入收敛后的voxel-morph配准模型中生成配准后的浮动图像。
[0046]
所述步骤(1)具体是指：获取两种不同模态的生物医学图像数据集，包括x模态生物医学图像数据和y模态生物医学图像数据，其中，y模态生物医学图像为一张标准的3d脑均值图谱，称为浮动图像；x模态的生物医学图像为固定图像。
[0047]
所述步骤(2)中的重构模型基于3dunet卷积神经网络构建，包含编码路径和解码路径，每个路径有四个分辨率阶段，所述编码路径包括两个卷积核大小为3
×3×
3的卷积层，每个卷积层均后接groupbn层和relu层，下采样通过maxpooling实现；解码路径的每一层包括一个卷积核大小为3
×3×
3的反卷积层，每个反卷积层均后接groupbn层和relu层，通过跳跃连接，将编码路径中相同分辨率的层传递到解码路径，为解码路径提供高分辨率特征；
[0048]
使用重构模型预估符号距离场，具体包括以下步骤：
[0049]
(2a)将重构模型的训练看作一个回归问题，首先需要固定图像的真实符号距离场作为标签来约束模型的训练，真实符号距离场的计算公式如下所示：
[0050][0051]
其中，是三维图像中的脑部感兴趣区域，ωc是ω在i中的补充，τ表示感兴趣脑区的边界，x、y分别表示感兴趣区域内的点和边界上的点，x-y2表示x和y两点间的欧氏距离；
[0052]
(2b)将固定图像输入重构模型，重构模型输出与固定图像分辨率相同的符号距离
场，并通过损失函数huberloss来最小化预测符号距离场与真实符号距离场的差异，从而驱动重构网络的训练，损失函数huberloss的计算公式如下所示：
[0053][0054]
其中，y
gt
为真实的符号距离场，f(x)为预估的符号距离场，δ是参数。
[0055]
所述步骤(3)中的分割模型采用3dunet网络框架。
[0056]
所述步骤(4)中voxel-morph配准模型的训练过程包括以下步骤：
[0057]
(4a)用步骤(2)中预估的固定图像的符号距离场和计算的浮动图像的真实符号距离场作为voxel-morph配准模型的输入，训练voxel-morph配准模型，由voxel-morph配准模型预估形变场；
[0058]
(4b)利用形变场对浮动图像的符号距离场进行双线性插值，得到配准后的浮动图像的符号距离场；
[0059]
(4c)结合配准后的浮动图像的符号距离场和计算的固定图像的真实符号距离场的相似性约束与形变场的正则项，来构造voxel-morph配准模型的代价函数，所述相似性约束为均方误差mse：
[0060][0061]
其中，sdmf和分别是固定图像的计算的符号距离函数和浮动图像配准后的符号距离场，p是3d图像感兴趣区域ω中的一个voxel；
[0062]
所述形变场的正则项公式为：
[0063][0064][0065]
其中，u(p)表示体素p的位移；
[0066]
(4d)将分割模型生成的固定图像的分割标签作为弱监督数据辅助voxel-morph配准模型的训练，voxel-morph配准模型采用相似性度量指标dice来度量配准后浮动图像的分割标签和固定图像的分割标签的解剖结构之间的重合度，所述dice的计算公式如下：
[0067][0068][0069]
其中，k表示解剖结构的数量，sf表示固定图像的分割标签，表示配准后浮
动图像的分割标签，表示固定图像第k类解剖结构的分割标签，表示配准后的第k类浮动图像的分割标签。
[0070]
跨模态图像配准是医学领域的基本任务，它是通过寻找一种刚性(线性)或柔性(非线性)空间变换建立两幅图像间的像素级映射，在脑图谱构建任务中，可以使得来自不同个体、不同发育阶段、不同尺度、不同成像和标记模态的脑图像可以在统一的坐标空间下进行比较、分析和可视化。
[0071]
有许多传统的方法像elastic、ants等。elastic和ants方法支持多模态配准是通过提供互信息(mi)和归一化交叉相关(ncc)等跨模态的相似性度量实现的。然而，这些基于灰度分布的统计信息指标并不适合于没有类似解剖结构和相对稳定的亮度分布的组织，如fmost,ccf,visor。基于特征的配准方法可以很容易地结合多种相似性指标削弱灰度分布的异质性，利用关键点匹配实现精确配准，然而，这些方法往往受限于高计算费用，配准时间太长。
[0072]
基于深度学习的图像配准方法目前能够大大提高配准的精度和速度，然而基于监督的方法缺少标签，无监督方法目前以来mse，ncc等相似性度量来驱动网络训练，但是这些方法对单模态图像友好，对于跨模态图像而言，由于跨模态生物医学图像在强度分布，解剖结构和纹理方面存在巨大差异，设计一个完美的相似度量成为一个有挑战的任务。
[0073]
跨模态图像配准问题可以用分割配准协同的技术这种多任务方法去实现：图像分割和图像配准是两个医学两个独立课题，但是在生物医学领域中，分割和配准在本质上是互补的，既可以基于配准实现分割，也可以基于分割实现配准；建立分割和配准任务的高效协同对于完成分割任务和配准任务是非常关键的。但是分割和配准分别为一元输入和二元输入，配准的输出为其中浮动图像各像素到参考图像对应像素在xyz方向的偏移量(位移场)，而分割的输出则为各像素被分配到不同脑区的标签或置信度。这种差异使得现有的方法主要将配准和分割的协同分为两个任务进行。基于此并结合跨模态配准任务需要消除跨模态图像的外观纹理的差异，深度挖掘分割任务和配准任务的深度共性，提出用符号距离函数作为一种潜在结构表达来统一分割和配准任务。符号距离函数的定义是求3d图像中每一个voxel到其最近边界的距离。这样3d图像的每一个voxel包含了边界的信息，而这种边界信息是对分割和配准最有益的，因为分割主要关注的是分割边界的对齐，而配准主要关注的是解剖结构边界的对齐。同时这种符号距离函数作为一种潜在结构表达用于跨模态配准，消除了跨模态图像的外观差异。将跨模态问题转换成单模态配准问题，而单模态配准问题目前是一种成熟的技术。
[0074]
实施例一
[0075]
本发明基于符号距离函数引导的跨模态生物医学图像配准方法运行在带有24g显存的单块nvidiateslap40，基于pytorch框架进行生物医学图像跨模态配准。为验证上述方法的效果，本实施例分别使用符号距离场训练跨模态配准网络和直接使用原始多模态图像训练voxelmorph，其训练结果具体如下表所示：其中sdm-voxelmorph为本发明提出的方法。
[0076]
[0077]
可见，使用本发明提出的方法后，配准模型dice得分由84.09％上升到89.74％。说明本方法提高了跨模态配准图像的配准精度。
[0078]
综上所述，本发明与现有的技术相比，利用益于分割任务和配准任务的符号距离场协同配准网络和分割网络用于跨模态配准，将跨模态配准问题转换成单模态配准问题，避免了具有挑战的跨模态相似性度量的使用，大大提高了跨模态脑图像的配准精度，为跨模态生物医学图像配准任务提供了新方案。

技术特征：
1.一种基于符号距离函数协同分割的跨模态医学图像配准方法，其特征在于：该方法包括下列顺序的步骤：(1)获取跨模态生物医学图像数据及分割标签，并将跨模态生物医学图像分为浮动图像和固定图像；(2)用固定图像构建重构模型，并进行模型训练，使用训练的重构模型预估固定图像的符号距离场；(3)使用预估的固定图像符号距离场作为分割模型的输入，并进行分割模型训练，得到训练后的分割模型；(4)通过浮动图像的分割标签计算其真实的符号距离场，使用预估的固定图像符号距离场和计算的浮动图像真实符号距离场作为voxel-morph配准模型的输入，进行voxel-morph配准模型的训练，voxel-morph配准模型由图像相似性约束和形变场正则化构建代价函数来驱动配准模型训练；使用训练后的分割模型为voxel-morph配准模型生成分割标签，使用该分割标签来辅助voxel-morph配准模型的训练；(5)重复步骤(2)到步骤(4)，直到重构模型、分割模型和配准模型收敛；(6)将待配准固定图像输入到收敛后的重构模型中预估符号距离场，通过待配准浮动图像的分割标签计算其真实的符号距离场，然后将预估符号距离场和计算的待配准浮动图像的真实符号距离场输入收敛后的voxel-morph配准模型中生成配准后的浮动图像。2.根据权利要求1所述的基于符号距离函数协同分割的跨模态医学图像配准方法，其特征在于：所述步骤(1)具体是指：获取两种不同模态的生物医学图像数据集，包括x模态生物医学图像数据和y模态生物医学图像数据，其中，y模态生物医学图像为一张标准的3d脑均值图谱，称为浮动图像；x模态的生物医学图像为固定图像。3.根据权利要求1所述的基于符号距离函数协同分割的跨模态医学图像配准方法，其特征在于：所述步骤(2)中的重构模型基于3d unet卷积神经网络构建，包含编码路径和解码路径，每个路径有四个分辨率阶段，所述编码路径包括两个卷积核大小为3
×3×
3的卷积层，每个卷积层均后接group bn层和relu层，下采样通过maxpooling实现；解码路径的每一层包括一个卷积核大小为3
×3×
3的反卷积层，每个反卷积层均后接group bn层和relu层，通过跳跃连接，将编码路径中相同分辨率的层传递到解码路径，为解码路径提供高分辨率特征；使用重构模型预估符号距离场，具体包括以下步骤：(2a)将重构模型的训练看作一个回归问题，首先需要固定图像的真实符号距离场作为标签来约束模型的训练，真实符号距离场的计算公式如下所示：其中，是三维图像中的脑部感兴趣区域，ω
c
是ω在i中的补充，τ表示感兴趣脑区的边界，x、y分别表示感兴趣区域内的点和边界上的点，||x-y||2表示x和y两点间的欧氏距离；(2b)将固定图像输入重构模型，重构模型输出与固定图像分辨率相同的符号距离场，
并通过损失函数huberloss来最小化预测符号距离场与真实符号距离场的差异，从而驱动重构网络的训练，损失函数huberloss的计算公式如下所示：其中，y
gt
为真实的符号距离场，f(x)为预估的符号距离场，δ是参数。4.根据权利要求1所述的基于符号距离函数协同分割的跨模态医学图像配准方法，其特征在于：所述步骤(3)中的分割模型采用3dunet网络框架。5.根据权利要求1所述的基于符号距离函数协同分割的跨模态医学图像配准方法，其特征在于：所述步骤(4)中voxel-morph配准模型的训练过程包括以下步骤：(4a)用步骤(2)中预估的固定图像的符号距离场和计算的浮动图像的真实符号距离场作为voxel-morph配准模型的输入，训练voxel-morph配准模型，由voxel-morph配准模型预估形变场；(4b)利用形变场对浮动图像的符号距离场进行双线性插值，得到配准后的浮动图像的符号距离场；(4c)结合配准后的浮动图像的符号距离场和计算的固定图像的真实符号距离场的相似性约束与形变场的正则项，来构造voxel-morph配准模型的代价函数，所述相似性约束为均方误差mse：其中，sdm
f
和分别是固定图像的计算的符号距离函数和浮动图像配准后的符号距离场，p是3d图像感兴趣区域ω中的一个voxel；所述形变场的正则项公式为：所述形变场的正则项公式为：其中，u(p)表示体素p的位移；(4d)将分割模型生成的固定图像的分割标签作为弱监督数据辅助voxel-morph配准模型的训练，voxel-morph配准模型采用相似性度量指标dice来度量配准后浮动图像的分割标签和固定图像的分割标签的解剖结构之间的重合度，所述dice的计算公式如下：标签和固定图像的分割标签的解剖结构之间的重合度，所述dice的计算公式如下：
其中，k表示解剖结构的数量，s
f
表示固定图像的分割标签，表示配准后浮动图像的分割标签，表示固定图像第k类解剖结构的分割标签，表示配准后的第k类浮动图像的分割标签。

技术总结
本发明涉及一种基于符号距离函数协同分割的跨模态医学图像配准方法，包括：将跨模态生物医学图像分为浮动图像和固定图像；预估固定图像的符号距离场；得到训练后的分割模型；进行Voxel-Morph配准模型的训练；重复步骤(2)到步骤(4)，直到重构模型、分割模型和配准模型收敛；将预估符号距离场和计算的待配准的、浮动图像的真实的符号距离场输入收敛后的Voxel-Morph配准模型中生成配准后的浮动图像。本发明将跨模态图像的符号距离场作为潜在结构特征有效协同分割和配准任务，将跨模态图像配准问题转化成模态无关的单模态配准问题，大大提高了小样本场景下的跨模态生物医学图像的配准表现，提高了跨模态脑配准的精度。提高了跨模态脑配准的精度。提高了跨模态脑配准的精度。


技术研发人员：韩婷婷 屈磊 李圆圆 吴军 黄志祥 赵靖雨
受保护的技术使用者：合肥综合性国家科学中心人工智能研究院（安徽省人工智能实验室）
技术研发日：2023.04.23
技术公布日：2023/7/20