超分辨率重建辅助的CT图像超分辨率分割方法

超分辨率重建辅助的ct图像超分辨率分割方法
技术领域
1.本发明属于医学图像处理技术领域，涉及ct图像的重建和分割技术领域，尤其涉及一种超分辨率重建辅助的ct图像超分辨率分割方法。


背景技术：

2.在临床诊断中，对医学扫描图像进行超分辨率（sr）分割具有重要意义。现有的分割技术旨在从医学图像中分割出感兴趣的区域，例如重要的器官或受感染的区域，从而得到该区域的大小、形状和位置等重要信息。然而，对于一些解剖结构比较复杂的区域，原始分辨率的分割掩膜可能无法准确表达分割区域，因此需要使用sr分割方法根据低分辨率ct图像预测高分辨率的分割掩膜。然而，低分辨率图像包含的细节信息有限，不足以支持预测出精准的高分辨率分割掩膜。因此，我们考虑使用sr重建技术根据低分辨率ct预测对应的高分辨率ct，利用重建过程中恢复的低层次特征，如纹理和边缘来辅助预测高分辨率分割掩膜。
3.现有的使用sr重建辅助sr分割的方法主要分为两类：第一种是将sr重建作为图像的预处理步骤，这样做忽视了sr重建与sr分割任务之间的相关性和互补性。实际上，不仅sr重建过程的细节信息能辅助sr分割过程生成更加精准的分割掩膜，sr分割过程提供的抽象的语义信息也能指导sr重建过程生成更加符合真实分布的纹理细节；第二种是用串行的方式结合sr重建模型和sr分割模型，这种做法虽然让sr重建和sr分割过程能够相互影响，相互调整，但两个过程之间的交互仍然不充分。此外，并行的方式会导致误差的积累。因此，仍然缺乏一种能够有效结合sr重建和sr分割，从而实现两个过程相互促进的方法。


技术实现要素：

4.发明目的：本发明的目的旨在提供一种超分辨率重建辅助的ct图像超分辨率分割方法。该方法利用sr重建与sr分割任务间的互补性，具体的，sr重建过程中还原的纹理、边缘等细节特征能够帮助sr分割过程预测出更加精确的分割掩膜，sr分割过程中提取出的抽象的语义特征也能引导sr重建过程生成更加符合真实分布的纹理细节。此外，考虑到ct图像中感兴趣的区域的尺寸变化很大，该方法使用多尺度的大核卷积来提取多尺度特征，从而进一步提升重建与分割的性能。
5.技术方案：为实现上述目的，本发明提供一种超分辨率重建辅助的ct图像超分辨率分割方法，包括如下步骤：s1：使用bicubic插值算法对原始的ct图像进行下采样，将原始的ct图像4倍下采样为低分辨率图像，使用原始的ct图像和分割标签分别作为超分辨率重建标签和超分辨率分割标签；s2：将步骤s1中的低分辨率图像输入编码器，并通过两个独立的解码器分支分别进行超分辨率重建和超分辨率分割；s3：使用多尺度融合模块（msfb）提取多尺度特征，并将步骤s2中编码过程中产生
的中间特征传给解码器。
6.s4：使用双通道注意力模块（dcab）对步骤s2中的编码器和解码器的中间特征进行融合。
7.s5：通过损失函数对以上所述模型进行优化。
8.该方案充分利用sr重建与sr分割任务间的互补性，具体的，sr重建过程中还原的纹理、边缘等细节特征能够帮助sr分割过程预测出更加精确的分割掩膜，sr分割过程中提取出的抽象的语义特征也能引导sr重建过程生成更加符合真实分布的纹理细节。
9.进一步地，所述步骤s2中利用共同的编码器提取特征，之后通过独立的解码器分支分别提取出契合各自任务的特征。具体而言，重建分支的解码器的中间特征包含了更多的边缘、纹理等低语义信息的细节特征，分割分支的解码器的中间特征包含了更多抽象的高级特征。具体如下：对于给定的输入，首先通过三个串行的卷积模块和下采样层对其进行编码，卷积模块包含2层卷积-relu激活函数-bn标准化层，下采样层为最大池化下采样，经过第一个卷积模块处理得到第一编码特征，该特征经过下采样层和第二个卷积模块生成第二编码特征，以此类推，分别得到第三编码特征和瓶颈特征，将得到的送入sr重建分支解码器和sr分割分支解码器，两个解码器结构相同，均包含三个串行的上采样层和卷积模块，上采样层使用bilinear插值方法。以sr分割分支解码器为例，输入解码器后经过上采样层和卷积模块得到第三分割特征，以此类推，得到第二分割特征、第一分割特征以及sr重建分支解码器中的第三重建特征、第二重建特征、第一重建特征。共同的编码器利用了重建与分割任务之间的相关性与互补性，对重建与分割特征进行了初步融合。而独立的解码器分支考虑了不同任务之间的差异性，避免了任务之间产生相互的副作用。
10.进一步地，所述步骤s3中利用msfb模块融合编码器各层中的特征，提取出多尺度特征，并将结果送入解码器中，每个分支包含三个并行的msfb模块，具体如下，sr分割分支的第一个mfsb模块，该模块将，，插值到相同尺寸，拼接得到拼接特征，利用三个并行的大核卷积，卷积核分别为，提取出第一多尺度分割残差，前馈神经网络ffn对做进一步调整，得到第一分割残差，以拼接的方式与结合，得到新的，输入到分割解码器的后续模块，以此类推，其余的msfb模块根据提取第二分割残差、第三分割残差、第一重建残差、第二重建残差、第三重建残差，并与对应的解码器中间特征拼接。这些残差特征包含多尺度信息，使模型能更好地应对医学图像中不同器官或病灶区域尺寸变化较大的问题，并且补充了编码器在降采样时丢失的信息。
11.进一步地，所述步骤s3中的msfb模块使用了大核卷积，在本方法中我们将大核卷积分解为三个串行的更小的卷积。对于一个的卷积，我们将其分解成三个部分：一个
的深度卷积depthwise convolution，dwconv，一个的深度膨胀卷积depthwise dilation convolution，dwdconv以及一个逐点卷积pointwise convolution，pwconv，在本方法中，为了实现9
×
9的大核卷积依次通过3
×
3的dwconv、5
×
5的dwdconv和pwconv，得到第一尺度特征；为了实现27
×
27的大核卷积，依次通过5
×
5的dwconv、 7
×
7的dwdconv和pwconv，得到第二尺度特征；对于3
×
3的卷积，不对其进行分解直接通过3
×
3卷积得到第三尺度特征，将、、拼接融合，结果被送入msfb的后续模块。大核卷积使模型拥有更大的感受野，从而提升性能，其缺点在于所带来的计算开销大，不利于算法的部署。通过将大核卷积分解成三个串行的卷积，我们的方法有效地减少了大核卷积带来的巨大开销。
12.进一步地，所述步骤s4中使用dcab模块使用跨注意力机制融合重建和分割分支的特征，、、分别通过卷积模块进行特征调整，得到分割融合特征、重建融合特征、输入融合特征，为了给分割融合特征补充细节信息，避免其对重建特征产生负面影响，将与相加，得到新的分割融合特征，和被分别映射成分割查询特征、分割键值特征、分割候选特征和重建查询特征、重建键值特征、重建候选特征，对上述特征使用跨注意力操作进行融合，融合结果经过局部增强前馈网络leff，得到新的分割融合特征和重建融合特征，该过程可表示为：，其中，代表特征维度，leff代表局部增强前馈网络的参数，为了保证特征的稳定性，和分别与和相加，得到新的和。该模块充分利用了重建和分割特征之间的互补性：重建特征中产生的边缘、纹理等细节特征能够作为低分辨率输入的补充，帮助分割分支更准确地预测出高分辨率分割掩膜；分割过程中产生的抽象的语义特征也能引导重建分支生成更加真实的细节特征。
13.进一步地， 所述步骤s5中对和分别进行pixelshuffle上采样，并与各自的标签计算损失函数，sr分割任务的损失函数包含交叉熵损失和dice损失，sr重建任务的损失函数包含l1损失，为了平衡两项任务的损失函数，使用动态调节机制，损失函数的具体表达式为：
其中，和分别表示对和进行pixelshuffle上采样得到的最终结果，和分别表示真实的超分辨率重建标签和超分辨率分割标签，表示计算损失，表示计算交叉熵损失，表示计算dice损失，和分别表示计算得到的重建损失和分割损失，为了平衡两项任务的损失函数，使用和计算动态变化的比例系数，并利用该比例系数对二者进行加权，得到最终的损失函数。
14.有益效果：本发明与现有技术相比，具备如下优点：1、本发明利用超分辨率重建和超分辨率分割之间的互补性，提出了一种超分辨率重建辅助的ct图像超分辨率分割方法；2、本发明使用多个并行的大核卷积融合编码器各层的特征，并从中提取出多尺度特征，以更好地处理医学图像中各器官大小差距很大的情况；3、本发明提出了dcab模块，该模块利用跨注意力操作对sr重建特征和sr分割特征进行有效融合，从而使两个任务的性能都能得到提升；4、本发明使用动态权重来平衡重建和分割任务，动态地调整损失函数。
附图说明
15.图1为本发明提供的超分辨率重建辅助的ct图像超分辨率分割模型的流程示意图；图2为本发明提供的超分辨率重建辅助的ct图像超分辨率分割模型的总体框架结构图；图3为本发明提供的双通道注意力模块（dcab）的拓扑结构示意图；图4为超分辨率分割的结果对比图；图5为超分辨率重建的结果对比图。
具体实施方式
16.下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本技术所附权利要求所限定的范围。
17.实施例：超分辨率分割任务和超分辨率重建任务之间有很大的关联性和互补性。超分辨率重建任务能够在重建过程中逐渐还原细节特征，对输入低分辨率ct图像中有限的细节信息进行补充，帮助超分辨率分割任务更加精准地预测分割掩膜；超分辨率分割能够提取抽象地语义信息，指导重建过程生成更加符合真实分布的纹理细节。本方法使用两个
并行的分支同时处理重建和分割任务，并设计了专门的融合模块对不同分支的中间特征进行有效融合，从而使重建和分割任务相互促进。
18.本发明包括如下步骤：s1：使用bicubic插值算法对原始的ct图像进行下采样，将原始的ct图像4倍下采样为低分辨率图像，使用原始的ct图像和分割标签分别作为超分辨率重建标签和超分辨率分割标签；所使用的数据集包含ct图像和其对应的分割标签。为了满足本方法的需要，我们将ct图像通过传统图像处理算法中的bicubic插值算法进行4倍下采样，并将其作为模型的低分辨率输入。
19.s2：将步骤s1中的低分辨率图像输入编码器，并通过两个独立的解码器分支分别进行超分辨率重建和超分辨率分割。
20.如图2所示，本方法利用共同地编码器提取特征，对sr重建特征以及sr分割特征进行初步融合，之后通过独立的解码器分支分别提取出契合各自任务的特征。具体而言，重建分支的解码器的中间特征包含了更多的边缘、纹理等低语义信息的细节特征，分割分支的解码器的中间特征包含了更多抽象的高级特征。对于给定的输入，首先通过三个串行的卷积模块和下采样层对其进行编码，卷积模块包含2层卷积-relu激活函数-bn标准化层，下采样层为最大池化下采样，经过第一个卷积模块处理得到第一编码特征，该特征经过下采样层和第二个卷积模块生成第二编码特征，以此类推，分别得到第三编码特征和瓶颈特征，将得到的送入sr重建分支解码器和sr分割分支解码器，两个解码器结构相同，均包含三个串行的上采样层和卷积模块，上采样层使用bilinear插值方法。以sr分割分支解码器为例，输入解码器后经过上采样层和卷积模块得到第三分割特征，以此类推，得到第二分割特征、第一分割特征以及sr重建分支解码器中的第三重建特征、第二重建特征、第一重建特征。共同的编码器利用了重建与分割任务之间的相关性与互补性，对重建与分割特征进行了初步融合。而独立的解码器分支考虑了不同任务之间的差异性，避免了任务之间产生相互的副作用。
21.s3：使用多尺度融合模块（msfb）提取多尺度特征，并将步骤s2中编码过程中产生的中间特征传给解码器。
22.如图2所示，本方法利用msfb模块融合编码器各层中的特征，提取出多尺度特征，并将结果送入解码器中。sr分割分支的第一个mfsb模块，该模块将，，插值到相同尺寸，拼接得到拼接特征，利用三个并行的大核卷积，卷积核分别为，提取出第一多尺度分割残差，前馈神经网络ffn对做进一步调整，得到第一分割残差，以拼接的方式与结合，得到新的，输入到分割解码器的后续模块，以此类推，其余的msfb模块根据提取第二分割残差
、第三分割残差、第一重建残差、第二重建残差、第三重建残差，并与对应的解码器中间特征拼接。这些残差特征包含多尺度信息，使模型能更好地应对医学图像中不同器官或病灶区域尺寸变化较大的问题，并且补充了编码器在降采样时丢失的信息。
23.所述步骤s3中的msfb模块使用了大核卷积，在本方法中我们将大核卷积分解为三个串行的更小的卷积。对于一个的卷积，我们将其分解成三个部分：一个的深度卷积depthwise convolution，dwconv，一个的深度膨胀卷积depthwise dilation convolution，dwdconv以及一个逐点卷积pointwise convolution，pwconv，在本方法中，为了实现9
×
9的大核卷积依次通过3
×
3的dwconv、5
×
5的dwdconv和pwconv，得到第一尺度特征；为了实现27
×
27的大核卷积，依次通过5
×
5的dwconv、 7
×
7的dwdconv和pwconv，得到第二尺度特征；对于3
×
3的卷积，不对其进行分解直接通过3
×
3卷积得到第三尺度特征，将、、拼接融合，结果被送入msfb的后续模块。大核卷积使模型拥有更大的感受野，从而提升性能，其缺点在于所带来的计算开销大，不利于算法的部署。通过将大核卷积分解成三个串行的卷积，我们的方法有效地减少了大核卷积带来的巨大开销。
24.s4：使用双通道注意力模块（dcab）对步骤s2中的编码器和解码器的中间特征进行融合。
25.如图3所示，dcab模块使用跨注意力机制融合重建和分割分支的特征。
26.、、分别通过卷积模块进行特征调整，得到分割融合特征、重建融合特征、输入融合特征，为了给分割融合特征补充细节信息，避免其对重建特征产生负面影响，将与相加，得到新的分割融合特征，和被分别映射成分割查询特征、分割键值特征、分割候选特征和重建查询特征、重建键值特征、重建候选特征，对上述特征使用跨注意力操作进行融合，融合结果经过局部增强前馈网络leff，得到新的分割融合特征和重建融合特征，该过程可表示为：，其中，代表特征维度，leff代表局部增强前馈网络的参数，为了保证特征的稳定性，和分别与和相加，得到新的和。该模块充分利用了重建和分割特征之间的互补性：重建特征中产生的边缘、纹理等细节特征
能够作为低分辨率输入的补充，帮助分割分支更准确地预测出高分辨率分割掩膜；分割过程中产生的抽象的语义特征也能引导重建分支生成更加真实的细节特征。
27.s5：通过损失函数对以上所述模型进行优化。
28.为了证明本发明的有效性，本发明还提供了下述对比实验：具体的，本发明使用segthor公开数据集，该数据集为胸部多器官分割数据集，包含4个器官的分割标签：心脏、主动脉、气管和食道。该数据集包含40个病人的ct扫描，我们随机选取28个作为训练集，4个作为验证集，8个作为测试集。在正式训练前，我们截取[-128，384]之间的hu值，并对其进行步骤s1所述的预处理。训练时采用adamw优化器，初始学习率为0.001，总的训练周期为150。
[0029]
为了验证本方法在重建以及分割上的有效性，我们与当前效果最好的分割和重建算法做对比。在分割任务上，我们将本方法的实验结果与cpfnet、kiu-net、unet++、uctransnet进行对比，评价指标为通用的dice和hd95，对比结果如表1所示。可以看到，在分割性能上，本方法与其他方法相比有比较明显的提升；在重建任务上，我们将本方法的实验结果与rdn、edsr、nsla进行对比，评价指标为psnr和ssim，对比结果如表2所示。
[0030]
表1 本方法与其他算法在分割任务上的对比结果，加粗的数据表示性能最好的数据。（eso：食管 hea：心脏 tra：气管 aor：主动脉 ）表2 本方法与其他算法在重建任务上的对比结果，加粗的数据表示性能最好的数据。
[0031]
为直观地展现本方法地有效性，我们将本方法的结果与其他方法在视觉效果上进行对比。图3为各方法的分割结果，可以看到相比于其他方法，本方法能更加精准地分割出各器官；图4为各方法的重建结果，如图所示，得益于分割过程提供的语义信息，我们的方法可以准确地恢复食管与主动脉之间不清晰的边界。

技术特征：
1.一种超分辨率重建辅助的ct图像超分辨率分割方法，其特征在于，所述方法包括以下步骤：s1：使用bicubic插值算法对原始的ct图像进行下采样，将原始的ct图像4倍下采样为低分辨率图像，使用原始的ct图像和分割标签分别作为超分辨率重建标签和超分辨率分割标签；s2：将步骤s1中的低分辨率图像输入编码器，并通过两个独立的解码器分支分别进行超分辨率重建和超分辨率分割；s3：使用多尺度融合模块msfb提取多尺度特征，并将步骤s2中编码过程中产生的中间特征传给解码器；s4：使用双通道注意力模块dcab对步骤s2中的编码器和解码器的中间特征进行融合；s5：通过损失函数对以上所述模型进行优化。2.根据权利要求1所述超分辨率重建辅助的ct图像超分辨率分割方法，其特征在于：所述步骤s2中利用共同地编码器提取特征，对sr重建特征以及sr分割特征进行初步融合，之后通过独立的解码器分支分别提取出契合各自任务的特征，具体如下：对于给定的输入，首先通过三个串行的卷积模块和下采样层对其进行编码，卷积模块包含2层卷积-relu激活函数-bn标准化层，下采样层为最大池化下采样，经过第一个卷积模块处理得到第一编码特征，该特征经过下采样层和第二个卷积模块生成第二编码特征，以此类推，分别得到第三编码特征和瓶颈特征，将得到的送入sr重建分支解码器和sr分割分支解码器，两个解码器结构相同，均包含三个串行的上采样层和卷积模块，上采样层使用bilinear插值方法。3.根据权利要求1所述超分辨率重建辅助的ct图像超分辨率分割方法，其特征在于：所述步骤s3中利用msfb模块融合编码器各层中的特征，提取出多尺度特征，并将结果送入解码器中，每个分支包含三个并行的msfb模块，具体如下，sr分割分支的第一个mfsb模块，该模块将，，插值到相同尺寸，拼接得到拼接特征，利用三个并行的大核卷积，卷积核分别为，提取出第一多尺度分割残差，前馈神经网络ffn对做进一步调整，得到第一分割残差，以拼接的方式与结合，得到新的，输入到分割解码器的后续模块，以此类推，其余的msfb模块根据提取第二分割残差、第三分割残差、第一重建残差、第二重建残差、第三重建残差，并与对应的解码器中间特征拼接。4.根据权利要求1所述超分辨率重建辅助的ct图像超分辨率分割方法，其特征在于：所述步骤s3中的msfb模块使用了大核卷积，对于一个的卷积，将其分解成三个部分：一个的深度卷积depthwise convolution，dwconv，一个的深度膨胀卷积depthwise dilation convolution，dwdconv以及一个逐点卷积pointwise convolution，pwconv，依次通过3
×
3的dwconv、5
×
5的dwdconv和pwconv，得到第一尺
度特征；为了实现27
×
27的大核卷积，依次通过5
×
5的dwconv、 7
×
7的dwdconv和pwconv，得到第二尺度特征；对于3
×
3的卷积，直接通过3
×
3卷积得到第三尺度特征，将、、拼接融合，结果被送入msfb的后续模块。5.根据权利要求1所述超分辨率重建辅助的ct图像超分辨率分割方法，其特征在于：所述步骤s4中使用dcab模块使用跨注意力机制融合重建和分割分支的特征，、、分别通过卷积模块进行特征调整，得到分割融合特征、重建融合特征、输入融合特征，将与相加，得到新的分割融合特征，和被分别映射成分割查询特征、分割键值特征、分割候选特征和重建查询特征、重建键值特征、重建候选特征，对上述特征使用跨注意力操作进行融合，融合结果经过局部增强前馈网络leff，得到新的分割融合特征和重建融合特征，该过程可表示为：，其中，代表特征维度，leff代表局部增强前馈网络的参数，为了保证特征的稳定性，和分别与和相加，得到新的和。6.根据权利要求1所述超分辨率重建辅助的ct图像超分辨率分割方法，其特征在于：所述步骤s5中对和分别进行pixelshuffle上采样，并与各自的标签计算损失函数，sr分割任务的损失函数包含交叉熵损失和dice损失，sr重建任务的损失函数包含l1损失，为了平衡两项任务的损失函数，使用动态调节机制，损失函数的具体表达式为：其中，和分别表示对和进行pixelshuffle上采样得到的最终结果，和分别表示真实的超分辨率重建标签和超分辨率分割标签，表示计算损失，表示计算交叉熵损失，表示计算dice损失，和分别表示计算得到的重建损失和分割损失，为了平衡两项任务的损失函数，使用和计算动态变化的比例系数，并利用该比例系数对二者进行加权，得到最终的损失函数 。

技术总结
本发明公开了一种超分辨率重建辅助的CT图像超分辨率分割方法，包括步骤：使用bicubic算法对原始的CT图像进行4倍下采样；将所述低分辨率图像I


技术研发人员：葛荣骏 徐颖 张道强
受保护的技术使用者：南京航空航天大学
技术研发日：2023.06.09
技术公布日：2023/7/12