一种基于类Transformer网络的医学图像分割方法

一种基于类transformer网络的医学图像分割方法
技术领域
1.本发明涉及图像分析领域的医学图像分割技术，特别涉及一种基于类transformer网络的医学图像分割方法。


背景技术：

2.医学图像分割在医学图像分析领域具有越来越重要的临床价值，尤其在图像引导的外科手术和放射治疗等方面成为热点技术，目前所涉及的临床应用包括：病变分割、细胞分割、组织器官分割等。其目的在于细分医学图像中特征相同的组成部分或提取感兴趣区域，这为医生进行临床诊断起着至关重要的作用。
3.随着卷积神经网络(cnn)在计算机视觉领域的发展，cnn被广泛且快速地应用于医学图像分割。作为典型的cnn变体，u-net是一种基于编码器-解码器结构的神经网络，通过编码器连续下采样进行特征提取，并通过跳跃连接解码器的输出特征进行上采样，此结构被证明了具有出色的分割性能。近几年，许多基于u-net结构的方法被提出用于解决医学图像分割问题，这些方法在多个数据集中被证实具有很好的性能。然而，由于此类方法存在固有的归纳偏差，卷积核只聚焦于图像的局部图像块，容易损失全局上下文，导致无法建立长程依赖关系。虽然有研究者提出基于注意力的方法来试图建模长期依赖关系，但这些方法并不是专门针对医学图像分割任务设计的，在全局上下文建模方面具有一定的局限性，并且严重依赖大规模的预训练模型，因此针对此方向上的改进是具有一定潜力的。
4.最近，transformer在自然语言处理(nlp)领域取得了巨大成功，由于该框架中多头自注意力机制可以有效地在被标记的序列之间建立全局连接，具有远程依赖建模的能力，可用于改进纯cnn模型，因此研究人员将transformer引入计算机视觉领域以出色地完成视觉任务。在医学图像分割领域，其中一些工作取得了令人满意的效果，有研究人员提出了一种具有兼容性的框架可用于多视觉任务，且作为视觉骨干具有一定潜力，但该方法仍然依赖于通过在大型图像数据集上训练获得的预训练权重。还有研究人员利用transformer作为进医学图像分割的强大编码器，并结合u-net的结构来恢复局部空间信息实现细节增强，但该方法注重在单一尺度上使用自注意力机制来进行上下文建模，而忽略了跨尺度的依赖性。
5.综上所述，通过增强空间信息和建模长期依赖关系，可以用于精确的医学图像分割。减少特征信息的丢失，融合多尺度特征以及在较小数据集上表现出良好的性能是医学图像分割亟待解决的关键问题。


技术实现要素：

6.针对上述问题，本发明的目的在于提供一种基于类transformer网络的医学图像分割方法，通过类transformer模块建模图像块之间的长期依赖关系，采用u型网络结构实现模块之间的多尺度信息融合。技术方案如下：
7.一种类transformer网络的医学图像分割方法，包括如下步骤：
8.步骤1：选择公开的医学图像分割数据集，并对数据集中的训练集进行预处理；
9.步骤2：构建图像切片模块，用于输入图像分割网络的小尺寸图像块；
10.步骤3：构建跨流注意力模块和密集多层感知器模块，用于捕获多尺度特征；
11.步骤4：通过跨流注意力模块和密集多层感知器模块构建类transformer模块，以此捕获图像块之间的重要全局上下文信息，提取丰富的局部信息和空间纹理信息；
12.步骤5：将所述类transformer模块作为编码器、解码器的组成部分，结合桥接器构建u型分割网络框架。
13.进一步的，所述步骤1中的医学图像分割数据集为：gland segmentation；预处理时将所有图像调整为224
×
224像素大小的图像。
14.更进一步的，所述步骤2构建图像切片模块的具体过程如下：
15.步骤2.1：针对输入图像i的每个通道图像每隔一个像素取一个值，由此每个通道获得4张尺寸减半的图片，表达公式如下：
16.i＝{i1，i2，...，ic}
[0017][0018]
其中，f(in)表示图像切片操作，p
(i，j)
表示像素点，c为图像通道数量，n表示图像的第n通道，且n≤c；h和w分别为图像的高度和宽度，表示级联操作；
[0019]
步骤2.2：将w、h维度的信息集中到通道空间，输入通道扩充了4倍，输出特征图为代表图像块尺寸高为h，宽为w，通道数量为c。
[0020]
更进一步的，所述步骤3中跨流注意力模块和密集多层感知器模块设计过程如下：
[0021]
步骤3.1：将图像切片模块的输出特征图作为跨流注意力模块的输入特征，跨流注意力模块包括三条分支，分别为大核注意力分支、空间注意力分支和通道注意力分支；
[0022]
1)所述大核注意力分支包括三个子操作dw-conv、dw-d-conv和1
×
1conv，分别获得x
dw-conv
、x
dw-d-conv
和x
conv
三个特征图，大核注意力分支输出特征图表达公式如下；
[0023]
x
sl
＝x
l-1
⊙
(conv1×1(dw-d-conv(dw-conv(x
l-1
))))
[0024]
其中，
⊙
为逐像素相乘操作，dw-conv表示深度可分离卷积操作，dw-d-conv表示深度可分离扩张卷积操作，1
×
1conv表示卷积核为1的卷积操作；
[0025]
2)所述空间注意力分支首先将特征图x
l-1
和x
dw-conv
通过通道均值和重塑操作生成特征图和n＝h
×
w；将特征图x
′
l
和x
′
dw-conv
进行矩阵相乘得到特征图x
′
sn
，然后将特征图x
′
sn
经过softmax操作获得特征图最后特征图x
″
sn
和x
′
l
矩阵相乘获得空间注意力分支输出的特征图
[0026]
3)所述通道注意力分支将特征图x
l-1
和x
dw-conv
通过全局池化和重塑操作生成特征图和然后将特征图x
″
l
和x
″
dw-conv
进行矩阵相乘生成特征图x
′c，并对特征图x
′c进行softmax操作生成通道注意力图x
″c，最后将特征图x
″
l
和通道注意力图x
″c进行矩阵相乘和重塑操作生成通道注意力分支输出的特征图
[0027]
则跨流注意力模块最终输出特征图的表达式为：
[0028][0029]
步骤3.2：密集多层感知器模块的输入为跨流注意力模块的输出特征图首先对输入经过重塑操作获得然后将输入到经过密集连接的多层感知器中，该过程表达方式如下：
[0030][0031][0032]
其中，k代表密集多层感知器模块有k层，密集多层感知器模块的所有后续层都与之前的层相关；表示第k-1层的特征图，g为密集多层感知器模块的增长率，xk表示密集连接的多层感知器的输出，表示第k层的特征图，mlp表示多层感知器。
[0033]
更进一步的，所述步骤4中类transformer模块包括三部分：归一化层、跨流注意力模块和密集多层感知器模块，表示如下：
[0034][0035][0036]
其中，x
l-1
表示输入网络的特征图，表示跨流注意力模块的输出，x
l
表示类transformer模块输出，norm代表归一化操作，saa表示跨流注意力，densemlp表示密集多层感知器。
[0037]
更进一步的，所述步骤5利用所述类transformer模块构建u型分割网络框架，所述u型分割网络框架包括编码器、解码器和跳跃连接；编码器用于提取精细图像特征，编码阶段通过类transformer模块和下采样从浅层到深层获得图像语义信息；解码器用于实现像素级分割，解码阶段通过类transformer模块和上采样来恢复图像的空间分辨率；编码器和解码器之间通过跳跃连接来弥补下采样带来的空间信息损失。
[0038]
本发明的有益效果是：
[0039]
1)本发明设计一种基于类transformer的医学图像分割方法，该网络可以更好的补充全局上下文信息并对高级语义信息进行编码。
[0040]
2)本发明结合跨流注意力模块(saa)来学习更大的感受野，并通过结合空间注意力和通道注意力来弥补自注意力模块在空间和通道学习上丢失信息的缺点。saa注意力模块从三个维度上对图像特征进行提取，三个分支之间采用跳跃连接的方式实现信息的传输，实现全局和局部的联系，更好的提取特征信息
[0041]
3)本发明通过密集连接的方式构建densemlp模块，与传统的transformer方法相比能够更好地学习通道维度上的多尺度信息。采用密集连接的方式，一定程度上可以减轻在训练过程中梯度消散的问题，且具有多尺度特征提取能力，每经过一个mlp单元模块，下一层的特征维度就会增长，因此网络中流通的信息也越大，这能够更好的补获全局上下文信息并编码高级语义信息。
附图说明
[0042]
图1为本发明的跨流注意力模块。
[0043]
图2为本发明的密集连接感知器模块。
[0044]
图3为本发明的类transformer网络模块。
[0045]
图4为本发明的基于类transformer网络的医学图像分割方法的流程图。
具体实施方式
[0046]
下面结合附图和具体实施例对本发明做进一步详细说明。
[0047]
本发明设计了一种基于类transformer网络的医学图像分割方法。首先，选择公开的医学图像分割数据集gland segmentation，并对数据集进行训练集和测试集的分组和数据预处理；然后，构建图像切片模块，用于图像分割网络的小尺寸图像块输入编码器-解码器结构(其基础模块类transformer模块核心包括：saa注意力模块，densemlp模块)；最后，通过卷积层将特征图的分辨率恢复到目标分辨率，并结合分割真实值计算损失以进行分割结果预测。
[0048]
步骤1：选择公开的医学图像分割数据集，并对数据集中的训练集进行预处理。
[0049]
公开数据集为：gland segmentation，数据集均采用5折交叉验证方法进行训练，对数据集中的训练集进行预处理。
[0050]
gland segmentation数据集包含苏木精-伊红染色切片的显微图像，以及病理学家提供的真实分割图像。数据集包含165幅分辨率大小不一致的图像，其中最小分辨率为433
×
574，最大分辨率为775
×
522，实验中所有图像的分辨率均调整为224
×
224。
[0051]
步骤2：构建图像切片模块，用于图像分割网络的小尺寸图像块输入。
[0052]
图像分割网络的小尺寸图像块输入具体过程如下：
[0053]
1)首先针对输入图像i的每个通道图像每隔一个像素取一个值，类似于邻近下采样，由此每个通道获得4张尺寸减半的图片，4张图片互补，但是没有信息丢失，表达公式如下：
[0054]
i＝{i1，i2，...，ic}(n≤c)
[0055][0056]
其中，p
(i，j)
表示像素点，c为图像通道数量，n表示图像的第n通道，h和w分别为图像的高度和宽度，表示级联操作。
[0057]
2)通过这种方式，可以将w、h维度的信息集中到通道空间，输入通道扩充了4倍，输出特征图为表达公式如下：
[0058][0059]
其中，f(in)表示图像切片操作，i代表输入图像，代表图像块尺寸；
[0060]
对获得的新图像块进行卷积运算，最后获得无信息丢失的下采样特征图像块，并将特征图像块用作输入，这很好地保留了原始图像中的全局语义信息。
[0061]
步骤3：设计跨流注意力模块(saa)和密集多层感知器模块(densemlp)，用于捕获多尺度特征块，saa和densemlp设计过程如下：
[0062]
1)将图像切片模块的输出特征图作为注意力模块的输入，注意力模块(saa)包括三条分支，分别为大核注意力、空间注意力、通道注意力，本发明的跨流注意力模块如图1所示，该模块的表达式为：
[0063][0064]
其中，表示跨流注意力模块的输出，x
l-1
为输入特征，x
sl
为大核注意力输出特征图，x
sn
空间注意力输出特征图，xc通道注意力输出特征图。
[0065]
①
所述大核注意力分支分为三个子操作：dw-conv dw-d-conv和1
×
1conv，分别获得x
dw-conv
、x
dw-d-conv
和x
conv
三个特征图。将大尺寸卷积替换为三个小尺寸卷积，从而使等效卷积核变大，因此感受野增加，并获得更多全局特征，同时避免了计算量过大，大核注意力分支表达公式如下；
[0066]
x
sl
＝x
l-1
⊙
(conv1×1(dw-d-conv(dw-conv(c
l-1
))))
[0067]
其中，x
l-1
为输入特征，
⊙
为逐像素相乘操作；dw-conv表示深度可分离卷积操作，dw-d-conv表示深度可分离扩张卷积操作，1
×
1conv表示卷积核为1的卷积操作。
[0068]
②
所述空间注意力分支首先将特征图x
l-1
和x
dw-conv
通过通道均值和重塑操作生成和将x
′
l
和x
′
dw-conv
进行矩阵相乘得到x
′
sn
，然后x
′
sn
经过softmax操作获得特征图最后x
″
sn
和x
′
l
矩阵相乘获得空间注意力分支的输出该分支将更广泛的语义信息编码到局部接收域中来增强特征图表示能力，并且可以挖掘每个像素之间的相似性关系。
[0069]
③
所述通道注意力分支将特征图x
l-1
和x
dw-conv
通过全局池化和重塑操作生成和然后将x
″
l
和x
″
dw-conv
进行矩阵相乘生成x
′c，并对x
′c进行softmax操作生成通道注意力图x
″c，最后将x
″
l
和x
″c进行矩阵相乘和重塑操作生成通道特征图在该分支可以有效地计算通道注意力特征并压缩特征图的空间维度，并且挖掘每个图像特征图。
[0070]
2)密集多层感知器(densemlp)模块的输入为saa模块的输出特征图2)密集多层感知器(densemlp)模块的输入为saa模块的输出特征图首先对输入经过重塑操作获得然后将输入到经过密集连接的多层感知器(mlp)中，参考图2为本发明的密集连接感知器模块，该过程表达方式如下：
[0071][0072][0073]
其中，k代表densemlp模块有k层，densemlp模块的所有后续层都与之前的层相关，表示第k-1层的特征图，densemlp模块的增长率g设置为32，表示级连操作。
[0074]
采用密集连接的方式，一定程度上可以减轻在训练过程中梯度消散的问题，且具有多尺度特征提取能力；每经过一个mlp单元模块，下一层的特征维度就会增长g倍，网络中流通的信息也越大，相应地网络的能力也越强。我们通过该模块进行特征表示学习，能够更好的补获全局上下文信息并编码高级语义信息。
[0075]
步骤4：利用步骤3得到的模块构建类transformer模块，以此捕获图像块之间的重
要全局上下文信息，提取丰富的局部信息和空间纹理信息，并保持对长距离依赖关系建模的能力。类transformer模块由三部分组成：归一化层、跨流注意力模块(saa)和密集多层感知器模块(densemlp)，参考图3为本发明的类transformer网络模块，表示如下：
[0076][0077][0078]
其中，x
l-1
表示输入网络的特征图，表示跨流注意力模块的输出，x
l
表示类transformer模块输出，norm代表归一化操作。
[0079]
步骤5：利用步骤4得到的类transformer模块作为编码器、解码器的重要组成部分，结合桥接器构建u型分割网络框架，图4为本发明的基于类transformer网络的医学图像分割方法的流程图。
[0080]
该网络基本单元是类transformer模块，其中编码器部分用于提取精细图像特征，解码器部分用于实现像素级分割，编码器和解码器之间通过跳跃连接来弥补下采样带来的空间信息损失。在编码阶段，通过类transformer模块和下采样从浅层到深层获得图像语义信息。在解码阶段，将通过类transformer模块和上采样来恢复图像的空间分辨率。此外，编码器中每个块和解码器中每个块进行跳跃连接，以避免下采样和卷积操作导致的特征信息丢失。

技术特征：
1.一种基于类transformer网络的医学图像分割方法，其特征在于，包括如下步骤：步骤1：选择公开的医学图像分割数据集，并对数据集中的训练集进行预处理；步骤2：构建图像切片模块，用于输入图像分割网络的小尺寸图像块；步骤3：构建跨流注意力模块和密集多层感知器模块，用于捕获多尺度特征；步骤4：通过跨流注意力模块和密集多层感知器模块构建类transformer模块，以此捕获图像块之间的重要全局上下文信息，提取丰富的局部信息和空间纹理信息；步骤5：将所述类transformer模块作为编码器、解码器的组成部分，结合桥接器构建u型分割网络框架。2.根据权利要求1所述的基于类transformer网络的医学图像分割方法，其特征在于，所述步骤1中的医学图像分割数据集为：gland segmentation；预处理时将所有图像调整为224
×
224像素大小的图像。3.根据权利要求1所述的基于类transformer网络的医学图像分割方法，其特征在于，所述步骤2构建图像切片模块的具体过程如下：步骤2.1：针对输入图像i的每个通道图像每隔一个像素取一个值，由此每个通道获得4张尺寸减半的图片，表达公式如下：i＝{i1，i2，...，i
c
}其中，f(i
n
)表示图像切片操作，p
(i，j)
表示像素点，c为图像通道数量，n表示图像的第n通道，且n≤c；h和w分别为图像的高度和宽度，表示级联操作；步骤2.2：将w、h维度的信息集中到通道空间，输入通道扩充了4倍，输出特征图为步骤2.2：将w、h维度的信息集中到通道空间，输入通道扩充了4倍，输出特征图为代表图像块尺寸高为h，宽为w，通道数量为c。4.根据权利要求3所述的基于类transformer网络的医学图像分割方法，其特征在于，所述步骤3中跨流注意力模块和密集多层感知器模块设计过程如下：步骤3.1：将图像切片模块的输出特征图作为跨流注意力模块的输入特征，跨流注意力模块包括三条分支，分别为大核注意力分支、空间注意力分支和通道注意力分支；1)所述大核注意力分支包括三个子操作dw-conv、dw-d-conv和1
×
1conv，分别获得x
dw-conv
、x
dw-d-conv
和x
conv
三个特征图，大核注意力分支输出特征图表达公式如下；x
sl
＝x
l-1
⊙
(conv1×1(dw-d-conv(dw-conv(x
l-1
))))其中，
⊙
为逐像素相乘操作，dw-conv表示深度可分离卷积操作，dw-d-conv表示深度可分离扩张卷积操作，1
×
1conv表示卷积核为1的卷积操作；2)所述空间注意力分支首先将特征图x
l-1
和x
dw-conv
通过通道均值和重塑操作生成特征图和n＝h
×
w；将特征图x
′
l
和x
′
dw-conv
进行矩阵相乘得到特征图x
′
sn
，然后将特征图x
′
sn
经过softmax操作获得特征图最后特征图x
″
sn
和x
′
l
矩阵相乘获得空间注意力分支输出的特征图3)所述通道注意力分支将特征图x
l-1
和x
dw-conv
通过全局池化和重塑操作生成特征图
和然后将特征图x
″
l
和x
″
dw-conv
进行矩阵相乘生成特征图x
′
c
，并对特征图x
′
c
进行softmax操作生成通道注意力图x
″
c
，最后将特征图x
″
l
和通道注意力图x
″
c
进行矩阵相乘和重塑操作生成通道注意力分支输出的特征图则跨流注意力模块最终输出特征图的表达式为：步骤3.2：密集多层感知器模块的输入为跨流注意力模块的输出特征图首先对输入经过重塑操作获得然后将输入到经过密集连接的多层感知器中，该过程表达方式如下：该过程表达方式如下：其中，k代表密集多层感知器模块有k层，密集多层感知器模块的所有后续层都与之前的层相关；表示第k-1层的特征图，g为密集多层感知器模块的增长率，x
k
表示密集连接的多层感知器的输出，表示第k层的特征图，mlp表示多层感知器。5.根据权利要求1所述的基于类transformer网络的医学图像分割方法，其特征在于，所述步骤4中类transformer模块包括三部分：归一化层、跨流注意力模块和密集多层感知器模块，表示如下：器模块，表示如下：其中，x
l-1
表示输入网络的特征图，表示跨流注意力模块的输出，x
l
表示类transformer模块输出，norm代表归一化操作，saa表示跨流注意力，densemlp表示密集多层感知器。6.根据权利要求1所述的基于类transformer网络的医学图像分割方法，其特征在于，所述步骤5利用所述类transformer模块构建u型分割网络框架，所述u型分割网络框架包括编码器、解码器和跳跃连接；编码器用于提取精细图像特征，编码阶段通过类transformer模块和下采样从浅层到深层获得图像语义信息；解码器用于实现像素级分割，解码阶段通过类transformer模块和上采样来恢复图像的空间分辨率；编码器和解码器之间通过跳跃连接来弥补下采样带来的空间信息损失。

技术总结
本发明属于图像分割领域，具体涉及了一种基于类Transformer网络的医学图像分割方法。首先，本发明利用隔像素采样的方式将原始分辨率图像切分为4相同尺寸的图像块；然后，本发明在U型网络的编解码结构中设计了类Transformer模块和DenseMLP模块，使得网络模型可以获得更大感受野并捕获多尺度特征信息；最后，本发明将公开数据集进行训练集与测试集的划分，并将数据输入网络模型，通进网络训练后，获得图像分割结果。本发明解决了现有的各类卷积神经网络在医学图像分割问题上存在的无法有效建立起远程依赖和感受野不足的问题。无法有效建立起远程依赖和感受野不足的问题。无法有效建立起远程依赖和感受野不足的问题。


技术研发人员：朱敏 高承睿 程俊龙 杨子元 陈迎语 王凤杰
受保护的技术使用者：四川大学
技术研发日：2023.05.24
技术公布日：2023/8/13