基于空间通道注意力机制与残差融合的视网膜血管分割方法

1.本发明涉及深度学习和医学图像分割领域，具体涉及一种基于空间通道注意力机制与残差融合的视网膜血管分割方法。


背景技术：

2.传统视网膜血管分割方法依靠数字图像处理技术，主要包括特征提取和分类器的实现这两个步骤，传统分割算法大部分是无监督的方法，即不需要额外的数据标签，用于视网膜血管分割的传统方法大致包括以下几类：基于血管跟踪的方法、基于匹配滤波的方法、基于数学形态学的方法。传统的分割算法特点是依赖于特征设计，缺乏特征自动提取能力，而且传统分割算法的特征设计涉及到的参数选择等人为因素较多，对一些结构复杂的血管，特别是微小血管的分割质量较差，部分复杂血管的特征较难提取到。因此，传统方法在特征提取过程的效率还有待于进一步提升。现有的许多方法和模型对微小血管的分割质量还不够好，分割出的微小血管容易出现断裂的情形，且由于血管形态、大小各异，部分复杂的血管结构难以被有效的检测出。因此，实现对不同形态、粗细的血管结构分割，以及如何使得分割出来的血管结构更加连续，减少血管断裂的概率，进一步提升模型对微血管、毛细血管等分割能力极为重要。


技术实现要素：

3.针对现有的视网膜血管分割精准度与灵敏度问题，以及许多方法和模型对噪声得鲁棒性不够强，使得血管分割结果容易受到眼底图像噪声因素干扰。对于尤其是视网膜中微小血管得分割质量不够好，分割出的微小血管容易出现断裂的问题，本次发明设计了相应的解决策略和方法，提出了改进的u-net模型：sase-net，对于经典u-net模型灵敏度低、鲁棒性不够好等问题做出改进方案，通过引入空间和通道注意力机制与残差模型融合的模块，提升视网膜血管的分割能力，提高分割灵敏度与鲁棒性。
4.本发明的技术方案：基于空间通道注意力机制与残差融合的视网膜血管分割方法，包括如下步骤：
5.步骤1、对公开的眼底图像进行预处理，提高分割效率；
6.步骤2、对进行预处理之后的图像进行数据增强，防止出现过拟合现象；
7.步骤3、搭建空间和通道注意力机制与残差模块相融合的分割网络sase-net，并将处理后的数据集传入搭建的网络进行训练，保存训练权重，得到训练好的模型。
8.步骤4、将测试集数据传入步骤3得到的训练模型中，进行测试，获得分割结果并和人工标注视网膜血管进行对比，得到对比数据以及分割结果。
9.进一步概括步骤一包括以下3个步骤：
10.第一步是：图像灰度化，不同于许多文献中采用的单通道(通常为g通道)提取的方法，我们采用的是rgb图像3个通道加权的方法进行灰度化，实现对彩色图像每个通道信息的充分利用。具体的加权公式为：
yrey
image
＝0.287*r+0.611*g+0.114*b
11.第二步是：在得到灰度化后的图像，接着我们采用限制对比度自适应直方图均衡化(clahe)的方法对得到的灰度图进行对比度增强，增加血管和背景的区分度，该方法还可以抑制部分的背景噪声，凸显血管结构。
12.最后：使用矫正系数为1.0的伽马矫正(gamma correction)来矫正clahe的结果。伽马矫正主要目的是增强图像中较暗的部分，同时保证较亮的部分也不受影响，它可以进一步增大图像的对比度效果。此外，伽马矫正还可以减少噪声因素的干扰。
13.处理过程中图像变化如图1所示，我们对比(b)，(c)可以发现，相比于(b)的三通道加权灰度化后的结果，clahe方法的结果(c)可以有效的提升灰度图中血管像素和背景像素的对比度，而对比(c)，(d)可发现，在clahe结果(c)的基础上使用伽马矫正之后，在没影响到视杯视盘亮度的同时，可以看到图像中的血管变得更暗了，这就说明(d)在(c)的基础上又进一步增大了血管和背景的对比度差异。图1结果证明了我们通过该预处理流程，可以有效的解决光照不均匀的问题，增大眼底图像血管和非血管像素的对比度。我们预处理之后的图片，将有助于后续的深度学习模型在特征提取时能够学到更有表达能力和鲁棒性的特征，提升模型对血管、非血管像素的区分能力。
14.进一步地，所述步骤2包括：
15.采用的数据增强方法主要包括：图像的旋转、平移、水平镜像、垂直镜像和裁剪，考虑到直接对图像进行resize缩放操作会用到线性插值运算，这会导致一些局部微小血管的像素出现偏差，因此，我们采用随机裁剪而不是resize的方法来调整眼底图像的大小，在裁剪的时候，为了方便深度网络模型的特征提取，我们统一设定裁剪大小是512
×
512dpi，裁剪有沿着图像左上角、左下角、右上角、右下角四种方式。在具体数据增强方案实施上，我们以drive数据集为例，drive总共包含20张的训练图片，我们沿着顺时针角度，分别对每张眼底图像都依次旋转10度的角度，这样每张图片就可以增强到36张，这样总共可以得到36
×
20＝720张增强图像，然后再随机的为这720张图片进行水平或者垂直镜像。最后，对于沿着四个角进行固定大小的裁剪，每张图片从4种裁剪方位中任意选取两种方位，这样最终可以得到720
×
2＝1440张训练的图像。图2是随机从这1440张扩充的图片选取了20张图片以及其对应的专家标注label的可视化效果。
16.进一步地，所述步骤3包括：
17.在所提出的sase-net模型的训练阶段，我们首先通过本文第三章的方法，对眼底图像进行预处理和数据增强、将图像裁剪成相同的512
×
512大小，然后将处理好的眼底图像送入我们的sase-net模型进行全监督训练，根据预先设定的损失函数(loss function)计算训练过程的预测结果和专家标注label的误差，再根据误差反向传播原理来更新sase-net模型的参数。在训练过程中，我们动态地将验证集上表现最好的某个epoch下的模型权重进行保存，这样在训练结束后，可以得到最优模型的权重文件。而在测试阶段，我们只需要将预处理后的眼底图像分别沿着左上、左下、右上和右下四个角剪成4张和训练图片相同尺寸的512
×
512大小的图像块(image patch)，然后加载保存好的模型参数文件，分可以别得到四个角的图片各自的预测概率图。然后我们将四个角的图片的预测概率图拼接在一起(即image patch预测结果的合并，有重叠的地方取平均)，就可以得到和原始眼底图像相同分辨率大小的血管分割结果。图3系统的描述了上述的眼底图像分割的训练和测试的整个
流程。
18.通过设计注意力机制，包括编码阶段的空间和通道注意力-残差模块(spatialand channel attention-residual error，sacar)和解码阶段的se block(squeeze and excitation block)，来增大重要特征的权值，抑制非重要的特征，实现眼底图像特征权重的调整和重标定，减少噪声等因素对分割结果的干扰，提升分割准确度。
19.设计了多尺度特征提取和聚合(multi-scale feature extraction and polymerization，mfep)模块来对分辨率不同的原始眼底图像进行特征提取，获得更为丰富的语义信息。在mfep中采用不同大小的空洞卷积的组合，可以使得模型自适应地捕获不同粗细、大小的血管信息，且我们将mfep的结果与编码路径池化层的结果进行融合，也在一定程度弥补了编码阶段下采样过程中细节信息丢失的不足。
20.进一步地，所述步骤3包括：
21.网络模型训练，选择视网膜血管公开的两个数据集drive和stare数据预处理与增强后的数据集，导入到模型中进行训练，和原始手工标注分割图进行比较，保存训练好的模型，计算精度。再将训练完成的模型进行测试集训练，最终得到稳定的血管分割图。
22.实验参数：
23.在视网膜眼底血管分割实验中，我们的硬件环境为：nvidia geforce rtx 3090显卡，显存24g；移动硬盘2t。我们使用的软件环境是：linux；pytorch深度学习框架；cuda 11.3；cudnn7.6；pycharm 2018；python 3.6。采用adam优化器用于更新参数。其中，初始化学习率(learning rate，lr)设置为1e-4，betas参数设置为(0.9，0.999)，批处理大小(batch size)设置为8，总共训练轮数(epoch)设置为400。在训练过程中，我们采用学习率线性衰减策略，在第t个epoch时的学习率可表示为：
24.在多尺度特征pytorch编码模块的超参数设置中，我们设置多头注意力头数为4，编码阶段的stage0，stage1，stage3和stage5设置的patch size分别为32，32，8和2。pytorch block中mlp的中间隐藏层的维度设置为1024，线性投影(linear projection)映射维度d设置为1024。
附图说明
25.图1为预处理对比图；
26.图2为数据增强后可视化图；
27.图3为视网膜血管分割流程图；
28.图4为sesa-net网络结构图；
29.图5主要模块sacar的结构示意图
30.图6为分割结果对比图
具体实施方式
31.以下为结合本发明实施例中附图，对本发明实施技术方案进行清楚、完整描述，所描述为本发明的一部分而不是全部的实施例，基于发明中的实施例，本领域普通技术人员
在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护范围
32.本发明的分割方法整理流程图如图3所示，整个流程分为训练和测试两个阶段。
33.一、训练阶段
34.如图3所示
35.训练阶段将图像进行预处理，再进行数据增强，将扩增后数据导入sesa-net模型中进行训练，得到训练结果，保存权重。具体如下：
36.(1)、数据预处理
37.图像灰度化。不同于许多文献中采用的单通道(通常为g通道)提取的方法，我们采用的是rgb图像3个通道加权的方法进行灰度化，实现对彩色图像每个通道信息的充分利用。在得到灰度化后的图像，接着我们采用限制对比度自适应直方图均衡化(clahe)的方法对得到的灰度图进行对比度增强，增加血管和背景的区分度，使用矫正系数为1.0的伽马矫正(gammacorrection)来矫正clahe的结果。
38.(2)、数据增强
39.我们采用随机裁剪而不是resize的方法来调整眼底图像的大小。在裁剪的时候，为了方便深度网络模型的特征提取，我们统一设定裁剪大小是512
×
512dpi，裁剪有沿着图像左上角、左下角、右上角、右下角四种方式。
40.(3)、网络构建
41.编码阶段的rcsa包括空间和通道两种注意力模式。对输入的特征图，假设其大小为[n，c，h，w]，则在通道注意力(channelattention)中，对于，我们在空间维度对其进行全局平均池化和全局最大池化，得到两个大小为[n，c，1，1]的池化结果，将两个结果分别经过多层感知器层(多层感知器之间是共享权重的)，然后将mlp输出的结果进行加和，再经过sigmoid激活函数，生成最终的通道注意力权重图，大小为[n，c，1，1]。上述步骤可用公式表示为：xc′
＝σ(w1(w0(x
savg_pool
))+w1(w0(x
smax_pool
))(1)
[0042]
而在空间注意力(spatialattention)中，我们对于特征图，在每个通道维度上分别进行全局平均池化和最大池化，得到两个大小为[n，1，h，w]的结果。将两个结果做通道维度的拼接，此时特征图变为[n，2，h，w]，然后通过7
×
7的卷积进行降维，得到1通道的空间注意力特征图。最后对其使用sigmoid激活，将数值归一化0到1之间，获得空间注意力权重图，大小为[n，1，h，w]。具体计算公式为：xs′
＝σ(f7×7(concat[x
cavg_pool
；x
cmax_pool
]))(2)
[0043]
我们的sacar结构如图5所示。它在残差结构中同时融入了上文所讲的两种注意力模型。具体地，我们使用瓶颈残差模块，首先通过1
×
1和3
×
3卷积调整特征图x的通道数，然后通过公式(2)计算出x的空间注意力权重图，并将其和x的每个空间位置进行逐元素相乘，从而得到空间注意力结果x
′
，再通过1
×
1卷积将x
′
恢复到原始的通道数，得到y，最后再将特征图y和通过公式(1)计算得来的通道注意力权重图进行通道维度的逐元素相乘，得到通道注意力结果，记作z，最后，再将整个注意力的结果和原始的特征图进行残差连接，得到sacar最终的输出，记为z
′
。
[0044]
网络测试：
[0045]
以drive数据集为例，我们的sase-net在多个指标上都超越了许多近几年的其它
深度学习方法，在5个评价指标中，除了spe略偏低之外，其它4个指标都是最优的，其中，我们的acc达到了96.26％，是表4-2中仅有的一个超过96％的，相比次好的cenet提升约0.55％，sen达到了83.92％，相比次好的r2u-net提升约0.96％，而表4-2中大部分方法的sen是低于80％的，auc同样达到了98.27％，相比次好的res-net提升约0.06％，f1-score达到82.66％，相比次好的ce-nnet提升了约0.21％，同样地，在stare数据集上我们方法的在4个指标：acc、sen、auc和f1-score上分别达到97.30％，81.24％，98.84％和82.24％，相比次好的方法则分别提升了约0.60％，2.02％，0.09％和0.06％。
[0046]
与其它一些经典的视网膜血管分割方法相比，它不仅可以很好的提升分割acc、sen、auc和f1-score等评价指标，而且还可以很好地提升血管分割的可视化质量，特别是提升一些结构相对复杂、较为细小的血管的分割质量和效果。我们的sase-net分割出的血管相对于其它一些方法更加的清晰，血管在结构上也更加的连续和完整。我们的模型对一些分叉、交叉缠绕等的复杂血管等也更加的敏感，能够成功地分割出一些其它模型难以分割出的微小血管等。
[0047]
消融实验结果对比
[0048]
表1：消融实验对比
[0049]
图6为结果对比图可视化。从实验结果的对比可以看到，我们的sase-net在两个常见的眼底图像数据集drive和stare上超越了很多近年来的经典方法和模型的性能，在多个指标上具备较强的竞争力。同时，我们的sase-net对于微小血管更加敏感，更够保留更多的血管细节信息，且分割出的血管更加清晰，血管断裂和缺失现象相对其它一些方法要更少，同时，分割出的血管形态结构和专家标注的label也更接近。
[0050]
尽管上面对本发明说明性的具体实施方式进行了描述，以便于技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

技术特征：
1.基于残差与空间通道注意力机制的视网膜血管分割方法，其特征在于以下步骤：s11：对公开眼底血管数据集图像进行预处理，包括灰度、直方图均值化以及矫正；s12：对预处理后的图像进行数据增强，由于公开数据集数量比较少，所以需要对数据集进行变换以增强图像，扩展数据集；s13：我们通过设计注意力机制，构建编码阶段空间和通道注意力-残差模块(spatial and channel attention-residual error,sacar)和解码阶段的se block(squeeze and excitation block)，设计一种多尺度特征提取与聚合模块(multi-scale feature extraction and polymerization,mfep)组合成的网络sase-net。将处理好的数据传入改进网络中进行网络训练，并利用分割结果与人工标注图之间的损失指导网络训练，获得训练后的视网膜血管分割模型；s14：将待分割测试视网膜血管分割图传输视网膜分割模型中进行分割，获得眼底血管分割结果。2.根据权利要求1所述的基于残差与空间通道注意力机制的视网膜血管分割方法，其特征在于，所述s11包括：s21：首先对原始图像进行图像灰度化，不同于许多文献中采用的单通道(通常为g通道)提取的方法，我们采用的是rgb图像3个通道加权的方法进行灰度化，实现对彩色图像每个通道信息的充分利用；s22：其次得到灰度化后的图像，我们采用限制对比度自适应直方图均衡化(clahe)的方法对得到的灰度图进行对比度增强，增加血管和背景的区分度，该方法还可以抑制部分的背景噪声，凸显血管结构；s23：进行矫正系数为1.0的伽马矫正(gamma correction)来矫正clahe的结果。伽马矫正主要目的是增强图像中较暗的部分，同时保证较亮的部分也不受影响，它可以进一步增大图像的对比度效果。此外，伽马矫正还可以减少噪声因素的干扰。3.根据权利要求1所述的基于残差与空间通道注意力机制的视网膜血管分割方法，其特征在于，所述s12包括：s31：对原始图像进行数据增强，图像的旋转、平移、水平镜像、垂直镜像和裁剪。考虑到直接对图像进行resize缩放操作会用到线性插值运算，这会导致一些局部微小血管的像素出现偏差。因此，我们采用随机裁剪而不是resize的方法来调整眼底图像的大小。在裁剪的时候，为了方便深度网络模型的特征提取，我们统一设定裁剪大小是512
×
512dpi，裁剪有沿着图像左上角、左下角、右上角、右下角四种方式。4.根据权利要求1所述的基于残差与空间通道注意力机制的视网膜血管分割方法，其特征在于，所述s13包括：s41：网络搭建通过设计注意力机制，包括编码阶段空间和通道注意力-残差模块(spatial and channel attention-residual error,sacar)和解码阶段的se block(squeeze and excitation block)和解码阶段的se block(squeeze and excitationblock)，来增大重要特征的权值，抑制非重要的特征，实现眼底图像特征权重的调整和重标定，减少噪声等因素对分割结果的干扰，提升分割准确度。设计了多尺度特征提取和聚合(multi-scale feature extraction and polymerization,msfea)模块来对分辨率不同的原始眼底图像
进行特征提取，获得更为丰富的语义信息。在msfea中采用不同大小的空洞卷积的组合，可以使得模型自适应地捕获不同粗细、大小的血管信息，且我们将msfea的结果与编码路径池化层的结果进行融合，也在一定程度弥补了编码阶段下采样过程中细节信息丢失的不足。s42：网络模型数据训练根据s41搭建的网络，选取预处理与数据增强后的数据集在网络上进行模型训练，利用网络分割结果与标注结果之间的损失对比网络学习进行指导，获得最佳的视网膜血管分割图。

技术总结
本次发明提出了一种基于空间通道注意力机制与残差融合的视网膜血管分割方法。主要包括以下几个步骤：步骤一、对公开眼底血管数据集图像进行预处理；步骤二、对预处理后的图像进行数据增强；步骤三、通过设计注意力机制，构建编码阶段空间和通道注意力-残差模块和解码阶段的SEblock(SqueezeandExcitationblock)，设计一种多尺度特征提取与聚合模块(Multi-scaleFeatureExtractionandPolymerization，MFEP)模块组合成的网络SASE-Net。将处理好的数据传入改进网络中进行网络训练，并利用分割结果与人工标注图之间的损失指导网络训练，获得训练后的视网膜血管分割模型；步骤四、将待分割测试视网膜血管分割图传输视网膜分割模型中进行分割，获得眼底血管分割结果。获得眼底血管分割结果。


技术研发人员：王海英 江博涛 王进科
受保护的技术使用者：哈尔滨理工大学
技术研发日：2023.03.07
技术公布日：2023/8/14