一种基于并行残差注意力的肝脏及肝脏肿瘤分割方法

1.本发明涉及深度学习和医学图像处理领域，具体涉及一种用于肝脏及肝脏肿瘤数据格式转换以及基于并行特征提取的残差注意力网络的分割方法。


背景技术：

2.恶性肝脏肿瘤(肝癌)已经严重威胁人类健康。然而，肝脏和肝脏肿瘤在外观、形状和空间位置上无规律可循，并且因人而异，因病情时期而异，早期恶性肝脏肿瘤通常没有明显的症状，具有一定的隐匿性，因此早期的恶性肝脏肿瘤筛查至关重要。
3.肝脏肿瘤的与位置与形态特征是早期诊断肝癌的重要衡量指标，专家医生进行诊断过程非常耗时耗力且相对主观。因此设计一种肝脏及肝脏肿瘤分割网络与分割可视化方法对于辅助医生提高诊断速度和效果具有重要意义。
4.当前，腹部医学图像中肝脏及肝脏肿瘤的分割技术，主要有基于人工特性的视觉识别技术和基于自动特性的深度学习。基于人工特征的技术，包括基于颜色、纹理、对比度阈值、边缘检测，分割模型以及区域分割等技术。由于腹部医学图像的复杂性，导致肝脏与肝脏肿瘤的分割容易受正常生理结构如肾脏器官等因素的干扰，从而影响分割的准确性。传统肝脏医学图像特征提取技术采用人工提取，在医学图像中存在小肝与肝不连续情况下，肝脏及肝脏肿瘤的分割效果会下降。所以，腹部医学图像中肝脏及肝脏肿瘤的自动分割非常关键。


技术实现要素：

5.针对现有的肝脏及肝脏肿瘤分割精准度与灵敏度问题，以及许多模型对噪声的鲁棒性不够强，使得肝脏与肝脏肿瘤分割结果容易受到腹部医学图像中噪声因素干扰。尤其是肝脏与肝脏肿瘤边缘分割质量不够好，分割出的肝脏及肝脏肿瘤边界容易出现过分割和欠分割问题，本次发明设计了相应的解决策略和方法，提出了高效的数据处理方法以及基于并行残差注意力网络的u-net模型：res-eca-unext(reca-u-next)用于肝脏与肝脏肿瘤分割。改进backbone模块用于特征提取，为了提高模型的准确性，在backbone部分添加了ea模块，ea模块如图1所示。并重新设计为双通道结构，此模块首先将convnext的backbone卷积模块针对医学图像的特征进行设计后与残差注意力网络并联，经验证该模块可以有效的提高分割精度，在下采样部分将block的堆叠次数由(3，4，6，3)，调整为(3，3，9，3)，和swin-t拥有相似的flops。对于经典u-net模型灵敏度低、鲁棒性不够好等问题做出改进方案，通过设计并行结构与通道注意力机制的特征提取模块，通过引入残差结构加快了网络的收敛速度，防止了梯度爆炸和梯度消失的问题。提升网络对于肝脏与肝脏肿瘤的分割能力，提高分割灵敏度与鲁棒性。
6.本发明的技术方案：基于并行结构的残差注意力机制分割网络与多种分割预测可视化方法，流程图如图1包括如下步骤：
7.s1、对公开的腹部医学图像进行数据处理制作含有肝脏及肝脏肿瘤的2d腹部医学
图像；
8.s2、对制作好的2d腹部医学图像进行预处理；
9.s3、对预处理之后的图像进行数据增强；
10.s4、搭建并行残差通道注意力网络模型，并将处理后的数据集传入搭建的网络进行训练，保存最优训练权重，得到训练最优模型。
11.s5、将划分的测试集数据输入步骤3进行预处理和数据加强后，载入到模型中，进行测试，获得分割结果并和人工标注肝脏与肝脏肿瘤金标准进行对比，得到对比数据以及分割结果。
12.进一步概括s1包括以下2个步骤：
13.第一步：对金标准数据进行处理，将现有公开的3d腹部医学数据集的金标准在z轴方向进行切片。并采用上下镜像的方式使2d切片的方向符合要求，通过切片的数据大小剔除无肝脏和无肝脏肿瘤的无价值切片，由于进行2d转换后金标准切片即2d标签会出现格式混乱：只有肝脏的标签中，肝脏的像素值为(255，255，255)而肝脏与肝脏肿瘤共存的标签中，肝脏的像素值为(127，127，127)。所以设计python程序，对标签中的肝脏的像素值统一设定为(127，127，127)。第二步：对原始图像进行处理，将其按照肝脏的窗值，将医学图像的hu值，调整为灰度值。并在z轴上进行切片并上下镜像翻转。并根据2d标签的文件名对应筛选出无肝和无肝脏肿瘤的无价值切片，使原始图像2d切片名称顺序与2d标签一致。
14.进一步概括s2包括以下3个步骤：
15.第一步是：图像灰度化，对原始图像进行图像灰度化，将三通道图像转化为单通道图像
16.第二步是：在得到灰度化后的图像，接着本发明采用限制对比度自适应直方图均衡化(clahe)的方法对得到的灰度图进行对比度增强，增加视盘和背景的区分度，该方法还可以抑制部分的背景噪声，凸显肝脏及肝脏肿瘤结构。
17.最后：利用非线性gamma变换来调整输入腹部医学图像的光照强度，并对强度值进行非线性运算，使得输入和输出图像的强度值构成指数关系：主要目的是增强图像中较暗的部分，同时保证较亮的部分也不受影响，它可以进一步增大图像的对比度，减少噪声因素的干扰，提高网络分割能力和模型泛化能力。
18.上述处理过程中数据变化如图2所示，本发明对比(b)，(c)可以发现，相比于(c)的加权灰度化以及直方图均衡化后的结果，直方图均衡化方法的结果(d)可以有效的提升灰度图中肝脏及肝脏肿瘤和背景像素的区分度，而对比(d)，(e)可发现，在clahe结果(d)的基础上使用非线性gamma变换之后，可以看到肝脏和肝脏肿瘤区域变得更清晰了，这就说明(e)在(d)的基础上又进一步增大了肝脏及肝脏肿瘤和背景的对比度差异。图1结果证明了本发明通过该预处理流程，可以有效地解决原始图像中肝脏及肝脏肿瘤不明显的问题，增大了腹部医学图像肝脏及肝脏肿瘤区域和其他区域像素的对比度。将预处理之后的图片，将有助于后续的深度学习模型在特征提取时能够学到更有表达能力和鲁棒性的特征，提升模型对肝脏及肝脏肿瘤和背景像素的区分能力。
19.进一步地，所述s3包括：
20.对原始图像进行数据增强，包括：镜像反转，中心旋转，水平翻转和仿射变换，以及弹性形变。为了扩充样本数量，减小过拟合的影响，提高局部边缘区域的像素分割的准确
性，本发明对所用数据集进行了随机裁剪工作，在裁剪的时候，为了方便深度网络模型的特征提取，统一设定裁剪大小是512
×
512dpi。
21.进一步地，所述s4包括：
22.在所提出的reca-u-next模型的训练阶段，首先对腹部医学图像进行预处理和数据增强、将图像裁剪成相同的512
×
512大小，然后将处理好的腹部医学图像送入rea-u-net模型进行训练，训练后将生成用于肝脏及肝脏肿瘤分割的专项最优权重。
23.进一步地，所述步骤3包括：
24.网络模型训练，选择腹部医学图像公开的两个数据集refuge和drishti-gs1将预处理与增强后的数据集，导入到模型中进行训练，采用训练集与验证集8：2的比例对数据集划分，以提高网络泛化性，训练结果和验证集进行验证，保存训练的最优权重。再将训练完成的模型在测试集上检验测试，最终得到本分割模型最优的肝脏与肝脏肿瘤分割结果图。
25.实验参数：
26.在视网膜眼底血管分割实验中，硬件环境为：nvidiageforce rtx2080ti显卡，显存11g；操作系统：ubuntu18.04；pytorch深度学习框架。采用adam优化器用于更新参数。其中，初始化学习率(learning rate，lr)设置为(1e-4)*3，betas参数设置为(0.9，0.999)，批处理大小(batch_size)设置为14，总共训练轮数(epoch)设置为500。在训练过程中，采用学习率线性衰减策略，在第t个epoch时的学习率可表示为：
27.附图说明
28.图1为数据集制作流程图；
29.图2为分割流程图；
30.图3为eca注意力模块图；
31.图4为特征提取模块(recablock)；
32.图5为肝脏数据集预处理结果图；
33.图6为reca-u-next网络结构图；
34.图7为分割结果对比图
35.图8为泛化分割结果对比图
具体实施方式
36.以下为结合本发明实施例中附图，对本发明实施技术方案进行清楚、完整描述，所描述为本发明的一部分而不是全部的实施例，基于发明中的实施例，本领域普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护范围。
37.本发明的发放整理流程图如图1所示，整个流程分为训练和测试两个阶段。
38.一、训练阶段
39.如图1所示
40.训练阶段将图像先进行数据格式转换，将3d的nii格式的腹部医学数据集准换成
含有肝脏及肝脏肿瘤的2d图像数据集，接着进行预处理操作，之后再进行数据增强，将扩增后数据导入reca-u-next中进行模型训练，得到训练结果，保存权重。具体如下：
41.(1)、数据集转换
42.将3d腹部医学图像数据在z轴上进行切片处理，并通过图片像素值的大小筛选掉没有肝脏及肝脏肿瘤的标签数据集，在根据标签数据集对应筛选出含有肝脏及肝脏肿瘤的原始图像数据集。
43.(2)、数据预处理
44.窗值处理，在数据转换之前定义窗值函数，设置窗口中心和窗口宽度，将hu值的医学图像转换为像素值为(0-255)的灰度图，在得到灰度化后的图像，接着采用限制对比度自适应直方图均衡化的方法对得到的灰度图进行对比度增强，增加肝脏和背景的区分度，利用非线性gamma变换来调整输入腹部医学图像的光照强度，并对强度值进行非线性运算，使得输入和输出图像的强度值构成指数关系：主要目的是增强图像中较暗的部分，同时保证较亮的部分也不受影响，它可以进一步增大图像的对比度，减少噪声因素的干扰，提高网络分割能力和模型泛化能力。
45.(3)、数据增强
46.采用transformers操作，使数据增强更灵活，pytorch不仅可以设置对数据集的操作还可以对这些操作进行随机组合和选择。
47.(4)、网络构建
48.基于传统的u-net网络进行改进的res-eca-u-next(reca-u-next)是一个端到端的多标签深度神经网络，网络整体结构如图4所示。在编码过程中加入通道注意力模块，采用并联结构的特征提取模块，其结构如图5所示，将7x7的大卷积核与3x3的小卷积核并联，在有效提取主要特征的同时，不丢失细节特征的提取，加强了网络的特征提取能力，减少特征提取过程中的信息丢失并且将低分辨率特征与高分辨率特征融合，提取更多尺度感受野下的特征保留大量细节信息。然后引入eca模块给每个特征图不同的权重，使网络能够关注更有用的特征信息，同时在bottleneck模块中加入残差模块，避免梯度消失，bottleneck模块结构如图6所示。
49.解码器包含具有通道和空间注意力机制的eca模块。该模块的主要思想是使用不同通道之间的相关性来学习每个通道的权重，从而实现有效的注意力聚焦。具体而言，该模块通过三个步骤来计算通道注意力。首先，对于输入特征图中的每个通道，利用平均池化和最大池化来提取其全局上下文信息。然后，将这些信息连接起来，并使用多层感知器来生成一个注意力向量。最后，将该向量与输入特征图做点积并进行缩放以得到加权的输出特征图。相比于其他注意力机制，eca注意力模块具有优秀的性能和高效的计算开销，因为它只需要较少的参数和计算资源就可以实现精度更高的结果。通过对输入特征图进行空间特征压缩，利用全局平均池化来得到一个1*1*c的特征图，进而通过1*1卷积实现对通道特征的学习。具体来说，该方法使用通道注意力机制，通过学习不同通道之间的重要性来实现有效的特征提取。最终，将通道注意力的特征图与原始输入特征图相乘来得到具有通道注意力的特征图。此外，该方法还采用跳跃式连接，可以在同一尺度上进行不同层次的语义信息的融合，从而使编码器能够更好地提取出更多的有用特征，并且在一个迭代中求得算法的解，以保持u-net的端对端特性。这样做能够得到更细致的分割边界，由于信息的抽象和压缩，
可能会对分割结果产生一定的影响。为了解决这个问题，本发明保留了u-net中上采样的跳跃式连接，同时将当前层的输出与对应下采样层的输出进行拼接。这样可以保留更多的原始细节信息，有利于提高模型的准确性和鲁棒性，从而改善分割的准确度。
50.网络测试：
51.在测试集上进行测试，reca-u-next在多个指标上都超越了许多近几年的其它深度神经网络模型，在4个指标：auc、dice、miou和accuracy上分别达到96.87％，92.64％，93.89％和94.97％，在4个评价指标中，都优于其他模型。提出的reca-u-next在测试数据集上的auc相比u-net提升约3.6％，相比resu-net提升约3.08％，相比se-resu-net提升约2.11％，，相比eca-resu-net提升约2.00％，相比convunext提升约0.64％。dice相比u-net提升约1.30％，相比resu-net提升约1.25％，相比se-resu-net提升约0.87％，，相比eca-resu-net提升约0.75％，相比convunext提升约0.48％。miou相比u-net提升约2.85％，相比resu-net提升约2.54％，相比se-resu-net提升约1.27％，，相比eca-resu-net提升约1.02％，相比convunext提升约0.78％。accuracy相比u-net提升约13.24％，相比resu-nett提升约12.22％，相比se-resu-net提升约8.84％，，相比eca-resu-net提升约8.20％，相比convunext提升约4.99％。表1在refuge和drishti-gs1数据集上各模块对比实验
52.网络在图7中的分割结果更接近于专家标注的图像，且包含较少的噪点。进一步地，从细节上观察，fe-u-net网络的分割输出表现出较少不规则的边缘形状，并呈现更加平滑的效果。
53.从实验结果的对比可以看到，本分割模型的reca-u-next在lits17腹部医学图像数据集上超越了很多近年来的经典方法和模型的性能，在多个指标上具备较强的竞争力。与其它一些经典的肝脏与肝脏肿瘤分割方法相比，它不仅可以很好的提升acc、auc和dice、miou等评价指标，而且还可以很好地提升肝脏与肝脏肿瘤分割的可视化质量，特别是提升一些边界模糊的肝脏与肝脏肿瘤的分割质量和效果。本分割模型的reca-u-next分割出的肝脏与肝脏肿瘤相对于其它一些方法更加的清晰，肝脏与肝脏肿瘤轮廓边界也更加的清晰和完整。本发明的模型对一些较为模糊的轮廓和有背景噪声干扰的肝脏与肝脏肿瘤边界区域等也更加的敏感，能够成功地分割出一些其它模型难以分割出的肝脏与肝脏肿瘤微小轮廓等。
54.根据实验结果的对比，本发明的reca-u-next模型在lits17腹部医学图像数据集
上表现优异，超过了近年来许多经典方法和模型，具有强大的竞争力。相较于其他经典肝脏与肝脏肿瘤分割方法，它不仅提升了acc、auc、dice、miou等评价指标，还显著提高了分割的可视化质量，尤其是在分割一些边界模糊的肝脏与肝脏肿瘤时效果更佳。相较于其他方法，本发明的reca-u-next分割出的肝脏与肝脏肿瘤更加清晰，轮廓边缘更加完整。此外，本发明的模型对于一些较为模糊的轮廓和受到背景噪声干扰的肝脏与肝脏肿瘤边界区域也更加敏感，在分割微小轮廓等方面表现突出。为验证reca-u-next模型的泛化性能，在3dircadb数据集上进行了与之前相同的实验。实验结果如图8所示，本发明的reca-u-next模型对于模糊边界更加敏感，能够保留更多的肝脏与肝脏肿瘤边缘轮廓细节信息，分割出的肝脏与肝脏肿瘤更加清晰，且出现边界不连续现象的情况相对于其他方法要更少。此外，分割出的肝脏与肝脏肿瘤形态结构与专家标注label也更接近。
55.尽管上面对本发明说明性的具体实施方式进行了描述，以便于技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

技术特征：
1.基于并行残差注意力机制的肝脏及肝脏肿瘤分割方法，其特征在于，包括：s11：将3d腹部医学图像处理成含有肝脏及肝脏肿瘤的2d灰度图像，其中包括调窗处理；s12：对裁剪后图片进行预处理，包括灰度变换、直方图均值化；s13:预处理后的图像进行数据增强，为了提高模型的泛化能力，所以需要对数据集进行变换以增强图像，扩展数据集；s14：提出了一种新的网络框架：res-eca-u-next(reca-u-next)。由编码和解码结构组成的u形网络结构。在编码过程中丢失了许多信息特征。为解决此问题提出并行特征提取模块，大卷积核用于提取主要特征，小卷积核用于提取细节特征。将主要特征特征与细节特征特征融合，提取更多尺度感受野下的特征保留大量细节信息。它包含注意力模块和残差结构。编码器模块中添加空间通道注意力模块eca，该注意力模块是将se中使用全连接层fc学习通道结构，改为1*1卷积学习通道来获取注意力信息。使用1*1卷积捕获不同通道之间的信息，避免在学习通道注意力信息时，通道维度减缩。使用一种不降维的局部跨通道交互策略，有效避免了降维对于通道注意力学习效果的影响。从而在一个迭代中，能够求出算法的解，以保持u-net的端对端特性。同时，得到更细致的肝脏和肝脏肿瘤分割边界。在此基础上，通过跳跃式连接，可以在同一尺度上进行不同层次的语义信息的融合，从而使编码器能够更好地提取出更多的有用特征。浅层次特征能使图像的原始结构信息得到最大程度的保存，而更深层次的信息则含有更多的抽象结构，二者的结合有助于在最终的卷积信道中得到有效地还原物体的空间维度和结构细节，从而改善分割的准确度。s15：将待分割测试的肝脏和肝脏肿瘤分割图像传输分割模型中进行分割，获得肝脏和肝脏肿瘤分割结果。2.根据权利要求1所述的基于残差注意力并行网络的肝脏和肝脏肿瘤分割方法，其特征在于，所述s11包括：s21：首先进行数据集的格式转换，其中包括将3d腹部医学图像在z轴方向上将3d数据集裁剪为2d数据集，并剔除无数据价值的切片，并将nii格式的3d hu值图像处理为灰度图像。s22：其次得到灰度化后的图像后，我们采用限制对比度自适应直方图均衡化(clahe)的方法对得到的灰度图进行对比度增强，增加肝脏和肝脏肿瘤和背景血管的区分度，该方法还可以抑制部分的背景噪声，增强局部对比度凸显肝脏和肝脏肿瘤结构；s23：利用非线性gamma变换来调整输入2d图像的光照强度，并对强度值进行非线性运算，使得输入和输出图像的强度值构成指数关系：主要目的是增强图像中较暗的部分，同时保证较亮的部分也不受影响，它可以进一步增大图像的对比度，减少噪声因素的干扰，提高网络分割能力和模型泛化能力。此外，gamma变换还可以减少噪声因素的干扰。3.根据权利要求1所述的基于并联结构的残差通道注意力机制的肝脏和肝脏肿瘤分割方法，其特征在于，所述s12包括：s31：对原始图像进行数据增强，采用了多种刚性变换和弹性变换，包括：缩放，旋转，水平翻转和垂直翻转、以及b样条弹性形变。为了降低过拟合的影响防止一些局部视盘边缘区域的像素出现偏差，本文对所用数据集进行了随机裁剪工作，在裁剪的时候，为了方便深度
网络模型的特征提取，统一设定裁剪大小是512
×
512dpi。4.根据权利要求1所述的基于多尺度特征融合与空间通道注意力机制的肝脏和肝脏肿瘤分割方法，其特征在于，所述s13包括：s41：网络搭建基于传统的u-net网络进行改进的res-eca-u-next(reca-u-next)是一个端到端的多标签深度神经网络。在编码过程中加入残差模块模块和注意力机制，将多尺度特征融合模块添加到网络的第一层和第二层中进行特征融合，减少特征提取过程中的信息丢失并且将低分辨率特征与高分辨率特征融合，提取更多尺度感受野下的特征保留大量细节信息。首先，通过反卷积将低分辨率特征映射恢复到高分辨率大小，然后添加到高分辨率特征映射中，如公式(4.1)所示。然后，将集成的特征映射输入bottleneck模块中，以提高特征提取的能力，避免梯度消失。编码其中嵌入eca注意力模块，该模块具有优秀的性能和高效的计算开销，因为它只需要较少的参数和计算资源就可以实现精度更高的结果。通过对输入特征图进行空间特征压缩，利用全局平均池化来得到一个1*1*c的特征图，进而通过1*1卷积实现对通道特征的学习。具体来说，该方法使用通道注意力机制，通过学习不同通道之间的重要性来实现有效的特征提取。最终，将通道注意力的特征图与原始输入特征图相乘来得到具有通道注意力的特征图。；此外，该方法还采用跳跃式连接，可以在同一尺度上进行不同层次的语义信息的融合，从而使编码器能够更好地提取出更多的有用特征，并且在一个迭代中求得算法的解，以保持u-net的端对端特性。这样做能够得到更细致的分割边界，由于信息的抽象和压缩，可能会对分割结果产生一定的影响。为了解决这个问题，本发明保留了u-net中上采样的跳跃式连接，同时将当前层的输出与对应下采样层的输出进行拼接。这样可以保留更多的原始细节信息，有利于提高模型的准确性和鲁棒性，从而改善分割的准确度。s42：网络模型数据训练根据s41搭建的网络，选取预处理与数据增强后的数据集在分割网络上进行训练，利用网络分割结果与验证集之间的损失对网络的学习进行指导训练，获得最佳的肝脏和肝脏肿瘤分割效果图。

技术总结
本发明公开了一种基于并行残差注意力网络的肝脏及肝脏肿瘤分割方法，本方法涉及深度学习和医学图像处理领域，包括：数据处理与制作和分割预测可视化网络。所述数据处理首先将公开的3D腹部医学图像处理为含有肝脏及肝脏肿瘤的2D切片图像；对2D数据集进行预处理和数据增强；分割预测网络使用基于编码解码结构的特征融合网络，通过迁移学习加载公用预训练权重后，将数据增强后的2D图像数据载入分割模型中进行训练，训练完成后生成适合肝脏及肝脏肿瘤的专用最优权重。以此用于肝脏及肝脏肿瘤专项分割。本发明针对肝脏及肝脏肿瘤分割提出的并行残差注意力卷积网络结构，解决了由于肝脏及肝脏肿瘤的复杂性，导致肝脏与肝脏肿瘤的分割容易受其他部位如肾脏等因素的干扰的问题，提升分割效率并提高分割精度，相比于现有网络，具有一定的先进性。具有一定的先进性。


技术研发人员：王进科 郭良 杨志鹏
受保护的技术使用者：哈尔滨理工大学
技术研发日：2023.07.07
技术公布日：2023/10/15