一种肝脏肿瘤分割方法

1.本发明属于图像处理技术领域，特别涉及一种肝脏肿瘤分割方法领域。


背景技术：

2.肝脏是人体重要的代谢器官，也是人类癌症的高发区域，计算机断层扫描技术常被用于肝脏疾病的检查、临床诊断与手术辅助参考。传统临床影像诊断十分依赖医生的手工标注，随着近年来影像扫描的频率和数据量增加，临床专家的工作量也显著提升，过劳状态下的主观诊断有潜在的漏诊和误诊风险。
3.现有主要技术方法仍以基于卷积神经网络的u型编码器-解码器结构及其改进变体模型为主，由于卷积神经网络的计算感受野大小有限制，其本身的归纳偏置限制了卷积核整合特征图的长远程关系依赖能力。尽管后续有很多改进方法，例如引入空洞卷积以尽可能扩大感受野，在网络中增加密集连接以增强不同层级信息交互，在高层级的特征输出端增加空间金字塔结构或者多重注意力机制以建模全局信息等，这些技术取得的改进效果依然有限，在实际的肝脏肿瘤分割中仍有漏分割或过分割/欠分割现象，且过多地插入额外模块或引入过多的稠密连接，也会导致参数量过大或者产生冗余信息、无效特征等。
4.2017年自注意力机制，即transformer在自然语言处理领域取得了革命性的成功，2020年该技术又首次迁移到视觉分类模型中，在性能方面有明显提升。自此基于卷积神经网络和自注意力的混合分割模型以及纯视觉自注意力模型随之迅速发展，但是也存在计算复杂度高、训练开销庞大、不易收敛等缺陷。尤其是对于医学图像，其数据量规模远小于自然图像数据集，应用在一些大规模自注意力模型中也许会出现过拟合、依赖预训练权重加载等问题。


技术实现要素：

5.为解决上述现有技术中长远程关系建模能力有限、计算复杂度高、不易收敛等问题，本发明提出一种基于双分支并行编码及残差融合解码的肝脏肿瘤分割方法。
6.首先，鉴于卷积神经网络本身的归纳偏置所限，本发明针对如何提升长远程关系依赖建模能力的问题，提出了一种全局特征和局部特征并行的双分支编码结构；其次为了全局和局部特征有效结合、加速训练收敛速度，提出了一种残差融合编码策略；然后针对transformer的计算开销问题，全局特征编码分支使用了轴向分解自注意力机制，将单次在2d特征图全域范围内的自注意力计算分解为两步级联的沿特征图纵轴/横轴，即1d范围的自注意力计算。
7.为实现上述目的，本发明的技术方案包括如下步骤：
8.(1)获取原始格式的肝脏ct影像切片及其金标准，并进行数据预处理；
9.(1a)系统读取原始的nii格式ct图像体，沿断层扫描的横截面方向获取每个ct切片并将切片数组保存为npy图像格式；
10.(1b)使用窗口截断法将npy格式切片ct值进行设置，小于等于第一阈值设置为第
一阈值，大于等于第二阈值设置为第二阈值，大于第一阈值和小于第二阈值的数值保留不变；
11.(1c)使用最小最大值归一化法对ct切片数据进行归一化操作，将数据值全部映射在[0,1]之间：
[0012][0013]
(1d)系统读取原始nii格式的金标准，即标签掩码数据，沿断层扫描横截面方向维度获取每个ct切片对应的分割标签真值并转换为npy格式；然后使用one-hot编码将单通道的多分类标签图转换成多通道的二值标签图；
[0014]
(2)对完成预处理的数据进行随机采样，按预设比例划分为训练集、验证集和测试集；
[0015]
(3)构建基于双分支并行编码及残差融合解码的肝脏肿瘤分割模型，模型包括用于提取局部特征的卷积神经网络分支和用于提取全局上下文特征的轴向分解自注意力计算分支，以及双路分支共享的残差融合解码器；
[0016]
(3a)所述的提取局部特征的卷积神经网络分支，由卷积神经网络模块组成，其中第一层由vgg卷积模块组成，后续其它层是输入特征先经过最大池化层进行下采样，再输入vgg卷积模块以提取特征；
[0017]
(3b)所述的用于提取全局上下文特征的轴向分解自注意力计算分支，由卷积神经网络模块和轴向分解自注意力模块组成，其中第一层由级联的卷积模块组成，其余层使用轴向分解的自注意力计算模块构成，轴向分解自注意力模块是由级联的纵轴向自注意力计算和横轴向自注意力计算组成；其中对于m
×
m大小的特征图，沿特征图纵轴向范围的自注意力计算：
[0018][0019]
沿特征图横轴向范围的自注意力计算：
[0020][0021]
其中和是特征像素点o所在的纵轴、横轴所在的自注意力计算范围；qo、ki、vi是特征像素点o所在的通道向量通过线性嵌入得到的查询向量、键向量、值向量；分别是对应qo、ki、vi的位置编码向量，用于强化位置信息；
[0022]
(3c)所述的双路分支共享的残差融合解码器，将两个编码分支当前堆叠层通过跳跃连接传送来的特征图与上一级解码器输出并上采样后的特征图在通道维度上做拼接操作，并输入到带有残差连接的卷积层以解码语义信息；解码器的输出端为1
×
1卷积层，将特征图通道数压缩，压缩后的通道分别对应肝脏分割预测和肿瘤分割预测；
[0023]
(4)构建损失函数，确定优化器和超参数，输入训练集和验证集，训练网络模型参数；
[0024]
(4a)使用dice相似性系数损失函数和二值交叉熵损失函数的加权组合以构建联
合损失函数l＝α*l
bce
+β*l
dice
，其中α和β为权值，l
bce
是二值交叉熵损失函数，l
dice
是dice损失函数：
[0025][0026][0027]
其中n为预测图/标签图的像素总个数，xi为模型预测的像素值，yi为真实标签的对应像素值；
[0028]
(4b)采用adam优化器，设置初始学习率，学习率衰减策略，批数据大小，权重衰减，总训练轮次，早停策略的初始值；
[0029]
(4c)在训练集和验证集上通过反向传播算法训练网络模型、优化超参数，直至损失函数基本趋向收敛，完成训练；
[0030]
(5)对所构建的分割模型加载上述所训练的权值参数，将肝脏ct测试集数据输入到模型中，对输出的置信图进行阈值化处理，得到所分割的肝脏和肝肿瘤结果；
[0031]
(5a)输出的置信图为两通道置信图，设定第三阈值，像素值大于第三阈值的设为1，小于等于第三阈值的设为0；
[0032]
(5b)给定一个空的三通道彩色图像，索引第一个通道中所有值为1的像素并记录位置，将空彩色图像所有对应位置(r,g,b)值赋予具体值，用以对应像素点着色；索引第二个通道中所有值为1的像素并记录位置，将空彩色图像所有对应位置(r,g,b)值赋予具体值，用以对应像素点着色；
[0033]
(5c)将赋值后的彩色图像保存并输出，得到最终的分割预测。
[0034]
与现有技术相比，本发明的有益效果如下:
[0035]
与现有的u型编码-解码结构及其各种变体模型相比，本发明能更好地整合特征图全局上下文信息，并与局部信息有效结合；
[0036]
同时与近年已提出的基于transformer的医学图像分割模型相比，本发明模型在训练过程中未加载预训练权重的前提下实现参数收敛的稳定性，更易于训练，在较少可训练参数量和较低计算开销下实现更精确的肝脏肿瘤分割。
附图说明
[0037]
图1是本发明的实现流程图；
[0038]
图2是本发明的分割模型框架示意图；
[0039]
图3是特征图全域范围内的自注意力计算示例图以及沿特征图纵轴/横轴范围内的自注意力计算示例图；
[0040]
图4是轴向自注意力机制计算单元框图；
[0041]
图5是本发明提出的肝脏肿瘤分割网络结构示意图；
[0042]
图6是本发明方法在基于lits数据集所划分测试集的分割效果示例图。
具体实施方式
[0043]
为使本发明的目的、技术方案和优点更加清楚明白，以下举实施例并参照附图，对本发明进一步详细说明。
[0044]
图1为本发明实施例的实现流程图，如图1所示，本示例的肝脏肿瘤分割方法包括以下步骤：
[0045]
(1)获取原始格式的肝脏ct影像切片及其金标准，并进行数据预处理；
[0046]
(1a)系统读取原始的nii格式ct图像体，利用循环函数沿断层扫描的横截面方向迭代获取每个ct切片，并使用基于python3.8的simpleitk函数将切片数组保存为npy图像格式；在本实施例中，所使用的数据均来自公开数据集lits2017，每张切片分辨率为512
×
512，占据一个通道，即每张切片是一张单通道的512
×
512灰度图像；
[0047]
(1b)使用窗口截断法，该方法所述第一阈值是窗口截断法所取的最小阈值，优选值取-160，所述第二阈值是窗口截断法所取的最大阈值，优选值取240；将npy格式切片ct值在[-160,240]范围以外的负值置为-160，区间范围以外的正值置为240，其余值保留不变；
[0048]
(1c)使用最小最大值归一化法对ct切片数据进行归一化操作，将数据值全部映射在[0,1]之间：
[0049][0050]
其中当前值是窗口截断操作后所得ct切片的像素值；
[0051]
(1d)系统读取原始nii格式的金标准，即标签掩码数据，利用循环函数沿断层扫描的横截面方向迭代获取每个ct切片对应的分割标签真值，并使用基于python3.8的simpleitk库函数将切片数组保存为npy图像格式；然后使用one-hot编码将单通道的多分类标签图转换成多通道的二值标签图；具体地，lits2017数据集原始多分类标签掩码为取值[0,1,2]的512
×
512单通道图像g，其中“0”表示背景对应的像素点集，“1”表示肝脏对应的像素点集，“2”表示肝脏肿瘤对应的像素点集，one-hot编码的详细实施过程为：建立一个空的两通道512
×
512数组m，即全“0”数组，索引原始多分类标签掩码中所有值为“1”的像素位置[x1,y1]，并在两通道空数组的第一个通道中对应位置的像素全部赋值为1，即m[0,x1,y1]＝1；类似地，索引原始多分类标签掩码中所有值为“2”的像素位置[x2,y2]，并在两通道空数组的第二个通道中对应位置的像素全部赋值为1，即m[1,x2,y2]＝1；
[0052]
(2)对完成预处理的数据进行随机采样，按预设比例划分为训练集、验证集和测试集；
[0053]
对所获取的预处理数据使用基于python3.8的sklearn库的train_test_split()函数按8:1:1比例随机划分，得到15364张图像作为训练集，1921张图像作为验证集，1921张图像作为测试集；
[0054]
(3)构建基于双分支并行编码及残差融合解码的肝脏肿瘤分割模型，模型包括用于提取局部特征的卷积神经网络分支和用于提取全局上下文特征的轴向分解自注意力计算分支，以及双路分支共享的残差融合解码器；
[0055]
分割模型简要框架如附图2所示，本实施例中所用具体模型结构如下所述：
[0056]
(3a)提取局部特征的卷积神经网络分支堆叠5层卷积神经网络层，其中第一层是由vgg卷积模块组成，第二层至第五层是输入特征先经过最大池化层(池化窗口大小2
×
2)
进行下采样，再输入vgg卷积模块提取特征；如附图5所示，设输入的数据批次大小为2，即b＝2，图像分辨率取512
×
512，即h＝512，局部分支每层的输出特征图维度为(2,32,512,512)，(2,64,256,256)，(2,128,128,128)，(2,256,64,64)，(2,512,32,32)；
[0057]
(3b)提取全局上下文特征的轴向分解自注意力计算分支堆叠5层网络层，其中第一层是三个级联的卷积层，卷积核大小分别是7
×
7(步长为2、填充为3)、3
×
3(步长为1、填充为1)、3
×
3(步长为1、填充为1)，第二层至第五层是使用轴向分解的自注意力计算模块，其中第三至第五层均包含一个基于平均池化(池化窗口大小2
×
2)的下采样层，轴向分解自注意力层是由级联的纵轴向自注意力计算和横轴向自注意力计算组成；特征图全域范围内自注意力计算示意图和轴向范围内的自注意力计算示意图的对比如附图3所示；其中对于m
×
m大小的特征图，沿特征图纵轴向范围的自注意力计算：
[0058][0059]
沿特征图横轴向范围的自注意力计算：
[0060][0061]
更直观的轴向自注意力计算机制框架图如附图4所示；其中和是特征像素点o所在的纵轴、横轴所在的自注意力计算范围；qo、ki、vi是特征像素点o所在的通道向量通过线性嵌入得到的查询向量、键向量、值向量；分别是对应qo、ki、vi的位置编码向量，用于强化位置信息；如图5所示，全局分支每层的输出特征图维度为(2,8,256,256)，(2,32,256,256)，(2,64,128,128)，(2,128,64,64)，(2,256,32,32)；
[0062]
(3c)残差融合解码器将两个编码分支当前堆叠层通过跳跃连接传送来的特征图与上一级解码器输出并上采样后的特征图在通道维度上做拼接操作，并输入到带有残差连接的卷积层以解码语义信息；直观的残差融合解码器模块和融合拼接步骤如附图5所示；
[0063]
(3d)对5层堆叠的解码器输出端做1
×
1卷积，将特征图通道数压缩为2，2个通道分别对应肝脏分割预测和肿瘤分割预测；
[0064]
(4)构建损失函数，确定优化器和超参数，输入训练集和验证集，训练网络模型参数；
[0065]
(4a)使用dice相似性系数损失函数和二值交叉熵损失函数的加权组合，以α和β分别取0.5和1为例，构建联合损失函数l＝0.5*:l
bce
+l
dice
；其中l
bce
是二值交叉熵损失函数，l
dice
是dice损失函数：
[0066][0067][0068]
n为预测图/标签图的像素总个数，对于本实施例所用512
×
512分辨率图像而言，n取262144；xi为模型预测的像素值，取值范围在[0,1]之间，yi为独热编码后的真实标签对应像素值，取值为0或1；
[0069]
(4b)采用adam优化器，初始学习率设置为2e-4，即0.0002，采用固定步长学习率衰减策略，步长具体设定为[60,80,100,120]，衰减倍率为0.5，即步长学习率分别为[0.0002,0.0001,0.00005,0.000025,0.000013]，批数据大小设置为2，权重衰减设置为5e-5，即0.00005，总训练轮次设置为150，早停策略设置为30个轮次；其中本实验训练网络所用的软件框架是基于python3.8语言的pytorch 1.7.1，操作系统为ubuntu 20.0.4，cuda版本为11.3，硬件计算平台为配备有nvidia rtx a40显卡的服务器；
[0070]
(4c)在训练集和验证集上通过反向传播算法训练网络模型、优化超参数，直至损失函数基本趋向收敛，完成训练；
[0071]
(5)对所构建的分割模型加载上述所训练的权值参数，将肝脏ct测试集数据输入到模型中，对输出的置信图进行阈值化处理，得到所分割的肝脏和肝肿瘤结果。
[0072]
(5a)模型加载已训练参数，输入测试集，得到两通道置信图，并设定阈值为0.5，像素值大于0.5的设为1，小于等于0.5的设为0；
[0073]
(5b)给定一个空的三通道彩色图像y，索引第一个通道中所有值为1的像素并记录位置[x1,y1]，将空彩色图像所有对应位置(r,g,b)值设为(0,128,0)，即y[0,x1,y1]＝0,y[1,x1,y1]＝128,y[2,x1,y1]＝0，用以将对应像素点着色为绿色；索引第二个通道中所有值为1的像素并记录位置[x2,y2]，将空彩色图像所有对应位置(r,g,b)值设为(255,0,0)，即y[0,x2,y2]＝255,y[1,x2,y2]＝0,y[2,x2,y2]＝0，用以将对应像素点着色为红色；
[0074]
(5c)将赋值后的彩色图像保存并输出，得到最终的分割预测；本发明的预测效果如附图6所示。
[0075]
本发明方案所公开的技术手段不仅限于上述实施方案所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于熟悉本技术领域的技术人员来说，在本发明揭露的技术范围内，可轻易想到的变化或替换、做出若干改进和润饰，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种肝脏肿瘤分割方法，其特征在于，所述方法包含以下步骤：s1.获取原始格式的肝脏ct影像切片及其金标准，并进行数据预处理；s2.对完成预处理的数据进行随机采样，按预设比例划分为训练集、验证集和测试集；s3.构建基于双分支并行编码及残差融合解码的肝脏肿瘤分割模型，模型包括用于提取局部特征的卷积神经网络分支和用于提取全局上下文特征的轴向分解自注意力计算分支，以及双路分支共享的残差融合解码器；s4.构建损失函数，确定优化器和超参数，输入训练集和验证集，训练网络模型参数；s5.对所构建的分割模型加载上述所训练的权值参数，将肝脏ct测试集数据输入到模型中，对输出的置信图进行阈值化处理，得到所分割的肝脏和肝肿瘤结果。2.根据权利要求1所述的肝脏肿瘤分割方法，其特征在于，所述s1的获取原始格式的肝脏ct影像切片及其金标准，并进行数据预处理，包括：系统读取原始的nii格式ct图像体，沿断层扫描的横截面方向获取每个ct切片并将切片数组保存为npy图像格式；使用窗口截断法将npy格式切片ct值进行设置，小于等于第一阈值设置为第一阈值，大于等于第二阈值设置为第二阈值，大于第一阈值和小于第二阈值的数值保留不变；使用最小最大值归一化法对ct切片数据进行归一化操作，将数据值全部映射在[0,1]之间：系统读取原始nii格式的金标准，即标签掩码数据，沿断层扫描横截面方向维度获取每个ct切片对应的分割标签真值并转换为npy格式；然后使用one-hot编码将单通道的多分类标签图转换成多通道的二值标签图。3.根据权利要求1所述的肝脏肿瘤分割方法，其特征在于，所述s3的构建基于双分支并行编码及残差融合解码的肝脏肿瘤分割模型，模型包括用于提取局部特征的卷积神经网络分支和用于提取全局上下文特征的轴向分解自注意力计算分支，以及双路分支共享的残差融合解码器，具体组成如下：所述的提取局部特征的卷积神经网络分支，由卷积神经网络模块组成，其中第一层由vgg卷积模块组成，后续其它层是输入特征先经过最大池化层进行下采样，再输入vgg卷积模块以提取特征；所述的用于提取全局上下文特征的轴向分解自注意力计算分支，由卷积神经网络模块和轴向分解自注意力模块组成，其中第一层由级联的卷积模块组成，其余层使用轴向分解的自注意力计算模块构成，轴向分解自注意力模块是由级联的纵轴向自注意力计算和横轴向自注意力计算组成；其中对于m
×
m大小的特征图，沿特征图纵轴向范围的自注意力计算：沿特征图横轴向范围的自注意力计算：
其中和是特征像素点o所在的纵轴、横轴所在的自注意力计算范围；q
o
、k
i
、v
i
是特征像素点o所在的通道向量通过线性嵌入得到的查询向量、键向量、值向量；分别是对应q
o
、k
i
、v
i
的位置编码向量，用于强化位置信息；所述的双路分支共享的残差融合解码器，将两个编码分支当前堆叠层通过跳跃连接传送来的特征图与上一级解码器输出并上采样后的特征图在通道维度上做拼接操作，并输入到带有残差连接的卷积层以解码语义信息；解码器的输出端为1
×
1卷积层，将特征图通道数压缩，压缩后的通道分别对应肝脏分割预测和肿瘤分割预测。4.根据权利要求1所述肝脏肿瘤分割方法，其特征在于，所述s4的构建损失函数，确定优化器和超参数，输入训练集和验证集，训练网络模型参数，具体过程包括如下：使用dice相似性系数损失函数和二值交叉熵损失函数的加权组合以构建联合损失函数l＝α*l
bce
+β*l
dice
，其中α和β为权值，l
bce
是二值交叉熵损失函数，l
dice
是dice损失函数：是dice损失函数：其中n为预测图/标签图的像素总个数，x
i
为模型预测的像素值，y
i
为真实标签的对应像素值；采用adam优化器，设置初始学习率，学习率衰减策略，批数据大小，权重衰减，总训练轮次，早停策略的初始值；在训练集和验证集上通过反向传播算法训练网络模型、优化超参数，直至损失函数基本趋向收敛，完成训练。5.根据权利要求1所述肝脏肿瘤分割方法，其特征在于，所述s5的对输出的置信图进行阈值化处理，包括：输出的置信图为两通道置信图，设定第三阈值，像素值大于第三阈值的设为1，小于等于第三阈值的设为0；还包括，给定一个空的三通道彩色图像，索引第一个通道中所有值为1的像素并记录位置，将空彩色图像所有对应位置(r,g,b)值赋予具体值，用以对应像素点着色；索引第二个通道中所有值为1的像素并记录位置，将空彩色图像所有对应位置(r,g,b)值赋予具体值，用以对应像素点着色；将赋值后的彩色图像保存并输出，得到最终的分割预测。

技术总结
本发明提出一种肝脏肿瘤分割方法，属于医学图像分割领域。针对如何改善全局上下文特征提取能力并如何与局部信息高效结合这个出发点，本发明使用两个并行的编码器，其中引入VGG卷积神经网络分支用来提取局部特征，并设计了轴向分解自注意力分支用来提取全局特征，然后利用共享的残差融合解码器有效整合两个分支的信息。本发明在实现降低模型计算复杂度和减少训练参数量的同时，能显著改善肝脏肿瘤的分割效果，减少错分割或误分割现象。减少错分割或误分割现象。减少错分割或误分割现象。


技术研发人员：王卫江 戚航 王晓华 史玥婷
受保护的技术使用者：北京理工大学
技术研发日：2023.05.19
技术公布日：2023/8/13