一种医疗图像的多尺度精细化分割方法和装置

1.本发明涉及机器学习以及图像处理技术领域，尤其涉及一种医疗图像的多尺度精细化分割方法和装置。


背景技术：

2.近年来，随着医疗技术的快速发展，医院中患者数据的急剧增加，大量医疗影像数据急需处理。传统人工识别分析的方式，例如器官分割、肿瘤分割、靶区标定以及病理分析等，对医生的要求过高，过于依赖医生的状态及经验，具有成本高且效率低的特点。无法满足高效率的数据分析需求，给医生带来了很大的工作压力。面对海量的医疗图像，如何快速、高效并准确的将医疗影像中的目标成为了研究的热点。


技术实现要素：

3.本技术提供一种医疗图像的多尺度精细化分割方法和装置，可以充分利用医疗图像中的全局和局部信息，通过强化学习的方式，实现细化区域的智能选择，从而可以达到更加高效准确的分割，完成医疗图像的识别任务的效果。
4.第一方面，本技术提供了一种医疗图像的多尺度精细化分割方法，所述方法包括：
5.读取原始图像输入数据，利用预设尺寸进行裁剪预处理，得到预处理数据；将所述预处理数据按照预设比例划分为训练集和测试集；
6.将训练集样本进行线性插值法处理，得到目标尺寸，并将目标尺寸的训练集样本输入至全局粗分割网络，得到粗分割概率图；
7.将所述粗分割概率图上采样至原始图像尺寸，并与原始图像在通道维度上进行拼接，得到拼接结果；
8.将所述拼接结果输入至智能区域选择网络，选出所得区域，并将所述所得区域输入至局部细化网络，以得到细化分割概率图；
9.基于所述细化分割概率图计算细化前后的dice增益作为单步奖励值，并将细化分割概率图替换所述粗分割概率图中与所述所得区域对应的部分，并通过与原始图像拼接和输入至智能区域选择网络，计算得到奖励值序列，并基于所述奖励值序列得到分割结果。
10.进一步的，在得到粗分割概率图之后，所述方法还包括：
11.结合所述粗分割概率图和训练集样本的真值，计算交叉熵损失，通过梯度下降法对所述全局粗分割网络进行优化。
12.进一步的，结合所述粗分割概率图和训练集样本的真值，计算交叉熵损失，通过梯度下降法对所述全局粗分割网络进行优化，包括：
13.采用二进制交叉熵作为损失，分别计算不同等级的病灶与预测结果之间的交叉熵损失，并通过反向传播进行全局粗分割网络的参数优化。
14.进一步的，在利用预设尺寸进行裁剪预处理，得到预处理数据之后，所述方法还包括：
15.对所述预处理数据进行数据增强处理，得到增强数据集；其中，所述的数据增强处理包括沿任意一维的空间坐标轴进行翻转的处理。
16.进一步的，包括：
17.所述全局粗分割网络的主干结构均三维形式的u-net网络，具体包括：三个下采样模块、一个桥接模块、三个上采样模块以及聚合卷积模块；
18.其中，所述下采样模块包括两个卷积层和一个池化层，卷积核大小为3
×3×
3，卷积步长为1，padding为1；池化层核大小为2
×2×
2，池化步长为2；
19.所述桥接模块包括两个卷积层，卷积层的卷积核大小为3
×3×
3，卷积步长为1，padding为1；
20.所述上采样模块包括一个反卷积层以及两个卷积层，反卷积层的卷积核大小为3
×3×
3，卷积步长为2，padding为1，卷积层的卷积核大小为3
×3×
3，卷积步长为1，padding为1；
21.所述聚合卷积模块设置为单层卷积，卷积核大小为1
×1×
1，卷积步长为1，padding为0；
22.所述局部细化网络的主干结构为三维形式的u-net网络，具体包括：三个下采样模块、一个桥接模块、三个上采样模块以及聚合卷积模块；
23.其中，所述下采样模块包括两个卷积层和一个池化层，卷积核大小为3
×3×
3，卷积步长为1，padding为1；池化层核大小为2
×2×
2，池化步长为2；
24.所述桥接模块包括两个卷积层，卷积层的卷积核大小为3
×3×
3，卷积步长为1，padding为1；
25.所述上采样模块包括一个反卷积层以及两个卷积层，反卷积层的卷积核大小为3
×3×
3，卷积步长为2，padding为1，卷积层的卷积核大小为3
×3×
3，卷积步长为1，padding为1；
26.所述聚合卷积模块设置为单层卷积，卷积核大小为1
×1×
1，卷积步长为1，padding为0。
27.进一步的，所述智能区域选择网络的主干网络为双分支卷积神经网络，具体包括：
28.四个卷积模块，一个特征提取模块，一个actor输出端以及一个critic输出端；
29.其中，所述卷积模块包括一个卷积层和一个池化层，以及一个elu算子，卷积核大小为3
×3×
3，卷积步长为1，padding为1；池化核大小为2
×2×
2，池化步长为2；
30.所述特征提取模块中共包括两个全连接层，两层全连接层中的神经元数量均为12
×
10
×
8；
31.所述actor输出端由一个全连接层构成，其神经元数量为6
×5×
4；
32.所述critic输出端由一个全连接层构成，其神经元数量为1。
33.进一步的，基于所述细化分割概率图计算细化前后的dice增益作为单步奖励值，包括：
34.采用如下公式计算智能选择行为的奖励值：
35.r
t
＝dice(p
t
,l)-dice(p
t-1
,l)+i(p
t
,l)；
36.[0037][0038]
其中，dice(p
t
,l)为衡量分割结果的指标，p
t
为时间步t时的细化分割概率图，l为图像的真实标签，r
t
为时间步t时所获得的奖励值，p为全局粗分割网络生成的粗分割概率图，x,y,z为三维图像中的区域坐标，i为真实标签的分类函数。
[0039]
进一步的，采用二进制交叉熵作为损失，分别计算不同等级的病灶与预测结果之间的交叉熵损失，包括：
[0040]
计算二进制交叉熵损失的公式如下：
[0041][0042][0043]
其中，l
total
为总体损失，c为病灶等级数目，l为真实标签，p为预测概率，l
bce
为二进制交叉熵损失的计算公式，q为任意等级病灶的标注，为该样本的预测结果。
[0044]
第二方面，本技术提供了一种医疗图像的多尺度精细化分割装置，该装置包括：
[0045]
预处理单元，用于读取原始图像输入数据，利用预设尺寸进行裁剪预处理，得到预处理数据；将所述预处理数据按照预设比例划分为训练集和测试集；
[0046]
粗分割单元，用于将训练集样本进行线性插值法处理，得到目标尺寸，并将目标尺寸的训练集样本输入至全局粗分割网络，得到粗分割概率图；
[0047]
拼接单元，用于将所述粗分割概率图上采样至原始图像尺寸，并与原始图像在通道维度上进行拼接，得到拼接结果；
[0048]
细化分割单元，用于将所述拼接结果输入至智能区域选择网络，选出所得区域，并将所述所得区域输入至局部细化网络，以得到细化分割概率图；
[0049]
奖励值序列计算单元，用于基于所述细化分割概率图计算细化前后的dice增益作为单步奖励值，并将细化分割概率图替换所述粗分割概率图中与所述所得区域对应的部分，并通过与原始图像拼接和输入至智能区域选择网络，计算得到奖励值序列，并基于所述奖励值序列得到分割结果。
[0050]
本技术所提供的技术方案，通过对样本的预处理，以及采用不同尺度的分割网络得到不同尺度的分割概率图，并通过智能区域选择网络进行局部细化区域的选择，实现更加高效准确的分割，完成医疗图像的识别任务的目的。
附图说明
[0051]
图1是本技术实施例一提供的医疗图像的多尺度精细化分割方法的流程图；
[0052]
图2为本技术实施例一提供的全局粗分割网络的示意图；
[0053]
图3为本技术实施例一提供的智能区域选择网络的示意图；
[0054]
图4为本发明实施例三提供的医疗图像的多尺度精细化分割装置的结构框图。
具体实施方式
[0055]
下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本技术，而非对本技术的限定。另外还需要说明的是，为了便
于描述，附图中仅示出了与本技术相关的部分而非全部结构。
[0056]
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0057]
实施例一
[0058]
图1是本技术实施例一提供的医疗图像的多尺度精细化分割方法的流程图，本实施例可适用于对病灶图像进行分割的场景，该方法可以由本技术实施例所提供的医疗图像的多尺度精细化分割装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于电子设备中。
[0059]
如图1所示，所述医疗图像的多尺度精细化分割方法包括：
[0060]
s110，读取原始图像输入数据，利用预设尺寸进行裁剪预处理，得到预处理数据；将所述预处理数据按照预设比例划分为训练集和测试集。
[0061]
其中，具体的，训练集和验证集的比例为4:1，其中，为了使得医疗图像能够更好地适应统一的网络参数，且为了裁减掉不必要的噪声点，使得目标与背景的比例能够放大，本发明在读取输入数据时对所有医疗数据进行了数据预处理。
[0062]
读取输入图像时，需要对图像进行预处理，即裁剪出样本中可能出现病灶的区域。由于医疗图像成像的特殊性，样本在各个方向的边缘部分存在大量黑色无图像部分，这一部分被直接通过边界框裁剪剔除，裁剪后的图像尺寸为192
×
160
×
128。通过此预处理方法，增加目标的比例，并使得图像尺寸相对统一，适用于统一的网络参数。
[0063]
其中，裁剪时使用的边界框的六个面可以是立方体的六个面，即上、下、左、右、前和后六个面。
[0064]
本实施例中，可选的，在利用预设尺寸进行裁剪预处理，得到预处理数据之后，所述方法还包括：
[0065]
对所述预处理数据进行数据增强处理，得到增强数据集；其中，所述的数据增强处理包括沿任意一维的空间坐标轴进行翻转的处理。
[0066]
具体的，读取所得到的输入图像，进行数据增强及进一步的图像预处理。即对图像进行常规的数据增广，生成增强数据集，并为其增加通道维度及标准化，从而增加数据集的多样性和提高模型的泛化性能，并使得数据保持在同一分布。
[0067]
这里数据增广的具体实施方式是：
[0068]
以均匀的概率在以下空间中选择一项：沿x轴翻转，沿y轴翻转，沿z轴翻转，不翻转。
[0069]
对图像进行数据标准化的方式为z-score标准化，及将增强后的图像分布转变为标准正态分布，其具体计算方式如下式：
[0070][0071]
其中，x为输入图像，x
*
为输出图像,μ为整个图像像素值的均值，δ为整个图像像素值的方差，所得x
*
服从标准正态分布。
[0072]
得到上述操作结果后，需要对所述预处理数据按照预设比例划分为训练集和测试
集，具体的，将增强数据集按比例4:1划分出训练集和测试集。
[0073]
s120，将训练集样本进行线性插值法处理，得到目标尺寸，并将目标尺寸的训练集样本输入至全局粗分割网络，得到粗分割概率图。
[0074]
具体的，将所述训练集的样本通过三线性插值法放缩至48
×
48
×
48，随后将其输入至全局粗分割网络，得到粗分割概率结果，并通过三线性插值法上采样至原始图像尺寸192
×
160
×
128；随后根据所述分割概率图和样本的真值，计算交叉熵损失，以作为该网络的损失函数。
[0075]
在本方案中，可选的，所述全局粗分割网络的主干结构均三维形式的u-net网络，具体包括：三个下采样模块、一个桥接模块、三个上采样模块以及聚合卷积模块；
[0076]
其中，所述下采样模块包括两个卷积层和一个池化层，卷积核大小为3
×3×
3，卷积步长为1，padding为1；池化层核大小为2
×2×
2，池化步长为2；
[0077]
所述桥接模块包括两个卷积层，卷积层的卷积核大小为3
×3×
3，卷积步长为1，padding为1；
[0078]
所述上采样模块包括一个反卷积层以及两个卷积层，反卷积层的卷积核大小为3
×3×
3，卷积步长为2，padding为1，卷积层的卷积核大小为3
×3×
3，卷积步长为1，padding为1；
[0079]
所述聚合卷积模块设置为单层卷积，卷积核大小为1
×1×
1，卷积步长为1，padding为0；
[0080]
所述局部细化网络的主干结构为三维形式的u-net网络，具体包括：三个下采样模块、一个桥接模块、三个上采样模块以及聚合卷积模块；
[0081]
其中，所述下采样模块包括两个卷积层和一个池化层，卷积核大小为3
×3×
3，卷积步长为1，padding为1；池化层核大小为2
×2×
2，池化步长为2；
[0082]
所述桥接模块包括两个卷积层，卷积层的卷积核大小为3
×3×
3，卷积步长为1，padding为1；
[0083]
所述上采样模块包括一个反卷积层以及两个卷积层，反卷积层的卷积核大小为3
×3×
3，卷积步长为2，padding为1，卷积层的卷积核大小为3
×3×
3，卷积步长为1，padding为1；
[0084]
所述聚合卷积模块设置为单层卷积，卷积核大小为1
×1×
1，卷积步长为1，padding为0。
[0085]
图2为本技术实施例一提供的全局粗分割网络的示意图，如图2所示，三维形式的u-net网络包括三个下采样模块，一个桥接模块，三个上采样模块及最后用于输出的聚合卷积。其中，下采样模块包含两个卷积层，及一个池化层，每层卷积以3
×3×
3的卷积核大小，步长为1，padding为1，池化层步长为2，池化大小为2
×2×
2。
[0086]
桥接模块包括两个卷积层，每个卷积层均采用3
×3×
3大小的卷积核，步长为1，padding为1，与下采样模块不同的是，桥接模块不需要进行池化操作，上采样模块包含了一次反卷积操作，及两次卷积操作，反卷积操作卷积核大小为3
×3×
3，步长为2，padding为1，卷积操作卷积核大小为3
×3×
3，步长为1，padding为1。聚合卷积则为单层卷积，其卷积核大小为1
×1×
1，步长为1，padding为0。
[0087]
本实施实例中，全局粗分割网络使用的网络共包含三个下采样模块用来特征编码
及减少运算参数量，以及用以计算最深层次的图像特征并桥接上下采样过程的一个桥接模块，还有三个上采样模块用于解码特征，以及还有一个最后用于输出的聚合卷积。将图像输入该网络中，获得输出概率图。
[0088]
本实施实例中，具体的，首先将数据输入下采样模块，并分别保留三次池化步骤前的结果，随后将最后一个下采样模块的输出输入至桥接模块，得到桥接模块的输出后将其输入至上采样模块，但将之前下采样模块的输入依次拼接至反卷积后的输出，最终得到结果进行聚合卷积得到所需的概率映射图p。并在有标签数据中，利用前面所得的概率图与真值计算交叉熵损失，并将其作为损失函数。
[0089]
本方案中，可选的，采用二进制交叉熵作为损失，分别计算不同等级的病灶与预测结果之间的交叉熵损失，包括：
[0090]
计算二进制交叉熵损失的公式如下：
[0091][0092][0093]
其中，l
total
为总体损失，c为病灶等级数目，l为真实标签，p为预测概率，l
bce
为二进制交叉熵损失的计算公式，q为任意等级病灶的标注，为该样本的预测结果。
[0094]
s130，将所述粗分割概率图上采样至原始图像尺寸，并与原始图像在通道维度上进行拼接，得到拼接结果。
[0095]
本实施实例中，可以将前面得到的大小为192
×
160
×
128的概率图及其对应原图在通道维度上进行拼接，随后对其进行随机裁剪，裁剪窗口大小为32
×
32
×
32，随后将裁剪结果输入局部细化网络获得细化后的分割概率图。
[0096]
s140，将所述拼接结果输入至智能区域选择网络，选出所得区域，并将所述所得区域输入至局部细化网络，以得到细化分割概率图。
[0097]
局部细化网络与全局粗分割网络的主干结构一致，其结构与全局粗分割网络一致，在此不做过多说明。同时，损失函数的选用与上一步骤的损失函数一致，在此不做过多说明。
[0098]
本实施例中，可选的，所述智能区域选择网络的主干网络为双分支卷积神经网络，具体包括：
[0099]
四个卷积模块，一个特征提取模块，一个actor输出端以及一个critic输出端；
[0100]
其中，所述卷积模块包括一个卷积层和一个池化层，以及一个elu算子，卷积核大小为3
×3×
3，卷积步长为1，padding为1；池化核大小为2
×2×
2，池化步长为2；
[0101]
所述特征提取模块中共包括两个全连接层，两层全连接层中的神经元数量均为12
×
10
×
8；
[0102]
所述actor输出端由一个全连接层构成，其神经元数量为6
×5×
4；
[0103]
所述critic输出端由一个全连接层构成，其神经元数量为1。
[0104]
图3为本技术实施例一提供的智能区域选择网络的示意图，如图3所示，智能区域选择网络的主干网络为双分支卷积神经网络，具体包括：四个卷积模块、一个特征提取模块，以及一个actor输出端、一个critic输出端；其中，所述卷积模块包括一个卷积层和一个池化层以及一个elu算子，卷积核大小为3
×3×
3，卷积步长为1，padding为1；池化核大小为2×2×
2，池化步长为2；所述特征提取模块中共包括两个全连接层，两层全连接层中的神经元数量均为12
×
10
×
8；所述actor输出端由一个全连接层构成，其神经元数量为6
×5×
4；所述critic输出端由一个全连接层构成，其神经元数量为1。
[0105]
s150，基于所述细化分割概率图计算细化前后的dice增益作为单步奖励值，并将细化分割概率图替换所述粗分割概率图中与所述所得区域对应的部分，并通过与原始图像拼接和输入至智能区域选择网络，计算得到奖励值序列，并基于所述奖励值序列得到分割结果。
[0106]
本技术方案中，可选的，基于所述细化分割概率图计算细化前后的dice增益作为单步奖励值，包括：
[0107]
采用如下公式计算智能选择行为的奖励值：
[0108]rt
＝dice(p
t
,l)-dice(p
t-1
,l)+i(p
t
,l)；
[0109][0110][0111]
其中，dice(p
t
,l)为衡量分割结果的指标，p
t
为时间步t时的细化分割概率图，l为图像的真实标签，r
t
为时间步t时所获得的奖励值，p为全局粗分割网络生成的粗分割概率图，x,y,z为三维图像中的区域坐标，i为真实标签的分类函数。
[0112]
该奖励值由智能体所选区域细化前后的dice系数增益加惩罚因子构成，p为粗分割网络生成的分割结果概率图，x，y，z为三维图像中的区域坐标，i为奖励值函数的惩罚因子，其计算式为对真实标签进行的分类判别函数。
[0113]
本方案中，具体的，单步智能体与环境的互动可以表示为三部分：区域选择、局部细化、反馈奖励，序列的最大序列长度为5。
[0114]
本方案的最终完整的推断过程为：将所述测试集的样本放缩至全局粗分割网络目标大小并对其进行推断得到粗分割结果，将分割结果与原始图像在通道上进行拼接，并输入智能区域选择网络，得到选择的区域，将所选区域输入局部细化网络，选择区域并细化的过程不断迭代直至超出最大序列长度。
[0115]
本方案中，为了增加对于图像细节的处理，本方案采用了全局-局部的思想来同时整合图像的全局上下文信息和局部细节特征，与自然图像中的全局-局部分割方法不同的是，为了避免推断时使用滑动窗口法，本方案利用强化学习的方式训练了一个用来选择区域的智能体，该智能体可以有效地找出局部细化网络可以细化的区域，而非将完整的图像按步长裁剪后输入局部细化网络，所以本方案的修正方式为，根据智能区域选择网络输出的区域选择，然后根据该区域选择来进行细化，并将细化后的结果替换粗分割结果，随着序列长度的不断增加，整体算法对于局部区域的关注逐渐增加。
[0116]
本发明方法在brain tumor segmentation challenge 2019(brats2019)数据集中的分割全肿瘤(whole tumor，wt)类的dice可以达到89.91％，相比于只用3d u-net在同样的数据下产生的结果来说提升了4.72％，分割肿瘤核心类(tumor core，tc)的dice可以达到74.69％，相比于只用3d u-net在同样的数据下产生的结果来说提升了12.18％，分割增强肿瘤(enhancing tumor，et)类的dice可以达到68.24％，相比于只用3d u-net在同样
的数据下产生的结果来说提升了8.6％。其中，brats2019是一个脑肿瘤的医疗数据集，dice是通用的检测衡量指标。
[0117]
本技术实施例所提供的技术方案，通过对样本的预处理，以及采用全局粗分割网络、局部细化网络及智能区域选择网络完成整体模型的搭建，以得到一个系统的精细化医疗图像分割方法，实现快速并准确的完成医疗图像分割精细化的目的。
[0118]
实施例二
[0119]
本实施例以上述实施例为基础提供的优选实施例。本方案提供的医疗图像的多尺度精细化分割方法的实施实例包括以下几个步骤：
[0120]
步骤一：读取输入图像时，需要对图像进行预处理，即裁剪出样本中可能出现病灶的区域。由于医疗图像成像的特殊性，样本在各个方向的边缘部分存在大量黑色无图像部分，这一部分被直接通过边界框裁剪剔除，裁剪后的图像尺寸为192
×
160
×
128。通过此预处理方法，增加目标的比例，并使得图像尺寸相对统一，适用于统一的网络参数。
[0121]
其中，裁剪时使用的边界框的六个面可以是立方体的六个面，即上、下、左、右、前和后六个面。
[0122]
步骤二：读取步骤一所得的输入图像，进行数据增强及进一步的图像预处理，即对图像进行常规的数据增广，生成增强数据集，并为其增加通道维度及标准化，从而增加数据集的多样性和提高模型的泛化性能，并使得数据保持在同一分布。
[0123]
这里数据增广的具体实施方式是：
[0124]
以均匀的概率在以下空间中选择一项：沿x轴翻转，沿y轴翻转，沿z轴翻转，不翻转。
[0125]
对图像进行数据标准化的方式为z-score标准化，及将增强后的图像分布转变为标准正态分布，其具体计算方式如下式：
[0126][0127]
其中，x为输入图像，x
*
为输出图像,μ为整个图像像素值的均值，δ为整个图像像素值的方差，所得x
*
服从标准正态分布。
[0128]
步骤三：将步骤二得到的增强数据集按比例4:1划分出训练集和测试集，训练集用以整体算法的训练，测试集用以评估分割结果。
[0129]
步骤四：将步骤三中经数据预处理训练集进一步预处理，将所有样本通过三线性插值法放缩至48
×
48
×
48，作为目标输入，读取图像，然后将其输入至全局粗分割网络3d u-net中，网络结构如图2所示。网络共包含三个下采样模块用来特征编码及减少运算参数量，以及用以计算最深层次的图像特征并桥接上下采样过程的一个桥接模块，还有三个上采样模块用于解码特征，以及还有一个最后用于输出的聚合卷积。将图像输入该网络中，获得粗分割概率图。
[0130]
步骤五：将粗分割概率图通过三线性插值法上采样至原始训练集图像尺寸192
×
160
×
128；随后根据所述分割概率图和样本的真值，计算不同等级病灶的二进制交叉熵损失，以作为该网络的损失函数，并通过adam优化器进行优化，学习率设置为3e-4，在优化完成之后输出训练集和测试集的粗分割概率图。
[0131]
本方案中，二进制交叉熵损失的计算方式如下：
[0132][0133][0134]
其中，l
total
为总体损失，c为病灶等级数目，l为真实标签，p为预测概率，l
bce
为二进制交叉熵损失的计算公式，q为任意等级病灶的标注，为该样本的预测结果。
[0135]
步骤六：为了解决医疗图像分割中下采样预处理会对信息造成不可逆损失的弊端，本方案引入了一个的局部细化网络用以接受全局上下文信息并根据局部细节特征进行精细化分割，为此，本方案将步骤五得到的分割概率图及步骤三所得的对应样本原图在通道维度上进行拼接，然后对其进行随机裁剪，裁剪窗口大小为32
×
32
×
32，将裁剪后的区域输入进局部细化网络获得细化后的分割概率图，其中，本局部细化网络的网络结构与步骤四中的全局粗分割网络相同，在此不做重复说明。
[0136]
步骤七：计算步骤六中细化后的区域与样本标签之间的二进制交叉熵，并通过adam优化器进行优化，学习率设置为3e-4，其中二进制交叉熵的计算与步骤五中二进制交叉熵相同，在此不做重复说明。
[0137]
步骤八：将步骤五中的尺寸为192
×
160
×
128的粗分割概率图与步骤三所述数据集中的样本在通道维度上进行拼接，并将其输入智能区域选择网络，网络结构如图3所示，网络共包含四个卷积模块用来特征抽取，一个特征提取模块用来进一步提取特征并对其进行维度变换，最后分为两个输出端用来分别输出动作预测和值函数预测。在得到选择的区域后，将所选区域输入局部细化网络，计算其细化前后的dice增益作为单步奖励值，并将细化后的结果替换粗分割结果，随后重新开始区域选择，直至序列终止，计算序列奖励。
[0138]
本实施例中，单步奖励值的具体计算式如下：
[0139]rt
＝dice(p
t
,l)-dice(p
t-1
,l)+i(p
t
,l)；
[0140][0141][0142]
其中，dice(p
t
,l)为衡量分割结果的指标，p
t
为时间步t下的分割概率图，p
t-1
为时间步t-1下的分割概率图，即先验分割概率，l为图像的真实标签，r
t
为时间步t时所获得的奖励值，该奖励值由智能体所选区域细化前后的dice系数增益加惩罚因子构成，p为粗分割网络生成的分割结果概率图，x,y,z为三维图像中的的区域坐标，i为奖励值函数的惩罚因子，其计算式为对真实标签进行的分类判别函数。
[0143]
步骤九：根据步骤八中的采样方式，采用经典的a3c算法对智能区域选择网络进行参数优化，采用adam优化器，学习率设置为1e-4，线程数为2，训练熵系数为0.01，奖励衰减因子γ为0.99，最大序列长度为5。
[0144]
步骤十：将步骤三中测试集的样本放缩至全局粗分割网络目标大小并对其进行推断得到粗分割结果，将分割结果与原始图像在通道上进行拼接，并输入智能区域选择网络，得到选择的区域，将所选区域输入局部细化网络，选择区域并细化的过程不断迭代直至超出最大序列长度。
[0145]
本发明方法在brain tumor segmentation challenge 2019(brats2019)数据集
中的分割全肿瘤(whole tumor，wt)类的dice可以达到89.91％，相比于只用3d u-net在同样的数据下产生的结果来说提升了4.72％，分割肿瘤核心类(tumor core，tc)的dice可以达到74.69％，相比于只用3d u-net在同样的数据下产生的结果来说提升了12.18％，分割增强肿瘤(enhancing tumor，et)类的dice可以达到68.24％，相比于只用3d u-net在同样的数据下产生的结果来说提升了8.6％。其中，brats2019是一个脑肿瘤的医疗数据集，dice是通用的检测衡量指标。
[0146]
本发明的有益效果在于：本发明通过以上技术方案有效的缓解了医疗图像分割中局部信息的缺失问题，同时利用强化学习训练出的智能体帮助局部细化算法有效提高了其实际使用效率，减少了整体推断次数，使得局部细化的区域选择更加准确。
[0147]
实施例三
[0148]
图4为本发明实施例三提供的医疗图像的多尺度精细化分割装置的结构框图，该装置可执行本发明任意实施例所提供的医疗图像的多尺度精细化分割方法，具备执行方法相应的功能模块和有益效果。
[0149]
如图4所示，该装置可以包括：
[0150]
预处理单元410，用于读取原始图像输入数据，利用预设尺寸进行裁剪预处理，得到预处理数据；将所述预处理数据按照预设比例划分为训练集和测试集；
[0151]
粗分割单元420，用于将训练集样本进行线性插值法处理，得到目标尺寸，并将目标尺寸的训练集样本输入至全局粗分割网络，得到粗分割概率图；
[0152]
拼接单元430，用于将所述粗分割概率图上采样至原始图像尺寸，并与原始图像在通道维度上进行拼接，得到拼接结果；
[0153]
细化分割单元440，用于将所述拼接结果输入至智能区域选择网络，选出所得区域，并将所述所得区域输入至局部细化网络，以得到细化分割概率图；
[0154]
奖励值序列计算单元450，用于基于所述细化分割概率图计算细化前后的dice增益作为单步奖励值，并将细化分割概率图替换所述粗分割概率图中与所述所得区域对应的部分，并通过与原始图像拼接和输入至智能区域选择网络，计算得到奖励值序列，并基于所述奖励值序列得到分割结果。
[0155]
上述产品可执行本技术实施例所提供的医疗图像的多尺度精细化分割方法，具备执行方法相应的功能模块和有益效果。
[0156]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

技术特征：
1.一种医疗图像的多尺度精细化分割方法，其特征在于，包括：读取原始图像输入数据，利用预设尺寸进行裁剪预处理，得到预处理数据；将所述预处理数据按照预设比例划分为训练集和测试集；将训练集样本进行线性插值法处理，得到目标尺寸，并将目标尺寸的训练集样本输入至全局粗分割网络，得到粗分割概率图；将所述粗分割概率图上采样至原始图像尺寸，并与原始图像在通道维度上进行拼接，得到拼接结果；将所述拼接结果输入至智能区域选择网络，选出所得区域，并将所述所得区域输入至局部细化网络，以得到细化分割概率图；基于所述细化分割概率图计算细化前后的dice增益作为单步奖励值，并将细化分割概率图替换所述粗分割概率图中与所述所得区域对应的部分，并通过与原始图像拼接和输入至智能区域选择网络，计算得到奖励值序列，并基于所述奖励值序列得到分割结果。2.根据权利要求1所述的方法，其特征在于，在得到粗分割概率图之后，所述方法还包括：结合所述粗分割概率图和训练集样本的真值，计算交叉熵损失，通过梯度下降法对所述全局粗分割网络进行优化。3.根据权利要求1所述的方法，其特征在于，结合所述粗分割概率图和训练集样本的真值，计算交叉熵损失，通过梯度下降法对所述全局粗分割网络进行优化，包括：采用二进制交叉熵作为损失，分别计算不同等级的病灶与预测结果之间的交叉熵损失，并通过反向传播进行全局粗分割网络的参数优化。4.根据权利要求1所述的方法，其特征在于，在利用预设尺寸进行裁剪预处理，得到预处理数据之后，所述方法还包括：对所述预处理数据进行数据增强处理，得到增强数据集；其中，所述的数据增强处理包括沿任意一维的空间坐标轴进行翻转的处理。5.根据权利要求1所述的方法，其特征在于，包括：所述全局粗分割网络的主干结构均三维形式的u-net网络，具体包括：三个下采样模块、一个桥接模块、三个上采样模块以及聚合卷积模块；其中，所述下采样模块包括两个卷积层和一个池化层，卷积核大小为3
×3×
3，卷积步长为1，padding为1；池化层核大小为2
×2×
2，池化步长为2；所述桥接模块包括两个卷积层，卷积层的卷积核大小为3
×3×
3，卷积步长为1，padding为1；所述上采样模块包括一个反卷积层以及两个卷积层，反卷积层的卷积核大小为3
×3×
3，卷积步长为2，padding为1，卷积层的卷积核大小为3
×3×
3，卷积步长为1，padding为1；所述聚合卷积模块设置为单层卷积，卷积核大小为1
×1×
1，卷积步长为1，padding为0；所述局部细化网络的主干结构为三维形式的u-net网络，具体包括：三个下采样模块、一个桥接模块、三个上采样模块以及聚合卷积模块；其中，所述下采样模块包括两个卷积层和一个池化层，卷积核大小为3
×3×
3，卷积步长为1，padding为1；池化层核大小为2
×2×
2，池化步长为2；
所述桥接模块包括两个卷积层，卷积层的卷积核大小为3
×3×
3，卷积步长为1，padding为1；所述上采样模块包括一个反卷积层以及两个卷积层，反卷积层的卷积核大小为3
×3×
3，卷积步长为2，padding为1，卷积层的卷积核大小为3
×3×
3，卷积步长为1，padding为1；所述聚合卷积模块设置为单层卷积，卷积核大小为1
×1×
1，卷积步长为1，padding为0。6.根据权利要求1所述的方法，其特征在于，所述智能区域选择网络的主干网络为双分支卷积神经网络，具体包括：四个卷积模块，一个特征提取模块，一个actor输出端以及一个critic输出端；其中，所述卷积模块包括一个卷积层和一个池化层，以及一个elu算子，卷积核大小为3
×3×
3，卷积步长为1，padding为1；池化核大小为2
×2×
2，池化步长为2；所述特征提取模块中共包括两个全连接层，两层全连接层中的神经元数量均为12
×
10
×
8；所述actor输出端由一个全连接层构成，其神经元数量为6
×5×
4；所述critic输出端由一个全连接层构成，其神经元数量为1。7.根据权利要求6所述的方法，其特征在于，基于所述细化分割概率图计算细化前后的dice增益作为单步奖励值，包括：采用如下公式计算智能选择行为的奖励值：r
t
＝dice(p
t
，l)-dice(p
t-1
，l)+i(p
t
，l)；，l)；其中，dice(p
t
,l)为衡量分割结果的指标，p
t
为时间步t时的细化分割概率图，l为图像的真实标签，r
t
为时间步t时所获得的奖励值，p为全局粗分割网络生成的粗分割概率图，x,y,z为三维图像中的区域坐标，i为真实标签的分类函数。8.根据权利要求2所述的方法，其特征在于，采用二进制交叉熵作为损失，分别计算不同等级的病灶与预测结果之间的交叉熵损失，包括：计算二进制交叉熵损失的公式如下：计算二进制交叉熵损失的公式如下：其中，l
total
为总体损失，c为病灶等级数目，l为真实标签，p为预测概率，l
bce
为二进制交叉熵损失的计算公式，q为任意等级病灶的标注，为该样本的预测结果。9.一种医疗图像的多尺度精细化分割装置，其特征在于，包括：预处理单元，用于读取原始图像输入数据，利用预设尺寸进行裁剪预处理，得到预处理数据；将所述预处理数据按照预设比例划分为训练集和测试集；粗分割单元，用于将训练集样本进行线性插值法处理，得到目标尺寸，并将目标尺寸的训练集样本输入至全局粗分割网络，得到粗分割概率图；
拼接单元，用于将所述粗分割概率图上采样至原始图像尺寸，并与原始图像在通道维度上进行拼接，得到拼接结果；细化分割单元，用于将所述拼接结果输入至智能区域选择网络，选出所得区域，并将所述所得区域输入至局部细化网络，以得到细化分割概率图；奖励值序列计算单元，用于基于所述细化分割概率图计算细化前后的dice增益作为单步奖励值，并将细化分割概率图替换所述粗分割概率图中与所述所得区域对应的部分，并通过与原始图像拼接和输入至智能区域选择网络，计算得到奖励值序列，并基于所述奖励值序列得到分割结果。

技术总结
本发明公开了一种医疗图像的多尺度精细化分割方法和装置。其中，该方法包括：读取原始图像输入数据，利用预设尺寸进行裁剪得到预处理数据；将预处理数据进行线性插值法处理，得到目标尺寸并输入至全局粗分割网络，得到粗分割概率图；将粗分割概率图上采样至原始图像尺寸，并与原始图像在通道维度上进行拼接；将拼接结果输入至智能区域选择网络，选出所得区域，并将所得区域输入至局部细化网络，得到细化分割概率图；计算细化前后的Dice增益作为单步奖励值，并将细化分割概率图替换粗分割概率图中对应的部分，得到奖励值序列，并基于奖励值序列得到分割结果。本方案可以达到更加高效准确的分割，完成医疗图像的识别任务的效果。完成医疗图像的识别任务的效果。完成医疗图像的识别任务的效果。


技术研发人员：李郁欣 胡斌 朱凤平 王祥丰 金博 颊友涛
受保护的技术使用者：华东师范大学
技术研发日：2022.01.28
技术公布日：2023/8/9