一种医学器官图像分割方法和相关装置
未命名
07-12
阅读:98
评论:0
1.本发明涉及图像分割技术领域,具体是涉及一种医学器官图像分割方法和相关装置。
背景技术:
2.从医学图像中分割出只含有器官部分的图像,是现在现代医学开展临床诊断的第一步。比如从腹部ct图像中分割出腹部分割图像将减少医生在诊断中所耗费的时间,提升临床诊断流程的效率。然而传统的人工手段医学图像分割费时费力,在面对腹部大ct图像时更加大了工作难度。近年来,随着人工只能领域的迭代发展,基于深度学习的模式识别模型在图像分割任务中表现了绝大的潜力。基于深度学习模型的,以大量ct数据为导向的自动医学图像分割系统将会高效、迅速、准确得腹部图像分割。大多数使用深度学习进行图像分割的优秀算法和模型在进行设计是都是以传统的rgb三通二维图片作为基础,其图像大小通常位于(224,224)到(1024,1024)之间。而对于医学上的腹部ct图像,其作为三维的影像大小通常位于(512,512,80)到(512,512,260)之间。同时在临床中还存在全身ct之类的超大ct影像需要进行分割。由于硬件资源的限制,三维ct影像很难以整体作为一个输入进入深度学习网络得到最后的分割结果。现有的医学图像分割方法包括两种:第一种,将整张ct图像分解为多个图像块,在硬件资源占用可控的情况下,每个图像都能单独的作为深度神经网络的输入进而得到每个图像块单独的分割结果,最后在将得到的所有分割结果按照其各自的位置进行拼接从而得到最终的整张ct分割结果。但整张ct分解为图像块后单独进入深度神经网络的做法导致最终的预测彻底丧失了原ct的全局信息,在最后生成分割结果中容易出现分割结果位置错误的情况。第二种,整张ct直接进行形状插值操作,将ct的尺寸放缩到神经网络可以接收的尺寸。该方法将原本的ct图像进行大尺度的缩小以得到缩放之后的全局ct图像。而将ct图像缩放到很小的尺寸会导致ct图像的细节信息损失,从而导致从ct图像上分割出的器官分割图像丢失细节信息,最终导致分割出的器官图像无法辅助医生进行临床判断。从上述分析可知,无论是第一种分割方法还是第二种分割方法都降低了分割出的器官图像质量。
3.综上所述,现有技术分割出的器官图像质量较低。
4.因此,现有技术还有待改进和提高。
技术实现要素:
5.为解决上述技术问题,本发明提供了一种医学器官图像分割方法和相关装置,解决了现有技术分割出的器官图像质量较低的问题。
6.为实现上述目的,本发明采用了以下技术方案:
7.第一方面,本发明提供一种医学器官图像分割方法,其中,包括:
8.将各个裁剪图像和各个全局图像分别进行融合,得到各组融合图像,各个所述裁剪图像的尺寸分别与各个所述全局图像的尺寸相匹配,所述全局图像为包含完整器官的医
学图像调整尺寸之后的图像,所述裁剪图像为从所述医学图像上裁剪出包括局部器官的图像;
9.对各组所述融合图像分别应用已训练的图像分割模型,得到从各个所述裁剪图像上分割出的带有位置标签的各个局部器官分割图像,所述位置标签用于表征所述局部器官分割图像在所述医学图像上的位置;
10.依据各个所述局部器官分割图像,组合出所述医学图像上的完整器官的整体器官分割图像。
11.在一种实现方式中,所述裁剪图像为预处理之后的图像,所述预处理包括:
12.确定器官的医学图像所在的数据库中的所有图像的像素均值、像素点间隔中位数;
13.依据所述数据库的所述像素均值,对所述裁剪图像的像素点进行删减,得到删减之后的所述裁剪图像;
14.依据所述数据库的像素点间隔中位数,调整删减之后的所述裁剪图像的像素点间隔,得到像素点间隔调整之后的所述裁剪图像;
15.对像素点间隔调整之后的所述裁剪图像进行图像增强,得到预处理之后的所述裁剪图像。
16.在一种实现方式中,各个所述裁剪图像的裁剪方式,包括:
17.设定滑动窗口的移动步长,所述移动步长的尺寸小于所述滑动窗口沿移动方向的长度尺寸;
18.将所述滑动窗口以所述移动步长在所述医学图像上移动;
19.将所述滑动窗口在所述医学图像上的每次移动覆盖的各个区域作为各个裁剪图像。
20.在一种实现方式中,所述将各个裁剪图像和各个全局图像分别进行融合,得到各组融合图像,各个所述裁剪图像的尺寸分别与各个所述全局图像的尺寸相匹配,所述全局图像为包含完整器官的医学图像调整尺寸之后的图像,所述裁剪图像为从所述医学图像上裁剪出包括局部器官的图像,包括:
21.将每个所述裁剪图像作为一层图像,将与每个所述裁剪图像尺寸相匹配的所述全局图像作为另一层图像;
22.将所述一层图像和所述另一层图像叠合在一起,得到每一组的融合图像。
23.在一种实现方式中,已训练的图像分割模型的训练方式,包括:
24.确定构成所述图像分割模型的编码器和解码器;
25.将融合样本图像输入至所述编码器中,得到所述编码器输出的位置训练标签;
26.确定位置训练标签和所述位置训练标签的位置损失函数,所述位置样本标签用于表征裁剪样本图像在医学样本图像上的位置;
27.依据所述位置损失函数,完成所述编码器的训练;
28.完成所述编码器的训练之后,训练所述解码器。
29.在一种实现方式中,所述完成所述编码器的训练之后,训练所述解码器,包括:
30.将所述融合样本图像输入至完成训练之后的所述编码器,得到所述编码器输出的带有训练位置标签的初步分割训练图像;
31.将所述带有训练位置标签的所述初步分割训练图像输入至所述解码器,得到所述解码器输出的训练分割图像;
32.依据所述训练分割图像和所述裁剪样本图像多对应的真实分割图像之间的图像损失函数,完成所述解码器的训练。
33.在一种实现方式中,所述依据各个所述局部器官分割图像,组合出所述医学图像上的完整器官的整体器官分割图像,包括:
34.依据各个所述局部器官分割图像所对应的各个所述位置标签,组合各个所述局部器官分割图像,得到整体器官分割图像。
35.第二方面,本发明实施例还提供一种医学器官图像分割装置,其中,所述装置包括如下组成部分:
36.图像融合模块,用于将各个裁剪图像和各个全局图像分别进行融合,得到各组融合图像,各个所述裁剪图像的尺寸分别与各个所述全局图像的尺寸相匹配,所述全局图像为包含完整器官的医学图像调整尺寸之后的图像,所述裁剪图像为从所述医学图像上裁剪出包括局部器官的图像;
37.图像分割模块,用于对各组所述融合图像分别应用已训练的图像分割模型,得到从各个所述裁剪图像上分割出的带有位置标签的各个局部器官分割图像,所述位置标签用于表征所述局部器官分割图像在所述医学图像上的位置;
38.图像组合模块,用于依据各个所述局部器官分割图像,组合出所述医学图像上的完整器官的整体器官分割图像。
39.第三方面,本发明实施例还提供一种终端设备,其中,所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的医学器官图像分割程序,所述处理器执行所述医学器官图像分割程序时,实现上述所述的医学器官图像分割方法的步骤。
40.第四方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有医学器官图像分割程序,所述医学器官图像分割程序被处理器执行时,实现上述所述的医学器官图像分割方法的步骤。
41.有益效果:本发明首先将包含完整器官的医学图像裁剪成各个包含局部器官的裁剪图像,同时将医学图像缩小到与裁剪图像相同尺寸的全局图像。然后将各个裁剪图像和各个全局图像进行融合,以得到各组融合图像。之后对各组融合图像应用图像分割模型,通过模型从各个裁剪图像上裁剪出含有局部器官的分割图像,且该分割图像带有位置标签。最后将带有位置标签的各个分割图像进行组合,以得到器官的整体分割图像。从上述分析可知,本发明的裁剪图像保留了图像细节信息,本发明的缩放之后的全局图像记录了图像的上下文信息(即记录了各个裁剪图像在全局图像上的位置信息)。因此本发明将裁剪图像和缩放之后得到的全局图像进行结合,能够既保证分割出图像的细节信息,又能够记录分割图像在全局图像上的上下文信息,从而保证由各个裁剪图像组合成的整体器官分割图像的质量。
附图说明
42.图1为本发明的整体流程图;
43.图2为本发明实施例中的图像分割模型结构图;
44.图3为本发明实施例中的裁剪图像的示意图;
45.图4为本发明实施例中的图像融合示意图;
46.图5为本发明实施例中的训练模型以及应用模型的流程图;
47.图6为本发明实施例提供的终端设备的内部结构原理框图。
具体实施方式
48.以下结合实施例和说明书附图,对本发明中的技术方案进行清楚、完整地描述。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
49.经研究发现,从医学图像中分割出只含有器官部分的图像,是现在现代医学开展临床诊断的第一步。比如从腹部ct图像中分割出腹部分割图像将减少医生在诊断中所耗费的时间,提升临床诊断流程的效率。然而传统的人工手段医学图像分割费时费力,在面对腹部大ct图像时更加大了工作难度。近年来,随着人工只能领域的迭代发展,基于深度学习的模式识别模型在图像分割任务中表现了绝大的潜力。基于深度学习模型的,以大量ct数据为导向的自动医学图像分割系统将会高效、迅速、准确得腹部图像分割。大多数使用深度学习进行图像分割的优秀算法和模型在进行设计是都是以传统的rgb三通二维图片作为基础,其图像大小通常位于(224,224)到(1024,1024)之间。而对于医学上的腹部ct图像,其作为三维的影像大小通常位于(512,512,80)到(512,512,260)之间。同时在临床中还存在全身ct之类的超大ct影像需要进行分割。由于硬件资源的限制,三维ct影像很难以整体作为一个输入进入深度学习网络得到最后的分割结果。现有的医学图像分割方法包括两种:第一种,将整张ct图像分解为多个图像块,在硬件资源占用可控的情况下,每个图像都能单独的作为深度神经网络的输入进而得到每个图像块单独的分割结果,最后在将得到的所有分割结果按照其各自的位置进行拼接从而得到最终的整张ct分割结果。但整张ct分解为图像块后单独进入深度神经网络的做法导致最终的预测彻底丧失了原ct的全局信息,在最后生成分割结果中容易出现分割结果位置错误的情况。第二种,整张ct直接进行形状插值操作,将ct的尺寸放缩到神经网络可以接收的尺寸。该方法将原本的ct图像进行大尺度的缩小以得到缩放之后的全局ct图像。而将ct图像缩放到很小的尺寸会导致ct图像的细节信息损失,从而导致从ct图像上分割出的器官分割图像丢失细节信息,最终导致分割出的器官图像无法辅助医生进行临床判断。从上述分析可知,无论是第一种分割方法还是第二种分割方法都降低了分割出的器官图像质量。
50.为解决上述技术问题,本发明提供了一种医学器官图像分割方法和相关装置,解决了现有技术分割出的器官图像质量较低的问题。具体实施时,首先将包含完整器官的医学图像裁剪成各个包含局部器官的裁剪图像,同时将医学图像缩小到与裁剪图像相同尺寸的全局图像。然后将各个裁剪图像和各个全局图像进行融合,以得到各组融合图像。之后对各组融合图像应用图像分割模型,通过模型从各个裁剪图像上裁剪出含有局部器官的分割图像,且该分割图像带有位置标签。最后将带有位置标签的各个分割图像进行组合,以得到器官的整体分割图像。本发明能够提高整体分割图像的质量。
51.举例说明,现有一张包括完整胃部及其周围组织的腹部医学图像,需要从腹部医学图像上分割出胃部图像(整体器官分割图像)。为了解决上述问题,本实施例首先将腹部
医学图像裁剪成三块图像甲、乙、丙,裁剪图像甲、乙、丙三张图像都只包含了一部分胃部结构,即将胃裁剪成三部分。如图4所示,将腹部医学图像采用插值缩放方法进行不同尺寸的缩放,得到全局图像a、b、c。其中,全局图像a的尺寸和裁剪图像甲的尺寸相同,全局图像b的尺寸和裁剪图像乙的尺寸相同,全局图像c的尺寸和裁剪图像丙的尺寸相同。再采用图4中的拼接方法将裁剪图像和全局图像进行拼接,比如将甲和a进行融合,得到第一组融合图像;将乙和b进行融合,得到第二组融合图像;将丙和c进行融合,得到第三组融合图像。将第一组融合图像输入至图像分割模型,得到带有位置标签1的胃部分割图像a(即局部器官分割图像);将第二组融合图像输入至图像分割模型,得到带有位置标签2的胃部分割图像b(即局部器官分割图像);将第三组融合图像输入至图像分割模型,得到带有位置标签3的胃部分割图像c(即局部器官分割图像)。其中标签1、标签2、标签3分别记录了a、b、c在腹部医学图像上的位置,因此根据这三个标签表征的位置顺序,将胃部分割图像a、胃部分割图像b、胃部分割图像c按照其在整体的腹部医学图像上的位置进行拼接,就得到了整体的胃部分割图像s,胃部分割图像s就是胃部医学图像上所涵盖的胃部区域。
52.示例性方法
53.本实施例的医学器官图像分割方法可应用于终端设备中,所述终端设备可为具有图像采集功能的终端产品,比如ct机等。在本实施例中,如图1中所示,所述医学器官图像分割方法具体包括如下步骤:
54.s100,训练图像分割模型。
55.在一个实施例中,图像分割模型如图2所示,包括左侧依次连接的编码器encoder以及右侧依次连接的解码器dncoder。编码器encoder包括依次连接的3*3*3下采样卷积、3*3*3卷积、relu激活函数,编码器encoder用于提取器官特征图。解码器dncoder依次连接的3*3*3转置卷积、3*3*3下采样卷积、3*3*3卷积、relu激活函数。解码器dncoder用于基于器官特征图从裁剪图像上分割出器官图像。
56.在另一个实施例中,每一个编码器encoder中包括两组编码单元,每一组编码单元又包括依次连接的conv3x3x3、in、lrelu,其中in用于调整输入图像的均值方差,lrelu用于现在编码器输出值的大小。
57.在一个实施例中,步骤s100包括如下的步骤s101至s106:
58.s101,将融合样本图像输入至所述编码器中,得到所述编码器输出的位置训练标签。
59.将包含器官整体结构的医学样本图像裁剪成若干块,得到各个裁剪样本图像,将医学样本图像缩放大和各个裁剪样本图像尺寸相同的图像,就得到了全局样本图像,将全局样本图像和裁剪样本图像进行融合,就得到了融合样本图像。
60.位置训练标签用于表征裁剪样本图像在医学样本图像上的位置。
61.s102,确定位置训练标签和所述位置训练标签的位置损失函数,所述位置样本标签用于表征裁剪样本图像在医学样本图像上的位置。
62.s103,依据所述位置损失函数,完成所述编码器的训练。
63.位置损失函数如果大于设定的位置损失阈值,则调整编码器的参数,直至位置损失函数小于阈值,此时完成编码器的训练。
64.举例说明,位置样本标签用一个三维向量(xρ,yρ,zρ)表示。其中xρ表示裁剪图像
的中心点的x坐标相对原图像(医学图像)原点的偏移量;yρ表示裁剪图像的中心点的y坐标相对原图像(医学图像)原点的偏移量;zρ表示裁剪图像的中心点的z坐标相对原图像(医学图像)原点的偏移量。原点坐标为原始图像(医学图像)的坐标轴起点,即(0,0,0)。这里生成的向量为训练阶段系统自动生成的标签。将融合样本图像作为输入,送入模型的编码器。得到最底层的特征图后经过全局池化层和一层全联接层后得到预测的位置向量。将预测向量和标签向量计算回归损失并反向传播用于网络参数的优化。使用的损失函数为mse(均方差)。训练的目标是最小话两向量之间的距离,提升模型对位置信息的编码。设置初始学习率为0.01进行5000个epoch的迭代。最后保留在验证集上效果最好的模型权重。
65.本实施例编码器输出位置标签,具有如下的技术效果:
66.传统的基于滑动窗口的分割策略最大的问题是无法有效理解每一个裁剪后图像在医学图像上的位置信息。本实施例的位置标签能够防止因裁剪图像每一次单独的进行分割而产生器官位置的误判。由于本实施例的融合图像携带的全局图像信息和裁剪图像的高分辨信息巧妙的构成了一种信息对,利用融合图像作为输入可首先对模型编码器部分进行预训练。在预训练阶段,每一张预融合图像生成时,记录裁剪图像再原图像中位置,便于后续将从裁剪图像分割出的各个局部器官分割图像拼接成一个完整的器官分割图像。
67.s104,将所述融合样本图像输入至完成训练之后的所述编码器,得到所述编码器输出的带有训练位置标签的初步分割训练图像。
68.也就是将融合样本图像输入至图2中的最上面的编码器,图2中的最下面的编码器输出初步分割训练图像。同时每一个编码器还输出器官的特征图,每一个编码器输出的器官特征图作为对应的解码器的输入。
69.s105,将所述带有训练位置标签的所述初步分割训练图像输入至所述解码器,得到所述解码器输出的训练分割图像。
70.s106,依据所述训练分割图像和所述裁剪样本图像多对应的真实分割图像之间的图像损失函数,完成所述解码器的训练。
71.每一个解码器都输出训练分割图像,计算每一个编码器输出的训练分割图像相对真实分割图像的损失函数,根据每一个的编码器的损失函数调整该编码器的参数,以完成对该编码器的训练。图像损失函数dice loss和cross entropy loss。其中dice loss用于优化大范围分割,cross entropy loss用于优化像素级分割。设置初始学习率为0.01进行3000个epoch的迭代。最后保留在验证集上效果最好的模型权重。
72.s200,将各个裁剪图像和各个全局图像分别进行融合,得到各组融合图像,各个所述裁剪图像的尺寸分别与各个所述全局图像的尺寸相匹配,所述全局图像为包含完整器官的医学图像调整尺寸之后的图像,所述裁剪图像为从所述医学图像上裁剪出包括局部器官的图像。
73.在一个实施例中采用邻插值方法从医学图像上得到裁剪图像。
74.在一个实施例中,从医学图像上裁剪出若干个裁剪图像包括如下步骤s201、s202、s203:
75.s201,设定滑动窗口的移动步长,所述移动步长的尺寸小于所述滑动窗口沿移动方向的长度尺寸。
76.在一个实施例中,移动步长为滑动窗口的0.5倍。
77.s202,将所述滑动窗口以所述移动步长在所述医学图像上移动。
78.s203,将所述滑动窗口在所述医学图像上的每次移动覆盖的各个区域作为各个裁剪图像。
79.模型使用滑动窗口方法进行推理的时候每次滑块裁剪的图像源自同一医学图像。将保留一份全局图像插值放缩过后的副本方便在滑动窗口预测时进行图像融合。在推理阶段滑动窗口以0.5的步长进行预测(第二次的裁剪区域的前半部分与第一次裁剪区域的后半部分重合)提高裁剪图像的边缘分割效果。
80.举例说明,如图3所示,实线型的矩形框为医学图像,虚线型的矩形框为滑动窗口,滑动窗口每次的移动步长小于滑动窗口的长度。保证相邻的裁剪图像有重合部分,而两个裁剪图像有重合部分能够使得后续的各个局部器官分割图像有重合部分,便于各个局部器官分割图像进行拼接以得到整体器官分割图像。
81.在一个实施例中,需要对裁剪图像和全局图像进行预处理,其中对裁剪图像的预处理包括如下步骤s204至s207:
82.s204,确定器官的医学图像所在的数据库中的所有图像的像素均值、像素点间隔中位数。
83.数据库为用于保存器官方面的所有医学图像,计算数据库中所有图像的像素均值以及像素点间隔中位数。所谓的像素点间隔中位数就是一张图像上两个相邻像素点之间的距离。
84.s205,依据所述数据库的所述像素均值,对所述裁剪图像的像素点进行删减,得到删减之后的所述裁剪图像。
85.裁剪阈值的上下限为数据集体素强度(像素均值)的99.5%和0.05%。在裁剪之后图像像素值需要减去数据集的均值并除以数据库的方差。
86.s206,依据所述数据库的像素点间隔中位数,调整删减之后的所述裁剪图像的像素点间隔,得到像素点间隔调整之后的所述裁剪图像。
87.对图像体素间隔进行处理,需要将图像的体素间隔调整到数据集体素间隔的中位数大小,并根据体素间隔的调整对图像尺寸进行插值缩放。
88.s207,对像素点间隔调整之后的所述裁剪图像进行图像增强,得到预处理之后的所述裁剪图像。
89.对图像进行平移,缩放,对称,旋转等随机数据增强,该步骤需要对裁剪图像和全局图像同时处理,将图像像素的大小进行随机调整,增加随机噪声。
90.在一个实施例中,对全局图像进行预处理只需要采用上述步骤中的s204和s207。
91.上述对裁剪图像和全局图像的预处理同样适用于模型训练阶段。
92.s300,对各组所述融合图像分别应用已训练的图像分割模型,得到从各个所述裁剪图像上分割出的带有位置标签的各个局部器官分割图像,所述位置标签用于表征所述局部器官分割图像在所述医学图像上的位置。
93.将一组融合图像输入到图2中的图像分割模型,图2中右侧最上面的解码器输出一个局部器官分割图像。模型的编码器在该局部器官分割图像上设置了位置标签。
94.s400,依据各个所述局部器官分割图像,组合出所述医学图像上的完整器官的整体器官分割图像。
95.将各个局部器官分割图像按照其位置标签进行组合,得到整体器官分割图像。
96.在另一个实施例中,采用如图5所示的流程对医学图像进行分割,如图5所示,首先统计所有的器官医学图像所在的数据集的像素强度等像素特征,然后基于上述像素特征信息对裁剪样本图像和全局样本图像进行预处理,之后将预处理之后的上述两张图像进行融合以得到训练图像分割模型(3d unet模型)所需的训练图像,进而对模型进行训练,训练之后的模型便可以用于实际的图像分割了。
97.综上,本发明的裁剪图像保留了图像细节信息,本发明的缩放之后的全局图像记录了图像的上下文信息(即记录了各个裁剪图像在全局图像上的位置信息)。因此本发明将裁剪图像和缩放之后得到的全局图像进行结合,能够既保证分割出图像的细节信息,又能够记录分割图像在全局图像上的上下文信息,从而保证由各个裁剪图像组合成的整体器官分割图像的质量。
98.另外,相对与传统的滑动窗口预测医学图像分割的模型相比,本发明有效的解决以往模型无法看到全局图像,利用全局上下文信息的痛点。在针对位置信息敏感的分割中能起到较好的提升效果。比如在对左右胰腺的分割中,传统方法往往会误判胰腺的左右,再结合了全局信息后能有效避免该情况。全新的图像融合方式,结合全局信息和局部信息。可以使用融合图像拟定上下文相关的特定任务对模型进行预训练。
99.示例性装置
100.本实施例还提供一种医学器官图像分割装置,所述装置包括如下组成部分:
101.图像融合模块,用于将各个裁剪图像和各个全局图像分别进行融合,得到各组融合图像,各个所述裁剪图像的尺寸分别与各个所述全局图像的尺寸相匹配,所述全局图像为包含完整器官的医学图像调整尺寸之后的图像,所述裁剪图像为从所述医学图像上裁剪出包括局部器官的图像;
102.图像分割模块,用于对各组所述融合图像分别应用已训练的图像分割模型,得到从各个所述裁剪图像上分割出的带有位置标签的各个局部器官分割图像,所述位置标签用于表征所述局部器官分割图像在所述医学图像上的位置;
103.图像组合模块,用于依据各个所述局部器官分割图像,组合出所述医学图像上的完整器官的整体器官分割图像。
104.基于上述实施例,本发明还提供了一种终端设备,其原理框图可以如图6所示。该终端设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中,该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种医学器官图像分割方法。该终端设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该终端设备的温度传感器是预先在终端设备内部设置,用于检测内部设备的运行温度。
105.本领域技术人员可以理解,图6中示出的原理框图,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的终端设备的限定,具体的终端设备以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
106.在一个实施例中,提供了一种终端设备,终端设备包括存储器、处理器及存储在存
储器中并可在处理器上运行的医学器官图像分割程序,处理器执行医学器官图像分割程序时,实现如下操作指令:
107.将各个裁剪图像和各个全局图像分别进行融合,得到各组融合图像,各个所述裁剪图像的尺寸分别与各个所述全局图像的尺寸相匹配,所述全局图像为包含完整器官的医学图像调整尺寸之后的图像,所述裁剪图像为从所述医学图像上裁剪出包括局部器官的图像;
108.对各组所述融合图像分别应用已训练的图像分割模型,得到从各个所述裁剪图像上分割出的带有位置标签的各个局部器官分割图像,所述位置标签用于表征所述局部器官分割图像在所述医学图像上的位置;
109.依据各个所述局部器官分割图像,组合出所述医学图像上的完整器官的整体器官分割图像。
110.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
111.最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
技术特征:
1.一种医学器官图像分割方法,其特征在于,包括:将各个裁剪图像和各个全局图像分别进行融合,得到各组融合图像,各个所述裁剪图像的尺寸分别与各个所述全局图像的尺寸相匹配,所述全局图像为包含完整器官的医学图像调整尺寸之后的图像,所述裁剪图像为从所述医学图像上裁剪出包括局部器官的图像;对各组所述融合图像分别应用已训练的图像分割模型,得到从各个所述裁剪图像上分割出的带有位置标签的各个局部器官分割图像,所述位置标签用于表征所述局部器官分割图像在所述医学图像上的位置;依据各个所述局部器官分割图像,组合出所述医学图像上的完整器官的整体器官分割图像。2.如权利要求1所述的医学器官图像分割方法,其特征在于,所述裁剪图像为预处理之后的图像,所述预处理包括:确定器官的医学图像所在的数据库中的所有图像的像素均值、像素点间隔中位数;依据所述数据库的所述像素均值,对所述裁剪图像的像素点进行删减,得到删减之后的所述裁剪图像;依据所述数据库的像素点间隔中位数,调整删减之后的所述裁剪图像的像素点间隔,得到像素点间隔调整之后的所述裁剪图像;对像素点间隔调整之后的所述裁剪图像进行图像增强,得到预处理之后的所述裁剪图像。3.如权利要求1所述的医学器官图像分割方法,其特征在于,各个所述裁剪图像的裁剪方式,包括:设定滑动窗口的移动步长,所述移动步长的尺寸小于所述滑动窗口沿移动方向的长度尺寸;将所述滑动窗口以所述移动步长在所述医学图像上移动;将所述滑动窗口在所述医学图像上的每次移动覆盖的各个区域作为各个裁剪图像。4.如权利要求1所述的医学器官图像分割方法,其特征在于,所述将各个裁剪图像和各个全局图像分别进行融合,得到各组融合图像,各个所述裁剪图像的尺寸分别与各个所述全局图像的尺寸相匹配,所述全局图像为包含完整器官的医学图像调整尺寸之后的图像,所述裁剪图像为从所述医学图像上裁剪出包括局部器官的图像,包括:将每个所述裁剪图像作为一层图像,将与每个所述裁剪图像尺寸相匹配的所述全局图像作为另一层图像;将所述一层图像和所述另一层图像叠合在一起,得到每一组的融合图像。5.如权利要求1所述的医学器官图像分割方法,其特征在于,已训练的图像分割模型的训练方式,包括:确定构成所述图像分割模型的编码器和解码器;将融合样本图像输入至所述编码器中,得到所述编码器输出的位置训练标签;确定位置训练标签和所述位置训练标签的位置损失函数,所述位置样本标签用于表征裁剪样本图像在医学样本图像上的位置;依据所述位置损失函数,完成所述编码器的训练;完成所述编码器的训练之后,训练所述解码器。
6.如权利要求5所述的医学器官图像分割方法,其特征在于,所述完成所述编码器的训练之后,训练所述解码器,包括:将所述融合样本图像输入至完成训练之后的所述编码器,得到所述编码器输出的带有训练位置标签的初步分割训练图像;将所述带有训练位置标签的所述初步分割训练图像输入至所述解码器,得到所述解码器输出的训练分割图像;依据所述训练分割图像和所述裁剪样本图像多对应的真实分割图像之间的图像损失函数,完成所述解码器的训练。7.如权利要求1所述的医学器官图像分割方法,其特征在于,所述依据各个所述局部器官分割图像,组合出所述医学图像上的完整器官的整体器官分割图像,包括:依据各个所述局部器官分割图像所对应的各个所述位置标签,组合各个所述局部器官分割图像,得到整体器官分割图像。8.一种医学器官图像分割装置,其特征在于,所述装置包括如下组成部分:图像融合模块,用于将各个裁剪图像和各个全局图像分别进行融合,得到各组融合图像,各个所述裁剪图像的尺寸分别与各个所述全局图像的尺寸相匹配,所述全局图像为包含完整器官的医学图像调整尺寸之后的图像,所述裁剪图像为从所述医学图像上裁剪出包括局部器官的图像;图像分割模块,用于对各组所述融合图像分别应用已训练的图像分割模型,得到从各个所述裁剪图像上分割出的带有位置标签的各个局部器官分割图像,所述位置标签用于表征所述局部器官分割图像在所述医学图像上的位置;图像组合模块,用于依据各个所述局部器官分割图像,组合出所述医学图像上的完整器官的整体器官分割图像。9.一种终端设备,其特征在于,所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的医学器官图像分割程序,所述处理器执行所述医学器官图像分割程序时,实现如权利要求1-7任一项所述的医学器官图像分割方法的步骤。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有医学器官图像分割程序,所述医学器官图像分割程序被处理器执行时,实现如权利要求1-7任一项所述的医学器官图像分割方法的步骤。
技术总结
本发明涉及图像分割技术领域,具体是涉及一种医学器官图像分割方法和相关装置。本发明首先将包含完整器官的医学图像裁剪成各个包含局部器官的裁剪图像,同时将医学图像缩小到与裁剪图像相同尺寸的全局图像。然后将各个裁剪图像和各个全局图像进行融合,以得到各组融合图像。之后对各组融合图像应用图像分割模型,模型输出带有位置标签的分割图像。最后将带有位置标签的各个分割图像进行组合,以得到器官的整体分割图像。本发明的裁剪图像保留了图像细节信息,本发明的缩放之后的全局图像记录了图像的上下文信息。既保证分割出图像的细节信息,又记录分割图像在全局图像上的上下文信息,从而保证由各个裁剪图像组合成的整体器官分割图像的质量。官分割图像的质量。官分割图像的质量。
技术研发人员:黄炳顶 张瀚文 黄永志
受保护的技术使用者:深圳技术大学
技术研发日:2023.03.24
技术公布日:2023/7/7
版权声明
本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
飞行汽车 https://www.autovtol.com/
