用于分割和识别医学图像中的至少一个管状结构的方法和系统与流程

1.本发明涉及数据处理领域，更具体地，涉及图像的处理和分析，尤其是医学图像的分割和标记，并且涉及一种用于分割和识别医学图像中的具有3d树布局并且位于对象的至少一个身体部位中的至少一个管状结构的计算机实现方法。


背景技术：

2.由诸如扫描仪、mri、超声、ct或spec类型图像的医学成像设备产生的三维图像由一组体素组成，这些体素是3d图像的基本单位。体素是像素的3d扩展，像素是2d图像的基本单位。每个体素与灰度或密度相关联，其可以被认为是2d函数f(x，y)或3d函数f(x，y，z)的结果，其中x、y和z表示空间坐标(参见图1)。
3.在3d图像中，根据各种平面(切片)，能够在2d中看到体素。医学图像中的三个主平面是轴向面、矢状面和额状面(图2)。然而，无限数量的平面能够被创建为沿着垂直于所述轴向面、矢状面或额状面的轴的相互平行的平面，或者能够通过围绕相交线(例如矢状面和冠状面的交线，参见图2)旋转来创建无限数量的平面，每个平面具有不同的测角。
4.通常，2d或3d医学图像包含一组解剖学和病理学结构(器官、骨骼、组织、
……
)或人工元件(支架、植入物、仪器、
……
)，临床医生必须描绘这些结构或元件，以评估情况并定义和规划其治疗策略。在这方面，必须在图像中识别器官和病症，这是指标记(例如着色)2d图像的每个像素或3d图像的每个体素。这种处理被称为分割。
5.ct扫描中的支气管树和肺动脉及静脉的分割在诊断和治疗阶段的患者护理中都可以发挥重要作用。这同样适用于对象的其他器官或身体部位，例如肝脏或肾脏，以及它们的血管树。然而，使用手动分割工具或交互式分割工具提取这些管状结构是耗时的，并且由于动脉树和血管树的复杂性而易于出错。
6.现在，管状结构定义了肺和肝脏制图(作为目标器官的非限制性示例)并且允许理解叶血管形成。因此，在肺的情况下的动脉和血管结构以及在肝脏的情况下的血管结构可以提供相关信息以计划干预措施并且还为诊断提供见解。
7.为了在肺的情况下执行这些任务，支气管树以及肺动脉和静脉分割应当是可靠且准确的。由于复杂的树结构，手动获得肺的完整管状结构分割是冗长的。专家通常需要依赖他们的知识来能够推断血管的存在或推断它们属于动脉树还是静脉树。最后，手动提取肺树是耗时的，并且易于发生评价人之间和评价人内的变化。因此，需要开发能够处理复杂结构的方法。
8.有许多已知的方法来执行分割，特别是利用算法的自动方法，尤其是ai算法。
9.在这种情况下，在现有技术中已经使用了神经网络的许多变型，通常全部基于标准的非特定架构，这在全球范围内导致了不适当的资源的浪费以及效率和准确性的缺乏。
10.因此，对于肺，若干研究组先前已经提出了自动执行支气管树或血管树分割的方法。对于支气管树提取，exact'09挑战(参见下文详细提及的参考文献[1])允许比较主要基
于区域生长方法的方法。最近，不同的深度学习方法(参见参考文献[2]至[8])已经被应用于支气管分割任务，并且优于先前的方法。大多数方法基于u-net架构的3d版本(参见参考文献[9])。例如，qin等人(参见参考文献[3])提出将支气管的二进制分割变换成允许减少碎片的26类连通性预测任务。zhao等人(见参考文献[5])将检测水平支气管分支的2d u-net和用于其它分支取向的3d u-net组合。尽管使用3d网络进行支气管树分割，但是不清楚3d网络的选择是否在计算易处理性和表现能力方面优于2d方法(参见参考文献[8]、[10]和[11])。


技术实现要素：

[0011]
本发明的主要目的是提出一种新方法来克服上述限制，不仅涉及肺中的管状结构，而且涉及其它器官和身体部位，目的是使用有限的资源并在有限的时间范围内获得可靠且精确的结果。
[0012]
为此，本发明提出了一种用于在示出对象的包含至少一个身体部位的感兴趣体积区域的医学图像中分割和识别具有3d树布局且位于所述对象的所述身体部位的至少一个管状结构并且用于提供所述结构的标记3d图像的计算机实现方法，
[0013]
所述方法主要包括以下步骤：
[0014]
提供与包含所述身体部位的所述感兴趣区域的彼此不同的各个截面图相对应的一组2d医学图像，所述医学图像的平面全部垂直于给定方向或者全部在给定直线处彼此交叉，
[0015]
分割存在于每个2d医学图像中的相关身体部位的可见区段，并且创建对应的2d身体部位掩蔽图像，可见区段具体包括在所考虑的2d图像中可见的所述身体部位的完整线性轮廓或外部边界，
[0016]
通过将对应的身体部位掩蔽图像应用于每个2d医学图像来对每个2d医学图像进行预处理，从而产生仅包含与所述身体部位相关的原始2d图像的图像数据的经处理的图像，
[0017]
尽可能通过在差异化分割过程中分割不同种类的管状结构，来分割所述产生的预处理图像中的管状结构，
[0018]
利用至少一个其他组2d医学图像执行前述步骤，其中至少一个其他组2d医学图像对应于包含同一身体部位的同一感兴趣体积区域的沿着彼此平行或彼此相交的其他平面的不同的各个其他截面图，
[0019]
合并不同组的预处理图像的管状结构分割的结果，以提供一种管状结构或不同种管状结构的标记3d图像。
[0020]
因此，本发明的基本原理是提供一种基于分层方法并依赖于2步级联计算和数据处理过程的完全自动化的方法，用于执行分割和识别任务，该方法仅处理相关数据，因此在计算资源和处理时间的使用方面更有效。
[0021]
为了提高自动分割的可靠性水平，可以提供：分割所考虑的预处理图像的管状结构的步骤包括：还考虑同一组图像中的至少一个其他预处理截面图的图像数据，至少一个其他预处理截面图与所考虑的预处理图像相邻，例如，位于所述考虑的预处理图像的每侧至少最邻近的截面图的图像数据。
[0022]
根据本发明的优选实施例，通过使用2d神经网络执行身体部位分割步骤，并且通过使用2.5d神经网络执行管状结构分割步骤，所述神经网络优选地是u-net神经网络。
[0023]
有利地，先前在由专家或一组专家标记的数据进行训练的专用神经网络用于每组2d医学图像的身体部位分割和预处理步骤，专用且专门训练的神经网络还用于分割每组预处理图像中的管状结构，可能针对每种管状结构有一个特定神经网络。
[0024]
更准确地，可以设想，在本发明的初步准备阶段，使用旨在处理第一组医学图像的神经网络或一组神经网络的最终训练参数值作为用于起始参数值，该起始参数值用于在预处理阶段和/或管状结构分割阶段训练旨在处理另一组医学图像的至少一个其他神经网络或一组神经网络。
[0025]
根据3d医学图像的常规切片，第一组医学图像可对应于对象的轴向视图，第二医学图像和第三组医学图像可分别对应于矢状视图和冠状视图。
[0026]
有利地，关于2d医学图像的预处理，分割每个2d医学图像中相关身体部位并且创建对应的身体部位掩蔽图像的步骤包括：确定所述身体部位的轮廓、边界和/或内部区域，并且定位和识别内部管状结构与至少一个其他身体部位或身体组件的连接部位，所述至少一个其他身体部位或身体组件是掩蔽图像的一部分或者不是掩蔽图像的一部分。
[0027]
为了能够以类似的方式处理图像数据，即使它们可能源自各种源或以不同的格式，在分割给定组的2d医学图像中的每个中的相关身体部位并且创建对应的身体部位掩蔽图像的步骤之前，所述图像(特别是ct扫描图像)经历初始处理工作流的操作，该初始处理工作流的操作至少包括重新修整操作和调整大小操作，并且可能还包括归一化操作。
[0028]
另外，在预处理阶段期间，在应用分割管状结构的步骤之前，将通过将身体部位掩蔽图像应用于原始2d医学图像而得到的经修改的预处理图像提交给各向同性重采样操作和重新缩放操作。
[0029]
为了以优化的方式使用计算资源，本发明可以提供：鉴于进一步处理，在多组医学图像中的任何一组中的相应身体部位掩蔽图像为空的任何医学图像和不显示所考虑的身体部位的任何部分的任何预处理图像被忽略。
[0030]
根据本发明的最优选应用，医学图像是人类对象的胸腔的图像，其中，相关身体部位是肺，其中，分割步骤还包括识别左肺和右肺，并且其中，至少某些身体部位掩蔽图像还包括气管以及肺动脉和静脉与心脏之间的连接区域的表示。
[0031]
在这种情况下，本发明的实际实施例可以提供一种依赖级联卷积神经网络来执行肺、支气管和肺动脉及静脉分割的全自动方法，该方法包括第一部分和第二部分，第一部分专用于右肺和左肺分割(使用例如稍微修改的2d u-net架构)；第二部分依赖于沿着轴向切片、冠状切片和矢状切片的三路2.5d全卷积网络，第二部分被馈送有预处理2d图像(用肺的凸包来掩蔽)，并且聚焦于执行管状结构和组件提取和标记。
[0032]
在第一种替代方案中，关于肺分割，并行分割两种不同类型的管状结构，即支气管树和肺动脉血管树，其中在另一步骤中在血管树内标记了动脉和静脉。
[0033]
在第二种替代方案中，并行分割三种不同类型的管状结构，即支气管树、肺动脉树和肺静脉树。
[0034]
关于本发明的另一应用，医学图像是腹部图像，其中，相关身体部位是肝脏，并且其中，要分割和标记的血管系统包括门静脉、肝静脉和肝动脉。
[0035]
根据本发明的另一方面，借助于融合操作来执行最终合并步骤，所述融合操作包括在通过并集融合、通过多数表决融合、通过对数平均融合、通过神经网络融合以及通过同时的真值和性能水平估计的融合中选择的操作类型。
[0036]
本发明还包括一种能够全自动地执行器官和内部管状结构分割和标记的图像处理系统，特别是肺、支气管和肺动脉以及静脉分割，所述系统依赖于级联卷积神经网络，其特征在于，所述系统包括第一部分和第二部分，第一部分专用于器官分割，例如右肺和左肺分割且基于稍微修改的2d u-net架构，第二部分基于沿着轴向切片、冠状切片和矢状切片的三路2.5d全卷积网络，第二部分被馈送有第一部分的预处理2d图像，并且被配置为执行管状结构和元素提取和标记。
附图说明
[0037]
使用以下描述将更好地理解本发明，以下描述涉及至少一个优选实施例，其通过非限制性示例给出并参考附图进行解释，在附图中：
[0038]
图3通过基于肺的2d轴向视图(ct扫描图像)的示例示意性地且广泛地示出了本发明的方法的分层工作流步骤(这里为三个步骤)；
[0039]
图4a和图4b以更细化的表示基于与图3中相同的输入图像，示出了应用于肺、支气管和肺动脉及静脉的分割和标记的本发明的方法的分层工作流步骤的两个备选(这里是四个或五个步骤)；
[0040]
图5示出了从类似于图3和图4中的一个的多个轴向视图开始实现血管分割的两种方式；
[0041]
图6示意性地示出了在应用分层工作流步骤之前输入图像正经历的可能的初始处理工作流；
[0042]
图7示出了根据本发明的应用于输入图像以获得预处理图像的各种处理步骤；
[0043]
图8是根据本发明的用于管状结构和元素分割的2.5d u-net架构的示例的符号表示；
[0044]
图9是与图4a所示的实施例相关的本发明的方法和系统架构的级联和分层框架的更精确的示意表示，以及，
[0045]
图10示意性地示出了根据本发明的融合工作流和架构的示例；
[0046]
图11是根据本发明方法的另一实施方式的、应用于2d图像中肝脏的动脉和静脉的分割和标记的、本发明方法的分层工作流步骤(这里为三个步骤)的、与图4a中的一个相似的表示；
[0047]
图12至图20分别是图1至图5和图8至图10中以彩色表示的对象的灰度版本。
具体实施方式
[0048]
图1至图11至少部分地示出了一种计算机实现方法，该方法用于在示出包含身体部位的对象的感兴趣体积区域的医学图像中分割和识别具有3d树布局并且位于所述对象的至少一个身体部位中的至少一个管状结构，并且该方法用于提供所述结构的标记3d图像。
[0049]
根据本发明，所述方法主要包括以下步骤：
[0050]
提供与跨包含所述身体部位的所述感兴趣区域的相应相互不同的截面图对应的一组2d医学图像，所述医学图像的平面全部垂直于给定方向或者全部在给定直线处相互交叉，
[0051]
分割存在于所述2d医学图像中的每个中的相关身体部位的可见区段，并且创建对应的2d身体部位掩蔽图像，所述可见区段具体包括在所考虑的2d图像中可见的所述身体部位的完整线性轮廓或外部边界，
[0052]
通过将对应的身体部位掩蔽图像应用于每个2d医学图像来对每个2d医学图像进行预处理，从而产生仅包含与所述身体部位相关的原始2d图像的图像数据的经处理的图像，
[0053]
可能通过在差异化分割过程中分割不同种类的管状结构，来分割在产生的预处理图像中的管状结构，
[0054]
利用至少一个其他组2d医学图像执行前述步骤，所述至少一个其他组2d医学图像对应于包含所述相同身体部位的所述相同感兴趣体积区域的沿着其他相互平行或相交平面的其他相应不同的截面图，
[0055]
合并所述不同组的预处理图像的所述管状结构分割的结果，以提供一种或不同种类的所述管状结构的标记3d图像。
[0056]
本发明的基本思想是提出一种围绕分层工作流步骤方法组织的并且利用2步级联框架的过程。
[0057]
虽然本发明在此主要针对肺进行描述，但是本领域技术人员可以容易地认识到，本发明可以应用于包括管状结构的任何器官，特别是血管化(vasculatory)类型的器官。对于肝脏尤其如此。
[0058]
本发明方法的核心特征之一的第一示例的第一粗略图示在图3中是显而易见的，图3示出了工作流可以被分解成三个主要步骤：
[0059]
第一步骤包括直接从ct扫描分割右肺和左肺，
[0060]
第二步骤包括与肺掩蔽ct图像上的血管联合地提取支气管，作为一个类别。因此，该步骤给出了将在最后步骤中使用的支气管和血管树的预分割。应用于肺的唯一预处理是为每个肺选择最大的连通组件，
[0061]
第三步骤和最后步骤旨在进行ct扫描，并将支气管和血管的预分割与ct扫描连接，作为神经网络的输入。这有助于已经检测到管状结构并且应当仅对它们进行分类的网络。
[0062]
本发明的前述核心特征的更精确描述可以参照图4a和图4b进行。
[0063]
实际上，如这些图所示，分层组织的过程有利地由四个主要步骤组成。
[0064]
第一步骤是肺分割部分。该处理步骤的目标是将左肺和右肺分割为两类。一旦肺被分割，就对肺应用后处理。该后处理步骤包括为每个肺选择第一连通组件(这给出了最终的肺分割)，然后计算联合肺的凸包。该最后的操作允许产生肺掩模，该肺掩模将仍然包含气管以及肺动脉和静脉与心脏之间的连接。肺的这个中心部分是强制性的，以获得完全分割。
[0065]
然后，将该掩模应用于原始ct扫描图像，以产生预处理图像，并且丢弃沿z轴的不包含该掩模的切片。
[0066]
在该步骤之后，可以进行内部结构分割。每个结构可以被独立地分割，并且因此可以被并行计算。在一个步骤(图4a)中或在两个连续步骤(图4b)中，一部分针对支气管树的分割，另一部分针对肺动脉和静脉的联合分割。
[0067]
这些分割部分将在下文详细描述。
[0068]
肺分割部分由三个基本步骤组成。
[0069]
第一基本步骤包括对输入的ct扫描体积的预处理。图6中描述了预处理工作流。
[0070]
输入体积值将首先在两个阈值之间被修整，以限制hu值范围。这些值(vmin和vmax)分别被设置为-1000和1000，以从骨骼到包含在肺中的空气中捕获结构。当网络采用固定大小的形状的切片时，每个切片被调整大小以匹配512
×
512的形状。最后，应用归一化步骤。该归一化步骤包括均值居中(mean centering)和方差置一(putting variance to one)。该最后步骤将被重新缩放算子(rescaling operator)代替，该算子将值置于0和1之间。归一化将被丢弃，因为它在训练期间不改善收敛性。然而，对于数值稳定性问题，值应当总是在0和1之间。该问题解释了重新缩放部分的替换。最后，获得具有固定切片形状和具有归一化值的体积。
[0071]
作为核心步骤的第二个肺分割基本步骤是利用神经网络的分割步骤。神经网络模型基于修改的2d u-net(参见o.ronneberger等人的“u-net:convolutional networks for biomedical image segmentation”,lecture notes in computer science,pp.234-341,springer international publishing)。所使用的架构在两点上不同。过滤器的数量被除以二，以便降低网络复杂度，因为不需要初始复杂度来分割肺。此外，为了加速收敛，在每次卷积之后放置批归一化层。最终的1
×
1卷积层由3个类别(背景、右肺和左肺)组成。在训练期间使用的损失是加权的交叉熵损失。对于肺，这种损失是足够的，因为肺在训练集中代表总容积的大约15％。所使用的优化器是学习率为3e-4的adam优化器。让网络训练50次，并且保持获得最佳验证损失的模型。
[0072]
最后，肺分割的最后一个块或第三基本步骤由两个后处理操作组成。生成最终肺分割的第一后处理操作涉及针对每叶肺选择最大连通组件，随后进行形态学上的孔洞填充。第一操作的目的在于避免包括一些异常值的检测，而第二操作的目的在于填充可能出现在肺内的小孔。第二后处理操作结果将被馈送到支气管树以及肺动脉和静脉分割块(见图4a或图4b)。第一后处理步骤与生成最终分割的步骤是共同的。但是，第二后处理操作被肺的凸包(因此，其被重新分组为一个类别)的计算代替。然后，该最终的掩模将用于掩蔽输入ct扫描，以将网络的注意力仅集中在肺的内部。凸包的使用允许保持肺之间的区域，该区域是强制性的以在心脏与肺动脉和静脉之间的连接处分割气管。
[0073]
支气管树分割部分比肺更复杂，因为它涉及使用多个视图。但是可以再次将该部分分成三个步骤。
[0074]
第一步骤包括输入体积的预处理。所呈现的前三个预处理操作对于每个视图是共同的，并且仅最后两个操作是特定取向的。预处理工作流在图7中示出。
[0075]
预处理链的第一步骤对应于通过肺分割的结果对输入(原始2d图像)的掩蔽。再次，该操作将信息仅限制到肺及其中心区域。然后应用各向同性重新采样。这种操作允许按照相同的间隔放置每个体积。这个操作是重要的，因为在支气管的情况下，不仅将使用轴向视图，而且将冠状视图和矢状视图馈送到神经网络。每个视图的最后一个共同操作是在0和
1之间重新缩放体积值。从这个最后的操作，获得轴向取向的预处理体积。对于取向块，如果所使用的网络是在轴向切片上训练的，则取向操作像身份操作一样起作用。但是，对于矢状和冠状训练，体积被转动得矢状面和冠状面分别与轴向面对准。最后的操作将抑制不是肺的一部分的切片/视图。执行该最后的操作，因为其对于呈现肺外的切片是无用的，并且因为支气管树的分割总是可以被限制到肺。此外，该裁剪操作允许在预测时间处减少用于有效预测和后处理两者的计算时间。
[0076]
与用于肺分割的系统/方法组件相比，用于支气管分割的神经网络组件稍有不同。
[0077]
首先，通道的数量现在等于在以前引用的出版物(o.ronneberger等人的“u-net:convolutional networks for biomedical image segmentation”,lecture notes in computer science,pp.234-341,springer international publishing)中使用的通道的数量，并且最重要的是，输入现在是2.5d。图8示出了当以示例性方式实现根据本发明的方法时用于支气管树分割的架构。
[0078]
实际上，每个输入由要分割的所考虑的切片(经过预处理的2d图像)及(在所述所考虑的切片的相对侧上的)其相邻切片组成。这种相邻切片的添加帮助网络了解遍及所考虑的穿过相关器官或身体部位(在这种情况下为肺)的切割平面的局部3d背景。当分割管状结构时，这种局部3d背景是重要的，并且提高了结果的质量。
[0079]
根据发明人的经验，训练过程在这种情况下应该是特别的。因此，第一训练阶段涉及对以轴向切片为馈送的神经网络的训练。该网络被从头训练50次。第二次，通过转移学习训练以矢状切片或冠状切片为馈送的网络。来自轴向网络的最终权重用作其它视图网络的起始点。这种转移允许更快的收敛和实现更低损失。此外，从矢状或冠状的角度来看，管状结构并不总是连通的。使用转移学习有助于减轻这种缺陷。让矢状网络和冠状网络训练20次。由于与肺相比背景和支气管树之间的不平衡更高，所以dice损失用于训练。adam也用于训练每个视图，其中，学习率为3e-4。
[0080]
在这一点上，在轴向视图、矢状视图和冠状视图上训练的三个网络是可用的。为了得到一个最终的体积，根据本发明的方法，必须优选地使用融合操作合并或聚集这三个结果。
[0081]
图10中通过示例的方式示出了可能的融合框架。
[0082]
作为合并或聚集方法，发明人主要测试了四种不同的融合操作，即：通过并集融合，通过多数表决融合，通过对数平均(logits averaging)融合，通过“simultaneous truth and performance level estimation”(staple)(s.k.warfield等人的“staple:an algorithm for the validation of image segmentation”,vol.23,pp.903-921)融合，以及通过神经网络融合。
[0083]
首先，通过并集融合通过标记为支气管树的一部分的三个网络中的一个保持每个体素标记至少一次。与每个视图能够独立找到的部分相比，该融合允许恢复支气管树的更多部分。
[0084]
定量地，已经注意到，与通过融合或仅通过不同视图的所有其他方法相比，该特性由高召回率反映。这个特性表明每个网络可以发现可能被其它网络遗漏的有用信息。现在，这种网络的主要弱点是其精确率低于其他方法。这源于以下事实：每个视图捕获假阳性(例如，其可以是伪像)并且该融合保持一切。因此，通过并集融合继承了每个视图所遇到的坏
属性。
[0085]
总之，可以注意到并集合并允许恢复由每个神经网络检测到的所有元素。因此，并集合并将给出最详尽的结果。但是，由于所有检测都被恢复，所以每个网络发现的假阳性也将累积，导致准确性损失。
[0086]
通过多数表决融合通过以下方式起作用：仅保持由三个网络标记至少两次的体素作为支气管树的一部分。在精确率和召回率方面，这种方法与通过并集融合相反。实际上，多数表决通过滤除仅由一个视图检测到的伪像而有助于获得高精确率。另一方面，如果一个视图在支气管树的一部分中更有效，则也将过滤掉仅由一个视图检测到的真阳性。与通过并集融合相比，这种性质导致较低的召回率。然而，多数表决实现了与每个视图可以恢复的召回率相当的召回率。
[0087]
总之，可以注意到，与并集合并相比，多数表决合并将具有相反的(antagonistic)特性。这种类型的融合将是选择性的，并且将过滤仅由单个神经网络发现的假阳性。另一方面，将存在仅由单个神经网络发现的真阳性的丢失。最后，多数表决合并将具有比并集合并更好的准确性，但是它也将在全局上找到更少的元素
[0088]
通过对数平均融合在对数级别进行操作。然后，为了得到最终的分割，必须将阈值应用于那些平均的对数。主要选择通常为0.5，但是该阈值可以在对对数求平均之后进行优化。此外，阈值的选择允许通过并集融合与通过多数表决融合之间进行折衷。实际上，如果阈值被设置为低的值，则其将趋向于通过选择更多体素来进行并集融合。另一方面，高的值被选择，它将更保守，然后趋向于通过多数表决融合。这个特征是令人感兴趣的，因为它允许根据希望输出什么属性来调整最终结果。
[0089]
总之，对数平均合并是在以上两种方法之间出现的方法。一旦对数被平均，则必须应用阈值以获得最终分割。该阈值的设置将确定优选的是要恢复的真阳性的精确率还是数量。
[0090]
staple融合的目的在于基于由多个专家或相同病例的自动方法做出的注释来生成真实数据(ground truth)。它基于期望最大化算法，并且允许相对于最终分割来优化每个分割的召回率和特异性。关于本发明，与其它方法相比，该方法允许以召回率度量的损失为代价来获得高精确率。然而，这种方法不适合于少量的评价人或自动方法。
[0091]
总之，通过staple(同时的真值和性能水平估计)融合将旨在减少假阳性和假阴性的数量。这种类型的合并比其它类型的合并需要更多的输入量，因此当合并例如多个非正交平面时将更有效。
[0092]
最后，神经网络融合将能够考虑所考虑的问题的特异性，并且将允许相对于所提供的示例来优化融合。另外，这种类型的融合可以允许减轻在预测之前在输入图像的变换期间可能引入的一定数量的伪影。
[0093]
独立于所使用的融合方法，正交视图融合允许改进性能，因为与其他视图相比，每个视图将带来有意义的信息。此外，通过减少全局碎片，融合改进了最困难情况。
[0094]
支气管树分割部分中的最后一个操作是后处理。发明人已经研究了多种策略，并且只有两种简单的操作似乎有助于清除最终分割。第一后处理是选择最大连通组件。该方法允许清除最终结果并去除异常值。在一些情况下，支气管树的一些分支可以断开连接并且通过该操作被过滤掉。为了在滤除连通组件时攻击性较弱，第二种方法适于仅滤除具有
少于100个体素(优选地少于50个体素)的连通组件。
[0095]
发明人所使用的肺动脉和静脉分割系统/方法部分与先前描述的支气管部分非常相似，并且借用了其大部分特征。仅融合和后处理步骤与本文之前关于支气管分割所提出的方法不同。
[0096]
实际上，对于这种肺动脉和静脉分割部分，仅考虑多数表决融合，因为将这种类型的融合从二元分割转换为多类分割是很自然的。但是，在这种情况下也可以使用对数平均融合。然而，必须根据经验检索阈值。
[0097]
另外，与支气管树分割相比，动脉和静脉分割更碎片化，因此使用最大连通组件能够抑制血管树的大部分。为此，仅应当直接应用过滤具有小于100个体素(优选地具有小于50个体素)的连通组件的第二方法，而不损失树的部分。
[0098]
发明人通过使用若干已知度量(dice得分、精确率、召回率、assd、hausdorff距离、骨架嵌入精确率、召回率和实心球体度量)进行的比较测试已经表明，当使用与现有技术中的其他2d和3d方法相同的训练案例时，根据本发明的方法在使用更少的资源和/或更快的同时，优于或至少等于该现有技术方法。
[0099]
下面将参考图8、图9和图10更详细地描述根据本发明的方法的第一实际示例，该第一实际示例由发明人应用于肺的管状结构分割。
[0100]
该第一示例包括用于肺、支气管、肺动脉和静脉分割的2步级联框架(简称为lubrav)。所应用的方法可以总结如下：首先，使用稍微修改的2d u-net架构来执行右肺和左肺分割。然后，输入的ct扫描用肺的凸包进行掩蔽，并被提供给由2.5d全卷积网络构成的沿轴向切片、冠状切片和矢状切片的三路径结构，以提取管状组件。
[0101]
所提出的方法被分成两个步骤：肺提取，随后是管状结构分割。
[0102]
图9示出了所提出的方法的流程图，即，专用于肺分割的第一部分和使用经掩蔽的输入来分割管状结构的第二部分。
[0103]
这里x被认为是nz
×
nx
×
ny个胸部ct扫描体积。第一步骤旨在分割右肺和左肺。该想法是将体积仅限制到肺，因为肺仅代表总体体积的约15％。因此，体积的大部分包含用于管状结构分割的不相关信息。肺掩模的估计可以被定义为：
[0104][0105]
其中，y～rl和y～ll分别表示右肺预测掩模和左肺预测掩模；fl是允许对两个肺进行分割和分类的操作者。为了将体积限制到感兴趣区域，被掩蔽的体积定义如下：
[0106][0107]
其中，hull()是凸包算子和元素方式乘积。因此，xl仅在肺内部和之间包含非恒定值。这种操作允许将x限制于肺而放松它们的中心部分，该中心部分包含气管和心脏连接。这些是强制性的，以正确理解两个肺的血管形成。在减少了无关信息量之后，分别应用两个算子fb和fav进行支气管、动脉和静脉分割，
[0108][0109][0110]
其中，y～b、y～a、y～v分别表示支气管、动脉和静脉树预测掩模。
[0111]
肺组件由两部分组成：左肺和右肺提取以及利用所提取的肺的凸包进行ct扫描掩
蔽。使用2d u-net网络执行肺提取。其架构系基于[9]，其中，在每个两次卷积和向上采样卷积块[15]后，具有额外的批归一化层。这种修改允许改进收敛。在训练期间，加权的交叉熵损失用作损失函数以减轻不平衡。保留每个类别的最大连通组件，以过滤可能的伪像。然后应用凸包操作来合并左肺和右肺。最后，该操作的结果用于掩蔽输入ct并将信息仅限制到肺区域(公式(2))。
[0112]
对于管状结构组件，提出了基于应用于轴向视图、矢状视图和冠状视图的2.5d u-net的组合的方法。所使用的2.5d架构在图8中表示(c表示类别的数量)。
[0113]
除了要分割的当前切片之外，所使用的2.5d u-net还考虑k个先前的相邻切片和随后的相邻切片。相邻切片允许收集有助于分割管状结构的3d局部信息。最终输出通道的数量c取决于所考虑的任务：针对支气管，最终输出通道的数量为两个；或者针对动脉和静脉分割，最终输出通道的数量为三个。然后，沿着多个视图使用这种架构(见图10)。
[0114]
如图10所示，三个平行的2.5d u-net被用于沿着正交视图学习管状结构表示，并且被合并为单个输出。
[0115]
使用正交视图允许进一步丰富3d情境信息。实际上，每个视图可以捕获不同的相关信息，并且可能发现被其他两个视图遗漏的管状结构。然后合并从每个视图导出的分割以获得最终输出。例如，对于支气管，该部分的输出被定义为：
[0116]
fb(x
l
) ＝ f [f
ab (x
l
),f
sb (x
l
),f
cb (x
l
)]
ꢀꢀꢀꢀꢀ
(5)
[0117]
其中，f是融合算子，fab、fsb、fcb是分别使用2.5d u-net沿着轴向视图、矢状视图和冠状视图的分割算子。根据要分割的类别的数量，可以考虑融合算子的并集、多数表决(mv)和对数平均(la)。在管状结构的情况下，为了减轻管状类别与背景之间的不平衡，广义的dice损失[16]用作每个视图的训练损失。与肺相比，因为肺管状结构代表总体积的微小的部分，因此，相比于加权的交叉熵，dice损失更适合。
[0118]
为了评价本发明的方法，发明人从几家医院收集193个胸部ct扫描。因此，这些数据是在来自不同制造商的扫描仪上并根据各种协议获得的，从而反映了日常常规临床数据的广泛可变性。这些ct体积的切片间距从0.625到2.0mm变化。对收集的ct扫描没有进行选择，意味着数据集包含病态肺(肿块，漏斗胸，......)和术后肺。所有图像中的185个由描绘了五个先前提及的类别的六个专家放射学技术人员完全注释。所有六个专家对八次扫描进行注释，以相对于评价人之间的变化，来比较本方法的性能。将185例病例数据集分成三个集合，分别包含对应于训练集、验证集和测试集的118例病例、30例病例和37例病例。
[0119]
为了评估分割质量，考虑了几个互补的度量，即dice得分、平均对称表面距离(assd)和hausdorff距离。还考虑了[5]中提出的骨架嵌入方法：它允许计算管状结构的中心线的精确率和召回率。中心线评估允许避免血管直径的影响，并因此评估同样薄的和厚的血管。最后，对每个专家注释的八个病例评估所提出的方法。为了与多个专家进行比较，考虑所有专家分割的交集(相应于(resp.)并集)，以通过骨架嵌入来计算召回率(相应于精确率)。决定对所有专家分割的交集计算召回率，以评估该方法至少能够检测所有专家同意的结构。对专家分割的并集计算精确率，以避免由于评价人之间的变化而导致的假阳性。
[0120]
进行两个实验。首先，用各种融合策略评估所提出的方法，并与标准2d u-net和3d u-net(下表)进行性能比较。2d u-net将2d轴向切片作为输入，并给出所考虑的五个类别作为输出。3d u-net等同于[5]中提出的一个。
[0121][0122]
在上表中，每个呈现的得分是测试集上的平均标准偏差(按照mm给出距离)。评分是：dice得分、平均对称表面距离(assd)、hausdorff距离(haus)、骨架嵌入精确率(prec)和骨架嵌入召回率(reca)。对数平均被阈值化，其中，通过0.1和0.5之间的网格搜索，找到在验证集上的dice得分的最佳值。
[0123]
在上表中没有评估肺分割，因为所呈现的框架和多类别2du-net获得了类似的高dice得分(＞0.98)、低assd(＜1mm)和低于20mm的hausdorff距离。融合方法为最终分割提供不同的属性。通过并集融合将以较低的精确率为代价给出高的召回率。多数表决融合将提供高精确率和低召回率。最后，对数平均的阈值的选择将提供召回率和精确率之间的折衷。对于动脉和静脉，仅评估了多数表决融合，因为该融合自然地转移到多类别问题。所提出的方法在很大程度上优于2d和3d基线，尤其是在动脉和静脉上。与所提出的框架相比，基线方法缺乏精确率和召回率。可以通过x到xl的减少和多个视图的使用来解释这个差别。此外，2d u-net通常在心脏和肺条目之间提供不一致的联系。由于多视图和要分割的变窄的空间，本方法在心脏和肺条目之间保持一致。此外，多数表决融合的使用允许减少肺动脉和静脉之间的类别混淆。
[0124]
最后，一方面，还比较了根据本发明的方法的性能，另一方面，还比较了六个专家分割的并集(精确)和交集(召回率)的性能(下表)：
[0125][0126]
(a)支气管
[0127][0128]
(b)肺动脉和静脉
[0129]
已如这种方式给出结果：在每个度量的百分比下，平均值
±
标准偏差。
[0130]
在多评价人数据集上获得的性能优于在每个图像仅由一个专家注释的测试集上获得的性能。这种性能差异是由于以下事实所致：不同的专家将在肺的外围发现不同的管状结构。因此，进行该第二个实验以减轻测试期间的评价人之间的变化，并给出对精确率和召回率的更准确的估计。融合在每种情况下有助于在平均值和标准偏差方面改善精确率和召回率。这些实验说明了本方法和系统以高精确率分割肺的管状结构的能力。图4示出了从参考轴向网络和多数表决融合获得的3d重建。对动脉和静脉的多数表决融合可以避免动脉和静脉之间的一些混淆(参见绿色圆圈)。
[0131]
简言之，提出了分割气管和血管管状肺结构的2.5d级联方法。两步流水线(pipeline)帮助神经网络集中于管状结构分割。每个流水线模块通过融合利用每个正交视图的互补性质。与仅轴向视图和一般其它视图相比，考虑多个视图的融合时，召回率总是较好的。这示出了在不同视图上训练的网络可以捕获在单个视图上可能丢失的相关信息。此外，融合的使用在一些情况下允许避免动脉/静脉混淆。最后，所提出的框架结构还可以部分地处理疾病改变管状结构的结构方面的情况(穿过肺结节的血管、漏斗胸、......)。
[0132]
作为第二实际示例，现在将描述本发明的方法和系统在分割肝脏和与肝脏相互作用的血管中的应用。
[0133]
这里考虑的主要类别是：肝脏、肝静脉、肝动脉和门静脉。对于先前涉及肺的示例，考虑2步方法：首先，肝脏将由第一部分分割，然后输入的计算机断层扫描(ct扫描)将仅被限制在肝脏凸包区域。然后，第二部分将分割血管。每个部分所需的适应性将在本文中给出。用于腹部结构分割的所使用的数据库由148个病例组成(119病例个将用于训练，29个病例用于测试)。
[0134]
首先，发明人使用在关于分层方法的报告中呈现的相同框架对肝脏分割进行测试。两种方法之间的主要变化来自其中将vmin和vmax调整到腹部区域的修整操作。vmin和vmax分别被设置为-100和400。
[0135]
由于与共享重叠亨氏单位(hu)的其他器官的共同边界，与肺相比，分割肝脏通常
更复杂，因此决定使用两个方法来改进肝脏的分割。首先，不仅考虑用于分割的轴向面，而且考虑冠状面和矢状面。该修改意味着使用与图7所示的预处理流水线对应的不同的预处理流水线，但是其中步骤《应用肺掩模》被《修整》步骤代替。
[0136]
另一方面，为了减轻到相邻器官的边界泄漏，除了肝脏分割之外还考虑以下器官的分割：结肠、胆囊、右肾、左肾、胰腺、脾、胃、心脏、右肺和左肺。由于这些器官可能与肝脏壳接触，所以将减少向它们的泄漏。
[0137]
以与先前关于2.5d多视图分层方法所呈现的相同方式来进行训练阶段。轴向网络从头开始训练，而矢状网络和冠状网络从轴向的最终权重开始。
[0138]
所使用的融合操作是多数表决，因为多个类别被合并。下表包含了从每个器官获得的定量结果。由于心脏和肺不用作专家的起点，因此不保留它们用于评估。
[0139][0140]
每个呈现的得分是在测试集上的平均值
±
标准偏差(按照mm给出距离，并且按照百分比给出dice得分)。
[0141]
与肺相比，可以看出该方法与一位专家之间的一致性较弱。然而，肝脏与参照保持高度重叠。此外，对于显示与专家分割一致的可变性的每个结构，评分标准偏差高。对于器官分割，对每个类别应用简单的后处理，该后处理是允许滤除异常值的最大连通组件的选择。
[0142]
肝脏血管包含以下结构：门静脉、肝静脉和肝动脉。允许分割肝脏管状结构的部分几乎从肺动脉和静脉组件借用每一件东西。主要的差别在于值vmin和vmax分别被设置为-100和400。
[0143]
类似于支气管或肺动脉和静脉组件，网络的输入用感兴趣器官的凸包来掩蔽，在这种情况下感兴趣器官是肝脏。此外，没有对所得到的分割应用后处理。定量评价列于下表中：
[0144][0145]
每个呈现的得分是在测试集上的平均值
±
标准偏差(按照m给出距离，并且按照百分比给出dice得分)。仅在肝脏凸包包络内计算动脉、肝静脉和门静脉的度量。
[0146]
对于每个度量和每个结构，与仅针对几乎相同的标准偏差的轴向视图相比，通过多数表决融合获得更好的平均得分。这种差异再次表明了使用融合方法进行这种分割的相关性。为了进一步扩展分析，将血管分成两部分：静脉管状结构和动脉管状结构。
[0147]
该第二示例示出了：当应用于肝脏和与其相互作用的血管时，在相对于第一示例稍微修改的情况下，根据本发明的方法能够提供以下分割：结肠、胆囊、右肾、左肾、胰腺、脾、胃、心脏、右肺和左肺、门静脉、肝静脉和肝动脉。
[0148]
关于静脉和动脉的识别，与真阳性相比，假阳性的数量保持较低。
[0149]
在本说明书中先前(通过括号中的相应数字)引用了以下参考文献，并且其内容和教导作为现有技术知识的示例并入本文中：
[0150]
[1]p.lo,b.van ginneken,j.m.reinhardt,y.tarunashree,p.a.de jong,b.irving,c.fetita,m.ortner,r.pinho,j.sijbers,m.feuerstein,a.fabijanska,c.bauer,r.beichel,c.s.mendoza,r.wiemker,j.lee,a.p.reeves,s.born,o weinheimer,e.m.vanrikxoort,j.tschirren,k.mori,b.odry,d.p.naidich,i.j.hart-mann,e.a.hoffman,m.prokop,j.h.pedersen and m.de bruijne,“extractionof airways from ct(exact’09),”ieee transactions on medicalimaging,vol.31,no.11,pp.2093
–
2107,nov.2012.
[0151]
[2]d.jin,z.xu,a.p.harrison,k.george,and d.j.mollura,“3d convolutional neural networks with graph refinement forairway segmentation using incomplete data labels,”in machinelearning in medical imaging,vol.10541,pp.141
–
149.springerinternational publishing,cham,2017.
[0152]
[3]y.qin,m.chen,h.zheng,y.gu,m.shen,j.yang,x.huang,y.zhu,and g.yang,“airwaynet:a voxel-connectivity awareapproach for accurate airway segmentation using convolutionalneural networks,”in medical image computing and computer assistedintervention miccai 2019,vol.11769,pp.212
–
220.springerinternational publishing,cham,2019.
[0153]
[4]a.g.juarez,h.a.w.m.tiddens,and m.de bruijne,“automatic airway segmentation in chest ct using convolutionalneural networks,”arxiv:1808.04576[cs],aug.2018,arxiv:1808.04576.
[0154]
[5]t.zhao,z.yin,j.wang,d.gao,y.chen,and y.mao,“bronchus segmentation and classification by neural networks andlinear programming,”in medical image computing and computerassisted intervention miccai 2019,vol.11769,pp.230
–
239.springerinternational publishing,cham,2019.
[0155]
[6]j.yun,j.park,d.yu,j.yi,m.lee,h.j.park,j.lee,j.b.seo,and n.kim,“improvement of fully automated airway segmentationon volumetric computed tomographic images using a 2.5 dimensionalconvolutional neural net,”medical image analysis,vol.51,pp.13
–
20,jan.2019.
[0156]
[7]q.meng,h.r.roth,t.kitasaka,m.oda,j.ueno,and k.mori,“tracking and segmentation of the airways in chest ct using afully convolutional network,”in medical image computing andcomputer-assisted intervention miccai 2017,vol.10434,pp.198
–
207.springer international publishing,cham,2017.
[0157]
[8]c.wang,y.hayashi,m.oda,h.itoh,t.kitasaka,a.f.frangi,and k.mori,“tubular structure segmentation using spatialfully connected network with radial distance loss for 3d medicalimages,”in medical image computing and computer assistedintervention miccai 2019,vol.11769,pp.348
–
356.springerinternational publishing,cham,2019.
[0158]
[9]o.ronneberger,p.fischer,and t.brox,“u-net:convolutional networks for biomedical image segmentation,”inlecture notes in computer science,pp.234
–
241.springer internationalpublishing,2015.
[0159]
[10]y.wang,y.zhou,w.shen,s.park,e.fishman,and a.yuille,“abdominal multi-organ segmentation with organ-attentionnetworks and statistical fusion,”medical image analysis,vol.55,pp.88
–
102,2019.
[0160]
[11]m.perslev,e.b.dam,a.pai,and c.igel,“one network tosegment them all:a general,lightweight system for accurate 3dmedical image segmentation,”in medical image computing andcomputer assisted intervention miccai 2019,vol.11765,pp.30
–
38.springer international publishing,cham,2019.
[0161]
[12]h.cui,x.liu,and n.huang,“pulmonary vesselsegmentation based on orthogonal fused u-net++of chest ct images,”in medical image computing and computer assisted interventionmiccai 2019,vol.11769,pp.293
–
300.springer,2019.
[0162]
[13]p.nardelli,d.jimenez-carretero,d.bermejo-pelaez,m.j.ledesma-carbayo,f.n.rahaghi,and r.estepar,“deep-learningstrategy for pulmonary artery-vein clas-sification of non-contrast ct images,”in 2017ieee 14th international symposium on biomedical imaging(isbi 2017),melbourne,australia,apr.2017,pp.384
–
387.
[0163]
[14]p.nardelli,d.jimenez-carretero,d.bermejo-pelaez,g.r.washko,
f.n.rahaghi,m.j.ledesma-carbayo,and r.estpar,“pulmonary arteryvein classification in ct images using deep learning,”ieee transactions on medical imaging,vol.37,no.11,pp.2428
–
2440,nov.2018.
[0164]
[15]s.ioffe and c.szegedy,“batch normalization:acceler-ating deep network training by reducing internal covari-ate shift,”in proceedings of the 32nd international con-ference on international conference on machine learn-ing-volume 37.icml’15,pp.448
–
456,jmlr.org.
[0165]
[16]c.sudre,w.li,t.vercauteren,s.ourselin,and j.car-doso,“generalised dice overlap as a deep learning loss function for highly unbalanced segmentations,”in deep learning in medical image analysis and multi-modal learning for clinical decision support,pp.240
–
248.springer,2017.
[0166]
当然，本发明不限于在附图中描述和表示的至少一个实施例。在不超出本发明的保护范围的情况下，仍然可以进行修改，特别是从各种元素的组成的角度或通过技术等同物的替代。

技术特征：
1.一种用于在示出对象的包含至少一个身体部位的感兴趣体积区域的医学图像中分割和识别具有3d布局且位于所述对象的所述身体部位中的至少一个管状结构并且用于提供所述结构的标记3d图像的计算机实现方法，所述方法主要包括以下步骤：提供与包含所述身体部位的所述感兴趣区域的彼此不同的各个截面图相对应的一组2d医学图像，所述医学图像的平面全部垂直于给定方向或者全部在给定直线处彼此交叉，分割存在于每个2d医学图像中的相关身体部位的可见区段，并且创建对应的2d身体部位掩蔽图像，所述可见区段具体包括在所考虑的2d图像中可见的所述身体部位的完整线性轮廓或外部边界，通过将对应的身体部位掩蔽图像应用于每个2d医学图像来对每个2d医学图像进行预处理，从而产生仅包含原始2d图像中与所述身体部位相关的图像数据的经处理的图像，尽可能地通过在差异化分割过程中分割不同种类的管状结构，来分割所产生的预处理图像中的管状结构，利用至少一个其他组2d医学图像执行前述步骤，其中所述至少一个其他组2d医学图像对应于包含同一身体部位的同一感兴趣体积区域的沿着彼此平行或彼此相交的其他平面的不同的各个其他截面图，合并不同组的预处理图像的管状结构分割的结果，以提供一种管状结构或不同种管状结构的标记3d图像。2.根据权利要求1所述的方法，其中，分割所考虑的预处理图像的管状结构的步骤包括：还考虑同一组图像中的至少一个其他预处理截面图的图像数据，所述至少一个其他预处理截面图与所考虑的预处理图像相邻，例如，位于所考虑的预处理图像的每侧上至少最邻近的截面图的图像数据。3.根据权利要求1或2所述的方法，其中，通过使用2d神经网络执行所述身体部位分割步骤，并且通过使用2.5d神经网络执行所述管状结构分割步骤，所述神经网络优选地是u-net神经网络。4.根据权利要求1至3中任一项所述的方法，其中，先前在由专家标记的数据进行训练的专用神经网络用于每组2d医学图像的身体部位分割和预处理步骤，专用且专门训练的神经网络还用于分割每组预处理图像中的管状结构，可能针对每种管状结构有一个特定神经网络。5.根据权利要求4所述的方法，其中，在初步准备阶段，使用旨在处理第一组医学图像的神经网络的最终训练参数值作为起始参数值，所述起始参数值用于在预处理阶段和/或管状结构分割阶段训练旨在处理另一组医学图像的至少一个其他神经网络。6.根据权利要求1至5中任一项所述的方法，其中，第一组医学图像对应于所述对象的轴向视图，并且其中，第二组医学图像和第三组医学图像分别对应于矢状视图和冠状视图。7.根据权利要求1至6中任一项所述的方法，其中，分割每个2d医学图像中的相关身体部位并且创建对应的身体部位掩蔽图像的步骤包括：确定所述身体部位的轮廓和/或内部区域，并且定位和识别所述内部管状结构与至少一个其他身体部位或身体组件的连接部位，所述至少一个其他身体部位或身体组件是所述掩蔽图像的一部分或者不是所述掩蔽图像的一部分。
8.根据权利要求1至7中任一项所述的方法，其中，在分割给定组的每个2d医学图像中的相关身体部位并且创建对应的身体部位掩蔽图像的步骤之前，所述图像经历初始处理工作流的操作，所述初始处理工作流的操作至少包括重新修整操作和调整大小操作，并且可能还包括归一化操作。9.根据权利要求1至8中任一项所述的方法，其中，在应用分割所述管状结构的步骤之前，在所述预处理阶段期间，将通过将所述身体部位掩蔽图像应用于原始2d医学图像而得到的经修改的预处理图像提交给各向同性重采样操作和重新缩放操作。10.根据权利要求1至9中任一项所述的方法，其中，鉴于进一步处理，在多组医学图像中的任何一组中的相应身体部位掩蔽图像为空的任何医学图像和不显示所考虑的身体部位的任何部分的任何预处理图像被忽略。11.根据权利要求1至10中任一项所述的方法，其中，所述医学图像是人类对象的胸腔的图像，其中，所述相关身体部位是肺，其中，所述分割步骤还包括识别左肺和右肺，并且其中，至少某些身体部位掩蔽图像还包括气管以及肺动脉和静脉与心脏之间的连接区域的表示。12.根据权利要求11所述的方法，其中，并行分割两种不同类型的管状结构，即支气管树和肺动脉血管树，其中在另一步骤中在所述血管树内标记了所述动脉和所述静脉。13.根据权利要求11所述的方法，其中，并行分割三种不同类型的管状结构，即支气管树、肺动脉树和肺静脉树。14.根据权利要求1至10中任一项所述的方法，其中，所述医学图像是腹部图像，其中，所述相关身体部位是肝脏，并且其中，要分割和标记的血管系统包括门静脉、肝静脉和肝动脉。15.根据权利要求1至14中任一项所述的方法，其中，借助于融合操作来执行所述最终合并步骤，所述融合操作包括在通过并集融合、通过多数表决融合、通过对数平均融合、通过神经网络融合以及通过同时的真值和性能水平估计的融合中选择的操作类型。16.一种能够全自动地执行器官和内部管状结构分割和标记的图像处理系统，特别是肺、支气管和肺动脉以及静脉分割，所述系统依赖于级联卷积神经网络，其特征在于，所述系统包括第一部分和第二部分，所述第一部分专用于器官分割，例如右肺和左肺分割且所述第一部分基于稍微修改的2d u-net架构；所述第二部分基于沿着轴向切片、冠状切片和矢状切片的三路2.5d全卷积网络，所述第二部分被馈送有所述第一部分的预处理2d图像并且被配置为执行管状结构和元素提取和标记。17.根据权利要求16所述的图像处理系统，其特征在于，所述图像处理系统里被配置和布置为执行根据权利要求1至15中任一项所述的方法。

技术总结
提出了一种用于在示出对象的包含至少一个身体部位的感兴趣体积区域的医学图像中分割和识别具有3D布局且位于所述对象的所述身体部位中的至少一个管状结构并且用于提供结构的标记3D图像的计算机实现方法，所述方法主要包括以下步骤：提供与来自所述医学图像的平面的相应相互不同的截面图对应的一组2D医学图像，该平面全部垂直于给定方向或者全部在给定直线处相互交叉；分割存在于所述2D医学图像中的每个中的相关身体部位的可见区段，并且创建对应的2D身体部位掩蔽图像，该可见区段具体包括在所考虑的2D图像中可见的所述身体部位的完整线性轮廓或外部边界；通过将对应的身体部位掩蔽图像应用于每个2D医学图像来对每个2D医学图像进行预处理；在所述产生的预处理图像中分割管状结构；利用至少一个其他组2D医学图像执行前述步骤，该其他组2D医学图像对应于其他相应不同的截面图；合并不同组的预处理图像的管状结构分割的结果。像的管状结构分割的结果。像的管状结构分割的结果。


技术研发人员：阿德里安
受保护的技术使用者：可见患者简易股份公司
技术研发日：2021.10.19
技术公布日：2023/8/5