绘制和显示解剖结构的3d表示的制作方法

1.本发明涉及图像绘制领域，并且特别地，涉及解剖结构的表示的绘制和显示。


背景技术：

2.先天性心脏病(chd)是一类最常见类型的出生缺陷，影响了1％的活产。chd在胎儿期可能无症状，但在出生之后导致显著的发病率和死亡率。chd诊断越早，出生时的结果和治疗选择越好。特别地，针对特定chd病变的有效子宫内治疗，诸如针对左心发育不全综合征的子宫内主动脉瓣成形术，正在变得日益可用，并且已经示出为显著改进疾病的自然史。
3.然而，这些潜在的益处依赖于对chd的准确胎儿超声诊断。人们已经认识到，社区中针对chd的胎儿诊断率在30-50％的区域内，甚至其中胎儿超声在发达国家很普遍。然而，理论上，对胎儿心脏的彻底筛查应该能够检测90％的异常。
4.针对该诊断差距的主要原因是在获取右心平面和解释胎儿心脏图像方面的不足/不一致/不均匀的专业知识。这被认为主要是由于由小而快速跳动的胎儿心脏提出的诊断挑战，以及由于护理提供者之中对每种特定类型的先天性心脏病的相对低暴露。心脏病的体征常常很细微，可以触及心脏内的各种结构，诸如瓣膜、隔膜、心肌等，并以多种形式/关联存在(法洛四联症)，需要仔细的靶向检查。
5.因此，需要直观、精确、动态和交互式地显示胎儿心脏，以促进心脏异常的识别。
6.特别地，显然需要改进解剖结构的绘制和显示，诸如(胎儿)心脏，以便改进临床医师的理解和识别和评估患者状况的能力。


技术实现要素：

7.本发明由权利要求定义。
8.根据本发明的方面的示例，提供了一种生成和显示个体的解剖结构的3d表示的计算机实施的方法。
9.所述计算机实施的方法包括：获得所述解剖结构的图像数据；处理所述图像数据以生成所述解剖结构的3d解剖模型；处理所述图像数据和/或所述3d解剖模型以获得一幅或多幅2d图像的一个或多个集合，所识别的一幅或多幅2d图像的每个集合表示所述解剖结构的不同预定视图；识别一幅或多幅2d图像的每个集合中的一个或多个预定解剖界标；处理所述一个或多个预定解剖界标以生成3d界标模型；并且处理所述3d解剖模型和所述3d界标模型以在输出显示器处绘制和显示所述解剖结构的3d表示。
10.本公开认识到，可用于生成/绘制解剖结构的3d表示的图像数据也可以被用于生成3d界标模型，该模型基于所述解剖结构的任何识别的解剖界标。还认识到，该3d界标模型可以被用于控制或提供关于所述解剖结构的3d显示的额外信息，以便在评估或分析个体的状况时提供改进的容易性。
11.因此，本发明涉及一种通过使用3d界标模型来控制如何绘制和/或显示解剖结构的3d表示来执行3d绘制和显示的机制。这提供了一种用于生成解剖结构的3d表示的显示的
新机制。通过考虑解剖界标，可以进行对解剖结构的更临床相关的绘制和显示，以向临床医师提供用于评估对象的额外和/或更相关的数据。
12.提供了一种用于绘制和显示所述解剖结构的3d表示的方法。所述绘制和/或所述显示基于3d界标模型，其识别/表示对象的解剖界标在3d坐标空间中的位置。
13.所述图像数据可以包括在所述解剖结构的循环运动的至少一个周期上捕获的所述解剖结构的图像数据；并且一幅或多幅2d图像的每个集合包括2d图像序列，所述2d图像序列表示所述解剖结构的所述循环运动的至少一个周期；并且处理所述一个或多个预定解剖界标的步骤包括：在每个2d图像序列中跟踪一个或多个预定界标；并且基于在每个2d图像序列中所跟踪的一个或多个预定界标来生成所述3d界标模型。
14.因此，所述3d界标模型可以识别所述对象的解剖界标在一段时间内的位置的变化。这有效地允许随着时间跟踪所述解剖界标在3d空间中的位置。该方法促进随着某些界标的位置改变而改变如何执行所述3d解剖模型的绘制/显示，这允许当所述3d表示随时间而变化时引起临床医师注意不同类型的信息。
15.处理所述3d解剖模型和所述3d界标模型的步骤优选地包括基于所述3d界标模型来定义至少一个绘制参数。所述至少一个绘制参数可以包括以下各项中的一项或多项：所绘制的3d表示的切割平面；所绘制的3d表示的查看方向；所绘制的3d表示的照明参数；所绘制的3d表示的一个或多个纹理；和/或所绘制的3d表示的一种或多种颜色。
16.本公开意识到，通过基于所述界标模型控制某些绘制参数，可以使所述解剖模型的绘制更相关和/或向临床医师提供额外信息。这可以促进基于所确定的解剖界标提供某些解剖视图，或突出显示某些解剖特征。这可以向用户提供先前不可用的额外信息，例如，以引起对所述解剖结构的绘制的某些位置或区域的注意。
17.该实施例从而提供了用于绘制所述解剖结构的3d表示的新机制，即提供了用于图像处理的新的和改进的方法。
18.切割平面有时被称为“剪切平面”或“截面平面”，并且定义3d空间中的平面。在绘制时，绘制落在所述切割平面的一侧的解剖结构的部分，并且不绘制所述切割平面的另一侧的解剖结构的部分。这可以提供其中不显示所述解剖结构的部分的视图，以促进对所述解剖结构的内部进行调查。
19.查看方向定义了虚拟相机的位置，从而控制所述解剖结构的3d表示相对于所述显示的明显旋转和/或位置。因此，随着查看方向改变，在输出显示器处显示的3d表示的明显旋转和/或位置也改变。
20.任选地，处理所述一个或多个预定解剖界标的步骤包括将一幅或多幅2d图像的每个集合中的所述一个或多个预定界标映射到3d坐标系，从而生成3d界标模型。
21.在一些示例中，显示所述解剖结构的所述3d表示的步骤包括：在相同的3d坐标空间中将所述3d界标模型与所述3d表示配准；并且基于所述解剖结构的所述3d界标模型来控制所述解剖结构的所述3d表示的所述绘制。
22.绘制和显示所述解剖结构的所述3d表示的步骤可以包括：基于所述3d界标模型和期望的解剖特征和/或解剖视图来定义针对所述解剖结构的所述3d表示的查看方向；并且基于所定义的查看方向来绘制和显示所述解剖结构的所述3d表示。
23.绘制和显示所述解剖结构的所述3d表示的步骤可以包括：基于所述3d界标模型和
期望的解剖特征和/或解剖视图来定义针对所述解剖结构的所述3d表示的一个或多个切割平面；并且基于一个或多个定义的切割平面来绘制和显示所述解剖结构的所述3d表示。
24.所述方法还可以包括在用户接口处接收指示期望的解剖特征或解剖视图的第一用户输入的步骤。因此，用户可能能够定义所述解剖结构的绘制的3d表示的内容，即所述解剖结构的(绘制的)3d表示中要包含什么解剖特征。
25.在一些示例中，期望的解剖特征和/或解剖视图是所述解剖结构的多个预定解剖视图之一。任选地，所述预定解剖视图的选择可以由用户进行，即用户可以选择多个预定解剖视图之一。该方法可以促进选择用于评估患者的状况的适当解剖视图中的改进的容易性(例如以将由所述3d表示提供的解剖视图与公认的解剖视图对准)。
26.在其他示例中，期望的解剖特征和/或解剖视图是预定解剖特征/视图，例如基于用于查看针对特定诊断或分析方法的特征/视图的标准操作流程。
27.绘制和显示所述解剖结构的所述3d表示的步骤可以包括：在用户接口处接收第二用户输入，所述第二用户输入指示针对所述解剖结构的所述3d表示的一个或多个期望的查看方向和/或切割平面；基于接收到的第二用户输入来绘制和显示所述解剖结构的所述3d表示；使用所述3d界标模型来预测由所显示的所述解剖结构的3d表示提供的所述解剖特征和/或解剖视图；并且显示关于由所显示的所述解剖结构的3d表示提供的所预测的解剖特征和/或解剖视图的信息。
28.所述解剖结构可以包括心脏。当用于提供所述心脏的3d表示时，本发明是特别有利的，因为解剖心脏界标的识别是特别发达的，使得生成所述心脏的3d界标模型是特别适合的示例。然而，在其他实施例中，解剖结构可以包括大脑、肺等等。
29.在一些示例中，所识别的一幅或多幅2d图像的每个集合表示以下各项中的不同一项：四腔视图；左心室流出道视图；右心室流出道视图；三血管视图；三血管和气管视图；腹部部位视图；主动脉弓视图；和/或导管弓视图。
30.处理所述图像数据和/或所述3d解剖模型的步骤可以包括使用机器学习方法来处理所述图像数据和/或所述3d解剖模型，以识别一幅或多幅2d图像的一个或多个集合。
31.还提出了一种包括计算机程序代码模块的计算机程序产品，所述计算机程序代码模块当在具有处理系统的计算设备上运行时，使所述处理系统执行本文所描述的任何方法的所有步骤。
32.还提出了一种用于生成和显示个体的解剖结构的3d表示的处理系统。所述处理系统被配置为：获得所述解剖结构的图像数据；处理所述图像数据以生成所述解剖结构的3d解剖模型；处理所述图像数据和/或所述3d解剖模型以获得一幅或多幅2d图像的一个或多个集合，所识别的一幅或多幅2d图像的每个集合表示所述解剖结构的不同预定视图；识别一幅或多幅2d图像的每个集合中的一个或多个预定解剖界标；处理所述一个或多个预定解剖界标以生成3d界标模型；并且处理所述3d解剖模型和所述3d界标模型以在输出显示器处绘制和显示所述解剖结构的3d表示。
33.技术人员将容易能够调整该处理系统以执行本文描述的任何方法。类似地，技术人员将容易能够调整本文所描述的任何方法以执行本文描述的任何处理系统的操作。
34.本发明的这些和其他方面将根据在下文中所描述的(一个或多个)实施例而显而易见，并且将参考在下文中所描述的(一个或多个)实施例得到阐述。
附图说明
35.为了更好地理解本发明并且更清楚地示出其可以如何实施，现在将仅通过示例对附图进行参考，其中：
36.图1图示了由本发明的实施例执行的工作流；
37.图2图示了从心动周期上的超声图像数据获得的胎儿心脏的2d图像的集合；
38.图3图示了应用不同绘制参数的四腔视图中的心脏的左心室的视图；
39.图4图示了二尖瓣和三尖瓣从瓣膜打开到关闭的视图；并且
40.图5图示了处理系统。
具体实施方式
41.将参考附图来描述本发明。
42.应当理解，详细描述和特定示例当指示装置、系统和方法的示例性实施例时旨在仅出于图示的目的并且不旨在限制本发明的范围。本发明的装置、系统和方法的这些和其他特征、方面和优点将从以下描述、权利要求书和附图变得更好理解。应当理解，附图仅仅是示意性的并且未按比例绘制。还应当理解，相同的附图标记贯穿附图被用于指示相同或相似的部分。
43.本发明提供了一种生成和显示个体的解剖结构的3d表示的方法。获得并处理解剖结构的图像数据，以获得对应于解剖结构的预定视图的2d图像或图像序列。解剖界标在2d图像或图像序列中被识别并被用于确定解剖结构的3d界标模型。3d界标模型被用于绘制和显示解剖结构的3d表示。本发明依赖于3d界标模型(也称为“姿势模型”)的使用来控制解剖结构的3d表示如何被绘制和显示。3d界标模型识别解剖结构的解剖界标的位置。
44.3d界标模型可以例如识别解剖界标相对于解剖结构的3d解剖模型的位置。3d解剖模型可以包括预绘制数据，其在适合地绘制时产生用于显示的解剖结构的3d表示。3d解剖模型的绘制和/或显示基于3d界标模型，即取决于3d界标模型。特别地，可以使用3d界标模型来定义一个或多个绘制或显示参数。
45.因此，解剖结构的绘制基于解剖结构的解剖界标。这提供了一种用于绘制和显示基于解剖结构的重要解剖方面的解剖结构的表示的方法，以允许绘制解剖结构的预定解剖视图和/或预定部分，以易于评估患者的状况。
46.本发明的实施例可以在任何适合的3d解剖绘制场景中采用，诸如在胎儿心脏评估和/或大脑评估中。本发明在胎儿心脏分析中具有特别的用途，因为该领域已经被识别为特别难以执行准确的用户分析。
47.图1示意性地图示了由实施例执行的工作流程100，以用于理解本公开的基本概念。
48.在步骤110中获得解剖结构的图像数据191。因此，图像数据是医学图像数据，诸如超声图像数据、磁共振图像数据、计算机断层摄影图像数据、x射线图像数据等等。图像数据是当被处理时可以产生解剖结构的3d解剖模型(例如可以产生解剖结构的3d图像)的任何数据。
49.在过程120中处理图像数据191以生成解剖结构的3d解剖模型192。3d解剖模型是解剖结构的数据表示，其在被绘制和显示时可以产生解剖结构的3d表示(即图像)。3d解剖
模型提供关于解剖结构的不同解剖特征或边界的空间位置的信息。用于根据图像数据生成3d解剖模型的方法对于技术人员是公知的。
50.3d解剖模型的一些示例包括描绘解剖结构(的边界)的总体形状的三角形网格。另一示例是识别解剖位置的点云(例如表示解剖结构内的腔的点和/或表示形成解剖结构的元素的点)。
51.在步骤130中还获得一个或多个(2d)图像集193。每个图像集包括来自特定解剖视点的解剖结构的一幅或多幅2d图像，使得每个图像集提供解剖结构的不同解剖视点。
52.可以通过处理图像数据191和/或3d解剖模型192来获得一个或多个图像集193。在一个示例中，分类器(例如神经网络或其他机器学习方法)被用于对图像数据的2d图像进行分类，以识别提供特定解剖视点的图像。在另一示例中，3d解剖模型192可以被处理以提取提供不同2d图像的一个或多个切片。以这种方式，可以生成具有不同解剖视点的一幅或多幅图像的图像集193。
53.然后，在步骤140中，对一个或多个图像集193进行处理，以识别一幅或多幅2d图像的每个集合中的解剖界标、“界标点”或“关键点”。解剖界标是个体的解剖结构的点，该点在个体的物种内展现同源性，但能够相对于不同的个体不同，例如二尖瓣点、卵圆窝的位置、主动脉瓣的位置等等。
54.一幅或多幅2d图像的每个集合中识别的解剖界标可以取决于2d图像的集合的解剖视点而不同，例如，因为可以知道哪些解剖界标应该存在于某些解剖视点中。过程140可以包括图像分割过程，以识别每幅2d图像中的一个或多个预定解剖界标。用于识别2d医学图像中的解剖界标的方法是广泛已知的，并且可以采用图像分割过程、机器学习方法、自动分类器和界标模型调整。
55.然后，在步骤150中，对所识别的解剖界标进行处理，以生成3d界标模型194。特别地，所识别的界标可以被映射到3d坐标空间中以生成3d界标模型。这是可实现的，因为图像集中的每幅图像的解剖视点是已知的(即图像集的图像与3d空间之间的关系是已知的)。以这种方式，解剖界标可以直接映射到3d坐标中或相对于3d坐标进行配准，从而给出具有以3d映射的关键解剖特征/接合部的患者特异性3d界标模型。
56.此外，3d解剖模型与3d界标模型之间的空间关系也是可确定的，因为它们是根据相同的图像数据生成的。因此，可以容易地确定解剖界标相对于根据相同图像数据导出的3d解剖模型的相对位置。换句话说，所提出的方法允许确定3d解剖模型内的特定解剖界标的相对位置。
57.然后在过程160中绘制并显示3d解剖模型192。以这种方式，产生3d解剖模型的图像以用于显示给用户。3d解剖模型的绘制例如显示在诸如监测器或屏幕的输出显示器或用户接口处。3d解剖模型的绘制和/或显示基于3d界标模型194以及任选地用户输入197。
58.特别地，3d界标模型可以被用于识别3d解剖模型中的不同解剖特征的位置。这继而可以被用于改进和/或控制3d解剖模型的绘制，例如突出显示绘制的某些特征和/或提供关于包含在3d解剖模型的绘制中的解剖特征的额外信息。
59.在一些示例中，绘制的3d解剖模型的一个或多个绘制参数可以基于3d界标模型(以及任选地，用户输入)。(一个或多个)绘制参数可以包括定义用于绘制的切片/切割平面、定义用于绘制的相机视点、位置和/或查看方向；定义用于绘制的照明条件、定义用于绘
制的颜色和/或纹理等等。
60.如先前所解释的，3d界标模型相对于3d解剖模型定义了某些解剖界标的相对位置。该信息可以被用于基于特定解剖界标的位置来绘制3d解剖模型，例如突出显示或绘制期望的解剖特征或视图，突出显示(例如利用特定照明参数)某些解剖特征，适当地纹理化某些解剖特征等等。
61.本发明的基本认识是，通过使用3d界标模型绘制和显示3d解剖模型和/或使用3d界标模型为绘制的3d解剖模型提供额外信息，可以促进用于增加在3d解剖模型的绘制中评估解剖特征的容易性和确定性的额外信息。这是可实现的，因为3d界标模型在3d解剖模型中识别某些解剖界标的位置，从而提供用于改进3d解剖模型的绘制的额外信息(或提供关于解剖模型的绘制的解剖特征的信息)。
62.如先前所解释的，3d解剖模型和3d界标模型可以相对于彼此在空间上配准，即形成在相同的3d坐标空间中。这是可实现的，因为3d界标模型和3d解剖模型是根据相同的图像数据生成的，这意指可以保留3d界标模型与3d解剖模型之间的关系。这促进用于基于3d界标模型来绘制和显示3d解剖模型的处理的容易性。
63.在一些示例中，一个或多个显示参数和/或显示的信息基于3d界标模型。例如，绘制的解剖视点可以使用3d界标模型来确定并且(例如其文本信息可以)被显示用于改进的用户理解。作为另一示例，3d界标模型可以被用于在绘制中识别解剖结构的一个或多个解剖特征或部分。
64.下文描述了如何基于3d界标模型来绘制和显示3d解剖模型的适合示例。
65.可以基于期望的解剖特征或解剖视图来定义用于3d表示的(一个或多个)绘制参数，以便向用户提供期望的解剖特性或解剖视图的可视化。可以基于3d界标模型来识别3d解剖模型的期望的解剖特征或视图。
66.例如，可以(使用3d界标模型)定义用于绘制3d解剖模型的一个或多个切割平面和/或查看方向，以向用户提供具有包括期望的解剖特征和/或匹配期望的解剖视图的视场的绘制。可以根据3d界标模型识别(一个或多个)解剖特征和/或解剖视图(例如，通过识别与期望的特征相关联的解剖界标和/或存在于期望的解剖视图内的解剖界标)。
67.(一个或多个)切割平面定义了所绘制的3d解剖模型的面积/体积，如本领域中公知的，并且可以被选择为使得所绘制的区域包含一个或多个期望的解剖特征。可以使用3d界标模型来确定(一个或多个)切割平面的位置和/或取向，例如以识别期望的特征的相对位置(例如基于期望的特征与界标之间的已知位置关系)，以确保(一个或多个)切割平面被定位为使得绘制的3d解剖模型包含期望特征。
68.查看方向定义了用于绘制3d解剖模型的虚拟相机的位置和取向，并且可以基于3d界标模型来定义。例如，查看相机可以被定义为指向期望的解剖特征或视图，其位置可以使用3d解剖模型来计算。在一个场景中，预定查看方向是已知的，并且在某些相对位置处包含某些解剖界标。3d界标模型可以被用于为虚拟相机选择适当的位置(用于绘制3d解剖模型)以在特定位置处包含特定解剖界标。
69.以这种方式，3d界标模型可以被处理以识别用于绘制3d解剖模型的虚拟相机的适合位置，以实现期望的解剖视图和/或包含期望的解剖特征。
70.用于绘制的焦点可以被定义为期望的解剖特征，或者用于期望的解剖视图的中心
解剖界标，并且可以基于3d界标模型来识别。例如，用于粗略心脏可视化的焦点将被定义为心脏的核心。
71.前述示例清楚地证明了其中3d解剖模型的绘制的内容和绘制的虚拟相机的位置基于3d界标模型的实施例(例如以实现期望的解剖视图和/或绘制期望的解剖特征)。
72.期望的解剖视图和/或期望的解剖特征可以由用户输入197(如果存在的话)指示，该用户输入197可以包括期望的解剖特性或解剖视图的指示。例如，用户可以从可用解剖特征和/或视图的列表中选择期望的解剖特征或解剖视图。例如，对于心脏的成像数据，用户可能期望四腔视图、左心室流出道视图、右心室流出道视图、三血管视图、三血管和气管视图、腹部部位视图、主动脉弓视图或导管弓视图。对于大脑的成像数据，用户可能期望经脑室视图、经丘脑视图或经小脑视图。
73.在其他示例中，期望的解剖视图可以是预定义的或预定的，例如，以遵循用于评估患者的状况的特定协议。
74.作为绘制参数的另一示例，可以基于3d界标模型来定义用于绘制3d解剖模型的一个或多个照明参数，例如用于期望的解剖特征的有效可视化。
75.例如，在绘制过程期间，可以放置点光以向用户提供绘制的3d表示的改进的可视化。点光或定向光可以被定位和引导以照射或突出显示特定/期望的解剖特征，其相对于3d解剖模型的位置可以基于3d界标模型来识别。
76.作为另一示例，可以采用背光来照射一定范围的解剖特征，例如，跨瓣膜提供背光，以向用户提供最佳的瓣膜解剖结构可视化。3d界标模型可以被用于确定背光的位置和/或光的方向，以确保某些解剖特征在绘制的3d表示中被照亮。
77.不同的材料性质或纹理可以应用于基于3d界标模型的3d解剖模型的绘制。材料性质被用于为解剖结构的3d表示(即绘制)给出更逼真的外观，这使用户解释3d表示更容易，或突出显示/强调某些解剖特征。材料性质的示例包括突出的边缘突出显示、反光和镜面突出显示，其一起导致不同级别的抛光外观、粗糙/无光饰面和表面半透明。3d界标模型可以被用于确定应在何处应用哪些材料性质。
78.在一些示例中，3d界标模型被用于识别一个或多个解剖特征的位置，例如使用解剖界标与解剖特征之间的关系。所识别的(一个或多个)解剖特征然后可以被纹理化(在绘制中)以强调、突出显示或区分不同的解剖特征，或者纹理化解剖特征以更接近类似解剖特征的真实纹理。
79.例如，可以基于绘制的3d表示的内容(其可以从3d界标模型确定)来采用不同类型的绘制/纹理化。作为示例，表面绘制可以被用于心脏的腔室的可视化，并且半透明绘制可以被用于整个心脏或心脏的瓣膜的可视化。
80.可以采用不同的光传输模型以用于改进不同解剖特征的可视化，其中，解剖特征可从3d界标模型中识别。例如，当对心脏的瓣膜进行可视化时，阴影可能是不太期望的，因为它们可能掩盖暗伪影(即因此绘制可能包括省略阴影的绘制)。在另一方面，阴影可以通过提供允许用户更容易地区分结构的阴影和深度提示来改进整个心脏或心脏的腔室的可视化。
81.前述示例提供了其中3d表示的一个或多个绘制参数取决于3d界标模型的实施例。在一些示例中，一个或多个绘制参数由用户输入197定义，其中，其他绘制参数由3d界标模
型定义。
82.例如，用户输入197可以为3d解剖模型的绘制的3d表示提供期望的绘制参数的指示，诸如虚拟相机的切割平面和/或位置(例如绘制的查看方向)。3d界标模型可以被用于识别或预测由期望的绘制提供的解剖特征和/或解剖视图。3d界标模型然后可以被用于基于预测的解剖特征和/或解剖视图来定义另外的(一个或多个)绘制参数，诸如照明条件、颜色和/或纹理。
83.所有前述示例提供了其中解剖结构的3d表示的一个或多个绘制参数基于3d界标模型的实施例。在一些示例中，3d界标模型可以被用于生成关于解剖结构的3d表示的额外信息，例如以文本信息的形式，而不在其绘制中使用。
84.例如，解剖结构的3d表示的绘制参数可以是预定义的和/或响应于用户输入。3d界标模型可以被用于生成关于提供给用户的3d表示的信息。
85.通过示例的方式，可以处理绘制参数和3d界标模型，以识别包含在3d表示中的解剖特征或由3d表示提供的(最靠近的)解剖视图。然后，该信息可以例如以指示相对于解剖模型的相对视图的文本输出或图形输出的形式显示给用户。
86.还可以生成并任选地显示额外信息，例如指示解剖视图的拟合优度的信息，识别用于旋转/重新切片3d解剖模型的方向的信息，其指示应当穿过以捕捉到一个或多个最靠近的可用标准视图的方向。
87.因此，可以通过处理用于3d表示和3d界标模型的当前参数来提供用于帮助用户控制和理解他们的输入以实现期望的解剖视图的辅助信息。
88.在一些实施例中，解剖结构展现循环运动。例如，解剖结构可以包括心脏或肺。图像数据191可以包括在循环运动的至少一个整个周期上，例如在至少一个心动周期或至少一个呼吸周期上捕获的图像数据。一个或多个图像集193然后各自包括表示循环运动的至少一个整个周期的2d图像序列。在每个图像集中的每幅图像中识别一个或多个预定解剖界标，使得在整个周期上跟踪解剖界标。
89.以这种方式，3d界标模型可以随着时间而有效地跟踪3d解剖模型的解剖界标的位置。该信息可以被用于控制由3d解剖模型表示的解剖结构的3d表示的绘制，例如在周期中的特定点处绘制3d表示。
90.图2示出了从心动周期上的超声图像数据获得的胎儿心脏的2d图像200的集合。该集合表示胎儿心脏在心动周期的不同阶段处的四腔视图，其中，跨阶段跟踪了12个解剖界标。点201和202是二尖瓣和三尖瓣的中点，点203是心脏的核心，点204和205是二尖瓣和三尖瓣的端点，点206是脊柱，点207是主动脉，点208是心尖，点209和210是左心房和右心房，并且点211和212是左心室和右心室。
91.可以从相同的超声成像数据获得另外的2d图像集，其各自表示不同的预定视图。例如，可以从超声图像数据中获得对应于左心室流出道视图、右心室流出道视图、三血管视图、三血管和气管视图、腹部部位视图、主动脉弓视图和/或导管弓视图的另外的2d图像集。可以在心动周期的所有阶段上跟踪在每个2d图像集中可见的解剖界标。跨所有视图的跟踪点可以被映射到3d坐标以生成3d界标模型。
92.图3示出了应用不同绘制参数的四腔视图中的心脏的左心室的视图。可以使用3d界标模型调节或定义用于图3中所示的视图的查看参数，例如，以改进可视化或确保实现期
望的视图。
93.用于3d绘制的切割平面被定位在动脉-心室瓣膜的任一侧。查看方向根据虚拟相机的位置、取向和焦点来定义。相机的视图向上向量从左心房到左心室关键点取向。投影方向与视图向上向量正交取向，并且轴平面由心室的中心定义。焦点是左心室的中心。相机被定位为实现视角达到左心室与右心室之间的距离的两倍。
94.在该示例中，解剖特征的位置被用于定义查看参数(即(一个或多个)切割平面和查看方向)。这些位置是基于通过处理识别的解剖界标生成的3d界标模型来确定的，如上文所描述的。因此，3d表示的绘制基于3d界标模型。
95.图像310、320和330示出了利用不同的照明参数绘制的左心室的视图。在图像310中，利用环境光照射左心室。在图像320和330中，额外的点光源被放置在左心室中，其点光方向正交于轴平面并且对准左心室关键点。在图像320中，点光截止被设置在左心室与右心室之间的距离的四分之一处，如所识别的解剖界标给出的；在图像330中，截止被设置在左心室与右心室之间的距离的一半处。
96.光源的位置和性质也基于3d界标模型确定。
97.图像340、350和360示出了利用不同的材料性质绘制的左心室的视图。图像370示出了应用了球形阴影的左心室的视图。图像380示出了应用了表面绘制的左心室的视图。
98.对于展现循环运动的解剖结构(诸如心脏)的可视化，在整个周期上跟踪所识别的解剖界标允许在周期中的期望点处显示解剖结构的3d表示。因此，解剖结构的3d表示可以表示周期中的特定点处的解剖结构，其中，通过使用3d界标模型跟踪解剖界标的运动来检测特定点。
99.换句话说，3d解剖模型可以在预定周期内跟踪解剖界标在3d坐标空间中的位置。类似地，3d模型也可以在相同的预定周期上改变。可以执行3d解剖模型的绘制以在周期中的特定点处绘制3d解剖模型，其中，该特定点是基于3d解剖模式来选择的。
100.在一些示例中，可以基于周期中的点来定义或改变用于3d表示的一个或多个绘制参数。例如，用于照明解剖特征的点光的位置可以随着解剖特征的位置在整个周期中变化而变化(例如如由3d界标模型所跟踪的)。
101.图4示出了二尖瓣和三尖瓣从瓣膜打开(图像410)到关闭(图像430)的视图。对应于图2中所示的二尖瓣和三尖瓣的中点的跟踪点201和202可以被用于选择心动周期中的一个或多个适当点处的视图帧。
102.以这种方式，绘制的3d表示可以在解剖结构的周期中的特定点处提供期望的解剖结构的3d表示。该方法可以提供更有用的图像以用于评估患者的状况，例如通过在解剖结构的周期中的临床有用点处自动“冻结”3d解剖结构的绘制。
103.所提出的用于使用3d界标模型和3d解剖模型绘制3d表示的方法可以被用于创建引导查看工作流程。引导查看工作流程可以被设计为符合临床指南，例如用于评估或诊断个体。
104.例如，引导查看工作流程可以符合用于胎儿超声扫描的isuog指南。引导胎儿心脏检查可以通过显示胎儿心脏的四腔视图的3d可视化开始，跟随有左心室流出道视图、右心室流出道视图、三血管视图、三血管和气管视图的3d可视化以及瓣膜、隔膜等的检查。所提出的用于使用3d界标模型和3d解剖模型的方法可以被用于适当地定义(使用3d界标模型)
用于绘制3d解剖模型以实现每个视图的适合的绘制参数。
105.在一些示例中，由指南的集合规定的每个视图的可视化然后可以自动添加书签并保存，以获得每个结构的可搜索视图。可以使用适合的绘制参数(切割平面、查看参数、照明参数等)生成添加书签的可视化，以用于优化要在该视图中评价的结构的显示，如上文所描述的。以这种方式，可以自动生成对应于由指南的集合所要求的可视化的最佳可视化的集合。然后，用户可以简单地从要显示的添加书签的可视化中选择期望的解剖特征或视图。
106.3d界标模型可以被用于自动化具有所显示的3d表示的多平面重新格式化(mpr)交互。多平面重新格式化要求仔细调节mpr平面以达到期望的平面。在历史上，操作者将需要操作x、y和z旋钮以及平行移位旋钮来平移和旋转平面并调节平面的枢轴点。这很麻烦，并且要求熟练的操作者。
107.mpr交互可以通过基于在3d界标模型中识别的解剖界标放置枢轴点(用于3d解剖模型)来自动化。可以以这种方式针对特定视图自动优化(一个或多个)枢轴点。例如，关于心脏的四腔视图的交互最好在mpr平面以心脏的核心为中心的情况下执行，而关于三血管视图或三血管和气管视图的交互最好在mpr平面以主动脉为中心的情况下执行。mpr平面的范围可以通过使用3d界标模型来确定定义每个视图的极限的切割平面来为每个视图自动定义。对于展现循环运动的解剖结构，可以在周期中最适合的点处呈现视图。
108.例如，如上文所描述的所生成的3d解剖模型和3d界标模型可以被用于生成可见平面的集合。可以向用户显示可见平面的列表，以供用户选择期望的平面。通过定义平面的旋转的中心以及切割平面的平移和旋转的范围，自动应用针对选择的平面的交互约束，使得在mpr交互期间获得的任何视图对应于所选择的视图。对于展现循环运动的解剖结构，自动约束也可以是时间的，以使得能够显示动态mpr。例如，显示可以限于解剖结构的一个周期。
109.3d界标模型可以在mpr辅助工具中使用。例如，用户可以自由地与显示的3d表示交互，从而旋转和调节切割平面，并且可以在重新剪切的图像的显示旁边显示额外信息。额外信息可以包括例如正在显示的视图的类型、视图的拟合优度的指示、正在显示的视图的平面范围、以及引导用户到一个或多个最接近的可用标准视图的方向标记。可以基于3d界标模型来确定额外信息。例如，可以基于哪些解剖界标是可见的以及它们的位置来确定正在显示的视图的类型。
110.在另一示例中，3d界标模型可以被用于生成个性化模型，其可以在实况重新切片期间叠加在切割视图上。例如，可以通过使用薄板样条翘曲变换使理想模型变形来生成个性化模型，其中，理想模型上的关键点作为源界标，并且3d界标模型的解剖界标作为目标界标。任何适合的增强现实技术可以被用于将个性化模型叠加在切割视图上。例如，个性化模型可以被叠加为表面绘制。
111.图5图示了系统500，系统500包括根据本发明的实施例的处理系统510，以及存储器520和输出显示器530。处理系统510被设计用于生成和显示个体的解剖结构的3d表示。
112.处理系统510被配置为获得解剖结构的图像数据。例如，可以从存储器520或直接从图像数据生成器(例如诸如超声扫描器的成像系统)获得图像数据。
113.处理系统还被配置为处理图像数据以生成解剖结构的3d解剖模型；并且处理图像数据和/或3d解剖模型以获得一幅或多幅2d图像的一个或多个集合，所识别的一幅或多幅2d图像的每个集合表示解剖结构的不同预定视图。
114.处理系统510还被配置为识别一幅或多幅2d图像的每个集合中的一个或多个预定解剖界标；并且处理一个或多个预定解剖界标以生成3d界标模型。
115.处理系统510还被配置为处理3d解剖模型和3d界标模型以在输出显示器530处绘制和显示解剖结构的3d表示。
116.例如，输出显示器530可以包括监测器或屏幕，其被配置为提供如由处理系统510提供的解剖结构的3d表示的视觉输出。
117.技术人员将容易能够开发用于执行本文所描述的任何方法的处理系统。因此，流程图的每个步骤可以表示由处理系统执行的不同动作，并且可以由处理系统的相应模块执行。
118.处理系统可以利用软件和/或硬件以许多方式实施以执行要求的各种功能。(微)处理器是采用可以使用软件(例如，微代码)编程以执行所要求的功能的一个或多个微处理器的处理系统的一个示例。然而，处理系统可以在有或没有采用处理器的情况下实施，并且还可以被实施为执行一些功能的专用硬件和执行其他功能的处理器(例如，一个或多个可编程微处理器和相关联的电路)的组合。
119.通过研究附图、说明书和所附权利要求书，本领域的技术人员在实践请求保护的本发明时可以理解和实现所公开的实施例的变型。在权利要求中，词语“包括”不排除其他元件或者步骤，并且词语“一”或“一个”不排除多个。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。
120.单个处理器或其他单元可以实现权利要求中记载的若干项的功能。计算机程序可以被存储/被分布在适合的介质上，诸如与其他硬件一起或作为其他硬件的部分提供的光学存储介质或固态介质上，但是其也可以以其他形式分布，诸如经由因特网或其他有线或无线电信系统分布。
121.如果术语“适于”被使用在权利要求或说明书中，则应注意，术语“适于”旨在等效于术语“被配置为”。权利要求中的任何附图标记不应当被解释为对范围的限制。

技术特征：
1.一种生成和显示个体的解剖结构的3d表示的计算机实施的方法(100)，所述计算机实施的方法包括：获得(110)所述解剖结构的图像数据(191)；处理(120)所述图像数据以生成所述解剖结构的3d解剖模型(192)；处理(130)所述图像数据和/或所述3d解剖模型以获得一幅或多幅2d图像(193)的一个或多个集合，所识别的一幅或多幅2d图像的每个集合表示所述解剖结构的不同预定视图；识别(140)一幅或多幅2d图像的每个集合中的一个或多个预定解剖界标；处理(150)所述一个或多个预定解剖界标以生成3d界标模型(194)；并且处理(160)所述3d解剖模型和所述3d界标模型以在输出显示器(530)处绘制和显示所述解剖结构的3d表示。2.根据权利要求1所述的计算机实施的方法，其中：所述图像数据包括在所述解剖结构的循环运动的至少一个周期上捕获的所述解剖结构的图像数据；一幅或多幅2d图像的每个集合包括2d图像序列，所述2d图像序列表示所述解剖结构的所述循环运动的至少一个周期；并且处理所述一个或多个预定解剖界标的步骤包括：在每个2d图像序列中跟踪一个或多个预定界标；并且基于在每个2d图像序列中所跟踪的一个或多个预定界标来生成所述3d界标模型。3.根据权利要求1或2中的任一项所述的计算机实施的方法，其中，处理所述3d解剖模型和所述3d界标模型的步骤包括基于所述3d界标模型来定义至少一个绘制参数，其中，所述至少一个绘制参数包括以下各项中的一项或多项：所绘制的3d表示的切割平面；所绘制的3d表示的查看方向；所绘制的3d表示的照明参数；所绘制的3d表示的一个或多个纹理；和/或所绘制的3d表示的一种或多种颜色。4.根据权利要求1至3中的任一项所述的计算机实施的方法，其中，处理所述一个或多个预定解剖界标的步骤包括将一幅或多幅2d图像的每个集合中的所述一个或多个预定界标映射到3d坐标系，从而生成3d界标模型。5.根据权利要求1至4中的任一项所述的计算机实施的方法，其中，显示所述解剖结构的所述3d表示的步骤包括：在相同的3d坐标空间中将所述3d界标模型与所述3d表示配准；并且基于所述解剖结构的所述3d界标模型来控制所述解剖结构的所述3d表示的所述绘制。6.根据权利要求1至5中的任一项所述的计算机实施的方法，其中，绘制和显示所述解剖结构的所述3d表示的步骤包括：基于所述3d界标模型和期望的解剖特征和/或解剖视图来定义针对所述解剖结构的所述3d表示的查看方向；并且基于所定义的查看方向来绘制和显示所述解剖结构的所述3d表示。7.根据权利要求1至6中的任一项所述的计算机实施的方法，其中，绘制和显示所述解剖结构的所述3d表示的步骤包括：基于所述3d界标模型和期望的解剖特征和/或解剖视图来定义针对所述解剖结构的所述3d表示的一个或多个切割平面；并且
基于一个或多个定义的切割平面来绘制和显示所述解剖结构的所述3d表示。8.根据权利要求6或7所述的计算机实施的方法，还包括在用户接口处接收指示所述期望的解剖特征或所述解剖视图的第一用户输入的步骤。9.根据权利要求6至8中的任一项所述的计算机实施的方法，其中，所述期望的解剖特征和/或解剖视图是所述解剖结构的多个预定解剖视图中的一个。10.根据权利要求1至9中的任一项所述的计算实现的方法，其中，绘制和显示所述解剖结构的所述3d表示的步骤包括：在用户接口处接收第二用户输入，所述第二用户输入指示针对所述解剖结构的所述3d表示的一个或多个期望的查看方向和/或切割平面；基于接收到的第二用户输入来绘制和显示所述解剖结构的所述3d表示；使用所述3d界标模型来预测由所显示的所述解剖结构的3d表示提供的所述解剖特征和/或解剖视图；并且显示关于由所显示的所述解剖结构的3d表示提供的所预测的解剖特征和/或解剖视图的信息。11.根据权利要求1至10中的任一项所述的计算机实施的方法，其中，所述解剖结构是心脏。12.根据权利要求11所述的计算机实施的方法，其中，所识别的一幅或多幅2d图像的每个集合表示以下各项中的不同一项：四腔视图；左心室流出道视图；右心室流出道视图；三血管视图；三血管和气管视图；腹部部位视图；主动脉弓视图；和/或导管弓视图。13.根据权利要求1至12中的任一项所述的计算机实施的方法，其中，处理所述图像数据和/或所述3d解剖模型的步骤包括使用机器学习方法来处理所述图像数据和/或所述3d解剖模型，以识别一幅或多幅2d图像的一个或多个集合。14.一种包括计算机程序代码模块的计算机程序产品，所述计算机程序代码模块当在具有处理系统的计算设备上运行时，使所述处理系统执行根据权利要求1至13中的任一项所述的方法的所有步骤。15.一种用于生成和显示个体的解剖结构的3d表示的处理系统(510)，所述处理系统被配置为：获得(110)所述解剖结构的图像数据(191)；处理(130)所述图像数据以生成所述解剖结构的3d解剖模型(192)；处理(140)所述图像数据和/或所述3d解剖模型以获得一幅或多幅2d图像的一个或多个集合，所识别的一幅或多幅2d图像的每个集合表示所述解剖结构的不同预定视图；识别(150)一幅或多幅2d图像的每个集合中的一个或多个预定解剖界标；处理(160)所述一个或多个预定解剖界标以生成3d界标模型；并且处理(170)所述3d解剖模型和所述3d界标模型以在输出显示器(530)处绘制和显示所述解剖结构的3d表示。

技术总结
提出了一种用于生成和显示个体的解剖结构的3D表示的机制。获得并处理所述解剖结构的图像数据，以获得对应于所述解剖结构的预定视图的2D图像或图像序列。解剖界标在2D图像或图像序列中被识别并被用于确定所述解剖结构的3D界标模型。所述3D界标模型被用于绘制和显示所述解剖结构的3D表示。所述解剖结构的3D表示。所述解剖结构的3D表示。


技术研发人员：K
受保护的技术使用者：皇家飞利浦有限公司
技术研发日：2021.11.01
技术公布日：2023/8/24