解剖结构的3D表示的引导式采集的制作方法

解剖结构的3d表示的引导式采集
技术领域
1.本发明涉及3d成像领域，并且具体地涉及用于3d成像系统的引导机制。


背景技术：

2.先天性心脏病(chd)是出生缺陷的最常见类型之一，影响百分之一的活产。chd在胎儿期可能无症状，但在出生后会引起显著的发病率和死亡率。chd被诊断得越早，出生时的结果和治疗选择越好。特别是，针对特定chd病变的有效子宫内治疗(诸如针对左心发育不全综合征的子宫内主动脉瓣成形术)正变得越来越可用，并且已经示出显著改进疾病的自然病史和预后。
3.然而，这些潜在的益处依赖于chd准确的胎儿超声诊断。已经认识到，在社区中chd的胎儿诊断率在30-50％的区域内，甚至其中胎儿超声在发达国家中是普遍的。然而，理论上，对胎儿心脏的彻底筛查应当能够检测90％的异常。
4.这种诊断差距的主要原因是在采集右心平面和解读胎儿心脏图像方面不足/不均匀的专业知识。这被认为主要是由于小且快速跳动的胎儿心脏所呈现的诊断挑战、以及由于护理提供者之中对每种特定类型的先天性心脏病的相对低暴露。心脏病的迹象通常是微妙的，可以触及心脏内的各种结构(诸如瓣膜、隔膜、心肌等)，并且以多种形式/关联(法洛四联症)存在，从而需要仔细靶向的检查。
5.因此，需要胎儿心脏的直观、精确、动态且交互式显示，以有助于识别心脏异常。
6.us2019/200964a1公开了一种用于基于器官的超声图像和探头位置数据来生成患者特异性器官模型的系统和方法。
7.us2006/241445a1公开了一种用于基于超声传感器的测量位置和取向坐标以及所采集的超声图像中的感兴趣轮廓来对解剖结构进行建模的方法。


技术实现要素：

8.本发明由权利要求限定。
9.根据依据本发明的一个方面的示例，提供了一种引导个体的解剖结构的成像过程的计算机实施的方法。所述计算机实施的方法包括：从具有成像探头的成像系统获得所述解剖结构的图像数据；处理所述图像数据以获得一幅或多幅2d图像的一个或多个集合，一幅或多幅2d图像的每个识别的集合表示所述解剖结构的不同预定视图；识别一幅或多幅2d图像的每个集合中的一个或多个预定解剖界标；处理所述一个或多个预定解剖界标以生成3d界标模型；并且通过处理所述3d界标模型来确定所述成像探头的当前取向和/或位置是否在相对于所述成像探头的期望取向和/或位置的预定范围内。。
10.本公开提供了一种用于辅助或引导临床医师利用成像探头执行成像过程的机制。这通过使用识别(从图像数据获得的)解剖界标在3d空间中的相对位置的3d界标模型或“姿态模型”来实现。这有助于识别是否已经实现了成像探头的期望取向/位置，例如，通过识别解剖界标是否在预期位置处和/或成像探头的视场是否与期望视场匹配(例如，由探头成像
的体积/区域是否与要成像的期望体积/区域匹配)以及其他方法。
11.确定成像探头的取向和/或位置是否在预定范围内有利于帮助引导成像过程，例如帮助执行成像过程以捕获解剖结构的期望角度或图像的任务的执行。
12.通过示例，当使用时空图像相关(stic)技术进行成像时，从某个位置(或在位置的特定范围内)开始成像以进行有效且准确的成像是有益的。例如，在胎儿心脏监测期间，重要的是对胎儿的足够范围进行成像，以便获得临床上有用的图像，并且适当起始位置的选择确定是否可以获得合适的范围。
13.此外，(用于超声成像系统的)适当声穿透角度的选择有益于减少解剖结构的超声图像中的阴影伪影，诸如(如果对胎儿心脏进行成像)来自胎儿脊柱和肋骨的阴影伪影。
14.优选地，处理所述一个或多个预定解剖界标的步骤包括将一幅或多幅2d图像的每个集合中的所述一个或多个预定界标映射到3d坐标系，从而生成3d界标模型。以这种方式，3d界标模型定义了一个或多个预定界标在3d坐标系中的位置。
15.优选地，一个或多个预定界标包括多个预定界标。在一些示例中，可以在一幅或多幅2d图像的每个集合中识别一个或多个预定界标的不同集合。
16.所述方法还可以包括处理所述3d界标模型以针对所述成像探头确定相对于所述解剖结构的期望取向和/或位置的步骤。解剖界标表示解剖结构的关键特征的位置。可以基于解剖结构的关键特征的期望位置来确定期望取向和/或位置。该方法有利地意味着期望取向和/或位置可以针对经历成像的个体特别地适配或个性化。
17.所述方法还可以包括获得指示用于成像的期望解剖特征的用户输入，其中，处理所述3d界标模型以确定期望取向和/或位置的步骤包括处理所述3d界标模型以基于用于成像的所述期望解剖特征来识别期望取向和/或位置。
18.所述方法还可以包括：响应于确定所述成像探头的所述当前取向和/或位置不在所述预定范围内而基于所识别的所述成像探头的当前取向和/或位置来生成引导信息，所述引导信息用于将所述成像探头移动到所述成像探头相对于所述解剖结构的期望取向和/或位置。
19.在一些实施例中，所述方法包括响应于引导信息而提供用户可感知的输出。例如，所述方法可以包括提供成像探头应当移动的方向的视觉指示器，以将成像探头与期望取向和/或位置对准。该方法提供了一种机制，通过该机制，可以通过使用引导式人机交互过程来实现改进的成像过程的执行。
20.所述方法可以包括：响应于确定所述成像探头的所述当前取向和/或位置在所述预定范围内而向所述成像系统发送触发信号以触发对所述解剖结构的不同的第二图像数据的采集。
21.因此，成像系统可以响应于成像探头的取向和/或方向位于预定范围内而被触发以采集图像数据。这意味着当成像探头处于最适当或期望位置时，成像系统可以开始自动获得图像数据。
22.优选地，所述成像系统是超声成像系统，并且所述第二图像数据是使用时空图像相关技术获得的图像数据。在一些示例中，第一图像数据可以是不是使用时空图像相关(stic)技术获得的图像数据，以在达到期望取向/位置之前节省处理功率和能量。本发明特别适合于在用于采集stic数据时进行控制，因为stic数据的准确性和/或适用性在成像过
程期间对起始位置特别敏感。
23.所述方法还可以包括：响应于确定所述成像探头的所述当前取向和/或位置在所述预定范围内而提供用户可感知的输出。该用户可感知的输出可以包括音频、视觉或触觉反馈。该信息提供用于帮助用户执行成像过程的临床上有用的信息，例如，通过提供指示成像探头何时处于合适位置的信息。例如，用户可以通过开始或发起成像过程来对用户可感知的输出作出响应。
24.还提出了一种引导个体的解剖结构的成像过程的计算机实施的方法，所述方法包括：迭代地重复任何先前描述的方法，直到所述成像探头的所述当前取向和/或位置在所述预定范围内。
25.还提出了一种引导个体的解剖结构的成像过程的计算机实施的方法，所述计算机实施的方法包括迭代地执行以下操作，直到所述成像探头的所述当前取向和/或位置在所述预定范围内：执行根据权利要求1至8中的任一项所述的方法(即，任何先前描述的引导成像过程的方法)；使用位置和/或取向传感器来跟踪所述成像探头的后续移动；并且基于所跟踪的移动来迭代地预测所述成像探头的所述取向和/或位置是否在相对于所述成像探头的所述期望取向和/或位置的所述预定范围内，直到所预测的所述成像探头的取向和/或位置在所述预定范围内。
26.在优选示例中，所述解剖结构是心脏。至少由于用于识别心脏的解剖界标的技术的复杂性和胎儿心脏异常的早期识别的益处，本公开特别适合于心脏并且特别是胎儿心脏的分析。然而，其他合适的解剖结构对于本领域技术人员是显而易见的，例如脑、肺、肾或其他器官。
27.在一些示例中，一幅或多幅2d图像的每个识别的集合表示以下各项中的不同的一项：四腔室视图、左心室流出道视图；右心室流出道视图；三血管视图；三血管和气管视图；腹部部位视图；主动脉弓视图；和/或导管弓视图。
28.在一些示例中，处理所述图像数据的步骤包括使用机器学习方法处理所述图像数据以识别一幅或多幅2d图像的一个或多个集合。
29.还提出了一种包括计算机程序代码模块的计算机程序产品，所述计算机程序代码模块当在具有处理系统的计算设备上运行时，使所述处理系统执行本文描述的任何方法的所有步骤。
30.还提出了一种用于引导个体的解剖结构的成像过程的处理系统。
31.所述处理系统被配置为：从具有成像探头的成像系统获得所述解剖结构的图像数据；处理所述图像数据以获得一幅或多幅2d图像的一个或多个集合，一幅或多幅2d图像的每个识别的集合表示所述解剖结构的不同预定视图；识别一幅或多幅2d图像的每个集合中的一个或多个预定解剖界标；处理所述一个或多个预定解剖界标以生成3d界标模型；并且通过处理所述3d界标模型来确定所述成像探头的当前取向和/或位置是否在相对于所述成像探头的期望取向和/或位置的预定范围内。
32.处理系统可以适合于执行本文描述的任何方法，并且可以被相应地适配。类似地，本文描述的任何方法经必要修改后可以适合于执行结合处理系统描述的任何步骤。
33.本领域技术人员将能够容易地使本文描述的任何处理系统适合于执行本文描述任何方法。类似地，本领域技术人员将能够容易地使本文描述的任何方法适合于执行本文
描述的任何处理系统的操作。
34.本发明的这些和其他方面将根据下文描述的(一个或多个)实施例而显而易见并将参考下文描述的(一个或多个)实施例得到阐述。
附图说明
35.为了更好地理解本发明并且更清楚地示出其可以如何实施，现在将仅通过示例对附图进行参考，其中：
36.图1图示了根据实施例的方法；
37.图2和图3两者图示了解剖结构的当前成像体积和期望成像体积；
38.图4图示了根据实施例的方法；
39.图5图示了根据实施例的包括处理系统的系统；
40.图6图示了从心动周期上的超声图像数据获得的胎儿心脏的2d图像的集合；并且
41.图7图示了处理系统。
具体实施方式
42.将参考附图来描述本发明。
43.应当理解，详细描述和特定示例当指示装置、系统和方法的示例性实施例时旨在仅出于图示的目的并且不旨在限制本发明的范围。本发明的装置、系统和方法的这些和其他特征、方面和优点将从以下描述、权利要求书和附图变得更好理解。应当理解，附图仅仅是示意性的并且未按比例绘制。还应当理解，相同的附图标记贯穿附图被用于指示相同或相似的部分。
44.本发明提供了一种用于确定成像探头(诸如超声成像探头)是否相对于解剖结构在期望取向和/或位置处的机制。处理成像探头的图像数据以生成包含解剖结构的解剖界标的3d界标模型。然后处理3d界标模型以确定成像探头是否在期望取向和/或位置处。
45.本公开基于从由成像探头获得的图像数据生成的3d界标模型随着成像探头的取向和/或位置改变而改变的实现。因此，通过处理已知解剖界标的位置，可以作出关于成像探头是否处于期望取向和/或位置(即，在期望取向和/或位置的预定范围内)的确定。
46.例如，可以在超声成像过程(诸如针对胎儿心脏分析执行的那些超声成像过程)中采用实施例。实施例对于发起或确定用于执行图像数据的stic采集的起始位置是特别有利的。
47.为了理解本公开的基本概念，图1示意性地图示了包括由实施例执行的方法100的工作流程10。工作流程10和方法100两者都表示本发明概念的实施例。
48.在步骤110中获得解剖结构的图像数据191。因此，图像数据是医学图像数据，诸如超声图像数据、磁共振图像数据、计算机断层摄影图像数据、x射线图像数据等。图像数据是当被处理时可以产生解剖结构的3d图像或3d表示的任何数据。
49.图像数据是从成像系统获得的，该成像系统采用成像探头(诸如超声探头)来获得图像数据。可以想到，可以采用其他形式的定向成像系统，诸如x射线扫描器、ct扫描器或mri扫描器。图像数据可以包括例如低分辨率3d数据，例如当使用成像探头执行解剖结构的快速扫掠时获得的数据。
50.在成像探头相对于解剖结构处于相同位置或方位时，即在成像探头静止时，获得图像数据。例如，对于超声成像，其中，超声探头由临床医师保持在对象的表面上的同一点处。在这种情况下，图像数据191可以是通过使用静止成像探头执行3d超声图像采集过程而获得的图像数据，该静止成像探头获得3d超声图像和/或2d超声图像序列(能够表示3d成像体积)。在图像数据包括超声数据的情况下，这可以通过成像探头在不同方向上发射超声脉冲并监测对不同方向的超声脉冲的响应来执行。
51.因此，成像探头的位置和/或取向限定了成像探头的当前/目前成像体积，即，当前由成像探头成像的区域/体积。因此，图像数据表示由(静止)成像探头成像的当前/目前成像体积的图像数据，并且可以包括超声图像数据。
52.图像数据可以例如包括通过执行解剖结构的粗略3d扫描(即，不以成像系统的最高可能质量执行的扫描)而获得的图像数据。
53.该方法还执行从图像数据191获得一个或多个(2d)图像集合193的步骤130。每个图像集合193包括来自特定解剖视点的解剖结构的一幅或多幅2d图像，使得每个图像集合提供解剖结构的不同解剖视点。来自特定解剖视点的图像提供解剖结构的特定视图的图像。提供心脏的四腔室心脏视图的图像是从特定解剖视点拍摄的图像的示例，但是其他示例对于本领域技术人员而言将是显而易见的。
54.在步骤130中，通过处理图像数据191来获得一个或多个图像集合193。在一个示例中，使用分类器或机器学习方法(例如，(卷积)神经网络或其他机器学习方法)来对图像数据的2d图像或2d切片进行分类，以识别来自特定解剖视点的图像。在另一示例中，处理标记图像(例如，在成像过程期间由临床医师标记的图像)，以基于每幅图像的标记来识别来自特定解剖视点的图像。
55.然后，在步骤140中，处理一个或多个图像集合193，以识别一幅或多幅2d图像的每个集合中的解剖界标(“界标点”或“关键点”)。解剖界标是个体的解剖结构的点，其在个体的物种内表现出同源性，但是关于不同的个体可以不同，例如，二尖瓣点、卵圆窝的位置、主动脉瓣的位置等。
56.一幅或多幅2d图像的每个集合中识别的解剖界标可以取决于2d图像的集合的解剖视点而不同，例如，因为可以知道哪些解剖界标应该存在以用于某些解剖视点。过程140可以包括图像分割过程，以识别每幅2d图像中的一个或多个预定解剖界标。用于(自动)识别2d医学图像中的解剖界标的方法是广泛已知的，并且可以采用机器学习方法、分类器和/或边缘检测技术。
57.然后，在步骤150中，对所识别的解剖界标进行处理，以生成3d界标模型194。特别地，所识别的界标可以被映射到3d坐标空间中以生成3d界标模型。这是可实现的，因为图像集中的每幅图像的解剖视点是已知的(即图像集的图像与3d空间之间的关系是已知的)。以这种方式，解剖界标可以直接映射到3d坐标中或相对于3d坐标进行配准，从而给出具有以3d映射的关键解剖特征/接合部的患者特异性3d界标模型。
58.3d界标模型可以例如包括定义每个解剖界标在3d坐标空间中的坐标的信息。
59.3d界标模型表示相对于成像探头的特定位置和/或取向的解剖界标的位置。因此，3d界标模型(和其中包含的解剖界标)在3d空间中的位置和/或取向本质上与成像探头的位置和/或取向有关。将理解，如果成像探头被移动，并且根据从移动的成像探头获得的新成
像数据构建新3d界标模型，则3d界标模型的位置和/或取向本身将改变。
60.例如，如果成像探头被移动，则每个解剖界标的3d坐标位置可以改变。
61.因此，3d界标模型的取向和/或位置随着与成像探头的位置和/或取向有关的成像探头的当前成像体积改变而改变。
62.然后，方法100执行通过处理3d界标模型来确定成像探头的当前取向和/或位置是否在相对于成像探头的期望取向和/或位置的预定范围内的步骤160。
63.如先前所解释的，成像探头的位置和/或取向与3d界标模型之间的空间关系是已知的。这是因为3d界标模型是根据由成像探头生成的成像数据构建的。在概念上，该空间关系是已知的，因为3d界标模型表示在步骤110中获得的成像数据191中的解剖界标的位置。该关系有助于识别成像探头的位置和/或取向是否在期望位置和/或取向的范围内。
64.在一些示例中，步骤160可以包括通过处理3d界标模型来识别成像探头的期望取向和/或位置的步骤165。这可以例如通过识别3d界标模型的解剖界标之间的期望空间关系并识别将实现该期望空间关系的成像探头的取向和/或位置来执行。
65.例如，成像探头的期望取向和/或位置可以是将从某个视点对解剖结构的特定预定体积进行成像的期望取向和/或位置。该预定体积将与解剖界标的预定期望位置相关联，不同解剖界标之间具有预定空间关系。可以在3d界标模型的解剖界标周围拟合表示期望成像体积的框或预定形状，以识别3d界标模型的期望取向。
66.仅作为示例，如果解剖结构是心脏，并且成像探头的期望取向和/或位置是实现四腔室视图的取向和/或位置，则期望取向和/或位置可以是解剖界标以特定配置定位以实现四腔室视图的位置。
67.在一些示例中，步骤165可以包括通过处理3d界标模型来识别期望成像体积。这可以通过处理3d界标模型以识别将解剖界标定位在期望位置和/或具有相对于彼此的期望空间关系的成像体积来执行。期望成像体积本质上与成像探头的期望位置和/或取向(其定义由探头成像的成像体积)有关。
68.该期望成像体积可以用于确定当前成像体积是否位于相对于期望成像体积的预定范围内，并且因此确定成像探头的当前位置和/或取向是否位于成像探头的期望位置和/或取向的预定范围内。换句话说，可以作出关于当前成像体积是否与期望成像体积对准的评估。
69.在一些实施例中，步骤165包括获得指示用于成像的期望解剖特征或期望视图(点)的用户输入，并且期望取向和/或位置包括处理3d界标模型以基于用于成像的期望解剖特征或视图(点)来识别期望取向和/或位置(即，使得当从成像探头的期望取向和/或位置成像时将对期望解剖特征进行成像，或使得实现期望视图)。步骤165可以包括处理用户输入以确定期望解剖特征或视图(点)，并且基于期望解剖特征或视图(点)来识别成像探头的期望位置和/或取向(例如，根据最佳的已知医学实践，其可以在查找表或其他合适的映射系统中阐述)。期望解剖特征可以例如是用于多普勒门控的特定解剖特征(例如，在随后的多普勒成像过程中要评估的特征)。
70.根据期望成像过程，可以指示任何合适的期望解剖特征。例如，对于颅脑成像，期望解剖特征可以是willis环或胼胝体，例如用于胼胝体的发育不全的评估。在其他示例中，例如对于心脏成像，期望解剖特征可以包括心脏的期望视图，例如四腔室视图。
71.在一些示例中，成像探头的期望取向和/或位置是预定的和/或预设的，例如，以根据医学标准或针对特定成像系统来定义位置和/或位置或未来成像。作为示例，成像系统可以被专门设计用于胎儿心脏超声，并且期望取向和/或位置可以被预先确定为是用于发起成像过程(诸如stic采集过程)的临床上最适当的位置(根据已知的医学研究)。
72.在一些示例中，步骤160包括确定将3d界标模型重新定位在期望位置/旋转处所需的3d界标模型的修改或变换(例如平移和/或旋转)。这有效地定义了成像探头应当如何移动以被定位和/或取向为使得如果获得新的成像数据并根据新的成像数据构建新的3d界标模型，则新的3d界标模型将被取向和/或定位在期望位置/旋转处。
73.因此，3d界标模型可以用于有效地确定3d界标模型(并且因此成像探头)的当前位置和/或取向与3d界标模型的期望位置和/或取向之间的误差。该信息可以用于确定成像探头的位置和/或取向是否在期望位置和/或取向的范围内。该信息还可以用于提供关于如何修改成像探头的位置和/或取向以达到期望位置和/或取向的引导。
74.因此，步骤160可以包括确定期望取向和当前取向之间的差异的步骤167。所确定的差异是表示当前取向和/或位置与期望取向和/或位置之间的所需差异的数值或度量。这可以例如通过确定所需的取向变化(例如，以度或弧度为单位)和/或位置变化(例如，距离测量)来执行。
75.例如，步骤167可以包括确定需要应用于界标模型以将界标模型与界标模型的期望位置和/或取向对准(即使得解剖界标相对于彼此定位在期望位置和/或方位处)的变换。该变换定义了所需的成像探头的位置和/或取向变化，因为界标模型的位置和/或取向与成像探头的位置和/或取向被关联(例如，通过预定的和/或已知的关系)。
76.出于步骤167的目的，可以使用这些参数的一些组合来定义差异。
77.步骤160还可以包括确定成像探头的当前位置和/或取向是否在相对于成像探头的期望位置和/或取向的预定范围内的步骤169。这可以例如通过确定所确定的差异(例如，在步骤167中计算)是否超过或违反某个预定阈值来实现。
78.在另一示例中，步骤160可以包括确定3d界标模型是否在针对3d界标模型的期望图案的预定范围内，例如，以确定3d界标模型是否展示出成像探头相对于解剖结构在期望位置和/或取向处。
79.在可以在3d界标模型包括定义多个解剖界标在3d坐标空间中的坐标的信息的情况下采用的一个示例中，步骤160可以包括针对每个解剖界标确定解剖界标的位置与参考位置(表示针对成像探头的期望位置和/或取向的解剖界标在3d坐标空间中的位置)之间的距离。平均距离可以用作成像探头的当前位置和/或取向与成像探头的期望位置和/或取向之间的误差的度量。如果该误差度量超过某个预定阈值，则这指示成像探头不位于成像探头的期望位置和/或取向的预定范围内。
80.图2和3概念性地图示了用于确定成像探头的当前取向和/或位置是否在相对于成像探头的期望取向和/或位置的预定范围内的示例过程。
81.特别地，图2图示了3d界标模型210(被示出为3d界标模型的2d投影)。3d界标模型根据如前所述的成像数据来构建。3d界标模型由此定义了当前成像体积220，即其反映成像探头的当前位置和/或取向。特别地，3d界标模型的一个表面(例如，为了超声成像起见，表示成像体积的平截头体的最上表面)可以表示成像探头的位置和/或取向。
82.可以从3d界标模型识别成像探头的期望位置和/或取向，例如，通过识别将3d界标模型的解剖界标定位在期望位置处和/或具有期望空间关系的成像体积230。
83.更具体地，图2图示了可以如何从3d界标模型确定期望成像体积230，例如，期望成像体积可以被选择为使得3d界标模型210的解剖界标的位置在期望位置处(例如，用于对特定解剖特征进行成像和/或实现特定解剖视图)。
84.可以确定当前成像体积220和期望成像体积230之间的差异，即，以确定表示成像探头的当前位置和/或取向与成像探头的期望位置和/或取向之间的差异的数据。例如，差异可以是如果被应用于3d界标模型则将导致3d界标模型在期望取向和/或位置上对准的变换(例如，定义取向和/或位置变化)。
85.图3图示了适用于生成图2中所表示的3d界标模型的成像数据的横截面。还图示了3d界标模型210的解剖界标的相对位置以及当前成像体积220和期望成像体积230的相对位置。
86.返回到图1，工作流程10还可以包括为用户生成引导(例如，通过控制用户接口被呈现给用户的引导)的步骤170。引导可以提供关于如何改变成像探头的取向和/或位置以实现成像探头的期望取向和/或位置的信息。例如，引导可以提供关于如何改变成像探头的取向和/或位置以产生与期望成像体积对准的成像体积的信息。该引导例如可包括成像探头(例如超声成像探头)的仰角和方位角校正角。
87.该引导可以在视觉上(例如，通过使用文本输出和/或诸如箭头等的图形输出)和/或在听觉上(例如，通过使用用于用户的听觉指令)表示。
88.在至少一个实施例中，步骤170包括处理3d界标模型以生成针对用户的引导(信息)。
89.在一个示例中，该过程可以包括确定要应用于3d界标模型的变换，该变换将使得3d界标模型与参考3d界标模型匹配或对准。该变换与成像探头的所需移动之间的关系是已知的或预定的(因为3d界标模型是根据由成像探头获得的图像数据生成的)，使得可以确定应当如何移动成像探头的引导(信息)。
90.在第二示例中，步骤170包括确定当前成像体积与期望成像体积(其通过处理3d界标模型以识别将解剖界标放置在期望参考位置处的形状来定义)之间的差异。可以对该差异进行处理以确定对当前成像体积的所需改变(例如平移和/或取向)，以将当前成像体积与期望图像体积对准。可以处理该信息以生成用于引导用户如何改变成像体积(并且因此改变成像探头的取向和/或位置)以实现期望成像体积的引导(信息)。
91.在一些示例中，如所图示的，如果(在步骤169中)确定成像探头的当前取向和/或位置不在预定范围内，则生成引导。
92.工作流程10还可以包括响应于确定成像探头的当前取向和/或位置在预定范围内而生成指示成像探头与期望取向和/或位置对准的输出的步骤192。该输出可以是电信号或电信号的变化。
93.在一些示例中，在步骤192中生成的输出可以用于控制用于与用户传递该对准(例如，触发绿灯、生成文本输出和/或生成指示成像探头的当前取向和/或位置与期望取向和/或位置对准的蜂鸣声/振动)的用户接口。因此，步骤192的输出可以是用户可感知的输出(例如，视觉、音频或触觉输出)。
94.该用户可感知的输出向用户(例如临床医师)提供有用的临床信息以用于理解成像探头何时处于预定或期望位置。然后，用户可能能够手动触发另一成像过程，例如，该另一成像过程已经在成像探头的期望位置和/或取向处被发起。
95.在一些示例中，步骤160的输出可以用于自动触发解剖结构的第二不同图像数据的采集(使用同一成像探头/系统)。
96.因此，在一些示例中，工作流程10可以包括响应于确定成像探头的当前取向和/或位置在预定范围内而将触发信号发送到成像系统以触发解剖结构的第二不同图像数据的采集的步骤195。
97.在特别优选的实施例中，图像数据的分辨率和/或质量小于第二图像数据的分辨率。因此，在随后用于获得高质量成像数据之前，可以通过处理低质量图像数据将成像探头引导到期望/优选的位置和/或取向。
98.当成像系统是超声成像系统并且第二图像数据是使用时空图像相关(stic)技术获得的图像数据时，使用步骤195是特别有利的。这是因为stic图像需要显著的处理能力，并且显著受益于从特定位置和/或取向发起。
99.在一些示例中，特别有利的是，当解剖结构是胎儿心脏时，成像探头的期望位置和/或取向可以是其中成像探头能够获得胎儿心脏的4腔室视图并且其中探头被定位成位于前胎儿胸部上方的位置和/或取向。该位置已经被示出为提供stic图像的特别高质量的采集。本领域技术人员将意识到，这样的位置与3d界标模型的特定布置或图案(即，在特定位置处定位和/或取向的3d界标模型)相关联。
100.在一些示例中，步骤195可以包括基于3d界标模型设置(例如，用于自动触发的成像的)一个或多个成像参数。即使成像不是自动触发的，也可以执行设置一个或多个图像参数的该过程。
101.例如，可以基于3d界标模型中的预定解剖界标的位置来设置由超声成像系统执行的超声成像过程的焦点。作为示例，对于胎儿心脏超声成像，可以基于表示房室交点(心脏的中心)的解剖界标的位置和/或方位来确定超声成像过程的焦点。
102.作为另一示例，步骤195可以包括基于3d界标模型设置一个或多个多普勒窗口参数(例如，设置要使用基于多普勒的成像过程来产生的超声图像的区域的位置)。例如，可以处理3d界标模型以识别用于放置超声图像的门、窗口、区域或体积的适当/期望位置，多普勒频移要从该适当/期望位置记录。这是可实现的，因为3d界标模型有助于识别相对于超声图像的期望位置，其允许将多普勒成像的门放置在期望位置。可以通过用户输入或基于标准操作实践(例如，如历史数据、文献等中所阐述的)来指示期望位置。
103.在一些示例中，方法100可以在成像探头移动时迭代地重复，例如以迭代地确定成像探头是否在成像探头的期望位置和/或取向的范围内。
104.图4是图示根据本发明的实施例的方法400的流程图。方法400被设计用于引导个体的解剖结构的成像过程，该计算机实施的方法包括迭代地，直到成像探头的当前取向和/或位置在预定范围内。
105.方法400包括执行先前描述的方法100或工作流程10。
106.方法400还包括响应于方法100预测成像探头不在成像探头的期望取向和/或位置的预定范围内而例如通过控制用户接口为用户生成引导的步骤410。引导可以提供关于如
何改变成像探头的取向和/或位置以实现成像探头的期望取向和/或位置的信息。
107.步骤410可以以与先前描述的步骤170相似/相同的方式被执行，并且可以被省略(例如，如果步骤170作为方法100的一部分被执行)。
108.方法400还包括跟踪成像探头的(后续)移动的步骤420。步骤420使用位置和/或取向传感器(诸如加速度计(例如安装在成像探头本身中))、光学跟踪系统、基于相机的跟踪系统(例如监测成像探头并使用图像识别技术)、基于磁性的跟踪系统等来执行。用于使用此类传感器来跟踪对象(例如成像探头)的位置和/或取向的机制在现有技术中是得到确认的且已知的。
109.方法400包括以下过程430：基于所跟踪的移动来迭代地预测成像探头的取向和/或位置是否在相对于成像探头的期望取向和/或位置的预定范围内，例如直到成像探头的预测的取向和/或位置在预定范围内。
110.换句话说，成像探头的位置和/或取向的变化可以被跟踪，并且用于确定成像探头是否与成像探头的期望取向和/或位置对准。关于成像探头的取向和/或位置的必要变化的信息从3d界标模型导出，如先前描述的。
111.该方法减少了需要获得图像数据的次数，例如，避免需要迭代地/重复地执行方法100，以预测成像探头是否在成像探头的期望取向和/或位置的预定范围内。
112.有效地，方法400提出了使用3d界标模型来确定超声探头的位置和/或取向的任何变化以实现期望位置和/或取向，并且随后使用位置和/或取向传感器来跟踪超声探头的移动以确定/预测何时已经实现超声探头的期望取向和/或位置。这提供了用于高度准确地引导成像过程而不需要重复采集成像数据(例如，如果简单地重复方法100则将需要)的方法。
113.在一些示例中，响应于过程430预测成像探头的取向和/或位置在预定范围内，重复方法100(即，执行方法100的第二实例)。这有助于执行成像探头是否在成像探头的期望取向和/或位置的预定范围内的更准确/精确的预测。
114.响应于方法100的该第二实例预测成像探头不在成像探头的期望取向和/或位置的预定范围内，该方法可以返回到步骤410/420。否则，可以执行步骤192和/或195(先前参考图1描述的)。
115.图5图示了包括根据本发明的实施例的处理系统510的系统500。系统500还包括成像系统520和输出显示器530。处理系统510被设计用于引导个体的解剖结构的成像过程。
116.处理系统510被配置为从具有成像探头的成像系统520获得解剖结构的图像数据；处理所述图像数据以获得一幅或多幅2d图像的一个或多个集合，一幅或多幅2d图像的每个识别的集合表示解剖结构的不同预定视图；识别一幅或多幅2d图像的每个集合中的一个或多个预定解剖界标；处理一个或多个预定解剖界标以生成3d界标模型；并且通过处理所述3d界标模型来确定成像探头的当前取向和/或位置是否在相对于成像探头的期望取向和/或位置的预定范围内。
117.因此，处理系统510被配置为执行参考图1所描述的方法100。处理系统510可以经必要修改后被适当地配置为执行任何先前描述的方法。
118.作为一个示例，处理系统510可以被配置为例如通过控制用户接口(诸如输出显示器530)来为用户生成引导。
119.该引导可以提供关于如何改变成像探头的取向和/或位置以实现成像探头的期望
取向和/或位置的信息。例如，该引导可以提供关于如何改变成像探头的取向和/或位置以产生与期望成像体积对准的成像体积的信息。该引导可以例如包括成像探头(例如超声成像探头)的仰角和方位角校正角。
120.该引导可以经由输出显示器530在视觉上表示(例如，通过使用文本输出和/或诸如箭头等的图形输出)。
121.以这种方式，处理系统510可以被配置为响应于成像探头的当前取向和/或位置是否在相对于成像探头的期望取向和/或位置的预定范围内的确定来控制输出显示器530。
122.输出显示器530可以例如包括被配置为提供如由处理系统510提供的引导的视觉输出的监测器或屏幕。
123.图6示出了从心动周期上的超声图像数据获得的胎儿心脏的2d图像600的集合。因此，图6图示了先前参考图1描述的步骤130的示例性结果。
124.该集合表示在心动周期的不同阶段的胎儿心脏的四腔室视图，其中，跨所述阶段跟踪12个解剖界标。点601和602是二尖瓣和三尖瓣的中点，点603是心脏的房室交点，点604和605是二尖瓣和三尖瓣的终点，点606是脊柱，点607是主动脉，点608是心脏的顶点，点609和610是左心房和右心房，并且点611和612是左心室和右心室。
125.可以从相同的超声成像数据获得其他2d图像集合，每个2d图像集合表示不同的预定视图。例如，可以从超声图像数据中获得与左心室流出道视图、右心室流出道图、三血管视图、三血管和气管视图、腹部部位视图、主动脉弓视图和/或导管弓视图相对应的其他2d图像集合。可以在心动周期的所有阶段上跟踪在每个2d图像集合中可见的解剖界标。可以将跨所有视图的跟踪点映射到3d坐标以生成3d界标模型。
126.尽管已经在合适地定位成像探头以发起stic采集过程的背景下描述了示例，但是本领域技术人员将意识到所提出的系统可以如何用于将受益于成像探头在具体或特定位置的放置的任何合适的成像过程。例如，多普勒(超声)成像过程将受益于将成像探头放置在用于靶向期望解剖特征(诸如用于对心脏成像的心室内隔膜或用于经颅多普勒成像的willis环)的多普勒成像的合适位置处。
127.图7是根据本公开的实施例的处理系统510的示意图。如图所示，处理系统510可以包括(数据)处理器760、存储器764和通信模块768。这些元件可以例如经由一个或多个总线彼此直接或间接通信。
128.处理器760可以包括被配置为执行本文描述的操作的中央处理单元(cpu)、数字信号处理器(dsp)、asic、控制器、fpga、另一硬件设备、固件设备或其任何组合。处理器760也可以被实施为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、一个或多个微处理器内核结合dsp、或任何其他这样的配置。在一些实施例中，处理器是例如由一组分布式处理器形成的分布式处理系统。
129.存储器764可以包括高速缓冲存储器(例如，处理器760的高速缓存储器)、随机存取存储器(ram)、磁阻式ram(mram)、只读存储器(rom)、可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、闪存存储器、固态存储器设备、硬盘驱动器、其他形式的易失性和非易失性存储器、或不同类型的存储器的组合。在实施例中，存储器764包括非瞬态计算机可读介质。非瞬态计算机可读介质可以存储指令。例如，存储器764或非瞬态计算机可读介质可以具有记录在其上的程序代码，该程序代码包
括用于使得处理系统57或处理系统57的一个或多个部件(特别是处理器760)执行本文描述的操作的指令。例如，处理系统57可以执行方法700的操作。指令766也可以被称为代码或程序代码。术语“指令”和“代码”应当被宽泛地解读为包括任何类型的(一个或多个)计算机可读语句。例如，术语“指令”和“代码”可以指的是一个或多个程序、例程、子例程、功能、过程等。“指令”和“代码”可以包括单个计算机可读语句或许多计算机可读语句。其上记录有代码的存储器764可以被称为计算机程序产品。
130.通信模块768可以包括任何电子电路和/或逻辑电路，以促进处理系统57、穿透设备和/或用户接口(或其他另一设备)之间的直接或间接数据通信。在这方面，通信模块768可以是输入/输出(i/o)设备。在一些情况下，通信模块768促进处理电路510和/或系统(图5)的各种元件之间的直接或间接通信。
131.将理解，所公开的方法包括或优选地是计算机实施的方法。如此，还提出了计算机程序的概念，该计算机程序包括用于当所述程序在处理系统(诸如计算机或一组分布式处理器)上运行时实施任何所描述的方法的计算机程序代码。
132.根据实施例的计算机程序的代码的不同部分、行或块可以由处理系统或计算机执行以执行本文中描述的任何方法。在一些备选实施方式中，(一个或多个)框图或(一个或多个)流程图中注释的功能可以不按图中注释的顺序发生。例如，连续示出的两个方框实际上可以基本上同时执行，或方框有时可以以相反的顺序执行，这取决于所涉及的功能。
133.本公开提出了一种包括指令的计算机程序(产品)，当所述程序由计算机或处理系统执行时，所述指令引起所述计算机或处理系统执行本文描述的任何方法(的步骤)。所述计算机程序(产品)可以存储在非瞬态计算机可读介质上。
134.类似地，还提出了一种包括指令的计算机可读(存储)介质，所述指令当由计算机或处理系统执行时使得所述计算机或处理系统执行本文描述的任何方法(的步骤)。还提出了一种其上存储有先前描述的计算机程序(产品)的计算机可读数据载体。还提出了一种承载先前描述的计算机程序(产品)的数据载体信号。
135.技术人员将能够容易地开发用于执行本文描述的任何方法的处理系统。因此，流程图的每个步骤可以表示由处理系统执行的不同动作，并且可以由处理系统的相应模块执行。
136.本领域技术人员通过研究附图、公开内容以及权利要求，在实践请求保护的本发明时能够理解并实现对所公开的实施例的变型。在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。
137.单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。计算机程序可以被存储/分布在合适的介质上，例如与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质上，但是计算机程序也可以以其他形式分布，例如经由因特网或其他有线或无线的电信系统分布。
138.如果术语“适合于”用于权利要求书或说明书中，应注意术语“适合于”旨在相当于术语“被配置为”。权利要求中的任何附图标记都不应被解释为对范围的限制。

技术特征：
1.一种引导个体的解剖结构的成像过程的计算机实施的方法(100)，所述计算机实施的方法包括：从具有成像探头的成像系统获得(110)所述解剖结构的图像数据(191)；处理(130)所述图像数据以获得一幅或多幅2d图像的一个或多个集合(193)，一幅或多幅2d图像的每个识别的集合表示所述解剖结构的不同预定视图；识别(140)一幅或多幅2d图像的每个集合中的一个或多个预定解剖界标；处理(150)所述一个或多个预定解剖界标以生成3d界标模型(194)；并且通过处理所述3d界标模型来确定(160)所述成像探头的当前取向和/或位置是否在相对于所述成像探头的期望取向和/或位置的预定范围内。2.根据权利要求1所述的计算机实施的方法(100)，其中，处理所述一个或多个预定解剖界标的步骤(130)包括将一幅或多幅2d图像的每个集合中的所述一个或多个预定界标映射到3d坐标系，从而生成3d界标模型。3.根据权利要求1至2中的任一项所述的计算机实施的方法(100)，还包括处理所述3d界标模型以针对所述成像探头确定相对于所述解剖结构的所述期望取向和/或位置的步骤(165)。4.根据权利要求3所述的计算机实施的方法(100)，还包括获得指示用于成像的期望解剖特征的用户输入，其中，处理所述3d界标模型以确定期望取向和/或位置的步骤(165)包括处理所述3d界标模型以基于用于成像的期望解剖特征来识别所述期望取向和/或位置。5.根据权利要求1至4中的任一项所述的计算机实施的方法(100)，还包括：响应于确定所述成像探头的所述当前取向和/或位置不在所述预定范围内而基于所识别的所述成像探头的当前取向和/或位置来生成(170)引导信息，所述引导信息用于将所述成像探头移动到所述成像探头相对于所述解剖结构的期望取向和/或位置。6.根据权利要求1至5中的任一项所述的计算机实施的方法(100)，还包括：响应于确定所述成像探头的所述当前取向和/或位置在所述预定范围内而向所述成像系统发送(195)触发信号以触发对所述解剖结构的不同的第二图像数据的采集。7.根据权利要求6所述的计算机实施的方法(100)，其中，所述成像系统是超声成像系统，并且所述第二图像数据是使用时空图像相关技术获得的图像数据。8.根据权利要求1至7中的任一项所述的计算机实施的方法(100)，还包括：响应于确定所述成像探头的所述当前取向和/或位置在所述预定范围内而提供(192)用户可感知的输出。9.一种引导个体的解剖结构的成像过程的计算机实施的方法(100)，所述方法包括：迭代地重复根据权利要求1至8中的任一项所述的方法，直到所述成像探头的所述当前取向和/或位置在所述预定范围内。10.一种引导个体的解剖结构的成像过程的计算机实施的方法(400)，所述计算机实施的方法包括迭代地执行以下操作，直到成像探头的当前取向和/或位置在预定范围内：执行根据权利要求1至8中的任一项所述的方法(100)；使用位置和/或取向传感器来跟踪(420)所述成像探头的后续移动；并且基于所跟踪的移动来迭代地预测(430)所述成像探头的所述取向和/或位置是否在相对于所述成像探头的所述期望取向和/或位置的所述预定范围内，直到所预测的所述成像
探头的取向和/或位置在所述预定范围内。11.根据权利要求1至10中的任一项所述的计算机实施的方法(100、400)，其中，所述解剖结构是心脏。12.根据权利要求11所述的计算机实施的方法(100、400)，其中，一幅或多幅2d图像的每个识别的集合表示以下各项中的不同的一项：四腔室视图；左心室流出道视图；右心室流出道视图；三血管视图；三血管和气管视图；腹部部位视图；主动脉弓视图；和/或导管弓视图。13.根据权利要求1至12中的任一项所述的计算机实施的方法(100、400)，其中，处理所述图像数据的步骤(130)包括使用机器学习方法来处理所述图像数据以识别一幅或多幅2d图像的一个或多个集合。14.一种包括计算机程序代码模块的计算机程序产品，所述计算机程序代码模块当在具有处理系统的计算设备上运行时，使所述处理系统执行根据权利要求1至13中的任一项所述的方法(100、400)的所有步骤。15.一种用于引导个体的解剖结构的成像过程的处理系统(510)，所述处理系统被配置为：从具有成像探头的成像系统获得(110)所述解剖结构的图像数据(191)；处理(130)所述图像数据以获得一幅或多幅2d图像的一个或多个集合，一幅或多幅2d图像的每个识别的集合表示所述解剖结构的不同预定视图；识别(140)一幅或多幅2d图像的每个集合中的一个或多个预定解剖界标；处理(150)所述一个或多个预定解剖界标以生成3d界标模型(194)；并且通过处理所述3d界标模型来确定(160)所述成像探头的当前取向和/或位置是否在相对于所述成像探头的期望取向和/或位置的预定范围内。

技术总结
提出了一种用于确定成像探头(诸如超声成像探头)是否相对于解剖结构在期望取向和/或位置处的机制。处理成像探头的图像数据以生成包含解剖结构的解剖界标的3D界标模型。然后处理3D界标模型以确定成像探头是否在期望取向和/或位置处。和/或位置处。和/或位置处。


技术研发人员：K
受保护的技术使用者：皇家飞利浦有限公司
技术研发日：2021.11.17
技术公布日：2023/8/13