经由降维投影的图像结构的检测的制作方法

1.本发明涉及计算机实现的医学图像处理方法、用于在这种方法中使用的训练机器学习模型的方法、生成用于训练机器学习模型的训练数据的方法、对应的计算机程序、存储任一个这样的程序的非瞬态程序存储介质和用于执行任一个这样的程序的计算机以及包括电子数据存储装置和前述计算机的医疗系统。


背景技术：

2.医学成像是现代医学武器库中最重要的工具之一。根据哈佛医学院的一份报告(在https://www.health.harvard.edu/cancer/radius-risko-from-medical-imaging处可在线获得)，美国已经进行了8000万次ct扫描，而1980年只有300万次。
3.医学成像允许以非侵入性和无痛的方式收集表示患者体内的内部解剖结构、组织或器官的图像信息，从而支持诊断和/或治疗。临床医生可使用许多医学成像应用，不仅基于ct或基于x射线的应用，还包括磁共振成像、发射型医学成像(例如spect和pet)等。多年来，医学成像已经得到发展，现在生成包括3d或4d影像(imagery)的高维度(“高维”)图像数据。
4.这样的高维图像体积是复杂的数据集成物，特别是对于医学新手来说，对它们进行导航可能并不容易，而在诸如创伤室中的压力情况下，对于更有经验的用户来说也是如此。特别地，找到已取得的表示感兴趣的区域的图像结构可能不是一件简单的事情。例如，对于放射治疗计划来说，在这种高维图像数据中精确定位可能不简单，但是对于成功地迫使癌症进入衰退更为重要。在其他应用中(例如医疗干预中)可能需要基于这样的高维影像的计划或实时的导航。
5.可以使用各种计算工具来定位这样的结构。最近已经使用了机器学习。然而，机器学习(尤其是在消耗高维数据时)可能需要相当大量的存储空间和/或cpu开销，这可能会使这些新的基于ml的计算方法中的一些对于一些人来说遥不可及，或者使它们在时间关键的应用(例如，需要接近实时结果的所述干预)中不切实际。
6.因此，可能需要改进在高维(至少3d)影像中的定位，特别是在医学领域中。
7.在下文中公开了本发明的方面、示例和示例性步骤及其实施方式。本发明的不同示例性特征在技术上有利和可行的情况下可以根据本发明进行组合。


技术实现要素：

8.本发明的示例性简短描述
9.在下文中，给出了本发明的具体特征的简短描述，该简短描述不应被理解为将本发明仅限于该部分中描述的特征或特征的组合。
10.在所提出的方法和系统中，不是按原样处理高维影像，而是首先通过投影操作对高维影像进行降维以获得(一个或多个)较低维投影。然后将该(一个或多个)投影馈送到经过训练的机器学习模型中以通过内存和时间节省的方式从中计算感兴趣的结构在高维体
积内的位置。这允许甚至在普通的计算机设备上使用强大的机器学习模型，或者允许较低的内存消耗和较高的吞吐量，这可能是有益的，特别是在例如一直繁忙的临床环境中。
11.本发明的总体描述
12.在第一方面，提供了一种计算机实现的医学图像处理方法，其包括：
13.a)接收输入数据，该输入数据包括由医学成像设备生成的至少3d图像体积的至少一个投影；
14.b)通过使用至少经过训练的机器学习模型(m)来处理输入数据，以至少便于计算感兴趣的结构在3d体积中的位置；以及
15.c)输出指示所述位置的输出数据。
16.在至少3d图像体积中的输出位置可以包括点坐标、一组坐标、边界框、分割等。如果体积是较高维度的3d，则投影具有诸如2d的空间维度。因此，投影是体积中的空间信息的较低维度的表示。投影优选至少为2d。
17.在实施方式中，输入数据包括在不同的投影几何下的多个这样的投影，并且所述处理包括在通过经过训练的机器学习模型计算的多个投影中对结构或其相应位置的投影足迹进行反向投影。每个投影可能有至少一个这样的投影足迹(或视图)。
18.因此，该方法可以基于机器学习(ml)端对端地计算位置，或者ml模型可以产生初步结果(与图像体积的维度相比的较低维投影中的较低维足迹的位置)，然后对这些初步结果进行反向投影以找到高维体积中的位置。
19.单个投影可能足以使模型在3d或更高维体积中找到位置。特别地，可以使用上下文的患者数据(诸如生物特征、病史等)并且可以将它与单个或多个投影共同处理以提升ml性能。
20.模型可以是人工神经网络类型，特别是例如卷积神经网络(cnn)。已经观察到这样的cnn产生了良好的结果，特别是用于处理空间数据，例如本文主要感兴趣的图像数据。
21.在实施方式中，处理可以包括将投影足迹的反向投影位置组合到3d位置中。组合可以包括求平均、计算重心、三角测量或对形状基元模型进行拟合以获得位置。位置可以被定义为形状基元的明确定义的点，例如其中心点、拐角点等。例如，可以使用椭圆/椭球体、圆/球体等作为形状基元。组合可包括基于反向投影的基于共识的程序。反向投影可以包括体积中(例如线性投影中)的3d线，但是可以包括更一般的曲线、表面或体积元素，特别是(但不仅仅是)在使用非线性投影操作时。足迹的(一个或多个)位置可以是点坐标、一组坐标、边界框、分割等。
22.在实施方式中，处理可以包括调整所计算的位置以与投影足迹一致。特别地，一种这样的一致性可能要求反向投影以在单个点处相交。如果发现它们不在单个点处相交，则可以改变投影几何，并且模型在一次或多次迭代中计算更新的位置，直到实现充分的一致性。可能不需要所有感兴趣的反向投影都相交。至少两个反向投影集(诸如两条线)的相交可以被认为是充分的。
23.在实施方式中，该方法包括将输出数据提供用于附加处理，所述附加处理包括以下各项中的一项：i)基于输出数据将3d体积或其至少一部分登记在图谱集上，ii)在显示装置上显示输出数据，iii)将输出数据存储在存储器中，iv)在放射治疗系统中处理输出数据，v)基于输出数据控制医疗装置。
24.在实施方式中，该方法包括基于以下各项中的一项来选择至少一个多个投影中的至少一个：i)通过机器学习模型处理的较早的一个或多个投影，以及ii)基于感兴趣的结构的所接收到的投影中的至少一个的投影几何。
25.可以在一次或多次迭代中调整投影几何，直到投影足迹满足预定的目标，例如与周围结构的充分分离。边缘梯度阈值化可以用于定义分离优度。
26.在实施方式中，不同的投影几何包括不同的投影方向，但是可以替代地包括其他变化，诸如投影模式、正交、平行、中心等或视点和投影表面之间的变化距离。通常，改变投影几何可以包括改变体积中的体素对投影中的数据点的贡献方式，和/或(重新)定义这样的体素将贡献哪些(如果有的话)。
27.在实施方式中，感兴趣的结构涉及哺乳动物脊柱的至少一部分，例如椎骨，但是可以替代地涉及任何其他解剖特征，例如任何其他骨骼部分、脉管系统的一部分等。
28.在实施方式中，医学成像设备是断层摄影类型。
29.在实施方式中，成像设备是i)基于x射线的计算机断层摄影(ct)扫描仪和ii)磁共振成像设备中的任何一个。
30.在另一方面，提供了一种训练方法，该方法基于训练数据来训练机器学习模型以便于基于输入数据来计算感兴趣的结构在至少3d体积中的位置，该输入数据包括在至少3d图像体积上或到至少3d图像体积中的至少一个投影。该训练方法可以包括基于训练数据来调整模型的参数。训练数据可以包括训练输入(投影)和相关联的目标(目标结构在3d中的位置)。例如，可以基于响应于模型处理输入训练数据而接收的模型的输出是如何不同于相关联的目标来调整模型参数。基于梯度的方法可用于基于偏差来调整(一个或多个)当前参数。训练方法可以是迭代的，可以是一次性的，或者可以基于新的训练数据来重复。
31.训练数据可以包括用感兴趣的结构在3d中的相应位置的指示进行注释的带注释的投影。训练数据可以基于可以在医学数据库中找到的历史体积，或者可以至少部分地生成(合成)。
32.因此，在另一个方面，提供了一种生成训练数据的至少一部分的方法。该方法可以包括使用来自一个或多个患者的给定体积和感兴趣的结构的已知位置。该方法可以包括在变化的投影几何下计算体积的训练投影。体积可以通过与要针对其训练模型的模态(目标模态)不同的医学模态来获得。例如，体积可以是mri体积，而模型例如针对ct进行训练。投影操作可以使用传递函数来修改所获得的投影，以实现投影中对应于目标模态的图像值分布或图案。
33.在另一个方面中，提供了：
34.a)一种程序，该程序当在至少一个计算系统上运行时或当被加载到至少一个计算系统上时使所述至少一个计算系统执行根据前述任一项权利要求所述的方法；
35.b)和/或存储该程序的至少一个程序存储介质；
36.c)和/或至少一个计算系统，该至少一个计算系统包括至少一个处理器和至少一个存储器和/或所述至少一个程序存储介质，其中程序在所述至少一个计算系统上运行或被加载到所述至少一个计算系统的所述至少一个存储器中；
37.d)和/或带有表示程序的信息的信号波或数字信号波；
38.e)和/或代表程序的数据流。
39.上述信号波可以是(物理的，例如电的，例如技术生成的)信号波，例如数字信号波，该信号波带有表示程序(例如上述程序)的信息，所述程序例如包括适于执行根据第一方面的方法的任何或所有步骤的代码装置。存储在盘上的计算机程序可以是数据文件，并且当文件被读出和传输时，它变成例如(例如电的，例如技术生成的)信号的形式的数据流。该信号可以被实现为本文所述的信号波。例如，信号(例如，信号波)被构造为经由计算机网络(例如lan、wlan、wan，例如因特网)传输。因此，根据第二方面的本发明可以替代地或附加地涉及代表前述程序的数据流。
40.在另一方面，本发明涉及其上存储根据第四方面的程序的非瞬态计算机可读程序存储介质。
41.在另一个方面，提供了一种医学图像处理系统，其被配置为：
42.a)接收输入数据，该输入数据包括由医学成像设备生成的至少3d图像体积的至少一个投影；
43.b)通过使用至少经过训练的机器学习模型(m)来处理输入数据，以至少便于计算感兴趣的结构在3d体积中的位置；以及
44.c)输出指示所述位置的输出数据。
45.在另一个方面，提供了一种医疗装备，其包括：
46.a)如上所述的系统；以及
47.b)以下i)和ii)中的任何一个：i)用于生成至少3d体积的医学成像设备，ii)可由输出数据控制的医疗装置(md)。
48.在另一个方面，提供了一种计算机实现的训练系统，该训练系统被配置为基于训练数据来训练机器学习模型以便于基于输入数据来计算感兴趣的结构在至少3d体积中的位置，所述输入数据包括在至少3d图像体积上或到所述至少3d图像体积中的至少一个投影。
49.在另一个方面，提供了一种用于生成用于训练系统的训练数据的计算机实现的系统。
50.虽然本文主要参考x射线断层摄影成像和线性投影，但这并不排除断层摄影类型的其他成像模态，这些成像模态允许生成3d或更高维体积图像数据和使用非线性投影算子来实现降维以便于ml处理。
51.定义
52.在该部分中，本文使用的某些术语的定义被包括作为本公开的一部分。
53.计算机实现的方法
54.方法的步骤或仅某些步骤(即少于总步骤数)可以由单独一台或多台计算机执行。计算机实现的方法的实施方式是使用计算机来执行医学成像处理或训练方法。计算机实现的方法的实施方式是涉及计算机操作的方法，使得计算机被操作以执行该方法的一个、多个或所有步骤。
55.计算机例如包括至少一个处理器和例如至少一个存储器，以便(技术上)例如以电子和/或光学方式处理数据。处理器例如由半导体的物质或组合物制成，例如至少部分n和/或p掺杂的半导体，例如ii、iii、iv、v、vi半导体材料中的至少一种，例如(掺杂的)硅和/或砷化镓。所描述的计算或确定步骤例如由计算机执行。确定步骤或计算步骤例如是在技术
方法的框架内、例如在程序的框架内确定数据的步骤。计算机例如是任何种类的数据处理装置，例如电子数据处理装置。计算机可以是通常被认为是例如台式pc、笔记本电脑、上网本等这样的装置，但也可以是任何可编程设备，例如移动电话或嵌入式处理器。例如，计算机可以包括“子计算机”的系统(网络)，其中每个子计算机以其自身权利代表一台计算机。术语“计算机”包括云计算机，例如云服务器。术语“云计算机”包括云计算机系统，该系统例如包括至少一台云计算机和例如多台可操作地互连的云计算机(例如服务器场)的系统。这样的云计算机优选地连接到诸如万维网(www)的广域网，并且位于全部连接到万维网的所谓计算机云中。这种基础设施用于“云计算”，它描述了计算、软件、数据访问和存储服务，这些服务不需要最终用户知道提供特定服务的计算机的物理位置和/或配置。例如，“云”一词在这方面被用作互联网(万维网)的隐喻。例如，云提供计算基础设施即服务(iaas)。云计算机可以充当用于执行本发明的方法的操作系统和/或数据处理应用程序的虚拟主机。云计算机例如是由amazon web services提供的弹性计算云(ec2)
tm
。例如，计算机包括用于接收或输出数据和/或执行模数转换的接口。数据例如是表示物理特性和/或由技术信号生成的数据。技术信号例如通过(技术)检测装置(例如用于检测标记装置的装置)和/或(技术)分析装置(例如，用于执行(医学)成像方法的装置)产生，其中技术信号例如是电信号或光信号。技术信号例如表示由计算机接收或输出的数据，例如感兴趣的结构的定位结果。计算机优选地可操作地耦合到显示装置，该显示装置允许例如向用户显示由计算机输出的信息。显示装置的一个例子是可以用作导航的“护目镜”的虚拟现实装置或增强现实装置(也称为虚拟现实眼镜或增强现实眼镜)。这种增强现实眼镜的一个具体例子是谷歌眼镜(谷歌股份有限公司的商标)。增强现实装置或虚拟现实装置既可以用于通过用户交互向计算机输入信息，也可以用于显示计算机输出的信息。显示装置的另一个例子可以是标准计算机监视器，该标准计算机监视器包括例如液晶显示器，该液晶显示器可操作地耦合到计算机以从计算机接收显示控制数据，用于生成用于在显示装置上显示图像信息内容的信号。这种计算机监视器的具体实施方式是数字灯箱。这种数字灯箱的一个例子是brainlab ag的产品监视器也可以是诸如智能手机、个人数字助理或数字媒体播放器的便携式(例如手持)装置的监视器。
56.本发明还涉及一种当在计算机上运行时使计算机执行本文所述的方法步骤中的一个或多个步骤或全部步骤的程序和/或一种存储该程序的程序存储介质(特别地，非瞬态形式)和/或一种包括所述程序存储介质的计算机和/或一种带有表示程序(例如，上述程序)的信息的(物理的，例如电的，例如技术上生成的)信号波，所述程序例如包括适于执行本文所述的任何或所有方法步骤的代码装置。
57.在本发明的框架内，计算机程序元件可以通过硬件和/或软件(其包括固件、常驻软件、微代码等)来实现。在本发明的框架内，计算机程序元件可以采取计算机程序产品的形式，该计算机程序产品可以由计算机可用的(例如计算机可读的)数据存储介质来实现，该数据存储介质包括在所述数据存储介质中实现的用于在指令执行系统上使用或与指令执行系统结合使用的计算机可用的(例如计算机可读的)程序指令、“代码”或“计算机程序”。这样的系统可以是计算机；计算机可以是包括用于执行根据本发明的计算机程序元件和/或程序的装置的数据处理装置，例如包括执行计算机程序元件的数字处理器(中央处理单元或cpu)的数据处理装置以及可选地用于存储用于执行计算机程序元件和/或通过执行
计算机程序元件产生的数据的易失性存储器(例如随机存取存储器或ram)。在本发明的框架内，计算机可用的(例如计算机可读的)数据存储介质可以是任何数据存储介质，其可以包括、存储、传送、传播或传输在指令执行系统、设备或装置上使用或与指令执行系统、设备或装置结合使用的程序。计算机可用的(例如计算机可读的)数据存储介质可以是，例如但不限于，电子的、磁性的、光学的、电磁的、红外的或半导体的系统、设备或装置，或者诸如因特网之类的传播介质。计算机可用或计算机可读的数据存储介质甚至可以例如是纸张或印刷程序的另一种合适的介质，因为程序可以例如通过光学扫描纸张或其他合适的介质而被电子捕获，然后以合适的方式被编译、解释或以其他方式处理。数据存储介质优选地是非易失性数据存储介质。本文描述的计算机程序产品和任何软件和/或硬件形成用于在示例实施方式中执行本发明的功能的各种装置。计算机和/或数据处理装置可以例如包括引导信息装置，该引导信息装置包括用于输出引导信息的装置。引导信息可以在视觉上通过视觉指示装置(例如监视器和/或灯)和/或在声学上通过声学指示装置(例如，扬声器和/或数字语音输出装置)和/或在触觉上通过触觉指示装置(例如，振动元件或结合到仪器中的振动元件)例如输出到用户。就本文件而言，计算机是技术计算机，它例如包括技术部件，例如有形部件，例如机械和/或电子部件。本文件中这样提到的任何装置都是技术装置，例如有形装置。
58.显示装置
59.是能够显示信息的任何输出装置。它包括独立的或作为诸如笔记本、台式电脑、平板智能电话等另一个装置的一部分的例如静止或移动的监视器。显示装置包括能够被调制以表示数据、信息等的屏幕部分，特别是由系统或方法提供的感兴趣的结构的位置的可视化。显示装置在此还可以包括增强现实装置，其包括能够通过投影技术或以任何其他方式投影或以其他方式显示数据或此类数据的流的头戴式显示器或其他可穿戴装置。
60.位置
61.涉及3d或更高维图像体积内的单个点坐标或一组这样的点或它们的坐标。该位置可以属于图像结构，例如体积、区域、几何形状等中的图像值的分布或其他图像内体积特征。位置可以包括分割或任何其他形式或定位，例如通过边界框或其他几何形状和/或其特征，例如它们的中心、边缘或拐角点等。该位置可以属于位标(landmark)。位标可能与解剖特征有关，该解剖特征始终或在大多数情况下是相同的，或者在多个患者的同一解剖身体部位中以通常高度的相似性最少重现。典型的位标例如是股骨的上髁或椎骨的横突和/或背突的尖端。当以所述点表示时，该位置可以表示这样的位标。位于身体部位的特征解剖结构上(例如，在其表面上)的位标也可以表示所述结构。位标可以表示整个解剖结构，也可以仅表示其一个点或一部分。位标也可以例如位于解剖结构上，该解剖结构例如是突出的结构。这种解剖结构的一个例子是髂嵴的后方。位标的另一个例子是由髋臼的边缘、例如由所述边缘的中心限定的位标。在另一个例子中，位标表示髋臼的底部或最深点，其源自多个检测点。因此，一个位标可以例如表示多个点。如上所述，位标可以表示基于身体部位的特征结构限定的解剖特征。另外，位标还可以表示由两个身体部位(例如当相对于髋臼移动时股骨的旋转中心)的相对运动限定的解剖特征。位标可进一步涉及椎骨、一组椎骨或哺乳动物脊柱的其他特征。
62.成像
63.在医学领域，“成像”(也称为成像模态和/或医学成像模态)用于生成人体内解剖结构(例如软组织、骨骼、器官等)的图像数据(例如，二维或三维图像数据或更高维)。本文设想了透射和发射成像模态。术语“医学成像”被理解为(有利地是基于设备的)成像方法，例如计算机断层摄影(ct)、锥束计算机断层摄影(cbct，例如体积cbct)、锥束ct以外的x射线断层摄影、磁共振断层摄影(mrt或mri)、声谱检查(sonography)和/或超声检查以及正电子发射断层摄影。由医学成像方法应用的医学成像模态的例子有：x射线照相术、磁共振成像、医学超声波扫描术或超声、内窥镜检查、弹性成像(elastography)、触觉成像、热成像、医学摄影和核医学功能成像技术，例如正电子发射断层摄影(pet)和单光子发射计算机断层摄影(spect)。
64.成像几何
65.一般涉及被成像对象(例如感兴趣的解剖结构)、能够生成这样的信号以与对象交互的成像/询问信号源(例如x射线源、mri线圈等)和/或能够在这样的交互之后检测所述信号的检测器系统的相互空间构象(spatial constellation)。例如，在诸如ct的透射成像中，所述信号可以由x射线源以辐射束的形式生成，所述辐射束传播通过对象并且具有特定形状，例如楔形、锥形、扇形或平行的。成像几何可以包括所述源的位置/取向/姿态和/或所述辐射束的形状、所述束相对于对象的方向。在透射成像以外的模态中，成像几何可以以束以外的其他能量项来实现，例如mri、核等。
66.成像几何可以包括源和检测器系统之间的距离和/或相互定向。成像几何可以包括源或检测器系统相对于对象的距离和/或相互定向。
67.投影操作
68.应当广义地解释并且不仅包括通过沿着相应的投影线求和的正向投影，而且还包括所有方式的加权或以其他方式调制的投影操作。例如，投影线可以不在整个体积上延伸，而是可以终止于体积内部以限定体积中的截面影像，而不是体积外部的投影图像。加权投影操作可以基于权重函数来使用，例如从而限定通过图像体积的任意相交摄像。本文设想的投影线可以在空间中具有任何方向，只要它们与图像体积相交即可。
69.投影操作可以由投影几何限定。投影几何优选地独立于成像几何并且不同于成像几何。例如，关于诸如ct的透射成像，投影线的方向通常不同于用于获取重建体积的投影原始数据的投影线的方向。因此，通过投影操作获得的全部或至少一些投影不同于投影原始数据(由投影原始数据合成)。
70.排除体积的表面体素(代表患者表面上的点)，或除了这样的体积的表面体素之外，投影操作优选地还基于体积内的体素(代表患者体内的点)。优选地，每个投影方向基于体积内的至少一个体素、一些或每个投影。通常，投影操作允许提取信息并将其投影到较低维的表示(称为投影或投影图像)上。一些或每个这样的投影包括来自体积内的一个或多个体素的贡献。该较低维的表示在用于在训练和部署中实现机器学习模型的存储器和cpu要求方面更有效。
71.投影线可以被理解为投影几何的特殊情况。投影几何可以是正交的，因此可以由单个方向限定，或者可以是中心的，因此可以由从单个视点以任何束形状以发散方式发出的一组线限定。通常，投影几何限定体积v的哪一部分对投影中的每个数据点有贡献，以及如何例如经由求和(例如在正向投影操作中)、通过传递函数、权重或以任何其他代数运算
或前述的全部中的一些的组合来计算数据点。体积可以是三维的(3d，n＝3)，或者可以更高，维度n》3。维度可以是空间的，但是也可以另外包括时间维度，例如时间序列的体积v
t
。
72.更一般地，本文所理解的投影操作还不限于线性投影，因此特别是不一定沿着如上所述的投影线，因此在此包括不具有方向性的非线性投影操作。因此，投影几何不一定根据线及其方向来限定。也就是说，本文设想了一般投影映射，例如以下在限定更一般的投影几何的(4)处限定的一般投影映射。一般投影映射限定体积v中的一组或多组体素，以及它们如何对给定投影中的任何给定数据点做出贡献(如果有的话)。体积中的那些组不一定是线性的，即使在3d体积中也是如此，而是可以替代地或附加地由(一个或多个)曲线或表面限定。在本文中，体素在一般意义上用于指示在至少n维图像体积(n≥3)中的相应位置处的相应图像值。一般投影是从最后的三维图像体积到维度低于n的空间的映射，以允许与处理体积v相比更高效的存储器和更快的处理。通常，本文设想的一般投影映射被实现为对一些降维操作或策略进行建模的模型方程。
73.机器学习
74.包括用于实现机器学习(“ml”)算法的计算机化装备。ml算法可以运行以调整机器学习模型，使得该模型能够执行(“学习”)任务，例如基于与所述体积相关的投影来在图像体积中定位结构。调整或更新模型被称为“训练”。ml模型的与任务有关的性能可以用训练经验来适当改善。训练经验可以包括合适的训练数据以及使模型受到这样的数据的影响。数据越发更好地表示要学习的任务，任务性能可能提高。如果训练数据很好地表示测量最终系统性能的例子的分布，则训练经验有助于提高性能。性能可以通过基于模型响应于给模型馈送测试数据而产生的输出的客观测试来测量。性能可以根据针对给定测试数据要实现的特定错误率来限定。例如参见t.m.mitchell,“machine learning”,page 2,section 1.1,page 6section 1.2.1,mcgraw-hill,1997(“机器学习”,第2页,1.1节,第6页1.2.1节,麦格劳希尔,1997)。
附图说明
75.在下文中，参照未按比例绘制的附图描述本发明。然而，本发明的范围不限于在附图的上下文中公开的具体特征，其中：
76.图1示出了医学成像装备的示意性框图；
77.图2a示出了根据一个实施方式的用于定位在图像体积中的位置的定位器系统的示意性框图；
78.图2b示出了根据第二实施方式的定位器系统；
79.图3示出了投影操作；
80.图4示出了反向投影操作；
81.图5示出了机器学习模型架构的示意性框图；
82.图6示出了具有用于训练机器学习模型的训练数据的可选生成的训练系统的框图；
83.图7示出了用于在3d体积中定位感兴趣的结构的计算机实现的方法的流程图；以及
84.图8示出了训练机器学习模型并且可选地生成用于这种训练的训练数据的计算机
实现的方法的流程图。
具体实施方式
85.参照图1，示出了医学成像装备mia的示意性框图。
86.装备mia包括被配置为生成图像数据的医学成像设备ia。图像数据可以由数据处理系统sys处理。
87.概括地说，数据处理系统sys可以是在一个或多个计算系统pu上计算机实现的，以基于图像数据便于医疗应用、协议和过程。特别地，系统sys可作为定位器系统来操作，该定位器系统允许在图像数据中定位感兴趣的结构。系统sys此后可以被称为定位器或定位器系统。感兴趣的结构σ可以代表感兴趣的区域，例如患者pat的解剖结构、解剖结构的一部分、器官、一组器官或组织类型。患者可以是人或动物患者。
88.成像装备mia可用于治疗或诊断目的。成像设备ia优选地被配置为用于生成诸如三维(3d)图像数据或更高维(例如，特别是四维(4d))图像数据的高维影像，例如时间序列的3d图像数据。这样的至少3d图像数据在本文中可以被适当地称为图像体积v。可以使由定位器系统sys计算的感兴趣的结构σ在体积v内的位置p可用于在显示装置dd上显示。可视化器组件viz可以呈现结构及其位置的灰度值或颜色编码再现。例如，可视化器viz可以基于计算出的位置p生成用于在显示装置dd上显示的图形显示。可视化器(例如渲染器模块)可以与图形电路对接以驱动显示装置dd，从而使显示装置dd的屏幕上的图形显示可视化。如此生成的图形显示可以包括表示所计算的位置p的图形指示符。图形显示可以包括叠加在图像体积上的视图上的图形指示符。计算出的感兴趣的结构σ的位置p(σ)可能不一定以图形形式提供，而是可以以文本/数字形式提供作为例如控制数据，或者该位置可以被显示为文本框中的坐标数字等。
89.计算出的位置p可以存储在存储器mem中或者可以以其他方式处理。计算出的位置p可以包括3d空间中指示结构σ在体积v内的位置的一个或多个空间坐标。该位置可以是点位置或区域。计算出的位置(在本文中可以写成p(σ))可以被提供作为边界框。边界框(“bbox”)在本文中应当在一般意义上被解释为任何几何形状，不一定是矩形，其至少部分地(如果不是完全)包围或以其他方式在空间上限定结构σ的位置。因此，边界框可以是任何多面体、球体、椭球体，或者当以2d呈现时，可以是多面体、圆、椭圆等。例如，边界框可以是四边形。边界框可以由[(p1,p2,p3),w,d,h]来限定，其中(p1,p2,p3)是bbox的拐角、边缘或中心或其他特征在3d中的空间坐标，并且w、d、h是bbox的宽度、高度和深度。因此，位置p(σ)可由定位器sys相对于空间图像域(即，图像体积v在概念上位于其中的空间部分)中的坐标系(下面将详细介绍)提供的[(p1,p2,p3),w,d,h]的6元组来限定。更一般地，bbox在本文中可以被视为给定类型的最小多面体，以包括所有感兴趣的结构σ或其相关部分。bbox可以使其边缘平行于图像体积的底层空间坐标系对齐，但是这样的对齐在本文中不是必需的。在不存在这种对齐的情况下，可能需要多于六个坐标(如上面的示例中那样)。
[0090]
除显示之外或作为显示的补充，对计算出的位置p的处理可以包括基于位置p控制一个或多个医疗装置md。这样的医疗装置可包括例如介入机器人、创伤环境下的导航规划系统或其他干预，例如心脏手术或其他医疗手术。还设想基于位置p对诊断装置的控制。
[0091]
在实施方式中，结构σ的位置p例如可用于放射治疗规划系统rts。这样的规划系统
rts可以被配置为制定治疗计划，该治疗计划包括用于放射递送设备(例如线性加速器)的控制参数。在放射治疗中，应用控制参数来控制放射递送设备。如此控制的放射递送设备根据计划将高能放射束递送到目标体积中的损伤位点，以中和癌细胞。放射规划系统rts可以被配置为解决复杂的约束优化问题以递送受某些剂量约束影响的放射剂量。剂量约束可以规定将一定的最小剂量递送到包括癌组织的目标体积，但同样可以规定给处于危险中的某些器官(例如，在目标体积周围)的剂量不超过一定的最大剂量阈值。因此，健康组织得以幸免，而剂量递送集中在需要它的癌组织上。对处于危险中的器官和目标体积的位置的足够准确的了解可能是有益的。因此，所提出的系统sys的定位能力可以在本文在实施方式中所设想的放射治疗规划情况下有益地使用，例如用于提供处于危险中的器官和/或目标体积在图像体积中的位置p，因为规划系统rts通常使用这样的图像体积作为规划的基础。解决约束优化可能消耗大量cpu时间，并且不精确的位置信息可能使这样的努力徒劳，或者更糟的是，可能导致治疗不成功，健康组织受损和/或癌组织继续增殖。作为本文设想的所提出的基于图像的结构定位器系统sys的许多应用的一个例子，定位器系统sys可以以低的工作周期来提供精确的位置信息p，从而便于及时且成功的放射治疗。
[0092]
基于位置p的另一个处理选项是用解剖图谱集对其进行登记。登记位置允许将位置映射到解剖标签或特征，例如结构的自然语言描述，例如“第n椎骨”等。3d体积(在它们本身之间或到解剖图谱集)的登记中通常涉及的程序通常是基于优化的迭代方法。它们的效率可以高度受益于良好的初始化(例如，从对某些解剖位置的3d定位的较低维机器学习模型预测导出)和由例如机器学习解剖定位模型提供的辅助引导所需的更快的处理时间。
[0093]
为了便于更详细地解释定位器系统sys的操作，首先参考成像设备ia。成像设备ia被配置为用于生成至少三维图像体积v。成像设备ia包括图像信号源xs和检测系统d。成像信号源生成询问信号，该询问信号询问患者组织以获得要成像的感兴趣的量。在与患者组织相互作用之后，询问信号被检测系统d检测为测量值。数字获取单元(未被示出)将检测到的测量信号转换为一组数字值。该组数字值可以由成像装备mia处理成至少三维图像体积v。
[0094]
具体地，本文设想的成像模态特别是断层摄影类型。这样的断层摄影成像模态包括例如磁共振成像(mri)或发射型成像，例如包括pet或spect的核成像。在一些实施方式中，还可以设想oct(光学相干断层摄影)和3d us(超声)。
[0095]
例如，在mri中，源xs和检测器d包括布置在不同空间方向上的线圈，这些线圈发射和接收与磁场中的感兴趣区域相关的射频信号。然后可以使用接收到的谐振信号来计算最小的3d mri图像体积。在发射成像中，源是患者体内先前施用的放射性示踪剂物质。检测器系统d可以包括布置在感兴趣区域周围的伽马射线敏感检测器环，其被配置为拾取由物质引起的衰变事件以建立图像体积v。
[0096]
本文主要设想的另一种类型的断层摄影模态包括透射成像，特别是基于x射线的断层摄影成像。这可以通过图1所示的断层摄影ct扫描仪ia来实现。ct扫描仪ia可以是如图所示的固定类型，但是不排除移动系统。本文还设想了用于介入成像的c形臂或u形臂扫描仪。
[0097]
断层摄影x射线型成像设备ia可以包括诸如x射线管的x射线源xs作为成像信号源。在施加管电压和管安培数时，x射线管引起x射线束xb从其焦点发出。在数据获取(也称
为成像)中，x射线源穿过检查区域er，与患者组织相互作用，然后被检测为x射线敏感检测器d。
[0098]
在成像期间，患者pat或至少感兴趣区域roi位于检查区域er中。检查区域er是x射线源xs与x射线敏感检测器d之间的3d空间的一部分。在成像期间，患者可能在检查区域er中坐着、蹲着或以其他方式采取特定姿势。例如，如图所示，患者可以在成像期间躺在患者支撑件ps上。
[0099]
ct扫描仪ia或任何其他模态中的成像器ia被配置为使得其在成像期间的成像几何可以被调整。成像几何在实施方式中可以指成像的感兴趣区域、信号源xs和/或检测器d之间的相互空间关系或构象(constellation)。在图1所示的实施方式中，对成像几何的调整允许沿着相对于检查区域er中的roi的不同获取投射方向di获取投影影像λi。这可以在实施方式中通过围绕感兴趣区域旋转台架(未被示出)来实现。台架可以包括检测器和x射线源，因此台架的旋转引起成像器ia的光轴的旋转。光轴是假想线，其可以在焦点与检测器上的某个点(例如检测器的辐射敏感层或表面上的中点)之间延伸。特别地，至少源xs可以与台架一起围绕感兴趣区域roi旋转，从而允许沿着多个空间方向获取投影图像λi。这里不一定需要围绕感兴趣区域的完整转圈。在图1所示的扫描仪的生成中，检测器同样刚性地安装在台架上，与源xs相对并且跨越检查区域，因此源和检测器围绕感兴趣区域以相反的空间关系一起旋转。然而，不一定需要这种设置。例如，检测器可以被布置为围绕感兴趣区域的固定检测器环，使得它仅是与台架一起围绕感兴趣区域机械地旋转的源xs。在第四代扫描仪中，根本不需要机械旋转，因为除了检测器环之外，还存在多个源围绕感兴趣区域布置在源环中。本文设想了上述ct设计中的任一种，图1仅示出了这种设计的一个示例。
[0100]
x射线敏感检测器d优选具有2d布局，其中x射线敏感层由辐射敏感像素的矩阵构成。因此，每个获取的投影图像都是2d(二维)的。检测器层可以处于平面中或者是弯曲的，如图1所示。本文设想了诸如锥形束、扇形束和楔形束等的一系列的束几何形状。然而，优选地，使用允许完全3d获取的锥形束等。然而，这并不排除在不同截面平面中的分区获取，这可以用仅包括检测器像素的一维布置的检测器设计来实现。图像轴线z垂直地延伸到图1的绘图平面中并且基本上与患者的纵向轴线重合。标准剖面图像平面与其垂直，具有(x，y)坐标。
[0101]
扫描路径描述了在获取期间源xs的机械的(或在第四代扫描仪中为“虚拟的”)运动。扫描路径可以是螺旋形的以减少获取时间。具体地，当获取投影图像时(例如，在源xs围绕感兴趣区域旋转期间)，例如通过推进台架或患者支撑件ps，源xs与感兴趣区域之间沿着成像轴线z存在相对平移运动。然而，在本文中不排除在给定获取周期内被限制在相应的平面中的扫描路径，在获取周期之间(诸如在所述分割获取协议中)的平移。
[0102]
在投影域中获取投影影像λ＝λi。投影域是由检测器d的x射线辐射敏感层(检测器像素组)限定的2d空间。根据beer-lambert建模假设，检测到的强度表示通过由入射辐射束xb照射的患者组织的关注调制线积分。为了获得构成图像体积v的截面影像，使用重建器recon。重建器recon实现了一种断层摄影重建算法，该算法将投影影像λ变换成位于成像域中的图像体积v。设想的断层摄影重建算法包括滤波反向投影(fbp)、基于傅立叶的方法、代数或迭代重建算法。成像域是表示检查区域的概念3d空间，即形成在x射线源与检测器之间并且在成像期间感兴趣区域roi位于其中的空间部分。具体地，成像域在概念上由图像元素
或3d体素的3d网格构成。重建器recon计算图像域中的图像体积v。计算图像体积v(λ)导致用图像值填充体素。
[0103]
在这样的高维图像体积v中的导航和因此在这样的高维图像体积v中的定位如果没有帮助的话可能是具有挑战性的，特别是在诸如创伤环境的紧张情况下，或者在经验不足的工作人员的情况下等。所提出的定位器系统sys允许将感兴趣的结构σ快速且准确地定位在重建体积v中。例如，感兴趣的结构σ可能部分或整体与脊柱有关，用于在放射治疗规划中限定处于危险中的器官。其他感兴趣的结构σ可以包括部分或整个血管树。血管树结构表示血管系统的一部分，例如心血管系统。例如这样的图像体积v可支持有氧干预(cardio-intervention)。生成这样的体积以对血管或其他软组织成像可能需要事先施用造影剂以增强本文在实施方式中设想的对比度。
[0104]
图2示出了定位器系统sys的示意性框图。该系统可以包括定位器组件或模块lc。定位器模块lc可以被实现或包括经过训练的机器学习(“ml”)模型m。基于体积v，机器学习模型m计算结构σ的位置p(σ)。然而，不是使机器学习模型m对图像体积v整体(或至少在其所有维度上)进行处理，而是首先通过投影算子pr获得该体积的至少一部分的较低维呈现。投影算子pr提供了一个或多个较低维的投影表示(在本文中称为“(一个或多个)投影”)，并且正是该(一个或多个)投影π＝π(v)由机器学习模型处理，而不是体积v由机器学习模型处理。这样的一个或多个投影π而不是体积(或其高维部分)的ml处理允许感兴趣的结构在甚至高维图像体积中快速、存储器和cpu高效地定位。虽然本文参考感兴趣的结构σ，但是本文将理解，定位器组件可按顺序或同时在多个这样的结构上操作。
[0105]
投影算子pr可以被实现为投影映射，例如在体积上的正向投影，以获得例如数字重建的射线照片(“drr”)。获得单个投影π或多个这样的投影πj，并且是这些投影或单个投影被馈送到机器学习模型m中以用于处理成体积内位置p。如果存在多个这样的投影πj，则这些投影可以由ml模型m顺序地或同时联合地处理。在一个实施方式中，机器学习模型将一个或多个投影π回归到体积v内的感兴趣的结构σ的位置p(σ)中。处理这样的投影而不是体积本身允许更高效的存储器分配策略，从而整体处理更快。
[0106]
感兴趣的结构σ可以包括整个或一部分人类脊柱，例如这样的椎骨或其一部分。然而，定位代表其他器官的其他感兴趣的结构在本文中不被排除，并且实际上是特别设想的，例如心脏、手臂、腿等的(对比)脉管系统的一部分或者例如肺的一部分或者任何其他器官或解剖结构或其位标等。基于骨骼的位标在本文中可能至少对于这样的结构的清晰边缘梯度的x射线、ct或其他基于透射的成像模态是优选的。对于诸如肺投影图像中的肺叶裂的其他位标，也可以观察到这种清晰、明确限定的边缘梯度。其他位标可能包括与耳朵的顶部、特别是耳轮(helix)的顶部结合的鼻尖。该位标组合可以用作头部位置的指示器。另一个例子可以包括主动脉弓中的一个或多个位标，例如在升主动脉和降主动脉之间的弓的最低部分或者其他部分。这可以有助于主动脉的自动定位，例如分割，这可以在一些医学应用中使用，例如用于所谓的动态/门控pet获取的图像衍生输入函数。因此，从上面可以明显看出，这里使用的位标可以包括一起限定了感兴趣的结构的不相交的图像结构σ＝∪iσi。多个位标可以一起使用，例如用于指示人体姿势的手臂姿势和/或(一个或多个)膝盖的倾斜等。
[0107]
虽然原则上一些原始的、测量的投影数据λ可以由定位器组件lc使用，但是它主要是沿着不同投影方向l这样人工生成的投影π，不同投影方向l由定位器组件lc处理到寻求
的位置p(σ)中。因此，可以获得更大和更多样的投影视图池，这允许对位置p进行更高效且更精确的计算。这是因为人们认为，这个更大的投影池π可能编码更相关的几何信息内容或具有更大的判别力。可以使用诸如基于熵的信息度量来通知选择投影仪算子op要沿着哪些方向投影以获得模型m要处理的投影输入π。例如，在检查区域er由环形台架围绕的孔形成的固定ct扫描仪中，投影原始数据λ的投影方向通常限于垂直于患者的纵向/成像/旋转轴线z的方向。合成投影π的投影方向l不受如此限制，并且可以呈现相对于纵向轴线z的任何期望角度。替代地，投影方向选择可以是随机的和/或基于一些解剖学上适用的启发式方法，例如，被选择为与脊柱的(部分)曲线正交等。还设想了由投影仪pr实现的更一般的投影映射π，并且投影不一定与这样的投影线相关联，而是与可以在体积内弯曲或以其他方式限定的更复杂的子集(2d或3d)相关联。投影是这些集合中的图像信息的函数，并且可以通过沿着线的正向投影以外的其他算法形式来实现，以实现本文设想的降维。然而，为了说明，我们将继续主要参考沿着线的投影几何和/或正向投影，应当理解，这只是一个实施方式。
[0108]
根据机器学习模型m的配置，位置p可以由单个坐标或一组坐标表示，或实际上被表示为边界框，例如如上所述。在一些实施方式中，可以通过定位器组件lc来计算分割或任何其他形式的定位。在分割的情况下，输出是二进制或概率掩模。因此，每个条目相应地表示相应的体素是否是所寻求的结构σ的一部分或者以何种概率。
[0109]
在一个实施方式中，线性投影几何的投影仪pr的操作在图3中示出。投影仪pr可操作以基于通过用户界面ui提供的用户输入或者由随机生成器(未被示出)随机地或者基于临床知识自动地限定体积所在的3d空间中的视点vp。一些或所有视点vp可以根据需要在体积v之外或在体积v之内。从每个视点vp，单个或多个投影方向lj投射穿过体积v并投射到其相关联的投影表面上。因此，投影仪pr的操作可以在这样的投影几何中通过以下三者来限定：i)一个或多个视点的集合，ii)一个或多个投影方向，以及iii)一个或多个投影表面，每个投影表面与相应的投影方向相关联。根据需要，并非所有投影方向都可以从同一视点投射。投影表面可以是平面或曲面。如果使用不同的方向，则所有投影表面都可以是平面的，或者所有投影表面都可以是曲面的，或者根据需要存在(一个或多个)平面和(一个或多个)表面的混合。用户可以通过用户界面ui设置投影算子参数i)-iii)。因此，投影算子pr的操作导致从一个或多个视点到相同或不同投影表面上的一个或更多个投影图像πj。投影几何可以包括正交投影、平行投影或具有从单个视点以任意“虚拟”束的形状的投影方向的发散束的中心投影。
[0110]
来自同一视点vp的两个这样的投影方向如图3所示。然而，如上所述，替代地或补充地，可以从不同的视点投射相同或不同的投影方向射线lj。从给定视点和投影平面沿着给定投影方向lj的每个投影操作产生相应的投影(视图或图像)πj。对应于两个示例投影方向l
j,j＝1,2
，两个这样的合成投影图像π
j,j＝1,2
在图3中示出。投影是合成的，因为没有像原始投影原始数据图像λ那样的测量，并且投影几何与成像几何不同。体积中感兴趣的结构σ可以由相应的投影图像πj中结构σ的相应投影足迹或投影视图来表示。如果适当地选择投影方向，相应的一个或多个投影足迹将允许结构σ的位置p在3d空间中的精确定位。因此，可能需要通过选择器sl或通过用户输入ui来选择投影方向。然而，这种基于先验知识的(一个或多个)投影方向的适当选择是可选的，因为预期的是，如果模型m已经在足够大且适当
变化的训练数据库上进行了训练(下文将对此进行更进一步的描述)，那么即使是随机的单个(或多个)这样的投影π也可能足以使模型m以足够的精度估计3d位置p(σ)。这是因为ml方法在功能上与试图基于基本建模假设构建分析闭合形式(例如，公式)的经典方法不同。在ml中不需要这样的假设，或者只需要非常一般的假设。一个这样的基本ml假设是，在投影π中、特别是在它们所包括的相应的结构足迹中编码的空间-几何信息与该结构的3d体积内位置之间存在潜在的映射或关系。这种关系可能取决于许多因素，例如噪声、成像几何以及还有在给定图像体积v中捕获的被成像患者的解剖特征。如果不是不可能的话，这些因素的相互作用可能难以以封闭的分析形式进行经典建模。ml不需要这样的分析建模，而是旨在根据训练数据集(优选地从不同人口统计的患者中提取)中可能编码的隐含模式来对这种潜在的映射进行近似。因此，在一些(但不是全部)实施方式中，训练数据集可以特别地包括可能被保存在医疗记录或数据库中的来自先前检查的相同或优选不同的患者的感兴趣的解剖结构/结构的适当大量历史的这样的图像体积。如果模型m是在例如历史脊柱图像体积的如此大且变化的训练数据集上训练的，那么即使是给定体积v上的单个随机投影也可能足以估计感兴趣的结构σ的体积内的3d位置p(σ)。人们认为这是因为ml模型可以在上下文中考虑投影图像中的所有信息。例如，给定投影π中结构σ的足迹与周围其他结构的相互距离可能足以正确缩放该信息，从而将正确的位置外推到3d空间中。这种估计能力可以通过不仅向模型m提供输入投影π，而且还提供上下文数据c作为丰富的输入(π，c)来提升。这可以使模型m更容易地建立相关性的模式。上下文数据c可以包括例如患者特征(性别、bmi、年龄、种族等)，并且可选地，可以进一步包括患者的病史数据。训练数据可以通过数据扩充方法(例如缩放、旋转等)或其他方法变得更加多样化。如将更详细地解释的那样，训练数据可以不一定包括历史数据，或者可以不仅仅包括历史数据，而是可以替代地或附加地被合成，这将在下面更详细地解释。
[0111]
即使模型m是在大的训练集上训练的，或者如果在训练时这种足够大的训练集不可用，仍然可能由于某种原因而出现预测位置不一致。这样的原因可能包括固有的图像噪声，或者由于投影方向的糟糕选择而导致的相对较低的信息内容，并且模型在其当前训练阶段可能无法充分地解决这种不一致。例如，如果使用多个投影，则可能出现这种预测不一致。这可能导致不是单一的、决定性的位置预测p(这是想要的)，而导致不同的计算出的估计位置p’j
。一致性检查器cc可以处理、特别评估输出的多个预测位置p’j
。例如，如果多个计算出的位置p’j
不在预定的邻域体积内，则向选择器sl发送信号。然后，选择器选择不同的新的投影方向，并且重新运行该过程以获得更新的或新的预测位置p’j
。如果这些被评估为足够接近，则可以由组合器或合并器csc(下面在图2b中示出，但是也可以在该图2a的实施方式中使用)计算出单个位置p作为最终输出。例如，可以由一致性检查器cc形成多个预测位置p’j
的重心或平均值或其他组合，以基于多个暂定位置p’j
计算最终输出b。然而，这种一致性检查器是可选的，并且即使定位器组件lc确实如上所述处理多个投影π，也可能不需要。例如，代替定位器组件lc单独预测每个投影πj的位置p’j，定位器组件可以被配置为联合处理多个投影πj作为组合输入，以获得更好的稳健性。组合输入可以包括患者上下文数据c。
[0112]
如图2a所示，定位器组件lc可以使其机器学习模型端对端地计算3d位置p。也就是说，机器学习模型m被配置为将一个或多个输入投影π直接变换到3d空间中、特别是在体积v
内的位置，以定位感兴趣的结构。
[0113]
然而，在所有实施方式中，本文不一定需要从2d空间(或其他较低维空间)到3d(或更高维)空间的这种端对端ml预测。图2b示出了不依赖于这种ml端对端实现方式的另一个实施方式。具体地，该实施方式示出了根据不同实施方式的定位器组件lc。在该实施方式中，定位器lc包括串联的两个子组件：经过训练的机器学习模型m，以及模型m的下游的反向投影仪bp。在该混合实施方式中，对部分ml和部分经典ml模型m进行训练以优选地将多个投影πj映射到每个投影足迹的相应的2d位置。然后，是如此获得的结构σ的投影足迹的ml预测的2d位置p被传递到反向投影仪bp。反向投影仪bp将结构的投影足迹的2d位置反向投影到体积所在的3d域中，以获得结构的3d位置p。具体地，在线性投影几何的一个实施方式中，反向投影仪bp将各个线mj从结构足迹在相应的2d空间投影πj中的位置投射回3d域中以获得该位置。将理解的是，尽管图2a的端对端ml实施方式可能在对患者上下文数据进行充分训练和可选处理的情况下能够从单个投影预测3d位置，但是图2b中的具有反向投影仪bp阶段的实施方式可能需要至少两个这样的投影来解析为单一的决定性3d位置p。
[0114]
类似于图2a中的情况，例如，通过模型m预测的结构σ的投影足迹在单个或相应的投影π中的位置p可以是一个点的相应的单个坐标或一组坐标或2d边界框或分割掩模(segmentation mask)。2d边界框可以由拐角点和宽度和高度来限定。
[0115]
反向投影操作bp在图4中示出。两个或更多个这样的投影足迹位置沿着相应的线和被反向投影到图像域中。组合器或合并器组件csc可以被配置为将反向投影的线合并为用于该位置的单个输出。例如，在实施方式中，组合器或合并器组件csc可以旨在找到反向投影线的交点，从而限定所寻求的感兴趣的结构的3d位置p。再次，由于图像噪声、舍入误差、模型m的轻微预测误差或其他对抗性因素，可能不一定存在这样的单个交点。这种缺陷可以由用于该实施方式的一致性检查器cc来检测。一致性检查器cc可以确定解决不一致性的补救措施。检查器cc可以指示选择器组件sl使用一组不同的投影方向来重新运行计算。可以替换所有投影方向，或者仅替换一些(一个或多个)新的投影方向，或使用多个投影方向或减少数量。然后重新运行定位器组件lc的预测操作，并且该模型预测2d投影足迹的新的位置集合。然后对这些2d投影足迹进行反向投影，检查器cc重新检查一致性，等等。可以以这种方式运行多次迭代，直到找到明确的3d位置，该3d位置可以由组合器/合并器csc组合。特别是在非线性投影几何的一般情况下，反向投影的交点可以是2d或3d子集。然后可以通过在位置p对那些子集中的信息进行平均或以其他方式组合来计算位置。例如，可以将中心点重心的位置或子集的任何其他明确定义的特征的位置计算作为位置p。
[0116]
不同的一致性策略可以由一致性检查器cc来实现。例如，一旦找到至少两条线的交点，或者一旦两条线以小于预定的误差容限而通过彼此，一致性检查器可以被配置为将此解释为分辨率，然后将该交点输出作为结构σ的估计位置p。如果在容限内存在接近命中，则可以计算位于误差容限内的两条通过线上的点的距离平均值并将其输出作为位置p。
[0117]
如上所述，投影仪pr所使用的初始投影方向的选择可以随机地进行，或者可以由用户通过用户界面ui作为用户输入来提供。例如，(临床)用户可以通过图形用户界面提供所提出的投影方向，该投影方向可以足以揭示机器学习模型以足够的精度计算3d位置。可
能不需要一致性检查器cc进行干预。
[0118]
在另一个实施方式中，关于感兴趣的解剖结构的几何性质(例如，对称性、不对称性等)的临床知识被用于从一开始选择适当的一组投影方向。诸如脊柱的感兴趣区域的解剖知识和用于生成初始体积v的成像几何可以用于通知和计算投影仪pr要使用的先验合适的投影方向。
[0119]
限定足迹的2d位置的边界框、分割掩模、热图等可以作为整体而进行反向投影。这可以限定体积v中的(一个或多个)表面或子体积部分。组合器csc可计算被反向投影的表面或子体积上的交点、重心或其他明确限定的点以获得位置p。
[0120]
具体地，对于与脊柱相关的应用，由于脊柱的形状(例如，侧凸脊柱)，产生最佳空间信息的最佳、最具揭示性的投影方向可能因患者而异，甚至可能从脊柱的一部分到另一部分不同。椎骨之间的相互构象可以确定例如相邻的椎骨形状是否会在投影中重叠。脊柱侧面垂直视图通常是找到椎骨之间清晰边界的良好选择。
[0121]
对于任何结构，不仅与脊柱有关，可使用合适的量度来定义空间信息的优度。在一些情况下，最佳空间信息基于解剖学可能是清楚的，并且可以从感兴趣的结构的解剖类型和用于获得模型的投影几何来确定性地导出。因此，应当选择投影仪pr要采用的投影方向，使得感兴趣的结构能够与周围图像信息充分分离。
[0122]
在另一个实施方式中，一致性检查器cc可以执行灵敏度或扰动分析，以查看计算出的结果p或结果p’如何取决于投影方向lj的选择。通过对初始投影方向应用小扰动并通过重新运行计算，可以解决不一致性，并且可以输出单个位置p形式的明确结果。基于解剖知识/成像几何的投影方向的选择和扰动分析可用于图2a、图2b中的任何一个实施方式。
[0123]
其他优化过程也被设想为一致性检查器与投影方向选择器sl和/或合并器csc之间的相互作用。这样，在迭代过程中，从任意投影开始，可以在一次或多次迭代中获得较高质量的投影方向，并且可以明确地计算出期望的位置p。更一般地说，合并器可以基于诸如给定投影的投影线或反向投影集的反向投影来实现一致预测确定。
[0124]
例如，在一些实施方式中，可以在优化过程中通过一次或多次迭代找到合适的投影几何(例如，对于正交投影—以及角度)。该过程被配置为找到投影几何，该投影几何改进了(例如，最大程度减小了)与每对后续椎骨的投影方向和椎骨间曲线段之间的正交性的平均偏差，如到此为止在定位过程中所估计的那样，例如从应用基于投影的定位的先前迭代开始。
[0125]
可能是投影中的数据点沿着不同方向不重合的情况。例如，椎骨本体的中点可能足以定位，但椎骨本体的边界点不足以定位。在后一种情况下，可以拟合形状基元来估计位置。例如，椭圆/椭球体或其他更真实的形状可以用作形状基元来微调定位。
[0126]
将理解的是，本文设想了投影几何的所有方式，包括平行投影(如图3、图4所示)和发散投影，例如用于虚拟锥束或扇形、楔形束等。在发散(中心)投影的情况下，图3中的线l(以及图4中的反向投影线m)可能与从视点延伸到投影表面上的中心点的主方向有关，将理解的是，对于投影表面中的每个点都存在多个这样的投影。
[0127]
投影表面可以在体积外部或可以与体积v相交，从而限定穿过体积v的(一个或多个)截面。优选地，(一个或多个)投影/反向投影线lj、mj被选择为穿过体积v的拓扑内部的点，因为它是本文主要感兴趣的体积内的结构σ(对应于患者体内的roi)的位置，与在本文
中被忽略并且不感兴趣的体积的表面点不同。因此，投影仪被配置为使用远离体积v的表面的拓扑内部点，并且正是这样的内部点被投影到投影表面上以获得定位器组件lc/机器学习模型m要处理的(一个或多个)投影π。为此目的，体积v可以在概念上被视为是拓扑开放的，因此排除其嵌入在3d空间er中的外边界表面。然而，这样的表面点不一定被排除在外，并且除了一个或多个内部点之外，还可以使用这样的表面点。
[0128]
由投影仪pr实现的投影操作π在本文中被广义地解释。它包括正向投影操作，例如沿着几何射线lj对体积v内的位置x处的体素值求和，以将体素值压缩成投影表面上的线积分，从而实现从3d到2d的映射操作：
[0129][0130]
t是相应的投影方向l的参数化(在(1)中更恰当地表示为3d中的矢量)，并且v是视点在v内部或在v外部的3d位置。对t的积分终止于投影表面上的点。如前所述，投影表面在体积v内部/与体积v相交，或者在v外部并且可以是平面(其是优选的)，但是可以替代地对于某些视点是曲面。
[0131]
作为(1)的扩展，这里可以设想加权的投影操作π，其中实值权重或传递函数w()在3d空间中限定，特别是针对构成体积的点。
[0132][0133]
因此，(2)实现了加权调制的线积分投影。例如，w可以被选择为穿过体积v的任意截面的指示函数。因此，投影(2)可以产生穿过体积v的所述截面。可以使用任何其他函数w，其他预定的或用户定义的函数。(1)是(2)的当w被定义为体积v中任何点x的恒等函数w(x)＝x时的特殊情况。权重函数w可能取决于投影方向w
l
。除了权重函数w之外或者代替权重函数w，可以使用传递函数f。传递函数可以用于例如将灰度值转换为例如更适合mri的其他数据值。因此，传递函数可以是依赖于成像模态的。
[0134]
在本文中将理解的是，等式(2)或(1)不限于从3d到2d的投影，但该示例在本文中主要用于说明并且确实在一些实施方式中被设想到。因此，(2)、(1)可以扩展用于从n维空间到(n-k)维空间的任何权重和/或传递函数调制的投影，其中n≥3并且k≥1，但是这里主要设想k＝1。虽然(1)和(2)是针对线性投影而制定的，但是本文的原理不限于此并且是概括的，特别地，非线性投影映射π如下文在(4)处所解释的那样也在本文中被设想。
[0135]
如本文可以理解的是，系统sys可以包括或可以访问定位器组件lck的库，每个定位器组件包括专门针对要定位的特定解剖结构训练的相应模型mk。然而，仍然可以使用单个模型，但是这可能需要在一系列不同解剖特征上进行训练。
[0136]
用户界面ui可以允许用户指示其位置p被寻求的感兴趣的结构的标签，例如名称(脊柱、第n椎骨等)。系统sys将该请求映射到所述库中的正确模型mk并访问相关联的模型mk。基于该结构的解剖学知识和/或用于生成体积v的成像几何，合适的投影方向或更一般地投影几何由选择器sl选择并且用于指导投影仪pr计算对应的(一个或多个)投影π。可以假设成像几何与体积v相关联。数据结构可以包括关于用于被测量的原始投影数据λ的投影方向以及其中嵌有体积v的空间er的坐标系的信息。定位器lc可以由一些软件或模块触发，而不一定直接由用户触发。例如，图谱集登记模块或规划应用程序可以请求某个结构σ/相关解剖结构的定位。解剖结构的类型例如是经由函数调用来请求的。定位器然后访问针对
这种解剖结构进行训练的模型mk，并且处理开始以计算在体积v中的位置。解剖结构的类型可包括多个结构并且需要运行多个模型来定位所有所需的结构。
[0137]
通常，针对某个特定的定位任务来训练库中的给定模型mk。根据如何制定任务，可以检测/集中于不同的结构。例如，可以训练模型以检测其他椎骨中给定椎骨上的(一个或多个)位标。可以训练模型以检测特定类型的一些或所有结构。模型m的任何输出都可以是后处理的，以进一步将其调整为特定任务。例如，分割器可以对椎骨结构“计数”以找到l03等。
[0138]
定位器组件lc可以分配解剖标签以指示找到的一个或多个结构的解剖名称。
[0139]
为了更好地引导系统sys，下部界面ui可以被配置为允许用户将粗略估计指定为体积v中的假设感兴趣的结构所在的区域。
[0140]
计算出的位置p可以被细化为表示结构的3d形状的3d分割。3d形状模型可以用于感兴趣的结构。结构的位置(例如，由定位器lc提供的一组多个坐标)可以由组合器/合并器csc在单独的优化过程中拟合到来自形状模型库的最佳3d形状模型，或拟合到全局3d形状模型的最佳部分。品质因数可以用于测量由成本函数表示的拟合。
[0141]
通常，根据多个坐标，位置p可以限定位标和或轮廓或对象形状。这些可以基于原始3d数据集v，例如基于体积中的灰度值和边缘来进一步细化。换言之，不是使用外部形状模型，而是在优化中使用体积本身中的结构、纹理等，来通过合并器csc或其他后处理组件将位置信息p拟合到体积中的位置p处的信息。可以使用基于模型的分割，例如其中位置p坐标被视为形状的外壳体，并且这适合于体积中的由位置信息限定的结构。
[0142]
现在参照图5的示意性框图，其示出了本文在实施方式中设想的机器学习模型的组件。优选地，可以使用人工神经网络类型的模型或简单地使用神经网络(“nn”)，特别是卷积类型的神经网络(“cnn”)。已经发现cnn能很好地处理空间相关数据，例如本文处理的图像类型数据。
[0143]
cnn使用卷积算子cv。cnn或更一般地nn模型m由布置在级联层中的一组计算节点组成，其中一层中的节点将其输出作为输入传递给后续层中的节点。层中的节点被示意性示出为块il、lj、ol。
[0144]
在图5中，由投影仪pr提供的投影影像π被输入到模型m中。响应于此，模型m在端对端的实施方式中提供输出的m(π)＝p、体积内3d位置p(σ)或结构σ。在图2b的间接实施方式中，提供输出的结构σ的投影足迹在2d中的位置。
[0145]
模型网络m可以说具有深层架构，因为它具有不止一个隐藏层。在前馈网络中，“深度”是输入层il与输出层ol之间的隐藏层的数量，而在递归网络中，深度是隐藏层的数量乘以通过次数。
[0146]
网络的层、实际上是输入和输出以及隐藏层之间的输入和输出(在本文中称为特征图)可以表示为用于计算和存储器分配效率的二维或更高维的矩阵(“张量”)。
[0147]
优选地，隐藏层包括一系列卷积层，其在本文中被表示为层l1-ln。卷积层的数量为至少一个，但是多个是优选的。隐藏层的数量可以是两位数甚至三位数，但不排除小于10位数。本文可以使用任何类型的层，以及任何数量的输入和输出节点。节点的数量尤其可以取决于输入的大小，以便允许网络例如同时接受单个投影或多个投影。
[0148]
在部署中，投影输入数据π被应用于输入层il。然后，输入数据π通过一系列隐藏层
l1-ln(仅示出两个，但是可以仅存在一个或多于两个)传播，然后作为估计输出m(π)＝p或在输出层ol处出现。在图2a的实施方式中，体积中的3d位置p可作为一个或多个坐标(例如在分割中)或作为bbox[(a,b),w,h]或[(a,b,c],w,h,d]而被提供，其中(a,b)或(a,b,c)分别是bbox的指定点(诸如左下角等)的2d或3d坐标。坐标w、h、d分别是宽度、高度和深度。本文还设想了位置热图回归，在下面更进一步描述。输入数据可以包括上下文数据c以形成丰富的输入。因此，上下文数据c可以另外与投影输入一起由模型共同处理。在图2b实施方式的实施方式中，m的输出是相应投影π中的相应2d位置p。
[0149]
在实施方式中，在一系列卷积层的下游和输出层ol的上游，可以存在一个或多个完全连接的层(未被示出)，特别是在寻求回归结果的情况下。输出层确保输出的y具有正确的尺寸和/或维度。
[0150]
优选地，隐藏层中的一些或全部是卷积层，即，包括一个或多个卷积算子(或“滤波器”)cv，其将来自较早的层的输入特征图处理为中间输出，有时称为logit。可选的偏置项可以通过例如相加来应用。激活层以非线性方式将logit处理为下一代特征图，该下一代特征图然后被输出并作为输入而传递给下一层，以此类推。激活层可以实现为如图所示的整流线性单元relu，或者实现为软最大函数、s形函数、tanh函数或任何其他合适的非线性函数。可选地，可以存在其他功能层，例如池化层pl或退出层(未被示出)，以促进更稳健的学习。池化层pl降低了输出的维度，而退出层切断了来自不同层的节点之间的连接。
[0151]
在机器学习设置中，可以使用一系列nn模型，例如具有维度瓶颈结构的模型。例子包括“u-net”网络，其中特征图随着层深度向下而在维度上降低到在给定层处达到最低维度(“潜在空间”)的表示，然后特征图维度可以在下游层中再次增加，在输出层处的维度具有描述位置p的所需大小。u-net型网络由o ronnetberger等人在2015年5月18日提交的“u-net：convolutional networks for biomedical image segmentation”(可在arxiv:1505.04597[cs.cv]处作为预印本获得)中提出。nn网络可以是前馈或递归的。边界框检测可以使用例如单阶段或两阶段的对象检测方法来执行，例如更快的r-cnn(由ren等人在“faster r-cnn：towards real-time object detection with region proposal networks”，《ieee模式分析和机器智能汇刊》，第39卷，第6期，2017年6月1日中提出)，或yolo设置(由redmon等人在“you only look once:unified,real-time object detection”，《ieee计算机视觉和模式识别会议》，第779
–
788页，2016年6月中提出的)。其他选项包括由liu等人在“ssd:single shot multibox detector”，《计算机视觉
–
eccv 2016》，第21
–
37页，springer国际出版，2016”)中描述的ssd或由tan等人在“efficientdet:scalable and efficient object detection”，《ieee/cff计算机视觉和模式识别会议论文集》，2020年，第10781-10790页)中描述的efficientdet。所引用的基于bbox的cnn方法允许在相同网络的情况下对若干个类对象进行准确且相对高效的定位，还允许使用在公共对象检测数据集上预训练的网络状态作为模型训练中的起始点。
[0152]
ml模型不一定是回归器类型，而是可以被配置为分类器。可以使用二元分类器，这两类表示结构σ是否存在于输入图像中。类激活图(“cam”)可由定位器组件lc来计算。cam可被呈现为热图。cam或其热图可被映射在输入上或被反向投影到体积v中以识别位置。cam向输入体素或像素分配与它们对分类结果的贡献有关的得分。可以使用基于梯度的方法来计算cam。因此，在该实施方式中，位置是通过分类与用作体积内位置p的指示符的cam的组合
来获得的。得分幅度与位置相关，因此具有高于特定阈值的高得分的区域可以被视为位置p的指示符。
[0153]
(一个或多个)gpu(图形处理单元)或能够并行计算的其他处理器类型(例如具有多核设计的那些处理器类型)可以用于实现系统sys，特别是经过训练的模型m/定位器组件lc。使用这样的处理器提供了更好的实时体验和高吞吐量。系统sys可以在线、准实时地、在成像会话和/或干预期间使用，但可以替代地离线使用，以分析可以在诸如pacs(图片存档和通信系统)或其他图像库的医学数据库上访问的先前会话的先前图像体积。
[0154]
现在参照图6，其示出了用于训练在定位器组件lc中使用的机器学习模型m的训练系统ts的示意性框图。
[0155]
系统的操作基于训练数据。在监督学习方案中，训练数据包括训练输入π’及其相关联的目标或“标签”p’的对(π’k
,p’k
)k。与到此为止在上面和下面使用的不带撇号的符号中的部署数据不同，撇号
“‘”
在本文中表示训练数据。前面提到的丰富输入可以被写成和提供为(π’,c,p’)，其中c是相应的上下文数据，例如患者的生物特征等。训练数据可以来源于例如保存在医学数据库td中的现有影像。这里优选的是，训练数据来源于来自广泛人口统计的患者的历史图像体积。目标p’可以从医疗记录中搜索，或者可以通过人类专家注释获得。作为使用这样的适当注释/标记的历史影像的补充或替代，这里可以设想训练数据生成器系统tdgs，其允许合成这样的适当标记的训练数据，从而增强例如历史训练数据的现有存量的可变性并且使训练数据的来源不太麻烦，特别是对于可能是费力任务的注释。数据注释/标记可以自动完成，例如通过记录到解剖图谱集。可以存在用于手动检查/校正的用户输入的可选功能。
[0156]
原始历史训练数据和/或合成的训练数据在训练系统中优选地批量处理以调整机器学习模型的参数。
[0157]
可以通过数据增强技术处理历史或合成的训练数据以增加变化。
[0158]
在ml中，可以区分两个阶段：训练阶段和后续的部署阶段。在训练阶段，模型m处理训练数据以调整其参数。在训练阶段或其周期之后，可以使模型可用于临床实践中的位置确定器，以帮助临床医生在给定的患者图像体积中找到感兴趣的结构。在部署中，模型处理新数据，而不是来自训练数据集的数据。
[0159]
更详细地并且再次参考训练阶段，机器学习模型m的架构(诸如图5所示的cnn网络)用初始参数集进行预填充。在cnn的情况下，参数可以θ包括卷积算子cv的权重。在其他模型中可以调用其他参数。模型m的参数表示参数化m
θ
。训练系统ts的目标是基于训练数据(π’k
,p’k
)k对优化并因此调整参数θ。换言之，学习或训练可以在数学上被公式化为优化设置，其中成本函数f被最小化，但是可以替代地使用使效用函数最大化的双重公式。
[0160]
现在假设成本函数f的范例，这测量了聚集的(一个或多个)残差，即，在由模型m估计的数据与目标之间根据一批训练数据对k中的一些或全部或在全部训练数据上产生的误差总和：
[0161]
argmin
θ
f＝∑kd[m
θ
(π
′k),p
′k]
ꢀꢀꢀ
(3)
[0162]
在等式(3)中，函数m()表示模型m应用于训练输入π’k
的结果。该结果通常与相关联的目标p不同。这种差异或每个训练对k的相应残差通过距离测量d[,]来测量。可以使用合适的差的范数函数，d＝||m
θ
(π
′k)-p
′k||。因此，成本函数f可以是基于像素/体素的，例如
l1或l2范数成本函数，或任何其他范数lp。距离函数可以对位置的坐标分量进行分量操作。具体地，当输出层回归到位置p或p时，(3)中的euclidean型成本函数(例如最小二乘法或类似方法)可以用于上述回归任务。当模型m要用作分类器时，例如在cam实施方式中，替代地，将(3)的求和公式化为交叉熵或kullback-leibler散度或类似方法之一。
[0163]
输出训练数据m(π’k
)是与所应用的输入训练图像数据π’k
相关联的目标p’k
的估计。如上所述，通常在每对k的该输出m(π’k
)和相关联的目标p’k
之间存在误差。然后，可以使用诸如反向/正向传播或其他基于梯度的方法的优化过程来调整模型m的参数θ，以减小所考虑的对(π’k+1
,p’k+1
)的残差，或者，优选地减小来自完整的训练数据集的训练对的批量(子集)的残差之和的残差。
[0164]
优化过程可以迭代地进行。在第一内循环中的一次或多次迭代之后，训练系统ts进入第二外循环，在第一内循环中，模型的参数θ由更新器up针对当前一批对(π’k
,p’k
)进行更新，在第二外循环中，下一个训练数据对(π’k+1
,p’k+1
)或下一批被相应地处理。更新器up的结构取决于所使用的优化过程。例如，由更新器up管理的内循环可以通过基于f的梯度的正向/反向传播算法或其他基于梯度的设置中的一次或多次正向传递和反向传递来实现。通常，外循环从训练数据项的分批(集合)上面经过。包括多个训练数据项和(3)中的求和的每个集合(“分批”)遍布整个相应批，而不是逐一地通过训练对迭代，但是该后一选择在这里不被排除在外。
[0165]
可选地，可以使用一个或多个分批归一化算子(未被示出)。分批归一化算子可以集成到模型m中，例如耦合到层中的一个或多个卷积算子cv。bn算子允许减轻消灭梯度效应，即在模型m的学习阶段中的基于梯度的学习算法期间经历的反复正向和反向传递中的梯度幅度的逐渐减小。分批归一化算子bn可以用于训练，但是也可以用于部署。
[0166]
对于图2b的实施方式，训练集包括(π’k+1
,p’k+1
)，其中p是投影π’k+1
中的结构σ的足迹在2d中的位置，并且在等式(3)中，3d p
′k被p
′k取代。
[0167]
图5所示的训练系统可以用于所有学习方案，特别是监督方案。在替代实施方式中，这里还可以设想无监督学习方案。(一个或多个)gpu可以用于实现训练系统ts。完全经过训练的机器学习模块m可以存储在一个或多个存储器mem’或数据库中，并且使得可以作为经过训练的机器学习模型使用以在系统sys中使用。
[0168]
训练图像体积v’可能源于与ml模型所针对的成像模态不同的成像模态。例如，可以计算在mri体积上的投影，并且基于它来训练模型m，但是经过训练的模型m然后可以在部署中用于定位ct或其他x射线图像体积中的结构。例如，可以通过训练数据生成系统tdgs而在投影中使用传递函数f以使投影看起来更像x射线。传递函数可以是成像模态相关的。通常，训练数据生成系统tdgs可以试图使不同模态的数据或从不同模态导出的数据(例如，通过投影)在性质上看起来相似。例如，可以处理mri图像，使得骨骼结构比其他组织更亮，从而使图像与ct等更相似。可以使用sobel滤波或其他类型的滤波器来模拟相应的成像模态的响应特性。以类似的方式，可以在x射线体积上训练模型，而在部署期间遇到的是mri体积。还设想了其他模态组合，包括在训练和部署场景中使用若干不同的模态。
[0169]
在实施方式中，系统tdgs处理某个患者的给定的训练体积，并且使用投影仪pr来随机计算例如在体积上的投影。优选地，投影方向以良好的密度采样体积可以被认为嵌入其中的3d单元球体。可以对来自不同患者的多个体积重复这种投影采样。因为投影操作是
受控的并且感兴趣的结构的位置根据定义是已知的，所以标记是自动的。可以通过这种方式处理多种类型的感兴趣的结构。替代地，随机化限于一系列预期在部署中相关的投影视图。以这种方式，可以生成合成的训练数据。
[0170]
现在参照图7，其示出了用于在高维图像体积中定位感兴趣的(图像)结构的基于图像的方法的流程图。图像体积至少是3d，但是可以更高，例如4d或更高。该结构可以表示任何其他感兴趣区域roi的解剖结构或其一部分。根据需要，通过体积内的一个或多个坐标、bbox或分割图来指示定位。
[0171]
在步骤s710处，例如通过根据由患者的至少一部分的断层摄影成像设备获取的原始投影原始数据λ重建来生成原始输入体积v。
[0172]
然后，在投影步骤s730中，使用任何合适的线性或非线性的投影映射，在不同的投影几何下计算在体积上的或关于体积v的随机或预定的合成投影影像π。例如，在线性投影几何中，使用不同的投影方向。投影方向或通常在步骤s730中使用的投影几何通常不同于用于获取重建体积v的原始原投影数据λ的成像几何。
[0173]
在步骤s720处，可以基于先前的解剖知识或先前计算的定位结果或实际上基于用户输入来预先选择投影几何，例如投影方向和/或用于计算投影的其他投影几何参数或方面。投影几何设置(例如投影方向)的选择可以例如基于初始扫描的成像模态或密度来动态地调整。该投影可以基于预测位置的先前迭代。最初使用随机投影几何，然后基于某个目标(例如，投影内结构足迹与周围环境的充分分离)在一次或多次迭代中对此进行细化。
[0174]
步骤s730处的投影操作产生体积的单个或优选多个投影图像π。投影图像优选地包括体积中的感兴趣的结构的投影足迹。
[0175]
在步骤s740处，一个或多个投影图像然后由经过训练的机器学习模块处理以产生结果。结果可以包括感兴趣的结构σ在体积v内的3d位置p。结果可以在步骤s760处输出。
[0176]
相反，在步骤s740处获得的基于机器学习的结果是中间结果。中间结果可以表示投影影像中的一个或多个位置p，其在2d中指示感兴趣的结构的相应2d投影足迹的相应位置。
[0177]
然后，处理s740可以包括进一步的处理步骤，以使用如此定位的2d信息来计算3d位置，然后可以在步骤s760输出该3d位置。具体地，在步骤s740处的处理可以包括通过将相应的线投射通过图像体积所在的图像域来将投影足迹位置反向投影到3d中的处理。然而，使用更通用的投影几何，在这种情况下，反向投影的集比线更通用，因此可以包括例如曲线或曲面或子体积。
[0178]
如此传递的线或更一般地由反向投影限定的子集可以在处理步骤s740中例如通过合并、组合、三角测量、求平均或以其他方式进行组合，以获得在步骤s760处的最终输出p。
[0179]
可以在步骤s750处执行一致性检查，如果发现不一致，例如反向投影线或其他集合没有交点，则调整初始选择的投影方向。这里还设想了步骤s750处的另一个质量参数评估。
[0180]
可以使用单个投影，特别是结合患者的上下文信息c，例如身高、身材、bmi、性别等。这可以允许机器学习模块结合上下文数据使用周围信息来正确地估计、外推感兴趣的结构在初始图像体积v内的3d位置。例如，可以考虑投影影像中的感兴趣的结构周围的结构
与感兴趣的结构的结构间距离，以估计(一个或多个)正确的缩放因子，从而在3d域中估计感兴趣的结构的正确位置。
[0181]
然而，优选地，沿着不同的投影方向或更一般地如上所述在不同的投影几何下获得多个投影图像。
[0182]
在可选的步骤s770处，可以(进一步)处理输出位置p。该处理可以包括单独地显示该位置，或者与图像数据的一些或部分(即，(一个或多个)投影图像或体积v)相结合(诸如图形叠加)来显示该位置。另外或替代地，该位置可以被存储或用于控制医疗装置。为此可以使用合适的控制接口。在一些实施方式中，估计位置p可以在放射治疗计划算法中用于限定处于危险中的器官和/或目标体积。
[0183]
通常，投影操作s740允许提取信息并将其投影到较低维表示上。该较低维度表示可能是有用的，因为它允许按数量级降低要实现机器学习模型计算的机器上的存储器要求和cpu负载。此外，例如有时需要在nn模型中进行多次正向/反向传播的训练过程可以以更高的吞吐量在存储器和计算时间方面更高效地完成。如果训练不是一次性的，则后者可能是受欢迎的，但是模型m在重复训练周期中是根据新的训练数据重新训练的。
[0184]
现在参照图8，其示出了用于训练机器学习模型以估计感兴趣的结构的3d位置的方法的流程图。
[0185]
在可选的步骤s810处，基于历史图像体积数据来生成合成的训练数据。本文还设想了开头训练数据合成，例如通过使用生成型ml模型，例如生成式对抗网络(“gan”)等。对于已知的感兴趣的结构的已知3d位置，上述在不同的投影几何下投影采样的训练系统ts可以用于该步骤。这产生了自动标记的投影数据，分别根据实施方式图2a、图2b，在3d中具有位置p或在2d中具有位置p。
[0186]
在步骤s820处，接收训练数据。
[0187]
从广义上讲，基于训练数据，对模型的参数进行调整。该调整可以在迭代优化过程中完成。该过程由成本函数驱动。一旦满足停止条件，就认为模型经过了训练。
[0188]
更详细地，并且特别是参照监督训练设置，在步骤s820处，将当前分批中的训练输入π’k
应用于具有当前参数θ的机器学习模型m以产生训练输出m(π’k
)。
[0189]
在s830处，通过成本函数f来量化训练输出m(π’k
)与相应的相关联的目标p’k
的偏差或残差。在步骤s840处，在内循环中的一次或多次迭代中调整模型的一个或多个参数以改进成本函数。例如，调整模型参数以减小由成本函数测量的残差。在使用卷积nn模型m的情况下，参数可以特别地包括卷积算子cv的权重。m(π’k
)是投影图像π’k
中的足迹在3d中的p’或位置p’。
[0190]
在步骤s850处，对停止条件进行评估。如果满足这一条件，则训练方法在外循环中返回到步骤s810，将下一批训练数据送入步骤s810。如果不满足停止条件，则方法流程返回到步骤s840处的参数调整。
[0191]
在步骤s840中，调整模型的参数使得在当前分批和优选在一些或所有先前分批上考虑的聚集的残差减小，特别是最小化。
[0192]
成本函数对聚集的残差进行量化。可以在内循环中使用正向-反向传播或类似的基于梯度的技术。还设想了在使效用函数最大化方面的双重公式。
[0193]
基于梯度的优化的示例可以包括梯度下降、随机梯度、共轭梯度、最大似然法、em
最大化、高斯-牛顿等。还设想了除基于梯度的方法以外的方法，例如nelder-mead、贝叶斯优化、模拟退火、遗传算法、monte-carlo方法等。
[0194]
将理解的是，本文公开的原理容易扩展到任何维度n的图像体积，其中投影到n-1维空间中。例如，在4d中的定位可以降低到3d，等等。如果需要，可以将n维体积的迭代、递归处理降低到2d，或者可选地，甚至降低到1d处理。
[0195]
虽然在上面的实施方式中主要参照的是投影方向，但是将理解的是，这样的投影方向或线仅仅是用于计算投影的投影几何设置的一个示例。代替改变投影方向，可以替代地或附加地调整视点与投影平面之间的距离。对于除了ct模态外，投影几何可以涉及其他设置，例如核成像中的lor取向或接受角和/或检测器配置，或者不同的线圈响应或脉冲序列等。
[0196]
此外，虽然上面的、特别是等式(1)、(2)主要根据沿着投影方向(线)的诸如正交或中心投影的线性投影来公式化，但是上述原理同样适用于非线性投影。非线性投影在本文中可以被定义为通用的投影映射π：
[0197][0198]
其中，映射π是连续的，因此遵守较高维体积的空间信息。
[0199]
可选地，但不是必须地，关于函数组成，π可以是等幂的π2＝π。此外，对于投影π中的每个数据点x，通用的投影映射π定义了体积v中的上述子集π-1
(x)，其优选地是体积v中的合适子集，并且其中映射π规定了v中的每个体素如何对投影π中给定的数据点x做出贡献(如果有的话)。上述子集π-1
(x)在本文中可以被称为给定投影π的通用反向投影。所有π-1
(x)的集合定义了本文所设想的非线性投影映射的一般意义上的反向投影bp。这种更通用的投影配置可以被实现为例如mri成像或其他成像模态的设置，这些成像模态不一定遵循基于线的线性投影范式。体素在本文中被理解为较高n≥3维体积中的数据/图像点。
[0200]
系统sys的组件可以被实现为一个或多个软件模块，在诸如与成像设备ia相关联的一个或多个通用处理单元上运行，或者在与单个成像设备或与一组成像设备相关联的一个或多个服务器计算机上运行。
[0201]
替代地，系统sys的一些或所有组件可以布置在硬件中，例如适当编程的微控制器或微处理器，例如fpga(现场可编程门阵列)或硬连线ic芯片、专用集成电路(asic)。在又一个实施方式中，系统sys可以部分地以软件和部分地以硬件来实现。系统sys可集成到成像设备ia中或集成到与成像器相关联的计算机中。
[0202]
系统sys的不同组件可以在单个数据处理单元上实现。替代地，系统的一些或多个组件在多个处理单元pu上实现，这些处理单元pu可能远程布置在分布式架构中，并且其中的至少一些可连接在适当的通信网络中，例如在云设置或客户端-服务器设置等中。重建器recon和/或投影仪pr可以例如远离定位器组件lc来实现。
[0203]
本文描述的一个或多个特征可以被配置或实现为被编码在计算机可读介质内的电路和/或其组合，或利用被编码在计算机可读介质内的电路和/或其组合配置或实现。电路可以包括分立和/或集成电路、片上系统(soc)及其组合、机器、计算机系统、处理器和存储器、计算机程序。
[0204]
应当注意，本发明的实施方式是参照不同的主题来描述的。特别地，一些实施方式
是参照方法类型权利要求来描述的，而其他实施方式是参照装置类型权利要求来描述的。然而，本领域技术人员将从以上描述中了解到，除非另有通知，否则除了属于一种类型的主题的特征的任何组合之外，与不同主题有关的特征之间的任何组合也被认为通过该申请被公开。然而，可以组合所有特征，从而提供比特征的简单相加多的协同效果。
[0205]
虽然本发明已经在附图和前面的描述中进行了图示和详细描述，但是这样的图示和描述应被认为是说明性的或示例性的而非限制性的。本发明不限于所公开的实施方式。通过对附图、本公开和从属权利要求的研究，本领域技术人员在实践所要求保护的发明时可以理解和实现所公开的实施方式的其他变型。
[0206]
在权利要求中，词语“包括”不排除其他元素或步骤，并且不定冠词“a”或“an”不排除多个。单个处理器或其他单元可以实现权利要求中重新引用的若干项目的功能。仅仅是某些措施在相互不同的从属权利要求中被重新引用的事实并不表明这些措施的组合不能有利地被使用。权利要求中的任何附图标记，无论是数字、字母数字或一个或多个字母的组合，都不应被解释为限制范围。

技术特征：
1.一种计算机实现的医学图像处理方法，其包括：a)接收(s720)输入数据，所述输入数据包括由医学成像设备生成的至少三维3d图像体积的至少一个投影；b)通过使用至少经过训练的机器学习模型(m)来处理(s740)所述输入数据，以至少便于计算感兴趣的结构在所述3d体积中的位置；以及c)输出(s760)指示所述位置的输出数据。2.根据权利要求1所述的方法，其中，所述输入数据包括在不同的投影几何下的多个这样的投影，并且所述处理(s740)包括：在通过所述经过训练的机器学习模型所计算的所述多个投影中对所述结构或其相应位置的投影足迹进行反向投影。3.根据权利要求1或2所述的方法，其中，所述处理(s740)包括：将所述投影足迹的位置组合到所述位置中。4.根据前述任一项权利要求所述的方法，其中，所述方法包括将所述输出数据提供用于附加处理(s760)，所述附加处理包括以下各项中的一项：i)基于所述输出数据将所述3d体积或其至少一部分登记在图谱集上，ii)在显示装置上显示所述输出数据，iii)将所述输出数据存储在存储器中，iv)在放射治疗系统中处理所述输出数据，v)基于所述输出数据控制医疗装置。5.根据前述任一项权利要求所述的方法，其中，所述方法包括基于以下各项中的一项来选择(s710)所述至少一个多个投影中的至少一个：i)通过所述机器学习模型处理的较早的一个或多个投影，以及ii)基于所述感兴趣的结构的所接收到的投影中的至少一个的所述投影几何。6.根据前述权利要求2至5中任一项所述的方法，其中，所述不同的投影几何包括不同的投影方向。7.根据前述任一项权利要求所述的方法，其中，所述模型包括人工神经网络模型。8.根据前述任一项权利要求所述的方法，其中，所述感兴趣的结构是哺乳动物脊柱的至少一部分。9.根据前述任一项权利要求所述的方法，其中，所述医学成像设备是断层摄影类型。10.根据前述任一项权利要求所述的方法，其中，所述成像设备是i)基于x射线的计算机断层摄影ct扫描仪和ii)磁共振成像设备中的任何一个。11.一种训练方法，该方法基于训练数据来训练机器学习模型以便于基于输入数据来计算感兴趣的结构在至少3d体积中的位置，所述输入数据包括在至少3d图像体积上或到至少3d图像体积中的至少一个投影。12.一种至少部分地生成权利要求11中的所述训练数据的方法。13.一种程序，所述程序当在至少一个计算系统上运行时或当被加载到至少一个计算系统上时使所述至少一个计算系统执行根据前述任一项权利要求所述的方法；和/或在其上存储所述程序的至少一个程序存储介质；和/或至少一个计算系统，所述至少一个计算系统包括至少一个处理器和至少一个存储器和/或所述至少一个程序存储介质，其中所述程序在所述至少一个计算系统上运行或被加载到所述至少一个计算系统的所述至少一个存储器中；和/或带有表示所述程序的信息的信号波或数字信号波；
和/或代表所述程序的数据流。14.一种医学图像处理系统(sys)，其被配置为：a)接收输入数据，所述输入数据包括由医学成像设备生成的至少3d图像体积的至少一个投影；b)通过使用至少经过训练的机器学习模型(m)来处理所述输入数据，以至少便于计算感兴趣的结构在所述3d体积中的位置；以及c)输出指示所述位置的输出数据。15.一种医疗装备(mia)，其包括：a)根据权利要求14所述的系统(sys)；以及b)以下i)和ii)中的任何一个：i)用于生成所述至少3d体积的医学成像设备(ia)，ii)可由所述输出数据控制的医疗装置(md)。16.一种训练系统(ts)，其被配置为：基于训练数据来训练机器学习模型以便于基于输入数据来计算感兴趣的结构在至少3d体积中的位置，所述输入数据包括在至少3d图像体积上或到至少3d图像体积中的至少一个投影。17.一种用于生成用于根据权利要求16所述的训练系统的训练数据的系统(tdgs)。

技术总结
一种用于计算机实现的医学图像处理的系统和相关方法。该方法可以包括接收(S720)输入数据的步骤，该输入数据包括由医学成像设备生成的三维3D或更高维图像体积的投影。该方法可以包括通过使用经过训练的机器学习模型(M)来处理(S740)输入数据，以便于计算感兴趣的结构在3D体积中的位置。该方法可以包括输出(S760)指示所述位置的输出数据。指示所述位置的输出数据。指示所述位置的输出数据。


技术研发人员：安德烈亚斯
受保护的技术使用者：博医来股份公司
技术研发日：2022.01.13
技术公布日：2023/10/8