用于训练图像数据生成的多模态图像处理技术及其用于开发单模态图像推断模型的用途的制作方法

用于训练图像数据生成的多模态图像处理技术及其用于开发单模态图像推断模型的用途
1.相关申请的交叉引用
2.本技术要求于2020年9月29日提交的标题为“multimodality image processing techniques for training image data generation and usage thereof for developing mono-modality image inferencing models”的印度专利申请序列号202041042184和于2020年11月10日提交的标题为“multimodality image processing techniques for training image data generation and usage thereof for developing mono-modality image inferencing models”的美国专利申请序列号17/093,960的权益，每个专利申请的全部内容以引用方式并入本文。
技术领域
3.本技术涉及用于训练图像数据生成的多模态图像处理技术及其用于开发单模态图像推断模型的用途。


背景技术：

4.机器学习(ml)模型用于许多医学图像处理和分析任务中，如器官分割、异常检测、诊断分类、风险预测、时间分析、图像重建等。然而，基于数据驱动的机器学习方法的基本问题之一在于最终模型推断能力被用于开发模型的训练数据的范围所限制。对于医学成像领域，可能难以获得用于模型训练的提供跨不同患者群体对目标医学状况进行全面表示的足够医学图像。


技术实现要素：

5.以下呈现了发明内容以提供对本发明的一个或多个实施方案的基本理解。本发明内容不旨在标识关键或重要元素，也不旨在描绘不同实施方案的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现概念，作为稍后呈现的更详细描述的序言。
6.在本文所述的一个或多个实施方案中，描述了系统、计算机实现的方法、装置和/或计算机程序产品，其提供用于训练图像数据生成的多模态图像处理技术及其用于开发单模态图像推断模型的用途。关于医学图像和医学图像处理领域中的应用举例说明了所公开主题的各种实施方案。然而，应当理解，所公开技术不限于医学成像领域，并且可以应用于促进生成和注释训练图像以用于在各种领域中训练和开发各种类型的机器学习模型。
7.根据一个实施方案，提供了一种系统，该系统包括存储器和处理器，该存储器存储计算机可执行部件，该处理器执行存储在该存储器中的该计算机可执行部件。计算机可执行部件包括变换部件，该变换部件从第一捕获模态的3d图像生成合成2d图像，其中该合成2d图像对应于第二捕获模态中的该3d图像的2d版本，并且其中该3d图像和该合成2d图像描绘同一患者的同一解剖区域。例如，在各种具体实施中，第一捕获模态可以包括计算机断层摄影(ct)模态，并且第二捕获模态可以包括x射线(xr)模态。根据该示例，合成2d图像可以
包括合成x射线(sxr)，并且3d图像可以包括ct体积图像(例如，基于多个ct扫描切片所生成/计算)。计算机可执行部件还包括注释转移部件，该注释转移部件将针对3d图像的真值数据转移到合成2d图像，以生成具有该真值数据的带注释合成2d图像。
8.计算机可执行部件还可以包括训练模块，该训练模块采用合成2d图像和带注释合成2d图像来训练一个或多个机器学习模型，以执行与在同一解剖区域中反映的医学状况相关的医学推断任务。在各种实施方式中，训练涉及：训练至少一个机器学习模型以对作为输入的2d图像而不是3d图像执行医学推断任务。计算机可执行部件还可以包括和推断模块，该模块将至少一个机器学习模型应用于2d图像以生成推断输出。
9.在一些具体实施中，变换部件可以采用经训练的3d到2d变换模型来从3d图像生成合成2d图像(例如，生成对抗网络(gan)或另一类型的生成机器学习模型)。附加地或另选地，变换部件可以使用3d图像和投影过程(诸如平行投影过程和/或点源投影过程)来生成合成2d图像。投影过程也可以涉及：从3d图像移除从使用第二模态捕获的2d图像排除的一个或多个对象。根据这些实施方案，3d图像可以是或对应于3d体积图像，并且真值数据可以包括所投影的真值数据。在这些实施方案的一些具体实施中，计算机可执行部件还包括投影前处理部件，该投影前处理部件基于对从3d体积图像取得的一个或多个3d对象的分割来确定用于投影过程的最佳投影参数，并且变换部件使用该最佳投影参数来执行该投影过程。投影前处理部件也可以在投影处理之前细化3d体积图像，以从3d体积图像移除通常不包括在使用第二模态捕获的2d图像中的一个或多个对象。投影部件也可以基于使用投影过程和最佳投影参数来生成所投影的真值数据。
10.在各种实施方案中，计算机可执行部件还可以包括增强部件，该增强部件作为后处理步骤来增强合成2d图像，从而产生增强的合成2d图像。对于这些实施方案，注释转移部件还可以将针对3d图像的真值数据转移到增强的合成2d图像，以生成具有真值数据的增强的带注释合成2d图像。训练模块可以附加地或另选地采用增强的合成2d图像和增强的带注释合成2d图像来训练一个或多个机器学习模型。
11.在一些具体实施中，增强部件可以使合成2d图像与一个或多个参考图像和谐，以生成增强的合成2d图像。附加地或另选地，增强部件可以使合成2d图像与原生2d图像和谐，以生成增强的合成2d图像，其中该原生2d图像包括使用第二捕获模态捕获的同一患者的同一解剖区域的图像。附加地或另选地，增强部件可以将风格迁移模型应用于合成2d图像，以生成增强的合成2d图像，其中该风格迁移模型包括神经网络模型，该神经网络模型被配置为将合成2d图像的外观改变为看起来更相似于使用第二捕获模态捕获的同一解剖区域的原生2d图像的外观。附加地或另选地，增强部件可以使合成2d图像与原生2d图像配准，以生成增强的合成2d图像，其中该原生2d图像包括使用第二捕获模态捕获的同一患者的同一解剖区域的图像。
12.在各种实施方案中，注释转移部件也可以采用合成2d图像来促进将真值数据转移到使用第二捕获模态捕获的同一患者的同一解剖区域的原生2d图像，以生成带注释原生2d图像。训练模块可以附加地或另选地采用原生2d图像和带注释原生2d图像来训练一个或多个机器学习模型。在这些实施方案的一些具体实施中，计算机可执行部件还可以包括注释部件，该注释部件向一个或多个注释器呈现带注释原生2d图像以供手动查看和任选调整。
13.在一个或多个附加实施方案中，变换部件可以包括投影部件，该投影部件使用不
同投影参数来投影3d图像，以生成分别对应于第二捕获模态中的该3d图像的2d版本的不同合成2d图像，该不同合成2d图像包括合成2d图像。在这些实施方案的一些具体实施中，投影部件还可以使用用于生成不同带注释合成2d图像的对应投影参数，从应用于3d图像的真值数据生成针对不同合成2d图像的所转移的真值数据。训练模块可以附加地或另选地采用不同合成2d图像和不同带注释合成2d图像来训练机器学习模型。
14.在这些实施方案的其他具体实施中，计算机可执行部件还可以包括选择部件，该选择部件基于以下确定从不同合成2d图像中选择合成2d图像：相对于不同合成2d图像中的其他合成2d图像，该合成2d提供与使用第二捕获模态捕获的同一患者的同一解剖区域的原生2d图像的最接近匹配。例如，选择部件可以基于使用一个或多个相似性评估度量比较原生2d图像与不同合成2d图像来确定合成2d图像提供最接近匹配。根据这些具体实施，基于对合成2d图像的选择，注释转移部件还可以使用用于生成合成2d图像的不同投影参数的子集将真值数据转移到原生2d图像，从而生成带注释原生2d图像。训练模块可以附加地或另选地采用原生2d图像和带注释原生2d图像来训练一个或多个机器学习模型。
15.计算机可执行部件还可以包括配准部件，该配准部件在比较之前使不同合成2d图像与原生2d图像配准，以促进确定最接近匹配。该配准导致将不同合成2d图像变换成经配准的合成2d图像。在一些实施方案中，注释转移部件还可以使用用于生成合成2d图像的不同投影参数的子集将真值数据转移到被选择为最接近匹配的经配准的合成2d图像，从而生成带注释的经配准的合成2d图像。训练模块可以附加地或另选地采用经配准的合成2d图像和带注释的经配准的合成2d图像来训练一个或多个机器学习模型。
16.在一些实施方案中，本文所公开的系统中描述的元件可以不同形式体现，诸如计算机实现的方法、计算机程序产品或另一种形式。
附图说明
17.图1示出了根据所公开主题的一个或多个实施方案的用于训练图像数据生成和模型开发的示例性非限制性多模态图像处理系统的框图。
18.图2呈现了根据所公开主题的一个或多个实施方案的示例性多模态训练数据生成模块。
19.图3呈现了根据所公开主题的一个或多个实施方案的用于使用变换模型来从3d图像生成合成2d图像的示例性过程的高级流程图。
20.图4a和图4b示出了根据所公开主题的一个或多个实施方案的用于从3d图像生成合成2d图像的示例性投影过程。
21.图5呈现了根据所公开主题的一个或多个实施方案的用于使用投影处理来从3d图像生成合成2d图像的示例性过程的高级流程图。
22.图6呈现了根据所公开主题的一个或多个实施方案的另一示例性多模态训练数据生成模块。
23.图7呈现了根据所公开主题的一个或多个实施方案的用于使用投影处理来从3d图像生成合成2d图像的示例性过程。
24.图8呈现了根据所公开主题的一个或多个实施方案的另一示例性多模态训练数据生成模块。
25.图9呈现了根据一个或多个实施方案的在投影和后处理增强之后生成的示例性ct图像和比较sxr图像。
26.图10呈现了根据所公开主题的一个或多个实施方案的用于使用投影处理来从3d图像生成增强的合成2d图像的示例性过程。
27.图11示出了根据所公开主题的一个或多个实施方案的图像配准。
28.图12示出了根据所公开主题的一个或多个实施方案的利用不同扩展数据转移来生成不同合成2d图像版本。
29.图13呈现了根据所公开主题的一个或多个实施方案的用于将真值数据从3d图像转移到对应合成2d图像的示例性过程。
30.图14示出了根据所公开主题的一个或多个实施方案的使用不同投影参数来生成具有真值数据的不同合成2d图像。
31.图15呈现了根据所公开主题的一个或多个实施方案的用于将真值数据从3d图像转移到对应原生2d图像的示例性过程。
32.图16呈现了根据所公开主题的一个或多个实施方案的另一示例性多模态训练数据生成模块。
33.图17呈现了根据所公开主题的一个或多个实施方案的使用不同投影参数从同一3d图像生成的不同sxr图像和对应掩码。
34.图18示出了根据所公开主题的一个或多个实施方案的对候选sxr与对应原生xr的配准。
35.图19a呈现了根据所公开主题的一个或多个实施方案的具有所转移的掩码的最优匹配sxr、经配准的最优匹配sxr和对应原生xr的图像。
36.图19b呈现了根据所公开主题的一个或多个实施方案的具有和不具有所转移的掩码的最优经配准的sxr的比较图像。
37.图19c呈现了根据所公开主题的一个或多个实施方案的具有和不具有所转移的掩码的原生xr的比较图像。
38.图20呈现了根据所公开主题的一个或多个实施方案的用于将真值数据从配对的3d模态体积转移到2d模态图像以用于进一步建模的示例性过程。
39.图21a呈现了根据所公开主题的一个或多个实施方案的用于使用多模态输入图像的医学图像模型训练和部署的示例性多模态框架。
40.图21b呈现了根据所公开主题的一个或多个实施方案的用于使用单模态输入图像的医学图像处理的示例性推断流水线。
41.图22a呈现了根据所公开主题的一个或多个实施方案的用于使用多模态输入图像的医学图像模型训练和部署的另一示例性多模态框架。
42.图22b呈现了根据所公开主题的一个或多个实施方案的用于使用单模态输入图像的医学图像处理的另一示例性推断流水线。
43.图23呈现了根据所公开主题的一个或多个实施方案的用于从对应3d图像数据生成带注释合成2d图像的示例性计算机实现的过程的高级流程图。
44.图24呈现了根据所公开主题的一个或多个实施方案的用于从对应3d图像数据生成增强的带注释合成2d图像的示例性计算机实现的过程的高级流程图。
45.图25呈现了根据所公开主题的一个或多个实施方案的用于从对应3d图像数据生成带注释原生2d图像的示例性计算机实现的过程的高级流程图。
46.图26示出了可以促进本文所述的一个或多个实施方案的示例性、非限制性操作环境的框图。
具体实施方式
47.以下具体实施方式仅仅是示例性，并非旨在限制实施方案和/或实施方案的应用或使用。此外，并不意图受前述“背景技术”部分或“发明内容”部分或“具体实施方式”部分中提出的任何明示或暗示信息的约束。
48.所公开主题涉及系统、计算机实现的方法、装置和/或计算机程序产品，其提供用于训练图像数据生成的多模态图像处理技术及其用于开发单模态图像推断模型的用途。在各种实施方案中，单模态图像推断模型可以包括被配置为执行医学图像处理任务(诸如疾病分类/诊断、疾病分诊、器官分割、异常检测、量化、图像重建模型等)的ml模型。然而，所公开技术也可以扩展到被配置为对非医学领域中的图像执行类似的推断任务的ai/ml图像分析/处理模型。
49.所公开主题的一个或多个实施方案涉及用于在以下场景中生成针对3d模态图像的对应合成2d捕获模态图像的技术：用于模型训练的原生2d捕获模态图像的数量和/或多样性与3d模态图像的数量和/或多样性相比是受限的。然后，合成2d图像可以用于扩展用于模型训练和开发的训练数据集。世界各地的医疗保健系统已经在各方面采取措施以提供对covid-19(也称为冠状病毒疾病)的安全且有效的治疗，包括：基于对患者呼吸系统的捕获医学图像的分析来开发促进对covid-19患者的诊断和治疗的医学成像处理模型。对被配置为处理胸部xr图像的此类模型的需求日益增加，因为xr提供用于筛查和诊断各种肺部疾病(诸如肺炎)的最有效的成像模态。然而，在中国，ct成像更为普遍，已经捕获大多数可获得的用于模型训练的covid-19患者胸部图像。因此，大多数可获得的用于模型训练的covid-19患者胸部图像包括ct图像。
50.考虑到该示例性场景，所公开主题提供了用于从第一捕获模态的3d图像生成合成2d图像的技术，其中一个或多个合成2d图像对应于第二捕获模态中的3d图像的2d版本。在各种具体实施中，第一捕获模态可以包括ct模态并且第二捕获模态可以包括xr模态。就这一点而言，所公开技术可以应用于从以下生成描绘在患者的解剖区域中表现的医学状况的一个或多个sxr图像：针对同一患者的描绘在解剖区域中表现的医学状况的ct图像。例如，如应用于上述covid-19场景，所公开技术可以用于从针对患者捕获的ct covid-19胸部图像生成合成covid-19胸部xr。
51.在一些实施方案中，所公开技术可以采用对3d体积图像的投影处理来生成对应合成2d图像。例如，投影处理可以包括各种已知的投影处理技术，诸如点源投影处理和/或平行投影处理。就这一点而言，如应用于从针对患者的解剖区域的ct成像研究生成sxr，可以从各个ct扫描切片计算/生成ct体积图像。基于使用点源投影、平行投影或另一图像投影处理方法将3d体积图像数据投影到2d投影平面上，可以从3d体积图像生成合成2d输出图像。所得到的2d输出图像对应于3d体积图像的2d版本。所公开技术可以使用一个或多个投影前处理步骤和/或一个或多个投影后处理步骤来进一步改善合成2d输出图像的质量和实际外
观。
52.在各种具体实施中，一个或多个预处理步骤可以包括：估计用于从3d体积图像生成2d图像的最佳投影参数。在一些实施方案中，可以基于对3d体积和/或用于生成该3d体积的一个或多个3d图像的分割处理来确定最佳投影参数。在另一实施方案中，可以基于使用不同投影参数对从同一3d体积图像生成的不同合成2d图像的比较分析来确定最佳投影参数。在其中对应于3d体积图像的原生2d图像可用的这些实施方案的一些具体实施中，不同合成2d图像可以与原生2d图像进行比较并且使用一个或多个相似性度量进行评估以识别最优匹配合成2d图像。对于这些实施方案，用于生成最优匹配合成2d图像的参数可以用作最佳投影参数。也提供了用于估计最佳投影参数的其他技术。
53.一个或多个投影前处理技术也可以包括执行3d体积图像的对象移除处理以细化3d体积图像，从而移除妨碍输出图像的质量和/或在输出图像中不期望的对象和/或图像特征。例如，对象移除过程可以涉及：移除3d图像数据中的对象，该对象通常不存在于在针对2d输出图像的期望的2d捕获模态中捕获的2d图像中。就这一点而言，如应用于生成描绘感兴趣目标解剖区域的合成医学图像，对象移除过程可以涉及：移除包括在3d图像数据中的非身体部位(例如，成像台等)、移除感兴趣区域之外的解剖特征/部位等。
54.一个或多个后处理步骤可以涉及：处理初始2d输出图像以增强合成2d图像的质量和/或以使得合成2d图像相对于期望的原生2d捕获模态看起来更真实(例如，以在其中期望的原生2d捕获模态为xr的具体实施中看起来更像真实xr图像)。用于2d合成图像增强的一些后处理技术可以包括但不限于：使用一个或多个参考图像的图像和谐化处理、使用一个或多个预先训练的风格转移模型的图像风格转移处理和/或在其中对应于3d体积图像的原生2d图像可用的具体实施中的图像配准处理。一个或多个后处理步骤也可以包括：调适合成2d图像(和/或增强的合成2d图像)的外观以生成合成2d图像的不同版本，以反映在现场出现的变化。例如，如应用于医学图像，在一些实施方案中，可以利用针对不同患者群体、不同采集协议等的不同外观变化来生成合成2d图像的不同版本。
55.所公开主题的一个或多个实施方案还提供了用于将真值数据从3d模态图像转移到2d模态图像的技术，该2d模态图像包括合成2d模态图像和与3d模态图像配对的原生2d模态图像。在这些实施方案的一些具体实施中，可以使用利用3d捕获模态捕获的配对3d图像数据和使用相同或相似状态下的同一对象或环境的2d捕获模态捕获的原生2d图像数据来促进该真值转移。3d图像和2d图像可以被认为是配对的，因为它们都描绘了相同或相似状态下的同一对象或环境。就这一点而言，理想的一对原生3d模态图像数据和原生2d模态图像数据将包括分别使用同一对象/环境的不同捕获模态同时并且从同一视点捕获的图像数据。
56.例如，如应用于医学图像处理，在一些具体实施中，配对的3d图像和2d图像可以包括针对患者的解剖区域的ct图像研究(例如，包括一个或多个ct扫描切片)以及同一患者的同一解剖区域的xr图像。在其中所公开技术用于生成用于训练推断模型以执行与在同一解剖区域中反映的医学状况相关的医学推断任务的训练图像数据的实施方案中，原生3d图像数据和原生2d图像数据两者对应于具有患者的至少一个医学状况的相似状态的解剖区域的采集图像。换句话讲，原生3d图像数据和原生2d图像数据两者应当描绘相同或相似状态下的患者的同一医学状况/疾病。对于患有covid-19的患者中的快速发展的医学疾病/状况
(诸如呼吸系统疾病/肺炎)，从患者捕获相应3d图像数据和2d图像数据的时间越近越好(例如，优选地小于48小时并且更优选地小于24小时)。
57.在其中配对的3d图像数据和2d图像数据可用的一个或多个具体实施中，3d图像数据包括先前注释的3d图像数据，其中真值被标记在其上和/或以其他方式与其相关联。附加地或另选地，可以将3d图像数据呈现给一个或多个注释器以用于对真值数据的手动应用。还可以使用不同投影参数来投影3d图像数据，以生成不同候选合成2d图像。也可以以与生成候选合成2d图像相关联的方式应用投影前处理技术中的一个或多个投影前处理技术。不同候选合成2d图像可以与原生2d图像进行比较并且使用一个或多个相似性度量进行评估以识别最优匹配合成2d图像。然后，用于生成最优匹配合成2d图像的投影参数可以用于将与3d图像数据相关联的真值数据转移到原生2d图像和/或最优匹配合成2d图像。
58.例如，在如应用于对医学图像中的疾病区域进行分类的一个具体实施中，3d图像数据可以包括其上标记有疾病区域的3d体积图像数据。根据该示例，可以使用最优匹配合成2d图像的投影参数将如在3d图像数据中标记的疾病区域投影到2d投影平面上，以生成所投影的2d真值数据。还可以将所投影的2d真值数据转移到原生2d图像和/或最优匹配合成2d图像。也可以使用本文所述的各种后处理技术中的一种或多种后处理技术来增强和/或扩展最优匹配合成2d图像(具有和不具有真值转移数据)。还可以针对附加的3d/2d图像数据对重复该过程，以生成高质量带注释2d模态训练数据。
59.在一个或多个实施方案中，具有和不具有所转移的真值数据的合成2d图像、具有和不具有所转移的真值数据的原生2d图像以及3d图像数据还可以用于训练和开发单模态和多模态图像推断模型，以执行各种任务。
60.术语“图像推断模型”在本文中用来指被配置为对图像执行图像处理或分析任务的ai/ml模型。图像处理或分析任务可以变化。在各种实施方案中，图像处理或分析任务可以包括(但不限于)：分割任务、图像重建任务、对象识别任务、运动检测任务、视频跟踪任务、光流任务等。本文中描述的图像推断模型可以包括2d图像处理模型以及3d图像处理模型。图像处理模型可以采用各种类型的ai/ml算法，包括(但不限于)：深度学习模型、神经网络模型、深度神经网络模型(dnn)、卷积神经网络模型(cnn)、生成对抗神经网络模型(gan)等。除非上下文在术语之间保证特定区别，否则术语“图像推断模型”、“图像处理模型”、“图像分析模型”等在本文中可互换使用。
61.术语“基于图像的推断输出”在本文中用来指图像处理模型被配置为产生的确定或预测。例如，基于图像的推断输出可以包括分割掩码、经重建图像、适应图像、带注释图像、分类、值等。基于图像的推断输出将基于模型的类型和模型被配置为执行的特定任务而变化。基于图像的推断输出可以包括可以被呈现(例如，视觉数据对象)、存储、用作另一处理任务的输入等的数据对象。除非上下文在术语之间保证特定区别，否则术语“基于图像的推断输出”、“推断输出”、“推断结果”、“推断”、“输出”、“预测”等在本文中可互换使用。
62.如本文中所用，“医学成像推断模型”是指被订制成对一个或多个医学图像执行图像处理/分析任务的图像推断模型。举例来说，医学成像处理/分析任务可以包括(但不限于)：疾病/病状分类、疾病区域分割、器官分割、疾病定量、疾病/病状分期、风险预测、时间分析、异常检测、解剖特征表征、医学图像重建等。除非上下文在术语之间保证特定区别，否则术语“医学图像推断模型”、“医学图像处理模型”、“医学图像分析模型”等在本文中可互
换使用。
63.由本文中描述的医学图像推断模型处理/分析的医学图像的类型可以包括使用各种类型的图像捕获模态捕获到的图像。例如，医学图像可以包括(但不限于)：放射治疗(rt)图像、x射线(xr)图像、数字放射摄影(dx)x射线图像、x射线血管造影(xa)图像、全景x射线(px)图像、计算机断层摄影(ct)图像、乳房x线摄影(mg)图像(包括断层合成设备)、磁共振成像(mri)图像、超声(us)图像、彩色流多普勒(cd)图像、正电子发射断层摄影(pet)图像、单光子发射计算机断层摄影(spect)图像、核医学(nm)图像等。医学图像也可以包括原生医学图像的合成版本，诸如合成的x射线(sxr)图像、原生医学图像的修改的或增强版本、原生医学图像的扩展版本，以及使用一种或多种图像处理技术产生的类似版本。本文中公开的医学成像处理模型也可以被配置为处理3d图像。
64.如本文中所用的“捕获模态”是指使用一个或多个机器或设备捕获图像或图像数据的特定技术模式。就这一点而言，如应用于医学成像，不同捕获模态可以包括但不限于：2d捕获模态、3d捕获模态、rt捕获模态、xr捕获模态、dx捕获模态、xa捕获模态、px捕获模态、ct、mg捕获模态、mri捕获模态、us捕获模态、cd捕获模态、pet捕获模态、spect捕获模态、nm捕获模态等。
65.术语“目标捕获模态”在本文中用来指期望训练图像数据的特定捕获模态。根据各种实施方案，目标捕获模态可以指使用本文所公开技术将第一模态中的图像变换到其中的模态。在该上下文中，第一模态在本文中称为“源捕获模态”。除非上下文在术语之间保证特定区别，否则术语“目标捕获模态”、“目标模态”、“目标图像捕获模态”等在全文中可互换采用。除非上下文在术语之间保证特定区别，否则术语“源捕获模态”、“源模态”、“源图像捕获模态”等在全文中可互换采用。
66.就这一点而言，对如本文所使用的“目标图像”的标引是指使用目标捕获模态捕获的图像或看起来好像使用目标捕获模态捕获的真实合成图像。相似地，对如本文所使用的“源图像”的标引是指使用源捕获模态捕获的图像或看起来好像使用源捕获模态捕获的真实合成图像。除非上下文在术语之间保证特定区别，否则术语“目标图像”、“目标域图像”、“目标模态中的图像”、“目标模态的图像”等在全文中可互换采用。除非上下文在术语之间保证特定区别，否则术语“源图像”、“源域图像”、“源模态中的图像”、“源模态的图像”等在全文中可互换采用。
67.如本文所用，“3d图像”是指表示三个维度上的对象、空间、场景等的数字图像数据，其可以或可以不显示在界面上。本文所述的3d图像可以包括表示位置、几何形状、弯曲表面等的数据。在一个方面，诸如图形处理单元(gpu)的计算设备可以基于三个维度中的数据、可执行/可视内容来生成3d图像。例如，3d图像可以包括由3d坐标系表示的点的集合，诸如3d欧几里得空间(例如，点云)中的点。点的集合可以通过几何实体彼此相关联(例如，连接)。例如，包括一系列三角形、线、弯曲表面(例如，非均匀有理b样条(“nurbs”))、四边形、n-gram或其他几何形状的网片可以连接点的集合。在一个方面，网片的部分可以包括描述纹理、颜色、强度等的图像数据。
68.在各种实施方案中，所捕获的2d图像(或其部分)可以与网片的部分相关联。因此，可以基于2d图像数据、2d感官数据、结合原始2d数据的感官数据、3d空间数据(例如，空间深度和距离信息)、计算机生成的位置数据等来生成3d图像。在一方面，用于生成3d图像的数
据可以从真实世界场景、空间(例如，房屋、办公室、室外空间等)、物体(例如，家具、装饰物、物品等)、身体的解剖区域等的扫描(例如，利用传感器)收集。也可以基于计算机实现的3d建模系统来生成数据。在一些实施方案中，3d图像可以是或可以包括提供由沿不同平面捕获的多个2d图像生成的对象或环境的3d表示或模型的3d体积图像。例如，ct体积图像可以是或可以对应于由沿不同平面捕获的一系列ct扫描切片生成/计算的患者解剖区域的3d表示。就这一点而言，如应用于医学成像，3d图像可以是或可以包括患者解剖区域的3d体积图像。
69.就这一点而言，3d医学图像是指患者解剖区域的3d表示。在一些具体实施中，可以通过采集设备和协议直接以3d形式捕获3d医学图像。在其他具体实施中，3d医学图像可以包括由所捕获的患者解剖区域的2d和/或3d图像数据生成的生成图像。一些示例性3d医学图像包括由ct图像数据、mri图像数据以及us图像数据生成的3d体积图像。
70.应当注意，除非上下文在术语之间保证特定区别，术语“3d图像”、“3d体积图像”、“体积图像”、“3d模型”、“3d对象”、“3d重建”、“3d表示”、“3d渲染”等在全文中可互换采用。应当理解，此类术语可以指表示三个维度上的对象、身体解剖区域、空间、场景等的数据，其可以或可以不显示在界面上。术语“3d数据”可以指用于生成3d图像的数据、描述3d图像的数据、描述3d图像的视角或视点的数据、捕获数据(例如，感官数据、图像等)、与3d图像相关联的元数据等。应当注意，如本文所用的术语“2d图像”可以指表示两个维度上的对象、身体解剖区域、空间、场景等的数据，其可以或可以不显示在界面上。
71.本文使用术语“原生”图像指处于由本文所公开的系统处理之前的原始捕获形式和/或其接收形式的图像。就这一点而言，原生3d图像是指在投影前处理、变换处理、投影处理和投影后处理/变换处理之前处于其接收状态的3d图像。例如，原生3d图像可以包括所接收的3d体积图像，诸如ct体积图像。本文使用术语“合成”图像来区分原生图像，并且是指使用本文所公开的一种或多种变换处理技术由原生图像生成或源自原生图像的图像。在各种实施方案中，合成图像是指由第一模态图像生成和/或源自第一模态图像的第二模态图像。例如，在一些实施方案中，第二模态图像包括2d模态图像(例如，xr模态)，并且第一模态图像包括3d模态图像(例如，ct模态)。
72.现在参考附图描述一个或多个实施方案，其中相同的附图标号始终用于表示相同的元件。在以下描述中，出于说明的目的，阐述了许多具体细节以便提供对一个或多个实施方案的更透彻理解。然而，很明显，在各种情况下，可以在没有这些具体细节的情况下实践一个或多个实施方案。
73.现在转到附图，图1示出了根据所公开主题的一个或多个实施方案的用于训练图像数据生成和模型开发的示例性非限制性多模态图像处理系统的框图。本文中描述的系统的实施方案可以包括体现在一个或多个机器内(例如，体现在与一个或多个机器相关联的一个或多个计算机可读存储媒体中)的一个或多个机器可执行部件。当由一个或多个机器(例如，处理器、计算机、计算设备、虚拟机等)执行时，这类部件可以使一个或多个机器执行所述操作。
74.例如，多模态图像处理系统100包括多模态训练数据生成模块101、训练模块124和推断模块130，它们可以分别是并且包括计算机/机器可执行部件。这些计算机/机器可执行部件(和本文所述的其他部件)可以存储在与一个或多个机器(未示出)相关联的存储器(未
示出)中。存储器还可以可操作地耦接到至少一个处理器(未示出)，使得至少一个处理器可以执行部件(例如，多模态训练数据生成模块101、训练模块124、推断模块130以及本文所述的其他部件)以执行所描述的操作。所述的和存储器和处理器以及其他合适的计算机或基于计算的元件的示例可以参考图26找到，并且可以结合实施结合图1或本文所公开的其他附图所示和所描述的系统或部件中的一者或多者来使用。
75.多模态图像处理系统100的部署架构可以变化。例如，在一些实施方案中，多模态训练数据生成模块101(和/或与其相关联的一个或多个部件)、训练模块124和推断模块130可以部署在分布式计算环境中的不同计算设备/机器处并且经由一个或多个网络(例如，广域网(wan)、局域网(lan)等)通信地耦接。在其他实施方案中，相应模块可以在本地部署架构中部署在同一计算设备处。也可以使用各种另选的部署架构变型。
76.多模态训练数据生成模块101可以提供各种多模态图像处理功能以生成高质量训练数据122，该高质量训练数据可以由训练模块124用来训练和开发一个或多个图像推断模型126'。如下文更详细描述，这些多模态图像处理功能可以包括：从使用不同源捕获模态(例如，3d捕获模态)捕获和/或生成的图像数据生成和/或注释目标捕获模态(例如，2d捕获模态)的训练数据图像。
77.一旦被训练，推断模块130就可以将一个或多个图像推断模型126应用于现场中的新图像数据128，以生成针对对应使用情况和应用的一个或多个推断输出130。在所示的实施方案中，与训练模块124相关联的图像推断模型126'不同于与推断模块130相关联的图像推断模型126，以指示它们各自的开发状态。就这一点而言，与训练模块124相关联的图像推断模型126'以灰色示出以指示它们在训练和开发中，而与推断模块130相关联的图像推断模型126以白色示出以指示它们已完成训练并且准备好在现场部署。就这一点而言，应当理解，图像推断模型126'和图像推断模型126是相同的模型。
78.一个或多个图像推断模型126'的类型可以变化。在一些实施方案中，一个或多个图像推断模型126'可以是或包括一个或多个医学图像推断模型，该一个或多个医学推断模型被配置为执行与一个或多个医学图像中反映的医学状况相关的一个或多个医学推断任务。在一些具体实施中，医学推断任务可以包括与分诊相关的任务，诸如对医学状况的分类、对与医学状况相关联的疾病区域的分割、对与医学状况相关联的器官的分割等。例如，如应用于基于胸部xr图像对covid-19疾病进行分诊，一个或多个图像推断模型126'可以包括用于对具有和不具有疾病的xr图像进行分类的模型、用于分割covid-19疾病区域以便于放射科医师进行进一步检查的模型、用于甚至在存在肺实变和其他异常的情况下分割整个肺部的模型等。
79.医学推断任务可以包括与疾病量化、分期和风险预测相关的任务。例如，在一些具体实施中，一个或多个图像推断模型126'可以包括用于计算生物标志物度量(诸如表示为xr图像中的比率的疾病区域/全肺区域)的模型。在另一示例中，一个或多个图像推断模型126'可以包括这样的模型，该模型使用配对的ct和xr图像数据中的体积测量来在xr中建立回归模型，以从胸部xr图像获得体积测量。在另一示例中，一个或多个图像推断模型126'可以包括这样的模型，该模型在除了用于训练的图像数据之外还有结果数据可用时，使用回归分析基于胸部xr数据来确定患者是否需要呼吸机。在另一示例中，一个或多个图像推断模型126'可以包括被配置为执行时间分析并且监测疾病区域随时间的变化的模型。
80.应当理解，上述不同医学图像ml模型仅仅是示例性的，并不旨在限制所公开主题的范围。此外，一个或多个图像推断模型126'可以附加地或另选地包括被配置为处理非医学领域中的图像的ai/ml图像分析/处理模型。
81.根据所公开主题的各种实施方案，多模态训练数据生成模块101(和本文所述的其他多模态训练数据生成模块)提供用于生成单模态训练图像数据的多模态图像处理技术，该单模态训练图像数据可以用于开发单模态图像推断模型。因此，在各种实施方案中，一个或多个图像推断模型126'可以包括至少一个模型，该至少一个模型被设计/训练以接收和处理作为输入的单模态图像数据而不是多模态图像数据。一个或多个图像推断模型126'也可以包括至少一个模型，该至少一个模型被训练以接收和处理特定目标捕获模态(例如，xr或另一2d图像捕获模态)的2d图像数据，其中用于训练和开发模型的训练图像数据由多模态训练数据生成模块101从3d模态的图像生成。就这一点而言，一个或多个图像推断模型126'中的至少一个图像推断模型可以被设计/训练以接收和处理作为输入的2d图像数据而不是3d图像数据。
82.附加地或另选地，一个或多个图像推断模型126'可以被训练以接收和处理2d图像数据和3d图像数据的组合作为输入。就这一点而言，新图像数据128的类型可以根据一个或多个图像推断模型126的目标域和图像数据可用训练数据122的类型而变化。
83.根据所公开主题的各种实施方案，一个或多个图像推断模型126中的至少一些图像推断模型的目标域包括特定2d目标捕获模态的2d图像。对于这些实施方案，新图像数据128可以是或对应于使用目标捕获模态捕获的新原生2d图像。例如，如应用于上述covid-19示例性使用情况，目标域可以包括ct图像而不是xr图像。在该示例中，新图像数据128可以是或对应于新原生xr图像。
84.对于这些实施方案，多模态训练数据生成模块101可以促进生成和注释目标2d捕获模态中的高质量2d图像以添加到训练数据122。例如，在所示的实施方案中，训练数据122可以包括合成2d图像116、带注释合成2d图像118和带注释原生2d图像120。合成2d图像116、带注释合成2d图像118和带注释原生2d图像120可以分别是或对应于使用目标2d捕获模态捕获的图像。例如，在其中目标2d捕获模态为xr模态的具体实施中，合成2d图像116可以包括sxr图像，带注释合成2d图像118可以包括带注释sxr图像，并且带注释原生2d图像可以包括原生带注释xr图像。训练模块124还可以使用由多模态训练数据生成模块101生成的目标模态2d图像来训练和开发一个或多个推断模型126'。
85.在一些具体实施中，由多模态训练数据生成模块101用来生成合成2d图像116、带注释合成2d图像118和带注释原生2d图像的输入数据(例如，原生3d图像数据102和/或配对的原生2d图像数据104)也可以被添加到训练数据122并且由训练模块124用来训练和开发一个或多个推断模型126'。由多模态训练数据生成模型101接收和/或生成的任何真值信息也可以被添加到训练数据122并且由与训练和开发一个或多个推断模型126'相关联的模块使用(例如，带注释原生3d图像数据108和/或带注释配对原生2d图像110)。
86.在各种实施方案中，多模态训练数据生成模块101可以促进使用在不同源捕获模态中捕获和/或生成的对应图像数据来生成和注释目标2d捕获模态中的高质量训练图像。在一个或多个实施方案中，该不同源捕获模态可以包括3d捕获模态(例如，ct、mri和/或医学或非医学领域中的其他类型的3d捕获模态)。多模态训练数据生成模块101还可以采用原
生3d图像来促进生成和注释目标2d捕获模态中的高质量训练图像。(然而，在一些实施方案中，不同源模态可以包括其他2d成像模态)。为了促进此结果，多模态训练数据生成模块101可以包括注释部件106、变换部件112和注释转移部件114。
87.就这一点而言，多模态训练数据生成模块101可以接收包括在3d捕获模态中捕获和/或生成的对象或环境的3d图像的原生3d图像数据102。例如，3d图像可以包括3d体积图像、3d模型、3d表示等。在一些具体实施中，用于生成3d图像的图像数据也可以包括在原生3d图像数据102中并且分别与3d图像相关联。例如，如应用于ct体积图像、mri体积图像等，用于生成3d体积图像的各个ct和mri扫描也可以包括在原生3d图像数据102中并且与相应体积图像相关联。3d图像也可以与描述与相应3d图像相关联的相关信息的元数据相关联，该相关信息包括但不限于：患者信息(例如，人口统计、病史、当前医学状况等)、捕获模态信息、捕获参数信息、捕获协议信息和图像特征信息(例如，取向、视场、分辨率等)。
88.在一个或多个实施方案中，变换部件112可以从包括在原生3d图像数据102中的原生3d图像生成一个或多个合成2d图像，其中该合成2d图像对应于原生3d图像的2d版本。就这一点而言，变换部件112可以基本上将在3d捕获模态中捕获和/或生成的原生3d图像变换成对应于目标捕获模态中的3d图像的2d版本的一个或多个对应合成2d图像。例如，在一些具体实施中，3d图像可以为ct体积图像，并且变换部件112可以将ct体积图像变换成sxr图像。变换的合成2d图像在图1中表示为合成2d图像116。
89.为了促进生成用于ml训练和开发的目的的多个图像示例，原生3d图像数据102可以包括使用源捕获模态捕获的并且描绘相同或相似主题的不同3d图像。例如，如应用于医学成像领域，原生3d图像数据102可以包括针对不同患者捕获并且分别描绘针对在解剖区域中表现的医学状况的同一解剖区域的3d图像。根据该示例，对于每个患者，变换部件112可以从针对患者的对应3d图像生成一个或多个合成2d图像，其中该一个或多个合成2d图像对应于3d图像的2d版本。
90.在一些具体实施中，变换部件112可以单独从原生3d图像数据102生成合成2d图像116。例如，在其中原生3d图像数据102包括针对不同患者的ct图像数据(例如，ct体积数据)的各种具体实施中，变换部件112可以单独从对应ct图像数据生成sxr图像。
91.附加地或另选地，变换部件112可以接收并采用来自目标捕获模态的配对的原生2d图像104，以促进在目标捕获模态中生成合成2d图像116。对于这些实施方案，配对的原生2d图像104可以包括在目标捕获模态中捕获的原生2d图像，该原生2d图像与原生3d图像数据102中的对应3d图像配对。包括在一对中的相应原生3d和2d图像可以被认为是配对的，因为它们描绘了相同或相似状态中的同一对象或环境。就这一点而言，理想的一对原生3d模态图像数据和原生2d模态图像数据将包括分别使用同一对象/环境的不同捕获模态同时并且从同一视点捕获的图像数据。
92.例如，如应用于医学图像处理，原生3d图像数据102和配对的原生2d图像104可以分别包括来自多个不同患者的源模态的配对的3d图像和来自多个不同患者的目标模态的2d图像，其中每个图像对对应于具有患者的至少一个医学状况的相似状态的同一解剖区域的采集图像。在一些示例性具体实施中，一对中的原生3d图像数据可以包括对患者的解剖区域的ct图像研究(例如，包括计算的ct体积以及任选地各个ct扫描切片)，并且该对中的原生2d图像数据可以包括同一患者的同一解剖区域的xr图像，其中ct图像数据和xr图像两
者描绘了相同或相似状态下的患者的同一医学状况/疾病。对于患有covid-19的患者中的快速发展的医学疾病/状况(诸如呼吸系统疾病/肺炎)，从患者捕获相应3d图像数据和2d图像数据的时间越近越好(例如，优选地小于48小时并且更优选地小于24小时)。在一些实施方案中，一对原生3d图像数据和原生2d图像数据可以分别与指示它们的捕获时间的时间戳相关联，以促进在处理期间校准图像数据之间的差异和/或确定用于图像数据的最佳处理路径。
93.根据其中向包括在原生3d图像数据102中的3d图像提供配对的原生2d图像(例如，在配对的原生2d图像104中)的实施方案，变换部件112可以采用配对的原生2d图像104来促进从3d图像生成更真实的合成2d图像(例如，合成2d图像116)。注释转移部件114也可以采用配对的原生2d图像来促进将应用于原生3d图像或以其他方式与原生3d图像相关联的真值注释数据准确地转移到从其生成的合成2d图像(或多个图像)和/或配对的原生2d图像。
94.就这一点而言，在各种实施方案中，注释转移部件114可以将针对3d图像的真值数据转移到从其生成的合成2d图像。以这种方式注释的合成2d图像在图1中表示为带注释合成2d图像118。如下所述，参考注释部件106，该真值数据可以在由多模态训练数据生成模块101接收之后手动应用于3d图像，或者先前应用于3d图像并且与3d图像一起包括在原生3d图像数据中。在一些具体实施中，注释转移部件114可以将针对3d图像的真值数据转移到从其生成的合成2d图像，而无需由针对3d图像的配对的原生2d图像提供辅助或指导(例如，在其中配对的原生2d图像不可用的具体实施中)。在其中向3d图像提供配对的2d图像的其他实施方案中，注释转移部件114可以采用原生2d图像来促进以与从3d图像转移真值数据相关联的方式在合成2d图像上准确地定位真值数据和确定真值数据的大小。
95.注释转移部件114也可以将针对3d图像的真值数据转移到配对的原生2d图像。以这种方式注释的原生2d图像在图1中表示为带注释原生2d图像120。在一些实施方案中，注释转移部件114可以相似地采用从3d图像生成的一个或多个对应合成2d图像，以促进以与从3d图像转移真值数据相关联的方式在配对的原生2d图像上准确地定位真值数据和确定真值数据的大小。在一些实施方案中，注释转移部件114也可以将应用于配对的原生2d图像的真值数据转移到从其配对的3d图像生成的一个或多个对应合成2d图像。以这种方式注释的合成2d图像可以包括在带注释合成2d图像118中。
96.在所示的实施方案中，多模态训练数据生成模块101可以包括注释部件106，以促进手动将真值数据应用于包括在原生3d图像102中的3d图像中的一个或多个3d图像和/或配对的原生2d图像104中的一个或多个配对的原生2d图像。以这种方式注释的原生3d图像在图1中表示为带注释原生3d图像数据108，并且以这种方式注释的配对的原生2d图像在图1中表示为带注释配对原生2d图像。就这一点而言，在一些实施方案中，注释部件106可以将原生3d图像数据102和/或配对的2d图像104提供给一个或多个注释器以用于真值数据的手动应用。例如，在一个实施方案中，注释部件106可以包括手动注释应用和/或与手动注释应用进行交互，该手动注释应用(例如，经由设备显示器或另一合适的输出设备2636)将未注释(或在一些具体实施中先前注释)的原生图像呈现给一个或多个手动注释器(人)，以用于注释。例如，在其中图像包括医学图像的具体实施中，注释应用可以提供：将未注释的医学图像呈现给手动注释器(例如，放射科医师)并且从该手动注释器接收识别或指示针对医学图像的期望真值解释的输入。例如，真值数据可以包括手动应用的分类器、标签、分割掩码
(例如，器官分割掩码)、标记的感兴趣区域(roi)(诸如医学图像数据中的疾病区域)、指示图像中的特征的一个或多个维度的测量数据等。
97.注释应用还可以生成针对带注释图像的真值数据，并且将真值数据与可访问存储器存储装置中的相应图像相关联(例如，作为带注释原生3d图像数据108和/或带注释配对原生2d图像110)。因此，在一些实施方案中，带注释原生3d图像数据110可以包括其上标记有真值的3d图像数据的标记版本。附加地或另选地，真值数据可以与原生3d图像数据分离并且作为单独的文件、元数据等与其相关联。注释部件106可以以相同方式生成针对配对的原生2d图像104的真值注释数据并将其相关联。
98.附加地或另选地，原生3d图像数据102(和任选地配对的原生2d图像104)可以与先前应用的真值数据一起被接收。对于这些实施方案，可以针对包括在原生3d图像数据102中的相应3d图像接收先前应用的真值数据，作为相应3d图像的标记版本(例如，可以接收3d图像的带注释版本和原始版本两者)、作为与相应3d图像相关联的元数据、作为与相应3d图像相关联的单独注释文件等。在一些具体实施中，可以以相同或相似方式接收针对配对的原生2d图像中的一个或多个配对的原生2d图像的先前应用的真值注释数据。
99.在各种实施方案中，注释部件106也可以提供对所转移注释的手动查看。具体地，注释部件106可以将由注释转移部件114从带注释3d图像转移到对应原生2d图像的真值数据和/或对应合成2d图像呈现给一个或多个手动注释器，以供任选的手动查看和调整。
100.参考图2至图25更详细地描述了关于变换部件112和注释转移部件114的特征和功能的附加细节。
101.图2呈现了根据所公开主题的一个或多个实施方案的示例性多模态训练数据生成模块101。根据所示的实施方案，多模态训练数据生成模块101可以接收和处理原生3d图像数据102和/或配对的原生2d图像104，以生成合成2d图像116、带注释合成2d图像118和/或带注释原生2d图像，用于添加到训练数据122。为了促进此结果，变换模块112可以包括模块变换部件202和投影部件206。为简洁起见，省略了对相应实施方案中采用的类似元件的重复描述。
102.在一些实施方案中，变换部件112可以采用模型变换部件202来使用3d到2d变换模型204从3d图像生成一个或多个合成2d图像。对于这些实施方案，3d到2d变换模型204可以包括先前训练的神经网络模型，该先前训练的神经网络模型被配置为将3d图像变换为2d图像，该2d图像对应于目标捕获模态中的3d图像的2d版本。在一些具体实施中，除了生成目标捕获模态中的2d图像之外，3d到2d变换模型204也可以定制输出图像的一个或多个视觉外观属性，包括但不限于：颜色、饱和度、对比度、色调、密度、亮度、视场(fov)、取向、维度、人口统计等。
103.图3呈现了根据所公开主题的一个或多个实施方案的用于使用3d到2d变换模型204来从3d图像生成合成2d图像的示例性过程300的高级流程图。参照图2和图3，根据过程300，模型变换部件202可以通过在302处将2d到3d变换模型应用于原生3d体积图像来将原生3d体积图像301直接变换成合成2d图像303。在所示的实施方案中，原生3d体积图像301包括患者胸部的ct图像体积图像，并且合成2d图像303包括sxr图像。
104.在一个或多个实施方案中，3d到2d变换模型206包括生成对抗网络(gan)。就这一点而言，gan模型可以被配置为在学习训练图像数据分布之后生成看起来真实的合成图像。
当应用于3d图像到2d图像变换时，训练分布可以包括多个3d图像(例如，3d体积图像)和针对相应3d图像的对应精确合成2d图像。在各种实施方案中，该训练数据可以由多模态训练数据生成模块101和/或本文所讨论的附加多模态训练数据模块使用投影部件206和下文所讨论的各种多模态图像处理技术来生成。就这一点而言，如下文更详细地描述，所公开主题提供各种基于投影处理的变换技术来以广泛分布的变化从3d图像生成真实合成2d图像。因此，在各种实施方案中，训练模块124(或另一训练系统)可以使用这些合成2d图像及其对应3d图像来训练和开发3d到2d变换模型206。
105.gan通常涉及两个神经网络，生成网络(也称为编码器)和判别网络(也称为解码器)。在各种具体实施中，均方误差(mse)损失和对抗损失可以被组合以训练3d到2d变换模型206的生成器网络。在一些具体实施中，3d到2d变换模型206的判别网络可以执行2d卷积和上取样操作，其中跳跃式连接可以在生成器网络与解码器网络之间发生。
106.然而，3d到2d变换模型204不限于gan。就这一点而言，各种其他类型的机器学习模型可以用于3d到2d变换模型204并且使用经由本文所述的投影处理技术生成的合成2d图像以及它们的对应3d体积来训练。例如，3d到2d变换模型204可以包括各种其他类型的网络模型、dnn、cnn、gan以及它们的组合。可以用于3d至2d变换模型204的其他合适的机器学习模型可以包括(但不限于)：最近邻(nn)模型(例如，k-nn模型、复制器nn模型等)、统计模型(例如，贝叶斯网络等)、聚类模型(例如，k均值等)、神经网络(例如，库网络、人工神经网络等)、支持向量机(svm)以及它们的组合。
107.再次参考图2，在各种实施方案中，除了使用模型变换部件202来生成合成2d图像116之外或作为其另选方案，变换部件112可以采用投影部件206来生成合成2d图像。就这一点而言，投影部件206可以执行对包括在原生3d图像数据102中的3d体积图像的投影处理，以生成一个或多个对应合成2d图像(例如，合成2d图像116)。投影处理涉及：将三维对象视图投影到二维平面上。对于这些实施方案，投影处理采用各种已知的投影处理技术来从3d体积图像生成合成2d图像。例如，在一些具体实施中，投影部件206可以采用平行投影处理。附加地或另选地，投影部件206可以采用点源投影处理(也称为透视投影处理)。这些投影过程在图4a和图4b中示出。
108.就这一点而言，图4a提供了对平行投影处理的示例性说明，并且图4b提供了对点源投影处理的示例性说明。参照图4a，平行投影处理涉及：将三维空间中的对象投影到固定平面(称为投影平面或图像平面)上，其中射线(称为视线或投影线)彼此平行。对于平行投影，点源可以无限地远离3d体积图像。参照图4b，点源投影也涉及：将三维空间中的对象投影到固定平面投影平面上。点源投影与平行投影的不同之处在于点源位于3d对象的固定视点处。就这一点而言，点源对应于观察者的视点，并且投影射线根据观察者从该视点的视线而从该视点散开。
109.图5呈现了根据所公开主题的一个或多个实施方案的用于使用投影处理从3d图像生成合成2d图像的示例性过程500的高级流程图。参考图4和图5，根据过程500，投影处理部件206可以通过使用平行投影处理和/或点源投影处理在501处执行投影处理来从原生3d体积图像301生成合成2d图像502。就这一点而言，使用平行投影或点源投影，投影部件可以将3d体积图像的3d图像数据投影到投影平面上，并且生成3d图像数据的如投影到投影平面上的2d表示。投影部件206可以采用各种已知的投影算法来基于源3d图像模态和目标2d图像
模态、所使用的投影过程以及所使用的投影参数来计算3d到2d图像变换。在所示的实施方案中，原生3d体积图像301包括患者胸部的ct图像体积图像，并且合成2d图像502包括sxr图像。
110.图6呈现了根据所公开主题的一个或多个实施方案的另一示例性多模态训练数据生成模块600。多模态训练数据生成模块600可以包括与多模态训练数据生成模块101相同或相似的特征和功能，其中添加了投影前处理部件602。为简洁起见，省略了对相应实施方案中采用的类似元件的重复描述。
111.投影前处理部件602可以执行各种技术以进一步改善由投影部件206使用一个或多个投影前处理步骤生成的合成2d图像的质量和真实外观。为了促进此结果，投影前处理部件602可以包括分割部件604、投影参数部件608和对象移除部件610。
112.在一个或多个实施方案中，投影参数部件608可以确定将产生最优质量输出2d图像的用于3d到2d投影的最佳投影参数。就这一点而言，如应用于从源捕获模态中的3d体积图像生成目标捕获模态中的合成2d图像，投影参数部件608可以确定用于将产生目标模态中的最真实的合成2d图像的投影的最佳投影参数(例如，其中在该上下文中的真实是指合成图像看起来好像是使用目标捕获模态实际捕获的)。例如，如应用于从ct体积图像生成sxr图像，投影参数部件608可以确定用于将产生看起来最真实的sxr的投影的最佳投影参数。
113.除了考虑针对合成2d图像的目标捕获模态之外，投影参数部件206也可以基于针对输出图像的各种其他期望因素(诸如取向、fov、roi等)来确定最佳投影参数。例如，如应用于生成sxr图像，最佳投影参数将基于期望的sxr图像应当是前-后(ap)投影还是后-前(pa)投影而变化。
114.在其中投影部件206采用点源投影的实施方案中，所确定的投影参数可以包括但不限于：源点和位置、投影平面位置以及投影角。就这一点而言，参考图4b，在一些具体实施中，点源位置可以包括点源与3d模型和中心投影射线之间的交点之间的距离。附加地或另选地，点源位置可以包括点源与3d体积图像内的特定点、对象、平面或区域之间的交点之间的距离。例如，如应用于医学图像，特定点可以指特定解剖身体部位的位置。投影平面位置是指3d体积图像的后表面与投影平面之间的距离。投影角可以指中心投影射线与3d体积图像上或内的交点的交角。
115.在一些实施方案中，投影部件206可以基于对从3d体积图像取得的一个或多个3d对象的分割来确定最佳投影参数。例如，如应用于医学图像，投影部件206可以基于针对3d体积图像的器官和身体分割数据来确定最佳投影参数，该3d体积图像在3d中从身体分割器官。就这一点而言，3d体积图像可以包括其中存在医学状况的患者的解剖区域的3d表示。例如，在各种具体实施中，3d体积图像可以包括ct体积图像、mri体积图像、us体积图像等。关于这些具体实施，可以基于在不同平面处捕获的多个连续2d扫描图像来生成3d体积图像。3d体积图像因此可以提供解剖区域的3d模型，该3d模型描绘了解剖区域内的各种内部身体部位。
116.在各种实施方案中，器官和身体分割数据可以包括识别包括在3d体积数据中的一个或多个器官和/或解剖身体部位的相对位置和几何特性(例如，尺寸、大小和形状等)的信息。附加地或另选地，器官和身体分割数据可以包括将一个器官和/或身体部位与另一个彼
此分割和隔离的图像数据(例如，2d或3d中的)。例如，如应用于患者胸部的ct体积图像，器官和身体分割数据可以包括肺部分割数据，该肺部分割数据将图像数据中的患者肺部与图像数据中的身体的其余部分进行分割。肺部分割数据也可以指示肺部与身体后部、身体侧面、身体前部等的相对位置。
117.在所示的实施方案中，投影前处理部件602可以包括分割部件202以执行器官/身体分割并生成针对3d体积图像的器官和身体分割数据。例如，分割部件202可以采用分割模型606，该分割模型被配置为处理3d体积数据和/或相关联的3d数据(例如，一个或多个ct扫描切片等)并生成分割数据，该分割数据将3d(以及可选地在2d)中的图像数据中的一个或多个目标器官和/或身体部位与另一个彼此隔离和分割。附加地或另选地，器官和身体分割数据可以被预先生成并且与3d体积图像一起在原生3d图像数据102中提供。
118.不管器官和身体分割数据是如何生成和/或接收的，投影参数部件608可以采用器官和身体分割数据来确定最佳投影参数。就这一点而言，在其中使用点源投影的具体实施中，投影参数部件608可以采用器官和身体分割数据来确定最佳点源位置和投影角。具体地，投影参数部件608可以采用分割数据中的信息来确定最佳投影点和投影角，该信息识别一个或多个器官与身体的其他部位的相对位置和/或该一个或多个器官的尺寸/几何特性。投影参数部件608也可以采用预定义的和/或学习的标准来基于相对位置和尺寸信息确定最佳投影点和投影角。
119.例如，在如应用于胸部ct体积图像的一个具体实施中，投影参数部件608可以被配置为确定投影点和投影角，使得点源的中心投影在肺部的中间相交。在另一示例中，投影参数部件608可以定位点源，使得点源与身体后部之间的距离为n厘米(cm)(例如，90cm)，以用于利用前-后成像生成sxr。就这一点而言，投影参数部件608可以采用器官分割数据作为参考来标准化投影点和投影角。
120.在另一实施方案中，投影参数部件608可以基于对使用不同候选投影参数从同一3d体积图像生成的不同合成2d图像的比较分析来确定最佳投影。在其中对应于3d体积图像的原生2d图像可用的这些实施方案的一些具体实施中，不同合成2d图像可以与原生2d图像进行比较并且使用一个或多个相似性度量进行评估以识别最优匹配合成2d图像。对于这些实施方案，当用于在相同目标模态中生成合成2d图像时，用于生成最优匹配合成2d图像的参数可以用作针对所有(或在一些具体实施中的一个或多个)3d体积图像的标准投影参数。
121.对象移除部件610也可以通过在投影之前对3d体积图像执行对象移除处理来促进以与投影生成相关联的方式增强输出合成2d图像的质量。就这一点而言，对象移除部件610可以在投影之前移除出现在3d体积图像中的不想要的对象和/或伪影，从而产生细化的3d体积图像。例如，在如应用于医学图像的一些具体实施中，对象移除部件610可以移除在3d体积图像中出现的不是身体部位的对象或特征(例如，成像台的部分、成像装备的部分等)。对象移除部件610也可以移除在3d体积图像中出现的、在针对合成2d图像的目标捕获模态中通常未被描绘的对象或伪影。例如，如应用于从ct体积图像生成sxr图像，对象移除部件610可以移除存在于ct体积图像数据中的未在xr数据中捕获的高细节解剖特征。
122.图7呈现了根据所公开主题的一个或多个实施方案的用于使用投影处理来从3d图像生成合成2d图像的示例性过程700。就这一点而言，如应用于从ct体积图像生成sxr图像，过程700展示了上文讨论的投影部件206和投影前处理部件602的高级特征和功能中的一些
高级特征和功能。为简洁起见，省略了对相应实施方案中采用的类似元件的重复描述。
123.参考图6和图7，根据过程700，多模态训练数据生成模块600可以(例如，从原生3d图像数据102)接收/获取患者的ct体积图像(例如，原生体积图像301)以及针对3d体积图像301的相关联的3d图像数据701。关联的3d图像数据可以包括用于生成ct体积图像的各个ct扫描图像中的一个或多个ct扫描图像。在所示的实施方案中，ct图像数据描绘了患者的胸部。
124.就这一点而言，在702处，分割部件604可以对3d图像数据701执行器官和身体分割，以生成器官/身体分割数据704。例如，在一些实施方案中，分割部件604可以将分割模型(例如，分割模型606)应用于ct扫描图像，以生成器官/身体分割数据704。根据该示例，分割模型可以被配置为处理胸部的ct扫描图像以生成分割数据，该分割数据将肺部与身体隔离和/或确定肺部与身体后部、身体前部等的相对位置。附加地或另选地，在702处，分割部件604可以处理原生3d体积图像301以生成器官/身体分割数据704(例如，使用针对胸部ct体积分割定制的不同分割模型)。所得到的分割数据可以包括从原生3d体积图像301分割的一个或多个对象(例如，器官、身体部位等)和/或源自其的几何特性和位置信息，该几何特性和位置信息定义了3d中所分割对象的几何特性和/或3d中对象彼此的相对位置。
125.在706处，投影参数部件608可以使用器官/身体分割数据来确定最佳投影参数708。例如，在其中使用点源投影的具体实施中，投影参数部件608可以确定最佳点源位置和投影角)。以与执行器官和身体分割以及确定最佳投影参数相关联或并行的方式，在710处，对象移除部件610可以对原生3d体积图像执行对象移除，以生成细化的3d体积图像712(例如，移除了不期望的对象的ct体积图像)。在714处，投影部件可以使用最佳投影参数708执行对细化的3d体积图像712的投影处理变换，以生成目标捕获模态中的合成2d图像716。在所示的实施方案中，目标捕获模态包括xr，并且因此所得到的合成2d图像716是真实sxr图像。
126.图8呈现了根据所公开主题的一个或多个实施方案的另一示例性多模态训练数据生成模块800。多模态训练数据生成模块800可以包括与多模态训练数据生成模块600相同或相似的特征和功能，其中添加了增强部件802。为简洁起见，省略了对相应实施方案中采用的类似元件的重复描述。
127.增强部件802可以执行各种技术以进一步改善由变换部件112使用一个或多个投影后处理步骤生成的合成2d图像116的质量和真实外观。就这一点而言，增强部件802可以促进进一步增强包括在训练数据数据集122中的训练数据的质量和多样性。例如，在所示的实施方案中，训练数据122还可以包括增强的合成2d图像816、增强的带注释合成2d图像818、增强的原生2d图像820和/或增强的带注释原生2d图像822。为了促进此结果，增强部件802可以包括和谐化部件804、风格迁移部件806、配准部件812和扩展部件814。
128.和谐化部件804可以使用目标捕获模态的一个或多个参考图像来对合成2d图像116执行图像和谐化，以使得合成2d图像116的外观与该一个或多个参考图像的外观更相似。例如，在其中合成2d图像包括sxr图像的具体实施中，和谐化部件804可以使sxr图像与一个或多个参考原生sx图像和谐，以使得sxr图像在外观上看起来与该一个或多个参考原生sx图像更相似。就这一点而言，图像和谐化过程可以涉及：将合成2d图像116的视觉外观调适/调整为更相似于一个或多个参考图像的视觉外观，从而产生合成2d图像到经和谐的
合成2d图像的变换。根据所公开主题，经和谐的合成2d图像可以被认为是增强的图像并且可以包括在增强的合成2d图像816中。
129.在其中向用于生成对应合成2d图像的3d图像提供配对的原生2d图像的具体实施中，和谐化部件804可以采用该配对的原生2d图像作为参考图像。在其中配对的原生2d图像不可用的具体实施中，一个或多个参考图像可以包括代表目标捕获模态中的原生2d图像的一个或多个预选参考图像。附加地或另选地，和谐化部件804可以在协调过程期间选择一个或多个代表性参考图像(例如，作为和谐化过程的一部分)。就这一点而言，由和谐化部件804采用的和谐化过程可以变化。
130.例如，在一个或多个实施方案中，和谐化部件804可以采用和谐化过程，该和谐化过程涉及：将合成2d图像分解成子图像并且使子图像与从一个或多个参考图像分解的对应参考子图像和谐。具体地，可以通过将子图像调适或修改为看起来与对应参考子图像更相似，从而产生针对合成2d图像的经修改的子图像，来使子图像与对应参考子图像和谐。在各种实施方案中，和谐化过程可以涉及改变每个子图像的一个或多个特征，以使它们与对应参考子图像的对应特征更相似。然后可以重新组合经修改的子图像以生成重建的经和谐的图像，该重建的经和谐的图像为合成2d图像的经修改的版本，该合成2d图像的经修改的版本相对于该合成2d图像具有与一个或多个参考图像更相似的视觉外观。
131.在各种实施方案中，风格迁移部件806还可以使用被配置为将合成2d图像迁移或变换成目标2d捕获模态的外观风格的风格迁移模型来增强合成2d图像的外观。该风格迁移模型在图8中表示为合成到原生模型808。就这一点而言，合成到原生模型808可以包括gan模型(或另一类型的ml模型)，该gan模型已被训练成将合成2d图像116以及更优选地将增强的合成2d图像816(例如，经由图像和谐化和/或图像配准增强的)迁移成目标捕获模态中的原生2d图像的风格。合成到原生模型808的输出包括合成2d图像的增强版本，该2d图像的增强版本相对于该合成2d图像看起来与目标捕获模态的原生2d图像更相似。在各种实施方案中，风格迁移部件806(和/或训练模块124或另一模型训练系统)可以使用配对的原生2d图像104(中的至少一些配对的原生2d图像)和从来自3d图像的分别与其配对的生成的对应增强的合成2d图像816(例如，优选地具有和谐化和/或配准增强)来训练和开发合成到原生模型808。根据所公开主题，使用合成到原生模型808生成的风格迁移合成2d图像可以被认为是增强的图像并且可以包括在增强的合成2d图像816中。
132.在一些实施方案中，风格迁移部件806也可以包括被配置为执行逆变换的原生到合成风格迁移模型，在图8中表示为原生到合成模型810。对于这些实施方案，原生到合成模型810也可以包括使用用于训练合成到原生模型808的同一训练数据训练的gan模型(或另一ml模型类型)，但该gan模型被配置为执行逆变换，即从原生2d图像到合成2d图像或增强的合成2d图像。对于这些实施方案，风格迁移部件802可以将配对的原生2d图像104(例如，不用于训练的那些)中的至少一些配对的原生2d图像变换成具有与增强的合成2d图像的外观更相似的外观的增强的原生2d图像820。风格迁移部件802也可以接收未与对应3d图像数据配对的附加原生2d图像，并将它们变换成外观与增强的合成2d的外观更相似的增强的原生2d图像820。这些增强的原生2d图像820可以用于扩展包括在训练数据池中的训练图像的数量和多样性。
133.图9呈现了根据一个或多个实施方案的在投影和后处理增强之后生成的示例原生
ct扫描图像(例如，图像901)和比较sxr图像(例如，图像902至图像904)。在所示的实施方案中，图像901描绘了用于患者胸部的ct研究的原生ct扫描图像/切片。图像902描绘了根据过程700(例如，没有任何增强)在投影之后从对应ct体积图像生成的sxr图像。例如，参考图7，图像901可以是或对应于3d图像数据701，并且图像902可以是或对应于合成2d图像716。
134.再次参考图9，图像903描绘了和谐化之后的增强的sxr图像，该sxr图像对应于图像902的经和谐的版本。图像904描绘了风格迁移(例如，使用合成到原生模型808)之后进一步增强的sxr图像，该进一步增强的sxr图像对应于图像903的风格迁移版本。如通过将各个sxr图像901-903相对于彼此进行比较可以看出，对应于图像902的经和谐的版本的图像903是相对于投影之后的初始输出sxr图像更真实的xr图像。此外，与仅具有和谐化的sxr图像相比，对应于图像903的风格迁移版本的图像904提供甚至更真实且更高质量的sxr图像。
135.图10呈现了根据所公开主题的一个或多个实施方案的用于使用投影处理来从3d图像生成增强的合成2d图像的示例性过程1000。过程1000类似于过程700，其中添加了后处理增强步骤。为简洁起见，省略了对相应实施方案中采用的类似元件的重复描述。
136.根据过程1000，在已经如参考图7所述生成初始合成2d图像716之后，在1002处，和谐化部件804可以对合成2d图像716执行图像和谐化以在和谐化之后生成增强的合成2d图像1004(例如，其可以是或对应于图像903)。在1006处，风格迁移部件806使用合成到原生模型808对增强的合成2d图像1004执行风格迁移，以在风格迁移和协调化之后生成甚至进一步增强的合成2d图像1006(例如，其可以是或对应于图像904)。
137.再次参考图8，在其中向用于生成对应合成2d图像的3d图像提供配对的原生2d图像的一些具体实施中，配准部件812可以执行图像配准以使用对应原生2d图像来增强合成2d图像。图像配准过程涉及：将合成2d图像的几何特性(例如，形状、尺寸、取向、fov等)改变或变形为与对应原生2d图像的几何特性更相似的几何特性。配准过程的结果为合成2d图像到经配准的合成2d图像的变换，该经配准的合成2d图像在几何上与对应原生2d图像的合成2d图像更相似。根据所公开主题，经配准的合成2d图像也可以被认为是增强的图像并且可以包括在增强的合成2d图像816中。
138.图11示出了根据所公开主题的一个或多个实施方案的图像配准。图11呈现了原生2d图像1101、合成2d图像1102以及经配准的合成2d图像1103。原生2d图像1101为原生xr图像，该原生xr图像与针对48小时时间帧内源3d模态(例如，ct模态)中的胸部的同一患者捕获的对应3d图像配对。合成2d图像1102对应于由多模态训练数据生成模块800(或本文所公开的其他多模态训练数据生成模块)使用变换部件112和任选地增强部件802从对应3d图像生成的sxr图像。例如，合成2d图像1102可以是或对应于合成2d图像116、合成2d图像303、合成2d图像502、合成2d图像716、图像903或图像904中的一者。
139.经配准的合成2d图像1103对应于通过配准部件812根据图像配准过程调整之后的合成2d图像1102的配准版本。就这一点而言，配准过程可以涉及：将合成2d图像1102的形状或几何特性调整或变形为与原生2d图像1101的形状或几何特性更相似的形状或几何特性(例如，移动和裁切、旋转、放大、缩小等)。在所示的实施方案中，使用白色参考线来标记原生2d图像中的参考解剖特征的参考位置信息，在该示例中，该参考位置信息包括患者胸腔的基线的边界和患者下一个部位的右侧。就这一点而言，原生2d图像中的竖直参考线沿着患者颈部的右侧延伸并且在交点1204处与水平参考线以90
°
度角相交。
140.如当应用于合成2d图像1102时通过比较相同的参考线可以看出，图像数据中患者的胸部相对于参考线交点1204的位置是偏离的。具体地，该位置应当以与标记1206一致的方式进一步向左移动(例如，如其在原生2d图像1101中出现)。根据该示例，配准过程可以涉及：使用如应用于原生2d图像1101的相应参考线作为引导来移动合成2d图像的位置，使得合成2d图像1102相对于交点1204和参考线的位置与原生2d图像1101的位置更相似。根据该示例，这将涉及：将合成2d图像1102稍微向下和向右移动，以将图像中的标记位置1206移动到交点1204。配准过程也可以涉及：裁切合成2d图像1102的不存在于原生2d图像1102中的任何过量部分。如通过将经配准的合成2d图像1103与合成2d图像1102和原生2d图像1101进行比较可以看出，相对于合成2d图像1102，配准合成2d图像1103在外观上与原生2d图像1101更相似。用于配准过程将合成2d图像与原生2d图像配准的一个或多个特定算法可以变化并且包括已知的配准算法。
141.再次参考图8，增强部件802也可以包括扩展部件814以促进生成合成2d图像或增强的合成2d图像的不同版本，以增加训练数据122中的合成2d图像的种类和数量，如图12中所示。
142.就这一点而言，图12示出了根据所公开主题的一个或多个实施方案生成具有不同扩展数据转移的不同合成2d图像版本。参考图8和图12，扩展部件814可以生成合成2d图像1202(或增强的合成2d图像)的多个副本1204，并且将各种扩展特征和/或附加调整应用于相应副本1204，以生成更代表将在现场遇到的不同原生2d图像的变化训练数据图像(例如，以模拟不同患者数据)。例如，扩展部件814可以将已知的扩展特征(诸如植入的医疗器械、线、管、线缆、胃气、起搏器、疤痕、空的空间、金属对象、并存病(例如，肿块、流体填充区域等))转移到合成2d图像的不同副本。
143.在一些实施方案中，扩展部件814可以采用与注释转移部件114相同或相似的转移技术来将这些扩展特征准确地转移到相应副本1204(例如，使用如下文更详细讨论的最佳和/或选定投影参数)。在一些具体实施中，扩展部件814也可以修改相应副本1204的其他视觉属性，诸如改变大小、性别、位置、强度、边界厚度、共同位置等。根据所公开主题，经扩展的合成2d图像也可以被认为是增强的图像并且可以包括在增强的合成2d图像816中。
144.再次参考图8，应当理解，增强部件802可以对同一合成2d图像执行上述增强过程中的一个或多个增强横，以将其变换成增强的合成2d图像。就这一点而言，在其中向用于生成对应合成2d图像的3d图像提供配对的原生2d图像的具体实施中，增强部件802使用图像配准(例如，经由配准部件812)、图像和谐化(例如，经由图像和谐化部件804)、风格迁移(例如，经由风格迁移部件806)、图像扩展(例如，经由扩展部件814)或它们的组合来增强原生2d图像。在其中配对的原生2d图像不可用的其他具体实施中，增强部件802仍可以执行对合成2d图像的图像和谐化、风格迁移和/或扩展以将其变换成增强的合成2d图像。
145.注释转移部件114还可以将与用于生成对应增强的合成2d图像816的相应3d图像相关联的真值数据从相应3d图像转移到对应增强的合成2d图像816，以生成增强的带注释合成2d图像818。在一些具体实施中，注释传输部件114也可以将与3d图像相关联的真值数据(例如，使用原生到合成模型110)转移到对应风格迁移原生2d图像，以生成增强的带注释原生2d图像822，该3d图像与风格迁移原生2d图像配对。就这一点而言，下文对将真值数据转移到合成2d图像的讨论假定可以增强合成2d图像。注释转移部件114也可以将与原生2d
图像相关联的真值数据(例如，包括在带注释配对原生2d图像110中)转移到经迁移的原生2d图像，以生成增强的带注释原生2d图像822。
146.在一个或多个实施方案中，注释转移部件114可以将与3d图像相关联的真值数据转移到使用投影处理从其生成或源自其的对应合成2d图像。对于这些实施方案，投影部件206可以将与3d图像相关联的真值数据投影到合成2d图像上，以生成与该合成2d图像在空间上和解剖学上对准的所投影的真值数据。在其中合成2d图像由投影部件206使用投影处理(例如，点源投影或平行投影)来生成的一些具体实施中，投影部件206可以使用用于生成合成2d图像的同一投影过程和投影参数来生成所投影的真值数据。注释转移部件114然后可以将所投影的真值数据转移到合成2d图像，从而产生带注释合成2d图像。
147.图13呈现了根据所公开主题的一个或多个实施方案的用于将真值数据从原生3d图像转移到对应合成2d图像的示例性过程1300。就这一点而言，过程1300提供了可以由注释转移部件114执行以生成带注释合成2d图像118和增强的带注释合成2d图像818的示例性过程。为简洁起见，省略了对相应实施方案中采用的类似元件的重复描述。
148.参考图8和图13，根据过程1300，对应合成2d图像1304包括sxr图像，该sxr图像基于使用参考投影部件206所述的投影处理和技术将针对患者的ct体积图像投影到投影平面上来生成。就这一点而言，ct体积图像可以是或对应于用于生成对应合成2d图像1304的原生3d图像。过程1300涉及：将针对原生3d图像的真值数据1302转移到对应合成2d图像1304上，以生成具有所转移的真值数据的对应合成2d图像1316。在所示的实施方案中，针对原生3d图像的真值数据1302包括肺部中的疾病区域的掩码标记，如应用于包括在ct体积图像中的代表性ct图像(例如，用于生成ct体积图像的ct图像)。在其他实施方案中，真值数据可以直接应用于3d体积图像。
149.根据过程1300，在1306处，投影部件206可以使用投影参数1304来执行对真值数据1302的投影处理，以生成所投影的真值数据1308。就这一点而言，投影参数1304包括用于生成对应合成2d图像1314的投影参数。例如，投影参数1304可以包括如由投影参数部件608所确定的最佳或标准投影参数(例如，最佳点源位置和投影角)。通过使用同一投影参数，所投影的真值数据1308在应用于对应合成2d图像1304时将具有正确的维度和对准。在1310处，注释转移部件114还可以将所投影的真值数据1308转移到对应合成2d图像上，如框1312中所示，从而生成具有所转移的真值数据的对应合成2d图像1316。例如，注释转移部件114可以将所投影的真值数据1308覆盖到对应合成2d图像1314上并生成对应合成2d图像1316的副本，其中应用了真值数据。
150.图14示出了根据所公开主题的一个或多个实施方案的使用不同投影参数从同一3d体积图像1402生成不同真值标记的合成2d图像1402。在所示的实施方案中，图像包括从ct体积生成的sxr图像，其中应用了对应真值。例如，相应图像可以是或对应于真值注释的合成2d图像1316，但是分别利用不同投影参数来生成，从而从相同体积产生不同投影。
151.就这一点而言，参考图8和图14，在一些实施方案中，一旦投影参数部件608已确定用于从3d图像生成合成2d图像的最佳投影参数，参数投影部件608就可以围绕最佳投影参数扩展或调整投影参数以生成尽可能多的投影，从而进一步提升具有对应真值的合成2d图像的数量。例如，如应用于点源投影，投影参数部件608可以稍微调整一个或多个投影参数，包括但不限于：点源距离和位置、投影平面位置以及投影角。就这一点而言，参数投影部件
608可以从最佳投影参数生成不同投影参数集。投影部件206还可以使用不同投影参数集从同一3d体积生成不同合成2d图像和对应投影真值数据。注释转移部件114还可以使用不同合成2d图像向其转移针对不同合成2d生成的所投影的真值数据(例如，根据过程1300)，以从同一3d体积生成不同真值注释的合成2d图像，如图14中所示。
152.图15呈现了根据所公开主题的一个或多个实施方案的用于将真值数据从3d图像转移到对应原生2d图像的示例性过程1500。就这一点而言，过程1500提供了可以由注释转移部件114执行以生成带注释原生2d图像120的示例性过程。为简洁起见，省略了对相应实施方案中采用的类似元件的重复描述。
153.参考图8和图15，在其中向用于生成对应合成2d图像的3d图像提供配对的原生2d图像的一些具体实施中，注释转移部件114可以使用用于生成对应合成2d图像的相同投影参数从3d图像向其转移注释数据。就这一点而言，用于将与3d图像相关联的注释数据转移到配对的原生2d图像的过程可以与用于将注释数据转移到从3d图像生成或源自3d图像的合成2d图像的过程基本上相同。
154.例如，过程1500与过程1300基本上相同，其中区别在于所投影的真值数据1308被转移到对应原生2d图像1506而不是对应合成2d图像1314。就这一点而言，过程1300可以涉及：以与过程1300相同的方式生成所投影的真值数据1308。在1502处，注释转移部件114还可以将所投影的真值数据1308转移到对应原生2d图像1506上，如框1504中所示，从而生成具有所转移的真值数据的对应原生2d图像1508。例如，注释转移部件114可以将所投影的真值数据1308覆盖到对应原生2d图像1506上并生成对应原生2d图像1508的副本，其中应用了真值数据。
155.在其中为用于生成对应合成2d图像的3d图像提供配对的原生2d图像的其他实施方案中，可以使用配对的原生2d图像来确定最佳投影参数，如下文参考图16至图20所述。
156.图16呈现了根据所公开主题的一个或多个实施方案的另一示例性多模态训练数据生成模块1600。多模态训练数据生成模块1600可以包括与多模态训练数据生成模块800相同或相似的特征和功能，其中添加了选择部件1602。为简洁起见，省略了对相应实施方案中采用的类似元件的重复描述。
157.在其中为3d图像提供配对的原生2d图像的一些实施方案中，投影部件206可以使用不同投影参数来生成多个不同候选合成2d图像。具体地，投影参数部件608可以随机地和/或利用一些预定义约束(例如，针对可能的投影参数值的预定义范围)来生成不同候选投影参数集。投影部件206还可以使用不同投影参数集来投影3d图像，以生成分别对应于第二捕获模态中的3d图像的2d版本的不同候选合成2d图像。
158.例如，图17呈现了根据所公开主题的一个或多个实施方案的使用不同投影参数从同一3d图像生成的不同候选sxr图像1702和对应投影掩码1704。根据该示例性具体实施，对于每个候选投影参数集，投影部件206可以采用3d体积图像及其关联的真值数据来生成对应sxr和所投影的真值数据，其在这种情况下是肺部分割掩码。
159.参考图16和图17，选择部件1602还可以使用一个或多个相似性评估度量来将不同候选合成2d图像与配对的原生2d图像进行比较，以识别和选择提供与原生2d图像的最接近匹配的最优候选合成2d图像。就这一点而言，选择部件1602可以识别并选择候选合成2d图像中的最接近地匹配原生2d图像的外观和几何特性的一个候选合成2d图像。例如，根据图
17所示的示例，选择部件可以选择候选sxr图像1702中的与配对的原生2d图像最优匹配的一个选择候选sxr图像。所使用的相似性度量以及选择部件1602生成针对这些度量的相似性值的方式可以变化。在一些具体实施中，相似性度量可以包括结构相似性指数度量、交互信息度量等。选择部件1602也可以采用一个或多个ml模型，该一个或多个ml模型被配置为比较各个图像并且使用一个或多个相似性度量/标准生成针对各对的相似性评分。
160.在这些实施方案的一些具体实施中，配准部件812可以在比较之前将不同候选合成2d图像与原生2d图像配准，以促进确定最接近匹配。如参考图11所讨论，该配准导致将候选合成2d图像变换到配准合成2d图像。
161.例如，图18示出了根据所公开主题的一个或多个实施方案的对候选sxr图像1702与对应原生xr图像1802的配准。在所示的实施方案中，候选sxr图像1702中的每个候选sxr图像可以与原生xr图像1802配准，以将它们变换成配准候选sxr图像1804。对于该示例，xr图像1802为针对用于生成相应候选sxr图像1702的3d图像(例如，ct体积图像)的配对的原生2d图像，其中xr图像1802和3d图像为对同一患者和同一解剖区域的捕获，两者均示出相同或相似状态下(例如，对于快速发展疾病在48小时内)的同一医学状况。
162.一旦已选择了最优匹配候选合成2d图像，投影参数部件608就可以获得用于生成最优匹配候选合成2d图像的投影参数集。然后，该投影参数集可以用于将与3d图像相关联的真值数据转移到原生2d图像和/或选定的合成2d图像。例如，根据图17中所示的示例性实施方案，可以选择针对包括在投影掩码1704中的最优匹配候选合成图像生成的投影掩码并将其转移到原生2d图像。这些投影参数也可以用作最佳或基线投影参数，从这些最佳或基线投影参数，投影参数部件608可以调整投影参数以根据参考图14描述的技术生成附加合成2d图像。
163.图19a至图19c呈现了根据图17和图18中展示的示例性具体实施的与对最优匹配候选sxr及其对应掩码的配准和选择相关联的不同掩码转移的结果。
164.参考图19a，图像1901呈现了与它的所转移的投影掩码配准(例如，选自候选sxr图像1702)之前的最优匹配sxr图像。图像1902呈现了配准最优匹配sxr图像(例如，选自配准候选sxr图像1804)，其中应用了对应投影掩码。图像1903呈现了原生xr图像(例如，xr图像802)，其中对其应用了对应投影掩码。根据该示例，应用于图像中的每个图像的掩码为同一投影掩码，该同一投影掩码针对选自投影掩码1704的最优匹配sxr图像而生成。如通过比较图像1901与图像1902可以看出，所转移的掩码比未配准的sxr图像更好地拟合配准sxr图像。此外，所转移的掩码准确地拟合原生xr图像，从而展示所公开技术可以如何用于将真值数据从3d图像准确地转移到对应原生2d图像。
165.图19b呈现了根据所公开主题的一个或多个实施方案的具有和不具有所转移的掩码的最优配准sxr 1804'(例如，选自配准候选sxr图像1804)的比较图像。
166.图19c呈现了根据所公开主题的一个或多个实施方案的具有和不具有所转移的掩码的原生xr图像1802的比较图像。
167.图20呈现了根据所公开主题的一个或多个实施方案的用于将真值数据从配对的3d模态体积转移到2d模态图像以用于进一步建模的示例性过程2000。
168.根据过程2000，多模态训练数据生成模块1600可以使用包括来自多个患者1-k的第一模态的配对的3d图像和来自第二模态的原生2d图像2006
1-k
的多模态图像数据来促进
针对在解剖区域中表现的医学状况对多模态图像分析网络进行训练，其中每个图像对对应于具有患者的至少一种医学状况的相似状态的解剖区域的采集图像。可以在原生3d图像数据102中提供针对每对的3d图像，并且可以在配对的原生2d图像数据中提供针对每对的2d图像。在所示的实施方案中，原生3d图像数据102可以包括3d体积图像2002
1-k
(例如，ct体积图像)和用于生成对应体积图像的对应扫描图像2004
1-k
(例如，ct扫描图像)。因此，针对每个患者1-k的配对的3d和2d数据2008可以包括3d体积图像20021、其对应扫描图像20041以及对应原生20061。
169.在一个或多个实施方案中，在2010处，多模态训练数据生成模块1600可以接收针对患者的配对的3d和3d图像数据2008。在2012处，投影部件206可以使用不同投影参数从3d体积图像20021生成不同候选合成2d图像，从而产生候选合成2d图像2014。在2016处，配准部件812可以使每个候选合成2d图像与原生2d图像20061配准，以生成配准候选合成2d图像2018。在2020处，选择部件1602可以使用一个或多个相似性度量来评估原生2d图像与配准候选合成2d图像之间的相似性，以确定针对原生2d图像的最优匹配经配准候选合成2d图像。投影部件206还可以获得用于最优匹配合成2d图像的投影参数。
170.在2022处，注释转移部件114可以使用投影参数将与3d图像相关联的真值数据转移到原生2d图像和/或最优匹配候选合成2d图像。这导致生成目标捕获模态中的带注释2d图像数据2024。例如，图像2026对应于带注释原生2d图像，并且图像2028对应于带注释合成2d图像。在2030处，多模态训练数据生成模块1600可以将带注释2d图像数据2024添加到训练数据集2032。
171.可以针对每个患者对来自所有患者的所有配对图像重复过程2000，以获得第二模态的高质量带注释图像，并且可以将所得到的带注释合成和/或原生2d图像数据添加到训练数据集2303。训练模块124还可以采用连同第一模态一起包括在训练数据集中的第二模态的高质量带注释图像或导出图像，以实现用于分类/分诊、分割和量化的多模态模型。
172.图21a呈现了根据所公开主题的一个或多个实施方案的用于使用多模态输入图像的医学图像模型训练和部署的示例性多模态框架2100。多模态框架2100呈现了示例性框架，该示例性框架可以被本文所公开的多模态训练数据生成模块中的一个或多个多模态训练数据生成模块采用，以使用描绘同一解剖区域和医学状况的但使用不同模态(包括2d和3d模态)捕获的医学图像数据来生成高质量带注释医学图像训练数据(例如，训练数据122)。
173.展示了多模态框架2100，其中不同捕获模态包括ct模态和xr模态，并且其中相应图像描绘了与表现的呼吸系统疾病相关联的患者胸部。然而，应当理解，所评估的解剖区域和医学状况的类型可以变化。此外，多模态输入图像不限于ct和xr模态图像，并且可以包括其他3d和2d医学成像模态。
174.根据多模态框架2100，输入图像数据包括ct图像2102和针对该ct图像的配对xr图像2130，其中针对单个患者在时间帧内捕获相应图像，使得医学状况(例如，呼吸系统疾病)的状态尚未显著改变。例如，在其中医学状况为快速发展的疾病(诸如由covid-19引起的肺炎)的具体实施中，优选的时间在48小时以内，并且更优选在24小时以内。然而，应当理解，多模态框架2100可以应用于针对多个患者捕获的对应图像数据，以生成多个对应训练数据。
175.在各种具体实施中，ct图像2102可以包括从在患者的ct成像研究期间捕获的多个ct图像生成的ct体积图像。在一些具体实施中，ct图像2102可以附加地或另选地包括多个ct图像中的一个或多个ct图像(例如，一个或多个代表性2d ct扫描图像)。
176.根据如图21a中所描绘的向ct图像2102提供配对xr图像2130的实施方案，多模态框架2100可以并行处理ct图像2102和配对xr图像21两者，从而使用两种图像来生成训练数据。然而，在针对患者的配对的xr和ct图像数据不可用的具体实施中，多模态框架2100也可以仅应用于针对患者的xr数据和仅应用于针对患者的ct数据。
177.参考ct图像处理路径，在2104处，可以使用肺部/身体分割模型2106将肺部和身体分割应用于ct图像2102中的一个或多个ct图像(例如，经由分割部件604)，以生成肺部/身体分割数据2108。例如，肺部/身体分割数据2108可以包括从一个或多个ct图像中的身体的其余部分分割肺部的图像数据和/或如在ct图像数据中出现的定义肺部的相对几何特性和肺部在身体中的空间位置(例如，相对于前/后身体等)的对应信息。在2110处，可以使用肺部/身体分割数据2108来确定最佳投影参数(例如，经由投影参数部件608)。附加地或另选地，可以使用多个候选sxr和配对的xr图像2130和过程2000来确定最佳投影参数。
178.在2112处，可以使用对ct体积图像(例如，其中ct图像2102包括ct体积图像)的投影处理和最佳投影参数来执行sxr生成(例如，经由投影部件206)，以生成sxr图像2114(例如，如参考图7所述)。附加地或另选地，可以生成多个sxr图像，如参考图14所述。如参考图8至图12所述，在2116处，一个或多个sxr增强过程可以应用于sxr图像2114(例如，经由增强部件802)，从而生成增强的sxr(esxr)图像2117。在提供了配对的xr图像2130的具体实施中，配对的xr图像2130可以用于增强(例如，作为用于和谐化和用于sxr配准的参考图像)。
179.在2124处，真值(gt)数据可以被转移到esxr图像2117(例如，经由注释转移部件114)。在所示的实施方案中，这可以包括：将gt数据从ct图像数据转移到esxr图像2117或者将gt数据从配对的xr图像2130转移到esxr图像2117。所转移的gt信息的类型可以变化。例如，在一些实施方案中，gt数据可以包括标记图像数据，该标记图像数据使用用于生成esxr图像2117的同一投影参数应用于ct图像数据并被转移到esxr图像2117。例如，标记图像数据可以包括识别特定疾病区域、感兴趣特定器官、测量数据等的掩码或边界标记。gt数据也可以包括与ct图像相关联的元数据，该元数据描述了放射科医师对图像数据中的各种相关属性或特征的解释，以用于训练医学图像推断模型进行自动识别或确定。例如，在各种实施方案中，gt元数据可以包括将图像数据中的疾病分类为存在或不存在的分类信息、对疾病的严重性的评估等。
180.根据多模态框架2100，可以在2118处手动应用该gt数据。就这一点而言，在一些实施方案中，在2118处，可以用gt数据手动注释一个或多个ct图像2102(例如，ct体积图像和/或代表性2d ct扫描切片)(例如，如由注释部件106所促进)。对其应用了真值数据的所得ct图像数据在图21a中表示为ct图像数据+gt 2122。对于这些实施方案，在2124处，可以将ct图像数据+gt 2122转移到esxr图像2117，以生成对其应用了gt数据的带注释esxr图像，在图21a中表示为esxr+所转移的gt 2126。在其他实施方案中，在2118处，可以用gt数据手动注释配对的xr图像2130(例如，如由注释部件106所促进)。对其应用了真值数据的所得原生xr图像在图21a中表示为配对的xr+gt 2120。对于这些实施方案，在2124处，可以将配对的xr+gt 2120转移到esxr图像2117，以生成对其应用了gt数据的带注释esxr图像，即，esxr+
所转移的gt 2126。
181.在所示的实施方案中，在2128处，可以根据需要(任选地)手动查看和修改对其应用了所转移的gt的esxr图像2117(即，esxr+所转移的gt 2126)。就这一点而言，注释部件106可以将具有所转移的gt的esxr图像呈现给一个或多个注释器，以供手动查看和调整。在一些实施方案中，注释部件106可以基于ct图像2102与配对的xr图像2130之间的捕获时间的差(例如，如基于与相应图像相关联的时间戳数据所确定)超过阈值时间差(例如，24小时、48小时等)来将对其应用了gt的esxr图像呈现给一个或多个注释器，以供查看。阈值时间差可以基于正在评估的疾病/医学状况而变化(例如，相对于例如对骨折的评估，对于快速发展的疾病(诸如肺炎)而言更短)。
182.在一些实施方案中(例如，其中配对的xr图像未被手动注释)，在2132处，可以将ct图像数据+gt 2122转移到配对的xr图像2130，以生成对其应用了gt数据的带注释xr图像，在图21a中表示为配对的xr+所转移的gt 2134。对于这些实施方案，在2128处，也可以根据需要(任选地)手动查看和修改对其应用了gt数据的带注释xr图像(即，配对的xr+所转移的gt 2134)。就这一点而言，注释部件106可以将具有所转移的gt的xr图像呈现给一个或多个注释器，以供手动查看和调整。在一些实施方案中，注释部件106可以基于ct图像2102与配对的xr图像2130之间的捕获时间的差(例如，如基于与相应图像相关联的时间戳数据所确定)超过阈值时间差(例如，24小时、48小时等)来将对其应用了gt的xr图像呈现给一个或多个注释器，以供查看。阈值时间差可以基于正在评估的疾病/医学状况而变化(例如，相对于例如对骨折的评估，对于快速发展的疾病(诸如肺炎)而言更短)。
183.根据多模态框架2100，可以将以灰色框表示的所有图像数据添加到训练数据集2136。在2138处，包括在训练数据集2136中的训练数据还可以用于训练和开发疾病模型2140'(或另一医学图像推断模型)。疾病模型的类型可以变化。例如，在一些具体实施中，疾病模型2140'可以包括被配置为对输入医学图像中的医学状况(例如，肺炎)的存在或不存在进行分类的模型。在其他具体实施中，疾病模型2140'可以包括被配置为分割或标记在输入图像中描绘的疾病区域的模型。在各种实施方案中，可以训练疾病模型2140'处理xr图像数据而不是ct图像数据，从而展示多模态框架2100可以如何采用多模态图像数据(例如，2d和3d图像数据)来生成可以用于训练和开发单模态推断模型(例如，2d)的单模态训练数据(例如，2d)。在所示的实施方案中，星号用于疾病模型附图标号2140'以指示该模型正在经历训练和开发。在各种具体实施中，疾病模型2140'可以是或包括被配置为识别和标记(例如，利用掩码等)胸部xr图像中的疾病区域的疾病区域识别模型。
184.图21b呈现了根据所公开主题的一个或多个实施方案的用于使用单模态输入图像的医学图像处理的示例性推断流水线2101。为简洁起见，省略了对相应实施方案中采用的类似元件的重复描述。
185.推断流水线2101展示了一旦使用包括在训练数据集2136中的图像数据训练来处理xr图像的疾病模型2140的示例性应用。在该示例性应用中，疾病模型2140可以应用于新xr图像2412以执行与可能或可能不存在于图像数据中的医学状况相关的推断任务，从而生成一个或多个推断输出132。例如，在其中疾病模型2140包括分类模型的具体实施中，疾病模型2140可以分类或诊断医学状况在xr图像2142中的存在或不存在。对于该示例，一个或多个推断输出132可以包括诊断(例如，疾病存在或疾病不存在)。在另一示例性具体实施
中，疾病模型2140可以被配置为在xr图像2140中自动识别和标记疾病区域(如果检测到的话)。对于该示例，一个或多个推断输出132可以包括识别疾病区域的xr图像的标记版本、描述疾病区域的几何特性和位置的信息等。肺部/身体分割模型2106还可以应用于xr图像2142以分割肺部和身体。在各种实施方案中，这些相应模型的推断输出132还可以用于各种目的，包括分诊处理2144、量化处理2146、阶段处理2148、风险处理2150、时间分析2152等。
186.图22a呈现了根据所公开主题的一个或多个实施方案的用于使用多模态输入图像的医学图像模型训练和部署的另一示例性多模态框架2200。多模态框架2200类似于多模态框架2100，其中一些差异用新附图标号标注，该新附图标号加有下划线并保留以便于识别。为简洁起见，省略了对相应实施方案中采用的类似元件的重复描述。
187.根据多模态框架2200，在2202处，可以使用肺部roi分割来处理esxr图像2217，以从sxr图像数据中提取特定rio，在该示例性使用情况这在肺部中。就这一点而言，所得到的esxr肺部roi图像2204可以将肺部图像数据与esxr图像2217中存在的身体的其他部位隔离。在2206处，可以将gt数据转移到esxr肺部roi图像2204(例如，经由注释转移部件114)。在所示的实施方案中，这可以包括：将gt数据从ct图像数据转移到esxr肺部roi图像2204或者将gt数据从配对的xr图像2130转移到esxr肺部roi图像2204。所转移的gt信息的类型可以变化。例如，在一些实施方案中，gt数据可以包括标记图像数据，该标记图像数据使用用于生成esxr图像2117的相同投影参数应用于ct图像数据并被转移到esxr肺部roi图像2204。例如，标记图像数据可以包括识别特定疾病区域、感兴趣特定器官、测量数据等的掩码或边界标记。gt数据也可以包括与ct图像相关联的元数据，该元数据描述了放射科医师对图像数据中的各种相关属性或特征的解释，以用于训练医学图像推断模型进行自动识别或确定。例如，在各种实施方案中，gt元数据可以包括将图像数据中的疾病分类为存在或不存在的分类信息、对疾病的严重性的评估等。
188.根据多模态框架2200，也可以在2118处手动应用该gt数据。就这一点而言，在一些实施方案中，在2118处，可以用gt数据手动注释一个或多个ct图像2102(例如，ct体积图像和/或代表性2d ct扫描切片)(例如，如由注释部件106所促进)。对其应用了真值数据的所得ct图像数据在图22a中表示为ct图像数据+gt 2122。对于这些实施方案，在2124处，可以将ct图像数据+gt 2122转移到esxr肺部roi图像2204，以生成对其应用了gt数据的带注释esxr肺部roi图像，在图22a中表示为esxr肺部roi+所转移的gt 2208。在其他实施方案中，在2118处，可以用gt数据手动注释配对的xr图像2130(例如，如由注释部件106所促进)。对其应用了真值数据的所得原生xr图像在图22a中表示为配对的xr+gt 2120。对于这些实施方案，在2206处，可以将配对的xr+gt 2120转移到esxr肺部roi图像2204，以生成对其应用了gt数据的带注释esxr肺部roi图像，即，esxr肺部roi+所转移的gt 2108。
189.在所示的实施方案中，与多模态帧2100不同，不执行对esxr肺部roi图像的所转移注释的手动查看和修改，因为ct图像2102与配对的xr图像2130之间的捕获时间的差(例如，如基于与相应图像相关联的时间戳数据所确定)小于所定义的时间帧(例如，小于24小时)。
190.同样不同于多模态框架2100，在2210处，也可以对配对的xr图像2130执行肺部roi分割，从而产生xr肺部roi图像2212。在一些实施方案中(例如，其中配对的xr图像未被手动注释)，在2214处，可以将ct图像数据+gt 2122转移到xr肺部roi图像2212，以生成对其应用了gt数据的带注释xr肺部roi图像，在图22b中表示为xr肺部roi+所转移的gt 2216。也不执
行对xr肺部roi+所转移的gt 2216的手动查看和修改，因为ct图像2102与配对的xr图像2130之间的捕获时间的差(例如，如基于与相应图像相关联的时间戳数据所确定)小于所定义的时间帧(例如，小于24小时)。
191.类似于多模态框架2100，对于多模态框架2200，可以将以灰色框表示的所有图像数据添加到训练数据集2136。在2138处，包括在训练数据集2136中的训练数据还可以用于训练和开发疾病模型2140'(或另一医学图像推断模型)。疾病模型的类型可以变化。例如，在一些具体实施中，疾病模型2140'可以包括被配置为对输入医学图像中的医学状况(例如，肺炎)的存在或不存在进行分类的模型。在其他具体实施中，疾病模型2140'可以包括被配置为分割或标记在输入图像中描绘的疾病区域的模型。在各种实施方案中，可以训练疾病模型2140'处理xr图像数据而不是ct图像数据，从而展示多模态框架2100可以如何采用多模态图像数据(例如，2d和3d图像数据)来生成可以用于训练和开发单模态推断模型(例如，2d)的单模态训练数据(例如，2d)。在所示的实施方案中，星号用于疾病模型附图标号2140'以指示该模型正在经历训练和开发。在各种具体实施中，疾病模型2140'可以是或包括被配置为识别和标记(例如，利用掩码等)胸部xr图像中的疾病区域的疾病区域识别模型。
192.在2218处，多模态框架2200还采用xr肺部roi 2212和esxr肺部roi 2204来训练和开发原生到合成模型810'。就这一点而言，可以训练原生到合成模型810'变换或调适原生xr肺部roi图像，以看起来与esxr肺部roi图像2204更相似。在所示的实施方案中，星号用于原生到合成模型810'以指示该模型正在经历训练和开发。
193.图22b呈现了根据所公开主题的一个或多个实施方案的用于使用单模态输入图像的医学图像处理的另一示例性推断流水线2201。为简洁起见，省略了对相应实施方案中采用的类似元件的重复描述。
194.推断流水线2201展示了一旦使用包括在训练数据集2136中的图像数据训练来处理xr图像的疾病模型2140的另一示例性应用。根据推断流水线2201，在2220处，可以对新xr图像2142执行肺部roi分割，以生成肺部roi图像2222。现在训练的原生到合成模型810还可以应用于xr肺部roi图像2222，以生成增强的xr(exr)肺部roi图像，该增强的xr(exr)肺部roi图像具有与esxr肺部roi图像2204的外观更相似的外观。exr肺部roi图像2224还可以由疾病模型2140处理以生成一个或多个推断输出132。
195.在该示例性应用中，疾病模型2140也可以应用于exr肺部roi图像2224，以执行与可能或可能不存在于图像数据中的医学状况相关的推断任务，从而生成一个或多个推断输出132。例如，在其中疾病模型2140包括分类模型的具体实施中，疾病模型2140可以分类或诊断医学状况在exr肺部roi图像2224中的存在或不存在。对于该示例，一个或多个推断输出132可以包括诊断(例如，疾病存在或疾病不存在)。在另一示例性具体实施中，疾病模型2140可以被配置为在exr肺部roi图像2224中自动识别和标记疾病区域(如果检测到的话)。对于该示例，一个或多个推断输出132可以包括识别疾病区域的xr图像的标记版本、描述疾病区域的几何特性和位置的信息等。
196.图23呈现了根据所公开主题的一个或多个实施方案的用于从对应3d图像数据生成带注释合成2d图像的示例性计算机实现的过程2300的高级流程图。
197.在2302处，可操作地耦接到处理器的系统(例如，系统100和多模态训练数据生成
模块101、多模态训练数据生成模块600、多模态训练数据生成模块800、多模态训练数据生成模块1600等)从第一捕获模态(例如，ct模态)的3d图像(例如，包括在原生3d图像数据102中的3d体积和/或图像)生成(例如，使用变换部件202)合成2d图像(例如，合成2d图像116)，其中该合成2d图像对应于第二捕获模态(例如，xr模态)中的该3d图像的2d版本，并且其中该3d图像和该合成2d图像描绘同一患者的同一解剖区域。在2304处，系统将针对3d图像(例如，包括在带注释原生3d图像110中)的真值数据转移(例如，使用注释转移部件114)到合成2d图像，以生成具有该真值数据的带注释合成2d图像(例如，带注释合成2d图像118)。
198.图24呈现了根据所公开主题的一个或多个实施方案的用于从对应3d图像数据生成增强的带注释合成2d图像的示例性计算机实现的过程2400的高级流程图。
199.在2402处，可操作地耦接到处理器的系统(例如，系统100和多模态训练数据生成模块101、多模态训练数据生成模块600、多模态训练数据生成模块800、多模态训练数据生成模块1600等)从第一捕获模态(例如，ct模态)的3d图像(例如，包括在原生3d图像数据102中的3d体积和/或图像)生成(例如，使用变换部件202)合成2d图像(例如，合成2d图像116)，其中该合成2d图像对应于第二捕获模态(例如，xr模态)中的该3d图像的2d版本，并且其中该3d图像和该合成2d图像描绘同一患者的同一解剖区域。
200.在2404处，系统增强合成2d(例如，使用增强部件802)以生成增强的合成2d图像(例如，增强的合成2d图像816)，其中该增强包括以下项中的至少一项：使该合成2d图像与使用第二捕获模态捕获的同一患者的同一解剖区域的一个或多个原生2d图像和谐(例如，使用和谐化部件804)，将风格迁移模型应用于该合成2d图像(例如，使用风格迁移部件806)，或者使该合成2d图像与该一个或多个原生图像配准(例如，使用配准部件812)。
201.在2406处，系统将针对3d图像(例如，包括在带注释原生3d图像110中)的真值数据转移(例如，使用注释转移部件114)到增强的合成2d图像，以生成具有该真值数据的带注释合成2d图像(例如，增强的带注释合成2d图像818)。
202.图25呈现了根据所公开主题的一个或多个实施方案的用于从对应3d图像数据生成带注释原生2d图像的示例性计算机实现的过程2500的高级流程图。
203.在2502处，可操作地耦接到处理器的系统(例如，系统100和多模态训练数据生成模块101、多模态训练数据生成模块600、多模态训练数据生成模块800、多模态训练数据生成模块1600等)使用不同投影参数投影(例如，使用投影部件206)第一捕获模态的3d图像(例如，包括在原生3d图像数据102中的3d体积图像)，以生成对应于第二模态中的该3d图像的版本的不同合成2d图像，其中该3d图像和该不同合成2d图像描绘同一患者的同一解剖区域。在2504处，系统选择(例如，使用选择部件1602)不同合成图像中的合成图像，该合成图像提供与使用第二模态捕获的同一患者的同一解剖区域的原生2d图像的最接近匹配。在2506处，系统采用用于合成2d图像的一组不同投影参数集来从与3d图像相关联的真值数据生成针对原生2d图像的所投影的真值数据(例如，使用投影部件206)。在各种实施方案中，注释转移部件114还可以将所投影的真值数据转移到原生2d图像，以生成带注释原生2d图像。
204.示例性操作环境
205.一个或多个实施方案可以是处于集成的任何可能技术细节水平的系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令以用于致使处
理器执行本发明的方面的计算机可读存储介质(或多个介质)。
206.计算机可读存储介质可以是有形设备，该有形设备可以保持和存储供指令执行设备使用的指令。计算机可读存储介质可以是例如但不限于电子存储设备、磁性存储设备、光学存储设备、电磁存储设备、半导体存储设备或前述的任何适当组合。计算机可读存储介质的更具体示例的非穷举列表包括以下项：便携式计算机软盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存存储器)、静态随机访问存储器(sram)、便携式光盘只读存储器(cd-rom)、数字多功能光盘(dvd)、记忆棒、软盘、机械编码设备(诸如打孔卡或其上记录有指令的凹槽中的凸起结构)以及上述项的任何适当组合。如本文中所用，计算机可读存储介质不应被理解为是暂态信号本身，诸如无线电波或其它自由传播的电磁波、通过波导或其它传输媒体传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过电线传输的电信号。
207.本文所述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络(例如，互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每一计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并且转发计算机可读程序指令以用于存储在相应计算/处理设备内的计算机可读存储介质中。
208.用于实施本发明的操作的计算机可读程序指令可以是汇编器指令、指令集架构(isa)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据、集成电路系统的配置数据或以一种或多种编程语言(包括面向对象的编程语言，诸如smalltalk、c++等)和过程编程语言(诸如“c”编程语言或类似编程语言)的任何组合编写的源代码或目标代码。计算机可读程序指令可以完全在用户计算机上执行，部分在用户计算机上执行，作为独立软件包执行，部分在用户计算机上并且部分在远程计算机上执行，或完全在远程计算机或服务器上执行。在后一种场景中，远程计算机可以通过任何类型的网络(包括局域网(lan)或广域网(wan))连接到用户的计算机，或者可以与外部计算机建立连接(例如，通过使用互联网服务提供商的互联网)。在一些实施方案中，包括例如可编程逻辑电路、现场可编程门阵列(fpga)、或可编程逻辑阵列(pla)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以个性化电子电路，以便执行本发明的方面。
209.本文参考根据本发明实施方案的方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述本发明的各方面。可以理解，流程图图示和/或框图的每一框以及流程图图示和/或框图中的框组合可以由计算机可读程序指令来实施。
210.可以将这些计算机可读程序指令提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器以产生机器，使得经由计算机或其它可编程数据处理装置的处理器执行的指令创建用于实施流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令也可以存储在计算机可读存储介质中，其可以引导计算机、可编程数据处理装置、和/或其它设备以特定方式起作用，使得具有存储在其中的指令的计算机可读存储介质包括制品，该制品包括实施在流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。
211.也可以将计算机可读程序指令加载到计算机、其它可编程数据处理装置或其它设
备上，以促使一系列操作步骤在计算机、其它可编程装置或其它设备上执行以产生计算机实施过程，使得在计算机、其它可编程装置或其它设备上执行的指令实施流程图和/或框图的一个或多个框中指定的功能/动作。
212.附图中的流程图和框图示出了根据本发明的各种实施方案的系统、方法和计算机程序产品的可能具体实施的架构、功能和操作。在这方面，流程图或框图中的每一框可以表示指令的模块、片段或部分，其包括用于实施指定逻辑功能的一个或多个可执行指令。在一些替代实施中，框中所指出的功能可以不按图中所指出的次序发生。例如，取决于所涉及的功能，实际上可以基本上同时执行连续展示的两个框，或者有时可以相反次序执行所述框。还将指出，框图和/或流程图图示的每一框以及框图和/或流程图图示中的框的组合可由执行指定功能或动作或者实施专用硬件和计算机指令的组合的基于专用硬件的系统来实施。
213.结合图26，下文所述的系统和过程可以体现在硬件内，诸如单个集成电路(ic)芯片、多个ic、专用集成电路(asic)等。此外，一些或所有程序框在每一程序中出现的次序不应视为限制性的。相反，应当理解，一些程序框能够以各种次序执行，并非所有所述次序都可以在本文中明确示出。
214.参考图26，用于实施要求保护的主题的各个方面的示例性环境2600包括计算机2602。计算机2602包括处理单元2604、系统存储器2606、编解码器2635和系统总线2608。系统总线2608将包括但不限于系统存储器2606的系统部件联接到处理单元2604。处理单元2604可以是各种可用处理器中的任一种处理器。双微处理器和其他多处理器架构也可以用作处理单元2604。
215.系统总线2608可以是多种类型的总线结构中的任一种总线结构，包括存储器总线或存储器控制器、外围总线或外部总线或者使用任何多种可用总线架构的原生总线，包括但不限于工业标准架构(isa)、微通道架构(msa)、扩展isa(eisa)、智能驱动电子设备(ide)、vesa原生总线(vlb)、外围部件互连件(pci)、卡总线、通用串行总线(usb)、高级图形端口(agp)、个人计算机存储器卡国际协会总线(pcmcia)、火线(ieee 1394)和小型计算机系统接口(scsi)。
216.在各种实施方案中，系统存储器2606包括易失性存储器2610和非易失性存储器2612，其可以采用所公开存储器架构中的一种或多种存储器架构。基本输入/输出系统(bios)(含有诸如在启动期间在计算机2602内的元件之间转移信息的基本例程)存储在非易失性存储器2612中。此外，根据本发明创新，编解码器2635可以包括编码器或解码器中的至少一者，其中编码器或解码器中的至少一者可以由硬件、软件或硬件与软件的组合组成。尽管编解码器2635被描绘为单独的部件，但编解码器2635可以含于非易失性存储器2612内。借助于说明而非限制，非易失性存储器2612可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)、闪存存储器、3d闪存存储器或电阻性存储器，诸如电阻性随机访问存储器(rram)。在至少一些实施方案中，非易失性存储器2612可以采用所公开存储器设备中的一种或多种存储器设备。此外，非易失性存储器2612可以是计算机存储器(例如，与计算机2602或其主板物理集成)或可移除存储器。可以用来实现所公开的实施方案的合适的可移除存储器的示例可以包括安全数字(sd)卡、紧凑型闪存(cf)卡、通用串行总线(usb)记忆棒等。易失性存储器2610包括充当外部高速缓存存储器的随机存取存储器(ram)，并且还可以在各种实施方案中采用一种或多种所公开的存
储器设备。借助于说明而非限制，ram能以多种形式提供，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双倍数据速率sdram(ddr sdram)和增强型sdram(esdram)等。
217.计算机2602还可以包括可移除/非可移除、易失性/非易失性计算机存储介质。图26示出例如磁盘存储装置2614。磁盘存储装置2614包括但不限于如磁盘驱动器、固态盘(ssd)、闪存存储器卡或记忆棒的设备。另外，磁盘存储装置2614可以单独或与其他存储介质组合包括存储介质，该其他存储介质包括但不限于光盘驱动器，诸如光盘rom设备(cd-rom)、cd可记录驱动器(cd-r驱动器)、cd可重写驱动器(cd-rw驱动器)或数字多功能光盘rom驱动器(dvd-rom)。为了有助于将磁盘存储装置2614连接到系统总线2608，通常使用可移除或非可移除接口，诸如接口2616。应当理解，磁盘存储装置2614可以存储与用户相关的信息。此类信息可以存储在服务器处或者提供给服务器或用户设备上运行的应用程序。在一个实施方案中，可以向用户通知(例如，通过输出设备2636)存储到磁盘存储装置2614或传输到服务器或应用程序的信息的类型。可以向用户提供选择加入或选择退出通过服务器或应用程序来收集或共享此类信息的机会(例如，通过来自输入设备2628的输入)。
218.应当理解，图26描述了充当用户与合适的操作环境2600中的所描述的基本计算机资源之间的中介的软件。此类软件包括操作系统2618。可以存储在磁盘存储装置2614上的操作系统2618用于控制和分配计算机2602的资源。应用程序2620利用操作系统2618通过程序模块2624对资源的管理，以及存储在系统存储器2606中或磁盘存储装置2614上的程序数据2626，诸如开机/关机事务表等。应了解，要求保护的主题可以用各种操作系统或操作系统的组合来实施。
219.用户通过输入设备2628将命令或信息输入到计算机2602中。输入设备2628包括但不限于指向设备，诸如鼠标、轨迹球、触笔、触摸板、键盘、麦克风、操纵杆、游戏板、卫星天线、扫描仪、tv调谐卡、数码相机、数码摄像机、网络摄像头等。这些和其他输入设备经由接口端口2630通过系统总线2608连接到处理单元2604。接口端口2630包括例如串行端口、并行端口、游戏端口和通用串行总线(usb)。输出设备2636使用与输入设备2628相同类型的端口中的一些端口。因此，例如，usb端口可以用于向计算机2602提供输入，并且将信息从计算机2602输出到输出设备2636。提供输出适配器2634以示出存在如监视器、扬声器和打印机的一些输出设备2636，以及需要特殊适配器的其他输出设备2636。借助于说明而非限制，输出适配器2634包括在输出设备2636与系统总线2608之间提供连接手段的视频卡和声卡。应指出，其他设备或设备的系统提供输入和输出能力两者，诸如远程计算机2638。
220.计算机2602可以使用与一个或多个远程计算机(诸如远程计算机2638)的逻辑连接而在联网环境中操作。远程计算机2638可以是个人计算机、服务器、路由器、网络pc、工作站、基于微处理器的设备、对等设备、智能电话、平板电脑或其他网络节点，并且通常包括关于计算机2602描述的许多元件。出于简洁的目的，针对远程计算机2638仅示出存储器存储设备2640。远程计算机2638通过网络接口2642逻辑连接到计算机2602，并且随后经由通信连接2644进行连接。网络接口2642涵盖有线或无线通信网络，诸如局域网(lan)和广域网(wan)以及蜂窝网络。lan技术包括光纤分布式数据接口(fddi)、铜分布式数据接口(cddi)、以太网、令牌环等。wan技术包括但不限于点到点链路、如综合业务数字网络(isdn)及其上的变体的电路交换网络、分组交换网络和数字用户线(dsl)。
221.通信连接2644是指用以将网络接口2642连接到总线2608的硬件/软件。虽然为了
清楚地示出而在计算机2602内部展示通信连接2644，但该通信连接也可以在计算机2602外部。仅出于举例的目的，连接到网络接口2642所需的硬件/软件包括内部和外部技术，诸如调制解调器，包括常规电话级调制解调器、电缆调制解调器和dsl调制解调器、isdn适配器，以及有线和无线以太网卡、集线器和路由器。
222.尽管上面已在一个和/或多个计算机上运行的计算机程序产品的计算机可执行指令的一般上下文中描述了本主题，但本领域技术人员将认识到，本公开内容也可以或可以与其它程序模块结合来实现。一般来说，程序模块包括执行特定任务和/或实施特定抽象数据类型的例程、程序、部件、数据结构等。此外，本领域技术人员将了解，可以使用其它计算机系统配置来实践本发明的计算机实现的方法，该计算机系统配置包括单处理器或多处理器计算机系统、小型计算设备、大型计算机、以及计算机、手持式计算设备(例如pda、电话)、基于微处理器或可编程的消费或工业电子器件等。所例示的方面也可以在分布式计算环境中实践，在该环境中，由通过通信网络链接的远程处理设备执行任务。然而，本公开的一些(如果不是全部)方面可以在独立计算机上实践。在分布式计算环境中，程序模块可以位于本地和远程存储器存储设备中。
223.如本技术中所用，术语“部件”、“系统”、“平台”、“接口”等可以指代和/或可以包括计算机相关实体或与具有一个或多个特定功能的操作机相关的实体。本文中公开的实体可以是硬件、硬件与软件的组合、软件或执行中的软件。例如，部件可以是但不限于是在处理器上运行的程序、处理器、对象、可执行文件、执行线程、程序和/或计算机。借助于说明，在服务器上运行的应用程序和服务器都可以是部件。一个或多个部件可以驻留在程序和/或执行线程内，并且部件可位于一台计算机上和/或分布在两台或更多台计算机之间。又如，相应部件可以根据其上存储有各种数据结构的各种计算机可读媒体来执行。部件可以经由本地和/或远程进程进行通信，诸如根据具有一个或多个数据分组的信号(例如来自一个部件的数据，所述部件经由信号与本地系统、分布式系统和/或网络(诸如与其它系统的互联网)中的另一部件交互)。又如，部件可以是具有由电气或电子电路系统所操作的机械零件提供的特定功能的装置，该电气或电子电路系统由处理器所执行的软件或固件应用程序操作。在此类情况下，处理器可以在装置的内部或外部，并且可以执行软件或固件应用程序的至少一部分。作为又另一示例，部件可以是通过电子部件而非机械零件来提供特定功能的装置，其中电子部件可包括处理器或用以执行至少部分地赋予电子部件功能性的软件或固件的其它装置。在一方面，部件可以例如在云计算系统内经由虚拟机来仿真电子部件。
224.另外，术语“或”旨在意指包括性的“或”而不是排他性的“或”。也就是说，除非另有指定或从上下文中清楚，否则“x采用a或b”旨在意指任何自然的包括性置换。也就是说，如果x采用a；x采用b；或者x采用a和b两者，则在任何前述情况下都满足“x采用a或b”。此外，除非另有指定或从上下文中清楚是针对单数形式，否则本说明书和附图中使用的冠词“一(a)”和“一(an)”一般应理解为意指“一个或多个”。如本文中所用，术语“示例”和/或“示例性”用以意指充当示例、实例或说明，并且旨在是非限制性的。为了避免疑问，本文中所公开的主题不受这类示例的限制。另外，本文中描述为“示例”和/或“示例性”的任何方面或设计不必被理解为比其它方面或设计更优选或有利，也不意指排除本领域普通技术人员已知的等效示例性结构和技术。
225.如在本说明书中采用的，术语“处理器”可以基本上指任何计算处理单元或设备，
包括但不限于单核处理器；具有软件多线程执行能力的单处理器；多核处理器；具有软件多线程执行能力的多核处理器；具有硬件多线程技术的多核处理器；并行平台；以及具有分布式共享存储器的并行平台。另外，处理器可以指集成电路、专用集成电路(asic)、数字信号处理器(dsp)、现场可编程门阵列(fpga)、可编程逻辑控制器(plc)、复杂可编程逻辑设备(cpld)、分立栅极或晶体管逻辑、分立硬件部件或其被设计成执行本文所述的功能的任何组合。另外，处理器可以利用纳米级架构(诸如但不限于基于分子和量子点的晶体管、开关和门)以便优化空间使用或增强用户装备的性能。处理器也可以被实施为计算处理单元的组合。在本公开中，术语诸如“存储库”、“存储装置”、“数据存储库”、“数据存储装置”、“数据库”以及与部件的操作和功能相关的基本上任何其它信息存储部件用以指代“存储器部件”、具体体现在“存储器”中的实体或包括存储器的部件。应了解，本文所述的存储器和/或存储器部件可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。借助于说明而非限制，非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除rom(eeprom)、闪存存储器或非易失性随机访问存储器(ram)(例如铁电ram(feram))。举例来说，易失性存储器可以包括可以充当外部高速缓存存储器的ram。借助于说明而非限制，ram能以多种形式提供，诸如同步ram(sram)、动态ram(dram)、同步dram(sdram)、双倍数据速率sdram(ddr sdram)、增强型sdram(esdram)、synchlink dram(sldram)、直接rambus ram(drram)、直接rambus动态ram(drdram)和rambus动态ram(rdram)。另外，本文中的系统或计算机实现的方法的所公开存储器部件旨在包括但不限于包括这些和任何其它合适类型的存储器。
226.上文已描述的内容仅包括系统和计算机实现的方法的示例。当然，无法为了描述本公开的目的而描述部件或计算机实现的方法的每种可想到的组合，但本领域的普通技术人员可以认识到，本公开的许多其它组合和置换是可能的。此外，关于在具体实施方式、权利要求书、附录和附图中使用术语“包括”、“具有”、“拥有”等的程度，此类术语旨在以类似于术语“包括”的方式为包括性的，如“包括”在权利要求中被用作过渡词时那样解释。已出于说明的目的给出了各种实施方案的描述，但这些描述并不旨在是穷举的或限于所公开的实施方案。在不脱离所描述的实施方案的范围和精神的情况下，许多修改和变型对于本领域普通技术人员而言是显而易见的。选择本文使用的术语是以最好地说明实施方案的原理、优于市场上发现的技术的实际应用或技术改进，或者使得本领域的其他普通技术人员能够理解本文公开的实施方案。

技术特征：
1.一种系统，所述系统包括：存储器，所述存储器存储计算机可执行部件；和处理器，所述处理器执行存储在所述存储器中的所述计算机可执行部件，其中所述计算机可执行部件包括：变换部件，所述变换部件从第一捕获模态的三维(3d)图像生成合成二维(2d)图像，其中所述合成2d图像对应于第二捕获模态中的所述3d图像的2d版本，并且其中所述3d图像和所述合成2d图像描绘同一患者的同一解剖区域；和注释转移部件，所述注释转移部件将针对所述3d图像的真值数据转移到所述合成2d图像，以生成具有所述真值数据的带注释合成2d图像。2.根据权利要求1所述的系统，其中所述计算机可执行部件还包括：训练模块，所述训练模块采用所述合成2d图像和所述带注释合成2d图像来训练一个或多个机器学习模型，以执行与在所述同一解剖区域中反映的医学状况相关的医学推断任务。3.根据权利要求2所述的系统，其中所述一个或多个机器学习模型包括被配置为对作为输入的2d输入图像而不是3d输入图像执行所述医学推断任务的至少一个模型。4.根据权利要求3所述的系统，其中所述计算机可执行部件还可以包括：推断模块，所述推断模块将至少一个机器学习模型应用于所述2d图像以生成推断输出。5.根据权利要求4所述的系统，其中所述2d输入图像选自由以下项组成的组：原生2d图像、合成2d图像和增强的合成2d图像。6.根据权利要求1所述的系统，其中所述变换部件采用3d到2d变换模型来从所述3d图像生成所述合成2d图像。7.根据权利要求1所述的系统，其中所述变换部件使用选自由以下项组成的组的投影过程来生成所述合成2d图像：利用最佳投影参数的对所述3d图像的平行投影或对所述3d图像的点源投影，并且其中所述投影过程涉及：从所述3d图像移除从使用所述第二捕获模态捕获的2d图像排除的一个或多个对象。8.根据权利要求7所述的系统，其中所述3d图像包括3d体积图像，并且其中所述计算机可执行部件还包括：投影前处理部件，所述投影前处理部件基于对从所述3d体积图像取得的一个或多个3d对象的分割来确定用于所述点源投影过程的所述最佳投影参数，并且其中所述变换部件使用所述最佳投影参数来执行所述投影过程。9.根据权利要求8所述的系统，其中所述真值数据包括所投影的真值数据，并且其中所述计算机可执行部件还包括：投影部件，所述投影部件基于使用所述投影过程和所述最佳投影参数投影所述真值数据来生成所述所投影的真值数据。10.根据权利要求1所述的系统，其中所述计算机可执行部件还包括：增强部件，所述增强部件增强所述合成2d图像，从而产生增强的合成2d图像。11.根据权利要求10所述的系统，其中所述注释转移部件还将针对所述3d图像的所述真值数据转移到所述增强的合成2d图像，以生成具有所述真值数据的增强的带注释合成2d
图像，并且其中所述计算机可执行部件还包括：训练模块，所述训练模块采用所述增强的合成2d图像和所述增强的带注释合成2d图像来训练一个或多个机器学习模型，以执行与在所述同一解剖区域中反映的医学状况相关的医学推断任务。12.根据权利要求10所述的系统，其中所述增强部件使所述合成2d图像与一个或多个参考图像和谐，以生成所述增强的合成2d图像。13.根据权利要求10所述的系统，其中所述增强部件使所述合成2d图像与原生2d图像和谐，以生成所述增强的合成2d图像，其中所述原生2d图像包括使用所述第二捕获模态捕获的所述同一患者的所述同一解剖区域的图像。14.根据权利要求10所述的系统，其中所述增强部件将风格迁移模型应用于所述合成2d图像，以生成所述增强的合成2d图像，其中所述风格迁移模型包括神经网络模型，所述神经网络模型被配置为将所述合成2d图像的外观改变为看起来更相似于使用所述第二捕获模态捕获的所述同一解剖区域的原生2d图像的外观。15.根据权利要求10所述的系统，其中所述增强部件使所述合成2d图像与原生2d图像配准，以生成所述增强的合成2d图像，并且其中所述原生2d图像包括使用所述第二捕获模态捕获的所述同一患者的所述同一解剖区域的图像。16.根据权利要求1所述的系统，其中所述注释转移部件还采用所述合成2d图像来促进将所述真值数据转移到使用所述第二捕获模态捕获的所述同一患者的所述同一解剖区域的原生2d图像，以生成带注释原生2d图像。17.根据权利要求16所述的系统，其中所述计算机可执行部件还包括：注释部件，所述注释部件将所述带注释原生2d图像呈现给一个或多个注释器以供手动查看和任选调整。18.根据权利要求16所述的系统，其中所述计算机可执行部件还包括：训练模块，所述训练模块采用所述原生2d图像和所述带注释原生2d图像来训练一个或多个机器学习模型，以执行与在所述同一解剖区域中反映的医学状况相关的医学推断任务。19.根据权利要求1所述的系统，其中所述变换部件包括：投影部件，所述投影部件使用不同投影参数来投影所述3d图像，以生成分别对应于所述第二捕获模态中的所述3d图像的2d版本的不同合成2d图像，所述不同合成2d图像包括所述合成2d图像。20.根据权利要求19所述的系统，其中所述注释转移部件还使用所述不同合成2d图像的对应投影参数来将针对所述3d图像的所述真值数据转移到所述不同合成2d图像，以生成针对所述不同合成2d图像的真值数据，并且其中所述计算机可执行部件还包括：训练模块，所述训练模块采用所述不同合成2d图像和针对所述合成2d图像的所述真值数据来训练一个或多个机器学习模型，以执行与在所述同一解剖区域中反映的医学状况相关的医学推断任务。21.根据权利要求19所述的系统，其中所述计算机可执行部件还包括：选择部件，所述选择部件基于以下确定从所述不同合成2d图像中选择所述合成2d图像：相对于所述不同合成2d图像中的其他合成2d图像，所述合成2d提供与使用所述第二捕
获模态捕获的所述同一患者的所述同一解剖区域的原生2d图像的最接近匹配。22.根据权利要求21所述的系统，其中所述选择部件基于使用一个或多个相似性评估度量将所述原生2d图像与所述不同合成2d图像进行比较来确定所述合成2d图像提供所述最接近匹配。23.根据权利要求22所述的系统，其中所述计算机可执行部件还包括：配准部件，所述配准部件在所述比较之前使所述不同合成2d图像与所述原生2d图像配准。24.根据权利要求23所述的系统，其中所述配准导致所述合成2d图像到经配准的合成2d图像的变换，并且其中所述注释转移部件还使用用于生成所述合成2d图像的所述不同投影参数的子集将所述真值数据转移到所述经配准的合成2d图像，从而生成带注释的经配准的合成2d图像。25.根据权利要求21所述的系统，其中基于对所述合成2d图像的选择，所述注释转移部件还使用用于所述合成2d图像的所述不同投影参数的子集来将所述真值数据转移到所述原生2d图像。26.根据权利要求1所述的系统，其中所述计算机可执行部件还包括：增强部件，所述增强部件使用利用所述第二捕获模态捕获的所述同一患者的所述同一解剖区域的原生2d来增强所述合成2d图像，从而产生增强的合成2d图像；和风格迁移部件，所述风格迁移部件采用所述原生2d图像和所述增强的合成2d图像来训练风格迁移模型，以将所述原生2d图像的外观改变为看起来更相似于所述增强的合成2d图像。27.一种方法，所述方法包括：由可操作地耦接到处理器的系统从第一捕获模态的三维(3d)图像生成合成二维(2d)图像，其中所述合成2d图像对应于第二捕获模态中的所述3d图像的2d版本，并且其中所述3d图像和所述合成2d图像描绘同一患者的同一解剖区域；以及由所述系统将针对所述3d图像的真值数据转移到所述合成2d图像，以生成具有所述真值数据的带注释合成2d图像。28.根据权利要求27所述的方法，还包括：由所述系统采用所述合成2d图像和所述带注释合成2d图像来训练一个或多个机器学习模型，以执行与在所述同一解剖区域中反映的医学状况相关的医学推断任务。29.根据权利要求28所述的方法，其中所述一个或多个机器学习模型包括被配置为对作为输入的2d输入图像而不是3d输入图像执行所述医学推断任务的至少一个模型。30.根据权利要求29所述的方法，还包括：由所述系统将所述至少一个机器学习模型应用于所述2d图像以生成推断输出。31.根据权利要求30所述的方法，其中所述2d输入图像选自由以下项组成的组：原生2d图像、合成2d图像和增强的合成2d图像。32.根据权利要求27所述的方法，其中所述3d图像包括3d体积图像，并且其中生成所述合成2d图像包括使用选自由以下项组成的组的投影过程：对所述3d体积图像的平行投影和对所述3d体积图像的点源投影。33.根据权利要求27所述的方法，其中所述3d图像包括3d体积图像，并且其中生成所述
合成2d图像包括使用对所述3d体积图像的点源投影，并且其中所述方法还包括：由所述系统基于从所述3d体积图像分割3d对象来确定用于所述投影过程的最佳投影参数；以及由所述系统使用所述最佳投影参数来执行所述点源投影。34.根据权利要求33所述的方法，其中所述真值数据包括所投影的真值数据，并且其中所述方法还包括：由所述系统基于使用所述投影过程和所述最佳投影参数投影所述真值数据来生成所述所投影的真值数据。35.根据权利要求27所述的方法，还包括：由所述系统增强所述合成2d以生成增强的合成2d图像，其中所述增强包括以下项中的至少一项：使所述合成2d图像与使用所述第二捕获模态捕获的所述同一患者的所述同一解剖区域的一个或多个原生2d图像和谐，将风格迁移模型应用于所述合成2d图像，或者使所述合成2d图像与所述一个或多个原生图像配准。36.根据权利要求35所述的方法，还包括：由所述系统将针对所述3d图像的所述真值数据转移到所述增强的合成2d图像，以生成具有所述真值数据的增强的带注释合成2d图像；以及由所述系统采用所述增强的合成2d图像和所述增强的带注释合成2d图像来训练一个或多个机器学习模型，以执行与在所述同一解剖区域中反映的医学状况相关的医学推断任务。37.根据权利要求27所述的方法，其中所述生成包括：由所述系统使用不同投影参数来投影所述3d图像，以生成分别对应于所述第二捕获模态中的所述3d图像的版本的不同合成2d图像，所述不同合成2d图像包括所述合成2d图像；以及由所述系统基于以下确定从所述不同合成2d图像中选择所述合成2d图像：相对于所述不同合成2d图像中的其他合成2d图像，所述合成2d提供与使用所述第二捕获模态捕获的所述同一患者的所述同一解剖区域的原生2d图像的最接近匹配。38.根据权利要求37所述的系统，还包括：基于对所述合成2d图像的选择，由所述系统使用用于所述合成2d图像的所述不同投影参数的子集将所述真值数据转移到所述原生2d图像。39.一种包括可执行指令的机器可读存储介质，所述可执行指令在由处理器执行时促进操作的执行，所述操作包括：投影第一捕获模态的三维(3d)图像以生成对应于第二捕获模态中的所述3d图像的2d版本的合成二维(2d)图像，其中所述3d图像和所述合成2d图像描绘同一患者的同一解剖区域；由所述系统投影先前应用于所述3d图像的真值数据以生成所投影的真值数据，其中投影所述3d图像和所述真值数据包括采用同一投影参数集；以及由所述系统将所述所投影的真值数据转移到使用所述第二捕获模态捕获的所述同一患者的所述同一解剖区域的原生2d图像，从而生成带注释原生2d图像。40.根据权利要求39所述的机器可读存储介质，其中所述操作还包括：
使用不同投影参数集来投影所述3d图像，以生成分别对应于所述第二捕获模态中的所述3d图像的2d版本的不同合成2d图像，所述不同合成2d图像包括所述合成2d图像；以及基于以下确定选择用于所述合成2d图像的所述投影参数集来投影所述真值数据：相对于所述不同合成2d图像中的其他合成2d图像，所述合成2d图像提供与所述原生2d图像的最接近匹配。

技术总结
本公开描述了用于从多模态图像数据生成单模态训练图像数据并且使用单模态训练图像数据来训练和开发单模态图像推断模型的技术。一种方法实施方案包括：由包括处理器的系统从第一捕获模态的3D图像生成合成2D图像，其中合成2D图像对应于第二捕获模态中的3D图像的2D版本，并且其中3D图像和合成2D图像描绘同一患者的同一解剖区域。该方法还包括：由系统将针对3D图像的真值数据转移到合成2D图像。在一些实施方案中，该方法还包括：采用合成2D图像以促进将真值数据转移到使用第二捕获模态捕获的同一患者的同一解剖区域的原生2D图像。的同一患者的同一解剖区域的原生2D图像。的同一患者的同一解剖区域的原生2D图像。


技术研发人员：谭涛 戈帕尔
受保护的技术使用者：通用电气精准医疗有限责任公司
技术研发日：2021.09.21
技术公布日：2023/8/14