体积渲染中注释标签的动态布局优化的制作方法

体积渲染中注释标签的动态布局优化
1.相关申请
2.本技术要求2022年2月10日提交的ep 22156156.6的权益，其通过引用以其整体并入于此。
技术领域
3.本公开的各种示例一般涉及渲染图像中的注释标签。本公开的各种示例具体地涉及优化注释标签的布局，以用于基于医学体积渲染显示对应于图像中感兴趣区域的语义上下文信息。


背景技术：

4.注释标签可以用于增强具有文本语义信息的图像，由此向观看者解释图像中可见的特征。例如，可以用关于解剖结构、器官、病理等的信息来增强医学图像，以由此促进放射科医生对医学图像的审查。可以根据注释布局将注释标签叠覆到图像上。有时，要对一系列图像进行注释；图像序列可以形成电影。在这样的场景下，注释布局的时间依赖性也被确定。
5.在没有人工干预的情况下为图像中的标签创建全局最优和时间相干的注释布局是成像过程中的常见任务。自动标签放置是一个np-hard问题，并且经常不能高效地计算最优解。传统上，用于自动标注制图数据的遗传算法是已知的，其中布局优化依赖于由达尔文进化中的自然选择概念启发的启发式算法。在简单的示例中，要最大化的适应度函数被定义为追踪非重叠标签的数量，这驱动了对可能的解决方案池的选择、交叉和变异过程。
6.然而，对于具有大图像或图像动画的用例，这些算法经常不能实时进行计算。


技术实现要素：

7.因此，需要先进的技术以用于优化渲染图像中注释标签的布局。特别地，需要减轻或缓和上述限制和缺点中的至少一些的技术。
8.在下文中，关于所要求保护的方法以及关于所要求保护的计算设备、计算机程序和存储介质来描述解决方案，其中特征、优点或替代实施例可以被分配给其它所要求保护的对象，并且反之亦然。换句话说，可以用在方法的上下文中描述的特征来改进与计算设备、计算机程序和存储介质相关的权利要求。
9.根据各种示例，使用图像中与标签相关联的感兴趣区域和/或标签的可见性的度量来确定标签的布局——即定义标签相对于包括由标签注释的特征的图像的放置。
10.标签可以包括和/或表示语义信息，例如，它们可以包括与所标注的特征/感兴趣区域相关联的语义信息的文本描述。标签可以包括文本描述和被标注的相应特征之间的图形链接；例如，标签可以锚定在靠近相应特征或在相应特征处布置的锚定点处。可以从锚定点到标签文本画一条线。
11.标签可以包括2d或3d字形、2d或3d文本框、表面和连接线中的一个或多个。应当理
解，任何其它图形元素或文本元素都可以用作标签。
12.这是基于这样的发现，即基于特定的标签布局，标签可能遮挡渲染图像中其它标签中的一个或多个、感兴趣区域和/或界标中的一个或多个。应该使用或考虑至少一部分图像的这样的可见性来优化标签的布局。
13.提供了一种用于优化标签布局以便基于成像数据集注释至少一个渲染图像中的多个感兴趣区域和/或表示感兴趣区域的界标的方法，所述方法包括以下动作。
14.在动作中，获得至少一个图像。
15.一般而言，图像可以是从数据储存器或另一计算设备接收的图像。该图像可以从医院的图像储存库(例如，图片存档及通信系统(pacs))加载。在各种示例中，图像可以是渲染图像，和/或获得至少一个渲染图像可以包括渲染来自数据集的图像，所述数据集例如是包括成像数据，诸如例如成像过程(诸如相机或mri成像方法)的输出数据的成像数据集。数据集可以包括体积或非体积成像数据，特别是医学体积成像数据。因此，在各种示例中，基于成像数据集，图像可以被称为渲染图像。
16.在另一动作中，基于图像，可以获得图像中对应于感兴趣区域的多个感兴趣区域和/或界标，可以获得感兴趣区域和/或界标的位置。图像中的感兴趣区域可以对应于图像中用户特别感兴趣的部分或区域，即诸如向用户显示特定解剖结构的解剖结构的图像结构。界标可以对应于感兴趣区域的特定部分，其可以表示感兴趣区域，并且可以例如用作具有语义信息的标签的锚定点。可以获得至少一个渲染图像中的感兴趣区域和/或感兴趣区域的位置，以及界标和/或界标的位置。获得可以包括使用图像，通过算法自动地、或手动地、或其组合来确定或标识。获得可以包括通过用户输入或从数据库接收。
17.已知各种算法促进对图像、特别是医学图像的分析，以检测和定位感兴趣区域。例如，可以分割某些解剖区域或器官。可以确定这样的感兴趣区域的边界框。这样的算法可以采用机器学习技术。该算法可以是神经网络算法。这里，通过针对多个训练图像进行监督学习来获得基础真值，并且然后训练神经网络算法以根据基础真值来检测和定位感兴趣区域，从而可以促进训练。由于用于检测感兴趣区域和相关联的语义信息的这样的算法实现方式原则上是技术人员已知的，因此没有必要在这方面描述进一步的细节。另外，这样的算法的特定实现方式与本文中所描述技术的运作无密切关系。这是因为本文中描述的涉及确定标签布局的技术可以灵活地与不同类型和种类的算法一起运作，这些算法确定感兴趣区域的位置和/或用于获得与这样的感兴趣区域的位置相关联的语义信息。
18.在另一动作中，获得与多个感兴趣区域和/或界标相关联的语义信息，其中获得可以包括从数据储存器或其它计算设备接收，或者基于图像(例如，基于所标识的感兴趣区域和/或界标)确定语义信息。
19.例如，可以使用分类算法来对某个感兴趣区域中可见的特征进行分类。例如，可以从用于确定多个感兴趣区域的位置的算法获得上下文信息。举个示例，可以训练某个算法来检测骨折；然后，该算法可以作为上下文信息提供检测到的骨折类型和/或严重性作为语义信息。
20.在一些示例中，这样的语义信息也将可能由用户经由人机接口输入。
21.在另一动作中，基于语义信息和多个感兴趣区域和/或界标的位置，并且考虑图像中标签的可见性和感兴趣区域和/或界标的进一步可见性，确定用于注释至少一个渲染图
像中的多个界标的标签的布局。其中，考虑图像中标签的可见性和感兴趣区域和/或界标的进一步可见性可以包括考虑感兴趣区域和/或界标、和/或标签中的一个或多个是否可见，或者是否被一个或多个感兴趣区域和/或界标、和/或标签中的另一个遮挡。换句话说，用于确定和优化图像中标签布局的准则是基于这些特征在带注释图像中对用户的可见性。换句话说，可以基于标签和/或感兴趣区域和/或界标(即感兴趣区域的代表性部分)的可见性来确定和优化标签的布局。例如，考虑可见性可以包括考虑标签的不透明度、和/或一个或多个标签和/或标签周围的图像背景(即与标签直接相邻的图像部分)之间的对比度、和/或为标签确定的不透明度。
22.换句话说，可以基于和/或使用图像中的标签、和/或界标、和/或与界标相关联的感兴趣区域(例如，解剖结构)中的一个或多个的可见性的度量来施行标签布局的确定。当在图像中显示标签时，即标签与图像一起显示时，标签可以在图像中表示至少一部分语义信息。
23.标签可以叠覆到图像上进行显示。即，语义信息的相应文本描述可以叠覆到图像像素上。标签可以以某个不透明度水平进行显示。
24.标签可以锚定在对应的界标处，以用于注释感兴趣区域。
25.标签的布局可以包括大小、位置、样式、图形或文本内容和/或标签组件的类型和数量、和/或标签在图像中相对于其它标签和/或界标的布置中的一个或多个。
26.例如，与感兴趣区域相关联的界标可以由感兴趣区域的中心位置来定义。与感兴趣区域相关联的界标可以用特定于该感兴趣区域的某个特征来定义。举几个实际示例，标签所锚定的界标将可能是某个解剖结构的形心。例如，界标可以对应于器官的某个子结构，例如，肝脏的顶部区域等。
27.在各种示例中，可以确定初始布局，其可以在多次迭代中被优化。
28.可以使用寻求最大化或最小化目标函数的迭代数值优化。可以通过在某个参数空间内使参数变化来找到全局最小值或最大值，该参数空间可以由一个或多个约束来界定。
29.举一个具体的示例，在随后的迭代之间，可能从前一次迭代的标签位置开始，移位/调整标签的标签位置。这样的位置移位的方向和/或步长可以由优化算法定义，该算法通常考虑目标函数的当前值或目标函数的当前标签位置的影响。例如，可以使用将目标函数的改变考虑为标签布局的函数的梯度下降优化。可以使用遗传优化。可以使用landweber优化。
30.一般而言，使用或基于语义信息和界标和/或感兴趣区域的位置，可以优化标签的布局。因此，优化可以基于图像中标签、感兴趣区域和/或界标的可见性。换句话说，优化过程的每次迭代的输出可以是图像中改进的标签布局，其中布局被优化以改进图像中标签及对应界标和感兴趣区域的可见性。例如，可以使用目标函数和标签布局作为输入来确定标签布局质量的度量。基于改进的目标函数值作为标签、感兴趣区域和界标在与渲染图像一起显示时的可见性的度量，优化迭代的输出可以是改进的标签布局，如通过将目标函数应用于布局和图像所提供的。
31.在可选动作中，可以将渲染图像与标签一起提供或显示给用户，其中标签以改进的方式在图像中向用户显示语义注释信息，这是用户更直观和可易于识别的。
32.标签布局的确定可以包括确定初始布局和基于目标函数迭代优化初始布局，该目
标函数基于标签的可见性和界标的进一步可见性。
33.例如，如果标签被另外的标签遮挡/与之重叠，则标签的可见性可能降低。替代地或附加地，如果将标签放置在具有与标签文本具有类似对比度的对比度值的底层图像的区域中，则标签的可见性可能降低。
34.例如，如果感兴趣区域被放置在感兴趣区域顶部的标签遮挡，则感兴趣区域的可见性可能降低。
35.例如，标签的可见性可以降低为靠近图像边缘的各种位置。
36.目标函数可以基于至少一个标签和对应界标或者多个标签相对于彼此的邻近关系。
37.因此，邻近关系可以指定不同标签之间或者标签和界标之间的相对布置。例如，邻近关系可以使用对标签文本和标签的锚定点之间的较大距离进行处罚的度量。例如，邻近关系可以替代地或附加地使用对相邻标签文本之间的较小距离进行处罚的度量。例如，邻近关系可以替代地或附加地使用对连接锚定点和标签文本的重叠标签线进行处罚的度量。
38.目标函数可以基于与标签相关联的遮挡评级；遮挡评级基于图像中标签的位置。遮挡评级可以表示与一个标签相关联的或者在所有标签上累积的遮挡率，例如，图像中的另一标签、界标和/或感兴趣区域的遮挡。较大的遮挡评级可能导致较大的重叠。仅举几个示例，较小的遮挡评级可能由用于标签文本的较高不透明度值产生。
39.目标函数可以基于体积医学成像数据集中多个界标的深度位置。
40.可以通过体积数据的光学模拟(例如，体积光线投射算法、或光线追踪模拟)来确定图像中某些特征的相机深度，或者换句话说，可以由标识距相机的距离的相应深度值表示的深度位置。图像中多个片段中的每一个的深度值可以存储为图像的深度图。其中，在光学模拟中追踪来自相机位置并通过视口中像素的视线，并且沿着该视线对体积数据的光学不透明度进行积分，即累积。确定沿着视线的点，在这些点处，累积的不透明度达到某些阈值。那些位置的相机深度(由深度值表示)是从点到相机的距离。因此，可以基于在基于体积数据集的光学模拟中累积的不透明度值来定义深度位置。
41.可以基于针对沿着用于至少一个渲染图像的光线追踪渲染的光线的多个位置确定的深度位置来定义叠加图像的不透明度值。可以关于用于渲染的相机位置和相应的感兴趣区域之间的距离来定义深度位置。可以在其中定义体积医学成像数据集的参考坐标系中定义深度位置。
42.至少一个渲染图像可以包括多个渲染图像的电影序列，其中目标函数基于多个渲染图像的电影序列的后续渲染图像之间的布局的相对改变。例如，为了避免标签布局的突然改变，可以借助于目标函数对与标签布局相关联的较大的光流进行处罚。
43.如从上面将领会的，已经公开了用于构建目标函数的各种准则。应当理解，可以考虑某些其它准则，例如，单独地或者与上面公开的准则相组合。所公开的准则也可以以各种组合或单独使用。
44.目标函数可以基于多个准则，其中与多个准则相关联的加权因子在所述迭代优化的后续迭代之间是用户可调整的。
45.由此，在确定标签布局时可以实现闭环用户交互。即，在优化过程中，用户可以基于可以输出给用户的标签的当前布局来调整目标函数。由此，用户可以在优化时根据他/她
的需要调整优化准则，从而获得低时延反馈。
46.不需要在所有场景下都使用迭代优化以用于确定标签布局。其它场景也是可想象的。
47.可以使用人工神经网络算法来实现标签布局的确定，人工神经网络算法基于一个或多个输入来操作，所述一个或多个输入基于语义信息、至少一个渲染图像和多个界标的位置。
48.该布局可以是定义标签在参考坐标系中的位置的三维布局，体积医学成像数据集被配准到该参考坐标系，其中该方法可以包括，基于标签的布局并且针对至少一个渲染图像中的每一个，渲染描绘标签的相应叠加图像。
49.基于为相应叠加图像的片段确定的多个不透明度值，至少一个渲染图像中的每一个可以与相应叠加图像合并。
50.这意味着可以(不仅)为个体标签确定不透明度值，还可以为叠加图像的较大片段确定不透明度值，每个片段潜在地包括多个标签。
51.基于渲染来自数据集的图像，可以确定对应于数据集图像的第一深度图。可以使用光线追踪模拟来渲染所渲染的图像，其中基于成像数据集追踪源自相机视点的多条光线，其中在基于成像数据集影响光线的每个交互/事件处，可以更新光线的不透明度值，使得可以计算累积的不透明度值，包括所有先前的交互/事件。渲染图像中的给定片段可以对应于光线追踪模拟的一条或多条光线。当光线的累积不透明度值在事件处达到第一不透明度阈值时，可以确定对应于事件深度的深度值，并将其存储在第一深度图中。因此，第一深度图的每个第一深度值可以与数据集图像的对应片段相关联，其中第一深度值对应于一深度，在该深度处，用于渲染与片段相关联的图像的光学模拟(例如，体积光线投射算法或光线追踪模拟)中的光线在源自相机视点时达到第一累积不透明度阈值。例如，基于交叉图像(即体积成像数据中的图像平面)的位置或深度，和/或基于一个或多个界标，和/或基于图像或图像的渲染过程，和/或标签的布局，确定注释叠加图像中片段的深度，其中可以基于注释叠加图像的片段的深度和第一深度图来调整注释叠加图像中片段的不透明度。
52.对应于数据集图像的第二深度图可以相应地被确定为第一深度图，包括对应于数据集图像的每个片段的多个深度值，其中第二深度图的每个第二深度值与数据集图像的对应片段相关联，其中第二深度值对应于一深度，在该深度处，用于渲染与片段相关联的图像的体积光线投射算法中的光线的累积不透明度在源自相机视点时达到第二累积不透明度阈值，其中第二不透明度阈值高于第一不透明度阈值。使用所确定的注释叠加图像中片段的深度，并将其与数据集图像中对应片段的第一和第二深度值进行比较，并且基于注释叠加图像的片段的深度、第一深度值和第二深度值来调整注释叠加图像中片段的不透明度。可以以相同的方式生成和使用第一和第二深度图，即关于第一或第二深度图的描述可以应用于第一或第二深度图中的另一个。
53.调整注释叠加图像中每个注释片段的不透明度可以包括，如果注释图像片段的深度值小于对应于注释片段的数据集图像片段的第一深度值，则确定注释图像片段的完全不透明度，和/或如果注释图像片段的深度值在渲染图像片段的第一深度值和第二深度值之间，则通过将注释片段的深度值与对应的第一和第二深度值进行比较来确定缩放的不透明度值，该不透明度值是介于完全不透明度值(通常为1)和完全透明度值(通常为0)之间的
值。例如，可以根据注释图像片段的深度与对应的第一和/或第二深度值的比率来确定缩放的不透明度值。调整可以进一步包括，如果注释片段的深度值大于对应于数据集图像片段的第二深度值，则确定注释片段的完全透明度值。
54.成像数据集可以是医学体积成像数据集，和/或界标可以是解剖界标。
55.注释标签的布局可以包括标签相对于数据集图像的位置、标签相对于数据集图像的深度、标签的大小、标签的颜色、标签中显示的文本/内容、标签与数据集图像中对应界标的距离中的一个或多个。应当理解，可以在布局中定义标签的任何空间特性、和/或标签之间和/或标签和界标之间的任何空间关系。
56.提供了包括至少一个处理器和存储器的计算设备，所述存储器包括可由处理器执行的指令，其中当在处理器中执行指令时，计算设备被配置为施行根据本公开的任何方法或方法组合的动作。
57.提供了一种计算机程序或计算机程序产品以及包括程序代码的非暂时性计算机可读存储介质。程序代码可以由至少一个处理器执行。在执行程序代码时，至少一个处理器施行根据本公开的任何方法或方法的组合。
58.应该理解，在不脱离本公开的范围的情况下，上面提到的特征和下面还要解释的特征不仅可以以所指示的相应组合使用，还可以以其它组合或者单独使用。
附图说明
59.图1图示了根据各种示例的使用照片级真实感(photorealistic)体积路径追踪(电影渲染)的患者数据的3d解剖可视化。
60.图2图示了根据各种示例的应用于3d医学图像的照片级真实感渲染器的注释叠加。
61.图3-5图示了根据各种示例的来自平移动画的帧，其中注释标签随着对应的3d位置离开渲染视口的范围而逐渐消失。
62.图6-8图示了根据各种示例的基于界标标签到可见解剖结构的距离，界标标签淡入和淡出的效果。
63.图9示意性地图示了根据各种示例的用于优化渲染图像中标签的布局的方法的动作。
64.图10示意性地图示了根据各种示例的被配置用于施行根据本公开的方法的计算设备。
具体实施方式
65.本公开的一些示例一般提供多个电路或其它电气设备。对电路和其它电气设备以及每个所提供的功能性的所有引用并不意图限于仅涵盖本文中图示和描述的内容。虽然可以将特定标签分配给所公开的各种电路或其它电气设备，但是这样的标签并不意图限制电路和其它电气设备的操作范围。这样的电路和其它电气设备可以基于期望的特定类型的电气实现方式以任何方式彼此组合和/或分离。应当认识到，本文中公开的任何电路或其它电气设备可以包括任何数量的微控制器、通用处理器单元(cpu)、图形处理器单元(gpu)、集成电路、存储器设备(例如，flash、随机存取存储器(ram)、只读存储器(rom)、电可编程只读存
储器(eprom)、电可擦可编程只读存储器(eeprom)或其其它合适的变体)和彼此协作以施行本文中公开的(一个或多个)操作的软件。此外，电气设备中的任何一个或多个可以被配置为执行程序代码，该程序代码体现在被编程为施行所公开的任何数量的功能的非暂时性计算机可读介质中。
66.在下文中，将参考附图详细描述本公开的示例。应当理解，以下对示例的描述不应被理解为限制性意义。本公开的范围不意图受下文中所描述的示例或附图限制，这些示例或附图仅被理解为说明性的。
67.附图应视为示意性表示，并且附图中所图示的元素不一定按比例示出。而是，各种元件被表示成使得它们的功能和一般目的对于本领域技术人员来说变得显而易见。附图中示出或本文中描述的功能块、设备、组件或其它物理或功能单元之间的任何连接或耦合也可以通过间接连接或耦合来实现。组件之间的耦合也可以通过无线连接来建立。功能块可以以硬件、固件、软件或其组合来实现。
68.在下文中，将描述涉及与图像中标识的界标相关联的标签的优化自动放置的技术。
69.注释标签可以用于增强具有文本语义信息的图像，即在图像中向用户显示语义信息以及其它图像特征，由此向观看者解释图像中可见的特征。例如，可以用关于解剖结构、器官、病理等的信息来增强医学图像，以由此促进放射科医生对医学图像的审查。可以根据注释布局将注释标签叠覆到图像上。有时，要对一系列图像进行注释；图像序列可以形成电影。在这样的场景下，注释布局的时间依赖性也被确定。
70.在没有人工干预的情况下，在图像中创建全局最优和时间相干的注释布局是一个常见问题。所公开的技术针对用于教育和临床工作流程两者的来自基于ai的自动分割算法的身体界标和器官轮廓的文本标签的显示。该布局使用基于启发式规则和针对典型数据大小以实时速度运行的模拟退火的迭代优化，并且计及3d体积渲染中解剖结构的可见性。
71.具体地，基于解剖结构的可见性来施行注释标签的自动布局优化，使用时间相干性启发法来支持自动动画和交互式应用，以及由双深度图像提供注释叠加上的不透明几何形状的改进近似深度嵌入。
72.这些方法的各种示例可适用于涉及界标和分割结构的渲染的应用，诸如用于教育工作流程的电影解剖学和用于临床工作流程的ai-rad companion中的digital oncology companion(d.o.c.)扩展。这些技术也适用于涉及3d渲染和患者解剖图像的虚拟现实和增强现实应用。该技术的子集进一步广泛适用于非医学和非体积渲染应用，例如，cad/cam。
73.自动标签放置是一个np-hard问题，并且在一般情况下，不能在合理的时间内计算出最优解。虽然存在计算具有合期望属性的标注布局的若干算法，但是本文中具体关注快速局部优化算法，其可以在单一案例医学可视化中针对典型问题大小实时施行。
74.传统上，用于自动标注制图数据的遗传算法是已知的，其中布局优化依赖于由达尔文进化中的自然选择概念启发的启发式算法。在简单的示例中，要最大化的适应度函数被定义为追踪非重叠标签的数量，这驱动了对可能的解决方案池的选择、交叉和变异过程。模拟退火是局部优化的变体，其中导致目标成本函数结果更差的优化步骤可以保持与成本函数的改变成比例的概率。该技术通过以避免局部最大值为目标在迭代优化过程开始时强制较大的随机改变来逼近全局最优解。在传统的2d和沉浸式3d视觉环境二者中，根据本公
开的技术贡献了与基于3d医学体积渲染中的可见解剖特征的布局优化相关的规则和启发法。
75.基于光线投射的传统体积可视化方法，其也可以被称为光线追踪模拟，仍在许多当前先进的可视化医学产品中使用，仅模拟沿着主视线通过体积数据的辐射能量的发射和吸收。利用从患者数据导出的吸收系数，沿着到观察者位置的光线，根据比尔-朗伯定律吸收每个点处发射的辐射能量。基于局部体积梯度(局部照明)，渲染器通常仅使用沿着光线的每个点处的标准局部着色模型(例如，blinn-phong模型)来计算着色。虽然很快，但是这些方法不模拟与照相写实主义(全局照明)相关联的复杂光散射和消光。
76.电影渲染是另一种光线追踪模拟，它实现了基于物理的蒙特卡罗光传输，其使用随机过程模拟通过体积数据的光路径，每条路径具有多个散射事件。随着越来越多的路径被模拟，解收敛于对来自所有方向的入射光在每个点处的辐照度的准确估计。基于从解剖数据导出的属性，渲染器采用分别由相函数和brdf建模的体积散射和类表面散射的混合，如例如在kroes，thomas，frits h.post和charl p.botha.“exposure render：an interactive photo-realistic volume rendering framework.”plos one 7.7(2012)：e38586中描述的。医学数据通过高动态范围光探头使用基于图像的照明进行照射，其可以通过360度相机进行照相获取，以类似于真实世界场所的照明条件。当与使用通常应用于直接体积渲染方法的合成光源创建的图像相比时，这样的照明导致数据更自然的外观。当还与光子散射和吸收的准确模拟相组合时，渲染器产生包含自然界中观察到的许多着色效果(诸如柔和阴影、环境遮挡、体积散射和次表面光子交互)的照片级真实感图像。
77.图1图示了根据各种示例的使用照片级真实感体积路径追踪(电影渲染)的患者数据的3d解剖可视化。
78.如在图1中可以看到的，利用照片级真实感体积路径追踪(电影渲染)的患者数据的3d解剖可视化的图示被示出为无标签的3d图像。这里，选择平面来显示基于医学体积数据集的横截面图像，其中具有低不透明度的区域被示出为透明的，即胸部被显示为部分中空。其中，作为由体素分类定义的体素光学不透明度的结果，肺被显示为空白空间。
79.图2图示了根据各种示例的显示多个标签1的注释叠加，其应用于基于蒙特卡罗体积路径追踪的3d医学图像3的照片级真实感渲染器。
80.如在图2中可以看到的，分割的器官渲染图像3将关联于多个确定的感兴趣区域4(即器官)以及相关联的界标2的掩膜体素直接可视化，并展示了叠加图像相对于纯体积渲染图像3的深度嵌入，该叠加图像包括标签1，即界标字形、连接线和文本框。根据本公开，基于自动标签生成、布局优化和叠加渲染来显示分割器官的标签2。
81.这里，根据如上面所描述的准则，已经考虑了器官和对应界标以及线和文本框的可见性。具体地，可以是目标函数的一部分并且可以定义不同标签和对应器官和/或界标(即图像中器官的特定代表性部分)之间的空间关系(例如，两个元素之间的距离或两个元素的重叠)的邻近关系已经被优化，其中标签被布置成使得它们彼此不重叠并且不与器官重叠，其中标签和感兴趣区域之间的距离是规则的，在距平均距离的预确定阈值内。在该示例中，遮挡评级已经被最小化，该遮挡评级可以是目标函数的一部分，并且可以描述标签和/或感兴趣区域和/或界标的重叠或遮挡。
82.根据本公开的技术通过基于第一和第二累积不透明度阈值生成第一深度图和第
二深度图，并在均质参与介质的假设下模拟体积消光，来改进高度不透明表面的深度嵌入的准确性。虽然逼近，但是该方法允许注释叠加的渲染与体积渲染算法去耦和。即使在路径追踪系统中，第二深度图的生成也可以由独立于第一深度图的单独的体积光线投射来施行，因为对于体积数据的大的光学透明区域，蒙特卡罗求解器可以非常缓慢地收敛于沿着主视线的正确距离范围。本文中的技术广泛适用于一系列渲染算法，包括从体积数据仅产生单个深度层的系统，或采用替代方法用于将表面嵌入在体积数据中的系统(例如，基于深度剥离)。
83.在下文中，将关于医学体积渲染中公开的示例来描述用于优化标签布局以便显示与渲染图像中多个界标相关联的语义注释的步骤，然而，应当理解，所呈现的技术一般可以根据需要进行适配而应用于任何图像渲染过程。
84.在一动作中，获得图像。在各种示例中，从体积数据集接收或渲染3d体积医学图像或来自4d医学图像的帧。
85.在另一动作中，基于图像，可以施行图像中的自动注释和器官轮廓绘制。在各种示例中，可以在图像中检测界标，例如，肾脏顶部或底部或中心、肋骨尖端t12和类似的界标。
86.可以从轮廓绘制数据生成器官界标，例如，器官体素的质心和/或器官网格轮廓。替代地，可以手动施行注释和器官轮廓绘制。
87.在各种示例中，可以独立于注释标签和/或独立于注释标签的布局来获得图像。换句话说，可以获得和/或确定两个单独的图像，其中一个图像是基于成像数据集的渲染图像，而另一个图像可以是叠加图像，其包含根据标签布局的注释标签，并且要被叠加在渲染图像上以便在图像中显示标签。因此，渲染图像可以包括在相关联位置处的多个渲染片段，并且叠加图像可以包括在相关联位置处的多个叠加片段，其中渲染片段和叠加片段的像素位置是相同的，使得它们可以通过将叠加片段叠加到渲染片段上来组合，可选地例如基于渲染片段的属性(例如，颜色、不透明度、深度)来调整叠加片段的不透明度值。该结果可以被称为结果图像，包括渲染图像和叠加图像的特征。
88.在另一动作中，可以为要在图像中显示的标签选择注释布局，标签可以表示和显示与界标相关联的语义注释信息。注释标签可以由3d界标位置处的3d字形、2d或3d文本框以及连接元素组成。在各种示例中，标签布局可以在主3d空间中，例如，对于ar/vr应用，即标签可以与多个不同的深度值相关联。标签可以在具有3d界标和连接元素可视化的焦平面上的2d布局中，即标签可以与来自相机视点的共同深度值相关联。在各种实施例中，一个标签、多个标签或所有标签都可以位于一个平面中，即从相机视点来看具有共同的深度。也可能的是一组或若干组标签可以位于不同的公共平面中。替代地，会聚平面可以用于立体显示应用。
89.在一动作中，在体积渲染期间，可以确定光线投射通道中每条视线的分类后体积数据统计。在各种示例中，可以使用预定义的第一不透明度阈值(例如，0.35的累积不透明度阈值)来生成代表性深度d1。如果未达到阈值，则可以代替地使用包含非零光学不透明度的深度范围的中心。
90.可以使用第二预定义不透明度阈值(例如，0.999的累积不透明度)来生成完全不透明度饱和深度d2。如果光线在累积不透明度达到阈值之前离开了体积数据边界，则在假设均质参与介质的情况下，可以基于出口点处的累积不透明度和到第一不透明样本的距离
来推断深度值。基于蒙特卡罗体积路径追踪的照片级真实感渲染可能需要单独的光线投射通道来收集光线数据。
91.在另一动作中，可以施行标签的初始放置，其中为渲染图像中的标签确定初始位置。
92.在各种示例中，可以基于3d界标位置为每个注释确定遮挡因子。遮挡因子例如可以是遮挡评级，表示感兴趣的标签/区域有多少被另一标签遮挡。初始放置可以基于规则，例如，界标可以始终可见。替代地，遮挡因子可以由3d界标d1和d2的深度(即相机空间深度)来确定。在各种示例中，注释可以在d1前面5mm和d2后面5mm淡入。结果，当裁剪平面移动通过数据时，或者当动态界标远离可见结构时，标签和界标淡入和淡出。遮挡因子可以由到视口的距离来确定，例如，界标在屏幕边缘附近逐渐消失；替代地，界标在离开视口框的短距离内逐渐消失，使得连接线和标签在界标移出屏幕时(例如，在相机平移期间)保持部分可见。
93.可以在相机的视口中计算3d界标的位置。
94.可以选择3d空间中用于注释标签渲染的初始平面。可以选择视图对齐的注释平面，选择用以使到界标的距离最小化的深度。替代地，可以对3d界标位置施行主成分分析(pca)，其中可以使用由主轴和次轴定义的平面作为布局平面。因此，初始布局可以包括要在其中显示标签的平面的深度，在这种情况下，初始布局定义了平面和标签的共同深度值。
95.可以基于不同的约束来计算初始标签布置，包括标签的位置。在各种示例中，标签可以划分成组，例如，左/右，或者划分成屏幕象限。替代地，可以不使用约束，并且文本框的初始位置可以是视口空间中的界标位置。可以使用快速贪婪算法或简单的启发式规则，例如，将每个连续的文本框放置在第一可用的非重叠空间中。
96.在另一动作中，可以施行2d或3d布局的标签放置的迭代优化。优化可以针对不同的最终布局，例如，集群或圆形布局。
97.根据本公开，基于图像中标签和界标的可见性，可以使用多个步骤来施行优化标签布局。
98.换句话说，优化算法的输入可以是标签、标签的布局以及包括界标的图像。可以使用一个或多个启发式规则来修改标签的布局。当渲染图像和叠加图像一起显示时，启发式规则可以基于结果图像中的标签和/或界标的可见性。可以使用目标函数来评估经修改的布局，该目标函数被应用于图像中所提供的布局中的标签，其中该目标函数基于标签和/或界标的可见性来提供目标函数输出值，其中该目标函数基于多个准则来评估布局。目标函数和/或准则可以基于结果图像中感兴趣的图像和/或界标和/或图像结构的可见性。可以将经修改的布局作为优化算法的输出来提供。
99.可以基于多个准则使用目标函数来评估和优化布局，这些准则可以基于或考虑标签和/或界标的可见性。应当理解，所呈现的准则仅仅是示例，并且可以在目标函数中使用和组合例如基于标签和/或界标的可见性的许多其它准则。
100.在各种示例中，在优化期间，对于每个标签，可以应用以下启发式规则(即用于重新布置标签的指令)中的一个或多个来改变布局。应当理解，所呈现的启发式规则仅仅是示例，并且可以使用例如基于标签和/或界标的可见性的许多其它规则。
[0101][0102][0103]
当应用启发式规则时，每次迭代的动作选择可以由用户和应用为每个准则指定的权重来指导。
[0104]
目标函数可以定义布局质量的客观度量，并且可以应用梯度下降或其它数值优化方法来优化布局。质量度量可以基于用户评级。可以使用机器学习方法。
[0105]
可以通过遗传算法施行优化过程。模拟退火可以用于避免优化收敛到全局次优但
局部最优解。
[0106]
一些实施例可以移动2d标签布局的焦平面，以最小化连接线的重叠。
[0107]
从数据集，可以渲染例如对应于不同平面的多个图像，这些图像可以在动画中显示，或者用户在查看数据集时可以交互地改变到不同的平面/图像。可以对标签移动应用时间约束，以确保在这样的动画期间和/或在具有头部追踪的ar/vr应用中的交互式渲染期间的时间相干性。
[0108]
该系统的实施例可以代替地针对每个动画关键帧施行独立的优化，并且显式地内插布局参数。
[0109]
使用布局质量度量，优化阶段可以计算在动画期间最大化最小布局质量的中间过渡布局。
[0110]
在另一动作中，可以施行注释渲染通道(annotation rendering pass)。
[0111]
在各种示例中，可以对单独的叠加图像施行注释渲染，在一些示例中，使用深度图像d1和d2，该叠加图像可以独立于体积渲染过程进行显示和深度合并。
[0112]
当使用d1和d2时，对于叠加渲染中的每个片段，可以计算[d1，d2]范围内的归一化距离。然后，在假设来自均质参与介质的消光的情况下，可以基于归一化距离来缩放片段不透明度，其中不透明度缩放在距离d1处为1.0，而在距离d2处为0.0。
[0113]
在以下示例中，将解释所公开技术的实现方式。在预处理动作中施行身体界标检测和器官轮廓绘制。另外，为检测到的器官生成平滑的表面网格，以及每个器官的标签，锚定在最靠近重心的器官体素处。在这些示例中，从体积数据集渲染图像，其中语义信息包括人体器官的特定部分的名称。
[0114]
图3-5图示了根据各种示例的来自平移动画的帧，其中标签1(即界标字形、其文本框和连接线)显示在涉及多个感兴趣区域4和对应界标2的对应图像平面中，所述标签1随着对应的3d位置离开渲染视口的范围而逐渐消失。在图3-5中，示出了来自平移动画(头部到脚)的多个图像，即帧，示出了基于视口包含的器官标签1的可见性处理。当相机移动时，相机视口移动(视口是3d场景中显示的虚拟表示)。当界标进入和离开可见视口时，界标不透明度改变，并且不透明度为零的界标不包括在布局优化中。当新的界标2进入视图或器官网格并且它们的标签1在动画期间淡入时，这导致不太混乱的可视化。例如，感兴趣区域可以与涉及感兴趣区域的不同部分(例如，器官的顶端/中心/下端)的多个界标相关联。
[0115]
因此，可以提供多个渲染图像的电影序列，其中目标函数基于多个渲染图像的电影序列的后续渲染图像之间的布局的相对改变。这里，可以基于用户输入来动态调整标签的布局，其中目标函数基于多个准则，并且其中与多个准则相关联的加权因子在所述迭代优化的后续迭代之间是用户可调整的。当确定电影序列中每个图像的标签布局时，可以确定时间相干性准则并将其包括在目标函数中，该准则描述例如布局位置的时间相干性，使得在预确定时间段和/或帧数内高于预确定阈值的布局的改变在目标函数中可以受到处罚。
[0116]
图6-8进一步图示了根据各种示例的基于界标2到可见解剖结构4和它们的界标2的距离，界标2淡入和淡出的效果。在图6-8中，从剪辑动画(后部到前部)显示图像3，即帧，其示出了基于到可见解剖结构的距离的界标标签1的可见性处理。该视频包含与前部患者取向对齐并从身体背部朝向前方移动的单个剪辑平面。界标2消退距离为10mm。相同的规则
集应用于图2-5的布局优化，但是其它实现方式可以引入启发式规则来指示例如看不见的界标2，或者仅应用启发式规则的子集。
[0117]
在所描述的示例中，该布局是定义标签在参考坐标系中的位置的三维布局，体积医学成像数据集被配准到该参考坐标系，其中该方法进一步包括，基于标签的布局并且针对至少一个渲染图像中的每一个，渲染描绘标签的相应叠加图像，其中基于为相应叠加图像的片段确定的多个不透明度值，将渲染图像与相应叠加图像合并。
[0118]
可以使用人工神经网络算法来实现所描述示例中的标签布局的确定，人工神经网络算法基于一个或多个输入来操作，所述一个或多个输入基于语义信息、至少一个渲染图像和多个感兴趣区域的位置。
[0119]
一般地，考虑标签和感兴趣区域的可见性可以包括确定标签或标签的一部分与对应界标或感兴趣区域的重叠和/或接近度。考虑可见性可以包括将目标函数应用于布局，其中目标函数确定标签、标签的任何部分、感兴趣区域和界标中的一个或多个的可见性的度量，其中度量可以包括标签和/或感兴趣区域或界标中的每一个的遮挡评级(例如，重叠百分比)，或标签和/或感兴趣区域或界标中的每一个之间的邻近关系中的一个或多个。
[0120]
图9示意性地图示了根据各种示例的用于优化渲染图像中标签的布局的方法的动作。
[0121]
该方法开始于动作s10。在动作s20中，获得至少一个渲染图像。在动作s30中，确定至少一个渲染图像中多个感兴趣区域的位置。在动作s40中，获得与多个感兴趣区域相关联的语义信息。在动作s50中，基于语义信息和多个感兴趣区域的位置，并且考虑标签的可见性和感兴趣区域的进一步可见性，确定用于注释至少一个渲染图像中多个感兴趣区域的标签的布局。该方法在动作s60中结束。
[0122]
图10示意性地图示了根据各种示例的被配置用于施行根据本公开的任何方法的计算设备。计算设备100包括至少一个处理器110和存储器120，存储器120包括可由处理器110执行的指令，其中当在处理器110中执行指令时，计算设备100被配置为根据根据本公开的任何方法或方法的组合来施行动作。
[0123]
描述了一种用于优化标签布局以便在图像中显示注释信息的改进方法，其中独立于标签来渲染图像，并且在合并的结果图像中，使用包含标签的叠加图像将标签与图像一起显示。可以调整叠加图像的不透明度。基于描述可以如何修改布局的多个启发式规则和基于结果图像中标签和界标的可见性评估布局的度量的目标函数，施行标签布局的优化过程，特别包括标签在叠加/结果图像中的位置。在各种示例中，可以通过使用用于渲染图像的第一和第二深度图来调整叠加图像的不透明度，这可以在渲染期间或在单独的光线追踪模拟中基于用于渲染图像的光线追踪模拟(例如，体积光线投射算法)来确定。其中，可以通过记录沿着视线的其中累积光学不透明度达到某些阈值的位置来计算深度图像，作为体积光线投射算法的一部分。
[0124]
尽管已经关于某些优选实施例示出和描述了本发明，但是本领域技术人员在阅读和理解说明书后将会想到等同物和修改。本发明包括所有这样的等同物和修改，并且仅受所附权利要求的范围限制。
[0125]
为了图示，上面已经结合体积医学成像数据集的渲染图像公开了各种场景。类似的技术可以容易地应用于其它种类和类型的渲染图像，例如，体积监控图像的渲染图像等。

技术特征：
1.一种用于优化标签的布局以便用语义信息注释体积医学成像数据集的至少一个渲染图像中的多个感兴趣区域的方法，所述方法包括：获得所述至少一个渲染图像；确定所述至少一个渲染图像中的所述多个感兴趣区域的位置；获得与所述多个感兴趣区域相关联的语义信息；和基于语义信息和所述多个感兴趣区域的位置，并且考虑标签的可见性和所述多个感兴趣区域的进一步可见性，确定用于注释所述至少一个渲染图像中的所述多个感兴趣区域的标签的布局。2.根据权利要求1所述的方法，进一步包括确定对应于所述至少一个渲染图像中的感兴趣区域的多个界标的位置，其中所述界标表示对应的感兴趣区域的位置，并且进一步考虑界标的可见性以用于确定标签的布局。3.根据权利要求1所述的方法，其中所述确定标签的布局包括当标签显示在图像中时，确定初始布局以及基于目标函数迭代优化初始布局，所述目标函数基于标签的可见性和感兴趣区域的进一步可见性。4.根据权利要求3所述的方法，其中所述目标函数进一步基于标签中的至少一个和对应界标相对于彼此的邻近关系。5.根据权利要求4所述的方法，其中所述目标函数进一步基于与标签相关联的遮挡评级，所述遮挡评级基于标签在渲染图像中的位置。6.根据权利要求5所述的方法，其中所述遮挡评级基于标签中的一个与标签中的另一个、感兴趣区域、以及感兴趣区域的界标之间的重叠。7.根据权利要求3所述的方法，其中所述至少一个渲染图像包括包含所述至少一个渲染图像的多个渲染图像的电影序列，其中所述目标函数基于多个渲染图像的电影序列的后续渲染图像之间的布局的相对改变。8.根据权利要求3所述的方法，其中所述目标函数基于多个准则，其中与所述多个准则相关联的加权因子在所述迭代优化的后续迭代之间是用户可调整的。9.根据权利要求1所述的方法，其中所述确定标签的布局使用人工神经网络算法来实现，所述人工神经网络算法基于一个或多个输入来操作，所述一个或多个输入基于语义信息、所述至少一个渲染图像以及所述多个感兴趣区域的位置。10.根据权利要求1所述的方法，其中所述布局是定义标签在参考坐标系中的位置的三维布局，体积医学成像数据集被配准到所述参考坐标系，其中所述方法进一步包括：基于标签的布局并且针对所述至少一个渲染图像中的每一个，渲染描绘标签的相应叠加图像。11.根据权利要求10所述的方法，进一步包括：基于为相应叠加图像的片段确定的多个深度位置，将所述至少一个渲染图像中的每一个与相应叠加图像合并。12.根据权利要求11所述的方法，其中所述深度位置是基于针对沿着光线的多个位置而确定的不透明度值来定义的，所述光线用于基于体积医学成像数据集对所述至少一个渲
染图像进行光线追踪渲染。13.根据权利要求12所述的方法，其中，基于渲染来自数据集的图像：生成包括多个第一深度值的所述至少一个渲染图像的第一深度图，其中第一深度图的每个第一深度值与所述至少一个渲染图像的对应片段相关联，其中所述第一深度值对应于深度位置，在所述深度位置处，用于渲染与所述片段相关联的所述至少一个渲染图像的体积光线投射算法中的光线的累积不透明度值在源自相机视点时达到第一不透明度阈值，其中基于布局来确定叠加图像中的片段的深度值，所述深度值对应于叠加中的渲染图像的片段，以及其中基于叠加图像中的片段的深度值和第一深度图来调整叠加图像的片段的不透明度值。14.根据权利要求13所述的方法，其中生成所述至少一个渲染图像的第二深度图，其中第二深度图的每个第二深度值与所述至少一个渲染图像的对应片段相关联，其中所述第二深度值对应于深度位置，在所述深度位置处，与所述至少一个渲染图像中的片段相关联的光线追踪模拟中的光线的累积不透明度值达到第二不透明度阈值，其中所述第二不透明度阈值高于第一不透明度阈值，以及其中基于叠加图像的片段的深度、第一深度图和第二深度图来调整叠加图像中的片段的不透明度值。15.根据权利要求14所述的方法，其中调整叠加图像中的片段的不透明度值包括：当片段的深度值小于所述至少一个渲染图像中对应片段的第一深度值时，确定叠加图像中的片段的完全不透明度值，当叠加图像的片段的深度值在所述至少一个渲染图像中对应片段的第一深度值和第二深度值之间时，基于叠加图像中的片段的深度值与所述至少一个渲染图像中对应片段的对应第一和第二深度值的比较，确定介于完全不透明度值和完全透明度值之间的缩放不透明度值；或者当叠加图像的片段的深度值大于所述至少一个渲染图像中对应片段的第二深度值时，确定叠加图像中的片段的完全透明度值。16.根据权利要求1所述的方法，其中所述感兴趣区域是在所述至少一个渲染图像中显示的解剖结构。17.根据权利要求1所述的方法，其中所述标签包括2d或3d字形、2d或3d文本框、表面和连接线中的一个或多个，所述连接线锚定在对应界标处。18.根据权利要求1所述的方法，其中所述标签的布局包括标签在所述至少一个渲染图像中的位置、标签的深度位置、标签的大小、标签的颜色和标签中显示的文本或内容中的一个或多个。19.一种系统，包括：计算机，包括至少一个处理器和存储器，所述存储器包括可由处理器执行的指令，其中当在处理器中执行所述指令时，所述计算设备被配置为：获得渲染图像；确定渲染图像中感兴趣区域的位置；获得与感兴趣区域相关联的语义信息；和
基于语义信息和感兴趣区域的位置并且考虑标签的可见性和感兴趣区域的进一步可见性，确定用于注释渲染图像中感兴趣区域的标签的布局。

技术总结
优化了用于注释渲染图像的标签的布局。获得渲染图像，并且确定渲染图像中多个感兴趣区域的位置。获得与所述多个感兴趣区域相关联的语义信息。基于语义信息和所述多个感兴趣区域的位置并且考虑标签的可见性和渲染图像中感兴趣区域的进一步可见性，确定用于注释渲染图像中多个感兴趣区域的标签的布局。像中多个感兴趣区域的标签的布局。像中多个感兴趣区域的标签的布局。


技术研发人员：K
受保护的技术使用者：西门子医疗有限公司
技术研发日：2023.02.09
技术公布日：2023/8/14