目标可视化的制作方法

1.本发明涉及目标可视化设备、用于目标可视化的系统和用于对感兴趣目标进行可视化的方法，以及计算机程序和计算机可读介质。


背景技术：

2.对于诸如介入之类的医学流程，除了用户自己观察之外，还使用不同的成像技术向用户提供与目标有关的信息。例如，使用x射线成像对对象内部的感兴趣区进行可视化，如对血管结构进行可视化。也能够使用基于x射线采集的图像数据来生成3d模型以用于进一步的可视化(例如用于空间呈现)。例如，us 2018/0310907 a1涉及提供对目标的可视化。根据其摘要，描述了一种提供模拟2d荧光透视图像的计算机系统。在操作期间，该计算机系统可以基于与个人身体相关联的预定3d图像中的数据来生成模拟2d荧光透视图像。例如，生成模拟2d荧光透视图像可以涉及正向投影。此外，正向投影可以涉及计算与沿着穿过预定3d图像中的像素的x射线的密度相对应的累积吸收。然后，计算机系统可以向模拟2d荧光透视图像提供与个人身体中的预定义的切面相关联的3d背景。然而，已经表明设置是相当复杂的。


技术实现要素：

3.因此，可能需要对对象的内部结构进行方便的可视化。
4.本发明的目的通过独立权利要求的主题来解决；在从属权利要求中包含了进一步的实施例。应当注意，本发明的以下描述的方面也适用于目标可视化设备、用于目标可视化的系统以及用于对感兴趣目标进行可视化的方法。
5.根据本发明，提供了一种目标可视化设备，所述目标可视化设备包括图像供应部、数据处理器和输出部。图像供应部被配置为提供目标的2d x射线图像。图像供应部还被配置为提供目标的3d图像数据。数据处理器被配置为将3d图像数据配准到2d x射线图像。数据处理器还被配置为检测用于生成2d x射线图像的观察方向。数据处理器还被配置为基于用于生成2d x射线图像的观察方向来确定用于投影3d图像数据以生成3d图像数据的匹配视图的观察方向。数据处理器还被配置为针对所确定的观察方向生成3d图像数据的立体图像对并且将2d x射线图像与立体图像对中的图像中的一幅图像进行组合，从而得到增强的第一立体图像，而立体图像对中的另一幅图像保持不变，作为生成的第二立体图像。输出部被配置为提供增强的第一立体图像和生成的第二立体图像作为增强的立体图像对，从而提供目标的增强的3d视图。
6.一个优点是向用户提供了空间(即，三维)信息以及x射线图像的内容，同时仅修改了立体图像中的一幅图像。
7.术语“配准”是指将目标的3d图像数据链接到2d x射线图像，使得目标的2d x射线图像和3d图像数据在观察视角方面彼此对齐。例如，2d x射线图像是以特定的成像视角(即，特定的图像采集几何形状，从而得到具有一定图像平面(即，收集投影的并因此衰减的
x射线辐射射束的探测器的平面)的特定2d x射线图像)和所生成的x射线束的x射线辐射方向拍摄的。作为示例，3d图像数据关于2d x射线图像被布置为使得在利用相同的几何形状采集x射线图像时使用3d图像数据的图像生成操作会得到相似的x射线图像。
8.例如，目标的3d数据是指目标的3d图像数据。术语“配准”因此可以指将目标的3d图像数据配准到2d x射线图像，使得目标的2d x射线图像和3d图像数据在同一空间参考内对齐，即，它们被配准到同一坐标系中。
9.术语“检测2d x射线图像的观察方向”是指检测x射线成像系统的成像方向，该x射线成像系统具有生成x射线辐射的x射线源和探测所生成的x射线辐射的x射线探测器，所生成的x射线辐射在穿过目标时被目标衰减。
10.例如，检测用于生成2d x射线图像的x射线成像系统的观察方向。
11.术语“基于2d x射线图像的观察方向来确定用于3d数据的匹配视图的观察方向”是指确定要应用于3d数据(例如，目标的3d图像数据)以在图像平面中生成以下投影的投影方向，该投影将示出与2d x射线图像相似的图像结果。
12.例如，确定针对x射线成像系统的模拟投影的以下观察方向，该观察方向将得到与2d x射线图像匹配的图像。例如，“匹配视图”是指“匹配图像”或相当的图像结果。
13.作为示例，提供了一种目标可视化设备，所述可视化设备包括图像供应部、数据处理器和输出部。图像供应部被配置为提供目标的2d x射线图像并提供目标的3d图像数据。数据处理器被配置为：将3d数据配准到2d x射线图像；检测2d x射线图像的观察方向；基于2d x射线图像的观察方向来确定用于3d数据的匹配视图的观察方向；针对所确定的观察方向生成3d数据的立体图像对；并且将2d x射线图像与立体图像对中的图像中的一幅图像进行组合，从而得到增强的第一立体图像，而立体图像对中的另一幅图像保持不变，作为生成的第二立体图像。输出部被配置为提供增强的第一立体图像和生成的第二立体图像作为增强的立体图像对，从而提供目标的增强的3d视图。
14.在示例中，提供增强现实(ar)或混合现实(mr)技术来显示组合图像集。
15.这提供了这样的效果：在该用户的任何工作位置，信息都被提供到用户的视场。通过提供立体3d数据集，可以在该用户的任何工作位置将立体信息添加到用户的视场。作为示例，提供了诸如谷歌眼镜或微软hololens之类的头戴式显示器(hmd)。
16.对于介入用途，该技术使得应用程序能够在空间中绘制3d解剖模型和(实况)x射线流。这样的功能有助于更好地理解在例如血管病例中导航的临床解剖结构。例如，这支持要求外科医生能够对在血管中前进的设备进行可视化或跟踪的情况。
17.除了生成的3d图像对之外，提供常规的x射线图像也实现了在二维中的设备可视化，而且也给出了设备、脉管系统、器官和其他组织在3d中如何相互关联的感觉。
18.一个优点是：即使显示为叠加在立体图像上的x射线仅从单个视角为我们提供了2d图像，也可以提供要求两个视角(对于观察者的每只眼睛有一个视角)的场景的立体绘制。
19.在示例中，提供了用于场景的立体绘制的可视化引擎。
20.在示例中，基于从相应的每只眼睛到体积的视线来创建将分别为观察者的左眼和右眼显示的3d体积的两幅偏移视图。仅在这些视图中的一幅视图上叠加x射线图像。
21.作为效果，因为是单幅2d x射线图像，所有无法通过双目视差暗示深度。作为另外
的效果，因为与3d模型进行了混合(3d模型是针对两幅透视视图来呈现的，并且具有正确的双目视差)，用户将两幅偏移视图(即，一幅具有2d x射线叠加，而另一幅没有叠加)进行了组合，而没有视觉上的不协调。在示例中，提供小尺寸的单视图目标以方便用户感知。
22.注意，x射线图像用于确定针对立体图像的投影的观察方向。x射线图像是计算空间设置的起点，因此决定了进一步的图像生成步骤。
23.根据示例，所述增强的第一立体图像是双图像源图像，并且所述生成的第二立体图像是单图像源图像。
24.术语“双图像源”是指提供两种不同类型的图像的两个不同的源，这两种不同类型的图像然后被组合为增强的第一立体图像。术语“单图像源”是指提供单个类型的图像的单个源，所述单个类型的图像被提供为第二立体图像。
25.在示例中，增强的第一立体图像是包括两个不同的图像源的图像数据的图像，并且生成的第二立体图像包括单个图像源的图像数据。
26.在示例中，增强的第一立体图像是包括以下项目的图像：来自第一图像源的图像和来自与第一图像源不同的第二图像源的图像。生成的第二立体图像仅包括来自第一图像源的图像。
27.在示例中，增强的第一立体图像是通过对来自第一图像源的图像和来自与第一图像源不同的第二图像源的图像进行组合而构建的图像。该组合被提供为两幅不同图像的叠加物。生成的第二立体图像仅包括来自第一图像源的图像。
28.根据示例，所述数据处理器被配置为使得将所述2d x射线图像与所述立体图像对中的图像中的一幅图像进行组合，包括将所述2d x射线图像叠加在所述立体图像对中的图像中的所述一幅图像上。
29.在另一示例中，数据处理器被配置为使得2d x射线图像与立体图像对中的图像中的一幅图像的组合包括将立体图像对中的图像中的一幅图像叠加在2d x射线图像上。
30.根据示例，所述数据处理器被配置为提供所述组合，使得在所述增强的第一立体图像中，i)由所述2d x射线图像覆盖的图像部分小于由所生成的立体图像覆盖的部分。作为额外或替代选项，所述数据处理器被配置为提供所述组合，使得在所述增强的第一立体图像中，ii)所述2d x射线图像被提供的透明度大于所生成的立体图像的透明度。
31.根据本发明，还提供了一种用于目标可视化的系统。所述系统包括第一图像显示器、第二图像显示器和根据前述权利要求中的一项所述的目标可视化设备。所述第一图像显示器和所述第二图像显示器中的一项被配置为向用户的两只眼睛中的一只眼睛呈现所述增强的第一立体图像。所述第一图像显示器和所述第二图像显示器中的另一项被配置为向所述用户的所述两只眼睛中的另一只眼睛呈现所述生成的第二立体图像。
32.在示例中，所述系统包括第一图像显示器、第二图像显示器和根据前述权利要求中的一项所述的目标可视化设备。第一图像显示器和第二图像显示器中的一项被配置为向用户呈现增强的第一立体图像。第一图像显示器和第二图像显示器中的另一项被配置为向用户呈现生成的第二立体图像。
33.根据示例，提供了显示设备，所述显示设备包括所述第一图像显示器和所述第二图像显示器。在选项中，所述显示设备是为所述用户的眼睛中的每只眼睛提供呈现的头戴式显示器；并且将所述增强的第一立体图像提供给所述用户的眼睛中的所述一只眼睛，并
且将所述生成的第二立体图像提供给所述用户的眼睛中的所述另一只眼睛。
34.根据示例，所述显示设备是增强现实显示器，所述增强现实显示器提供所述增强的立体图像对作为叠加到当前实况场景的视图上的所述目标的所述增强的3d视图。
35.根据本发明，还提供了一种用于对感兴趣目标进行可视化的方法。所述方法包括以下步骤：
36.提供所述目标的2d x射线图像；
37.提供所述目标的3d数据，例如，3d图像数据；
38.将所述3d图像数据配准到所述2d x射线图像；
39.检测用于生成所述2d x射线图像的观察方向；
40.基于所述的用于生成所述2d x射线图像的观察方向来确定用于投影所述3d图像数据以生成所述3d图像数据的匹配视图的观察方向；
41.针对所确定的观察方向生成所述3d图像数据的立体图像对；
42.将所述2d x射线图像与所述立体图像对中的图像中的一幅图像进行组合，从而得到增强的第一立体图像，而所述立体图像对中的另一幅图像保持不变，作为生成的第二立体图像；并且
43.提供所述增强的第一立体图像和所述生成的第二立体图像作为所述目标的增强的3d视图。
44.根据示例，所述3d图像数据到所述2d x射线图像的所述配准考虑了所述2d x射线图像的逆透视，所述逆透视包括焦点和关于所述目标和所述x射线辐射的观察方向的会聚射束。
45.术语“逆透视”是指这样一个事实：当由x射线束生成2d x射线图像时，2d x射线图像是基于扇形或锥形射束，该扇形或锥形射束在其起点具有焦点，并且朝向探测器发散。因为辐射方向是从源到探测器的(即，从焦点到更宽的射束)，所以这样的x射线的“观察”方向也是发散的。从视觉角度来看，以某种方式提供了相反的情况：观察方向朝向焦点，即，在观察方向上会聚。
46.在示例中，3d数据到2d x射线图像的配准考虑了2d x射线图像的逆透视，3d数据到2d x射线图像的配准考虑了2d x射线图像的逆透视。根据一个方面，针对用于创建3d体积的立体视图的偏移视图中的仅一幅偏移视图，叠加了单幅2d x射线图像。偏移视图提供了目标的视觉深度信息(也被称为空间信息)，并且单个2d x射线提供了目标的感兴趣区域的额外信息。通过在立体视图中的一幅立体视图的背景下提供该2d x射线图像，2d x射线的信息从x射线图像的二维世界转移到立体视图的三维世界中。
47.根据一个方面，生成将3d模型与2d(实况)x射线图像混合的第一显示图像(针对一只眼睛)。另外，生成仅显示3d模型但从不同视角呈现的第二显示图像(针对另一只眼睛)。另外，另一只眼睛的取向是匹配的。
48.根据一个方面，提供了一种目标可视化设备，所述目标可视化设备包括图像供应部、数据处理器和输出部。图像供应部提供目标的2d x射线图像，并且还提供目标的3d数据。数据处理器将3d数据配准到2d x射线图像，并且检测2d x射线图像的观察方向。数据处理器还基于2d x射线图像的观察方向来确定用于3d数据的匹配视图的观察方向。数据处理器针对所确定的观察方向生成3d数据的立体图像对，并且将2d x射线图像与立体图像对中
的图像中的一幅图像进行组合，从而得到增强的第一立体图像，而立体图像对中的另一幅图像保持不变，作为生成的第二立体图像。输出部提供增强的第一立体图像和生成的第二立体图像作为增强的立体图像对，从而提供目标的增强的3d视图。虽然只有一幅立体图像被提供有额外的x射线图像内容信息，但是在双眼组合视图中，x射线信息也被转移到另一幅未修改的图像。因此，x射线信息被扩展到空间内容中。一个优点是只需要一幅x射线图像，这意味着对象受到较少的x射线暴露。
49.参考下文描述的实施例，本发明的这些方面和其他方面将变得明显并且得到阐明。
附图说明
50.下面将参考以下附图来描述本发明的示例性实施例：
51.图1示意性地示出了目标可视化设备的示例。
52.图2示意性地示出了用于目标可视化的系统的示例。
53.图3示出了被呈现给用户的立体图像对的示例。
54.图4示出了在具有x射线成像系统的介入室的环境中的用于目标可视化的系统的示例。
55.图5示出了用于将增强的第一立体图像和生成的第二立体图像显示为目标的增强的3d视图的头戴式设备的示例。
56.图6示出了用于对感兴趣目标进行可视化的方法的示例的基本步骤。
具体实施方式
57.现在将参考附图更详细地描述某些实施例。在下面的描述中，相似的附图标记即使在不同的附图中也用于相似的元件。提供了在描述中定义的内容(例如，详细的构造和元件)以帮助全面理解示例性实施例。而且，没有详细描述众所周知的功能或结构，因为它们会以不必要的细节模糊实施例。此外，诸如“中的至少一项”之类的表达方式在处于一列元素之前时修饰整个元素列表，而不是修饰该列表的个体元素。
58.图1示意性地示出了目标可视化设备10的示例，目标可视化设备10包括图像供应部12、数据处理器14和输出部16。
59.能够以集成的方式将图像供应部12、数据处理器14和输出部16提供在诸如壳体之类的公共结构中，如用框架18所指示的。替代地，也能够以分离的方式提供彼此数据连接的图像供应部12、数据处理器14和输出部16。
60.图像供应部12被配置为提供目标的2d x射线图像，这用第一虚线20来指示。图像供应部12还被配置为提供目标的3d数据，这用第二虚线22来指示。在示例中，将目标的3d数据提供为目标的3d图像数据
61.数据处理器14被配置为将3d数据(例如，3d图像数据)配准到2d x射线图像。数据处理器14还被配置为：检测用于生成2d x射线图像的观察方向，并且基于用于生成2d x射线图像的观察方向来确定用于投影3d图像数据以生成3d图像数据的匹配视图的观察方向。数据处理器14还被配置为：针对所确定的观察方向生成3d图像数据的立体图像对24，并且将2d x射线图像与立体图像对中的图像中的一幅图像进行组合，从而得到增强的第一立体
图像26，而立体图像对中的另一幅图像保持不变，作为生成的第二立体图像28。
62.输出部16被配置为提供增强的第一立体图像26和生成的第二立体图像28作为增强的立体图像对30，从而提供目标的增强的3d视图。
63.术语“目标可视化”是指提供目标的呈现(或图像)。通过以可视方式提供给用户的这种呈现，实现了对目标的可视化。目标的增强的3d视图也能够被称为目标可视化。图像供应部12也能够被称为图像数据供应部、图像输入部、输入部或输入单元。
64.在示例中，图像供应部12能够数据连接到成像源布置(如提供目标的2d x射线图像的x射线成像装置)。在示例中，图像供应器能够数据连接到已经存储了目标的2d x射线图像的数据存储装置。
65.在示例中，图像供应部能够数据连接到成像源布置(如提供目标的3d数据的ct x射线成像装置)。在示例中，图像供应部能够数据连接到已经存储了目标的3d数据的数据存储装置。
66.数据处理器14也能够被称为数据处理布置、处理器单元或处理器。在示例中，数据处理器可以数据连接到图像供应部和输出部。数据处理器14被提供为可视化引擎，所述可视化引擎从匹配所采集的x射线取向的视角为两幅立体视图绘制3d模型的两幅视图。
67.输出部16也能够被称为输出单元。在示例中，输出部16可以数据连接到显示布置。在另一示例中，输出部16能够数据连接到显示布置。例如，输出部16被配置为向临床医生提供增强的立体图像对，从而提供目标的增强的3d视图。
68.数据处理器14被配置为将2d x射线图像与所述立体图像对中的图像中的仅一幅图像进行组合。
69.术语“立体图像对”是指描绘同一目标的左眼视图和右眼视图的两幅单独图像。虽然被呈现为2d表面上的图像，但是由于视差引起的所得到的视图之间的差异为用户提供了深度信息，即，空间信息。增强的立体图像对包括具有3d数据的第一生成视图的第一图像和具有3d数据的第二生成视图的第二图像。
70.在示例中，数据处理器14被配置为：获取生成的立体图像对，并且将图像对中的一幅图像与2dx射线图像进行组合，并且维持图像对中的另一幅图像，其中，因此提供了这样的图像对：该图像对包括一个x射线信息增强的生成的图像数据和一幅纯粹生成的立体图像。
71.在示例中，数据处理器14被配置为：获取描绘同一目标的左眼视图和右眼视图的生成的立体图像对，并且将左眼视图和右眼视图中的一项与2d x射线图像进行组合，并且维持左眼视图和右眼视图中的另一项，其中，因此提供了这样的眼睛视图对：该眼睛视图对包括一幅x射线信息增强的眼睛视图和一幅纯粹基于3d数据的生成的眼睛视图。
72.通过以图像对的立体视图的形式提供空间信息并通过仅在图像中的一幅图像中提供额外的x射线信息，增强的立体图像对提供了目标的部分增强的3d视图。
73.在示例中，数据处理器14被配置为：针对所确定的观察方向生成具有3d数据的第一立体图像和第二立体图像的立体图像对；将2d x射线图像与第一立体图像和第二立体图像中的一项进行组合，从而得到增强的第一立体图像；并且维持第一立体图像和第二立体图像中的另一项，作为生成的第二立体图像。
74.在示例中，数据处理器14被配置为：针对所确定的观察方向生成具有3d数据的第
一立体图像和第二立体图像的立体图像对，并且将2d x射线图像与第一立体图像和第二立体图像中的一项进行组合。所得到的立体图像对包括第一图像和第二图像，其中，第一图像和第二图像包括不同类型的图像内容。这两幅图像中的一幅图像包括额外的x射线图像内容。例如，这两幅图像中的一幅图像包括与生成3d数据视图相结合的额外的x射线荧光透视图像内容。这两幅图像都示出相同的选项，只是稍微移动了观察点，以便为用户提供立体视图。因此，第一立体图像和第二立体图像中的第二项被提供为纯粹生成的第二立体图像。
75.在示例中，第一立体图像和第二立体图像中的第二项被提供为无组合的第二图像，而第一立体图像和第二立体图像中的第一项被提供为组合的第一图像(也被称为组合第一图像)。无组合的第二图像也能够被称为单源图像，而组合的第一图像也能够被称为双源图像或多源图像。
76.在示例中，第一立体图像和第二立体图像中的第二项被提供为无叠加的第二图像，而第一立体图像和第二立体图像中的第一项被提供为叠加的第一图像(也被称为叠加第一图像)。
77.在示例中，第一立体图像和第二立体图像中的第一项被提供为双数据源图像，其中，双数据源包括来自目标的2d x射线图像的数据和目标的3d数据。第一立体图像和第二立体图像中的第二项被提供为单数据源图像，其中，单数据源是目标的3d数据。
78.注意，术语“第一”和“第二”被提供为区分针对立体视图提供的相应图像对的两幅图像。这些术语并不意味着任何时间顺序或其他优先权。
79.还应注意，术语“右”和“左”被提供为定义针对用户的两只移位的眼睛提供两幅图像，因此该移位提供了立体(即，空间观察)的基础。这些术语并不提供和限制用户的实际的左视图或右视图。也能够使用“第一和第二”或“一项和另一项”来代替“左和右”。
80.作为选项，将3d数据提供为目标的术前生成的图像数据。作为另外的选项，将2d x射线图像提供为术间图像、当前图像或实况图像，例如，在检查、介入或其他医学流程期间拍摄的图像。
81.例如，3d数据基于ct x射线图像。替代地，或者除了x射线成像之外，使用其他成像源(例如，超声成像或mri)来生成3d数据。
82.在没有进一步详细示出的示例中，增强的第一立体图像是双图像源图像，而生成的第二立体图像是单图像源图像。
83.在没有进一步详细示出的示例中，数据处理器14被配置为使得2d x射线图像与立体图像对中的图像中的一幅图像的组合包括将2d x射线图像叠加在立体图像对中的图像中的一幅图像上。
84.在也没有进一步详细示出的示例中，数据处理器14被配置为提供该组合，使得在增强的第一立体图像中，由2d x射线图像覆盖的图像部分小于由生成的立体图像覆盖的部分。
85.额外地或替换地，2d x射线图像被提供的透明度大于生成的立体图像的透明度。
86.以减少的方式(例如通过更小的部分或增加的透明度)来提供x射线图像内容，使得立体效果基本上不受仅在视图中的一幅视图中与x射线信息组合的影响。
87.在没有进一步详细示出的示例中，数据处理器14被配置为将所生成的立体图像中由2d x射线图像覆盖的图像部分调整到最多75％。
88.因此，所生成的立体图像中由2d x射线图像覆盖的图像部分最多是实际提供给用户的第一立体图像的(图像)表面的75％。实际提供给用户的第一立体图像的最少为25％的(图像)表面保持未被2d x射线图像覆盖。
89.因此，增强的第一立体图像包括这样的图像区或图像表面：该图像区或图像表面示出第一立体图像中没有被x射线图像叠加的至少部分，但是该部分可以说不受两幅图像的组合的影响。因此，增强的第一立体图像包括：在第一立体图像上具有2d x射线图像的叠加物的主要部分，以及在第一立体图像上没有2d x射线图像的任何叠加物而纯粹是第一立体图像的次要部分。
90.在示例中，由2d x射线图像覆盖的图像部分至少小于由生成的立体图像覆盖的部分的一半。
91.在示例中，数据处理器被配置为当2d x射线图像被投影在立体图像对中的图像中的一幅图像上时将2d x射线图像的透明度调整为比生成的立体图像的透明度更大(例如至少大25％)。
92.在替代示例中，数据处理器14因此被配置为当立体图像对中的图像中的一幅图像被投影在2dx射线图像上时将生成的立体图像的透明度调整为比2d x射线图像的透明度更大(例如至少大25％或三分之一)。
93.在没有进一步详细示出的示例中，配准包括2d x射线图像关于3d图像数据的空间配准。术语“空间”配准是指将2d x射线图像链接到3d图像数据的参考系或空间坐标系。
94.图2示意性地示出了用于目标可视化的系统50的示例。系统50包括第一图像显示器52、第二图像显示器54和前述示例中的一个示例的目标可视化设备10的示例。第一图像显示器52和第二图像显示器54中的一项被配置为向用户的两只眼睛中的一只眼睛呈现增强的第一立体图像。第一图像显示器52和第二图像显示器54中的另一项被配置为向用户的两只眼睛中的另一只眼睛呈现生成的第二立体图像。
95.在图2中作为选项而指示的示例中，提供了显示设备56(用框架指示)，显示设备56包括第一图像显示器52和第二图像显示器54。
96.在一个选项中，显示设备56是为用户的眼睛中的每只眼睛提供呈现的头戴式显示器(参见下文)。将增强的第一立体图像提供给用户的眼睛中的一只眼睛，并且将生成的第二立体图像提供给用户的眼睛中的另一只眼睛。
97.图3示出了被呈现给用户的立体图像对的示例。在图3中，示出了生成的图像对80，所述生成的图像对80例如包括第一图像82或第一图像部分以及第二图像84或第二图像部分(即，用于创建3d体积的立体视图的偏移视图)。第一图像82和第二图像84各自示出了所生成的脉管系统结构的3d模型的投影。该投影具有稍微不同的观察方向，以便为用户实现立体效果。仅针对偏移视图中的一幅偏移视图叠加单个2d x射线图像86。2d x射线图像86示出了(例如由于造影注射而可见的)血管结构。第一图像82可以被提供为左眼图像，而第二图像84可以被提供为右眼图像。
98.图4示出了在具有x射线成像系统102的介入室100的环境中的用于目标可视化的系统50的示例，该x射线成像系统102包括具有x射线源106和x射线探测器108的c形臂104。感兴趣目标(例如，对象110)被布置在对象支撑物112上。还指示出显示和照明布置114。在前景中示出了控制台116，控制台116包括目标可视化设备10，并且与具有第一图像显示器
52和第二图像显示器54的显示设备56一起形成用于目标可视化的系统50。控制台还能够被配置为控制介入室100中的各种仪器的操作。例如，x射线成像系统102向控制台116提供当前(即，实况)图像，如第一数据连接线118所指示的。第二数据连接线120指示从可视化设备10到显示设备56的数据供应。例如，显示设备56被提供为如图5所示的头戴式设备。
99.图5示意性地示出了作为头戴式显示器58的显示设备56的示例，头戴式显示器58为用户的眼睛中的每只眼睛提供呈现。头戴式显示器58被配置用于显示增强的第一立体图像26和生成的第二立体图像28，作为目标的增强的3d视图。将增强的第一立体图像26提供给用户的眼睛中的一只眼睛，并且将生成的第二立体图像28提供给用户的眼睛中的另一只眼睛。用投影59指示呈现给用户的这样的虚拟图像，投影59以两幅立体图像(针对每只眼睛有一幅立体图像)的对的形式向用户提供空间信息。投影59还为用户提供用户的右眼或左眼可见的叠加的x射线图像的形式的额外信息。
100.例如，除了在对象支撑物上的对象62之外，还示出了像外科医生这样的用户60。还指示出其他工作成员。在背景中示出了显示器64，并且在图示的右侧部分指示出c形臂x射线成像系统66。
101.例如，头戴式显示器包括两个单独的显示器。
102.头戴式显示器的示例是微软的hololens或magic leap眼镜。
103.替代地，显示设备包括单个显示器，但是对于用户的两只眼睛具有完全不同的投影。例如，能够为用户提供滤光器或光学元件，以使得能够仅向每只眼睛提供指定的图像内容。
104.在一个选项中，显示设备是增强现实显示器，所述增强现实显示器提供增强的立体图像对作为叠加到当前实况场景的视图上的目标的增强的3d视图。
105.在替代选项中，显示设备是虚拟现实显示器，所述虚拟现实显示器提供增强的立体图像对作为目标的增强的3d视图。
106.图6示出了用于对感兴趣目标进行可视化的方法200的示例的基本步骤。方法200包括以下步骤：在第一步骤202中，提供目标的2d x射线图像。在第二步骤204中，提供目标的3d数据。第一步骤202和第二步骤204能够按此顺序进行或者颠倒或同时进行。在第三步骤206中，将3d数据配准到2d x射线图像。在第四步骤208中，检测2d x射线图像的观察方向。在第五步骤210中，基于2d x射线图像的观察方向来确定用于3d数据的匹配视图的观察方向。在第六步骤212中，针对所确定的观察方向生成3d数据的立体图像对。在第七步骤214中，将2d x射线图像与立体图像对中的图像中的一幅图像进行组合，从而得到增强的第一立体图像，而立体图像对中的另一幅图像保持不变，作为生成的第二立体图像。在第八步骤216中，提供增强的第一立体图像和生成的第二立体图像，作为目标的增强的3d视图。
107.立体图像对中的图像中的一幅图像也被称为第一立体图像，而立体图像对中的另一幅图像被称为第二立体图像。第一立体图像和第二立体图像也被称为左立体图像和右立体图像(或右立体图像和左立体图像)。
108.立体图像对包括左眼视图图像和右眼视图图像。
109.在示例中，2d x射线图像与立体图像对中的图像中的一幅图像的组合包括将立体图像对中的图像中的一幅图像投影在2d x射线图像上。
110.在示例中，立体图像对中的图像中的一幅图像包括清晰/透明背景上的活跃图像
像素。例如，活跃图像像素包括黑色或彩色的像素。
111.在示例中，配准包括2d x射线图像关于3d数据的空间配准。
112.在示例中，3d数据到2d x射线图像的配准考虑了2d x射线图像的逆透视。
113.在一个选项中，逆透视包括焦点和关于目标和x射线辐射的观察方向的会聚射束。
114.在示例中，在增强的第一立体图像中，由2d x射线图像覆盖的图像部分小于由生成的立体图像覆盖的部分。在替代地或额外地提供的示例中，在增强的第一立体图像中，2d x射线图像被提供的透明度大于生成的立体图像的透明度。
115.在示例中，由2d x射线图像覆盖的图像部分比由生成的立体图像覆盖的部分小至少大约30％。例如，由2d x射线图像覆盖的图像部分小大约50％。术语“大约”是指相应部分百分比值的偏差高达+/-10％。
116.在示例中，2d x射线图像的透明度比生成的立体图像的透明度高至少大约30％。例如，2d x射线图像的透明度高大约50％。术语“大约”是指相应透明度百分比值的偏差高达+/-10％。
117.在该方法的示例中，向用户的第一只眼睛呈现增强的第一立体图像，并且向用户的第二只眼睛呈现生成的第二立体图像。
118.在该方法的示例中，提供增强的第一立体图像和生成的第二立体图像，作为投影在头戴式观察设备上的虚拟屏幕。
119.在示例中，可视化引擎用于从匹配x射线取向的视角呈现3d模型。对于两只眼睛中的一只眼睛，创建将该3d模型与2d(实况)x射线图像混合的场景。对于另一只眼睛，只使用3d模型来创建场景，但是该场景是从不同的视角绘制的，与这只眼睛的取向相匹配。
120.在示例中，提供了一种叠加x射线的方式，而不暗示深度：没有将图像放置于其中的平面的深度，也没有该图像内的深度(例如，在不同深度处延伸的血管)。
121.这适用于增强现实概念和虚拟现实概念以及使用立体观察的其他变体。只要有足够的立体校正数据就能够为单眼呈现一个目标的想法能够用于其他医学目的和非医学目的。例如，能够使用单眼将视图指针投影在3d场景中。
122.在本发明的另一示例性实施例中，提供了一种计算机程序或计算机程序单元，其特征在于，其适于在适当的系统上运行根据前述实施例中的一个实施例的方法的方法步骤。
123.在示例中，提供了用于控制根据上述示例中的一个示例的装置的计算机程序或程序单元，所述程序或程序单元在由处理单元运行时适于执行上述方法示例中的一个方法示例的方法步骤。
124.因此，计算机程序单元可能被存储在计算机单元中，也可能被分布在一个以上的计算机单元上，该计算机程序单元也可以是本发明的实施例的部分。该计算单元可以适于执行或引起对上述方法的步骤的执行。此外，该计算单元可以适于操作上述装置的部件。该计算单元能够适于自动操作和/或运行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。因此，可以装备数据处理器来执行本发明的方法。
125.本发明的各方面可以被实施在计算机程序产品中，所述计算机程序产品可以是在计算机可读存储设备上存储的可以由计算机运行的计算机程序指令的集合。本发明的指令可以是任何可解释或可执行的代码机制，包括但不限于脚本、可解释程序、动态链接库
(dll)或java类。能够将指令提供为完整的可执行程序、部分可执行程序、对现有程序的修改(例如，更新)或对现有程序的扩展(例如，插件)。此外，本发明的部分处理可以被分布在多个计算机或处理器上。
126.如上面所讨论的，处理单元(例如，控制器)实施控制方法。控制器能够用软件和/或硬件以多种方式实施，从而执行所要求的各种功能。处理器是采用一个或多个微处理器的控制器的一个示例，这一个或多个微处理器可以使用软件(例如，微代码)来编程以执行所要求的功能。然而，控制器在使用或不使用处理器的情况下都可以实施，并且也可以被实施为用于执行一些功能的专用硬件与用于执行其他功能的处理器(例如，一个或多个编程的微处理器和相关联的电路)的组合。
127.可以在本公开内容的各种实施例中使用的控制器部件的示例包括但不限于常规的微处理器、专用集成电路(asic)和现场可编程门阵列(fpga)。
128.本发明的该示例性实施例覆盖从一开始就使用本发明的计算机程序，以及借助于将现有程序更新转换为使用本发明的程序的计算机程序这两者。
129.另外，计算机程序单元可能能够提供所有必要步骤以完成如上所述的方法的示例性实施例的流程。
130.根据本发明的另外的示例性实施例，提出了一种计算机可读介质，例如，cd-rom，其中，该计算机可读介质具有被存储于所述计算机可读介质上的计算机程序单元，所述计算机程序单元由前面的章节所描述。计算机程序可以被存储和/或分布在合适的介质上，例如，与其他硬件一起或作为其他硬件的部分而供应的光学存储介质或固态介质，但是也可以以其他形式分布，例如，经由互联网或其他有线或无线的电信系统进行分布。
131.然而，计算机程序也可以存在于网络(如万维网)上，并且能够从这样的网络被下载到数据处理器的工作存储器中。根据本发明的另外的示例性实施例，提供了用于使计算机程序单元可用于下载的介质，所述计算机程序单元被布置为执行根据本发明的前述实施例之一的方法。
132.必须注意，本发明的实施例是参考不同主题来描述的。尤其地，一些实施例是参考方法型权利要求来描述的，而其他实施例是参考装置型权利要求来描述的。然而，除非另有说明，否则本领域技术人员将从以上和以下的描述中推断出，除了属于一种类型的主题的特征的任意组合以外，涉及不同主题的特征之间的任意组合也被认为在本技术中得到公开。然而，所有的特征都能够被组合来提供多于特征的简单加合的协同效应。
133.虽然已经在附图和前面的描述中详细图示和描述了本发明，但是这样的图示和描述应当被认为是图示性或示例性的，而非限制性的。本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求，在实践请求保护的发明时能够理解并实现对所公开的实施例的其他变型。
134.在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。虽然某些措施被记载在互不相同的从属权利要求中，但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记都不应被解释为对范围的限制。

技术特征：
1.一种目标可视化设备(10)，包括：图像供应部(12)；数据处理器(14)；以及输出部(16)；其中，所述图像供应部被配置为：提供所述目标的2d x射线图像；并且提供所述目标的3d图像数据；其中，所述数据处理器被配置为：将所述3d图像数据配准到所述2d x射线图像；检测用于生成所述2d x射线图像的观察方向；基于所述的用于生成所述2d x射线图像的观察方向来确定用于投影所述3d图像数据以生成所述3d图像数据的匹配视图的观察方向；针对所确定的观察方向生成所述3d图像数据的立体图像对(24)；并且将所述2d x射线图像与所述立体图像对中的图像中的一幅图像进行组合，从而得到增强的第一立体图像(26)，而所述立体图像对中的另一幅图像保持不变，作为生成的第二立体图像(28)；并且其中，所述输出部被配置为提供所述增强的第一立体图像和所述生成的第二立体图像作为增强的立体图像对，从而提供所述目标的增强的3d视图。2.根据权利要求1所述的设备，其中，所述增强的第一立体图像是双图像源图像，并且所述生成的第二立体图像是单图像源图像。3.根据权利要求1或2所述的设备，其中，所述数据处理器被配置为使得将所述2d x射线图像与所述立体图像对中的图像中的一幅图像进行组合，包括将所述2d x射线图像叠加在所述立体图像对中的图像中的所述一幅图像上。4.根据权利要求1、2或3所述的设备，其中，所述数据处理器被配置为提供所述组合，使得在所述增强的第一立体图像中，i)由所述2d x射线图像覆盖的图像部分小于由所生成的立体图像覆盖的部分；并且/或者ii)所述2d x射线图像被提供的透明度大于所生成的立体图像的透明度。5.根据权利要求4所述的设备，其中，所述数据处理器被配置为将所生成的立体图像中由所述2d x射线图像覆盖的所述图像部分调整到最多75％。6.根据前述权利要求中的一项所述的设备，其中，所述配准包括所述2d x射线图像相对于所述3d图像数据的空间配准。7.一种用于目标可视化的系统(50)，所述系统包括：第一图像显示器(52)；第二图像显示器(54)；以及根据前述权利要求中的一项所述的目标可视化设备(10)；其中，所述第一图像显示器和所述第二图像显示器中的一项被配置为向用户的两只眼睛中的一只眼睛呈现所述增强的第一立体图像；并且所述第一图像显示器和所述第二图像显示器中的另一项被配置为向所述用户的所述两只眼睛中的另一只眼睛呈现所述生成的第二立体图像。8.根据权利要求7所述的系统，其中，提供显示设备(56)，所述显示设备包括所述第一图像显示器和所述第二图像显示器；其中，所述显示设备是为所述用户的眼睛中的每只眼睛提供呈现的头戴式显示器；并
且其中，将所述增强的第一立体图像提供给所述用户的眼睛中的所述一只眼睛，并且将所述生成的第二立体图像提供给所述用户的眼睛中的所述另一只眼睛。9.根据权利要求8所述的系统，其中，所述显示设备是增强现实显示器，所述增强现实显示器提供所述增强的立体图像对作为叠加到当前实况场景的视图上的所述目标的所述增强的3d视图。10.一种用于对感兴趣目标进行可视化的方法(200)，所述方法包括以下步骤：提供(202)所述目标的2d x射线图像；提供(204)所述目标的3d图像数据；将所述3d图像数据配准(206)到所述2d x射线图像；检测(208)用于生成所述2d x射线图像的观察方向；基于所述的用于生成所述2d x射线图像的观察方向来确定(210)用于投影所述3d图像数据以生成所述3d图像数据的匹配视图的观察方向；针对所确定的观察方向生成(212)所述3d图像数据的立体图像对；将所述2d x射线图像与所述立体图像对中的图像中的一幅图像进行组合(214)，从而得到增强的第一立体图像，而所述立体图像对中的另一幅图像保持不变，作为生成的第二立体图像；并且提供(216)所述增强的第一立体图像和所述生成的第二立体图像作为所述目标的增强的3d视图。11.根据权利要求10所述的方法，其中，所述3d图像数据到所述2d x射线图像的所述配准考虑了所述2d x射线图像的逆透视，所述逆透视包括焦点和关于所述目标和所述x射线辐射的观察方向的会聚射束。12.一种使得处理器能够执行根据权利要求10至11中的一项所述的方法的计算机程序。13.一种存储有根据权利要求12所述的程序单元的计算机可读介质。

技术总结
本发明涉及目标可视化。为了提供对对象的内部结构进行方便的可视化，提供了一种目标可视化设备(10)，它包括图像供应部(12)、数据处理器(14)和输出部(16)。图像供应部提供目标的2D X射线图像以及目标的3D图像数据。数据处理器将3D图像数据配准到2D X射线图像并且检测用于生成2D X射线图像的观察方向。数据处理器还基于用于生成2D X射线图像的观察方向来确定用于投影3D图像数据以生成3D图像数据的匹配视图的观察方向。数据处理器针对所确定的观察方向生成3D图像数据的立体图像对(24)并且将2D X射线图像与立体图像对中的图像中的一幅图像进行组合，从而得到增强的第一立体图像(26)，而立体图像对中的另一幅图像保持不变，作为生成的第二立体图像(28)。输出部提供增强的第一立体图像和生成的第二立体图像作为增强的立体图像对(30)，从而提供目标的增强的3D视图。虽然只有一幅立体图像被提供有额外的X射线图像内容信息，但是在双眼组合视图中，X射线信息也被转移到另一幅未修改的图像。因此，X射线信息被扩展到空间内容中。一个优点是只需要一幅X射线图像，这意味着对象受到较少的X射线暴露。线暴露。线暴露。


技术研发人员：T
受保护的技术使用者：皇家飞利浦有限公司
技术研发日：2021.11.24
技术公布日：2023/8/9