使用增强现实的深脑部路径规划的制作方法

1.本发明涉及使用医学成像来确定到脑部深处目标的直线线路。


背景技术：

2.诸如磁共振成像(mri)和计算机断层扫描之类的各种断层摄影医学成像技术能够实现受试者的解剖结构的详细可视化。特别地，mri可以被用来对诸如脑组织和血管之类的受试者的解剖结构进行成像。规划深脑部介入的外科医生常常在规划期间使用多个磁共振成像扫描来对脑组织进行成像。
3.国际专利申请wo2014139024a1公开了用于使用患者特定术前图像的微创治疗的规划、导航和模拟系统和方法。规划系统允许从术前图像开发多条路径，并且取决于手术的期望手术结果而对路径进行评分，并且导航系统允许基于微创端口的手术程序以及在脑手术的特定情况下的开颅术。
4.wo2016/083927a1描述了一种用于生成手术路径数据的方法和系统。该方法生成从外表面到目标部位的多条路径，每条路径具有位于外表面上的起点和位于目标部位处的终点；对于多个路径中的每一个路径，基于路径和解剖数据之间的比较来确定得分；以及控制显示器以呈现外表面，并且在起点的位置处呈现对应于起点的路径的相应得分的指示。
5.wo2020/167997a1描述了一种用于对神经活动进行建模的系统。该系统被配置为接收由与设置在脑部上的电极相耦合的eeg设备所生成的脑电图(“eeg”)数据，eeg数据包括表示电活动的多个波形。该系统生成表示脑部的图形脑模型，将eeg数据转换成表示电活动的图形eeg模型。这允许在脑模型的上下文内与eeg模型交互；以及将集成的eeg和脑模型传送到显示器。


技术实现要素：

6.本发明在独立权利要求中提供了医疗系统、计算机程序和方法。在从属权利要求中给出了实施例。
7.本发明的实施例可以提供由操作者进行的规划深脑部路径的改进手段。为了实现这一点，分段医学成像数据被用来对从颅骨表面到脑部内的目标部位的各种直线路径进行评分。来自直线路径的得分然后被用来构造三维路径得分表面，该三维路径得分表面然后可以使用增强现实系统被绘制在受试者的颅骨表面上。使用增强现实系统，操作者能够在受试者的表面上看见到目标部位的直线路径的最佳位置。
8.在一个方面，本发明提供了一种包括存储机器可执行指令的存储器的医疗系统。该医疗系统还包括增强现实系统，该增强现实系统被配置用于在操作者的视觉三维视场内绘制虚拟对象。在本文中所使用的增强现实系统能够组合真实世界的视图和虚拟对象的投影。它还包括实时交互以及虚拟和真实对象的准确3d配准。增强现实系统提供叠加的感官信息；通常地，增强现实系统具有眼镜或观察系统，该眼镜或观察系统在受试者的三维视场中具有真实组件和数字构造的组件。
9.该医疗系统还包括计算系统。机器可执行指令的执行使计算系统接收描述受试者的连续体积的分段医学成像数据，受试者的连续体积包括受试者的脑部的至少一部分和受试者的颅骨表面。
10.机器可执行指令的执行还使计算系统控制增强现实系统以确定受试者与分段医学成像数据之间的配准。机器可执行指令的执行还使计算系统接收脑部的至少一部分内的目标部位。机器可执行指令的执行还使计算系统对颅骨表面进行离散化以限定多个进入位置。
11.机器可执行指令的执行还使计算系统为延伸到目标部位的多个进入位置中的每一个进入位置确定直线路径。机器可执行指令的执行还使计算系统使用分段医学成像数据将路径得分分配给针对多个进入位置中的每一个进入位置的直线路径。分段医学成像数据可以例如包含诸如受试者脑部内的静脉或动脉的位置的信息。它还可以包含关于期望不破坏或将对其的损害最小化的各种神经结构的信息。路径得分可以是通过选择每个直线路径来确定对受试者的可能损伤的有效度量。
12.机器可执行指令的执行还使计算系统计算由颅骨表面限定并且描述多个进入位置中的每一个进入位置的路径得分的三维路径得分表面。机器可执行指令的执行还使计算系统使用增强现实系统来绘制三维路径得分表面。使用配准将所绘制的三维路径得分表面定位在操作者的视觉三维视场中。换句话说，三维路径得分表面被叠加在受试者头部的表面上。然后使用三维路径得分来表示成本，或者备选地，表示从颅骨表面的不同部分开始到达目标部位的最佳地点。当医生决定在受试者的脑部内执行诸如活检或其它过程之类的操作时，这可以是一种帮助。
13.在不同的示例中，可以以不同的方式确定增强现实系统和受试者的实际颅骨表面之间的配准。在一个示例中，增强现实系统可以将分段医学成像数据的表面配准到受试者的检测表面。在其他情况下，受试者可以被约束在特定位置，并且受试者的这种约束可以被用来提供增强现实系统和受试者的颅骨表面之间的绝对配准。
14.在一些示例中，可以在分段医学成像数据中预定义目标部位。在其他示例中，目标部位可以例如从用户接口的输入中接收，或者可以从存储介质或通过网络来检索。例如，增强现实系统的操作者可以使用用户接口来选择目标部位。
15.颅骨表面可以例如包括：受试者头部的颞区、受试者头部的额区、受试者头部的顶区和/或受试者头部的枕区。
16.在另一个实施例中，机器可执行指令的执行还使计算系统使用多个进入位置中的每一个进入位置的路径得分来确定所选择的最佳路径。最佳路径例如可以通过选择使受试者脑部的预计损伤量最小化的路径得分来选择。机器可执行指令的执行还使计算系统在操作者的视觉三维视场中绘制三维医疗器具定位引导件。
17.将三维器具定位引导件与最佳路径对准。医生可能使用的器具类型是针状的。通过使三维医疗器具定位引导件位于医生的三维视场内，可以在不使用限制件的情况下沿着最佳路径插入医疗器具。这可以例如使医生能够徒手进行活检或其它操作。
18.在另一个实施例中，医疗器具定位引导件是三维视场中的射线状或线状标记。医疗器具可以例如具有像针或杆的长延伸部，并且因此可以容易地徒手将其与射线状标记对准。
19.在另一个实施例中，机器可执行指令的执行还使计算系统控制增强现实系统以检测描述医疗器具的三维位置的器具位置。如果器具位置与最佳路径对准，则机器可执行指令的执行还使计算系统在操作者的视觉三维视场中绘制工具线指示器。
20.例如，增强现实系统可以有能力配准对象在受试者的三维视场内的位置。增强现实系统然后可以被用来确定医疗器具的取向是否与最佳路径对准。这可能是有益的，因为它可以为医生提供医疗器具处于适当位置的进一步确认。
21.在另一个实施例中，医疗器具是活检针。
22.在另一个实施例中，医疗器具是深脑部刺激可植入装置。
23.在另一个实施例中，医疗器具是脉冲发生器插入针。
24.在另一个实施例中，医疗器具是针。
25.在另一个实施例中，医疗器具是手术针。
26.在另一个实施例中，医疗系统包括医疗器具。
27.在另一个实施例中，存储器还包括弹性脑模型，弹性脑模型被配置用于响应于对受试者的颅骨的穿孔和/或脑液的排出或脑液的部分排出来修改分段医学成像数据。使用弹性脑模型来校正三维路径得分。在对颅骨进行穿刺或穿孔之前，获取用于形成分段医学成像数据的医学图像。然而，当执行该过程时，受试者的颅骨将被穿孔，并且脑部周围的脑脊液可能部分地排出。这可能导致受试者的脑部的形状和/或位置位置的变形或改变。然后，这将使目标部位以及限定受试者的脑部的不同部分的分段可能移动。这然后可能引起到目标部位的各种路径的路径得分的变化。弹性脑模型的使用可能是有益的，因为它可以被用来预测一旦颅骨被穿孔时脑部将如何改变。当选择手术路径时，这可以极大地减少对受试者的损伤量。
28.在另一个实施例中，机器可执行指令的执行还使计算系统接收描述受试者的连续体积的中间磁共振成像数据。机器可执行指令的执行还使计算系统将中间磁共振成像数据与医学成像数据配准。机器可执行指令的执行还使计算系统使用针对可变形脑模型的配准来修改分段医学成像数据。修改后的分段医学成像数据被用来重新计算三维路径得分表面。
29.例如，在受试者的颅骨已经被穿孔之后，受试者可以被放置到磁共振成像系统中，并且脑脊液的排出的影响可以被测量，然后被用来更新和重新计算三维路径得分表面。这可以具有减少过程期间对受试者的损伤量的效果。它实现了更好的规划。在另一个实施例中，机器可执行指令的执行还使计算系统从增强现实系统接收对多个进入位置中的一个或多个进入位置的选择。机器可执行指令的执行还使计算系统构建放射治疗控制命令，该放射治疗控制命令被配置用于控制放射治疗系统以用于沿着或被引导沿着由多个进入位置中的一个或多个进入位置所限定的一个或多个放射治疗路径来对目标部位进行辐照。这可以例如帮助放射科医师正确地规划和执行放射治疗计划。这例如可用于诸如伽玛刀之类的放射治疗系统。
30.在另一个实施例中，医疗系统还包括放射治疗系统。
31.在另一个实施例中，机器可执行指令的执行还使计算系统利用放射治疗控制命令来控制放射治疗系统，以沿着由所选择的一个或多个进入位置所限定的一个或多个放射治疗路径来辐照目标部位。
32.在另一个实施例中，医疗系统还包括放射治疗系统。机器可执行指令的执行还使计算系统利用放射治疗系统控件来控制放射治疗系统。
33.在另一个实施例中，分段医学成像数据包括分段t2加权磁共振成像数据。
34.在另一个实施例中，分段医学成像数据还包括分段磁共振成像数据。
35.在另一个实施例中，分段医学成像数据还包括分段计算机断层摄影磁共振成像数据。
36.在另一个实施例中，分段医学成像数据还包括分段功能磁共振成像数据。
37.在另一个实施例中，分段医学成像数据还包括磁共振血管造影数据。
38.在另一个实施例中，分段医学成像数据在连续体积内三维地分配多个组织类型。多种组织类型中的每种组织类型被分配数字损伤值。通过使用分段医学成像数据乘以其数字损伤得分来确定行进穿过多种组织类型中的每种组织类型的距离，来计算路径得分。这可能是有益的，因为它可能是在实际上没有执行过程或在执行过程之前针对每个插入路径估计对受试者的损伤量的客观手段。
39.在另一个实施例中，分段医学成像数据标识关键解剖结构。机器可执行指令的执行还使计算系统排除通过任何关键解剖结构的任何杂散路径。例如，可能存在脑解剖结构的特定部位，如果它们受损，将严重地损伤或伤害受试者。这可以被用来排除这种解剖结构。
40.在另一个实施例中，分段医学成像数据还包括描述关键脑功能区域的功能磁共振成像数据。例如，在功能性磁共振成像期间，与受试者的说话能力相关的区域可以被映射到脑部中。机器可执行指令的执行还使计算系统排除通过任何关键脑功能区域的任何直线路径。该实施例可以是有益的，因为它可以帮助减少受试者的特定脑功能被损伤或破坏的机会。
41.作为备选，为了排除通过任何关键脑功能的任何直线路径还可以为每个关键脑功能区域分配数字脑功能损伤值。可以通过至少部分地确定行进穿过每个关键脑功能区域的距离乘以其数字脑功能损伤得分来计算路径得分。这例如可以用于将对受试者的特定类型的功能损伤(诸如受试者说话能力的降低)最小化。使用脑功能损伤数值所确定的得分也可以与使用组织类型所确定的数字损伤值相加。以此方式，可以在物理损伤和可以被控制的功能损伤之间进行折衷。
42.在另一个实施例中，ar护目镜可以被用来接收关于插入角度的反馈。反馈优选是实时的。在一些实施例中，利用颜色编码将实时反馈投影给ar护目镜的用户。对针的角度的实时反馈例如可以由通过ar护目镜所显示的针的进入点的颜色变化来表达。针的角度可以通过实时计算角度的ar护目镜来监测。
43.在另一个实施例中，ar护目镜可以被用来接收关于待插入的针的速度的反馈。反馈优选是实时的。在一些实施例中，利用颜色编码来将针插入速度的实时反馈投影给ar护目镜的用户。对针的速度的实时反馈例如可以由通过ar护目镜所显示的针的速度的颜色变化来表达。针的速度可以通过实时计算速度的ar护目镜来监测。
44.在另一方面，本发明提供了一种计算机程序，其包括由控制医疗系统的计算系统执行的机器可执行指令。计算机程序可以例如被存储在诸如存储器或其它存储设备之类的非暂态存储介质上。医疗系统包括增强现实系统，增强现实系统被配置用于在操作者的视
觉三维视场内绘制虚拟对象。机器可执行指令的执行使计算系统接收描述受试者的连续体积的分段医学成像数据，受试者的连续体积包括受试者的脑部的至少一部分和受试者的颅骨表面。
45.机器可执行指令的执行还使计算系统控制增强现实系统以确定受试者与分段医学成像数据之间的配准。机器可执行指令的执行还使计算系统接收脑部的至少一部分内的目标部位。机器可执行指令的执行还使计算系统对颅骨表面进行离散化以限定多个进入位置。机器可执行指令的执行还使计算系统为多个进入位置中的每一个进入位置确定延伸到目标部位的直线路径。机器可执行指令的执行还使计算系统使用分段医学成像数据将路径得分分配给针对多个进入位置中的每一个进入位置的直线路径。
46.机器可执行指令的执行还使计算系统计算由颅骨表面所限定并且描述多个进入位置中的每一个进入位置的路径得分的三维路径得分表面。机器可执行指令的执行还使计算系统使用增强现实系统来绘制三维路径得分表面。使用配准将所绘制的三维路径得分表面定位在操作者的视觉三维视场中。三维路径得分表面可以例如被定位在分段医学成像数据中所限定的颅骨表面上。
47.在另一方面，本发明提供了一种操作医疗系统的方法。该医疗系统包括增强现实系统，增强现实系统被配置用于在操作者的视觉三维视场内绘制虚拟对象。该方法包括接收描述受试者的连续体积的分段医学成像数据，受试者的连续体积包括受试者的脑部的至少一部分和受试者的颅骨表面。该方法还包括控制增强现实系统以确定受试者与分段医学成像数据之间的配准。该方法还包括接收脑部的至少一部分内的目标部位。该方法还包括对颅骨表面进行离散化以限定多个进入位置。该方法还包括为多个进入位置中的每一个进入位置确定延伸到目标部位的直线路径。该方法还包括使用分段医学成像数据将路径得分分配给针对多个进入位置中的每一个进入位置的直线路径。该方法还包括计算由颅骨表面限定并描述多个进入位置中的每一个进入位置的路径得分的三维路径得分表面。该方法还包括使用增强现实系统绘制三维路径得分表面。使用配准将所绘制的三维路径得分表面定位在操作者的视觉三维视场中。
48.应当理解，本发明的一个或多个上述实施例可以进行组合，只要组合的实施例不是相互排斥的。
49.如本领域技术人员所了解的，本发明的各方面可以被实现为装置、方法或计算机程序产品。相应地，本发明的各方面可采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或组合软件和硬件各方面的一个实施例的形式，这些方面在本文中可以全部被统称为“电路”、“模块”或“系统”。此外，本发明的各方面可以采取在其上体现有计算机可执行代码的一个或多个计算机可读介质中体现的计算机程序产品的形式。
50.可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。在本文中所使用的“计算机可读存储介质”涵盖了可以存储可以由计算设备的处理器或计算系统执行的指令的任何有形存储介质。计算机可读存储介质可以被称为计算机可读非暂态存储介质。计算机可读存储介质也可以被称为有形计算机可读介质。在一些实施例中，计算机可读存储介质还能够存储能够由计算设备的计算系统访问的数据。计算机可读存储介质的示例包括但不限于：软盘、磁硬盘驱动器、固态硬盘、闪存、usb拇指驱动器、随机存取存储器(ram)、只读存储器(rom)、光盘、磁光盘和计算
系统的寄存器文件。光盘的示例包括压缩盘(cd)和数字多功能盘(dvd)、例如cd-rom、cd-rw、cd-r、dvd-rom、dvd-rw或dvd-r盘。术语计算机可读存储介质还指代能够由计算机设备经由网络或通信链路访问的各种类型的记录介质。例如，可以通过调制解调器、通过互联网或通过局域网检索数据。体现在计算机可读介质上的计算机可执行代码可以使用任何适当的介质来传输，包括但不限于无线、有线、光纤电缆、rf等等或前述的任何适当组合。
51.计算机可读信号介质可以包括其中例如在基带中或作为载波的一部分而体现有计算机可执行代码的传播数据信号。这种传播信号可以采取多种形式中的任何一种形式，包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以是任何计算机可读介质，其不是计算机可读存储介质，并且可以传送、传播或传输供指令执行系统、装置或设备使用或与其结合使用的程序。
[0052]“计算机存储器”或“存储器”是计算机可读存储介质的一个示例。计算机存储器是计算系统能够直接访问的任何存储器。“计算机存储装置”或“存储装置”是计算机可读存储介质的另一个示例。计算机存储装置是任何非易失性计算机可读存储介质。在一些实施例中，计算机存储装置也可以是计算机存储器，反之亦然。
[0053]
在本文中所使用的“计算系统”涵盖了能够执行程序或机器可执行指令或计算机可执行代码的电子组件。对包括“计算系统”的示例的计算系统的引用应被解释为可能包含多于一个的计算系统或处理核心。计算系统例如可以是多核处理器。计算系统还可以指单个计算机系统内或分布在多个计算机系统之间的计算系统的集合。术语“计算系统”还应当被解释为可能是指计算设备的集合或网络，每个计算设备都包括处理器或计算系统。机器可执行代码或指令可以由多个计算系统或处理器执行，多个计算系统或处理器可以在同一计算设备内或者甚至可以分布在多个计算设备上。
[0054]
机器可执行指令或计算机可执行代码可以包括使处理器或其它计算系统执行本发明的一个方面的指令或程序。用于执行本发明的各方面的操作的计算机可执行代码可以用一种或多种编程语言的任何组合来编写，并且被编译成机器可执行指令，编程语言包括诸如java、smalltalk、c++等的面向对象编程语言和诸如“c”编程语言或类似编程语言的常规过程编程语言。在一些实例中，计算机可执行代码可以是高级语言的形式或预编译的形式，并与即时生成机器可执行指令的解释器结合使用。在其它实例中，机器可执行指令或计算机可执行代码可以是可编程逻辑门阵列的编程形式。
[0055]
计算机可执行代码可以完全在用户的计算机上被执行，部分地在用户的计算机上被执行，作为独立的软件包被执行，部分地在用户的计算机上被执行并且部分地在远程计算机上被执行，或者完全在远程计算机或服务器上被执行。在后一种场景中，远程计算机可以通过任何类型的网络而被连接到用户的计算机，任何类型的网络包括局域网(lan)或广域网(wan)，或者可以连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。
[0056]
参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述本发明的各方面。应当理解，流程图、图示和/或框图的每个框或框的一部分在适用时可以由计算机可执行代码形式的计算机程序指令来实现。还应当理解，当不相互排斥时，可以组合不同流程图、图示和/或框图中的框的组合。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的计算系统以产生机器，使得经由计算机或其他可编程数据处理装置的计算系统执行的指令创建用于实现在流程图和/
或框图的一个或多个框中指定的功能/动作的部件。
[0057]
这些机器可执行指令或计算机程序指令还可以被存储在计算机可读介质中，该计算机可读介质可以引导计算机、其他可编程数据处理装置或其他设备以特定方式工作，使得存储在计算机可读介质中的指令产生包括实现在流程图和/或框图的一个或多个框中指定的功能/动作的指令的制品。
[0058]
还可以将机器可执行指令或计算机程序指令加载到计算机、其它可编程数据处理装置或其它设备上，以引起在计算机、其它可编程装置或其它设备上执行的一系列操作步骤，从而产生计算机实现的过程，使得在计算机或其它可编程装置上执行的指令提供用于实现在流程图和/或框图的一个或多个框中指定的功能/动作的过程。
[0059]
本文中所使用的“用户接口”是允许用户或操作者与计算机或计算机系统交互的接口。“用户接口”也可以被称为“人机接口装置”。用户接口可以向操作者提供信息或数据和/或接收来自操作者的信息或数据。用户接口可以使得来自操作者的输入能够被计算机接收，并且可以从计算机向用户提供输出。换句话说，用户接口可以允许操作者控制或操纵计算机，并且接口可以允许计算机指示操作者的控制或操纵的效果。在显示器或图形用户接口上显示数据或信息是向操作者提供信息的一个示例。通过键盘、鼠标、跟踪球、触摸板、指点棒、图形输入板、操纵杆、游戏手柄、网络摄像头、头戴式耳机、踏板、有线手套、遥控器和加速度计接收数据都是能够接收来自操作者的信息或数据的用户接口组件的示例。
[0060]
本文中所使用的“硬件接口”包括使得计算机系统的计算系统能够与外部计算设备和/或装置交互和/或控制外部计算设备和/或装置的接口。硬件接口可以允许计算系统向外部计算设备和/或装置发送控制信号或指令。硬件接口还可以使得计算系统能够与外部计算设备和/或装置交换数据。硬件接口的示例包括但不限于：通用串行总线、ieee 1394端口、并行端口、ieee 1284端口、串行端口、rs-232端口、ieee-488端口、蓝牙连接、无线局域网连接、tcp/ip连接、以太网连接、控制电压接口、midi接口、模拟输入接口和数字输入接口。
[0061]
本文中所使用的“显示器”或“显示设备”包括适于显示图像或数据的输出设备或用户接口。显示器可以输出视觉、音频和/或触觉数据。显示器的示例包括但不限于：计算机监视器、电视屏幕、触摸屏、触觉电子显示器、盲文屏幕、阴极射线管(crt)、存储管、双稳态显示器、电子纸、矢量显示器、平板显示器、真空荧光显示器(vf)、发光二极管(led)显示器、电致发光显示器(eld)、等离子体显示板(pdp)、液晶显示器(lcd)、有机发光二极管显示器(oled)、投影仪和头戴式显示器。
[0062]
医学成像数据在本文中被定义为由描述受试者的断层摄影医学成像系统进行的记录测量的重建的二维或三维可视化。分段医学成像数据在本文中被定义为解剖区域已被标识或分割的医学成像数据。
[0063]
磁共振成像(mri)图像或mr图像在本文中被定义为包含在在k空间数据内的解剖数据的重建的二维或三维可视化。可以使用计算机来执行该可视化。磁共振图像是医学成像数据的一个示例。
[0064]
k-空间数据在本文中被定义为在磁共振成像扫描期间使用磁共振装置的天线由原子自旋所发射的射频信号的记录测量。
附图说明
[0065]
在下文中，将仅通过示例的方式并参考附图来描述本发明的优选实施例，在附图中：
[0066]
图1图示了分段医学成像数据如何可以被用于规划到脑部内的目标部位的路径；
[0067]
图2图示了医疗系统的示例；
[0068]
图3图示了医疗系统的另一个示例；
[0069]
图4示出了说明使用权利要求2或3的医疗系统的方法的流程图；
[0070]
图5图示了三维路径得分表面的绘制的一个示例；
[0071]
图6图示了三维路径得分表面的绘制的另一个示例；以及
[0072]
图7图示了三维路径得分表面的绘制的另一个示例；
具体实施方式
[0073]
这些图中相同编号的元件是等效的元件或执行相同的功能。如果功能是等效的，则前面已经讨论过的元件将不必在后面的附图中进行讨论。
[0074]
图1图示了可以被用于规划到脑部102内的目标部位104的路径的分段医学成像数据100的一个示例。分段医学成像数据100图示了受试者的脑部102。在脑部内存在目标部位104。在受试者的外部是颅骨表面106。颅骨表面可以被划分成多个离散位置以限定多个进入位置108。在每个进入位置108和目标部位104之间存在直线路径102。可以通过将路径得分分配给路径110中的每一个路径来评估这些路径中的每一个路径。
[0075]
可以以不同的方式计算路径得分。例如，图像100的分割可以提供不同的组织类型，并且可以使用沿着不同组织类型内的路径110的距离来计算路径得分。附加地，可以存在关键解剖结构112，其可以例如被用来排除来自功能性磁共振成像的路径或甚至数据，功能性磁共振成像提供关于关键脑功能区域114的信息。例如，如果期望将对受试者的言语的损害最小化，则映射受试者的脑部中的言语功能的功能磁共振图像可以被用来定义应当被避免或被给予较高得分的区域114。路径116是示例性的最佳路径。使用增强现实系统，可以向外科医生显示三维医疗器具定位引导件118。
[0076]
图2图示了医疗系统200的一个示例。医疗系统200包括计算机202和增强现实系统204。增强现实系统204包括增强现实护目镜206和位置配准系统208。在一些示例中，位置配准系统208可以是用于检测房间内的人和对象的位置的多个相机或传感器。受试者210被示为躺在受试者支撑件212上。在图1中，计算了针对各个路径108的路径得分。这被用来计算增强现实系统204投影到颅骨表面106上的三维路径得分表面218。增强现实系统204还显示三维路径得分表面218。操作者214能够容易地将医疗器具216与三维医疗器具定位引导件118对准。
[0077]
计算机202被示为包括连接到硬件接口222、可选用户接口224和存储器226的计算系统220。硬件接口222使得计算系统220能够传送和控制医疗系统200的其它组件。用户接口224例如可以使得操作者能够修改和控制医疗系统200的功能性。存储器226旨在是计算系统220可访问的任何类型的存储器；这可以包括易失性和非易失性类型的存储器。
[0078]
存储器226被示为包含机器可执行指令230。机器可执行指令230使得计算系统220能够控制医疗系统200以及执行各种类型的数据和图像处理。存储器226被示为包含分段医
学图像数据232。存储器226还被示为包含受试者210与分段医学图像数据232之间的配准234。分段医学图像数据232例如可以类似于在图1中作为项目100所绘制的。
[0079]
存储器226被示为存储目标部位104的位置236。存储器226还被示为包含针对图1中的路径110所计算的路径得分238。然后使用路径得分238来计算三维路径得分表面240，然后由增强现实系统204将其绘制为218。存储器226还被示为可选地包含用于控制可选磁共振成像系统246的脉冲序列命令242。存储器226被示为包含初始k空间数据224，其通过用可选脉冲序列命令242控制磁共振成像系统246而被采集。为了采集该数据，将受试者216被放置在磁共振成像系统246的成像区域中。初始k空间数据244可以被重建，然后被分割以提供分段医学图像数据232或100。
[0080]
在受试者210的颅骨已经被穿孔之后，脑脊液可以排出。这可能引起受试者的脑部102的位置失真或改变。在颅骨穿孔之后，受试者210然后可以被放置到磁共振成像系统246中以测量中间k空间数据248。可以使用相同的脉冲序列命令242或甚至更低分辨率的脉冲序列命令。所采集的中间k空间数据248然后可以被重建为中间磁共振成像数据250。然后可以将其配准到分段医学图像数据232，并且可以使用可变形脑模型252来校正分段医学图像数据232。然后，该校正后的分段医学图像数据232可以可选地被用来重新计算路径得分238，然后更新三维路径得分表面240。
[0081]
在一些示例中，弹性脑模型260被用来预测在脑脊液排出之后脑部102的变形和位置的变化。弹性脑模型260可以被用来预测受试者的脑部解剖结构的变化并计算更准确的路径得分238。
[0082]
三维路径得分表面218的绘制还可以另外包括在正确定位医疗器具216方面对操作者214的附加辅助。例如，三维路径得分表面218的绘制的外观可以改变。例如，其可以改变尺寸或颜色或亮度以指示医疗器具216与三维医疗器具定位引导件的对准程度。增强现实系统204还可以具有印刷消息或其他符号，其被显示以向操作者214进一步指示医疗器具216与三维医疗器具定位引导件118的定位程度。
[0083]
图3图示了医疗系统300的另一个示例。图3中所图示的示例类似于图2中的医疗系统200，除了它另外包括可选的放射治疗系统302之外。在该示例中，医疗系统300不被用来选择用于机械地插入医疗器具216的路径，而是被用来选择用于放射治疗的放射治疗路径304。操作者216能够检查三维路径得分表面的绘制218并且选择用于放射治疗路径306的多个进入点以辐照目标部位104。操作者214选择放射治疗路径304，并且然后系统生成放射治疗系统控制命令306，以用于沿着这些路径304进行辐照。例如，可以将受试者210放置到放射治疗系统302中，并且可以用放射治疗系统控制命令306来控制放射治疗系统302。
[0084]
图4图示了说明操作图2中的医疗系统200或图3中的医疗系统300的方法的流程图。首先，在步骤400中，接收分段医学图像数据100或232。该分段医学图像数据100描述了受试者210的连续体积，其包括脑部102的至少一部分和颅骨表面106。接下来，在步骤402中，控制增强现实系统204以确定配准234。在这种情况下，将使用位置配准系统208。这可以例如通过使用用于确定受试者210以及医疗器具216的位置的机械固定装置、光学系统或其它传感器系统来完成。
[0085]
接下来，在步骤404中，接收目标部位104的位置236。接下来，在步骤406中，颅骨表面106被划分成离散的位置以提供多个进入位置108。接下来，在步骤408中，为每个进入位
置108确定直线路径108。然后使用分段医学成像数据232或100将路径得分238分配给每个直线路径110。这例如可以通过使用由分割所标识的组织类型然后计算每种类型的组织行进的距离来完成。接下来，在步骤412中，确定三维路径得分表面240。然后在步骤414中，使用增强现实系统来绘制218三维路径得分表面240，并且将其与颅骨表面106相同地定位。
[0086]
示例可以涉及用于规划、导航和模拟的系统和方法，以用于在增强现实(ar)的帮助下选择到脑部深处的目标的损伤最小的直线接近路线。
[0087]
在一些示例中，颜色或灰度可以被投影到颅骨上并被用来指示损伤因子的总得分(三维路径得分表面240的绘制218)。例如，可以使用经由ar投影在颅骨上的逐渐红/绿颜色的损伤因子的总得分(路径得分238)。实际上，指示器(三维医疗器具定位引导件)用于通过脑部到深脑部目标(目标部位104)的最佳路径。这样，外科医生或操作者被告知将在从颅骨上的那个位置开始到脑部深处的目标的直线路线上被击中的易损组织(例如血管)的量。ar护目镜系统可以用例如直接指向目标的简单光束(三维医疗器具定位引导件118)示出最佳进入点，并且在正确的插入角度上直接帮助外科医生。该指示最初基于预先配准的mr图像(分段医学成像数据100、232)。利用特殊的组织变形软件(可变形脑模型252)，估计在颅骨中形成孔和用针穿透脑部的效果，并相应地调整可视化。这些估计可以用基于来自预先配准的mr图像的3d结构脑信息而完成的实时mr图像或在颅骨中形成孔并穿透脑组织之后实时适应的组织变形来检查。以此方式，外科医生不再需要用于设置正确插入角度的lexoframe。
[0088]
在日常实践中，神经外科医生在几次mr扫描的帮助下规划针(或一般而言的锋利的医疗设备)的接近路径。然后他们必须用小的硬针来检查实际的路径，以便他们不损伤弹性血管。其他脑组织太软，无法在针插入期间给出反馈。换句话说，神经外科医生在其行进穿过脑部到达目标区域的途中对于针将要穿透的组织类型是不清楚的。该目标区域可以是深脑部刺激电极位置或脑肿瘤的位置，其需要提取或穿孔或视觉检查。在具有当前使用的被固定到患者头部的框架的图片下面，正确地设置探针的插入角度。在使用ar护目镜来示出插入角度的情况下，可以不再需要该框架。
[0089]
示例可以使用脑部的一个或多个预先配准的mr扫描(分段医学成像数据100、232)来调查到由神经外科医生指示的目标区域的可能的多个直线接近路径。可能的第一步骤是使用分割基于组织类型(如脑液、血管、白质或灰质)来标记mr图像中的所有体素。神经外科医生可以指示针对每种组织类型(例如脑液0、白质5、灰质10和血管25)的'损伤因子'(更大的数字意味着更多的损伤)。应用可以将被单个直线路径击中的所有体素的所有损伤因子进行求和，并且将总得分(路径得分238)转换成在起点处的患者的颅骨上的着色点(三维路径得分表面240的绘制218)(参见以下图5：较暗意味着到目标的路径中的损伤较小)。
[0090]
作为一个示例，ar护目镜可以被用来接收关于插入角度的反馈。反馈最好是实时的。颜色编码可以被利用来向ar护目镜的用户投影实时反馈。对针的角度的实时反馈例如可以由通过ar护目镜所显示的针的进入点的颜色变化来表达。作为一个示例，可以利用3种颜色以便标记位置的变化。当针以正确的角度被插入时，进入点的颜色是绿色，但是当它移动到可接受的范围之外时，进入点变成黄色，并且当它偏离太多时甚至变成红色。通过实时计算角度的护目镜来监测针的角度。
[0091]
图5示出了三维路径得分表面218的示例性绘制。也被称为插入角度指示器的三维
医疗器具定位引导件118被显示。在该表面上，区域越暗，从颅骨表面到目标部位104的路径所减少的损伤越小。
[0092]
图6示出了图5中所示图的不同视图。在这种情况下，我们能够在三维模型内看到并且我们能够看到三维医疗器具定位引导件118或最佳路径116如何到达目标部位104。
[0093]
三维路径得分表面的绘制使得神经外科医生容易在汗斑(如颅骨顶部上的深绿色区域)的中间选择接近路径，其可以容容许小的脑部移位，这将在向颅骨中钻小孔以插入(多个)针并且小部分脑液将逸出之后发生。换句话说，神经外科医生具有对每个接近路径的损伤的快速概观，并且可以试图通过调整损伤因子或重新定位目标区域来将脑损伤最小化。ar护目镜将最佳插入取向或角度示出为光束或定位引导。外科医生可以在不使用框架的情况下使用该光束用于定位他的针，这将导致更快的到达目标的过程。光束还可以示出针需要插入多远才能准确地到达目标部位。
[0094]
作为一个示例，ar护目镜可以被用来接收关于针插入角度的速度的反馈。反馈优选是实时的。可以利用颜色编码来将实时反馈投影给ar护目镜的用户。对针的角度的实时反馈例如可以通过基于针插入的预定速度的颜色变化来表达，针插入的预定速度取决于例如对患者的潜在风险。作为一个示例，可以利用3种颜色来标记插入速度。例如，当针处于几乎不损伤脑部的可接受的速度时，进入点的颜色是绿色，但是当它移动到可接受的速度范围之外时，进入点变成黄色，并且当速度在可接受的区域之外时甚至变成红色。通过实时计算速度的护目镜来监测针的速度。
[0095]
示例可以使用3d空间中的体素标记和损伤类别来估计头皮进入点与目标体素之间的每个直线路径的损伤。通过标记脑部中的区域(如运动或视觉皮层、言语区域
…
)，可以增加每个区域的额外损伤因子。
[0096]
小于mr体素的血管仍可以被标记为血管，并且因此在损伤概观中将不会被忽略。
[0097]
示例可以使得神经外科医生能够以尽可能小的脑损伤进行更好、稳健和更快速的脑外科手术规划，并具有避免重要脑区域的能力。ar护目镜使用起来非常容易和直观，并且可以避免使用框架。
[0098]
在一个示例中，基于预先配准的结构mr图像和在单个直线路径上的所有体素，产生损伤因子的总和。接下来，它将该损伤因子的总得分转换为人工投影在患者颅骨上的着色点。下面的图7示出了通过护目镜在现实世界中所映射的总得分和最佳路径的映射。由于护目镜映射现实世界中的路径：外科医生非常容易将针放在最佳方向上。
[0099]
图7图示了三维路径得分表面和三维医疗器具定位引导件118在现实世界中的绘制218，该绘制使用增强现实显示器700以在受试者的颅骨表面上显示表面218。
[0100]
在一个示例中，基于可从mr扫描获得的实时信息，实时地、连续地确定损伤因子的总得分(实际上是通过脑部到深脑部目标的最佳路径的指标)。实时确定损伤因子的总得分的优点在于：通过改变脑部结构，它可以使该得分适应角度的变化。已知的是，在颅骨中形成孔和将医疗设备穿透到脑部中都可能导致改变脑沟的结构。因此，该实时方法是自适应方法。
[0101]
可以利用专用软件(可变形脑模块252)来避免实时mr成像，该软件估计在颅骨中形成孔或插入针之后脑组织的变形。该软件以预先记录的mr扫描开始，进行分割以标记不同的脑组织(如灰质和白质、液体或血管)。每个组织具有其自身的机械属性，这使得能够进
行组织置换和/或对外科医生的动作(如在颅骨中形成孔)进行变形估计。
[0102]
当在脑肿瘤的中间选择目标(目标部位104)时，最佳路径可以被用于肿瘤的快速和容易的组织穿孔。
[0103]
对于脑肿瘤提取，ar系统或护目镜可以通过光束逐步地示出钻孔计划，其适合于在每次提取之后的组织变化。
[0104]
在另一个示例中，结构信息将由功能mri信息补充。fmri提供关于功能区域的信息，诸如言语区域或视觉区域。
[0105]
在另一个示例中，本发明将被应用于辐射束。
[0106]
虽然已经在附图和前面的描述中详细图示和描述了本发明，但是这样的图示和描述应被认为是说明性或示例性的而非限制性的；本发明不限于所公开的实施例。
[0107]
通过研究附图、公开内容和所附权利要求，本领域技术人员在实践所要求保护的本发明时可以理解和实现所公开的实施例的其它变型。在权利要求中，词语“包括”不排除其他要素或步骤，并且不定冠词“一”或“一个”不排除多个。单个处理器或其它单元可以满足权利要求中所叙述的若干项的功能。在相互不同的从属权利要求中叙述某些措施的纯粹事实并不指示不能有利地使用这些措施的组合。计算机程序可以被存储/分布在适当的介质上，诸如与其他硬件一起提供或作为其他硬件的一部分而提供的光存储介质或固态介质，但是也可以以其他形式来分布，诸如经由互联网或其他有线或无线电信系统。权利要求中的任何附图标记不应被解释为限制范围。
[0108]
附图标记列表
[0109]
100受试者的分段医学成像数据
[0110]
102脑部
[0111]
104目标部位
[0112]
106颅骨表面
[0113]
108进入位置
[0114]
110直线路径
[0115]
112关键解剖结构
[0116]
114关键脑功能区域
[0117]
116最佳路径
[0118]
118三维医疗器具定位引导件
[0119]
200医疗系统
[0120]
202计算机
[0121]
204增强现实系统
[0122]
206增强现实护目镜
[0123]
208位置配准系统
[0124]
210受试者
[0125]
212受试者支撑件
[0126]
214操作者
[0127]
216医疗器具
[0128]
218三维路径得分表面的绘制
[0129]
220计算系统
[0130]
222硬件接口
[0131]
224用户接口
[0132]
226存储装置
[0133]
230机器可执行指令
[0134]
232分段医学图像数据
[0135]
234配准
[0136]
236目标部位的位置
[0137]
238路径得分
[0138]
240三维路径得分表面
[0139]
242脉冲序列命令
[0140]
244初始k空间数据
[0141]
246mri系统
[0142]
248中间k空间数据
[0143]
250中间磁共振成像数据
[0144]
252可变形脑模型
[0145]
260弹性脑模型
[0146]
300医疗系统
[0147]
302放射治疗系统
[0148]
304放射治疗路径
[0149]
306放射治疗系统控制命令
[0150]
700增强现实显示器

技术特征：
1.一种医疗系统(200，300)，包括：-存储机器可执行指令(230)的存储器(226)；-增强现实系统(204)，被配置用于在操作者(214)的视觉三维视场内绘制虚拟对象；-计算系统(220)，其中所述机器可执行指令的执行使所述计算系统：-接收(400)描述受试者(210)的连续体积的分段医学成像数据(100，232)，所述受试者(210)的连续体积包括所述受试者的脑部(102)的至少一部分和颅骨表面(106)；-控制(402)所述增强现实系统以确定所述受试者与所述分段医学成像数据之间的配准(234)；-接收(404)所述脑部的所述至少一部分内的目标部位(104)；-对所述颅骨表面进行离散化(406)以限定多个进入位置(108)；-为所述多个进入位置的每一个进入位置确定(408)从所述颅骨表面延伸到所述目标部位的直线路径(110)；-使用所述分段医学成像数据将路径得分(238)分配(410)给针对所述多个进入位置中的每一个进入位置的所述直线路径；-计算(412)三维路径得分表面，所述三维路径得分表面由所述颅骨表面限定并且描述所述多个进入位置中的每一个进入位置的所述路径得分；以及-使用所述增强现实系统在所述受试者的所述颅骨表面上绘制(414)所述三维路径得分，其中使用所述配准将所绘制的所述三维路径得分表面定位在所述操作者的所述视觉三维视场中。2.根据权利要求1所述的医疗系统，其中所述颅骨表面被限定为所述受试者的外表面。3.根据权利要求1或2所述的医疗系统，其中所述机器可执行指令的执行还使所述计算系统：-使用所述多个进入位置中的每一个进入位置的所述路径得分来确定所选择的最佳路径(116)，以及-在操作者的所述视觉三维视场中绘制三维医疗器具定位引导件(118)，其中所述三维医疗器具定位引导件与所述最佳路径对准。4.根据权利要求3所述的医疗系统，其中所述机器可执行指令的执行还使所述计算系统：-控制所述增强现实系统以检测描述医疗器具的三维位置的器具位置；以及-如果所述器具位置与所述最佳路径对准，则在所述操作者的所述视觉三维视场中绘制工具对准指示器。5.根据权利要求3或4所述的医疗系统，其中所述医疗器具是以下中的任一者：活检针、深脑部电刺激可植入装置、脉冲发生器插入针、针和手术针。6.根据前述权利要求中任一项所述的医疗系统，其中所述存储器还包括弹性脑模型(260)，所述弹性脑模型(260)被配置用于响应于所述受试者的颅骨的穿孔和/或脑液的排出来修改所述分段医学成像数据，其中使用所述弹性脑模型来校正所述三维路径得分。7.根据前述权利要求中任一项所述的医疗系统，其中所述机器可执行指令的执行还使所述计算系统：-接收描述所述受试者的所述连续体积的中间磁共振成像数据；
‑
将所述中间磁共振成像数据与所述医学成像数据配准；以及-使用针对可变形脑模型的配准来修改所述分段医学成像数据，其中修改后的所述分段医学成像数据被用来重新计算所述三维路径得分表面。8.根据权利要求1所述的医疗系统，其中所述机器可执行指令的执行还使所述计算系统：-从所述增强现实系统接收对所述多个进入位置中的一个或多个进入位置的选择(304)；以及-构造放射治疗控制命令(306)，所述放射治疗控制命令被配置为控制放射治疗系统以沿着对所述多个进入位置中的一个或多个进入位置的选择来辐照所述目标部位。9.根据权利要求8所述的医疗系统，其中所述医疗系统包括所述放射治疗系统，其中所述机器可执行指令的执行还使所述计算系统用放射治疗系统控件来控制所述放射治疗系统。10.根据前述权利要求中任一项所述的医疗系统，其中所述分段医学成像数据包括以下中的任一者：分段t2加权磁共振成像数据、分段磁共振成像数据、分段计算机断层摄影磁共振成像数据、分段功能磁共振成像数据、磁共振血管造影术数据、以及它们的组合。11.根据前述权利要求中任一项所述的医疗系统，其中所述分段医学成像数据在所述连续体积内三维地分配多种组织类型，其中所述多种组织类型中的每种组织类型被分配数字损伤值，其中通过使用所述分段医学成像数据乘以其数字损伤得分来确定行进穿过所述多种组织类型中的每种组织类型的距离，来计算所述路径得分。12.根据前述权利要求中任一项所述的医疗系统，其中所述分段医学成像数据标识关键解剖结构(112)，其中所述机器可执行指令的执行还使所述计算系统排除通过任何所述关键解剖结构的任何直线路径。13.根据前述权利要求中任一项所述的医疗系统，其中所述分段医学成像数据还包括描述关键脑功能区域(114)的功能磁共振成像数据，其中所述机器可执行指令的执行还使所述计算系统执行以下中的任一者：-排除通过任何所述关键脑功能区域的任何直线路径；-其中所述关键脑功能区域中的每个关键脑功能区域被分配数字脑功能损伤值，其中所述路径得分至少部分地通过如下方式来计算：确定行进穿过所述关键脑功能区域中的每个关键脑功能区域的距离乘以其数字脑功能损伤得分；以及-它们的组合。14.根据前述权利要求中任一项所述的医疗系统，其中所述系统的用户可以使用ar护目镜接收实时反馈。15.根据权利要求14所述的医疗系统，其中所述反馈可以反映针的插入角度，其中所述针插入的角度变化可以被表达为颜色的变化。16.根据权利要求14或15所述的医疗系统，其中所述反馈可以反映所述针的插入速度，其中所述针的所述插入速度可以被表达为颜色的变化。17.一种计算机程序，包括用于由控制医疗系统(100，300)的计算系统(220)执行的机器可执行指令(230)，其中所述医疗系统包括增强现实系统(204)，所述增强现实系统(204)被配置用于在操作者(214)的视觉三维视场内绘制虚拟对象，其中所述机器可执行指令的
执行使所述计算系统：-接收(400)描述受试者(210)的连续体积的分段医学成像数据(100，232)，所述受试者(210)的连续体积包括所述受试者的脑部(102)的至少一部分和所述受试者的颅骨表面(106)；-控制(402)所述增强现实系统以确定所述受试者与所述分段医学成像数据之间的配准(234)；-接收(404)所述脑部的所述至少一部分内的目标部位(104)；-对所述颅骨表面(106)进行离散化(406)以限定多个进入位置；-为所述多个进入位置的每一个进入位置确定(408)从所述颅骨表面延伸到所述目标部位的直线路径(110)；-使用所述分段医学成像数据将路径得分(238)分配(410)给针对所述多个进入位置中的每一个进入位置的所述直线路径；-计算(412)三维路径得分表面，所述三维路径得分表面由所述颅骨表面限定并且描述所述多个进入位置中的每一个进入位置的所述路径得分；以及-使用所述增强现实系统在所述受试者的所述颅骨表面上绘制(414)所述三维路径得分，其中使用所述配准将所绘制的所述三维路径得分表面定位在所述操作者的所述视觉三维视场中。18.一种操作医疗系统(200，300)的方法，其中所述医疗系统包括增强现实系统(204)，所述增强现实系统(204)被配置用于在操作者(214)的视觉三维视场内绘制虚拟对象，其中所述方法包括：-接收(400)描述受试者(210)的连续体积的分段医学成像数据(100，232)，所述受试者(210)的连续体积包括所述受试者的脑部的至少一部分和所述受试者的颅骨表面；-控制(402)所述增强现实系统以确定所述受试者与所述分段医学成像数据之间的配准；-接收(404)所述脑部的所述至少一部分内的目标部位；-对所述颅骨表面进行离散化(406)以限定多个进入位置；-为所述多个进入位置中的每一个进入位置确定(408)从所述颅骨表面延伸到所述目标部位的直线路径(110)；-使用所述分段医学成像数据将路径得分(238)分配(410)给针对所述多个进入位置中的每一个进入位置的所述直线路径；-计算(412)三维路径得分表面，所述三维路径得分表面由所述颅骨表面限定并且描述所述多个进入位置中的每一个进入位置的所述路径得分；以及-使用所述增强现实系统在所述受试者的所述颅骨表面上绘制(414)所述三维路径得分，其中使用所述配准将所绘制的所述三维路径得分表面定位在所述操作者的所述视觉三维视场中。

技术总结
本文公开了一种包括增强现实系统(204)的医疗系统(200，300)，该增强现实系统被配置用于在操作者(214)的视觉三维视场内绘制虚拟对象。机器可执行指令(230)的执行使计算系统：接收(400)描述受试者(210)的连续体积的分段医学成像数据(100，232)，受试者的连续体积包括受试者的颅骨表面(106)和受试者的脑部(102)的至少一部分；控制(402)增强现实系统以确定受试者与分段医学成像数据之间的配准(234)；接收(404)脑部的至少一部分内的目标部位(104)；对颅骨表面进行离散化(406)以限定多个进入位置(108)；为多个进入位置中的每一个确定(408)延伸到目标部位的直线路径(110)；使用分段医学成像数据将路径得分(238)分配(410)给针对多个进入位置中的每一个的直线路径；计算(412)由颅骨表面限定并且描述多个进入位置中的每一个的路径得分的三维路径得分表面；以及使用增强现实系统绘制(414)三维路径得分表面，其中使用配准将所绘制的三维路径得分表面定位在操作者的视觉三维视场中。定位在操作者的视觉三维视场中。定位在操作者的视觉三维视场中。


技术研发人员：A
受保护的技术使用者：皇家飞利浦有限公司
技术研发日：2021.11.04
技术公布日：2023/7/12