用于图像引导医疗程序中导航的系统和方法与流程

用于图像引导医疗程序中导航的系统和方法
1.本技术是于2017年12月07日提交的名称为“用于图像引导医疗程序中导航的系统和方法”的中国专利申请201780067272.5(pct/us2017/065162)的分案申请。
2.相关申请
3.本专利申请要求于2016年12月8日提交的题为“systems and methods for navigation in image-guided medical procedures(用于图像引导医疗程序中导航的系统和方法)”的美国临时专利申请us62/431,696的申请日的优先权和权益，该临时专利申请在此通过引用以其整体并入本文。
技术领域
4.本公开涉及用于控制可转向细长装置的系统和方法。


背景技术：

5.微创医疗技术旨在减少在医疗程序期间受损的组织量，从而减少患者康复时间、不适和有害的副作用。这种微创技术可以通过患者解剖结构中的天然孔口或通过一个或多个外科手术切口来执行。通过这些天然孔口或切口，操作者可以插入微创医疗器械(包括外科手术、诊断、治疗或活组织检查器械)以到达目标组织位置。一种这样的微创技术是使用柔性和/或可转向/可操控(steerable)的细长装置，诸如柔性导管，该细长装置可以被插入解剖通道中并朝患者解剖结构内的感兴趣区域导航。由医务人员控制这种细长装置涉及几个自由度的管理，包括至少管理细长装置的插入和缩回以及装置的转向。此外，还可以支持不同的操作模式。
6.为了促进这种微创医学技术，成像配准技术可以被用于至少将术前或术中成像的模态与插入的微创医疗器械的方位和/或取向相关联，以相对于患者体内的目标组织位置对器械导航和定位。以这种方式，操作者或其他操作者能够更准确地指导和控制微创医疗器械的操作。
7.因此，在微创医疗技术期间提供对医学成像的使用的改进将是有利的。


技术实现要素：

8.通过说明书随附的权利要求充分地总结了本发明的实施例。
9.与一些实施例一致，一种方法包括由具有至少一个处理装置的医学成像系统接收患者解剖结构的至少一部分的三维图像数据；由处理装置识别与患者解剖结构的该部分相关联的三维图像数据的一部分；在处理装置处接收来自操作者输入装置的输入，该输入包括在由三维图像数据限定的空间内进行虚拟移动的导航方向；跟踪虚拟移动；并且基于跟踪的虚拟移动生成患者解剖结构的该部分的模型。其他实施例包括相应的计算机系统、设备和记录在一个或多个计算机存储装置上的计算机程序，每个计算机程序被配置为执行方法的动作。
10.与其他实施例一致，提供了一种用于处理医疗图像的系统。该系统可以包括存储
器，其存储患者解剖结构的至少一部分的一组三维图像数据；和与存储器通信的处理装置，该处理装置被配置为执行指令以执行操作。操作可以包括接收患者解剖结构的至少一部分的三维图像数据，识别三维图像数据的一部分，以及接收来自操作者输入装置的输入。输入可以限定由三维图像数据的一部分限定的图像空间内的路径。操作还可以包括基于由三维图像数据限定的图像空间内的路径生成患者解剖结构的该部分的模型。该方面的其他实施例包括相应的计算机系统、设备和记录在一个或多个计算机存储装置上的计算机程序，每个计算机程序被配置为执行方法的动作。
11.与其他实施例一致，提供了一种用于显示医学图像并与医学图像交互的系统。该系统可以包括存储器，其存储患者解剖结构的至少一部分的一组三维图像数据；和与该存储器通信的处理装置。处理装置被配置为执行存储在存储器中的指令以执行操作。操作可以包括在与处理装置通信的显示器中渲染图形用户界面，接收患者解剖结构的至少一部分的三维图像数据，以及识别与患者解剖结构的一部分相关联的三维图像数据的一部分。操作还可以包括接收来自操作者输入装置的输入，该输入限定由三维图像数据限定的图像空间内的路径。该系统还包括基于由三维图像数据限定的图像空间内的路径生成患者解剖结构的该部分的模型。该方面的其他实施例包括相应的计算机系统、设备和记录在一个或多个计算机存储装置上的计算机程序，每个计算机程序被配置为执行方法的动作。
12.应理解，前面的一般性描述和以下的详细描述实际上都是示例性和解释性的，并且旨在提供对本公开的理解而不限制本公开的范围。在这方面，从以下详细描述中，本公开的其他方面、特征和优点对于本领域技术人员而言将是显而易见的。
附图说明
13.图1是根据一些实施例的远程操作医疗系统的简化图。
14.图2a是根据一些实施例的医疗器械系统的简化图。
15.图2b是根据一些实施例的具有扩展医疗工具的医疗器械的简化图。
16.图3a和图3b是根据一些实施例的包括安装在插入组件上的医疗器械的患者坐标空间的侧视图的简化图。
17.图4是根据本公开的一些实施例的示出为图像引导的微创医疗程序提供基于图像的引导的一般方法的流程图。
18.图5a是根据本公开的一些实施例的用于从三维图像数据生成模型或模型的一部分而不执行分割过程的方法的流程图。
19.图5b是根据本公开的一些实施例的针对模型生成的一部分使用分割过程以从三维图像数据生成模型或模型的一部分的方法的流程图。
20.图6a、图6b和图6c是根据本公开的一些实施例的示例性医学图像数据的二维渲染。
21.图7a、图7b和图7c描绘了根据本公开的一些实施例通过对图6a-6c的图像数据分别进行滤波而获得的滤波图像数据的多个二维视图。
22.图7d、图7e和图7f是根据本公开的一些实施例的图7a-7c中所示的三维滤波图像数据的正视图。
23.图8a是根据本公开的一些实施例的示例性医学图像数据的三维渲染。
24.图8b是具有基于线的导航路径模型的图8a的示例性医学图像数据的三维渲染。
25.图9a、图9b、图9c和图9d示出了根据本公开的一些实施例的包括与医疗程序的目标对应的数据的示例性图像数据。
26.图10根据本公开的一些实施例示出了从三维图像数据内的透视图(perspective view)指向在图9a-9d中识别的目标的指示箭头。
27.图11a示出了根据本公开的一些实施例的通过分割图像数据而生成的表面模型的内部视图。
28.图11b示出了根据本公开的一些实施例的结合了图11a的表面模型与从中获得表面模型的滤波图像数据的视图的内部视图。
29.图12a、图12b、图12c和图12d示出了根据本公开的一些实施例的产生示例性患者解剖结构的模型的过程。
30.图13是根据本公开的一些实施例的示例性用户界面。
31.图14示出了根据本公开的一些实施例的用于在微创医疗程序期间提供基于图像的引导的方法1300的流程图。
32.通过参考下面的详细描述，可以最佳地理解本公开的实施例及其优点。应当理解，相同的附图标记用于标识在一个或多个附图中示出的相同元件，其中附图中所示的元件用于说明本公开的实施例的目的而不是为了限制本公开的实施例。
具体实施方式
33.在以下描述中，具体的细节被阐述以描述与本公开一致的一些实施例。阐述了许多具体细节以便提供对实施例的透彻理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节中的一些或全部的情况下实践一些实施例。本文公开的具体实施例是说明性的而非限制性的。本领域技术人员可以意识到，虽然本公开没有具体描述其他元件，但是这些元件也在本公开的范围和精神内。另外，为了避免不必要的重复，结合一个实施例示出和描述的一个或多个特征可以被合并到其他实施例中，除非另外特别描述或者如果一个或多个特征使得实施例不能工作。
34.在一些情况下，没有详细描述公知的方法、程序、部件和电路，以免不必要地模糊实施例的各方面。
35.本公开根据各种器械和器械的部分在三维空间中的状态对其进行描述。如本文所用，术语“方位(position)”是指物体或物体的一部分在三维空间中的位置(例如，沿笛卡尔x，y和z坐标的三个平移自由度)。如本文所用，术语“取向”是指物体或物体的一部分的旋转放置(三个旋转自由度——例如，滚转、俯仰和偏摆)。如本文所用，术语“姿势”是指物体或物体的一部分在至少一个平移自由度中的方位以及物体或物体的一部分在至少一个旋转自由度(多达六个总自由度)中的取向。如本文所用，术语“形状”是指沿物体测量的一组姿势、方位或取向。
36.图1是根据一些实施例的远程操作医疗系统100的简化图。在一些实施例中，远程操作医疗系统100可以适用于例如外科手术、诊断、治疗或活组织检查/活检程序。如图1所示，医疗系统100通常包括远程操作操纵器组件102，其用于操作医疗器械104以对患者p执行各种程序。远程操作操纵器组件102被安装到手术台t或其附近。主控组件106允许操作者
o(例如，如图1所示的外科医生、临床医生或医师)观察介入部位并控制远程操作操纵器组件102。
37.主控组件106可以位于操作者的控制台处，该控制台通常位于与手术台t相同的房间中，诸如在外科手术台的患者p所在一侧。然而，应该理解，操作者o可以位于与患者p不同的房间内或在与患者p完全不同的建筑物中。主控组件106通常包括用于控制远程操作操纵器组件102的一个或多个控制装置。控制装置可以包括任何数量的各种输入装置，诸如操纵杆、轨迹球、数据手套、触发枪、手动控制器、语音识别装置、身体运动或存在传感器和/或类似装置。为了向操作者o提供直接控制器械104的强烈感觉，控制装置可以被提供有与相关联的医疗器械104相同的自由度。以这种方式，控制装置为操作者o提供控制装置与医疗器械104是一体的远程呈现/临场感或感知。
38.在一些实施例中，控制装置可以具有比相关联的医疗器械104更多或更少的自由度，并且仍然向操作者o提供远程呈现。在一些实施例中，控制装置可以可选地是手动输入装置，其以六个自由度移动并且还可以包括用于致动器械(例如，用于闭合抓握钳口、向电极施加电势、输送药物治疗，和/或类似操作)的可致动手柄。
39.远程操作操纵器组件102支撑医疗器械104并且可以包括一个或多个非伺服控制连杆的运动学结构(例如，可以被手动定位并锁定在适当位置的一个或多个连杆，通常称为装配结构)和远程操作操纵器。远程操作操纵器组件102可以可选地包括多个致动器或马达，其响应于来自控制系统(例如，控制系统112)的命令而驱动医疗器械104上的输入。致动器可以可选地包括驱动系统，当驱动系统耦连到医疗器械104时，驱动系统可以将医疗器械104推进到自然或外科手术创建的解剖孔口中。其他驱动系统可以以多个自由度移动医疗器械104的远端，所述多个自由度可以包括三个线性运动自由度(例如，沿x，y，z笛卡尔轴线的线性运动)和三个旋转运动自由度(例如，围绕x，y，z笛卡尔坐标轴的旋转)。另外，致动器可以用于致动医疗器械104的可铰接的末端执行器，用于在活检装置和/或类似物的钳口中抓住组织。诸如解码器、编码器、电位计和其他机构的致动器方位传感器可以向医疗系统100提供描述马达轴的旋转和取向的传感器数据。该方位传感器数据可以用于确定由致动器操纵的物体的运动。
40.远程操作医疗系统100可以包括具有一个或多个子系统的传感器系统108，所述子系统用于接收关于远程操作操纵器组件102的器械的信息。这种子系统可以包括：方位/位置传感器系统(例如，电磁(em)传感器系统)；形状传感器系统，用于确定沿着可以构成医疗器械104的柔性主体的远端和/或一个或多个区段的方位、取向、速率、速度、姿势和/或形状；和/或用于从医疗器械104的远端捕获图像的可视化系统。
41.远程操作医疗系统100还包括显示系统110，用于显示由传感器系统108的子系统生成的手术部位和医疗器械104的图像或表示。显示系统110还可以在规划和导航操作期间替换图像数据。显示系统110和主控组件106可以被取向以使得操作者o可以利用远程呈现/远程临场的感知来控制医疗器械104和主控组件106。
42.在一些实施例中，医疗器械104可以具有可视化系统(下面更详细地讨论)，其可以包括观察范围组件，观察范围组件记录手术部位的即时或实时图像并通过医疗系统100的一个或多个显示器(诸如显示系统110的一个或多个显示器)将图像提供给操作者或者操作者o。即时图像(concurrent image)可以是例如由位于手术部位内的内窥镜捕获的二维或
三维图像。在一些实施例中，可视化系统包括内窥镜部件，其可以整体地或可拆卸地耦连到医疗器械104。然而，在一些实施例中，附接到单独的操纵器组件的单独的内窥镜可以与医疗器械104一起使用以对手术部位成像。可视化系统可以实现为硬件、固件、软件或其组合，其与一个或多个计算机处理器交互或以其他方式由一个或多个计算机处理器执行，计算机处理器可以包括控制系统112的处理装置114，其可以包括中央处理单元(cpu)和图形处理单元(gpu)。
43.显示系统110还可以显示由可视化系统捕获的手术部位和医疗器械的图像。在一些示例中，远程操作医疗系统100可以配置医疗器械104和主控组件106的控件，使得医疗器械的相对方位类似于操作者o的眼睛和手的相对方位。以这种方式，操作者o可以操纵医疗器械104和手控件好像在基本上真实临场的情况下观察工作空间。就真实临场而言，它意味着图像的呈现是模拟正在物理操纵医疗器械104的操作者的视点的真实透视图像。
44.在一些示例中，显示系统110可以使用来自成像技术(诸如，计算机断层摄影术(ct)、磁共振成像(mri)、荧光检查、温度记录法、超声、光学相干断层摄影术(oct)、热成像、阻抗成像、激光成像、纳米管x射线成像和/或类似技术)的图像数据来呈现术前或术中记录的手术部位的图像。术前或术中图像数据可以呈现为二维、三维或四维(包括例如基于时间或基于速度的信息)图像和/或作为来自由术前或术中图像数据集创建的模型的图像。
45.在一些实施例中，通常出于对成像引导外科手术程序的目的，显示系统110可以显示虚拟导航图像，其中医疗器械104的实际位置与术前或即时图像/模型配准(即，动态地参考)。这样做可以从医疗器械104的视点向操作者o呈现内部手术部位的虚拟图像。在一些示例中，视点可以来自医疗器械104的尖端。医疗器械104的尖端的图像和/或其他图形或字母数字指示符可以被叠加在虚拟图像上以帮助操作者o控制医疗器械104。在一些示例中，医疗器械104可以在虚拟图像中不可见。
46.在一些实施例中，显示系统110可以显示虚拟导航图像，其中医疗器械104的实际位置与术前或即时图像配准，以从外部视点向操作者o呈现医疗器械104在手术部位内的虚拟图像。医疗器械104的一部分的图像或其他图形或字母数字指示符可以被叠加在虚拟图像上，以帮助操作者o控制医疗器械104。如本文所述，可以将数据点的视觉表示呈现给显示系统110。例如，本公开描述的测量数据点、移动数据点、配准数据点和其他数据点可以以视觉表示显示在显示系统110上。数据点可以通过显示系统110上的多个点(point)或圆点(dot)在用户界面中被可视地表示，或者被可视地表示为渲染模型，诸如基于数据点集创建的网格或线模型。在一些示例中，数据点可以根据它们表示的数据进行颜色编码。在一些实施例中，在已经实现每个处理操作以改变数据点之后，可以在显示系统110中刷新视觉表示。
47.远程操作医疗系统100还可以包括控制系统112。控制系统112包括至少一个存储器116和至少一个处理装置114，用于实现医疗器械104、主控组件106、传感器系统108和显示系统110之间的控制。控制系统112还包括编程指令120(例如，存储指令的非暂时性机器可读介质)以实现根据本文公开的各方面描述的一些或所有方法，包括用于向显示系统110提供信息的指令。虽然控制系统112在图1的简化示意图中示为单个块，但该系统可以包括两个或更多个数据处理电路，其中处理的一部分可选地在远程操作操纵器组件102上或附近被执行，处理的另一部分在主控组件106处被执行，和/或诸如此类。控制系统112的处理
dynamic registration of a model of an anatomic structure for image-guided surgery”)公开了一个这样的系统，该专利申请通过引用以其整体并入本文。远程操作医疗系统100还可以包括可选的操作和支持系统(未示出)，诸如照明系统、转向控制系统、冲洗系统和/或抽吸系统。在一些实施例中，远程操作医疗系统100可以包括一个以上的远程操作操纵器组件和/或一个以上的主控组件。远程操作操纵器组件的确切数量将取决于外科手术程序和手术室内的空间限制以及其他因素。主控组件106可以被并置或者它们可以位于不同的位置。多个主控组件允许一个以上操作者以各种组合控制一个或多个远程操作操纵器组件。
52.图2a是根据一些实施例的医疗器械系统200的简化图。在一些实施例中，医疗器械系统200可以用作利用远程操作医疗系统100执行的图像引导的医疗程序中的医疗器械104。在一些示例中，医疗器械系统200可以用于非远程操作的探索程序或涉及传统的手动医疗器械(诸如内窥镜检查)的程序。可选地，医疗器械系统200可以用于收集(即，测量)对应于患者(诸如患者p)的解剖通道内的位置的数据点集。
53.医疗器械系统200包括耦连到驱动单元204的细长装置202，诸如柔性导管。细长装置202包括具有近端217和尖端部分或远端的柔性主体216。在一些实施例中，柔性主体216具有大约3mm的外直径。其他柔性主体外直径可以更大或更小。
54.医疗器械系统200还包括跟踪系统230，其使用一个或多个传感器和/或成像装置来确定沿着柔性主体216的远端218和/或一个或多个区段224的方位、取向、速率、速度、姿势和/或形状，如下面进一步详细描述的。在远端218和近端217之间的柔性主体216的整个长度可以有效地分成段224。如果医疗器械系统200与远程操作医疗系统100的医疗器械104一致，则跟踪系统230。跟踪系统230可任选地实施为硬件、固件、软件或其组合，其与一个或多个计算机处理器交互或另外地通过一个或多个计算机处理器执行，所述计算机处理器可以包括图1中的控制系统112的处理器。
55.跟踪系统230可以可选地使用形状传感器222来跟踪远端218和/或一个或多个区段224。形状传感器222可以可选地包括与柔性主体216对准的光纤(例如，在内部通道(未示出)内提供)或外部安装)。在一个实施例中，光纤的直径约为200μm。在其他实施例中，尺寸可以更大或更小。形状传感器222的光纤形成用于确定柔性主体216的形状的光纤弯曲传感器。在一个替代方案中，包括光纤布拉格光栅(fbg)的光纤被用于在一个或多个维度中提供结构的应变测量。用于监测光纤在三维中的形状和相对方位的各种系统和方法被描述在以下文献中：美国专利申请us11/180,389(2005年7月13日提交)(公开了“fiber optic position and shape sensing device and method relating thereto”)；美国专利申请us 12/047,056(2004年7月16日提交)(公开了“fiber-optic shape and relative position sensing”)；美国专利us6,389,187(1998年6月17日提交)(公开了“optical fiber bend sensor”)，它们通过引用以其整体并入本文。在一些实施例中，传感器可以采用其他合适的应变传感技术，诸如瑞利散射、拉曼散射、布里渊散射和荧光散射。在一些实施例中，细长装置的形状可以使用其他技术来确定。例如，柔性主体216的远端姿势的历史可以被用于在时间间隔内重建柔性主体216的形状。在一些实施例中，跟踪系统230可以可选地和/或另外地使用方位传感器系统220来跟踪远端218。方位传感器系统220可以是em传感器系统的部件，其中方位传感器系统220包括可以经受外部产生的电磁场的一个或多个
sensitivity”)和美国专利申请us12/286,644(2008年9月30日提交)(公开了“passive preload and capstan drive for surgical instruments”)中，这些文献通过引用以其整体并入本文。
60.柔性主体216还可以容纳在驱动单元204和远端218之间延伸以可控地弯曲远端218的缆线、联动装置或其他转向控件(未示出)，如图所示，例如，通过远端218的虚线描绘部分219。在一些示例中，至少四根缆线被用于提供控制远端218的俯仰的独立的“上下”转向和控制远端281的偏摆的“左右”转向。可转向的细长装置被详细描述在美国专利申请us13/274,208(2011年10月14日提交)(公开“catheter with removable vision probe”)，该专利申请通过引用整体并入本文。在医疗器械系统200由远程操作组件致动的实施例中，驱动单元204可以包括驱动输入，其可拆卸地耦连到远程操作组件的驱动元件(诸如致动器)并从其接收电力。在一些实施例中，医疗器械系统200可以包括夹持特征、手动致动器或用于手动控制医疗器械系统200的运动的其他部件。细长装置202可以是可转向的，或者可替代地，系统可以是不可转向的，其没有集成机构用于使操作者控制远端218的弯曲。在一些示例中，在柔性主体216的壁中限定一个或多个管腔，医疗器械可以通过所述管腔部署并在目标外科手术位置处使用。
61.在一些实施例中，医疗器械系统200可以包括柔性支气管器械，诸如，用于肺的检查、诊断、活组织检查或治疗的支气管镜或支气管导管。医疗器械系统200还适用于经由各种解剖系统的任一系统中自然或外科手术创建的连接通道对其他组织进行导航和治疗，所述解剖系统包括结肠、肠、肾和肾小管、大脑、心脏、包括脉管系统的循环系统和/或类似物。
62.来自跟踪系统230的信息可以被发送到导航系统232，在那里它与来自可视化系统231和/或术前获得的模型的信息组合，以向操作者提供实时方位信息。在一些示例中，实时方位信息可以显示在图1的显示系统110上以控制医疗器械系统200。在一些示例中，图1的控制系统112可以将方位信息作为定位医疗器械系统200的反馈。在2011年5月13日提交的美国专利申请us13/107,562中提供了使用光纤传感器来配准和显示外科手术器械与外科手术图像的各种系统，其公开了“medical system providing dynamic registration of a model of an anatomic structure for image-guided surgery”，其通过引用整体并入本文。
63.在一些示例中，医疗器械系统200可以在图1的医疗系统100中远程操作。在一些实施例中，图1的远程操作操纵器组件102可以由直接操作者控件代替。在一些示例中，直接操作者控件可以包括用于器械的手持操作的各种手柄和操作者界面。
64.图3a和图3b是根据一些实施例的包括安装在插入组件上的医疗器械的患者坐标空间的侧视图的简化图。如图3a和3b所示，外科手术环境300包括定位在平台302上的患者p。患者的总体运动受到镇静，束缚和/或其他手段的限制，从这个意义上说，患者p可以在外科手术环境中静止。包括患者p的呼吸和心脏运动的循环解剖学运动可以继续，除非要求患者屏住他或她的呼吸以暂时中止呼吸运动。因此，在一些实施例中，可以在呼吸的特定阶段收集数据，并用该阶段标记和识别数据。在一些实施例中，可以从患者p采集的生理信息推断采集数据的阶段。在外科手术环境300内，医疗器械304被耦连到器械托架306。在一些实施例中，医疗器械304可以使用em传感器、形状传感器和/或采集表征医疗器械304的方位、取向和/或形状信息的其他传感器模态。器械托架306被安装到固定在手术环境300内的插
入台308上。可替代地，插入台308可以是可移动的但在手术环境300内(例如，经由跟踪传感器或其他跟踪设备)具有已知位置。器械托架306可以是远程操作操纵器组件(例如，远程操作操纵器组件102)的部件，远程操作操纵器组件耦连到医疗器械304以控制细长装置310的远端318的插入运动(即，沿a轴线的运动)，并且可选地控制细长装置310的远端318在包括偏摆、俯仰和滚转的多个方向上的运动。器械托架306或插入台308可以包括致动器，诸如伺服马达(未示出)，其控制器械托架306沿插入台308的运动。
65.细长装置310被耦连到器械主体312。器械主体312被耦连到器械托架306并相对于器械托架306固定。在一些实施例中，光纤形状传感器314被固定在器械主体312上的近侧点316处。在一些实施例中，光纤形状传感器314的近侧点316可以沿着器械主体312移动，但是近侧点316的位置可以是已知的(例如，经由跟踪传感器或其他跟踪装置)。形状传感器314测量从近侧点316到另一点(诸如细长装置310的远端318)的形状。医疗器械304可以基本上类似于医疗器械系统200。
66.当方位测量装置320沿插入轴线a在插入台308上移动时，方位测量装置320提供关于器械主体312的方位的信息。方位测量装置320可以包括解码器、编码器、电位计和/或确定控制器械托架306的运动并因此控制器械主体312的运动的致动器的旋转和/或取向的其他传感器。在一些实施例中，插入台308是线性的。在一些实施例中，插入台308可以是弯曲的或具有弯曲和线性部分的组合。
67.图3a示出了器械主体312和器械托架306沿着插入台308处于缩回方位。在该缩回方位，近侧点316位于轴线a上的方位l0。在沿着插入台308的该方位，近侧点316的位置的分量a可以被设置为零和/或其他参考值，以提供基准参考来描述器械托架306在插入台308上的方位，并因此描述近侧点316在插入台308上的方位。在器械主体312和器械托架306的这种缩回方位下，细长装置310的远端318可以恰好位于患者p的进入孔口内。同样在该方位，方位测量装置320可以被设置为零和/或其他参考值(例如，i＝0)。在图3b中，器械主体312和器械托架306沿着插入台308的线性轨道被推进，并且细长装置310的远端318已被推进到患者p中。
68.图4是示出用于启用图像引导的微创医疗程序的一般方法400的流程图。方法400可以提供医学图像和器械(如图2的细长装置202和/或图3a和图3b的医疗器械304)之间的配准。方法400被示为一系列步骤或操作。方法400的实施例可以包括在枚举的操作之前、之后、之间或作为枚举的操作的一部分的附加或替代操作。在本公开的一些实施例中，一组指令可以被存储在计算机可读介质上，在处理器执行该指令时将使得具有处理器的机器执行方法400的实施例。
69.因此，方法400可以在操作402处开始，其中术前或术中图像数据从成像系统获得，所述成像系统使用计算机断层摄影术(ct)、磁共振成像(mri)、荧光检查、温度记录法、超声、光学相干断层摄影术(oct)、热成像、阻抗成像、激光成像、纳米管x射线成像或其他合适的成像模态以提供图像数据。在一些实施例中，图像数据是通过从存储器检索而获得的存储图像数据。在各种实施例中，术前或术中图像数据可以对应于二维、三维或四维(包括例如基于时间或基于速度的信息)图像。例如，图像数据可以是表示患者p的一部分的低分辨率或低剂量的三维ct数据。图像数据可以表示患者p的上部或下部躯干并且包括表示患者p的心脏、肺部、胃、肝、肠、肋骨、肌肉等的数据。其他实施例可以包括来自患者p的任何其他
区域的图像数据。图像数据可以是存储在图1的存储器116中的图像数据122。
70.在操作404处，单独的计算机软件或与手动输入组合的计算机软件用于将记录的图像转换成部分或整个解剖器官或解剖区域的二维或三维复合表示或模型。用于从图像数据生成模型的一些方法可以包括分割过程(segmentation process)，其识别模型的某些特征(诸如肺中支气管通道的曲率)、提取曲率、并使用曲率来生成表示支气管通道的中心线模型。该分割依赖于人工智能来生成模型，诸如中心线模型。但是，当图像质量不足或出于其他原因时，分割可能会失败。因为图像质量对于分割是至关重要的，所以可能使用和/或需要更高剂量的成像剂和/或辐射来提供足够质量的图像数据用于自动分割。因此，如本文所述，成像数据到模型的转换可以在不分割图像数据的情况下完成，而不应用分割过程，在操作404处，来自操作者o的输入可以被接收并且被用于生成模型。例如，输入可以包括由从一个或多个输入装置130接收的图像数据所限定的空间内的虚拟移动的导航方向。导航方向可以用于代替中心线模型或作为中心线模型，类似于可以从分割过程中获得的中心线模型。
71.在操作406处，当患者p在手术台t上时，从操作者输入获得的模型可以用于将图像数据配准到患者p，如图1和图3a-图3b所示。通过将获得的模型和相关联的图像数据配准到患者p，图像数据可以用于在患者p内对微创器械导航和定位以执行图像引导的程序。通常，配准涉及通过使用刚性和/或非刚性变换将测量点匹配到从模型获得的点。可以通过将微创器械驱动到解剖结构中的界标，并且在程序期间使用电磁线圈扫描和跟踪或使用形状传感器系统来跟踪器械的方位，而生成测量点。测量点可以被生成以在迭代最近点(icp)中使用，或者另外的点集配准方法也可以用于本公开范围内的配准过程。点云配准技术的一些适当示例可以在2015年8月14日提交的题为“systems and methods of registration for image-guided surgery”的美国临时专利申请us62/205440和在2016年8月11日提交的名称为“systems and methods of registration for image-guided surgery”的pct/us16/046633中找到，上述文献的公开内容通过引用整体并入本文。在其他实施例中可以使用其他配准技术。
72.图5a是在不执行分割过程的情况下从三维图像数据生成模型或模型的一部分的方法500的流程图。方法500的一些实施例可以被理解为图4的操作404的实施例。方法500被描绘为一系列枚举的操作。方法500的实施例可以包括在如图5a所示的方法500之前、之后、之间或作为其一部分的附加或替代操作。方法500的一些实施例可以省略一个或多个枚举的操作。另外，方法500的一些实施例包括存储在计算机可读介质上的一组指令，类似于存储在图1的存储器116中的指令120。处理装置可以执行该组指令以使得医疗系统(如图1的系统100)或其组件执行方法500的操作。
73.如图所示，方法500可以在操作502处开始，其中具有至少一个处理装置的医疗系统接收患者解剖结构的至少一部分的三维图像数据。例如，控制系统112的处理装置114可以接收图像数据。三维图像数据可以是ct数据，包括低剂量ct数据，或者从不同成像模态获得的其他图像数据。图像数据可以将成像的组织和解剖结构表示为位于三维图像空间或图像参考系内的一组体素。每个体素可以包括密度值(诸如辐射密度值)或可以用于区分图像空间内的不同类型的组织、流体、结构等的其他值。例如，当图像数据是ct图像数据时，以hounsfield(亨斯菲尔德)单位/亨氏单位测量的hounsfield值可以与每个体素相关联。在
其他实施例中可以使用其他辐射密度值。图6a-图6c示出了可以在操作502处使用的示例性医学图像数据。
74.在操作504处，处理装置可以识别与患者解剖结构的成像部分中的一个或多个解剖通道相关联的三维图像数据的一部分。图7a-图7f示出了通过对图像数据进行滤波而获得的滤波图像数据的二维和三维视图。作为识别一部分三维图像数据的部分，处理装置可以根据每个体素的hounsfield值对图像数据进行滤波。例如，处理装置可以使用较低的hounsfield值阈值和/或较高的hounsfield值阈值来对图像数据滤波，以识别图像空间内的特定特征。在一些示例中，解剖结构或组织的密度可以根据结构或组织类型而不同，与高或低hounsfield值互相关。例如，因为肺的解剖通道内的空气密度很低，所以可以将相应低的hounsfield值滤波器应用于图像数据，以有效地隔离肺的解剖通道中的空气。以这种方式，处理装置可以在图像数据内识别肺内的解剖通道的边界。
75.另外，一个或多个阈值可以被自适应地应用，使得不同区域的三维图像数据经历不同的阈值。例如，为了识别图像数据内的结构，可以应用识别图像数据内的主要气道的第一阈值。可以在数据的第一次通过(pass)期间应用该第一阈值。此后，可以应用数据滤波器的第二次通过。第二次通过可以包括第二阈值，其更好地识别在三维图像数据中包括的气道中的较小分支。以这种方式和其他方式，自适应气道阈值可以被用来识别图像数据中的解剖通道。在一些实施例中，第二阈值可以基于在第一次通过中识别的终端体素而被应用。在其他实施例中，包括三维图像数据的复制数据集可以经历不同的阈值，然后被组合在一起。这样的过程可以解决图像数据中出现的一定量的噪声。
76.在其他实施例中，处理装置可以对图像数据滤波以识别形成肺的支气管通道的实际壁的组织或恰好位于肺的支气管壁外部的血管。在一些实施例中，用户输入可以在显示特定类型的组织的请求中被接收，或者作为使hounsfield值滤波器适应特定设置或特定调整的请求而被接收。可以识别和选择性显示的一些其他类型的组织或材料包括：骨骼、肌肉、血管、支气管壁、胸膜、肿瘤、病变和诸如血液的流体。如本文所述，可以使用本文所述的特征和处理来分析除肺之外的器官，使得其他组织和材料可以被显示。经滤波的图像数据可以在显示器(诸如显示系统110)中呈现给操作者o，并且操作者o可以与控制系统112交互以调整应用于数据的一个或多个滤波器。
77.在操作506处，在显示器中显示经滤波的图像数据之后，处理装置可以从操作者输入装置(诸如图1的输入装置130之一)接收输入。输入可以限定经滤波的图像数据的图像空间内的虚拟移动的导航方向。图8a示出了在导航并向操作者输入装置提供输入时操作者可以查看的经滤波的图像数据的图像空间。在该示例中，操作者o可以操纵经滤波的图像数据，使得图像数据的透视图/视角(perspective)集中在气管的上部开口上，操作者o可以在图像数据中可视地识别该开口。一旦设置了视角(perspective)，操作者o就可以使用输入装置130在经滤波的图像数据内移动，同时更新显示器以在接收到每个输入之后显示经滤波的图像数据的新视角。例如，操作者o可以使用具有箭头键的键盘、鼠标、滚轮、追踪球、三维输入装置和/或任何其他合适的输入装置来在经滤波的图像数据内进行导航。
78.可选地，在操作507处，处理装置可以从操作者输入装置接收指定图像数据的一部分作为目标(例如，图9b-图9d中的目标800)的输入。
79.在操作508处，处理装置可以将输入作为图像空间内的虚拟移动进行跟踪。例如，
处理装置可以生成相对于图像空间的接收命令的列表或历史，使得由从一个或多个输入装置130接收的输入所限定的路径可以由处理装置114生成。当操作者o在图像空间内移动并且处理装置跟踪虚拟移动时，虚拟移动可以提供关于虚拟导航的解剖通道的模型的信息。在操作510处，跟踪路径可以用于生成患者解剖结构的导航部分的模型。例如，跟踪路径可以形成在三维空间中具有一条或多条线的线性模型。通过在虚拟导航通过所显示的解剖通道的同时保持解剖通道内的透视图/视角(perspective)，操作者o可以在三维图像空间内生成这些线。然后，线或路径可以限定类似于中心线模型的模型，其中该中心线模型将由分割过程产生。然而，导航路径在不使用图像数据的分割的情况下获得。操作者o可以与输入装置130相互作用以指示导航路径是否在解剖通道内大致居中或者是否靠近解剖通道的底部或顶部边缘设置。图8b示出了基于线的导航路径模型604。一个或多个模型可以使用与导航通道相关联的直径从导航路径产生。
80.可选地，在操作511，处理装置可以提供引导信息以帮助引导操作者到指定目标(例如，图9b-图9d中的目标800)。
81.在一些实施例中，由操作者o提供的输入可以生成整个模型，其可以随后在配准过程中使用。在另一个实施例中，如图5b所描述的，混合技术使用可用的分割信息来补充方法500。图5b是用于从三维图像数据生成混合模型或模型的一部分的方法520的流程图，其中模型的一些部分利用分割过程生成，并且模型的一些部分在不执行分割过程的情况下生成。方法520的一些实施例可以被理解为图4的操作404的实施例。方法520被描绘为一系枚举的操作。方法520的实施例可以包括在如图5b所示的方法520之前、之后、之间或作为其一部分的附加或替代操作。方法520的一些实施例可以省略一个或多个枚举的操作。另外，方法520的一些实施例包括存储在计算机可读介质上的一组指令，类似于存储在图1的存储器116中的指令120。处理装置可以执行该组指令以使得医疗系统(如图1的系统100)或其部件执行方法500的操作。
82.如图所示，方法520可以在操作502处开始，如先前针对方法500所描述的。在操作522处，分割算法可以被用来分割三维图像数据。分割识别模型的某些特征，诸如肺中支气管通道的曲率，以提取曲率。在操作524处，从分割过程提取的特征用于生成表示支气管通道的中心线模型和/或表面模型(例如，网格模型)。例如，分割算法可以用于生成限定肺的气管和主支气管的中心线模型。中心线模型可以与ct图像数据一起显示在显示系统110中。在操作526处，可选地，处理装置可以接收来自操作者输入装置的输入，以通过或沿着由分割生成的模型导航。例如，操作者o可以沿着中心线模型导航，直到到达中心线模型部分的远端。在操作528处，由分割生成的模型的终止点被识别，并且可以用作基于用户输入生成模型的起点。因此，分割算法可以用于生成患者解剖结构的一部分的中心线模型，然后由操作者o提供的输入可以用于继续模型，增强模型，或者将患者解剖结构的缺失部分添加到该模型。
83.在到达分割模型的末端之后，该方法可以继续到操作506，如前所述，其中处理装置可以从操作者输入装置(诸如图1的输入装置130之一)接收输入。输入可以限定经滤波的图像数据的图像空间内的虚拟移动的导航方向。可选地，处理装置可以检测中心线模型的末端，并且在操作者导航超出经滤波的图像数据内的中心线模型时处理装置可以自动开始跟踪操作者o的导航移动。如上所述，当图像质量降低到阈值以下时，分割可能会失败。例
如，低剂量ct图像数据可以为肺内较大通道的分割算法提供足够的信息，但是当通道变窄时并且当限定更远侧通道的体素的数量或分辨率降低时，可能会失败。然而，操作者o能够在显示系统110中示出的滤波图像数据中可视地确定这些远侧通道的近似边界。在分割失败的情况下，操作者o可以虚拟地导航(即，在图像空间内导航)通过图像数据以限定可以用于扩充分割模型的路径。在操作508处，处理装置可以将输入作为图像空间内的虚拟移动进行跟踪。因此，在该示例中，由操作者虚拟驱动的超出肺的气管和主支气管的跟踪导航移动可以提供输入数据，该输入数据可以用于将中心线模型扩展到肺中的次支气管和更多分生支气管(generation)，进而提供更完整的患者解剖模型。在操作510处，由分割数据和跟踪路径生成混合模型。例如，混合模型可以包括从分割获得的至少一个中心线和从操作者接收的虚拟导航输入获得的至少一个导航路径。因此，一个示例性模型可以包括从分割获得的近侧中心线模型部分，其具有连接到导航路径模型部分的远端，该导航路径模型部分又具有连接到从分割获得的远侧中心线模型部分的远端。
84.在一些情况下，解剖通道的一部分的独特方面可能导致该特定部分处的分割失败。例如，病变、肿瘤、阻塞或伤口可能存在于解剖通道的该部分处并且以通过分割算法不能解析或难以解析的方式使解剖通道变形。在一些实施例中，操作者o可以虚拟地导航通过未分割的特定部分。然后，操作者o可以通过输入装置130请求以下操作，即可以基于由虚拟导航限定的路径的远端来恢复分割算法的操作。因为导致分割失败的问题可能不会远离特定部分而存在，所以分割算法能够在操作者o已经导航超出特定问题部分之后继续。
85.现在参考图6a、图6b和图6c，其中示出了可以在不执行分割过程的情况下生成模型的方法(例如方法500、520)中使用的示例性医学图像数据的渲染。图6a示出了在轴向平面中拍摄的患者p的胸部区域的前视图；图6b是在冠状平面内拍摄的胸部区域的侧视图，以及图6c是在矢状平面中拍摄的胸部区域的正视图。图6a-6c所示的视图是从三维数据获得的截面图。这些视图是显示三维图像数据内的二维平面的“切片”。图6a-6c中的肺中的空气被描绘为黑色。
86.现在参考图7a、图7b和图7c中，这些图描绘了通过对图6a-6c中的图像数据进行滤波而获得的滤波图像数据的多个轴上视图。图7a-7c突出显示具有hounsfield值的体素700，该值可以与肺的解剖通道中的空气相关联。患者p的肺内的空气可以是患者p的最不密集部分，并且可以通过密度值滤波以隔离解剖通道。图7a-7c是横截面切片，其描绘的体素在患者p的肺中的气管和其他通道内具有空气密度。这些体素可以通过根据hounsfield值进行滤波而被识别并且与其他体素不同地进行渲染以将解剖通道突出显示给操作者o。在一些实施例中，可以滤波图像数据以将肺的解剖通道中的空气显示为独特的颜色，以便提供通道的模型。
87.图7d、图7e和图7f是图7a-7c中所示图像数据的正交视图，该图像数据被进一步滤波，以突出或描绘包括在图像数据中的患者解剖结构的特定方面。图7d基于hounsfield值被滤波，以描绘患者p的骨骼702和围绕患者p的肺的支气管壁706的脉管系统704部分。通过用户界面，操作者o可以从可选择组织的菜单中选择用于在用户界面中渲染的特定组织并且选择脉管系统704。基于选择，图7e可以被呈现到位。图7e示出了脉管系统704和支气管壁706。操作者o还可以与用户界面交互以仅选择支气管壁706用于显示，如图7f所见。基于每个体素的特征而不是其位置来对成像数据进行选择性滤波可以向操作者o提供期望的渲
染。此外，当操作者o虚拟导航通过数据以作为规划过程的一部分生成模型时，通过滤波图像数据，计算资源(cpu和/或gpu资源)需要渲染数据并更新数据视图。如下面结合图13的用户界面1200所描述的那样，操作者o可以与用户界面元素交互以选择性地将滤波器应用到图像数据并修改滤波器。
88.图8a从相对于图像数据内的解剖通道的特定视角描绘了图6a-6c和图7a-7d的三维图像数据。更具体地，图8a从驱动视角(例如从被导航通过解剖通道的装置(诸如内窥镜)的视角)示出了解剖通道的三维渲染。图8a中肺中的空气被渲染为透明的，使得操作者o可以看到支气管通道的内部。通过使肺内的空气透明，图8a的三维视图为操作者提供ct图像数据的可导航透视图。如图8a所示，图像数据被滤波以使空气渲染为透明，同时渲染具有肺壁600的hounsfield值的体素。以这种方式，肺壁600的内表面被呈现给操作者o以使操作者o能够虚拟地在壁600内导航。图8a中所示的透视图由图6a-6c和图7a-7c中所示的竖直准线和水平准线指示(竖直准线和水平准线在图8a的透视点处相交)，并且指向患者p的肺的主隆突。如图8a所示，从气管向远侧看，存在左支气管602a和右支气管602b。
89.图8b是具有基于线条的导航路径模型的图8a的示例性医学图像数据的三维渲染。图8b示出了导航路径604，其已经通过执行先前描述的方法(诸如方法500)而被生成。导航路径604可以通过跟踪操作者o在图像空间内的虚拟移动来生成。如图8b所示，操作者o已经沿右支气管602b导航，形成导航路径604，并已返回气管。然后，操作者o可以沿左支气管602a导航，进一步执行方法500的过程506、508和510，这将生成另一个导航路径，如导航路径604。该另一个导航路径可以连接到导航路径604，并且组合成患者p的肺的单个基于线条的模型。当操作者o在图像空间内虚拟地导航时，基于从操作者o接收的导航输入生成基于线条的模型。
90.现在参考图9a、9b、9c和9d，其中所示的是图像数据，类似于图6a-6c和图7a-7f中所示的图像数据，诸如包括与医疗程序的目标800对应的数据的ct图像数据。例如，目标800可以是肿瘤，诸如肺肿瘤。在一些实施方式中，通过密度滤波ct数据可以利于识别肿瘤的位置和形状。在方法500的一些实施例中，处理装置114可以识别目标800或者对目标800进行初步识别。这可以使用与图像数据的体素相关联的hounsfield值和/或基于不包括目标或包括不同尺寸的目标的患者解剖结构的存储ct数据的比较来完成。例如，可以通过比较在不同时间收集的图像数据来促进对目标800的识别。一些实施例，例如如方法500的可选过程507、511中所描述的，可以经由用户界面从操作者o接收指定图像数据的一部分作为目标800的输入。例如，操作者o可以在显示屏110上提供显示图9b-图9d的二维切片中的每一个的输入。在三个视图中的每一个上接收的输入可以用于产生目标识别区域，该目标识别区域以图9a中的三维透视图所示的三维图像空间中的方位为中心。目标识别区域还可以包括围绕中心方位形成的三维形状。例如，三维形状802可以包括如图9a所示的椭圆形、立方体等。操作者o可以与ui(用户界面)元素交互以控制三维形状802的尺寸和形状。在已经接收到三维形状802的方位和形状之后，三维形状802可以用作目标800，或者处理装置可以识别构成目标800的形状802内的体素。
91.图10示出了在图5a的方法500的操作502处获得的图像数据的一部分。在已经在图像数据内识别出目标800之后，处理装置可以确定图像数据内的当前视角/透视图(perspective)与目标800的三维方位之间的矢量。如图10所示，当前视角/透视图可以来自
肺隆突处的气管。在该示例中，目标800被识别为位于特定的叶(例如，左叶)内，使得矢量提供目标位置的方向指示。矢量可以在用户界面中渲染为箭头900，或表示矢量的另一用户界面元素以向操作者o显示目标800相对于三维数据内的导航方位的位置。可替代地，图像数据的部分可以被显示为指示目标位置的不同颜色、阴影、纹理或透明度。
92.在一些实施例中，在已经在图像数据内识别出目标800之后，处理装置可以确定一些建模通道不提供目标的入口。例如，处理装置可以确定某些通道在距目标800的预定阈值距离内没有点。作为另一个示例，处理装置可以确定在距离目标800的阈值距离内具有至少一个点的建模通道的子集。阈值距离可以在约0.5cm至约5cm的范围内。在一些实施例中，阈值距离可以在约1.5cm至约3cm的范围内。在处理装置确定哪些建模通道可以提供目标800的入口之后，处理装置可以阻止沿不提供目标800的入口的通道中的任一个的导航。如图10所示，标记902可以与图像数据一起被渲染，以向操作者传达图10中的图像右侧所示的通道不提供目标800的入口。虽然在一些实施例中，处理装置可以显示标记902而不阻止操作者沿相应的模型通道的导航，但是其他实施例可以显示标记902并且防止导航超出与标记902相关联的三维位置。
93.现在参考图11a和图11b所示，方法500的一些实施例可以另外包括分割图像数据以根据在过程502中接收的图像数据产生表面模型和/或产生与表面模型或图像数据相关联的中心线模型的步骤。如图11a所示，表面模型1000的内部透视图可以在图1的显示系统110中被呈现。表面模型1000可以通过任何适当的分割过程而被获得。然而，如上所述，分割可能无法提供部分分割的表面模型。因此，如图11b所示，医生o可以请求在显示系统110中同时显示表面模型1000和经经滤波的图像数据1002。此外，操作者o可以与用户界面元素交互以在表面模型1000的显示和经滤波的图像数据1002的显示之间进行选择。图11b中提供给操作者的信息视图可以允许操作者可视化表面模型1000和相关联的经滤波图像数据1002之间的任何差异。然后，操作者o可以继续过程504至510以补充部分分割的表面模型并产生更完整的分割表面模型。
94.另外，在方法500的一些实施例中，可以首先使用分割过程来生成具有相关联的中心线模型的第一表面模型。然而，因为分割过程可能在远离目标(诸如图9a-9d的目标800)一定距离处失败，操作者o然后可以提供输入以产生进一步延伸到患者解剖结构中的模型，使得完整的模型可用于图像引导的医疗程序。换句话说，从操作者o接收的输入可以用于扩充分割模型。
95.因此，图12a、图12b、图12c和图12d示出了图5a中所示的方法500的一些实施例的一些步骤，这些步骤在初始分割模型距目标一定距离处失败时提供初始分割模型的扩充。图12a示出了一组经滤波的图像数据1102，其包括从术前或术中成像数据创建的一组解剖通道。在该实施例中，通道是人肺的气道，但是方法500不限于任何特定的解剖结构。为了便于说明，经滤波的图像数据1102被描绘为二维的。这样，所描绘的图像数据1102可以被理解为图7f的三维支气管壁706的二维表示。该组经滤波的图像数据1102还可以包括与目标1104(诸如，如本文关于图9a-9d所述的目标800)对应的图像数据。由于图像数据1102的质量或者由于解剖通道的结构中的异常，从图1的处理装置114执行的分割过程不能产生表面模型和/或不能产生通过解剖通道从气管延伸到目标1104的中心线模型，如图11a所示。例如，图12b描绘了可以在图5a的方法500的一些实施例中使用的分割过程的结果。图12b示出
了以实线示出的示例性表面模型1106的轮廓。图12b还通过虚线示出了解剖通道的没有被分割过程分割的未分割部分1108。因为目标1104只能经由解剖通道的未分割部分1108进入，所以仅使用表面模型1106在目标1104的部位处执行微创医疗程序可能是不可能或困难的。
96.在生成表面模型1106的初始分割过程之后，可以生成中心线分割模型1110，如图12c所示。中心线分割模型1110可以包括一组曲线和/或直线，其在三维空间中延伸并且对应于分割模型1106中包含的通道的近似中心。模型的分辨率越高，模型1110中的该组直线或曲线将越准确地对应于通道的中心。用中心线分割模型1110表示肺可以提供较小的数据组，与表示通道壁的分割模型1106的数据组相比，较小的数据组可以被一个或多个处理器或处理内核更高效地处理。以这种方式，可以改进控制系统112的功能。如图12c所示，中心线分割模型1110包括若干分支点，其中一些分支点被突出显示以便可见。分支点a、b、c、d和e被显示在几个分支点中的每一个处。分支点a可以表示模型1110中气管分成左主支气管和右主支气管的点。右主支气管可以在中心线分割模型1110中被识别为位于分支点a和b之间。类似地，次支气管由分支点b和c识别并且在分支点b和e之间。其他分生支气管可以被限定在分支点c和d之间，这些分生支气管中的每一个可以与对应通道的内腔直径的表示相关联。在一些实施例中，中心线模型1110可以包括每个分割的分生支气管的平均直径值。平均直径值可以是患者特定值或来自多个患者的更通用的值。另外，中心线模型1110包括终端点，其示例性终端点f、g和h在图12c中标记。终端点f、g和h表示分割过程结果的限制。如图12c所示，中心线模型1110不延伸超出未分割部分1108到达目标1104。
97.如上面结合图5a的方法500的操作506所讨论的那样，操作者o可以经由输入装置130或控制系统112可以使用的另一个操作者输入装置提供输入，以扩充中心线模型1110，如图12d所示。图12d示出了扩充的模型1112。扩充的模型1112包括中心线模型1110和基于输入的模型1114。结合操作506的描述，操作者o可以经由输入装置130提供导航方向，以在图像空间内并且超出中心线分割模型1110进行虚拟导航，同时可视化至少一些图像数据1102，诸如具有与支气管壁706相关联的hounsfield值的体素。根据所接收的虚拟移动，控制系统112可以跟踪和记录移动以识别解剖通道的未分割部分以扩展中心线分割模型1110进而创建基于输入的模型1114。
98.另外，图1的输入装置130的一些实施例可以允许操作者o在绘图板上或在可以是触摸屏的显示系统110上“绘制”以限定线条或路径。可以将绘制的线条添加到中心线模型1110以生成扩充的模型1112。例如，操作者o可以在图像数据的多个视图中的每一个(诸如图6a-6c中所示的横截面平面)上绘制线条。控制系统112可以处理多条线条以生成三维线条以添加到中心线模型1110。在一些过程中，操作者o可以能够选择终端点f、g或h中的一个。然后，操作者o可以选择能够在解剖通道内虚拟导航的内部透视图，以从所选择的终端点开始生成基于输入的模型或模型部分。可替代地或另外地，可以向操作者o呈现图像数据的多个横截平面，在该多个横截平面上绘制多个二维线条，然后将这些二维线条解码为单个三维线条以生成基于输入的模型1114。
99.在其他实施例中，操作者o能够选择中心线模型1110上的任何点以提供虚拟导航或用于扩充中心线模型的绘制。例如，操作者可以在中心线模型1110上选择中间点i。此后，操作者o可以从点i开始进行虚拟导航并绘制从点i延伸的线条以生成基于输入的线条
1116。操作者o可以提供指示基于输入的线条1116的末端的附加输入，基于输入的线条1116的末端被示为终端点j。在操作者结束基于输入的线条1116之后，操作者可以请求控制系统112尝试分割图像数据。分割过程可以在终端点j处开始并且自动地分割图像数据1102以生成中心线模型部分1118。
100.这些方法的组合可以被用于基于用户与图像数据1102的交互来生成解剖通道的完整或部分模型。在一些实施例中，基于分割的建模技术和基于非分割的建模技术的组合(诸如，虚拟导航或中心线绘图)可以用于生成模型，如扩充的模型1112，其然后可以在医疗程序期间被配准到插入患者解剖结构内的医疗器械。通过将扩充的模型1112与医疗器械(诸如图2a和图2b的细长装置202)配准，与模型1112和细长装置202相关联的图像数据可以被带入共同的参照系，以用于图像引导的医疗程序。随后，可以在显示系统110中呈现配准的细长装置202的图形表示以及配准的图像数据。
101.在其他实施例中，分割模型1106可以用于产生中心线分割模型1110或包括点云、点集或点集合的另一合适模型。当分割模型1106包括表示一个或多个通道的内表面的网格时，可以使用在包括模型1106的存储数据文件中表示的网格的顶点子集。可替代地，网格或表面的几何中心可以用于表示分割模型1106中的体积或通道。
102.在一些实施例中，中心线分割模型1110在数据中被表示为三维空间中的点云、点集、点的3d模型或点集合，而不是连续线条。在中心线分割模型1110被生成并作为点集被存储在数据中之后，中心线分割模型1110可以从数据存储中检索以用于图像引导外科手术程序。为了在图像引导的外科手术程序中使用中心线分割模型1110，模型1110可以被配准以将模型1110中的建模通道与存在于外科手术环境中的患者的实际解剖结构相关联。在点集配准中使用模型1110包括使用从模型1110中获得的点集或组成模型1110的点集。此外，包括从虚拟导航或从绘图获得的部分的扩充模型1112可以被表示为在点集配准算法中使用的点集。
103.现在参考图13，其中示出了在显示器1202中渲染的示例性用户界面1200。显示器1202可以是图1的显示系统110的一部分，或者可以是图1的显示系统110。用户界面1200包括在其中可以渲染图像数据的主视图1204。如图12所示，主视图1204包括来自例如装置的视点的解剖通道的内部透视图，该解剖通道的内部透视图被包括在术前或术中三维图像数据中。用户界面1200还包括辅助视图1206，辅助视图1206可以包括图像数据的一个或多个显示。如图13所示，辅助视图包括ct图像数据的三个二维切片。在一些实施例中，主视图1204和辅助视图1206可以被显示在分开的显示屏幕上。
104.如图13中所示，用户界面1200处于虚拟导航模式，并且因此在主视图1204中包括内部透视图并且在辅助视图1206中包括三个二维切片。在右边，用户界面1200包括用户界面选项1208，其包括虚拟导航选项1210、绘制选项1220和滤波器选择项1230。
105.虚拟导航选项1210包括用户界面元素1212a、1212b和1212c。通过选择开始导航元素1212a，操作者o可以开始虚拟导航，使得用于汇编(assembly)的导航输入被记录为生成模型(如基于输入的模型1114)的路径。通过选择暂停导航元素1212b，操作者o可以暂时停止虚拟导航的记录，并且操作者o可以在三维图像空间内移动而不记录导航输入。通过选择恢复导航元素1212c，操作者o能够继续记录用于汇编(如模型1114)的导航输入。在一些实施例中，透视图/视角(perspective)(即，三维图像数据内的方位和取向)可以选择性地返
回到最后记录的透视图/视角，或者透视图/视角可以保留在未记录的导航之后的任何地方。
106.当操作者o打算绘制线条或路径以生成或添加到解剖通道的基于线条的模型时，可以使用绘制模式选项1220。在一些实施例中，当用户从绘制模式选项1220中选择元素时，在操作者o在每个视图上绘制之后，主视图1204可以按顺序填充有图像数据的第一二维视图，然后是第二二维视图，然后是第三二维视图。当显示器1202是触摸屏显示器时，操作者o可以在显示器1202上进行绘制。在其他实施例中，操作者o可以使用鼠标、键盘或其他输入机构在图像数据的多个透视图上绘制线条，然后将这些线条组合以生成可以包括在基于线条的解剖通道模型中的三维线条或曲线。
107.另外，用户界面选项1208包括滤波器选项1230。滤波器选择项1230中包括的用户界面元素可以基于工作流程，例如，如果操作者o使用输入装置130与控制系统112通信，并且要执行的程序是肺活组织检查，则控制系统112可以用适合于肺活组织检查的用户界面元素预先填充滤波器选择项1230。例如，如图所示，滤波器选择项1230包括支气管壁元素1232a、相邻血管元素1232b和骨元素1232c。操作者o可以与元素1232a-1232c交互以在关联范围内打开和关闭具有hounsfield值的ct数据的显示。在一些实施例中，元素1232a-1232c可以各自具有连续输入元素，其提供不同程度的透明度/不透明度。另外，当正在执行的过程不涉及肺时，滤波器选择项1230可以包括其他元素。
108.用户界面1200的许多不同变体被包括在本公开的范围内。例如，可以包括其他用户界面选项和用户界面控件，诸如分割图像数据的选项或者继续分割图像数据的选项，如上面结合图12a-12d所讨论的。
109.现在参考图14，其中示出了在微创医疗程序期间提供基于图像的引导的方法1300的流程图。像本文描述的其他方法一样，方法1300被描绘为一系列操作。方法1300的实施例可以包括附加或替代操作和/或可以省略一个或多个枚举操作。方法1300的一些实施例可以包括控制系统112或处理装置114可读的指令，以使控制系统112执行方法1300的操作。
110.方法1300的一些实施例可以在操作1302处开始，其中处理装置(诸如控制系统112的处理装置114)接收患者解剖结构的至少一部分的三维图像数据。例如，控制系统112可以接收示出患者p的躯干(包括患者p的肺)的ct图像数据，。在其他实施例中，图像数据可以从患者解剖结构的另一部分获得。
111.在操作1304处，处理装置可以将三维图像数据与外科手术环境配准。在一些实施例中，通过将包含在图像数据内的基准标记配准到外科手术环境中的相应基准标记，可以将图像数据与外科手术环境配准。在操作1306处，处理装置将耦连到远程操作医疗系统的医疗器械与外科手术环境配准，例如通过以下步骤进行：通过在患者解剖结构的部分内驱动医疗器械，并捕获与医疗器械的跟踪方位相关联的测量点。在一些实施例中，操作1304和操作1306可以被组合成单个配准操作，该操作直接将三维图像数据与医疗器械配准。包括在方法1300的配准过程可以包括以下操作：从接收到的图像数据生成模型，或基于由图像数据所限定的空间内的操作者o的跟踪虚拟移动命令产生这种模型的一部分，如以上结合图5a的方法500描述的。在操作1304和操作1306之后，控制系统112将使用医疗器械获得的信息与三维图像数据相关联。例如，控制系统112可以使得在医疗器械的远端处的摄像机获得实时视图被显示在从医疗器械的远端的视角观看的一部分图像数据的旁边。例如，用户
界面1200的主视图1204可以包括具有来自摄像机的实时馈送的拆分视图和图像数据的透视图。
112.在操作1308，处理装置可以将滤波器应用于三维图像数据，以改变三维图像数据的一个或多个体素的渲染。例如，当从医疗器械的远端的视角显示图像数据时，图像数据的一些部分可以被滤波以提供图像数据的期望呈现。例如，图像数据可以根据与体素相关联的hounsfield值来滤波。操作者o可以选择性地使得某些组织完全透明或部分透明地显示，或者控制系统112可以自动地使得某些组织完全透明或部分透明地显示，以使某些方面更容易可视化。例如，具有与空气相关的hounsfield值的体素可以被透明地渲染，而限定支气管通道的组织被半透明地渲染，并且支气管通道周围的血管可以被不透明地渲染。作为另一个例子，包含在图像数据内的目标可以被渲染为不透明的块，而所有的组织被半透明地渲染。可以使用其他组合来允许操作者o可视化在任何特定情况下被判断为最有用的信息。另外，除了某些组织的透明度之外，滤波器还可以提供不同的着色。
113.在操作1310，处理装置可以从与医疗器械相关联的视角在显示器中渲染三维图像数据。如上所述，这可以在显示屏的第一部分或第一显示屏中完成，而来自相同视角或来自不同视角的实时视频被提供在显示屏的第二部分或第二显示屏中。以这种方式，如果来自医疗器械的实时视频被阻挡，则操作者o可以使用ct数据来继续导航。另外，操作者o可以将在实时视图中示出的组织、流体等与包括在图像数据中的相同对象之间进行比较。在其他实施例中，可以将其他成像模态(术中或术前)与ct图像数据进行比较。操作者o可以在用户界面(如图12的用户界面1200)中进行选择，以提供组织类型的选择和/或将与每种组织类型相关联的渲染设置接收到控制系统112。例如，当操作者o选择支气管壁元素1232a时，用户界面1200可以呈现额外的用户界面选项，诸如滑块或输入区域，由此操作者o可以输入与支气管壁元素1232a相关联的透明度设置和/或颜色设置。然后可以将设置应用于与支气管壁的hounsfield值相关联的体素。
114.在方法1300的一些实施例中，当控制系统112检测到医疗器械的方位变化时，可以更新观察图像数据的视角以反映医疗器械的方位变化，使得发送以转向/定位医疗器械的导航命令同时被用于图像数据的虚拟导航。
115.本公开的实施例可以提供图像引导的医疗程序的显著改进。例如，一些实施例可以允许使用较低分辨率的ct扫描以用于生成患者解剖结构的模型。通过改善这种较低分辨率ct扫描的效用，可以减少患者暴露于用于获得图像数据的放射性成像剂。一些实施例可以允许使用分割和用户输入两者来生成患者解剖结构的混合模型，这可以提高生成允许配准的这种解剖模型的效率和准确性。另外，本公开的实施例可以利于在医疗程序期间同时查看图像数据以及实时视频数据。
116.本文描述的方法和系统的实施例包括计算机可读存储介质，诸如cd-rom、dvd、闪存和其他存储介质，其上存储有机器可读指令。处理装置，诸如包括在图1的控制系统112中的处理装置。本公开的另外的实施例包括具有一个或多个处理装置(诸如cpu和gpu)的系统(诸如工作站)以及存储指令的存储器，当该指令被处理装置读取时，该指令使得系统执行方法400、500和1300之一的实施例。另外，可以组合关于本公开的各种实施例描述的特征。例如，关于方法1300讨论的操作可以包括在方法500的实施例中。此外，可以对本公开的实施例做出对于本领域普通技术人员显而易见的变化和修改，而不脱离本公开范围。虽然已
经关于患者的肺描述了一些更具体的实施例，但是可以通过利用本公开的实施例对其他解剖通道、结构和器官进行成像、配准和观察及治疗。这些器官可以包括心脏、消化道、肾脏和其他器官。因此，通过参考随附的权利要求可以充分地理解本公开的范围和精神。

技术特征：
1.一种包括多个机器可读指令的非暂时性计算机可读介质，当由一个或多个处理器执行时，所述多个机器指令适于使所述一个或多个处理器执行一种促进图像引导的医疗程序的方法，所述方法包括：通过具有至少一个处理装置的远程操作医疗系统接收患者解剖结构的至少一部分的三维图像数据；通过将耦连到所述远程操作医疗系统的医疗器械配准到外科手术环境并将所述三维图像数据与所述外科手术环境配准，将所述医疗器械与所述三维数据配准；将辐射密度滤波器应用于所述三维图像数据，以改变所述三维图像数据的一个或多个体素的渲染；并且从与所述医疗器械相关联的视角在显示器中渲染所述三维图像数据。2.根据权利要求1所述的非暂时性计算机可读介质，其中将所述辐射密度滤波器应用于所述三维图像数据使得具有第一辐射密度值的体素被透明地渲染。3.根据权利要求1所述的非暂时性计算机可读介质，其中所述指令还使得所述一个或多个处理器执行：将所述三维图像数据中的体素分配给多种组织类型中的一种。4.根据权利要求3所述的非暂时性计算机可读介质，其中所述指令还使得所述一个或多个处理器执行：经由包括在用户界面中的组织类型选择元素接收对所述多种组织类型的组织类型的选择；接收与所述组织类型选择元素相关联的透明设置；并且将所述透明设置应用于分配给所选择的组织类型的体素。5.一种用于处理医学图像的系统，所述系统包括：存储器；和处理装置，其与所述存储器通信，所述处理装置被配置为执行指令以执行以下操作，包括：通过具有至少一个处理装置的远程操作医疗系统接收患者解剖结构的至少一部分的三维图像数据；通过将耦连到所述远程操作医疗系统的医疗器械配准到外科手术环境并将所述三维图像数据与所述外科手术环境配准，将所述医疗器械与所述三维数据配准；将辐射密度滤波器应用于所述三维图像数据，以改变所述三维图像数据的一个或多个体素的渲染；并且从与所述医疗器械相关联的视角在显示器中渲染所述三维图像数据。6.根据权利要求5所述的系统，其中将所述辐射密度滤波器应用于所述三维图像数据使得具有第一辐射密度值的体素被透明地渲染。7.根据权利要求5所述的系统，其中所述处理装置被进一步配置为执行指令以执行：将所述三维图像数据中的体素分配给多种组织类型中的一种。8.根据权利要求7所述的系统，其中所述处理装置被进一步配置为执行指令以执行：经由包括在用户界面中的组织类型选择元素接收对所述多种组织类型的组织类型的选择；接收与所述组织类型选择元素相关联的透明设置；并且
将所述透明设置应用于分配给所选择的组织类型的体素。

技术总结
本文提供了医学成像系统和方法，其无需分割以提供导航和程序规划。一种方法包括由具有至少一个处理装置的医学成像系统接收患者解剖结构的三维图像数据。该方法还包括对三维数据进行滤波以显示与患者解剖结构相关联的三维图像数据的一部分，并且在处理装置处接收来自操作者输入装置的输入。输入包括在由三维图像数据限定的空间内进行虚拟移动的导航方向。该方法还包括跟踪虚拟移动，并且基于跟踪的虚拟移动生成患者解剖结构的第一模型。拟移动生成患者解剖结构的第一模型。拟移动生成患者解剖结构的第一模型。


技术研发人员：B
受保护的技术使用者：直观外科手术操作公司
技术研发日：2017.12.07
技术公布日：2023/7/19