生成虚拟现实引导的系统和方法与流程

生成虚拟现实引导的系统和方法
1.交叉引用的申请
2.本技术要求2020年12月1日提交的美国临时申请63/120,175的权益，该申请的全部内容通过引用并入本文。
3.本技术通过引用将2020年12月1日提交的标题为“systems and methods for planning a medical environment”的美国临时申请no.63/120,140和2020年12月1日提交的标题为“systems and methods for generating and evaluating a medical procedure”的美国临时申请no.63/120,191以其整体并入本文。
技术领域
4.本公开涉及用于机器人辅助医疗程序的系统和方法，并且更具体地，涉及识别医疗环境图像中的部件并使用关于所识别部件的运动学信息来生成虚拟现实图像形式的引导。


背景技术：

5.远程操作机器人或机器人辅助系统的设置、操作、故障排除、维护和存储通常涉及复杂的培训和参考培训材料。通常，通用的培训说明和培训材料可能无法预测特定医疗环境的独特情况，包括操作空间的尺寸、环境中可用的机器人辅助系统设备、环境中可用的外围设备、环境中公用设施的方位、环境中的人员以及与机器人辅助系统相关联的其他参数。需要系统和方法，以通过提供根据特定医疗环境的部件和约束定制的虚拟引导来协助医务人员。


技术实现要素：

6.本发明的实施例由所附权利要求最佳地概括。
7.根据某些实施例，系统可以包括处理器和存储器，存储器上存储有计算机可读指令。当被处理器执行时，计算机可读指令使得系统能够接收医疗环境的图像并且识别医疗环境的图像中的医疗部件。该医疗部件可以以第一配置设置。计算机可读指令在被处理器执行时还使得系统能够接收关于医疗部件的运动学信息，并且基于运动学信息生成虚拟引导。虚拟引导可以包括以第二配置设置的医疗部件的虚拟图像。
8.在一些实施例中，系统可以包括显示系统和机器人辅助操纵器组件，机器人辅助操纵器组件被配置用于在医疗环境中操作医疗器械。机器人辅助操纵器组件可以具有操纵器参照系。该系统还可以包括控制系统，该控制系统包括处理单元，该处理单元包括一个或多个处理器。处理单元可以被配置为接收医疗环境的图像并且识别医疗环境的图像中的医疗部件。医疗部件可以以第一配置设置。处理单元还可以被配置为接收关于医疗部件的运动学信息，并且基于运动学信息生成虚拟引导。虚拟引导可以包括以第二配置设置的医疗部件的虚拟图像。
9.应当理解的是，上述一般描述和以下详细描述本质上都是示例性和解释性的，并
且旨在提供对本公开的理解而不限制本公开的范围。在这方面，对于本领域技术人员来说，本公开的其它方面、特征和优点将从以下详细描述中显而易见。
附图说明
10.图1是示出根据一些实施例生成虚拟引导的方法的流程图。
11.图2是根据一些实施例的机器人辅助医疗系统的示意图。
12.图3是根据一些实施例的医疗环境的初始图像。
13.图4是根据一些实施例的医疗环境的引导图像。
14.通过参考下面的详细描述，可以最好地理解本公开的实施例及其优点。应当理解的是，相同参考标记用于标识在一个或多个附图中说明的相同元件，其中的显示是为了说明本公开的实施例，而不是为了限制本公开的实施例。
具体实施方式
15.引导信息可以有助于在医疗环境中高效、安全并且有效地使用机器人辅助系统。如下所述，包含医疗环境中特定部件信息的引导信息可以提供更详细和定制的引导。图1是示出根据一些实施例生成虚拟引导的方法100的流程图。本文描述的方法被说明为一组操作或过程，并且在继续参考附图的情况下进行描述。并非所有图示过程都可以在方法的所有实施例中执行。此外，在图示过程之前、之后、中间或作为图示过程的一部分，可以包括一个或多个未明确图示的过程。在一些实施例中，一个或多个过程可以以至少部分地以存储在非临时、有形、机器可读介质上的可执行代码的形式实现，当由一个或多个处理器(例如，控制系统的处理器)运行时，可执行代码可以使得一个或多个处理器执行一个或多个过程。在一个或多个实施例中，这些过程可由控制系统执行。
16.在过程102中，接收医疗环境的图像。图2示出了具有医疗环境参照系(xm，ym，zm)的医疗环境200，该医疗环境包括机器人辅助医疗系统202，该机器人辅助医疗系统202可以包括诸如具有部件参照系(xc，yc，zc)的机器人辅助操纵器组件204、操作者界面系统206和控制系统208的部件。在一个或多个实施例中，系统202可以是在外科医生远程操作控制下的机器人辅助医疗系统。在可替代实施例中，医疗系统202可以在被编程以执行医疗程序或子程序的计算机的部分控制下。在其他可替代实施例中，医疗系统202可以是全自动医疗系统，该医疗系统受计算机的完全控制，该计算机被编程为通过医疗系统202执行医疗程序或子程序。可用于实施本公开中描述的系统和技术的医疗系统202的一个示例是由加利福尼亚州桑尼维尔市的直观外科手术操作公司(intuitive surgical operations)制造的da外科手术系统。医疗环境200可以是手术室、外科套间、医疗程序室或进行医疗程序或医疗培训的其他环境。
17.控制系统208可以包括至少一个存储器210和处理单元，处理单元包括至少一个处理器212，用于实现医疗环境中部件之间的通信、控制和数据传输。多种集中式或分布式数据处理架构中的任一种可以在控制系统208中采用。同样，编程指令可以作为许多单独的编程或子例程来实现，也可以集成到本文所述系统(包括远程操作系统)的许多其他方面中。在一个实施例中，控制系统208可以支持各种有线通信协议或无线通信协议中的任何一种，诸如蓝牙、irda(红外数据通讯)、homerf(家庭射频)、ieee 802.11、dect(数字增强无绳通
信)和无线遥测。在一些实施例中，控制系统208可以位于不同的环境中，部分或完全远离操纵器组件204和操作者界面系统206，包括共同外科手术环境的不同区域、不同房间或不同建筑物。
18.操纵器组件204可以称为患者侧推车。一个或多个医疗器械214(也称为工具)可以被操作地耦接到操纵器组件204。医疗器械214可以包括具有单个工作构件的末端执行器，单个工作构件诸如手术刀、钝刀、针、成像传感器、光纤、电极等。其他末端执行器可以包括多个工作构件，例如包括镊子、抓取器、剪刀、施夹器、吻合器、双极电灼器械等。一次使用的医疗器械214的数量通常将取决于医疗程序和手术室内的空间约束等因素。医疗器械214还可以包括成像装置。成像器械可以包括使用光学成像技术的内窥镜成像系统，或包括使用其他技术(例如超声波、荧光检查等)的其他类型的成像系统。操纵器组件204可以包括由一个或多个非伺服控制关节耦接的一个或多个连杆的运动学结构，以及伺服控制机器人操纵器。在各种实施方式中，非伺服控制关节可以被手动定位或锁定，以允许或抑制与非伺服控制关节物理耦接的连杆之间的相对运动。操纵器组件204可以包括多个马达，马达驱动医疗器械214上的输入。这些马达可以响应于来自控制系统208的指令而移动。马达可以包括驱动系统，当与医疗器械214耦接时，驱动系统可以将医疗器械推进到患者的自然或手术创建的解剖孔口中。其他机动驱动系统可以在多个自由度上移动医疗器械的远端，多个自由度可以包括三个线性运动度(例如，沿x、y、z笛卡尔轴的线性运动)和三个旋转运动度(例如，绕x，y，z笛卡尔轴的旋转)。此外，马达可以用于致动器械的可铰接末端执行器，以便在活检装置或类似装置的夹具中抓取组织。关于操纵器组件204和/或器械214的运动学信息可以包括结构信息，诸如操纵器组件和/或医疗器械的部件的尺寸、关节布置、部件方位信息、部件取向信息和/或端口安置。运动学信息还可以包括动态运动学信息，诸如远程操作组件中关节的运动范围、速度或加速度信息和/或阻力。结构或动态运动学约束信息可以由远程操作组件中的传感器生成，这些传感器测量例如机械臂配置、医疗器械配置、关节配置、部件位移、部件速度和/或部件加速度。传感器可以包括诸如电磁(em)传感器的方位传感器、诸如光纤传感器的形状传感器和/或诸如旋转变压器、编码器和电位计的致动器方位传感器，。
19.操作者界面系统206允许诸如外科医生或其他类型的临床医生的操作者查看程序部位的图像或代表程序部位的图像，并且控制医疗器械214的操作。在一些实施例中，操作者界面系统206可以在外科程序中与患者位于同一房间。然而，在其他实施例中，操作者界面系统206可以位于与患者不同的房间或完全不同的建筑物中。操作者界面系统206通常可以包括用于控制医疗器械214的一个或多个控制装置。(一个或多个)控制装置可以包括任意数量的各种输入装置中的一个或多个，诸如手柄、操纵杆、轨迹球、数据手套、触发枪、脚踏板、手动控制器、语音识别装置、触摸屏、身体运动或存在传感器和诸如此类。在一些实施例中，(一个或多个)控制装置被提供有与机器人组件的医疗工具相同的自由度，以便为操作者提供远程呈现/临场感；也就是，让操作者感觉到(一个或多个)控制装置与工具是一体的，以便操作者有一种直接控制工具的感觉，就像在程序现场一样。在其他实施例中，(一个或多个)控制装置可以比相关联的医疗工具具有更多或更少的自由度，但仍为操作者提供远程呈现。在一些实施例中，(一个或多个)控制装置是手动输入装置，该手动输入装置以六自由度移动并且还可以包括用于致动医疗工具的可致动手柄(例如，用于闭合抓取夹具末
端执行器、对电极施加电势、捕获图像、递送药物治疗和诸如此类)。操纵器组件204可以支撑和操纵医疗器械214，同时操作者通过操作者界面系统206上的显示器查看程序部位。程序部位的图像可由成像器械获得，诸如单镜或立体内窥镜，该成像器械可以由操纵器组件204操纵。
20.可选地布置在医疗环境200中的另一个部件是显示系统216，该显示系统可与控制系统208通信耦接。显示系统216可以显示例如用于进行机器人辅助程序的图像、指令和数据。显示系统216上呈现的信息可以包括患者解剖结构内的内窥镜图像、引导信息、患者信息和程序规划信息。在一些实施例中，显示系统可以由电子推车支撑，该电子推车允许显示系统的移动定位。
21.引导源218可以与控制系统208通信耦接或者可以存储在存储器210中。引导源218可以包括存储的信息，该存储的信息包括最佳实践信息和历史程序信息。例如，引导源可以包括各种程序的医疗环境布局样本。此外或可替代地，引导源218可以包括包含专家、培训师、导师或其他可支持用户体验的引导工作人员的人员。引导源218可以选择性地位于医疗环境200之外。
22.医疗环境200中可以或不可以与控制系统208通信耦接的其他医疗部件可以包括可以具有台参照系(x
t
，y
t
，z
t
)的患者台220以及辅助部件222，诸如器械台、器械盆、麻醉车、供应车、柜子和座椅。医疗环境200中可以或可以不与控制系统208通信耦接的其他部件可以包括公用端口224，诸如电、水和加压空气出口。
23.医疗环境200中的人员可以包括可定位在患者台220上的患者226、可访问操作者界面系统206的外科医生228以及可包括例如外科手术工作人员或维护工作人员的工作成员230。
24.再次参考图1，在过程102处，可以从成像系统232接收医疗环境的图像。成像系统232可以是位于医疗环境200中或能够记录医疗环境200中的图像的相机或其他成像装置。在一些实施例中，成像系统232可以是便携式相机，包括例如并入移动电话、平板电脑、笔记本电脑中或由外科医生228或工作成员230支持的其他便携装置中的摄像机。另外或可替代地，成像系统232可以包括摄像机或多个摄像机，摄像机或多个摄像机被安装到医疗环境200中的墙壁、地板、天花板或其他部件，并且被配置为捕获医疗环境中的部件和人员的图像。在一些实施例中，成像系统可以包括其他类型的成像传感器，包括例如激光雷达成像系统，该系统可以扫描环境以利用反射的激光生成三维图像。在一些实施例中，捕获的图像可以是由多个图像生成的合成图像。在一些实施例中，接收到的图像可以是二维或三维图像。
25.图3是可以在过程102处接收到的医疗环境300的初始图像302。图像302可以是三维的，并且可以通过激光雷达技术或来自手机摄像头的合成图像而生成。图像302可以包括可移动部件的图像，可移动部件包括带有基座305的操纵器组件304(例如操纵器组件204)、操作者界面系统306(例如操作者界面系统206)、显示器308、推车310和患者台312。图像302还可以包括固定部件，固定部件包括地板314、墙壁316、天花板318和门320。房间300的尺寸可以根据初始图像302确定。图像302可以具有图像参照系(xi，yi，zi)。
26.再次参考图1，在过程104处，在医疗环境的图像中识别一个或多个部件。例如，在医疗环境300的图像302中，可以使用图像辨别软件来辨别操纵器组件304，该图像辨别软件基于形状、颜色、靶标(fiducial markings)、字母数字编码或其他可视识别特征来辨别图
像中的部件或部件的一部分。可替代地，用户可以提供图像中已识别部件的指示。与所识别的(一个或多个)部件相关联的像素或体素可以从图像中以图形方式分割出来。在图像302中，图像辨别软件可以识别操纵器组件304的基座305，并且可以将辨别出的基座305与操纵器组件304的特定型号相关联。同样，辨别出的部件可以是操作者界面系统306、患者台312、推车310和/或显示器308。
27.图像参照系可以配准(register)到识别出的部件参照系。例如，可以将图像302参照系(xi，yi，zi)配准到操纵器组件304参照系(例如参照系(xc，yc，zc))。可以在图像参照系和部件参照系两者中识别和匹配(例如在方位和/或取向上)共同或靶标特征或部分以执行配准。此类靶标特征或部分可以包括操纵器基座、操纵器立柱、操纵器吊杆和/或操纵器臂。来自不同视点的三维图像或二维图像可以提供更精确的配准。在图像参照系被配准到操纵器参照系的情况下，操纵器臂、关节和附连器械的方位和取向可以在图像参照系中确定。因此，可以基于操纵器组件运动学的操纵器组件的任何虚拟运动(包括臂、关节或器械方位/取向的相应变化)都可以在图像参照系中被虚拟呈现。可替代地或另外地，可以将图像参照系配准到医疗环境参照系(xm，ym，zm)或图像中可见的其他部件的参照系，诸如患者台参照系(x
t
，y
t
，z
t
)。
28.在过程106处，可以接收识别的部件的运动学信息。例如，关于操纵器组件304和/或任何耦接器械(例如器械214)的运动学信息可以包括结构信息，诸如操纵器组件和/或医疗器械的部件尺寸、关节布置、部件方位信息、部件取向信息和/或端口安置。运动学信息还可以包括动态运动学信息，诸如远程操作组件中关节的运动范围、速度或加速度信息和/或阻力。结构或动态运动学约束信息可以由远程操作组件中的传感器生成，传感器可以测量例如操纵器臂配置、医疗器械配置、关节配置、部件位移、部件速度和/或部件加速度。传感器可以包括方位传感器(诸如电磁(em)传感器)、形状传感器(诸如光纤传感器)，和/或致动器方位传感器(诸如旋转变压器、编码器和电位计)。
29.在过程108处，接收引导类型指示符。引导类型指示符可以指示用户所需的引导类型或医疗系统执行新过程所需的引导类型。例如，该指示符可以在控制系统208处从移动装置接收，移动装置包括成像系统232、操作者界面系统206、显示系统216、操纵器组件204或与控制系统208通信的其他部件。在一些实施例中，引导类型指示符可以包括所识别部件的操作模式的指示符。可被指示的操作模式包括用于准备操纵器组件和医疗环境以开始医疗程序的设置模式。设置模式可以包括无菌准备模式，在无菌准备模式中，医疗环境的无菌区域和非无菌区域被定义。无菌区域和非无菌区域可以是医疗环境中的任何二维或三维区域。在无菌准备模式中，操纵器组件可以被布置成接收无菌帘，无菌帘可以被布置在操纵器组件上方。在一些实施例中，悬垂(draping)程序可以包括多个编排步骤。操作模式还可以包括程序模式，在程序模式中，悬垂的操纵器组件准备执行医疗程序。其他操作模式可以包括器械交换模式，在器械交换模式下，耦接到操纵器组件的器械被交换；故障排除模式，在故障排除模式中，程序中期操纵器组件需要操作者注意以更换器械或纠正操纵器组件的性能问题；以及维修模式，在维修模式中，操纵器组件接收常规维护或维修服务。其他操作模式可以包括检查模式，在检查模式中，检查操纵器的损坏情况以及是否符合制造商的标准；清洁模式，在清洁模式中，对操纵器组件进行消毒、灭菌或其他清洁；以及存储模式，在存储模式中，在医疗程序前后或以其他方式停止使用时收起操纵器组件。
30.在过程110处，可以基于运动学信息和引导类型指示符的输入生成虚拟引导。虚拟引导可以包括静态或动态/动画图像，并且可以包括二维或三维图像。例如，虚拟引导可以包括将部件移动到医疗环境中的新方位或在医疗环境中以不同配置布置的虚拟图像(例如，人工生成的图像)。生成虚拟引导可以包括参考来自引导源218的引导信息，该引导信息可以包括存储的用户培训信息、先前的程序信息、最佳实践信息、部件在各种操作模式下的参考模型、导师批准的程序或专家实践信息。引导信息可以与运动学信息相结合，以生成人工静态图像或动画，其演示如何设置部件、使用部件执行任务、排除部件的操作问题、修理部件或在部件停用时收起部件。
31.作为示例，虚拟引导可以是虚拟动画或图像，其演示医疗环境300中识别的部件如何可以被布置来执行程序。虚拟引导可以说明如何在医疗环境300内移动部件和/或如何将部件引入医疗环境中。图4示出了医疗环境300的虚拟引导图像400，该医疗环境300被布置为执行程序。基于运动学信息和引导信息，虚拟引导图像400将操纵器组件304、患者台312、操作者界面系统306、显示器308和推车310的图示渲染在适合执行程序的新方位和配置中。虚拟引导图像400还包括其他建议的部件，诸如麻醉车402和器械车404以及建议的部件的优选方位。关于部件的已知运动学信息(包括大小和运动范围)可以告知周围的间隙区域、进入区域、工作人员移动路径以及部件布局的其他约束。在一些示例中，初始图像302和虚拟引导图像400之间的过渡可以是动画的，动画中的运动受识别出的部件的已知运动学约束。虚拟引导还可以包括虚拟工作成员、外科医生和/或患者的渲染，例如包括交通路线、无菌区域、进入路径、个性化指示或其他人员安置或移动的引导。虚拟引导图像400可以包括注释或图形标记，诸如符号、颜色指示符、动画指示符，以提供额外的引导。例如，方向指示符406可以用于指示部件移动的行进路径或方向。注意指示符408可以是符号，符号可以是动画的(例如闪烁、摇晃)和/或鲜艳或异常的颜色，以吸引观看者的注意。由于部件图像本身都是虚拟渲染的，因此部件或部件的一部分可以是动画的或以人工颜色渲染，以吸引观看者的注意。还可提供注释410以提供附加信息或指示。在一些实施例中，引导动画可以演示如何将操纵器组件304布置成收纳配置或垂悬配置。在一些实施例中，引导动画可以演示诸如如何执行器械交换程序的程序步骤，其中从操纵器组件304移除第一器械并且用第二器械替换，或者如何建立适当的解剖端口安置。在一些实施例中，引导动画可以演示如何执行纠正动作，以纠正例如安装不当的器械、程序开始时定位不正确的操纵器臂或将要或已经导致碰撞的臂方位。
32.在其他示例中，虚拟引导可以在程序期间被递送。例如，引导指示符可以是提示生成虚拟引导的故障工具或操纵器臂碰撞。基于从操纵器组件接收到的运动学信息，虚拟引导可以包括虚拟渲染的闪烁符号或突出显示的部件，其指示需要注意的事项，诸如故障器械或碰撞的臂。
33.在某些实施例中，可以显示虚拟引导。例如，静态或动画虚拟引导图像可以被显示在包括用于生成原始图像的成像系统232、操作者界面系统206或显示系统216的移动装置上。在一些实施例中，虚拟引导可以与初始图像一起显示，或者可以叠加或覆盖在初始图像上。在一些实施例中，虚拟引导可以被显示在操作者界面系统的显示器上和/或医疗环境中的一个或多个辅助显示装置上。在一些实施例中，虚拟引导可以使用另一个感官系统来传达，诸如生成声音引导的听觉系统。
34.可选地，在生成虚拟引导之后，可以重复任何或所有程序102-110。例如，在为对应于设置操作模式的引导类型生成虚拟引导之后，可以为部署或程序操作模式重复过程108和110，以生成引导来执行部署操纵器组件的程序。
35.在可选的过程112处，对虚拟引导的实施进行评估。可以基于与虚拟引导的比较来评估该实施。例如，在医疗环境300被布置以准备程序之后，可以执行评估以确定医疗环境300中部件的实际布置是否或在多大程度上与虚拟引导相匹配。该评估可以基于从布置的部件(例如包括操纵器组件204)接收的运动学信息和/或在部件被布置之后从成像系统232接收的图像。
36.在一些实施例中，方法100可以用于临床工作人员或外科医生教育的实践或培训场景。在培训场景中，虚拟引导可以被显示在一个或多个显示装置上，显示装置包括一个或多个移动装置、外科医生控制台和/或医疗环境中的移动或固定辅助显示器。培训场景可以是课程的程序部件，并且过程112可以包括提供评估数据，诸如来自远程导师的给临床工作人员或外科医生的反馈和/或基于与虚拟引导相比的实施规划的评估的分数或等级。在一些实施例中，评估数据可以被显示给临床工作人员或外科医生。在其他实施例中，评估数据可以不显示给临床工作人员或外科医生，但可以提供给监督者、导师、课程开发组织、医疗系统制造商或其他个人或组织，这些个人或组织可以将评估数据用于其他目的，诸如系统评估或程序改进。评估数据可以用于在临床工作人员或外科医生的后续程序期间提供警告、建议或帮助。
37.可选地，在评估之后，可重复任何或所有过程102-112。例如，在设置程序被实施并且基于与引导的比较被评估之后，可以确定设置程序不成功或未根据虚拟引导执行。可以使用医疗环境的新图像重复过程102-110，新图像中的部件处于当前状态，并且引导类型与设置操作模式相应。因此，可以生成新的虚拟引导以纠正设置。
38.在一些实施例中，在过程106处接收的运动学信息可以用于识别存储的部件的参考模型。参考模型可以被配准到部件。例如，存储器210可以存储操纵器组件的多个模型。模型可以包括操纵器组件的各种模型和每个模型的各种模式配置。例如，可以为收纳配置、部署配置、悬垂配置、患者定位配置、工具更换配置或与操纵器组件的操作模式相关联的任何其他配置存储静态或动态模型。可以将接收到的运动学信息与存储的模型进行比较或匹配，以便为操纵器组件的当前配置选择参考模型。在一些实施例中，可以基于实际接收到的运动学信息调整所选择的参考模型。模型可以用于在过程110处生成虚拟引导。在实施引导时，模型可以被配准到部件并且可以基于部件的移动而被动态更新。
39.参照一个实施例、实施方式或应用详细描述的元素，只要实际可行，就可以可选地包括在未具体示出或描述它们的其他实施例、实施方式或应用中。例如，如果参照一个实施例详细描述了一个元素，而未参照第二实施例描述该元素，则该元素仍可以被要求保护为包括在第二实施例中。因此，为了避免在以下描述中不必要的重复，与一个实施例、实施方式或应用相关联地示出和描述的一个或多个元素可以并入其他实施例、实施方式或方面中，除非另有具体描述，除非一个或多个元素会使一个实施例或实施方式失去功能，或者除非两个或更多个元素提供相互冲突的功能。
40.对所描述的装置、系统、器械、方法的任何改变和进一步修改，以及对本公开的原理的任何进一步应用都是完全被设想到的，正如本公开所涉及的技术领域的技术人员通常
发生的那样。特别是，完全可以设想，关于一个实施例所描述的特征、部件和/或步骤可以与关于本公开的其它实施例描述的特征、部件和/或步骤相结合。此外，此处提供的尺寸是具体示例，并且可以设想利用不同的大小、尺寸和/或比例来实施本公开的概念。为了避免不必要的描述性重复，根据一个说明性实施例描述的一个或多个部件或动作可以在其他说明性实施例中使用或省略。为简洁起见，这些组合的众多迭代将不再单独描述。
41.各种系统和系统的部分已按其在三维空间中的状态进行了描述。如本文所用，术语“方位”是指物体或物体的一部分在三维空间中的位置(例如，沿笛卡尔x、y、z坐标的三个平移自由度)。如本文所用，术语“取向”是指物体或物体的一部分的旋转安置(三个旋转自由度-例如滚动、俯仰和偏航)。如本文所用，术语“姿势”是指物体或物体的一部分在至少一个平移自由度中的方位，以及该物体或物体的一部分在至少一个旋转自由度中的取向(多达六个自由度)。
42.尽管本文所述的一些示例涉及外科程序或器械，或医疗程序和医疗器械，但所公开的技术可选地适用于非医疗程序和非医疗器械。例如，本文所述的器械、系统和方法可以用于非医疗目的，包括工业用途、一般机器人用途以及感测或操纵非组织工件。其它示例应用涉及美容改进、人类或动物解剖学成像、从人类或动物解剖学收集数据以及培训医疗或非医疗人员。其他示例性应用包括对从人体或动物解剖体中取出的组织(不返回人体或动物解剖体)进行的程序，以及对人体或动物尸体进行程序。此外，这些技术还可以用于外科和非外科医疗或诊断程序。
43.计算机是一种机器，其按照编程指令对输入信息执行数学或逻辑功能，以产生经过处理的输出信息。计算机包括执行数学或逻辑功能的逻辑单元，以及存储编程指令、输入信息和输出信息的存储器。术语“计算机”和类似术语，诸如“处理器”或“控制器”或“控制系统”是类似的。
44.虽然在附图中描述和显示了本发明的某些示例性实施例，但应当理解，这些实施例仅仅是对本发明的说明，而不是对本发明的限制，并且本发明的实施例并不局限于所显示和描述的具体构造和布置，因为本领域的普通技术人可以想到各种其它的修改。

技术特征：
1.一种系统，包括：处理器；以及存储器，其上存储有计算机可读指令，所述计算机可读指令在由所述处理器执行时使得所述系统：接收医疗环境的图像；识别所述医疗环境的所述图像中的医疗部件，所述医疗部件以第一配置设置；接收关于所述医疗部件的运动学信息；以及基于所述运动学信息生成虚拟引导，所述虚拟引导包括以第二配置设置的所述医疗部件的虚拟图像。2.根据权利要求1所述的系统，其中所述计算机可读指令在由所述处理器执行时进一步使得所述系统：接收引导类型的指示符。3.根据权利要求1所述的系统，其中所述计算机可读指令在由所述处理器执行时进一步使得所述系统：提供与所述虚拟引导相比的实施的评估。4.根据权利要求1所述的系统，其中所述医疗部件是机器人辅助操纵器组件。5.根据权利要求1所述的系统，其中接收所述图像包括从移动装置接收所述图像。6.根据权利要求1所述的系统，其中接收所述图像包括从安装在所述医疗环境中的摄像机系统接收所述图像。7.根据权利要求1所述的系统，其中所述图像具有图像参照系，并且所述医疗部件具有部件参照系，并且其中所述计算机可读指令在由所述处理器执行时进一步使得所述系统将所述图像参照系配准到所述部件参照系。8.根据权利要求7所述的系统，其中将所述图像参照系配准到所述部件参照系包括在所述图像参照系和所述部件参照系两者中识别所述医疗部件的靶标部分。9.根据权利要求7所述的系统，其中所述计算机可读指令在由所述处理器执行时进一步使得所述系统在所述图像参照系中显示所述虚拟图像。10.根据权利要求1所述的系统，其中接收关于所述医疗部件的运动学信息包括接收来自所述医疗部件的传感器信息。11.根据权利要求1所述的系统，其中所述第二配置是收纳配置，并且所述虚拟图像包括所述医疗部件被布置在所述收纳配置中的虚拟动画。12.根据权利要求1所述的系统，其中所述第二配置是悬垂配置，并且所述虚拟图像包括所述医疗部件布置在所述悬垂配置中的虚拟动画。13.根据权利要求1所述的系统，其中所述虚拟图像包括程序步骤的虚拟动画。14.根据权利要求1所述的系统，其中所述虚拟图像包括辅助部件的虚拟图像。15.根据权利要求14所述的系统，其中所述虚拟图像包括所述医疗部件和所述辅助部件的设置程序的虚拟动画。16.根据权利要求1所述的系统，其中所述虚拟图像包括患者的虚拟图像，其中所述虚拟图像包括包含所述患者和所述医疗部件的虚拟动画。17.根据权利要求1所述的系统，其中显示所述虚拟图像包括在所述第一配置中的所述
医疗部件的图像上叠加所述虚拟图像。18.一种系统，包括：显示系统；机器人辅助操纵器组件，其配置为在医疗环境中操作医疗器械，所述机器人辅助操纵器组件具有操纵器参照系；以及控制系统，其包括处理单元，所述处理单元包括一个或多个处理器，并且其中所述处理单元被配置为：接收所述医疗环境的图像；识别所述医疗环境的所述图像中的医疗部件，所述医疗部件以第一配置设置；接收关于所述医疗部件的运动学信息；以及基于所述运动学信息生成虚拟引导，所述虚拟引导包括以第二配置设置的所述医疗部件的虚拟图像。19.根据权利要求18所述的系统，其中所述处理单元进一步配置为接收引导类型的指示符。20.根据权利要求18所述的系统，其中所述处理单元进一步配置为提供与所述虚拟引导相比的实施的评估。21.根据权利要求18所述的系统，其中接收所述图像包括从移动装置接收所述图像。22.根据权利要求18所述的系统，其中接收所述图像包括从安装在所述医疗环境中的摄像机系统接收所述图像。23.根据权利要求18所述的系统，其中所述图像具有图像参照系，并且所述医疗部件具有部件参照系，并且其中所述处理单元进一步配置为将所述图像参照系配准到所述部件参照系。24.根据权利要求23所述的系统，其中将所述图像参照系配准到所述部件参照系包括在所述图像参照系和所述部件参照系两者中识别所述医疗部件的靶标部分。25.根据权利要求23所述的系统，其中处理单元进一步配置为使得所述系统在所述图像参照系中显示所述虚拟图像。26.根据权利要求18所述的系统，其中接收关于所述医疗部件的运动学信息包括接收来自所述医疗部件的传感器信息。27.根据权利要求18所述的系统，其中所述第二配置是收纳配置，并且所述虚拟图像包括所述医疗部件布置在所述收纳配置中的虚拟动画。28.根据权利要求16所述的系统，其中所述第二配置是悬垂配置，并且所述虚拟图像包括所述医疗部件被布置在所述悬垂配置中的虚拟动画。29.根据权利要求18所述的系统，其中所述虚拟图像包括程序步骤的虚拟动画。30.根据权利要求18所述的系统，其中所述虚拟图像包括辅助部件的虚拟图像。31.根据权利要求30所述的系统，其中所述虚拟图像包括所述医疗部件和所述辅助部件的设置程序的虚拟动画。32.根据权利要求18所述的系统，其中所述虚拟图像包括患者的虚拟图像，其中所述虚拟图像包括包含所述患者和所述医疗部件的虚拟动画。33.根据权利要求18所述的系统，其中显示所述虚拟图像包括在所述第一配置中的所
述医疗部件的图像上叠加所述虚拟图像。34.根据权利要求18所述的系统，其中所述处理单元进一步配置为基于接收到的运动学信息从多个存储模型中选择模型。35.根据权利要求34所述的系统，其中所述处理单元进一步配置为基于接收到的运动学信息动态更新选择的模型。

技术总结
一种系统包括处理器和其上存储有计算机可读指令的存储器。计算机可读指令在由处理器执行时使系统接收医疗环境的图像并识别医疗环境的图像中的医疗部件。该医疗部件可以以第一配置设置。计算机可读指令在由处理器执行时还使系统接收关于医疗部件的运动学信息，并且基于运动学信息生成虚拟引导。该虚拟引导可包括以第二配置设置的医疗部件的虚拟图像。括以第二配置设置的医疗部件的虚拟图像。


技术研发人员：P
受保护的技术使用者：直观外科手术操作公司
技术研发日：2021.11.29
技术公布日：2023/10/8