用于基于操作员的头部运动来调整成像设备的视场的技术的制作方法

用于基于操作员的头部运动来调整成像设备的视场的技术
1.相关申请的交叉引用
2.本技术要求2021年8月3日提交的题为“techniques for adjusting a field of view of an imaging device based on head motion of an operator(用于基于操作员的头部运动来调整成像设备的视场的技术)”的美国临时申请号63/228,921的权益，该申请通过引用并入本文。
技术领域
3.本公开总体上涉及电子设备并且更具体地涉及用于基于操作员的头部运动来调整成像设备的视场的技术。


背景技术：

4.计算机辅助电子设备的使用越来越频繁。在工业、娱乐、教育和其他环境中尤其如此。作为医疗示例，如今的医院在手术室、介入室、重症监护病房、急诊室等处发现了大量电子设备。这些电子设备中的许多可能能够自主或半自主运动。人员使用位于用户控制系统的一个或多个输入设备来控制电子设备的运动和/或操作也是常见的。作为具体示例，微创机器人远程外科手术系统准许外科医生从床边或远程位点(location)对患者进行操作。远程外科手术通常是指使用外科手术系统执行的外科手术，其中外科医生使用某种形式的远程控制(诸如伺服机构)来操纵外科手术器械移动，而不是直接用手握持和移动器械。
5.当电子设备用于在工作部位执行任务时，一个或多个成像设备(例如，内窥镜)可以捕获工作部位的图像，该图像向正在监视和/或执行任务的操作员提供视觉反馈。(一个或多个)成像设备可以是可控的以更新经由显示单元提供给操作员的工作部位的视图。
6.显示单元可以是具有一个或多个视图屏幕的单视场、立体或三维(3d)显示单元。例如，显示单元可以是在液晶显示器(lcd)前面包括柱面透镜图案的透镜状显示器。要查看显示单元，操作员定位他或她的头部，以便操作员可以看到在显示单元的一个或多个视图屏幕上的图像。然而，当操作员相对于一个或多个视图屏幕移动他或她的头部时，显示的视图可能不会改变，并且从操作员的角度来看甚至可能看起来在与头部运动的方向相反的方向上移动。这些影响可能恶化用户体验，诸如通过与操作员预期的或熟悉的不同，从而致使操作员迷失方向、恶心或视觉不适。此外，常规单视场、立体和3d显示单元通常不准许操作员通过移动他或她的头部来感知运动视差，或环顾正在显示的对象。
7.因此，需要用于调整在查看系统的显示单元上所显示的视图的改进技术。


技术实现要素：

8.根据一些实施例，一种计算机辅助设备包括被配置为支撑成像设备的可重定位结构和可通信地耦合到可重定位结构的控制单元，其中控制单元被配置为：接收指示操作员的头部相对于参考的头部运动的头部运动信号，并且响应于确定头部运动信号指示头部运动在方向上没有超出阈值量，致使通过命令可重定位结构或成像设备中的至少一个的移动
来按照所命令的运动调整成像设备的视场，其中所命令的运动是基于头部运动确定的。
9.根据其他实施例，一种方法包括接收指示操作员的头部相对于参考的头部运动的头部运动信号；并且响应于确定头部运动信号指示头部运动在方向上没有超出阈值量，致使通过命令可重定位结构或成像设备中的至少一个的移动来按照所命令的运动调整成像设备的视场，其中所命令的运动是基于头部运动确定的。
10.其他实施例包括但不限于一个或多个非暂时性机器可读介质，其包括多个机器可读指令，当由一个或多个处理器执行时，这些指令适于致使一个或多个处理器执行本文公开的任何方法。
11.前面的一般描述和下面的详细描述本质上是示例性和解释性的并且旨在提供对本公开的理解而不限制本公开的范围。就此而言，根据以下详细描述，本公开的附加方面、特征和优点对于本领域技术人员来说将是显而易见的。
附图说明
12.图1是根据各种实施例的包括计算机辅助设备的示例的简化图。
13.图2图示了根据各种实施例的用于检测操作员的头部运动并响应于头部运动调整成像设备的视场(fov)的方法。
14.图3图示了根据各种实施例的用于在调整成像设备的fov期间改变成像设备的fov的取向的方法。
15.图4图示了根据其他各种实施例的用于检测操作员的头部运动并响应于头部运动调整成像设备的fov的方法。
16.图5图示了根据各种实施例的用于基于操作员的头部运动调整成像设备的fov的方法的简化图。
17.图6更详细地图示了根据各种实施例的图5的方法的一个过程。
具体实施方式
18.本说明书和图示发明方面、实施例或模块的附图不应被视为限制——权利要求限定受保护的发明。在不脱离本说明书和权利要求的精神和范围的情况下，可以做出各种机械、组成、结构、电气和操作改变。在某些情况下，未详细示出或描述众所周知的电路、结构或技术以免混淆本发明。两幅或多幅图中相同的数字表示相同或相似的元件。
19.在本说明书中，阐述了描述与本公开一致的一些实施例的具体细节。为了提供对实施例的透彻理解，阐述了许多具体细节。然而，对于本领域的技术人员来说显而易见的是，可以在没有这些具体细节中的一些或全部的情况下实践一些实施例。本文公开的具体实施例旨在说明而非限制。本领域的技术人员可以认识到虽然没有在这里具体描述但是在本公开的范围和精神内的其他元件。此外，为了避免不必要的重复，与一个实施例相关联地示出和描述的一个或多个特征可以并入到其他实施例中，除非另有具体描述或如果一个或多个特征会使实施例不起作用。
20.此外，本说明书的术语并非旨在限制本发明。例如，空间相关术语，诸如“下方”、“下面”、“较低”、“上方”、“上面”、“近侧”、“远侧”等可以用于描述一个元件或特征与图中所图示的另一个元件或特征的关系。除了图中所示出的位置(position)和取向之外，这些空
间相关术语旨在还涵盖元件或它们的操作的不同位置(即位点)和取向(即旋转放置)。例如，如果一幅图的内容被翻转，则被描述为在其他元件或特征“下面”或“下方”的元件将在其他元件或特征的“上方”或“之上”。因此，示例性术语“下方”可以涵盖上方和下方的位置和取向。设备可以以其他方式取向(旋转90度或以其他取向)，并且相应地解释本文使用的空间相关描述符。同样，对沿和围绕各个轴线的移动的描述包括各种特殊元件的位置和取向。此外，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另有说明。并且，术语“包括”、“包含”、“含有”等指定了所陈述的特征、步骤、操作、元件和/或部件的存在，但不排除存在或添加一个或多个其他特征、步骤、操作、元件、部件和/或组。描述为耦合的部件可以是电或机械直接耦合，或者该部件可以经由一个或多个中间部件间接耦合。
21.参考一个实施例或模块详细描述的元件可以在任何可行的时候被包括在它们没有被具体示出或描述的其他实施例或模块中。例如，如果参考一个实施例详细描述了元件，而没有参考第二实施例描述，则该元件仍然可以被要求包括在第二实施例中。因此，为了避免在下面的描述中不必要的重复，与一个实施例或应用相关联地示出和描述的一个或多个元件可以并入其他实施例或方面，除非另有具体描述，除非一个或多个元件将使一个实施例或实施例不起作用，或除非元件中的两个或多个提供相互冲突的功能。
22.在某些情况下，并未详细描述众所周知的方法、程序、部件和电路，以免不必要地模糊实施例的各方面。
23.本公开根据各种设备、元件以及计算机辅助设备和元件的部分在三维空间中的状态对其进行了描述。如本文所使用的，术语“位置”是指元件或元件的部分在三维空间中的位点(例如，沿笛卡尔x、y和z坐标的三个平移自由度)。如本文所使用的，术语“取向”是指元件或元件的部分的旋转放置(三个旋转自由度——例如，滚动、俯仰和偏航)。如本文所使用的，术语“形状”是指沿元件测量的设定位置或取向。如本文所使用的，并且对于具有可重新定位臂的设备，术语“近侧”是指沿其运动学链朝向计算机辅助设备的基座的方向，并且“远侧”是指沿运动学链远离基座的方向。
24.参考计算机辅助系统和设备描述了本公开的各方面，该计算机辅助系统和设备可以包括远程操作的、远程控制的、自主的、半自主的、机器人等的系统和设备。此外，根据使用包括远程操作医疗设备的医疗系统的实施例来描述本公开的各方面，诸如由加利福尼亚州桑尼维尔市(sunnyvale,california)的直观外科手术操作公司(intuitive surgical,inc.)商业化的da 外科手术系统。然而，技术人员将理解，本文公开的发明方面可以以各种方式体现和实施，包括机器人实施例和(如果适用)非机器人实施例。针对da 外科手术系统描述的实施例仅仅是示例性的并且不应被视为限制本文公开的发明方面的范围。例如，参考外科手术器械和外科手术方法描述的技术可以在其他情况下使用。因此，本文所描述的器械、系统和方法可以用于人类、动物、人类或动物解剖结构的部分、工业系统、通用机器人或远程操作系统。作为进一步的示例，本文所描述的器械、系统和方法可以用于非医疗目的，包括工业用途、一般机器人用途、感测或操纵非组织工件、美容改进、人类或动物解剖结构的成像、从人类或动物解剖结构收集数据、建立或拆除系统、训练医疗或非医疗人员等。其他示例应用包括用于从人类或动物解剖结构中移除的组织(返回或没有返回人类或动物解剖结构)的程序以及用于人类或动物尸体的程序。此外，这些技术还可以用于包括或不包括外科手术方面的医疗治疗或诊断程序。
25.系统概述
26.图1是根据各种实施例的示例计算机辅助设备的简化图。在一些示例中，远程操作系统100可以是远程操作医疗系统，诸如外科手术系统。如图所示，远程操作系统100包括跟随器设备104。跟随器设备104由一个或多个引导器输入设备控制，下面将更详细地描述。包括引导器设备和跟随器设备的系统有时也称为主从系统。图1中还示出了包括工作站102(例如，控制台)的输入系统。在各种实施例中，输入系统可以以任何适当的形式并且可以包括也可以不包括工作站。
27.在该示例中，工作站102包括一个或多个引导器输入设备106，该引导器输入设备由操作员108接触和操纵。例如，工作站102可以包括一个或多个引导器输入设备106以供操作员108的手使用。该示例中的引导器输入设备106由工作站102支撑并且可以机械接地。在一些实施例中还可以提供符合人体工程学的支撑件(例如，前臂托)，操作员108可以将他或她的前臂搁在该支撑件上。在一些示例中，操作员108可以在程序期间通过使用引导器输入设备106命令跟随器设备104来在跟随器设备104附近的工作部位处执行任务。
28.显示单元112也被包括在工作站102中。显示单元112显示图像以供操作员108查看。在一些实施例中，显示单元可以是具有一个或多个视图屏幕的单视场、立体或三维(3d)显示单元。例如，显示单元112可以是在液晶显示器(lcd)前面包括柱面透镜图案并且显示3d全息图像的透镜状显示器。作为另一示例，显示单元112可以是二维(2d)显示器，诸如lcd。尽管本文主要针对作为接地机械结构(例如，工作站102)的一部分的显示单元112进行描述，但在其他实施例中，显示单元可以是任何技术上可行的一个或多个显示设备。例如，显示单元可以是手持设备，诸如平板设备或手机。作为另一示例，显示单元可以是头戴式设备(例如，眼镜、护目镜、头盔)。
29.在远程操作系统100的示例中，经由显示单元112显示的图像可以描绘操作员108正在通过操纵引导器输入设备106在其处执行各种任务的工作部位。在一些实施例中，显示单元112可以可选地以各种自由度可移动以适应操作员108的查看位置和/或作为另一引导器输入设备提供控制功能。在一些示例中，由显示单元112显示的图像由工作站102从布置在工作部位中或工作部位周围的一个或多个成像设备接收。在其他示例中，显示的图像可以由显示单元112(或由连接的其他设备或系统)生成，诸如从任何数量的虚拟成像设备的角度渲染(render)的工具或工作部位的虚拟表示。在一些实施例中，操作员(例如，操作员108)的头部运动经由一个或多个传感器被检测并被转换成命令以致使成像设备的移动，或以其他方式致使更新经由显示单元112呈现给操作员的图像中的视图(诸如通过经由虚拟成像设备的图形渲染)，如下面结合图2至图5更详细地描述的。
30.当使用工作站102时，操作员108可以坐在工作站102前面的椅子或其他支撑件上，将他或她的眼睛定位在显示单元112前面，操纵引导器输入设备106，并根据需要将他或她的前臂搁在符合人体工程学的支撑件上。在一些实施例中，操作员108可以站在工作站处或采取其他姿势，并且可以调整显示单元112和引导器输入设备106的位置(高度、深度等)以适应操作员108。
31.在一些实施例中，一个或多个引导器输入设备可以是未接地的(未接地的引导器输入设备不是运动学接地的，诸如由操作员108的手握持的引导器输入设备而无需附加物理支撑)。这种不接地的引导器输入设备可以与显示单元112结合使用。在一些实施例中，操
作员108可以使用定位在工作部位附近的显示单元112，使得操作员108可以在工作部位处手动操作器械，诸如外科手术示例中的腹腔镜器械，同时查看由显示单元112显示的图像。
32.远程操作系统100还包括可以由工作站102命令的跟随器设备104。在医疗示例中，跟随器设备104可以位于患者可以定位在其上的手术台(例如台、床或其他支撑件)附近。在这种情况下，可以在手术台上提供工作部位，例如在患者身上或体内、模拟的患者或模型等(未显示)。所示出的远程操作跟随器设备104包括多个操纵器臂120，每个操纵器臂120被配置为耦合到器械组件122。器械组件122可以包括例如器械126和被配置为保持相应器械126的器械托架。
33.在各种实施例中，器械126中的一个或多个可以包括用于捕获图像的成像设备。例如，器械126中的一个或多个可以是内窥镜组件，该内窥镜组件包括一个或多个光学相机、高光谱相机、超声传感器等，其可以提供要经由显示单元112显示的工作部位的部分的捕获图像。
34.在一些实施例中，响应于操作员108对引导器输入设备106的操纵，可以控制跟随器操纵器臂120和/或器械组件122以移动和关节式致动(articulate)器械126，使得操作员108可以在工作部位处执行任务。操纵器臂120和器械组件122是可以在其上安装器械和/或成像设备的可重定位结构的示例。对于外科手术示例，操作员可以指导跟随器操纵器臂120以移动器械126中的一个或多个以通过微创孔或自然孔口在内部外科手术部位处执行外科手术程序。
35.如图所示，控制系统140提供在工作站102的外部并且与工作站102和跟随器设备104通信。在其他实施例中，控制系统140可以被提供在工作站102中或跟随器设备104中。随着操作员108移动(一个或多个)引导器输入设备106，基于引导器输入设备106的移动，包括感测到的位置和/或取向信息的感测到的空间信息被提供给控制系统140。控制系统140可以确定或提供控制信号到跟随器设备104以基于接收到的信息和操作员输入来控制操纵器臂120、器械组件122和/或器械126的移动。在一个实施例中，控制系统140支持一种或多种有线通信协议(例如，以太网、usb等)和/或一种或多种无线通信协议(例如，蓝牙、irda、homerf、ieee 802.11、dect、无线遥测等)。
36.控制系统140可以在一个或多个计算系统上实施。一个或多个计算系统可以用于控制跟随器设备104。此外，一个或多个计算系统可以用于控制工作站102的部件，诸如显示单元112的移动。
37.如图所示，控制系统140包括处理器150和存储控制模块170的存储器160。在一些实施例中，控制系统140可以包括一个或多个处理器、非持久性储存装置(例如，易失性存储器，诸如随机存取存储器(ram)、高速缓冲存储器)、持久性储存装置(例如，硬盘、光驱(诸如光盘(cd)驱动器或数字多功能盘(dvd)驱动器)、闪存等)、通信接口(例如，蓝牙接口、红外接口、网络接口、光学接口等)，以及多个其他元件和功能。此外，控制模块170的功能可以在任何技术上可行的软件和/或硬件中实施。
38.控制系统140的一个或多个处理器中的每一个可以是用于处理指令的集成电路。例如，一个或多个处理器可以是处理器、中央处理单元(cpu)、微处理器、现场可编程门阵列(fpga)、专用集成电路(asic)、数字信号处理器(dsp)、图形处理单元(gpu)、张量处理单元(tpu)等的一个或多个核或微核。控制系统140还可以包括一个或多个输入设备，诸如触摸
point)到与参考fov姿势206相关联的有利点右侧捕获(或渲染)图像。作为结果，成像设备220可以捕获更接近其头部位置已经从参考位置202向右移动到新位置204的操作员所期望的或熟悉的图像。
47.传感器206表示任何技术上可行的一个或多个传感器，其被配置为感测操作员的头部的位置和/或运动。在一些示例中，传感器206可以包括飞行时间传感器，诸如光检测和测距(lidar)传感器、基于计算机视觉的传感器、直接或间接耦合到头部的加速计或惯性传感器、相机、具有直接或间接耦合到头部的发射器或接收器的发射器-接收器系统，或其组合。可以使用传感器206以任何技术上可行的方式跟踪操作员的头部的位置和/或运动。在一些示例中，从传感器206接收的信号用于使用众所周知的技术将操作员的头部检测为团块(blob)，并且可以随时间跟踪与团块相关联的位置以确定头部运动。在其他示例中，可以跟踪操作员的头部上的特定特征，诸如操作员的眼睛。此外，在一些实施例中，可以在一维(例如左右运动)、二维(例如右/左和上/下)或三维(例如右/左、上/下和向前/向后)中跟踪操作员的头部运动。在一些实施例中，可以使用在空间(例如，来自多个感测元件)或时间上聚合、过滤或平均传感器信号的技术来导出头部运动。
48.在一些实施例中，控制模块170基于从传感器206接收到的信号来确定操作员的头部相对于参考位置202的左右和上下位移(即没有在向前向后方向上朝向或远离显示单元112的位移)。对于左右和上下位移中的每一个，可以基于位移除以从操作员的头部到经由显示单元112显示的对象214的表示的距离的反正切来确定与位移相关联的角度。如图2的示例所示，与从参考位置202到新位置204的向右头部运动相关联的角度210可以计算为位置202和204之间的位移212除以从在参考位置202处的操作员的头部到对象214的表示的距离208的反正切。可以执行类似的计算以确定与左、上和下头部位移相关联的角度(未示出)。在一些实施例中，从操作员的头部到对象214的表示的距离可以通过以下各项确定：(1)经由传感器206测量操作员的头部距显示单元112的距离；以及(2)将测量的距离添加到已知距离(即在显示的一个或多个图像中，对象214的表示在显示单元112后面(即，在远离操作员的方向上)的距离)。如果操作员在向前向后方向上移动他或她的头部靠近或远离显示单元112，则操作员的头部到对象214的表示的距离可以改变。
49.控制模块170进一步确定与左右位移和上下位移相关联的每个角度是否大于最小阈值角度。在一些示例中，最小阈值角度可以是0.25-0.5度。当与左右位移或上下位移相关联的角度不大于最小阈值角度时，则可以忽略该位移，使得成像设备220不会响应于操作员的相对较小的头部运动而不断移动。
50.当与左右位移或上下位移相关联的角度大于最小阈值角度时，则控制模块170进一步确定该角度是否小于最大阈值角度。超出最大阈值角度的头部移动不被成像设备220的fov 230跟随，因为成像设备220的fov 230不旨在跟随所有头部移动，并且成像设备220也可能在物理上不能跟随相对大的头部移动。在一些实施例中，成像设备220的fov 230在偏航和俯仰方向上旋转，以在每个方向的运动的可达最大阈值角度的角度范围内，分别在左右和上下方向上跟随头部运动的角度。在一些示例中，最大阈值角度可以是操作员头部移动的5-7度。此外，在一些实施例中，如果头部运动在特定时间段内超出最大阈值角度(或另一阈值角度)或者如果检测到操作员的视线不再朝向显示单元112，诸如如果操作员转动他或她的头与附近的人说话，则成像设备220的fov 230可以保持不变或可以撤销先前的调
整。
51.当与左右和/或上下位移相关联的角度小于最大阈值角度时，则控制模块170确定对应的偏航角度和/或俯仰角度以用于相对于参考fov姿势226调整成像设备220的fov 230，这允许成像设备220的fov 230跟随操作员的头部运动。在一些实施例中，与左右和上下位移相关联的角度被负缩放以确定分别使成像设备220的fov 230进行偏航或俯仰的对应的角度。在一些示例中，当角度接近零时缩放可以是一对一的、非线性的，以避免在相对小的角度出现问题，和/或缩放取决于与成像设备220相关联的光学参数。与成像设备220相关联的光学参数可以包括被包含在成像设备220中的传感器(例如，光学相机、高光谱相机、超声传感器等)的对焦距离、传感器的类型(例如，光学相机是否是广角相机)等。例如，如果成像设备220包括与相对长的焦距相关联的放大(zoomed-in)相机，则可以选择缩放因子，该缩放因子响应于操作员的头部运动相对较少地调整成像设备220的fov 230。在一些实施例中，与操作员的上下头部运动相比，可以将不同的缩放因子应用于左右头部运动。
52.如图所示，与从参考位置202到新位置204的头部位移212相关联的角度210被负缩放以获得将成像设备220的fov 230相对于参考fov姿势226进行调整的角度234。由于负缩放，针对与关于角度210的逆时针旋转相对应的操作员的头部的向右移动，成像设备220的fov 230在顺时针偏航方向上旋转，并且反之针对操作员的头部的向左移动亦然。类似地，针对与逆时针旋转相对应的操作员的头部的向上移动，成像设备220的fov 230可以在顺时针俯仰方向上旋转，并且反之针对操作员的头部的向下移动亦然。如所描述的，在图2的示例中，当操作员的头部相对于参考位置202在向右方向上移动时，则成像设备220的fov 230也被移动以从有利点到与参考fov姿势226相关联的有利点右侧捕获图像。作为结果，成像设备220可以捕获更接近操作员所期望的或熟悉的图像，从而减少或消除操作员的恶心和视觉不适。此外，捕获的图像准许操作员感知图像中的运动视差和遮挡，以及环顾对象240，该对象240被捕获并经由显示单元112显示为对象214的表示。
53.在偏航和俯仰方向上的运动的角度被确定之后，成像设备220被移动以基于成像设备220和/或成像设备220所安装到的可重定位结构的逆向运动学来实现那些角度。在一些示例中，控制模块170可以使用逆向运动学来确定成像设备220的关节和/或成像设备220所安装到的可重定位结构如何被致动，使得成像设备220被调整到与fov姿势228相关联的位置，fov姿势228相对于参考fov姿势226成角度234。控制模块170然后可以向用于成像设备220和/或可重定位结构的关节的控制器发出命令以致使成像设备220的移动。
54.在图2的示例中，成像设备220是包括一个或多个光学相机(未示出)的内窥镜。相机提供经由显示单元112向操作员显示的工作部位的部分的捕获图像。在其他实施例中，成像设备可以是用于渲染3d虚拟环境的至少一部分的虚拟相机。如图所示，成像设备220被约束为围绕枢转点222枢转并且围绕沿着成像设备220的轴的中心线存在的轴线滚动。例如，枢转点222可以是内窥镜插入患者体内的体壁上的点或成像设备220插入工作空间中的进入端口。如所描述的，成像设备220围绕枢转点222旋转，使得成像设备的fov 230响应于操作员从参考位置202到新位置204的头部移动而远离参考fov姿势226旋转角度234到达新fov姿势228。如图所示，参考fov姿势226不同于在移动成像设备220之后由成像设备220提供的新fov姿势228。
55.除了围绕枢转点222旋转成像设备220之外，在一些实施例中，控制模块170基于操
作员的头部的左右位移来确定成像设备220的取向改变。图3图示了根据各种实施例的用于在调整成像设备的fov期间改变成像设备的取向的方法。如图所示，包括传感器设备308和310(其可以是例如光学相机、高光谱相机、超声波传感器等)的成像设备220可以被重新定位以基于操作员的头部的左右位移调整由传感器设备308捕获的成像设备220的fov 230。在图3的示例中，当成像设备220的fov 230由于成像设备220基于操作员的头部的左右位移从原始位置302到向左位置304或向右位置306的重新定位而被调整时，成像设备220的fov 230通过基于左右位移分别在顺时针方向上或在逆时针方向上滚动fov 230来进一步调整。在一些实施例中，成像设备220的fov 230的滚动角度(即相对于参考fov姿势226中的fov 230的参考取向的角位置的改变)与操作员的头部的左右位移成比例。在这种情况下，滚动的比例增益可以是0.25，或者基于经验确定的增益值。通过滚动成像设备220的fov 230，成像设备220可以捕获(或在虚拟成像设备的情况下生成)更接近操作员熟悉或预期的图像。例如，随着操作员在颈部枢转他或她的头部，滚动可以模仿操作员的头部的轻微旋转，其可能伴随操作员的头部从参考位置202到新位置204的平移而发生。
56.回到图2，在一些实施例中，当与自参考位置202的左右或上下头部位移相关联的角度大于最大阈值角度时，则成像设备220的fov 230仅被旋转到与最大阈值角度相关联的最大偏航或俯仰角度。如所描述的，在一些实施例中，最大阈值角度可以是5-7度。超出最大阈值角度的头部移动不被成像设备220的fov 230跟随，因为成像设备220的fov 230不旨在跟随所有头部移动，并且成像设备220的fov 230也可能在物理上不能跟随大的头部移动。在一些实施例中，最大阈值角度对于左右头部运动和上下头部运动可以相同或不同。成像设备220的fov 230仅被调整为跟随操作员的左右或上下头部运动达对应的最大阈值角度。当操作员的头部位置在左右或上下方向上返回到与小于最大阈值角度的角度相关联的自参考位置202的位移时，成像设备220的fov 230可以再次基于操作员的头部运动被调整。在其他实施例中，当与自参考位置202的左右或上下头部位移相关联的角度超出对应的最大阈值角度时，成像设备220的fov 230可以返回到参考fov姿势226。
57.在一些实施例中，当超出如上所述的最大阈值角度达阈值时间段时，可以重置相对于其确定操作员的头部运动的左右和上下参考位置(例如，参考位置202)。在一些示例中，阈值时间段可以是几分钟。通过在头部运动超出最大阈值角度达阈值时间段之后重置参考位置202，可以相对于在操作员的头部从一个位置移动到另一个位置之后的操作员的当前头部位置确定操作员随后的头部运动。例如，操作员可以在他或她的椅子上移动到不同的头部位置，并在该位置停留超出阈值时间段。在这种情况下，参考位置202将被重置为当前头部位置。在一些实施例中，当重置参考位置202时，可以在超出最大阈值角度达阈值时间段之后将低通滤波器应用于操作员的头部运动。例如，可以使用低通滤波器在可配置的时间段(诸如10秒)内通过多个步骤将参考位置轻轻移动到操作员的头部的当前位置。
58.在一些实施例中，可以在成像设备重新定位操作结束时重置参考fov姿势226，成像设备220的fov 230的调整相对于该参考fov姿势226被确定。在一些示例中，操作员被准许使用一个或多个手输入控件和/或脚输入控件来改变成像设备220的fov 230的位置和/或取向。当操作员正在改变成像设备220的fov 230的位置和/或取向时，成像设备220根据响应于手输入控件和/或脚输入控件而生成的命令被调整，而不是根据经由传感器206感测的头部运动，即手输入控件和/或脚输入控件取代头部运动。在成像设备重新定位操作结束
时，可以将成像设备220的参考fov姿势226重置为成像设备220的当前fov。
59.在一些实施例中，本文描述的各种参数(诸如头部运动的最小阈值和最大阈值、缩放因子、阈值时间段等)可以基于成像设备220的类型、显示单元112的类型、可重定位结构的类型、操作员偏好、在工作部位执行的程序的类型、成像设备220的焦距等等中的一种或多种来确定。
60.图4图示了根据其他各种实施例的用于检测操作员的头部运动并响应于头部运动调整成像设备的fov的方法。如图所示，操作员从参考位置402到新位置404的头部运动被转换为对成像设备420的fov 430的调整，类似于上面对图2的描述。在一些实施例中，成像设备420的fov 430偏航和俯仰的角度(例如，角度434)分别通过将与操作员的头部的左右位移和上下位移相关联的角度(例如，角度410)进行负缩放来确定。
61.如图所示，成像设备420是包括一个或多个光学相机的内窥镜，光学相机安装在内窥镜的远端并且提供经由显示单元112向操作员显示的工作部位的一部分的捕获图像。类似于成像设备220，成像设备420可以围绕枢转点422枢转并且围绕沿成像设备420的轴的中心线存在的轴线滚动。与成像设备220不同，成像设备420包括准许成像设备420的远端围绕另一点424枢转的柔性腕部。在其他实施例中，柔性腕部可以准许成像设备以任何技术上可行的方式弯曲。
62.说明性地，除了计算将成像设备420旋转的角度434之外，控制模块170进一步确定成像设备420的腕部的关节式致动(articulation)，其将成像设备420的fov 430的方向与操作员查看经由显示单元112显示的对象414的表示的方向对准。操作员的查看方向可以由相对于参考位置402的相同角度410来指定。如图所示，成像设备420的腕部已经基于操作员的查看方向进行关节式致动，以将成像设备420的fov 430指向成像设备420正在捕获的对象440。作为结果，在调整之前由成像设备提供的参考fov姿势426与在移动成像设备420之后由成像设备420提供的新fov姿势428基本相同。如图所示，参考fov姿势426和新fov姿势428表示为向量，其方向分别指示参考fov姿势426和新fov 428的中心。
63.因为成像设备420的fov 430的方向与操作员的查看方向对准，所以在一些实施例中成像设备420的fov 430不基于操作员的左右头部运动而滚动，与上面结合图2至图3描述的成像设备220的fov 230相反。在成像设备的关节式致动的腕部不能将成像设备的fov的方向与操作员的查看方向完全对准的其他实施例中(由于腕部的运动范围限制)，成像设备的fov仍然可以基于操作员的左右头部运动而滚动。
64.尽管除了旋转包括柔性腕部的成像设备的fov的角度之外，本文主要关于确定腕部的关节式致动进行了描述，但是在其他实施例中，柔性腕部可以基于操作员的头部运动进行关节式致动以基于头部运动调整捕获图像的成像设备的fov，以及在头部运动之后与操作员的查看方向对准。在这种情况下，头部运动可以直接映射到调整成像设备的fov的腕部运动，而不需要图像设备围绕枢转点(诸如枢转点422)旋转。
65.尽管本文主要关于计算与头部运动相关联的角度(例如，角度210或410)并基于该角度调整成像设备的fov进行描述，但在一些实施例中，对成像设备的fov的调整可以基于操作员的头部运动以其他方式确定。例如，在一些实施例中，相对于操作员的头部的参考位置的头部位移(例如，位移212或412)可以通过基于操作员距显示单元显示的对象的距离与成像设备距在工作部位被捕获的对象的距离之间的比率来将头部位移进行负缩放而直接
转换为成像设备的fov的位移，而不计算相关联的角度。在一些实施例中，在确定将成像设备的fov调整多少期间，可以包括和/或省略操作员距被显示的对象的距离的改变。图5图示了根据各种实施例的用于基于操作员的头部运动来调整成像设备的fov的方法500的简化图。方法500的过程502-520中的一个或多个可以至少部分地以存储在非暂时性的有形的机器可读介质上的可执行代码的形式实施，在由一个或多个处理器(例如，控制系统140中的处理器150)运行时，该可执行代码可以致使该一个或多个处理器执行过程502-520中的一个或多个。在一些实施例中，方法500可以由一个或多个模块执行，诸如控制系统140中的控制模块170。在一些实施例中，方法500可以包括未示出的附加过程。在一些实施例中，过程502-520中的一个或多个可以至少部分地由控制系统140的模块中的一个或多个执行。
66.可以在各种操作模式下根据方法500基于操作员的头部运动来调整成像设备的fov。在一些实施例中，成像设备的fov可以总是响应于操作员的头部运动而被调整。在其他实施例中，可以基于包括成像设备的系统的操作模式、操作员偏好等来启用或禁用其中响应于操作员的头部运动来调整成像设备的fov的模式。在一些实施例中，可以基于操作员的头部运动和经由一个或多个其他输入模态接收的控制输入的组合(例如通过叠加基于操作员的头部运动的调整和基于经由一个或多个其他输入模态接收的控制输入的调整)来调整成像设备的fov。例如，一个或多个其他输入模态可以包括手操作控制器(诸如上面结合图1描述的引导器输入设备106之一)和/或脚操作控制器。
67.如图所示，方法500开始于过程502，其中基于来自传感器(例如，传感器206或406)的信号确定操作员的头部运动。在一些实施例中，头部运动可以是相对于参考位置的角度，该角度被确定为位移除以从操作员的头部到经由显示单元(例如，显示单元112)显示的对象的表示的距离的反正切，如上文结合图2所述。在一些实施例中，过程502处的头部运动是操作员的头部的左右移动或上下移动，其分别用于确定用于调整成像设备的fov的对应的左右角度或上下角度。在这种情况下，可以重复方法500的过程502-520以基于在另一个(左右或上下)方向上的头部运动来调整成像设备的fov。在其他实施例中，过程502处的头部运动可以包括操作员头部的左右移动和上下移动两者，其用于确定对成像设备的fov的左右调整和上下调整两者。在一些实施例中，不计算运动的角度，可以直接将自参考位置的左右位移和/或上下位移用作头部运动。
68.在过程504处，确定头部运动是否大于运动的最小阈值量。如所描述的，在一些实施例中，运动的最小阈值量可以是在左右和上下方向的每一个上的0.25-0.5度的最小阈值角度或者最小位移。在这种情况下，可以将上面结合过程502描述的与在左右和/或上下方向上的头部运动相关联的角度或位移与对应的最小阈值角度进行比较。
69.当头部运动不大于运动的最小阈值量时，则不基于头部运动调整成像设备(例如，成像设备220)的fov，并且方法500返回过程502。当头部运动大于运动的最小阈值量时，则方法500继续到过程506，其中确定头部运动是否大于或等于运动的最大阈值量。类似于过程504，在一些实施例中，运动的最大阈值量可以是在左右和上下方向中的每一个上的5-7度的最大阈值角度或最大位移。在这种情况下，可以将上面结合过程502描述的与在左右和/或上下方向上的头部运动相关联的角度或位移与对应的最大阈值角度进行比较。
70.当头部运动不大于或等于运动的阈值量时，则在过程508处，基于头部运动确定对成像设备的fov的期望调整。图6更详细地图示了根据各种其他实施例的图5的方法的过程
508。如图所示，在过程602处，头部运动被负缩放。在一些实施例中，头部运动相对于参考位置的角度或位移被负缩放以确定用于相对于成像设备的参考fov姿势调整成像设备的fov的对应的角度或位移，如上文中结合图2所述。在这种情况下，当角度(或位移)接近零时，缩放可以是一对一的、非线性的，以避免在相对小的角度(或位移)出现问题，和/或缩放取决于与成像设备相关联的光学参数。
71.在过程604处，确定成像设备的fov的滚动。在成像设备不包括柔性腕部的一些实施例中可以执行过程604。在一些实施例中，缩放操作员的头部的左右位移以确定成像设备的fov相对于成像设备的fov的参考取向的滚动角度，如上文结合图3所述。在这种情况下，滚动相对于左右头部位移的比例增益可以是0.25，或者基于经验确定的增益值。
72.可替代地，在过程606处，确定使成像设备的fov与操作员的查看方向对准的腕部的关节式致动。在成像设备包括柔性腕部的一些实施例中，可以执行过程606而不是过程604。在其他实施例中，操作员的头部运动可以直接映射到成像设备的腕部的运动，而不需要图像设备的fov围绕枢转点旋转。
73.返回到图5，在过程510处，基于对成像设备的fov的期望调整来致动成像设备和/或成像设备所安装到的可重定位结构。在一些实施例中，可以确定一个或多个命令并将其发出到用于成像设备中的关节(例如，与关节式致动的腕部相关联的关节)和/或可重定位结构的控制器，以致使成像设备的移动以实现对成像设备的fov的期望调整，如上文结合图2所述。
74.当在过程506处确定头部运动大于或等于运动的最大阈值量时，则在过程512处，基于最大调整量确定对成像设备的fov的调整。在一些示例中，最大调整量是fov可以基于头部运动而被旋转的相对于成像设备的参考fov姿势的最大角度(或者在不计算角度的一些实施例中，为最大位移)。在其他实施例中，当头部运动大于运动的最大阈值量时，成像设备的fov可以返回到参考fov姿势。
75.在过程514处，基于对成像设备的fov的期望调整来致动成像设备和/或成像设备所安装到的可重定位结构。过程514类似于上述过程510。
76.在过程516处，当头部运动返回到小于运动的最大阈值量时，方法500继续到过程508，其中基于头部运动确定对成像设备的fov的期望调整。然而，当头部运动没有返回到小于运动的最大阈值量，并且在过程518已经经过了阈值时间量时，则在过程520处基于当前头部位置重置操作员的头部的参考位置。
77.如在所公开的实施例中的各种实施例中所描述的，跟踪操作员相对于参考位置的头部运动，并且基于头部运动来调整成像设备的fov，达阈值调整量。在一些实施例中，头部运动包括基于操作员的头部在左右和上下方向上的位移确定的角度。在这种情况下，成像设备的fov在偏航和俯仰方向上旋转，以在每个方向的可达最大角度的范围内，分别在左右和上下方向上跟随头部运动的角度。在其他实施例中，成像设备的fov可以基于在每个方向的可达最大位移的位移范围内的操作员的头部在左右和上下方向上的位移而位移。此外，当头部位置超出对应的最大角度或位移达阈值时间段时，以及在成像设备的fov的重新定位操作结束时，可以针对每个方向分别重置从中确定头部运动和对成像设备的fov的调整的参考。
78.有利地，所公开的技术可以提供对操作员的头部的运动的响应，该响应相对于常
规显示单元显示的视图更接近于操作员所熟悉或期望的。例如，所公开的技术可以被实施以准许操作员感知运动视差并通过移动他或她的头来环顾被显示的对象。此外，所公开的技术可以被实施以减少或消除当显示的视图不以类似于物理对象的方式改变时(诸如当显示的视图不响应于操作员的头部运动而改变时，以及诸如当显示的视图从操作员的角度来看在与头部运动相反的方向上移动时)可能引起的对操作员的不适。
79.控制系统的一些示例(诸如控制系统140)可以包括非暂时性有形的机器可读介质，其包括可执行代码，当由一个或多个处理器(例如，处理器150)运行时，该可执行代码可以致使一个或多个处理器执行方法500的过程和/或图5至图6的过程。可以包括方法500的过程和/或图5至图6的过程的一些常见形式的机器可读介质例如是软盘、柔性盘、硬盘、磁带、任何其他磁性介质、cd-rom、任何其他光学介质、穿孔卡、纸带、任何其他带有孔图案的物理介质、ram、prom、eprom、flash-eprom、任何其他存储器芯片或盒，和/或适合处理器或计算机从中读取的任何其他介质。
80.尽管已经示出和描述了说明性实施例，但是在前述公开中设想了宽范围的修改、改变和替换，并且在一些情况下，可以采用实施例的一些特征而不相应地使用其他特征。本领域的普通技术人员会认识到许多变化、替代和修改。因此，本发明的范围应仅由所附权利要求书限制，并且权利要求书被广泛地解释并且在某种程度上与本文公开的实施例的范围一致是适当的。

技术特征：
1.一种计算机辅助设备，包括：可重定位结构，其被配置为支撑成像设备；以及控制单元，其可通信地耦合到所述可重定位结构；其中所述控制单元被配置为：接收指示操作员的头部相对于参考的头部运动的头部运动信号；并且响应于确定所述头部运动信号指示所述头部运动在方向上没有超出阈值量，致使通过命令所述可重定位结构或所述成像设备中的至少一个的移动来按照所命令的运动调整所述成像设备的视场即fov，其中所述所命令的运动是基于所述头部运动确定的。2.根据权利要求1所述的计算机辅助设备，其中所述控制单元进一步被配置为通过以下操作确定所述所命令的运动：确定与所述头部运动相关联的相对于所述参考的在左右方向上的第一角度；基于所述第一角度，确定将所述成像设备的所述fov相对于fov参考姿势在偏航方向上进行调整的第二角度；以及基于所述第二角度确定所述所命令的运动。3.根据权利要求2所述的计算机辅助设备，其中确定所述第二角度包括根据第一缩放因子负缩放所述第一角度。4.根据权利要求3所述的计算机辅助设备，其中所述第一缩放因子是基于选自由以下各项组成的组的一个或多个参数来确定的：操作员偏好、所述成像设备的类型以及与所述成像设备相关联的焦距。5.根据权利要求2所述的计算机辅助设备，其中所述控制单元进一步被配置为通过以下操作确定所述所命令的运动：确定与所述头部运动相关联的相对于所述参考的在上下方向上的第三角度；基于所述第三角度，确定将所述成像设备的所述fov相对于所述fov参考姿势在俯仰方向上进行调整的第四角度；以及进一步基于所述第四角度确定所述所命令的运动。6.根据权利要求5所述的计算机辅助设备，其中确定所述第四角度包括根据缩放因子负缩放所述第三角度。7.根据权利要求6所述的计算机辅助设备，其中所述缩放因子与用于缩放所述第一角度的缩放因子相同。8.根据权利要求2所述的计算机辅助设备，其中所述控制单元进一步被配置为通过以下操作确定所述所命令的运动：基于相对于所述参考在所述左右方向上的所述头部运动，确定将所述成像设备的所述fov进行滚动的第五角度；以及进一步基于所述第五角度确定所述所命令的运动。9.根据权利要求8所述的计算机辅助设备，其中确定所述第五角度包括通过缩放因子缩放在所述左右方向上的所述头部运动。10.根据权利要求2所述的计算机辅助设备，其中所述成像设备包括轴和设置在所述轴的远侧部分处的关节，并且其中所述控制单元进一步被配置为通过以下操作确定所述所命令的运动：
确定将使所述成像设备的所述fov的方向与所述头部运动之后的所述操作员的所述头部的查看方向对准的所述关节的关节式致动；以及进一步基于所述关节式致动确定所述所命令的运动。11.根据权利要求1所述的计算机辅助设备，其中所述控制单元进一步被配置为通过以下操作确定所述所命令的运动：确定与所述头部运动相关联的相对于所述参考的在左右方向上的第一位移；基于所述第一位移确定将所述成像设备的所述fov相对于fov参考姿势在偏航方向上进行调整的第二位移；以及基于所述第二位移确定所述所命令的运动。12.根据权利要求1至11中任一项所述的计算机辅助设备，其中所述阈值量包括阈值角度。13.根据权利要求12所述的计算机辅助设备，其中所述阈值角度不小于5度且不大于7度。14.根据权利要求1至11中任一项所述的计算机辅助设备，其中所述控制单元进一步被配置为通过以下操作确定所述所命令的运动：确定将使所述成像设备的所述fov的方向与所述头部运动之后的所述操作员的所述头部的查看方向对准的对所述成像设备的所述fov的调整；以及进一步基于对所述成像设备的所述fov的所述调整来确定所述所命令的运动。15.根据权利要求1至11中任一项所述的计算机辅助设备，其中所述控制单元进一步被配置为：响应于确定所述头部运动信号指示所述头部运动在所述方向上超出所述阈值量，命令所述可重定位结构或所述成像设备中的至少一个，以按照与所述成像设备的所述fov在所述方向上的最大调整相关联的所命令的移动来调整所述成像设备的所述fov。16.根据权利要求1至11中任一项所述的计算机辅助设备，其中所述控制单元进一步被配置为：响应于确定所述头部运动信号指示所述头部运动在所述方向上超出所述阈值量，命令所述可重定位结构或所述成像设备中的至少一个，以按照基于所述参考确定的所命令的移动来调整所述成像设备的所述fov。17.根据权利要求1至11中任一项所述的计算机辅助设备，其中所述控制单元进一步被配置为：响应于确定所述头部运动信号指示所述头部运动在所述方向上超出所述阈值量达至少阈值时间段，基于所述头部的当前位置重置所述参考。18.根据权利要求17所述的计算机辅助设备，其中重置所述参考包括在一段时间内通过多个步骤将所述参考改变到所述头部的所述当前位置。19.根据权利要求1至11中任一项所述的计算机辅助设备，其中命令所述可重定位结构或所述成像设备中的至少一个的所述移动包括：确定头部运动信号指示所述头部运动在所述方向上超出另一阈值量。20.根据权利要求19所述的计算机辅助设备，其中所述另一阈值量是不小于0.25度且不大于0.5度的阈值角度。
21.根据权利要求1所述的计算机辅助设备，其中所述所命令的运动进一步基于来自手操作输入设备或脚操作输入设备中的至少一个的控制信号来确定。22.根据权利要求1所述的计算机辅助设备，其中所述计算机辅助设备是远程操作医疗设备。23.一种方法，其包括：接收指示操作员的头部相对于参考的头部运动的头部运动信号，并且响应于确定所述头部运动信号指示所述头部运动在方向上没有超出阈值量，致使通过命令成像设备或支撑所述成像设备的可重定位结构中的至少一个的移动来按照所命令的运动调整所述成像设备的视场即fov，其中所述所命令的运动是基于所述头部运动确定的。24.根据权利要求23所述的方法，进一步包括通过以下操作确定所述所命令的运动：确定与所述头部运动相关联的相对于所述参考的在左右方向上的第一角度；基于所述第一角度，确定将所述成像设备的所述fov相对于fov参考姿势在偏航方向上进行调整的第二角度；以及基于所述第二角度确定所述所命令的运动。25.根据权利要求24所述的方法，其中确定所述第二角度包括根据第一缩放因子负缩放所述第一角度。26.根据权利要求25所述的方法，其中基于选自由以下各项组成的组的一个或多个参数来确定所述第一缩放因子：操作员偏好、所述成像设备的类型以及与所述成像设备相关联的焦距。27.根据权利要求24所述的方法，进一步包括通过以下操作确定所述所命令的运动：确定与所述头部运动相关联的相对于所述参考的在上下方向上的第三角度；基于所述第三角度，确定将所述成像设备的所述fov相对于所述fov参考姿势在俯仰方向上进行调整的第四角度；以及进一步基于所述第四角度确定所述所命令的运动。28.根据权利要求24所述的方法，进一步包括通过以下操作确定所述所命令的运动：基于相对于所述参考在所述左右方向上的所述头部运动，确定将所述成像设备的所述fov进行滚动的第五角度；以及进一步基于所述第五角度确定所述所命令的运动。29.根据权利要求24所述的方法，其中所述成像设备包括轴和设置在所述轴的远侧部分处的关节，并且所述方法进一步包括通过以下操作确定所述所命令的运动：确定将使所述成像设备的所述fov的方向与所述头部运动之后的所述操作员的所述头部的查看方向对准的所述关节的关节式致动；以及进一步基于所述关节式致动确定所述所命令的运动。30.根据权利要求23所述的方法，进一步包括通过以下操作确定所述所命令的运动：确定与所述头部运动相关联的相对于所述参考的在左右方向上的第一位移；基于所述第一位移确定将所述成像设备的所述fov相对于fov参考姿势在偏航方向上进行调整的第二位移；以及基于所述第二位移确定所述所命令的运动。31.根据权利要求23所述的方法，其中所述阈值量包括阈值角度。
32.根据权利要求23所述的方法，进一步包括通过以下操作确定所述所命令的运动：确定将使所述成像设备的所述fov的方向与所述头部运动之后的所述操作员的所述头部的查看方向对准的对所述成像设备的所述fov的调整；以及进一步基于对所述成像设备的所述fov的所述调整来确定所述所命令的运动。33.根据权利要求23所述的方法，进一步包括响应于确定所述头部运动信号指示所述头部运动在所述方向上超出所述阈值量，命令所述可重定位结构或所述成像设备中的至少一个，以按照与所述成像设备的所述fov在所述方向上的最大调整相关联的所命令的移动来调整所述成像设备的所述fov。34.根据权利要求23所述的方法，进一步包括响应于确定所述头部运动信号指示所述头部运动在所述方向上超出阈值量，命令所述可重定位结构或所述成像设备中的至少一个，以按照基于所述参考确定的所命令的移动来调整所述成像设备的所述fov。35.根据权利要求23所述的方法，进一步包括响应于确定所述头部运动信号指示所述头部运动在所述方向上超出所述阈值量达至少阈值时间段，基于所述头部的当前位置重置所述参考。36.根据权利要求23所述的方法，其中所述所命令的运动进一步基于来自手操作输入设备或脚操作输入设备中的至少一个的控制信号来确定。37.一种一个或多个非暂时性机器可读介质，其包括多个机器可读指令，当由一个或多个处理器执行时，所述指令适于致使所述一个或多个处理器执行根据权利要求23-36中任一项所述的方法。

技术总结
公开了用于查看系统中的成像设备控制的技术，该系统包括被配置为支撑成像设备的可重定位结构，以及可通信地耦合到可重定位结构的控制单元。控制单元被配置为接收指示操作员的头部相对于参考的头部运动的头部运动信号，并且响应于确定头部运动信号指示头部运动在方向上没有超出阈值量，致使通过命令可重定位结构或成像设备中的至少一个的移动来按照所命令的运动调整成像设备的视场，其中所命令的运动是基于头部运动确定的。动是基于头部运动确定的。动是基于头部运动确定的。


技术研发人员：D
受保护的技术使用者：直观外科手术操作公司
技术研发日：2022.08.02
技术公布日：2023/8/5