用于手术显微镜系统的显微镜的系统、方法和计算机程序与流程

1.本发明涉及手术显微镜系统以及涉及用于手术显微镜系统的显微镜的系统、方法和计算机程序。


背景技术：

2.自动对焦是当今光学相机中常用的功能。例如，手术显微镜常常提供自动对焦功能。但是，在手术显微镜中，通常的自动对焦功能通常使用预定义的图像区域，该图像区域用作焦点参考。在许多情况下，外科医生感兴趣的区域常常不在这个自动聚焦区域内。这会导致相机聚焦在外科医生预期以外的区域上。
3.在智能电话和无反光镜可更换镜头相机中，提供了增强的自动对焦功能，该功能搜索人脸并尝试聚焦在人脸上。即使人脸在图像内移动，自动对焦也可以保持搜索人脸并相应地调整焦点。
4.在手术显微镜和其他医学光学成像设备中，感兴趣区域不像人脸那样普遍。代替地，它可以是任何东西，诸如解剖学或形态学结构，例如，分别是血管或手术腔体。因此，不可能预定义空间模式(诸如人脸)并在图像内搜索它以设定自动对焦目标。
5.可能期望改进手术显微镜的自动聚焦功能。


技术实现要素：

6.这种期望由手术显微镜系统以及用于手术显微镜系统的显微镜的系统、方法和计算机程序来解决。
7.提出的概念是基于这样的发现，即，在外科手术期间，外科医生专注于小区域(即，实际手术部位)，而对那个区域周围的其他部分不太感兴趣。这个区域由一个或几个解剖特征定义或标示，外科医生在这些解剖特征上或者在这些解剖特征之间进行操作。在提出的概念中，外科医生可以指向图像中的区域，并且这样做触发提出的功能，以确保图像焦点自动聚焦到这个区域上。外科医生可以提供识别这个区域中需要跟随的解剖特征的指示，例如，可以指示系统在给定区域中跟随用户指定的血管，或者指示可以是非特定的，因此提出的功能可以关于指示的区域暗示哪些特征做出一些假设，例如，如果外科医生指示的区域包含手术腔体，那么选择手术腔体。因此，提出的概念可以允许外科医生以智能且有意义的方式选择自动对焦区域，使得自动对焦跟随特定的图像特征，而不是图像的空间固定的区域。
8.本公开的各种示例涉及一种用于手术显微镜系统的显微镜的系统。该系统包括一个或多个处理器和一个或多个存储设备。该系统被配置为从显微镜的至少一个光学成像传感器获得成像传感器数据。该系统被配置为基于用户的输入来确定关于手术显微镜系统的用户的感兴趣区域的信息。该系统被配置为确定感兴趣区域内的感兴趣的解剖特征。该系统被配置为在成像传感器数据内检测感兴趣的解剖特征的位置。该系统被配置为触发显微镜的自动对焦功能以聚焦在感兴趣的解剖特征的位置上。通过基于用户输入确定感兴趣区
域，可以为检测算法提供足够的信息来确定可能感兴趣的特征，该可能感兴趣的特征可以被跟踪并用作自动对焦功能的目标，使得可能感兴趣的特征在整个手术过程中保持对焦。
9.一般而言，该系统可以被配置为在成像传感器数据的多个帧上跟踪感兴趣的解剖特征的位置。通过在多个帧上跟踪特征，可以触发自动对焦功能以基于感兴趣的解剖特征的当前位置调整焦点。
10.例如，该系统可以被配置为如果感兴趣的解剖特征的位置相对于成像传感器数据的视场移位了至少预定义时间间隔，那么触发自动对焦功能。换句话说，如果感兴趣特征的位置不仅是暂时移位(例如，当外科医生改变视场时，或者当外科医生移动感兴趣的特征时)，那么可以采用自动对焦功能将焦点调整到感兴趣的解剖特征的当前位置。
11.虽然手术显微镜系统一般配备有用于图像处理的强大处理器，但通过将解剖特征的位置的检测限制到仅帧的子集(例如，限制到每个第n帧)，可以提高所提出概念的效率。例如，该系统可以被配置为最多在成像传感器数据的每个第二帧中检测感兴趣的解剖特征的位置。
12.在各种示例中，使用可以基于机器学习模型的软件算法来检测感兴趣的解剖特征。通过将成像传感器数据限制到感兴趣的区域，可以减少所述软件算法所需的努力，并且可以提高准确性。例如，该系统可以被配置为在成像传感器数据内定位感兴趣区域。该系统可以被配置为确定成像传感器数据的表示感兴趣区域的一部分内的感兴趣的解剖特征。
13.在感兴趣区域内，可以通过(基于机器学习的)算法识别不同的解剖特征，并且可以在识别出的解剖特征中选择感兴趣的解剖特征。例如，该系统可以被配置为至少对成像传感器数据的表示感兴趣区域的一部分执行图像分割以确定成像传感器数据的表示感兴趣区域的该部分内存在的至少一个特征。附加地或可替代地，该系统可以被配置为至少对成像传感器数据的表示感兴趣区域的一部分执行物体检测以识别成像传感器数据的表示感兴趣区域的该部分内的至少一个特征。该系统可以被配置为基于在成像传感器数据的表示感兴趣区域的该部分内存在的至少一个特征来确定感兴趣的解剖特征。例如，可以采用现有的图像分割机器学习模型或物体检测机器学习模型来确定感兴趣区域中存在的解剖特征，可以从其中选择感兴趣的解剖特征。
14.外科医生可能会对各种特征感兴趣，例如，在脑外科手术期间。例如，该系统可以被配置为执行物体检测以在成像传感器数据的表示感兴趣区域的至少部分内识别血管、血管的分支点、出血和肿瘤中的至少一个。
15.此外，还可以检测非解剖特征并将其用于定义感兴趣的非解剖特征，在一些情况下可以使用感兴趣的非解剖特征来代替感兴趣的解剖特征。例如，该系统可以被配置为执行物体检测以将夹子和缝线中的至少一个识别为感兴趣的非解剖特征。该系统可以被配置为在成像传感器数据内检测感兴趣的非解剖特征的位置。该系统可以被配置为进一步基于感兴趣的非解剖特征的位置来执行显微镜的自动对焦功能。在一些情况下，非解剖特征(诸如夹子或缝线)恰好放置在外科医生打算进行操作的手术部位的部分，从而使它们成为与自动对焦功能相关的有用目标。
16.在一些示例中，感兴趣的解剖特征可以是更大解剖特征的一部分。例如，解剖特征可以是血管中的分支，其是较大血管的一部分。这个较大的解剖特征因此可以被细分为较小的解剖特征，邻近的解剖特征在较大的解剖特征内界定给定解剖特征的范围。例如，该系
统可以被配置为基于位于感兴趣的解剖特征所基于的特征附近的一个或多个特征的范围来确定感兴趣的解剖特征的范围。
17.在一些示例中，感兴趣区域可能无法由单个感兴趣的解剖特征定义，但可以与特征之间的区域或与一组特征相关。例如，该系统可以被配置为，如果用户指示的感兴趣区域涉及两个或更多个特征或者涉及两个或更多个特征之间的区域，那么基于两个或更多个特征确定感兴趣的解剖特征，并且基于两个或更多个特征的位置确定感兴趣的解剖特征的位置。
18.在这种情况下，界定感兴趣区域的特征甚至可以在感兴趣区域之外。因而，该系统可以被配置为，如果用户指示的感兴趣区域涉及两个或更多个特征之间的区域，那么从位于感兴趣区域内的特征和位于感兴趣区域外的特征中选择两个或更多个特征。
19.有多种选项供用户指定感兴趣区域。例如，该系统可以被配置为在成像传感器数据内检测由用户操作的指示器以确定感兴趣区域。可替代地或附加地，该系统可以被配置为基于经由手术显微镜系统的用户接口获得的用户输入信号来确定感兴趣区域。指示器或用户接口使得能够非常精确地指定感兴趣区域。
20.可替代地或附加地，该系统被配置为基于经由手术显微镜系统的语音命令系统获得的解剖特征的语音描述来确定感兴趣区域。以这种方式，可以在外科医生不必将仪器移离手术部位的情况下定义感兴趣区域。
21.先前列出的选项允许外科医生明确定义感兴趣区域。但是，在一些示例中，可以隐含地定义感兴趣区域，例如，通过从外科医生的动作推断感兴趣区域。例如，该系统可以被配置为在成像传感器数据内确定用户正在操作的手术部位的一部分以确定感兴趣区域。可替代地或附加地，该系统可以被配置为使用注视跟踪机构来确定感兴趣区域。可替代地或附加地，该系统可以被配置为在用户完成对准视场之后从预定图像区域(优选地在视场的中心)确定感兴趣区域。在这些情况下，用户不必明确定义感兴趣区域，从而减少外科医生所需的努力。
22.在一些示例中，可以执行一定量的图像处理以促进感兴趣区域的定义。例如，该系统可以被配置为执行图像分割和/或物体检测以确定成像传感器数据内的多个特征。该系统可以被配置为确定多个特征的视觉表示并且向手术显微镜系统的显示设备提供包括该视觉表示的显示信号。该系统可以被配置为响应于多个特征的视觉表示而获得用户的输入。通过提供多个特征的视觉表示，用户可以在检测到的特征中进行选择以定义感兴趣区域。
23.手术显微镜系统常常适于检测由注入血管或组织的荧光团发出的荧光发射。这些荧光发射可以被用于清楚地识别感兴趣的解剖特征。而且，附加的成像信息(诸如从多光谱成像获得的信息)可以被用于清楚地识别感兴趣的解剖特征。例如，成像传感器数据可以包括具有彩色成像数据的第一分量和具有高光谱成像数据、多光谱成像数据、荧光成像数据中的至少一个的第二分量。该系统可以被配置为至少基于第二分量来确定感兴趣的解剖特征和/或检测感兴趣的解剖特征的位置。
24.所确定的感兴趣的解剖(或非解剖)特征可以被突出显示并呈现给用户，例如，因此用户可以确信“正确的”特征被用于自动对焦功能。例如，该系统可以被配置为基于成像传感器数据生成数字视图。该系统可以被配置为在数字视图内突出显示感兴趣区域和/或
感兴趣的解剖(或非解剖)特征。该系统可以被配置为向手术显微镜系统的显示设备提供包括数字视图的显示信号。
25.各种示例涉及一种包括具有光学成像传感器的显微镜和上述系统的手术显微镜系统。
26.各种示例涉及一种用于手术显微镜系统的显微镜的对应方法。该方法包括从显微镜的至少一个光学成像传感器获得成像传感器数据。该方法包括基于用户的输入确定关于手术显微镜系统的用户的感兴趣区域的信息。该方法包括确定感兴趣区域内的感兴趣的解剖特征。该方法包括在成像传感器数据内检测感兴趣的解剖特征的位置。该方法包括触发显微镜的自动对焦功能以聚焦在感兴趣的解剖特征的位置上。
27.各种示例涉及一种对应的计算机程序，其具有用于当计算机程序在处理器上执行时执行上述方法的程序代码。
附图说明
28.下面将仅通过示例并参考附图描述装置和/或方法的一些示例，其中
29.图1a示出了用于手术显微镜系统的显微镜的系统的示例的框图；
30.图1b示出了手术显微镜系统的示例的示意图；
31.图1c至1e示出了与大脑的血管相关的感兴趣的解剖特征的图示；
32.图2示出了用于手术显微镜系统的显微镜的方法的示例的流程图；
33.图3示出了关于大脑的手术部位的数字视图的示例的示意图；以及
34.图4示出了包括显微镜和计算机系统的系统的示意图。
具体实施方式
35.现在将参考其中图示了一些示例的附图更全面地描述各种示例。在图中，为了清楚起见，可以夸大线、层和/或区域的厚度。
36.图1a示出了用于手术显微镜系统100的显微镜120的系统110的示例的框图(在图1b中更详细地示出)。手术显微镜系统100包括作为数字显微镜的显微镜120，即，它包括与系统110耦合的光学成像传感器122。一般而言，显微镜(诸如显微镜120)是光学仪器，其适用于检查太小而无法被人眼(单独)检查的物体。例如，显微镜可以提供样品的光学放大。在现代显微镜中，常常为相机或成像传感器(诸如显微镜120的光学成像传感器122)提供光学放大。显微镜120还可以包括一个或多个用于放大关于样品的视图的光学放大组件，诸如物镜(即，透镜)。
37.除了作为显微镜120的一部分的光学组件之外，手术显微镜系统100还包括系统110，其是计算机系统。该系统包括一个或多个处理器114和一个或多个存储设备116。可选地，该系统还可以包括一个或多个接口112。如图1a中所示，一个或多个处理器114与一个或多个存储设备116和(可选的)一个或多个接口耦合。一般而言，该系统的功能由一个或多个处理器114结合一个或多个接口112(例如，用于与显微镜的光学成像传感器122或与手术显微镜系统的显示设备130交换信息)和/或结合一个或多个存储设备116(用于存储和/或检索信息)提供。系统110被配置为从显微镜的至少一个光学成像传感器122获得成像传感器数据。系统110被配置为基于用户的输入来确定关于手术显微镜系统的用户的感兴趣区域
的信息。系统110被配置为确定感兴趣区域内的感兴趣的解剖特征。系统110被配置为在成像传感器数据内检测感兴趣的解剖特征的位置。系统110被配置为触发显微镜的自动对焦功能以聚焦在感兴趣的解剖特征的位置上。显然，系统110是用于处理手术显微镜系统100中的成像传感器数据和/或用于控制显微镜120和/或手术显微镜系统100的其他组件的系统。
38.一般而言，显微镜系统(诸如手术显微镜系统100)是包括显微镜120和与显微镜一起操作的附加组件的系统，这些附加组件诸如为系统110(其是适于控制手术显微镜系统，并且例如处理显微镜的成像传感器数据的计算机系统)和附加传感器、显示器等。
39.存在多种不同类型的显微镜。如果显微镜用在医学或生物学领域，那么通过显微镜查看的物体可以是(例如，布置在培养皿内或存在于患者身体的一部分中的)有机组织的样品。在本情况下，显微镜120是手术显微镜系统的显微镜，即，将在诸如肿瘤手术过程之类的手术过程期间或在肿瘤手术期间使用的显微镜。因而，通过显微镜查看并在合成图像中示出的物体可以是患者的有机组织的样品，并且特别可以是外科医生在手术过程期间对其操作的手术部位。在下文中，将要被成像的物体(即，手术部位)被假设是神经外科手术过程期间大脑的手术部位。但是，所提出的概念也适用于其他类型的手术(诸如心脏手术或眼科学)。
40.图1b示出了包括系统110和显微镜120(具有光学成像传感器122)的手术显微镜系统100的示例的示意图。图1b中所示的手术显微镜系统100包括多个可选组件，诸如具有(滚动)支架的基座单元105(包括系统110)、布置在显微镜120处的目镜显示器130a、布置在基座单元105处的辅助显示器130b，以及将显微镜120保持在适当位置并耦合到基座单元105和显微镜120的(机器人或手动)臂140。一般而言，这些可选的和非可选的组件可以耦合到系统110，系统110可以被配置为控制相应组件和/或与之交互。
41.所提出的概念基于两个主要组成部分—获得用户输入以定义感兴趣区域并使用用户指定的感兴趣区域来确定感兴趣的解剖特征，然后对其进行跟踪，以便将自动对焦应用于感兴趣的解剖特征，即使视场发生改变或者感兴趣的特征已移动也是如此。
42.所提出的概念通过基于用户输入确定感兴趣区域开始。有多种选项用于执行这个任务。例如，用户可以使用指示器，诸如手指、手术仪器或专用指示器设备(例如，具有主动视觉标记(诸如灯)、被动视觉标记(诸如二维码)，并指向或环绕一个或多个解剖特征以指示感兴趣区域(包围用户指示的点或圆圈的感兴趣区域)。可以使用被训练为确定成像传感器数据中的指向和/或环绕动作的机器学习模型或使用被配置为基于成像传感器数据(例如，基于主动或被动视觉标记或通过在指尖上执行物体检测)确定指向或环绕动作的确定性算法来检测指向和/或环绕。该系统可以被配置为在成像传感器数据内检测由用户操作的指示器以确定感兴趣区域。例如，该系统可以被配置为，如果用户指向视场中的(单个)位置，那么确定该(单个)点周围的感兴趣区域。例如，如果用户指向特征(例如，解剖或非解剖特征)，那么感兴趣区域可以包围所述特征。该系统可以被配置为，如果用户在视场内环绕区域，那么确定感兴趣区域与用户环绕的区域重合。例如，如果用户环绕特征或相互相邻的特征的集合，那么感兴趣区域可以包围所述特征或特征的集合。该系统可以被配置为，如果用户指向多个位置，那么确定这些点是否与同一解剖特征相交，然后在解剖特征的所述(部分)周围设定感兴趣区域。例如，如果用户多次指向细长的血管(例如，如图1e中所示)，那么
感兴趣区域可以包围外科医生所指向的血管的一部分。
43.如果用户经由诸如手术显微镜系统的触摸屏之类的用户接口定义感兴趣区域，那么可以采用相似的方法。例如，该系统可以被配置为基于经由手术显微镜系统的用户接口获得的用户输入信号来确定感兴趣区域。再次，用户可以使用单个或多个点或圆圈来定义感兴趣区域。
44.为了支持选择过程，可以分析成像传感器数据以确定和区分成像传感器数据中的特征，诸如解剖特征(例如，血管、肿瘤、分支、组织的部分等)或非解剖特征(例如，夹子或缝线)。为此，可以使用以下一种或两种基于机器学习的技术—图像分割和物体检测。该系统可以被配置为执行图像分割和/或物体检测以确定成像传感器数据内的多个特征。在物体检测中，一个或多个预定义物体(即，相应机器学习模型对其进行训练的物体)在成像传感器数据中的位置由机器学习模型输出，连同物体的分类(如果机器学习模型被训练为检测多种不同类型的物体)。一般而言，一个或多个预定义物体的位置被提供为定界框，即，形成包围被检测的相应物体的矩形形状的位置的集合。在图像分割中，特征的位置(即，具有相似属性(例如，属于同一物体)的成像传感器数据的部分)由机器学习模型输出。一般而言，特征的位置作为像素掩模被提供，即，属于特征的像素的位置在每个特征的基础上被输出。
45.对于物体检测和图像分割两者，使用经训练以执行相应任务的机器学习模型。例如，为了训练被训练为执行物体检测的机器学习模型，可以提供多个图像传感器数据样本作为训练输入样本，并且可以提供对应的定界框坐标的列表作为训练的期望输出，其中使用基于监督式学习的训练算法来使用多个训练输入样本和对应的期望输出来执行训练。例如，为了训练被训练为执行图像分割的机器学习模型，可以提供多个图像传感器数据样本作为训练输入样本，并且可以提供对应的像素掩模作为训练的期望输出，其中使用基于监督式学习的训练算法来使用多个训练输入样本和对应的期望输出来执行训练。在一些示例中，可以使用相同的机器学习模型来执行物体检测和图像分割两者。在这种情况下，可以在训练期间并行使用上面提到的两种类型的期望输出，其中训练机器学习模型以输出定界框和像素掩模两者。机器学习模型不仅可以用于支持感兴趣区域的选择，还可以用于确定感兴趣的解剖特征，这将在稍后阶段示出。
46.该系统可以被配置为确定多个特征的视觉表示。例如，该系统可以被配置为确定视觉表示，该视觉表示具有突出显示和/或标示多个特征的覆盖图，例如，具有在特征周围的轮廓(例如，基于像素掩模或定界框)，和/或具有覆盖在相应的特征上的颜色覆盖图(例如，基于像素掩模或定界框)。例如，如果正在执行物体检测，那么可以在该特征旁边包括对该特征的书面描述。此外，可以显示网格，这对于基于语音的用户接口可以变得有用。例如，视觉表示可以包括在通过显微镜查看的手术部位的数字视图中，例如，覆盖在数字视图上。该系统可以被配置为向手术显微镜系统的显示设备130(例如，视觉显示器130a或辅助显示器130b)提供包括视觉表示(具有其的数字视图)的显示信号。用户可以使用视觉表示来选择感兴趣区域，例如，通过指向其中一个或多个特征或者通过环绕特征。因而，该系统可以被配置为响应于多个特征的视觉表示而获得用户的输入。
47.如果使用基于语音的用户接口来选择感兴趣区域，那么这个视觉表示可以特别有用。例如，该系统可以被配置为基于经由手术显微镜系统的语音命令系统获得的解剖特征的语音描述来确定感兴趣区域。该系统可以被配置为使用语音处理算法来处理语音描述以
将被描述的解剖特征与使用物体检测和/或图像分割识别出的多个特征之一相关联。例如，该系统可以被配置为，如果语音描述包括对网格的单元格的引用，那么选择符合在网格的单元格内示出的描述的解剖特征，并且基于所选择的解剖特征来确定感兴趣区域。可替代地或附加地，可以使用自然语言描述(例如，“右下侧最大的分支”，或“视图右侧所示的两个分支之间的血管部分”)，并且该系统可以被配置为基于自然语言描述来选择解剖特征并且基于所选择的解剖特征来确定感兴趣区域。
48.上面，感兴趣的区域是由用户明确选择的。可替代地，可以隐含地执行感兴趣区域的选择，其中该系统解释用户(例如，外科医生)的动作以确定感兴趣区域。例如，该系统可以被配置为在成像传感器数据内确定用户正在操作的手术部位的一部分以确定感兴趣区域。例如，该系统可以被配置为执行物体检测以在成像传感器数据内检测一个或多个手术仪器的位置，并基于一个或多个手术仪器的位置确定用户正在操作的手术部位的部分，并确定一个或多个手术仪器的位置周围(例如，一个或多个手术仪器的面向手术部位的一侧周围)的感兴趣区域。附加地或可替代地，该系统可以被配置为使用注视跟踪机构来确定感兴趣区域，例如，通过经由显微镜的目镜跟踪用户的注视并将感兴趣区域确定为注视集中在其上持续预定义时间间隔的区域。可替代地或附加地，该系统可以被配置为在用户完成对准视场之后(即，在用户改变显微镜的位置或调整显微镜的放大倍率之后)从预定图像区域(在视场内，例如，覆盖视场的至少10％且至多50％的视场内的中心区域)来确定感兴趣区域。
49.一旦确定了感兴趣区域，就选择感兴趣区域内的感兴趣的解剖特征。特别地，该系统可以被配置为在成像传感器数据(以及因此当前视场)内定位感兴趣区域，并且在成像传感器数据的表示感兴趣区域的一部分内确定感兴趣的解剖特征，例如，使用图像处理技术，诸如上面提到的物体检测或图像分割。换句话说，图像处理技术被用于例如除了选择感兴趣区域之外还自动地选择感兴趣的解剖特征而无需附加的用户输入。
50.如上所述，可以使用“物体检测”和“图像分割”这两种技术中的至少一种来分析成像传感器数据并确定成像传感器数据内的特征(例如，解剖或非解剖特征)，其中解剖特征在确定的特征之中被选择。为此，可以使用(可选的)跨成像传感器数据的特征的先前确定，或者可以对与感兴趣区域(以及潜在地一些周围区域，这将在下文中变得明显)对应的成像传感器数据的子集执行物体检测或图像分割。因而，该系统可以被配置为至少对成像传感器数据的表示感兴趣区域的部分执行图像分割以确定成像传感器数据的表示感兴趣区域的部分内存在的至少一个特征，并且基于成像传感器数据的表示感兴趣区域的部分内存在(例如，与其相交)的至少一个特征(例如，像素掩模)确定感兴趣的解剖特征。可替代地或附加地，该系统可以被配置为至少对成像传感器数据的表示感兴趣区域的部分执行物体检测以识别成像传感器数据的表示感兴趣区域的部分内存在(例如，与其相交)的至少一个特征(例如，定界框)，并且基于成像传感器数据的表示感兴趣区域的部分内存在的识别出的至少一个特征来确定感兴趣的解剖特征。换句话说，如果图像分割机器学习模型的物体检测的输出指示一个或多个特征与成像传感器数据中的感兴趣区域相交，那么所述特征(或多个特征)可以被用作(一个或多个)感兴趣特征。如果用户指示了多个点，那么可以选择与所有或大部分点相交的特征或特征组合作为感兴趣的解剖特征。
51.在一些示例中，用于选择感兴趣的解剖特征的特征可以限于特定的特征组。例如，
该系统可以被配置为执行物体检测以识别成像传感器数据的表示感兴趣区域的至少一部分内的血管、血管的分支点、出血、肿瘤、手术腔体、具有预定义颜色的组织、具有变色的组织、升高区域和凹陷区域中的至少一种。因而，被训练为执行物体检测的机器学习模型可以被训练以检测成像传感器数据中的血管、血管的分支点、出血、肿瘤、手术腔体、具有预定义颜色的组织、具有变色的组织、升高区域和凹陷区域中的至少一种。类似地，被训练为执行图像分割的机器学习模型可以被训练为对成像传感器数据中的血管、血管的分支点、出血、肿瘤、手术腔体、具有预定义颜色的组织、具有变色的组织、升高区域和凹陷区域中的至少一种执行图像分割。因而，可以基于一个或多个机器学习模型的输出来选择感兴趣的解剖特征，该模型被训练为输出信息，诸如定界框或像素掩模，表示特定特征，诸如上面提到的血管、分支点、出血、肿瘤、手术腔体、具有预定义颜色的组织、具有变色的组织、升高区域或凹陷区域。
52.在下文中，给出了关于所提出的方法如何应用于神经外科手术期间收集的成像传感器数据的一些示例。图1c至1e示出了与大脑的血管相关的感兴趣的解剖特征的图示。例如，该系统可以识别形态学和颜色特征，诸如动脉、静脉和其上的独特形状标识符，例如，分支。在图1c中，示出了具有多个分支的大脑的血管。在神经外科手术中，在许多情况下，此类血管的分支特别令人感兴趣。因此，如图1d中所示，该系统可以被配置为使用物体检测来识别血管的分支点150-158(示出为分支点周围的定界框)。如果感兴趣区域与定界框之一相交，那么可以选择所述分支点作为感兴趣的解剖特征。在一些示例中，该系统可以被配置为识别感兴趣区域内的低对比度或不可见信息。例如，如果外科医生多次指向静脉，那么该系统可以理解它是关于静脉而不是附近的动脉，或者如果外科医生点击腔体的表面上完全含氧的血液(微出血)，那么该系统可以考虑血液饱和度和这个元素(微出血)的形状，从而识别手术腔体。此外，可以考虑附加的图像信息，诸如来自高光谱成像或荧光成像的成像传感器数据。例如，成像传感器数据可以包括具有彩色成像数据(例如，来自白光反射成像)的第一分量和具有高光谱成像数据、多光谱成像数据和荧光成像数据中的至少一个的第二分量。第二分量可以包括在第一分量中不存在或不可辨别的信息，例如，因为它与来自相邻波段的颜色信息混合，或者因为荧光发射被从白光反射图像中排除或淹没在白光反射图像中(通过从用于执行白光反射成像的照明中排除相应的荧光发射波段)。这个附加信息可以被用于区分或选择感兴趣的解剖特征。因而，该系统可以被配置为至少基于第二分量来确定感兴趣的解剖特征和/或检测感兴趣的解剖特征的位置，例如，通过使用在高光谱或多光谱成像传感器数据中被隔离的荧光发射或颜色信息，以将感兴趣的解剖特征与成像传感器数据中可见的其他特征区分开来。
53.在一些示例中，该系统还可以考虑邻近的结构，诸如相同血管的分支，这些结构不直接在用户定义的区域内，即，算法可以将其某个片段理解为两个特征分支或血管曲率之间的血管部分。例如，如图1e中所示，可以选择大曲率160作为感兴趣的解剖特征(作为较大血管的一部分)，例如，通过沿着曲率的路径多次指点或通过指向曲率的中心。可替代地，可以选择分支点164；166之间的血管部分162。因而，该系统可以被配置为基于位于感兴趣的解剖特征所基于的特征附近的一个或多个特征的范围来确定感兴趣的解剖特征的范围。例如，该系统可以被配置为基于位于附近的特征来限制感兴趣特征的范围，例如，基于位于血管的部分附近的两个分支点164；166的位置来限制血管162的被选择为感兴趣的解剖特征
的部分。
54.在一些示例中，两个典型特征之间的区域可以被认为是感兴趣的。在不存在典型特征的情况下，感兴趣区域以及因此感兴趣的解剖特征可以被指定为相对于甚至在感兴趣区域之外的其他特征在空间上定向的区域。例如，该系统可以被配置为，如果用户指示的感兴趣区域涉及两个或更多个特征或者涉及两个或更多个特征之间的区域，那么基于两个或更多个特征确定感兴趣的解剖特征，并且基于两个或更多个特征的位置来确定感兴趣的解剖特征的位置。而且，该系统可以被配置为，如果用户指示的感兴趣区域涉及两个或更多个特征之间的区域，那么从位于感兴趣区域内的特征和位于感兴趣区域之外的特征中选择两个或更多个特征。例如，感兴趣区域可以被算法理解为靠近用户指示的感兴趣区域但在其之外的两个垂直定向的血管之间的组织。具有更宽视场的辅助光学成像传感器也可以用于这个目的，即，用于选择感兴趣区域之外的特征。在一些示例中，上面提到的图像分析/处理技术可以被用于提取低对比度或者不可见或者要求量化的特征。例如，该系统可以被配置为执行图像处理以测量与血管/毛细血管相关的参数，诸如密度、分支和曲率，并且使用这些参数来分割和识别感兴趣的解剖特征。例如，具有高密度毛细血管的组织区域可以是感兴趣的解剖特征。
55.在一些示例中，该系统还可以考虑异物，诸如夹子或缝线。例如，该系统可以被配置为执行物体检测以将夹子和缝线中的至少一个识别为感兴趣的非解剖特征。因而，被训练为执行物体检测和/或图像分割的机器学习模型可以基于示出非解剖特征(作为训练输入样本)的成像传感器数据和作为期望输出的对应定界框坐标和/或像素掩模来训练。该系统可以被配置为在成像传感器数据内检测感兴趣的非解剖特征的位置，并且进一步基于感兴趣的非解剖特征的位置来执行显微镜的自动对焦功能。除了感兴趣的解剖特征之外或代替感兴趣的解剖特征，可以使用感兴趣的非解剖特征，例如，该系统可以支持使用关于自动对焦能力的解剖特征和非解剖特征。例如，如果用户指向感兴趣的解剖特征或感兴趣区域包括(更突出的)解剖特征，那么可以基于解剖特征执行自动对焦功能，并且如果用户指向感兴趣的非解剖特征或者感兴趣区域包括(更突出的)非解剖特征，那么可以基于非解剖特征执行自动对焦功能。换句话说，如果用户选择(明确)涉及非解剖特征，那么可以基于非解剖特征执行自动对焦功能，否则可以基于解剖特征执行自动对焦功能。
56.一旦确定了感兴趣的解剖(或非解剖)特征，自动对焦功能就会瞄准感兴趣的特征。特别地，该系统被配置为在成像传感器数据内检测感兴趣的解剖特征的位置，并且触发显微镜的自动对焦功能以聚焦在感兴趣的解剖或非解剖特征的位置上。换句话说，该系统可以被配置为将自动对焦系统使用的焦点设定到感兴趣的(解剖或非解剖)特征的位置。
57.在各种示例中，对感兴趣的特征执行精心确定，以使得能够跨帧跟踪感兴趣的特征，并且一旦视场发生改变(例如，因为用户移动了显微镜或改变了显微镜的放大倍率)或一旦感兴趣特征的位置发生改变就重新启用自动对焦功能。因而，该系统可以被配置为在成像传感器数据的多个帧上跟踪感兴趣的解剖或非解剖特征的位置，例如，通过对多个帧执行物体检测或图像分割并确定后续帧的特征之间的对应关系(例如，基于由图像分割输出的像素掩模所指示的特征的形状)。但是，由于这个过程在计算上是昂贵的并且后续帧之间的差异通常低，因此可以以比成像传感器数据的帧速率更低的帧速率来执行跟踪。该系统因此可以被配置为最多在成像传感器数据的每个第二帧(例如，每个第n帧，其中n∈{2,
3,4,6,10,12,15,24,30,45,60})中检测感兴趣的解剖特征的位置。该系统被配置为，如果感兴趣的解剖或非解剖特征的位置相对于成像传感器数据的视场移位(例如，当视场移位时或当解剖特征被移动时)了至少预定的时间间隔，例如，至少1、或至少2、或至少5、或至少10秒，那么触发自动对焦功能。换句话说，如果感兴趣的解剖或非解剖特征的位置相对于视场不仅是暂时改变，那么可以基于感兴趣的解剖或非解剖特征的位置重新启用自动对焦功能。该系统可以被配置为检测相对于视场移位的感兴趣特征，例如，通过比较相继帧中感兴趣的特征的位置。
58.在一些示例中，感兴趣的特征可以在手术过程期间发生改变。例如，如果感兴趣的特征是肿瘤，那么可以移除肿瘤，如果感兴趣的特征是血管，那么血管会变形，如果感兴趣的特征是两条血管的交叉处，那么其中一条血管被移除。在此类情况下，可以更新和/或重新定义感兴趣的解剖特征。换句话说，如果先前确定的感兴趣特征被移除或变形，那么该系统可以被配置为重复确定感兴趣的解剖特征。在这种情况下，先前的感兴趣的解剖特征周围的区域可以被用作感兴趣区域，并且可以在所述感兴趣区域内确定新的感兴趣的解剖特征。例如，如果感兴趣的解剖特征是血管，并且在某个点，血管发生变形，那么新的变形的形状可以在感兴趣的解剖特征的定义中被使用。可替代地或附加地，可以使用不同类型的动态感兴趣的解剖特征定义。例如，感兴趣的解剖特征可以从动脉与静脉交叉的点开始，并且在手术期间静脉可以从视场中被移除。在这种情况下，感兴趣的解剖特征可以动态地重新定义为特定分支之后的动脉部分。在一些示例中，可以通过考虑外科医生正在工作的区域来执行感兴趣的解剖特征的智能动态适配。例如，当外科医生在组织中挖掘更深的肿瘤时，算法可以跟随“作用点”。
59.所选择的感兴趣的解剖或非解剖特征以及因此关于自动对焦功能使用的点可以被传达给手术显微镜系统的用户(例如，外科医生)。如上所述，可以基于成像传感器数据生成手术部位的数字视图，示出手术部位连同附加信息，例如，手术显微镜系统的设置等。因而，该系统可以被配置为基于成像传感器数据生成数字视图。此外，所选择的感兴趣的解剖或非解剖特征可以被突出显示，例如，通过在感兴趣的解剖或非解剖特征上示出颜色覆盖图，或者通过示出表示焦点的视觉指示符。该系统可以被配置为在数字视图内突出显示感兴趣的区域(例如，作为轮廓)和/或感兴趣的特征(例如，作为另一个轮廓、颜色覆盖图或表示焦点的视觉指示符)，例如，通过添加带有(一个或多个)轮廓的覆盖图、颜色覆盖图或视觉指示符。该系统可以被配置为向手术显微镜系统的显示设备130提供包括数字视图的显示信号。
60.在各种示例中，多个特征的视觉表示和/或手术部位的数字视图被生成并作为显示信号的一部分提供给手术显微镜系统的显示器130。视觉表示或数字视图可以由手术显微镜系统的用户(例如，外科医生)查看。为此，可以将显示信号提供给显微镜系统的显示器，例如辅助显示器130b或目镜显示器130a。因而，该系统可以被配置成为显微镜系统的显示设备130生成显示信号，该显示信号基于数字视图或视觉表示。例如，显示信号可以是用于驱动(例如，控制)显示设备130的信号。例如，显示信号可以包括视频数据和/或用于驱动显示器的控制指令。例如，可以经由系统的一个或多个接口112之一提供显示信号。因而，系统110可以包括适用于向显微镜系统100的显示器130提供显示信号的视频接口112。
61.在所提出的显微镜系统中，使用至少一个光学成像传感器来提供成像传感器数
据。因而，光学成像传感器122被配置为生成成像传感器数据。例如，显微镜120的至少一个光学成像传感器122可以包括或者是基于aps(有源像素传感器)或ccd(电荷耦合器件)的成像传感器122。例如，在基于aps的成像传感器中，使用光电探测器和像素的有源放大器在每个像素处记录光。基于aps的成像传感器常常基于cmos(互补金属氧化物半导体)或s-cmos(科学cmos)技术。在基于ccd的成像传感器中，传入的光子在半导体-氧化物界面处转换成电子电荷，它们随后通过成像传感器的电路系统在成像传感器中的电容仓(capacitive bin，或称为电容区间)之间移动以执行成像。处理系统110可以被配置为从光学成像传感器获得(即，接收或读出)成像传感器数据。成像传感器数据可以通过从光学成像传感器接收成像传感器数据(例如，经由接口112)、通过从光学成像传感器的存储器读出成像传感器数据(例如，经由接口112)或者通过从系统110的存储设备116读取成像传感器数据(例如，在成像传感器数据已经被光学成像传感器或被另一个系统或处理器写入存储设备116之后)来获得。
62.系统110的一个或多个接口112可以与用于接收和/或发送信息的一个或多个输入端和/或输出端对应，这些信息可以在根据指定代码的数字(位)值中、在模块内、在模块之间或在不同实体的模块之间。例如，一个或多个接口112可以包括被配置为接收和/或发送信息的接口电路系统。系统110的一个或多个处理器114可以使用一个或多个处理单元、一个或多个处理设备、用于处理的任何部件来实现，该部件诸如为处理器、计算机或可与相应适配的软件一起操作的可编程硬件组件。换言之，所描述的一个或多个处理器114的功能也可以在软件中实现，然后在一个或多个可编程硬件组件上执行。此类硬件组件可以包括通用处理器、数字信号处理器(dsp)、微控制器等。系统110的一个或多个存储设备116可以包括计算机可读存储介质的组中的至少一个元件，诸如磁或光存储介质，例如硬盘驱动器、闪存、软盘、随机存取存储器(ram)、可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、电子可擦除可编程只读存储器(eeprom)或网络存储装置。
63.结合所提出的概念或上面或下面描述的一个或多个示例(例如，图2至图4)提到了手术显微镜系统的更多细节和方面。手术显微镜系统可以包括与所提出的概念的一个或多个方面或者上面或下面描述的一个或多个示例对应的一个或多个附加的可选特征。
64.图2示出了用于手术显微镜系统的显微镜的对应方法的示例的流程图。该方法包括从显微镜的至少一个光学成像传感器获得210成像传感器数据。该方法包括基于用户的输入来确定220关于手术显微镜系统的用户的感兴趣区域的信息。该方法包括确定230感兴趣区域内的感兴趣的解剖特征。该方法包括在成像传感器数据内检测240感兴趣的解剖特征的位置。该方法包括触发250显微镜的自动对焦功能以聚焦在感兴趣的解剖特征的位置上。
65.例如，该方法可以由结合图1a至1e之一介绍的手术显微镜系统来实现。结合图1a至1e的手术显微镜系统介绍的特征同样可以包括在对应的方法中。
66.结合所提出的概念或上面或下面描述的一个或多个示例(例如，图1a至1e、3至4)提到了该方法的更多细节和方面。该方法可以包括与所提出的概念的一个或多个方面或者上面或下面描述的一个或多个示例对应的一个或多个附加可选特征。
67.本公开的各种示例涉及用于自适应自动对焦的概念。
68.一般而言，外科医生每次移动显微镜时都需要手动聚焦感兴趣区域。所提出的概
念提供了由外科医生手动定义(仅一次)的感兴趣区域的自动对焦。因此，外科医生无需每次移动显微镜时都花时间调整焦点。因此，感兴趣区域可以总是在焦点上。
69.图3示出了关于大脑的手术部位的数字视图的示例的示意图。图3示出了当前焦点310，其是在基于所确定的感兴趣特征调整焦点之前设定的。基于焦点3，区域320处于焦点对准状态。图3还示出了感兴趣的特征330，其与血管的弯曲区域对应。突出显示的感兴趣特征旁边的锁指示自动对焦系统已锁定到这个感兴趣特征。图3还示出了可以被触发以锁定焦点功能的第一用户接口元素340以及可以被触发以锁定到中心功能的第二用户接口元素350。
70.所提出的概念基于四个组成部分：在第一组成部分中，外科医生识别需要保持焦点对准的感兴趣区域。在第二组成部分中，一种算法将局部信息(即，感兴趣区(roi)，也是感兴趣区域，如结合图1a至图2所讨论的)转换成要在图像内搜索的感兴趣特征(foi)。在第三组成部分中，算法在每个帧中搜索所识别出的foi并将相关图像部分分割为焦点roi。在第四组成部分中，焦点roi被传达到自动对焦功能。
71.下面，针对上面列出的四个基本组成部分给出一些实施示例。例如，关于第一组成部分，外科医生可以使用指点设备(例如，计算机鼠标或触摸屏)来定义roi。可替代地或附加地，外科医生可以使用视场内的物体，例如，使用手术工具的尖端或指尖。在一些示例中，显微镜系统可以采用眼睛跟踪设备，以便外科医生可以查看图像区域并因此指示roi。例如，所定义的roi可以使用标准(即，几何)形状(例如，圆形或正方形)来定义，或者可以使用勾勒出期望结构的自由形式的线来定义。
72.在一些示例中，用户可以在期望的特征上指点或点击一次或多次，例如，沿着血管点击。附加地或可替代地，外科医生可以使用语音命令，例如，“跟随左上侧大动脉的分支”。在一些示例中，显微镜可以基于不同的准则对图像进行分割并且外科医生可以选择其中一个片段，例如，血管的分割和血管特征(例如，分支、变形、颜色)、手术腔体、颜色/变色和升高的区域。例如，分割(也)可以使用彩色图像中所示的信息以外的信息，诸如荧光、多光谱/高光谱图像和术前数据(例如，已知肿瘤位于组织深处)。例如，图像的分割可以由外科医生的手术活动完成或辅助，例如，外科医生正在切割、触摸、操纵的区域。
73.在外科医生选择roi之后，该系统可以识别感兴趣的特征(foi)，即，执行所提出的概念的第二组成部分。例如，该系统可以识别形态学和颜色特征，诸如动脉、静脉和其上的独特形状标识符，例如，分支。该系统可以识别roi内的低对比度或不可见信息。例如，如果外科医生多次点击静脉，该系统可以理解它是关于静脉而不是附近的动脉，或者如果外科医生点击腔体的表面上完全含氧的血液(微出血)，那么该算法可以考虑血液饱和度和这个元素的形状(微出血)，从而识别手术腔体。在一些示例中，该系统还可以考虑邻近的结构，诸如相同血管的分支，这些结构不直接在用户定义的区域内，即，算法可以将其的某个片段理解为两个特征分支或血管弯曲之间的血管部分。在一些示例中，该系统可以考虑异物，诸如夹子或缝线。
74.在不存在典型特征的情况下，可以有可能将roi以及因此foi定义为相对于甚至在roi之外的其他特征在空间上定向的区域。例如，roi可以被算法理解为靠近用户指示的roi但在其之外的两个垂直定向血管之间的组织。具有更宽视场(fov)的辅助相机也可以用于这个目的。在一些示例中，图像分析/处理技术可以被用于提取低对比度或者不可见或者要
求量化的特征。例如，图像处理可以测量与血管/毛细血管相关的参数，诸如密度、分支和曲率，并使用这些参数来分割和识别foi。具有高密度毛细血管的组织区域可以是foi。一般而言，foi可以用任何一个或多个特征来描述。foi识别过程的结果可以被可视化以确保识别的有效性。外科医生可以确认，或者外科医生可能只会在错误时才采取行动。例如，该系统可以使用特定符号(例如，指示变色的斑块的尺寸的箭头、指示血管的曲率的弧、或荧光信号的存在)指示算法用于跟踪的特征的类型。由此，外科医生可以更好地装备以控制跟踪有效性。
75.在系统的第三组成部分中，算法搜索foi。例如，该算法可以使用动态foi描述来搜索foi。例如，可以在每一帧中搜索foi，但定期地(例如，每个第n帧)可以重新定义(即，更新)foi的描述。例如，当foi是血管时，并且在某个点，血管发生变形，新的变形的形状可以在定义中被使用。可替代地或附加地，可以使用不同类型的动态foi定义。例如，除了上面指定的动态foi定义之外，不同类型的foi还可以提供改变foi被定义的方式的能力。例如，foi可以从动脉与静脉交叉的点开始，并且在手术期间静脉可以从fov被移除。在这种情况下，foi可以被动态地重新定义为特定分支之后的动脉部分。在一些示例中，可以通过考虑外科医生正在工作的区域来执行智能动态foi适配。例如，当外科医生在组织中挖掘更深的肿瘤时，算法可以跟随“作用点”。类似于foi的定义，foi搜索过程的结果可以被可视化(例如，通过勾勒出用于自动对焦的当前roi)。这可以连续地、周期性地(例如，每15秒闪烁1秒)、当参数发生改变时(例如，当解剖结构的长度发生改变时)或者当识别出的特征发生改变时(例如，算法停止跟踪血管的交叉点，现在跟踪分支)进行。在一些示例中，所提出的系统可以指示算法在foi的识别中的确定性。这可以允许外科医生在手术的关键部分之前重新定义roi/foi，从而避免在关键手术步骤中自动对焦失败带来的更大不便。
76.关于第四组成部分，即，roi与自动对焦子系统的通信，可以使用以下实施方法。例如，焦点roi可以通过时间延迟进行通信，以避免由于算法对foi的即时误解而引起的错误。例如，如果foi被另一个物体(例如，组织、工具、纱布)覆盖，那么这不应当使算法“发疯”。例如，通信频率会受到foi识别的确定性/置信度的影响。例如，当算法确定时(即，找到确定性水平高的foi)，焦点roi会立即更新，但当确定性低时，可以等到置信度提高或者发出警告。在一些示例中，roi对于具有不同置信度的roi区可以包含不同权重。例如，识别为良好的组织结构可以具有90％的权重，同时其他识别为模糊(例如，由于荧光信号弱)的组织区域可以具有30％的权重。这意味着自动对焦可以优先对具有高置信度的区进行聚焦。
77.结合所提出的概念或上面或下面所述的一个或多个示例(例如，图1a至2、4)，提到了用于自适应自动对焦的概念的更多细节和方面。自适应自动对焦的概念可以包括与所提出概念的一个或多个方面或上面或下面描述的一个或多个示例的一个或多个附加可选特征对应。
78.一些实施例涉及包括结合图1至3中的一个或多个描述的系统的显微镜。可替代地，显微镜可以是结合图1至3中的一个或多个描述的系统的一部分或连接到该系统。图4示出了被配置为执行本文描述的方法的系统400的示意图。系统400包括显微镜410和计算机系统420。显微镜410被配置为拍摄图像并连接到计算机系统420。计算机系统420被配置为执行本文描述的方法的至少一部分。计算机系统420可以被配置为执行机器学习算法。计算机系统420和显微镜410可以是分开的实体，但也可以一起集成在一个公共的壳体中。计算
机系统420可以是显微镜410的中央处理系统的一部分和/或计算机系统420可以是显微镜410的子组件的一部分，诸如显微镜410的传感器、动作器、相机或照明单元等。
79.计算机系统420可以是具有一个或多个处理器和一个或多个存储设备的本地计算机设备(例如，个人计算机、膝上型计算机、平板计算机或移动电话)，或者可以是分布式计算机系统(例如，云计算系统，具有分布在不同位置处的一个或多个处理器和一个或多个存储设备，例如，在本地客户端和/或一个或多个远程服务器场和/或数据中心处)。计算机系统420可以包括任何电路或电路组合。在一个实施例中，计算机系统420可以包括可以是任何类型的一个或多个处理器。如本文所使用的，处理器可以意指任何类型的计算电路，例如但不限于微处理器、微控制器、复杂指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、超长指令字(vliw)微处理器、图形处理器、数字信号处理器(dsp)、多核处理器、现场可编程门阵列(fpga)(例如，显微镜或显微镜组件(例如，相机)的)或任何其他类型处理器或处理电路。可以包括在计算机系统420中的其他类型的电路可以是定制电路、专用集成电路(asic)等，诸如例如用于如移动电话、平板计算机、膝上型计算机、双向无线电设备和类似电子系统的无线设备中的一个或多个电路(诸如通信电路)。计算机系统420可以包括一个或多个存储设备，其可以包括一个或多个适用于特定应用的存储器元件，诸如随机存取存储器(ram)形式的主存储器、一个或多个硬盘驱动器、和/或用于处置可移动介质(诸如压缩盘(cd)、闪存卡、数字视频盘(dvd)等)的一个或多个驱动器。计算机系统420还可以包括显示设备、一个或多个扬声器和键盘和/或控制器，控制器可以包括鼠标、轨迹球、触摸屏、语音识别设备或允许系统用户向计算机系统420输入信息和从计算机系统420接收信息的任何其他设备。
80.方法步骤中的一些或全部可以通过(或使用)硬件装置(例如，处理器、微处理器、可编程计算机或电子电路)来执行。在一些实施例中，这种装置可以执行最重要的方法步骤中的某个或某些。
81.取决于某些实施要求，本发明的实施例可以以硬件或软件来实施。可以使用具有存储在其上的电子可读控制信号的非暂态存储介质(诸如数字存储介质，例如软盘、dvd、蓝光光盘、cd、rom、prom和eprom、eeprom或闪存)执行该实施方式，该电子可读控制信号与可编程计算机系统协作(或能够与其协作)，使得执行相应的方法。因此，数字存储介质可以是计算机可读的。
82.根据本发明的一些实施例包括具有电子可读控制信号的数据载体，该电子可读控制信号能够与可编程计算机系统协作，使得执行本文描述的方法之一。
83.一般而言，本发明的实施例可以被实现为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，该程序代码可操作用于执行所述方法之一。程序代码可以例如被存储在机器可读载体上。
84.其他实施例包括存储在机器可读载体上的用于执行本文描述的方法之一的计算机程序。
85.换言之，因此，本发明的实施例是一种具有程序代码的计算机程序，当计算机程序在计算机上运行时，该程序代码用于执行本文描述的方法之一。
86.因此，本发明的另一个实施例是一种存储介质(或数据载体，或计算机可读介质)，其包括存储在其上的计算机程序，该计算机程序在由处理器执行时用于执行本文所述的方
法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非暂时性的。本发明的另一个实施例是如本文所述的装置，其包括处理器和存储介质。
87.因此，本发明的另一个实施例是表示用于执行本文描述的方法之一的计算机程序的数据流或信号序列。数据流或信号序列可以例如被配置为经由数据通信连接(例如，经由互联网)来传送。
88.另一个实施例包括处理部件，例如计算机或可编程逻辑设备，其被配置为或适于执行本文描述的方法之一。
89.另一个实施例包括一种计算机，该计算机上安装了用于执行本文描述的方法之一的计算机程序。
90.根据本发明的另一个实施例包括一种装置或系统，该装置或系统被配置为将用于执行本文描述的方法之一的计算机程序(例如，电子地或光学地)传送到接收器。接收器可以是例如计算机、移动设备、存储器设备等。该装置或系统可以例如包括用于将计算机程序传送到接收器的文件服务器。
91.在一些实施例中，可编程逻辑设备(例如，现场可编程门阵列)可以被用于执行本文描述的方法的一些或全部功能。在一些实施例中，现场可编程门阵列可以与微处理器协作以便执行本文描述的方法之一。一般而言，该方法优选地由任何硬件装置执行。
92.如本文所使用的，术语“和/或”包括一个或多个相关联列出的项目的任何和所有组合，并且可以缩写为“/”。
93.虽然已经在装置的上下文中描述了一些方面，但是很明显，这些方面也表示对应方法的描述，其中框或设备与方法步骤或方法步骤的特征对应。类似地，在方法步骤的上下文中描述的方面也表示对应装置的对应框或项目或特征的描述。
94.实施例可以基于使用机器学习模型或机器学习算法。机器学习可以指代计算机系统可以用来执行特定任务而不使用显式指令而是依赖于模型和推理的算法和统计模型。例如，在机器学习中，代替基于规则的数据变换，可以使用从历史和/或训练数据的分析中推断出来的数据变换。例如，可以使用机器学习模型或使用机器学习算法来分析图像的内容。为了使机器学习模型能够分析图像的内容，可以使用训练图像作为输入并使用训练内容信息作为输出来训练机器学习模型。通过用大量训练图像和/或训练序列(例如，词或句子)以及相关联的训练内容信息(例如，标签或注释)来训练机器学习模型，机器学习模型“学习”以识别图像的内容，因此可以使用机器学习模型识别未包括在训练数据中的图像内容。相同的原理也可以用于其他种类的传感器数据：通过使用训练传感器数据和期望输出来训练机器学习模型，机器学习模型“学习”传感器数据和输出之间的变换，这可以被用于基于提供给机器学习模型的非训练传感器数据提供输出。所提供的数据(例如，传感器数据、元数据和/或图像数据)可以被预处理以获得特征向量，其被用作机器学习模型的输入。
95.可以使用训练输入数据来训练机器学习模型。上面指定的示例使用一种称为“监督式学习”的训练方法。在监督式学习中，机器学习模型是使用多个训练样本来训练的，其中每个样本可以包括多个输入数据值和多个期望输出值，即，每个训练样本与期望输出值相关联。通过指定训练样本和期望输出值，机器学习模型“学习”基于与训练期间提供的样本相似的输入样本提供哪个输出值。除了监督式学习之外，还可以使用半监督式学习。在半监督式学习中，一些训练样本缺乏对应的期望输出值。监督式学习可以基于监督式学习算
法(例如，分类算法、回归算法或相似性学习算法)。当输出被限制为有限的值集合(分类变量)时，可以使用分类算法，即，输入被分类为有限的值集合之一。当输出可以具有任何数值(在一个范围内)时，可以使用回归算法。相似性学习算法可以与分类和回归算法相似，但基于使用相似性函数从示例中学习，该函数测量两个对象的相似或相关程度。除了监督式或半监督式学习之外，无监督学习也可以被用于训练机器学习模型。在无监督学习中，(仅)输入数据可能会被供应，并且无监督学习算法可以被用于查找输入数据中的结构(例如，通过对输入数据进行分组或聚类，发现数据中的共性)。聚类是将包括多个输入值的输入数据指派到子集(集群)中，以便同一集群内的输入值根据一个或多个(预定义的)相似性准则是相似的，同时与包括在其他集群中的输入值不同。
96.强化学习是第三组机器学习算法。换言之，强化学习可以被用于训练机器学习模型。在强化学习中，一个或多个软件执行器(software actor，称为“软件代理”)被训练以在环境中采取动作。基于采取的动作，计算奖励。强化学习基于训练一个或多个软件代理来选择这样的动作，使得累积奖励增加，从而导致软件代理在给定的任务中变得更好(通过增加奖励来证明)。
97.此外，一些技术可以应用于机器学习算法中的一些。例如，可以使用特征学习。换言之，机器学习模型可以至少部分地使用特征学习来训练，和/或机器学习算法可以包括特征学习组件。可称为表示学习算法的特征学习算法可以保留其输入中的信息，但也可以以使其有用的方式对其进行变换，常常作为执行分类或预测之前的预处理步骤。例如，特征学习可以基于主成分分析或聚类分析。
98.在一些示例中，可以使用异常检测(即，离群值检测)，其目的是提供输入值的识别，这些输入值通过与大多数输入或训练数据显著不同而引起怀疑。换言之，机器学习模型可以至少部分地使用异常检测来训练，和/或机器学习算法可以包括异常检测组件。
99.在一些示例中，机器学习算法可以使用决策树作为预测模型。换言之，机器学习模型可以基于决策树。在决策树中，关于项(例如，输入值的集合)的观察可以由决策树的分支表示，并且与该项对应的输出值可以由决策树的叶子表示。决策树可以同时支持离散值和连续值作为输出值。如果使用离散值，那么决策树可以被表示为分类树，如果使用连续值，那么决策树可以被表示为回归树。
100.关联规则是可以被用在机器学习算法中的另一种技术。换言之，机器学习模型可以基于一个或多个关联规则。关联规则是通过识别大量数据中变量之间的关系来创建的。机器学习算法可以识别和/或利用一个或多个表示从数据中导出的知识的关系规则。例如，规则可以被用于存储、操纵或应用知识。
101.机器学习算法通常基于机器学习模型。换言之，术语“机器学习算法”可以表示可以被用于创建、训练或使用机器学习模型的指令集。术语“机器学习模型”可以表示数据结构和/或规则集，该数据结构和/或规则集表示所学习的知识(例如，基于机器学习算法执行的训练)。在实施例中，机器学习算法的使用可以暗示底层机器学习模型(或多个底层机器学习模型)的使用。机器学习模型的使用可以暗示机器学习模型和/或作为机器学习模型的数据结构/规则集是由机器学习算法训练的。
102.例如，机器学习模型可以是人工神经网络(ann)。人工神经网络是受生物神经网络启发的系统，生物神经网络诸如为可以在视网膜或大脑中找到的生物神经网络。ann包括多
个互连的节点和节点之间的多个连接，即，所谓的边。通常有三种类型的节点，接收输入值的输入节点，(仅)连接到其他节点的隐藏节点，以及提供输出值的输出节点。每个节点可以表示人工神经元。每条边可以将信息从一个节点传输到另一个节点。节点的输出可以被定义为其输入的(非线性)函数(例如，其输入之和)。节点的输入可以用在基于提供输入的边或节点的“权重”的函数中。可以在学习过程中调整节点和/或边的权重。换言之，人工神经网络的训练可以包括调整人工神经网络的节点和/或边的权重，即，以实现用于给定输入的期望输出。
103.可替代地，机器学习模型可以是支持向量机、随机森林模型或梯度提升模型。支持向量机(即，支持向量网络)是具有相关联学习算法的监督式学习模型，其可以被用于分析数据(例如，在分类或回归分析中)。可以通过提供具有属于两个类别之一的多个训练输入值的输入来训练支持向量机。可以训练支持向量机以将新的输入值指派给两个类别之一。可替代地，机器学习模型可以是贝叶斯网络，其是概率有向无环图模型。贝叶斯网络可以使用有向无环图表示随机变量的集合及其条件依赖性。可替代地，机器学习模型可以基于遗传算法，遗传算法是模仿自然选择过程的搜索算法和启发式技术。
104.附图标记列表
105.100
ꢀꢀꢀꢀꢀꢀ
手术显微镜系统
106.110
ꢀꢀꢀꢀꢀꢀ
系统
107.112
ꢀꢀꢀꢀꢀꢀ
一个或多个接口
108.114
ꢀꢀꢀꢀꢀꢀ
一个或多个处理器
109.116
ꢀꢀꢀꢀꢀꢀ
一个或多个存储设备
110.120
ꢀꢀꢀꢀꢀꢀ
显微镜
111.122
ꢀꢀꢀꢀꢀꢀ
光学成像传感器
112.130
ꢀꢀꢀꢀꢀꢀ
显示器
113.130a
ꢀꢀꢀꢀꢀ
目镜显示器
114.130b
ꢀꢀꢀꢀꢀ
辅助显示器
115.140
ꢀꢀꢀꢀꢀꢀ
臂
116.150-158血管的分支点
117.160
ꢀꢀꢀꢀꢀꢀ
血管的曲率
118.162
ꢀꢀꢀꢀꢀꢀ
血管的部分
119.164；166血管的分支点
120.210
ꢀꢀꢀꢀꢀꢀ
获得成像传感器数据
121.220
ꢀꢀꢀꢀꢀꢀ
确定关于感兴趣区域的信息
122.230
ꢀꢀꢀꢀꢀꢀ
确定感兴趣的解剖特征
123.240
ꢀꢀꢀꢀꢀꢀ
检测感兴趣的解剖特征的位置
124.250
ꢀꢀꢀꢀꢀꢀ
触发自动对焦功能
125.310
ꢀꢀꢀꢀꢀꢀ
当前焦点
126.320
ꢀꢀꢀꢀꢀꢀ
处于焦点对准状态的区域
127.330
ꢀꢀꢀꢀꢀꢀ
感兴趣的特征
128.340；350用户接口元素
129.400
ꢀꢀꢀꢀꢀꢀ
系统
130.410
ꢀꢀꢀꢀꢀꢀ
显微镜
131.420
ꢀꢀꢀꢀꢀꢀ
计算机系统

技术特征：
1.一种用于手术显微镜系统(100；400)的显微镜(120；410)的系统(110；420)，所述系统(110；420)包括一个或多个处理器(114)和一个或多个存储设备(116)，其中所述系统被配置为：从所述显微镜的至少一个光学成像传感器(122)获得成像传感器数据；基于用户的输入确定关于所述手术显微镜系统的所述用户的感兴趣区域的信息；确定所述感兴趣区域内的感兴趣的解剖特征；在所述成像传感器数据内检测所述感兴趣的解剖特征的位置；以及触发所述显微镜的自动对焦功能以聚焦在所述感兴趣的解剖特征的所述位置上。2.根据权利要求1所述的系统，其中所述系统被配置为在所述成像传感器数据的多个帧上跟踪所述感兴趣的解剖特征的所述位置。3.根据权利要求2所述的系统，其中所述系统被配置为，如果所述感兴趣的解剖特征的所述位置相对于所述成像传感器数据的视场移位了至少预定义的时间间隔，那么触发所述自动对焦功能。4.根据权利要求2或3中的任一项所述的系统，其中所述系统被配置为最多在所述成像传感器数据的每个第二帧中检测所述感兴趣的解剖特征的所述位置。5.根据权利要求1至4中的任一项所述的系统，其中所述系统被配置为在所述成像传感器数据内定位所述感兴趣区域，并且在所述成像传感器数据的表示所述感兴趣区域的部分内确定所述感兴趣的解剖特征。6.根据权利要求5所述的系统，其中所述系统被配置为至少对所述成像传感器数据的表示所述感兴趣区域的所述部分执行图像分割以确定所述成像传感器数据的表示所述感兴趣区域的所述部分内存在的至少一个特征，并且基于所述成像传感器数据的表示所述感兴趣区域的所述部分内存在的所述至少一个特征来确定所述感兴趣的解剖特征。7.根据权利要求5或6中的任一项所述的系统，其中所述系统被配置为至少对所述成像传感器数据的表示所述感兴趣区域的所述部分执行物体检测以识别所述成像传感器数据的表示所述感兴趣区域的所述部分内存在的至少一个特征，并且基于所述成像传感器数据的表示所述感兴趣区域的所述部分内存在的识别出的所述至少一个特征来确定所述感兴趣的解剖特征。8.根据权利要求7所述的系统，其中所述系统被配置为执行所述物体检测以识别所述成像传感器数据的表示所述感兴趣区域的至少所述部分内的血管、血管的分支点、出血和肿瘤中的至少一种。9.根据权利要求7或8中的任一项所述的系统，其中所述系统被配置为执行所述物体检测以将夹子和缝线中的至少一个识别为感兴趣的非解剖特征，在所述成像传感器数据内检测所述感兴趣的非解剖特征的位置，并且进一步基于所述感兴趣的非解剖特征的所述位置执行所述显微镜的自动对焦功能。10.根据权利要求5至9中的任一项所述的系统，其中所述系统被配置为基于位于所述感兴趣的解剖特征所基于的所述特征附近的一个或多个特征的范围来确定所述感兴趣的解剖特征的范围。11.根据权利要求5至10中的任一项所述的系统，其中所述系统被配置为，如果所述用户指示的所述感兴趣区域涉及两个或更多个特征或者涉及两个或更多个特征之间的区域，
那么基于所述两个或更多个特征来确定所述感兴趣的解剖特征，并基于所述两个或更多个特征的位置来确定所述感兴趣的解剖特征的所述位置。12.根据权利要求11所述的系统，其中所述系统被配置为，如果所述用户指示的所述感兴趣区域涉及两个或更多个特征之间的区域，那么从位于所述感兴趣区域内的特征和位于所述感兴趣区域之外的特征中选择所述两个或更多个特征。13.根据权利要求1至12中的任一项所述的系统，其中所述系统被配置为在所述成像传感器数据内检测由所述用户操作的指示器以确定所述感兴趣区域，或者其中所述系统被配置为在所述成像传感器数据内确定由所述用户操作的手术部位的部分以确定所述感兴趣区域，或者其中所述系统被配置为使用注视跟踪机构来确定所述感兴趣区域，或者其中所述系统被配置为基于经由所述手术显微镜系统的语音命令系统获得的解剖特征的语音描述来确定所述感兴趣区域，或者其中所述系统被配置为基于经由所述手术显微镜系统的用户接口(130)获得的用户输入信号来确定所述感兴趣区域，或者其中所述系统被配置为在所述用户完成对准视场之后从预定图像区域确定所述感兴趣区域。14.根据权利要求1至13中的任一项所述的系统，其中所述系统被配置为执行图像分割和/或物体检测以确定所述成像传感器数据内的多个特征，确定所述多个特征的视觉表示，向所述手术显微镜系统的显示设备(130)提供包括所述视觉表示的显示信号，并响应于所述多个特征的所述视觉表示而获得所述用户的所述输入。15.根据权利要求1至14中的任一项所述的系统，其中所述成像传感器数据包括具有彩色成像数据的第一分量和具有高光谱成像数据、多光谱成像数据、荧光成像数据中的至少一个的第二分量，其中所述系统被配置为至少基于所述第二分量来确定所述感兴趣的解剖特征和/或检测所述感兴趣的解剖特征的所述位置。16.根据权利要求1至15中的任一项所述的系统，其中所述系统被配置为基于所述成像传感器数据生成数字视图，在所述数字视图内突出显示所述感兴趣区域和/或所述感兴趣的特征，以及向所述手术显微镜系统的显示设备(130)提供包括所述数字视图的显示信号。17.一种手术显微镜系统(100；400)，包括具有光学成像传感器的显微镜(120；410)和根据权利要求1至16中的任一项所述的系统(110；420)。18.一种用于手术显微镜系统的显微镜的方法，所述方法包括：从所述显微镜的至少一个光学成像传感器获得(210)成像传感器数据；基于用户的输入确定(220)关于所述手术显微镜系统的所述用户的感兴趣区域的信息；确定(230)所述感兴趣区域内的感兴趣的解剖特征；在所述成像传感器数据内检测(240)所述感兴趣的解剖特征的位置；以及触发(250)所述显微镜的自动对焦功能以聚焦在所述感兴趣的解剖特征的所述位置上。19.一种具有程序代码的计算机程序，当所述计算机程序在处理器上执行时所述程序代码用于执行根据权利要求18所述的方法。

技术总结
本发明涉及手术显微镜系统(100)，并且涉及用于手术显微镜系统的显微镜的系统(110)、方法和计算机程序。该系统被配置为从所述显微镜的至少一个光学成像传感器(122)获得成像传感器数据。该系统被配置为基于用户的输入来确定关于所述手术显微镜系统的用户的感兴趣区域的信息。该系统被配置为确定所述感兴趣区域内的感兴趣的解剖特征。该系统被配置为在所述成像传感器数据内检测所述感兴趣的解剖特征的位置。该系统被配置为触发所述显微镜的自动对焦功能以聚焦在所述感兴趣的解剖特征的位置上。置上。置上。


技术研发人员：乔治
受保护的技术使用者：徕卡仪器（新加坡）有限公司
技术研发日：2023.02.08
技术公布日：2023/8/14