生物识别认证系统中的姿态优化的制作方法

生物识别认证系统中的姿态优化


背景技术：

1.眼睛或注视跟踪器是用于估计眼睛位置和眼睛运动的设备。眼睛跟踪系统已被用于视觉系统的研究、心理学、心理语言学、营销且用作用于人机交互的输入设备。在后一种应用中，通常考虑人的注视点与台式监视器的交叉点。
2.生物识别认证技术使用人的一个或多个特征来识别此人，例如用于对设备、系统或房间的安全、经过认证的访问。在典型的场景中，在注册过程中，捕获正在被跟踪的特征的一个或多个图像(例如，人的虹膜的图像)，并且处理这些图像以生成一组度量或度量向量，这些度量对于此人是唯一的并且因此可以唯一地识别此人。当此人试图访问设备、系统或房间时，使用与在注册期间使用的算法类似的算法再次捕获和处理此人的特征的图像。将所提取的度量与基线度量进行比较，并且如果匹配足够良好，则允许此人访问。


技术实现要素：

3.描述了用于生物识别认证的方法和装置的实施方案，其中确定并且评估当前眼睛姿态以确定当前姿态是否令人满意，并且其中可通过用户响应于来自控制器的信号手动调整设备或其姿态/注视方向来改善眼睛姿态，以及/或者其中在控制器的方向上机械地调整成像系统以改善眼睛的当前视图。
4.在实施方案中，在控制器上执行的方法可以例如通过捕获和评估眼睛的一个或多个图像来识别用户的当前眼睛位置和/或取向(姿态)。控制器然后可以评估当前姿态对于生物识别验证的有益程度。在一些实施方案中，控制器可以向用户提供反馈以提示用户调整其姿态(例如，通过改变其注视方向)或手动调整设备(例如，通过手动移动设备相对于其眼睛的位置)。在一些实施方案中，作为提示用户手动调整其姿态或设备的替代或补充，控制器可以引导成像系统硬件机械地调整成像系统，例如通过稍微移动或倾斜相机，或者通过放大或缩小。手动地或机械地调整用户相对于成像系统的姿态可以确保期望水平的生物识别认证性能，因为可以捕获眼睛或眼睛区域的更好的图像。对用户的反馈可以是触觉、音频或视觉信号，或者两个或更多个触觉、音频或视觉信号的组合。由控制器引导的成像系统的自动调整可以移动部件或部件的组合，例如至少包括相机的模块。手动调整或自动调整可以是生物识别认证过程中的单个步骤，或者另选地可以在控制回路中执行，直到在所捕获的图像中实现某些质量或客观标准。
附图说明
5.图1a至图1d示出了根据一些实施方案的示例性眼睛相机系统。
6.图2以图形方式示出了根据一些实施方案的生物识别认证系统中的复杂性之间的权衡。
7.图3是根据一些实施方案的实现灵活的照明方法的成像系统的框图。
8.图4是根据一些实施方案的用于在成像系统中提供灵活照明的方法的流程图。
9.图5a和图5b示出了根据一些实施方案的组合不同生物识别方面的生物识别认证
系统。
10.图6是根据一些实施方案的用于使用多个生物识别方面执行生物识别认证的方法的流程图。
11.图7示出了根据一些实施方案的使用多个相机的生物识别认证系统。
12.图8a是根据一些实施方案的用于使用多个相机进行生物识别认证的方法的流程图。
13.图8b是根据一些实施方案的用于使用多个相机进行生物识别认证的另一方法的流程图。
14.图9a示出了根据一些实施方案的包括在用户的眼睛与眼睛相机之间的光路上的至少一个附加的光学元件的系统。
15.图9b示出了根据一些实施方案的系统，该系统包括在用户的眼睛与眼睛相机之间的光路上的衍射光学元件以改善相机的观看角度。
16.图10是根据一些实施方案的用于在系统中处理图像的方法的流程图，该系统包括在用户的眼睛与眼睛相机之间的光路上的至少一个附加的光学元件。
17.图11是根据一些实施方案的用于在系统中捕获和处理图像的方法的流程图，该系统包括在用户的眼睛与眼睛相机之间的光路上的衍射光学元件以改善相机的观看角度。
18.图12a至图12c示出了根据一些实施方案的包括光源的系统，该光源发射多个波长的光以顺序地捕获多个波长的图像。
19.图13a和图13b示出了根据一些实施方案的包括具有光传感器的相机的系统，该光传感器以不同波长同时捕获多个图像。
20.图14是根据一些实施方案的用于以多个波长顺序地捕获和处理图像的方法的流程图。
21.图15是根据一些实施方案的用于以多个波长同时捕获和处理图像的方法的流程图。
22.图16示出了根据一些实施方案的向用户提供反馈以及/或者向成像系统提供控制信号以手动或机械地调整相机相对于用户的眼睛或眼周区域的观看角度的系统。
23.图17是根据一些实施方案的用于向用户提供反馈以相对于用户的眼睛或眼周区域手动调整相机的观看角度的方法的流程图。
24.图18是根据一些实施方案的用于向成像系统提供控制信号以相对于用户的眼睛或眼周区域机械地调整相机的观看角度的方法的流程图。
25.图19a和图19b是示出了根据一些实施方案的可包括如图1至图18所示的部件并且实现如在所述图中所示的方法的设备的框图。
26.图20示出了根据一些实施方案的示例性头戴式设备(hmd)，该示例性hmd可包括如在图1至图18中示出的部件并且实现如在所述图中示出的方法。
27.图21是示出了根据一些实施方案的示例性系统的框图，该示例性系统可包括如在图1至图18中示出的部件并且实现如在所述图中示出的方法。
28.本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。
[0029]“包括”，该术语是开放式的。如在权利要求书中所使用的，该术语不排除附加结构或步骤。考虑以下引用的权利要求：“一种包括一个或多个处理器单元...的装置”此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。
[0030]“被配置为”，各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件据称可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35u.s.c.
§
112的第六段。此外，“被配置为”可包括由软件或固件(例如，fpga或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实现或执行一项或多项任务的设备(例如，集成电路)。
[0031]“第一”“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。
[0032]“基于”或“取决于”，如本文所用，这些术语用于描述影响确定的一个或多个因素。这些术语不排除可影响确定的附加因素。即，确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于b来确定a”。在这种情况下，b为影响a的确定的因素，此类短语不排除a的确定也可基于c。在其他实例中，可仅基于b来确定a。
[0033]“或”，在权利要求书中使用时，术语“或”被用作包含性的或，而不是排他性的或。例如，短语“x、y或z中的至少一个”表示x、y和z中的任何一个以及它们的任何组合。
具体实施方式
[0034]
描述了用于成像系统中的灵活照明的方法和装置的各种实施方案。如本文所述的成像系统可包括两个或更多个照明源(例如，点光源，诸如发光二极管(led))，这两个或更多个照明源照明待成像的对象(例如，人的眼睛或眼睛区域)，以及至少一个相机，该至少一个相机被配置为捕获来自照明源的当对象被照明时由该对象反射的光的图像。
[0035]
成像系统的实施方案可以例如用于生物识别认证，例如使用用户眼睛的特征，诸如虹膜、眼睛区域(称为眼周区域)或用户面部的其他部分，诸如眉毛。生物识别认证系统使用这些特征中的一个或多个特征来识别人，例如用于对设备、系统或房间的安全、经过认证的访问。在注册过程中，捕获正在被跟踪的特征的一个或多个图像(例如，人的虹膜、眼周区域等的图像)，并且处理这些图像以生成一组度量或度量向量，这些度量对此人是唯一的并且因此可以唯一地识别此人。当此人试图访问设备、系统或房间时，使用与在注册期间使用的算法类似的算法再次捕获和处理此人的特征的图像。将所提取的度量与基线度量进行比较，并且如果匹配足够好，则可以允许此人访问。
[0036]
成像系统的实施方案的另一示例性用途是注视跟踪。注视跟踪系统可以例如用于基于眼睛的三维(3d)几何模型使用闪光和眼睛特征来计算注视方向和视轴。
[0037]
本文所述的成像系统的实施方案可以例如用于生物识别真实过程、注视跟踪过程或两者。另一个示例是反欺骗，反欺骗涉及生物识别认证，因为“欺骗”是指通过例如呈现有效用户的眼睛、眼睛区域或面部的图片或模型来欺骗生物识别认证系统的尝试。更一般地，成像系统的实施方案可以在其中由光源照明的对象的图像由一个或多个相机捕获以供处理的任何应用或系统中实现。
[0038]
用于成像系统中的灵活照明的方法和装置的非限制性示例性应用在于包括位于用户面部的每一侧的至少一个眼睛相机(例如，红外(ir)相机)和向用户的眼睛发射光的照明源(例如，点光源诸如ir发光二极管(led)的阵列或环)的系统。成像系统可以例如是头戴式设备(hmd)的部件，例如，诸如混合或增强现实(mr)系统或虚拟现实(vr)系统的扩展现实(xr)系统的hmd。hmd可以例如实现为一副眼镜、谷歌眼镜或头盔。成像系统的其他示例性应用包括移动设备诸如智能电话、平板电脑或平板设备、台式计算机和笔记本计算机，以及安装在壁上或以其他方式位于房间或建筑物中的独立的生物识别认证系统。在这些示例性系统中的任何示例性系统中，成像系统可用于生物识别认证、注视跟踪或这两者。
[0039]
图1a至图1d示出了根据一些实施方案的示例性成像系统。成像系统可包括但不限于一个或多个相机140、照明源130和控制器160。图1a示出了成像系统，其中眼睛相机140直接对眼睛192成像。然而，在一些实施方案中，眼睛相机140可改为对眼睛192的离开热镜150的反射进行成像，如图1b所示。此外，在一些实施方案中，眼睛相机140可通过成像系统的透镜120对眼睛成像，例如如图1c所示。
[0040]
在一些实施方案中，设备(例如，头戴式设备(hmd))可包括成像系统，该成像系统包括位于用户面部的一侧或每一侧的至少一个眼睛相机140(例如，红外(ir)相机)，以及向用户的眼睛192或眶周区域发射光的照明源130(例如，点光源，诸如ir发光二极管(led)的阵列或环)。
[0041]
图1d示出了包括多个led 132的示例性照明源130。在该示例中，存在布置成环的八个led 132。然而，需注意，照明源130中的led 132的数量和布置可以不同。另外，在一些实施方案中，可以使用除led之外的其他发光元件。在一些实施方案中，led 132可被配置为发射ir(包括swir或nir)范围内的光，例如在740、750、840、850、940或950纳米处。
[0042]
眼睛相机140可以指向眼睛192以接收来自照明源130的从眼睛192反射的光，如图1a所示。然而，在一些实施方案中，眼睛相机140可改为对眼睛192的离开热镜150的反射进行成像，如图1b所示。此外，在一些实施方案中，眼睛相机140可通过透镜120或设备的其他光学元件对眼睛192进行成像，例如如图1c所示。
[0043]
包括成像系统的设备可包括控制器160，该控制器包括一个或多个处理器和存储器。控制器160可包括各种类型的处理器、图像信号处理器(isp)、图形处理单元(gpu)、编码器/解码器(编解码器)和/或用于处理和渲染视频和/或图像的其他部件中的一个或多个。在一些实施方案中，控制器160可被集成在设备中。在一些实施方案中，控制器160的至少一些功能可由通过有线或无线连接耦接到设备的外部设备来实现。虽然在图1a至图1c中未示出，但在一些实施方案中，控制器160可以耦接到用于存储和读取数据和/或软件的外部存储器。
[0044]
控制器160可向照明源130和相机140发送控制信号以控制眼睛192的照明和眼睛192的图像的捕获。控制器160可以将来自眼睛相机140的输入142(例如，眼睛192的所捕获
的图像)用于各种目的，例如用于生物识别认证或注视跟踪。控制器160可实现基于输入142来估计用户的注视方向的算法。例如，控制器160可以实现算法来处理由相机140捕获的图像以识别眼睛192的特征(例如，瞳孔、虹膜和巩膜)或眶周区域以用于生物识别认证算法。作为另一示例，控制器160可以实现处理由相机140捕获的图像以识别从眼睛相机140获得的闪光(led 130的反射)的注视跟踪算法。从输入142获得的信息可例如用于确定用户当前正在观看的方向(注视方向)，并且可用于构建或调整眼睛192的3d模型。
[0045]
然而，在实现成像系统的设备中，该设备的部件可在由相机140捕获的最终图像上形成不希望的反射和杂散光。随着成像系统变得越复杂，例如在点光源130与相机140之间的轨迹中涉及到光学表面(例如，透镜120和/或反射镜150)，在由相机140捕获的最终图像上获得不希望的反射和杂散光的可能性就越高，例如由透镜中的反射、透镜或光学表面中的缺陷或光学表面上的灰尘引起的不希望的反射和杂散光。当使用成像进行生物识别认证以及/或者注视跟踪时，设备的部件(例如，透镜)可以阻挡、折射或反射光，包括来自照明源130的光的一部分和环境光(如果存在的话)。另外，设备和成像系统相对于用户头部的位置可在使用期间移位。设备和成像系统的其他方面可以改变。例如，设备中的透镜的表面可能被弄脏，或者用户可以向设备添加一些项目或改变一些项目，诸如夹式透镜。因此，用成像系统捕获的图像的质量可以根据当前照明条件、设备和成像系统相对于用户头部的位置以及其他因素诸如对设备的污迹或其他改变而变化。所捕获的图像的质量可以影响在各种应用中使用的算法的效率和准确度，这些应用包括但不限于生物识别认证、反欺骗和注视跟踪。
[0046]
如本文所述的用于成像系统中的灵活照明的方法和装置的实施方案可以提升成像系统的性能和稳健性，并且可以帮助使成像系统适于特定用户、条件和用于包括但不限于生物识别认证、反欺骗和注视跟踪的应用的设置。
[0047]
图2以图形方式示出了根据一些实施方案的生物识别认证系统中的复杂性之间的权衡。如本文所述的用于生物识别认证的成像系统的实施方案可以将系统复杂性210与登记200过程中的复杂性进行权衡。更复杂的系统210可以降低用户的登记过程的复杂性，例如通过自动处理，诸如移动相机以获得更好的眼睛视野，而不是让用户手动移动设备。相反，可以使登记200过程更加复杂以降低系统复杂性210。类似地，可以通过以系统复杂性210和可能的登记复杂性200为代价增加用户眼睛和眶周区域的在识别过程中使用的方面220的数量来改善生物识别认证。类似的权衡可以应用于其他应用，诸如注视跟踪。
[0048]
用于成像系统的灵活照明
[0049]
本发明描述了实现灵活的照明方法的成像系统的实施方案。实施方案可以提供提升成像系统的性能和稳健性并且使成像系统适于特定用户、条件和用于使用眼睛和眶周区域的生物识别认证、注视跟踪和反欺骗的设置的方法。虽然常规的眼睛跟踪系统聚焦于用于注视跟踪的镜面反射或闪光，但实施方案可以聚焦于其他方面，诸如在虹膜或其他感兴趣区域上提供均匀、良好的对比度，减少或照明感兴趣区域上的阴影，以及用于生物识别认证应用的其他改进。
[0050]
在实施方案中，预先生成用于设备中的成像系统的两个或更多个不同的照明配置。每个照明配置可以指定照明的一个或多个方面，包括但不限于要启用或禁用哪些led或led组、强度/亮度、波长、光的形状和尺寸、方向、光的顺序等。可以针对两个或更多个姿态
中的每一个姿态生成一个或多个照明配置，其中姿态是眼睛相机与用户的当前眼睛位置和注视方向之间的3d几何关系。可以生成查找表，每个姿态经由该查找表与其相应的照明配置相关联。查找表和照明配置可以例如被存储到设备的存储器和/或设备经由有线或无线连接可访问的存储器。
[0051]
在一些实施方案中，可以针对设备和成像系统合成地预先生成照明配置，例如使用3d几何模型或设备和成像系统的表示来为一组所估计的姿态生成照明配置。另选地，在一些实施方案中，可以使用真实世界用户面部的图像的数据集来预先生成照明配置以获得姿态信息。作为另一替代方案，在一些实施方案中，可以在针对特定用户的初始化过程期间生成照明配置。例如，在一些实施方案中，用户佩戴或保持设备并且四处移动他们的目光，并且系统/控制器运行这样的过程，在该过程期间，用不同的光设置来捕获和处理图像，以在以两个或更多个不同姿态捕获期望的特征的图像时针对该用户确定最佳照明配置。
[0052]
在一些实施方案中，在生成照明配置和查找表之后，用户可以佩戴、保持或以其他方式使用该设备。可以发起生物识别认证过程，其中控制器可以选择不同的照明配置，以在不同姿态和不同条件下捕获用户眼睛的期望特征(例如，虹膜、眶周区域等)的最佳图像，以供由控制器执行的生物识别认证算法使用。
[0053]
在一些实施方案中，当用户访问设备时，设备可以发起生物识别认证过程。在一些实施方案中，设备的控制器可以默认的初始照明配置开始生物识别认证过程。成像系统可以使用针对照明源的相应设置来捕获一个或多个图像，并且可以检查所捕获的图像的质量。如果图像对于处理图像以使用用户的眼睛、眶周区域和/或其他面部特征的一个或多个特征来执行生物识别认证的算法而言是令人满意的，则可以进行灵活的照明处理。否则，控制器可以选择另一个照明配置，引导照明源根据新的照明配置照明受试者，并且引导相机捕获被检查质量的一个或多个图像。该过程可以重复直到已经实现成功的认证为止，或者针对指定数量的尝试重复该过程直到认为认证尝试失败为止。在一些实施方案中，可以由成像系统和控制器例如使用注视跟踪算法来确定用户的当前姿态，并且可以使用用户的当前姿态来选择初始照明配置，并且如果有必要，选择用于生物识别认证过程的一个或多个后续照明配置。
[0054]
类似的方法可以应用于注视跟踪过程，其中不同的照明配置由控制器选择以在不同姿态和不同条件下获得用户眼睛的期望的特征(例如，闪光)的更好的图像。
[0055]
灵活的照明方法的实施方案可以提升成像系统的性能和稳健性，并且可以帮助使成像系统适应特定用户、条件和用于包括但不限于生物识别认证、反欺骗和注视跟踪的应用的设置。实施方案可以使用一个或多个不同的照明配置来捕获和处理眼睛或眶周区域的图像，直到找到提供最佳(或至少足够好的)图像以执行特定功能(例如，生物识别认证、注视跟踪等)的照明配置为止，从而提升在执行功能(例如，生物识别认证、注视跟踪等)时使用眼睛或眶周区域的图像的设备、系统和/或算法的性能和稳健性。
[0056]
通过动态地搜索和找到针对当前条件的良好或最佳照明配置，灵活的照明方法的实施方案可以帮助使得成像系统适于以下各项中的一项或多项，但不限于此：
[0057]
·
包括成像系统的设备或系统的用户的解剖结构和外观；
[0058]
·
环境/周边环境照明条件；
[0059]
·
在眼睛或眶周区域的所捕获的图像中可见的反射、条纹、重影、杂散光等；
[0060]
·
照明源中的led中的至少一个led、眼睛或眶周区域与至少一个眼睛相机之间的光学路径中的变化，包括但不限于与包括成像系统的设备的外壳或其他元件的间接光学路径，这可导致所捕获的图像的附加的反射或视力障碍；
[0061]
·
包括成像系统的设备中的其他变化，诸如向设备添加夹式透镜；以及
[0062]
·
针对特定用户的特定处方的变化，这些变化可用于位于照明源的led和眼睛相机之间的光学路径上的设备的光学元件。
[0063]
灵活的照明方法的实施方案可以例如在如图1a至图1d所示的照明系统中的任何照明系统中实现。图19a至图21示出了可包括实现灵活的照明方法的实施方案的成像系统的示例性设备和系统。实现灵活照明的照明系统可包括但不限于：
[0064]
·
至少一个眼睛相机(例如，红外(ir)或近红外(nir)相机、rgb或rgb-d相机等)；以及
[0065]
·
包括可以单独地或成组地控制的多个发光元件的照明源(例如，ir或nir led，或其他波长的led)。
[0066]
在实施方案中，包括成像系统的设备的控制器可以基于当前照明配置来控制以下各项中的一项或多项，但不限于此：
[0067]
·
接通或断开各个发光元件或发光元件组；
[0068]
·
增加或减少到各个发光元件或发光元件组的强度/电流；以及
[0069]
·
各个发光元件或发光元件组的排序。
[0070]
在实施方案中，发光元件或发光元件组可以在以下一项或多项方面不同，但不限于以下各项：
[0071]
·
波长；
[0072]
·
位置和取向(姿态)；
[0073]
·
形状；
[0074]
·
尺寸；以及
[0075]
·
发光角度轮廓。
[0076]
在一些实施方案中，各个发光元件或发光元件组可包括影响由元件或发光元件组发射的光的附加的光学元件，例如透镜、栅格等。
[0077]
下文广泛地描述了根据一些实施方案的用于选择照明配置的方法。可以使用第一照明配置来捕获用户的眼睛或眶周区域的一个或多个图像。可以使用至少一个附加的照明配置来捕获附加的图像。可以选择或确定一个或多个客观标准(例如，对比度、阴影、边缘、不期望的条纹等)用于分析图像。基于使用客观标准对所捕获的图像的分析，可以选择对应于最佳满足该用户的客观标准的一个或多个图像的照明配置中的一个照明配置。在一些实施方案中，如果检测到选择照明配置的条件的变化(例如，用户的位置或外观的一些变化、环境照明的变化、包括成像系统的设备的变化等)，则可以重复用于选择照明配置的方法。
[0078]
用于选择照明配置的客观标准可以基于特定应用而不同。例如，在使用虹膜来认证用户的生物识别认证过程中，该算法可能需要具有均匀、良好的对比度、无阴影等特性的虹膜图像。在注视跟踪过程中，该算法可能需要包括在某些位置和/或某些尺寸和数量的镜面反射或闪光的图像。
[0079]
在一些实施方案中，用于选择照明配置的客观标准可以基于环境(例如，内部与外
部环境条件)而不同。在一些实施方案中，用于选择照明配置的客观标准可以基于变化的注视姿态或对用户面部的调整(例如，目视离隙(深度)和瞳孔距离(ipd))而不同。
[0080]
图3是根据一些实施方案的实现灵活的照明方法的成像系统的框图。可以在配置生成310过程中生成两个或更多个照明配置372。在一些实施方案中，可以针对设备和成像系统合成地预先生成照明配置，例如使用3d几何模型或设备和成像系统的表示来为一组所估计的姿态生成照明配置。另选地，在一些实施方案中，可以使用真实世界用户面部的图像的数据集来预先生成照明配置以获得姿态信息。作为另一替代方案，在一些实施方案中，可以在针对特定用户的初始化过程期间生成照明配置。例如，在一些实施方案中，用户佩戴或保持设备并且四处移动他们的目光，并且系统/控制器运行这样的过程，在该过程期间，用不同的光设置来捕获和处理图像，以在以两个或更多个不同姿态捕获期望的特征的图像时针对该用户确定最佳照明配置。
[0081]
预先生成的照明配置372可被存储320到控制器360可访问的存储器370。在一些实施方案中，查找表374可以被生成并且被存储到存储器370，该存储器例如将特定姿态映射到特定照明配置。
[0082]
在一些实施方案中，在生成并且存储照明配置372和查找表374之后，用户可以佩戴、保持或以其他方式使用包括控制器360、照明源330和眼睛相机340的设备。可以发起生物识别认证过程，其中控制器360可以选择不同的照明配置372，以在不同姿态和不同条件下捕获用户眼睛的期望特征(例如，虹膜、眶周区域等)的最佳图像，以供由控制器360执行的生物识别认证算法使用。
[0083]
在一些实施方案中，当用户访问设备时，设备可以发起生物识别认证过程。在一些实施方案中，设备的控制器360可以通过引导344照明源330使用默认初始照明配置372来开始生物识别认证过程。可以使用由照明源330提供的相应的照明由眼睛相机340捕获342一个或多个图像，并且可以根据如前所述的一个或多个客观标准或测量来检查所捕获的图像的质量。如果图像对于依赖于用户眼睛、眶周区域和/或图像中捕获的其他面部特征的一个或多个特征的生物识别认证算法是令人满意的，则可以进行灵活的照明过程。否则，控制器360可以选择另一个照明配置372，引导照明源330根据新的照明配置372来照明受试者，并且引导相机用新的照明配置372来捕获342一个或多个图像，根据一个或多个客观标准来检查该一个或多个图像的质量。该过程可以重复直到已经实现成功的认证为止，或者针对指定数量的尝试重复该过程直到认为认证尝试失败为止。在一些实施方案中，可以由成像系统和控制器360例如使用注视跟踪算法来确定用户的当前姿态，并且可以使用用户的当前姿态来选择初始照明配置372，并且如果有必要，选择用于生物识别认证过程的一个或多个后续照明配置372。
[0084]
类似的方法可以应用于注视跟踪过程，其中不同的照明配置372由控制器360选择以使用一个或多个客观标准在不同姿态和不同条件下获得用户眼睛的期望的特征(例如，闪光)的更好的图像。
[0085]
图4是根据一些实施方案的用于在成像系统中提供灵活照明的方法的流程图。如在400处所指示的，可以生成两个或更多个照明配置并且将其存储到存储器。在一些实施方案中，还可以生成并且存储将姿态映射到照明配置的查找表。如在410处所指示的，可以选择初始照明配置。如在420处所指示的，可以用当前照明配置来捕获一个或多个图像，并且
根据一个或多个客观标准来分析一个或多个图像。在430处，如果根据客观标准确定图像质量对于使用图像的算法(例如，生物识别认证算法)而言不够好，则可以如在440处所指示的那样选择另一个照明配置，并且该方法返回到元素420以捕获和检查附加的图像。在430处，如果图像质量被确定为对于使用图像的算法(例如，生物识别认证算法)是良好的，则图像可以由该算法处理，如在450处所指示的。在460处，如果需要处理更多图像(例如，如果生物识别认证算法无法基于450处的图像进行识别)，则该方法返回到元素420。否则，执行该方法。
[0086]
使用多个生物识别方面的生物识别认证
[0087]
描述了用于生物识别认证的方法和装置的实施方案，其中两个或更多个生物识别特征或方面被单独地或组合地捕获和分析以对人进行识别和认证。常规地，已经使用单个生物识别特征来执行生物识别认证。例如，人的虹膜的图像被捕获并且与用户的虹膜的基线图像进行比较以识别和认证此人。在实施方案中，例如如图1a至图1d中所示的成像系统用于捕获人的虹膜、眼睛、眶周区域和/或人的面部的其他区域的图像，并且对所捕获的图像中的两个或更多个特征进行单独或组合的分析，以对此人进行识别和认证(或检测欺骗生物识别认证的尝试)。当与仅依赖于一个特征进行生物识别认证的常规的系统相比时，实施方案可以提升生物识别认证系统的性能，并且可以帮助减少生物识别认证算法的误报和漏报。实施方案在对个体生物识别方面或特征(例如，虹膜)具有挑战性硬件约束(视点、失真等)的成像系统中可能特别有利，因为如果无法在特定姿态或当前条件下捕获生物特征中的一个或多个生物特征的良好图像，则可以使用附加的生物识别特征(例如，眼睛中的静脉、眶周区的部分或特征，或面部的其他部分的特征)进行生物识别认证。
[0088]
所使用的生物识别方面可包括面部、眼周或眼睛方面中的一个或多个。对于每个生物识别方面，可以使用一个或多个不同的特征来描述或表征该方面；不同的特征可以例如包括几何特征、定性特征以及低级、中级或高级3d表示。生物识别方面和特征可包括但不限于眼睛表面、眼部静脉、眼睑、眉毛、皮肤特征和鼻部特征中的一个或多个，以及虹膜的特征，诸如颜色、图案和3d肌肉组织。在一些实施方案中，特征尺寸和与其他特征的几何关系可被包括作为生物识别方面。
[0089]
图5a和图5b示出了根据一些实施方案的组合不同生物识别方面的生物识别认证系统。图5a示出了根据一些实施方案的组合不同生物识别方面的示例性成像系统。成像系统可包括但不限于一个或多个相机540、照明源530和控制器560。在该示例中，眼睛相机540指向眼睛592、眶周区域580和面部582的部分以接收来自照明源530的反射光。然而，需注意，在一些实施方案中，眼睛相机540可以对离开热镜的反射进行成像，如图1b所示。此外，在一些实施方案中，眼睛相机540可通过如图1c中所示的一个或多个中间光学元件对包括眼睛592的用户的面部区域进行成像。眼睛相机540可以捕获542眼睛592、眶周区域580和面部582的部分的两个或更多个生物识别方面的单个图像或包括这两个或更多个生物识别方面的图像。所捕获的图像可由控制器560处理以分析图像中捕获的两个或更多个生物识别方面的质量。根据特定应用，控制器560可以从图像中选择最佳生物识别方面或特征以用于生物识别认证，或者可以选择生物识别方面或特征中的两个或更多个生物识别方面或特征以组合用于生物识别认证。
[0090]
图5b是眼睛的虹膜594和瞳孔596的例示。在一些实施方案中，虹膜594的特征(诸
如颜色、图案以及基于两个或更多个图像的虹膜594中的肌肉图案的3d重建)可以用作生物识别方面或特征。虹膜594特征可以单独使用，与一个或多个虹膜594特征组合使用，或者与眼睛592、眶周区域580或面部582的一个或多个其他特征组合使用，以执行生物识别授权。
[0091]
图6是根据一些实施方案的用于使用多个生物识别方面执行生物识别认证的方法的流程图。如在600处所指示的，用户的虹膜594、眼睛592、眶周区域580和/或面部582的一个或多个图像可以由一个或多个眼睛相机捕获。如在610处所指示的，可以处理图像以提取用户的虹膜594、眼睛592、眶周区域580和/或面部582的两个或更多个生物识别方面。如在620处所指示的，可以选择一个或多个生物识别方面用于认证。例如，客观标准可以应用于所提取的生物识别方面以确定生物识别方面是否满足生物识别认证算法的质量阈值。然后可以选择满足相应阈值的一个或多个生物识别方面。如在630处所指示的，然后可以使用所选择的生物识别方面来执行生物识别认证。
[0092]
使用多个相机的生物识别成像系统
[0093]
描述了用于生物识别认证的方法和装置的实施方案，其中使用两个或更多个相机来捕获用于分析的生物识别特征或方面的图像以对人进行识别和认证。常规地，已经使用单个相机来捕获生物识别特征的图像来执行生物识别认证。例如，人的虹膜的图像由单个眼睛相机捕获并且与用户的虹膜的基线图像进行比较以识别和认证此人。在实施方案中，成像系统(例如，如图1a至图1d中所示)包括至少两个相机，这两个相机用于捕获人的虹膜、眼睛、眶周区域和/或人的面部的其他区域的图像，并且分析来自所捕获图像的一个或多个特征以识别和认证此人(或者检测欺骗生物识别认证的尝试)。
[0094]
实施方案可以例如用于使用两个或更多个眼睛相机来捕获用户虹膜的图像以用于生物识别认证。在一些实施方案中，代替虹膜或除虹膜之外，可以使用两个或更多个相机来捕获眼睛、眶周区域或用户面部的生物识别方面或特征，包括但不限于眼睛表面、眼部静脉、眼睑、眉毛、皮肤或鼻部，并且单独或组合使用生物识别来执行生物识别认证。在一些实施方案中，特征尺寸和与其他特征的几何关系可被包括作为生物识别方面。
[0095]
生物识别系统或算法的实施方案可以使用来自从用户的眼睛、眶周区域或面部的不同视点捕获图像以执行生物识别认证的两个或更多个相机(在一些系统中，每只眼睛两个或更多个相机)中的至少一个相机的图像。在常规的生物识别系统中，通常单个相机直接指向眼睛区域。然而，在具有眼睛相机的一些紧凑型系统诸如hmd中，至目标区域的光学路径可能更加复杂，其中其他元件诸如透镜或热镜在光学路径上或附近，并且因此目标方面或特征的可见性可能受损，并且所捕获的图像的质量可能对于生物识别认证算法而言不是最佳的。对每只眼睛添加至少一个附加的相机可以例如允许成像系统从不同的角度捕获眼睛区域的图像，并且允许切换到更有利的视点(姿态为位置和取向)，并且在一些实施方案中，可以允许由两个或更多个相机捕获的两个或更多个图像被组合用于生物识别认证。
[0096]
在一些实施方案中，在耦接到两个或更多个相机的控制器上执行的算法可以动态地确定由两个或更多个相机捕获的哪个(哪些)图像将用于生物识别认证，例如使用一个或多个客观标准来评估所捕获的图像的质量。客观标准可包括但不限于以下中的一者或多者：曝光、对比度、阴影、边缘、不期望的条纹、遮挡对象、清晰度、照明均匀度、不存在不期望的反射等。此外，可以评估由相机捕获的区域的特性以确定质量，例如眼睛的一部分与眼睑的重叠可以使由一个相机捕获的图像中的特征的至少一部分模糊，而该特征在由第二相机
捕获的图像中更明显。
[0097]
在一些实施方案中，在耦接到两个以上相机的控制器上执行的算法可以组合来自由至少两个相机捕获的眼睛、眶周区域或面部的部分的两个或更多个图像的信息以处理从组合的图像提取的方面和特征。来自两个或更多个图像的信息的组合可以在处理的不同阶段执行。例如，在一些实施方案中，可以在处理的早期组合两个或更多个图像以增强从中提取和评估方面或特征的所得组合的图像的图像质量。作为另一示例，两个或更多个图像可被处理以在中间阶段提取方面、特征或其他信息；然后可以组合地处理所提取的信息以确定生物识别认证分数。作为又一示例，从两个或更多个图像提取的信息可以被单独处理，然后在最终相似性/匹配分数的计算中被组合。
[0098]
图7示出了根据一些实施方案的使用多个相机的生物识别认证系统。成像系统可包括但不限于两个或多个相机740、照明源730和控制器760。在该示例中，眼睛相机540各自指向眼睛792、眶周区域780和/或面部782的部分以接收来自照明源730的反射光。每个相机740具有不同的视角或观看角度。还需注意，虽然未示出，但每个相机740可以用户的面部或眼睛792的不同特征、方面或区域为中心或者捕获用户的面部或眼睛的不同特征、方面或区域。在一些实施方案中，至少一个眼睛相机740可以对离开热镜的反射进行成像，如图1b所示。此外，在一些实施方案中，至少一个眼睛相机740可通过如图1c中所示的一个或多个中间光学元件对包括眼睛792的用户的面部区域进行成像。每个眼睛相机740可以捕获742眼睛792、眶周区域780和面部782的部分的一个或多个生物识别方面的图像或包括该一个或多个生物识别方面的图像。由两个或更多个相机740捕获的图像可以由控制器760处理以分析图像的质量。根据特定应用，控制器560可以选择图像中的一个或多个图像用于生物识别认证，或者可以从图像中的一个或多个图像选择生物识别方面或特征中的两个或更多个生物识别方面或特征用于生物识别认证的组合。
[0099]
图8a是根据一些实施方案的用于使用多个相机进行生物识别认证的方法的流程图。如在800处所指示的，用户的眼睛、眶周区域或用户的面部的部分的两个或更多个图像由两个或更多个相机捕获。如在802处所指示的，使用一个或多个客观标准分析所捕获的图像以确定用于生物识别认证的最佳图像。如在804处所指示的，使用所选择的图像来执行生物识别认证。
[0100]
图8b是根据一些实施方案的用于使用多个相机进行生物识别认证的另一方法的流程图。如在820处所指示的，用户的眼睛、眶周区域或用户的面部的部分的两个或更多个图像由两个或更多个相机捕获。如在822处所指示的，合并或组合来自两个或更多个图像的信息。如在824处所指示的，使用合并的图像信息来执行生物识别认证。
[0101]
来自两个或更多个图像的信息的合并可以在处理的不同阶段执行。例如，在一些实施方案中，可以在处理的早期组合两个或更多个图像，以增强从中提取和评估方面或特征的所得组合的图像的图像质量。作为另一示例，两个或更多个图像可被处理以在中间阶段提取方面、特征或其他信息；然后可以组合地处理所提取的信息以确定生物识别认证分数。作为又一示例，从两个或更多个图像提取的信息可以被分别处理，然后在生物识别认证分数的计算中被组合。
[0102]
包括附加的光学元件的生物识别成像系统
[0103]
描述了用于生物识别认证的方法和装置的实施方案，其中一个或多个附加的光学
元件位于从照明系统到眼睛或眼睛区域、然后到眼睛相机的光学路径上。
[0104]
在一些实施方案中，一个或多个光学元件诸如图1c中所示的透镜120可以在眼睛192与相机140之间的光学路径上。光学元件可具有光学特性；在一些实施方案中，光学特性可以是用户特定的，诸如屈光度。在一些实施方案中，用户可以向设备的光学系统添加额外的光学元件，诸如处方夹式透镜。中间光学元件必然影响穿过元件到达相机的光。在一些实施方案中，可以获得和存储关于中间光学元件的光学特性的信息，并且控制器可以根据该信息来调整由相机捕获的图像，以改善用于生物识别认证的图像质量。
[0105]
在一些实施方案中，一个或多个光学元件诸如透镜、棱镜、衍射光栅或波导可以位于眼睛相机的光学路径上，例如在相机前方并且在相机与眼睛/眼睛区域之间。在一些设备中，例如在具有可以放置眼睛相机的限制的hmd中，由于实现成像系统的设备的物理配置和限制，眼睛相机可以从非最佳角度观察眼睛或眼睛区域。在相机处以非最佳角度形成的图像平面可以例如通过降低像素密度而影响所捕获的图像的质量。在眼睛/眼睛区域和眼睛相机之间的光学路径上的光学元件诸如透镜、棱镜、衍射光栅或波导可以例如用于“弯曲”来自眼睛/眼睛区域的光线，并且因此倾斜图像平面，以在眼睛相机处获得更好的像素密度。换句话讲，中间光学元件可以补偿由相机的定位引起的透视失真。中间光学元件因此可以增加或改善成像系统的图像空间特性。
[0106]
图9a示出了根据一些实施方案的包括在用户的眼睛与眼睛相机之间的光路上的至少一个附加的光学元件的系统。成像系统可包括但不限于一个或多个相机940、照明源930和控制器960。在该示例中，眼睛相机940指向眼睛992；然而，需注意，眼睛相机940还可以或替代地捕获眶周区域或面部的部分的图像以接收来自照明源930的反射光。然而，需注意，在一些实施方案中，眼睛相机940可以对离开热镜的反射进行成像，如图1b所示。眼睛相机940可以通过一个或多个中间光学元件920a和920b对包括眼睛992的用户的面部区域进行成像。元件920a表示作为在设备中实现的光学系统的部件的透镜，并且可以但不一定具有用户特定的光学特性。元件920b表示可选的光学元件，诸如夹式透镜，该夹式透镜已经被添加到在设备中实施的光学系统，并且可以但不一定具有用户特定的光学特性。眼睛相机940可以捕获942眼睛992、眶周区域980和面部982的部分的两个或更多个生物识别方面的单个图像或包括这两个或更多个生物识别方面的图像。然而，从眼睛区域到眼睛相机940的光学路径穿过中间光学元件920a和/或光学元件920b。
[0107]
中间光学元件920a和/或920b必然影响穿过元件到达相机940的光。在一些实施方案中，关于中间光学元件的光学特性的信息(光学元件描述976)可以被获得并且被存储到存储器970，并且控制器960可以根据该信息来调整由相机940捕获的图像以改善用于生物识别认证的图像质量。
[0108]
所捕获的图像可以由控制器960进一步处理，以分析在图像中捕获的一个或多个生物识别方面的质量。然后，可以在生物识别认证过程中使用从图像提取的图像或生物识别方面或特征。
[0109]
图9b示出了根据一些实施方案的系统，该系统包括在用户的眼睛与眼睛相机之间的光路上的衍射光学元件以改善相机的观看角度。成像系统可包括但不限于一个或多个相机940、照明源930和控制器960。在该示例中，眼睛相机940指向眼睛992；然而，需注意，眼睛相机940还可以或替代地捕获眶周区域或面部的部分的图像以接收来自照明源930的反射
光。然而，需注意，在一些实施方案中，眼睛相机940可以对离开热镜的反射进行成像，如图1b所示。眼睛相机940可以但不必通过一个或多个中间光学元件920对包括眼睛992的用户面部区域进行成像。眼睛相机940可以捕获942眼睛992、眶周区域980和面部982的部分的两个或更多个生物识别方面的单个图像或包括这两个或更多个生物识别方面的图像。
[0110]
一个或多个光学元件924诸如透镜、棱镜、衍射光栅或波导可以位于眼睛相机940的光学路径上，例如在相机940前方并且在相机940与眼睛992之间。在一些设备中，例如在具有可以放置眼睛相机940的限制的hmd中，由于实现成像系统的设备的物理配置和限制，眼睛相机940可以从非最佳角度观察眼睛992或眼睛区域。在相机940处以非最佳角度形成的图像平面可以例如通过降低像素密度而影响所捕获的图像的质量。在眼睛992和眼睛相机940之间的光学路径上的光学元件924诸如透镜、棱镜、衍射光栅或波导可以例如用于“弯曲”来自眼睛992的光线，并且因此倾斜图像平面，以在眼睛相机940处获得更好的像素密度。换句话讲，中间光学元件924可以补偿由相机940的定位引起的透视失真。中间光学元件924因此可以增加或改善成像系统的图像空间特性。
[0111]
所捕获的图像可以由控制器960处理，以分析在图像中捕获的一个或多个生物识别方面的质量。然后，可以在生物识别认证过程中使用从图像提取的图像或生物识别方面或特征。
[0112]
图10是根据一些实施方案的用于在系统中处理图像的方法的流程图，该系统包括在用户的眼睛与眼睛相机之间的光路上的至少一个附加的光学元件。如在1000处所指示的，可以获得在眼睛相机与眼睛或眼睛区域之间的光学路径上的一个或多个附加的光学元件的特性，并且将其作为光学元件描述存储到存储器。如在1010处所指示的，可以用眼睛相机来捕获眼睛或眼睛区域的一个或多个图像。如在1020处所指示的，所捕获的图像可以由控制器处理；光学元件描述可应用于图像以根据附加的光学元件的光学特性来调整图像处理。在1030处，如果处理完成，则该方法结束。否则，方法返回元件1010。
[0113]
图11是根据一些实施方案的用于在系统中捕获和处理图像的方法的流程图，该系统包括在用户的眼睛与眼睛相机之间的光路上的衍射光学元件以改善相机的观看角度。如在1100所指示的，光源(例如，led)向受试者的面部发射光。如在1110处指示的，从受试者的面部反射的光的一部分被受试者的眼睛与相机之间的光学路径上的光学元件朝向相机衍射。如在1120处所指示的，由相机捕获一个或多个图像。如在1130处所指示的，例如通过包括成像系统的设备的控制器上的生物识别认证算法来处理图像。在1140处，如果处理完成，则该方法结束。否则，方法返回元件1100。
[0114]
使用多个波长的生物识别成像系统
[0115]
描述了用于生物识别认证和反欺骗的方法和装置的实施方案，其中在照明系统中使用两个或更多个不同的波长。在实施方案中，照明源(例如，led环)可被配置为连续地或选择性地发射两个或更多个不同波长的光。例如，在一些实施方案中，中间800nm范围内的波长可以用于使用虹膜的生物识别认证，并且中间900mm范围内的波长可以用于反欺骗。反欺骗涉及生物识别认证，因为“欺骗”是指通过例如呈现有效用户的眼睛、眼睛区域或面部的图片或模型作为“欺骗”生物识别认证系统的尝试来欺骗生物识别认证系统的尝试。
[0116]
在一些实施方案中，可以实现一种方法，其中照明源发射第一波长以用于捕获用于生物识别认证的算法处理的第一部分的图像，并且照明源发射第二波长以用于捕获用于
生物识别认证的算法处理的第二部分的另一图像。在一些实施方案中，相机可以不同的波长顺序地捕获两个或更多个图像。作为替代方案，在一些实施方案中，相机可被配置为同时捕获不同波长的两个或更多个图像。
[0117]
图12a至图12c示出了根据一些实施方案的包括光源的系统，该光源发射多个波长的光以顺序地捕获多个波长的图像。
[0118]
图12a示出了包括多个led 1232的示例性照明源1230。在该示例中，存在布置成环的八个led 1232。然而，需注意，照明源1230中的led 1232的数量和布置可以不同。另外，在一些实施方案中，可以使用除led之外的其他发光元件。在一些实施方案中，led 1232a中的一些(由阴影圆圈表示)可被配置为发射ir(包括swir或nir)范围中的第一波长(例如，740、750、840、850、940或950纳米)的光。由白色圆圈表示的其他led 1232b可被配置为发射ir(包括swir或nir)范围中的不同波长的光。需注意，在一些实施方案中，可以使用两个以上的波长。此外，在一些实施方案中，各个照明元件可被配置为选择性地发射两个或更多个不同波长的光。
[0119]
图12b和图12c示出了根据一些实施方案的包括发射多个波长的光的光源(例如，led)的示例性成像系统。成像系统可包括但不限于一个或多个相机1240、照明源1230和控制器1260。在该示例中，眼睛相机1240指向眼睛1292以接收来自照明源1230的反射光。然而，在一些实施方案中，眼睛相机1240可替代地或还捕获眶周区域和面部的部分的图像。需注意，在一些实施方案中，眼睛相机1240可以对离开热镜的反射进行成像，如图1b所示。此外，在一些实施方案中，眼睛相机1240可通过如图1c中所示的一个或多个中间光学元件对眼睛1292进行成像。
[0120]
在图12a中，眼睛相机1240可以在控制器1260的控制1244a下用以第一波长照明眼睛的led 1232a来捕获1242a眼睛1292的各个图像。在图12b中，眼睛相机1240可以在控制器1260的控制1244b下用以第二波长照明眼睛的led 1232b来捕获1242b眼睛1292的各个图像。
[0121]
所捕获的图像可以由控制器1260处理以分析在图像中捕获的生物识别方面的一个或多个生物识别方面的质量。根据特定应用，控制器1260可以从图像中选择最佳生物识别方面或特征以用于生物识别认证，或者可以选择两个或更多个生物识别方面或特征以组合用于生物识别认证。
[0122]
在一些实施方案中，第一波长可以由照明源1230发射以捕获用于生物识别认证的算法处理的第一部分的一个或多个图像，并且第二波长可以由照明源1230发射以捕获用于生物识别认证的算法处理的第二部分的另外的一个或多个图像。在一些实施方案中，第一波长可用于捕获(例如，虹膜的)图像以用于反欺骗过程，并且第二波长可用于捕获(例如，虹膜的)图像以用于生物识别认证。
[0123]
图13a和图13b示出了根据一些实施方案的包括具有光传感器的相机的系统，该光传感器以不同波长同时捕获多个图像。如图13a中所示，在一些实施方案中，作为以不同波长顺序地捕获图像的替代方案，可以提供相机传感器1350，该相机传感器被配置为同时以不同波长捕获两个(或更多个)图像。在该示例中，像素每隔一个被配置为捕获特定波长的光。例如，白色像素1352a可被配置为捕获中间800nm范围中的光，并且阴影像素可被配置为捕获中间900nm范围中的光。例如，各个滤波器可以应用于每个像素1352，其中第一滤波器
应用于像素1352a并且第二滤波器应用于像素1352b。
[0124]
图13b示出了根据一些实施方案的示例性成像系统，该示例性成像系统包括发射多个波长的光的光源(例如，led)，并且其中相机包括被配置为以不同波长同时捕获两个(或更多个)图像的相机传感器1350。成像系统可包括但不限于一个或多个相机1340、照明源1330和控制器1360。在该示例中，眼睛相机1340指向眼睛1392以接收来自照明源1330的反射光。然而，在一些实施方案中，眼睛相机1340可替代地或还捕获眶周区域和面部的部分的图像。需注意，在一些实施方案中，眼睛相机1340可以对离开热镜的反射进行成像，如图1b所示。此外，在一些实施方案中，眼睛相机1340可通过如图1c中所示的一个或多个中间光学元件对眼睛1392进行成像。照明源1330可被配置为发射多个波长的光，例如如图12a中所示。眼睛相机1340可以使用如图13a所示的传感器1350以多个波长同时捕获眼睛1392的至少两个图像1342a和1342b，其中led 1332a和1332b在控制器1360的控制1344下以两个波长同时照明眼睛1392。
[0125]
图14是根据一些实施方案的用于以多个波长顺序地捕获和处理图像的方法的流程图。如在1400处所指示的，光源向用户的眼睛发射第一波长的光。如在1410处所指示的，相机以第一波长捕获图像。如在1420处所指示的，光源向用户的眼睛发射第二波长的光。如在1430处所指示的，相机以第二波长捕获图像。如在1440处所指示的，处理图像。在1450处，如果该方法未完成，则该方法返回到元素1410。否则，该方法结束。
[0126]
图15是根据一些实施方案的用于以多个波长同时捕获和处理图像的方法的流程图。如在1500处所指示的，光源向用户的眼睛发射多个波长的光。如在1510处所指示的，相机同时捕获每个波长的图像，例如使用如图13a中所示的光电传感器1350。如在1520处所指示的，处理图像。在1530处，如果该方法未完成，则该方法返回到元素1510。否则，该方法结束。
[0127]
改善用于生物识别认证的眼睛姿态
[0128]
描述了用于生物识别认证的方法和装置的实施方案，其中确定并且评估当前眼睛姿态以确定当前姿态是否令人满意，并且其中可通过用户响应于来自控制器的信号手动调整设备或其姿态/注视方向来改善眼睛姿态，以及/或者其中在控制器的方向上机械地调整成像系统以改善眼睛的当前视图。
[0129]
在实施方案中，在控制器上执行的方法可以例如通过捕获和评估眼睛的一个或多个图像来识别用户的当前眼睛位置和/或取向(姿态)。控制器然后可以评估当前姿态对于生物识别验证的有益程度。在一些实施方案中，控制器可以向用户提供反馈以提示用户调整其姿态(例如，通过改变其注视方向)或手动调整设备(例如，通过手动移动设备相对于其眼睛的位置)。在一些实施方案中，作为提示用户手动调整其姿态或设备的替代或补充，控制器可以引导成像系统硬件机械地调整成像系统，例如通过稍微移动或倾斜相机，或者通过放大或缩小。手动地或机械地调整用户相对于成像系统的姿态可以确保期望水平的生物识别认证性能，因为可以捕获眼睛或眼睛区域的更好的图像。对用户的反馈可以是触觉、音频或视觉信号，或者两个或更多个触觉、音频或视觉信号的组合。由控制器引导的成像系统的自动调整可以移动部件或部件的组合，例如至少包括相机的模块。手动调整或自动调整可以是生物识别认证过程中的单个步骤，或者另选地可以在控制回路中执行，直到在所捕获的图像中实现某些质量或客观标准。
[0130]
图16示出了根据一些实施方案的向用户提供反馈以及/或者向成像系统提供控制信号以手动或机械地调整相机相对于用户的眼睛或眼周区域的观看角度的系统。成像系统可包括但不限于一个或多个相机1640、照明源1630和控制器1660。在该示例中，眼睛相机1640指向眼睛1692以接收来自照明源1630的反射光。然而，在一些实施方案中，眼睛相机1640可替代地或还捕获眶周区域和/或面部的部分的图像。然而，需注意，在一些实施方案中，眼睛相机1640可以对离开热镜的反射进行成像，如图1b所示。此外，在一些实施方案中，眼睛相机1640可通过如图1c中所示的一个或多个中间光学元件对用户的眼睛1692进行成像。眼睛相机1640可以捕获1642用户的眼睛1692的一个或多个图像。所捕获的图像可以由控制器1660处理以确定当前的眼睛姿态并且确定当前的眼睛姿态对于生物识别认证过程是否令人满意。如果眼睛姿态不令人满意，则控制器1660可以向用户提供反馈1662以提示用户改变他们的眼睛姿态并且/或者手动调整设备。在一些实施方案中，作为反馈1662的替代或补充，控制器1660可以发信号通知1646成像系统以机械地调整成像系统，例如通过移动或倾斜相机1640。
[0131]
图17是根据一些实施方案的用于向用户提供反馈以相对于用户的眼睛或眼周区域手动调整相机的观看角度的方法的流程图。例如，该方法可以在生物识别认证过程中执行。如在1700处所指示的，相机捕获用户的眼睛区域的图像。如在1710处所指示的，控制器根据图像确定相机与期望特征的对准是否良好。在1720处，如果对准不良，则控制器可以提示用户调整注视并且/或者手动调整设备以获得更好的观看角度，并且该方法返回到元素1700。在1720处，如果对准良好，那么可以处理一个或多个图像，如在1740处所指示的。在1750处，如果没有完成处理，则该方法返回到1700。否则，执行该方法。
[0132]
图18是根据一些实施方案的用于向成像系统提供控制信号以相对于用户的眼睛或眼周区域机械地调整相机的观看角度的方法的流程图。例如，该方法可以在生物识别认证过程中执行。如在1800处所指示的，相机捕获用户的眼睛区域的图像。如在1810处所指示的，控制器根据图像确定相机与期望特征的对准是否良好。在1820处，如果对准不良，则控制器可以发信号通知成像系统以机械地调整设备/相机以获得更好的观看角度，并且方法返回到元素1800。在1820处，如果对准良好，那么可以处理一个或多个图像，如在1840处所指示的。在1850处，如果没有完成处理，则该方法返回到1800。否则，执行该方法。
[0133]
示例性系统
[0134]
图19a和图19b是示出了根据一些实施方案的可包括如图1至图18所示的部件并且实现如在所述图中所示的方法的设备的框图。如本文所述的用于改进生物识别认证过程中使用的成像系统的性能的方法的示例性应用是在手持式设备3000(诸如，智能电话、平板电脑或平板计算机)中。图19a示出了示例性设备3000的侧视图，并且图19b示出了示例性设备3000的示例性顶视图。设备3000可包括但不限于显示屏(未示出)、包括一个或多个处理器的控制器3060、存储器3070、姿态、运动和取向传感器(未示出)，以及一个或多个相机或感测设备，诸如可见光相机和深度传感器(未示出)。如本文所述的相机3080和照明源3040可以附接到设备3000或集成在该设备中，并且设备3000可以由用户保持并且定位成使得相机3080可以在由照明源3050照明时捕获用户的眼睛或眼睛区域的图像。所捕获的图像可以例如由控制器3060处理以例如经由虹膜认证过程来对人进行认证。
[0135]
需注意，如图19a和图19b所示的设备3000以举例的方式给出，并且不旨在进行限
制。在各种实施方案中，设备3000的形状、尺寸和其他特征可不同，并且设备3000的部件的位置、数量、类型和其他特征可变化。
[0136]
图20示出了根据一些实施方案的示例性头戴式设备(hmd)，该示例性hmd可包括如在图1至图18中示出的部件并且实现如在所述图中示出的方法。hmd 4000可以例如是混合或增强现实(mr)系统中的部件。需注意，如图20所示的hmd 4000以举例的方式给出，并且不旨在为限制性的。在各种实施方案中，hmd 4000的形状、尺寸和其他特征可不同，并且hmd 4000的部件的位置、数量、类型和其他特征可变化。在一些实施方案中，hmd 4000可包括但不限于安装在可佩戴外壳或框架中的显示器和两个光学透镜(目镜)(未示出)。如图20所示，hmd 4000可被定位在用户4090的头部上，使得显示器和目镜被设置在用户的眼睛4092的前面。用户通过目镜4020朝显示器看。hmd 4000还可包括收集关于用户的环境的信息(视频、深度信息、照明信息等)和关于用户的信息的传感器(例如，眼睛跟踪传感器)。传感器可包括但不限于捕获用户眼睛4092的视图的一个或多个眼睛相机4040(例如，红外(ir)相机)、捕获用户前面的视场中的真实世界环境的图像的一个或多个场景(可见光)相机(例如，rgb摄像机)(未示出)，以及捕获环境的照明信息的一个或多个环境光传感器(未示出)。
[0137]
该mr系统的控制器4060可在hmd 4000中实现，或者替代地可至少部分地由经由有线或无线接口通信地耦接到hmd 4000的外部设备(例如，计算系统)来实现。控制器4060可包括各种类型的处理器、图像信号处理器(isp)、图形处理单元(gpu)、编码器/解码器(编解码器)和/或用于处理和渲染视频和/或图像的其他部件中的一个或多个。控制器4060可以至少部分地基于从传感器获得的输入来渲染包括虚拟内容的帧(每个帧包括左图像和右图像)，并且可以将帧提供给显示器。图21进一步示出了根据一些实施方案的hmd和mr系统的部件。
[0138]
在一些实施方案中，用于mr系统的成像系统可包括但不限于一个或多个眼睛相机4040和ir光源4030。ir光源4030(例如，ir led)可被定位在hmd 4000中(例如，在目镜4020周围或在hmd 4000中的其他地方)，以用ir光照射用户的眼睛4092。至少一个眼睛相机4040(例如，ir相机，例如400
×
400像素数相机或600
×
600像素数相机，其在850nm或940nm下或者在某个其他ir波长或波长组合下操作，并且例如以60-120帧/秒(fps)的速率捕获帧)位于用户4090的面部的每个侧面处。在各种实施方案中，眼睛相机4040可以在hmd 4000中定位在用户4090的面部的每个侧面上，以提供眼睛4092的直接视图、眼睛4092的通过目镜4020的视图、或眼睛4092的经由从热镜或其他反射部件反射的视图。需注意，眼睛相机4040的位置和角度以举例的方式给出，并且不旨在为限制性的。虽然图20示出了位于用户4090的面部的每个侧面上的单个眼睛相机4040，但是在一些实施方案中，在用户4090的面部的每个侧面上可存在两个或更多个眼睛跟踪相机4040。
[0139]
由光源4030发射的ir光的一部分从用户4090的眼睛反射，并且由眼睛相机4040捕获以使用户的眼睛4092成像。可由控制器4060分析由眼睛跟踪相机4040捕获的图像以检测用户的眼睛4092的特征(例如，瞳孔)、位置和运动，和/或检测关于眼睛4092的其他信息，诸如瞳孔扩张。例如，可根据眼睛跟踪来估计显示器上的注视点；估计的注视点可用于使得hmd 4000的场景相机基于对应于注视点的感兴趣区域(roi)来曝光场景的图像。又如，估计的注视点可实现与显示器上显示的内容的基于注视的交互。作为另一示例，在一些实施方案中，可基于如由成像系统确定的用户的瞳孔扩张来调节所显示的图像的亮度。hmd 4000
可以实现用于提升如图1至图18中所示的生物识别认证或注视跟踪过程中使用的成像系统的性能的方法中的一种或多种方法来捕获和处理用户的眼睛4090的图像。
[0140]
如图20所示的hmd 4000的实施方案可例如用于增强或混合(ar)应用，以将增强或混合现实视图提供给用户4090。hmd 4000可包括例如定位于hmd 4000的外表面上的一个或多个传感器，该一个或多个传感器收集关于用户4090的外部环境的信息(视频、深度信息、照明信息等)；传感器可以将所收集的信息提供给mr系统的控制器4060。传感器可包括一个或多个可见光相机(例如，rgb相机)，该一个或多个可见光相机捕获用户的环境的视频，该视频可用于向用户4090提供其真实环境的虚拟视图。在一些实施方案中，由可见光相机捕获的真实环境的视频流可由hmd 4000的控制器4060处理，以渲染包括覆在真实环境的视图上的虚拟内容的增强或混合现实帧，并且所渲染的帧可被提供给hmd 4000的显示系统。
[0141]
图21是示出了根据一些实施方案的示例性mr系统的框图，该示例性系统可包括如在图1至图18中示出的部件并且实现如在所述图中示出的方法。在一些实施方案中，mr系统可包括hmd 5000，诸如头戴式耳机、头盔、护目镜或眼镜。hmd 5000可以实现各种类型的显示技术中的任一者。例如，hmd 5000可包括显示系统，该显示系统在由用户通过目镜(未示出)观看的屏幕或显示器(未示出)上显示包括左图像和右图像的帧。显示系统可例如是dlp(数字光处理)、lcd(液晶显示器)或lcos(硅基液晶)技术显示系统。为了在3d虚拟视图中创建三维(3d)效果，两个图像中不同深度或距离处的对象可作为距离的三角测量的函数向左或向右偏移，其中较近的对象比更远的对象偏移得更多。需注意，在一些实施方案中，可使用其他类型的显示系统。
[0142]
在一些实施方案中，hmd 5000可包括控制器5060，该控制器被配置为实现mr系统的功能，并且生成提供给hmd的显示器的帧(每个帧包括左图像和右图像)。在一些实施方案中，hmd 5000也可包括存储器5062，该存储器被配置为存储由控制器5060可执行的mr系统的软件(代码5064)，以及当在控制器5060上执行时可由mr系统使用的数据5068。在一些实施方案中，hmd 5000也可包括一个或多个接口(例如，蓝牙技术接口、usb接口等)，一个或多个接口(例如，蓝牙技术接口、usb接口等)被配置为经由有线或无线连接与外部设备通信。在一些实施方案中，针对控制器5060描述的功能中的至少一部分可由外部设备实现。外部设备可为或可包括任何类型的计算系统或计算设备，诸如台式计算机、笔记本或膝上型计算机、平板或平板设备、智能电话、手持式计算设备、游戏控制器、游戏系统等等。
[0143]
在各种实施方案中，控制器5060可为包括一个处理器的单处理器系统、或包括若干个处理器(例如，两个、四个、八个或另一合适数量)的多处理器系统。控制器5060可包括被配置为实现任何合适的指令集架构的中央处理单元(cpu)，并且可被配置为执行在该指令集架构中定义的指令。例如，在各种实施方案中，控制器5060可包括实现多种指令集架构(isa)(诸如x86、powerpc、sparc、risc或mips isa、或任何其他合适的isa)中的任何指令集架构的通用处理器或嵌入式处理器。在多处理器系统中，每个处理器可共同实现相同的isa，但不是必需的。控制器5060可采用任何微架构，包括标量、超标量、流水线、超流水线、乱序、有序、推测性、非推测性等，或它们的组合。控制器5060可包括实现微码技术的电路。控制器5060可包括各自被配置为执行指令的一个或多个处理核心。控制器5060可包括一个或多个级别的高速缓存，该高速缓存可以采用任何尺寸和任何配置(集合关联、直接映射等)。在一些实施方案中，控制器5060可包括至少一个图形处理单元(gpu)，该至少一个图形
处理单元(gpu)可包括任何合适的图形处理电路。通常，gpu可被配置为将待显示对象渲染到帧缓冲区中(例如，包括整个帧的像素数据的帧缓冲区)。gpu可包括一个或多个图形处理器，该图形处理器可执行图形软件以进行部分或全部的图形操作或某些图形操作的硬件加速。在一些实施方案中，控制器5060可包括用于处理和渲染视频和/或图像的一个或多个其他部件，例如图像信号处理器(isp)、编码器/解码器(编解码器)等。
[0144]
存储器5062可包括任何类型的存储器，诸如动态随机存取存储器(dram)、同步dram(sdram)、双数据速率(ddr、ddr2、ddr3等)sdram(包括sdram的移动版本，诸如mddr3等，或sdram的低功率版本，诸如lpddr2等)、rambus dram(rdram)、静态ram(sram)等。在一些实施方案中，一个或多个存储器设备可耦接到电路板上以形成存储器模块，诸如单列直插存储器模块(simm)、双列直插存储器模块(dimm)等。另选地，这些设备可以与实现系统的集成电路在芯片堆叠配置、封装堆叠配置或者多芯片模块配置中安装。
[0145]
在一些实施方案中，hmd 5000可包括一个或多个传感器，该一个或多个传感器收集关于用户的环境的信息(视频、深度信息、照明信息等)。传感器500可将信息提供给mr系统的控制器5060。在一些实施方案中，传感器可包括但不限于可见光相机(例如，摄像机)和环境光传感器。
[0146]
hmd 5000可被定位在用户的头部上，使得显示器以及目镜被设置在用户的眼睛5092a和眼睛5092b的前面。ir光源5030a和ir光源5030b(例如，ir led)可被定位在hmd 5000中(例如，在目镜周围或在hmd 5000中的其他地方)，以用ir光照射用户的眼睛5092a和眼睛5092b。眼睛相机5040a和眼睛跟踪相机5040b(例如，ir相机，例如在850nm或940nm或一些其他ir波长下操作并且例如以每秒60帧-120帧(fps)的速率捕获帧的400
×
400像素数相机或600
×
600像素数相机)可以位于用户面部的每一侧。在各种实施方案中，眼睛相机5040可定位在hmd 5000中，以提供眼睛5092的直接视图、眼睛5092的通过目镜5020的视图、或眼睛5092的经由从热镜或其他反射部件反射的视图。需注意，眼睛相机5040a和眼睛跟踪相机5040b的位置和角度以举例的方式给出，并且不旨在为限制性的。在一些实施方案中，可存在位于用户的面部的每个侧面上的单个眼睛相机5040。在一些实施方案中，在用户的面部的每一侧上可存在两个或更多个眼睛相机5040。例如，在一些实施方案中，广角相机5040和较窄角度相机5040可用于用户的面部的每个侧面上。由光源5030a和光源5030b发射的ir光的一部分从用户的眼睛5092a和眼睛5092b反射，接收在相应的眼睛相机5040a和眼睛相机5040b处，并且由眼睛相机5040a和眼睛相机5040b捕获以使用户的眼睛5092a和眼睛5092b成像。由相机5040a和相机5040b捕获的眼睛信息可被提供给控制器5060。控制器5060可分析眼睛信息(例如，用户的眼睛5092a和眼睛5092b的图像)以确定眼睛5092a和眼睛5092b的眼睛位置和运动和/或其他特征。在一些实施方案中，为了准确地确定用户的眼睛5092a和眼睛5092b相对于眼睛相机5040a和眼睛跟踪相机5040b的位置，控制器5060可使用由眼睛相机5040a和眼睛相机5040b捕获的图像来执行3d重建，以生成用户的眼睛5092a和眼睛5092b的3d模型。眼睛5092a和眼睛5092b的3d模型指示眼睛5092a和眼睛5092b相对于眼睛相机5040a和眼睛相机5040的3d位置，这允许由控制器执行的眼睛跟踪算法准确地跟踪眼睛运动。hmd 4000可以实现用于提升如图1至图18中所示的生物识别认证或注视跟踪过程中使用的成像系统的性能的方法中的一种或多种方法来捕获和处理用户的眼睛4090的图像。
[0147]
由控制器5060获得和分析的眼睛信息可由控制器用于实行各种vr或ar系统功能。例如，可从由眼睛相机5040a和眼睛相机5040b捕获的图像估计显示器上的注视点；所估计的注视点可用于使得hmd 5000的一个或多个场景相机基于对应于注视点的感兴趣区域(roi)来曝光场景的图像。又如，估计的注视点可实现与显示器上显示的虚拟内容的基于注视的交互。作为另一示例，在一些实施方案中，可基于如由成像系统确定的用户的瞳孔扩张来调节所显示的图像的亮度。
[0148]
在一些实施方案中，hmd 5000可被配置为渲染和显示帧以至少部分地根据传感器输入为用户提供增强或混合现实(mr)视图。mr视图可包括渲染用户的环境，包括基于由一个或多个摄像机捕获的视频来渲染用户的环境中的真实对象，一个或多个摄像机捕获用户的环境的高质量、高分辨率视频用于显示。mr视图也可包括虚拟内容(例如，虚拟对象、真实对象的虚拟标签、用户的化身等)，该虚拟内容由mr系统生成并与用户的真实环境的所显示视图合成。
[0149]
如图21中所示的hmd 5000的实施方案也可用于虚拟现实(vr)应用中以将vr视图提供给用户。在这些实施方案中，hmd 5000的控制器5060可渲染或获得包括虚拟内容的虚拟现实(vr)帧，并且所渲染的帧可被显示以向用户提供虚拟现实(与混合现实相对)体验。在这些系统中，vr帧的渲染可基于根据成像系统确定的注视点而受到影响。
[0150]
扩展现实
[0151]
人可以在不借助于电子设备的情况下与物理环境或物理世界交互以及/或者感知物理环境或物理世界。物理环境可包括物理特征，诸如物理对象或表面。物理环境的示例是包括物理植物和动物的物理森林。人可以通过各种手段(诸如听觉、视觉、味觉、触觉和嗅觉)直接感知物理环境以及/或者与物理环境交互。相比之下，人可以使用电子设备与完全或部分模拟的扩展现实(xr)环境交互以及/或者感知该扩展现实环境。该xr环境可以包括混合现实(mr)内容、增强现实(ar)内容、虚拟现实(vr)内容等等。利用xr系统，人的物理运动或其表示的一些可被跟踪，并且作为响应，能够以符合至少一个物理定律的方式调节在xr环境中模拟的虚拟对象的特征。例如，该xr系统可以检测用户头部的移动，并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。又如，该xr系统可以检测呈现xr环境的电子设备(例如，移动电话、平板电脑、膝上型电脑等)的移动，并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。在一些情形中，该xr系统可以响应于诸如物理运动的表示的其他输入(例如，语音命令)而调节图形内容的特征。
[0152]
许多不同类型的电子系统可以使用户能够与xr环境交互和/或感知xr环境。示例的非排他性列表包括抬头显示器(hud)、头戴式系统、基于投影的系统、具有集成显示能力的窗户或车辆挡风玻璃、形成为放置于用户眼睛上的透镜的显示器(例如，接触镜片)、头戴式受话器/耳机、具有触觉反馈或不具有触觉反馈的输入系统(例如，可穿戴或手持式控制器)、扬声器阵列、智能电话、平板电脑和台式计算机/膝上型计算机。头戴式系统可具有不透明显示器和一个或多个扬声器。其它头戴式系统可被配置为接受不透明外部显示器(例如，智能电话)。头戴式系统可包括用于捕获物理环境的图像或视频的一个或多个图像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可具有媒介，光通过该媒介被引导到用
户的眼睛。显示器可利用各种显示技术，例如uled、oled、led、硅基液晶、激光扫描光源、数字光投影或其组合。光波导、光学反射器、全息图媒介、光学组合器及其组合或其它类似技术可用于媒介。在一些具体实施中，透明或半透明显示器可被选择性地控制而变得不透明。基于投影的系统可利用将图形图像投影到用户的视网膜上的视网膜投影技术。投影系统也可以将虚拟对象投影到物理环境中(例如，作为全息图或投影到物理表面上)。
[0153]
以下条款提供了上述技术的示例性实施方案的描述：
[0154]
条款1.一种系统，包括：
[0155]
相机，所述相机被配置为捕获用户的眼睛区域的图像；以及
[0156]
控制器，所述控制器包括一个或多个处理器，所述一个或多个处理器被配置为：
[0157]
确定并评估所述用户的当前眼睛姿态，其中所述眼睛姿态指示相对于所述相机的当前眼睛位置和取向；
[0158]
基于所述评估来确定当前眼睛姿态对于捕获要在生物统计认证过程中使用的图像而言是不令人满意的；
[0159]
发信号通知所述用户以调整其眼睛姿态从而改善所述相机相对于所述眼睛区域的观看角度；以及
[0160]
在所述用户响应于所述信号调整其眼睛姿态之后，基于由所述相机捕获的所述用户的所述眼睛区域的一个或多个图像来对所述用户执行生物识别认证。
[0161]
条款2.根据条款1所述的系统，其中所述信号包括触觉信号、音频信号和视觉信号中的一者或多者。
[0162]
条款3.根据条款1所述的系统，还包括位于用户眼睛前方的显示器，并且其中所述信号包括所述显示器上的视觉指示。
[0163]
条款4.根据条款1所述的系统，其中迭代地执行所述确定并评估所述用户的当前眼睛姿态、所述确定所述当前眼睛姿态对于捕获待用于生物识别认证过程的图像而言是不令人满意的，以及所述发信号通知所述用户调整其眼睛姿态以改善所述相机相对于所述眼睛区域的观看角度，直到检测到令人满意的眼睛姿态为止。
[0164]
条款5.根据条款1所述的系统，其中，为了确定并评估所述用户的当前眼睛姿态，所述控制器被配置为分析由所述相机捕获的所述眼睛区域的一个或多个图像，以确定在所捕获的图像中是否实现关于所述眼睛区域的一个或多个客观标准。
[0165]
条款6.根据条款5所述的系统，其中所述客观标准包括以下中的一者或多者：注视方向、曝光、对比度、阴影、边缘、不期望的条纹、遮挡、清晰度、照明均匀度以及不期望的反射。
[0166]
条款7.根据条款1所述的系统，其中所述眼睛区域包括以下中的一者或多者：虹膜、眼睛、眶周区域和用户的面部的一部分。
[0167]
条款8.根据条款1所述的系统，其中，为了在所述用户响应于所述信号而调整其眼睛姿态之后，基于由所述相机捕获的所述用户的所述眼睛区域的一个或多个图像来对所述用户执行生物识别认证，所述控制器被配置为：
[0168]
根据一个或多个客观标准分析在所述一个或多个图像中捕获的一个或多个生物识别方面的质量；
[0169]
根据所述分析选择至少一个生物识别方面；以及
[0170]
至少部分地基于所选择的至少一个生物识别方面来执行所述生物识别认证过程。
[0171]
条款9.根据条款8所述的系统，其中所述客观标准包括以下中的一者或多者：曝光、对比度、阴影、边缘、不期望的条纹、遮挡对象、清晰度、照明均匀度以及不期望的反射。
[0172]
条款10.根据条款8所述的系统，其中所述生物识别方面包括以下中的一者或多者：眼睛表面、眼部静脉、眼睑、眉毛、皮肤特征、鼻部特征和虹膜特征，其中所述虹膜特征包括颜色、图案和肌肉组织中的一者或多者。
[0173]
条款11.根据条款1所述的系统，还包括照明源，所述照明源包括多个发光元件，所述多个发光元件被配置为向待由所述相机成像的所述眼睛区域发射光。
[0174]
条款12.根据条款11所述的系统，其中所述发光元件包括发光二极管(led)。
[0175]
条款13.根据条款11所述的系统，其中所述发光元件包括红外(ir)光源，并且其中所述相机是红外相机。
[0176]
条款14.根据条款1所述的系统，其中所述系统是头戴式设备(hmd)、手持式设备或壁挂式设备的部件。
[0177]
条款15.一种系统，包括：
[0178]
相机，所述相机被配置为捕获用户的眼睛区域的图像；以及
[0179]
控制器，所述控制器包括一个或多个处理器，所述一个或多个处理器被配置为：
[0180]
确定并评估所述用户的当前眼睛姿态，其中所述眼睛姿态指示相对于所述相机的当前眼睛位置和取向；
[0181]
基于所述评估来确定所述当前眼睛姿态对于捕获待用于生物识别认证过程的图像而言是不令人满意的；
[0182]
发信号通知所述相机以调整所述相机相对于所述眼睛区域的观看角度；以及
[0183]
在响应于所述信号调整所述观看角度之后，基于由所述相机捕获的所述用户的所述眼睛区域的一个或多个图像来对所述用户执行生物识别认证。
[0184]
条款16.根据条款15所述的系统，其中迭代地执行所述确定并评估所述用户的当前眼睛姿态、所述确定所述当前眼睛姿态对于捕获待用于生物识别认证过程的图像而言是不令人满意的，以及所述发信号通知所述相机调整所述相机相对于所述眼睛区域的观看角度，直到检测到令人满意的眼睛姿态为止。
[0185]
条款17.根据条款15所述的系统，其中，为了确定并评估所述用户的当前眼睛姿态，所述控制器被配置为分析由所述相机捕获的所述眼睛区域的一个或多个图像，以确定在所捕获的图像中是否实现关于所述眼睛区域的一个或多个客观标准。
[0186]
条款18.根据条款17所述的系统，其中所述客观标准包括以下中的一者或多者：注视方向、曝光、对比度、阴影、边缘、不期望的条纹、遮挡、清晰度、照明均匀度以及不期望的反射。
[0187]
条款19.根据条款15所述的系统，其中所述眼睛区域包括以下中的一者或多者：虹膜、眼睛、眶周区域和用户的面部的一部分。
[0188]
条款20.根据条款15所述的系统，其中，为了在所述相机响应于所述信号而调整所述观看角度之后，基于由所述相机捕获的所述用户的所述眼睛区域的一个或多个图像来对所述用户执行生物识别认证，所述控制器被配置为：
[0189]
根据一个或多个客观标准分析在所述一个或多个图像中捕获的一个或多个生物
识别方面的质量；
[0190]
根据所述分析选择至少一个生物识别方面；以及
[0191]
至少部分地基于所选择的至少一个生物识别方面来执行所述生物识别认证过程。
[0192]
条款21.根据条款20所述的系统，其中所述客观标准包括以下中的一者或多者：曝光、对比度、阴影、边缘、不期望的条纹、遮挡对象、清晰度、照明均匀度以及不期望的反射。
[0193]
条款22.根据条款20所述的系统，其中所述生物识别方面包括以下中的一者或多者：眼睛表面、眼部静脉、眼睑、眉毛、皮肤特征、鼻部特征和虹膜特征，其中所述虹膜特征包括颜色、图案和肌肉组织中的一者或多者。
[0194]
条款23.根据条款15所述的系统，还包括照明源，所述照明源包括多个发光元件，所述多个发光元件被配置为向待由所述相机成像的所述眼睛区域发射光。
[0195]
条款24.根据条款23所述的系统，其中所述发光元件包括发光二极管(led)。
[0196]
条款25.根据条款23所述的系统，其中所述发光元件包括红外(ir)光源，并且其中所述相机是红外相机。
[0197]
条款26.根据条款15所述的系统，其中所述系统是头戴式设备(hmd)、手持式设备或壁挂式设备的部件。
[0198]
条款27.一种方法，包括：
[0199]
由包括一个或多个处理器的控制器执行：
[0200]
确定并评估所述用户的当前眼睛姿态，其中所述眼睛姿态指示相对于相机的当前眼睛位置和取向；
[0201]
基于所述评估来确定所述当前眼睛姿态对于捕获待用于生物识别认证过程的图像而言是不令人满意的；
[0202]
发信号通知所述用户以调整其眼睛姿态从而改善所述相机相对于所述眼睛区域的观看角度；以及
[0203]
在所述用户响应于所述信号调整其眼睛姿态之后，基于由所述相机捕获的所述用户的所述眼睛区域的一个或多个图像来对所述用户执行生物识别认证。
[0204]
条款28.根据条款27所述的方法，其中发信号通知包括向用户提供触觉信号、音频信号和视觉信号中的一者或多者。
[0205]
条款29.根据条款27所述的方法，其中发信号通知包括向位于用户眼睛前方的显示器发送视觉指示。
[0206]
条款30.根据条款27所述的方法，还包括迭代地执行所述确定并评估所述用户的当前眼睛姿态、所述确定所述当前眼睛姿态对于捕获待用于生物识别认证过程的图像而言是不令人满意的，以及所述发信号通知所述用户调整其眼睛姿态从而改善所述相机相对于所述眼睛区域的观看角度，直到检测到令人满意的眼睛姿态为止。
[0207]
条款31.根据条款27所述的方法，其中确定并评估所述用户的当前眼睛姿态包括分析由所述相机捕获的所述眼睛区域的一个或多个图像，以确定在所捕获的图像中是否实现关于所述眼睛区域的一个或多个客观标准。
[0208]
条款32.根据条款31所述的方法，其中所述客观标准包括以下中的一者或多者：注视方向、曝光、对比度、阴影、边缘、不期望的条纹、遮挡、清晰度、照明均匀度以及不期望的反射。
[0209]
条款33.根据条款27所述的方法，其中所述眼睛区域包括以下中的一者或多者：虹膜、眼睛、眶周区域和用户的面部的一部分。
[0210]
条款34.根据条款27所述的方法，其中在所述用户响应于所述信号而调整其眼睛姿态之后，基于由所述相机捕获的所述用户的所述眼睛区域的一个或多个图像来对所述用户执行生物识别认证包括：
[0211]
根据一个或多个客观标准分析在所述一个或多个图像中捕获的一个或多个生物识别方面的质量；
[0212]
根据所述分析选择至少一个生物识别方面；以及
[0213]
至少部分地基于所选择的至少一个生物识别方面来执行所述生物识别认证过程。
[0214]
条款35.根据条款34所述的方法，其中所述客观标准包括以下中的一者或多者：曝光、对比度、阴影、边缘、不期望的条纹、遮挡对象、清晰度、照明均匀度以及不期望的反射。
[0215]
条款36.根据条款34所述的方法，其中所述生物识别方面包括以下中的一者或多者：眼睛表面、眼部静脉、眼睑、眉毛、皮肤特征、鼻部特征和虹膜特征，其中所述虹膜特征包括颜色、图案和肌肉组织中的一者或多者。
[0216]
条款37.根据条款27所述的方法，还包括由包括多个发光元件的照明源向待由所述相机成像的所述眼睛区域发射光。
[0217]
条款38.根据条款37所述的方法，其中所述发光元件包括发光二极管(led)。
[0218]
条款39.根据条款37所述的方法，其中所述发光元件包括红外(ir)光源，并且其中所述相机是红外相机。
[0219]
条款40.根据条款27所述的方法，其中所述相机和控制器是头戴式设备(hmd)、手持式设备或壁挂式设备的部件。
[0220]
条款41.一种方法，包括：
[0221]
由包括一个或多个处理器的控制器执行：
[0222]
确定并评估所述用户的当前眼睛姿态，其中所述眼睛姿态指示相对于所述相机的当前眼睛位置和取向；
[0223]
基于所述评估来确定所述当前眼睛姿态对于捕获待用于生物识别认证过程的图像而言是不令人满意的；
[0224]
发信号通知所述相机以调整所述相机相对于所述眼睛区域的观看角度；以及
[0225]
在响应于所述信号调整所述观看角度之后，基于由所述相机捕获的所述用户的所述眼睛区域的一个或多个图像来对所述用户执行生物识别认证。
[0226]
条款42.根据条款41所述的方法，还包括迭代地执行所述确定并评估所述用户的当前眼睛姿态、所述确定所述当前眼睛姿态对于捕获待用于生物识别认证过程的图像而言是不令人满意的，以及所述发信号通知所述相机调整所述相机相对于所述眼睛区域的观看角度，直到检测到令人满意的眼睛姿态为止。
[0227]
条款43.根据条款41所述的方法，其中确定并评估所述用户的当前眼睛姿态包括分析由所述相机捕获的所述眼睛区域的一个或多个图像，以确定在所捕获的图像中是否实现关于所述眼睛区域的一个或多个客观标准。
[0228]
条款44.根据条款43所述的方法，其中所述客观标准包括以下中的一者或多者：注视方向、曝光、对比度、阴影、边缘、不期望的条纹、遮挡、清晰度、照明均匀度以及不期望的
反射。
[0229]
条款45.根据条款41所述的方法，其中所述眼睛区域包括以下中的一者或多者：虹膜、眼睛、眶周区域和用户的面部的一部分。
[0230]
条款46.根据条款41所述的方法，其中在所述相机响应于所述信号而调整所述观看角度之后，基于由所述相机捕获的所述用户的所述眼睛区域的一个或多个图像来对所述用户执行生物识别认证包括：
[0231]
根据一个或多个客观标准分析在所述一个或多个图像中捕获的一个或多个生物识别方面的质量；
[0232]
根据所述分析选择至少一个生物识别方面；以及
[0233]
至少部分地基于所选择的至少一个生物识别方面来执行所述生物识别认证过程。
[0234]
条款47.根据条款46所述的方法，其中所述客观标准包括以下中的一者或多者：曝光、对比度、阴影、边缘、不期望的条纹、遮挡对象、清晰度、照明均匀度以及不期望的反射。
[0235]
条款48.根据条款46所述的方法，其中所述生物识别方面包括以下中的一者或多者：眼睛表面、眼部静脉、眼睑、眉毛、皮肤特征、鼻部特征和虹膜特征，其中所述虹膜特征包括颜色、图案和肌肉组织中的一者或多者。
[0236]
条款49.根据条款41所述的方法，还包括由包括多个发光元件的照明源向待由所述相机成像的所述眼睛区域发射光。
[0237]
条款50.根据条款49所述的方法，其中所述发光元件包括发光二极管(led)。
[0238]
条款51.根据条款49所述的方法，其中所述发光元件包括红外(ir)光源，并且其中所述相机是红外相机。
[0239]
条款52.根据条款41所述的方法，其中所述相机和控制器是头戴式设备(hmd)、手持式设备或壁挂式设备的部件。
[0240]
在不同的实施方案中，本文所述的方法可以在软件、硬件或它们的组合中实现。此外，可改变方法的框的次序，并且可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可做出各种修改和改变。本文所述的各种实施方案旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。因此，可为在本文中被描述为单个示例的部件提供多个示例。各种部件、操作和数据存储库之间的界限在一定程度上是任意性的，并且在具体的示例性配置的上下文中示出了特定操作。预期了功能的其他分配，它们可落在所附权利要求的范围内。最后，被呈现为示例性配置中的分立部件的结构和功能可被实现为组合的结构或部件。这些和其他变型、修改、添加和改进可落入如以下权利要求书中所限定的实施方案的范围内。

技术特征：
1.一种系统，包括：相机，所述相机被配置为捕获用户的眼睛区域的图像；以及控制器，所述控制器包括一个或多个处理器，所述一个或多个处理器被配置为：确定并评估所述用户的当前眼睛姿态，其中所述眼睛姿态指示相对于所述相机的当前眼睛位置和取向；基于所述评估来确定所述当前眼睛姿态对于捕获待用于生物识别认证过程的图像而言是不令人满意的；发信号通知所述相机以调整所述相机相对于所述眼睛区域的观看角度；以及在响应于所述信号调整所述观看角度之后，基于由所述相机捕获的所述用户的所述眼睛区域的一个或多个图像来对所述用户执行生物识别认证。2.根据权利要求1所述的系统，其中以下操作被迭代地执行，直到检测到令人满意的眼睛姿态为止：所述确定并评估所述用户的当前眼睛姿态，所述确定所述当前眼睛姿态对于捕获待用于生物识别认证过程的图像而言是不令人满意的，以及所述发信号通知所述相机调整所述相机相对于所述眼睛区域的观看角度。3.根据权利要求1所述的系统，其中，为了确定并评估所述用户的当前眼睛姿态，所述控制器被配置为分析由所述相机捕获的所述眼睛区域的一个或多个图像，以确定在所捕获的图像中是否实现关于所述眼睛区域的一个或多个客观标准。4.根据权利要求3所述的系统，其中所述客观标准包括以下中的一者或多者：注视方向、曝光、对比度、阴影、边缘、不期望的条纹、遮挡、清晰度、照明均匀度以及不期望的反射。5.根据权利要求1所述的系统，其中所述眼睛区域包括以下中的一者或多者：虹膜、眼睛、眶周区域和所述用户的面部的一部分。6.根据权利要求1所述的系统，其中，为了在所述相机响应于所述信号而调整所述观看角度之后，基于由所述相机捕获的所述用户的所述眼睛区域的一个或多个图像来对所述用户执行生物识别认证，所述控制器被配置为：根据一个或多个客观标准分析在所述一个或多个图像中捕获的一个或多个生物识别方面的质量；根据所述分析选择至少一个生物识别方面；以及至少部分地基于所选择的至少一个生物识别方面来执行所述生物识别认证过程。7.根据权利要求6所述的系统，其中所述客观标准包括以下中的一者或多者：曝光、对比度、阴影、边缘、不期望的条纹、遮挡对象、清晰度、照明均匀度以及不期望的反射。8.根据权利要求6所述的系统，其中所述生物识别方面包括以下中的一者或多者：眼睛表面、眼部静脉、眼睑、眉毛、皮肤特征、鼻部特征和虹膜特征，其中所述虹膜特征包括颜色、图案和肌肉组织中的一者或多者。9.根据权利要求1所述的系统，还包括照明源，所述照明源包括多个发光元件，所述多个发光元件被配置为向待由所述相机成像的所述眼睛区域发射光。10.根据权利要求9所述的系统，其中所述发光元件包括发光二极管(led)。11.根据权利要求9所述的系统，其中所述发光元件包括红外(ir)光源，并且其中所述相机是红外相机。12.根据权利要求1所述的系统，其中所述系统是头戴式设备(hmd)、手持式设备或壁挂
式设备的部件。13.一种方法，包括：由包括一个或多个处理器的控制器执行：确定并评估所述用户的当前眼睛姿态，其中所述眼睛姿态指示相对于所述相机的当前眼睛位置和取向；基于所述评估来确定所述当前眼睛姿态对于捕获待用于生物识别认证过程的图像而言是不令人满意的；发信号通知所述相机以调整所述相机相对于所述眼睛区域的观看角度；以及在响应于所述信号调整所述观看角度之后，基于由所述相机捕获的所述用户的所述眼睛区域的一个或多个图像来对所述用户执行生物识别认证。14.根据权利要求13所述的方法，还包括迭代地执行以下操作，直到检测到令人满意的眼睛姿态为止：所述确定并评估所述用户的当前眼睛姿态，所述确定所述当前眼睛姿态对于捕获待用于生物识别认证过程的图像而言是不令人满意的，以及所述发信号通知所述相机调整所述相机相对于所述眼睛区域的观看角度。15.根据权利要求13所述的方法，其中确定并评估所述用户的当前眼睛姿态包括分析由所述相机捕获的所述眼睛区域的一个或多个图像，以确定在所捕获的图像中是否实现关于所述眼睛区域的一个或多个客观标准。16.根据权利要求15所述的方法，其中所述客观标准包括以下中的一者或多者：注视方向、曝光、对比度、阴影、边缘、不期望的条纹、遮挡、清晰度、照明均匀度以及不期望的反射。17.根据权利要求13所述的方法，其中所述眼睛区域包括以下中的一者或多者：虹膜、眼睛、眶周区域和所述用户的面部的一部分。18.根据权利要求13所述的方法，其中在所述相机响应于所述信号而调整所述观看角度之后，基于由所述相机捕获的所述用户的所述眼睛区域的一个或多个图像来对所述用户执行生物识别认证包括：根据一个或多个客观标准分析在所述一个或多个图像中捕获的一个或多个生物识别方面的质量；根据所述分析选择至少一个生物识别方面；以及至少部分地基于所选择的至少一个生物识别方面来执行所述生物识别认证过程。19.根据权利要求18所述的方法，其中所述客观标准包括以下中的一者或多者：曝光、对比度、阴影、边缘、不期望的条纹、遮挡对象、清晰度、照明均匀度以及不期望的反射。20.根据权利要求18所述的方法，其中所述生物识别方面包括以下中的一者或多者：眼睛表面、眼部静脉、眼睑、眉毛、皮肤特征、鼻部特征和虹膜特征，其中所述虹膜特征包括颜色、图案和肌肉组织中的一者或多者。

技术总结
用于生物识别认证的方法和装置，其中确定并且评估当前眼睛姿态以确定当前姿态是否令人满意，并且其中可通过用户响应于来自控制器的信号手动调整设备或其姿态/注视方向来改善眼睛姿态，以及/或者其中在控制器的方向上机械地调整成像系统以改善眼睛的当前视图。械地调整成像系统以改善眼睛的当前视图。械地调整成像系统以改善眼睛的当前视图。


技术研发人员：M
受保护的技术使用者：苹果公司
技术研发日：2021.09.22
技术公布日：2023/8/13