双凸透镜图像生成的制作方法

双凸透镜图像生成


背景技术：

1.双凸透镜显示器可包括但不限于显示面板和双凸透镜。双凸透镜可以是放大透镜(也称为微透镜)的片材或阵列，这些放大透镜的片材或阵列被配置为使得当从略微不同的角度观看双凸透镜显示器时，正显示在显示面板上的双凸透镜图像的不同视图从显示器前方的不同视点或视角可见。双凸透镜可由光学塑料或玻璃材料形成。双凸透镜的示例性常规应用是在双凸透镜印刷中使用的透镜，在双凸透镜印刷中，双凸透镜用于给出深度错觉或使图像在其从不同角度观看时看起来改变或移动。


技术实现要素：

2.描述了用于生成要在双凸透镜显示器上显示的双凸透镜图像的方法和装置的各种实施方案。在这些方法中，代替如在用于生成双凸透镜图像的常规方法中所进行的针对多个视点渲染图像、将所渲染的图像交织以及实时显示交织的图像，离线生成固定3d网格，并且实时将纹理信息映射到固定网格。描述了一种离线方法，在该方法中捕获对象(例如，面部)的纹理信息和3d网格信息。所捕获的纹理信息和3d网格信息用于针对该对象的多个视点渲染uv映射视图。根据双凸透镜显示器的光线跟踪模型和校准数据生成视图映射(例如，三个视图映射，每个子像素一个视图映射)。然后根据uv映射视图和视图映射生成称为双凸透镜到uv映射的像素映射并且将其存储到存储器。实时捕获纹理信息，并且执行通过基于该双凸透镜到uv映射从该纹理对像素进行采样来针对多个视点生成双凸透镜图像的合成过程。然后，在该双凸透镜显示器上显示该双凸透镜图像。
3.在一些实施方案中，一种系统可被配置为基于由一个或多个传感器捕获的信息来检测一个或多个人在环境中的位置，并且使用该位置信息来限制在实时合成过程期间生成的视点的数目。
4.用于生成要在双凸透镜显示器上显示的图像的方法和装置的示例性应用是在头戴式设备(hmd)中，诸如在计算机生成现实(cgr)系统中使用的那些设备。hmd可包括在其上显示cgr内容以供用户观看的不透明的面向用户的显示器，以及用于显示可从不同视点观看的用户的面部的虚拟视图的外部双凸透镜显示器。上述离线方法可用于为用户的面部生成双凸透镜到uv映射，并且上述实时方法然后可用于基于动态纹理信息和预生成的双凸透镜到uv映射来为双凸透镜显示器生成双凸透镜图像。
附图说明
5.图1a和图1b示出了根据一些实施方案的示例性双凸透镜显示器。
6.图1c示出了根据一些实施方案的包括双凸透镜显示器的示例性设备。
7.图2a和图2b示出了根据一些实施方案的包括双凸透镜显示器的示例性设备。
8.图3用图表示出了用于渲染具有固定视点的图像的常规方法。
9.图4用图表示出了用于为双凸透镜显示器渲染交织的图像的常规方法。
10.图5用图表示出了根据一些实施方案的用于离线生成双凸透镜到uv映射的方法。
11.图6用图表示出了根据一些实施方案的用于基于动态捕获的纹理信息和预生成的双凸透镜到uv映射来为双凸透镜显示器生成交织的图像的实时方法。
12.图7用图表示出了根据一些实施方案的用于基于动态捕获的纹理信息、预生成的双凸透镜到uv映射和跟踪信息来为双凸透镜显示器生成交织的图像的实时方法。
13.图8是根据一些实施方案的固定网格、动态纹理双凸透镜图像生成方法的高级流程图。
14.图9是根据一些实施方案的用于离线生成双凸透镜到uv映射的方法的流程图。
15.图10是根据一些实施方案的用于基于动态捕获的纹理信息和预生成的双凸透镜到uv映射来为双凸透镜显示器生成交织的图像的实时方法的流程图。
16.图11是根据一些实施方案的用于对hmd的所检测到的移动做出响应的方法的流程图。
17.图12是根据一些实施方案的用于对hmd的所检测到的移动做出响应的另选方法的流程图。
18.本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。
[0019]“包括”，该术语是开放式的。如在权利要求书中所使用的，该术语不排除附加结构或步骤。考虑以下引用的权利要求：“一种包括一个或多个处理器单元...的装置”此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。
[0020]“被配置为”，各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件据称可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35u.s.c.
§
112的第六段。此外，“被配置为”可包括由软件或固件(例如，fpga或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实现或执行一项或多项任务的设备(例如，集成电路)。
[0021]“第一”“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。
[0022]“基于”或“取决于”，如本文所用，这些术语用于描述影响确定的一个或多个因素。这些术语不排除可影响确定的附加因素。即，确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于b来确定a”。在这种情况下，b为影响a的确定的因素，此类短语不排除a的确定也可基于c。在其他实例中，可仅基于b来确定a。
[0023]“或”，在权利要求书中使用时，术语“或”被用作包含性的或，而不是排他性的或。例如，短语“x、y或z中的至少一个”表示x、y和z中的任何一个以及它们的任何组合。
具体实施方式
[0024]
描述了用于生成要在双凸透镜显示器上显示的图像的方法和装置的各种实施方案。在这些方法中，代替如在用于生成双凸透镜图像的常规方法中所进行的针对多个视点渲染图像、将所渲染的图像交织以及实时显示交织的图像，而是离线地生成固定网格，并且实时地将纹理信息映射到固定网格。描述了一种离线方法，在该方法中例如经由诸如头戴式显示器(hmd)的设备的一个或多个传感器来获得对象(例如，用户的面部)的纹理信息和3d网格信息。纹理信息和网格信息用于针对该对象的多个视点渲染uv映射视图。广义地定义，uv映射是3d模型的表面的平面表示。根据双凸透镜显示器的光线跟踪模型和校准数据生成视图映射(例如，三个视图映射，每个子像素一个视图映射)。然后根据uv映射视图和视图映射生成称为双凸透镜到uv映射的像素映射并且将其存储到存储器。实时捕获纹理信息，并且合成部件执行通过基于双凸透镜到uv映射从纹理对像素进行采样来针对多个视点生成双凸透镜图像的合成过程。然后，在该双凸透镜显示器上显示该双凸透镜图像。
[0025]
该设备还可包括一个或多个传感器，该一个或多个传感器可用于捕获关于环境的信息，包括但不限于视频和深度信息。在一些实施方案中，该设备可被配置为基于由传感器捕获的信息来检测一个或多个人在环境中的位置，并且使用该位置信息来限制在实时合成过程期间合成的视点的数目。
[0026]
本文所述的用于生成要在双凸透镜显示器上显示的图像的方法和装置的示例性应用是在计算机生成现实(cgr)系统中。cgr系统可以包括可穿戴设备，诸如头戴式耳机、头盔、护目镜或眼镜(在本文中称为头戴式设备(hmd))。hmd可包括不透明的面向用户的显示器，在该显示器上显示cgr内容以供用户观看。hmd还可包括用于显示可从不同视点观看的用户的面部的虚拟表示的外部双凸透镜显示器。hmd还可包括可用于获得用户的面部和眼睛的纹理和3d网格信息的一个或多个面向用户的传感器。如本文所述的离线方法可用于生成用户的面部的双凸透镜到uv映射。如本文所述的实时方法然后可用于基于由面向用户的传感器捕获的动态纹理信息和预生成的双凸透镜到uv映射来为双凸透镜显示器生成双凸透镜图像。该离线方法和实时方法可由包括一个或多个处理器的cgr系统的控制器来执行。该双凸透镜到uv映射可存储在cgr系统的存储器中，以供控制器在执行合成时访问。在一些实施方案中，cgr系统可被配置为基于由hmd的面向世界的传感器(也称为环境传感器)捕获的信息来检测一个或多个人在环境中的位置，并且使用该位置信息来限制在实时合成过程期间合成的视点的数目。
[0027]
在实践中，当实时过程正生成用户的面部的虚拟视图时，hmd可在使用期间移位或移动。由于在离线过程中生成的双凸透镜到uv映射是固定的，因此这种移动可导致在双凸透镜显示器上显示的虚拟面部与用户的真实面部的不对准。在一些实施方案中，为了解决这种不对准，可在离线过程期间生成比在实时过程期间在双凸透镜显示器上显示的面部的区域或“窗户”大的用户的面部的双凸透镜到uv映射。如果在实时过程期间检测到hmd的移动，则可基于所检测到的移动在双凸透镜到uv映射内移动该窗户。在一些实施方案中，作为另选方案，可在检测到hmd在用户的头部上的移动时重复该离线过程。在一些实施方案中，该离线过程可在hmd的实时使用期间周期性地执行，例如每几分钟一次，以重新校准在双凸透镜显示器上显示的虚拟面部与用户的真实面部的对准。
[0028]
虽然用于生成要在双凸透镜显示器上显示的图像的方法和装置的实施方案一般
关于用于在诸如hmd的设备中显示用户的面部的虚拟视图的面向前方的双凸透镜显示器来描述，但是实施方案也可应用于或适于在包括双凸透镜显示器的其他系统和设备中使用。
[0029]
物理环境是指某人在没有使用电子设备的情况下可与其交互和/或对其进行感测的物理世界。物理环境可包括物理特征，诸如物理对象或物理表面。例如，物理环境可包括物理城市，所述物理城市包括物理建筑物、物理街道、物理树和物理人。人们可直接与物理环境交互和/或感测物理环境，例如通过触觉、视觉、味觉、听觉和嗅觉。另一方面，扩展现实(xr)环境是指某人可使用电子设备与其交互和/或对其进行感测的完全或部分模拟的环境。例如，xr环境可包括虚拟现实(vr)内容、增强现实(ar)内容、混合现实(mr)内容等。使用xr系统，可跟踪人的身体运动的一部分或其表示。作为响应，可调整在xr环境中模拟的虚拟对象的一个或多个特征，使得其依附于一个或多个物理定律。例如，xr系统可检测用户的头部运动，并且作为响应，以与视图和声音将在物理环境中变化的方式类似的方式调整呈现给用户的图形和听觉内容。在另一示例中，xr系统可检测呈现xr环境的电子设备(例如膝上型电脑、移动电话、平板电脑等)的移动，并且作为响应，以与视图和声音将在物理环境中改变的方式类似的方式调整呈现给用户的图形和听觉内容。在一些情形中，xr系统可响应于物理运动的表示(例如语音命令)而调整xr环境中的图形内容的一个或多个特征。
[0030]
各种电子系统使得某人能够与xr环境交互和/或感测xr环境。例如，可使用基于投影的系统、头戴式系统、平视显示器(hud)、具有集成显示器的窗户、具有集成显示器的车辆挡风玻璃、被设计成放置在用户的眼睛上的显示器(例如类似于接触透镜)、扬声器阵列、头戴式耳机/听筒、输入系统(例如具有或不具有触觉反馈的可穿戴或手持式控制器)、平板电脑、智能电话和台式/膝上型电脑。一种头戴式系统可包括集成式不透明显示器和一个或多个扬声器。在其他示例中，头戴式系统可接受具有不透明显示器(例如智能电话)的外部设备。头戴式系统可包括一个或多个图像传感器和/或一个或多个麦克风以捕获物理环境的图像或视频和/或音频。在其他示例中，头戴式系统可包括透明或半透明显示器。表示图像的光被引导穿过的介质可包括在透明或半透明显示器内。显示器可利用oled、led、uled、数字光投影、激光扫描光源、硅基液晶或这些技术的任何组合。介质可以是全息图介质、光学组合器、光学波导、光学反射器或它们的组合。在一些示例中，透明或半透明显示器可被配置成选择性地变得不透明。基于投影的系统可使用视网膜投影技术以将图形图像投影到用户的视网膜上。投影系统也可被配置成将虚拟对象投影到物理环境中，例如在物理表面上或作为全息图。
[0031]
双凸透镜显示器
[0032]
图1a和图1b示出了根据一些实施方案的示例性双凸透镜显示器120。图1a示出了示例性双凸透镜显示器120的3d前视图，并且图1b示出了示例性双凸透镜显示器120的示例性顶视图。如图1a所示，双凸透镜显示器120可包括但不限于显示面板122(例如，液晶显示器(lcd))和双凸透镜126。在一些实施方案中，可使用其他显示技术，例如有机发光二极管(oled)、dlp(数字光处理)或lcos(硅上液晶)显示技术。如图1a和图1b所示，双凸透镜126可以是放大透镜(也称为微透镜)128的片材或阵列，这些放大透镜的片材或阵列被配置为使得当从略微不同的角度观看双凸透镜显示器120时，正显示在显示面板122上的双凸透镜图像的不同视图从显示器120前方的不同视点或视角(例如，v1、v2和v3)可见。双凸透镜126可由光学塑料或玻璃材料形成。作为示例，双凸透镜126可以是压印有称为微透镜(透镜128)
的波纹柱的挤出塑料片材。微透镜可全部具有相同的尺寸并且跨片材相等地间隔。片材的另一侧是光滑的。需注意，透镜128的数目和形状以举例的方式给出，并且不旨在进行限制。
[0033]
虽然图1a和图1b将双凸透镜126中的透镜128示出为垂直布置的透镜，但在一些实施方案中，透镜128可略微倾斜以减少分辨率损失。虽然为了简单起见图1b示出了三个视角v1、v2和v3，但是双凸透镜显示器120的实施方案可在从最左视角到最右视角的观看半径内提供更多的视角，例如7个、10个、12个、20个、22个或更多个不同视角。观看半径可以例如是30度；然而，可使用例如在15度至65度的范围内的更宽或更窄的视角。作为非限制性示例，双凸透镜显示器120可提供贯穿30度观看半径散布的22个视角，其中每1.6度一个不同视角。在本文档中，由双凸透镜显示器120提供的视角的数目由n表示。如图1b所示，每个透镜128可覆盖显示面板122的多个像素124。每个像素124包括多个子像素(例如，红色子像素、绿色子像素和蓝色子像素)。在一些实施方案中，每个透镜128在水平轴上覆盖n个像素，并且在垂直轴上覆盖vp(显示面板122的垂直分辨率)个像素。
[0034]
图1c示出了根据一些实施方案的包括如图1a和图1b所示的双凸透镜显示器120的示例性设备10。设备100可包括但不限于双凸透镜显示器120、一个或多个传感器140和控制器160。传感器140可收集关于要在双凸透镜显示器120上成像的对象190的信息。传感器140可包括但不限于捕获对象190的图像(例如，rgb图像)的一个或多个相机(例如，rgb摄像机)。传感器140还可包括捕获对象190的深度信息的传感器。控制器160可包括一个或多个处理器，该一个或多个处理器处理由传感器140捕获的数据以生成对象190的纹理(例如，着色和阴影)信息和网格(例如，3d表示)信息。根据纹理信息和网格信息，控制器160可生成要在双凸透镜显示器120上显示的双凸透镜图像。当双凸透镜图像由双凸透镜显示器120显示时，双凸透镜显示器120提供对象190的3d虚拟表示的n个不同视角。例如，第一人可从视角v1观看对象190，第二人可从视角v2观看对象190，并且第三人可从视角v3观看对象190。
[0035]
具有面向前方的双凸透镜显示器的系统
[0036]
图2a和图2b示出了根据一些实施方案的包括面向用户的显示器和面向前方的双凸透镜显示器的示例性设备。图2a示出了示例性设备200的侧视图，并且图2b示出了示例性设备200示例性顶视图。需注意，如图2a和图2b所示的设备200以举例的方式给出，并且不旨在进行限制。在各种实施方案中，设备200的形状、尺寸和其他特征可不同，并且设备200的部件的位置、数目、类型和其他特征可变化。
[0037]
设备200可包括面向用户的显示器210。面向用户的显示器210可实现各种类型的显示技术中的任一者。例如，设备200可包括在由受试者观看的屏幕上显示左图像和右图像的显示系统210，诸如dlp(数字光处理)、lcd(液晶显示器)、oled(有机发光二极管)或lcos(硅上液晶)技术显示系统。作为另一个示例，显示系统210可为直接视网膜投影仪系统，该直接视网膜投影仪系统逐像素地将左图像和右图像扫描到受试者的眼睛。为了扫描图像，投影仪生成光束，这些光束被引导到反射部件，这些反射部件将这些光束重新引导到用户的眼睛。
[0038]
在一些实施方案中，设备200可穿戴在用户的头部上，使得显示器210设置在用户的眼睛前方。
[0039]
设备200还可包括面向世界的显示器220，该面向世界的显示器安装在面向用户的显示器210前方。面向世界的显示器220可以是例如如图1a和图1b所示的包括显示面板(例
如，lcd)和双凸透镜的双凸透镜显示器220。虽然描述了使用lcd的实施方案，但在一些实施方案中，可使用其他显示技术，例如oled(有机发光二极管)、dlp(数字光处理)或lcos(硅上液晶)显示技术。
[0040]
设备200还可包括收集关于环境的信息(视频、深度信息、照明信息等)的一个或多个面向世界的传感器250以及收集关于用户的信息的一个或多个面向用户的传感器240(例如，眼睛或凝视跟踪传感器、用户的面部的各个部分的视频)。面向用户的传感器240可包括但不限于捕获用户的眼睛的视图的一个或多个眼睛跟踪相机(例如，红外(ir)相机)以及捕获用户的面部的各个部分的视图的一个或多个相机(例如，rgb摄像机)。面向用户的传感器240还可包括捕获用户的面部的深度信息的传感器。面向世界的传感器250可包括但不限于捕获在设备200前方的视场中的真实世界环境的图像的一个或多个相机(例如，rgb摄像机)，以及捕获该环境的照明信息的一个或多个环境光传感器。在一些实施方案中，面向世界的传感器250还可包括捕获环境中的对象和表面的深度信息的传感器。
[0041]
控制器260可在设备200中实现，或者另选地可至少部分地由经由有线或无线接口通信地耦接到设备200的外部设备(例如，计算系统或手持设备诸如智能电话、平板电脑或平板计算机)来实现。控制器260可包括各种类型的处理器、图像信号处理器(isp)、图形处理单元(gpu)、编码器/解码器(编解码器)、片上系统(soc)、cpu和/或用于处理和渲染由传感器240和250捕获的信息(包括但不限于视频、图像和深度信息)的其他部件中的一者或多者。控制器260还可至少部分地基于从传感器获得的输入来渲染包括虚拟内容的帧，并且可将所渲染的帧提供到显示器210。
[0042]
存储器270可在设备200中实现，或者另选地可至少部分地由经由有线或无线接口通信地耦接到设备200的外部设备(例如，计算系统)来实现。存储器270可例如用于记录由传感器240和/或250捕获的视频或图像、存储可由控制器260执行的程序指令、以及存储由控制器使用的数据，包括但不限于如本文所述的预生成的双凸透镜到uv映射。存储器270可包括任何类型的存储器，诸如动态随机存取存储器(dram)、同步dram(sdram)、双数据速率(ddr、ddr2、ddr3等)sdram(包括sdram的移动版本，诸如mddr3等，或sdram的低功率版本，诸如lpddr2等)、rambus dram(rdram)、静态ram(sram)等。在一些实施方案中，一个或多个存储器设备可耦接到电路板上以形成存储器模块，诸如单列直插存储器模块(simm)、双列直插存储器模块(dimm)等。另选地，这些设备可与实现系统的集成电路在芯片堆叠配置、封装堆叠配置或者多芯片模块配置中安装。
[0043]
如图2a和图2b所示的设备200的实施方案可例如用于增强或混合(ar)应用，以将增强或混合现实视图提供到用户。设备200可包括收集关于环境的信息(视频、深度信息、照明信息等)的一个或多个传感器250；传感器250可将所收集的信息提供到设备200的控制器260。传感器250可包括一个或多个可见光相机(例如，rgb摄像机)，该一个或多个可见光相机捕获环境的视频，该视频可用于向用户提供其真实环境的虚拟视图。在一些实施方案中，由可见光相机捕获的真实环境的视频流可由设备200的控制器260处理，以渲染包括覆在真实环境的视图上的虚拟内容的增强或混合现实帧，并且所渲染的帧可被提供到显示器210。
[0044]
作为另一个示例，如图2a和图2b所示的设备200的实施方案可用于虚拟现实(vr)应用中以将虚拟现实视图提供到用户。vr应用允许用户体验沉浸式人工环境和/或与沉浸式人工环境进行交互，使得用户感觉他们好像身处于该环境中。在一些实施方案中，设备
200的控制器260可至少部分地基于来自面向世界的传感器250和面向用户的传感器240的输入来渲染虚拟现实帧，并且所渲染的帧可被提供到显示器210。
[0045]
设备200可以例如是头戴式设备(hmd)，诸如在计算机生成现实(cgr)系统中使用的hmd。hmd可包括在其上显示cgr内容以供用户观看的不透明的面向用户的显示器210，以及用于显示提供可从不同视点观看的用户的面部的虚拟视图的双凸透镜图像的外部双凸透镜显示器220。当双凸透镜图像由双凸透镜显示器220显示时，双凸透镜显示器220提供用户的面部的至少一部分的3d虚拟表示的n个不同视角。例如，第一人可从视角v1观看用户的面部，第二人可从视角v2观看用户的面部，并且第三人可从视角v3观看用户的面部。本文所述的离线方法可用于生成用户的面部的双凸透镜到uv映射，并且上述实时方法然后可用于基于由传感器240捕获的动态纹理信息和预生成的双凸透镜到uv映射来为双凸透镜显示器220生成双凸透镜图像。
[0046]
常规的3d图像生成
[0047]
图3用图表示出了用于以固定视点渲染对象的3d图像312以用于显示在常规(非双凸透镜)显示器380上的常规方法。一个或多个传感器300可动态地捕获关于对象的数据。该数据可例如包括由相机捕获的2d彩色图像以及由深度感测技术捕获或从所捕获的图像导出的深度数据。可处理由传感器300捕获的数据以生成包括2d纹理302信息(例如，对象的着色和阴影)和3d网格304信息(例如，对象的3d表示或模型，例如多边形网格)的信息。渲染310方法然后可根据纹理302信息和网格304信息针对固定视点生成对象的3d渲染312；然后可将所渲染的图像312提供到显示器380。如由从元素310返回到元素300的箭头所指示的，该方法可以例如60帧每秒的帧速率来操作，以捕获数据、渲染、并且显示对象的3d渲染312。
[0048]
在一些实施方案中，渲染310可实现uv映射或“纹理化”方法以将2d纹理302映射到对象的3d模型。uv映射是将2d纹理信息投影到3d模型的表面的3d建模过程。“uv”是指2d纹理的轴；x、y和z表示模型空间中的3d对象的轴。uv映射方法可生成并使用2d uv纹理映射(也称为uv映射)，该2d uv纹理映射将纹理302的2d(u，v)坐标映射到3d模型的3d(x，y，z)坐标，以将2d纹理304信息投影到3d模型上。
[0049]
图3的常规方法的问题在于，由于针对仅一个固定视点(例如在显示器380正前方的视点)生成3d渲染的图像312，因此对象的3d渲染312可能从该固定视点看起来是正确的，但可能从显示器前方的其他视角(例如从显示器中心的左侧或右侧的视点)看起来是失真的。因此，如图1a至图2b所示的双凸透镜显示器和如下所述的双凸透镜图像渲染方法可用于从双凸透镜显示器前方的多个视点提供对象(例如，人脸)的正确3d视图。
[0050]
双凸透镜图像生成方法
[0051]
图4至图9示出了用于生成诸如脸部的三维(3d)对象的双凸透镜图像以用于在双凸透镜显示器上显示的方法。
[0052]
图4用图表示出了用于为双凸透镜显示器490渲染交织的图像422的常规方法。一个或多个传感器400可动态地捕获关于对象的数据。该数据可例如包括由相机捕获的2d彩色图像以及由深度感测技术捕获或从所捕获的图像导出的深度数据。可处理由传感器400捕获的数据以生成包括2d纹理402信息(例如，对象的着色和阴影)和3d网格404信息(例如，对象的3d表示或模型，例如多边形网格)的信息。渲染410方法然后可根据纹理402信息和网格404信息针对n个视点或视角生成对象的n个3d渲染412。需注意，可以当与参考图3描述的
3d渲染312相比时降低的分辨率来渲染3d渲染412。然后可将n个所渲染的图像412交织402以生成交织的图像422(也称为双凸透镜图像)。然后可将交织的图像422提供到双凸透镜显示器490的显示面板部件。如由从元素420返回到元素400的箭头所指示的，该方法可以例如60帧每秒的帧速率来操作，以捕获数据、渲染图像412、交织420所渲染的图像、并且显示对象的交织的图像422。
[0053]
在一些实施方案中，渲染410可实现类似于针对图3描述的uv映射方法的uv映射方法以将2d纹理402映射到对象的相应3d模型，以生成n个不同所渲染的图像，该n个不同所渲染的图像各自表示来自不同角度的对象的视图。例如，双凸透镜显示器490可提供贯穿30度观看半径散布的22个视角，其中每1.6度一个不同的视角。渲染410过程可因此渲染对象的22个不同视图，每个视图来自一个不同角度，这些视图然后被交织420以生成交织的图像422。
[0054]
如参考图4所描述的用于为双凸透镜显示器渲染交织的图像的常规方法的问题在于，由于此方法根据动态生成的纹理信息和网格信息针对n个视点中的每个视点渲染图像并且然后将该n个所渲染的图像交织，因此该方法计算量非常大，并且在设备的实时使用中需要相当大量的计算和电功率。
[0055]
固定网格、动态纹理双凸透镜图像生成方法
[0056]
描述了固定网格、动态纹理双凸透镜图像生成方法的实施方案，这些实施方案比参考图4描述的用于生成双凸透镜图像的常规方法更快且更有效。当与常规方法相比时，固定网格、动态纹理双凸透镜图像生成方法的实施方案可减少实时使用的运算量、计算量和功率量。
[0057]
在这些方法中，代替如在用于生成双凸透镜图像的常规方法中所进行的根据动态纹理信息和网格信息针对多个视点渲染图像、将所渲染的图像交织并且实时显示交织的图像，离线生成固定网格，并且实时将动态纹理信息映射到固定网格。离线方法参考图5和图9描述，其中例如经由如图2a和图2b所示的设备的一个或多个传感器针对对象(例如，用户的面部)捕获纹理信息和3d网格信息。然后使用所捕获的纹理信息和网格信息来针对对象的多个视点渲染uv映射视图。根据双凸透镜显示器的光线跟踪模型和校准数据生成视图映射(例如，三个视图映射，每个子像素一个视图映射)。然后根据uv映射视图和视图映射生成称为双凸透镜到uv映射的像素映射并且将其存储到存储器。实时方法参考图6、图7和图10描述，其中捕获纹理信息，并且执行通过基于预生成的双凸透镜到uv映射从纹理对像素进行采样来针对多个视点生成双凸透镜图像的合成过程。然后，在双凸透镜显示器上显示双凸透镜图像。如图5至图9所述的方法可例如由如图1c、图2a和图2b所示的设备来实现以为双凸透镜显示器生成双凸透镜图像。
[0058]
图5用图表示出了根据一些实施方案的用于离线生成双凸透镜到uv映射的方法。在此离线方法中，针对对象(例如，面部)获得纹理502信息(例如，输入rgb图像)和3d网格504信息。渲染510过程针对对象的多个视点渲染uv映射视图512(针对双凸透镜显示器的n个视角中的每个视角渲染单独的uv映射视图512)。uv映射视图512粗略地对应于图4的所渲染的图像412；然而，uv映射视图512不是rgb图像。相反，uv映射视图512中的每个像素包含输入图像(纹理502)中的[x，y]坐标，将需要这些[x，y]坐标来从输入纹理502得到rgb值以针对相应视角渲染图像。
[0059]
视图映射生成514过程根据双凸透镜显示器的光线跟踪模型506和校准数据508生成视图映射516，例如三个视图映射，其中每个r、g和b子像素一个视图映射。视图映射描述了n个视图中的哪个视图应当用于双凸透镜显示器的每个子像素。
[0060]
然后，像素映射生成520过程根据uv映射视图512和视图映射516生成称为双凸透镜到uv映射560的像素映射，并且将双凸透镜到uv映射560存储到存储器。双凸透镜到uv映射560针对双凸透镜显示器的每个子像素包含输入图像(纹理502)中的单个[x,y]坐标。只要在离线过程中使用的纹理502和实时捕获的对象的图像是来自相同的视角，就可使用双凸透镜到uv映射560来根据实时捕获的物体的图像以在离线过程中生成的相同的n个视点生成相应双凸透镜图像。
[0061]
图5的离线方法可例如在于实时使用设备(诸如，如图2所示的hmd)之前执行的校准过程中执行。然而，在一些实施方案中，图5的离线方法可在其他时间(例如在如参考图11描述的实时使用期间检测到设备(例如，hmd)的移动的情况下)执行。
[0062]
在离线方法中，一个或多个传感器可动态地捕获关于对象(例如，用户的面部)的数据。该数据可例如包括由相机捕获的2d彩色图像以及由深度感测技术捕获或从所捕获的图像导出的深度数据。可处理由传感器捕获的数据以生成包括2d纹理502信息(例如，对象的着色和阴影)和3d网格504信息(例如，对象的3d表示或模型，例如多边形网格)的信息。然后，渲染510方法可根据纹理502信息和网格504信息针对n个视点或视角生成对象的n个uv映射视图512，其中n是由双凸透镜显示器提供的视角的数目。需注意，可以当与参考图3描述的3d渲染312相比时降低的分辨率来渲染uv映射视图512。视图映射生成514过程根据双凸透镜显示器的光线跟踪模型506和校准数据508生成视图映射516，例如三个视图映射，其中每个r、g和b子像素一个视图映射。然后可将n个uv映射视图512和视图映射516传递到针对多个视点生成双凸透镜到uv映射560的像素映射生成520过程；双凸透镜到uv映射560将所渲染的图像映射到双凸透镜显示器上的像素/子像素。双凸透镜到uv映射560被存储到例如如图1c、图2a或图2b所示的设备的存储器。
[0063]
图6用图表示出了根据一些实施方案的用于基于动态捕获的纹理信息和预生成的双凸透镜到uv映射来为双凸透镜显示器实时生成交织的图像的实时方法。在图6的实时方法中，捕获动态纹理602信息，并且执行合成640过程，该合成过程通过基于预生成的双凸透镜到uv映射660从动态纹理602对像素进行采样来针对多个(n个，例如22个)视点生成双凸透镜图像644，该预生成的双凸透镜到uv映射表示在如图5所示的离线过程中生成并存储的对象(例如，用户的面部)的“固定网格”。然后，在双凸透镜显示器690上显示双凸透镜图像644。如由从元素640返回到元素600的箭头所指示的，实时方法可以例如60帧每秒的帧速率来操作，以捕获动态纹理数据602、使用固定网格数据660和动态纹理数据602来合成640对象的双凸透镜图像644、并且显示对象的双凸透镜图像644。
[0064]
因此，图6的实时方法不像图4的常规方法那样渲染和交织n个图像以生成双凸透镜图像。相反，合成640过程通过使用在图5的离线过程中生成的预生成的双凸透镜到uv映射信息660从动态纹理602对像素进行采样来针对n个视点合成双凸透镜图像644。因此，当与图4的常规方法相比时，图6的方法减少设备的实时使用期间的计算和功率消耗。
[0065]
图7用图表示出了根据一些实施方案的用于基于动态捕获的纹理信息、预生成的双凸透镜到uv映射和跟踪信息来为双凸透镜显示器生成交织的图像的实时方法。参考图2，
包括双凸透镜显示器220的设备200还可包括面向世界的传感器250，该面向世界的传感器包括但不限于捕获在设备200前方的视场中的真实世界环境的图像的一或多个相机(例如，rgb摄像机)。在一些实施方案中，面向世界的传感器250还可包括捕获环境中的对象和表面的深度信息的传感器。关于环境的信息包括但不限于由传感器250捕获的视频和深度信息。在一些实施方案中，设备200可实现基于由传感器250捕获的信息来检测和跟踪一个或多个人在环境中的位置的跟踪770过程。在一些实施方案中，可利用该位置信息来限制在实时合成740过程期间合成的视点的数目。
[0066]
在图7的实时方法中，捕获动态纹理702信息，并且执行合成740过程，该合成过程通过基于在如图5所示的离线过程中生成并存储的预生成的双凸透镜到uv映射760从动态纹理602对像素进行采样来生成双凸透镜图像744。然而，代替针对n(例如，22)个视点(n是由双凸透镜显示器790提供的视点的最大数目)从动态纹理602对像素进行采样，合成740过程从跟踪770过程或设备的部件获得人跟踪信息(例如，相对于显示器790的当前检测到人的视角)，并且通过仅针对人当前所处的视角从动态纹理702对像素进行采样来合成双凸透镜图像744。然后，在双凸透镜显示器790上显示双凸透镜图像744。如由从元素740返回到元素700的箭头所指示的，实时方法可以例如60帧每秒的帧速率来操作，以捕获动态纹理数据702，使用固定网格数据660、动态纹理数据602和跟踪770数据来合成640对象的双凸透镜图像644，并且显示对象的双凸透镜图像744。
[0067]
因此，图7的实时方法不像图4的常规方法那样渲染和交织n个图像以生成双凸透镜图像。相反，合成740过程通过使用在图5的离线过程中生成的预生成的双凸透镜到uv映射信息760仅针对检测到人的视角从动态纹理702对像素进行采样来合成双凸透镜图像744。因此，当与图4的常规方法相比时，图7的方法减少在设备的实时使用期间的计算和功率消耗，并且当与图6的方法相比时，图7的方法还可进一步减少在设备的实时使用期间的计算和功率消耗。
[0068]
图8是根据一些实施方案的固定网格、动态纹理双凸透镜图像生成方法的高级流程图。如800处所指示的，在离线过程期间根据所捕获的纹理信息和网格信息生成固定映射信息。如810处所指示的，在设备上的实时过程中，根据由离线过程生成的固定映射信息和在实时过程中捕获的动态纹理信息生成双凸透镜图像。可将所生成的双凸透镜图像显示到设备的双凸透镜显示器，例如如图2a和图2b所示的hmd的面向前方的双凸透镜显示器。如返回到元素810的箭头所指示的，只要用户正在使用该设备，实时过程就可继续。图9提供了图8的元素800的更多细节，并且图10提供了图8的元素810的更多细节。
[0069]
图9是根据一些实施方案的用于离线生成双凸透镜到uv映射的方法的流程图。图9的离线方法可例如在于实时使用设备(诸如，如图2所示的hmd)之前执行的校准过程中执行。然而，在一些实施方案中，图5的离线方法可在其他时间(例如在如参考图11描述的实时使用期间检测到设备(例如，hmd)的移动的情况下)执行。
[0070]
参考图9，如900处所指示的，可例如从由如图2所示的设备的一个或多个面向用户的传感器捕获的图像和深度数据获得用户的面部的纹理信息和网格信息。图像和深度数据可例如包括由相机捕获的2d彩色图像以及由深度感测技术捕获或从所捕获的图像导出的深度数据。可处理由面向用户的传感器捕获的数据以生成包括2d纹理信息(例如，对象的着色和阴影)和3d网格信息(例如，对象的3d表示或模型，例如多边形网格)的信息。
[0071]
如910处所指示的，可根据图像和深度数据渲染针对多个视点或视角的uv映射视图。在一些实施方案中，渲染方法可根据纹理信息和网格信息针对n个视点或视角生成对象的n个uv映射视图。uv映射视图中的每个像素包含输入图像中的[x,y]坐标，将需要这些[x,y]坐标来从输入图像得到rgb值以针对相应视角渲染图像。
[0072]
如920处所指示的，根据双凸透镜显示器的光线跟踪模型和校准数据生成视图映射，例如三个视图映射，每个r、g和b子像素一个视图映射。视图映射描述了n个视图中的哪个视图应当用于双凸透镜显示器的每个子像素。
[0073]
如在930处所指示的，然后根据uv映射视图和视图映射生成称为双凸透镜到uv映射的像素映射。如940处所指示的，将双凸透镜到uv映射存储到存储器。双凸透镜到uv映射针对双凸透镜显示器的每个子像素包含输入图像中的单个[x,y]坐标。
[0074]
图10是根据一些实施方案的用于基于动态捕获的纹理信息和预生成的双凸透镜到uv映射来为双凸透镜显示器生成交织的图像的实时方法的流程图。图10的实时方法可例如在实时使用设备(诸如，如图2所示的hmd)期间执行。
[0075]
如1000处所指示的，可例如从由如图2所示的设备的一个或多个面向用户的传感器捕获的图像数据获得用户的面部的纹理信息。图像数据可例如包括由相机捕获的2d彩色图像。可处理由面向用户的传感器捕获的数据以生成2d纹理信息(例如，对象的着色和阴影)。如1010处所指示的，从设备的存储器获得在如图9所示的离线方法中生成并存储的双凸透镜到uv映射。双凸透镜到uv映射表示要成像的对象的固定网格。如1020处所指示的，合成部件执行通过使用双凸透镜到uv映射从纹理信息对像素进行采样来生成双凸透镜图像的合成过程。在一些实施方案中，双凸透镜图像可包括双凸透镜显示器的n个视角的信息。另选地，设备可跟踪人在环境中的位置，并且合成过程可仅包括人在双凸透镜图像中当前所处的视角的信息。如1030处所指示的，可在设备的双凸透镜显示器上显示双凸透镜图像。如由从元素1030返回到元素1000的箭头所指示的，实时方法可以例如60帧每秒的帧速率来操作，以捕获动态纹理数据、使用固定网格数据和动态纹理数据来合成对象的双凸透镜图像、并且显示对象的双凸透镜图像。
[0076]
设备校准
[0077]
图5和图9的离线方法可例如在于实时使用设备(诸如hmd)之前的校准过程中执行。然而，设备可能在使用期间移动，这可导致固定映射与双凸透镜显示器的不对准。在一些实施方案中，图5和图9的离线方法可在如参考图11描述的实时使用期间检测到设备(例如，hmd)的移动的情况下重复。另选地，如图12所示，在一些实施方案中，为了解决这种不对准，可在离线过程期间生成比在实时过程期间在双凸透镜显示器上显示的对象(例如，用户的面部)的区域或“窗户”大的对象的双凸透镜到uv映射。如果在实时过程期间检测到hmd的移动，则可基于所检测到的移动在双凸透镜到uv映射内移动该窗户。
[0078]
图11是根据一些实施方案的用于对hmd的所检测到的移动做出响应的方法的流程图。如1100处所指示的，可在离线过程中根据纹理信息和网格信息生成固定映射信息，例如如图5和图9所示。如1110处所指示的，可在诸如hmd的设备上执行如图6、图7和图10所示的实时过程以基于在离线过程期间生成的固定映射信息和动态捕获的纹理信息来生成并显示双凸透镜图像。设备可能在使用期间移动，这可导致固定映射与双凸透镜显示器的不对准。在1120处，如果(例如，通过设备上的运动/位置传感器)检测到设备的移动，则可执行图
5和图9的离线方法以重新计算固定映射信息，如1130处所示。然后，实时过程可以继续重新计算的映射信息。
[0079]
图12是根据一些实施方案的用于对hmd的所检测到的移动做出响应的另选方法的流程图。如1200处所指示的，可在离线过程中根据纹理信息和网格信息生成固定映射信息，例如如图5和图9所示。该固定映射大于在实时过程期间要在双凸透镜显示器上显示的对象的区域。如1210处所指示的，可在诸如hmd的设备上执行如图6、图7和图10所示的实时过程以基于在离线过程期间生成的固定映射信息和动态捕获的纹理信息来为固定映射内的“窗户”生成并显示双凸透镜图像。设备可能在使用期间移动，这可导致固定映射与双凸透镜显示器的不对准。在1220处，如果(例如，通过设备上的运动/位置传感器)检测到设备的移动，则可基于所检测到的移动在固定映射内移动该窗户，如1230处所示。实时过程然后可继续为固定映射信息内的经移位的窗户生成双凸透镜图像。
[0080]
内推法
[0081]
在一些实施方案中，为了进一步减少实时过程期间的计算和功率消耗，代替根据动态纹理信息针对n个视点合成双凸透镜图像，可使用n个视点的选择的子集(例如，包括左视点、中心视点和右视点的三个视点)来合成双凸透镜图像，并且可使用插值方法来针对选择的视点子集之间的视点生成像素。
[0082]
在不同的实施方案中，本文所述的方法可以在软件、硬件或它们的组合中实现。此外，可改变方法的框的次序，并且可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可做出各种修改和改变。本文所述的各种实施方案旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。因此，可为在本文中被描述为单个示例的部件提供多个示例。各种部件、操作和数据存储库之间的界限在一定程度上是任意性的，并且在具体的示例性配置的上下文中示出了特定操作。预期了功能的其他分配，它们可落在所附权利要求的范围内。最后，被呈现为示例性配置中的分立部件的结构和功能可被实现为组合的结构或部件。这些和其他变型、修改、添加和改进可落入如以下权利要求书中所限定的实施方案的范围内。

技术特征：
1.一种设备，包括：双凸透镜显示器；一个或多个传感器；存储器；以及控制器，所述控制器包括一个或多个处理器，所述一个或多个处理器被配置为：根据从所述一个或多个传感器获得的对象的纹理信息和网格信息生成所述对象的固定映射信息；将所述固定映射信息存储到所述存储器；根据从所述一个或多个传感器中的至少一个传感器获得的所述对象的纹理信息和所述固定映射信息生成多个双凸透镜图像；以及将所述双凸透镜图像提供到所述双凸透镜显示器。2.根据权利要求1所述的设备，其中所述双凸透镜显示器包括：显示面板；以及双凸透镜，所述双凸透镜附接到所述显示面板的表面。3.根据权利要求2所述的设备，其中所述显示面板是以下中的一者：液晶显示器(lcd)、有机发光二极管(oled)技术显示器、dlp(数字光处理)技术显示器或lcos(硅上液晶)技术显示器。4.根据权利要求2所述的设备，其中所述双凸透镜显示器在所述显示面板上显示所述双凸透镜图像中的单独双凸透镜图像，并且其中所述双凸透镜被配置为从多个不同视角提供在所述显示面板上显示的所述对象的三维虚拟视图。5.根据权利要求1所述的设备，其中为了根据对象的纹理信息和网格信息生成所述对象的固定映射信息，所述控制器被配置为：根据所获得的纹理信息和网格信息针对所述双凸透镜显示器的多个视角渲染uv映射视图；根据所述双凸透镜显示器的光线跟踪模型和校准数据生成视图映射；以及根据所述uv映射视图和所述视图映射生成所述对象的双凸透镜到uv映射；其中所述固定映射信息包括所述双凸透镜到uv映射。6.根据权利要求1所述的设备，其中为了根据从所述一个或多个传感器中的至少一个传感器获得的所述对象的纹理信息和所述固定映射信息生成多个双凸透镜图像，所述控制器被配置为针对要生成的每个双凸透镜图像：从所述至少一个传感器获得所述对象的当前纹理信息；以及通过基于所述固定映射信息从所述当前纹理信息对像素进行采样来生成所述双凸透镜图像。7.根据权利要求6所述的设备，其中所述固定映射信息包括将所述当前纹理信息中的子像素映射到所述双凸透镜显示器的子像素的双凸透镜到uv映射。8.根据权利要求7所述的设备，其中所述控制器被进一步配置为：检测在所述双凸透镜显示器前方的一个或多个人；以及通过从所述当前纹理信息仅对对应于所检测到的一个或多个人的视角的子像素进行采样来生成所述双凸透镜图像。
9.根据权利要求1所述的设备，其中所述设备是计算机生成现实(cgr)系统的头戴式设备(hmd)，并且其中所述对象是所述hmd的用户的面部的至少一部分。10.根据权利要求9所述的设备，其中所述控制器被进一步配置为：检测所述hmd在所述用户的头部上的移动；以及响应于所述移动，根据从所述一个或多个传感器获得的所述用户的面部的纹理信息和网格信息重新生成所述用户的面部的固定映射信息。11.根据权利要求9所述的设备，其中所述控制器被进一步配置为：检测所述hmd在所述用户的头部上的移动；以及基于所检测到的移动在所述固定映射信息内移动窗户。12.一种方法，包括：在离线过程中通过设备的一个或多个处理器执行：根据从一个或多个传感器获得的对象的纹理信息和网格信息生成所述对象的固定映射信息；将所述固定映射信息存储到存储器；在实时过程中通过所述设备的所述一个或多个处理器执行：根据从所述一个或多个传感器中的至少一个传感器获得的所述对象的纹理信息和所述固定映射信息生成多个双凸透镜图像；以及将所述双凸透镜图像提供到双凸透镜显示器。13.根据权利要求12所述的方法，其中所述双凸透镜显示器包括显示面板和附接到所述显示面板的表面的双凸透镜，所述方法还包括：通过所述双凸透镜显示器在所述显示面板上显示所述双凸透镜图像中的单独双凸透镜图像，其中所述双凸透镜被配置为从多个不同视角提供在所述显示面板上显示的所述对象的三维虚拟视图。14.根据权利要求12所述的方法，其中根据从一个或多个传感器获得的对象的纹理信息和网格信息生成所述对象的固定映射信息包括：根据所获得的纹理信息和网格信息针对所述双凸透镜显示器的多个视角渲染uv映射视图；根据所述双凸透镜显示器的光线跟踪模型和校准数据生成视图映射；以及根据所述uv映射视图和所述视图映射生成所述对象的双凸透镜到uv映射；其中所述固定映射信息包括所述双凸透镜到uv映射。15.根据权利要求12所述的方法，其中根据从所述一个或多个传感器中的至少一个传感器获得的所述对象的纹理信息和所述固定映射信息生成多个双凸透镜图像包括，针对要生成的每个双凸透镜图像：从所述至少一个传感器获得所述对象的当前纹理信息；以及通过基于所述固定映射信息从所述当前纹理信息对像素进行采样来生成所述双凸透镜图像。16.根据权利要求15所述的方法，其中所述固定映射信息包括将所述当前纹理信息中的子像素映射到所述双凸透镜显示器的子像素的双凸透镜到uv映射。17.根据权利要求16所述的方法，还包括：检测在所述双凸透镜显示器前方的一个或多个人；以及
通过从所述当前纹理信息仅对对应于所检测到的一个或多个人的视角的子像素进行采样来生成所述双凸透镜图像。18.根据权利要求12所述的方法，其中所述设备是计算机生成现实(cgr)系统的头戴式设备(hmd)，并且其中所述对象是所述hmd的用户的面部的至少一部分。19.根据权利要求18所述的方法，还包括：检测所述hmd在用户的头部上的移动；以及响应于所述移动，根据从所述一个或多个传感器获得的所述用户的面部的纹理信息和网格信息重新生成所述用户的面部的所述固定映射信息。20.根据权利要求18所述的方法，还包括：检测所述hmd在用户的头部上的移动；以及基于所检测到的移动在所述固定映射信息内移动窗户。

技术总结
用于生成要在双凸透镜显示器上显示的图像的方法和装置。在这些方法中，离线生成固定网格，并且实时将纹理信息映射到该固定网格。在离线过程中，使用对象的纹理信息和3D网格信息来针对该对象的多个视点渲染UV映射视图，根据显示器校准数据生成视图映射，并且根据这些UV映射视图和这些视图映射生成双凸透镜到UV映射。实时捕获纹理信息，并且执行通过基于该双凸透镜到UV映射从该纹理对像素进行采样来针对多个视点生成双凸透镜图像的合成过程。然后，在该双凸透镜显示器上显示该双凸透镜图像。可使用所检测到的人在环境中的位置来限制在该实时合成过程期间生成的视点的数目。在该实时合成过程期间生成的视点的数目。在该实时合成过程期间生成的视点的数目。


技术研发人员：F
受保护的技术使用者：苹果公司
技术研发日：2021.06.08
技术公布日：2023/7/20