用于增强现实护目镜中的计算机视觉模式的低功耗相机管线的制作方法

用于增强现实护目镜中的计算机视觉模式的低功耗相机管线
1.相关申请的交叉引用
2.本技术要求于2020年9月30日提交的美国临时申请序列号63/085,257的优先权，其全部内容通过引用并入本文。
技术领域
3.本主题涉及一种护目镜装置，例如智能眼镜。


背景技术：

4.现今可用的便携式护目镜装置(诸如智能眼镜、头戴具和头帽)集成了相机和透视显示器。功耗是处理护目镜装置的多种特征的函数。
附图说明
5.附图仅通过示例而非限制的方式描绘了一个或更多个实现方式。在附图中，相同的附图标记表示相同或相似的元件。
6.图1a是护目镜装置的示例性硬件配置的侧视图，示出了带有图像显示器的右光学组件，并且基于检测到的头部或眼部移动用户将视场调整应用到呈现在图像显示器上的用户界面；
7.图1b是图1a的护目镜装置的镜腿的顶部剖视图，描绘了可见光相机、用于跟踪护目镜装置的用户头部移动的头部移动跟踪器、以及电路板；
8.图2a是护目镜装置的示例性硬件配置的后视图，该护目镜装置包括镜架上的眼部扫描仪，该眼部扫描仪用于在系统中使用，以用于标识护目镜装置的用户；
9.图2b是另一护目镜装置的示例性硬件配置的后视图，该护目镜装置包括镜腿上的眼部扫描仪，该眼部扫描仪用于在系统中使用，以用于标识护目镜装置的用户；
10.图2c和图2d是护目镜装置的示例性硬件配置的后视图，包括两种不同类型的图像显示器。
11.图3示出了图2a的护目镜装置的后透视图，描绘了红外发射器、红外相机、镜架前部、镜架背部和电路板；
12.图4是穿过图3的护目镜装置的红外发射器和镜架所截取的截面视图；
13.图5示出了检测眼部注视方向；
14.图6示出了检测眼部位置；
15.图7描绘了由左可见光相机捕获的作为左原始图像以及由右可见光相机捕获的作为右原始图像的可见光的示例；
16.图8示出了包括设置在护目镜中的示例性电子部件的高级功能框图；
17.图9示出了针对不同像素速率的相机图像处理器功耗；
18.图10示出了针对不同像素速率的每轨功率测量结果；
19.图11示出了将较高分辨率数据读出到isp中的典型相机管线；
20.图12示出了根据本公开的相机管线，该相机管线通过在相机本身中进行图像缩减来节省功率；
21.图13示出了图像质量和颜色劣化，其中，左捕获在自动白平衡(awb)之后，并且右捕获完全禁用awb；
22.图14示出了以cpu利用的形式消耗大量功率的现成的3a相机(自动曝光、自动白平衡、自动聚焦)；
23.图15示出了用于向isp提供基本色温信息的外部低功率光谱环境光传感器(als)；
24.图16示出了外部als，该外部als用来提供可以有效计算的基本亮度信息和基本图像特性(例如，平均像素强度)，以提供低功率自动曝光方案；
25.图17示出了在两个相机之间的用于同步垂直同步(vsyncs)控制信号的通用输入/输出口(gpio)；
26.图18示出了从相机中的每一个生成的图像帧由isp匹配，并在进一步的算法处理之前放入单个缓冲器中；
27.图19a和图19b示出了动态单声道/立体相机管线，其中，在图19b中，相机114a或114b之一由isp动态关闭，并且然后再次通电，立体同步(共享垂直同步)也被重新启用；
28.图20示出了非线性功耗增加，其中，功耗与ddr负载的比值在重负载下显著增加。
29.图21示出了输入到共享缓冲器中的来自isp的最后阶段的图像数据；以及
30.图22示出了根据本公开的图像处理方法。
具体实施方式
31.本公开包括具有图像处理器的护目镜，该图像处理器在用于计算机视觉(cv)的相机管线(camera pipeline)和在增强现实(ar)系统中是可操作的。图像处理器被配置成选择性地控制多个相机，以在高功率ar模式下提供具有第一分辨率的图像，且在低功率cv模式下提供具有第二分辨率的图像。第一分辨率高于第二分辨率，并且多个相机在cv模式下比在ar模式下消耗更少的功率。图像处理器控制相机管线以处理来自多个相机的第一分辨率高iq图像，以便在ar模式下操作，并控制相机管线以处理来自多个相机的第二分辨率低iq图像，以便在cv模式下操作。在cv模式下，通过使用相机本身的缩放来降低图像的分辨率，节省了大量的功率。
32.示例的另外的目的、优点和新颖特征将部分地在以下说明中进行阐述，并且对于本领域的普通技术人员而言在检查以下和附图时将部分了解，或者可以通过示例的生产或操作来学习。本主题的目的和优点可以通过所附权利要求中特别指出的方法、手段和组合来实现和获得。
33.在以下详细说明中，通过举例的方式阐述了许多具体细节，以便提供对相关教导的透彻理解。然而，对于本领域技术人员应当清楚的是，可以在没有此类细节的情况下实践本教导。在其他示例中，众所周知的方法、过程、部件和电路已经在相对高级而没有详细地进行了描述，以便避免不必要地使本教导的多个方面不清楚。
34.如本文所使用的术语“耦接”是指任何逻辑、光学、物理或电连接、链接等，通过一个系统元件产生或供应的信号或光被赋予至另一个经耦接的元件。除非另有描述，否则经耦接的元件或装置不一定直接连接到彼此，且可通过可修改、操纵或运载光或信号的中间
部件、元件或通信介质分离。
35.诸如在任一附图中所示的护目镜装置、相关联的部件以及结合了眼部扫描器和相机的任何完整装置的取向仅是通过示例的方式给出的，用于展示和讨论的目的。在针对特定可变光学处理应用的操作中，护目镜装置可以被定向在适合于该护目镜装置的特定应用的任何其他方向上，例如上、下、侧向或任何其他定向。而且，在本文所使用的范围内，任何方向术语(诸如，前、后、向内、向外、朝向、左、右、横向、纵向、上、下、上部、下部、顶部、底部和侧面)仅仅通过示例的方式使用，并且不限制任何光学部件或如本文中另外描述的构造的光学部件的部件的方向或取向。
36.现在详细参考在附图中所示的并且在下文所讨论的示例。
37.图1a是护目镜装置100的示例性硬件配置的侧视图，护目镜装置100包括具有图像显示器180d(图2a)的右光学组件180b。护目镜装置100包括形成立体相机的多个可见光相机114a-114b(图7)，其中，右可见光相机114b位于右镜腿110b上。
38.左可见光相机114a和右可见光相机114b具有对可见光范围波长敏感的图像传感器。可见光相机114a-114b中的每一个均具有不同的面向前方的覆盖角，例如，可见光相机114b具有所描绘的覆盖角111b。覆盖角是可见光相机114a-114b的图像传感器拾取电磁辐射并生成图像的角度范围。此类可见光相机114a-114b的示例包括高分辨率互补金属氧化物半导体(cmos)图像传感器和视频图形阵列(vga)相机，诸如640p(例如，640
×
480像素，总共0.3百万像素)、720p或1080p。来自可见光相机114a-114b的图像传感器数据与地理位置数据一起被捕获，由图像处理器数字化，并且存储在存储器中。
39.为了提供立体视觉，可见光相机114a-114b可以耦接至图像处理器(图8的元件912)，以用于与捕获场景的图像的时间戳一起进行数字化处理。图像处理器912包括用于从可见光相机114a-114b接收信号并将来自可见光相机114a-114b的那些信号处理成适于存储在存储器(图8的元件934)中的格式的电路。时间戳可由图像处理器912或控制可见光相机114a-114b的操作的其他处理器添加。可见光相机114a-114b允许立体相机模拟人类双目视觉。立体相机提供基于分别来自具有相同时间戳的可见光相机114a-114b的两个捕获的图像(图7的元件758a-758b)来再现三维图像(图7的元件715)的能力。这种三维图像715允许沉浸式类生活的体验，例如以用于虚拟现实游戏或视频游戏。对于立体视觉，在给定时刻生成一对图像758a-758b—一个图像用于左可见光相机114a和右可见光相机114b中的每一个。当(例如，通过图像处理器912)将来自面向前方的左见光相机114a和右可见光相机114b的覆盖角111a-111b的一对生成的图像758a-758b拼接在一起时，通过光学组件180a-180b提供深度感知。
40.在示例中，用户界面视场调整系统包括护目镜装置100。护目镜装置100包括镜架105、从镜架105的右外侧部170b延伸的右镜腿110b、以及包括光学组件180b以向用户呈现图形用户界面的透视图像显示器180d(图2a-图2b)。护目镜装置100包括连接到镜架105或左镜腿110a以捕获场景的第一图像的左可见光相机114a。护目镜装置100进一步包括连接到镜架105或右镜腿110b以(例如，与左可见光相机114a同时)捕获场景的与第一图像部分重叠的第二图像的右可见光相机114b。虽然在图1a-图1b中未示出，但是用户界面视场调整系统进一步包括处理器932，处理器932耦接至护目镜装置100并且连接至可见光相机114a-114b；存储器934，处理器932可访问存储器934；以及在存储器934中的程序，例如存储器934
在护目镜装置100本身或用户界面视场调整系统的另一部分中。
41.虽然在图1a中未示出，护目镜装置100还包括头部移动跟踪器(图1b的元件109)或眼部移动跟踪器(图2b的元件213)。护目镜装置100进一步包括光学组件180a-180b的用于呈现显示图像的序列的透视图像显示器180c-180d，以及图像显示驱动器(图8的元件942)，图像显示驱动器耦接到光学组件180a-180b的透视图像显示器180c-180d，以控制光学组件180a-180b的图像显示器180c-180d呈现显示图像715的序列，这在下文进一步详细描述。护目镜装置100进一步包括存储器934以及可访问图像显示驱动器942和存储器934的处理器932。护目镜装置100进一步包括在存储器(图8的元件934)中的程序。处理器932对程序的执行将护目镜装置100配置成执行功能，这些功能包括经由透视图像显示器180c-180d呈现显示图像的序列的初始显示图像的功能，该初始显示图像具有对应于初始头部方向或初始眼部注视方向的初始视场(图5的元件230)。
42.处理器932对程序的执行进一步将护目镜装置100配置成通过以下各项来检测护目镜装置的用户的移动：(i)经由头部移动跟踪器(图1b的元件109)跟踪用户头部的头部移动，或(ii)经由眼部移动跟踪器(图2b、图5的元件213)跟踪护目镜装置100的用户的眼部的眼部移动。处理器932对程序的执行进一步将护目镜装置100配置成基于所检测到的用户的移动来确定对初始显示图像的初始视场的视场调整。视场调整包括对应于连续的头部方向或连续的眼部方向的连续的视场。处理器932对程序的执行进一步将护目镜装置100配置成基于视场调整产生显示图像的序列的连续的显示图像。处理器932对程序的执行进一步将护目镜装置100配置成经由光学组件180a-180b的透视图像显示器180c-180d呈现连续的显示图像。
43.图1b是图1a的护目镜装置100的镜腿的顶部剖视图，描绘了右可见光相机114b、头部移动跟踪器109和电路板。左可见光相机114a的构造和位置基本上类似于右可见光相机114b，除了连接和耦接位于左外侧部170a上之外。如图所示，护目镜装置100包括右可见光相机114b和电路板，该电路板可以是柔性印刷电路板(pcb)140。右铰链126b将右镜腿110b连接到护目镜装置100的右镜腿125b。在一些示例中，右可见光相机114b、柔性pcb140或其他电连接器或触点的部件可位于右镜腿125b或右铰链126b上。
44.如图所示，护目镜装置100具有头部移动跟踪器109，头部移动跟踪器109包括例如惯性测量单元(imu)。惯性测量单元是使用加速度计和陀螺仪(有时还有磁力计)的组合来测量和报告身体的特定力、角速度、以及有时身体周围的磁场的电子装置。惯性测量单元通过使用一个或更多个加速度计检测线性加速度并且使用一个或更多个陀螺仪检测旋转速率来工作。惯性测量单元的典型配置包含用于三个轴中的每一个的每个轴的一个加速度计、陀螺仪和磁力计：用于左右运动的水平轴(x)、用于顶底运动的竖直轴(y)以及用于上下运动的深度或距离轴(z)。加速度计检测重力向量。磁力计像产生方向参考的罗盘一样定义磁场中的旋转(例如，面向南、北等)。这三个加速度计用于检测沿着以上定义的水平、竖直和深度轴的加速度，这可以相对于地面、护目镜装置100、或佩戴护目镜装置100的用户来定义。
45.护目镜装置100通过经由头部移动跟踪器109跟踪用户头部的头部移动来检测护目镜装置100的用户的移动。头部移动包括在图像显示器上呈现初始的显示图像期间在水平轴、竖直轴或它们的组合上的头部方向从初始头部方向的变化。在一个示例中，经由头部
移动跟踪器109跟踪用户头部的头部移动包括经由惯性测量单元109测量水平轴(例如，x轴)、竖直轴(例如，y轴)或它们的组合(例如，横向或对角线移动)上的初始头部方向。经由头部移动跟踪器109跟踪用户头部的头部移动进一步包括在呈现初始显示图像期间经由惯性测量单元109测量在水平轴、竖直轴或它们的组合上的连续头部方向。
46.经由头部移动跟踪器109跟踪用户头部的头部移动进一步包括基于初始头部方向和连续头部方向两者确定头部方向的变化。检测护目镜装置100的用户的移动进一步包括响应于经由头部移动跟踪器109跟踪用户头部的头部移动，确定头部方向的变化超过在水平轴、竖直轴或它们的组合上的偏差角阈值。偏差角阈值在约3
°
至10
°
之间。如本文所使用的，当提及角度时，术语“约”是指偏离所述量
±
10％。
47.沿着水平轴的变化通过例如调整三维对象的可见性的隐藏、显示、或其他方式来将三维对象(诸如字符、bitmojis、应用图标等)滑入和滑出视场。在一个示例中，例如，当用户向上看时，沿竖直轴的变化显示天气信息、一天中的时间、日期、日历预约等。在另一个示例中，当用户在竖直轴上向下看时，护目镜装置100可以关机。
48.右镜腿110b包括镜腿本体211和镜腿盖，其中，在图1b的横截面中省略了镜腿盖。多种互连电路板(诸如pcb或柔性pcb)设置在右镜腿110b内部，多种互连电路板包含用于右可见光相机114b、麦克风130、扬声器132的控制器电路、低功率无线电路(例如，用于经由bluetooth
tm
的无线短程网络通信)、高速无线电路(例如，用于经由wifi的无线局域网通信)。
49.右可见光相机114b耦接至柔性pcb 240或设置在柔性pcb 240上并且由可见光相机覆盖透镜覆盖，该可见光相机覆盖透镜通过形成在右镜腿110b中的开口瞄准。在一些示例中，连接到右镜腿110b的镜架105包括用于可见光相机覆盖透镜的开口。镜架105包括被配置成远离用户的眼部面向外的正面侧部。用于可见光照相机覆盖透镜的开口形成在正面侧部上并且穿过正面侧部。在该示例中，右可见光相机114b具有与护目镜装置100的用户的右眼的视线或视角共线的面向外的覆盖角111b。可见光照相机覆盖透镜还可粘附至右镜腿110b的面向外的表面，其中，开口形成有面向外的覆盖角，但是在不同的向外方向上。该耦接还可以是经由介入部件间接的。
50.左(第一)可见光相机114a连接至左光学组件180a的左透视图像显示器180c，以生成第一连续显示图像的第一背景场景。右(第二)可见光相机114b连接至右光学组件180b的右透视图像显示器180d，以生成第二连续显示图像的第二背景场景。第一背景场景和第二背景场景部分重叠以呈现连续显示图像的三维可观察区域。
51.柔性pcb 140设置在右镜腿110b内部并且耦接到被容纳在右镜腿110b中的一个或更多个其他部件。尽管展示为形成于右镜腿110b的电路板上，但右可见光相机114b可形成于左镜腿110a、镜腿125a-125b或镜架105的电路板上。
52.图2a是护目镜装置100的示例性硬件配置的后视图，该护目镜装置100包括镜架105上的眼部扫描仪113，该眼部扫描仪113用于在系统中使用，以用于确定护目镜装置100的佩戴者/用户的眼部位置和注视方向。如图2a所示，护目镜装置100呈被配置成用于由用户佩戴的形式，护目镜装置100在图2a的示例中是眼镜。护目镜装置100可以采用其他形式并且可以结合其他类型的镜框，例如，头帽、头戴耳机、或头盔。
53.在眼镜示例中，护目镜装置100包括镜架105，该镜架105包括经由适配于用户的鼻
子的鼻桥106连接至右边框107b的左边框107a。左边框107a和右边框107b包括保持相应的光学元件180a-180b(诸如透镜和透视显示器180c-180d)的相应孔口175a-175b。如本文所使用的，术语透镜是指覆盖具有弯曲和平坦表面的玻璃或塑料的透明或半透明片，弯曲和平坦表面致使光会聚/发散或引起很少的会聚/发散或不引起会聚/发散。
54.虽然被示出为具有两个光学元件180a-180b，但取决于护目镜装置100的应用或预期用户，护目镜装置100可以包括其他布置，诸如单个光学元件。如进一步所示，护目镜装置100包括邻近镜架105的左外侧部170a的左镜腿110a及邻近镜架105的右外侧部170b的右镜腿110b。镜腿110a-110b可集成在相应侧部170a-170b上的镜架105中(如图所示)或实施为附接至相应侧部170a-170b上的镜架105的单独部件。可替代地，镜腿110a-110b可集成到附接至镜架105的镜腿(未示出)中。
55.在图2a的示例中，眼部扫描仪113包括红外发射器115和红外相机120。可见光相机通常包括蓝光滤波器以阻挡红外光检测，在示例中，红外相机120是可见光相机，诸如低分辨率视频图形阵列(vga)相机(例如，640
×
480像素，总共0.3百万像素)，其中，移除了蓝色滤波器。红外发射器115和红外相机120共置在镜架105上，例如，两者被示出为连接到左边框107a的上部部分。镜架105或左镜腿110a和右镜腿110b中的一个或更多个包括电路板(未示出)，该电路板包括红外发射器115和红外相机120。红外发射器115和红外相机120可通过例如焊接连接到电路板。
56.可以实施红外发射器115和红外相机120的其他布置，包括其中红外发射器115和红外相机120两者都在右边框107b上或者在镜架105上的不同位置中的布置，例如，红外发射器115在左边框107a上并且红外相机120在右边框107b上。在另一示例中，红外发射器115在镜架105上并且红外相机120在镜腿110a-110b中的一个上，或反之亦然。红外发射器115可基本上连接在镜架105、左镜腿110a或右镜腿110b上的任何位置，以发射红外光的图案。类似地，红外相机120可基本上连接在镜架105、左镜腿110a或右镜腿110b上的任何位置，以捕获红外光的发射图案中的至少一个反射变化。
57.红外发射器115和红外相机120布置成以眼部视场的部分或全部向内面向用户的眼部，以便标识相应的眼部位置和注视方向。例如，红外发射器115和红外相机120直接定位在眼部的前方、镜架105的上部部分中或镜架105的任一端部处的镜腿110a-110b中。
58.图2b是另一护目镜装置200的示例性硬件配置的后视图。在这个示例配置中，护目镜装置200被描绘为包括在右镜腿210b上的眼部扫描仪213。如图所示，红外发射器215和红外相机220共置于右镜腿210b上。应当理解的是，眼部扫描仪213或眼部扫描仪213的一个或更多个部件可以位于左镜腿210a上和护目镜装置200的其他位置(例如，镜架105)上。红外发射器215和红外相机220与图2a的红外发射器和红外相机类似，但是眼部扫描仪213可以变化以对不同光波长敏感，如之前在图2a中所描述的。
59.类似于图2a，护目镜装置200包括：镜架105，该镜架105包括经由鼻桥106连接至右边框107b的左边框107a；并且左边框107a和右边框107b包括保持包括透视显示器180c-180d的相应光学元件180a-180b的相应孔口。
60.图2c-图2d是护目镜装置100的示例性硬件配置的后视图，该护目镜装置100包括两种不同类型的透视图像显示器180c-180d。在一个示例中，光学组件180a-180b的这些透视图像显示器180c-180d包括集成的图像显示器。如图2c所示，光学组件180a-180b包括任
何合适类型的合适的显示矩阵180c-180d，诸如液晶显示器(lcd)、有机发光二极管(oled)显示器、波导显示器、或任何其他此类显示器。光学组件180a-180b还包括一个或更多个光学层176，光学层可以包括透镜、光学涂层、棱镜、反射镜、波导、光带、以及任何组合的其他光学部件。光学层176a-n可以包括棱镜，该棱镜具有合适的尺寸和配置并且包括用于从显示矩阵接收光的第一表面和用于向用户的眼部发射光的第二表面。光学层176a-n的棱镜在左边框107a和右边框107b中形成的相应孔口175a-175b的全部或至少一部分上延伸，以允许当用户的眼部正在通过相应的左边框107a和右边框107b观看时用户看到棱镜的第二表面。光学层176a-n的棱镜的第一表面从镜架105面向上并且显示矩阵覆盖棱镜，使得由显示矩阵发射的光子和光撞击第一表面。棱镜的尺寸和形状被确定成使得光在棱镜内被折射并且被光学层176a-n的棱镜的第二表面引向用户的眼部。在此方面，光学层176a-n的棱镜的第二表面可以是凸形的，以将光引向眼部的中心。棱镜的尺寸和形状可以可选地被确定成放大由透视图像显示器180c-180d投影的图像，并且光行进通过棱镜，使得从第二表面观察到的图像在一个或更多个维度上大于从透视图像显示器180c-180d发射的图像。
61.在另一个示例中，光学组件180a-180b的透视图像显示器180c-180d包括如图2d所示的投影图像显示器。光学组件180a-180b包括激光投影仪150，激光投影仪150是使用扫描镜或检流计的三色激光投影仪。在操作过程中，光源(诸如激光投影仪150)设置在护目镜装置100的镜腿125a-125b中的一个之中或之上。光学组件180a-180b包括跨光学组件180a-180b的透镜的宽度或跨透镜的前表面与后表面之间的深度间隔开的一个或更多个光带155a-n。
62.当由激光投影仪150投影的光子行进穿过光学组件180a-180b的透镜时，光子遇到光带155a-n。当特定光子遇到特定光带时，该光子或者被重新引向用户的眼部，或者它传递到下个光带。激光投影仪150的调制与光带的调制的组合可控制特定光子或光束。在示例中，处理器通过启动机械、声学或电磁信号来控制光带155a-n。尽管被示出为具有两个光学组件180a-180b，但是护目镜装置100可以包括其他布置，诸如单个或三个光学组件，或者根据护目镜装置100的应用或预期用户，光学组件180a-180b可以已经布置了不同的布置。
63.如图2c至图2d进一步所示，护目镜装置100包括邻近镜架105的左外侧部170a的左镜腿110a和邻近镜架105的右外侧部170b的右镜腿110b。镜腿110a-110b可集成在相应外侧部170a-170b上的镜架105中(如图所示)或实施为附接至相应侧部170a-170b上的镜架105的单独部件。可替代地，镜腿110a-110b可集成到附接至镜架105的镜腿125a-125b中。
64.在一个示例中，透视图像显示器包括第一透视图像显示器180c和第二透视图像显示器180d。护目镜装置100包括第一孔口175a和第二孔口175b，第一孔口175a和第二孔口175b保持相应的第一光学组件180a和第二光学组件180b。第一光学组件180a包括第一透视图像显示器180c(例如，图2c的显示矩阵或光带155a-n’和投影仪150a)。第二光学组件180b包括第二透视图像显示器180d，例如，图2c的显示矩阵或光带155a-n”以及投影仪150b)。连续显示图像的连续视场包括水平、竖直或对角测量的约15
°
至30
°
之间的、和更具体地24
°
的视角。具有连续视场的连续显示图像表示通过将呈现在第一图像显示器和第二图像显示器上的两个显示图像拼接在一起而可见的组合的三维可观察区域。
65.如本文所使用的，“视角”描述与呈现在光学组件180a-180b的左图像显示器180c和右图像显示器180d中的每一个上的显示图像相关联的视场的角度范围。“覆盖角”描述可
见光相机114a-114b或红外相机220的透镜可以成像的角度范围。通常，由透镜产生的图像圆足够大以完全覆盖膜或传感器，可能包括一些渐晕(即，与图像中心相比，图像的亮度或饱和度朝着外围减小)。如果透镜的覆盖角未填满传感器，则图像圆圈将是可见的，通常具有朝向边缘的强渐晕，并且有效视角将被限于覆盖角。“视场”旨在描述可观察区域的领域，护目镜装置100的用户可以通过他或她的眼部经由呈现在光学组件180a-180b的左图像显示器180c和右图像显示器180d上的显示图像看到该可观察区域的领域。光学组件180a-180b的图像显示器180c可以具有覆盖角在15
°
至30
°
之间(例如，24
°
)的视场，并且具有480
×
480像素的分辨率。
66.图3示出了图2a的护目镜装置的后透视图。护目镜装置100包括红外发射器215、红外相机220、镜架前部330、镜架背部335和电路板340。在图3中可以看出，护目镜装置100的镜架的左边框的上部部分包括镜架前部330和镜架背部335。用于红外发射器215的开口形成在镜架背部335上。
67.如在镜架的左边框的上部中间部分中所环绕的截面4中所示，电路板(其为柔性pcb 340)被夹在镜架前部330与镜架背部335之间。还更详细地示出了左镜腿110a经由左铰链126a附接至左镜腿325a。在一些示例中，眼部移动跟踪器213的部件(包括红外发射器215、柔性pcb 340、或其他电连接器或触点)可以位于左镜腿325a或左铰链126a上。
68.图4是穿过与图3的护目镜装置的环绕截面4相对应的红外发射器215和镜架的截面图。在图4的横截面中示出了护目镜装置100的多个层，如图所示，镜架包括镜架前部330和镜架背部335。柔性pcb 340设置在镜架前部330上并且连接至镜架背部335。红外发射器215设置在柔性pcb 340上并且由红外发射器覆盖透镜445覆盖。例如，红外发射器215回流焊到柔性pcb340的背部。通过使柔性pcb 340经受熔化焊料膏的受控热量来连接两个部件，回流焊将红外发射器215附接至形成在柔性pcb 340的背部上的接触焊盘。在一个示例中，回流焊用于将红外发射器215表面安装在柔性pcb340上并电连接这两个部件。然而，应当理解的是，例如，通孔可以用于经由互连将来自红外发射器215的引线连接至柔性pcb 340。
69.镜架背部335包括用于红外发射器覆盖透镜445的红外发射器开口450。红外发射器开口450形成在镜架背部335的面向后的侧部上，镜架背部335的面向后的侧部被配置成向内面向用户的眼部。在该示例中，柔性pcb 340可以经由柔性pcb粘合剂460连接至镜架前部330。红外发射器覆盖透镜445可以经由红外发射器覆盖透镜粘合剂455连接到镜架背部335。该耦接还可以是经由介入部件间接的。
70.在示例中，处理器932利用眼部跟踪器213确定如图5所示的佩戴者眼部234的眼部注视方向230，以及如图6所示的眼动范围内的佩戴者眼部234的眼部位置236。眼部跟踪器213是使用红外光照明(例如，近红外、短波长红外、中波长红外、长波长红外、或远红外)来捕获来自眼部234的红外光的反射变化的图像以确定相对于透视显示器180d的眼部234的瞳孔232的注视方向230以及眼部位置236的扫描仪。
71.图7描绘了用相机捕获可见光的示例。可见光被具有左可见光相机视场111a的左可见光相机114a捕获，作为左原始图像758a。可见光由具有右可见光相机视场111b的右可见光相机114b捕获，作为右原始图像758b。基于对左原始图像758a和右原始图像758b的处理，处理器932生成三维场景的三维深度图715，下文称为图像。
72.图8描绘了包括设置在护目镜100/200中的示例性电子部件的高级功能框图，包括
可由图像处理器912操作的算法2200。
73.存储器934包括用于由图像处理器912和高速处理器932执行以实现护目镜100/200的功能的指令。存储器934还包含用于由图像处理器912和高速处理器932执行以用于增强现实(ar)系统中的计算机视觉(cv)的相机管线的超低功率的指令。相机管线是在图像源(诸如相机)和图像呈现器(诸如显示器)之间用于执行中间数字图像处理的一组部件。处理器912和处理器932接收来自护目镜电池(未示出)的电力并执行存储在存储器934中或者与处理器912和932一起集成在芯片上的指令，从而执行护目镜装置100/200的功能，并且经由无线连接与外部装置通信。
74.用户界面调整系统900包括可穿戴装置，该可穿戴装置是具有眼部移动跟踪器213(例如，在图2b中示出为红外发射器215和红外相机220)的护目镜装置100/200。用户界面调整系统900还包括经由多种网络连接的移动装置990和服务器系统998。移动装置990可以是智能电话、平板计算机、膝上型计算机、接入点、或能够使用低功率无线连接925和高速无线连接937两者与护目镜装置100连接的任何其他此类装置。移动装置990连接到服务器系统998和网络995。网络995可包括有线连接和无线连接的任何组合。
75.护目镜装置100/200包括至少两个可见光相机114a-114b(一个与左外侧部170a相关联并且一个与右外侧部170b相关联)。护目镜装置100/200进一步包括光学组件180a-180b的两个透视图像显示器180c-180d(一个与左外侧部170a相关联并且一个与右外侧部170b相关联)。在本公开中，图像显示器180c-180d是可选的。护目镜装置100/200还包含图像显示驱动器942、图像处理器912、低功率电路920和高速电路930。图8所示的用于护目镜装置100/200的部件位于镜腿中的一个或更多个电路板(例如pcb或柔性pcb)上。可替代地或另外地，所描绘的部件可以位于护目镜装置100/200的镜腿、镜架、铰链、或鼻桥中。左可见光相机114a和右可见光相机114b可包括数字相机元件，诸如互补金属氧化物半导体(cmos)图像传感器、电荷耦接装置、透镜或可用于捕获数据(包括具有未知对象的场景的图像)的任何其他相应的可见或光捕获元件。
76.眼部移动跟踪程序实施用户界面视场调整指令，包括用于致使护目镜装置100/200经由眼部移动跟踪器213跟踪护目镜装置100/200的用户的眼部的眼部移动。其他实施的指令(功能)致使护目镜装置100/200基于所检测到的用户的对应于连续眼部方向的眼部移动来确定对初始显示图像的初始视场的视场调整。进一步实施的指令基于视场调整生成显示图像序列的连续显示图像。连续显示图像经由用户界面被产生为对用户的可见输出。可见输出出现在光学组件180a-180b的透视图像显示器180c-180d上，该透视图像显示器180c-180d被图像显示驱动器934驱动，以呈现显示图像序列，显示图像包括具有初始视场的初始显示图像和具有连续视场的连续显示图像。
77.如图8所示，高速电路930包括高速处理器932、存储器934和高速无线电路936。在示例中，图像显示驱动器942耦接至高速电路930并且由高速处理器932操作，以便驱动光学组件180a-180b的左图像显示器180c和右图像显示器180d。高速处理器932可以是能够管理护目镜装置100/200所需的任何通用计算系统的高速通信和操作的任何处理器。高速处理器932包括管理使用高速无线电路936到无线局域网(wlan)的高速数据传输和到服务器系统998的高速数据传输所需的处理资源。在某些示例中，高速处理器932执行操作系统，诸如linux操作系统或护目镜装置100/200的其他此类操作系统，并且该操作系统被存储在存储
器934中以供执行。除了任何其他职责之外，执行护目镜装置100/200的软件架构的高速处理器932被用来利用高速无线电路936管理数据传输。在某些示例中，高速无线电路936被配置成实施电气与电子工程师协会(ieee)802.11通信标准，在此也被称为wi-fi。在其他示例中，其他高速通信标准可以由高速无线电路936实施。
78.护目镜装置100的低功率无线电路924和高速无线电路936可以包括短程收发器(bluetooth
tm
)和无线广域网、局域网或广域网收发器(例如，蜂窝或wifi)。移动装置990(包括经由低功率无线连接925和高速无线连接937进行通信的收发器)可以使用护目镜装置100/200的架构的细节来实施，网络995的其他元件也是如此。
79.存储器934包括能够存储多种数据和应用的任何存储装置，除其他事项之外，所述数据和应用包括色图、由左可见光相机114a和右可见光相机114b和图像处理器912生成的相机数据、以及由图像显示驱动器942在光学组件180a-180b的透视图像显示器180c-180d上显示而生成的图像。虽然存储器934被示出为与高速电路930集成，但是在其他示例中，存储器934可以是护目镜装置100/200的独立的独立运行元件。在某些此类示例中，电气路由线可提供通过包括高速处理器932的芯片从图像处理器912或低功率处理器922到存储器934的连接。在其他示例中，高速处理器932可以管理存储器934的寻址，使得低功率处理器922将在需要涉及存储器934的读取或写入操作的任何时间引导高速处理器932。
80.服务器系统998可以是作为服务器或网络计算系统的一部分的一个或更多个计算装置，计算装置例如包括处理器、存储器和网络通信接口，以用于经由高速无线电路936、或者直接经由高速无线连接937或经由移动装置990通过网络995与护目镜装置100/200进行通信。护目镜装置100/200与主计算机连接。在一个示例中，护目镜装置100/200在不使用移动装置990的情况下，诸如使用蜂窝网络或wifi与网络995直接无线通信。在一个示例中，护目镜装置100/200经由高速无线连接937与移动装置990配对，并且经由网络995连接到服务器系统998。
81.护目镜装置100/200的输出部件包括视觉部件，诸如在图2c-图2d中所描述的光学组件180a-180b的左图像显示器180c和右图像显示器180d(例如，显示器，诸如液晶显示器(lcd)、等离子显示面板(pdp)、发光二极管(led)显示器、投影仪、或波导)。光学组件180a-180b的图像显示器180c-180d由图像显示驱动器942驱动。护目镜装置100/200的输出部件进一步包括声学部件(例如，扬声器)、触觉部件(例如，振动马达)、其他信号发生器等等。护目镜装置100/200、移动装置990和服务器系统998的输入部件可以包括字母数字输入部件(例如，键盘、被配置成接收字母数字输入的触摸屏、光学键盘或其他字母数字输入部件)、基于点的输入部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他点设备)、触觉输入部件(例如，物理按钮、提供触摸或触摸手势的位置和力的触摸屏、或其他触觉输入部件)、包括音频输入部件(例如，麦克风)等。
82.护目镜装置100/200可以可选地包括额外的外围装置元件919。这种外围装置元件可以包括生物计量传感器、额外的传感器、或与护目镜装置100/200集成的显示元件。例如，外围装置元件919可以包括任何i/o部件，i/o部件包括输出部件、运动部件、位置部件、或在本文所描述的任何其他此类元件。
83.例如，用户界面视场调整900的生物计量组件包括用于检测表达(例如，手部表达、面部表达、声音表达、身体姿势、或眼部跟踪)、测量生物信号(例如，血压、心率、体温、出汗、
或脑电波)、标识人(例如，语音标识、视网膜标识、面部标识、指纹标识、或基于脑电图的标识)等的部件。运动部件包括加速度传感器部件(例如，加速度计)、重力传感器部件、旋转传感器部件(例如，陀螺仪)等。位置部件包括用以产生位置坐标的位置传感器部件(例如，全球定位系统(gps)接收器部件)、用于产生定位系统坐标的wifi或bluetooth
tm
收发器、高度传感器组件(例如，检测可从中得出高度的空气压力的高度计或气压计)、定向传感器部件(例如，磁力计)等。也可以通过无线连接925和937经由低功率无线电路924或高速无线电路936从移动装置990接收这种定位系统坐标。
84.根据某些示例，“应用程序(application)”或“多个应用程序(applications)”是执行在程序中定义的功能的程序。可采用不同编程语言来创建以多种方式结构化的应用中的一个或更多个，诸如面向对象的编程语言(例如，objective-c、java或c++)或过程编程语言(例如，c或汇编语言)。在具体示例中，第三方应用(例如，由不同于特定平台的供应商的实体使用android
tm
或ios
tm
软件开发包(sdk)开发的应用)可以是在移动操作系统(诸如ios
tm
、android
tm
、phone、或另一移动操作系统)上运行的移动软件。在该示例中，第三方应用可调用由操作系统提供的api呼叫，以促进本文所描述的功能。
85.ar系统中的低功率多用途相机管线
86.功耗和热运行时间是护目镜装置100/200中的难题。本公开改善了护目镜100/200的稳态功耗，以确保相机操作的“透镜观看”模式可以运行尽可能长的时间(理想地不受热约束)。这通过积极地改进相机管线、在一些实例中通过选择性地牺牲相机114a和114b的图像质量来实现，以在相机图像可具有较低分辨率并且仅由cv算法使用的实例中实现非常低的功率，诸如在用户实际上不会看到图像时—相机图像仅用于跟踪以提供增强现实体验。当护目镜装置100/200的用户希望捕获ar体验时，图像处理器912与高速处理器932协作动态地切换出此功率优化模式，进入较高功率的捕获配置，该较高功率的捕获配置对于图像质量(iq)比对于功耗更优化并且处于高功率模式。
87.为了实现这种超低功率(被称为cv优化模式)，将多个功率优化进行组合。
88.缩放传感器模式
89.相机管线的功耗随图像数据的分辨率而增加，如图9中所示，图9示出相机图像处理器912(在此也被称为图像信号处理器(isp))针对不同像素速率的功耗。图10示出了针对不同像素速率的每轨功率测量结果。
90.大多数cv算法仅需要低分辨率图像(通常为视频图形阵列(vga)-640
×
480像素)。然而，包含相机114a和114b的捕获相机通常支持高得多的分辨率图像(例如，20百万像素)。如图11所示，典型的相机管线1100将这个较高分辨率数据读出到isp中，该isp将图像缩小到所需的任何分辨率。
91.图12示出了根据本公开的相机管线1200，该相机管线1200通过在相机114a/114b本身中进行图像缩放来节省功率，并且大大地减少了通过移动行业处理器接口(mipi)线将相机图像从相机转移至运行cv算法的isp 912所需的数据量，该isp 912可以是片上系统(soc)。图像前端(ife)是进行去抖动和最小iq调谐的isp912的第一级。isp 912的缩放功能比相机的缩放功能更复杂(产生较好的图像质量)，但是cv算法通常对噪声更稳健，因此功率节省值得权衡。当用户想要捕获视频/照片时，相机模式被动态地切换到较高分辨率，并且cv算法以最少的中断运行，但是他们接收的图像现在在isp912中被缩放。
92.用于跟踪使用情况的低功率awb
93.在如图14所示的示例中，现成的3a相机(自动曝光、自动白平衡、自动对焦)以cpu利用的形式消耗大量功率。通常，良好的3a相机对于良好的图像质量是必不可少的。如图14所示，对于通常的3a架构，来自图像的统计用于配置自动白平衡色彩通道增益。如果3a相机被完全禁用，则图像质量和颜色劣化妨碍向用户显示这一点的能力，如图13所示，其中，左捕获在自动白平衡(awb)之后，并且右捕获完全禁用awb。
94.然而，可以利用cv算法，因为cv算法对噪声和轻微颜色不均匀性是稳健的，并且牺牲图像质量以节省功率。如图15所示，外部低功率光谱环境光传感器(als)1500用于向isp912提供基本色温信息，并且其指示何时白平衡增益对于isp912足够好。通过使用als1500，可以避免从图像数据本身提取附加特征的昂贵操作。当用户希望捕获ar体验时，动态地启用高功率、较iq优化的自动白平衡方案。
95.用于跟踪使用情况的低功率ae
96.类似于低功率自动白平衡，如果不必要的话，避免了高功耗、iq优化(图像质量优化)、专有自动曝光(ae)方案。采用外部als来提供能够有效计算的基本亮度信息以及基本图像属性(例如，平均像素强度)，以提供低功率自动曝光方案，如图16所示。再次，当用户请求捕获(照片或视频记录)时，启用高功率iq优化的自动曝光。
97.动态单声道(mono)到同步立体相机管线
98.相机114a/114b本身消耗巨大量的功率(相对于系统中的其他部件)。通过在不需要相机之一时关闭该相机，增强现实体验的运行时间显著增加。在不通知跟踪算法的情况下不关闭相机是重要的。同样重要的是，主相机流在关闭辅相机时不被中断，或者跟踪器将开始漂移、发散或两者。
99.背景—帧拼接/同步
100.计算机视觉算法要求来自相机114a和114b中的每一个的拼接的、同步的图像。同步是指相机114a和114b两者在大致相同的时间开始曝光的情形。这在硬件中经由两个相机之间的通用输入/输出口(gpio)来实现，以同步如图17所示的垂直同步控制信号。这通过共享由主相机驱动的引脚来完成，以同步垂直同步控制信号。
101.此外，从相机114a和114b中的每一个生成的图像帧由isp 912匹配，并且在进一步的算法处理之前被放入单个缓冲器中，如图18所示。
102.参照图19a和图19b，示出了1900处的动态单声道/立体相机管线。如图19b所示，当相机114a或114b中的一个由isp 912动态关闭，并且然后再次通电时，立体同步(共享垂直同步)也被重新启用。
103.零复制帧拼接
104.从功率的角度来看，复制高分辨率、高帧速率的图像数据是非常昂贵的操作。它通常涉及扩大ddr/cpu(中央处理单元/双数据读取)轨道的频率/电压，这导致非线性功耗增加，如图20所示，其中，功耗与ddr负载的比值在重负载下显著增加。为了减轻这种情况，将来自isp912中的最后级的图像数据输入到共享缓冲器2100中，如图21所示。这节省了来自不必要的cpu/ddr操作的大量功率，同时仍将拼接的同步图像数据提供给下游cv算法。
105.图22是示出了操作isp 912和相机管线的一个示例性算法2200的流程图2200。虽然示出为串行发生，但是图22的框可根据实现方式重新排序或并行化。
106.在框2202处，护目镜100/200的用户确定是否使用相机114a和114b在高功率高iq分辨率模式下捕获图像，诸如以提供ar体验，或在超低功率cv模式下捕获图像，以捕获低质量图像，诸如vga图像。这些相机图像在图7中被示出为图像758a和758b。isp912通过控制相机管线(诸如图19a和图19b所示的管线1900)来响应于用户的选择。
107.在框2204处，在用户选择高分辨率模式诸如以用于ar体验的情况下，isp912指示相机114a和114b以高相机功率电平捕获高分辨率的高iq图像。如果用户选择超低功率cv模式，则isp912指示相机114a和114b捕获较低质量的图像，诸如vga图像。
108.在框2206处，当选择超低功率cv模式时，相机114a和114b向isp 912提供较低质量的图像758a和758b。相机114a和114b通过在相机114a/114b本身中进行图像缩放以提供较低质量的图像(诸如vga质量)来节省显著的功率。这还大大减少了将相机图像通过移动行业处理器接口(mipi)线从相机转移至运行cv算法的isp 912所需的数据量，isp 912可以是片上系统(soc)。
109.在框2208处，isp 912在cv模式下操作。ife是isp912的第一级，它执行去抖动和最小iq调谐。isp 912的缩放功能比相机的缩放功能更复杂(产生较好的图像质量)，但是cv算法通常对噪声更稳健，因此功率节省值得权衡。在如图19b所示的cv模式下，可关闭一个相机以节省功率。如图19b所示，当相机114a或114b中的一个由isp 912动态关闭，并且然后再次通电时，立体同步(共享垂直同步)也被重新启用。如图15所示，外部低功率光谱环境光传感器(als)1500用于向isp912提供基本色温信息，并且其指示何时白平衡增益对于isp912足够好。通过使用als1500，可以避免从图像数据本身提取附加特征的昂贵操作。当用户希望捕获ar体验时，动态地启用高功率、较iq优化的自动白平衡方案。
110.在框2210处，当用户想要捕获视频/照片时，相机模式被动态地切换到较高分辨率并且cv算法以最少中断运行，但是cb算法接收的图像现在在isp 912中被缩放。
111.将理解的是，本文中所使用的术语和表达具有普通含义，如对于它们相应的相对查询和研究领域而言符合此类术语和表达，除了本文中已经另外阐述具体含义之外。诸如第一和第二等之类的关系术语可仅用来将一个实体或动作与另一个实体或动作区分开来，而不必要求或暗指这些实体或动作之间的任何实际此类关系或次序。术语“包括(comprises)”、“包括(comprising)”、“包含(includes)”、“包含(including)”或其任何其他变型旨在覆盖非排他性的包括，使得包括或包含一系列元件或步骤的过程、方法、物品或装置不仅仅包括那些元件或步骤，而且还可以包括未明确列出的或对此类过程、方法、物品或装置固有的其他元件或步骤。在没有进一步限制的情况下，前面有“一个”或“一种”的元件不排除在包括该元件的过程、方法、物品或装置中存在另外的相同元件。
112.除非另有说明，否则在本说明书(包括在以下权利要求书中)中阐述的任何和所有测量、值、评级、位置、幅值、大小、和其他规范都是近似的、不精确的。这样的量旨在具有与它们涉及的功能以及与它们所属领域常规的相一致的合理范围。例如，除非另有明确说明，参数值等可与所述量偏差多达
±
10％。
113.此外，在以上详细说明中，可以看出，出于简化本公开的目的，不同特征在不同示例中被组合在一起。本公开的该方法不应被解释为反映所要求保护的示例需要比在每个权利要求中明确陈述的特征更多的特征的意图。相反，如以下权利要求反映的，要保护的主题位于比任何单个公开的示例的所有特征少的特征中。因此，以下权利要求由此并入详细说
明中，其中每个权利要求独立地作为单独要求保护的主题。
114.虽然前述内容已描述了被认为是最佳模式和其他示例的内容，但应理解的是，可以在其中做出不同修改，并且在此公开的主题可以不同形式和示例来实现，并且它们可以应用于许多应用中，在此仅描述了其中的一些应用。所附权利要求旨在要求保护落入本概念的真实保护范围内的任何和所有修改和变化。

技术特征：
1.一种护目镜，包括：镜架；显示器，所述显示器由所述镜架支撑；多个相机，所述多个相机耦接至所述镜架并且被配置为生成图像；相机管线；电子处理器，所述电子处理器被配置为：选择性地控制所述多个相机以在高功率增强现实(ar)模式下提供具有第一分辨率的图像，并且在低功率计算机视觉(cv)模式下提供具有第二分辨率的图像，其中，所述第一分辨率高于所述第二分辨率，并且其中，所述多个相机在所述cv模式下比在所述ar模式下消耗更少的功率；控制所述相机管线以处理来自所述多个相机的第一分辨率图像，以在所述ar模式下操作；以及控制所述相机管线以处理来自所述多个相机的第二分辨率图像，以在所述cv模式下操作。2.根据权利要求1所述的护目镜，其中，所述处理器是图像处理器。3.根据权利要求1所述的护目镜，其中，所述处理器控制所述多个相机，以捕获处于所述第一分辨率的图像，并且将所述图像缩放至所述第二分辨率。4.根据权利要求1所述的护目镜，其中，所述处理器被配置为在所述cv模式下选择性地关闭所述多个相机中的第一相机。5.根据权利要求4所述的护目镜，其中，所述处理器被配置为选择性地将所述第一相机切换回开启并且使所述多个相机同步。6.根据权利要求1所述的护目镜，其中，所述护目镜还包括自动白平衡(awb)，其中，所述处理器被配置为在所述cv模式下实施所述aws。7.根据权利要求1所述的护目镜，其中，所述处理器被配置为生成拼接的同步的图像。8.根据权利要求7所述的护目镜，其中，所述处理器被配置为匹配来自所述多个相机的帧并将所述帧放入缓冲器中。9.一种操作护目镜的方法，所述护目镜包括镜架、由所述镜架支撑的显示器、耦接到所述镜架并被配置为生成图像的多个相机、相机管线以及电子处理器：选择性地控制所述多个相机以在高功率增强现实(ar)模式下提供具有第一分辨率的图像，并且在低功率计算机视觉(cv)模式下提供具有第二分辨率的图像，其中，所述第一分辨率高于所述第二分辨率，并且其中，所述多个相机在所述cv模式下比在所述ar模式下消耗更少的功率；控制所述相机管线以处理来自所述多个相机的第一分辨率图像，以在所述ar模式下操作；以及控制所述相机管线以处理来自所述多个相机的第二分辨率图像，以在所述cv模式下操作。10.根据权利要求9所述的方法，其中，所述处理器是图像处理器。11.根据权利要求9所述的方法，其中，所述处理器控制所述多个相机，以捕获处于所述第一分辨率的图像，并且将所述图像缩放至所述第二分辨率。
12.根据权利要求9所述的方法，其中，所述处理器在所述cv模式下选择性地关闭所述多个相机中的第一相机。13.根据权利要求12所述的方法，其中，所述处理器选择性地将所述第一相机切换回开启并且使所述多个相机同步。14.根据权利要求9所述的方法，其中，所述护目镜还包括自动白平衡(awb)，其中，所述处理器在所述cv模式下实施所述aws。15.根据权利要求9所述的方法，其中，所述处理器生成拼接的同步的图像。16.根据权利要求15所述的方法，其中，所述处理器匹配来自所述多个相机的帧并将所述帧放入缓冲器中。17.一种存储程序代码的非易失性计算机可读介质，护目镜具有镜架、由所述镜架支撑的显示器、耦接到所述镜架并被配置为生成图像的多个相机和相机管线，在由所述护目镜的处理器执行所述程序代码时，所述程序代码能够操作为致使所述处理器执行以下步骤：选择性地控制所述多个相机以在高功率增强现实(ar)模式下提供具有第一分辨率的图像，并且在低功率计算机视觉(cv)模式下提供具有第二分辨率的图像，其中，所述第一分辨率高于所述第二分辨率，并且其中，所述多个相机在所述cv模式下比在所述ar模式下消耗更少的功率；控制所述相机管线以处理来自所述多个相机的第一分辨率图像，以在所述ar模式下操作；以及控制所述相机管线以处理来自所述多个相机的第二分辨率图像，以在所述cv模式下操作。18.根据权利要求17所述的非易失性计算机可读介质，其中，在执行所述程序代码时，所述程序代码能够操作为致使所述处理器控制所述多个相机，以捕获处于所述第一分辨率的图像并且将所述图像缩放至所述第二分辨率。19.根据权利要求17所述的非易失性计算机可读介质，其中，所述处理器在所述cv模式下选择性地关闭所述多个相机中的第一相机，并且选择性地将所述第一相机切换回开启并且使所述多个相机同步。20.根据权利要求17所述的非易失性计算机可读介质，其中，在执行所述程序代码时，所述程序代码能够操作为致使所述处理器拼接和同步所述图像。

技术总结
一种具有图像处理器的护目镜装置，该图像处理器在用于计算机视觉(CV)的相机管线中和在增强现实(AR)系统中是可操作的。图像处理器被配置成选择性地控制多个相机，以在高功率AR模式下提供具有第一分辨率的图像，且在低功率CV模式下提供具有第二分辨率的图像。第一分辨率高于第二分辨率，并且多个相机在CV模式下比在AR模式下消耗更少的功率。图像处理器控制相机管线以处理来自多个相机的第一分辨率高图像质量(IQ)图像，以在AR模式下操作，并且控制相机管线以处理来自多个相机的第二分辨率低IQ图像，以在CV模式下操作。在CV模式下，通过使用相机本身的缩放来降低图像的分辨率，节省了大量的功率。大量的功率。大量的功率。


技术研发人员：丁博 金丹
受保护的技术使用者：斯纳普公司
技术研发日：2021.09.27
技术公布日：2023/7/12