切换用于生成3D表示的操作模式的制作方法

切换用于生成3d表示的操作模式
技术领域
1.本公开整体涉及调整操作模式，并且具体地讲，涉及调整用于生成三维(3d)表示的操作模式的系统、方法和设备。


背景技术：

2.各种技术用于使用电子设备来生成和呈现物理环境的三维(3d)表示。然而，扫描物理环境的场景以进行3d重建在计算上是昂贵的。通常以高频率执行扫描以使得电子设备可准确地重新创建场景。另外，当设备正在扫描先前重建的区域时，可能发生冗余，并且由于对冗余扫描执行后续处理，维持高频率扫描将导致附加的浪费资源。


技术实现要素：

3.本文所公开的各种具体实施包括在发现模式和监测模式之间切换三维(3d)重建过程模式(例如，切换操作模式)的设备、系统和方法。切换3d重建过程模式可基于检测在当前视图/传感器数据中是否存在尚未重建的某物或改变的某物和/或用户正在做什么。另外，切换3d重建处理模式可基于系统约束。例如，在系统超控期间避免系统关闭。模式确定可传播到用于提供扩展现实(xr)环境的上游资源(例如，传感器和输入算法诸如分割算法)和/或下游资源(例如，平面检测算法)。
4.一般而言，本说明书中描述的主题的一个创新方面可体现在包括以下动作的方法中：在具有处理器和一个或多个传感器的电子设备处，在物理环境中由该一个或多个传感器采集传感器数据，以及在不同时间段期间根据多个操作模式中的第一操作模式和第二操作模式操作该设备。在该第一操作模式中，该设备基于该传感器数据生成该物理环境的三维(3d)表示，并且该设备监测一个或多个状况以切换到该第二操作模式。在该第二操作模式中，该设备监测该一个或多个状况以切换到该第一操作模式并且以与该第一操作模式不同的方式生成该3d表示。
5.这些实施方案和其他实施方案均可任选地包括以下特征中的一个或多个特征。
6.在一些方面中，根据第一操作模式或第二操作模式操作设备基于一个或多个参数，其中切换到第一操作模式或切换到第二操作模式基于确定一个或多个参数已改变或存在新参数。
7.在一些方面中，确定一个或多个参数已改变或存在新参数基于跟踪对象的视点或姿态、根据对象的当前视点/姿态呈现对象的3d表示的视图，并且将当前传感器数据与所呈现的视图进行比较。
8.在一些方面中，将当前传感器数据与所呈现的视图进行比较包括比较深度图像。在一些方面中，将当前传感器数据与所呈现的视图进行比较包括确定差异阈值量。在一些方面中，将当前传感器数据与所呈现的视图进行比较基于相对于设备的距离阈值。
9.在一些方面中，第一操作模式比第二操作模式使用更多的资源。在一些方面中，切换到第一操作模式或切换到第二操作模式基于系统约束。
10.在一些方面中，第一操作模式以比第二操作模式更高的频率生成3d表示。在一些方面中，3d表示在第二操作模式中不进行更新或者以比第一操作模式中的频率更低的频率进行更新。
11.在一些方面中，切换到第一操作模式或切换到第二操作模式改变上游传播的一个或多个参数。在一些方面中，切换到第一操作模式或切换到第二操作模式改变下游传播的一个或多个参数。
12.一般而言，本说明书中描述的主题的一个创新方面可体现于包括以下动作的方法中：在具有处理器的电子设备处，使用包括经由一个或多个输入-输出依赖性彼此相关的子过程的扩展现实(xr)过程来提供xr环境，确定设备的使用改变子过程中的第一子过程的当前输入-输出依赖性要求，以及基于对第一子过程的当前输入-输出依赖性要求的改变而更改第一子过程的操作模式。更改操作模式会减小或增加由第一子过程利用以满足第一子过程的当前输入-输出依赖性的资源。
13.这些实施方案和其他实施方案均可任选地包括以下特征中的一个或多个特征。
14.在一些方面中，第一子过程的当前输入-输出依赖性要求基于消费者驱动的资源使用要求。在一些方面中，第一子过程的当前输入-输出依赖性要求基于输入驱动的资源使用要求。
15.在一些方面中，第一子过程是3d重建。在一些方面中，第一子过程基于深度信息。在一些方面中，第一子过程基于属性信息。在一些方面中，第一子过程基于深度估计。在一些方面中，第一子过程基于光估计。在一些方面中，第一子过程产生场景图。在一些方面中，第一子过程基于空间、材料或对象类型信息产生声学效果。
16.根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序。该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。
附图说明
17.因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
18.图1是根据一些具体实施的物理环境的示例性操作环境。
19.图2是根据一些具体实施的基于设备的定位的图1的物理环境的三维(3d)表示数据的示例性生成的系统流程图，该设备的定位基于由设备采集的深度数据。
20.图3是根据一些具体实施的基于用于在两个或更多个操作模式之间操作的3d重建切换指令集的物理环境的3d表示数据的示例性生成的系统流程图。
21.图4a示出了根据一些具体实施的基于以发现重建模式操作的示例性3d重建过程。
22.图4b示出了根据一些具体实施的基于以监测重建模式操作的示例性3d重建过程。
23.图5是根据一些具体实施的在用于基于传感器数据生成3d表示数据并监测一个或
多个状况的两个或更多个操作模式之间操作的示例性方法的流程图表示。
24.图6示出了根据一些具体实施的用于生成和细化3d网格重建的示例性方法的输入-输出依赖性的图表。
25.图7是根据一些具体实施的基于对输入-输出依赖性要求的改变而更改子过程的操作模式的示例性方法的流程图表示。
26.图8是根据一些具体实施的示例性设备。
27.根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
具体实施方式
28.描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
29.图1是根据一些具体实施的示例性操作环境100的简化图。在该示例中，示例性操作环境100示出了包括对象130、桌子140和椅子142的示例性物理环境105。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。
30.在一些具体实施中，设备110被配置为向用户102呈现环境。在一些具体实施中，设备110是手持式电子设备(例如，智能电话或平板电脑)。在一些具体实施中，用户102在他/她的头部上穿戴设备110(例如，头戴式设备(hmd))。这样，设备110可包括被提供用于显示内容的一个或多个显示器。设备110可包围用户102的视场。
31.在一些具体实施中，设备110的功能由多于一个设备提供。在一些具体实施中，设备110与单独的控制器或服务器通信以管理和协调用户的体验。此类控制器或服务器可以相对于物理环境105是本地的或远程的。
32.图2是根据一些具体实施的用于基于设备的定位来生成物理环境的三维(3d)表示数据的示例性环境200的系统流程图，该设备的定位基于由设备采集的深度数据。在一些具体实施中，示例性环境200的系统流程在设备(例如，图1的设备110)诸如移动设备、台式电脑、膝上型电脑或服务器设备上执行。在一些具体实施中，示例性环境200的系统流程在处理逻辑部件(包括硬件、固件、软件或它们的组合)上执行。在一些具体实施中，在执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器上执行示例性环境200的系统流程。
33.示例性环境200的系统流程利用多个传感器210来采集物理环境(例如，图1的物理环境105)的光强度图像数据203(例如，诸如来自光强度相机202的rgb的实况相机馈送)、深度图像数据205(例如，诸如来自深度相机204的rgb-d的深度图像数据)、运动数据207(例如，来自运动传感器206的运动轨迹数据)，采集定位信息(例如，vio模块220基于光强度图像数据203来确定vio数据)，评估深度数据205和运动数据207以确定设备的定位数据232
(例如，定位指令集230)，并且根据所采集的传感器数据(例如，光强度图像数据、深度数据等)并根据定位数据232(例如，3d表示指令集240)生成3d表示数据246。在一些具体实施中，与使用vio系统(例如，vio模块220)相反，可采集其他物理环境信息源(例如，相机定位信息，诸如来自位置传感器的位置和取向数据)。
34.在一个示例性具体实施中，环境200包括采集或获得物理环境的数据(例如，来自图像源的图像数据、运动数据等)的图像合成流水线。示例性环境200是采集多个图像帧的图像传感器数据(例如，光强度数据、深度数据和运动数据)的示例。例如，如示例性环境214所示，用户正在房间中四处行走，从而从传感器210采集传感器数据。图像源可包括采集光强度图像数据203(例如，rgb图像帧序列)的光强度相机202(例如，rgb相机)、采集深度数据205的深度相机204和采集运动数据207的运动传感器206。
35.对于定位信息，一些具体实施包括vio系统(例如，vio模块220)以使用顺序相机图像(例如，光强度图像数据203)来确定等效测距信息(例如，vio数据222)以便估计行进的距离。另选地，本公开的一些具体实施可包括同时定位和标测(slam)系统(例如，传感器210内的位置传感器)。该slam系统可包括独立于gps并且提供实时同时定位与映射的多维(例如，3d)激光扫描和范围测量系统。该slam系统可生成并管理由来自环境中对象的激光扫描的反射而产生的非常准确的点云数据。随着时间推移，准确地跟踪点云中的任何点的移动，使得slam系统可使用点云中的点作为位置的参考点，在其行进通过环境时保持对其位置和取向的精确理解。
36.在一个示例性具体实施中，环境200包括平面检测/提取指令集，该平面检测/提取指令集被配置有可由处理器执行以获得传感器数据(例如，诸如稀疏数据图的深度数据205和诸如运动轨迹数据的运动数据207)的指令，并且使用本文所公开的技术中的一者或多者来确定相对于物理环境的平面提取信息。例如，可通过平面检测/提取指令集来检测水平平面(例如，椅子142的座位)。水平平面信息可包括平面参数信息，诸如平面法线矢量、距离数据、平面上的每个检测点的3d坐标等。
37.在一个示例性具体实施中，环境200还包括定位指令集230，该定位指令集被配置有可由处理器执行以使用一种或多种技术来获得传感器数据(例如，rgb数据203、深度数据205等)并跟踪移动设备(例如，设备110)在3d坐标系中的位置的指令。例如，定位指令集230利用来自深度相机204(例如，渡越时间传感器)的稀疏深度图、平面提取数据(例如，平面估计参数)和其他物理环境信息源(例如，相机定位信息诸如来自vio模块220的vio数据222、或相机的slam系统等)来分析来自光强度相机202的rgb图像以通过跟踪用于3d重建的设备位置信息(例如，表示图1的物理环境的3d模型)来生成定位数据232。
38.在一个示例性具体实施中，环境200还包括3d表示指令集240，其被配置有可由处理器执行以使用一种或多种技术来获得传感器数据(例如，rgb数据203、深度数据205等)和来自定位指令集230的定位数据232并且生成3d表示数据246的指令。例如，3d表示指令集240利用来自深度相机204(例如，渡越时间传感器、被动或主动立体声传感器诸如结构化光深度相机等)的稀疏深度图和其他物理环境信息源(例如，相机定位信息诸如来自vio模块220的vio数据222、或相机的slam系统等)来分析来自光强度相机202的rgb图像以生成3d表示数据246(例如，表示图1的物理环境的3d模型)。
39.3d表示数据246可以是使用具有相关联语义标签的3d点云来表示3d环境中的表面
的3d表示。在一些具体实施中，3d表示数据246可被存储为体积表示和/或占用图。3d表示可以是针对每个检测到的感兴趣对象(诸如对象130、桌子140和椅子142)的3d边界框。在一些具体实施中，3d表示数据246是使用基于在物理环境中检测到的深度信息的网格化算法来生成的3d重建网格，该深度信息被整合(例如，融合)以重新创建物理环境。网格化算法(例如，双行进立方体网格化算法、泊松网格化算法、四面体网格化算法等)可用于生成表示房间(例如，物理环境105)和/或房间内的对象(例如，对象130、桌子140、椅子142等)的网格。在一些具体实施中，对于使用网格的3d重建，可使用体素散列方法，其中3d空间被分成体素块，由散列表使用其3d位置作为键来引用。
40.在一些具体实施中，3d表示指令集240包括集成指令集(例如，集成/分割模块242)，该集成指令集被配置有由处理器执行以使用一种或多种已知技术来获得图像数据的子集(例如，光强度数据203、深度数据205等)和定位信息(例如，来自vio模块220的相机姿态信息)并且对该图像数据的子集进行集成(例如，融合)的指令。例如，图像集成指令集从图像源(例如，光强度相机202和深度相机204)接收深度图像数据205的子集(例如，稀疏深度数据)和强度图像数据203的子集(例如，rgb)，并且对图像数据的子集进行集成并生成3d数据。该3d数据可包括发送到3d表示指令集240的密集的3d点云(例如，对象周围的多个图像帧的不完美深度图和相机姿态)。也可将3d数据体素化。
41.在一些具体实施中，3d表示指令集240包括语义分割指令集(例如，集成/分割模块242)，该语义分割指令集被配置有可由处理器执行以使用一种或多种已知技术来获得光强度图像数据的子集(例如，光强度数据203)并且识别和分割墙体结构(墙、门、窗等)以及对象(例如，人、桌子、茶壶、椅子、花瓶等)的指令。例如，分割指令集从图像源(例如，光强度相机202)接收强度图像数据203的子集，并且生成分割数据(例如，语义分割数据，诸如rgb-s数据)。在一些具体实施中，分割指令集使用机器学习模型，其中语义分割模型可被配置为识别图像数据的像素或体素的语义标记。在一些具体实施中，机器学习模型是神经网络(例如，人工神经网络)、决策树、支持向量机、贝叶斯网络等。
42.在一个示例性具体实施中，环境200还可包括利用3d表示数据的后处理或下游过程。后处理可进一步细化3d表示数据，或者可将数据用于不同的目的/任务(例如，场景图、环境光估计、身体跟踪等)。后处理或下游处理技术在本文中进一步描述。
43.图3是根据一些具体实施的其中系统可基于用于在两个或更多个操作模式之间操作的3d重建切换指令集来生成物理环境的3d表示数据的示例性环境300的系统流程图。在一些具体实施中，示例性环境300的系统流程在设备(例如，图1的设备110)诸如移动设备、hmd、台式电脑、膝上型电脑或服务器设备上执行。在一些具体实施中，示例性环境300的系统流程在处理逻辑部件(包括硬件、固件、软件或它们的组合)上执行。在一些具体实施中，在执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器上执行示例性环境300的系统流程。
44.示例性环境300示出了用于经由3d重建切换指令集330在3d重建算法的发现模式和监测模式之间切换以实现最佳性能的系统。在发现模式中(例如，经由发现模式3d重建指令集340)，以正常频率执行扫描，但是当3d重建切换指令集330识别出它正在重建已经重建的场景时，3d重建切换指令集330可修改重建场景的频率(例如，经由监测模式3d重建指令集350)，并且修改相关过程的频率(例如，经由切换模式指令332到上游和下游过程)以节省
功率而不牺牲3d重建性能。例如，发现模式3d重建指令集340包括3d重建算法，其可例如在发现模式中以10hz运行，并且在确定系统正在重建已经重建的场景时例如在监测模式中将频率修改为1hz。在本文中参考图4进一步示出了上游和下游过程的控制。
45.示例性环境300的系统流程从物理环境(例如，图1的物理环境105)的传感器采集传感器数据312，并且基于发现模式或监测模式来生成3d表示数据，如由3d重建切换指令集330确定的。另外，系统流程评估3d表示数据，将3d表示数据存储在3d表示数据库380中，并且确定和发送针对上游和下游过程的处理速率的指令。
46.在一个示例性具体实施中，环境300包括采集或获得物理环境的数据(例如，来自传感器310的传感器数据312)的图像合成流水线。示例性环境300是采集多个图像帧的图像传感器数据(例如，光强度数据、深度数据和位置信息)的示例，如本文参考图2的示例性环境200讨论的。例如，如示例性环境214所示，用户正在房间中四处行走，从而从传感器210采集传感器数据。图像源可包括采集光强度图像数据203(例如，rgb图像帧序列)的光强度相机202(例如，rgb相机)、采集深度数据205的深度相机204和采集运动数据207的运动传感器206。
47.在一个示例性具体实施中，环境300包括3d表示指令集320，其被配置有可由处理器执行以基于用于在两个或更多个操作模式之间操作的3d重建切换指令集来生成物理环境的3d表示数据的指令。3d表示指令集320包括3d重建指令集325、3d重建切换指令集330、发现模式3d重建指令集340和监测模式3d重建指令集350。3d重建指令集325接收来自传感器310的传感器数据312和来自预处理指令集360的预处理数据362(例如，深度处理信息、分割数据等)。3d重建指令集325然后基于传感器数据312和预处理数据362来生成物理环境的重建数据326的第一集合。3d重建指令集325然后将重建数据326发送到3d重建切换指令集330。
48.在接收到重建数据326(例如，来自初始重建)之后，3d重建切换指令集330从3d重建数据库380请求先前重建的3d表示数据382(如果可用的话)以确定用于继续执行重建的操作模式。例如，如果在新环境中或者在包括尚未重建的若干区域的环境中，则3d重建切换指令集330经由发现模式3d重建指令集340发起发现模式(例如，正常功率模式)。发现模式3d重建指令集340然后以特定频率生成3d表示数据342。例如，发现模式重建(例如，如果被确定为处于尚未被重建的环境中)可以10hz的操作频率生成重建。
49.在一些具体实施中，如果3d重建切换指令集330确定针对物理环境的当前视图完成(或几乎完成)从3d重建指令集330获得的重建数据326，则3d重建切换指令集325经由监测模式3d重建指令集350发起监测模式(例如，低功率模式)。监测模式3d重建指令集350然后以较低特定频率生成3d表示数据352。例如，如果其被确定处于已经重建的环境中(例如，经由所接收的3d表示数据382)，则监测模式重建可以诸如1hz的较低操作频率生成重建。
50.另选地，在一些具体实施中，系统可最初从另一个源(例如，存储在3d表示数据库380中)获得3d表示数据，并且不执行3d重建或经由监测模式以低功率模式执行3d重建。例如，用户的起居室可能已经被扫描和重建，因此当前系统不需要连续地重建起居室。另选地，如果用户需要四处移动到不同房间，或者如果家具在观看期间在房间内四处移动(例如，附加人进入物理房间)，则3d重建切换指令集330可切换到发现模式，实时地生成和更新3d表示数据。
51.在一个示例性具体实施中，环境300包括预处理指令集360和3d后处理指令集370。当在发现模式和监测模式之间切换时，3d重建切换指令集330可向3d重建流水线内的不同过程发送切换模式指令332。例如，上游指令334可被发送到预处理指令集360和传感器310以在如果从发现模式切换到监测模式时减慢处理性能(例如，10hz到1hz)，或在如果从监测模式切换到发现模式时增加处理性能(例如，1hz到10hz)。类似地，下游指令336可被发送到3d后处理指令集370以在如果从发现模式切换到监测模式时减慢处理性能，或在如果从监测模式切换到发现模式时增加处理性能。在本文中参考图4a和图4b进一步示出了上游和下游过程的控制。
52.图4a示出了根据一些具体实施的基于以发现重建模式操作的3d重建过程的示例性环境400a。示例性环境400的系统流程首先从物理环境(例如，图1的物理环境105)的传感器采集传感器数据。例如，可采集来自传感器1 402和传感器2 403的传感器数据，该传感器数据可包括来自光强度相机的rgb数据、深度数据、超声数据、气味数据等。另外，可从深度相机1 404和深度相机2 405采集深度数据。然后预处理算法利用传感器数据来处理以进行3d重建。例如，场景属性提取模块410和场景属性提取模块412采集传感器数据并执行分割过程，并且分别经由缓冲器411和缓冲器413将分割数据发送到重建(模式改变)模块420。另外，深度处理模块414采集深度数据，并且经由缓冲器415将所确定的深度资源数据发送到重建(模式改变)模块420以生成3d重建数据。重建(模式改变)模块420然后生成各种3d表示，诸如3d表示1 422(例如，网格数据)和3d表示2 424(例如，平面数据)。然后将3d重建数据发送到后处理模块。例如，可将3d表示1 422(例如，网格数据)发送到后处理算法1模块430和后处理算法2模块432，并且可将平面数据发送到后处理算法3模块434。在示例性具体实施中，重建(模式改变)模块420可包括3d表示指令集320，其可包括3d重建切换指令集330、发现模式3d重建指令集340和监测模式3d重建指令集350，如本文参考图3所讨论的。
53.重建(模式改变)模块420可以10hz从上游模块(例如，重建(模式改变)模块420左侧的模块)请求资源，使得重建(模式改变)模块420可以10hz生成环境的3d表示。下游过程(例如，重建(模式改变)模块420右侧的模块)也在发现模式期间以10hz操作以进一步处理3d表示数据。例如，以较高频率(例如，10hz)操作可用于实现适合于在操作期间的实时场景理解的重建频率。然而，当重建(模式改变)模块420确定其已经重建先前已重建的场景时，重建(模式改变)模块420(例如，经由3d重建切换指令集330)可切换到监测模式，其中该重建(模式改变)模块减少其重建场景的频率(1hz)。重建(模式改变)模块420可传播对下游过程的请求频率以及操作频率的减少。这将节省功率而不牺牲重建准确度。参考图4b进一步讨论了较低功率模式(例如，监测模式)。
54.图4b示出了根据一些具体实施的基于以监测重建模式操作的3d重建过程的示例性环境400b。环境400b包括与本文参考图4a的环境400a所描述的部件和过程相同的部件和过程，然而，环境400b的处理功率已针对上游和下游模块中的若干者节流到较低功率状态(例如，如图所示的10hz到1hz)。例如，基于接收数据诸如先前重建数据(例如，来自3d表示数据库380的3d表示数据382)，3d重建切换指令集330被确定为经由监测模式3d重建集350以较低功率模式重建场景。
55.在一些具体实施中，在监测模式(例如，较低功率模式)中，系统可减小需要的输入并且停止运行一些其他算法和/或停止相机或减小帧速率。处理的减小或停止可在整个系
统中传播(上游和下游)。例如，后处理算法可使用环境的3d信息来运行环境照明的检测，该环境照明取决于由重建(模式改变)模块420生成的3d表示中的一者。在整个3d重建过程中传播较低功率模式可提供功率节省和优化以使用较少计算，因为物理环境在先前重建的房间(例如，用户的起居室，其中他们通常与hmd接合)的扫描期间的大部分时间可能不改变。
56.在一些具体实施中，可从设备获得位置数据以便确定限制在与设备相距的特定半径(例如，5米)内生成当前3d网格并且从当前视点呈现(例如，生成3d表示数据)以获得深度图。然后可将深度图与当前传感器数据(网络输入原始传感器数据—例如，密集深度图)进行比较。如果比较导致大于特定阈值的差异，则可确定物理环境中的某物已改变(例如，新对象)或当前重建信息可能需要进行更新(例如，椅子的尺寸不准确)。在一些具体实施中，监测模式可获得单个帧(例如，深度和rgb数据)并且将其融合到跨帧保持的稀疏网格中。然后，如果用户的视图正在观看特定区域持续某个时间段(例如，3秒或更长)，并且如果在该时间段内一致地检测到差异，则可确定在环境中存在变化，而不仅是噪声，并且因此3d重建切换指令集330可确定切换到发现模式(例如，经由发现模式3d重建集340)。在监测模式期间还可利用掩蔽数据以确保走到视图中的新对象(例如，宠物或另一个人)不会触发发现模式。这些类型的掩蔽算法(例如，遮挡算法)是可在重建过程期间获得的预处理信息的示例。例如，如图3所示，预处理指令集360向3d表示指令集320的重建过程提供预处理数据362(例如，掩蔽数据、分割数据等)。
57.图5是根据一些具体实施的在用于基于传感器数据生成3d表示数据并监测一个或多个状况的两个或更多个操作模式之间操作的示例性方法500的流程图表示。在一些具体实施中，方法500由设备(例如，图1的设备110)执行，诸如移动设备、hmd、台式计算机、膝上型电脑或服务器设备。在一些具体实施中，方法500由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法500由执行存储在非暂态计算机可读介质(例如，存储器)中的一个或多个指令集的处理器执行。
58.在框502处，方法500在物理环境中由设备的一个或多个传感器采集传感器数据。传感器数据可包括光强度图像数据(例如，rgb图像帧的序列)。传感器数据还可包括从深度传感器采集的深度数据(例如，反射率数据)(例如，来自lidar传感器、渡越时间传感器、基于ir的深度传感器等的深度传感器数据)。例如，用户可使用设备上的传感器(例如，相机)来采集物理环境(例如，图1的物理环境105)的图像数据。
59.在框504处，方法500通过根据第一操作模式基于传感器数据生成物理环境的3d表示而在第一时间段期间根据第一操作模式基于传感器数据操作设备，并且监测一个或多个状况。例如，可基于传感器数据来生成物理环境的3d重建。3d表示可以是3d模型(例如，3d网格表示、具有相关联的语义标记的3d点云等)。在一些具体实施中，生成3d表示可包括计算机视觉深度分析。
60.在一些具体实施中，第一操作模式可以是如本文所讨论的用于3d重建的发现模式(例如，图3的发现模式3d重建指令集340)。例如，以较高计算水平(例如，10hz)生成物理环境的3d表示，因为场景是新的或者对于设备而言是未知的(例如，在持续一定时间段的扫描期间，针对特定区域没有发现先前3d表示数据)。
61.在一些具体实施中，时间段可以是显式用户扫描(例如，由扫描时的用户输入(诸如开/关操作)引导)或发生后台扫描期间的用户参与的xr活动(例如，楼层标测应用)。
62.在框506处，方法500基于一个或多个状况确定切换到第二操作模式，并且在框508处，方法500在第二时间段期间根据第二操作模式操作设备并且监测一个或多个状况。在一些具体实施中，第二操作模式可以是如本文所讨论的用于3d重建的监测模式(例如，较低功率模式)(例如，图3的监测模式3d重建指令集350)。例如，以较低计算水平(例如，1hz)生成物理环境的3d表示，因为场景被确定为之前已经由设备重建(例如，在持续一定时间段的扫描期间，针对特定区域发现了先前3d表示数据，并且将其存储在3d表示数据库380中)。另选地，第二操作模式可扫描环境，但不生成3d表示。例如，代替重新生成或更新3d表示的相同区域(例如，以低速率)，第二操作模式可仅包括扫描特征，并且在扫描期间不生成3d表示数据，直到满足一个或多个状况并且过程切换回到发现模式。
63.在框510处，方法500基于一个或多个状况确定切换到第一操作模式，并且然后返回到框504，其中方法500根据第一操作模式操作设备并且监测一个或多个状况。例如，在3d网格重建算法协议期间，系统将基于一个或多个状况在第一操作模式和第二操作模式之间自动地来回切换。例如，如果用户正在扫描房间，则系统将在其被确定为物理环境中的新区域、当前视图/传感器数据中改变的某物、或其他状况(例如，用户移动/输入、或系统约束，即在系统超控以避免关闭期间)时增加3d重建处理(例如，发现模式)。
64.在一些具体实施中，第一操作模式比第二操作模式使用更多的资源(例如，计算、功率、其他算法等)。在一些具体实施中，第一操作模式以比第二操作模式更高的频率生成3d表示。例如，与在第二操作模式(例如，监测模式)中以1hz的频率生成3d重建相比，在第一操作模式(例如，发现模式)中可以10hz的频率进行3d重建生成。在一些具体实施中，3d表示在第二操作模式中不进行更新或以比第一操作模式中的频率更低的频率进行更新(例如，在发现模式中的10hz对比在监测模式中的1hz)。
65.在一些具体实施中，根据第一操作模式或第二操作模式操作设备基于一个或多个参数，其中切换到第一操作模式或切换到第二操作模式基于确定一个或多个参数已改变或存在新参数。
66.在一些具体实施中，确定一个或多个参数已改变或存在新参数基于跟踪对象的视点或姿态、根据对象的当前视点/姿态呈现对象的3d表示的视图，并且将当前传感器数据与所呈现的视图进行比较。在一些具体实施中，将当前传感器数据与所呈现的视图进行比较包括比较深度图像。
67.在一些具体实施中，将当前传感器数据与所呈现的视图进行比较包括确定差异阈值量。例如，掩模数据可用于移除走过的宠物，从而在扫描期间创建3d表示与当前传感器数据之间的一些差异。阈值可被设置为例如10％的差异，并且如果差异被确定为高于10％的设定阈值，则操作模式可被切换到发现模式以更新3d表示。
68.在一些具体实施中，将当前传感器数据与所呈现的视图进行比较基于相对于设备的距离阈值。例如，比较与设备相距的五米范围内的数据。
69.在一些具体实施中，切换到第一操作模式或切换到第二操作模式基于确定场景理解。例如，基于对用户和/或物理环境的分析来确定用户在扫描期间正在做什么。在一些具体实施中，切换到第一操作模式或切换到第二操作模式基于系统约束。例如，在系统超控期间，可切换操作模式以避免关闭。
70.在一些具体实施中，切换到第一操作模式或切换到第二操作模式改变上游传播的
一个或多个参数。例如，减少或增加来自作为重建算法的输入的算法(诸如场景/场景属性提取和深度处理算法)的请求频率。
71.在一些具体实施中，切换到第一操作模式或切换到第二操作模式改变下游传播的一个或多个参数。例如，减少或增加对于作为重建算法的输出的算法(诸如环境光估计和/或场景图算法)的操作频率。
72.在一些具体实施中，3d表示是呈现给用户的计算机生成现实(cgr)环境。在一个示例中，当穿戴hmd时，观看虚拟屏幕的整个体验在完全沉浸式cgr环境内。在一些具体实施中，图形环境是向用户呈现的混合现实(mr)体验。例如，屏幕是虚拟的并且来自虚拟屏幕的对应照明是虚拟的，但剩余环境是物理环境，来自视频透视(例如，其中物理环境由相机捕获并且与附加内容一起显示在显示器上)或者来自光学透视(例如，其中物理环境被直接观看或者通过玻璃观看并且被补充有所显示的附加内容)。
73.图6示出了根据一些具体实施的用于生成和细化3d网格重建的示例性方法的输入-输出依赖性的图表600。在示例性实施方案中，网格重建模块610可从若干输入子过程接收数据。例如，世界跟踪模块602可向网格重建模块610提供物理环境中的跟踪信息。场景属性提取模块604可向网格重建模块610提供与每个对象的物理特性相关的信息。场景属性提取模块606可向网格重建模块610提供分割数据(例如，语义数据，诸如标记为椅子、桌子、地板等的数据点)。深度处理模块608可将来自深度相机的经处理的深度信息提供给网格重建模块610。
74.另外，在示例性实施方案中，网格重建模块610的输出可由若干子过程用于后处理。例如，网格重建模块610的输出(例如，3d点云、3d网格等)可被提供给用户身体跟踪模块612以辅助跟踪该用户或场景中的另一个用户的身体。例如，网格重建模块610的输出可被提供给后处理模块614以辅助跟踪用户运动。重建模块610的输出可被提供给后处理模块616以更新物理环境的场景图(例如，由表示对象以及这些对象之间的关系的节点和连接这些节点的线组成的一般数据结构)。重建模块610的输出可被提供给后处理模块618(诸如光估计模块)以确定环境的照明特性并且相应地更新重建。
75.图7是根据一些具体实施的基于对输入-输出依赖性要求的改变而更改子过程的操作模式的示例性方法700的流程图表示。在一些具体实施中，方法700由设备(例如，图1的设备110)执行，诸如移动设备、hmd、台式计算机、膝上型电脑或服务器设备。在一些具体实施中，方法700由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法700由执行存储在非暂态计算机可读介质(例如，存储器)中的一个或多个指令集的处理器执行。
76.在框702处，方法700使用包括经由一个或多个输入-输出依赖性彼此相关的子过程的xr过程来提供扩展现实(xr)环境。例如，过程d输入过程a和b的输出并且产生由过程c和e使用的输出。
77.在框704处，方法700确定设备的使用改变子过程中的第一子过程的当前输入-输出依赖性要求。例如，用户打开新应用程序、发起新活动、改变环境等。
78.在框706处，方法700基于对第一子过程的当前输入-输出依赖性要求的改变而更改第一子过程的操作模式。在一些具体实施中，更改操作模式会减小或增加由第一子过程利用以满足第一子过程的当前输入-输出依赖性的资源。
79.在一些具体实施中，第一子过程的当前输入-输出依赖性要求基于消费者驱动的资源使用要求。例如，每个算法可具有n个模式，并且可以是消费者驱动的，并且如果用户做了改变使用中的算法并改变对一个或多个算法的要求的某事，则基于所需要的内容进行适配。另外地或另选地，在一些具体实施中，第一子过程的当前输入-输出依赖性要求基于输入驱动的资源使用要求。例如，算法可基于输入频率来更新其相应的处理要求(例如，如果所获得的深度数据是以90hz，则可以90hz更新抠图系数)。
80.在一些具体实施中，第一子过程是3d重建。第一子过程可基于深度信息。在一些具体实施中，第一子过程基于深度估计和/或光估计。在一些具体实施中，第一子过程基于属性信息。例如，第一子过程可涉及基于物理环境的属性来分割物理环境的对象、材料和/或场景信息。
81.在一些具体实施中，第一子过程产生场景图。在一些具体实施中，第一子过程基于空间、材料或对象类型信息产生场景信息。例如，如图6中针对网格重建模块610说明，若干输入子过程可产生由网格重建模块610(例如，世界跟踪模块602、场景属性提取模块604、场景属性提取模块606及/或度量深度模块608)使用的信息。另外，网格重建模块610的输出可由用于后处理的若干子过程使用，诸如后处理模块612、614、616和618(例如，跟踪模块、运动捕获模块、场景图模块、环境光估计模块等)。
82.在一些具体实施中，子过程中的一者或多者包括依赖性要求，该依赖性要求包括递归功能。例如，输入-输出依赖性中的一者或多者可基于来自一个或多个子过程的递归输出。例如，给定针对t的重建算法a，通过取每个树ti并且重复地用标记有算法a的输出的单个叶子替换t的最底部副本，直到仅保留根，可递归地为所有ti创建重建算法。
83.图8是示例性设备800的框图。设备800示出了图1的设备110的示例性设备配置。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备800包括一个或多个处理单元802(例如，微处理器、asic、fpga、gpu、cpu、处理核心等)、一个或多个输入/输出(i/o)设备和传感器806、一个或多个通信接口808(例如，usb、firewire、thunderbolt、ieee 802.3x、ieee 802.11x、ieee 802.16x、gsm、cdma、tdma、gps、ir、bluetooth、zigbee、spi、i2c和/或相似类型的接口)、一个或多个编程(例如，i/o)接口810、一个或多个显示器812、一个或多个面向内部和/或面向外部的图像传感器系统814、存储器820以及用于互连这些部件和各种其他部件的一条或多条通信总线804。
84.在一些具体实施中，一条或多条通信总线804包括互连和控制系统部件之间的通信的电路。在一些具体实施中，该一个或多个i/o设备及传感器806包括以下各项中的至少一者：惯性测量单元(imu)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎或者一个或多个深度传感器(例如，结构光、渡越时间等)等。
85.在一些具体实施中，一个或多个显示器812被配置为向用户呈现物理环境或图形环境的视图。在一些具体实施中，一个或多个显示器812对应于全息、数字光处理(dlp)、液晶显示器(lcd)、硅上液晶(lcos)、有机发光场效应晶体管(olet)、有机发光二极管(oled)、表面传导电子发射器显示器(sed)、场发射显示器(fed)、量子点发光二极管(qd-led)、微机
电系统(mems)和/或类似显示器类型。在一些具体实施中，一个或多个显示器812对应于衍射、反射、偏振、全息等波导显示器。在一个示例中，设备800包括单个显示器。在另一个示例中，设备800包括针对用户的每只眼睛的显示器。
86.在一些具体实施中，该一个或多个图像传感器系统814被配置为获得对应于物理环境105的至少一部分的图像数据。例如，该一个或多个图像传感器系统814包括一个或多个rgb相机(例如，具有互补金属氧化物半导体(cmos)图像传感器或电荷耦合器件(ccd)图像传感器)、单色相机、ir相机、深度相机、基于事件的相机等。在各种具体实施中，该一个或多个图像传感器系统814还包括发射光的照明源，诸如闪光灯。在各种具体实施中，该一个或多个图像传感器系统814还包括相机上图像信号处理器(isp)，该isp被配置为对图像数据执行多个处理操作。
87.存储器820包括高速随机存取存储器，诸如dram、sram、ddr ram或其他随机存取固态存储器设备。在一些具体实施中，存储器820包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器820任选地包括与一个或多个处理单元802远程定位的一个或多个存储设备。存储器820包括非暂态计算机可读存储介质。
88.在一些具体实施中，存储器820或存储器820的非暂态计算机可读存储介质存储可选的操作系统830和一个或多个指令集840。操作系统830包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，指令集840包括由以电荷形式存储的二进制信息定义的可执行软件。在一些具体实施中，指令集840是能够由一个或多个处理单元802执行以实施本文所述技术中的一种或多种的软件。
89.指令集840包括3d表示指令集842、预处理指令集843、3d重建切换指令集844、发现模式指令集845、监测模式指令集846和/或后处理指令集847。指令集840可被体现为单个软件可执行文件或多个软件可执行文件。
90.3d表示指令集842(例如，图3的3d表示指令集320)可由处理单元802执行以生成3d表示数据(例如，图3的3d表示数据342或352)。例如，3d表示指令集842使用本文描述的技术来获得传感器数据(例如，物理环境(诸如图1的物理环境105)的传感器数据312)并且生成3d表示数据(例如，3d网格表示、具有相关联的语义标签的3d点云等)。
91.3d表示指令集842可包括使用本文描述的技术的预处理指令集843(例如，诸如分割模块的预处理算法)、3d重建切换指令集844(例如，3d重建切换指令集330)、发现模式指令集845(例如，发现模式3d重建指令集340)、监测模式指令集846(例如，监测模式3d重建指令集350)和/或后处理指令集847(例如，诸如光估计、身体跟踪和类似后处理模块的后处理算法)。
92.尽管指令集840被示出为驻留在单个设备上，但应当理解，在其他具体实施中，元件的任何组合可位于单独的计算设备中。此外，图8更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。指令集的实际数量以及如何在其中分配特征将根据具体实施而变化，并且可以部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
93.返回到图1，物理环境是指人们在没有电子设备帮助的情况下能够对其感测和/或
与其交互的物理世界。物理环境可包括物理特征，诸如物理表面或物理对象。例如，物理环境对应于包括物理树木、物理建筑物和物理人的物理公园。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。相反，扩展现实(xr)环境是指人们经由电子设备感测和/或交互的完全或部分模拟的环境。例如，xr环境可包括增强现实(ar)内容、混合现实(mr)内容、虚拟现实(vr)内容等。在xr系统的情况下，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在xr系统中模拟的一个或多个虚拟对象的一个或多个特征。例如，xr系统可以检测头部移动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。又如，xr系统可以检测呈现xr环境的电子设备(例如，移动电话、平板电脑、膝上型电脑等)的移动，并且作为响应，以类似于此类视图和声音在物理环境中将如何改变的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，xr系统可响应于物理运动的表示(例如，声音命令)来调节xr环境中图形内容的特征。
94.有许多不同类型的电子系统使人能够感测和/或与各种xr环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(hud)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为设计用于放置在人的眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或不具有触觉反馈的可穿戴或手持式控制器)、智能电话、平板电脑、以及台式/膝上型计算机。头戴式系统可具有集成不透明显示器和一个或多个扬声器。另选地，头戴式系统可被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、oled、led、uled、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一些具体实施中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。
95.本领域的那些普通技术人员将意识到没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。此外，其他有效方面和/或变体不包括本文所述的所有具体细节。因此，描述了若干细节以便提供对附图中所示的示例性方面的透彻理解。此外，附图仅示出了本公开的一些示例性实施方案，因此不应被视为限制。
96.虽然本说明书包含许多具体实施细节，但是这些具体实施细节不应被理解为是对任何发明或可能要求保护的内容的范围的限制，而应被理解为对特定于特定发明的特定实施方案的特征的描述。本说明书中在不同实施方案的上下文中描述的某些特征也可以在单个实施方案中组合地实现。相反地，在单个实施方案的上下文中描述的各种特征也可单独地或者以任何合适的子组合的形式在多个实施方案中实现。此外，虽然某些特征可能在上面被描述为以某些组合来起作用并且甚至最初也这样地来要求保护，但是要求保护的组合的一个或多个特征在某些情况下可从该组合中去除，并且要求保护的组合可涉及子组合或子组合的变型。
97.类似地，虽然操作在附图中以特定次序示出，但不应将此理解为要求以相继次序或所示的特定次序来执行此类操作，或者要求执行所有所示的操作以实现期望的结果。在某些情况中，多任务和并行处理可能是有利的。此外，上述实施方案中各个系统部件的划分不应被理解为在所有实施方式中都要求此类划分，并且应当理解，所述程序部件和系统可一般性地一起整合在单个软件产品中或者封装到多个软件产品中。
98.因此，已经描述了主题的特定实施方案。其他实施方案也在以下权利要求书的范围内。在某些情况下，权利要求书中所述的动作能够以不同的次序执行，并且仍能实现期望的结果。此外，附图中所示的过程未必要求所示的特定次序或者先后次序来实现期望的结果。在某些具体实施中，多任务和并行处理可能是有利的。
99.本说明书中描述的主题和操作的实施方案可在数字电子电路中或在计算机软件、固件或硬件中(包括本说明书中公开的结构及其结构等同物)或在它们中的一者或多者的组合中实现。本说明书中所述主题的实施方案可被实现为一个或多个计算机程序，即在计算机存储介质上编码的计算机程序指令的一个或多个模块，以用于由数据处理装置执行或控制数据处理装置的操作。另选地或除此之外，该程序指令可在人工生成的传播信号上被编码，例如机器生成的电信号、光信号或电磁信号，该电信号、光信号或电磁信号被生成以对信息进行编码以便传输到合适的接收器装置以供数据处理装置执行。计算机存储介质可以是计算机可读存储设备、计算机可读存储基板、随机或串行访问存储器阵列或设备，或者它们中的一者或多者的组合，或者包括在计算机可读存储设备、计算机可读存储基板、随机或串行访问存储器阵列或设备中。此外，虽然计算机存储介质并非传播信号，但计算机存储介质可以是在人工生成的传播信号中编码的计算机程序指令的源或目的地。计算机存储介质也可以是一个或多个单独的物理部件或介质(例如，多个cd、磁盘或其他存储设备)，或者包括在一个或多个单独的物理部件或介质中。
100.术语“数据处理装置”涵盖用于处理数据的所有种类的装置、设备和机器，例如包括可编程处理器、计算机、片上系统、或前述各项中的多项或组合。该装置可包括专用逻辑电路(例如，fpga(现场可编程门阵列)或asic(专用集成电路))。除了硬件之外，该装置还可包括为所考虑的计算机程序创建执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行环境、虚拟机或它们中的一者或多者的组合的代码。该装置和执行环境可实现各种不同的计算模型基础结构，诸如web服务、分布式计算和网格计算基础结构。除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“识别”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。
101.本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统，其访问存储的软件，该软件将计算系统从通用计算装置编程或配置为实现本发明主题的一种或多种具体实施的专用计算装置。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。
102.本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中
呈现的框的顺序可以变化，例如，可以将框重新排序、组合和/或分成子块。某些框或过程可以并行执行。本说明书中描述的操作可以被实施为由数据处理装置对存储在一个或多个计算机可读存储设备上或从其他源接收的数据执行的操作。
103.本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。
104.还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。
105.本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。
106.如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

技术特征：
1.一种方法，所述方法包括：在具有处理器和一个或多个传感器的设备处：在物理环境中由所述一个或多个传感器采集传感器数据；以及在不同时间段期间根据多个操作模式中的第一操作模式和第二操作模式操作所述设备，其中：在所述第一操作模式中，所述设备基于所述传感器数据生成所述物理环境的三维(3d)表示，并且所述设备监测一个或多个状况以切换到所述第二操作模式，并且在所述第二操作模式中，所述设备监测所述一个或多个状况以切换到所述第一操作模式并且以与所述第一操作模式不同的方式生成所述3d表示。2.根据权利要求1所述的方法，其中根据所述第一操作模式或所述第二操作模式操作所述设备基于一个或多个参数，其中切换到所述第一操作模式或切换到所述第二操作模式基于确定所述一个或多个参数已改变或存在新参数。3.根据权利要求2所述的方法，其中确定所述一个或多个参数已经改变或存在新参数基于：跟踪对象的视点或姿态；根据所述对象的当前视点/姿态呈现所述对象的3d表示的视图；以及将当前传感器数据与所呈现的视图进行比较。4.根据权利要求3所述的方法，其中将当前传感器数据与所呈现的视图进行比较包括比较深度图像。5.根据权利要求3所述的方法，其中将当前传感器数据与所呈现的视图进行比较包括确定差异阈值量。6.根据权利要求3所述的方法，其中将当前传感器数据与所呈现的视图进行比较基于相对于所述设备的距离阈值。7.根据权利要求1所述的方法，其中所述第一操作模式使用比所述第二操作模式更多的资源。8.根据权利要求1所述的方法，其中切换到所述第一操作模式或切换到所述第二操作模式基于系统约束。9.根据权利要求1所述的方法，其中所述第一操作模式以比所述第二操作模式更高的频率生成3d表示。10.根据权利要求1所述的方法，其中所述3d表示在所述第二操作模式中不进行更新或者以比所述第一操作模式中的频率更低的频率进行更新。11.根据权利要求1所述的方法，其中切换到所述第一操作模式或切换到所述第二操作模式改变上游传播的一个或多个参数。12.根据权利要求1所述的方法，其中切换到所述第一操作模式或切换到所述第二操作模式改变下游传播的一个或多个参数。13.一种系统，包括：非暂态计算机可读存储介质；以及一个或多个处理器，所述一个或多个处理器耦接到所述非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质包括程序指令，当在所述一个或多个处理器上执行所
述程序指令时，使所述系统执行包括以下项的操作：在物理环境中由一个或多个传感器采集传感器数据；以及在不同时间段期间根据多个操作模式中的第一操作模式和第二操作模式操作设备，其中：在所述第一操作模式中，所述设备基于所述传感器数据生成所述物理环境的三维(3d)表示，并且所述设备监测一个或多个状况以切换到所述第二操作模式，并且在所述第二操作模式中，所述设备监测所述一个或多个状况以切换到所述第一操作模式并且以与所述第一操作模式不同的方式生成所述3d表示。14.根据权利要求13所述的系统，其中根据所述第一操作模式或所述第二操作模式操作所述设备基于一个或多个参数，其中切换到所述第一操作模式或切换到所述第二操作模式基于确定所述一个或多个参数已改变或存在新参数。15.根据权利要求14所述的系统，其中确定所述一个或多个参数已经改变或存在新参数基于：跟踪对象的视点或姿态；根据所述对象的当前视点/姿态呈现所述对象的3d表示的视图；以及将当前传感器数据与所呈现的视图进行比较。16.根据权利要求15所述的系统，其中将当前传感器数据与所呈现的视图进行比较包括比较深度图像。17.根据权利要求15所述的系统，其中将当前传感器数据与所呈现的视图进行比较包括确定差异阈值量。18.根据权利要求15所述的系统，其中将当前传感器数据与所呈现的视图进行比较基于相对于所述设备的距离阈值。19.根据权利要求13所述的系统，其中所述第一操作模式使用比所述第二操作模式更多的资源。20.根据权利要求13所述的系统，其中切换到所述第一操作模式或切换到所述第二操作模式基于系统约束。

技术总结
本公开涉及切换用于生成3D表示的操作模式。本文所公开的各种具体实施包括调整用于生成物理环境的三维(3D)表示的操作模式的设备、系统和方法。例如，示例性过程可包括由物理环境中的一个或多个传感器采集传感器数据，以及在不同时间段期间根据第一操作模式和第二操作模式操作该设备。在该第一操作模式(例如，发现模式)中，该设备基于该传感器数据生成该物理环境的三维(3D)表示，并且该设备监测一个或多个状况以切换到该第二操作模式。在该第二操作模式(例如，监测模式)中，该设备监测该一个或多个状况以切换到该第一操作模式并且以与该第一操作模式不同的方式生成该3D表示。该第一操作模式不同的方式生成该3D表示。该第一操作模式不同的方式生成该3D表示。


技术研发人员：J
受保护的技术使用者：苹果公司
技术研发日：2023.01.06
技术公布日：2023/7/12