AR眼镜三维重建方法、系统、设备及存储介质与流程

ar眼镜三维重建方法、系统、设备及存储介质
技术领域
1.本公开涉及增强现实技术领域，尤其涉及一种ar眼镜三维重建方法、系统、设备及存储介质。


背景技术：

2.三维重建技术是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。增强现实(ar，augmented reality)技术通过叠加富文本和多媒体信息可以让现实世界变得更丰富、有趣、更高效。ar场景带有三维信息，通过在现实三维立体空间中实时叠加虚拟物体，实现与现实场景的无缝贴合。
3.ar眼镜可以通过跟踪眼球视线轨迹判断用户目前处于的状态，并且可以开启相应功能。基于ar眼镜的三维重建通常是指使用ar眼镜扫描周围环境，并利用ar眼镜上的图像传感器、深度传感器等对周围环境做三维重建。
4.相关技术通过ar眼镜上的tof摄像头或者其他深度传感器，对ar眼镜做rgbd的三维重建；或者利用rgb和tof信息做实时重建。相关技术的rgbd三维重建方法受限于深度传感器的使用距离，不能对较为开阔的场景进行扫描，针对不同类型ar眼镜的适配性和实用性较差。


技术实现要素：

5.有鉴于此，本公开实施例提供了一种ar眼镜三维重建方法、装置及存储介质，可适配的设备类型较广，模块解耦性强、模块之间独立性强、模块易拓展和组装更换，能够适配不同的跟踪算法及不同的深度传感器模块或无深度传感器模块，对相机模组的标定要求低，适配多种相机模组组合，模块结构清晰、布置方便，可以支持实时模式或离线模式，在云端服务器或ar眼镜端均可使用，充分且高效的利用了ar眼镜的跟踪信息、深度信息等，不受深度传感器的扫描距离限制，充分发挥ar眼镜端的三维重建能力，实用性和适配性较强。
6.第一方面，本公开实施例提供了一种ar眼镜三维重建方法，采用如下技术方案：
7.获取ar眼镜上至少一个图像传感器所采集到的关键帧信息；
8.利用预先配置的三维重建策略，基于ar眼镜的设备参数在ar眼镜端根据关键帧信息执行三维重建操作，或者，将关键帧信息发送至云端执行三维重建操作。
9.在一些实施例中，获取ar眼镜上至少一个图像传感器所采集到的关键帧信息，包括：
10.预先对ar眼镜上至少一个图像传感器和/或深度传感器进行标定，得到标定信息；
11.当ar眼镜包括至少一个图像传感器，或，至少一个图像传感器和深度传感器的组合时，根据标定信息，获取ar眼镜上至少一个图像传感器的外参；
12.运行ar眼镜的跟踪算法，并利用图像传感器的外参计算ar眼镜扫描周围环境获取到的真实场景信息；
13.根据预先配置的筛选策略，从真实环境信息中筛选并记录关键帧信息；
14.其中，关键帧信息包括图像信息、位姿信息、时间戳信息和深度图信息中的至少一种。
15.在一些实施例中，利用预先配置的三维重建策略，基于ar眼镜的设备参数在ar眼镜端根据关键帧信息执行三维重建操作，或者，将关键帧信息发送至云端执行三维重建操作，包括以下至少之一：
16.在ar眼镜的计算处理能力大于或等于第一预设阈值的情况下，在ar眼镜端根据关键帧信息执行三维重建操作；或者，在ar眼镜的计算处理能力小于第一预设阈值的情况下，将关键帧信息发送至云端执行三维重建操作；
17.在ar眼镜对地图的实时性需求大于或等于第二预设阈值的情况下，在ar眼镜端根据关键帧信息执行三维重建操作；或者，在ar眼镜对地图的实时性需求小于第二预设阈值的情况下，将关键帧信息发送至云端执行三维重建操作；
18.在ar眼镜上图像传感器采集的关键帧信息的数据量小于第三预设阈值的情况下，由ar眼镜依据关键帧信息执行三维重建操作；或者，在ar眼镜上图像传感器采集的关键帧信息的数据量大于或等于第三预设阈值的情况下，将关键帧信息发送至云端，由云端依据关键帧信息执行三维重建操作。
19.在一些实施例中，该方法还包括：
20.对至少一个图像传感器对应的相机进行特征提取，得到至少一个图像传感器对应的相机的特征；
21.将特征进行特征匹配，得到特征匹配结果；
22.根据特征匹配结果，将用于通过跟踪算法采集位姿信息的相机作为主相机，将与主相机之间标定过外参且时间同步的相机作为紧耦合相机，将与主相机之间标定过外参且时间不同步的相机作为松耦合相机；
23.将主相机和紧耦合相机基于位姿信息进行三维重建，得到三维重建结果；
24.将松耦合相机的数据在三维重建结果中进行注册得到注册结果；
25.通过松耦合相机的时间戳信息对注册结果进行校验，得到稀疏三维重建结果。
26.在一些实施例中，该方法还包括：
27.在至少一个图像传感器对应的相机同时包括灰度相机和彩色相机的情况下，基于灰度相机的第一稀疏三维重建结果独立进行稠密三维重建中的立体匹配，得到与第一稀疏三维重建结果所对应的第一深度图；以及，基于彩色相机的第二稀疏三维重建结果独立进行稠密三维重建中的立体匹配，得到与第二稀疏三维重建结果所对应的第二深度图。
28.在一些实施例中，该方法还包括：
29.分别利用灰度相机的第一位姿信息和彩色相机的第二姿态信息，以及利用灰度相机的第一深度图和彩色相机的第二深度图进行交叉认证；
30.当交叉认证通过后，对灰度相机的第一深度图进行优化得到第三深度图，以及对彩色相机的第二深度图进行优化得到第四深度图。
31.在一些实施例中，分别利用灰度相机的第一位姿信息和彩色相机的第二姿态信息，以及利用灰度相机的第一深度图和彩色相机的第二深度图进行交叉认证，包括：
32.获取视野重合区域宽度大于预设宽度阈值的灰度相机的第一深度图以及彩色相
机的第二深度图；
33.将第一深度图投影到彩色相机的第二坐标系下，得到第一深度图的第一投影图像；
34.当第一投影图像和第二深度图的差值小于预设差值阈值时，确定第一深度图验证通过；
35.将第二深度图投影到灰度相机的第一坐标系下，得到第二深度图的第二投影图像；
36.当第二投影图像和第一深度图的差值小于预设差值阈值时，确定第二深度图验证通过。
37.在一些实施例中，当交叉认证通过后，对灰度相机的第一深度图进行优化得到第三深度图，以及对彩色相机的第二深度图进行优化得到第四深度图，包括：
38.在灰度相机的第一坐标系下，获取灰度相机的第一深度图的第一深度值与深度传感器的深度读数的第一差值、第一深度图的第一立体匹配误差、第一深度图的相邻像素的第一深度连续值；
39.对第一差值、第一立体匹配误差和第一深度连续值中的至少之一进行优化调整，以消除第一深度图的误差，得到第三深度图；
40.在彩色相机的第二坐标系下，获取彩色相机的第二深度图的第二深度值与深度传感器的深度读数的第二差值、第二深度图的第二立体匹配误差、第二深度图的相邻像素的第二深度连续值；
41.对第二差值、第二立体匹配误差和第二深度连续值中的至少之一进行优化调整，以消除第二深度图的误差，得到第四深度图。
42.在一些实施例中，方法还包括：
43.在ar眼镜上配备了深度传感器的情况下，利用深度传感器对灰度相机的第一深度图和彩色相机的第二深度图进行计算、交叉认证和优化。
44.第二方面，本公开实施例还提供了一种ar眼镜三维重建系统，采用如下技术方案：
45.获取单元，被配置为获取ar眼镜上至少一个图像传感器所采集到的关键帧信息；
46.三维重建单元，被配置为利用预先配置的三维重建策略，基于ar眼镜的设备参数在ar眼镜端根据关键帧信息执行三维重建操作，或者，将关键帧信息发送至云端执行三维重建操作。
47.第三方面，本公开实施例还提供了一种电子设备，采用如下技术方案：
48.电子设备包括：
49.至少一个处理器；以及，
50.与至少一个处理器通信连接的存储器；其中，
51.存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行以上任一的ar眼镜三维重建方法。
52.第四方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行以上任一的ar眼镜三维重建方法。
53.本公开实施例提供的一种ar眼镜三维重建方法、系统、设备及存储介质，该方法可适配的设备类型较广，模块解耦性强、模块之间独立性强、模块易拓展和组装更换，能够适
配不同的跟踪算法及不同的深度传感器模块或无深度传感器模块，对相机模组的标定要求低，适配多种相机模组组合，模块结构清晰、布置方便，可以支持实时模式或离线模式，在云端服务器或ar眼镜端均可使用，充分且高效的利用了ar眼镜的跟踪信息、深度信息等，不受深度传感器的扫描距离限制，充分发挥ar眼镜端的三维重建能力，实用性和适配性较强。
54.上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
55.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
56.图1为本公开实施例提供的一种ar眼镜三维重建方法的流程示意图；
57.图2为本公开实施例提供的一种ar眼镜三维重建方法中关键帧信息采集的流程示意图；
58.图3为本公开实施例提供的一种ar眼镜三维重建方法中稀疏三维重建的示意图；
59.图4为本公开实施例提供的一种ar眼镜三维重建方法中稠密三维重建的示意图；
60.图5为本公开实施例提供的一种ar眼镜三维重建方法中深度一致性检查和优化的示意图；
61.图6为本公开实施例提供的一种ar眼镜三维重建系统的示意图；
62.图7为本公开实施例提供的一种电子设备的原理框图。
具体实施方式
63.下面结合附图对本公开实施例进行详细描述。
64.应当明确，以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
65.需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目各方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
66.还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构
想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
67.另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践方面。
68.如图1所示，图1为本公开实施例提供的一种ar眼镜三维重建方法的流程示意图，本公开实施例提供了一种ar眼镜三维重建方法，本技术实施例提供的ar眼镜三维重建方法包括：
69.s101、获取ar眼镜上至少一个图像传感器所采集到的关键帧信息。
70.其中，图像传感器可以采用相机或相机模组，相机通常包括双目灰度相机和rgb相机，还可以包括结构光相机，可以采用静止标定的方式对获取的相机模组中每个相机的外参进行标定。
71.可选地，根据获取的每个相机的时间同步属性，可以判断相机是否时间同步或者判断相机是否具有稳定的时延。
72.s102、利用预先配置的三维重建策略，基于ar眼镜的设备参数在ar眼镜端根据关键帧信息执行三维重建操作，或者，将关键帧信息发送至云端执行三维重建操作。
73.本公开实施例可适配的设备类型较广，模块解耦性强、模块之间独立性强、模块易拓展和组装更换，能够适配不同的跟踪算法及不同的深度传感器模块或无深度传感器模块，对相机模组的标定要求低，适配多种相机模组组合，模块结构清晰、布置方便，可以支持实时模式或离线模式，在云端服务器或ar眼镜端均可使用，充分且高效的利用了ar眼镜的跟踪信息、深度信息等，不受深度传感器的扫描距离限制，充分发挥ar眼镜端的三维重建能力，实用性和适配性较强。
74.在一些实施例中，步骤s101、获取ar眼镜上至少一个图像传感器所采集到的关键帧信息，包括：
75.预先对ar眼镜上至少一个图像传感器和/或深度传感器进行标定，得到标定信息；
76.当ar眼镜包括至少一个图像传感器，或，至少一个图像传感器和深度传感器的组合时，根据标定信息，获取ar眼镜上至少一个图像传感器的外参；其中，在本技术实施例中当ar眼镜包括图像传感器和图像传感器的组合，或，图像传感器和深度传感器的组合时，根据该标定信息，获取ar眼镜上至少一个图像传感器的外参，需要说明的是，一份外参对应一个相机。
77.运行ar眼镜的跟踪算法，并利用图像传感器的外参计算ar眼镜扫描周围环境获取到的真实场景信息；
78.根据预先配置的筛选策略，从真实环境信息中筛选并记录关键帧信息；
79.其中，关键帧信息包括图像信息、位姿信息、时间戳信息和深度图信息中的至少一种。
80.具体的，如图2所示，图2为本公开实施例提供的一种ar眼镜三维重建方法中关键帧信息采集的流程示意图。在本技术实施例中标定信息的收集可以为：在传感器包括多个图像传感器的情况下，例如，ar眼镜包括双目灰度相机和rgb相机，部分配置结构光相机，获得这些传感器的外参，可使用静止标定，以及这些相机是否时间同步或具有稳定的时延
(timedelay)。
81.其中，如图2所示，跟踪算法可以与视觉惯性里程计vio算法或rgb-d跟踪算法进行适配。
82.如图2所示，在跟踪算法稳定后，用户开始扫描环境，进而根据筛选策略，筛选并记录跟踪算法运行中捕捉到的关键帧信息。
83.在一些实施例中，步骤s102、利用预先配置的三维重建策略，基于ar眼镜的设备参数在ar眼镜端根据关键帧信息执行三维重建操作，或者，将关键帧信息发送至云端执行三维重建操作，包括以下至少之一：
84.在ar眼镜的计算处理能力大于或等于第一预设阈值的情况下，在ar眼镜端根据关键帧信息执行三维重建操作；或者，在ar眼镜的计算处理能力小于第一预设阈值的情况下，将关键帧信息发送至云端执行三维重建操作；
85.其中，第一预设阈值用于评估ar眼镜的计算处理能力，以具体业务场景需求和/或本领域常用标准为参考，以实现本技术实施例提供的ar眼镜三维重建方法为准，不做具体限定。
86.在ar眼镜对地图的实时性需求大于或等于第二预设阈值的情况下，在ar眼镜端根据关键帧信息执行三维重建操作；或者，在ar眼镜对地图的实时性需求小于第二预设阈值的情况下，将关键帧信息发送至云端执行三维重建操作；
87.其中，第二预设阈值用于评估ar眼镜对地图的实时性需求，以具体业务场景需求和/或本领域常用标准为参考，以实现本技术实施例提供的ar眼镜三维重建方法为准，不做具体限定。
88.在ar眼镜上图像传感器采集的关键帧信息的数据量小于第三预设阈值的情况下，由ar眼镜依据关键帧信息执行三维重建操作；或者，在ar眼镜上图像传感器采集的关键帧信息的数据量大于或等于第三预设阈值的情况下，将关键帧信息发送至云端，由云端依据关键帧信息执行三维重建操作。
89.其中，第三预设阈值用于评估ar眼镜对图像传感器采集的关键帧信息的数据量的能力，以具体业务场景需求和/或本领域常用标准为参考，以实现本技术实施例提供的ar眼镜三维重建方法为准，不做具体限定。
90.本公开实施例在对相机进行稀疏三维重建或稠密三维重建时，可以选择在ar眼镜端计算或将数据传输到云端进行计算。当ar眼镜的计算能力不足、对地图的实时性需求较高、以及ar眼镜采集的数据量较多时，可以在云端进行计算，反之，则在ar眼镜端进行计算，即，根据不同的眼镜/地图/数据量，决定计算单元的位置。
91.在一些实施例中，本技术实施例提供的ar眼镜三维重建方法还包括：
92.对至少一个图像传感器所对应的每个相机进行特征提取，得到至少一个图像传感器对应的相机的特征；
93.将特征进行特征匹配，得到特征匹配结果；
94.根据特征匹配结果，将用于通过跟踪算法采集位姿信息的相机作为主相机，将与主相机之间标定过外参且时间同步的相机作为紧耦合相机，将与主相机之间标定过外参且时间不同步的相机作为松耦合相机；
95.将主相机和紧耦合相机基于位姿信息进行三维重建，得到三维重建结果；
96.将松耦合相机的数据在三维重建结果中进行注册得到注册结果；
97.通过松耦合相机的时间戳信息对注册结果进行校验，得到稀疏三维重建结果。
98.可选地，通过松耦合相机的时间戳信息对注册结果进行校验，确保在连续时间中，松耦合相机在地图中的轨迹没有因松耦合相机在三维重建数据中注册错误而产生跳变。若松耦合相机在地图中的轨迹发生跳变，则可查找到出错数据进行删除。
99.可选地，主相机用于指示通过跟踪算法采集位姿信息的相机，紧耦合相机用于指示与主相机之间标定过外参且时间同步的相机，松耦合相机用于指示与主相机之间标定过外参且时间不同步的相机。
100.可选地，主相机可以采用单目灰度相机，或者是双目灰度相机中的左目相机。紧耦合相机可以采用双目灰度相机中的右目相机。松耦合相机可以包括一个或多个rgb相机。
101.可选地，如图3所示，图3为本公开实施例提供的一种ar眼镜三维重建方法中稀疏三维重建的示意图，主相机、紧耦合相机均可得到通过跟踪算法采集的位姿信息，因此在三维重建过程中，根据位姿信息可极大加速三维重建过程。
102.松耦合相机，因为时间不对齐。使用传统三维重建的方法，把它的数据向主相机+紧耦合相机的三维重建结果中进行注册。注册后，使用松耦合相机的时间戳信息，对它的注册结果进行校验，确保连续时间中，松耦合相机在地图中的轨迹，没有因注册错误而产生跳变。若有跳变，则可查找到出错数据进行删除。
103.在一些实施例中，本技术实施例提供的ar眼镜三维重建方法还包括：
104.在至少一个图像传感器所对应的相机同时包括灰度相机和彩色相机的情况下，基于灰度相机的第一稀疏三维重建结果独立进行稠密三维重建中的立体匹配，得到与第一稀疏三维重建结果所对应的第一深度图；以及，基于彩色相机的第二稀疏三维重建结果独立进行稠密三维重建中的立体匹配，得到与第二稀疏三维重建结果所对应的第二深度图。
105.可选地，在稠密三维重建过程中进行立体匹配的数据流可以是一组也可以是多组，本公开实施例对此不做限定。
106.在一些实施例中，该方法还包括：
107.分别利用灰度相机的第一位姿信息和彩色相机的第二姿态信息，以及利用灰度相机的第一深度图和彩色相机的第二深度图进行交叉认证；
108.当交叉认证通过后，对灰度相机的第一深度图进行优化得到第三深度图，以及对彩色相机的第二深度图进行优化得到第四深度图。
109.可选地，可以对优化得到的第三深度图和第四深度图进行深度融合，得到深度融合数据；将深度融合数据输入到点云模型，并获取点云模型输出的稠密三维重建结果。
110.具体的，基于图3的稀疏三维重建，进行稠密三维重建，如图4所示，图4为本公开实施例提供的一种ar眼镜三维重建方法中稠密三维重建的示意图。
111.基于ar眼镜的传感器配置的路线选择：
112.其中，若同时存在灰度相机和彩色相机，灰度相机图像和彩色相机图像，单独进行稠密重建中的立体匹配，方法不限，本技术实施例中可选用传统的立体匹配方法，也可与深度学习方法如mvsnet等结合。
113.如图4所示，在深度一致性检查，获得深度图后，使用两组相机的位姿和深度图进行交叉验证，即图4中的深度一致性检查与优化；
114.例如，将视野重合区域大的一组灰度-彩色相机图像中，灰度的深度图投影到彩色相机的坐标系下，观察与彩色相机图像深度值的差异，差异小则认为该处深度估计准确。反之，彩色相机深度图投影到灰度相机坐标系下类似进行检查。
115.若ar眼镜配备了深度传感器(tof、结构光等)，在本技术实施例中相机三维重建和立体匹配的数据流可以为一组，也可以为多组，在多组的情况下，深度传感器分别作用于每组的深度优化模块(即，图4中的深度一致性检查与优化)。
116.在一些实施例中，分别利用灰度相机的第一位姿信息和彩色相机的第二姿态信息，以及利用灰度相机的第一深度图和彩色相机的第二深度图进行交叉认证，包括：
117.获取视野重合区域宽度大于预设宽度阈值的灰度相机的第一深度图以及彩色相机的第二深度图；
118.将第一深度图投影到彩色相机的第二坐标系下，得到第一深度图的第一投影图像；
119.当第一投影图像和第二深度图的差值小于预设差值阈值时，确定第一深度图验证通过；
120.将第二深度图投影到灰度相机的第一坐标系下，得到第二深度图的第二投影图像；
121.当第二投影图像和第一深度图的差值小于预设差值阈值时，确定第二深度图验证通过。
122.可选地，用户可与根据实际需求对预设宽度阈值、预设差值阈值进行设置，本公开实施例对此不做限定。
123.在一些实施例中，当交叉认证通过后，对灰度相机的第一深度图进行优化得到第三深度图，以及对彩色相机的第二深度图进行优化得到第四深度图，包括：
124.在灰度相机的第一坐标系下，获取灰度相机的第一深度图的第一深度值与深度传感器的深度读数的第一差值、第一深度图的第一立体匹配误差、第一深度图的相邻像素的第一深度连续值；
125.对第一差值、第一立体匹配误差和第一深度连续值中的至少之一进行优化调整，以消除第一深度图的误差，得到第三深度图；
126.在彩色相机的第二坐标系下，获取彩色相机的第二深度图的第二深度值与深度传感器的深度读数的第二差值、第二深度图的第二立体匹配误差、第二深度图的相邻像素的第二深度连续值；
127.对第二差值、第二立体匹配误差和第二深度连续值中的至少之一进行优化调整，以消除第二深度图的误差，得到第四深度图。
128.可选地，通过设置深度传感器的深度读数来优化第一深度图和第二深度图，可以提高优化效果。
129.在一些实施例中，本技术实施例提供的ar眼镜三维重建方法还包括：
130.在ar眼镜上配备了深度传感器的情况下，利用深度传感器对灰度相机的第一深度图和彩色相机的第二深度图进行计算、交叉认证和优化。
131.具体的，如图5所示，图5为本公开实施例提供的一种ar眼镜三维重建方法中深度一致性检查和优化的示意图。基于图4，在深度一致性检查和优化的进一步优化方式中，深
度传感器读数，变换到某相机坐标系下，提供一些有效的深度值。
132.深度值可作用于：
133.该相机的立体匹配模块，提供较好的初值假设；
134.深度优化模块，根据深度传感器读数，求解非线性优化问题，minimize(当前深度图的立体匹配误差+当前深度图相邻像素深度连续性+当前深度图于深度传感器读数的误差)。
135.本公开实施例中的ar眼镜中的模块解耦、通用性好，可适配不同的跟踪算法及不同的深度传感器或无深度传感器，对相机模组的标定要求低，适配多种相机模组组合，可以基于ar跟踪算法进行计算，开销小，且结构清晰布置方便，实时、离线模式，云端服务器或端上，均可使用，且充分、高效地利用了ar眼镜的信息(例如跟踪信息、深度信息等)，相比于传统rgbd方法，本公开实施例以三维重建为主，不会受扫描距离限制，同时又能基于深度信息进行优化和受益。
136.如图6所示，图6为本公开实施例提供的一种ar眼镜三维重建系统的示意图。本公开实施例还提供了一种ar眼镜三维重建系统，本技术实施例提供的ar眼镜三维重建系统包括：
137.获取单元61，被配置为获取ar眼镜上至少一个图像传感器所采集到的关键帧信息；
138.三维重建单元62，被配置为利用预先配置的三维重建策略，基于ar眼镜的设备参数在ar眼镜端根据关键帧信息执行三维重建操作，或者，将关键帧信息发送至云端执行三维重建操作。
139.根据本公开实施例的电子设备包括存储器和处理器。该存储器用于存储非暂时性计算机可读指令。具体地，存储器可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。
140.该处理器可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制电子设备中的其它组件以执行期望的功能。在本公开的一个实施例中，该处理器用于运行该存储器中存储的该计算机可读指令，使得该电子设备执行前述的本公开各实施例的ar眼镜三维重建方法全部或部分步骤。
141.本领域技术人员应能理解，为了解决如何获得良好用户体验效果的技术问题，本实施例中也可以包括诸如通信总线、接口等公知的结构，这些公知的结构也应包含在本公开的保护范围之内。
142.如图7为本公开实施例提供的一种电子设备的结构示意图。其示出了适于用来实现本公开实施例中的电子设备的结构示意图。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
143.如图7所示，电子设备可以包括处理装置(例如中央处理器、图形处理器等)，其可以根据存储在只读存储器(rom)中的程序或者从存储装置加载到随机访问存储器(ram)中的程序而执行各种适当的动作和处理。在ram中，还存储有电子设备操作所需的各种程序和数据。处理装置、rom以及ram通过总线彼此相连。输入/输出(i/o)接口也连接至总线。
144.通常，以下装置可以连接至i/o接口：包括例如传感器或者视觉信息采集设备等的输入装置；包括例如显示屏等的输出装置；包括例如磁带、硬盘等的存储装置；以及通信装置。通信装置可以允许电子设备与其他设备(比如边缘计算设备)进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
145.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置从网络上被下载和安装，或者从存储装置被安装，或者从rom被安装。在该计算机程序被处理装置执行时，执行本公开实施例的ar眼镜三维重建方法的全部或部分步骤。
146.有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。
147.根据本公开实施例的计算机可读存储介质，其上存储有非暂时性计算机可读指令。当该非暂时性计算机可读指令由处理器运行时，执行前述的本公开各实施例的ar眼镜三维重建方法的全部或部分步骤。
148.上述计算机可读存储介质包括但不限于：光存储介质(例如：cd－rom和dvd)、磁光存储介质(例如：mo)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置rom的媒体(例如：rom盒)。
149.有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。
150.以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
151.在本公开中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
152.另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“a、b或c的至少一个”的列举意味着a或b或c，或ab或ac或bc，或abc(即a和b和c)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
153.还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
154.可以不脱离由所附权利要求定义的教导的技术而进行对在此的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或
者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
155.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
156.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

技术特征：
1.一种ar眼镜三维重建方法，其特征在于，包括：获取ar眼镜上至少一个图像传感器所采集到的关键帧信息；利用预先配置的三维重建策略，基于所述ar眼镜的设备参数在所述ar眼镜端根据所述关键帧信息执行三维重建操作，或者，将所述关键帧信息发送至云端执行三维重建操作。2.根据权利要求1所述的ar眼镜三维重建方法，其特征在于，获取ar眼镜上至少一个图像传感器所采集到的关键帧信息，包括：预先对所述ar眼镜上至少一个图像传感器和/或深度传感器进行标定，得到标定信息；当所述ar眼镜包括至少一个图像传感器，或，至少一个图像传感器和深度传感器的组合时，根据所述标定信息，获取所述ar眼镜上至少一个图像传感器的外参；运行所述ar眼镜的跟踪算法，并利用所述图像传感器的外参计算所述ar眼镜扫描周围环境获取到的真实场景信息；根据预先配置的筛选策略，从所述真实环境信息中筛选并记录关键帧信息；其中，所述关键帧信息包括图像信息、位姿信息、时间戳信息和深度图信息中的至少一种。3.根据权利要求2所述的ar眼镜三维重建方法，其特征在于，利用预先配置的三维重建策略，基于所述ar眼镜的设备参数在所述ar眼镜端根据所述关键帧信息执行三维重建操作，或者，将所述关键帧信息发送至云端执行三维重建操作，包括以下至少之一：在所述ar眼镜的计算处理能力大于或等于第一预设阈值的情况下，在所述ar眼镜端根据所述关键帧信息执行三维重建操作；或者，在所述ar眼镜的计算处理能力小于第一预设阈值的情况下，将所述关键帧信息发送至云端执行三维重建操作；在所述ar眼镜对地图的实时性需求大于或等于第二预设阈值的情况下，在所述ar眼镜端根据所述关键帧信息执行三维重建操作；或者，在所述ar眼镜对地图的实时性需求小于第二预设阈值的情况下，将所述关键帧信息发送至云端执行三维重建操作；在所述ar眼镜上所述图像传感器采集的所述关键帧信息的数据量小于第三预设阈值的情况下，由所述ar眼镜依据所述关键帧信息执行三维重建操作；或者，在所述ar眼镜上所述图像传感器采集的所述关键帧信息的数据量大于或等于第三预设阈值的情况下，将所述关键帧信息发送至云端，由所述云端依据所述关键帧信息执行三维重建操作。4.根据权利要求3所述的ar眼镜三维重建方法，其特征在于，所述方法还包括：对所述至少一个图像传感器对应的相机进行特征提取，得到所述至少一个图像传感器对应的相机的特征；将所述特征进行特征匹配，得到特征匹配结果；根据所述特征匹配结果，将用于通过所述跟踪算法采集所述位姿信息的相机作为主相机，将与所述主相机之间标定过外参且时间同步的相机作为紧耦合相机，将与所述主相机之间标定过外参且时间不同步的相机作为松耦合相机；将所述主相机和所述紧耦合相机基于所述位姿信息进行三维重建，得到三维重建结果；将所述松耦合相机的数据在所述三维重建结果中进行注册得到注册结果；通过所述松耦合相机的时间戳信息对所述注册结果进行校验，得到稀疏三维重建结果。
5.根据权利要求4所述的ar眼镜三维重建方法，其特征在于，所述方法还包括：在所述至少一个所述图像传感器对应的相机同时包括灰度相机和彩色相机的情况下，基于所述灰度相机的第一稀疏三维重建结果独立进行稠密三维重建中的立体匹配，得到与所述第一稀疏三维重建结果所对应的第一深度图；以及，基于所述彩色相机的第二稀疏三维重建结果独立进行稠密三维重建中的立体匹配，得到与所述第二稀疏三维重建结果所对应的第二深度图。6.根据权利要求5所述的ar眼镜三维重建方法，其特征在于，所述方法还包括：分别利用所述灰度相机的第一位姿信息和所述彩色相机的第二姿态信息，以及利用所述灰度相机的第一深度图和所述彩色相机的第二深度图进行交叉认证；当交叉认证通过后，对所述灰度相机的第一深度图进行优化得到第三深度图，以及对所述彩色相机的第二深度图进行优化得到第四深度图。7.根据权利要求6所述的ar眼镜三维重建方法，其特征在于，分别利用所述灰度相机的第一位姿信息和所述彩色相机的第二姿态信息，以及利用所述灰度相机的第一深度图和所述彩色相机的第二深度图进行交叉认证，包括：获取视野重合区域宽度大于预设宽度阈值的所述灰度相机的第一深度图以及所述彩色相机的第二深度图；将所述第一深度图投影到所述彩色相机的第二坐标系下，得到所述第一深度图的第一投影图像；当所述第一投影图像和所述第二深度图的差值小于预设差值阈值时，确定所述第一深度图验证通过；将所述第二深度图投影到所述灰度相机的第一坐标系下，得到所述第二深度图的第二投影图像；当所述第二投影图像和所述第一深度图的差值小于预设差值阈值时，确定所述第二深度图验证通过。8.根据权利要求7所述的ar眼镜三维重建方法，其特征在于，当交叉认证通过后，对所述灰度相机的第一深度图进行优化得到第三深度图，以及对所述彩色相机的第二深度图进行优化得到第四深度图，包括：在所述灰度相机的第一坐标系下，获取所述灰度相机的第一深度图的第一深度值与深度传感器的深度读数的第一差值、所述第一深度图的第一立体匹配误差、所述第一深度图的相邻像素的第一深度连续值；对所述第一差值、第一立体匹配误差和第一深度连续值中的至少之一进行优化调整，以消除所述第一深度图的误差，得到所述第三深度图；在所述彩色相机的第二坐标系下，获取所述彩色相机的第二深度图的第二深度值与所述深度传感器的深度读数的第二差值、所述第二深度图的第二立体匹配误差、所述第二深度图的相邻像素的第二深度连续值；对所述第二差值、第二立体匹配误差和第二深度连续值中的至少之一进行优化调整，以消除所述第二深度图的误差，得到所述第四深度图。9.根据权利要求5至8任一项所述的ar眼镜三维重建方法，其特征在于，所述方法还包括：
在所述ar眼镜上配备了深度传感器的情况下，利用所述深度传感器对所述灰度相机的第一深度图和所述彩色相机的第二深度图进行计算、交叉认证和优化。10.一种ar眼镜三维重建系统，其特征在于，包括：获取单元，被配置为获取所述ar眼镜上至少一个图像传感器所采集到的关键帧信息；三维重建单元，被配置为利用预先配置的三维重建策略，基于所述ar眼镜的设备参数在所述ar眼镜端根据所述关键帧信息执行三维重建操作，或者，将所述关键帧信息发送至云端执行三维重建操作。11.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至9任一所述的头戴设备的三维重建方法。12.一种计算机可读存储介质，其特征在于，该计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行权利要求1至9任一所述的头戴设备的三维重建方法。

技术总结
本公开实施例公开了一种AR眼镜三维重建方法、系统、设备及存储介质。其中，该方法包括：获取AR眼镜上至少一个图像传感器所采集到的关键帧信息；利用预先配置的三维重建策略，基于AR眼镜的设备参数在AR眼镜端根据关键帧信息执行三维重建操作，或者，将关键帧信息发送至云端执行三维重建操作。该方法可适配的设备类型较广，模块易拓展和组装更换，能够适配不同的跟踪算法及不同的传感器模块，适配多种相机模组组合，模块结构清晰、布置方便，可以支持实时模式或离线模式，在云端服务器或AR眼镜端均可使用，充分且高效的利用了AR眼镜的跟踪信息、深度信息等，充分发挥AR眼镜端的三维重建能力，实用性和适配性较强。实用性和适配性较强。实用性和适配性较强。


技术研发人员：张双力 张高明 丛林
受保护的技术使用者：杭州易现先进科技有限公司
技术研发日：2023.03.20
技术公布日：2023/7/12