一种处理方法及电子设备与流程

1.本技术涉及一种处理方法及电子设备。


背景技术：

2.目前业界对于通过rgb相机获取场景深度一般有以下两种方法：
3.1：双目相机，具有两个相对位置确定的摄像头，通过双摄像头同时拍摄的左右两幅图像间视差和双摄像头间的相对位置来获取场景中的深度信息。该方法的缺点：成本高，需要两颗摄像头，体积较大，功耗高。
4.2：单目相机+深度学习，现在业界的重点方向，通过深度学习对各种场景进行训练，再使用训练完毕的模型使得单目相机获得测量深度的能力。该方案的缺点：对于便携设备来说，深度学习的对算力要求太高。测深度的神经网络还在发展中，不够成熟。


技术实现要素：

5.有鉴于此，本技术实施例期望提供一种处理方法及电子设备。
6.为达到上述目的，本技术的技术方案是这样实现的：
7.根据本技术的一方面，提供一种处理方法，包括：
8.获取第一帧图像和第二帧图像，所述第一帧图像和所述第二帧图像为通过具有一个图像采集单元的图像采集装置得到的两帧图像；
9.获取所述第一帧图像和所述第二帧图像的惯性测量数据；
10.基于所述第一帧图像、所述第二帧图像和所述惯性测量数据，确定所述第一帧图像对应的深度信息。
11.上述方案中，所述确定所述第一帧图像对应的深度信息，包括：
12.确定所述图像采集装置的图像采集位姿从所述第一帧图像到所述第二帧图像的第一位姿变化数据；
13.根据所述第一位姿变化数据和所述第二帧图像，得到第三帧图像，所述第一帧图像和所述第三帧图像具有对应于同一平面的位置参数；
14.基于所述第一帧图像、所述第三帧图像和所述惯性测量数据，确定所述第一帧图像对应的深度信息。
15.上述方案中，所述根据所述第一位姿变化数据和所述第二帧图像，得到第三帧图像，包括：
16.根据所述第一帧图像确定第一平面信息；
17.根据所述第一位姿变化数据和所述第一平面信息确定第一矫正参数；
18.通过所述第一矫正参数对所述第二帧图像进行矫正，得到所述第三帧图像。
19.上述方案中，所述基于所述第一帧图像、所述第三帧图像和所述惯性测量数据，确定所述第一帧图像对应的深度信息，包括：
20.基于所述惯性测量数据确定所述图像采集装置从所述第一帧图像到所述第二帧
图像的第一位置变化数据；
21.基于所述第一位置变化数据确定所述图像采集装置从所述第一帧图像到所述第三帧图像的第二位置变化数据；
22.基于所述第二位置变化数据确定所述第一帧图像到所述第三帧图像的光心间距参数；
23.基于所述第一帧图像、所述第三帧图像和所述光心间距参数确定所述第一帧图像对应的深度信息。
24.上述方案中，所述确定所述图像采集装置的图像采集位姿从所述第一帧图像到所述第二帧图像的第一位姿变化数据，包括以下至少之一：
25.基于所述第一帧图像和所述第二帧图像的惯性测量数据，确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据；
26.基于所述第一帧图像和所述第二帧图像的特征点数据，确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据。
27.上述方案中，所述基于所述第一帧图像、所述第三帧图像和所述惯性测量数据，确定所述第一帧图像对应的深度信息，包括：
28.获取第四帧图像，所述第四帧图像与所述第二帧图像满足第一相邻条件；
29.确定所述图像采集装置从所述第一帧图像到所述第四帧图像的第二位姿变化数据；
30.基于所述第二位姿变化数据和所述第四帧图像得到第五帧图像，所述第一帧图像和所述第五帧图像具有对应于同一平面的位置参数；
31.基于所述第一帧图像、所述第三帧图像和所述第五帧图像，确定所述第一帧图像对应的深度信息。
32.上述方案中，在所述第一帧图像与后续帧图像的位姿差异满足第一条件的情况下，所述第二帧图像为所述第一帧图像之前的图像，其中，所述后续帧图像在所述第一帧图像之后且与所述第一帧图像满足第二相邻条件；
33.在所述第一帧图像与所述后续帧图像的位姿差异满足第二条件的情况下，所述第二帧图像为所述第一帧图像之后的图像。
34.上述方案中，所述基于所述第一帧图像和所述第二帧图像的特征点数据，确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据，包括：
35.在所述第一帧图像中提取第一组特征点数据，在所述第二帧图像中提取第二组特征点数据；
36.将所述第一组特征点数据与所述第二组特征点数据进行特征点位置匹配；
37.根据匹配结果确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据。
38.上述方案中，所述基于所述第一帧图像和所述第二帧图像的特征点数据，确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据，包括：
39.在所述第一帧图像中提取第三组特征点数据；
40.在所述第二帧图像中获取所述第三组特征点数据的位移路径数据；
41.基于所述位移路径数据确定所述图像采集装置从所述第一帧图像到所述第二帧
图像的第一位姿变化数据。
42.根据本技术的第二方面，提供一种电子设备，包括：
43.图像采集装置，具有一个图像采集单元；
44.惯性测量装置，用于在通过所述图像采集单元采集目标对象的过程中，采集所述图像采集单元的惯性测量数据；
45.处理器，用于获取第一帧图像和第二帧图像，所述第一帧图像和所述第二帧图像为通过所述图像采集单元得到的两帧图像；以及用于获取所述第一帧图像到所述第二帧图像的惯性测量数据；基于所述第一帧图像、所述第二帧图像和所述惯性测量数据，确定所述第一帧图像对应的深度信息。
附图说明
46.图1为本技术中数据处理方法的流程实现示意图一；
47.图2为本技术中处理方法的流程实现示意图二；
48.图3为本技术中电子设备的结构组成示意一；
49.图4为本技术中电子设备的结构组成示意图二。
具体实施方式
50.为使本技术的目的、技术方案和优点更加清楚明白，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互任意组合。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
51.以下结合说明书附图及具体实施例对本技术的技术方案做进一步的详细阐述。
52.图1为本技术中数据处理方法的流程实现示意图一，该方法可以应用于具有图像采集装置(如摄像头)的电子设备，如图1所示，该方法包括：
53.步骤101，获取第一帧图像和第二帧图像，所述第一帧图像和所述第二帧图像为通过具有一个图像采集单元的图像采集装置得到的两帧图像；
54.在本技术的一种实现中，该电子设备可以在通过该图像采集装置进行帧图像的采集过程中，从采集的帧图像中提取相邻的所述第一帧图像和所述第二帧图像，或相隔一定帧数的第一帧图像和第二帧图像；
55.在本技术的另一种实现中，该电子设备可以接收外部输入的视频流数据，在输入的视频流数据中提取相邻的或相隔一定帧数的所述第一帧图像和所述第二帧图像。这里，所述视频流数据也可以是来源于所述图像采集装置，也可以不是来自于所述图像采集装置，该视频流数据可以是来自于保存在本地的数据，也可以是来自网络中的云数据。
56.这里，第一帧图像和第二帧图像可以满足相邻条件，该相邻条件表征第一帧图像和第二帧图像相对相邻或绝对相邻。
57.步骤102，获取所述第一帧图像和所述第二帧图像的惯性测量数据；
58.这里，该电子设备中可以具有惯性测量单元，在通过图像采集装置采集图像帧的过程中，该电子设备可以通过惯性测量单元检测图像采集装置的惯性测量数据。基于该惯性测量数据可以确定图像采集装置在采集第一帧图像时的位姿数据和采集第二帧图像时的位姿数据，进而可以得到第二帧图像相对于第一帧图像的位姿变化数据。
59.步骤103，基于所述第一帧图像、所述第二帧图像和所述惯性测量数据，确定所述第一帧图像对应的深度信息。
60.本技术中，该电子设备可以通过确定所述图像采集装置的图像采集位姿从所述第一帧图像到所述第二帧图像的第一位姿变化数据；根据所述第一位姿变化数据和所述第二帧图像，得到第三帧图像，所述第一帧图像和所述第三帧图像具有对应于同一平面的位置参数；基于所述第一帧图像、所述第三帧图像和所述惯性测量数据，确定所述第一帧图像对应的深度信息。
61.这里，该电子设备根据所述第一帧图像还可以确定第一平面信息；根据所述第一位姿变化数据和所述第一平面信息确定第一矫正参数；通过所述第一矫正参数对所述第二帧图像进行矫正，得到所述第三帧图像。
62.这里，该电子设备可以将第一帧图像的像素点特征作为第一平面信息，基于第一位姿变化数据可以以第一帧图像的像素点特征作为基准参考对第一帧图像和第二帧图像进行像素映射，以确定第一矫正参数，通过第一矫正参数对第二帧图像进行矫正，以得到所述第三帧图像，所述第三帧图像表征使得所述第一帧图像和所述第二帧图像具有对应同一平面的位置参数的帧图像。
63.本技术中，该电子设备在基于所述第一帧图像、所述第三帧图像和所述惯性测量数据，确定所述第一帧图像对应的深度信息时，可以基于所述惯性测量数据确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位置变化数据；基于所述第一位置变化数据可以确定所述图像采集装置从所述第一帧图像到所述第三帧图像的第二位置变化数据；基于所述第二位置变化数据可以确定所述第一帧图像到所述第三帧图像的光心间距参数；基于所述第一帧图像、所述第三帧图像和所述光心间距参数可以确定所述第一帧图像对应的深度信息。
64.本技术中，该电子设备可以基于所述第一帧图像和所述第二帧图像的惯性测量数据，确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据；也可以基于所述第一帧图像和所述第二帧图像的特征点数据，确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据；还可以基于所述第一帧图像和所述第二帧图像的惯性测量数据和所述第一帧图像和所述第二帧图像的特征点数据，确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据。
65.这里，该电子设备基于所述第一帧图像和所述第二帧图像的惯性测量数据，可以确定出表征所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据的第一基础矩阵；基于所述第一帧图像和所述第二帧图像的特征点数据，也可确定出表征所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据的第二基础矩阵；然后将第一基础矩阵和所述第二基础矩阵进行比较，根据比较结果将表征所述图像采集装置从所述第一帧图像到所述第二帧图像的位移和旋转角度精度最高的作为目标基
础矩阵，基于该目标基础矩阵对第一帧图像和第二帧图像进行像素点映射，得到第三帧图像。
66.这里，可以分别将第一基础矩阵对应的第一位姿变化数据、第二基础矩阵对应的第一位姿变化数据分别与第一预设阈值进行比较，如果比较结果表征第一基础矩阵对应的第一位姿变化数据与第一预设阈值之间的位姿差小于第二预设阈值，第二基础矩阵对应的第一位姿变化数据与第一预设阈值之间的位姿差大于或等于第二预设阈值，则确定第一基础矩阵为目标基础矩阵；如果比较结果表征第二基础矩阵对应的第一位姿变化数据与第一预设阈值之间的位姿差小于第二预设阈值，第一基础矩阵对应的第一位姿变化数据与第一预设阈值之间的位姿差大于或等于第二预设阈值，则确定第二基础矩阵为目标基础矩阵；如果比较结果表征第一基础矩阵对应的第一位姿变化数据与第一预设阈值之间的位姿差小于第二预设阈值，第二基础矩阵对应的第一位姿变化数据与第一预设阈值之间的位姿差也小于第二预设阈值，则将位姿差较小的确定为目标基础矩阵。
67.本技术中，该电子设备还可以对该第一基础矩阵和该第二基础矩阵进行拟合，得到表征图像采集装置的图像采集位姿从所述第一帧图像到所述第二帧图像的第一位姿变化数据的第三基础矩阵。基于第三基础矩阵对第一帧图像和第二帧图像进行像素点映射，得到第三帧图像。
68.本技术中，该电子设备还可以获取第四帧图像，所述第四帧图像与所述第二帧图像满足第一相邻条件；该第一相邻条件包括所述第四帧图像与所述第二帧图像相对相邻和绝对相邻。该电子设备确定所述图像采集装置从所述第一帧图像到所述第四帧图像的第二位姿变化数据；基于所述第二位姿变化数据和所述第四帧图像得到第五帧图像，所述第一帧图像和所述第五帧图像具有对应于同一平面的位置参数；基于所述第一帧图像、所述第三帧图像和所述第五帧图像，确定所述第一帧图像对应的深度信息。
69.这里，第五帧图像的获取过程与第三帧图像的获取过程相同，在此不再赘述，详细流程可以参考第三帧图像的相关描述。基于所述第一帧图像、所述第三帧图像和所述第五帧图像，确定所述第一帧图像对应的深度信息，可以是通过相同对象分别与第一帧图像、第三帧图像和第五帧图像中的位置进行三角计算，得到第一帧图像对应的深度信息，也可以是将第三帧图像与第五帧图像融合，得到融合图像，在通过第一帧图像和融合图像确定第一帧图像对应的深度信息，第三帧图像与第五帧图像的融合，可以包括将第三帧图像与第五帧图像中差异部分进行拼接，得到融合图像。
70.本技术中，该电子设备在基于所述第一帧图像和所述第二帧图像的特征点数据，确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据时，可以通过特征点匹配的方式实现；比如，该电子设备在所述第一帧图像中提取第一组特征点数据，在所述第二帧图像中提取第二组特征点数据；将所述第一组特征点数据与所述第二组特征点数据进行特征点位置匹配；根据匹配结果确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据。
71.本技术中，该电子设备在基于所述第一帧图像和所述第二帧图像的特征点数据，确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据时，还可以通过特征点追踪的方式实现；比如，在所述第一帧图像中提取第三组特征点数据；在所述第二帧图像中获取所述第三组特征点数据的位移路径数据；基于所述位移路径数据确定所
述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据。
72.本技术中，在所述第一帧图像与后续帧图像的位姿差异满足第一条件的情况下，所述第二帧图像为所述第一帧图像之前的图像，其中，所述后续帧图像在所述第一帧图像之后且与所述第一帧图像满足第二相邻条件。
73.这里，第一条件表征第一帧图像与后续帧图像的位姿差异大于或等于预设阈值。此时，说明第一帧图像与后续帧图像之间的位置变化较大，如果使用后续帧图像和第一帧图像进行立体矫正，则容易导致矫正结果不准，因此，需要使用第一帧图像的前续帧图像进行矫正。
74.本技术中，如果在所述第一帧图像与所述后续帧图像的位姿差异满足第二条件的情况下，所述第二帧图像为所述第一帧图像之后的图像。
75.这里，第二条件表征第一帧图像与后续帧图像的位姿差异小于预设阈值。此时，说明第一帧图像与后续帧图像之间的位置变化不大，可以使用后续帧图像和第一帧图像进行立体矫正，这里后续帧图像可以是第二帧图像，也可以是第一帧图像和第二帧图像之间的图像。
76.本技术提供的处理方法，通过获取第一帧图像和第二帧图像，所述第一帧图像和所述第二帧图像为通过具有一个图像采集单元的图像采集装置得到的两帧图像；基于所述第一帧图像和所述第二帧图像的特征点数据和/或惯性测量数据，确定所述图像采集装置在所述第一帧图像和所述第二帧图像之间的位姿变化变化数据；基于所述位姿变化数据对所述第一帧图像和所述第二帧图像进行立体匹配，得到第三帧图像，基于所述第一帧图像和所述第三帧图像的视差参数确定所述第一帧图像对应的深度信息。进一步的，通过持续在场景中进行图像拍摄并持续通过上述方式计算不同位姿的图像对应的深度信息，最终得到整个场景对应的深度信息。为一种利用单目相机采集的相邻两帧图像结合该两帧图像对应的惯性测量单元(imu，inertial measurement unit)测量的数据，确定单目相机的场景深度的方案。不仅可以降低了硬件成本，而且对数据的计算要求较低，可以达到与双目相机一样的效果。
77.图2为本技术中处理方法的流程实现示意图二，如图2所示，该方法包括：
78.步骤201，开启图像采集装置或输入视频流数据；
79.这里，该图像采集装置具有一个图像采集单元，即单目摄像机。视频流数据也为通过单目摄像机采集的数据。
80.步骤202，使用标定的预设参数对图像采集装置的采集图像或视频流数据进行矫正；
81.这里，预设参数包括但不限于外部参数和畸变参数，以便将采集图像或视频流数据中的帧图像进行形变矫正；
82.步骤203，对采集图像或视频流数据中的第一帧图像和第二帧图像进行图像匹配，以确定该第一帧图像和第二帧图像的位姿变化数据；
83.这里，第一帧图像和第二帧图像可以是相邻两帧图像，通过特征点匹配方式和\或特征正追踪方式和/或惯性测量数据可以对第一帧图像和第二帧图像进行图像匹配，得到表征该第一帧图像和第二帧图像的位姿变化数据的基础矩阵。这里，该基础矩阵包括图像采集装置从第一帧图像到第二帧图像的旋转矩阵、位移矩阵。
84.这里，还可以通过特征点匹配方式确定第一基础矩阵，通过特征正追踪方式确定第二基础矩阵，通过惯性测量数据确定第三基础矩阵，然后通过拟合第一基础矩阵、第二基础矩阵、第三基础矩阵得到最终的基础矩阵。
85.步骤204，根据基础矩阵对第一帧图像和第二帧图像进行共面矫正，得到第三帧图像；
86.这里，该基础矩阵可以是来自通过特征点匹配所得到的，也可以是来自于通过特征点追踪所得到，还可以来自于通过惯性测量数据所得到，还可以来自于通过特征点匹配、特征点追踪、惯性测量数据通过拟合得到。
87.这里，第一帧图像和第三帧图像具有对应于同一平面的位置参数；
88.步骤205，确定第一帧图像到第三帧图像的光心间距参数；
89.步骤206，基于第一帧图像、第三帧图像和光心间距参数生成第一帧图像对应的深度信息。
90.这里，可以使用公式获取第一帧图像的深度信息，其中，z:深度；f:相机焦距；b:双目相机的光心间距；d:视差。
91.本技术通过利用imu估计图像采集装置在相邻两帧图像间的相对位移位置和旋转角度，再配合该两帧图像的特征点比较，可以得到图像采集装置的位移位置和旋转角度与该两帧图像间的立体匹配结果，然后通过深度计算方法得到图像的深度信息。如此，可以降低成本的同时，使单目摄像机达到与双目摄像机的效果。而且通过采用imu数据进行数据立体匹配，其对数据计算性能不高，进一步降低成本。
92.图3为本技术中电子设备的结构组成示意一，如图3所示，该电子设备包括：
93.一个第一采集单元301，用于采集帧图像；
94.第二采集单元302，用于采集第一采集单元301的惯性测量数据；
95.获取单元303，用于获取第一帧图像和第二帧图像，所述第一帧图像和所述第二帧图像为来自第一采集单元301的两帧图像；以及用于获取所述第一帧图像和所述第二帧图像的惯性测量数据；
96.处理单元304，用于基于所述第一帧图像、所述第二帧图像和所述惯性测量数据，确定所述第一帧图像对应的深度信息。
97.优选方案中，处理单元304，还用于确定所述图像采集装置的图像采集位姿从所述第一帧图像到所述第二帧图像的第一位姿变化数据；根据所述第一位姿变化数据和所述第二帧图像，得到第三帧图像，所述第一帧图像和所述第三帧图像具有对应于同一平面的位置参数；基于所述第一帧图像、所述第三帧图像和所述惯性测量数据，确定所述第一帧图像对应的深度信息。
98.优选方案中，该处理单元304，还用于根据所述第一帧图像确定第一平面信息；根据所述第一位姿变化数据和所述第一平面信息确定第一矫正参数；通过所述第一矫正参数对所述第二帧图像进行矫正，得到所述第三帧图像。
99.优选方案中，该处理单元304，还用于基于所述惯性测量数据确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位置变化数据；基于所述第一位置变化数据确定所述图像采集装置从所述第一帧图像到所述第三帧图像的第二位置变化数据；基于所
述第二位置变化数据确定所述第一帧图像到所述第三帧图像的光心间距参数；基于所述第一帧图像、所述第三帧图像和所述光心间距参数确定所述第一帧图像对应的深度信息。
100.优选方案中，处理单元304具体可以基于所述第一帧图像和所述第二帧图像的惯性测量数据，确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据；和\或基于所述第一帧图像和所述第二帧图像的特征点数据，确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据。
101.优选方案，获取单元303，还用于获取第四帧图像，所述第四帧图像与所述第二帧图像满足第一相邻条件；
102.处理单元304，还用于确定所述图像采集装置从所述第一帧图像到所述第四帧图像的第二位姿变化数据；基于所述第二位姿变化数据和所述第四帧图像得到第五帧图像，所述第一帧图像和所述第五帧图像具有对应于同一平面的位置参数；基于所述第一帧图像、所述第三帧图像和所述第五帧图像，确定所述第一帧图像对应的深度信息。
103.优选方案中，在所述第一帧图像与后续帧图像的位姿差异满足第一条件的情况下，所述第二帧图像为所述第一帧图像之前的图像，其中，所述后续帧图像在所述第一帧图像之后且与所述第一帧图像满足第二相邻条件；
104.在所述第一帧图像与所述后续帧图像的位姿差异满足第二条件的情况下，所述第二帧图像为所述第一帧图像之后的图像。
105.优选方案中，处理单元304还用于在所述第一帧图像中提取第一组特征点数据，在所述第二帧图像中提取第二组特征点数据；将所述第一组特征点数据与所述第二组特征点数据进行特征点位置匹配；
106.根据匹配结果确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据。
107.优选方案中，处理单元304，还用于在所述第一帧图像中提取第三组特征点数据；在所述第二帧图像中获取所述第三组特征点数据的位移路径数据；基于所述位移路径数据确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据。
108.需要说明的是：上述实施例提供的电子设备在进行数据处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的电子设备与上述提供的处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
109.图4为本技术中电子设备的结构组成示意图二，如图4所示，该电子设备400可以是移动电话、计算机、信息收发设备、游戏控制台、平板设备、健身设备、个人数字助理等终端。图4所示的电子设备400包括：图像采集装置401，具有一个图像采集单元4011；惯性测量装置402，用于在通过所述图像采集单元4011采集目标对象的过程中，采集所述图像采集单元的惯性测量数据；至少一个处理器403，用于获取第一帧图像和第二帧图像，所述第一帧图像和所述第二帧图像为通过所述图像采集单元得到的两帧图像；以及用于获取所述第一帧图像到所述第二帧图像的惯性测量数据；基于所述第一帧图像、所述第二帧图像和所述惯性测量数据，确定所述第一帧图像对应的深度信息。
110.这里，该电子设备400还可以包括存储器404、至少一个网络接口405和用户接口
406。电子设备400中的各个组件通过总线系统407耦合在一起。可理解，总线系统407用于实现这些组件之间的连接通信。总线系统407除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图4中将各种总线都标为总线系统407。
111.其中，用户接口406可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
112.可以理解，存储器404可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom，read only memory)、可编程只读存储器(prom，programmable read-only memory)、可擦除可编程只读存储器(eprom，erasable programmable read-only memory)、电可擦除可编程只读存储器(eeprom，electrically erasable programmable read-only memory)、磁性随机存取存储器(fram，ferromagnetic random access memory)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(cd-rom，compact disc read-only memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram，random access memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，static random access memory)、同步静态随机存取存储器(ssram，synchronous static random access memory)、动态随机存取存储器(dram，dynamic random access memory)、同步动态随机存取存储器(sdram，synchronous dynamic random access memory)、双倍数据速率同步动态随机存取存储器(ddrsdram，double data rate synchronous dynamic random access memory)、增强型同步动态随机存取存储器(esdram，enhanced synchronous dynamic random access memory)、同步连接动态随机存取存储器(sldram，synclink dynamic random access memory)、直接内存总线随机存取存储器(drram，direct rambus random access memory)。本技术实施例描述的存储器404旨在包括但不限于这些和任意其它适合类型的存储器。
113.本技术实施例中的存储器404用于存储各种类型的数据以支持电子设备400的操作。这些数据的示例包括：用于在电子设备400上操作的任何计算机程序，如操作系统4041和应用程序4042；联系人数据；电话簿数据；消息；图片；音频等。其中，操作系统4041包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序4042可以包含各种应用程序，例如媒体播放器(media player)、浏览器(browser)等，用于实现各种应用业务。实现本技术实施例方法的程序可以包含在应用程序4042中。
114.上述本技术实施例揭示的方法可以应用于处理器403中，或者由处理器403实现。处理器403可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器403中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器403可以是通用处理器、数字信号处理器(dsp，digital signal processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器403可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器404，处理器403读取存储器404中的信息，结合其硬件
完成前述方法的步骤。
115.在示例性实施例中，电子设备400可以被一个或多个应用专用集成电路(asic，application specific integrated circuit)、dsp、可编程逻辑器件(pld，programmable logic device)、复杂可编程逻辑器件(cpld，complex programmable logic device)、现场可编程门阵列(fpga，field-programmable gate array)、通用处理器、控制器、微控制器(mcu，micro controller unit)、微处理器(microprocessor)、或其他电子元件实现，用于执行前述方法。
116.在示例性实施例中，本技术实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器404，上述计算机程序可由电子设备400的处理器403执行，以完成前述方法所述步骤。计算机可读存储介质可以是fram、rom、prom、eprom、eeprom、flash memory、磁表面存储器、光盘、或cd-rom等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如移动电话、计算机、平板设备、个人数字助理等。
117.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器运行时，执行上述处理方法中任一项方法步骤。
118.在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
119.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
120.本技术所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
121.本技术所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
122.本技术所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
123.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种处理方法，包括：获取第一帧图像和第二帧图像，所述第一帧图像和所述第二帧图像为通过具有一个图像采集单元的图像采集装置得到的两帧图像；获取所述第一帧图像和所述第二帧图像的惯性测量数据；基于所述第一帧图像、所述第二帧图像和所述惯性测量数据，确定所述第一帧图像对应的深度信息。2.根据权利要求1所述的方法，所述确定所述第一帧图像对应的深度信息，包括：确定所述图像采集装置的图像采集位姿从所述第一帧图像到所述第二帧图像的第一位姿变化数据；根据所述第一位姿变化数据和所述第二帧图像，得到第三帧图像，所述第一帧图像和所述第三帧图像具有对应于同一平面的位置参数；基于所述第一帧图像、所述第三帧图像和所述惯性测量数据，确定所述第一帧图像对应的深度信息。3.根据权利要求2所述的方法，所述根据所述第一位姿变化数据和所述第二帧图像，得到第三帧图像，包括：根据所述第一帧图像确定第一平面信息；根据所述第一位姿变化数据和所述第一平面信息确定第一矫正参数；通过所述第一矫正参数对所述第二帧图像进行矫正，得到所述第三帧图像。4.根据权利要求2所述的方法，所述基于所述第一帧图像、所述第三帧图像和所述惯性测量数据，确定所述第一帧图像对应的深度信息，包括：基于所述惯性测量数据确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位置变化数据；基于所述第一位置变化数据确定所述图像采集装置从所述第一帧图像到所述第三帧图像的第二位置变化数据；基于所述第二位置变化数据确定所述第一帧图像到所述第三帧图像的光心间距参数；基于所述第一帧图像、所述第三帧图像和所述光心间距参数确定所述第一帧图像对应的深度信息。5.根据权利要求2所述的方法，所述确定所述图像采集装置的图像采集位姿从所述第一帧图像到所述第二帧图像的第一位姿变化数据，包括以下至少之一：基于所述第一帧图像和所述第二帧图像的惯性测量数据，确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据；基于所述第一帧图像和所述第二帧图像的特征点数据，确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据。6.根据权利要求2所述的方法，所述基于所述第一帧图像、所述第三帧图像和所述惯性测量数据，确定所述第一帧图像对应的深度信息，包括：获取第四帧图像，所述第四帧图像与所述第二帧图像满足第一相邻条件；确定所述图像采集装置从所述第一帧图像到所述第四帧图像的第二位姿变化数据；基于所述第二位姿变化数据和所述第四帧图像得到第五帧图像，所述第一帧图像和所述第五帧图像具有对应于同一平面的位置参数；
基于所述第一帧图像、所述第三帧图像和所述第五帧图像，确定所述第一帧图像对应的深度信息。7.根据权利要求2所述的方法，在所述第一帧图像与后续帧图像的位姿差异满足第一条件的情况下，所述第二帧图像为所述第一帧图像之前的图像，其中，所述后续帧图像在所述第一帧图像之后且与所述第一帧图像满足第二相邻条件；在所述第一帧图像与所述后续帧图像的位姿差异满足第二条件的情况下，所述第二帧图像为所述第一帧图像之后的图像。8.根据权利要求5所述的方法，所述基于所述第一帧图像和所述第二帧图像的特征点数据，确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据，包括：在所述第一帧图像中提取第一组特征点数据，在所述第二帧图像中提取第二组特征点数据；将所述第一组特征点数据与所述第二组特征点数据进行特征点位置匹配；根据匹配结果确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据。9.根据权利要求5所述的方法，所述基于所述第一帧图像和所述第二帧图像的特征点数据，确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据，包括：在所述第一帧图像中提取第三组特征点数据；在所述第二帧图像中获取所述第三组特征点数据的位移路径数据；基于所述位移路径数据确定所述图像采集装置从所述第一帧图像到所述第二帧图像的第一位姿变化数据。10.一种电子设备，包括：图像采集装置，具有一个图像采集单元；惯性测量装置，用于在通过所述图像采集单元采集目标对象的过程中，采集所述图像采集单元的惯性测量数据；处理器，用于获取第一帧图像和第二帧图像，所述第一帧图像和所述第二帧图像为通过所述图像采集单元得到的两帧图像；以及用于获取所述第一帧图像到所述第二帧图像的惯性测量数据；基于所述第一帧图像、所述第二帧图像和所述惯性测量数据，确定所述第一帧图像对应的深度信息。

技术总结
本申请提供一种处理方法，包括：获取第一帧图像和第二帧图像，所述第一帧图像和所述第二帧图像为通过具有一个图像采集单元的图像采集装置得到的两帧图像；获取所述第一帧图像和所述第二帧图像的惯性测量数据；基于所述第一帧图像、所述第二帧图像和所述惯性测量数据，确定所述第一帧图像对应的深度信息。同时，本申请还提供一种电子设备。本申请还提供一种电子设备。本申请还提供一种电子设备。


技术研发人员：陆嘉伟 吴真 何柏霖
受保护的技术使用者：联想（北京）有限公司
技术研发日：2023.03.23
技术公布日：2023/7/12