点云融合方法、装置、电子设备和存储介质与流程

1.本公开涉及图像处理技术领域，尤其涉及一种点云融合方法、装置、电子设备和存储介质。


背景技术：

2.随着科学技术的发展，电子设备的不断发展给用户的生产生活带来了极大地便利。其中，在图像处理中，点云融合极大地提高了图像融合效果。点云融合技术是将各个视角下采集的深度图融合成一个完整的3d点云。由于采集设备和点云融合算法的精度问题，各视角下的原始深度存在一定的误差和噪声，如果将这些原始深度直接投影到3d空间中，则重建出的3d点云会非常杂乱，且同一位置的点云会很厚。在此过程中，由于需要对每张深度图的每个像素都逐一计算，使得点云融合的计算量非常大，导致点云融合过程耗时很长，且冗余点云的出现使得点云融合图像准确性较低。


技术实现要素：

3.本公开提供一种点云融合方法、装置、电子设备和存储介质，以至少解决相关技术中点云融合过程耗时很长，且冗余点云的出现使得点云融合图像准确性较低的问题。本公开的技术方案如下：
4.根据本公开实施例的第一方面，提供一种点云融合方法，包括：
5.获取多视角的图像帧集合；
6.获取所述图像帧集合对应的共视关系表集合，其中，所述共视关系表集合中包括所述图像帧集合中任一图像帧和所述任一图像帧对应的共视帧的共视关系表子集；
7.获取所述图像帧集合对应的语义分割结果，其中，所述语义分割结果包括至少一个点云；
8.根据所述共视关系表集合和所述至少一个点云，获取所述图像帧集合对应的点云融合图像。
9.可选的，所述获取所述图像帧集合对应的共视关系表集合，包括：
10.根据所述图像帧集合中各图像帧对应的位姿信息，确定第一图像帧对应的第一中心位置和第二图像帧对应的第二中心位置，其中，所述第一图像帧为所述图像帧集合中任一图像帧，所述第二图像帧为所述图像帧集合中除所述第一图像帧之外的任一图像帧，所述第一中心位置为所述第一图像帧对应的摄像装置的中心位置，所述第二中心位置为所述第二图像帧对应的摄像装置的中心位置；
11.根据所述第一中心位置和所述第二中心位置，获取所述第一图像帧和所述第二图像帧对应的共视稀疏点云集合；
12.根据所述共视稀疏点云集合对应的稀疏点云数量和所述共视稀疏点云集合中至少一个稀疏点云对应的观测夹角，获取所述第一图像帧和所述第二图像帧对应的分数，其中，所述分数用于指示所述第一图像帧和所述第二图像帧的共视程度；
13.遍历所述图像帧集合中除所述第一图像帧之外的所有图像帧，获取至少一个分数；
14.根据所述至少一个分数，获取所述第一图像帧对应的共视关系表子集；
15.遍历所述图像帧集合，获取所述图像帧集合对应的共视关系表集合。
16.可选的，所述方法还包括：
17.获取所述共视稀疏点云集合中任一稀疏点云与所述第一中心位置的第一方向向量；
18.获取所述任一稀疏点云与所述第二中心位置的第二方向向量；
19.根据所述第一方向向量和所述第二方向向量，获取所述任一稀疏点云对应的观测夹角。
20.可选的，所述根据所述共视稀疏点云集合对应的稀疏点云数量和所述共视稀疏点云集合中至少一个稀疏点云对应的观测夹角，获取所述第一图像帧和所述第二图像帧对应的分数，包括：
21.获取与所述共视稀疏点云集合对应的稀疏点云数量；
22.根据所述共视稀疏点云集合任一稀疏点云对应的观测夹角与预设观测夹角的差值，获取所述稀疏点云数量的差值；
23.根据所述稀疏点云数量的差值和所述差值对应的分数系数，获取所述第一图像帧和所述第二图像帧对应的分数。
24.可选的，所述根据根据所述至少一个分数，获取所述第一图像帧对应的共视关系表子集，包括：
25.按照分数由高到低的顺序，将所述至少一个分数中预设个数的分数对应的第二图像帧添加至所述第一图像帧对应的共视关系表子集；或者
26.确定所述至少一个分数中大于分数阈值的至少一个目标分数；
27.将所述至少一个目标分数对应的第二图像帧添加至所述第一图像帧对应的共视关系表子集。
28.可选的，所述获取所述图像帧集合对应的语义分割结果，包括：
29.获取所述图像帧集合中所述图像帧集合中任一图像帧对应的原始图像；
30.对所述图像帧集合中任一图像帧对应的原始图像进行语义分割处理，得到所述任一图像帧对应的语义分割结果。
31.可选的，所述根据所述共视关系表集合和所述语义分割结果包括的至少一个点云，获取所述图像帧集合对应的点云融合图像，包括：
32.获取所述图像帧集合中第一图像帧对应的第一共视关系表集合，其中，所述第一图像帧为所述图像帧集合中任一图像帧，所述第一共视关系表集合中包括至少一个与所述第一图像帧共视的第二图像帧；
33.获取所述第一图像帧对应的任一深度点；
34.将所述任一深度点的二维坐标投影至所述任一第二图像帧，得到与所述二维坐标对应的投影坐标；
35.在所述投影坐标满足搜索停止条件的情况下，确定所述任一深度点为第一深度点，其中，所述第一深度点为已融合的点，或所述第一深度点处于所述第一图像帧的视场范
围之外的点；
36.在所述投影坐标不满足所述搜索停止条件的情况下，将所述投影坐标投影至任一第三图像帧，直至获取到所述任一深度点在所述图像帧集合中对应的所有第二深度点，其中，所述任一第三图像帧为所述第二图像帧对应的第二共视关系表集合中任一图像帧，第二深度点为未融合且处于所述第一图像帧的视场范围之内的点；
37.获取所述所有第二深度点中通过一致性校验的至少一个第二深度点；
38.将所述任一深度点和所述通过一致性校验的至少一个第二深度点投影三维空间中，获取所述任一深度点对应的三维坐标，确定完成所述任一深度点的点云融合；
39.遍历所述图像帧集合，获取所述图像帧集合对应的点云融合图像。
40.根据本公开实施例的第二方面，提供一种点云融合装置，包括：
41.集合获取单元，被配置为执行获取多视角的图像帧集合；
42.集合获取单元，还被配置为执行获取所述图像帧集合对应的共视关系表集合，其中，所述共视关系表集合中包括所述图像帧集合中任一图像帧和所述任一图像帧对应的共视帧的共视关系表子集；
43.结果获取单元，被配置为执行获取所述图像帧集合对应的语义分割结果，其中，所述语义分割结果包括至少一个点云；
44.点云融合单元，被配置为执行根据所述共视关系表集合和所述至少一个点云，获取所述图像帧集合对应的点云融合图像。
45.根据一些实施例，集合获取单元包括位置获取子单元、集合获取子单元、分数获取子单元、子集获取子单元，所述集合获取单元被配置为执行获取所述图像帧集合对应的共视关系表集合时：
46.位置获取子单元，被配置为执行根据所述图像帧集合中各图像帧对应的位姿信息，确定第一图像帧对应的第一中心位置和第二图像帧对应的第二中心位置，其中，所述第一图像帧为所述图像帧集合中任一图像帧，所述第二图像帧为所述图像帧集合中除所述第一图像帧之外的任一图像帧，所述第一中心位置为所述第一图像帧对应的摄像装置的中心位置，所述第二中心位置为所述第二图像帧对应的摄像装置的中心位置；
47.位置获取子单元，被配置为执行根据所述任一图像帧对应的中心位置，确定第一图像帧对应的第一中心位置和第二图像帧对应的第二中心位置，其中，所述第一图像帧为所述图像帧集合中任一图像帧，所述第二图像帧为所述图像帧集合中除所述第一图像帧集合之外的任一图像帧；
48.分数获取子单元，被配置为执行根据所述共视稀疏点云集合对应的稀疏点云数量和所述共视稀疏点云集合中至少一个稀疏点云对应的观测夹角，获取所述第一图像帧和所述第二图像帧对应的分数，其中，所述分数用于指示所述第一图像帧和所述第二图像帧的共视程度；
49.分数获取子单元，还被配置为执行遍历所述图像帧集合中除所述第一图像帧之外的所有图像帧，获取至少一个分数；
50.子集获取子单元，被配置为执行根据所述至少一个分数，获取所述第一图像帧对应的共视关系表子集；
51.集合获取子单元，被配置为执行遍历所述图像帧集合，获取所述图像帧集合对应
的共视关系表集合
52.根据一些实施例，集合获取单元还包括夹角获取子单元，被配置为执行获取所述共视稀疏点云集合中任一稀疏点云与所述第一中心位置的第一方向向量；
53.获取所述任一稀疏点云与所述第二中心位置的第二方向向量；
54.根据所述第一方向向量和所述第二方向向量，获取所述任一稀疏点云对应的观测夹角。
55.根据一些实施例，所述分数获取子单元，被配置为执行根据所述共视稀疏点云集合对应的稀疏点云数量和所述共视稀疏点云集合中至少一个稀疏点云对应的观测夹角，获取所述第一图像帧和所述第二图像帧对应的分数时，具体被配置为执行：
56.获取与所述共视稀疏点云集合对应的稀疏点云数量；
57.根据所述共视稀疏点云集合任一稀疏点云对应的观测夹角与预设观测夹角的差值，获取所述稀疏点云数量的差值；
58.根据所述稀疏点云数量的差值和所述差值对应的分数系数，获取所述第一图像帧和所述第二图像帧对应的分数。
59.根据一些实施例，所述子集获取子单元，被配置为执行根据所述至少一个分数，获取所述第一图像帧对应的共视关系表子集时，具体被配置为执行：
60.按照分数由高到低的顺序，将所述至少一个分数中预设个数的分数对应的第二图像帧添加至所述第一图像帧对应的共视关系表子集；或者
61.确定所述至少一个分数中大于分数阈值的至少一个目标分数；
62.将所述至少一个目标分数对应的第二图像帧添加至所述第一图像帧对应的共视关系表子集。
63.根据一些实施例，所述结果获取单元，被配置为执行获取所述图像帧集合对应的语义分割结果时，具体被配置为执行：
64.获取所述图像帧集合中第一图像帧对应的第一共视关系表集合，其中，所述第一图像帧为所述图像帧集合中任一图像帧，所述第一共视关系表集合中包括至少一个与所述第一图像帧共视的第二图像帧；
65.获取所述第一图像帧对应的任一深度点；
66.将所述任一深度点的二维坐标投影至所述任一第二图像帧，得到与所述二维坐标对应的投影坐标；
67.在所述投影坐标满足搜索停止条件的情况下，确定所述任一深度点为第一深度点，其中，所述第一深度点为已融合的点，或所述第一深度点处于所述第一图像帧的视场范围之外的点；
68.在所述投影坐标不满足所述搜索停止条件的情况下，将所述投影坐标投影至任一第三图像帧，直至获取到所述任一深度点在所述图像帧集合中对应的所有第二深度点，其中，所述任一第三图像帧为所述第二图像帧对应的第二共视关系表集合中任一图像帧，第二深度点为未融合且处于所述第一图像帧的视场范围之内的点；
69.获取所述所有第二深度点中通过一致性校验的至少一个第二深度点；
70.将所述任一深度点和所述通过一致性校验的至少一个第二深度点投影三维空间中，获取所述任一深度点对应的三维坐标，确定完成所述任一深度点的点云融合；
71.遍历所述图像帧集合，获取所述图像帧集合对应的点云融合图像。
72.根据本公开实施例的第三方面，提供一种电子设备，包括：
73.处理器；
74.用于存储所述处理器可执行指令的存储器；
75.其中，所述处理器被配置为执行所述指令，以实现前述一方面中任一项所述的点云融合方法。
76.根据本技术的第四方面，提供了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述一方面中任一项所述的点云融合方法。
77.根据本技术的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现前述一方面中任一项所述的方法。
78.本公开的实施例提供的技术方案至少带来以下有益效果：
79.在一些或者相关实施例中，通过获取多视角的图像帧集合；获取图像帧集合对应的共视关系表集合，其中，共视关系表集合中包括图像帧集合中任一图像帧和任一图像帧对应的共视帧的共视关系表子集；获取图像帧集合对应的语义分割结果，其中，所述语义分割结果包括至少一个点云；根据共视关系表集合和至少一个点云，获取图像帧集合对应的点云融合图像。因此，通过共视关系表集合和语音分割结果获取点云融合图像，可以减少直接对图像帧集合进行融合时导致点云冗余的情况，可以减少点云融合中针对冗余点云的计算，可以减少点云融合过程耗时时长，同时，可以减少冗余点云的出现使得点云融合图像准确性较低的情况，可以提高点云融合的准确性。
80.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
81.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
82.图1是根据一示例性实施例示出的一种点云融合方法的举例示意图；
83.图2是根据一示例性实施例示出的一种点云融合方法的举例示意图；
84.图3是根据一示例性实施例示出的一种点云融合方法的举例示意图；
85.图4是根据一示例性实施例示出的一种点云融合方法的举例示意图；
86.图5是根据一示例性实施例示出的一种点云融合方法的举例示意图；
87.图6是根据一示例性实施例示出的一种共视点查找方法的举例示意图；
88.图7是根据一示例性实施例示出的一种点云融合装置的框图；
89.图8是根据一示例性实施例示出的一种点云融合装置的框图；
90.图9是根据一示例性实施例示出的一种点云融合装置的框图；
91.图10是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
92.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
93.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
94.图1是根据一示例性实施例示出的一种点云融合方法的流程图，如图1所示，该点云融合方法可以用于点云融合场景中，包括以下步骤：
95.在步骤s11中，获取多视角的图像帧集合；
96.根据一些实施例，图像帧集合是指由至少一帧图像汇聚而成的集体。该图像帧例如可以是原始图像对应的深度图像。该图像帧集合并不特指某一固定集合。例如，当电子设备采集对象发生变化时，该图像帧集合也可以相应变化。例如，当图像帧集合对应的帧数发生变化时，该图像帧集合也可以相应变化。
97.根据一些实施例，深度图的获取方式有许多种，例如：使用深度传感器、激光雷达、结构光扫描仪、以及双目立体几何算法计算出深度等。
98.易于理解的是，多视角用于从不同角度获取图像帧，多视角是指不同的角度，也就是说，图像帧集合中包括的至少一个图像帧并非同一角度获取的。该多视角并不特指某一固定角度。例如，当多视角对应的某一视角发生变化时，该多视角也可以相应变化。例如，当多视角对应的视角数量发生变化时，该多视角也可以相应变化。
99.根据一些实施例，本公开实施例中，当电子设备执行点云融合方法时，电子设备可以获取多视角的图像帧集合。其中，电子设备例如可以控制不同的摄像装置获取该图像帧集合，还可以是从电子设备的存储中获取，还可以是从服务器获取的，还可以是从其他电子设备中获取的。本公开实施例对此并不做限定。
100.在步骤s12中，获取图像帧集合对应的共视关系表集合；
101.易于理解的是，其中，共视关系表集合中包括图像帧集合中任一图像帧和任一图像帧对应的共视帧的共视关系表子集。该共视关系表集合是指由至少一个共视关系表子集汇聚而成的集体。该共视关系表集合中包括的共视关系表子集发生变化时，该共视关系表集合也可以相应变化。例如，当图像帧集合发生变化时，该图像帧集合对应的共视关系表集合也可以相应变化。
102.根据一些实施例，共视关系用于指示两个图像帧存在共视图像。该共视关系表子集用于是指某一图像帧存在共视关系的至少一个图像帧。该共视关系表子集并不特指某一固定表，例如，当图像帧发生变化时，该图像帧对应的共视关系表子集也可以相应变化。例如，当图像帧对应的共视关系发生变化时，该图像帧对应的共视关系表子集也可以相应变化。
103.根据一些实施例，当电子设备获取到图像帧集合时，电子设备可以获取图像帧集合对应的共视关系表集合。
104.在步骤s13中，获取图像帧集合对应的语义分割结果；
105.根据一些实施例，语音分割结果是指根据图像的语音进行分割，得到的分割结果。该语音例如可以是指图像内容。任一图像帧是指图像帧集合中的任一图像帧，也就是说该
任一图像帧并不特指某一图像帧集合中任一图像帧。
106.易于理解的是，该语音分割结果中包括至少一个点云。
107.易于理解的是，电子设备例如可以获取任一图像帧对应的语音分割结果。电子设备可以获取到图像帧集合对应的语音分割结果。
108.在步骤s14中，根据共视关系表集合和至少一个点云，获取图像帧集合对应的点云融合图像。
109.根据一些实施例，电子设备获取到图像帧集合对应的共视关系表集合以及语义分割结果包括的至少一个点云时，电子设备可以获取图像帧集合对应的点云融合图像。
110.易于理解的是，点云融合例如可以获取针对采集对象的3d图像。
111.在一些或者相关实施例中，通过获取多视角的图像帧集合；获取图像帧集合对应的共视关系表集合，其中，共视关系表集合中包括图像帧集合中任一图像帧和任一图像帧对应的共视帧的共视关系表子集；获取图像帧集合对应的语义分割结果，其中，语义分割结果包括至少一个点云；根据共视关系表集合和至少一个点云，获取图像帧集合对应的点云融合图像。因此，通过共视关系表集合和语音分割结果获取点云融合图像，可以减少直接对图像帧集合进行融合时导致点云冗余的情况，可以减少点云融合中针对冗余点云的计算，可以减少点云融合过程耗时时长，同时，可以减少冗余点云的出现使得点云融合图像准确性较低的情况，可以提高点云融合的准确性。
112.图2是根据一示例性实施例示出的一种点云融合方法的流程图，如图2所示，该点云融合方法可以用于点云融合场景中，包括以下步骤：
113.在步骤s21中，获取多视角的图像帧集合；
114.具体过程如上所述，此处不再赘述。
115.根据一些实施例，本公开实施例中电子设备例如可以控制至少一个摄像装置对目标对象进行采集，获取到多视角的图像帧集合。
116.在步骤s22中，根据图像帧集合中各图像帧对应的位姿信息，获取第一图像帧对应的第一中心位置和第二图像帧对应的第二中心位置；
117.根据一些实施例，第一图像帧为图像帧集合中任一图像帧，第二图像帧为图像帧集合中除第一图像帧之外的任一图像帧，第一中心位置为第一图像帧对应的摄像装置的中心位置，第二中心位置为第二图像帧对应的摄像装置的中心位置。
118.在一些实施例之中，位姿信息是指任一图像帧采集时对应的位姿。该位姿信息并不特指某一固定信息。例如，当任一图像帧发生变化时，该任一图像帧对应的位姿信息也可以相应变化。例如，当任一图像帧对应的采集角度发生变化时，该任一图像帧也可以相应变化。
119.易于理解的是，中心位置为任一图像帧对应的摄像装置的中心位置。摄像装置的中心位置例如可以是摄像装置的镜头的中心位置。该摄像装置的中心位置例如还可以是摄像装置的几何中心位置。不同的图像帧对应不同的中心位置。
120.根据一些实施例，电子设备获取到图像帧集合时，电子设备可以获取到图像帧集合中各图像帧对应的位姿信息。例如，电子设备可以获取图像帧集合中所有图像帧对应的位置信息。电子设备可以根据该位置信息，确定第一图像帧对应的第一中心位置和第二图像帧对应的第二中心位置。
121.根据一些实施例，第一中心位置是指第一图像帧对应的摄像装置的中心位置，该第一图像帧例如可以是图像帧集合中任一图像帧。该第一图像帧并不特指某一固定图像帧。例如，当第一图像帧对应的图像内容发生变化时，该第一图像帧也可以相应变化。例如，当第一图像帧对应的帧标识发生变化时，该第一图像帧也可以相应变化。
122.易于理解的是，第二中心位置是指第二图像帧对应的摄像装置的中心位置，该第二图像帧为图像帧集合中除第一图像帧之外的任一图像帧。该第二图像帧并不特指某一固定图像帧。例如，当第二图像帧对应的图像内容发生变化时，该第二图像帧也可以相应变化。例如，当第二图像帧对应的帧标识发生变化时，该第二图像帧也可以相应变化。
123.根据一些实施例，图像帧集合中包括n个图像帧，其中，n为正整数。其中，i表示第一图像帧，j表示第二图像帧。根据各图像帧的位姿to，获取各图像帧对应的摄像装置的中心位置co(共n个)。其中，ci表示第一图像帧对应的相机的中心位置，cj表示第二图像帧对应的相机的中心位置。电子设备可以对于n个中心位置进行两两配对(ci,cj)，计算第一位置中心和第二中心位置差为：
124.dist
i,
＝c
i-cj|
125.在步骤s23中，根据第一中心位置和第二中心位置，获取第一图像帧和第二图像帧对应的共视稀疏点云集合；
126.根据一些实施例，电子设备获取到第一中心位置和第二中心位置时，可以根据第一中心位置和第二中心位置，获取第一图像帧和第二图像帧对应的共视稀疏点云集合。具体可以是，电子设备可以采用稀疏点云模型，获取第一图像帧和第二图像帧对应的共视稀疏点云集合。
127.易于理解的是，共视稀疏点云集合是指由至少一个共视稀疏点云汇聚而成的集体。该共视稀疏点云集合是指由第一图像帧对应的点云集合和第二图像帧对应的集合的交集。该共视稀疏点云集合并不特指某一固定集合。例如，当共视稀疏点云集合包括的点云数量发生变化时，该共视稀疏点云集合也可以相应变化。例如，当共视稀疏点云集合包括的具体点云发生变化时，该共视稀疏点云集合也可以相应变化。
128.在步骤s24中，根据共视稀疏点云集合对应的稀疏点云数量和共视稀疏点云集合中至少一个稀疏点云对应的观测夹角，获取第一图像帧和第二图像帧对应的分数；
129.在一些实施例之中，分数用于指示第一图像帧和第二图像帧的共视程度。其中，第一图像帧和第二图像帧对应的分数并不特指某一固定分数。例如，当第一图像帧和第二图像帧的共视程度发生变化时，该第一图像帧和第二图像帧对应的分数也可以相应变化。
130.根据一些实施例，电子设备获取到共视稀疏点云集合时，电子设备可以获取共视稀疏点云集合对应的稀疏点云数量。电子设备还可以获取共视稀疏点云集合中至少一个稀疏点云对应的观测夹角。其中，观测夹角为任一稀疏点云相对于第一中心位置和第二中心位置的夹角。
131.易于理解的是，根据共视稀疏点云集合对应的稀疏点云数量和共视稀疏点云集合中至少一个稀疏点云对应的观测夹角，电子设备可以获取第一图像帧和第二图像帧对应的分数。
132.根据一些实施例，获取共视稀疏点云集合中任一稀疏点云与第一中心位置的第一方向向量；获取任一稀疏点云与第二中心位置的第二方向向量；根据第一方向向量和第二
方向向量，获取任一稀疏点云对应的观测夹角。因此，基于第一方向向量和第二方向向量确定观测夹角，可以提高观测夹角确定的准确性。
133.易于理解的是，第一方向向量是指任一稀疏点云与第一中心位置的方向向量。该第一方向向量并不特指某一固定方向向量。例如，当任一稀疏点云或者第一中心位置发生变化时，该第一方向向量也可以相应变化。
134.易于理解的是，任一稀疏点云例如可以是3d点p，计算该p点对于第一中心位置和第二中心位置的方向向量：
135.vi＝c
i-p
136.vj＝c
j-p
137.其中，vi表示第一方向向量，vj表示第二方向向量。
138.电子设备可以计算该3d点p相对第一中心位置和第二中心位置的夹角：
[0139][0140]
其中，θ
p
为p对应的观测夹角。
[0141]
根据一些实施例，根据共视稀疏点云集合对应的稀疏点云数量和共视稀疏点云集合中至少一个稀疏点云对应的观测夹角，获取第一图像帧和第二图像帧对应的分数时，可以获取与共视稀疏点云集合对应的稀疏点云数量；根据共视稀疏点云集合任一稀疏点云对应的观测夹角与预设观测夹角的差值，获取稀疏点云数量的差值；根据稀疏点云数量的差值和差值对应的分数系数，获取第一图像帧和第二图像帧对应的分数。因此，根据稀疏点云数量的差值和差值对应的分数系数，获取第一图像帧和第二图像帧对应的分数，可以根据不同的差值采用分数系数进行分数确定，可以提高分数确定的准确性。
[0142]
易于理解的是，任一稀疏点云对应的观测夹角小于预设观测夹角时，任一稀疏点云对应的观测夹角和预设观测夹角的差值对应的分数系数例如可以是第一分数系数；任一稀疏点云对应的观测夹角大于或者等于预设观测夹角时，任一稀疏点云对应的观测夹角和预设观测夹角的差值对应的分数系数例如可以是第二分数系数，其中，第一分数系数小于第二分数系数。
[0143]
在一些实施例之中，根据共视稀疏点云集合对应的稀疏点云数量和任一稀疏点云对应的观测夹角，对第一图像帧和第二图像帧的观测质量进行打分：
[0144][0145][0146]
其中，s
i,
为第一图像帧和第二图像帧的分数，s
p
为任一稀疏点云对应的分数。θ0为预设观测夹角，σ1为&θ
p
《θ0对应的分数系数，σ2为&θ
p
≥θ0对应的分数系数。其中，
[0147]
根据一些实施例，例如，θ0＝5
°
，σ1＝1，σ2＝10。其中，上述求s
i,
公式的物理意义是：例如可以认为θ0是两帧最优的观测夹角，此时深度估计的质量最高。因此，该打分函数在夹
角θ
p
＝θ0时得分最高，为1分。σ1《σ2的含义是：对于夹角《θ0的惩罚更大，因为在算法原理上此时两帧的夹角太小，三角测量的误差会迅速增大，提高分数确定的准确性。
[0148]
在步骤s25中，遍历图像帧集合中除第一图像帧之外的所有图像帧，获取至少一个分数；
[0149]
根据一些实施例，当获取到第一图像帧和第二图像帧对应的分数时，电子设备可以遍历图像帧集合中除第一图像帧之外的所有图像帧，获取至少一个分数。例如，电子设备可以获取第一图像帧和多个图像帧对应的多个分数。
[0150]
例如，当图像帧集合中包括a图像帧、b图像帧、c图像帧、d图像帧和e图像帧时，电子设备可以获取a图像帧和b图像帧对应的分数、a图像帧和c图像帧对应的分数、a图像帧和d图像帧对应的分数、a图像帧和e图像帧对应的分数。
[0151]
在步骤s26中，根据至少一个分数，获取第一图像帧对应的共视关系表子集；
[0152]
根据一些实施例，由于第二图像帧为图像帧集合中除第一图像帧之外的任一图像帧，因此，电子设备可以获取至少一个第一图像帧和第二图像帧对应的分数。也就是说，关于第一图像帧与其余图像帧的分数，电子设备可以获取到至少一个分数。
[0153]
可选的，电子设备可以根据至少一个第一图像帧和第二图像帧对应的分数，获取第一图像帧对应的共视关系表子集。例如，电子设备可以获取到与第一图像帧对应的具有共视关系的所有图像帧。
[0154]
根据一些实施例，电子设备根据至少一个分数，获取第一图像帧对应的共视关系表子集，包括：按照分数由高到低的顺序，将至少一个分数中预设个数的分数对应的第二图像帧添加至第一图像帧对应的共视关系表子集；或者确定至少一个分数中大于分数阈值的至少一个目标分数；将至少一个目标分数对应的第二图像帧添加至第一图像帧对应的共视关系表子集。因此，基于分数，获取共视关系表子集，可以减少第一图像帧和第二图像帧共视关系程度较低的情况，可以提高共视关系表子集获取的准确性。
[0155]
在一些实施例之中，电子设备可以获取第一图像帧和其余图像帧之间的n-1个分数。电子设备可以对n-1个分数进行排序，获取前m个结果，得到第一图像帧对应的共视关系表子集。其中，m为正整数。
[0156]
在步骤s27中，遍历图像帧集合，获取图像帧集合对应的共视关系表集合；
[0157]
具体过程如上所述，此处不再赘述。
[0158]
根据一些实施例，当电子设备获取到第一图像帧对应的共视关系表子集时，可以遍历图像帧集合，获取图像帧集合对应的共视关系表集合。例如，电子设备可以获取所有图像帧对应的共视关系表子集，可以将所有图像帧对应的共视关系表子集添加至共视关系表集合中。
[0159]
在一些实施例之中，其中，共视关系表集合中包括图像帧集合中任一图像帧和任一图像帧对应的共视帧的共视关系表子集。
[0160]
在步骤s28中，获取图像帧集合对应的语义分割结果；
[0161]
具体过程如上所述，此处不再赘述。
[0162]
在步骤s29中，根据共视关系表集合和语义分割结果包括的至少一个点云，获取图像帧集合对应的点云融合图像。
[0163]
具体过程如上所述，此处不再赘述。
[0164]
在一些或者相关实施例中，通过获取多视角的图像帧集合；根据图像帧集合中各图像帧对应的位姿信息，确定第一图像帧对应的第一中心位置和第二图像帧对应的第二中心位置；根据第一中心位置和第二中心位置，获取第一图像帧和第二图像帧对应的共视稀疏点云集合，减少直接获取共视稀疏点云集合使得点云确定不准确的情况，可以提高共视稀疏点云集合获取的准确性。其次，根据共视稀疏点云集合对应的稀疏点云数量和共视稀疏点云集合中至少一个稀疏点云对应的观测夹角，获取第一图像帧和第二图像帧对应的分数；遍历图像帧集合中除第一图像帧之外的所有图像帧，获取至少一个分数，根据至少一个分数，获取第一图像帧对应的共视关系表子集，可以提高共视关系表子集获取的准确性，减少第一图像帧与其余任一图像帧不共视的情况。另外，通过遍历图像帧集合，获取图像帧集合对应的共视关系表集合；获取图像帧集合对应的语义分割结果，其中，语义分割结果包括至少一个点云；根据共视关系表集合和至少一个点云，获取图像帧集合对应的点云融合图像，可以通过共视关系表集合和语音分割结果获取点云融合图像，可以减少直接对图像帧集合进行融合时导致点云冗余的情况，可以减少点云融合中针对冗余点云的计算，可以减少点云融合过程耗时时长，同时，可以减少冗余点云的出现使得点云融合图像准确性较低的情况，可以提高点云融合的准确性。
[0165]
图3是根据一示例性实施例示出的一种点云融合方法的流程图，如图3所示，该点云融合方法可以用于点云融合场景中，包括以下步骤：
[0166]
在步骤s31中，获取多视角的图像帧集合；
[0167]
具体过程如上所述，此处不再赘述。
[0168]
在步骤s32中，获取图像帧集合对应的共视关系表集合；
[0169]
具体过程如上所述，此处不再赘述。
[0170]
其中，共视关系表集合中包括图像帧集合中任一图像帧和任一图像帧对应的共视帧的共视关系表子集。
[0171]
在步骤s33中，获取图像帧集合中任一图像帧对应的原始图像；
[0172]
根据一些实施例，图像帧集合中包括的图像帧可以是深度图。电子设备可以获取图像帧集合中任一图像帧对应的原始图像。其中，原始图像为rgb图像。例如，电子设备可以获取图像帧集合中任一图像帧对应的rgb图像。rgb图像例如可以是指由红、蓝、绿三色组成的图像。
[0173]
在步骤s34中，对图像帧集合中任一图像帧对应的原始图像进行语义分割处理，得到任一图像帧对应的语义分割结果；
[0174]
根据一些实施例，当电子设备获取到图像帧集合中任一图像帧对应的原始图像时，可以对图像帧集合中任一图像帧对应的原始图像进行语义分割处理，得到任一图像帧对应的语义分割结果。其中，语义分割结果包括至少一个点云。
[0175]
易于理解的是，当电子设备对图像帧集合中任一图像帧对应的原始图像进行语义分割处理时，电子设备可以采用语义分割网络得到任一图像帧对应的语音分割结果。
[0176]
根据一些实施例，该原始图像例如可以是rgb图像。对图像帧集合中任一图像帧对应的原始图像进行语义分割处理，例如可以是采用全卷积神经网络对rgb图像进行语音分割，得到语音分割结果。例如可以直接对rgb图像进行像素级别端到端(end-to-end)的语义分割。
[0177]
根据一些实施例，电子设备例如可以进行天空分割。图4是根据一示例性实施例示出的一种点云融合方法的举例示意图，如图4所示，任一图像帧例如可以是q，只包括地面深度的图像帧可以是w。对任一图像帧q进行语义分割处理，得到任一图像帧对应的语义分割结果例如可以是e。
[0178]
根据一些实施例，电子设备可以利用多视角语义的一致性得到更纯净的点云，以便在后续的点云融合时，若某一位置pi被认定符合语义分割结果gi的次数大于某一阈值，则保留此处的点云；否则就删除点云。
[0179]
在步骤s35中，根据共视关系表集合和至少一个点云，获取图像帧集合对应的点云融合图像。
[0180]
具体过程如上所述，此处不再赘述。
[0181]
根据一些实施例，图5是根据一示例性实施例示出的一种点云融合方法的举例示意图，如图5所示，不采用本公开的技术方案，进行直接点云融合所得到的图像可以是r，采用本公开技术方案进行点云融合所得到的图像可以是t。
[0182]
根据一些实施例，电子设备获取图像帧集合对应的点云融合图像时，可以获取图像帧集合中第一图像帧对应的第一共视关系表集合，其中，第一图像帧为图像帧集合中任一图像帧，第一共视关系表集合中包括至少一个与第一图像帧共视的第二图像帧；获取第一图像帧对应的任一深度点；将任一深度点的二维坐标投影至任一第二图像帧，得到与二维坐标对应的投影坐标；在投影坐标满足搜索停止条件的情况下，确定任一深度点为第一深度点，其中，第一深度点为已融合的点，或第一深度点处于第一图像帧的视场范围之外的点；在投影坐标不满足搜索停止条件的情况下，将投影坐标投影至任一第三图像帧，直至获取到任一深度点在图像帧集合中对应的所有第二深度点，其中，任一第三图像帧为第二图像帧对应的第二共视关系表集合中任一图像帧，第二深度点为未融合且处于第一图像帧的视场范围之内的点；获取所有第二深度点中通过一致性校验的至少一个第二深度点；将任一深度点和通过一致性校验的至少一个第二深度点投影至三维(3dimensions，3d)空间中，获取任一深度点对应的三维3d坐标，确定完成任一深度点的点云融合；遍历图像帧集合，获取图像帧集合对应的点云融合图像。因此，本公开实施例的点云融合为基于三维空间的点云融合，减少二维空间点云融合使得点云融合不准确的情况，且基于一致性校验可以提高任一深度点对应的3d坐标获取的准确性，提高点云融合的准确性，减少同一深度点重复显示的情况。同时，基于至少一个第二深度点，可以减少点云融合时长，提高点云融合效率。
[0183]
根据一些实施例，本公开的技术方案可以在统一的三维空间中进行点云融合的方法。融合的逻辑始终是以3d点的视角展开，电子设备中的程序维护的也是三维空间中3d点的信息，而非各帧的二维深度图。
[0184]
根据一些实施例，对每一帧都设置一个“已融合区域”的mask，记为fi。在算法开始前，深度图上所有的点均未被融合，因此fi的初始值为全0矩阵。电子设备可以对所有图像帧一张一张进行融合，依次执行以下流程。假设此时要处理第i帧深度图，该第i帧深度图例如可以是第一图像帧。则对第i帧深度图di中的每个深度点di都执行以下流程：
[0185]
电子设备可以采用以下步骤找到pi对应的所有共视点：
[0186]
根据一些实施例，图6是根据一示例性实施例示出的一种共视点查找方法的举例示意图，如图6所示：
[0187]
(1)将该pi点的二维坐标pi投影到与它共视的所有图像帧上，得到对应的投影坐标投影公式为：
[0188][0189]
其中，pi是第i帧深度图di中的二维像素坐标；
[0190]di
为该pi对应的深度值(即di＝di(pi))；
[0191]ki
为这张深度图拍摄时对应的相机内参，该ki例如可以是3x3矩阵；
[0192]
xi为当前参考帧坐标系下深度点di对应的3d点云；
[0193]
ti是第i帧深度图拍摄时的位姿；
[0194]
tj是第j帧深度图拍摄时的位姿。
[0195]
(2)对于每个投影过去的目标帧j，在该帧的mask fj中：
[0196]
i)如果该点对应的值为1(即：该点已经参与融合)，或的位置在深度图范围之外，则终止搜索，确认pi这是个无效点，该无效点即为第一深度点，否则：
[0197]
ii)则将该点坐标继续投影至与第j帧共视的所有帧上：
[0198][0199]
(3)重复(1)-(2)过程，直到pi在全部深度图中对应的所有有效点都被找到。有效点的定义是：fjmask对应值为0(即：该点还没有被融合)，且投影后的点在第j帧深度图dj的视场范围内，该有效点即为第二深度点。
[0200]
电子设备可以对pi对应的所有共视点pj进行一致性校验。该一致性校验包括但不限于几何一致性、投影一致性以及法线一致性等。
[0201]
在一些实施例中，电子设备可以对pi对应的所有共视点pj进行一致性校验例如可以按照以下步骤进行
[0202]
(1)几何一致性：
[0203]
i)以第i帧深度图的位姿作为参考帧，将深度di投影到该参考帧的3d空间中，生成该参考帧坐标系下的3d点云xi：
[0204][0205]
ii)将xi投影到其余m-1张深度图上，xi在第j张图片参考系下投影的深度记为
[0206][0207]
ti是第i帧深度图拍摄时的位姿；
[0208]
tj是第j帧深度图拍摄时的位姿。
[0209]
iii)计算两个深度的相对误差：
[0210][0211]
其中，dj为第j张图片对应位置的原始深度。若e
geo
《0.01，则认为几何一致性较高。其中，e
geo
对应的阈值的取值并不特指某一固定值。
[0212]
(2)投影一致性：
[0213]
理想情况下，将pi投影到第j帧后(记为)，其位置应该与深度dj所在的坐标pj相同(即表示3d空间中的同一位置)。因此可以采用投影误差表示多帧投影的一致性：
[0214][0215]
其中，e
proj
表示投影误差，e
proj
投影误差的单位为像素，f
∈
例如可以取1-3中任意值。若e
proj
《f
∈
，则认为投影一致性较高。
[0216]
(3)法线一致性：
[0217]
i)由深度图di计算出法线图ni，其中，pi对应的法线方向为ni。
[0218]
ii)将ni投影到所有共视帧上，得到每帧视角下的法线值理想情况下，多帧投影到同一帧上的法线结果应该相同(即表示3d空间中的同一位置，且表面的方向也一致)，因此可以采用法线一致性表示数据质量：
[0219][0220]
其中，θ
i,
表示法线夹角，若θ
i,
《30
°
，则电子设备确定法线一致性较高，即法线一致性满足法线一致性要求。
[0221]
根据一些实施例，若一个共视点pj同时满足三个一致性条件，则认为该点pj的深度dj质量满足质量要求。假设满足质量要求的点共有h个，则将满足质量要求的深度点投影到3d空间中，并取它们的均值作为该点最终的3d坐标；
[0222][0223][0224][0225]
此时，该点pi已完成点云融合，且对应的所有满足质量要求的pj也完成了点云融合。
[0226]
根据一些实施例，对于所有已完成融合的点pi，pj，电子设备可以将“已融合区域”mask f的对应位置改为1。
[0227]
可选的，电子设备可以重复上述过程，直到每张深度图的每个深度值都参与了融合。此时点云融合过程完成。
[0228]
在一些或者相关实施例中，通过获取多视角的图像帧集合；获取图像帧集合对应的共视关系表集合，其中，共视关系表集合中包括图像帧集合中任一图像帧和任一图像帧对应的共视帧的共视关系表子集；获取图像帧集合中任一图像帧对应的原始图像；对图像帧集合中任一图像帧对应的原始图像进行语义分割处理，得到任一图像帧对应的语义分割结果，根据共视关系表集合和语义分割结果包括的至少一个点云，获取图像帧集合对应的点云融合图像。因此，通过对任一图像帧对应的原始图像进行语义分割处理可以提高语义分割结果获取的准确性，通过共视关系表集合和语音分割结果获取点云融合图像，可以减少直接对图像帧集合进行融合时导致点云冗余的情况，可以减少点云融合中针对冗余点云的计算，可以减少点云融合过程耗时时长，同时，可以减少冗余点云的出现使得点云融合图
像准确性较低的情况，可以提高点云融合的准确性。
[0229]
图7是根据一示例性实施例示出的一种点云融合装置框图。参照图7，该装置700包括集合获取单元701、结果获取单元702和点云融合单元703。
[0230]
集合获取单元701，被配置为执行获取多视角的图像帧集合；
[0231]
集合获取单元701，还被配置为执行获取图像帧集合对应的共视关系表集合，其中，共视关系表集合中包括图像帧集合中任一图像帧和任一图像帧对应的共视帧的共视关系表子集；
[0232]
结果获取单元702，被配置为执行获取图像帧集合对应的语义分割结果，其中，语义分割结果包括至少一个点云；
[0233]
点云融合单元703，被配置为执行根据共视关系表集合和至少一个点云，获取图像帧集合对应的点云融合图像。
[0234]
根据一些实施例，图8是根据一示例性实施例示出的一种点云融合装置框图。参照图8，集合获取单元701包括位置获取子单元711、集合获取子单元721、分数获取子单元731、子集获取子单元741，集合获取单元701被配置为执行获取图像帧集合对应的共视关系表集合时：
[0235]
位置获取子单元711，被配置为执行根据图像帧集合中各图像帧对应的位姿信息，确定第一图像帧对应的第一中心位置和第二图像帧对应的第二中心位置，其中，第一图像帧为图像帧集合中任一图像帧，第二图像帧为图像帧集合中除第一图像帧之外的任一图像帧，第一中心位置为第一图像帧对应的摄像装置的中心位置，第二中心位置为第二图像帧对应的摄像装置的中心位置；
[0236]
集合获取子单元721，被配置为执行根据第一中心位置和第二中心位置，获取第一图像帧和第二图像帧对应的共视稀疏点云集合；
[0237]
分数获取子单元731，被配置为执行根据共视稀疏点云集合对应的稀疏点云数量和共视稀疏点云集合中至少一个稀疏点云对应的观测夹角，获取第一图像帧和第二图像帧对应的分数，其中，分数用于指示第一图像帧和第二图像帧的共视程度；
[0238]
分数获取子单元731，还被配置为执行遍历图像帧集合中除第一图像帧之外的所有图像帧，获取至少一个分数；
[0239]
子集获取子单元741，被配置为执行根据至少一个第一图像帧和第二图像帧对应的分数，获取第一图像帧对应的共视关系表子集；
[0240]
集合获取子单元721，被配置为执行遍历图像帧集合，获取图像帧集合对应的共视关系表集合。
[0241]
根据一些实施例，图9是根据一示例性实施例示出的一种点云融合装置框图。参照图9，集合获取单元701还包括夹角获取子单元751，被配置为执行获取共视稀疏点云集合中任一稀疏点云与第一中心位置的第一方向向量；
[0242]
获取任一稀疏点云与第二中心位置的第二方向向量；
[0243]
根据第一方向向量和第二方向向量，获取任一稀疏点云对应的观测夹角。
[0244]
根据一些实施例，分数获取子单元731，被配置为执行根据共视稀疏点云集合对应的稀疏点云数量和共视稀疏点云集合中至少一个稀疏点云对应的观测夹角，获取第一图像帧和第二图像帧对应的分数时，具体被配置为执行：
[0245]
获取与共视稀疏点云集合对应的稀疏点云数量；
[0246]
根据共视稀疏点云集合任一稀疏点云对应的观测夹角与预设观测夹角的差值，获取稀疏点云数量的差值；
[0247]
根据稀疏点云数量的差值和差值对应的分数系数，获取第一图像帧和第二图像帧对应的分数。
[0248]
根据一些实施例，子集获取子单元，被配置为执行根据至少一个分数，获取第一图像帧对应的共视关系表子集时，具体被配置为执行：
[0249]
按照分数由高到低的顺序，将至少一个分数中预设个数的分数对应的第二图像帧添加至第一图像帧对应的共视关系表子集；或者
[0250]
确定至少一个分数中大于分数阈值的至少一个目标分数；
[0251]
将至少一个目标分数对应的第二图像帧添加至第一图像帧对应的共视关系表子集。
[0252]
根据一些实施例，结果获取单元702，被配置为执行获取图像帧集合对应的语义分割结果时，具体被配置为执行：
[0253]
获取图像帧集合中图像帧集合中任一图像帧对应的原始图像；
[0254]
对图像帧集合中任一图像帧对应的原始图像进行语义分割处理，得到任一图像帧对应的语义分割结果。
[0255]
根据一些实施例，点云融合单元703，被配置为执行根据共视关系表集合和语义分割结果包括的至少一个点云，获取图像帧集合对应的点云融合图像时，具体被配置为执行：
[0256]
获取图像帧集合中第一图像帧对应的第一共视关系表集合，其中，第一图像帧为图像帧集合中任一图像帧，第一共视关系表集合中包括至少一个与第一图像帧共视的第二图像帧；
[0257]
获取第一图像帧对应的任一深度点；
[0258]
将任一深度点的二维坐标投影至任一第二图像帧，得到与二维坐标对应的投影坐标；
[0259]
在投影坐标满足搜索停止条件的情况下，确定任一深度点为第一深度点，其中，第一深度点为已融合的点，或第一深度点处于第一图像帧的视场范围之外的点；
[0260]
在投影坐标不满足搜索停止条件的情况下，将投影坐标投影至任一第三图像帧，直至获取到任一深度点在图像帧集合中对应的所有第二深度点，其中，任一第三图像帧为第二图像帧对应的第二共视关系表集合中任一图像帧，第二深度点为未融合且处于第一图像帧的视场范围之内的点；
[0261]
获取所有第二深度点中通过一致性校验的至少一个第二深度点；
[0262]
将任一深度点和通过一致性校验的至少一个第二深度点投影至三维空间中，获取任一深度点对应的三维坐标，确定完成任一深度点的点云融合；
[0263]
遍历图像帧集合，获取图像帧集合对应的点云融合图像。
[0264]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0265]
综上，本公开实施例提供的装置，通过集合获取单元701，被配置为执行获取多视角的图像帧集合；集合获取单元701，还被配置为执行获取图像帧集合对应的共视关系表集
合，其中，共视关系表集合中包括图像帧集合中任一图像帧和任一图像帧对应的共视帧的共视关系表子集；结果获取单元702，被配置为执行获取图像帧集合对应的语义分割结果，其中，语义分割结果包括至少一个点云；点云融合单元703，被配置为执行根据共视关系表集合和至少一个点云，获取图像帧集合对应的点云融合图像。因此，通过共视关系表集合和语音分割结果获取点云融合图像，可以减少直接对图像帧集合进行融合时导致点云冗余的情况，可以减少点云融合中针对冗余点云的计算，可以减少点云融合过程耗时时长，同时，可以减少冗余点云的出现使得点云融合图像准确性较低的情况，可以提高点云融合的准确性。
[0266]
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0267]
如图10所示，电子设备1000包括计算单元1001，其可以根据存储在只读存储器(rom)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(ram)1003中的计算机程序，来执行各种适当的动作和处理。在ram 1003中，还可存储电子设备1000操作所需的各种程序和数据。计算单元1001、rom 1002以及ram 1003通过总线1004彼此相连。输入/输出(i/o)接口1005也连接至总线1004。
[0268]
电子设备1000中的多个部件连接至i/o接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许电子设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0269]
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如点云融合方法。例如，在一些实施例中，板簧刚度值确定方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由rom 1002和/或通信单元1009而被载入和/或安装到电子设备1000上。当计算机程序加载到ram 1003并由计算单元1001执行时，可以执行上文描述的点云融合方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行点云融合方法。
[0270]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0271]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来
编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0272]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0273]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0274]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、互联网和区块链网络。
[0275]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务("virtual private server"，或简称"vps")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0276]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0277]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

技术特征：
1.一种点云融合方法，其特征在于，包括：获取多视角的图像帧集合；获取所述图像帧集合对应的共视关系表集合，其中，所述共视关系表集合中包括所述图像帧集合中任一图像帧和所述任一图像帧对应的共视帧的共视关系表子集；获取所述图像帧集合对应的语义分割结果，其中，所述语义分割结果包括至少一个点云；根据所述共视关系表集合和所述至少一个点云，获取所述图像帧集合对应的点云融合图像。2.根据权利要求1所述的方法，其特征在于，所述获取所述图像帧集合对应的共视关系表集合，包括：根据所述图像帧集合中各图像帧对应的位姿信息，确定第一图像帧对应的第一中心位置和第二图像帧对应的第二中心位置，其中，所述第一图像帧为所述图像帧集合中任一图像帧，所述第二图像帧为所述图像帧集合中除所述第一图像帧之外的任一图像帧，所述第一中心位置为所述第一图像帧对应的摄像装置的中心位置，所述第二中心位置为所述第二图像帧对应的摄像装置的中心位置；根据所述第一中心位置和所述第二中心位置，获取所述第一图像帧和所述第二图像帧对应的共视稀疏点云集合；根据所述共视稀疏点云集合对应的稀疏点云数量和所述共视稀疏点云集合中至少一个稀疏点云对应的观测夹角，获取所述第一图像帧和所述第二图像帧对应的分数，其中，所述分数用于指示所述第一图像帧和所述第二图像帧的共视程度；遍历所述图像帧集合中除所述第一图像帧之外的所有图像帧，获取至少一个分数；根据所述至少一个分数，获取所述第一图像帧对应的共视关系表子集；遍历所述图像帧集合，获取所述图像帧集合对应的共视关系表集合。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：获取所述共视稀疏点云集合中任一稀疏点云与所述第一中心位置的第一方向向量；获取所述任一稀疏点云与所述第二中心位置的第二方向向量；根据所述第一方向向量和所述第二方向向量，获取所述任一稀疏点云对应的观测夹角。4.根据权利要求2所述的方法，其特征在于，所述根据所述共视稀疏点云集合对应的稀疏点云数量和所述共视稀疏点云集合中至少一个稀疏点云对应的观测夹角，获取所述第一图像帧和所述第二图像帧对应的分数，包括：获取与所述共视稀疏点云集合对应的稀疏点云数量；根据所述共视稀疏点云集合任一稀疏点云对应的观测夹角与预设观测夹角的差值，获取所述稀疏点云数量的差值；根据所述稀疏点云数量的差值和所述差值对应的分数系数，获取所述第一图像帧和所述第二图像帧对应的分数。5.根据权利要求2所述的方法，其特征在于，所述根据所述至少一个分数，获取所述第一图像帧对应的共视关系表子集，包括：按照分数由高到低的顺序，将所述至少一个分数中预设个数的分数对应的第二图像帧
添加至所述第一图像帧对应的共视关系表子集；或者确定所述至少一个分数中大于分数阈值的至少一个目标分数；将所述至少一个目标分数对应的第二图像帧添加至所述第一图像帧对应的共视关系表子集。6.根据权利要求1所述的方法，其特征在于，所述获取所述图像帧集合对应的语义分割结果，包括：获取所述图像帧集合中所述图像帧集合中任一图像帧对应的原始图像；对所述图像帧集合中任一图像帧对应的原始图像进行语义分割处理，得到所述任一图像帧对应的语义分割结果。7.根据权利要求1所述的方法，其特征在于，所述获取所述图像帧集合对应的点云融合图像，包括：获取所述图像帧集合中第一图像帧对应的第一共视关系表集合，其中，所述第一图像帧为所述图像帧集合中任一图像帧，所述第一共视关系表集合中包括至少一个与所述第一图像帧共视的第二图像帧；获取所述第一图像帧对应的任一深度点；将所述任一深度点的二维坐标投影至所述任一第二图像帧，得到与所述二维坐标对应的投影坐标；在所述投影坐标满足搜索停止条件的情况下，确定所述任一深度点为第一深度点，其中，所述第一深度点为已融合的点，或所述第一深度点处于所述第一图像帧的视场范围之外的点；在所述投影坐标不满足所述搜索停止条件的情况下，将所述投影坐标投影至任一第三图像帧，直至获取到所述任一深度点在所述图像帧集合中对应的所有第二深度点，其中，所述任一第三图像帧为所述第二图像帧对应的第二共视关系表集合中任一图像帧，第二深度点为未融合且处于所述第一图像帧的视场范围之内的点；获取所述所有第二深度点中通过一致性校验的至少一个第二深度点；将所述任一深度点和所述通过一致性校验的至少一个第二深度点投影三维空间中，获取所述任一深度点对应的三维坐标，确定完成所述任一深度点的点云融合；遍历所述图像帧集合，获取所述图像帧集合对应的点云融合图像。8.一种点云融合装置，其特征在于，包括：集合获取单元，被配置为执行获取多视角的图像帧集合；集合获取单元，还被配置为执行获取所述图像帧集合对应的共视关系表集合，其中，所述共视关系表集合中包括所述图像帧集合中任一图像帧和所述任一图像帧对应的共视帧的共视关系表子集；结果获取单元，被配置为执行获取所述图像帧集合对应的语义分割结果，其中，所述语义分割结果包括至少一个点云；点云融合单元，被配置为执行根据所述共视关系表集合和所述至少一个点云，获取所述图像帧集合对应的点云融合图像。9.一种电子设备，其特征在于，包括：处理器；
用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的点云融合方法。10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7中任一项所述的点云融合方法。

技术总结
本公开涉及图像处理技术领域，尤其涉及一种点云融合方法、装置、电子设备和存储介质。其中，该点云融合方法，包括：获取多视角的图像帧集合；获取所述图像帧集合对应的共视关系表集合，其中，所述共视关系表集合中包括所述图像帧集合中任一图像帧和所述任一图像帧对应的共视帧的共视关系表子集；获取所述图像帧集合对应的语义分割结果，其中，所述语义分割结果包括至少一个点云；根据所述共视关系表集合和所述至少一个点云，获取所述图像帧集合对应的点云融合图像。采用本公开可以减少点云融合过程耗时时长的同时提高点云融合图像的准确性。程耗时时长的同时提高点云融合图像的准确性。程耗时时长的同时提高点云融合图像的准确性。


技术研发人员：李顺恺 张维一 郭小燕
受保护的技术使用者：北京达佳互联信息技术有限公司
技术研发日：2023.04.11
技术公布日：2023/7/22