一种图像处理方法、装置、电子设备及存储介质与流程

1.本技术涉及信息处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.目前，制作高动态范围图像(high dynamic range image，hdri)过程中，通常采用专业的360度全景相机，利用多个广角摄像头，或者采用多个180度鱼眼镜头，拍摄出包含不同曝光时间的多张低动态范围图像(low dynamic range images，ldris)，多张图像一般要求能找到共同拼接区域，再通过算法拼接融合成一张高动态范围全景图片(hdri)；或者采用相机从不同位姿下各拍摄一组包含不同曝光时间的多张低动态范围照片(ldris)，同理，不同位姿间需存在共同拼接区域，再通过算法拼接融合成成一张高动态范围全景图片(hdri)。而对于拼接算法，其原理是检测图片间共同拼接区域的角点信息(特征点)，利用特征点信息，计算出单应性矩阵，最后将多张图像进行翘曲跟拼接，再将曝光合并，形成一整张全景图。
3.然而，在相机拍摄过程中，可能存在相机移动和/或物体移动，会影响拍摄的图像间的特征点的计算，容易导致计算的单应性矩阵误差较大等后果，从而导致图像拼接效果较差。


技术实现要素：

4.本技术实施例提供一种图像处理方法、装置、电子设备及计算机可读存储介质，以解决图像拼接效果较差的问题。
5.为了解决上述技术问题，本技术是这样实现的：
6.第一方面，本技术实施例提供了一种图像处理方法，包括：
7.对于相机的m个目标位姿中的每个目标位姿，对所述相机在所述目标位姿下发出的n条射线进行空间点采样，获得所述目标位姿对应的n个空间采样点集坐标，m、n为大于1的整数；
8.基于所述目标位姿对应的n个空间采样点集坐标，获得所述目标位姿对应的n个空间采样点集的第一体素密度以及第一特征向量；
9.基于所述目标位姿对应的第一特征向量以及所述目标位姿对应的n个空间采样点集的视角方向，确定所述目标位姿对应的n个空间采样点集的第一颜色，以及确定所述目标位姿对应的n个空间采样点集的第二体素密度和第二颜色；
10.基于所述所述第一体素密度、所述第二体素密度、所述第一颜色和所述第二颜色进行渲染，生成所述m个目标位姿对应的目标渲染图像；
11.将所述m个目标位姿对应的目标渲染图像进行拼接，得到拼接图像。
12.第二方面，本技术实施例提供了一种图像处理装置，包括：
13.第一采样模块，用于对于相机在m个目标位姿中的每个目标位姿，对所述目标位姿
下发出的n条射线进行空间点采样，获得所述目标位姿对应的n个空间采样点集坐标，m、n为大于1的整数；
14.第一获取模块，用于基于所述目标位姿对应的n个空间采样点集坐标，获得所述目标位姿对应的n个空间采样点集的第一体素密度以及第一特征向量；
15.第二获取模块，用于基于所述目标位姿对应的第一特征向量以及所述目标位姿对应的n个空间采样点集的视角方向，确定所述目标位姿对应的n个空间采样点集的第一颜色，以及确定所述目标位姿对应的n个空间采样点集的第二体素密度和第二颜色；
16.渲染模块，用于基于所述第一体素密度、所述第二体素密度、所述第一颜色和所述第二颜色进行渲染，生成所述m个目标位姿对应的目标渲染图像；
17.拼接模块，用于将所述m个目标位姿对应的目标渲染图像进行拼接，得到拼接图像。
18.第三方面，本技术实施例还提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的图像处理方法中的步骤。
19.第四方面，本技术实施例还提供一种可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的图像处理方法中的步骤。
20.在本技术实施例的图像处理方法中，无需对相机在m个目标位姿下拍摄的图像进行拼接，而是通过在相机发射的射线上进行空间点采样，利用空间采样点集坐标来确定空间采样点集的第一体素密度以及第一特征向量，并通过第一特征向量和空间采样点集的视角方向，渲染空间采样点集的第一颜色、第二体素密度和第二颜色，如此，可利用m个目标姿态分别对应的n个空间采样点集的第一体素密度、第二体素密度、第一颜色和第二颜色进行渲染，生成m个目标姿态分别对应的目标渲染图像，然后是对渲染得到的m个目标姿态分别对应的目标渲染图像进行拼接得到拼接图像，可避免拍摄过程出现相机移动和/或拍摄场景中物体移动，导致拍摄的图像间特征点计算误差较大使图像拼接效果较差的情况发生，提高目标渲染图像拼接效果。
附图说明
21.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
22.图1是本技术实施例提供的图像处理方法的流程图之一；
23.图2是本技术实施例提供的图像处理方法流程图之二；
24.图3是本技术实施例提供的图像处理方法应用场景图；
25.图4是一种原始神经辐射场模型结构图；
26.图5是本技术实施例提供的神经辐射场模型结构图；
27.图6是本技术实施例提供的一种渲染图像示意图之一；
28.图7是本技术实施例提供的一种渲染图像示意图之二；
29.图8是本技术实施例提供的一种全景图像示意图；
30.图9是本技术实施例提供的图像处理装置的模块示意图。
具体实施方式
31.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
32.参见图1，图1是本技术实施例提供的图像处理方法的流程图，可应用于电子设备，电子设备可以是终端设备或服务器设备，终端设备可以是移动设备或非移动设备。如图1所示，本技术实施例提供的图像处理方法包括以下步骤：
33.步骤101：对于相机的m个目标位姿中的每个目标位姿，对目标位姿下发出的n条射线进行空间点采样，获得目标位姿对应的n个空间采样点集坐标。
34.其中，目标位姿对应的n个空间采样点集坐标包括目标位姿下的n条射线中每条射线分别对应的空间采样点集坐标，m、n为大于1的整数。
35.需要说明的是，相机可从光心发出射线，某条射线穿过某像素点，则该射线与该像素点是对应的，可以理解的，每条射线各自有对应的像素点，光心穿过不同像素点的射线可具有不同的视角方向(也可称为观测方向或观察方向)，而一条射线上的任意空间点的视角方向也即是其所在射线的视角方向。对于相机而言，相机参数可至少包括图像参数(比如包括图像大小，即图像长度(正整数)
×
图像宽度(正整数))、焦距以及位姿等，上述相机可以发射n条射线，n可以为图像长度
×
图像宽度。在图像渲染过程中，某条射线的渲染颜色可以理解为该条射线对应的像素点的颜色，图像渲染的过程也可以理解是对像素点赋予相应颜色的过程。
36.例如，在实际应用过程中,需要生成1920
×
1080大小的渲染图像,每个像素点会有一条在世界坐标系中的射线，每个像素点的颜色(即对应射线的渲染颜色)渲染完成，则可得到对应的渲染图像，而像素点的颜色可通过对应射线上的空间采样点集的第一体素密度、第二体素密度、第一颜色和第二颜色进行渲染得到。从而，首先可对相机在目标位姿下发出的n条射线进行空间点采样，获得目标位姿对应的n个空间采样点集的坐标，也即是获得目标位姿下n条射线分别对应的空间采样点集的坐标。
37.相机在不同位姿下，可发出不同方向的射线。在本实施例中，m个目标位姿可以理解是相机的m个预定/预设的位姿，在生成某个目标位姿对应的目标渲染图像过程中，首先可对相机在该目标位姿下发出的n条射线中的每条射线上进行空间点采样，即在射线上进行空间点采样，对于每条射线，可采样多个空间点，可获得该目标位姿对应的n个空间采样点集坐标，目标位姿对应的n个空间采样点集与该目标位姿的n条射线一一对应，每个空间采样点集中可包括多个空间采样点，空间采样点集坐标即为该空间采样点集中空间采样点的坐标。一个示例中，上述坐标为三维空间坐标，为世界坐标系下的空间坐标。一个示例中，上述坐标可进一步为编码(例如，高频编码，比如，采用正余弦周期函数进行编码)后的坐标。
38.步骤102：基于目标位姿对应的n个空间采样点集坐标，获得目标位姿对应的n个空
间采样点集的第一体素密度以及第一特征向量。
39.针对n个目标位姿的每个目标位姿，可利用目标位姿的n个空间采样点集坐标，确定目标位姿的n个空间采样点集的第一体素密度和第一特征向量，这样，可得到n个目标位姿中每个目标位姿对应的n个空间采样点集的第一体素密度和第一特征向量。需要说明的是，第一特征向量也可以称第一空间特征向量，某个空间采样点的第一特征向量可用于表征该空间采样点的空间特征信息。另外，某个空间采样点的体素密度可表示该空间采样点所在射线在该空间采样点处以一个无穷小的粒子被终止的概率，即表示在该射线的空间采样点处的粒子的密度，是可微分的，也可以理解是该空间采样点处的不透明度。
40.步骤103：基于目标位姿对应的第一特征向量以及目标位姿对应的n个空间采样点集的视角方向，确定目标位姿对应的n个空间采样点集的第一颜色，以及确定目标位姿对应的n个空间采样点集的第二体素密度和第二颜色。
41.在本实施例中，除获取目标位姿对应的n个空间采样点集坐标外，也可获取目标位姿对应的n个空间采样点集的视角方向(即空间采样点集中空间采样点的视角方向)。需要说明的是，空间采样点的视角方向为该空间采样点所在射线的视角方向，相机在目标位姿下从光心发射的射线已确定，即射线的视角方向已确定，如此，可确定射线上的所有空间采样点的视角方向。上述目标位姿对应的第一特征向量可以理解是目标位姿对应的n个空间采样点集的第一特征向量。
42.在本实施例中，可采用目标位姿对应的第一特征向量以及目标位姿对应的n个空间采样点集的视角方向，来确定目标位姿对应的n个空间采样点集的第一颜色、第二体素密度和第二颜色。某空间采样点的颜色可以表示在该空间采样点，从其所在的射线的方向看去，粒子反射的颜色。一个示例中，第一颜色可以理解是静态颜色信息，第二颜色可以理解是动态颜色信息，第二体素密度可理解是动态密度信息。
43.步骤104：基于第一体素密度、第二体素密度、第一颜色和第二颜色进行渲染，生成m个目标位姿对应的目标渲染图像。
44.针对n个目标位姿中的每个目标位姿，可利用目标位姿对应的n个空间采样点集的第一体素密度、第一颜色、第二体素密度和第二颜色进行渲染，生成该目标位姿对应的目标渲染图像，如此，可生成n个目标位姿中的每个目标位姿对应的目标渲染图像，即可生成m个目标位姿对应的目标渲染图像(n张目标渲染图像)。
45.一个示例中，目标位姿下的目标渲染图像中每个像素点的颜色为目标位姿下n条射线中一条射线对应的渲染颜色，其中，任一条射线的渲染颜色基于任一条射线对应的空间采样点集的第一体素密度、第二体素密度、第一颜色和第二颜色进行渲染得到。
46.其中，一条射线的渲染颜色通过该条射线对应的空间采样点集的第一体素密度、第二体素密度、第一颜色和第二颜色进行渲染得到，也即是得到该条摄像对应的一个像素点的颜色，对于目标位姿下的每条射线，通过类似的方式确定其对应的渲染颜色，如此，目标位姿下的每条射线分别对应的像素点的颜色，即得到该目标位姿对应的目标渲染图像，目标位姿下的n条射线的渲染颜色与目标渲染图像的像素点的颜色一一对应。
47.步骤105：将m个目标位姿对应的目标渲染图像进行拼接，得到拼接图像。
48.在得到m个不同目标位姿下的目标渲染图像后，即可对这m个目标渲染图像进行拼接，得到拼接图像。
49.在本实施的图像处理方法中，无需对相机在m个目标位姿下拍摄的图像进行拼接，而是通过在相机发射的射线上进行空间点采样，利用空间采样点集坐标来确定空间采样点集的第一体素密度以及第一特征向量，并通过第一特征向量和空间采样点集的视角方向，渲染空间采样点集的第一颜色、第二体素密度和第二颜色，如此，可利用m个目标姿态分别对应的n个空间采样点集的第一体素密度、第二体素密度、第一颜色和第二颜色进行渲染，生成m个目标姿态分别对应的目标渲染图像，然后是对渲染得到的m个目标姿态分别对应的目标渲染图像进行拼接得到拼接图像，可避免拍摄过程出现相机移动和/或拍摄场景中物体移动，导致拍摄的图像间特征点计算误差较大使图像拼接效果较差的情况发生，提高目标渲染图像拼接效果。
50.在一个示例中，射线的渲染颜色可通过以下方式渲染得到：
[0051][0052]
其中，r表示m个目标位姿中第i个目标位姿下发出的任一条射线，ci′
(r)表示第i个目标位姿下发出的射线r的渲染颜色，tk表示射线r上第k个空间采样点，tk′
表示射线r上第k
′
个空间采样点，k表示射线r上空间采样点的总数目，可表示tk处的累积透射率，σi(tk)表示空间采样点tk的第一体素密度，δ
ik
＝t
k+1-tk，t
k+1
表示射线r上第k+1个空间采样点，δ
ik
表示空间采样点t
k+1
与空间采样点tk之间的距离，σi(tk′
)示空间采样点tk′
的第一体素密度，δ
ik
′
＝tk′
+1-tk′
，tk′
+1
表示射线r上第k
′
+1个空间采样点，δ
ik
′
表示空间采样点tk′
+1
与空间采样点tk′
之间的距离，ci(tk)表示空间采样点tk的第一颜色，表示空间采样点tk的第二体素密度，空间采样点tk′
的第二体素密度，表示空间采样点tk的第二颜色，α(y)＝1-exp(-y)，即y)，即另外需要说明的是，k的值越小，空间采样点tk离相机的光心越近，k
′
的值越大，空间采样点tk′
离相机的光心越远。
[0053]
可以理解，在本实施例中，在确定射线的渲染颜色过程中，不但考虑了射线上所有空间采样点的第一体素密度和第一颜色，而且还考虑了射线上所有空间采样点的第二体素密度和第二颜色，以提高得到的射线的渲染颜色的准确性。
[0054]
在一个实施例中，获得目标位姿对应的n个空间采样点集的第一体素密度以及第一特征向量，包括：采用第一目标感知网络获得目标位姿对应的n个空间采样点集的第一体素密度以及第一特征向量；
[0055]
确定目标位姿对应的n个空间采样点集的第一颜色，包括：采用目标静态感知网络确定目标位姿对应的n个空间采样点集的第一颜色；
[0056]
确定目标位姿对应的n个空间采样点集的第二体素密度和第二颜色，包括：采用目标动态感知网络确定目标位姿对应的n个空间采样点集的第二体素密度和第二颜色。
[0057]
需要说明的是，本技术实施例的感知网络可以是多层感知器网络。将空间采样点坐标输入第一目标感知网络，通过第一目标感知网络可输出该空间采样点的第一体素密度
以及第一特征向量，将该空间采样点的第一特征向量以及该空间采样点的视角方向输入目标静态感知网络，通过第一目标感知网络可输出该空间采样点的第一颜色，将空间采样点的第一特征向量以及该空间采样点的视角方向输入目标动态感知网络，通过目标动态感知网络可输出该空间采样点的第二颜色和第二体素密度。
[0058]
也即是，在本实施例中，可构建多个感知网络，多个感知网络各自可输出相应的信息，用以生成目标渲染图像，即基于空间采样点坐标，采用第一目标感知网络获得空间采样点的第一体素密度和第一特征向量，基于空间采样点的第一特征向量和视角发姑娘，采用目标静态感知网络获得第一颜色，采用目标动态感知网络获得第二颜色和第二体素密度，利用通过第一目标感知网络得到的第一体素密度、通过目标静态感知网络得到的第一颜色以及通过目标动态感知网络得到第二颜色和第二体素密度，进行图像渲染得到目标渲染图像，而且图像渲染过程中，除采用第一体素密度和第一颜色外，还采用了第二体素密度和第二颜色，以提高图像渲染效果。
[0059]
在一个实施例中，目标静态感知网络以及目标动态感知网络通过以下方式训练得到：
[0060]
获取k张第一图像，k张第一图像为相机以k个相机位姿对第一场景拍摄的图像，k为大于1的整数；
[0061]
基于k张第一图像，确定k个相机位姿，k个相机位姿包括k张第一图像分别对应的相机位姿；
[0062]
针对k个相机位姿中的每个相机位姿，对相机在相机位姿下发出的l条第一射线进行空间点采样，得到相机位姿的l个空间采样点集坐标，l为大于1的整数；
[0063]
针对k个相机位姿中的每个相机位姿，获取相机位姿对应的l个空间采样点集的第一预测体素密度以及第二特征向量，其中，相机位姿对应的l个空间采样点集的第一预测体素密度以及第二特征向量为：基于相机位姿对应的l个空间采样点集坐标，采用第一初始感知网络确定的；
[0064]
基于k张第一图像、k个相机位姿分别对应的l个空间采样点集的第一预测体素密度、第二特征向量以及视角方向，对初始静态感知网络进行训练得到目标静态感知网络，以及对初始动态感知网络进行训练得到目标动态感知网络。
[0065]
需要说明的是，相机位姿的l个空间采样点集坐标可包括相机位姿下的l条第一射线中每条第一射线分别对应的空间采样点集坐标，上述l与上述n可以相同。l个空间采样点集中任一空间采样点的视角方向即为该空间采样点所在的射线的方向。可以理解，在本实施例中，可对初始静态感知网络和初始动态感知网络进行共同训练，上述k张第一图像可以理解是训样本练图像。在本实施例中，可根据k张第一图像确定相机拍摄n张第一图像的相机位姿，根据图像确定相机位姿的方式有多种，本技术实施例不作具体限定。在相机位姿确定后，即可确定相机在该相机位姿下的射线，可对每个相机位姿下发出的射线进行空间点采样，得到每个相机位姿对应的l条第一射线中每条第一射线分别对应的空间采样点集坐标。
[0066]
需要说明的是，第二特征向量也可以称第二空间特征向量，某个空间采样点的第二特征向量可用于表征该空间采样点的空间特征信息。
[0067]
相机位姿对应的l个空间采样点集的第一预测体素密度以及第二特征向量，可以
是第一初始感知网络基于该相机位姿对应的l个空间采样点集坐标得到。可通过k张第一图像、k个相机位姿分别对应的l个空间采样点集的第一预测体素密度、第二特征向量以及视角方向，对初始静态感知网络进行训练得到目标静态感知网络，以及对初始动态感知网络进行训练得到目标动态感知网络。
[0068]
在本实施例中，通过采样在k个第一图像的相机位姿下发射的射线的空间点，利用k个第一图像、k个第一图像的相机位姿分别对应的l个空间采样点集的第一预测体素密度、第二特征向量以及视角方向，对初始静态感知网络和初始动态感知网络进行训练，以提高训练得到的感知网络的性能。
[0069]
一个示例中，第一初始感知网络可预先基于相机位姿下的l个空间采样点集坐标得到相机位姿对应的l空间采样点集的第一预测体素密度以及第二特征向量并保存，在初始静态感知网络和第三感知网络训练过程中，调取相机位姿对应的l个空间采样点集的第一预测体素密度以及第二特征向量即可。另一个示例中，在采样得到相机位姿下的l个空间采样点集坐标的情况下，即可将相机位姿下的l个空间采样点集坐标输入第一初始感知网络，得到第一初始感知网络输出的相机位姿对应的l个空间采样点集的第一预测体素密度以及第二特征向量。
[0070]
在一个实施例中，基于k张第一图像、k个相机位姿分别对应的l个空间采样点集的第一预测体素密度、第二特征向量以及视角方向，对初始静态感知网络进行训练得到目标静态感知网络，以及对初始动态感知网络进行训练得到目标动态感知网络，包括：
[0071]
针对k个相机位姿中的每个相机位姿，将相机位姿对应的第二特征向量以及相机位姿的l个空间采样点集的视角方向输入初始静态感知网络，通过初始静态感知网络进行颜色预测得到相机位姿的l个空间采样点集的第一预测颜色；
[0072]
针对k个相机位姿中的每个相机位姿，将相机位姿对应的第二特征向量以及相机位姿的l个空间采样点集的视角方向输入初始动态感知网络，通过初始动态感知网络进行体素密度和颜色预测，得到相机位姿的l个空间采样点集的第二预测体素密度和第二预测颜色；
[0073]
基于k个相机位姿分别对应的l个空间采样点集的第一预测体素密度、第二预测体素密度、第一预测颜色和第二预测颜色进行渲染，生成k张预测渲染图像；
[0074]
根据k张第一图像以及k张预测渲染图像，对初始静态感知网络以及初始动态感知网络进行训练，得到目标静态感知网络以及目标动态感知网络。
[0075]
相机位姿对应的第二特征向量即为目标位姿对应的l个空间采样点集的第二特征向量，在对初始静态感知网络训练过程中，可将相机位姿对应的第二特征向量以及相机位姿的l个空间采样点集的视角方向输入初始静态感知网络，初始静态感知网络基于相机位姿对应的第二特征向量以及相机位姿的l个空间采样点集的视角方向进行颜色预测，可得到该相机位姿的l个空间采样点集的第一预测颜色。在对初始动态感知网络训练过程中，可将相机位姿对应的第二特征向量以及相机位姿的l个空间采样点集的视角方向输入初始动态感知网络，初始动态感知网络基于相机位姿对应的第二特征向量以及相机位姿的l个空间采样点集的视角方向进行体素密度预测以及颜色预测，可得到该相机位姿的l个空间采样点集的第二预测体素密度以及第二预测颜色。对于k个相机位姿中的每个相机位姿，均可通过上述确定第一预测体素密度、第二预测体素密度、第一预测颜色和第二预测颜色的过
程，得到k个相机位姿中的每个相机位姿对应的l个空间采样点集的第一预测体素密度、第二预测体素密度、第一预测颜色和第二预测颜色。
[0076]
在本实施例中，可基于k个相机位姿分别对应的l个空间采样点集的第一预测体素密度、第二预测体素密度、第一预测颜色和第二预测颜色进行渲染，生成k个相机位姿对应的预测渲染图像(即生成k张预测渲染图像)，可以理解，预测渲染图像中的像素点的颜色是预测的颜色，而第一图像中的像素点的颜色可以理解为真实的颜色，从而，可基于k张第一图像以及k张预测渲染图像对初始静态感知网络以及初始动态感知网络进行训练，得到目标静态感知网络以及目标动态感知网络。
[0077]
其中，相机位姿下的预测渲染图像中每个像素点的颜色为相机位姿下l条第一射线中一条第一射线对应的预测渲染颜色。另外需要说明的是，相机位姿下的l条第一射线中的每条第一射线的预测渲染颜色可基于该条第一射线对应的空间采样点集的第一预存体素密度、第二预测体素密度、第一预测颜色和第二预测颜色进行渲染得到，得到第一射线的预测渲染颜色的渲染方式与上述得到射线的渲染颜色的渲染方式类似，不同点在于前者是通过相机位姿下该第一射线对应的空间采样点集的第一预存体素密度、第二预测体素密度、第一预测颜色和第二预测颜色进行渲染得到，后者是通过目标位姿下该射线对应的空间采样点集的第一体素密度、第二体素密度、第一颜色和第二颜色进行渲染得到。
[0078]
在本实施例中，在网络训练过程中，可通过初始静态感知网络进行颜色预测得到第一预测颜色，通过第三初始感知网路进行体素密度和颜色预测，得到第二预测体素密度和第二预测颜色，并利用第一预测体素密度、第二预测体素密度、第一预测颜色和第二预测颜色进行渲染，生成k张预测渲染图像，可利用像素点的颜色为预测的颜色的预测渲染图像以及像素点的颜色为真实的颜色的第一图像来进行网络训练，提高训练的感知网络的性能。
[0079]
在一个示例中，第一射线的渲染颜色可通过以下方式渲染得到：
[0080][0081]
其中，r
′
表示k个相机位姿中第j个相机位姿下发出的任一条第一射线，表示第j个相机位姿下发出的第一射线r
′
的预测渲染颜色，t
′k表示第一射线r
′
上第k个空间采样点，t
′k′
表示射线r
′
上第k
′
个空间采样点，k
′
表示射线r
′
上空间采样点的总数目，可表示t
′k处的累积透射率，σj(t
′k)表示空间采样点t
′k的第一预测体素密度，t
′
k+1
表示第一射线r
′
上第k+1个空间采样点，表示空间采样点t
′
k+1
与空间采样点t
′k之间的距离，σj(t
′k′
)示空间采样点t
′k′
的第一预测体素密度，t
′k′
+1
表示射线r
′
上第k
′
+1个空间采样点，表示空间采样点t
′k′
+1
与空间采样点t
′k′
之间的距离，cj(t
′k)表示空间采样点t
′k的第一预测颜色，表示空间采样点t
′k的第二预测体素密度，空
间采样点t
′k′
的第二预测体素密度，表示空间采样点t
′k的第二预测颜色，α(y)＝1-exp(-y)，即y)，即j也可表征k个第一图像中图像的编号，代表该射线r
′
上从相机近平面到远平面间的空间采样点集。
[0082]
在一个实施例中，在初始静态感知网络以及初始动态感知网络训练过程中，初始动态感知网络还输出相机位姿的l个空间采样点集的不定性系数，采用的训练损失值为至少通过k张预测渲染图像、k张第一图像以及不定性系数确定的损失值，任一空间采样点的不定性系数用于表示任一空间采样点为动态场景的概率。
[0083]
需要说明的是，空间采样点的不定性系数可以表示该空间采样点为动态场景的概率(也可以理解是该空间采样点为动态对象的权重)，不定性系数越大，表示动态场景概率越大。网络训练过程可以理解是通过训练损失值不断调整待训练的网络的参数过程，训练完成情况下，网络的参数也就确定，得到训练好的网络。在本实施例中，采用的训练损失值可至少通过k张预测渲染图像、k张第一图像以及不定性系数确定，即训练损失值不但与k张预测渲染图像以及k张第一图像相关，而且还与表征为动态场景的概率的不定性系数相关，可提高网络对动态场景的渲染能力，提高训练得到的网络的性能。
[0084]
一个示例中，训练损失值为k个子损失值之和，k个子损失值中第j个子损失值通过以下方式确定：
[0085][0086]
其中，lj为第j个子损失值，可表示第j个相机位姿对应的预测渲染图像与第j个相机位姿对应的第一图像(即k个第一图像中第j个第一图像)之间的损失值，r
′
表示第j个相机位姿下发出的第一射线的集合，r
′
表示第j个相机位姿下发出的一条第一射线，表示第j个相机位姿下发出的第一射线r
′
的预测渲染颜色，cj(r
′
)表示第j个相机位姿下发出的第一射线r
′
的真实颜色(即第j个相机位姿对应的第一图像中与该第一射线r
′
对应的像素点的颜色)，βj(r
′
)表示第一射线r
′
对应的空间采样点集中空间采样点的不定性系数之和，kr′
表示第一射线r
′
对应的空间采样点的总数目，λu表示平衡系数，为一个预设常数因子，可根据实际场景或历史经验预先设置，表示第一射线r
′
上述空间采样点t
′k的第二预测体素密度。
[0087]
在一个实施例中，第一目标感知网络通过以下方式训练得到：
[0088]
获取相机在k个相机位姿中的每个相机位姿下的l个空间采样点集坐标，l、k为大于1的整数；
[0089]
将k个相机位姿分别对应的l个空间采样点集坐标输入第一初始感知网络进行训练，得到第一目标感知网络。
[0090]
其中，相机位姿下的l个空间采样点集坐标为：对相机在相机位姿下发出的l条第一射线进行空间点采样得到的，k个相机位姿为相机拍摄的k张第一图像对应的相机位姿。
[0091]
即在第一初始感知网络训练过程中，可通过将k个不同相机位姿分别对应的l个空间采样点集坐标输入第一初始感知网络，对第一初始感知网络进行训练，以提高网络训练效果。需要说明的是，第一目标感知网络训练过程中，获取的相机位姿下的l个空间采样点集坐标，其确定过程与初始静态感知网络和初始动态感知网络训练过程中相机位姿下的l个空间采样点集坐标的确定过程可以相同。
[0092]
一个示例中，在第一初始感知网络训练过程中，第第一初始感知网络用于基于相机位姿的l个空间采样点集坐标，得到该相机位姿的l个空间采样点集的第一预测体素密度以及第二特征向量。对于k个相机位姿中的每个相机位姿，通过第一初始感知网络均可得到对应的l个空间采样点集的第一预测体素密度以及第二特征向量，也即是可得到k个相机位姿分别对应的l个空间采样点集的第一预测体素密度以及第二特征向量。需要说明的是，第一初始感知网络得到的k个相机位姿分别对应的l个空间采样点集的第一预测体素密度以及第二特征向量，可用于目标静态感知网络以及目标动态感知网络的训练。
[0093]
另外，在一个示例中，第一初始感知网络训练过程中，采用的损失值可以是上述初始静态感知网络和初始动态感知网络训练过程中采用的训练损失值。
[0094]
下面以具体实施例对上述图像处理方法的过程加以具体说明。
[0095]
如图2所示，本实施例的方案总体流程为：先获取第一场景下相机以k个相机位姿拍摄的图像集，图像集中包括k个第一图像；然后基于k个第一图像和相机的k个相机位姿进行神经辐射场模型(感知网络，可以是多层感知器网络)训练；利用训练完成后的神经辐射场模型生成指定m个不同位姿下的目标渲染图像；将得到的m个目标渲染图像合并成一张拼接图像，即得到一张全景图。具体过程如下：
[0096]
首先，获取第一场景下相机以k个相机位姿拍摄的图像集：
[0097]
如图3所示，在图像采集阶段，通过相机在预定的k个相机位姿下对第一场景进行拍摄，获得一组srgb图像，其中，可包括k张第一图像，与k个相机位姿一一对应。例如，相机围绕着拍摄场景拍摄，相机拍摄点可根据实际需求布置。
[0098]
由于人眼能够分辨出图像中暗区域与亮区域之间较小的相对差异。而srgb颜色空间伽马压缩能够更加贴合人眼分辨的特征，它通过裁剪[0，1]外的值并对信号应用非线性曲线，以压缩明亮的亮点为代价，将更多的比特用于黑暗区域，来优化最终的图像编码。除了伽马压缩，当srgb颜色空间图像被量化为8比特时，色调映射算法可以用来更好地保持高动态范围场景的对比度；从而在本实施例中，采用srgb图像，在采集的原始图像不是srgb图像的情况下，可将原始图像转换为srgb图像；
[0099]
例如，相机从原始rgb空间转化为srgb空间的方法，可利用公式下面公式转化得到：
[0100]
srgb＝mz*rgb
raw
[0101]
其中，公式中的rgb
raw
为相机采集的原始rgb图像，srgb为将rgb
raw
转换到srgb颜色空间的图像；
[0102]
其中，相机在d65光源下，对应mz矩阵如下：
[0103]
[0104]
相机在d50光源下，对应mz矩阵如下：
[0105][0106]
如果相机采集的原始图像是rgb
raw
空间，那么直接利用上式公式可直接转换到srgb空间。如果相机获取的是adobe dng格式的图像，可利用exiftool工具查询exif metadata数据信息获取得到rgb
raw
空间到adobe dng颜色空间的转换矩阵c
ccm
，那么要转化到srgb空间，则通过下列公式转换得到：
[0107]
srgb＝mz*c
ccm-1
rgb
dng
。
[0108]
其次，基于k个第一图像和相机的k个目标位姿进行神经辐射场模型训练：
[0109]
1)信息预处理：首先获取相机的k个相机位姿，可采用相关的算法获取第一图像对应的相机位姿，例如，structure-from-motion(sfm)，一种利用不同角度拍摄的图片来重建3d几何形状的算法，并利用bundle adjustment来优化相机位姿，即可计算出相机位姿(相机的一种参数)，另外还可获取相机的其他参数(包括但不限于图像大小以及焦距等)；
[0110]
2)训练神经辐射场nerf：
[0111]
需要说明的是，原始nerf构造了一个多层感知器(mlp)网络，模型表达式为
[0112]
fθ:(x,d)
→
(c,σ)；
[0113]
其中，(x,d)表征为空间上采样点的坐标(3d坐标位置)及视角方向，(c,σ)表征为空间采样点对应的颜色及体素密度；
[0114]
为了计算每个像素点的颜色，nerf利用数值求积近似体积渲染积分，从相机视角中沿每个像素点发出射线，射线可用r(t)＝o+td表示，o表示相机的光心(也可以理解是相机的原点/相机位置)，d表示视角方向，t为大于零的实数，可表示射线上的空间点，则，一条射线r
′
的像素颜色可近似为：
[0115][0116]
本技术实施例方案在上述原始nerf的理论基础上进行网络结构优化，如图5所示，具体的网络训练流程如下：
[0117]
s-2-1：原始nerf采用的图像ldr数值压缩到[0,1]范围，导致明亮细节丢失，同时导致像素的噪声分布产生偏差。因此，本技术实施例方案采用的是srgb颜色空间的图像；
[0118]
s-2-2：构造第一初始mlp网络(即第一初始感知网络)，也称为重建网络，例如，一个示例的第一初始mlp网络的结构如图4所示，但需要说明的是，图4所示的网络结构只是作为举例说明，实际中，网络的层数等并不一定按照图中设计。将空间采样点t的坐标(三维(3d)坐标)进行高频编码(encode)后作为第一初始mlp网络的输入，输出空间采样点t对应的第一预测体素密度σ(t)，以及一个第二特征向量z(t)。例如，如图4所示，第一初始mlp网络可包括依次相连的10个全连接层，将空间采样点t编码后的坐标输入第一初始mlp网络，通过前8个全连接层处理后，输出空间采样点t对应的一维的第一预测体素密度σ(t)(可通过(256,1)的全连接层实现)，以及一个第二特征向量z(t)(例如，可以是一个256维的特征向量)。对于高频编码(encode)方法有多种，不作限定，例如采用正余弦周期函数进行编码，如下：
[0119]
γ(p)＝(sin(20πp),cos(20πp),...,sin(2
l-1
πp),cos(2
l-1
πp)；
[0120]
其中p可代表空间采样点坐标中每一维的坐标值，p也可以代表视角方向中每一维的值，通过以上公式可对采样点坐标、视角方向进行编码。例如，可对空间采样点坐标中三维的每一维度采用上述方式编码，l为可设定的超参数，即为预设的参数，该参数的值可根据实际情况设置，l为正整数，比如，在对空间采样点进行编码时，l可取10，对视角方向进行编码时，l可取4等。需要说明的是，图4中，γ(x)可表示对空间上采样点的坐标x进行编码后的坐标，也可称enc(x)由于坐标是三维坐标，对每维坐标均进行编码，每维坐标编码后的维度是2
×
l，从而对三维坐标进行编码后，可得到2
×
l
×
3维度的编码后的坐标，例如，l取10，则可得到60维的编码后的坐标，即图4中的60可表示编码后的坐标γ(x)的维度，γ(d)可表示对空间上采样点的坐标x对应的视角方向d进行编码后的结果，也可称enc(d)，图4中的24可表示编码后的视角方向γ(d)的维度。
[0121]
另外，为了改善网络效果，替换原始nerf中采用的relu激活函数，本技术实施例方案可采用softplus作为激活函数，能够取得更加平滑的优化效果；
[0122]
s-2-3：构造第二初始mlp网络(mlp
static
，即初始静态感知网络)，也可称为静态网络，用作识别静态场景对象，将空间采样点所对应的视角方向进行编码(例如，采用傻瓜上述正余弦周期函数编码得到编码后的视角方向enc(d)后，联合上述重建网络的中间输出的第二特征向量z(t)作为静态网络的输入，根据如下公式，通过sigmoid激活函数，得到场景中该空间采样点的预测颜色(可以是rgb颜色)，可用于表示静态对象的颜色，公式如下：
[0123]cj
(t)＝mlp
static
(z(t),enc(d))；
[0124]
其中j代表训练过程中图像集中第一图像的编号，cj(t)表示对于第j张第一图像，空间采样点t对应的第一预测颜色；利用射线上各空间采样点的第一颜色确定该条射线的第一预测颜色，即得到对应的像素点的第一预测颜色，对于每个像素点的第一预测颜色均通过以上类似过程得到；
[0125]
s-2-4：构造第三初始mlp网络(mlp
dynamic
，即初始动态感知网络)，称为动态网络，用作识别拍摄过程中动态移动对象，可将空间采样点所对应的视角方向进行编码后，联合上述重建网络输出的第二特征向量z(t)作为动态网络的输入，根据如下公式，得到对于第j张图像，空间采样点t的第二预测颜色及第二预测体素密度并且还输出对应的不定性系数βj(t)，用来表征动态移动对象的权重：
[0126][0127]
s-2-5：重新定义体积渲染方程，并定义损失函数，联立以上多个mlp网络，训练出整个流程的神经辐射场模型：
[0128]
例如，体积渲染方程定义如下：
[0129][0130]
对于第j个相机位姿，对其发出的每条第一射线通过上述渲染方程进行渲染，即可得到第j个相机位姿的每条第一射线的预测渲染颜色，也即是得到第j个相机位姿对应的预测渲染图像；
[0131]
训练过程中，第j个预测渲染图像对应的子损失值定义如下：
[0132][0133]
需要说明的是，在网络推理过程中，根据不定性系数βj(t)，可剔除掉不确定因子较高的对象颜色值，可用来解决鬼影，遮挡等现象问题；
[0134]
通过上述方式训练，可得到对应的第一目标感知网络、目标静态感知网络和目标动态感知网络；
[0135]
3)通过已训练的神经辐射场模型生成指定6个方位的新视角图像(即目标渲染图像)：
[0136]
选定相机的6个目标位姿，通过上述训练的三个感知网络，分别渲染出前(front)、后(back)、左(left)、右(right)、上(top)、下(down)总共6个位姿下的图像，如图6-7所示，即得到6张目标渲染图像，形成一组立方体贴图(即cubemap贴图)；
[0137]
4)将得到的6张目标渲染图像合并成一张完整的球面全景图(即拼接图像)；
[0138]
如图8所示，在cubemap形成的空间内，可利用球形极坐标表示，重新投影得到如图8所示的等值球面全景图。
[0139]
本技术实施例提出采用srgb空间的图像训练神经辐射，渲染出hdri的网络结构方法，神经辐射场联立了三个mlp网络，从静态网络中推理出hdr图，能够避免传统的hdri图片合成失败的情况，同时联合动态网络，解决在相机拍摄过程中出现移动导致动态鬼影现象和修正被遮挡的颜色，优化生成全景图像，通过本技术实施例提出的图像处理方法，可用于解决生成ar/vr中所需的hdri图像等。
[0140]
本技术实施例为利用神经辐射场的特点，后处理推理生成任意位姿下的渲染图像，可减少相关技术中hdri图片合成失败的情况发生，并且同时对相关技术中hdri拍摄移动出现鬼影、遮挡等问题进行优化；同时，由于神经辐射场可以生成任意位姿下图像的特点，本技术实施方案可生成任意特定位姿下的hdri图以满足特殊需求等。
[0141]
参见图9，图9是本技术实施例提供的图像处理装置900的模块示意图，可应用于电子设备，如图9所示，包括：
[0142]
第一采样模块901，用于对于相机在m个目标位姿中的每个目标位姿，对目标位姿下发出的n条射线进行空间点采样，获得目标位姿对应的n个空间采样点集坐标，m、n为大于1的整数；
[0143]
第一获取模块902，用于基于目标位姿对应的n个空间采样点集坐标，获得目标位姿对应的n个空间采样点集的第一体素密度以及第一特征向量；
[0144]
第二获取模块903，用于基于目标位姿对应的第一特征向量以及目标位姿对应的n个空间采样点集的视角方向，确定目标位姿对应的n个空间采样点集的第一颜色，以及确定目标位姿对应的n个空间采样点集的第二体素密度和第二颜色；
[0145]
渲染模块904，用于基于第一体素密度、第二体素密度、第一颜色和第二颜色进行渲染，生成m个目标位姿对应的目标渲染图像；
[0146]
拼接模块905，用于将m个目标位姿对应的目标渲染图像进行拼接，得到拼接图像。
[0147]
在一个实施例中，目标位姿下的目标渲染图像中每个像素点的颜色为目标位姿下n条射线中一条射线对应的渲染颜色，其中，任一条射线的渲染颜色基于任一条射线对应的空间采样点集的第一体素密度、第二体素密度、第一颜色和第二颜色进行渲染得到。
[0148]
在一个实施例中，获得目标位姿对应的n个空间采样点集的第一体素密度以及第一特征向量，包括：采用第一目标感知网络获得目标位姿对应的n个空间采样点集的第一体素密度以及第一特征向量；
[0149]
确定目标位姿对应的n个空间采样点集的第一颜色，包括：采用目标静态感知网络确定目标位姿对应的n个空间采样点集的第一颜色；
[0150]
确定目标位姿对应的n个空间采样点集的第二体素密度和第二颜色，包括：采用目标动态感知网络确定目标位姿对应的n个空间采样点集的第二体素密度和第二颜色。
[0151]
在一个实施例中，目标静态感知网络以及目标动态感知网络通过以下方式训练得到：
[0152]
获取k张第一图像，k张第一图像为相机以k个相机位姿对第一场景拍摄的图像，k为大于1的整数；
[0153]
基于k张第一图像，确定k个相机位姿，k个相机位姿包括k张第一图像分别对应的相机位姿；
[0154]
针对k个相机位姿中的每个相机位姿，对相机在相机位姿下发出的l条第一射线进行空间点采样，得到相机位姿的l个空间采样点集坐标，l为大于1的整数；
[0155]
针对k个相机位姿中的每个相机位姿，获取相机位姿对应的l个空间采样点集的第一预测体素密度以及第二特征向量，其中，相机位姿对应的l个空间采样点集的第一预测体素密度以及第二特征向量为：基于相机位姿对应的l个空间采样点集坐标，采用第一初始感知网络确定的；
[0156]
基于k张第一图像、k个相机位姿分别对应的l个空间采样点集的第一预测体素密度、第二特征向量以及视角方向，对初始静态感知网络进行训练得到目标静态感知网络，以及对初始动态感知网络进行训练得到目标动态感知网络。
[0157]
一个示例中，相机位姿的l个空间采样点集坐标包括相机位姿下的l条第一射线中每条第一射线分别对应的空间采样点集坐标。
[0158]
在一个实施例中，基于k张第一图像、k个相机位姿分别对应的l个空间采样点集的第一预测体素密度、第二特征向量以及视角方向，对初始静态感知网络进行训练得到目标静态感知网络，以及对初始动态感知网络进行训练得到目标动态感知网络，包括：
[0159]
针对k个相机位姿中的每个相机位姿，将相机位姿对应的第二特征向量以及相机位姿的l个空间采样点集的视角方向输入初始静态感知网络，通过初始静态感知网络进行颜色预测得到相机位姿的l个空间采样点集的第一预测颜色；
[0160]
针对k个相机位姿中的每个相机位姿，将相机位姿对应的第二特征向量以及相机位姿的l个空间采样点集的视角方向输入初始动态感知网络，通过初始动态感知网络进行体素密度和颜色预测，得到相机位姿的l个空间采样点集的第二预测体素密度和第二预测颜色；
[0161]
基于k个相机位姿分别对应的l个空间采样点集的第一预测体素密度、第二预测体素密度、第一预测颜色和第二预测颜色进行渲染，生成k张预测渲染图像；
[0162]
根据k张第一图像以及k张预测渲染图像，对初始静态感知网络以及初始动态感知网络进行训练，得到目标静态感知网络以及目标动态感知网络。
[0163]
在一个实施例中，在初始静态感知网络以及初始动态感知网络训练过程中，初始
动态感知网络还输出相机位姿的l个空间采样点集的不定性系数，采用的训练损失值为至少通过k张预测渲染图像、k张第一图像以及不定性系数确定的损失值，任一空间采样点的不定性系数用于表示任一空间采样点为动态场景的概率。
[0164]
在一个实施例中，第一目标感知网络通过以下方式训练得到：
[0165]
获取相机在k个相机位姿中的每个相机位姿下的l个空间采样点集坐标，l、k为大于1的整数；
[0166]
将k个相机位姿分别对应的l个空间采样点集坐标输入第一初始感知网络进行训练，得到第一目标感知网络。
[0167]
一个示例中，相机位姿下的l个空间采样点集坐标为：对相机在相机位姿下发出的l条第一射线进行空间点采样得到的，k个相机位姿为相机拍摄的k张第一图像对应的相机位姿。
[0168]
在一个实施例中，在第一初始感知网络训练过程中，第一初始感知网络用于基于相机位姿的l个空间采样点集坐标，得到相机位姿的l个空间采样点集的第一预测体素密度以及第二特征向量。
[0169]
上述图像处理装置900的技术特征与上述图像处理方法中的技术特征对应，通过图像处理装置900实现上述图像处理方法的各个过程，并能得到相同的效果，为避免重复，在此不再赘述。
[0170]
本技术实施例还提供一种电子设备，包括处理器以及存储器，存储器上存储有可在处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0171]
本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0172]
其中，的计算机可读存储介质，如只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等。
[0173]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0174]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台电子设备(可以是手机，计算机，服务端，空调器，或者网络设备等)执行本技术各个实施例的方法。
[0175]
上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多
形式，均属于本技术的保护之内。

技术特征：
1.一种图像处理方法，其特征在于，包括：对于相机的m个目标位姿中的每个目标位姿，对所述相机在所述目标位姿下发出的n条射线进行空间点采样，获得所述目标位姿对应的n个空间采样点集坐标，m、n为大于1的整数；基于所述目标位姿对应的n个空间采样点集坐标，获得所述目标位姿对应的n个空间采样点集的第一体素密度以及第一特征向量；基于所述目标位姿对应的第一特征向量以及所述目标位姿对应的n个空间采样点集的视角方向，确定所述目标位姿对应的n个空间采样点集的第一颜色，以及确定所述目标位姿对应的n个空间采样点集的第二体素密度和第二颜色；基于所述第一体素密度、所述第二体素密度、所述第一颜色和所述第二颜色进行渲染，生成所述m个目标位姿对应的目标渲染图像；将所述m个目标位姿对应的目标渲染图像进行拼接，得到拼接图像。2.根据权利要求1所述的方法，其特征在于，所述目标位姿下的目标渲染图像中每个像素点的颜色为所述目标位姿下n条射线中一条射线对应的渲染颜色，其中，任一条射线的渲染颜色基于所述任一条射线对应的空间采样点集的第一体素密度、第二体素密度、第一颜色和第二颜色进行渲染得到。3.根据权利要求1所述的方法，其特征在于，所述获得所述目标位姿对应的n个空间采样点集的第一体素密度以及第一特征向量，包括：采用第一目标感知网络获得所述目标位姿对应的n个空间采样点集的第一体素密度以及第一特征向量；所述确定所述目标位姿对应的n个空间采样点集的第一颜色，包括：采用目标静态感知网络确定所述目标位姿对应的n个空间采样点集的第一颜色；所述确定所述目标位姿对应的n个空间采样点集的第二体素密度和第二颜色，包括：采用目标动态感知网络确定所述目标位姿对应的n个空间采样点集的第二体素密度和第二颜色。4.根据权利要求3所述的方法，其特征在于，所述目标静态感知网络以及所述目标动态感知网络通过以下方式训练得到：获取k张第一图像，所述k张第一图像为所述相机以k个相机位姿对第一场景拍摄的图像，k为大于1的整数；基于所述k张第一图像，确定所述k个相机位姿，所述k个相机位姿包括所述k张第一图像分别对应的相机位姿；针对所述k个相机位姿中的每个相机位姿，对所述相机在所述相机位姿下发出的l条第一射线进行空间点采样，得到所述相机位姿的l个空间采样点集坐标，l为大于1的整数；针对所述k个相机位姿中的每个相机位姿，获取所述相机位姿对应的l个空间采样点集的第一预测体素密度以及第二特征向量，其中，所述相机位姿对应的l个空间采样点集的第一预测体素密度以及第二特征向量为：基于所述相机位姿对应的l个空间采样点集坐标，采用第一初始感知网络确定的；基于所述k张第一图像、所述k个相机位姿分别对应的l个空间采样点集的第一预测体素密度、第二特征向量以及视角方向，对初始静态感知网络进行训练得到所述目标静态感知网络，以及对初始动态感知网络进行训练得到所述目标动态感知网络。
5.根据权利要求4所述的方法，其特征在于，所述基于所述k张第一图像、所述k个相机位姿分别对应的l个空间采样点集的第一预测体素密度、第二特征向量以及视角方向，对初始静态感知网络进行训练得到所述目标静态感知网络，以及对初始动态感知网络进行训练得到所述目标动态感知网络，包括：针对所述k个相机位姿中的每个相机位姿，将所述相机位姿对应的第二特征向量以及所述相机位姿的l个空间采样点集的视角方向输入所述初始静态感知网络，通过所述初始静态感知网络进行颜色预测得到所述相机位姿的l个空间采样点集的第一预测颜色；针对所述k个相机位姿中的每个相机位姿，将所述相机位姿对应的第二特征向量以及所述相机位姿的l个空间采样点集的视角方向输入所述初始动态感知网络，通过所述初始动态感知网络进行体素密度和颜色预测，得到所述相机位姿的l个空间采样点集的第二预测体素密度和第二预测颜色；基于所述k个相机位姿分别对应的l个空间采样点集的第一预测体素密度、第二预测体素密度、所述第一预测颜色和所述第二预测颜色进行渲染，生成k张预测渲染图像；根据所述k张第一图像以及所述k张预测渲染图像，对所述初始静态感知网络以及所述初始动态感知网络进行训练，得到所述目标静态感知网络以及所述目标动态感知网络。6.根据权利要求5所述的方法，其特征在于，在所述初始静态感知网络以及所述初始动态感知网络训练过程中，所述初始动态感知网络还输出所述相机位姿的l个空间采样点集的不定性系数，采用的训练损失值为至少通过所述k张预测渲染图像、所述k张第一图像以及所述不定性系数确定的损失值，任一空间采样点的不定性系数用于表示所述任一空间采样点为动态场景的概率。7.根据权利要求3所述的方法，其特征在于，所述第一目标感知网络通过以下方式训练得到：获取所述相机在k个相机位姿中的每个相机位姿下的l个空间采样点集坐标，l、k为大于1的整数；将所述k个相机位姿分别对应的l个空间采样点集坐标输入第一初始感知网络进行训练，得到所述第一目标感知网络。8.根据权利要求7所述的方法，其特征在于，在所述第一初始感知网络训练过程中，所述第第一初始感知网络用于基于所述相机位姿的l个空间采样点集坐标，得到所述相机位姿的l个空间采样点集的第一预测体素密度以及第二特征向量。9.一种图像处理装置，其特征在于，包括：第一采样模块，用于对于相机在m个目标位姿中的每个目标位姿，对所述目标位姿下发出的n条射线进行空间点采样，获得所述目标位姿对应的n个空间采样点集坐标，m、n为大于1的整数；第一获取模块，用于基于所述目标位姿对应的n个空间采样点集坐标，获得所述目标位姿对应的n个空间采样点集的第一体素密度以及第一特征向量；第二获取模块，用于基于所述目标位姿对应的第一特征向量以及所述目标位姿对应的n个空间采样点集的视角方向，确定所述目标位姿对应的n个空间采样点集的第一颜色，以及确定所述目标位姿对应的n个空间采样点集的第二体素密度和第二颜色；渲染模块，用于基于所述第一体素密度、所述第二体素密度、所述第一颜色和所述第二
颜色进行渲染，生成所述m个目标位姿对应的目标渲染图像；拼接模块，用于将所述m个目标位姿对应的目标渲染图像进行拼接，得到拼接图像。10.一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上权利要求1-8中任意一项所述图像处理方法中的步骤。11.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8中任一所述的图像处理方法的步骤。

技术总结
本申请实施例提供一种图像处理方法、装置、电子设备及存储介质，该方法包括：对于相机的M个目标位姿中的每个目标位姿，对相机在目标位姿下发出的N条射线进行空间点采样，获得目标位姿对应的N个空间采样点集坐标；基于目标位姿对应的N个空间采样点集坐标，获得目标位姿对应的N个空间采样点集的第一体素密度以及第一特征向量；基于目标位姿对应的第一特征向量以及目标位姿对应的N个空间采样点集的视角方向，确定目标位姿对应的N个空间采样点集的第一颜色、第二体素密度和第二颜色；基于第一体素密度、第二体素密度、第一颜色和第二颜色进行渲染，生成M个目标位姿对应的目标渲染图像，对其进行拼接得到拼接图像，以提高图像拼接效果。拼接效果。拼接效果。


技术研发人员：庄放望
受保护的技术使用者：中国移动通信集团有限公司
技术研发日：2023.07.06
技术公布日：2023/10/6