大范围光场语义驱动智能表征与实时重建方法

1.本发明属于三维重建与智能理解/人工智能技术领域，特别是涉及大范围光场语义驱动智能表征与实时重建方法与系统。


背景技术：

2.大范围光场实时重建是人工智能、机器视觉、虚拟现实等领域的核心技术难题之一，对于实现光场的高效重建和场景渲染等方面具有重要意义。大范围光场语义驱动智能表征与实时重建指的是：利用rgb、深度传感器等设备从多个视角采集场景的色彩图像和深度图像等信息，检测和提取色彩图像和深度图像中的语义信息，利用语义信息维护和更新场景的智能表征，并以增量的形式快速地将多视角图像的信息融合进大场景的光场表征中，达到实时且高质量的大范围光场重建的目的。
3.现有的大范围光场重建算法无法实时地重建光场的几何和纹理信息。一方面，传统同时定位和建图（slam）算法只关注几何重建，利用输入的rgb或者rgb-d图像重建出场景的几何模型，并不支持高质量的新视角渲染。另一方面，近两年流行的基于神经辐射场（nerf）的体渲染算法，将场景表示为隐式的连续场，并利用多视角图像进行联合优化，在内插视角上得到了出色的渲染效果，但缺点是稠密的空间采样导致渲染速度很慢；另外由于缺少显式的几何约束，光场重建速度慢，且外插视角的渲染效果很差。一些算法（如neurmips）将场景表示为平面的集合，并通过类似体渲染的方式对每个平面的几何参数和色彩进行优化，由于采样点数量大大减少，在提升渲染速度的同时仍然可以保证理想的渲染效果。但是这种算法无法表示和优化复杂的场景几何，导致在外插视角上渲染质量仍然很差。
4.大范围离线光场重建是计算机视觉中的重要问题。光场重建主要包括两方面目标，分别为几何和渲染，传统的重建过程重点关注几何的重建，获取几何后再通过贴图等操作赋予其渲染效果，该方法对于材质简单的小范围场景有较好效果，但对于大范围的光场重建仍然比较困难。基于神经辐射场的方法（以nerf为代表）将几何和渲染耦合在一起进行重建，通过多视角图像的监督，隐式地优化场景的几何和色彩信息，由于这种方法需要大量的采样和迭代，训练和渲染速度都较慢，但在稠密的观测下可以取得很好的渲染效果。基于多视角特征聚合的方法（以svs、npbg算法为代表）以显式的几何作为表征支撑，通过聚合多视角的图像特征，在新的目标视角上渲染出图像，这类算法在较为稀疏的视角下也可以取得较好的渲染效果，缺点是速度仍然很慢。
5.对于大范围场景而言，实时光场重建有着广泛的应用需求，而增量式重建是实现实时重建的一个重要途径，即通过有序的场景观测，每次重建一个局部区域，通过将局部区域融合，逐步重建出整个场景。这类方法在slam领域得到了深入的挖掘，以tsdf fusion算法为代表，已经在实时的几何重建方面取得了较好的效果，近年来也有工作通过引入隐式表征（以neuralrecon、nice-slam为代表），提升几何重建的完整度。也有方法考虑增量式地重建大范围场景的渲染场（以nerfusion为代表），通过计算每个局部区域的渲染场，并利用
一个gru结构将局部的渲染场融合到全局的渲染场中，实现实时的增量式的渲染场重建。但此类方法的缺点是只关注几何重建质量，光场渲染效果很差。
6.基于语义的三维重建是三维领域的重要研究方向之一。受限于nerf的表征需要稠密的采样，已有的大范围场景光场重建方法的效率仍然低下。一些方法（如neurmips）假设场景可以被解耦为3d平面的集合，并通过类似体渲染的方式对每个平面的几何参数和色彩进行优化，由于这种方案中只需要计算射线与各个平面的交点而不需要稠密采样，采样点的数量大大减少，在提升渲染速度的同时仍然可以保证理想的渲染效果。另一些方法，如manhattan-sdf提出了类似的场景平面假设，在场景的优化过程中添加平面的光滑性正则项，以获得更好的几何重建结果，但此类方法仍然没有得到很好的光场重建效果，尤其是外插视角的光场渲染质量很差。
7.现有技术难以平衡快速光场重建和高质量光场渲染这两个目标。nerf提供了高质量的内插视角渲染效果，但效率很低且外插视角渲染质量差，instantngp虽然在nerf的基础上提升了优化和渲染的速度，但是仍然无法得到很好的外插效果，光场重建质量差；neurmips等基于语义的方法虽然可以实现高速的渲染，但优化速度慢，且难以表示和优化几何复杂的区域。


技术实现要素：

8.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
9.为此，本发明的目的是提出一种大范围光场语义驱动智能表征与实时重建方法，提出大范围光场语义驱动智能表征，这种表征通过在渲染过程中对语义采样和体积采样这两种方式进行整合，可以同时提升渲染效率和渲染质量。
10.本发明的另一个目的在于提出一种大范围光场语义驱动智能表征与实时重建系统。
11.为达上述目的，本发明一方面提出一种大范围光场语义驱动智能表征与实时重建方法，所述方法包括以下步骤：构建语义驱动智能表征；其中，所述语义驱动智能表征，包括基于3d空间中的场景语义信息构建语义体和语义列表；基于当前rgb-d图像检测得到当前语义基元，并根据检测得到的当前语义基元和语义列表中的所有语义基元的相似度比较结果更新所述语义列表；基于更新后的语义列表对所述语义体中的体素进行更新得到更新后的语义体；基于更新后的语义体得到基于射线采样的3d空间采样点的坐标，并基于所述3d空间采样点的坐标得到射线rgb色彩值，以根据所述rgb色彩值进行基于所有rgb-d图像的大范围光场的实时重建得到大范围光场的实时重建结果。
12.另外，根据本发明上述实施例的大范围光场语义驱动智能表征与实时重建方法还可以具有以下附加的技术特征：进一步地，在本发明的一个实施例中，所述语义体中的体素的状态包括空状态、稠密填充状态和语义填充状态；所述语义填充状态表示为语义基元序号。
13.进一步地，在本发明的一个实施例中，所述基于当前rgb-d图像检测得到当前语义基元，并根据检测得到的当前语义基元和语义列表中的所有语义基元的相似度比较结果更
新所述语义列表，包括：利用语义基元检测算法计算当前rgb-d图像的当前语义基元；基于当前语义基元的几何参数和所占像素坐标对当前语义基元与语义列表中所有语义基元进行相似度比较；如果语义列表中存在与当前语义基元的相似度高于第一预设阈值的语义基元，则将当前语义基元与高于第一预设阈值的语义基元合并，并更新合并后的语义基元的几何参数；如果不存在，则将当前语义基元作为新的语义基元添加至语义列表以得到更新后的语义列表。
14.进一步地，在本发明的一个实施例中，所述基于更新后的语义列表对所述语义体中的体素进行更新得到更新后的语义体，包括：基于当前rgb-d图像和相机位姿得到当前语义基元在3d空间中的反投影结果，并根据所述反投影结果对语义体中需要被更新的体素集合进行状态判断；如果体素集合的当前状态是空状态或稠密填充状态，则将当前状态更新为语义填充状态，并在体素集合内填充当前语义基元在更新后的语义列表中的序号；如果体素集合的当前状态是语义填充状态，且已存储的语义基元序号与将要更新的语义基元序号不同，则将当前状态更新为稠密填充状态，以得到更新后的体素；基于更新后的体素得到更新后的语义体。
15.进一步地，在本发明的一个实施例中，所述基于更新后的语义体得到基于射线采样的3d空间采样点的坐标，包括：基于相机光心在某一视角对语义体发出射线，按照预设步长在射线上进行3d空间采样点的采样，并判断采样的每个3d空间采样点所在更新后的语义体中的体素的状态；如果所在更新后的体素的状态是空状态，则在下一个体素内进行3d空间采样点的采样；如果是稠密填充状态，则按照预设步长在稠密填充状态的体素内沿着射线方向进行采样；如果是语义填充状态，则计算语义填充状态的体素内对应的语义基元的几何参数与射线的交点以进行采样。
16.进一步地，在本发明的一个实施例中，所述基于所述3d空间采样点的坐标得到射线rgb色彩值，包括：将3d空间采样点的坐标和射线方向向量输入至多层感知机神经网络以计算3d空间采样点的密度和3d空间采样点的色彩值；按照3d空间采样点的密度对所述3d空间采样点的色彩值进行加权求和，以根据加权求和结果得到射线rgb色彩值。
17.进一步地，在本发明的一个实施例中，在根据加权求和结果得到射线rgb色彩值之后，所述方法，还包括：将所述射线rgb色彩值与rgb-d图像中的实际色彩值进行色彩误差计算得到色彩误差计算结果；根据所述色彩误差计算结果对多层感知机神经网络的参数进行更新以得到更新后的多层感知机神经网络。
18.进一步地，在本发明的一个实施例中，在经过预设迭代次数后，随机采样语义体中部分体素的密度，如果部分体素的密度小于第二预设阈值，则将小于第二预设阈值的部分体素的体素状态设置为空状态。
19.进一步地，在本发明的一个实施例中，所述语义基元，包括二次曲面和超二次曲面中的一种。
20.为达上述目的，本发明另一方面提出一种大范围光场语义驱动智能表征与实时重建系统，所述系统包括：智能表征构建模块，用于构建语义驱动智能表征；其中，所述语义驱动智能表征，包括基于3d空间中的场景语义信息构建语义体和语义列表；语义列表更新模块，用于基于当前rgb-d图像检测得到当前语义基元，并根据检测得到的当前语义基元和语义列表中的所有语义基元的相似度比较结果更新所述语义列表；语义体更新模块，用于基于更新后的语义列表对所述语义体中的体素进行更新得到更新后的语义体；大范围光场重建模块，用于基于更新后的语义体得到基于射线采样的3d空间采样点的坐标，并基于所述3d空间采样点的坐标得到射线rgb色彩值，以根据所述rgb色彩值进行基于所有rgb-d图像的大范围光场的实时重建得到大范围光场的实时重建结果。
21.本发明实施例的大范围光场语义驱动智能表征与实时重建方法和系统，结合语义渲染和体积渲染二者各自的优势，构建大范围光场语义驱动智能表征，并基于此实现大范围光场语义驱动实时重建。
22.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
23.本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1是根据本发明实施例的大范围光场语义驱动智能表征与实时重建方法的流程图；图2是根据本发明实施例的大范围光场语义驱动智能表征与实时重建方法的网络框架示意图；图3是根据本发明实施例的大范围光场语义驱动智能表征示意图；图4是根据本发明实施例的大范围光场实时重建结果的定性比较示意图；图5是根据本发明实施例的大范围光场实时重建结果的定量比较示意图；图6是根据本发明实施例的大范围光场语义驱动智能表征与实时重建系统的结构示意图。
具体实施方式
24.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
25.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的
附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
26.下面参照附图描述根据本发明实施例提出的大范围光场语义驱动智能表征与实时重建方法和系统。
27.图1是本发明实施例的大范围光场语义驱动智能表征与实时重建方法的流程图。如图1所示，该方法包括：s1，构建语义驱动智能表征；其中，语义驱动智能表征，包括基于3d空间中的场景语义信息构建语义体和语义列表。
28.可以理解的是，表征是3d光场重建的基础，包括如何进行3d表示、如何从新视角渲染图像，常见的3d光场表征有点云、mesh面片表征、volume体积表征、基于神经辐射场(nerf)的表征等。
29.在本发明的一个实施例中，语义指的是使用语义基元对3d场景的一部分进行表示，其余部分用volume体积表征，两者结合构成一种混合的光场表征。由于这种表征是基于场景的语义信息构建的，与人对场景的理解有很高的相似性，因此称为语义驱动智能表征。
30.具体地，本发明首先进行语义驱动智能表征的构建。初始化3d语义体（semantic volume）、语义列表、多层感知机神经网络（mlp）。
31.其中，语义体用于存储3d空间中的场景语义信息，3d语义体的大小可以覆盖整个3d场景。
32.其中，中每个体素（voxel）有三种可能的状态，分别为：空（e-voxel，数值为-1）、稠密填充（d-voxel，数值为0）、语义填充（p-voxel，数值为大于0的自然数，表示语义基元序号）。
33.在将语义体初始化后，中所有体素均为d-voxel状态。语义列表，用于存储已检测到的所有语义基元及其参数。
34.本发明实施例中的语义基元（primitive）包含但不限于平面、球面、圆柱面等二次曲面（quadrics）和超二次曲面（super-quadrics）。
35.可以理解的是，本发明在同时初始化一个多层感知机网络（mlp）之后，输入为编码后的3d空间点的空间坐标和观测方向，该观测方式为从相机光心出发，连接3d空间点，得到一条射线，这条射线方向就是该3d空间点的观测方向。简言之，观测方向指的是基于相机光心的3d点观测方向。
36.可以理解的是，语义驱动智能表征的定义除了本发明实施例中根据几何的复杂程度来区分之外，也可以利用rgb纹理等特征的复杂程度的不同来定义和区分。其中表达的一般性思想是，根据3d场景中不同区域的特征差异性，采用不同的建模、采样和渲染方式来进行场景的优化和重建。
37.可以理解的是，mlp网络输入的是编码后的3d空间坐标和观测方向，这里编码方法包含但不限于各种位置编码（如频率编码、球谐函数编码、矩阵分解位置特征编码、哈希表位置特征编码、稠密体积特征编码等）。
38.s2，基于当前rgb-d图像检测得到当前语义基元，并根据检测得到的当前语义基元和语义列表中的所有语义基元的相似度比较结果更新语义列表。
39.可以理解的是，在步骤s1中初始化的语义列表是空的，即语义列表里面没有存储任何信息；经过步骤s2，每输入一张rgb-d图像，都可以对语义列表进行更新；在每次更新后，语义列表中的语义基元的数量和参数会发生变化。一般情况下，随着新视角输入，语义列表会不断变长。
40.在本发明的一个实施例中，rgb-d图像可以由rgb-d传感器获得，其中rgb图像可由任何rgb彩色相机获得，d深度图像可由深度传感器获得（如kinect等）。
41.在本发明的一个实施例中，利用语义基元检测算法计算当前rgb-d图像的当前语义基元；基于当前语义基元的几何参数和所占像素坐标对当前语义基元与语义列表中所有语义基元进行相似度比较；如果语义列表中存在与当前语义基元的相似度高于第一预设阈值的语义基元，则将当前语义基元与高于第一预设阈值的语义基元合并，并更新合并后的语义基元的几何参数；如果不存在，则将当前语义基元作为新的语义基元添加至语义列表以得到更新后的语义列表。
42.具体地，对于每一张输入的rgb-d图像（rgb图像和深度图像），用语义基元检测算法检测语义基元，区分图像中的几何复杂和几何简单的区域。
43.具体地，对当前rgb-d图像中检测到的每个语义基元，计算语义基元的几何参数和所占像素坐标，并与语义列表中已有的语义基元进行比较，如果列表中存在与相似度高于预设阈值的语义基元，则将与合并，更新的参数；如果不存在相似度高于阈值的语义基元，则将作为新的语义基元添加进入语义列表。
44.s3，基于更新后的语义列表对语义体中的体素进行更新得到更新后的语义体。
45.可以理解的是，本步骤的目的是利用多视角语义感知的结果即新视角输入后输出更新后的语义列表，以更新语义驱动智能表征中的3d语义体。
46.在本发明的一个实施例中，基于当前rgb-d图像和相机位姿得到当前语义基元在3d空间中的反投影结果，并根据反投影结果对语义体中需要被更新的体素集合进行状态判断；如果体素集合的当前状态是空状态或稠密填充状态，则将当前状态更新为语义填充状态，并在体素集合内填充当前语义基元在更新后的语义列表中的序号；如果体素集合的当前状态是语义填充状态，且已存储的语义基元序号与将要更新的语义基元序号不同，则将当前状态更新为稠密填充状态，以得到更新后的体素；基于更新后的体素得到更新后的语义体。
47.具体地，利用输入的深度图像和相机位姿，将步骤（2）中检测到的每个语义基元，反投影到3d空间中，判断语义体中需要被更新的体素集合{。
48.进一步地，如果体素原本是空（e-voxel）或者稠密填充（d-voxel）状态，则应当被更新为语义基元填充（p-voxel），并在体素内填充该语义基元在语义列表中的序号，用于后续渲染过程中的语义信息索引。如果体素的状态是语义基元填充（p-voxel），且已存储的语义基元序号与将要更新的语义基元序号不同，则将该体素状态更新为稠密填充（d-voxel），以消除几何复杂区域的冲突，保证渲染质量。
49.可以理解的是，本发明实施例中，是需要重复执行上述的步骤，因此，在步骤s1中
提到在将语义体初始化后，中所有体素均为d-voxel状态，在第一次执行到步骤s3，不存在大于0的体素，在重复执行上述步骤以及到下一步骤时，就会出现数值大于0的体素；这样第二次执行到步骤s3时，就有数值大于0的体素参与了。
50.s4，基于更新后的语义体得到基于射线采样的3d空间采样点的坐标，并基于3d空间采样点的坐标得到射线rgb色彩值，以根据rgb色彩值进行基于所有rgb-d图像的大范围光场的实时重建得到大范围光场的实时重建结果。
51.可以理解的是，本发明的总体目标是光场重建，构建了语义驱动智能表征之后（语义列表和语义体），利用输入的多视角图像优化mlp神经网络，使得重建的光场能够利用场景中的信息在任意新视角上渲染出正确的2d图像。
52.具体地，从任意一个选定视角出发，发出射线（其中表示相机光心，表示射线方向，t为非负实数），在射线上按照特定步长采样。
53.对每个采样点，判断所在的体素的状态，即对于每一个3d采样点，都要判断采样点所在的是哪一个体素（即采样点在哪一个小正方体内），然后根据所在体素的状态，判断应当在体素内采用何种采样方式。
54.如果判断是e-voxel状态，则直接跳过该体素，继续采样下一个体素（继续在下一个体素内进行采样点的采样）；如果是d-voxel状态，则按照固定步长在体素内实现稠密采样；如果是p-voxel状态，则将该体素内对应的语义基元的参数取出，并与射线计算交点，实现稀疏采样，采样该点后，继续采样下一个体素。
55.射线采样结束后，将采样点坐标和射线方向送入mlp网络计算3d空间点的密度和色彩值，并利用积分渲染的方式计算整条射线的色彩值。
56.可以理解的是，积分渲染方式，包含但不限于nerf的累积加权求和等渲染方法。
57.本发明的一个实施例中，根据密度值σ对同一条射线上的采样点色彩值c加权求和，得到一条射线的色彩值，也就是图像中渲染出的一个像素的色彩值。
58.进一步地，将色彩值与图像中的实际色彩值（ground truth）计算误差，反向传播更新mlp网络的参数。此外，每经过固定的迭代次数后，随机采样语义体中部分体素的密度，如果小于阈值，则将该体素状态设置为空（e-voxel），从而使场景稀疏化，加快渲染速度。
59.可以理解的是，本发明实施例中的渲染范式是基于神经辐射场nerf的可微渲染范式，此外任何可微的渲染范式均可采用。
60.基于此，每隔固定时间，将一张新的rgb-d图像输入整个算法流程，迭代执行上述步骤，最后得到完整的大范围光场的实时重建结果。
61.可以理解的是，神经网络mlp的损失函数除了采用rgb渲染误差损失函数之外，包含但不限于添加深度渲染误差损失函数、语义渲染误差损失函数（渲染语义基元的几何参数，与上述检测出的语义基元参数计算误差）。
62.可以理解的是，可以应用不同类型的神经网络结构及参数：包含但不限于使用不同的网络层数等网络参数。
63.综上，本发明提出大范围光场语义驱动智能表征，这种表征通过在渲染过程中对语义采样和体积采样这两种方式进行整合，可以同时提升渲染效率和渲染质量。具体来说，
本方法通过对场景的语义感知，可以对场景中不同区域的几何复杂程度进行区分，对于场景中几何简单的区域（如可用平面、球面等语义基元表示的区域），在渲染时采用稀疏的语义采样，提升渲染速度；而对于场景中几何复杂的区域，在渲染时采用稠密的体积采样，保证渲染质量。提出基于语义驱动的光场实时重建方法，以增量的形式更新光场智能表征中的语义信息和场景属性，实现光场的实时重建和实时渲染。
64.图2为本发明实施例的基于语义驱动智能表征的大范围光场实时重建网络架构图，图2中的(1)为多视角光场语义感知：即语义基元检测；图2中的(2)为语义驱动智能表征的更新：即语义列表更新；图2中的(3)为语义驱动智能表征的更新：即语义体更新；图2中的(4)为语义驱动智能表征的网络优化。
65.图3为本发明实施例的大范围光场语义驱动智能表征示意图，图3中的(1)为稠密的体积表征与采样；图3中的(2)为稀疏的语义表征与采样；图3中(3)为大范围光场语义驱动智能表征与采样。
66.图4为大范围光场实时重建结果（定性比较）。图4中的第1列为replica数据集提供的参考模型（ground truth），第2至第4列为目前最优算法的重建效果，第5列为本发明方法的重建效果。
67.图5为大范围光场实时重建结果（定量比较）。第7行为本发明方法（parf）的光场重建指标，其余各行分别为现有算法的定量表现。
68.综上所示，本发明的方式可以为3d场景编辑、ar/vr、自动驾驶、数字孪生等应用提供有效的场景信息，包含但不限于实现高效精确的光场重建和渲染。
69.本发明所提出的大范围光场语义驱动智能表征可以兼顾体积渲染和语义渲染的优势：在场景中几何简单的区域采用稀疏的语义采样，支持快速的优化和渲染；对于场景中几何复杂的区域，采用稠密的体积采样，保证渲染质量。本发明的方法，可以实现大范围光场的实时重建，同时达到高质量和实时的光场重建效果。
70.为了实现上述实施例，如图6所示，本实施例中还提供了大范围光场语义驱动智能表征与实时重建系统10，该系统10包括，智能表征构建模块100、语义列表更新模块200、语义体更新模块300和大范围光场重建模块400。
71.智能表征构建模块100，用于构建语义驱动智能表征；其中，语义驱动智能表征，包括基于3d空间中的场景语义信息构建语义体和语义列表；语义列表更新模块200，用于基于当前rgb-d图像检测得到当前语义基元，并根据检测得到的当前语义基元和语义列表中的所有语义基元的相似度比较结果更新所述语义列表；语义体更新模块300，用于基于更新后的语义列表对语义体中的体素进行更新得到更新后的语义体；大范围光场重建模块400，用于基于更新后的语义体得到基于射线采样的3d空间采样点的坐标，并基于3d空间采样点的坐标得到射线rgb色彩值，以根据rgb色彩值进行基于所有rgb-d图像的大范围光场的实时重建得到大范围光场的实时重建结果。
72.根据本发明实施例的大范围光场语义驱动智能表征与实时重建系统，在场景中几何简单的区域采用稀疏的语义采样，支持快速的优化和渲染；对于场景中几何复杂的区域，采用稠密的体积采样，保证渲染质量。还可以实现大范围光场的高质量实时重建。
73.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、
ꢀ“
示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
74.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

技术特征：
1.一种大范围光场语义驱动智能表征与实时重建方法，其特征在于，所述方法包括以下步骤：构建语义驱动智能表征；其中，所述语义驱动智能表征，包括基于3d空间中的场景语义信息构建语义体和语义列表；基于当前rgb-d图像检测得到当前语义基元，并根据检测得到的当前语义基元和语义列表中的所有语义基元的相似度比较结果更新所述语义列表；基于更新后的语义列表对所述语义体中的体素进行更新得到更新后的语义体；基于更新后的语义体得到基于射线采样的3d空间采样点的坐标，并基于所述3d空间采样点的坐标得到射线rgb色彩值，以根据所述rgb色彩值进行基于所有rgb-d图像的大范围光场的实时重建得到大范围光场的实时重建结果。2.根据权利要求1所述的方法，其特征在于，所述语义体中的体素的状态包括空状态、稠密填充状态和语义填充状态；所述语义填充状态表示为语义基元序号。3.根据权利要求1所述的方法，其特征在于，所述基于当前rgb-d图像检测得到当前语义基元，并根据检测得到的当前语义基元和语义列表中的所有语义基元的相似度比较结果更新所述语义列表，包括：利用语义基元检测算法计算当前rgb-d图像的当前语义基元；基于当前语义基元的几何参数和所占像素坐标对当前语义基元与语义列表中所有语义基元进行相似度比较；如果语义列表中存在与当前语义基元的相似度高于第一预设阈值的语义基元，则将当前语义基元与高于第一预设阈值的语义基元合并，并更新合并后的语义基元的几何参数；如果不存在，则将当前语义基元作为新的语义基元添加至语义列表以得到更新后的语义列表。4.根据权利要求2所述的方法，其特征在于，所述基于更新后的语义列表对所述语义体中的体素进行更新得到更新后的语义体，包括：基于当前rgb-d图像和相机位姿得到当前语义基元在3d空间中的反投影结果，并根据所述反投影结果对语义体中需要被更新的体素集合进行状态判断；如果体素集合的当前状态是空状态或稠密填充状态，则将当前状态更新为语义填充状态，并在体素集合内填充当前语义基元在更新后的语义列表中的序号；如果体素集合的当前状态是语义填充状态，且已存储的语义基元序号与将要更新的语义基元序号不同，则将当前状态更新为稠密填充状态，以得到更新后的体素；基于更新后的体素得到更新后的语义体。5.根据权利要求4所述的方法，其特征在于，所述基于更新后的语义体得到基于射线采样的3d空间采样点的坐标，包括：基于相机光心在某一视角对语义体发出射线，按照预设步长在射线上进行3d空间采样点的采样，并判断采样的每个3d空间采样点所在更新后的语义体中的体素的状态；如果所在更新后的体素的状态是空状态，则在下一个体素内进行3d空间采样点的采样；如果是稠密填充状态，则按照预设步长在稠密填充状态的体素内沿着射线方向进行采样；
如果是语义填充状态，则计算语义填充状态的体素内对应的语义基元的几何参数与射线的交点以进行采样。6.根据权利要求5所述的方法，其特征在于，所述基于所述3d空间采样点的坐标得到射线rgb色彩值，包括：将3d空间采样点的坐标和射线方向向量输入至多层感知机神经网络以计算3d空间采样点的密度和3d空间采样点的色彩值；按照3d空间采样点的密度对所述3d空间采样点的色彩值进行加权求和，以根据加权求和结果得到射线rgb色彩值。7.根据权利要求6所述的方法，其特征在于，在根据加权求和结果得到射线rgb色彩值之后，所述方法，还包括：将所述射线rgb色彩值与rgb-d图像中的实际色彩值进行色彩误差计算得到色彩误差计算结果；根据所述色彩误差计算结果对多层感知机神经网络的参数进行更新以得到更新后的多层感知机神经网络。8.根据权利要求7所述的方法，其特征在于，在经过预设迭代次数后，随机采样语义体中部分体素的密度，如果部分体素的密度小于第二预设阈值，则将小于第二预设阈值的部分体素的体素状态设置为空状态。9.根据权利要求1所述的方法，其特征在于，所述语义基元，包括二次曲面和超二次曲面中的多种。10.一种大范围光场语义驱动智能表征与实时重建系统，其特征在于，包括：智能表征构建模块，用于构建语义驱动智能表征；其中，所述语义驱动智能表征，包括基于3d空间中的场景语义信息构建语义体和语义列表；语义列表更新模块，用于基于当前rgb-d图像检测得到当前语义基元，并根据检测得到的当前语义基元和语义列表中的所有语义基元的相似度比较结果更新所述语义列表；语义体更新模块，用于基于更新后的语义列表对所述语义体中的体素进行更新得到更新后的语义体；大范围光场重建模块，用于基于更新后的语义体得到基于射线采样的3d空间采样点的坐标，并基于所述3d空间采样点的坐标得到射线rgb色彩值，以根据所述rgb色彩值进行基于所有rgb-d图像的大范围光场的实时重建得到大范围光场的实时重建结果。

技术总结
本发明公开了大范围光场语义驱动智能表征与实时重建方法，本发明属于三维重建与智能理解、人工智能技术领域；该方法包括构建语义驱动智能表征；基于当前RGB-D图像检测得到当前语义基元，并根据检测得到的当前语义基元和语义列表中的所有语义基元的相似度比较结果更新语义列表；基于更新后的语义列表对语义体中的体素进行更新得到更新后的语义体；基于更新后的语义体得到基于射线采样的3D空间采样点的坐标，并基于3D空间采样点的坐标得到射线RGB色彩值，以根据RGB色彩值进行基于所有RGB-D图像的大范围光场的实时重建得到大范围光场的实时重建结果。本发明能够以增量的形式更新光场智能表征中的语义信息和场景属性，实现大范围光场的实时重建和实时渲染。范围光场的实时重建和实时渲染。范围光场的实时重建和实时渲染。


技术研发人员：方璐 营海洋 于涛
受保护的技术使用者：清华大学
技术研发日：2023.08.10
技术公布日：2023/9/9