一种基于三维场景风格化的光场显示方法及系统

1.本发明涉及图像处理技术领域，具体是涉及一种基于三维场景风格化的光场显示方法及系统。


背景技术：

2.当前，在自然图像上再现名画风格的风格化技术成为内容创作的一个热门话题，基于图像的风格化研究已经十分成熟了，大家逐渐把目光转向基于三维场景的风格化。但是，直接将图像的风格化算法应用于三维场景，会导致无法在不同视角下产生几何一致的风格化纹理。所以，如何合理地改进图像风格化的算法成为了大家关注的重点。同时，随着计算机技术和显示技术的快速进步，人们已经不满足于通过二维显示屏所带来的观看体验，而三维光场显示可以更加真实地还原真实场景的深度信息，同时不用佩戴3d眼镜，利用双目视差的原理实现裸眼3d显示，给观看者带来更佳的观看体验。
3.对于目前已有的针对三维场景的风格化方法有两种，一种是arf，使用最近邻匹配算法和无视角输入的训练实现三维场景风格化，该方法的问题是对于背景部分和高频部分效果不太理想；另一种方法是style nerf，使用蒸馏来抽取三维一致性从而实现三维场景的风格化，该方法的问题是步骤较为复杂，且风格化的效果整体不明显。
4.因此，需要提供一种基于三维场景风格化的光场显示方法及系统，旨在解决上述问题。


技术实现要素：

5.针对现有技术存在的不足，本发明的目的在于提供一种基于三维场景风格化的光场显示方法及系统，以解决上述背景技术中存在的问题。
6.本发明是这样实现的，一种基于三维场景风格化的光场显示方法，所述方法包括以下步骤：对同一个静态场景进行多视角采集得到多视点图像；对多视点图像进行预处理得到相机内参、相机外参和拍摄位姿信息；将多视点图像、相机内参、相机外参以及拍摄位姿信息输入至神经网络中学习，获得三维隐式表达的真实场景的辐射场；通过神经网络和图像处理将所述的真实场景的辐射场转化为风格化辐射场，实现从真实场景到风格化场景的映射；通过生成虚拟相机阵列重新采集多视点图像，并进行多视点合成编码，加载到三维光场显示器上进行立体显示。
7.作为本发明进一步的方案：使用至少一台采集设备在三维光场显示器规定的观看范围内采集特定视点的画面信息，所述特定视点的画面信息包括在具有相同区域的条件下对同一场景的静态物体进行不同角度的汇聚式拍摄得到的图像。
8.作为本发明进一步的方案：基于colmap方法将采集得到的多视点图像作为相机标
定的输入，通过colmap获得稀疏重建的结果，并输出相机内参、相机外参和拍摄位姿信息。
9.作为本发明进一步的方案：使用神经网络学习所采集的多视点图像，隐式地将一个静态场景用一个神经网络来建模，通过相机内参、相机外参以及拍摄位姿信息对神经网络训练完成后，得到能够实现渲染任意角度的真实场景的辐射场。
10.作为本发明进一步的方案：基于真实场景的辐射场生成不同视点的渲染结果，并对渲染结果的不同区域赋予权重，且权重之和为1；计算不同视点的渲染结果与预先给定的风格图像之间的内容差异、风格差异与拉普拉斯差异，内容差异和拉普拉斯差异是渲染结果和原先场景之间计算，风格差异是渲染结果和风格图像之间计算，通过神经网络的训练，将真实场景的辐射场转化为风格化辐射场。
11.作为本发明进一步的方案：利用光场编码原理计算出每一个像素所对应的视点，通过对编码后的像素进行单独着色，输出一张多视点的合成图像，将合成图像加载到三维光场显示器上，实现风格化辐射场的立体显示。
12.本发明的另一目的在于提供一种基于三维场景风格化的光场显示系统，所述系统包括：图像采集模块，用于对同一个静态场景进行多视角采集得到多视点图像；标定预处理模块，用于对多视点图像进行预处理得到相机内参、相机外参和拍摄位姿信息；真实场景辐射场模块，用于将多视点图像、相机内参、相机外参以及拍摄位姿信息输入至神经网络中学习，获得三维隐式表达的真实场景的辐射场；风格化辐射场模块，用于通过神经网络和图像处理将所述的真实场景的辐射场转化为风格化辐射场，实现从真实场景到风格化场景的映射；光场显示模块，用于通过生成虚拟相机阵列重新采集多视点图像，并进行多视点合成编码，加载到三维光场显示器上进行立体显示。
13.与现有技术相比，本发明的有益效果是：本发明相较于现有技术，能够对三维场景进行视觉上富有美感的风格化并用于三维显示，消除了传统二维图像风格化所带来的不同视角下几何不一致的问题。
附图说明
14.图1为一种基于三维场景风格化的光场显示方法的流程图。
具体实施方式
15.为了使本发明的目的、技术方案及优点更加清晰，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
16.以下结合具体实施例对本发明的具体实现进行详细描述。
17.如图1所示，本发明实施例提供了一种基于三维场景风格化的光场显示方法，所述方法包括以下步骤：s100，对同一个静态场景进行多视角采集得到多视点图像；s200，对多视点图像进行预处理得到相机内参、相机外参和拍摄位姿信息；
s300，将多视点图像、相机内参、相机外参以及拍摄位姿信息输入至神经网络中学习，获得三维隐式表达的真实场景的辐射场；s400，通过神经网络和图像处理将所述的真实场景的辐射场转化为风格化辐射场，实现从真实场景到风格化场景的映射；s500，通过生成虚拟相机阵列重新采集多视点图像，并进行多视点合成编码，加载到三维光场显示器上进行立体显示。
18.本发明实施例中，为了得到多视点图像，使用至少一台采集设备在三维光场显示器规定的观看范围内采集特定视点的画面信息，所述特定视点的画面信息包括在具有相同区域的条件下对同一场景的静态物体进行不同角度的汇聚式拍摄得到的图像。具体的，通过采集器对同一个静态场景进行采集。图像采集阵列由多个图像采集器以一定的组合方式排布，为了保证辐射场更加贴近真实静态场景，应尽量使采集器等距排列，且采集位置应保持在同一水平线上，通过提高采集信息的分辨率和增加采集数量可以有效提高辐射场的信息输入量，增大三维立体分辨率，并且增大观看视角。
19.本发明实施例中，对多视点图像进行预处理时，基于传统的colmap方法将采集得到的多视点图像作为相机标定的输入，通过colmap获得稀疏重建的结果，并输出相机内参、相机外参和拍摄位姿信息。具体的，通过输入多视角的图像信息，对输入数据进行标定算法处理后，为生成真实场景的辐射场提供相机和拍摄点的信息。在建立三维场景辐射场的过程中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过计算才能得到，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。经过试验，传统的colmap方法对于三维场景风格化的效果最佳。不同角度的采集结果经过colmap处理后得到该位置的相机内参、相机外参和拍摄位姿信息，实现了数据的预处理。
20.本发明实施例中，获得三维隐式表达的真实场景的辐射场时，使用神经网络学习所采集的多视点图像，隐式地将一个静态场景用一个神经网络来建模，通过相机内参、相机外参以及拍摄位姿信息对神经网络训练完成后，得到能够实现渲染任意角度的真实场景的辐射场。具体的，将之前预处理得到的数据和多视点图像作为全连接网络的输入，根据不同视点的信息，对一个连续的、隐含的场景函数进行优化，为风格化辐射场提供真实场景的辐射场场景函数。由于立体渲染是可导的，则场景函数的优化只需要提供一系列确定相机位姿的同一静态场景的图像。训练完场景函数后，可以通过该网络来表示真实的静态场景，只需要输入坐标和观看方向，便可以输出在此观看方向上坐标点的颜色信息。
21.本发明实施例中，转化为风格化辐射场时，需要基于真实场景的辐射场生成不同视点的渲染结果，并对渲染结果的不同区域赋予权重，且权重之和为1；计算不同视点的渲染结果与预先给定的风格图像之间的内容差异、风格差异与拉普拉斯差异，内容差异和拉普拉斯差异是渲染结果和原先场景之间计算，风格差异是渲染结果和风格图像之间计算，通过神经网络的训练，将真实场景的辐射场转化为风格化辐射场。具体的，将真实场景的辐射场场景函数作为输入，通过网络训练将其转换为特定图像风格的风格化辐射场的场景函数。为了保证良好的空间一致性和风格化效果，可选的，对于真实场景的辐射场采用spatial control的方法，控制风格化只作用于一部分内容区域，即为风格化辐射场增加了
一个权重信息，这个权重需要进行归一化，即权重之和为1，在后续计算损失的时候也会更加关注这些区域内特征的相关性，从而实现了空间的控制。增加了权重后，需要通过不同层的vgg网络提取真实场景的辐射场渲染结果与风格图片的特征图，为了转换为风格化辐射场，需要计算内容损失（保留原场景信息）、拉普拉斯损失（保留边缘信息）和风格损失（保留风格信息），并调整预先生成的真实场景辐射场，实现了将风格特征从二维图像转移到三维场景，并产生风格一致的高质量新视图。
22.本发明实施例中，所述通过生成虚拟相机阵列重新采集多视点图像，并进行多视点合成编码时，需要通过输入预定的相机位置，生成对应数量的虚拟相机阵列，利用光场编码原理计算出每一个像素所对应的视点，通过对编码后的像素进行单独着色，输出一张多视点的合成图像，将合成图像加载到三维光场显示器上，实现风格化辐射场的立体显示。上述步骤可以简述为：第一步，光场编码；第二步，计算像素对应的视点；第三步，对视点编码后的像素进行单独着色；第四步，渲染并输出多视点合成图像。光场编码时，需要并行计算屏幕上每一个像素或者子像素对应的视点。由于在计算机中体数据是离散的，光线积分用黎曼求和来代替，于是可以投射光线对辐射场进行采样，同时合成多视图的合成图像。由于是并行计算，多视图合成图像可以在一次渲染中直接输出，并显示在三维光场显示器上。
23.本发明实施例还提供了一种基于三维场景风格化的光场显示系统，所述系统包括：图像采集模块，用于对同一个静态场景进行多视角采集得到多视点图像；标定预处理模块，用于对多视点图像进行预处理得到相机内参、相机外参和拍摄位姿信息；真实场景辐射场模块，用于将多视点图像、相机内参、相机外参以及拍摄位姿信息输入至神经网络中学习，获得三维隐式表达的真实场景的辐射场；风格化辐射场模块，用于通过神经网络和图像处理将所述的真实场景的辐射场转化为风格化辐射场，实现从真实场景到风格化场景的映射；光场显示模块，用于通过生成虚拟相机阵列重新采集多视点图像，并进行多视点合成编码，加载到三维光场显示器上进行立体显示。
24.以上仅对本发明的较佳实施例进行了详细叙述，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
25.应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
26.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供
的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
27.本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

技术特征：
1.一种基于三维场景风格化的光场显示方法，其特征在于，所述方法包括以下步骤：对同一个静态场景进行多视角采集得到多视点图像；对多视点图像进行预处理得到相机内参、相机外参和拍摄位姿信息；将多视点图像、相机内参、相机外参以及拍摄位姿信息输入至神经网络中学习，获得三维隐式表达的真实场景的辐射场；通过神经网络和图像处理将所述的真实场景的辐射场转化为风格化辐射场，实现从真实场景到风格化场景的映射；通过生成虚拟相机阵列重新采集多视点图像，并进行多视点合成编码，加载到三维光场显示器上进行立体显示。2.根据权利要求1所述的基于三维场景风格化的光场显示方法，其特征在于，使用至少一台采集设备在三维光场显示器规定的观看范围内采集特定视点的画面信息，所述特定视点的画面信息包括在具有相同区域的条件下对同一场景的静态物体进行不同角度的汇聚式拍摄得到的图像。3.根据权利要求1所述的基于三维场景风格化的光场显示方法，其特征在于，基于colmap方法将采集得到的多视点图像作为相机标定的输入，通过colmap获得稀疏重建的结果，并输出相机内参、相机外参和拍摄位姿信息。4.根据权利要求1所述的基于三维场景风格化的光场显示方法，其特征在于，使用神经网络学习所采集的多视点图像，隐式地将一个静态场景用一个神经网络来建模，通过相机内参、相机外参以及拍摄位姿信息对神经网络训练完成后，得到能够实现渲染任意角度的真实场景的辐射场。5.根据权利要求1所述的基于三维场景风格化的光场显示方法，其特征在于，基于真实场景的辐射场生成不同视点的渲染结果，并对渲染结果的不同区域赋予权重，且权重之和为1；计算不同视点的渲染结果与预先给定的风格图像之间的内容差异、风格差异与拉普拉斯差异，通过神经网络的训练，将真实场景的辐射场转化为风格化辐射场。6.根据权利要求1所述的基于三维场景风格化的光场显示方法，其特征在于，利用光场编码原理计算出每一个像素所对应的视点，通过对编码后的像素进行单独着色，输出一张多视点的合成图像，将合成图像加载到三维光场显示器上，实现风格化辐射场的立体显示。7.一种基于三维场景风格化的光场显示系统，其特征在于，所述系统包括：图像采集模块，用于对同一个静态场景进行多视角采集得到多视点图像；标定预处理模块，用于对多视点图像进行预处理得到相机内参、相机外参和拍摄位姿信息；真实场景辐射场模块，用于将多视点图像、相机内参、相机外参以及拍摄位姿信息输入至神经网络中学习，获得三维隐式表达的真实场景的辐射场；风格化辐射场模块，用于通过神经网络和图像处理将所述的真实场景的辐射场转化为风格化辐射场，实现从真实场景到风格化场景的映射；光场显示模块，用于通过生成虚拟相机阵列重新采集多视点图像，并进行多视点合成编码，加载到三维光场显示器上进行立体显示。

技术总结
本发明适用于图像处理技术领域，提供了一种基于三维场景风格化的光场显示方法及系统，包括以下步骤：对同一个静态场景进行多视角采集得到多视点图像；对多视点图像进行预处理得到相机内参、相机外参和拍摄位姿信息；将多视点图像、相机内参、相机外参以及拍摄位姿信息输入至神经网络中学习，获得三维隐式表达的真实场景的辐射场；通过神经网络和图像处理将所述的真实场景的辐射场转化为风格化辐射场，实现从真实场景到风格化场景的映射；通过生成虚拟相机阵列重新采集多视点图像，并进行多视点合成编码，加载到三维光场显示器上进行立体显示。本发明能够对三维场景进行视觉上富有美感的风格化并用于三维显示，三维显示效果好。三维显示效果好。三维显示效果好。


技术研发人员：邢树军 宋思原 于迅博 高鑫 沈圣 黄辉
受保护的技术使用者：北京邮电大学
技术研发日：2023.06.09
技术公布日：2023/7/12