基于U-Net的BRDF贴图拼接方法

基于u-net的brdf贴图拼接方法
技术领域
1.本发明涉及图像超分和材质渲染的技术领域，尤其是指一种基于u-net的brdf贴图拼接方法。


背景技术：

2.brdf贴图是渲染中存储了材质属性信息的一些图像。对渲染的真实程度有着至关重要的作用。当下有许多brdf贴图获取的研究工作，但是由于训练神经网络对显卡有着极高的要求，这些工作都停留在低分辨brdf贴图生成的阶段，当物体面积较大时会缺失大量细节。
3.这个问题有两种解决方法，一是对物体局部进行brdf贴图获取，再通过传统图像拼接方法将其拼接起来。由于传统图像拼接多针对远景图像拼接，对图像间的衔接不敏感，因此应用到近景的细纹理brdf贴图时存在严重的接缝问题；二是对完整的物体进行brdf贴图获取，输出结果通过超分算法恢复细节。但是这种方法依赖神经网络训练的数据分布，恢复的细节并不十分可靠。


技术实现要素：

4.本发明的目的在于克服现有技术的缺点与不足，提出了一种基于u-net的brdf贴图拼接方法，能够对大面积物体的局部进行拍摄合成整体的brdf贴图，使之可以完整保留物体的细节信息，且避免了传统远景拼接产生的接缝问题。
5.为实现上述目的，本发明所提供的技术方案为：基于u-net的brdf贴图拼接方法，包括以下步骤：
6.1)使用公开的brdf贴图制作拼接数据集，该数据集包含真值brdf贴图、整体渲染图像和若干局部渲染图像，其中，整体渲染图像是对材质的整体进行渲染得到的图像，局部渲染图像是对材质的某一部分进行渲染得到的图像，真值brdf贴图是渲染时使用的brdf贴图；
7.2)使用公开的brdf贴图获取算法，获得整体渲染图像和所有局部渲染图像的brdf贴图，分别称为整体贴图和局部贴图，将所有局部贴图串连，合并成一张brdf贴图，经过这个步骤，得到包含真值brdf贴图、缺失细节的整体贴图、串连的局部贴图的数据集；
8.3)使用步骤2)中获得的数据集，训练改进的u-net拼接网络，使用brdf贴图的l1距离和整体渲染图像的l1距离作为网络训练的损失函数，改进的u-net拼接网络中具体的改进为：在主干网络中加入均值全连接，用以引入编码器的全局信息，在拼接的主干网络中另外加入一个分支，输入整体贴图，采用卷积和反卷积操作进行下采样和上采样，将特征层通过堆叠的方式引入主干网络同分辨率的特征层，使其获得对应空间上的整体贴图特征；
9.4)应用训练好的改进的u-net拼接网络，将物体照片获取的brdf贴图输入网络，得到具有物体细节的高分辨率整体贴图。
10.进一步，在步骤1)中，对材质的整体以及局部进行渲染，需要搭建虚拟渲染场景，
步骤为：首先放置一个平面，将公开的brdf贴图应用到该平面，作为被拍摄的近平面物体，然后在平面中心点上方设置面向平面的虚拟相机，调节至其视图中有完整的平面，接着在平面上方低于虚拟相机位置设置若干局部相机，调节至其视图中有局部的平面，要求所有局部相机能够还原完整平面；
11.渲染的步骤为：对于一组brdf贴图，包含漫反射贴图d、法线贴图n、镜面反射贴图s和光滑度贴图g，应用到搭建好的虚拟场景中，场景设置了一个整体摄像机c0和n个局部摄像机c1,c2...cn，其中，cn是第n个局部摄像机，首先将渲染视图调节为c0视图，设置整体渲染图像分辨率为现实相机分辨率p
x
×
py，其中，p
x
是相机x方向的分辨率，py是相机y方向的分辨率，渲染得到细节不清晰的物体整体图像r0，然后将渲染视图调节为c1视图，局部渲染图像分辨率设置为p，渲染得到具有清晰细节的局部图像r1，渲染完所有的局部相机，得到n张局部图像r1,r2...rn，rn表示第n张局部图像。
12.进一步，在步骤2)中，局部贴图串连的具体实施方法如下：
13.按照虚拟相机的布局，在x方向上进行串连，场景中x方向有n
x
个相机，在y方向有ny个相机，则相机数量的关系表示为：
14.n＝n
x
ny15.串连使用concatenate操作，将x方向的局部贴图连续摆放在一起，全部串连后能够得到ny组像素为n
x
p
x
的brdf贴图，接着在y方向进行串连，全部局部贴图串连成为一组像素为n
x
p
x
nypy的brdf贴图，这个串连起来的brdf贴图称为串连贴图，它的纹理不连续，视角不统一，需要进一步使用改进的u-net拼接网络进行处理。
16.进一步，在步骤3)中，采用监督学习的方式，训练一个用于拼接局部贴图的改进的u-net拼接网络，输入是局部贴图串连形成的贴图和细节不清晰的完整贴图，输出是经过处理后的正确拼接的brdf贴图；
17.改进的u-net拼接网络具体结构是：主干网络采用u-net网络结构，同时在编码器、解码器中间增加均值全连接结构，先获得编码器的均值，然后将均值输入到一层全连接层，该层全连接层使用selu激活函数，输出的神经元个数与该层编码、器解码器相同，均值全连接结构用数学公式表示为：
[0018][0019]
式中，x
×
y表示大小为x
×
y的特征层，x方向上大小为x，y方向上大小为y；f
x
×y是编码器被均值全连接结构提取的特征；e
x
×y(i,j)是编码层的第i行、第j列的特征点；w
x
×y表示该层全连接层的权重；b
x
×y表示该层全连接层的偏移量；selu表示selu激活函数；
[0020]
若x
×
y特征层的通道数为c
x
×y，均值全连接结构会输出大小为1
×1×cx
×y的特征，能够与大小为x
×y×cx
×y解码器进行相加操作，由于矩阵相加的广播机制，解码器的每一特征点都能与包含了编码器全局信息的特征相加，从而获取到编码器的全局信息；
[0021]
提取低分辨率完整贴图特征的分支，具体操作为：首先将完整贴图上采样到与串连贴图同样的分辨率，然后完整贴图进行与串连贴图同步的上采样、下采样操作，最后将完整贴图的特征层与串连贴图的特征层在通道方向进行concat操作，此时主干网络的特征层通道数为2c
x
×y，再进行一次恢复通道数的卷积，完成完整贴图特征的引入；
[0022]
改进的u-net拼接网络训练的损失函数包含两部分：brdf贴图之间的l1距离、整体渲染图像之间的l1距离，真值brdf贴图是制作数据集时用于渲染的brdf贴图，为了计算l1距离，需要上采样到与输出的分辨率一致，即n
x
p
x
×
nypy，brdf贴图之间的l1距离，计算公式为：
[0023][0024]
式中，l
map
是真值brdf贴图与改进的u-net拼接网络所生成的brdf贴图的l1距离；m(i,j)表示真值brdf贴图中第i行、第j列的像素值；g(i,j)表示生成的brdf贴图中第i行、第j列的像素值；
[0025]
整体渲染图像之间的l1距离计算公式为：
[0026][0027]
式中，l
render
是数据集中的整体渲染图像与生成的brdf贴图渲染的图像之间的l1距离；i(i,j)表示原整体渲染图像中第i行、第j列的像素值；r(g(i,j))表示生成的brdf贴图渲染的图像；
[0028]
改进的u-net拼接网络的输出为brdf贴图，从brdf贴图得到整体渲染图像需要经过渲染方程计算，渲染方程公式为：
[0029][0030]
式中，r(p,ωo)是反射的光线，即整体渲染图像上的颜色；le(p,ωi)是物体发射的光线；li(p,ωi)表示入射的光线；fr(p,ωi,ωo)是双向反射分布函数；ωi、ωo表示入射方向和反射方向；n是物体的法线方向；p表示物体上的点，即brdf贴图上对应点的属性；ω
+
表示半球积分；
[0031]
在逆向过程中，为简化计算，将光照环境近似为点光源，同时将研究物体定义为不发光物体，则渲染方程能够简化为：
[0032]
r(p,ωo)＝li(p,ωi)fr(p,ωi,ωo)(n
·
ωi)
[0033]
在这里，使用的双向反射分布函数模型为cook-torrance双向反射分布函数模型。
[0034]
进一步，在步骤4)中，应用训练好的改进的u-net拼接网络具体步骤为：首先对物体的各部分进行局部的拍照，对物体的整体进行拍照，拍摄的光照环境、相机位置与虚拟环境中一致，然后使用贴图获取算法从所有照片中得到局部贴图，最后将局部贴图串连，与整体贴图一起作为输入，输出即为衔接自然、具有清晰细节的brdf贴图。
[0035]
本发明与现有技术相比，具有如下优点与有益效果：
[0036]
1、本发明最终得到的brdf贴图中，纹理细节来源于具有可靠细节的局部图像，相比依靠大量训练数据进行推算的超分方法更可靠。
[0037]
2、本发明使用神经网络进行brdf贴图拼接，可以使拼接结果无接缝，brdf贴图颜色均匀。
[0038]
3、本发明的神经网络训练使用渲染损失，可以进一步提高brdf贴图的准确性。
[0039]
4、本发明可以处理brdf贴图获取中，大面积材质的brdf贴图难以获取的问题。
[0040]
5、本发明的神经网络结构，引入整体贴图特征提取分支，可以为网络提供更多信息。
附图说明
[0041]
图1为本发明逻辑流程示意图。
[0042]
图2为本发明构建渲染场景实例示意图。
[0043]
图3为本发明设计的神经网络结构实例示意图。
具体实施方式
[0044]
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
[0045]
如图1、图2和图3所示，本实施例提供了一种基于u-net的brdf贴图拼接方法，使用了深度学习算法，搭建了制作数据集的虚拟渲染环境，其包括以下步骤：
[0046]
1)使用公开的brdf贴图制作拼接数据集，该数据集包含真值brdf贴图、整体渲染图像、若干局部渲染图像，其中，整体渲染图像是对材质的整体进行渲染得到的图像，局部渲染图像是对材质的某一部分进行渲染得到的图像，真值brdf贴图是渲染时使用的brdf贴图；
[0047]
搭建虚拟场景的步骤为：首先放置一个平面，将公开的brdf贴图应用到该平面，作为被拍摄的近平面物体，然后在平面中心点上方设置面向平面的虚拟相机，调节至其视图中有完整的平面，接着在平面上方低于整体相机位置设置若干局部相机，调节至其视图中有局部的平面，要求所有局部相机可还原完整平面，如图2所示，在本实施例中，平面中心点坐标为(0,0,0)，平面大小为11.6
×
11.6，拍摄物体整体的相机坐标为(0,0,22.5)，设置了4个局部相机，坐标为(-2.9,-2.9,10)、(-2.9,2.9,10)、(2.9,-2.9,10)、(2.9,2.9,10)；
[0048]
渲染的步骤为：对于一组brdf贴图，包含漫反射贴图d、法线贴图n、镜面反射贴图s、光滑度贴图g，应用到搭建好的虚拟场景中，场景设置了一个整体摄像机c0和n个局部摄像机c1,c2...cn，其中，cn是第n个局部摄像机，首先将渲染视图调节为c0视图，设置整体渲染图像分辨率为现实相机分辨率p
x
×
py，渲染得到细节不清晰的物体整体图像r0，然后将渲染视图调节为c1视图，局部渲染图像分辨率设置为p，渲染得到具有清晰细节的局部图像r1，渲染完所有的局部相机，得到n张局部图像r1,r2...rn，rn表示第n张局部图像，在本实例中，设置相机分辨率为512*512，得到1张整体图像和4张局部图像。
[0049]
2)使用公开的brdf贴图获取算法，获得整体渲染图像和所有局部渲染图像的brdf贴图，分别称为整体贴图和局部贴图，将所有局部贴图简单串连，合并成一张brdf贴图，经过这个步骤，得到包含真值brdf贴图、缺失细节的整体贴图、简单串连的局部贴图的数据集；
[0050]
按照虚拟相机的布局，在x方向上进行串连，场景中x方向有n
x
个相机，在y方向有ny个相机，则相机数量的关系表示为：
[0051]
n＝n
x
ny[0052]
串连使用concatenate操作，将x方向的局部贴图连续摆放在一起，全部串连后可以得到ny组像素为n
x
p
x
的brdf贴图，接着在y方向进行串连，全部局部贴图串连成为一组像素为n
x
p
x
nypy的brdf贴图，这个简单串连起来的brdf贴图称为串连贴图，它的纹理不连续，视角不统一，需要进一步使用改进的u-net拼接网络进行处理。
[0053]
如图2所示，本实施例中，相机布局为2
×
2，进行x方向串连后，4组分辨率512*512的局部材质贴图，会成为2组分辨率为1024*512的材质贴图，再进行y方向串连，局部材质贴图成为1组分辨率为1024*1024的材质贴图。
[0054]
3)使用步骤2)中获得的数据集，训练改进的u-net拼接网络，使用brdf贴图的l1距离和整体渲染图像的l1距离作为网络训练的损失函数，改进的u-net拼接网络中具体的改进为：在主干网络中加入均值全连接，用以引入编码器的全局信息，在拼接的主干网络中另外加入一个分支，输入整体贴图，采用卷积和反卷积操作进行简单的下采样和上采样，将特征层通过堆叠的方式引入主干网络同分辨率的特征层，使其获得对应空间上的整体贴图特征；
[0055]
改进的u-net拼接网络具体结构是：主干网络采用u-net网络结构，同时在编码器解码器中间增加均值全连接结构，先获得编码器的均值，然后将均值输入到一层全连接层，该层全连接层使用selu激活函数，输出的神经元个数与该层编码器解码器相同，均值全连接结构用数学公式可以表示为：
[0056][0057]
式中，x
×
y表示大小为x
×
y的特征层；f
x
×y是编码器被均值全连接结构提取的特征；e
x
×y(i,j)是编码层的第i行、第j列的特征点；w
x
×y表示该层全连接层的权重；b
x
×y表示该层全连接层的偏移量；selu表示selu激活函数；
[0058]
若x
×
y特征层的通道数为c
x
×y，均值全连接结构会输出大小为1
×1×cx
×y的特征，可以与大小为x
×y×cx
×y解码器进行相加操作，由于矩阵相加的广播机制，解码器的每一特征点都能与包含了编码器全局信息的特征相加，从而获取到编码器的全局信息；
[0059]
提取低分辨率完整贴图特征的分支，具体操作为：首先将完整贴图上采样到与串连贴图同样的分辨率，然后完整贴图进行与串连贴图同步的上采样下采样操作，最后将完整贴图的特征层与串连贴图的特征层在通道方向进行concat操作，此时主干网络的特征层通道数为2c
x
×y，再进行一次恢复通道数的卷积，完成完整贴图特征的引入，本实施例使用的网络结构示例如图3所示；
[0060]
改进的u-net拼接网络训练的损失函数包含两部分：brdf贴图之间的l1距离、整体渲染图像之间的l1距离，真值brdf贴图是制作数据集时用于渲染的brdf贴图，为了计算l1距离，需要上采样到与输出的分辨率一致，即n
x
p
x
×
nypy。brdf贴图之间的l1距离，计算公式为：
[0061][0062]
式中，l
map
是真值brdf贴图与改进的u-net拼接网络所生成的brdf贴图的l1距离；m
(i,j)表示真值brdf贴图中第i行、第j列的像素值；g(i,j)表示生成的brdf贴图中第i行、第j列的像素值；
[0063]
整体渲染图像之间的l1距离计算公式为：
[0064][0065]
式中，l
render
是数据集中的整体渲染图像与生成的brdf贴图渲染的图像之间的l1距离；i(i,j)表示原整体渲染图像中第i行、第j列的像素值；r(g(i,j))表示生成的brdf贴图渲染的图像；
[0066]
改进的u-net拼接网络的输出为brdf贴图，从brdf贴图得到整体渲染图像需要经过渲染方程计算，渲染方程公式为：
[0067][0068]
式中，r(p,ωo)是反射的光线，即整体渲染图像上的颜色；le(p,ωi)是物体发射的光线；li(p,ωi)表示入射的光线；fr(p,ωi,ωo)是双向反射分布函数；ωi、ωo表示入射方向和反射方向；n是物体的法线方向；p表示物体上的点，即brdf贴图上对应点的属性；ω
+
表示半球积分；
[0069]
在逆向过程中，为简化计算，可将光照环境近似为点光源，同时将研究物体定义为不发光物体，则渲染方程可以简化为：
[0070]
r(p,ωo)＝li(p,ωi)fr(p,ωi,ωo)(n
·
ωi)
[0071]
常见的双向反射分布函数模型有cook-torrance双向反射分布函数模型和ward双向反射分布函数模型，在这里，使用的双向反射分布函数模型为cook-torrance双向反射分布函数模型。
[0072]
4)应用训练好的改进的u-net拼接网络，将物体照片获取的brdf贴图输入网络，得到具有物体细节的高分辨率整体贴图；
[0073]
应用训练好的改进的u-net拼接网络具体步骤为：首先对物体的各部分进行局部的拍照，对物体的整体进行拍照，拍摄的光照环境、相机位置与虚拟环境中一致，然后使用贴图获取算法从所有照片中得到局部贴图，最后将局部贴图串连，与整体贴图一起作为输入，输出即为衔接自然、具有清晰细节的brdf贴图。
[0074]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

技术特征：
1.基于u-net的brdf贴图拼接方法，其特征在于，包括以下步骤：1)使用公开的brdf贴图制作拼接数据集，该数据集包含真值brdf贴图、整体渲染图像和若干局部渲染图像，其中，整体渲染图像是对材质的整体进行渲染得到的图像，局部渲染图像是对材质的某一部分进行渲染得到的图像，真值brdf贴图是渲染时使用的brdf贴图；2)使用公开的brdf贴图获取算法，获得整体渲染图像和所有局部渲染图像的brdf贴图，分别称为整体贴图和局部贴图，将所有局部贴图串连，合并成一张brdf贴图，经过这个步骤，得到包含真值brdf贴图、缺失细节的整体贴图、串连的局部贴图的数据集；3)使用步骤2)中获得的数据集，训练改进的u-net拼接网络，使用brdf贴图的l1距离和整体渲染图像的l1距离作为网络训练的损失函数，改进的u-net拼接网络中具体的改进为：在主干网络中加入均值全连接，用以引入编码器的全局信息，在拼接的主干网络中另外加入一个分支，输入整体贴图，采用卷积和反卷积操作进行下采样和上采样，将特征层通过堆叠的方式引入主干网络同分辨率的特征层，使其获得对应空间上的整体贴图特征；4)应用训练好的改进的u-net拼接网络，将物体照片获取的brdf贴图输入网络，得到具有物体细节的高分辨率整体贴图。2.根据权利要求1所述的基于u-net的brdf贴图拼接方法，其特征在于：在步骤1)中，对材质的整体以及局部进行渲染，需要搭建虚拟渲染场景，步骤为：首先放置一个平面，将公开的brdf贴图应用到该平面，作为被拍摄的近平面物体，然后在平面中心点上方设置面向平面的虚拟相机，调节至其视图中有完整的平面，接着在平面上方低于虚拟相机位置设置若干局部相机，调节至其视图中有局部的平面，要求所有局部相机能够还原完整平面；渲染的步骤为：对于一组brdf贴图，包含漫反射贴图d、法线贴图n、镜面反射贴图s和光滑度贴图g，应用到搭建好的虚拟场景中，场景设置了一个整体摄像机c0和n个局部摄像机c1,c2...c
n
，其中，c
n
是第n个局部摄像机，首先将渲染视图调节为c0视图，设置整体渲染图像分辨率为现实相机分辨率p
x
×
p
y
，其中，p
x
是相机x方向的分辨率，p
y
是相机y方向的分辨率，渲染得到细节不清晰的物体整体图像r0，然后将渲染视图调节为c1视图，局部渲染图像分辨率设置为p，渲染得到具有清晰细节的局部图像r1，渲染完所有的局部相机，得到n张局部图像r1,r2...r
n
，r
n
表示第n张局部图像。3.根据权利要求2所述的基于u-net的brdf贴图拼接方法，其特征在于，在步骤2)中，局部贴图串连的具体实施方法如下：按照虚拟相机的布局，在x方向上进行串连，场景中x方向有n
x
个相机，在y方向有n
y
个相机，则相机数量的关系表示为：n＝n
x
n
y
串连使用concatenate操作，将x方向的局部贴图连续摆放在一起，全部串连后能够得到n
y
组像素为n
x
p
x
的brdf贴图，接着在y方向进行串连，全部局部贴图串连成为一组像素为n
x
p
x
n
y
p
y
的brdf贴图，这个串连起来的brdf贴图称为串连贴图，它的纹理不连续，视角不统一，需要进一步使用改进的u-net拼接网络进行处理。4.根据权利要求3所述的基于u-net的brdf贴图拼接方法，其特征在于：在步骤3)中，采用监督学习的方式，训练一个用于拼接局部贴图的改进的u-net拼接网络，输入是局部贴图串连形成的贴图和细节不清晰的完整贴图，输出是经过处理后的正确拼接的brdf贴图；改进的u-net拼接网络具体结构是：主干网络采用u-net网络结构，同时在编码器、解码
器中间增加均值全连接结构，先获得编码器的均值，然后将均值输入到一层全连接层，该层全连接层使用selu激活函数，输出的神经元个数与该层编码、器解码器相同，均值全连接结构用数学公式表示为：式中，x
×
y表示大小为x
×
y的特征层，x方向上大小为x，y方向上大小为y；f
x
×
y
是编码器被均值全连接结构提取的特征；e
x
×
y
(i,j)是编码层的第i行、第j列的特征点；w
x
×
y
表示该层全连接层的权重；b
x
×
y
表示该层全连接层的偏移量；selu表示selu激活函数；若x
×
y特征层的通道数为c
x
×
y
，均值全连接结构会输出大小为1
×1×
c
x
×
y
的特征，能够与大小为x
×
y
×
c
x
×
y
解码器进行相加操作，由于矩阵相加的广播机制，解码器的每一特征点都能与包含了编码器全局信息的特征相加，从而获取到编码器的全局信息；提取低分辨率完整贴图特征的分支，具体操作为：首先将完整贴图上采样到与串连贴图同样的分辨率，然后完整贴图进行与串连贴图同步的上采样、下采样操作，最后将完整贴图的特征层与串连贴图的特征层在通道方向进行concat操作，此时主干网络的特征层通道数为2c
x
×
y
，再进行一次恢复通道数的卷积，完成完整贴图特征的引入；改进的u-net拼接网络训练的损失函数包含两部分：brdf贴图之间的l1距离、整体渲染图像之间的l1距离，真值brdf贴图是制作数据集时用于渲染的brdf贴图，为了计算l1距离，需要上采样到与输出的分辨率一致，即n
x
p
x
×
n
y
p
y
，brdf贴图之间的l1距离，计算公式为：式中，l
map
是真值brdf贴图与改进的u-net拼接网络所生成的brdf贴图的l1距离；m(i,j)表示真值brdf贴图中第i行、第j列的像素值；g(i,j)表示生成的brdf贴图中第i行、第j列的像素值；整体渲染图像之间的l1距离计算公式为：式中，l
render
是数据集中的整体渲染图像与生成的brdf贴图渲染的图像之间的l1距离；i(i,j)表示原整体渲染图像中第i行、第j列的像素值；r(g(i,j))表示生成的brdf贴图渲染的图像；改进的u-net拼接网络的输出为brdf贴图，从brdf贴图得到整体渲染图像需要经过渲染方程计算，渲染方程公式为：式中，r(p,ω
o
)是反射的光线，即整体渲染图像上的颜色；l
e
(p,ω
i
)是物体发射的光线；l
i
(p,ω
i
)表示入射的光线；f
r
(p,ω
i
,ω
o
)是双向反射分布函数；ω
i
、ω
o
表示入射方向
和反射方向；n是物体的法线方向；p表示物体上的点，即brdf贴图上对应点的属性；ω
+
表示半球积分；在逆向过程中，为简化计算，将光照环境近似为点光源，同时将研究物体定义为不发光物体，则渲染方程能够简化为：r(p,ω
o
)＝l
i
(p,ω
i
)f
r
(p,ω
i
,ω
o
)(n
·
ω
i
)在这里，使用的双向反射分布函数模型为cook-torrance双向反射分布函数模型。5.根据权利要求4所述的基于u-net的brdf贴图拼接方法，其特征在于：在步骤4)中，应用训练好的改进的u-net拼接网络具体步骤为：首先对物体的各部分进行局部的拍照，对物体的整体进行拍照，拍摄的光照环境、相机位置与虚拟环境中一致，然后使用贴图获取算法从所有照片中得到局部贴图，最后将局部贴图串连，与整体贴图一起作为输入，输出即为衔接自然、具有清晰细节的brdf贴图。

技术总结
本发明公开了一种基于U-Net的BRDF贴图拼接方法，包括：1)使用公开的BRDF贴图制作拼接数据集；2)使用公开的BRDF贴图获取算法，获得整体贴图和局部贴图，将所有局部贴图串连，合并成一张BRDF贴图，经过这个步骤，得到包含真值BRDF贴图、缺失细节的整体贴图、串连的局部贴图的数据集；3)使用数据集，训练改进的U-Net拼接网络，使用BRDF贴图的L1距离和渲染图像的L1距离作为网络训练的损失函数；4)应用训练好的改进的U-Net拼接网络，将物体照片获取的BRDF贴图输入网络，得到具有物体细节的高分辨率整体贴图。本发明对大面积物体的局部进行拍摄合成整体的BRDF贴图，使之可以完整保留物体的细节信息，且避免了传统远景拼接产生的接缝问题。问题。问题。


技术研发人员：黎嘉欣 冼楚华 李桂清 蔡宏民
受保护的技术使用者：华南理工大学
技术研发日：2023.03.14
技术公布日：2023/7/18