基于生成对抗网络的高质量材质贴图获取方法及系统

1.本发明涉及材质反射参数估计技术领域，尤其涉及基于生成对抗网络的高质量材质贴图获取方法及系统。


背景技术：

2.在计算机图形和视觉技术领域上，从图像中估计材料的反射特性一直是一个广泛的研究课题，真实世界中，材料的外观取决于观察和照明方向，这使得外观估计成为一项具有挑战性的任务，表面反射率属性通常由双向反射率分布函数(brdf)表示，而现有的大多数用于渲染曲面反射的近似方法都通过定义一个模型来简化该模拟任务，该模型描述了光如何与数字图像中描述的材质之间进行像素级的相互作用，材质的属性由空间变化的双向反射分布函数(svbrdf)建模，该函数由表面法线、材质本身的颜色、镜面粗糙度和镜面反射率等一组属性组成，但是在计算机图形学中，测量这种近似参数是目前学术界的重大课题，随着深度学习的广泛应用，要估计真实材质的svbrdf，神经网络有着较大的发挥空间，现有相关文献表明利用深度神经网络学习图像中表面材质的反射特性，可以快速获得较为准确的svbrdf，而且神经网络可以从少量的图像中，学习到该表面材质的反射特性；现阶段单图像svbrdf估计存在对真实材质拍摄图像svbrdf恢复效果不佳的问题，大多数采用的计算渲染损失方法都通过最小化估计和真实值svbrdf参数(或渲染图像)之间的像素级损失来训练其网络，然而，由于单幅图像svbrdf估计问题是不适定的，这迫使网络坚持渲染图像真实值会降低其灵活性，并对结果产生负面影响，其次，由于收集一组现实世界图像及其相应的真实svbrdf参数是困难的，大多数方法都在合成材质图像上训练系统，与真实材质拍摄图像不同，合成材质图像是在完美的条件下生成的，因此，合成图像和现实世界图像的分布是不同的，这限制了这些方法有效推广到现实世界示例的能力。


技术实现要素：

3.为了解决上述技术问题，本发明的目的是提供基于生成对抗网络的高质量材质贴图获取方法及系统，能够通过构建新的生成对抗性框架对单图像svbrdf进行估计，提高svbrdf估计准确率，更有效地还原真实材质。
4.本发明所采用的第一技术方案是：基于生成对抗网络的高质量材质贴图获取方法，包括以下步骤：
5.基于合成材质图像对生成对抗网络进行训练，得到初步的生成对抗网络；
6.基于初步的生成对抗网络对合成材质图像与真实材质拍摄图像的表面进行空间变化双向反射分布函数估计，获取对应的材质贴图并得到训练完成的生成对抗网络；
7.基于训练完成的生成对抗网络对物体的表面材质图像进行估计，得到估计的物体表面材质贴图，所述估计的物体表面材质贴图包括法线贴图、漫反射贴图、粗糙度贴图和镜面反射贴图。
8.进一步，还包括获取合成材质图像与真实材质拍摄图像：
9.所述合成材质图像通过adobe substance 3d designer软件制作合成；
10.所述真实材质拍摄图像通过智能拍摄终端对物体进行拍摄得到。
11.进一步，所述基于合成材质图像对生成对抗网络进行训练，得到初步的生成对抗网络这一步骤，其具体包括：
12.将合成材质图像输入至生成对抗网络进行训练，所述生成对抗网络包括高光感知双流生成器和多尺度块鉴别器，所述多尺度块鉴别器包括四种材质贴图图像对应的鉴别器与重新渲染的图像对应的渲染鉴别器；
13.基于高光感知双流生成器对合成材质图像的表面进行空间变化双向反射分布函数估计，得到合成材质图像的材质贴图；
14.基于多尺度块鉴别器对合成材质图像的材质贴图进行区分处理，与高光感知双流生成器进行对抗性训练，得到初步的生成对抗网络。
15.进一步，所述基于高光感知双流生成器对合成材质图像的表面进行空间变化双向反射分布函数估计，得到合成材质图像的材质贴图这一步骤，其具体包括：
16.将合成材质图像输入至高光感知双流生成器，所述高光感知双流生成器包括高光感知双流编码器模块、解码器模块和光源位置估计模块；
17.基于高光感知双流编码器模块对合成材质图像进行编码处理，得到合成材质图像的编码特征；
18.基于解码器模块对合成材质图像的编码特征进行解码处理，得到合成材质图像的解码矢量；
19.基于光源位置估计模块对合成材质图像的解码矢量进行光源位置信息提取处理，为合成材质图像进行渲染提供光照条件，输出合成材质图像的材质贴图。
20.进一步，所述基于高光感知双流编码器模块对合成材质图像进行编码处理，得到合成材质图像的编码特征这一步骤，其具体包括：
21.将合成材质图像输入至高光感知双流编码器模块，所述高光感知双流编码器模块包括高光卷积模块、标准卷积模块、归一化层和激活函数；
22.基于高光卷积模块对合成材质图像进行减少去除图像高光特征处理，得到去除高光特征的合成材质图像；
23.基于标准卷积模块对去除高光特征的合成材质图像进行归一化处理，得到归一化后的合成材质图像；
24.基于激活函数对归一化后的合成材质图像进行去线性化处理，得到合成材质图像的编码特征。
25.进一步，所述基于光源位置估计模块对合成材质图像的解码矢量进行光源位置信息提取处理，为合成材质图像进行渲染提供光照条件，输出合成材质图像的材质贴图这一步骤，其具体包括：
26.将合成材质图像的解码矢量输入至光源位置估计模块，所述光源位置估计模块包括卷积层、最大池化层和全连接层，所述光源位置估计模块用于估计图像的光源位置信息，为渲染图像提供光照条件。
27.进一步，还包括所述高光感知双流编码器模块与所述解码器模块之间通过注意力感知选择模块进行连接，其中：
28.所述注意力感知选择模块包括全局池化层、多层感知机和激活函数，用于在合成材质图像的编码特征中分别提取空间变化双向反射分布函数各参数所对应的图像特征。
29.进一步，所述基于多尺度块鉴别器对合成材质图像的材质贴图进行区分处理，与高光感知双流生成器进行对抗性训练，得到初步的生成对抗网络这一步骤，其具体包括：
30.将合成材质图像的材质贴图输入至多尺度块鉴别器，所述多尺度块鉴别器包括掩膜结构、卷积层、归一化层和激活函数；
31.基于掩膜结构对合成材质图像的材质贴图进行除去高白值像素处理，得到去除高白值像素的材质贴图；
32.基于卷积层、归一化层和激活函数对去除高白值像素的材质贴图依次进行卷积处理、归一化处理和线性化处理，得到初步的生成对抗网络。
33.进一步，所述基于初步的生成对抗网络对合成材质图像与真实材质拍摄图像的表面进行空间变化双向反射分布函数估计，获取对应的材质贴图并得到训练完成的生成对抗网络这一步骤，其具体包括：
34.将合成材质图像与真实材质拍摄图像输入至初步的生成对抗网络进行混合训练，所述混合训练过程包括第一阶段、第二阶段和第三阶段；
35.基于第一阶段，通过合成材质图像对初步的生成对抗网络进行训练，得到第一生成对抗网络；
36.基于第二阶段，结合渲染鉴别器，通过合成材质图像对第一生成对抗网络进行训练，得到第二生成对抗网络；
37.基于第三阶段，结合真实材质拍摄图像对第二生成对抗网络进行训练，得到训练完成的生成对抗网络
38.本发明所采用的第二技术方案是：基于生成对抗网络的高质量材质贴图获取系统，包括：
39.训练模块，基于合成材质图像对生成对抗网络进行训练，得到初步的生成对抗网络；
40.混合训练模块，基于初步的生成对抗网络对合成材质图像与真实材质拍摄图像的表面进行空间变化双向反射分布函数估计，获取对应的材质贴图并得到训练完成的生成对抗网络；
41.估计模块，基于训练完成的生成对抗网络对物体的表面材质图像进行估计，得到估计的物体表面材质贴图，所述估计的物体表面材质贴图包括法线贴图、漫反射贴图、粗糙度贴图和镜面反射贴图。
42.本发明方法及系统的有益效果是：本发明通过构建新的生成对抗性框架对单图像svbrdf进行估计的深度学习，其中，所述新的生成对抗性框架包括高光感知双流生成器和多尺度块鉴别器，经过生成对抗网络的训练，生成高质量材质外观贴图，进一步通过合成材质图像与真实材质拍摄图像对生成对抗网络进行混合训练，在训练中加入真实材质拍摄图像，提高svbrdf估计准确率，同时能够更有效地还原真实材质，在稳定训练的同时，提高光源位置估计准确率，更精确地恢复真实材质。
附图说明
43.图1是本发明基于生成对抗网络的高质量材质贴图获取方法的步骤流程图；
44.图2是本发明基于生成对抗网络的高质量材质贴图获取系统的结构框图；
45.图3是本发明生成对抗网络结构示意图；
46.图4是本发明单图像材质表观估计混合训练方法流程示意图；
47.图5是本发明通过真实材质拍摄图像对生成对抗网络进行训练的示意图；
48.图6是本发明基于训练完成的生成对抗网络对物体的表面材质图像进行估计的流程步骤示意图；
49.图7是通过本发明方法生成的svbrdf材质结果与参照图像对比是示意图。
具体实施方式
50.下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
51.参照图1，本发明提供了基于生成对抗网络的高质量材质贴图获取方法，该方法包括以下步骤：
52.s1、获取合成材质图像与真实材质拍摄图像；
53.具体地，所述合成材质图像由adobe substance 3d designer软件制作合成，所述真实材质拍摄图像是利用智能手机拍摄获得，在allegorithmics substance share网站下载材质球，使用adobe substance 3d designer软件制作大规模数据集，并对数据集进行随机裁减挑选组成合成材质图像数据集，图像大小为256x256，近距离拍摄现实物体，收集真实材质拍摄图像数据集，随机裁减成与合成材质图像大小相同的图像。获取近20万张合成材质图像数据集和2000张真实材质拍摄图像数据集。
54.s2、利用合成材质图像预训练生成对抗网络，该网络包括高光感知双流生成器和若干多尺度块鉴别器；
55.s21、基于高光感知双流生成器的训练；
56.具体地，所述高光感知双流生成器由高光感知双流编码器，若干解码器，光源位置估计模块组成，编码器与若干解码器之间用注意力感知选择模块连接，所述高光感知双流生成器，用于估计物体表面svbrdf得到对应的材质贴图，所述高光感知双流编码器用于将三通道为256x256x3的输入图像转化为128x128x128的编码特征，所述若干编码器分别对应所述四种材质贴图，将编码特征分别解码为256x256x3的特征矢量，所述光源位置估计模块，用于在编码特征中提取光源位置信息，该信息将用于渲染中的光照条件；
57.进一步的，所述高光感知双流编码器由高光卷积模块(ha)、标准卷积模块(st)、归一化层、激活函数构成；所述解码器由高光反卷积模块、标准反卷积模块、归一化层、激活函数构成，所述高光卷积模块用于去除或减少输入图像特征中的高光特征；归一化层用于归一化特征，降低网络训练出现梯度爆炸的可能性；激活函数用于去线性化，高光感知双流编码器结合ha和st模块，作用是在去除高光特征的同时，尽可能保留原有特征；
58.进一步的，所述光源位置估计模块由若干卷积层、最大池化层、全连接层构成，用于估计图像的光源位置信息，为渲染图像提供光照条件。所述卷积层用于特征提取；池化层
用于降低输出大小和过拟合；全连接层将每一个结点都与上一层的所有结点相连，用于将上层提取到的特征综合起来；
59.所述注意力感知选择模块由全局池化层、多层感知机、激活函数构成，用于在编码特征中分别提取空间变化双向反射分布函数各参数所对应的图像重要特征，所述全局池化层用于替代全连接层，减少参数量；多层感知机用于识别不可线性分离的数据，捕捉输入之间复杂的相互作用；
60.s22、基于多尺度块鉴别器的训练。
61.具体地，所述多尺度块鉴别器是由掩膜结构、若干卷积层、归一化层、激活函数构成；所述掩膜结构将图像转为为灰度图，除去高白值像素，所述多尺度块鉴别器将生成器生成的结果与真实值(及参照图像)区分开来，与生成器进行对抗性训练，提高生成器估计的准确率。
62.综上所述，使用合成材质图像预训练生成对抗网络的具体过程如下所示：
63.(1)分别将合成材质数据集和真实材质数据集按9：1分成训练集和测试集，通过最小化损失函数，使用合成材质数据集预训练生成对抗网络，网络结构如图3所示，在训练时，使用4个批量，进行了250000次迭代训练，利用l
syn
公式计算损失，最小化估计值与真实值之间的特征距离来稳定训练；
64.为了有效地训练生成器，通过在一组生成的合成材质图像上最小化以下损失来训练网络，所述l
syn
公式具体如下所示：
[0065][0066]
上式中，li表示四个svbrdf参数的损失；
[0067]
对于生成的合成材质图像，需要计算估计参数与真实值参数之间的损失，其定义如下：
[0068]
li＝l
adv
(gi，di)+l
fc
(gi，di)+||gi(i
syn
)-fi||1[0069]
上式中，l
adv
(gi，di)表示基于最小二乘公式(lsgan)的对抗性损失，l
fc
(gi，di)表示特征匹配损失，最后一项为参数和真实值fi之间的l1损失；
[0070]
(2)再次使用合成材质数据集训练生成对抗网络，该阶段结合渲染鉴别器，使用了3个批量，并继续进行了200000次迭代的训练，尽管参数损失可确保网络生成高质量的svbrdf参数，但估计的贴图经过渲染可能无法再现原材质的外观，故修改l
syn
公式的损失函数如下所示：
[0071][0072]
上式中，l
ren
表示渲染损失，l
l
表示光源位置损失；
[0073]
只使用参数损失来强制估计参数与真实值参数f是不可行的，渲染损失l
ren
以确保估计的参数可以生成与真实值无法区分的渲染图像，使用估计的特征映射和随机光源位置p通过cook-torrance模型渲染图像，并最小化以下损失，具体如下所
示：
[0074][0075]
上式中，d
ren,syn
表示鉴别器，负责区分真实值特征和使用估计值特征渲染的图像，l
vgg
表示基于vgg的感知损失，通过最小化该损失，能够有效地处理渲染的不适定问题，还需通过辅助输出来估计输入光源在笛卡尔坐标系(x，y，z)中的位置，修改后的l
syn
公式的损失函数中的最后一项l
l
，估计和光源位置真实值p之间的l1距离，具体如下所示：
[0076]
l
l
＝||g
l
(i
syn
)-p||1[0077]
s3、利用混合训练策略将真实材质拍摄图像与合成材质图像通过该网络进行训练，估计物体表面空间变化双向反射分布函数，得到对应的材质贴图，包括法线贴图、漫反射贴图、粗糙度贴图和镜面反射贴图。
[0078]
具体地，参照图4，所述混合训练策略分三个阶段，第一阶段在合成材质图像上预训练网络，第二阶段结合渲染鉴别器进行训练，第三阶段加上真实材质拍摄图像一同训练，其具体过程为：
[0079]
使用合成材质数据集和真实材质数据集混合训练生成对抗网络，该阶段使用了3个批量，由2张合成材质图像和1张真实材质拍摄图像组成，并训练网络进行200000次迭代；
[0080]
鉴于真实材质拍摄图像的数据分布与合成材质图像上有所不同，本实施例采用图5所示真实材质拍摄图像训练方法，通过最小化以下损失来训练网络：
[0081][0082]
上式中，第三项为两张渲染结果与原图像的l1损失；
[0083]
通过将真实材质拍摄图像的这种损失最小化，并结合修改l
syn
公式的损失函数中合成材质图像的损失函数，确保网络能够在真实材质拍摄图像示例上产生高质量的结果；
[0084]
该实施例的混合训练的总损失为：
[0085]
l＝l
syn
+λl
real
[0086]
加入真实材质拍摄图像损失函数，并将λ设置为5；
[0087]
即所述真实材料图像的训练方法为：
[0088]
给定一对只有光照条件不同的图像ia和ib，将图像ia作为生成器的输入，得到估计的svbrdf参数使用图像ia和ib中估计的光源位置和渲染得到不同光照下同种材质渲染结果，分别计算其损失；
[0089]
在本实施例中，使用pytorch实现本方法，采用adam梯度优化器，学习率采用ttur方法，生成器的学习率为0.00001，鉴别器的学习率为0.00004，β1为0.5，所有其他参数都保留为默认值，在一个geoforce rtx 2080 ti gpu上进行训练约三天时间。
[0090]
s4、基于训练完成的生成对抗网络对物体的表面材质图像进行估计，得到估计的物体表面材质贴图。
[0091]
具体地，使用智能手机拍摄一张物体表面材质的图像，修改分辨率至256x256，输入到经过训练完成的生成对抗网络之中，网络的输出即为估计的表面材质，输出为法线贴图、漫反射贴图、粗糙度贴图、镜面反射贴图以及可以控制光源信息输出渲染后图像，其流
程如图6所示；
[0092]
本实施例与现有技术相比，在合成材质图像和真实材质拍摄图像上的精度都达到了先进水平，生成的材质贴图质量和重渲染结果均有明显提升，图7(a)和图7(b)为本实施例生成的svbrdf材质结果与参照图像对比。
[0093]
参照图2，基于生成对抗网络的高质量材质贴图获取系统，包括：
[0094]
训练模块，基于合成材质图像对生成对抗网络进行训练，得到初步的生成对抗网络；
[0095]
混合训练模块，基于初步的生成对抗网络对合成材质图像与真实材质拍摄图像的表面进行空间变化双向反射分布函数估计，获取对应的材质贴图并得到训练完成的生成对抗网络；
[0096]
估计模块，基于训练完成的生成对抗网络对物体的表面材质图像进行估计，得到估计的物体表面材质贴图，所述估计的物体表面材质贴图包括法线贴图、漫反射贴图、粗糙度贴图和镜面反射贴图。
[0097]
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0098]
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。

技术特征：
1.基于生成对抗网络的高质量材质贴图获取方法，其特征在于，包括以下步骤：基于合成材质图像对生成对抗网络进行训练，得到初步的生成对抗网络；基于初步的生成对抗网络对合成材质图像与真实材质拍摄图像的表面进行空间变化双向反射分布函数估计，获取对应的材质贴图并得到训练完成的生成对抗网络；基于训练完成的生成对抗网络对物体的表面材质图像进行估计，得到估计的物体表面材质贴图，所述估计的物体表面材质贴图包括法线贴图、漫反射贴图、粗糙度贴图和镜面反射贴图。2.根据权利要求1所述基于生成对抗网络的高质量材质贴图获取方法，其特征在于，还包括获取合成材质图像与真实材质拍摄图像：所述合成材质图像通过adobe substance 3d designer软件制作合成；所述真实材质拍摄图像通过智能拍摄终端对物体进行拍摄得到。3.根据权利要求2所述基于生成对抗网络的高质量材质贴图获取方法，其特征在于，所述基于合成材质图像对生成对抗网络进行训练，得到初步的生成对抗网络这一步骤，其具体包括：将合成材质图像输入至生成对抗网络进行训练，所述生成对抗网络包括高光感知双流生成器和多尺度块鉴别器，所述多尺度块鉴别器包括四种材质贴图图像对应的鉴别器与重新渲染的图像对应的渲染鉴别器；基于高光感知双流生成器对合成材质图像的表面进行空间变化双向反射分布函数估计，得到合成材质图像的材质贴图；基于多尺度块鉴别器对合成材质图像的材质贴图进行区分处理，与高光感知双流生成器进行对抗性训练，得到初步的生成对抗网络。4.根据权利要求3所述基于生成对抗网络的高质量材质贴图获取方法，其特征在于，所述基于高光感知双流生成器对合成材质图像的表面进行空间变化双向反射分布函数估计，得到合成材质图像的材质贴图这一步骤，其具体包括：将合成材质图像输入至高光感知双流生成器，所述高光感知双流生成器包括高光感知双流编码器模块、解码器模块和光源位置估计模块；基于高光感知双流编码器模块对合成材质图像进行编码处理，得到合成材质图像的编码特征；基于解码器模块对合成材质图像的编码特征进行解码处理，得到合成材质图像的解码矢量；基于光源位置估计模块对合成材质图像的解码矢量进行光源位置信息提取处理，为合成材质图像进行渲染提供光照条件，输出合成材质图像的材质贴图。5.根据权利要求4所述基于生成对抗网络的高质量材质贴图获取方法，其特征在于，所述基于高光感知双流编码器模块对合成材质图像进行编码处理，得到合成材质图像的编码特征这一步骤，其具体包括：将合成材质图像输入至高光感知双流编码器模块，所述高光感知双流编码器模块包括高光卷积模块、标准卷积模块、归一化层和激活函数；基于高光卷积模块对合成材质图像进行减少去除图像高光特征处理，得到去除高光特征的合成材质图像；
基于标准卷积模块对去除高光特征的合成材质图像进行归一化处理，得到归一化后的合成材质图像；基于激活函数对归一化后的合成材质图像进行去线性化处理，得到合成材质图像的编码特征。6.根据权利要求5所述基于生成对抗网络的高质量材质贴图获取方法，其特征在于，所述基于光源位置估计模块对合成材质图像的解码矢量进行光源位置信息提取处理，为合成材质图像进行渲染提供光照条件，输出合成材质图像的材质贴图这一步骤，其具体包括：将合成材质图像的解码矢量输入至光源位置估计模块，所述光源位置估计模块包括卷积层、最大池化层和全连接层，所述光源位置估计模块用于估计图像的光源位置信息，为渲染图像提供光照条件。7.根据权利要求6所述基于生成对抗网络的高质量材质贴图获取方法，其特征在于，还包括所述高光感知双流编码器模块与所述解码器模块之间通过注意力感知选择模块进行连接，其中：所述注意力感知选择模块包括全局池化层、多层感知机和激活函数，用于在合成材质图像的编码特征中分别提取空间变化双向反射分布函数各参数所对应的图像特征。8.根据权利要求7所述基于生成对抗网络的高质量材质贴图获取方法，其特征在于，所述基于多尺度块鉴别器对合成材质图像的材质贴图进行区分处理，与高光感知双流生成器进行对抗性训练，得到初步的生成对抗网络这一步骤，其具体包括：将合成材质图像的材质贴图输入至多尺度块鉴别器，所述多尺度块鉴别器包括掩膜结构、卷积层、归一化层和激活函数；基于掩膜结构对合成材质图像的材质贴图进行除去高白值像素处理，得到去除高白值像素的材质贴图；基于卷积层、归一化层和激活函数对去除高白值像素的材质贴图依次进行卷积处理、归一化处理和线性化处理，得到初步的生成对抗网络。9.根据权利要求8所述基于生成对抗网络的高质量材质贴图获取方法，其特征在于，所述基于初步的生成对抗网络对合成材质图像与真实材质拍摄图像的表面进行空间变化双向反射分布函数估计，获取对应的材质贴图并得到训练完成的生成对抗网络这一步骤，其具体包括：将合成材质图像与真实材质拍摄图像输入至初步的生成对抗网络进行混合训练，所述混合训练过程包括第一阶段、第二阶段和第三阶段；基于第一阶段，通过合成材质图像对初步的生成对抗网络进行训练，得到第一生成对抗网络；基于第二阶段，结合渲染鉴别器，通过合成材质图像对第一生成对抗网络进行训练，得到第二生成对抗网络；基于第三阶段，结合真实材质拍摄图像对第二生成对抗网络进行训练，得到训练完成的生成对抗网络。10.基于生成对抗网络的高质量材质贴图获取系统，其特征在于，包括以下模块：训练模块，基于合成材质图像对生成对抗网络进行训练，得到初步的生成对抗网络；混合训练模块，基于初步的生成对抗网络对合成材质图像与真实材质拍摄图像的表面
进行空间变化双向反射分布函数估计，获取对应的材质贴图并得到训练完成的生成对抗网络；估计模块，基于训练完成的生成对抗网络对物体的表面材质图像进行估计，得到估计的物体表面材质贴图，所述估计的物体表面材质贴图包括法线贴图、漫反射贴图、粗糙度贴图和镜面反射贴图。

技术总结
本发明公开了基于生成对抗网络的高质量材质贴图获取方法及系统，该方法包括：基于合成材质图像对生成对抗网络进行训练；基于初步的生成对抗网络对合成材质图像与真实材质拍摄图像的表面进行空间变化双向反射分布函数估计，获取训练完成的生成对抗网络；基于训练完成的生成对抗网络对物体的表面材质图像进行估计，得到估计的物体表面材质贴图。该系统包括：训练模块、混合训练模块和估计模块。通过使用本发明，能够通过构建新的生成对抗性框架对单图像SVBRDF进行估计，提高SVBRDF估计准确率，更有效地还原真实材质。本发明作为基于生成对抗网络的高质量材质贴图获取方法及系统，可广泛应用于材质反射参数估计技术领域。可广泛应用于材质反射参数估计技术领域。可广泛应用于材质反射参数估计技术领域。


技术研发人员：柴文光 曾庆洲
受保护的技术使用者：广东工业大学
技术研发日：2023.02.20
技术公布日：2023/7/13