一种三维人脸的局部解耦方法和装置

1.本发明涉及三维人脸的局部解耦技术领域，尤其涉及一种三维人脸的局部解耦方法和装置。


背景技术：

2.真实人脸图像生成和编辑是图像合成中的一个有用课题，广泛用于肖像生成和艺术创作。为了提高生成的面部图像的质量和分辨率，研究者已经付出了许多努力。同时，用户希望与生成的图像进行更多的交互和控制。为了提高生成过程的可控性，提出了许多通过不同界面编辑人脸图像的方法，如草图、文本、语义掩码等。
3.受益于神经辐射场的隐式3d表示(nerf)，图像合成模型在传输2d图像方面取得了重大进展，图像生成任务从2d走向了到3d，可以解决在透视转换中的3d一致性。eg3d、stylenrf和stylesdf使用隐式三维表示来提高3d人脸生成的质量。最近，一些基于nerf的面部编辑方法在去耦面部的几何结构和纹理方面显示出优异的效果。fenerf、ide-3d和nerffaceediting通过使用单独的几何和纹理网络来解耦几何和纹理。这些方法使用全局潜代码生成全局3d表示，因此编辑潜代码将影响整个面部。这在编辑局部面部区域时不可避免地会影响到非编辑区域，甚至会导致面部身份不一致。
4.因此，亟需提出一种新的三维人脸的局部解耦方法。


技术实现要素：

5.为解决或者部分解决上述技术问题，本发明提供一种三维人脸的局部解耦方法和装置，通过设计局部区域生成器模块和空间融合模块，以有效的提高了卷积神经网络对三维人脸的局部解耦的能力。
6.第一方面，本发明提供一种三维人脸的局部解耦方法，所述方法包括：
7.随机生成风格向量，指定相机参数，获取对应映射后的向量；
8.利用局部区域几何生成器模块生成所有类别的局部几何特征；
9.利用各个类别的几何特征和语义预测网络模块生成各自的语义置信度；
10.利用语义置信度和局部几何特征，加权求和获取全局几何特征；
11.将全局几何特征输入密度预测网络模块，获取密度信息；
12.将局部几何特征送入局部纹理生成器模块生成所有类别的局部纹理特征；
13.利用语义置信度和局部纹理特征，加权求和获取全局纹理特征；
14.将全局纹理特征输入颜色预测网络模块，获取颜色信息；
15.最终通过ray marching操作得到完整的语义掩码图像和人脸图像。
16.所述局部几何生成器模块，是由6层全连接层构成，每一层全连接层的维度为64，每一层全连接层会注入局部几何风格向量控制生成。
17.所述局部纹理生成器模块，是由4层全连接层构成，每一层全连接层的维度为64，每一层全连接层会注入局部几何风格向量控制生成。
18.根据本发明提供的三维人脸的局部解耦方法，所述局部几何生成器模块和局部纹理生成器模块共同组成了局部生成器模块。
19.所述局部生成器模块的数据处理过程为：
20.所述第一全连接层对三维空间点坐标x进行特征提取，得到第一层中间特征p1；
21.所述第二全连接层对所述p1进行特征提取，得到第二层中间特征p2；
22.所述第三全连接层对所述p2进行特征提取，得到第三层中间特征p3；
23.所述第四全连接层对所述p3进行特征提取，得到第四层中间特征p4；
24.所述第五全连接层对所述p4进行特征提取，得到第五层中间特征p5；
25.所述第六全连接层对所述p5进行特征提取，得到第六层中间特征p6；
26.所述第七全连接层对所述p6进行特征提取，得到第七层中间特征p7；
27.所述第八全连接层对所述p7进行特征提取，得到第八层中间特征p8；
28.所述第九全连接层对所述p8进行特征提取，得到第九层中间特征p9；
29.所述第十全连接层对所述p9进行特征提取，得到第十感受野特征p
10
；
30.所述语义预测网络模块会对p6进行输入预测，得到语义置信度，语义置信度会与p6加权求和得到全局几何特征，语义置信度会与p
10
加权求和得到全局纹理特征；
31.所述密度预测网络模块会对全局几何特征进行输入预测，得到密度预测值；
32.所述颜色预测网络模块会对全局纹理特征进行输入预测，得到颜色预测值；
33.根据本发明提供的三维人脸的局部解耦方法，所述局部几何生成器和局部纹理生成器模块具有可分解和融合的特性。
34.根据本发明提供的三维人脸的局部解耦方法，所述局部几何生成器和局部纹理生成器模块采用全连接层结构。
35.第二方面，本发明提供一种三维人脸的局部解耦装置，所述装置包括：
36.映射模块，用于获取所有类别的局部几何和纹理向量；
37.局部几何生成器模块，用于利用局部几何生成器模块获取局部几何特征；
38.局部纹理生成器模块，用于利用局部纹理生成器模块获取局部纹理特征；
39.空间融合模块，用于利用语义预测网络模块、密度预测网络模块、颜色预测网络模块获得语义掩码、空间密度和颜色信息；
40.其中，所述局部几何生成器模块，通过单独修改某个类别的局部几何向量，即可实现对该类别的几何修改；
41.所述局部纹理生成器模块，通过单独修改某个类别的局部纹理向量，即可实现对该类别的纹理修改。
42.第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述三维人脸的局部解耦方法。
43.第四方面，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述三维人脸的局部解耦方法。
44.本发明提供一种三维人脸的局部解耦方法和装置，在准备阶段，将随机噪声通过映射网络模块映射成所有类别的局部几何和纹理向量。在应用阶段，利用局部区域几何生成器模块生成所有类别的局部几何特征，利用各个类别的几何特征和语义预测网络模块生
成各自的语义置信度，利用语义置信度和局部几何特征，加权求和获取全局几何特征，将全局几何特征输入密度预测网络模块，获取密度信息，将局部几何特征送入局部纹理生成器模块生成所有类别的局部纹理特征，利用语义置信度和局部纹理特征，加权求和获取全局纹理特征，将全局纹理特征输入颜色预测网络模块，获取颜色信息，最终通过ray marching操作得到完整的语义掩码图像和人脸图像，从而实现对三维人脸的局部解耦和编辑功能。
附图说明
45.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
46.图1是本发明提供的三维人脸的局部解耦方法的流程示意图；
47.图2是本发明提供的局部几何和纹理生成器的结构示意图；
48.图3是本发明提供的三维人脸的局部解耦装置的结构示意图；
49.图4是本发明提供的实现三维人脸的局部解耦方法的电子设备的结构示意图；
50.附图标记：
51.510：处理器；520：通信接口；530：存储器；540：通信总线。
具体实施方式
52.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.在三维人脸的局部解耦中，三维人脸的分解和融合是至关重要的。合理地分解和融合三维人脸已经成为一个重要的挑战。
54.为了提高基于nerf的面部编辑的可控性，我们提出了一种局部可控面部生成和编辑方法，用于细粒度面部局部区域控制以及几何和纹理的解耦。
55.有两个核心问题需要解决，一个是全局3d表示和局部3d区域表示的分解，另一个是局部3d区域的融合。将完整的3d表示分解为多个局部3d表示并稳定地完成训练过程是具有挑战性的。为了解决这个问题，我们设计了具有多个本地生成器的生成器网络，以生成每个本地区域的内容。此外，为了更灵活地控制几何和纹理，我们进一步将局部生成器细分为几何网络和纹理网络，分别由几何代码和纹理代码控制。通过这些设计,我们的方法可以通过编辑多个局部潜码来修改局部区域的几何和纹理，而不会影响其他区域。
56.另一个核心挑战是如何融合所有局部区域的局部3d表示以生成最终的面部图像。我们提出了一个空间感知融合模块来完成多个局部区域的融合。具体而言，每个局部几何生成器预测空间点的语义置信度，并且融合模块通过所有置信度以柔和平滑的方式融合不同局部生成器的特征。
57.下面结合图1-图4描述本发明的一种三维人脸的局部解耦方法和装置。
58.第一方面，本发明提供一种三维人脸的局部解耦方法，所述方法包括：
59.s11、随机生成风格向量，指定相机参数，获取对应映射后的向量；
60.这里，先随机生成风格向量，指定相机参数，然后输入8层全连接层，得到局部几何向量和局部纹理向量；
61.s12、利用局部区域几何生成器模块生成所有类别的局部几何特征；
62.所属几何生成器用于确定三维人脸的形状。我们为面部的每个局部区域i分配一个轻量级几何生成器如果三维点属于某个局部区域，则相应的几何生成器将为该点提供最多的信息。生成器在确定点的语义类别和几何信息方面起主要作用。如图所示，每个局部几何生成器包含6个具有siren激活的全连接层，并由几何潜代码控制；
63.所述第一全连接层对三维空间点坐标x进行特征提取，得到第一层中间特征p1；
64.所述第二全连接层对所述p1进行特征提取，得到第二层中间特征p2；
65.所述第三全连接层对所述p2进行特征提取，得到第三层中间特征p3；
66.所述第四全连接层对所述p3进行特征提取，得到第四层中间特征p4；
67.所述第五全连接层对所述p4进行特征提取，得到第五层中间特征p5；
68.所述第六全连接层对所述p5进行特征提取，得到第六层中间特征p6；
69.所述局部几何生成器模块，是由6层全连接层构成，每一层全连接层的维度为64，每一层全连接层会注入局部几何风格向量控制生成；
70.图2的左图展示了局部几何生成器的网络结果；
71.s13、利用各个类别的几何特征和语义预测网络模块生成各自的语义置信度；
72.给定三维采样点x，第i个局部几何生成器模块对其进行解码，在几何向量的控制下预测语义置信度si(x)和几何特征f
gi
(x)；
73.所述局部纹理生成器模块，是由4层全连接层构成，每一层全连接层的维度为64，每一层全连接层会注入局部几何风格向量控制生成；
74.所述第七全连接层对所述p6进行特征提取，得到第七层中间特征p7；
75.所述第八全连接层对所述p7进行特征提取，得到第八层中间特征p8；
76.所述第九全连接层对所述p8进行特征提取，得到第九层中间特征p9；
77.所述第十全连接层对所述p9进行特征提取，得到第十感受野特征p
10
；
78.即局部区域几何生成器模块可以表述为：
[0079][0080]
图2的右图展示了局部纹理生成器的网络结果；
[0081]
s14、将全局几何特征输入密度预测网络模块，获取密度信息；
[0082]
所述空间感知融合模块设计用于多个局部生成器之间的交互和聚合。本发明提出的融合模块将不同生成器的特征与软的可调节机制融合，并生成整个图像。本发明拼接所有几何生成器的语义置信度si(x)，并通过softmax激活以获得语义掩码m(x)；
[0083]
s15、将局部几何特征送入局部纹理生成器模块生成所有类别的局部纹理特征；
[0084]
所述局部纹理生成器可以解释为着色器，用于填充几何体生成器生成的几何体的颜色。换句话说，纹理生成器不参与或影响几何体的生成，几何体生成器仅用于确定面部的形状，从而实现局部区域去耦和几何体/纹理去耦。每个纹理生成器包含4个具有siren激活
的全连接层，并由纹理潜在代码控制。
[0085]
给定视角观察方向v，第i个局部纹理生成器模块从几何潜向量解码纹理特征
[0086]
即局部区域纹理生成器模块可以表述为：
[0087][0088]
所有局部纹理生成器预测的纹理特征将在后续的融合模块中进行融合，并预测采样的3d点x的最终颜色值；
[0089]
s16、利用语义置信度和局部纹理特征，加权求和获取全局纹理特征；
[0090]
局部纹理特征还与语义掩码m(x)融合，以获得最终全局纹理特征f
t
(x)；
[0091]
s17、将全局纹理特征输入颜色预测网络模块，获取颜色信息；
[0092]
本发明使用一个线性层将最终全局纹理特征f
t
(x)预测为颜色值c(x)；
[0093]
s18、最终通过ray marching操作得到完整的语义掩码图像和人脸图像；
[0094]
本发明提供一种三维人脸的局部解耦方法，在准备阶段，将随机噪声通过映射网络模块映射成所有类别的局部几何和纹理向量。在应用阶段，利用局部区域几何生成器模块生成所有类别的局部几何特征，利用各个类别的几何特征和语义预测网络模块生成各自的语义置信度，利用语义置信度和局部几何特征，加权求和获取全局几何特征，将全局几何特征输入密度预测网络模块，获取密度信息，将局部几何特征送入局部纹理生成器模块生成所有类别的局部纹理特征，利用语义置信度和局部纹理特征，加权求和获取全局纹理特征，将全局纹理特征输入颜色预测网络模块，获取颜色信息，最终通过ray marching操作得到完整的语义掩码图像和人脸图像，从而实现对三维人脸的局部解耦和编辑功能。第二方面，对本发明提供的三维人脸的局部解耦装置进行描述，下文描述的三维人脸的局部解耦装置与上文描述的三维人脸的局部解耦方法可相互对应参照。图3示例了一种三维人脸的局部解耦装置的结构示意图，如图3所示，所述装置包括：
[0095]
映射模块21，用于获取所有类别的局部几何和纹理向量；
[0096]
局部几何生成器模块22，用于利用局部几何生成器模块获取局部几何特征；
[0097]
局部纹理生成器模块23，用于利用局部纹理生成器模块获取局部纹理特征；
[0098]
空间融合模块24，用于利用语义预测网络模块、密度预测网络模块、颜色预测网络模块获得语义掩码、空间密度和颜色信息；
[0099]
其中，所述局部几何生成器模块，通过单独修改某个类别的局部几何向量，即可实现对该类别的几何修改；
[0100]
所述局部纹理生成器模块，通过单独修改某个类别的局部纹理向量，即可实现对该类别的纹理修改；
[0101]
所述局部几何生成器模块，是由6层全连接层构成，每一层全连接层的维度为64，每一层全连接层会注入局部几何风格向量控制生成。
[0102]
所述局部纹理生成器模块，是由4层全连接层构成，每一层全连接层的维度为64，每一层全连接层会注入局部几何风格向量控制生成。
[0103]
根据本发明提供的局部解耦人脸编辑方法，所述局部几何生成器模块和局部纹理
生成器模块共同组成了局部生成器模块。
[0104]
所述局部生成器模块的数据处理过程为：
[0105]
所述第一全连接层对三维空间点坐标x进行特征提取，得到第一层中间特征p1；
[0106]
所述第二全连接层对所述p1进行特征提取，得到第二层中间特征p2；
[0107]
所述第三全连接层对所述p2进行特征提取，得到第三层中间特征p3；
[0108]
所述第四全连接层对所述p3进行特征提取，得到第四层中间特征p4；
[0109]
所述第五全连接层对所述p4进行特征提取，得到第五层中间特征p5；
[0110]
所述第六全连接层对所述p5进行特征提取，得到第六层中间特征p6；
[0111]
所述第七全连接层对所述p6进行特征提取，得到第七层中间特征p7；
[0112]
所述第八全连接层对所述p7进行特征提取，得到第八层中间特征p8；
[0113]
所述第九全连接层对所述p8进行特征提取，得到第九层中间特征p9；
[0114]
所述第十全连接层对所述p9进行特征提取，得到第十感受野特征p
10
；
[0115]
所述语义预测网络模块会对p6进行输入预测，得到语义置信度，语义置信度会与p6加权求和得到全局几何特征，语义置信度会与p
10
加权求和得到全局纹理特征；
[0116]
所述密度预测网络模块会对全局几何特征进行输入预测，得到密度预测值；
[0117]
所述颜色预测网络模块会对全局纹理特征进行输入预测，得到颜色预测值；
[0118]
根据本发明提供的局部解耦人脸编辑方法，所述局部几何生成器和局部纹理生成器模块具有可分解和融合的特性。
[0119]
根据本发明提供的局部解耦人脸编辑方法，所述局部几何生成器和局部纹理生成器模块采用全连接层结构。
[0120]
第三方面，图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)510、通信接口(communications interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行三维人脸的局部解耦方法，该方法包括：随机生成风格向量，指定相机参数，获取对应映射后的向量；利用局部区域几何生成器模块生成所有类别的局部几何特征；利用各个类别的几何特征和语义预测网络模块生成各自的语义置信度；利用语义置信度和局部几何特征，加权求和获取全局几何特征；将全局几何特征输入密度预测网络模块，获取密度信息；将局部几何特征送入局部纹理生成器模块生成所有类别的局部纹理特征；利用语义置信度和局部纹理特征，加权求和获取全局纹理特征；将全局纹理特征输入颜色预测网络模块，获取颜色信息；最终通过ray marching操作得到完整的语义掩码图像和人脸图像。
[0121]
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0122]
第四方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的三维人脸的局部解耦方法，该方法包括：随机生成风格向量，指定相机参数，获取对应映射后的向量；利用局部区域几何生成器模块生成所有类别的局部几何特征；利用各个类别的几何特征和语义预测网络模块生成各自的语义置信度；利用语义置信度和局部几何特征，加权求和获取全局几何特征；将全局几何特征输入密度预测网络模块，获取密度信息；将局部几何特征送入局部纹理生成器模块生成所有类别的局部纹理特征；利用语义置信度和局部纹理特征，加权求和获取全局纹理特征；将全局纹理特征输入颜色预测网络模块，获取颜色信息；最终通过ray marching操作得到完整的语义掩码图像和人脸图像。
[0123]
第五方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的三维人脸的局部解耦方法，该方法包括：随机生成风格向量，指定相机参数，获取对应映射后的向量；利用局部区域几何生成器模块生成所有类别的局部几何特征；利用各个类别的几何特征和语义预测网络模块生成各自的语义置信度；利用语义置信度和局部几何特征，加权求和获取全局几何特征；将全局几何特征输入密度预测网络模块，获取密度信息；将局部几何特征送入局部纹理生成器模块生成所有类别的局部纹理特征；利用语义置信度和局部纹理特征，加权求和获取全局纹理特征；将全局纹理特征输入颜色预测网络模块，获取颜色信息；最终通过ray marching操作得到完整的语义掩码图像和人脸图像。
[0124]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0125]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0126]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种三维人脸的局部解耦方法，其特征在于，所述方法包括：随机生成风格向量，指定相机参数，获取对应映射后的向量；利用局部区域几何生成器模块生成所有类别的局部几何特征；利用各个类别的几何特征和语义预测网络模块生成各自的语义置信度；利用语义置信度和局部几何特征，加权求和获取全局几何特征；将全局几何特征输入密度预测网络模块，获取密度信息；将局部几何特征送入局部纹理生成器模块生成所有类别的局部纹理特征；利用语义置信度和局部纹理特征，加权求和获取全局纹理特征；将全局纹理特征输入颜色预测网络模块，获取颜色信息；最终通过ray marching操作得到完整的语义掩码图像和人脸图像。其中，所述局部几何生成器模块，是由6层全连接层构成，每一层全连接层的维度为64，每一层全连接层会注入局部几何风格向量控制生成；所述局部纹理生成器模块，是由4层全连接层构成，每一层全连接层的维度为64，每一层全连接层会注入局部几何风格向量控制生成。2.根据权利要求1所述的三维人脸的局部解耦方法，所述局部几何生成器模块和局部纹理生成器模块共同组成了局部生成器模块。3.根据权利要求1～2任一项所述的三维人脸的局部解耦方法，其特征在于，所述局部几何生成器模块，通过单独修改某个类别的局部几何向量，即可实现对该类别的几何修改；所述局部纹理生成器模块，通过单独修改某个类别的局部纹理向量，即可实现对该类别的纹理修改。所述局部生成器模块的数据处理过程为：所述第一全连接层对三维空间点坐标x进行特征提取，得到第一层中间特征p1；所述第二全连接层对所述p1进行特征提取，得到第二层中间特征p2；所述第三全连接层对所述p2进行特征提取，得到第三层中间特征p3；所述第四全连接层对所述p3进行特征提取，得到第四层中间特征p4；所述第五全连接层对所述p4进行特征提取，得到第五层中间特征p5；所述第六全连接层对所述p5进行特征提取，得到第六层中间特征p6；所述第七全连接层对所述p6进行特征提取，得到第七层中间特征p7；所述第八全连接层对所述p7进行特征提取，得到第八层中间特征p8；所述第九全连接层对所述p8进行特征提取，得到第九层中间特征p9；所述第十全连接层对所述p9进行特征提取，得到第十感受野特征p
10
；所述语义预测网络模块会对p6进行输入预测，得到语义置信度，语义置信度会与p6加权求和得到全局几何特征，语义置信度会与p
10
加权求和得到全局纹理特征；所述密度预测网络模块会对全局几何特征进行输入预测，得到密度预测值；所述颜色预测网络模块会对全局纹理特征进行输入预测，得到颜色预测值。4.根据权利要求1～2任一项所述的三维人脸的局部解耦方法，其特征在于，所述局部几何生成器和局部纹理生成器模块和空间融合模块具有可分解和融合的特性。5.根据权利要求1～2任一项所述的三维人脸的局部解耦方法，其特征在于，所述局部几何生成器模块和局部纹理生成器模块共同组成了局部生成器模块。
6.根据权利要求1～2任一项所述的三维人脸的局部解耦方法，其特征在于，所述局部几何生成器模块，是由6层全连接层构成，每一层全连接层的维度为64，每一层全连接层会注入局部几何风格向量控制生成。7.根据权利要求1～2任一项所述的三维人脸的局部解耦方法，其特征在于，所述局部几何生成器和局部纹理生成器模块采用全连接层结构。所述局部纹理生成器模块，是由4层全连接层构成，每一层全连接层的维度为64，每一层全连接层会注入局部几何风格向量控制生成。8.一种三维人脸的局部解耦装置，其特征在于，所述装置包括：映射模块，用于获取所有类别的局部几何和纹理向量；局部几何生成器模块，用于利用局部几何生成器模块获取局部几何特征；局部纹理生成器模块，用于利用局部纹理生成器模块获取局部纹理特征；空间融合模块，用于利用语义预测网络模块、密度预测网络模块、颜色预测网络模块获得语义掩码、空间密度和颜色信息。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述三维人脸的局部解耦方法。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述三维人脸的局部解耦方法。

技术总结
本发明提供一种三维人脸的局部解耦方法和装置，包括：随机生成风格向量，指定相机参数，获取对应映射后的向量；利用局部区域几何生成器模块生成所有类别的局部几何特征；利用各个类别的几何特征和语义预测网络模块生成各自的语义置信度；利用语义置信度和局部几何特征，加权求和获取全局几何特征；将全局几何特征输入密度预测网络模块，获取密度信息；将局部几何特征送入局部纹理生成器模块生成所有类别的局部纹理特征；利用语义置信度和局部纹理特征，加权求和获取全局纹理特征；将全局纹理特征输入颜色预测网络模块，获取颜色信息；最终通过ray marching操作得到完整的语义掩码图像和人脸图像，通过局部分解和全局融合的策略完成语义掩码指导的三维人脸的局部解耦方法和装置。耦方法和装置。耦方法和装置。


技术研发人员：胡事民 周文洋
受保护的技术使用者：清华大学
技术研发日：2023.02.15
技术公布日：2023/7/19