构建个性化皮影头茬属性编辑生成器的方法

1.本发明涉及计算机图像生成领域。


背景技术：

2.在图像生成领域，由一张图像生成另一张图像被称为图像翻译，在图像翻译中，当原图和目标图的差异巨大的情况下，保留原图和生成结果的逻辑连续性是一个难题。
3.人脸图像到皮影头茬图像的翻译就是一种差异巨大的图像翻译问题。对于这个问题，学界通常有几种路径，其一、是如cyclegan相关的图像翻译方法，这些方法通过“循环一致性”来保证原图和目标图在宏观的特征分布上的相通性，这种宏观的分布相通性使模型学习到一种模糊的映射关系，这样的好处是能够使生成出的皮影头茬图像是一个皮影图像，但缺点是无法保留原图中人脸的个性化特征、生成出的皮影头茬图像中人脸和和原图中人脸在形状内容上并无联系，完全失真，见图1；其二、是一些风格迁移方法和基于对比学习的图像翻译方法(cut)，这些方法通常通过损失函数来使生成的图像和原图在形状和结构上保持一致性，于是这些方法能够保存人脸的外观，一定程度上把皮影的色彩风格应用到其中，但生成的图像中皮影风格仍然很少、且与皮影头茬图像相去甚远，具体的，从图1中可看出风格迁移和基于对比学习的方法，优势是能看出来人脸原图的可辨识特征，但无法保证生成结果符合皮影头茬的要求(有帽子、有脸、有胡子)。
4.综上，以上三种现有的基于深度学习的图像翻译方法，在面对人脸到皮影头茬的翻译问题时，难以平衡让生成图像保持原图中人脸可辨识特征(即：生成的图像“像本人”)的同时，拥有皮影头茬的结构要求(即：生成的图像“是皮影头茬”)，要么过于像人脸，导致它完全不是一个标准的头茬图像；要么它虽然是一个标准的头茬图像，但它跟原图的人脸没什么关系。而在从人脸到皮影头茬的图像翻译任务中，我们的目标是要做到生成结果的确是一个头茬图、并保持人脸的个性化特征，以保证生成的皮影头茬图像的精度，以上问题亟需解决。


技术实现要素：

5.本发明目的是为了解决现有基于深度学习的人脸到皮影头茬的翻译方法，难以平衡生成图像保持原图中人脸可辨识特征的同时，兼顾拥有皮影头茬的结构要求的问题；本发明提供了构建个性化皮影头茬属性编辑生成器的方法。
6.构建个性化皮影头茬属性编辑生成器的方法，生成器包括侧脸中间特征编码器ec、语义风格编码器es和风格融合生成器g；该方法包括如下过程：
7.s1、构建皮影头茬样本集和人脸侧脸样本集：
8.皮影头茬样本集中每个样本包括皮影头茬图s和皮影头茬语义标注图ms；人脸侧脸样本集中每个样本包括侧脸图f和侧脸掩模图mf；皮影头茬语义标注图ms中包含8种类别风格，第一至第八种类别风格分别为背景、脸部、胡子、冠、盔、帽、巾和脖子；
9.s2、样本预处理：
10.先从皮影头茬样本集和人脸侧脸样本集中各随机抽取一个样本，得到皮影头茬图s、皮影头茬语义标注图ms、侧脸图f和侧脸掩模图mf；再对皮影头茬语义标注图ms、侧脸图f和侧脸掩模图mf进行预处理，相应的得到皮影头茬语义标注独热图脸部区域图f
″
和侧脸掩模对齐图m
″f；最后将皮影头茬语义标注独热图中的脸部区域替换成侧脸掩模对齐图m
″f，得到语义引导图语义引导图由8种类别风格所在区域的掩模图构成；
11.s3、将步骤s2中得到的皮影头茬图s、脸部区域图f
″
、皮影头茬语义标注独热图和语义引导图作为一组训练样本；
12.s4、设置迭代轮次上限为t、且t的初始值为1，t为迭代轮次；
13.s5、在第t轮训练时，利用步骤s3得到的一组训练样本对生成器进行训练，具体为：
14.s51、侧脸中间特征编码器ec对脸部区域图f
″
进行特征提取，获得人脸特征图z；同时，通过语义风格编码器es在皮影头茬语义标注独热图的指导下，对皮影头茬图s进行风格提取，获得风格编码组合st；
15.s52、风格融合生成器g用于对人脸特征图z添加噪声，并在语义引导图的指导下，对添加噪声后的特征图和风格编码组合st进行各种风格融合，生成融合图s
′
；
16.s6、总损失计算及参数更新：
17.将融合图s
′
分别与脸部区域图f
″
和皮影头茬图s进行对比分析，得到总损失l，并利用总损失l对侧脸中间特征编码器ec、语义风格编码器es和风格融合生成器g进行参数更新；
18.s7、判断t是否等于t，结果为否，令t＝t+1，执行步骤s2；结果为是，则完成对生成器的训练，实现对生成器的构建。
19.作为优选，步骤s2中，对皮影头茬语义标注图ms、侧脸图f和侧脸掩模图mf进行预处理，相应的得到皮影头茬语义标注独热图脸部区域图f
″
和侧脸掩模对齐图m
″f的实现过程包括：
20.s21、对皮影头茬语义标注图ms进行独热分层处理得到皮影头茬语义标注独热图
21.s22、利用侧脸掩模图mf对侧脸图f中的脸部区域进行遮罩操作后，再进行脸部缩放得到脸部区域缩放图f
′
，同时，还对侧脸掩模图mf进行等比例脸部缩放，得掩模缩放图m
′f；
22.s23、将脸部区域缩放图f
′
的聚类中心平移至步骤s21中所获得的皮影头茬语义标注独热图中脸部区域的聚类中心处，得到脸部区域图f
″
；
23.将掩模缩放图m
′f的聚类中心平移至步骤s21中所获得的皮影头茬语义标注独热图中脸部区域的聚类中心处，得到侧脸掩模对齐图m
″f。
24.作为优选，步骤s6中，将融合图s
′
分别与脸部区域图f
″
和皮影头茬图s进行对比分析，得到总损失l的实现方式包括：
25.s61、融合图s
′
中脸部区域与脸部区域图f
″
中脸部区域进行对比分析，得到脸部损
失l
in-face
；融合图s
′
中脸部以外区域与皮影头茬图s中脸部以外区域进行对比分析，得到脸外损失l
out-face
；计算生成器与预设多尺度判别器d间所形成的对抗损失l
gan
(ec,es,g,d)；
26.s62、根据l
in-face
、l
out-face
和l
gan
(ec,es,g,d)，得到总损失l，具体为：
[0027][0028]
作为优选，l
in-face
＝λ
nce
l
patchnce
ꢀꢀꢀ
公式2；
[0029]
其中，λ
nce
为脸部损失调节参数，l
patchnce
为融合图s
′
和脸部区域图f
″
的脸部区域形状一致性损失。
[0030]
作为优选，l
out-face
＝λ
percep
l
percep
+λ
feat
l
feat
ꢀꢀꢀ
公式3；
[0031]
其中，λ
percep
为脸外损失第一调节参数，l
percep
为融合图s
′
与皮影头茬图s的脸部以外区域的感知损失，λ
feat
为脸外损失第二调节参数，l
feat
为融合图s
′
与皮影头茬图s的脸部以外区域的特征匹配损失。
[0032]
作为优选，
[0033]
表示预设多尺度判别器d判断皮影头茬图s为真的期望；
[0034]
表示预设多尺度判别器d判断由脸部区域图f
″
生成的融合图s
′
为假的期望；
[0035]
d(s)为当预设多尺度判别器d的输入为皮影头茬图s时，预设多尺度判别器d的输出；
[0036]
d(s
′
)为当预设多尺度判别器d的输入为融合图s
′
时，预设多尺度判别器d的输出。
[0037]
作为优选，脸部缩放的系数
[0038]
其中，ts为皮影头茬语义标注图ms中脸部区域的像素个数；tf为侧脸掩模图mf中脸部区域的像素个数。
[0039]
作为优选，风格融合生成器g包括7个风格融合残差块、5个上采样模块和输出头模块；且从左至右依次为第一至第七个风格融合残差块；
[0040]
第一个风格融合残差块的输入端，作为风格融合生成器g的输入端，用于接收人脸特征图z；
[0041]
第一个风格融合残差块，用于对其所接收的特征图添加噪声，还用于在语义引导图的指导下，对其添加噪声后的特征图先进行特征提取、再与风格编码组合st进行风格融合、最后对融合后的特征图进行特征增强后，得到第一次残差融合特征图，并将其发送至第一个上采样模块；
[0042]
第一个上采样模块，用于对接收到的第一次残差融合特征图进行最邻近上采样，使其第一次残差融合特征图的尺寸扩大一倍，得到第一次上采样后的特征图，并将其发送至第二个风格融合残差块；
[0043]
第二个风格融合残差块，用于对其所接收的特征图添加噪声；还用于在语义引导图的指导下，对其添加噪声后的的特征图先进行特征提取、再与风格编码组合st进行风格融合、最后对融合后的特征图进行特征增强后，得到第二次残差融合特征图，并将其发送
至第三个风格融合残差块；
[0044]
第三个风格融合残差块，用于对其所接收的特征图添加噪声；还用于在语义引导图的指导下，对其添加噪声后的特征图先进行特征提取、再与风格编码组合st进行风格融合、最后对融合后的特征图进行特征增强后，得到第三次残差融合特征图，并将其发送至第二个上采样模块；
[0045]
第二个上采样模块，用于对接收到的第三次残差融合特征图进行最邻近上采样，使其第三次残差融合特征图的尺寸扩大一倍，得到第二次上采样后的特征图，并将其发送至第四个风格融合残差块；
[0046]
第四个风格融合残差块，用于对其所接收的特征图添加噪声；还用于在语义引导图的指导下，对其添加噪声后的特征图先进行特征提取、再与风格编码组合st进行风格融合、最后对融合后的特征图进行特征增强后，得到第四次残差融合特征图，并将其发送至第三个上采样模块；
[0047]
第三个上采样模块，用于对接收到的第四次残差融合特征图进行最邻近上采样，使其第四次残差融合特征图的尺寸扩大一倍，得到第三次上采样后的特征图，并将其发送至第五个风格融合残差块；
[0048]
第五个风格融合残差块，用于对其所接收的特征图添加噪声；还用于在语义引导图的指导下，对其添加噪声后的特征图先进行特征提取、再与风格编码组合st进行风格融合、最后对融合后的特征图进行特征增强后，得到第五次残差融合特征图，并将其发送至第四个上采样模块；
[0049]
第四个上采样模块，用于对接收到的第五次残差融合特征图进行最邻近上采样，使其第五次残差融合特征图的尺寸扩大一倍，得到第四次上采样后的特征图，并将其发送至第六个风格融合残差块；
[0050]
第六个风格融合残差块，用于对其所接收的特征图添加噪声；还用于在语义引导图的指导下，对其添加噪声后的特征图先进行特征提取、再与风格编码组合st进行风格融合、最后对融合后的特征图进行特征增强后，得到第六次残差融合特征图，并将其发送至第五个上采样模块；
[0051]
第五个上采样模块，用于对接收到的第六次残差融合特征图进行最邻近上采样，使其第六次残差融合特征图的尺寸扩大一倍，得到第五次上采样后的特征图；
[0052]
第七个风格融合残差块，用于对其所接收的特征图添加噪声；还用于在语义引导图的指导下，对其添加噪声后的特征图先进行特征提取、再与风格编码组合st进行风格融合、最后对融合后的特征图进行特征增强后，得到第七次残差融合特征图，并将其发送至输出头模块第；
[0053]
输出头模块，用于对第七次残差融合特征图的通道数调整为3，再进行非线性激活后，形成融合图s
′
，该融合图s
′
作为风格融合生成器g的输出。
[0054]
作为优选，7个风格融合残差块的内部构成均相同；
[0055]
每个风格融合残差块包括3个归一化风格融合网络、4个加法器、1个乘法器和1个图像通道重要性提取网络；其中，第一和第二个归一化风格融合网络、以及第一、二和四个
+b5+b6+b7＝1，bi为第i+1种类别风格所对应的融合参数，具体为：
[0069]
第二种类别风格处理通道的处理过程为：第二种类别风格所在区域的掩模图与归一化后的添加第一噪声n1后的归一化特征图相乘后，依次进行脸部形状一致性校正、与该第二种类别风格所对应的均值γ1相乘后，再与该第二种类别风格所对应的方差β1求和后，与融合参数b1相乘，获得第二种类别风格的融合图；
[0070]
第一种、以及第三至第八种类别风格处理通道中任意一个类别风格处理通道的处理过程为：
[0071]
除第二种类别风格以外的任意一种类别风格所在区域的掩模图与添加第一噪声n1后的归一化特征图相乘后，再与该种类别风格所对应的均值γj相乘后，与该种类别风格所对应的方差βj求和后，与融合参数bj相乘，获得该种类别风格的融合图，j＝0,2,3,4,5,6,7；
[0072]
s52-13、将所有类别风格的融合图进行合并，得到第一次风格融合特征图；
[0073]
(二)、第二个归一化风格融合网络，在语义引导图的指导下，将添加第二噪声n2后的归一化特征图与风格编码组合st进行各类别风格融合，获得第二次风格融合特征图的具体过程为：
[0074]
s52-21、对风格编码组合st中各类别风格进行两次不同参数下的线性变换，获得各类别风格所对应的均值γi和方差βi，i＝0,1
……
6，7；
[0075]
γi为第i+1种类别风格所对应的均值，βi为第i+1种类别风格所对应的方差；
[0076]
s52-22、通过8种类别风格处理通道分别对语义引导图中所对应的类别风格所在区域的掩模图与添加第二噪声n2后的归一化特征图，在该种类别风格所对应的均值γi、方差βi和融合参数bi作用下进行风格融合，获得各类别风格的融合图，其中，b0+b1+b2+b3+b4+b5+b6+b7＝1，bi为第i+1种类别风格所对应的融合参数，具体为：
[0077]
第二种类别风格处理通道的处理过程为：第二种类别风格所在区域的掩模图与添加第二噪声n2后的归一化特征图相乘后，依次进行脸部形状一致性校正、与该第二种类别风格所对应的均值γ1相乘后，再与该第二种类别风格所对应的方差β1求和后，与融合参数b1相乘，获得第二种类别风格的融合图；
[0078]
第一种、以及第三至第八种类别风格处理通道中任意一个类别风格处理通道的处理过程为：
[0079]
除第二种类别风格以外的任意一种类别风格所在区域的掩模图与添加第二噪声n2后的归一化特征图相乘后，再与该种类别风格所对应的均值γj相乘后，与该种类别风格所对应的方差βj求和后，与融合参数bj相乘，获得该种类别风格的融合图，j＝0,2,3,4,5,6,7；
[0080]
s52-23、将所有类别风格的融合图进行合并，得到第二次风格融合特征图；
[0081]
(三)、第三个归一化风格融合网络，在语义引导图的指导下，将添加第三噪声n3后的归一化特征图与风格编码组合st进行各类别风格融合，获得第三次风格融合特征图的实现方式包括：
[0082]
s52-31、对风格编码组合st中各类别风格进行两次不同参数下的线性变换，获得各类别风格所对应的均值γi和方差βi，i＝0,1
……
6，7；
[0083]
γi为第i+1种类别风格所对应的均值，βi为第i+1种类别风格所对应的方差；
[0084]
s52-32、通过8种类别风格处理通道分别对语义引导图中所对应的类别风格所在区域的掩模图与添加第三噪声n3后的归一化特征图，在该种类别风格所对应的均值γi、方差βi和融合参数bi作用下进行风格融合，获得各类别风格的融合图，其中，b0+b1+b2+b3+b4+b5+b6+b7＝1，bi为第i+1种类别风格所对应的融合参数，具体为：
[0085]
第二种类别风格处理通道的处理过程为：第二种类别风格所在区域的掩模图与添加第三噪声n3后的归一化特征图相乘后，依次进行脸部形状一致性校正、与该第二种类别风格所对应的均值γ1相乘后，再与该第二种类别风格所对应的方差β1求和后，与融合参数b1相乘，获得第二种类别风格的融合图；
[0086]
第一种、以及第三至第八种类别风格处理通道中任意一个类别风格处理通道的处理过程为：
[0087]
除第二种类别风格以外的任意一种类别风格所在区域的掩模图与添加第三噪声n3后的归一化特征图相乘后，再与该种类别风格所对应的均值γj相乘后，与该种类别风格所对应的方差βj求和后，与融合参数bj相乘，获得该种类别风格的融合图，j＝0,2,3,4,5,6,7；
[0088]
s52-33、将所有类别风格的融合图进行合并，得到第三次风格融合特征图。
[0089]
本发明的优点：
[0090]
1、本发明所述的构建个性化皮影头茬属性编辑生成器的方法，能够生成符合皮影头茬要求的头茬图像，脸部也能保留人脸的个性化内容。
[0091]
2、本发明总损失设计分为三个部分，脸部损失、脸外损失、对抗损失。脸部损失负责约束生成脸部内容应当符合原图人脸脸部的特征。脸外损失主要是对帽冠、胡子、脖子、背景的风格约束。对抗损失约束了生成结果要符合皮影头茬的基本特征。脸部损失是对融合图s
′
中脸部区域与脸部区域图f
″
中脸部区域进行对比分析得到。脸外损失是对融合图s
′
中脸部以外区域与皮影头茬图s中脸部以外区域进行对比分析。对抗损失是指本发明网络训练过程是生成式对抗网络gan对抗训练，对判别器和生成器应用对抗损失，该过程通过现有技术即可实现。基于对比学习的脸部损失对脸部生成效果的约束，从多尺度的特征层面对原始侧脸图和生成图像的特征进行损失约束，能够使生成结果的脸部保留一定的原图脸部的形状特征和脸部内容稳定性；脸外区域损失，能够有效地约束脸部以外的部分的风格一致性，从感知层面和特征一致性层面多层次地重建脸外区域的纹理，起到稳定生成的头茬风格的作用。
[0092]
3、本发明归一化风格融合网络能够有效地使生成结果服从生成引导图的引导，且对脸部区域特别关注，具体可通过脸部形状一致性校正进行约束脸部区域的形状和仿射变换，使其生成更为原始侧脸图中的脸部。
[0093]
4、通过验证试验可证明：本发明方法明显优于现有其他方法，且能够达到生成的皮影头茬既有皮影头茬的样子，在头茬的脸部又能看出原来的人脸的特征。
附图说明
[0094]
图1是采用现有的cyclegan和cut以上两种图像翻译方法的效果对比图；
[0095]
图2是本发明所述的构建个性化皮影头茬属性编辑生成器的方法的原理示意图；
[0096]
图3是输入至本发明生成器中的一组训练样本示意图；
[0097]
图4是风格融合残差块的原理示意图；
[0098]
图5是归一化风格融合网络中归一化风格融合的原理示意图；nk为第k噪声，且k＝1,2,3；
[0099]
图6是采用本发明方法进行图像翻译的结果示意图；
[0100]
图7是本发明与采用现有的图像翻译方法cyclegan和cut之间的效果对比图。
具体实施方式
[0101]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0102]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0103]
针对人脸到皮影头茬的图像翻译任务中，现有基于深度学习的人脸到皮影头茬的翻译方法，难以平衡生成图像保持原图中人脸可辨识特征的同时，兼顾拥有皮影头茬的结构要求的问题，也即：现有的深度学习方法难以平衡“是皮影头茬”和“像本人”这两者的关系这一问题，构建了图2所示的图像生成器，该图像生成器是一种深度学习网络模型sfst-net。本发明图像生成器通过一系列的输入图像，能够达到生成的皮影头茬既有皮影头茬的样子，在头茬的脸部又能看出原来的人脸的特征。
[0104]
具体实施方式一：下面结合图2说明本实施方式，本实施方式所述构建个性化皮影头茬属性编辑生成器的方法，生成器包括侧脸中间特征编码器ec、语义风格编码器es和风格融合生成器g；该方法包括如下过程：
[0105]
s1、构建皮影头茬样本集和人脸侧脸样本集：
[0106]
皮影头茬样本集中每个样本包括皮影头茬图s和皮影头茬语义标注图ms；人脸侧脸样本集中每个样本包括侧脸图f和侧脸掩模图mf；皮影头茬语义标注图ms中包含8种类别风格，第一至第八种类别风格分别为背景、脸部、胡子、冠、盔、帽、巾和脖子；
[0107]
s2、样本预处理：
[0108]
先从皮影头茬样本集和人脸侧脸样本集中各随机抽取一个样本，得到皮影头茬图s、皮影头茬语义标注图ms、侧脸图f和侧脸掩模图mf；再对皮影头茬语义标注图ms、侧脸图f和侧脸掩模图mf进行预处理，相应的得到皮影头茬语义标注独热图脸部区域图f
″
和侧脸掩模对齐图m
″f；最后将皮影头茬语义标注独热图中的脸部区域替换成侧脸掩模对齐图m
″f，得到语义引导图语义引导图由8种类别风格所在区域的掩模图构成；
[0109]
s3、将步骤s2中得到的皮影头茬图s、脸部区域图f
″
、皮影头茬语义标注独热图和语义引导图作为一组训练样本；
[0110]
s4、设置迭代轮次上限为t、且t的初始值为1，t为迭代轮次；
[0111]
s5、在第t轮训练时，利用步骤s3得到的一组训练样本对生成器进行训练，具体为：
[0112]
s51、侧脸中间特征编码器ec对脸部区域图f
″
进行特征提取，获得人脸特征图z；同时，通过语义风格编码器es在皮影头茬语义标注独热图的指导下，对皮影头茬图s进行风格提取，获得风格编码组合st；
[0113]
s52、风格融合生成器g用于对人脸特征图z添加噪声，并在语义引导图的指导下，对添加噪声后的特征图和风格编码组合st进行各种风格融合，生成融合图s
′
；
[0114]
s6、总损失计算及参数更新：
[0115]
将融合图s
′
分别与脸部区域图f
″
和皮影头茬图s进行对比分析，得到总损失l，并利用总损失l对侧脸中间特征编码器ec、语义风格编码器es和风格融合生成器g进行参数更新；
[0116]
s7、判断t是否等于t，结果为否，令t＝t+1，执行步骤s2；结果为是，则完成对生成器的训练，实现对生成器的构建。
[0117]
侧脸中间特征编码器ec、语义风格编码器es和风格融合生成器g均采用神经网络实现；
[0118]
为了实现人脸特征的提取，设计了侧脸中间特征编码器ec，侧脸中间特征编码器ec可采用现有技术实现，而具体应用时，侧脸中间特征编码器ec可包含5个降采样卷积层的结构，能够提取输入的脸部区域图f
″
中人脸图像的深层特征，得到人脸特征图z。
[0119]
为了实现皮影风格的提取，设计了语义风格编码器es，该语义风格编码器es可采用现有技术实现，应用时，可这是一个2层下采样卷积+1层上采样卷积+区域平均池化的结构。皮影头茬图s经过2层下采样卷积+1层上采样卷积获得了特征图，将其输入区域平均池化，区域平均池化还会接收一张皮影头茬语义标注图ms作为输入，区域平均池化会对皮影头茬语义标注图ms中每一种类别风格所在的区域进行一次池化。本发明中皮影头茬语义标注图ms中包含8种类别风格，第一至第八种类别风格分别为背景、脸部、胡子、冠、盔、帽、巾和脖子；因此，皮影头茬语义标注图ms一共会标识8个标注，区域平均池化会作8次池化，最终得到一个8
×
512大小的风格编码组合st，每个风格编码都是一个1
×
512大小的向量，代表这个标签的风格。其中，8种类别风格中的冠、盔、帽、巾均属于为皮影头茬帽冠的类别，具体应用时，皮影头茬语义标注图ms中可包含8种类别风格中任意几种类别的组合，一般5个及以上个风格，背景、脸部、胡子和脖子均为每个图像共有的，例如含有5个风格，具体为：背景、脸部、胡子、脖子和冠，例如含有6个风格，具体为：背景、脸部、胡子、脖子、冠和巾。图2中，提供了一张皮影头茬图s用来提供风格，一张脸部区域图f
″
用作人脸的输入，一张皮影头茬语义标注独热图用来指引语义风格编码器提取哪里的风格，一张语义引导图用来指引风格该应用到哪里。
[0120]
参见图3，步骤s2中，对皮影头茬语义标注图ms、侧脸图f和侧脸掩模图mf进行预处理，相应的得到皮影头茬语义标注独热图脸部区域图f
″
和侧脸掩模对齐图m
″f的实现过程包括：
[0121]
s21、对皮影头茬语义标注图ms进行独热分层处理得到皮影头茬语义标注独热图
[0122]
s22、利用侧脸掩模图mf对侧脸图f中的脸部区域进行遮罩操作后，再进行脸部缩
放得到脸部区域缩放图f
′
，同时，还对侧脸掩模图mf进行等比例脸部缩放，得掩模缩放图m
′f；
[0123]
s23、将脸部区域缩放图f
′
的聚类中心平移至步骤s21中所获得的皮影头茬语义标注独热图中脸部区域的聚类中心处，得到脸部区域图f
″
；
[0124]
将掩模缩放图m
′f的聚类中心平移至步骤s21中所获得的皮影头茬语义标注独热图中脸部区域的聚类中心处，得到侧脸掩模对齐图m
″f。
[0125]
具体应用时，步骤s22中脸部缩放的系数其中，ts为皮影头茬语义标注图ms中脸部区域的像素个数；tf为侧脸掩模图mf中脸部区域的像素个数。
[0126]
更进一步的，步骤s6中，将融合图s
′
分别与脸部区域图f
″
和皮影头茬图s进行对比分析，得到总损失l的实现方式包括：
[0127]
s61、融合图s
′
中脸部区域与脸部区域图f
″
中脸部区域进行对比分析，得到脸部损失l
in-face
；融合图s
′
中脸部以外区域与皮影头茬图s中脸部以外区域进行对比分析，得到脸外损失l
out-face
；计算生成器与预设多尺度判别器d间所形成的对抗损失l
gan
(ec,es,g,d)；
[0128]
s62、根据l
in-face
、l
out-face
和l
gan
(ec,es,g,d)，得到总损失l，具体为：
[0129][0130]
其中，l
in-face
＝λ
nce
l
patchnce
ꢀꢀꢀ
公式2；
[0131]
l
out-face
＝λ
percep
l
percep
+λ
feat
l
feat
ꢀꢀꢀꢀ
公式3；
[0132][0133]
公式2中，λ
nce
为脸部损失调节参数，l
patchnce
为融合图s
′
和脸部区域图f
″
的脸部区域形状一致性损失；
[0134]
公式3中，λ
percep
为脸外损失第一调节参数，l
percep
为融合图s
′
与皮影头茬图s的脸部以外区域的感知损失，λ
feat
为脸外损失第二调节参数，l
feat
为融合图s
′
与皮影头茬图s的脸部以外区域的特征匹配损失。
[0135]
公式4中，表示预设多尺度判别器d判断皮影头茬图s为真的期望；表示预设多尺度判别器d判断由脸部区域图f
″
生成的融合图s
′
为假的期望；d(s)为当预设多尺度判别器d的输入为皮影头茬图s时，预设多尺度判别器d的输出；d(s
′
)为当预设多尺度判别器d的输入为融合图s
′
时，预设多尺度判别器d的输出。
[0136]
本发明总损失设计分为三个部分，脸部损失、脸外损失、对抗损失。脸部损失负责约束生成脸部内容应当符合原图人脸脸部的特征。脸外损失主要是对帽冠、胡子、脖子、背景的风格约束。对抗损失约束了生成结果要符合皮影头茬的基本特征。脸部损失是对融合图s
′
中脸部区域与脸部区域图f
″
中脸部区域进行对比分析得到。脸外损失是对融合图s
′
中脸部以外区域与皮影头茬图s中脸部以外区域进行对比分析。对抗损失是指本发明网络训练过程是生成式对抗网络gan对抗训练，对判别器和生成器应用对抗损失。
[0137]
参见图2，更进一步的，风格融合生成器g包括7个风格融合残差块、5个上采样模块和输出头模块；且从左至右依次为第一至第七个风格融合残差块；
[0138]
第一个风格融合残差块的输入端，作为风格融合生成器g的输入端，用于接收人脸特征图z；
[0139]
第一个风格融合残差块，用于对其所接收的特征图添加噪声，还用于在语义引导图的指导下，对其添加噪声后的特征图先进行特征提取、再与风格编码组合st进行风格融合、最后对融合后的特征图进行特征增强后，得到第一次残差融合特征图，并将其发送至第一个上采样模块；
[0140]
第一个上采样模块，用于对接收到的第一次残差融合特征图进行最邻近上采样，使其第一次残差融合特征图的尺寸扩大一倍，得到第一次上采样后的特征图，并将其发送至第二个风格融合残差块；
[0141]
第二个风格融合残差块，用于对其所接收的特征图添加噪声；还用于在语义引导图的指导下，对其添加噪声后的的特征图先进行特征提取、再与风格编码组合st进行风格融合、最后对融合后的特征图进行特征增强后，得到第二次残差融合特征图，并将其发送至第三个风格融合残差块；
[0142]
第三个风格融合残差块，用于对其所接收的特征图添加噪声；还用于在语义引导图的指导下，对其添加噪声后的特征图先进行特征提取、再与风格编码组合st进行风格融合、最后对融合后的特征图进行特征增强后，得到第三次残差融合特征图，并将其发送至第二个上采样模块；
[0143]
第二个上采样模块，用于对接收到的第三次残差融合特征图进行最邻近上采样，使其第三次残差融合特征图的尺寸扩大一倍，得到第二次上采样后的特征图，并将其发送至第四个风格融合残差块；
[0144]
第四个风格融合残差块，用于对其所接收的特征图添加噪声；还用于在语义引导图的指导下，对其添加噪声后的特征图先进行特征提取、再与风格编码组合st进行风格融合、最后对融合后的特征图进行特征增强后，得到第四次残差融合特征图，并将其发送至第三个上采样模块；
[0145]
第三个上采样模块，用于对接收到的第四次残差融合特征图进行最邻近上采样，使其第四次残差融合特征图的尺寸扩大一倍，得到第三次上采样后的特征图，并将其发送至第五个风格融合残差块；
[0146]
第五个风格融合残差块，用于对其所接收的特征图添加噪声；还用于在语义引导图的指导下，对其添加噪声后的特征图先进行特征提取、再与风格编码组合st进行风格融合、最后对融合后的特征图进行特征增强后，得到第五次残差融合特征图，并将其发送至第四个上采样模块；
[0147]
第四个上采样模块，用于对接收到的第五次残差融合特征图进行最邻近上采样，使其第五次残差融合特征图的尺寸扩大一倍，得到第四次上采样后的特征图，并将其发送至第六个风格融合残差块；
[0148]
第六个风格融合残差块，用于对其所接收的特征图添加噪声；还用于在语义引导图的指导下，对其添加噪声后的特征图先进行特征提取、再与风格编码组合st进行风格融合、最后对融合后的特征图进行特征增强后，得到第六次残差融合特征图，并将其发送至
第五个上采样模块；
[0149]
第五个上采样模块，用于对接收到的第六次残差融合特征图进行最邻近上采样，使其第六次残差融合特征图的尺寸扩大一倍，得到第五次上采样后的特征图；
[0150]
第七个风格融合残差块，用于对其所接收的特征图添加噪声；还用于在语义引导图的指导下，对其添加噪声后的特征图先进行特征提取、再与风格编码组合st进行风格融合、最后对融合后的特征图进行特征增强后，得到第七次残差融合特征图，并将其发送至输出头模块第；
[0151]
输出头模块，用于对第七次残差融合特征图的通道数调整为3，再进行非线性激活后，形成融合图s
′
，该融合图s
′
作为风格融合生成器g的输出。
[0152]
为了实现图像的生成，设计了风格融合生成器g，该风格融合生成器g包含了7个风格融合残差块的结构。7个风格融合残差块的内部结构完全相同，区别在于其输入不同，每级风格融合残差块均用于对上一级输出的人脸特征图添加噪声后依次进行特征提取、风格融合、特征增强。多次特征提取和特征增强的优点是能够使生成器学习到不同特征尺度下，皮影头茬各类别区域的特征，使生成结果效果更好。
[0153]
利用多个上采样模块进行进行最邻近上采样，使其第一次残差融合特征图的尺寸扩大一倍，这样每级不断扩大一倍尺寸的优点是将特征图从低分辨率转换为高分辨率，以便于生成在高分辨率下更加逼真的图像。
[0154]
参见图4，更进一步的，7个风格融合残差块的内部构成均相同；每个风格融合残差块包括3个归一化风格融合网络、4个加法器、1个乘法器和1个图像通道重要性提取网络；其中，第一和第二个归一化风格融合网络、以及第一、二和四个加法器构成主分支；第三个归一化风格融合网络、第三个加法器、乘法器和图像通道重要性提取网络构成残差分支；
[0155]
第一个加法器用于对其所在的风格融合残差块所接收的特征图添加第一噪声n1，添加第一噪声n1后的特征图送至第一个归一化风格融合网络；
[0156]
第一个归一化风格融合网络，用于对其所接收的添加第一噪声n1后的特征图进行归一化处理后，获得添加第一噪声n1后的归一化特征图，并在语义引导图的指导下，将添加第一噪声n1后的归一化特征图与风格编码组合st进行各类别风格融合，获得第一次风格融合特征图，并对该第一次风格融合特征图依次进行非线性激活和卷积操作后，得到主分支第一特征图；
[0157]
第二个加法器用于对主分支第一特征图添加第二噪声n2，添加第二噪声n2后的特征图送至第二个归一化风格融合网络；
[0158]
第二个归一化风格融合网络，用于对其所接收的添加第二噪声n2后的特征图进行归一化处理后，获得添加第二噪声n2后的归一化特征图，并在语义引导图的指导下，将添加第二噪声n2后的归一化特征图与风格编码组合st进行各类别风格融合，获得第二次风格融合特征图，并对该第二次风格融合特征图依次进行非线性激活和卷积操作后，得到主分支第二特征图；
[0159]
第三个加法器用于对其所在的风格融合残差块所接收的特征图添加第三噪声n3，添加第三噪声n3后的特征图送至第三个归一化风格融合网络；
[0160]
第三个归一化风格融合网络，用于对其所接收的添加第三噪声n3后的特征图进行
归一化处理后，获得添加第三噪声n3后的归一化特征图，并在语义引导图的指导下，将添加第三噪声n3后的归一化特征图与风格编码组合st进行各类别风格融合，获得第三次风格融合特征图，并对该第三次风格融合特征图依次进行非线性激活和卷积操作后，得到残差分支第一特征图；
[0161]
图像通道重要性提取网络，用于提取残差分支第一特征图中各个通道的权重；
[0162]
乘法器，用于将各个通道的权重与残差分支第一特征图的相应通道进行加权处理，实现特征增强后得到残差分支第二特征图；
[0163]
第四个加法器用于将残差分支第二特征图与主分支第二特征图进行特征图残差连接，获得残差融合特征图，该残差融合特征图作为风格融合残差块的输出。
[0164]
具体应用时，参见图4每个风格融合残差块由一个主分支和一个残差分支构成，主分支作用是提取特征，残差分支作用是提取残差特征，设置成两个分支所带来的效果是通过这种方式，残差神经网络可以在保持网络深度的同时，避免梯度消失和梯度爆炸等问题，从而提高网络的收敛速度和准确性。
[0165]
风格融合生成器g包含了7个风格融合残差块，且7个风格融合残差块的内部结构完全相同，区别在于其输入不同，每级风格融合残差块均用于对上一级输出的人脸特征图添加噪声后依次进行特征提取、风格融合、特征增强。具体的，参见图1中的风格融合生成器g的内部结构，第一个风格融合残差块中第一个加法器和第四个加法器所接收的特征图均为侧脸中间特征编码器ec输出的人脸特征图z；第二个风格融合残差块中第一个加法器和第四个加法器所接收的特征图均为第一个上采样模块输出的第一次上采样后的特征图；第三个风格融合残差块中第一个加法器和第四个加法器所接收的特征图均为第二个风格融合残差块输出的第二次残差融合特征图；第四个风格融合残差块中第一个加法器和第四个加法器所接收的特征图均为第二个上采样模块输出的第二次上采样后的特征图；第五个风格融合残差块中第一个加法器和第四个加法器所接收的特征图均为第三个上采样模块输出的第三次上采样后的特征图；第六个风格融合残差块中第一个加法器和第四个加法器所接收的特征图均为第四个上采样模块输出的第四次上采样后的特征图；第七个风格融合残差块中第一个加法器和第四个加法器所接收的特征图均为第五个上采样模块输出的第五次上采样后的特征图。
[0166]
风格融合残差块实现风格融合的关键是风格融合归一化(如图5)。风格融合归一化需要输入特征图、风格编码组合st和语义引导图首先对特征图添加随机高斯噪声，然后进行实例归一化操作，然后针对语义引导图的指导，取特征图的每个类别风格所在的区域，并应用风格编码组合st里的相应风格。
[0167]
作为示例，应用的方式是，对风格编码组合st中包含8个风格编码，每个风格编码为1
×
512大小的向量，通过一段共享线性层，得到γi和βi，将γi和βi扩展到整张特征图的尺寸，使特征图
×
γi+βi，这样就把风格应用到了相应的区域上。特别地，针对皮影脸部区域，添加了形状不变性的模块(stn)，以学习到脸部的仿射变换。最后，将语义引导图中的类别风格所在的区域应用了风格的特征图，用可学习的融合参数bj来融合，得到输出的特征图。
[0168]
更进一步的，参见图5，每个风格融合残差块中归一化风格融合网络的构成相同，由上至下各归一化风格融合网络逐级进行操作，具体的，
[0169]
(一)、第一个归一化风格融合网络，在语义引导图的指导下，将添加第一噪声n1后的归一化特征图与风格编码组合st进行各类别风格融合，获得第一次风格融合特征图的具体过程为：
[0170]
s52-11、对风格编码组合st中各类别风格进行两次不同参数下的线性变换，获得各类别风格所对应的均值γi和方差βi，i＝0,1
……
6，7；
[0171]
γi为第i+1种类别风格所对应的均值，βi为第i+1种类别风格所对应的方差；
[0172]
s52-12、通过8种类别风格处理通道分别对语义引导图中所对应的类别风格所在区域的掩模图与添加第一噪声n1后的归一化特征图，在该种类别风格所对应的均值γi、方差βi和融合参数bi作用下进行风格融合，获得各类别风格的融合图，其中，b0+b1+b2+b3+b4+b5+b6+b7＝1，bi为第i+1种类别风格所对应的融合参数，具体为：
[0173]
第二种类别风格处理通道的处理过程为：第二种类别风格所在区域的掩模图与归一化后的添加第一噪声n1后的归一化特征图相乘后，依次进行脸部形状一致性校正、与该第二种类别风格所对应的均值γ1相乘后，再与该第二种类别风格所对应的方差β1求和后，与融合参数b1相乘，获得第二种类别风格的融合图；
[0174]
第一种、以及第三至第八种类别风格处理通道中任意一个类别风格处理通道的处理过程为：
[0175]
除第二种类别风格以外的任意一种类别风格所在区域的掩模图与添加第一噪声n1后的归一化特征图相乘后，再与该种类别风格所对应的均值γj相乘后，与该种类别风格所对应的方差βj求和后，与融合参数bj相乘，获得该种类别风格的融合图，j＝0,2,3,4,5,6,7；
[0176]
s52-13、将所有类别风格的融合图进行合并，得到第一次风格融合特征图；
[0177]
(二)、第二个归一化风格融合网络，在语义引导图的指导下，将添加第二噪声n2后的归一化特征图与风格编码组合st进行各类别风格融合，获得第二次风格融合特征图的具体过程为：
[0178]
s52-21、对风格编码组合st中各类别风格进行两次不同参数下的线性变换，获得各类别风格所对应的均值γi和方差βi，i＝0,1
……
6，7；
[0179]
γi为第i+1种类别风格所对应的均值，βi为第i+1种类别风格所对应的方差；
[0180]
s52-22、通过8种类别风格处理通道分别对语义引导图中所对应的类别风格所在区域的掩模图与添加第二噪声n2后的归一化特征图，在该种类别风格所对应的均值γi、方差βi和融合参数bi作用下进行风格融合，获得各类别风格的融合图，其中，b0+b1+b2+b3+b4+b5+b6+b7＝1，bi为第i+1种类别风格所对应的融合参数，具体为：
[0181]
第二种类别风格处理通道的处理过程为：第二种类别风格所在区域的掩模图与添加第二噪声n2后的归一化特征图相乘后，依次进行脸部形状一致性校正、与该第二种类别风格所对应的均值γ1相乘后，再与该第二种类别风格所对应的方差β1求和后，与融合参数b1相乘，获得第二种类别风格的融合图；
[0182]
第一种、以及第三至第八种类别风格处理通道中任意一个类别风格处理通道的处
理过程为：
[0183]
除第二种类别风格以外的任意一种类别风格所在区域的掩模图与添加第二噪声n2后的归一化特征图相乘后，再与该种类别风格所对应的均值γj相乘后，与该种类别风格所对应的方差βj求和后，与融合参数bj相乘，获得该种类别风格的融合图，j＝0,2,3,4,5,6,7；
[0184]
s52-23、将所有类别风格的融合图进行合并，得到第二次风格融合特征图；
[0185]
(三)、第三个归一化风格融合网络，在语义引导图的指导下，将添加第三噪声n3后的归一化特征图与风格编码组合st进行各类别风格融合，获得第三次风格融合特征图的实现方式包括：
[0186]
s52-31、对风格编码组合st中各类别风格进行两次不同参数下的线性变换，获得各类别风格所对应的均值γi和方差βi，i＝0,1
……
6，7；
[0187]
γi为第i+1种类别风格所对应的均值，βi为第i+1种类别风格所对应的方差；
[0188]
s52-32、通过8种类别风格处理通道分别对语义引导图中所对应的类别风格所在区域的掩模图与添加第三噪声n3后的归一化特征图，在该种类别风格所对应的均值γi、方差βi和融合参数bi作用下进行风格融合，获得各类别风格的融合图，其中，b0+b1+b2+b3+b4+b5+b6+b7＝1，bi为第i+1种类别风格所对应的融合参数，具体为：
[0189]
第二种类别风格处理通道的处理过程为：第二种类别风格所在区域的掩模图与添加第三噪声n3后的归一化特征图相乘后，依次进行脸部形状一致性校正、与该第二种类别风格所对应的均值γ1相乘后，再与该第二种类别风格所对应的方差β1求和后，与融合参数b1相乘，获得第二种类别风格的融合图；
[0190]
第一种、以及第三至第八种类别风格处理通道中任意一个类别风格处理通道的处理过程为：
[0191]
除第二种类别风格以外的任意一种类别风格所在区域的掩模图与添加第三噪声n3后的归一化特征图相乘后，再与该种类别风格所对应的均值γj相乘后，与该种类别风格所对应的方差βj求和后，与融合参数bj相乘，获得该种类别风格的融合图，j＝0,2,3,4,5,6,7；
[0192]
s52-33、将所有类别风格的融合图进行合并，得到第三次风格融合特征图。
[0193]
本优选实施方式，在具体应用时，第二种类别风格对应“脸部”，因此，脸部类别风格处理通道相对于其他类别的处理通道，增加了脸部形状一致性校正环节，用来约束脸部区域的形状和仿射变换，各类别风格处理通道对生成语义引导图中标识的每一个类别区域生成出符合皮影头茬基本逻辑的头茬图像。
[0194]
作为示例，脸部形状一致性校正环节可通过形状一致性模块(stn)实现。
[0195]
作为示例，各类别风格所对应的均值γi和方差βi时，采用两层mlp进行线性变换。
[0196]
验证试验：
[0197]
采用本发明方法进行验证试验，从图6中可看出本发明进行了6组试验，其中，每一行作为一组，每组试验的生成结果中均可看出原始侧脸图中得到的脸部区域图，在语义引导图的指导下，与皮影头茬图中各类别风格很好的融合，具有较好的生成结果，能够生成符合皮影头茬要求的头茬图像，脸部也能保留人脸的个性化内容。
[0198]
基于对比学习的脸部损失对脸部生成效果的约束，从多尺度的特征层面对原特征块和生成图像的特征块进行损失约束，能够使生成结果的脸部保留一定的原图脸部的形状特征和脸部内容稳定性；基于感知损失和特征匹配损失的脸外区域损失，能够有效地约束脸部以外的部分的风格一致性，从感知层面和特征一致性层面多层次地重建脸外区域的纹理，起到稳定生成的头茬风格的作用；
[0199]
本发明归一化风格融合网络能够有效地使生成结果服从生成引导图的引导，且对脸部区域特别关注，具体可通过形状一致性模块(stn)进行约束脸部区域的形状和仿射变换，使其生成更为原始侧脸图中的脸部。从图6中可看出，生成结果较为逼真，说明本发明具有较为优异的生成效果。
[0200]
图7是本发明方法与采用现有的图像翻译方法cyclegan和cut之间的效果对比图。从图7生成结果上看，本发明方法明显优于现有其他方法，且能够达到生成的皮影头茬既有皮影头茬的样子，在头茬的脸部又能看出原来的人脸的特征。
[0201]
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

技术特征：
1.构建个性化皮影头茬属性编辑生成器的方法，其特征在于，生成器包括侧脸中间特征编码器e
c
、语义风格编码器e
s
和风格融合生成器g；该方法包括如下过程：s1、构建皮影头茬样本集和人脸侧脸样本集：皮影头茬样本集中每个样本包括皮影头茬图s和皮影头茬语义标注图m
s
；人脸侧脸样本集中每个样本包括侧脸图f和侧脸掩模图m
f
；皮影头茬语义标注图m
s
中包含8种类别风格，第一至第八种类别风格分别为背景、脸部、胡子、冠、盔、帽、巾和脖子；s2、样本预处理：先从皮影头茬样本集和人脸侧脸样本集中各随机抽取一个样本，得到皮影头茬图s、皮影头茬语义标注图m
s
、侧脸图f和侧脸掩模图m
f
；再对皮影头茬语义标注图m
s
、侧脸图f和侧脸掩模图m
f
进行预处理，相应的得到皮影头茬语义标注独热图脸部区域图f
″
和侧脸掩模对齐图m
″
f
；最后将皮影头茬语义标注独热图中的脸部区域替换成侧脸掩模对齐图m
″
f
，得到语义引导图语义引导图由8种类别风格所在区域的掩模图构成；s3、将步骤s2中得到的皮影头茬图s、脸部区域图f
″
、皮影头茬语义标注独热图和语义引导图作为一组训练样本；s4、设置迭代轮次上限为t、且t的初始值为1，t为迭代轮次；s5、在第t轮训练时，利用步骤s3得到的一组训练样本对生成器进行训练，具体为：s51、侧脸中间特征编码器e
c
对脸部区域图f
″
进行特征提取，获得人脸特征图z；同时，通过语义风格编码器e
s
在皮影头茬语义标注独热图的指导下，对皮影头茬图s进行风格提取，获得风格编码组合st；s52、风格融合生成器g用于对人脸特征图z添加噪声，并在语义引导图的指导下，对添加噪声后的特征图和风格编码组合st进行各种风格融合，生成融合图s
′
；s6、总损失计算及参数更新：将融合图s
′
分别与脸部区域图f
″
和皮影头茬图s进行对比分析，得到总损失l，并利用总损失l对侧脸中间特征编码器e
c
、语义风格编码器e
s
和风格融合生成器g进行参数更新；s7、判断t是否等于t，结果为否，令t＝t+1，执行步骤s2；结果为是，则完成对生成器的训练，实现对生成器的构建。2.根据权利要求1所述的构建皮影头茬生成器的方法，其特征在于，步骤s2中，对皮影头茬语义标注图m
s
、侧脸图f和侧脸掩模图m
f
进行预处理，相应的得到皮影头茬语义标注独热图脸部区域图f
″
和侧脸掩模对齐图m
″
f
的实现过程包括：s21、对皮影头茬语义标注图m
s
进行独热分层处理得到皮影头茬语义标注独热图s22、利用侧脸掩模图m
f
对侧脸图f中的脸部区域进行遮罩操作后，再进行脸部缩放得到脸部区域缩放图f
′
，同时，还对侧脸掩模图m
f
进行等比例脸部缩放，得掩模缩放图m
′
f
；s23、将脸部区域缩放图f
′
的聚类中心平移至步骤s21中所获得的皮影头茬语义标注独热图中脸部区域的聚类中心处，得到脸部区域图f
″
；将掩模缩放图m
′
f
的聚类中心平移至步骤s21中所获得的皮影头茬语义标注独热图
中脸部区域的聚类中心处，得到侧脸掩模对齐图m
″
f
。3.根据权利要求1所述的构建个性化皮影头茬属性编辑生成器的方法，其特征在于，步骤s6中，将融合图s
′
分别与脸部区域图f
″
和皮影头茬图s进行对比分析，得到总损失l的实现方式包括：s61、融合图s
′
中脸部区域与脸部区域图f
″
中脸部区域进行对比分析，得到脸部损失l
in-face
；融合图s
′
中脸部以外区域与皮影头茬图s中脸部以外区域进行对比分析，得到脸外损失l
out-face
；计算生成器与预设多尺度判别器d间所形成的对抗损失l
gan
(e
c
,e
s
,g,d)；s62、根据l
in-face
、l
out-face
和l
gan
(e
c
,e
s
,g,d)，得到总损失l，具体为：4.根据权利要求3所述的构建个性化皮影头茬属性编辑生成器的方法，其特征在于，l
in-face
＝λ
nce
l
patchnce
ꢀꢀꢀꢀꢀ
公式2；其中，λ
nce
为脸部损失调节参数，l
patchnce
为融合图s
′
和脸部区域图f
″
的脸部区域形状一致性损失。5.根据权利要求3所述的构建个性化皮影头茬属性编辑生成器的方法，其特征在于，l
out-face
＝λ
percep
l
percep
+λ
feat
l
feat
ꢀꢀꢀꢀ
公式3；其中，λ
percep
为脸外损失第一调节参数，l
percep
为融合图s
′
与皮影头茬图s的脸部以外区域的感知损失，λ
feat
为脸外损失第二调节参数，l
feat
为融合图s
′
与皮影头茬图s的脸部以外区域的特征匹配损失。6.根据权利要求3所述的构建个性化皮影头茬属性编辑生成器的方法，其特征在于，其中，表示预设多尺度判别器d判断皮影头茬图s为真的期望；表示预设多尺度判别器d判断由脸部区域图f
″
生成的融合图s
′
为假的期望；d(s)为当预设多尺度判别器d的输入为皮影头茬图s时，预设多尺度判别器d的输出；d(s
′
)为当预设多尺度判别器d的输入为融合图s
′
时，预设多尺度判别器d的输出。7.根据权利要求1所述的构建个性化皮影头茬属性编辑生成器的方法，其特征在于，脸部缩放的系数其中，t
s
为皮影头茬语义标注图m
s
中脸部区域的像素个数；t
f
为侧脸掩模图m
f
中脸部区域的像素个数。8.根据权利要求1所述的构建个性化皮影头茬属性编辑生成器的方法，其特征在于，风格融合生成器g包括7个风格融合残差块、5个上采样模块和输出头模块；且从左至右依次为第一至第七个风格融合残差块；第一个风格融合残差块的输入端，作为风格融合生成器g的输入端，用于接收人脸特征图z；第一个风格融合残差块，用于对其所接收的特征图添加噪声，还用于在语义引导图的指导下，对其添加噪声后的特征图先进行特征提取、再与风格编码组合st进行风格融合、
最后对融合后的特征图进行特征增强后，得到第一次残差融合特征图，并将其发送至第一个上采样模块；第一个上采样模块，用于对接收到的第一次残差融合特征图进行最邻近上采样，使其第一次残差融合特征图的尺寸扩大一倍，得到第一次上采样后的特征图，并将其发送至第二个风格融合残差块；第二个风格融合残差块，用于对其所接收的特征图添加噪声；还用于在语义引导图的指导下，对其添加噪声后的的特征图先进行特征提取、再与风格编码组合st进行风格融合、最后对融合后的特征图进行特征增强后，得到第二次残差融合特征图，并将其发送至第三个风格融合残差块；第三个风格融合残差块，用于对其所接收的特征图添加噪声；还用于在语义引导图的指导下，对其添加噪声后的特征图先进行特征提取、再与风格编码组合st进行风格融合、最后对融合后的特征图进行特征增强后，得到第三次残差融合特征图，并将其发送至第二个上采样模块；第二个上采样模块，用于对接收到的第三次残差融合特征图进行最邻近上采样，使其第三次残差融合特征图的尺寸扩大一倍，得到第二次上采样后的特征图，并将其发送至第四个风格融合残差块；第四个风格融合残差块，用于对其所接收的特征图添加噪声；还用于在语义引导图的指导下，对其添加噪声后的特征图先进行特征提取、再与风格编码组合st进行风格融合、最后对融合后的特征图进行特征增强后，得到第四次残差融合特征图，并将其发送至第三个上采样模块；第三个上采样模块，用于对接收到的第四次残差融合特征图进行最邻近上采样，使其第四次残差融合特征图的尺寸扩大一倍，得到第三次上采样后的特征图，并将其发送至第五个风格融合残差块；第五个风格融合残差块，用于对其所接收的特征图添加噪声；还用于在语义引导图的指导下，对其添加噪声后的特征图先进行特征提取、再与风格编码组合st进行风格融合、最后对融合后的特征图进行特征增强后，得到第五次残差融合特征图，并将其发送至第四个上采样模块；第四个上采样模块，用于对接收到的第五次残差融合特征图进行最邻近上采样，使其第五次残差融合特征图的尺寸扩大一倍，得到第四次上采样后的特征图，并将其发送至第六个风格融合残差块；第六个风格融合残差块，用于对其所接收的特征图添加噪声；还用于在语义引导图的指导下，对其添加噪声后的特征图先进行特征提取、再与风格编码组合st进行风格融合、最后对融合后的特征图进行特征增强后，得到第六次残差融合特征图，并将其发送至第五个上采样模块；第五个上采样模块，用于对接收到的第六次残差融合特征图进行最邻近上采样，使其第六次残差融合特征图的尺寸扩大一倍，得到第五次上采样后的特征图；第七个风格融合残差块，用于对其所接收的特征图添加噪声；还用于在语义引导图
的指导下，对其添加噪声后的特征图先进行特征提取、再与风格编码组合st进行风格融合、最后对融合后的特征图进行特征增强后，得到第七次残差融合特征图，并将其发送至输出头模块第；输出头模块，用于对第七次残差融合特征图的通道数调整为3，再进行非线性激活后，形成融合图s
′
，该融合图s
′
作为风格融合生成器g的输出。9.根据权利要求8所述的构建个性化皮影头茬属性编辑生成器的方法，其特征在于，7个风格融合残差块的内部构成均相同；每个风格融合残差块包括3个归一化风格融合网络、4个加法器、1个乘法器和1个图像通道重要性提取网络；其中，第一和第二个归一化风格融合网络、以及第一、二和四个加法器构成主分支；第三个归一化风格融合网络、第三个加法器、乘法器和图像通道重要性提取网络构成残差分支；第一个加法器用于对其所在的风格融合残差块所接收的特征图添加第一噪声n1，添加第一噪声n1后的特征图送至第一个归一化风格融合网络；第一个归一化风格融合网络，用于对其所接收的添加第一噪声n1后的特征图进行归一化处理后，获得添加第一噪声n1后的归一化特征图，并在语义引导图的指导下，将添加第一噪声n1后的归一化特征图与风格编码组合st进行各类别风格融合，获得第一次风格融合特征图，并对该第一次风格融合特征图依次进行非线性激活和卷积操作后，得到主分支第一特征图；第二个加法器用于对主分支第一特征图添加第二噪声n2，添加第二噪声n2后的特征图送至第二个归一化风格融合网络；第二个归一化风格融合网络，用于对其所接收的添加第二噪声n2后的特征图进行归一化处理后，获得添加第二噪声n2后的归一化特征图，并在语义引导图的指导下，将添加第二噪声n2后的归一化特征图与风格编码组合st进行各类别风格融合，获得第二次风格融合特征图，并对该第二次风格融合特征图依次进行非线性激活和卷积操作后，得到主分支第二特征图；第三个加法器用于对其所在的风格融合残差块所接收的特征图添加第三噪声n3，添加第三噪声n3后的特征图送至第三个归一化风格融合网络；第三个归一化风格融合网络，用于对其所接收的添加第三噪声n3后的特征图进行归一化处理后，获得添加第三噪声n3后的归一化特征图，并在语义引导图的指导下，将添加第三噪声n3后的归一化特征图与风格编码组合st进行各类别风格融合，获得第三次风格融合特征图，并对该第三次风格融合特征图依次进行非线性激活和卷积操作后，得到残差分支第一特征图；图像通道重要性提取网络，用于提取残差分支第一特征图中各个通道的权重；乘法器，用于将各个通道的权重与残差分支第一特征图的相应通道进行加权处理，实现特征增强后得到残差分支第二特征图；第四个加法器用于将残差分支第二特征图与主分支第二特征图进行特征图残差连接，获得残差融合特征图，该残差融合特征图作为风格融合残差块的输出。10.根据权利要求9所述的构建个性化皮影头茬属性编辑生成器的方法，其特征在于，
(一)、第一个归一化风格融合网络，在语义引导图的指导下，将添加第一噪声n1后的归一化特征图与风格编码组合st进行各类别风格融合，获得第一次风格融合特征图的具体过程为：s52-11、对风格编码组合st中各类别风格进行两次不同参数下的线性变换，获得各类别风格所对应的均值γ
i
和方差β
i
，i＝0,1
……
6，7；γ
i
为第i+1种类别风格所对应的均值，β
i
为第i+1种类别风格所对应的方差；s52-12、通过8种类别风格处理通道分别对语义引导图中所对应的类别风格所在区域的掩模图与添加第一噪声n1后的归一化特征图，在该种类别风格所对应的均值γ
i
、方差β
i
和融合参数b
i
作用下进行风格融合，获得各类别风格的融合图，其中，b0+b1+b2+b3+b4+b5+b6+b7＝1，b
i
为第i+1种类别风格所对应的融合参数，具体为：第二种类别风格处理通道的处理过程为：第二种类别风格所在区域的掩模图与归一化后的添加第一噪声n1后的归一化特征图相乘后，依次进行脸部形状一致性校正、与该第二种类别风格所对应的均值γ1相乘后，再与该第二种类别风格所对应的方差β1求和后，与融合参数b1相乘，获得第二种类别风格的融合图；第一种、以及第三至第八种类别风格处理通道中任意一个类别风格处理通道的处理过程为：除第二种类别风格以外的任意一种类别风格所在区域的掩模图与添加第一噪声n1后的归一化特征图相乘后，再与该种类别风格所对应的均值γ
j
相乘后，与该种类别风格所对应的方差β
j
求和后，与融合参数b
j
相乘，获得该种类别风格的融合图，j＝0,2,3,4,5,6,7；s52-13、将所有类别风格的融合图进行合并，得到第一次风格融合特征图；(二)、第二个归一化风格融合网络，在语义引导图的指导下，将添加第二噪声n2后的归一化特征图与风格编码组合st进行各类别风格融合，获得第二次风格融合特征图的具体过程为：s52-21、对风格编码组合st中各类别风格进行两次不同参数下的线性变换，获得各类别风格所对应的均值γ
i
和方差β
i
，i＝0,1
……
6，7；γ
i
为第i+1种类别风格所对应的均值，β
i
为第i+1种类别风格所对应的方差；s52-22、通过8种类别风格处理通道分别对语义引导图中所对应的类别风格所在区域的掩模图与添加第二噪声n2后的归一化特征图，在该种类别风格所对应的均值γ
i
、方差β
i
和融合参数b
i
作用下进行风格融合，获得各类别风格的融合图，其中，b0+b1+b2+b3+b4+b5+b6+b7＝1，b
i
为第i+1种类别风格所对应的融合参数，具体为：第二种类别风格处理通道的处理过程为：第二种类别风格所在区域的掩模图与添加第二噪声n2后的归一化特征图相乘后，依次进行脸部形状一致性校正、与该第二种类别风格所对应的均值γ1相乘后，再与该第二种类别风格所对应的方差β1求和后，与融合参数b1相乘，获得第二种类别风格的融合图；第一种、以及第三至第八种类别风格处理通道中任意一个类别风格处理通道的处理过程为：除第二种类别风格以外的任意一种类别风格所在区域的掩模图与添加第二噪声n2后的归一化特征图相乘后，再与该种类别风格所对应的均值γ
j
相乘后，与该种类别风格所对应
的方差β
j
求和后，与融合参数b
j
相乘，获得该种类别风格的融合图，j＝0,2,3,4,5,6,7；s52-23、将所有类别风格的融合图进行合并，得到第二次风格融合特征图；(三)、第三个归一化风格融合网络，在语义引导图的指导下，将添加第三噪声n3后的归一化特征图与风格编码组合st进行各类别风格融合，获得第三次风格融合特征图的实现方式包括：s52-31、对风格编码组合st中各类别风格进行两次不同参数下的线性变换，获得各类别风格所对应的均值γ
i
和方差β
i
，i＝0,1
……
6，7；γ
i
为第i+1种类别风格所对应的均值，β
i
为第i+1种类别风格所对应的方差；s52-32、通过8种类别风格处理通道分别对语义引导图中所对应的类别风格所在区域的掩模图与添加第三噪声n3后的归一化特征图，在该种类别风格所对应的均值γ
i
、方差β
i
和融合参数b
i
作用下进行风格融合，获得各类别风格的融合图，其中，b0+b1+b2+b3+b4+b5+b6+b7＝1，b
i
为第i+1种类别风格所对应的融合参数，具体为：第二种类别风格处理通道的处理过程为：第二种类别风格所在区域的掩模图与添加第三噪声n3后的归一化特征图相乘后，依次进行脸部形状一致性校正、与该第二种类别风格所对应的均值γ1相乘后，再与该第二种类别风格所对应的方差β1求和后，与融合参数b1相乘，获得第二种类别风格的融合图；第一种、以及第三至第八种类别风格处理通道中任意一个类别风格处理通道的处理过程为：除第二种类别风格以外的任意一种类别风格所在区域的掩模图与添加第三噪声n3后的归一化特征图相乘后，再与该种类别风格所对应的均值γ
j
相乘后，与该种类别风格所对应的方差β
j
求和后，与融合参数b
j
相乘，获得该种类别风格的融合图，j＝0,2,3,4,5,6,7；s52-33、将所有类别风格的融合图进行合并，得到第三次风格融合特征图。

技术总结
构建个性化皮影头茬属性编辑生成器的方法，涉及计算机图像生成领域。解决了现有基于深度学习的人脸到皮影头茬的翻译方法，难以平衡生成图像保持原图中人脸可辨识特征的同时，兼顾拥有皮影头茬的结构要求的问题。本发明方法先构建皮影头茬样本集和人脸侧脸样本集，再对其样本集中样本进行预处理获得一组训练样本，通过一组训练样本对侧脸中间特征编码器E


技术研发人员：闫子飞 温茗杰 王忠礼 王迎龙
受保护的技术使用者：哈尔滨工业大学
技术研发日：2023.05.24
技术公布日：2023/9/23