一种图像高质量和谐化模型训练及装置的制作方法

1.本说明书实施例涉及一种图像处理方法，尤其涉及一种图像高质量和谐化方法。


背景技术：

2.手机已经成为如今人人必备的通讯工具，随着科技的发展，使用手机进行身份验证的方式经历了从密码到指纹再到人脸的发展，而手机等设备的安全性也正受到各方面的挑战。
3.在iifaa生物安全性攻击检测中，需要智能生成足够逼真的人脸攻击物料，来对手机的身份验证功能进行安全评测，以保证人脸安全评测的完备有效。该攻击手段首先要有通用性，在不同的手机黑盒测试中都具备较稳定的攻击力；其次要有高攻击率，从而有效拉开不同待测手机厂商在人脸识别算法上的差距；另外该攻击手段需要通过算法智能生成，区别于物理生成或普通的ps手段，能提高模型的可解释性。
4.在目前主流的人脸活化攻击物料生成方法中，有基于2d关键点进行表情迁徙获得攻击物料的方法，如fomm算法。不过在攻击过程中主流人脸算法要求较高的分辨率，从而达到理想的高攻击率。
5.鉴于此，希望获得一种图像高质量和谐化的方法，其能够修复表情迁徙过程中产生的伪造痕迹，提高生成图像的质量，从而使获得的人脸攻击物料能够有效攻击人脸识别算法。


技术实现要素：

6.本说明书实施例的目的之一在于提供一种图像高质量和谐化模型训练方法，该方法能够提高图像的质量，例如表情迁徙获得的生成图像的质量，修复表情迁徙过程中产生的伪造痕迹，从而使获得的人脸攻击物料具有较高的攻击率。
7.根据上述目的，本说明书实施例提出了一种图像高质量和谐化模型训练方法，所述高质量和谐化模型为生成对抗网络，包括判别网络和生成网络，所述生成网络包括编码器、融合模块和解码器，所述方法包括：
8.获取高质量样本图像；
9.将所述高质量样本图像转化为低质量样本图像；
10.将所述低质量样本图像输入所述生成网络中，通过所述编码器提取出所述低质量样本图像的多尺度图像特征；
11.通过所述融合模块将所述多尺度图像特征和预先获取的人脸先验特征融合，得到融合后的特征；
12.通过所述解码器对所述融合后的特征进行解码，得到所述低质量样本图像对应的高质量重构图像；
13.根据所述高质量重构图像与所述高质量样本图像计算生成损失；
14.采用所述判别网络判断所述高质量重构图像是否为所述高质量样本图像；
15.根据所述判别网络的判别结果计算判别损失；
16.以判别损失最小化为目标，训练所述判别网络；以生成损失最小化为目标，训练所述生成网络。
17.在本说明书实施例中，提取多尺度图像特征可以从各个方面获得图像的特征信息，再通过融合人脸先验特征，能够更加全面且准确地进行图像特征表达，从而解码恢复高逼真高质量的图像数据，能够修复表情迁徙过程中产生的伪造痕迹，从而使获得的人脸攻击物料能够有效攻击人脸识别算法。
18.进一步地，在本说明书实施例中，所述人脸先验特征包括多尺度人脸特征；
19.通过所述融合模块将所述多尺度图像特征和预先获取的人脸先验特征融合，具体包括：
20.针对每种尺度，将该尺度的图像特征与该尺度的人脸特征融合。
21.更进一步地，在本说明书实施例中，通过所述编码器提取出所述低质量样本图像的多尺度图像特征，具体包括：
22.针对每种尺度，通过所述编码器提取所述低质量样本图像在该尺度下的图像特征以及该尺度下的图像特征对应的权重，所述权重用于表征该尺度下的图像特征对于解码得到高质量重构图像的重要性程度；
23.将该尺度的图像特征与该尺度的人脸特征融合，具体包括：
24.拼接该尺度的图像特征与该尺度的人脸特征，得到拼接特征；
25.通过该尺度的图像特征对应的权重对所述拼接特征进行加权，得到该尺度的融合特征。
26.在进行特征融合时，引入权重来表示各尺度下不同特征维度的特征表达贡献值，比如颜色信息能较好地表达图像特征，就为它分配较高的权重；这些权重构成隐向量c，其作为调节器编辑各个特征维度的贡献值，对于重要的特征信息加强其影响力，对于无关紧要的特征信息削弱其作用，使融合后的特征能够更准确、全面地表示图像，从而恢复出更逼真的高清图像。
27.进一步地，在本说明书实施例中，采用stylegan2网络的生成网络构建的融合模块预先获取人脸先验特征。
28.进一步地，在本说明书实施例中，以生成损失最小化为目标，训练所述生成网络具体包括：
29.以生成损失最小化为目标，对所述生成网络的编码器和解码器进行训练。
30.进一步地，在本说明书实施例中，根据所述高质量重构图像与所述高质量样本图像计算生成损失具体包括：
31.在空域内，根据所述高质量重构图像与所述高质量样本图像，计算二者的空域均方误差损失，将其作为所述生成损失。
32.进一步地，根据所述高质量重构图像与所述高质量样本图像计算生成损失具体包括：
33.在空域内，根据所述高质量重构图像与所述高质量样本图像，计算二者的空域均方误差损失；
34.在频域内，将所述高质量重构图像与所述高质量样本图像均进行变换以及对应的
逆变换，根据变换后的高质量重构图像与变换后的高质量样本图像，计算二者的频域均方误差损失；
35.在特征空间内，根据所述高质量重构图像与所述高质量样本图像的特征映射，计算二者的特征均方误差损失；
36.将所述空域均方误差损失、频域均方误差损失和特征均方误差损失加权融合，作为所述生成损失。
37.本说明书实施例的另一目的在于提供一种提高生物图像质量的方法，该方法提高生物图像质量，例如可以修复表情迁徙过程中产生的伪造痕迹，提高人脸攻击物料中图像的质量，从而能够有效用于攻击人脸识别算法。
38.根据上述目的，本说明书实施例提供了一种提高生物图像质量的方法，所述方法包括：
39.获取待处理的低质量原始生物图像；
40.将所述低质量原始生物图像输入预先训练好的高质量和谐化模型的生成网络中，获得高质量图像，所述高质量和谐化模型是采用如上所述的图像高质量和谐化模型训练方法训练得到的。
41.本说明书实施例的又一目的在于提供一种图像高质量和谐化模型训练装置，该装置能够提高图像的质量，例如提高表情迁徙获得的生成图像的质量，修复表情迁徙过程中产生的伪造痕迹，从而使获得的人脸攻击物料具有较高的攻击率。
42.根据上述目的，本说明书实施例提供了一种图像高质量和谐化模型训练装置，所述装置包括：
43.样本处理模块，用于获取高质量样本图像，将所述高质量样本图像转化为低质量样本图像；
44.生成模块，用于将所述低质量样本图像输入所述生成网络中，通过所述编码器提取出所述低质量样本图像的多尺度图像特征；通过所述融合模块将所述多尺度图像特征和预先获取的人脸先验特征融合，得到融合后的特征；通过所述解码器对所述融合后的特征进行解码，得到所述低质量样本图像对应的高质量重构图像；
45.训练模块，用于根据所述高质量重构图像与所述高质量样本图像计算生成损失；采用所述判别网络判断所述高质量重构图像是否为所述高质量样本图像；根据所述判别网络的判别结果计算判别损失；以判别损失最小化为目标，训练所述判别网络；以生成损失最小化为目标，训练所述生成网络。
46.进一步地，在本说明书实施例中，所述人脸先验特征包括多尺度人脸特征；
47.所述生成模块通过所述融合模块将所述多尺度图像特征和预先获取的人脸先验特征融合，具体包括：
48.针对每种尺度，将该尺度的图像特征与该尺度的人脸特征融合。
49.更进一步地，在本说明书实施例中，所述生成模块针对每种尺度，通过所述编码器提取所述低质量样本图像在该尺度下的图像特征以及该尺度下的图像特征对应的权重，所述权重用于表征该尺度下的图像特征对于解码得到高质量重构图像的重要性程度；
50.所述生成模块将该尺度的图像特征与该尺度的人脸特征融合，具体包括：
51.拼接该尺度的图像特征与该尺度的人脸特征，得到拼接特征；
52.通过该尺度的图像特征对应的权重对所述拼接特征进行加权，得到该尺度的融合特征。
53.进一步地，在本说明书实施例中，采用stylegan2网络的生成网络构建的融合模块预先获取人脸先验特征。
54.进一步地，在本说明书实施例中，所述训练模块以生成损失最小化为目标，对所述生成网络的编码器和解码器进行训练。
55.进一步地，在本说明书实施例中，所述训练模块在空域内，根据所述高质量重构图像与所述高质量样本图像，计算二者的空域均方误差损失，将其作为所述生成损失。
56.进一步地，在本说明书实施例中，所述训练模块在空域内，根据所述高质量重构图像与所述高质量样本图像，计算二者的空域均方误差损失；
57.所述训练模块在频域内，将所述高质量重构图像与所述高质量样本图像均进行变换以及对应的逆变换，根据变换后的高质量重构图像与变换后的高质量样本图像，计算二者的频域均方误差损失；
58.所述训练模块在特征空间内，根据所述高质量重构图像与所述高质量样本图像的特征映射，计算二者的特征均方误差损失；
59.所述训练模块将所述空域均方误差损失、频域均方误差损失和特征均方误差损失加权融合，作为所述生成损失。
60.本说明书实施例的又一目的在于提供一种提高生物图像质量的装置，该装置能够修复表情迁徙过程中产生的伪造痕迹，提高人脸攻击物料中图像的质量，从而能够有效攻击人脸识别算法。
61.根据上述目的，本说明书实施例提供了一种提高生物图像质量的装置，所述装置包括：
62.采集模块，用于获取待处理的低质量原始生物图像；
63.图像处理模块，用于将所述低质量原始生物图像输入预先训练好的高质量和谐化模型的生成网络中，获得高质量图像，所述高质量和谐化模型是采用如上所述的图像高质量和谐化模型训练方法训练得到的。
64.本说明书实施例的又一目的在于提供一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的图像高质量和谐化模型训练方法的步骤。
65.本说明书实施例的又一目的在于提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上所述的图像高质量和谐化模型训练方法的步骤。
66.本说明书实施例所述的图像高质量和谐化模型训练方法具有以下有益效果：
67.提取的多尺度图像特征可以从各个方面获得图像的特征信息，再通过融合人脸先验特征，能够更加全面且准确地进行图像特征表达，从而解码恢复高逼真高质量的图像数据，能够修复表情迁徙过程中产生的伪造痕迹，从而使获得的人脸攻击物料能够有效攻击人脸识别算法。
68.在进行特征融合时，引入权重来表示各尺度下不同特征维度的特征表达贡献值；这些权重构成隐向量c，其作为调节器编辑各个特征维度的贡献值，对于重要的特征信息加
强其影响力，对于无关紧要的特征信息削弱其作用，使融合后的特征能够更准确、全面地表示图像，从而恢复出更逼真的高清图像。
附图说明
69.图1示例性地示出了本说明书实施例所述的图像高质量和谐化模型使用方法在一种实施方式下执行的步骤。
70.图2示例性地显示了本说明书实施例所述的图像高质量和谐化模型训练方法在一种实施方式下的流程示意图。
71.图3示例性地显示了本说明书实施例所述的图像高质量和谐化模型中融合模块在一种实施方式下执行的步骤。
72.图4示例性地显示了本说明书实施例所述的提高生物图像质量的方法在一种实施方式下的流程示意图。
73.图5示例性地显示了本说明书实施例所述的图像高质量和谐化模型训练装置在一种实施方式下的结构示意图。
74.图6示例性地显示了本说明书实施例所述的提高生物图像质量的装置在一种实施方式下的结构示意图。
具体实施方式
75.下面将结合说明书附图和具体的实施例来对本发明所述的图像高质量和谐化模型训练和使用的方法以及装置进行进一步地详细说明，但是该详细说明不构成对本发明的限制。
76.图1示例性地示出了本说明书实施例所述的图像高质量和谐化模型使用方法在一种实施方式下执行的步骤。
77.如图1所示，在一种实施方式中，将完成表情迁徙后获得的低质量样本图像输入图像高质量和谐化模型的生成网络中，先通过编码器提取出多尺度图像特征以及各尺度下图像特征对应的权重，这些权重构成了隐向量c，用于表征各尺度下的图像特征对于解码得到高质量重构图像的重要性程度；接着采用stylegan2网络的生成网络预先获取人脸先验特征，并在各个尺度上将图像特征与人脸先验特征融合，利用隐向量c进行加权，得到各尺度融合后的特征；再将融合后的特征输入解码器进行解码，得到高质量重构图像，从而获得了高逼真和谐化的人脸活化图像，用于进行人脸识别算法的攻击测试。
78.在本说明书的一个实施例中，提出了一种图像高质量和谐化模型训练方法。图2示例性地显示了本说明书实施例所述的图像高质量和谐化模型训练方法在一种实施方式下的流程示意图。
79.如图2所示，该高质量和谐化模型为生成对抗网络，包括判别网络和生成网络，生成网络包括编码器、融合模块和解码器，具体方法包括：
80.100：获取高质量样本图像。
81.在一种实施方式，以人脸图像作为样本图像来进行模型训练，以方便进行方案的阐述，但本说明书实施例所提供的方法和装置并不只限于人脸图像领域。其中，高质量样本图像可以来自于可以直接获取的公开的数据集，也可以通过图像采集设备自行采集。
82.102：将高质量样本图像转化为低质量样本图像。
83.将高质量样本图像转化为低质量样本图像的过程可以视为图像模糊过程，采用图像处理方法中的图像模糊算法。由于图像由若干像素点构成，像素点的数量和像素值决定了图像呈现给用户的观感，而图像模糊可以理解为减小相邻像素值的差值，从而弱化图像的边缘感和细节部分。
84.在一些更具体的实施例中，可以采用均值模糊、中值模糊和高斯模糊进行图像模糊化处理，从而将高质量样本图像转化为低质量样本图像。
85.104：将低质量样本图像输入生成网络中，通过编码器提取出低质量样本图像的多尺度图像特征。
86.编码器可以是一个通用的特征提取网络，其能够在各个分辨率下(即各个尺度下)提取到不同特征维度上的图像特征。在一些具体的实施例中，可以采用unet、shufflenet、rrdbnet这些类似的网络模型作为图像特征编码器。当然，在其他实施例中也可以采用transformer进行图像特征编码。
87.其中，多尺度图像特征可以表现为例如单只眼睛的特征或者整张人脸的特征；不同的特征维度可以包括例如纹理特征和颜色特征；多尺度是指多个不同的分辨率。该实施方式通过提取样本图像的多尺度图像特征，可以全面且精确地掌握各方面的图像细节信息与整体信息，有利于提高后续重构高质量图像的还原度。
88.106：通过融合模块将多尺度图像特征和预先获取的人脸先验特征融合，得到融合后的特征。
89.人脸先验特征可以由一个通用的特征提取网络在大量现有的人脸数据库上训练学习得到，表示了人脸的自然属性，换句话说，人脸先验特征代表了人脸结构生来就有的共性，通常分为几何人脸先验和人脸参考图。其中，几何人脸先验包括人脸五官比例、人脸关键点、人脸热力图等特征；人脸参考图则是从数据库中选取相同或者相似的人脸为参考，进行人脸复原。
90.在一些实施例中，可以采用stylegan2网络的生成网络构建的融合模块预先获取人脸先验特征。
91.在本说明书实施例中，使用到了stylegan2网络里的生成网络部分，该stylegan2网络已预先经过了训练，具备强大的特征表示能力，其可以通过学习人脸大数据获得了人脸先验特征，以便接收编码器提取并发送过来的多尺度图像特征，进行特征融合。
92.在一些实施例中，人脸先验特征包括多尺度人脸特征；
93.通过融合模块将多尺度图像特征和预先获取的人脸先验特征融合，具体包括：
94.针对每种尺度，将该尺度的图像特征与该尺度的人脸特征融合。
95.在一些更具体的实施例中，通过编码器提取出低质量样本图像的多尺度图像特征，具体包括：
96.针对每种尺度，通过编码器提取低质量样本图像在该尺度下的图像特征以及该尺度下的图像特征对应的权重，权重用于表征该尺度下的图像特征对于解码得到高质量重构图像的重要性程度；
97.将该尺度的图像特征与该尺度的人脸特征融合，具体包括：
98.拼接该尺度的图像特征与该尺度的人脸特征，得到拼接特征；
99.通过该尺度的图像特征对应的权重对拼接特征进行加权，得到该尺度的融合特征。
100.图3示例性地显示了本说明书实施例所述的图像高质量和谐化模型中融合模块在一种实施方式下执行的步骤。
101.如图3所示，e0、e1、e2、e3分别表示不同尺度的图像特征；s0、s1、s2、s3、s4分别表示不同尺度的人脸特征；v0、v1、v2、v3、v4分别表示对应的权重，这些权重构成了隐向量c；win和hin分别代表图像的宽和高，即尺度信息。其中，输入为低质量样本图像，编码器从中提取出多尺度的图像特征e0、e1、e2、e3，分别与对应尺度的人脸特征s0、s1、s2、s3进行拼接，再使用该尺度的图像特征对应的权重v0、v1、v2、v3对拼接后的特征加权，得到融合后的特征s4，并使用对应的权重v4进行加权，从而送入解码器解码，输出高质量重构图像。
102.本说明的实施例中，在进行特征融合时，引入权重来表示各尺度下不同特征维度的特征表达贡献值，比如颜色信息能较好地表达图像特征，就为它分配较高的权重；这些权重构成隐向量c，其作为调节器编辑各个特征维度的贡献值，对于重要的特征信息加强其影响力，对于无关紧要的特征信息削弱其作用，使融合后的特征能够更准确、全面地表示图像，从而恢复出更逼真的高清图像。
103.需要说明的是，假设多尺度图像特征和人脸先验特征的大小都为隐向量的长度c，则二者拼接并加权后得到的融合特征大小变为了2c，为了与模型规定的尺度相适应，保证模型的正常运转，可以对融合后的特征进行降维，使融合特征的大小降为c。
104.108：通过解码器对融合后的特征进行解码，得到低质量样本图像对应的高质量重构图像。
105.在一些实施方式中，解码器可以是一个通用的图像生成网络，在一些具体的实施例中，可以采用resnet与下采样或者反卷积结合的方式进行解码，充分利用已获取的特征，将样本图像从特征空间还原到像素空间，得到修复后的高质量重构图像。当然，在其他实施例中，也可以采用transformer进行图像特征解码。
106.110：根据高质量重构图像与高质量样本图像计算生成损失。
107.生成损失能够体现该图像高质量和谐化模型生成的高质量重构图像与原始高质量样本图像的相似程度，生成损失越大，二者差距越大；生成损失越小，二者越相似。
108.在一些实施例中，在空域内，根据高质量重构图像与高质量样本图像，计算二者的空域均方误差损失，将其作为生成损失。
109.该生成损失可以用高质量重构图像与高质量样本图像逐像素差的平方来表示：
[0110][0111]
其中，表示空域均方误差损失；r表示图像的数量，w，h分别表示高质量重构图像或者高质量样本图像的宽和高，三者都可以视为常数；x，y为像素点的横坐标和纵坐标；表示高质量样本图像；i
lr
表示低质量样本图像；表示低质量样本图像i
lr
对应的高质量重构图像；θ
σ
是模型参数。
[0112]
在对图像高质量和谐化模型进行训练的过程中，应至少包括该空域均方误差损失
的计算，以作为生成损失对生成网络进行训练。
[0113]
在另外一些实施例中，根据高质量重构图像与高质量样本图像计算生成损失具体包括：
[0114]
在空域内，根据高质量重构图像与高质量样本图像，计算二者的空域均方误差损失；
[0115]
在频域内，将高质量重构图像与高质量样本图像均进行变换以及对应的逆变换，根据变换后的高质量重构图像与变换后的高质量样本图像，计算二者的频域均方误差损失；
[0116]
在特征空间内，根据高质量重构图像与高质量样本图像的特征映射，计算二者的特征均方误差损失；
[0117]
将空域均方误差损失、频域均方误差损失和特征均方误差损失加权融合，作为生成损失。
[0118]
在一些更具体的实施例中，在频域内，将高质量重构图像与高质量样本图像分别进行离散余弦变换(discrete cosine transform，dct)以及对应的逆变换，根据变换后的图像计算二者的频域均方误差损失。更具体地，采用dct二次变换以及对应的逆变换，保证了高质量重构图像与高质量样本图像在频域内的相似度，提高了模型的训练质量与图像生成质量。
[0119]
当然在其他更具体的实施方式中，在频域内，还可以将高质量重构图像与高质量样本图像分别进行傅里叶变换以及对应的逆变换，然后根据变换后的图像计算二者的频域均方误差损失。
[0120]
在一些更具体的实施例中，采用预先训练好的vgg模型对高质量重构图像与高质量样本图像进行特征映射。将高质量重构图像与高质量样本图像分别输入vgg模型中，并同时提取出二者的输出结果中某一层的特征映射(feature map)进行逐像素差比较，得到特征均方误差损失，从而使得高质量重构图像与高质量样本图像在特征空间内也有一定的相似度。
[0121]
需要说明的是，在模型训练过程中可以通过观察上述三种损失对模型训练效果的影响大小，来调节各损失的权重，从而不断更新生成损失，使得生成损失可以更好地体现该图像高质量和谐化模型生成高质量重构图像的能力，加快训练效率。
[0122]
112：采用判别网络判断高质量重构图像是否为高质量样本图像。
[0123]
114：根据判别网络的判别结果计算判别损失。
[0124]
在一些实施方式中，判别损失通过下式计算：
[0125][0126]
其中，表示判别损失；i
lr
表示低质量样本图像；表示低质量样本图像i
lr
对应的高质量重构图像；是判别网络对于高质量重构图像的判别结果；θd和θg是模型参数；n是高质量重构图像的序号，n是高质量重构图像的数量。
[0127]
116：以判别损失最小化为目标，训练判别网络；以生成损失最小化为目标，训练生
成网络。
[0128]
在一些实施例中，以生成损失最小化为目标，对生成网络的编码器和解码器进行训练。
[0129]
需要说明的是，在本说明实施例所述的图像高质量和谐化模型中，用于构成融合模块的stylegan2的生成网络是预先训练好的，用于获取人脸先验特征的，且人脸先验特征在获得后不会发生变化，因此融合模块中的参数不参与模型训练过程中的更新。
[0130]
在一些更具体的实施例中，在频域内，将高质量重构图像与高质量样本图像分别进行离散余弦变换(discrete cosine transform，dct)以及对应的逆变换，根据变换后的图像计算二者的频域均方误差损失。更具体地，采用dct二次变换以及对应的逆变换。
[0131]
dct变换能够将原始图像信息块转换成代表不同频率分量的系数集，从而根据频域内信号的集中情况分配合适的内存，比如对于信号较集中的区域分配较多比特数，对于不重要的区域分配较少比特数。另外，由于图像属于二维概念，采用dct二次变换更为合适，且比dct一次变换更加常用。
[0132]
在一些实施方式中，将高质量重构图像与高质量样本图像统称为人脸图像，对其进行dct二次变换，可以得到频域内代表不同频率分量的系数集，再将各系数集进行dct二次逆变换，就可以得到空域内代表不同频率分量的对应的图像集。按此方法将高质量重构图像与高质量样本图像分别进行dct二次变换以及对应的逆变换，根据下式计算二者之间的频域均方误差损失dctloss：
[0133][0134]
其中，d
―1
(d(i
hr
))
x,y
是将高质量样本图像进行dct二次变换以及对应的逆变换得到的数据；是将高质量重构图像进行dct二次变换以及对应的逆变换得到的数据；i
hr
表示高质量样本图像；i
lr
表示低质量样本图像；表示低质量样本图像i
lr
对应的高质量重构图像；θc是模型参数；w和h分别表示高质量重构图像或者高质量样本图像的宽和高。
[0135]
通过计算频域均方误差损失，保证了高质量重构图像与高质量样本图像在频域内的相似度，提高了模型的训练质量与图像生成质量。
[0136]
在一些更具体的实施例中，采用预先训练好的vgg模型对高质量重构图像与高质量样本图像进行特征映射，计算二者的特征均方误差损失。将高质量重构图像与高质量样本图像分别输入vgg模型中，并同时提取出二者的输出结果中某一层的特征映射(feature map)进行逐像素差比较，如下式：
[0137][0138]
其中，表示特征均方误差损失；φ
i,j
表示vgg模型中第i个最大池化层前第j个卷积的特征映射图，w
i,j
和h
i,j
分别表示高质量重构图像或者高质量样本图像对应的特
征映射图的宽和高；i
hr
表示高质量样本图像；i
lr
表示低质量样本图像；表示低质量样本图像i
lr
对应的高质量重构图像；θc是模型参数。
[0139]
通过计算特征均方误差损失，使得高质量重构图像与高质量样本图像在特征空间内也有一定的相似度。
[0140]
本说明书实施例提取了多尺度图像特征，可以从各个方面获得图像的特征信息，再通过融合人脸先验特征，能够更加全面且准确地进行图像特征表达，从而解码恢复高逼真高质量的图像数据，能够修复表情迁徙过程中产生的伪造痕迹，使获得的人脸攻击物料能够有效攻击人脸识别算法。在进行特征融合时，引入权重来表示各尺度下不同特征维度的特征表达贡献值，权重作为调节器，对于重要的特征信息加强其影响力，对于无关紧要的特征信息削弱其作用，使融合后的特征能够更准确、全面地表示图像，从而恢复出更逼真的高清图像。
[0141]
在本说明书的另一个实施例中，提出了一种提高生物图像质量的方法，图4示例性地显示了本说明书实施例所述的提高生物图像质量的方法在一种实施方式下的流程示意图。
[0142]
如图4所示，该方法具体包括：
[0143]
200：获取待处理的低质量原始生物图像；
[0144]
202：将低质量原始生物图像输入预先训练好的高质量和谐化模型的生成网络中，获得高质量图像，高质量和谐化模型是采用如上所述的图像高质量和谐化模型训练方法训练得到的。
[0145]
在获取待处理的低质量原始生物图像时，可以直接通过安装本地图像采集设备输入图像，也可以从云端调取异地的图像采集设备进行采集，或者从云端调取预先准备好的图像集直接作为模型输入。
[0146]
本说明书实施例中训练得到的高质量和谐化模型的生成网络可以用于表情迁徙后的图像质量恢复，通过提取多尺度图像特征，并与人脸先验特征通过预先训练好的权重进行融合，生成高质量图像，修复表情伪造的痕迹。
[0147]
在本说明书的一个实施例中，提出了一种图像高质量和谐化模型训练装置，图5示例性地显示了本说明书实施例所述的图像高质量和谐化模型训练装置在一种实施方式下的结构示意图。
[0148]
如图5所示，该装置包括：
[0149]
样本处理模块30，用于获取高质量样本图像，将高质量样本图像转化为低质量样本图像；
[0150]
生成模块32，用于将低质量样本图像输入生成网络中，通过编码器提取出低质量样本图像的多尺度图像特征；通过融合模块将多尺度图像特征和预先获取的人脸先验特征融合，得到融合后的特征；通过解码器对融合后的特征进行解码，得到低质量样本图像对应的高质量重构图像；
[0151]
训练模块34，用于根据高质量重构图像与高质量样本图像计算生成损失；采用判别网络判断高质量重构图像是否为高质量样本图像；根据判别网络的判别结果计算判别损失；以判别损失最小化为目标，训练判别网络；以生成损失最小化为目标，训练生成网络。
[0152]
在样本处理模块中，高质量样本图像可以来自于可以直接获取的公开的数据集，
也可以通过图像采集设备自行采集。
[0153]
将高质量样本图像转化为低质量样本图像的过程可以视为图像模糊过程，采用图像处理方法中的图像模糊算法。由于图像由若干像素点构成，像素点的数量和像素值决定了图像呈现给用户的观感，而图像模糊可以理解为减小相邻像素值的差值，从而弱化图像的边缘感和细节部分。在一些更具体的实施例中，可以采用均值模糊、中值模糊和高斯模糊进行图像模糊化处理，从而将高质量样本图像转化为低质量样本图像。
[0154]
在生成模块中，编码器可以是一个通用的特征提取网络，其能够在各个分辨率下(即各个尺度下)提取到不同特征维度上的图像特征。在一些具体的实施例中，可以采用unet、shufflenet、rrdbnet这些类似的网络模型作为图像特征编码器。当然，在其他实施例中也可以采用transformer进行图像特征编码。
[0155]
其中，多尺度图像特征可以表现为例如单只眼睛的特征或者整张人脸的特征；不同的特征维度可以包括例如纹理特征和颜色特征；多尺度是指多个不同的分辨率。该实施方式通过提取样本图像的多尺度图像特征，可以全面且精确地掌握各方面的图像细节信息与整体信息，有利于提高后续重构高质量图像的还原度。
[0156]
人脸先验特征可以由一个通用的特征提取网络在大量现有的人脸数据库上训练学习得到，表示了人脸的自然属性，换句话说，人脸先验特征代表了人脸结构生来就有的共性，通常分为几何人脸先验和人脸参考图。其中，几何人脸先验包括人脸五官比例、人脸关键点、人脸热力图等特征；人脸参考图则是从数据库中选取相同或者相似的人脸为参考，进行人脸复原。
[0157]
在一些实施例中，可以采用stylegan2网络的生成网络构建的融合模块预先获取人脸先验特征。
[0158]
在本说明书实施例中，使用到了stylegan2网络里的生成网络部分，该stylegan2网络已预先经过了训练，具备强大的特征表示能力，其可以通过学习人脸大数据获得了人脸先验特征，以便接收编码器提取并发送过来的多尺度图像特征，进行特征融合。
[0159]
在一些实施例中，人脸先验特征包括多尺度人脸特征；
[0160]
通过融合模块将多尺度图像特征和预先获取的人脸先验特征融合，具体包括：
[0161]
针对每种尺度，将该尺度的图像特征与该尺度的人脸特征融合。
[0162]
在一些更具体的实施例中，通过编码器提取出低质量样本图像的多尺度图像特征，具体包括：
[0163]
针对每种尺度，通过编码器提取低质量样本图像在该尺度下的图像特征以及该尺度下的图像特征对应的权重，权重用于表征该尺度下的图像特征对于解码得到高质量重构图像的重要性程度；
[0164]
将该尺度的图像特征与该尺度的人脸特征融合，具体包括：
[0165]
拼接该尺度的图像特征与该尺度的人脸特征，得到拼接特征；
[0166]
通过该尺度的图像特征对应的权重对拼接特征进行加权，得到该尺度的融合特征。
[0167]
本说明书的实施例中，在进行特征融合时，引入权重来表示各尺度下不同特征维度的特征表达贡献值，比如颜色信息能较好地表达图像特征，就为它分配较高的权重；这些权重构成隐向量c，其作为调节器编辑各个特征维度的贡献值，对于重要的特征信息加强其
影响力，对于无关紧要的特征信息削弱其作用，使融合后的特征能够更准确、全面地表示图像，从而恢复出更逼真的高清图像。
[0168]
在一些实施方式中，解码器可以是一个通用的图像生成网络，在一些具体的实施例中，可以采用resnet与下采样或者反卷积结合的方式进行解码，充分利用已获取的特征，将样本图像从特征空间还原到像素空间，得到修复后的高质量重构图像。当然，在其他实施例中，也可以采用transformer进行图像特征解码。
[0169]
在训练模块中，生成损失能够体现该图像高质量和谐化模型生成的高质量重构图像与原始高质量样本图像的相似程度，生成损失越大，二者差距越大；生成损失越小，二者越相似。
[0170]
在一些实施例中，在空域内，根据高质量重构图像与高质量样本图像，计算二者的空域均方误差损失，将其作为生成损失。
[0171]
该生成损失可以用高质量重构图像与高质量样本图像逐像素差的平方来表示：
[0172][0173]
其中，表示空域均方误差损失；r表示图像的数量，w，h分别表示高质量重构图像或者高质量样本图像的宽和高，三者都可以视为常数；x，y为像素点的横坐标和纵坐标；表示高质量样本图像；i
lr
表示低质量样本图像；表示低质量样本图像对应的高质量重构图像；θ
σ
是模型参数。
[0174]
在对图像高质量和谐化模型进行训练的过程中，应至少包括该空域均方误差损失的计算，以作为生成损失对生成网络进行训练。
[0175]
在另外一些实施例中，根据高质量重构图像与高质量样本图像计算生成损失具体包括：
[0176]
在空域内，根据高质量重构图像与高质量样本图像，计算二者的空域均方误差损失；
[0177]
在频域内，将高质量重构图像与高质量样本图像均进行变换以及对应的逆变换，根据变换后的高质量重构图像与变换后的高质量样本图像，计算二者的频域均方误差损失；
[0178]
在特征空间内，根据高质量重构图像与高质量样本图像的特征映射，计算二者的特征均方误差损失；
[0179]
将空域均方误差损失、频域均方误差损失和特征均方误差损失加权融合，作为生成损失。
[0180]
在一些更具体的实施例中，在频域内，将高质量重构图像与高质量样本图像分别进行离散余弦变换(discrete cosine transform，dct)以及对应的逆变换，根据变换后的图像计算二者的频域均方误差损失。更具体地，采用dct二次变换以及对应的逆变换。
[0181]
dct变换能够将原始图像信息块转换成代表不同频率分量的系数集，从而根据频域内信号的集中情况分配合适的内存，比如对于信号较集中的区域分配较多比特数，对于不重要的区域分配较少比特数。另外，由于图像属于二维概念，采用dct二次变换更为合适，
且比dct一次变换更加常用。
[0182]
在一些实施方式中，将高质量重构图像与高质量样本图像统称为人脸图像，对其进行dct二次变换，可以得到频域内代表不同频率分量的系数集，再将各系数集进行dct二次逆变换，就可以得到空域内代表不同频率分量的对应的图像集。按此方法将高质量重构图像与高质量样本图像分别进行dct二次变换以及对应的逆变换，根据下式计算二者之间的频域均方误差损失dctloss：
[0183][0184]
其中，d
―1
(d(i
hr
))
x,y
是将高质量样本图像进行dct二次变换以及对应的逆变换得到的数据；是将高质量重构图像进行dct二次变换以及对应的逆变换得到的数据；i
hr
表示高质量样本图像；i
lr
表示低质量样本图像；表示低质量样本图像i
lr
对应的高质量重构图像；θc是模型参数；w和h分别表示高质量重构图像或者高质量样本图像的宽和高。
[0185]
通过计算频域均方误差损失，保证了高质量重构图像与高质量样本图像在频域内的相似度，提高了模型的训练质量与图像生成质量。
[0186]
当然在其他更具体的实施方式中，在频域内，还可以将高质量重构图像与高质量样本图像分别进行傅里叶变换以及对应的逆变换，然后根据变换后的图像计算二者的频域均方误差损失。
[0187]
在一些更具体的实施例中，采用预先训练好的vgg模型对高质量重构图像与高质量样本图像进行特征映射，计算二者的特征均方误差损失。将高质量重构图像与高质量样本图像分别输入vgg模型中，并同时提取出二者的输出结果中某一层的特征映射(feature map)进行逐像素差比较，如下式：
[0188][0189]
其中，表示特征均方误差损失；φ
i,j
表示vgg模型中第i个最大池化层前第j个卷积的特征映射图，w
i,j
和h
i,j
分别表示高质量重构图像或者高质量样本图像对应的特征映射图的宽和高；i
hr
表示高质量样本图像；i
lr
表示低质量样本图像；表示低质量样本图像i
lr
对应的高质量重构图像；θc是模型参数。
[0190]
通过计算特征均方误差损失，使得高质量重构图像与高质量样本图像在特征空间内也有一定的相似度。
[0191]
需要说明的是，在模型训练过程中可以通过观察上述三种损失对模型训练效果的影响大小，来调节各损失的权重，从而不断更新生成损失，使得生成损失可以更好地体现该图像高质量和谐化模型生成高质量重构图像的能力，加快训练效率。
[0192]
在一些实施方式中，判别损失通过下式计算：
[0193][0194]
其中，表示判别损失；i
lr
表示低质量样本图像；表示低质量样本图像对应的高质量重构图像；是判别网络对于高质量重构图像的判别结果；θd和θg是模型参数；n是高质量重构图像的序号，n是高质量重构图像的数量。
[0195]
在一些实施例中，以生成损失最小化为目标，对生成网络的编码器和解码器进行训练。
[0196]
需要说明的是，在本说明实施例所述的图像高质量和谐化模型中，用于构成融合模块的stylegan2的生成网络是预先训练好的，用于获取人脸先验特征的，且人脸先验特征在获得后不会发生变化，因此融合模块中的参数不参与模型训练过程中的更新。
[0197]
在本说明书的另一个实施例中，提出了一种提高生物图像质量的装置，图6示例性地显示了本说明书实施例所述的提高生物图像质量的装置在一种实施方式下的结构示意图。
[0198]
如图6所示，该装置包括：
[0199]
采集模块40，用于获取待处理的低质量原始生物图像；
[0200]
图像处理模块42，用于将低质量原始生物图像输入预先训练好的高质量和谐化模型的生成网络中，获得高质量图像，高质量和谐化模型是采用如上所述的图像高质量和谐化模型训练方法训练得到的。
[0201]
在获取待处理的低质量原始生物图像时，可以直接通过安装本地图像采集设备输入图像，也可以从云端调取异地的图像采集设备进行采集，或者从云端调取预先准备好的图像集直接作为模型输入。
[0202]
本说明书实施例中训练得到的高质量和谐化模型的生成网络可以用于表情迁徙后的图像质量恢复，通过提取多尺度图像特征，并与人脸先验特征通过预先训练好的权重进行融合，生成高质量图像，修复表情伪造的痕迹。
[0203]
在本说明书的一个实施例中，还提出了一种计算机可读存储介质，其特征在于，存储介质存储有计算机程序，计算机程序被处理器执行时实现如上所述的图像高质量和谐化模型训练方法的步骤。
[0204]
在本说明书的一个实施例中，还提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行程序时实现如上所述的图像高质量和谐化模型训练方法的步骤。
[0205]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0206]
需要注意的是，以上列举的仅为本发明的具体实施例，显然本发明不限于以上实施例，随之有着许多的类似变化。本领域的技术人员如果从本发明公开的内容直接导出或
联想到的所有变形，均应属于本发明的保护范围。

技术特征：
1.一种图像高质量和谐化模型训练方法，所述高质量和谐化模型为生成对抗网络，包括判别网络和生成网络，所述生成网络包括编码器、融合模块和解码器，所述方法包括：获取高质量样本图像；将所述高质量样本图像转化为低质量样本图像；将所述低质量样本图像输入所述生成网络中，通过所述编码器提取出所述低质量样本图像的多尺度图像特征；通过所述融合模块将所述多尺度图像特征和预先获取的人脸先验特征融合，得到融合后的特征；通过所述解码器对所述融合后的特征进行解码，得到所述低质量样本图像对应的高质量重构图像；根据所述高质量重构图像与所述高质量样本图像计算生成损失；采用所述判别网络判断所述高质量重构图像是否为所述高质量样本图像；根据所述判别网络的判别结果计算判别损失；以判别损失最小化为目标，训练所述判别网络；以生成损失最小化为目标，训练所述生成网络。2.如权利要求1所述的图像高质量和谐化模型训练方法，所述人脸先验特征包括多尺度人脸特征；通过所述融合模块将所述多尺度图像特征和预先获取的人脸先验特征融合，具体包括：针对每种尺度，将该尺度的图像特征与该尺度的人脸特征融合。3.如权利要求2所述的图像高质量和谐化模型训练方法，通过所述编码器提取出所述低质量样本图像的多尺度图像特征，具体包括：针对每种尺度，通过所述编码器提取所述低质量样本图像在该尺度下的图像特征以及该尺度下的图像特征对应的权重，所述权重用于表征该尺度下的图像特征对于解码得到高质量重构图像的重要性程度；将该尺度的图像特征与该尺度的人脸特征融合，具体包括：拼接该尺度的图像特征与该尺度的人脸特征，得到拼接特征；通过该尺度的图像特征对应的权重对所述拼接特征进行加权，得到该尺度的融合特征。4.如权利要求1所述的图像高质量和谐化模型训练方法，采用stylegan2网络的生成网络构建的融合模块预先获取人脸先验特征。5.如权利要求1所述的图像高质量和谐化模型训练方法，以生成损失最小化为目标，训练所述生成网络具体包括：以生成损失最小化为目标，对所述生成网络的编码器和解码器进行训练。6.如权利要求1所述的图像高质量和谐化模型训练方法，根据所述高质量重构图像与所述高质量样本图像计算生成损失具体包括：在空域内，根据所述高质量重构图像与所述高质量样本图像，计算二者的空域均方误差损失，将其作为所述生成损失。7.如权利要求1所述的图像高质量和谐化模型训练方法，根据所述高质量重构图像与
所述高质量样本图像计算生成损失具体包括：在空域内，根据所述高质量重构图像与所述高质量样本图像，计算二者的空域均方误差损失；在频域内，将所述高质量重构图像与所述高质量样本图像均进行变换以及对应的逆变换，根据变换后的高质量重构图像与变换后的高质量样本图像，计算二者的频域均方误差损失；在特征空间内，根据所述高质量重构图像与所述高质量样本图像的特征映射，计算二者的特征均方误差损失；将所述空域均方误差损失、频域均方误差损失和特征均方误差损失加权融合，作为所述生成损失。8.一种提高生物图像质量的方法，所述方法包括：获取待处理的低质量原始生物图像；将所述低质量原始生物图像输入预先训练好的高质量和谐化模型的生成网络中，获得高质量图像，所述高质量和谐化模型是采用如权利要求1至7任一所述方法训练得到的。9.一种图像高质量和谐化模型训练装置，所述装置包括：样本处理模块，用于获取高质量样本图像，将所述高质量样本图像转化为低质量样本图像；生成模块，用于将所述低质量样本图像输入所述生成网络中，通过所述编码器提取出所述低质量样本图像的多尺度图像特征；通过所述融合模块将所述多尺度图像特征和预先获取的人脸先验特征融合，得到融合后的特征；通过所述解码器对所述融合后的特征进行解码，得到所述低质量样本图像对应的高质量重构图像；训练模块，用于根据所述高质量重构图像与所述高质量样本图像计算生成损失；采用所述判别网络判断所述高质量重构图像是否为所述高质量样本图像；根据所述判别网络的判别结果计算判别损失；以判别损失最小化为目标，训练所述判别网络；以生成损失最小化为目标，训练所述生成网络。10.如权利要求9所述的图像高质量和谐化模型训练装置，所述人脸先验特征包括多尺度人脸特征；所述生成模块通过所述融合模块将所述多尺度图像特征和预先获取的人脸先验特征融合，具体包括：针对每种尺度，将该尺度的图像特征与该尺度的人脸特征融合。11.如权利要求10所述的图像高质量和谐化模型训练装置，所述生成模块针对每种尺度，通过所述编码器提取所述低质量样本图像在该尺度下的图像特征以及该尺度下的图像特征对应的权重，所述权重用于表征该尺度下的图像特征对于解码得到高质量重构图像的重要性程度；所述生成模块将该尺度的图像特征与该尺度的人脸特征融合，具体包括：拼接该尺度的图像特征与该尺度的人脸特征，得到拼接特征；通过该尺度的图像特征对应的权重对所述拼接特征进行加权，得到该尺度的融合特征。12.如权利要求9所述的图像高质量和谐化模型训练装置，采用stylegan2网络的生成
网络构建的融合模块预先获取人脸先验特征。13.如权利要求9所述的图像高质量和谐化模型训练装置，所述训练模块以生成损失最小化为目标，对所述生成网络的编码器和解码器进行训练。14.如权利要求9所述的图像高质量和谐化模型训练装置，所述训练模块在空域内，根据所述高质量重构图像与所述高质量样本图像，计算二者的空域均方误差损失，将其作为所述生成损失。15.如权利要求9所述的图像高质量和谐化模型训练装置，所述训练模块在空域内，根据所述高质量重构图像与所述高质量样本图像，计算二者的空域均方误差损失；所述训练模块在频域内，将所述高质量重构图像与所述高质量样本图像均进行变换以及对应的逆变换，根据变换后的高质量重构图像与变换后的高质量样本图像，计算二者的频域均方误差损失；所述训练模块在特征空间内，根据所述高质量重构图像与所述高质量样本图像的特征映射，计算二者的特征均方误差损失；所述训练模块将所述空域均方误差损失、频域均方误差损失和特征均方误差损失加权融合，作为所述生成损失。16.一种提高生物图像质量的装置，所述装置包括：采集模块，用于获取待处理的低质量原始生物图像；图像处理模块，用于将所述低质量原始生物图像输入预先训练好的高质量和谐化模型的生成网络中，获得高质量图像，所述高质量和谐化模型是采用如权利要求1至7任一所述方法训练得到的。17.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-7中任一所述方法的步骤。

技术总结
本说明书实施例公开了一种图像高质量和谐化模型训练方法，所述方法包括：获取高质量样本图像，转化为低质量样本图像输入生成网络中；通过编码器提取出低质量样本图像的多尺度图像特征，通过融合模块融合多尺度图像特征和预先获取的人脸先验特征，由解码器解码得到对应的高质量重构图像；根据高质量重构图像与高质量样本图像计算生成损失；采用判别网络判断高质量重构图像是否为高质量样本图像，计算判别损失；以判别损失最小化为目标，训练判别网络；以生成损失最小化为目标，训练生成网络。本说明书实施例还公开了提高生物图像质量的方法。相应地，本说明书实施例公开了图像高质量和谐化模型训练装置和提高生物图像质量的装置。置。置。


技术研发人员：童仁玲 邱晗若 朱凯
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：2023.03.10
技术公布日：2023/7/20