一种基于高频特征损失的GAN类生成图像的优化方法

一种基于高频特征损失的gan类生成图像的优化方法
技术领域
1.本发明属于人工智能图像生成的技术领域，具体涉及一种基于高频特征损失的gan类生成图像的优化方法。


背景技术：

2.近年来随着机器算力的提升，图像生成在人工智能领域的应用正在不断拓宽，生成对抗网络(generative adversarial networks，gan)成为图像生成的最主要的研究和应用方向。gan由生成器与判别器组成，以对抗学习的方式，不断优化生成器。为了提高生成图像质量，目前的研究几乎都停留在空域：如cyclegan++(zhang jinglei,houyawei.image-to-image translation based on improved cycle-consistent generative adversarial network.journal of electronics&information technology,2020,42(5):1216-1222)对于cyclegan(zhu junyan,park t,isoal p,et al.unpaired image-to-image translation using cycle-consistent adversarial networks//proceedings of the international conference on computer vision.venice,italy,2017:2223-2232)生成器可能会将输入图像中的某些特征隐藏并在输出时还原的现象进行改进，取消cyclegan的环形结构，移除循环一致性损失并加入分类损失；stylegan2(karras t,laine s,aittala m,et al.analyzing and improving the image quality ofstylegan//proceedings of the ieee conference on computer vision and pattern recognition.virtual,2020:8107-8116)针对stylegan(karras t,laine s,aila t.astyle-based generator architecture for generative adversarial networks//proceedings ofthe ieee conference on computer vision and pattern recognition.long beach,usa,2019:4396-4405)生成的图像可能带有明显水珠的问题进行改进等。
3.这些研究使得gan类生成图像在空域上的质量(即在视觉效果上)得到极大提升，但是在频域上尤其是高频部分与自然图像依然存在较大的差距。gan类生成器使用转置卷积(transposed convolution，记为trans-conv)所生成图像能够保留更多的高频细节，因此研究者们较多使用trans-conv作为生成器的解码方式。本文根据gan类生成器使用trans-conv所生成图像相比于自然图像在高频部分带有大量杂乱噪声的现象，提出高频特征损失，以提高生成图像的质量与多样性。


技术实现要素：

4.针对现有gan类生成图像忽视了频域中高频部分生成质量，导致生成器使用trans-conv所生成图像带有大量杂乱高频噪声的问题，本发明提供了一种基于高频特征损失的gan类生成图像的优化方法，采用自然图像与生成图像甚高频部分的高频信息在特征空间的距离表征高频特征损失，加入gan类生成器原有的对抗损失，改善此类生成图像的质量和多样性。
5.一种基于高频特征损失的gan类生成图像的优化方法，步骤如下：
6.步骤(1).确定需要进行优化的生成图像对应的gan类生成网络；
7.步骤(2).计算生成图像的高频特征损失；
8.以对比损失的思想构建高频特征损失(记作l
hf
)，以优化gan生成图像的质量。对比损失可以很好地表达样本之间的匹配程度，原本相似的两个样本集，在经过降维即特征提取之后，两个样本集在特征空间中仍相似。因此以生成图像和自然图像甚高频部分的高频信息在特征空间的距离来标记高频特征损失，从而改善此类生成图像带有大量杂乱高频噪声的问题。
9.步骤(3).将高频特征损失加入原有gan类生成网络的对抗损失，对原有修改后gan类生成网络进行再一次训练；
10.将步骤(2)中得到的高频特征损失加入原有gan类生成网络的对抗损失的表达式中，对原有gan类生成网络进行再一次训练，训练采用原有gan类生成网络的原有训练方式不变。
11.步骤(4).通过再一次训练后的gan类生成网络生成优化后的生成图像。
12.步骤(2).具体方法如下：
13.计算自然图像与生成图像甚高频部分的高频信息在特征空间的距离来标记高频特征损失l
hf
，具体公式如下：
[0014][0015]
d(xi,xi′
)＝||hl(hp(xi))-hl(hp(xi′
))||2ꢀꢀ
(1)
[0016]
其中，xi和x
′i分别为自然样本和生成样本，d(
·
)表示欧氏距离，hp(
·
)表示样本经高通滤波器得到的高频信息，hl(
·
)表示高维空间输入映射到低维输出的函数，m为样本数。
[0017]
步骤(3).具体方法如下：
[0018]
将步骤(2)中得到的高频特征损失l
hf
与原有生成网络的对抗损失l
adv
结合，如式(2)所示，计算新的对抗损失lg；然后用lg替代原有生成网络损失函数表达式中的l
adv
即可，其它内容不改变，包括训练方式等，之后对原有gan类生成网络进行再一次训练。公式表达如下：
[0019]
lg＝l
adv
+γl
hf
ꢀꢀꢀ
(2)
[0020]
式中，l
adv
为原有生成网络的对抗损失，γ为固定的权重值，偏大的γ可能会造成gan训练过程的不稳定，模型在训练过程中的某些时刻生成的图像会偏向于杂乱的噪声，而不是与训练集相近的图像；而偏小的γ改善效果比较差。
[0021]
本发明有益效果如下：
[0022]
本发明根据现有gan类图像生成网络忽视了频域中高频部分生成质量，导致gan类生成器使用trans-conv所生成图像相比于自然图像在高频部分带有大量杂乱噪声的问题，采用自然图像与生成图像甚高频部分的高频信息在特征空间的距离表征高频特征损失，加入gan类生成器原有的对抗损失，从而提高生成图像的质量与多样性。
[0023]
本发明方法针对gan类生成器使用trans-conv所生成图像带有大量杂乱高频噪声的问题，仅在gan类生成器原有的对抗损失中添加高频特征损失，而训练过程中其它因素都
不变的条件下，能明显提高生成图像的质量与多样性。
附图说明
[0024]
图1为本发明实施例采用的一般gan类生成器的结构图；
[0025]
图2为本发明实施例用来说明计算自然图像和生成器使用trans-conv所生成图像之间距离的过程。
具体实施方式
[0026]
下面结合附图对本发明进一步说明。
[0027]
如图1所示，图中g为生成器，d为判别器，z为生成单元的输入，g(z)为生成器的输出，x为真实样本，图中判别器损失函数表示对抗损失。本发明方法具体步骤如下：
[0028]
步骤(1).确定需要进行优化的生成图像对应的gan类生成网络；
[0029]
步骤(2).计算生成网络生成图像的高频特征损失；
[0030]
以对比损失的思想构建高频特征损失，对比损失可以很好地表达样本之间的匹配程度，原本相似的两个样本集，在经过降维即特征提取之后，两个样本集在特征空间中仍相似。因此采用自然图像与生成图像甚高频部分的高频信息在特征空间的距离表征高频特征损失，从而提高生成图像的质量与多样性。
[0031]
举例说明步骤(2)，具体方法如下：
[0032]
计算自然图像与生成图像甚高频部分的高频信息在特征空间的距离来标记高频特征损失k
hf
，具体公式如下：
[0033][0034]
d(xi,x
′i)＝||hl(hp(xi))-hl(hp(x
′i))||2ꢀꢀꢀ
(1)
[0035]
其中xi和x
′i分别为第i张自然样本和生成样本，hp(xi)和hp(x
′i)分别表示第i张自然样本和生成样本经高通滤波器得到的高频信息，例如图2中自然样本x和生成样本x
′
以及对应高频信息，图2中dft和idft分别为二维离散傅里叶变换(discrete fourier transform,dft)和二维离散傅里叶反变换(inverse discrete fourier transform,idft)。hl(hp(x))表示高维空间输入映射到低维输出的函数，例如图2中高频信息降维即特征提取操作。图2中d(x,x
′
)表示计算自然样本和生成样本之间的欧氏距离，来度量样本之间的差异。
[0036]
重复上述过程，m为样本数，得到m张自然图像与对应生成图像甚高频部分的高频信息在特征空间的距离。在l
hf
公式中对d(xi,x
′i)求平方从而消除正负差异带来的影响，并放大差异的效果。计算m张样本之间的欧氏距离平方总和，最后除以2m对距离平方总和进行标准化操作。
[0037]
步骤(3).将高频特征损失加入原有gan类生成网络的对抗损失，对原有修改后gan类生成网络进行再一次训练；
[0038]
将步骤(2)中得到的高频特征损失加入原有gan类生成网络的对抗损失的表达式中，原有生成网络的训练方式不变。
[0039]
具体表现为，将步骤(2)中得到的高频特征损失l
hf
与原有生成网络的对抗损失l
adv
结合，如式(2)所示，计算新的对抗损失lg；然后用lg替代原有生成网络损失函数表达式中的l
adv
即可，其它内容不改变，包括训练方式等。公式表达如下：
[0040]
lg＝l
adv
+γl
hf
ꢀꢀꢀ
(2)
[0041]
式中，l
adv
为原有生成网络的对抗损失，γ为固定的权重值(以sagan为例，经过实验得到的优选权重值为1e-5)，偏大的γ可能会造成gan训练过程的不稳定，模型在训练过程中的某些时刻生成的图像会偏向于杂乱的噪声，而不是与训练集相近的图像；而偏小的γ改善效果比较差。
[0042]
例如：一般gan类生成网络的损失函数包括对抗损失和生成损失两部分，本发明就是将该损失函数中的对抗损失(无论其标记的符号如何变化)作为式中的l
adv
，根据上式计算lg后，再替代原来的对抗损失，其它不变；
[0043]
同时，添加高频特征损失可以提高生成图像的质量与多样性，但还需要考虑还需保证gan训练过程的稳定性。当γ偏大，例如接近1时，可能会造成gan训练过程的不稳定；当γ偏小，例如γ更小时，改善效果比较差。原因在于：过大的γ使得gan类生成网络过于强调生成图像在高频特征上的损失，导致不稳定的生成质量；而过小的γ又难以取得明显的效果，因此采用能同时提升各模型生成性能的适当值，通过原有的对抗损失l
adv
来调节。
[0044]
步骤(4).通过再一次训练加入高频特征损失后的生成网络生成优化后的生成图像。
[0045]
以下以sagan为例展示实验成果，利用图像相似度的评价指标fid来进行客观评估，生成图像的fid值如表1所示。
[0046]
表1原有sagan以及添加高频损失后生成图像与自然图像之间的fid
[0047][0048]
从表1中可以看出，添加l
hf
后sagan生成的图像与自然图像之间的fid值有明显降低，即在训练过程中其他条件都不变的前提下，仅对sagan额外添加高频特征损失l
hf
能够提高生成图像的质量和多样性。
[0049]
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是对本发明的优选实施例及原理进行了详细说明，但并非是对本发明的限制。对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。

技术特征：
1.一种基于高频特征损失的gan类生成图像的优化方法，其特征在于，步骤如下：步骤(1).确定需要进行优化的生成图像对应的gan类生成网络；步骤(2).计算生成图像的高频特征损失；以对比损失的思想构建高频特征损失，以优化gan生成图像的质量；以生成图像和自然图像甚高频部分的高频信息在特征空间的距离来标记高频特征损失；步骤(3).将高频特征损失加入原有gan类生成网络的对抗损失，对原有修改后gan类生成网络进行再一次训练；将步骤(2)中得到的高频特征损失加入原有gan类生成网络的对抗损失的表达式中，对原有gan类生成网络进行再一次训练，训练采用原有gan类生成网络的原有训练方式不变；步骤(4).通过再一次训练后的gan类生成网络生成优化后的生成图像。2.根据权利要求1所述的一种基于高频特征损失的gan类生成图像的优化方法，其特征在于，步骤(2).具体方法如下：计算自然图像与生成图像甚高频部分的高频信息在特征空间的距离来标记高频特征损失l
hf
，具体公式如下：d(x
i
,x
′
i
)＝||hl(hp(x
i
))-hl(hp(x
′
i
))||2ꢀꢀꢀꢀ
(1)其中，x
i
和x
′
i
分别为自然样本和生成样本，d(
·
)表示欧氏距离，hp(
·
)表示样本经高通滤波器得到的高频信息，hl(
·
)表示高维空间输入映射到低维输出的函数，m为样本数。3.根据权利要求2所述的一种基于高频特征损失的gan类生成图像的优化方法，其特征在于，步骤(3).具体方法如下：将步骤(2)中得到的高频特征损失l
hf
与原有生成网络的对抗损失l
adv
结合，如式(2)所示，计算新的对抗损失l
g
；然后用l
g
替代原有生成网络损失函数表达式中的l
adv
即可，其它内容不改变，之后对原有gan类生成网络进行再一次训练；公式表达如下：l
g
＝l
adv
+γl
hf
ꢀꢀꢀꢀꢀꢀ
(2)式中，l
adv
为原有生成网络的对抗损失，γ为固定的权重值。

技术总结
本发明公开了一种基于高频特征损失的GAN类生成图像的优化方法，首先确定需要进行优化的生成图像对应的GAN类生成网络；计算生成图像的高频特征损失；然后将高频特征损失加入原有GAN类生成网络的对抗损失，对原有修改后GAN类生成网络进行再一次训练；最后通过再一次训练后的GAN类生成网络生成优化后的生成图像。本发明方法针对GAN类生成器使用Trans-conv所生成图像带有大量杂乱高频噪声的问题，仅在GAN类生成器原有的对抗损失中添加高频特征损失，而训练过程中其它因素都不变的条件下，能明显提高生成图像的质量与多样性。明显提高生成图像的质量与多样性。明显提高生成图像的质量与多样性。


技术研发人员：叶学义 睢明聪 曾懋胜 陈海颖 郭春生
受保护的技术使用者：杭州电子科技大学
技术研发日：2023.07.17
技术公布日：2023/10/15