一种改进生成对抗网络的图像修复方法

1.本发明属于计算机图像处理技术领域，具体涉及一种基于生成对抗网络的图像修复的方法。


背景技术：

2.图像修复是一项依据残缺图像预测得到完整图像的技术，是极具竞争力的先进技术，其应用领域遍及各行各业。的随着计算机图像处理技术的发展，研究图像修复的方法越来越多。数字图像修复方法主要分为传统修复算法和基于深度学习的修复方法两个方向。传统修复方法主要以基于扩散和基于样本的两类方法为主。bertalmio等(proceedings of the 27th annual conference on computer graphics and interactive techniques)模拟人工修复图像的方法，首次提出了一种基于扩散的图像修复方法，得到了一定的修复效果。基于扩散的方法将背景信息扩散传播到缺失区域，但是算法计算量大，需要大量的运行时间。针对上述问题，chan等(mathematical models for local nontexture inpaintings)提出了总变分(tv)模型，该模型显著的提高了修复速率，但是修复结果的连续性不足。何凯等在tv算法中加入了阈值参数，使得模型训练速度加快，降低了运行时间。基于样本的方法通过对背景区域搜索，获取与缺失区域相识度较高的样本块，用于填充缺失区域。例如，barnes等(arandomized correspondence algorithm for structural image editing)利用快速近邻的方式，采用样本匹配算法，降低了模型的复杂度，提高了计算速度。criminisi等(toyama k.region filling and object removal by exemplar-based image inpainting)利用置信度和嵌入边界信息确定填充顺序的优先级，搜索待填充图像的完整区域块相似度最高的像素块，更新待填充块的边界和置信度，完成图像的补全。传统图像修复方法修复小面积缺失的古画时取得了一定的效果，然而大面积缺失时修复效果较差。
3.近年来，以卷积神经网络(cnn)、循环神经网络(rnn)等为代表的深度学习被广泛用于自然语音处理、计算机视觉、医疗以及交通等领域。广大专家学者采用深度学习的基本模块，将其应用于数据、图像等补全的研究中。wang等(new inpainting algorithm based on simplified context encoders and multi-scale adversarial network)以自动编码结构结合多尺度卷积为基础，提出了生成对抗网络(gan)为模型框架的图像修复模型提升了模型局部特征提取能力，取得了一定的修复效果。由于该模型缺乏提取全局特征信息的能力，导致部分的修复结果中，轮廓紊乱。edger等(au-net based discriminator for generative adversarial networks)提出了基于u形网络(u-net)改进判别器的gan模型。该模型通过判别器每次迭代结果的反馈，提高了生成数据的全局一致性。然而模型没有考虑生成器的优化，导致模型学习能力差。


技术实现要素：

4.本发明主要是克服现有技术中的不足之处，本发明的目的是提供一种基于基于生
成对抗网络的图像修复的方法。
5.为达到以上技术目的，本发明采用以下技术方案：
6.步骤1：采集原始图像，对图像进行预处理，具体处理方式为：
7.(1)对原始图像进行预处理，统一设置为n
×
n大小并进行裁剪、旋转以及镜像翻转操作，扩充数据；
8.(2)人工生成出不同尺寸、形状的缺陷二值图，并与原始图像合成出缺陷图像；
9.(3)将预处理后的图像数据集划分为训练集和测试集，以预处理后得到的图像作为训练目标；
10.步骤2：构建空洞卷积门控残差块，整个空洞卷积门控残差块全部采用3
×
3卷积，激活函数采用relu激活函数，模块的计算结构如下：
11.x1＝r(dcon2(x
in
))
12.x2＝r(dcon4(x1))
13.x3＝r(dcon8(x2))
14.x4＝r(dcon
16
(x3))
15.x
out
＝g(x1)
·
x1+g(x2)
·
x2+g(x3)
·
x3+g(x4)
·
x416.式中，x
in
和x
out
分别代表模型的输入图像和输出图像，r()表示进行relu线性变换，dcon()代表3
×
3的空洞卷积操作，其下标为扩张率，g(x)代表对输入数据做门控计算操作后得到的权重系数，门控过程使用sigmoid函数来计算，sigmoid函数的计算公式如下：
[0017][0018]
步骤3：整体的图像修复模型基于生成对抗网络的框架，采用两阶段的方式修复图像，具体处理方式为：
[0019]
(1)生成器的第一阶段网络生成粗修复图像，整体结构为u-net网络，其编码部分包含n个步骤2提出的空洞卷积门控残差块，n为u-net网络中编码部分层数；n为正整数；
[0020]
(2)生成器的第二阶段网络采用空间注意力机制生成最终修复图像，以第一阶段生成的缺陷区域图像为前景，以已知区域图像为背景，逐像素点计算前景与背景的余弦相似度，选取余弦相似度大的背景来生成前景，余弦相似度的计算公式如下：
[0021][0022]
式中(x1,y1)表示背景图像的像素，(x2,y2)表示前景图像的像素，表示背景与前景的余弦相似度；
[0023]
(3)使用最小绝对误差损失和推土机距离损失的加权损失作为损失函数，并且使用惩罚函数对其进行正则化；
[0024]
最小绝对误差损失的计算公式为：
[0025][0026]
式中，代表最小绝对误差损失，yi和f(xi)分别代表真实图像和估计的图像；
[0027][0028]
式中，l
wgan
代表推土机距离损失，表示所有的(x,y)的联合分布的集合；
[0029]
联合损失函数的计算公式为：
[0030][0031]
其中，l为整体的加权损失函数，为l1损失，l
wgan
为推土机距离损失，和为权重系数,λ为惩罚函数的惩罚系数，表示ω的l2范数；
[0032]
(4)使用步骤1中得到的训练集数据输入到步骤4和本步骤构建的网络模型中，使用损失函数进行训练优化，当损失函数不再下降时，停止模型训练，保存训练参数；
[0033]
步骤4：峰值信噪比反映生成图像与真实图像之间的失真程度的评价指标，单位是db，其计算公式为：
[0034][0035]
其中，mse是均方根误差，maxi是图像像素点的最大值，psnr是图像峰值信噪比；
[0036]
结构相识度用来衡量两张图像的结构相似度，值越大，生成图像的质量也越好,结构相识度使用均值估计亮度，标准差估计对比度，协方差估计结构相似度，其计算公式为：
[0037][0038][0039][0040]
ssim(a,b)＝l(a,b)
×
c(a,b)
×
s(a,b)
[0041]
式中，μa和μb是图像a和b的像素平均值，σa和σb是图像a和b的像素标准差，σ
ab
是图像a和b的协方差，c1、c2、c3为常数，ssim为图像结构相似度；
[0042]
将步骤1中得到的测试集数据输入到已经训练好的网络模型中，得到修复后的图像，最后使用客观评价指标对修复效果进行评估。
[0043]
有益效果：
[0044]
与现有技术相比，本发明具有以下有益效果：
[0045]
以u-net与注意力机制为基础，通过改进u-net提取大范围、多尺度的特征信息，使用注意力机制网络获取全局特征信息，本发明的修复算法具有更优秀的修复效果，具有广泛的应用价值。
附图说明
[0046]
图1为基于生成对抗网络的图像修复流程图；
[0047]
图2空洞卷积门控残差块；
[0048]
图3改进的u-net结构图；
[0049]
图4注意力机制网络结构图；
具体实施方式
[0050]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进
行进一步详细说明。
[0051]
一种基于生成对抗网络的图像修复的方法，具体的计算方法包括以下步骤：
[0052]
步骤1：采集原始图像，对图像进行预处理，具体处理方式为：
[0053]
(4)对原始图像进行预处理，统一设置为256
×
256大小并进行裁剪、旋转以及镜像翻转操作，扩充数据；
[0054]
(5)人工生成出不同尺寸、形状的缺陷二值图，并与原始图像合成出缺陷图像；
[0055]
(6)将预处理后的图像数据集划分为训练集和测试集，以预处理后得到的图像作为训练目标；
[0056]
步骤2：构建空洞卷积门控残差块，整个空洞卷积门控残差块全部采用3
×
3卷积，激活函数采用relu激活函数，模块的计算结构如下：
[0057]
x1＝r(dcon2(x
in
))
[0058]
x2＝r(dcon4(x1))
[0059]
x3＝r(dcon8(x2))
[0060]
x4＝r(dcon
16
(x3))
[0061]
x
out
＝g(x1)
·
x1+g(x2)
·
x2+g(x3)
·
x3+g(x4)
·
x4[0062]
式中，x
in
和x
out
分别代表模型的输入图像和输出图像，r()表示进行relu线性变换，dcon()代表3
×
3的空洞卷积操作，其下标为扩张率，g(x)代表对输入数据做门控计算操作后得到的权重系数，门控过程使用sigmoid函数来计算，sigmoid函数的计算公式如下：
[0063][0064]
步骤3：整体的图像修复模型基于生成对抗网络的框架，采用两阶段的方式修复图像，具体处理方式为：
[0065]
(1)生成器的第一阶段网络生成粗修复图像，整体结构为u-net网络，其编码部分包含4个步骤2提出的空洞卷积门控残差块；
[0066]
(2)生成器的第二阶段网络采用空间注意力机制生成最终修复图像，以第一阶段生成的缺陷区域图像为前景，以已知区域图像为背景，逐像素点计算前景与背景的余弦相似度，选取余弦相似度大的背景来生成前景，余弦相似度的计算公式如下：
[0067][0068]
式中(x1,y1)表示背景图像的像素，(x2,y2)表示前景图像的像素，表示背景与前景的余弦相似度；
[0069]
(3)使用最小绝对误差损失和推土机距离损失的加权损失作为损失函数，并且使用惩罚函数对其进行正则化；
[0070]
最小绝对误差损失的计算公式为：
[0071][0072]
式中，代表最小绝对误差损失，yi和f(xi)分别代表真实图像和估计的图像；
[0073]
[0074]
式中，l
wgan
代表推土机距离损失，表示所有的(x,y)的联合分布的集合；
[0075]
联合损失函数的计算公式为：
[0076][0077]
其中，l为整体的加权损失函数，为l1损失，l
wgan
为推土机距离损失，和为权重系数,λ为惩罚函数的惩罚系数，表示ω的l2范数；
[0078]
(4)使用步骤1中得到的训练集数据输入到步骤4和本步骤构建的网络模型中，使用损失函数进行训练优化，当损失函数不再下降时，停止模型训练，保存训练参数；
[0079]
步骤4：峰值信噪比反映生成图像与真实图像之间的失真程度的评价指标，单位是db，其计算公式为：
[0080][0081]
其中，mse是均方根误差，maxi是图像像素点的最大值，psnr是图像峰值信噪比；
[0082]
结构相识度用来衡量两张图像的结构相似度，值越大，生成图像的质量也越好,结构相识度使用均值估计亮度，标准差估计对比度，协方差估计结构相似度，其计算公式为：
[0083][0084][0085][0086]
ssim(a,b)＝l(a,b)
×
c(a,b)
×
s(a,b)
[0087]
式中，μa和μb是图像a和b的像素平均值，σa和σb是图像a和b的像素标准差，σ
ab
是图像a和b的协方差，c1、c2、c3为常数，ssim为图像结构相似度；
[0088]
将步骤1中得到的测试集数据输入到已经训练好的网络模型中，得到修复后的图像，最后使用客观评价指标对修复效果进行评估；
[0089]
步骤5：本发发明的实施效果如下，本发明实施方法的效果展示，下面的表格呈现了本发明对缺陷修复效果的优化效果，如表1所示：
[0090]
表1不同算法在不同整体缺失率下的修复结果
[0091]
tab.1evaluation index values of repair results of different algorithms under different overall center missing rates
[0092][0093]
由上表可以看出，使用本方法后对在不同大小的缺陷下都要比对比后算法拥有更好的修复效果。
[0094]
本发明所提供的一种基于生成对抗网络的图像修复的方法，以u-net与注意力机
制为基础，利用改进u-net提取大范围、多尺度的特征信息，使用注意力机制网络获取全局特征信息，本发明的修复算法具有更优秀的修复效果。本发明能较完整地修复缺陷图像，具有广泛的应用价值。
[0095]
以上所述，并非对本发明作任何形式上的限制，虽然本发明已通过上述实施例揭示，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些变动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

技术特征：
1.一种改进生成对抗网络的图像修复方法，其特征包括以下步骤：步骤1：采集原始图像，对图像进行预处理，具体处理方式为：(1)对原始图像进行预处理，统一设置为n
×
n大小并进行裁剪、旋转以及镜像翻转操作，扩充数据；(2)人工生成出不同尺寸、形状的缺陷二值图，并与原始图像合成出缺陷图像；(3)将预处理后的图像数据集划分为训练集和测试集，以预处理后得到的图像作为训练目标；步骤2：构建空洞卷积门控残差块，整个空洞卷积门控残差块全部采用3
×
3卷积，激活函数采用relu激活函数，模块的计算结构如下：x1＝r(dcon2(x
in
))x2＝r(dcon4(x1))x3＝r(dcon8(x2))x4＝r(dcon
16
(x3))x
out
＝g(x1)
·
x1+g(x2)
·
x2+g(x3)
·
x3+g(x4)
·
x4式中，x
in
和x
out
分别代表模型的输入图像和输出图像，r()表示进行relu线性变换，dcon()代表3
×
3的空洞卷积操作，其下标为扩张率，g(x)代表对输入数据做门控计算操作后得到的权重系数，门控过程使用sigmoid函数来计算，sigmoid函数的计算公式如下：步骤3：整体的图像修复模型基于生成对抗网络的框架，采用两阶段的方式修复图像，具体处理方式为：(1)生成器的第一阶段网络生成粗修复图像，整体结构为u-net网络，其编码部分包含n个步骤2提出的空洞卷积门控残差块，n为u-net网络中编码部分层数；n为正整数；(2)生成器的第二阶段网络采用空间注意力机制生成最终修复图像，以第一阶段生成的缺陷区域图像为前景，以已知区域图像为背景，逐像素点计算前景与背景的余弦相似度，选取余弦相似度大的背景来生成前景，余弦相似度的计算公式如下：式中(x1,y1)表示背景图像的像素，(x2,y2)表示前景图像的像素，表示背景与前景的余弦相似度；(3)使用最小绝对误差损失和推土机距离损失的加权损失作为损失函数，并且使用惩罚函数对其进行正则化；最小绝对误差损失的计算公式为：式中，代表最小绝对误差损失，y
i
和f(x
i
)分别代表真实图像和估计的图像；式中，l
wgan
代表推土机距离损失，π(p
γ
,p
g
)表示所有的(x,y)的联合分布的集合；
联合损失函数的计算公式为：其中，l为整体的加权损失函数，为l1损失，l
wgan
为推土机距离损失，和为权重系数,λ为惩罚函数的惩罚系数，表示ω的l2范数；(4)使用步骤1中得到的训练集数据输入到步骤4和本步骤构建的网络模型中，使用损失函数进行训练优化，当损失函数不再下降时，停止模型训练，保存训练参数；步骤4：峰值信噪比反映生成图像与真实图像之间的失真程度的评价指标，单位是db，其计算公式为：其中，mse是均方根误差，max
i
是图像像素点的最大值，psnr是图像峰值信噪比；结构相识度用来衡量两张图像的结构相似度，值越大，生成图像的质量也越好,结构相识度使用均值估计亮度，标准差估计对比度，协方差估计结构相似度，其计算公式为：识度使用均值估计亮度，标准差估计对比度，协方差估计结构相似度，其计算公式为：识度使用均值估计亮度，标准差估计对比度，协方差估计结构相似度，其计算公式为：ssim(a,b)＝l(a,b)
×
c(a,b)
×
s(a,b)式中，μ
a
和μ
b
是图像a和b的像素平均值，σ
a
和σ
b
是图像a和b的像素标准差，σ
ab
是图像a和b的协方差，c1、c2、c3为常数，ssim为图像结构相似度；将步骤1中得到的测试集数据输入到已经训练好的网络模型中，得到修复后的图像，最后使用客观评价指标对修复效果进行评估。

技术总结
本发明所提供的一种基于生成对抗网络的图像修复的方法，以U-Net与注意力机制为基础，利用改进U-Net提取大范围、多尺度的特征信息，使用注意力机制网络获取全局特征信息，通过验证，本发明的修复算法具有更优秀的修复效果，具有广泛的应用价值。具有广泛的应用价值。具有广泛的应用价值。


技术研发人员：罗仁泽 罗任权 谭亮 李华督 邓治林 余泓
受保护的技术使用者：西南石油大学
技术研发日：2023.04.13
技术公布日：2023/7/12