一种图像处理方法与流程

1.本发明属于图像修复技术领域，更具体地说，是涉及一种图像处理方法。


背景技术：

2.用手机等电子设备拍摄图像时,常常会存在一些会降低图像的质量并且对之后图的干扰信号。干扰信号的处理是图像处理过程中的重要基础。
3.近年来，随着技术的进步，出现了很多优秀的图像处理算法，这些算法主要分为两大类：一类是基于人工特征的传统方法，另一类是基于深度学习的方法。其中，传统的图像处理方法的编码特征信息和真实图像的差距往往比较大，实际应用中的灵活性很低。基于深度学习的图像处理方法，存在在颜色分布、边缘衔接等细节信息上和真实图像存在一定的差异。


技术实现要素：

4.本发明的目的在于提供一种图像处理方法，旨在解决图像生成的细节特征较差的技术问题。
5.为实现上述目的，本发明采用的技术方案是：提供一种图像处理方法，包括以下步骤：
6.步骤1、构建第一生成对抗网络结构，所述第一生成对抗网络结构包括第一生成器、第二生成器，所述第一生成对抗网络还包括第一鉴别器、第二鉴别器；
7.步骤2、将向前性损失结构、反向损失结构引入所述第一生成对抗网络结构中形成第二循环生成对抗网络；
8.步骤3、将目标损失函数引入所述第二循环生成对抗网络结构中形成第三循环生成对抗网络结构；所述目标损失函数的公式为：
9.l(a,n,da,da)＝l
gan
(a,da,x,y)+l
gan
(n,dn,y,x)+l
pix
+λl
cyc
(a,n)+μl
ide
(a,n)；
10.其中，其中,l
gan
表示对抗损失，l
pix
表示像素损失，l
cyc
表示循环一致性损失，l
ide
表示特征损失，λ和μ分别是循环一致性损失和特征损失的权值参数，a表示第一生成器；n表示第二生成器；da为第一鉴别器；dn为第二鉴别器，x,y分别为不同的数据域；
11.步骤4、将待测图像输入所述第三循环生成对抗网络模型中。
12.优选地，步骤3中所述像素损失函数的公式为：
[0013][0014]
其中，()
p
表示一个像素点，x表示真实图像，z表示随机输入的噪声图像，g(z)是输入为时生成器生成的图像，‖()‖2表示求取欧氏距离。
[0015]
优选地，步骤3中所述特征损失函数的公式为：
[0016]
l
ide
(a,n)＝e
x～pdata(x)
[‖n(x)-x‖1]+e
y～pdata(y)
[‖a(y)-y‖1]；
[0017]
其中，pdata(x)表示x域中的样本分布，e
x～pdata(x)
表示x域中的第x个样本；pdata
(y)表示y域中的样本分布，e
y～pdata(y)
表示y域中的第y个样本，a表示第一生成器；n表示第二生成器。
[0018]
优选地，步骤3中所述循环一致性损失函数的公式为：
[0019][0020]
lcyc1＝e
x～pdata(x)
[||n(a(x))-x||1]+e
y～pdata(y)
[||a(n(y))-y||1]；
[0021]
lcyc2＝e
x～pdata(x)
[||n(a(x))-x||2]+e
y～pdata(y)
[||a(n(y))-y||2]。
[0022]
优选地，步骤3中所述对抗损失函数l
gan
(a,da,x,y)的公式为：
[0023]
l
gan
(a,da,x,y)＝e
x～pdata(x)
[da(a(x)))2]+e
y～pdata(y)
[(da(y)-1)2]，
[0024]
其中，p
data
(x)表示x域中的样本分布；p
data
(y)表示y域中的样本分布。
[0025]
优选地，步骤3中所述对抗损失函数l
gan
(n,dn,y,x)的公式为：
[0026]
l
gan
(n,dn,y,x)＝e
y～pdata(y)
[dn(a(y)))2]+e
x～pdata(x)
[(dn(x)-1)2]，
[0027]
其中，p
data
(y)表示y域中的样本分布；p
data
(x)表示x域中的样本分布，dn为第二鉴别器。
[0028]
优选地，输入所述第一鉴别器的图像尺寸大小与输入所述第二鉴别器的图像尺寸大小不同。
[0029]
优选地，输入所述第一鉴别器的图像尺寸大小大于输入所述第二鉴别器的图像尺寸大小。
[0030]
优选地，μ的权值参数为1。
[0031]
本发明还提供一种图像处理系统，包括：
[0032]
第一网络结构模块，用于构建第一生成对抗网络结构，所述第一生成对抗网络结构包括第一生成器、第二生成器，所述第一生成对抗网络还包括第一鉴别器、第二鉴别器；
[0033]
第二网络结构模块，用于将向前性损失结构、反向损失结构引入所述第一生成对抗网络结构中形成第二循环生成对抗网络；
[0034]
第三网络结构模块，用于将目标损失函数引入所述第二循环生成对抗网络结构中形成第三循环生成对抗网络结构；
[0035]
输入模块，用于将待测图像输入所述第三循环生成对抗网络模型中。
[0036]
本发明还提供一种图像处理系统，包括：
[0037]
第一网络结构模块，用于构建第一生成对抗网络结构，所述第一生成对抗网络结构包括第一生成器、第二生成器，所述第一生成对抗网络还包括第一鉴别器、第二鉴别器；
[0038]
第二网络结构模块，用于将向前性损失结构、反向损失结构引入所述第一生成对抗网络结构中形成第二循环生成对抗网络；
[0039]
第三网络结构模块，用于将目标损失函数引入所述第二循环生成对抗网络结构中形成第三循环生成对抗网络结构；
[0040]
输入模块，用于将待测图像输入所述第三循环生成对抗网络模型中。
[0041]
本发明提供的一种图像处理方法的有益效果在于：与现有技术相比，本发明一种图像处理方法，生成的图像在细节信息上能够更加接近真实图像。能很好的还原图像的颜色和细节特征。
附图说明
[0042]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043]
图1为本发明实施例提供的一种图像处理方法的流程框图；
[0044]
图2为本发明实施例提供的一种图像处理方法所采用的鉴别器的网络结构示意图。
[0045]
图中：1、第一网络结构模块；2、第二网络结构模块；3、第三网络结构模块；4、输入模块。
具体实施方式
[0046]
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0047]
请一并参阅图1及图2，现对本发明提供的一种图像处理方法进行说明。所述一种图像处理方法，包括以下步骤：
[0048]
步骤s1、构建第一生成对抗网络结构，所述第一生成对抗网络结构包括第一生成器a、第二生成器n，所述第一生成对抗网络还包括第一鉴别器da、第二鉴别器dn；
[0049]
在第一生成对抗网络结构中，生成器用于生成图像。鉴别器用于判断生成器生成的图像与真实图像的相似程度，然后将判别结果反馈给生成器。鉴别器的数值越靠近1说明生成的图像越与真实图像相似。
[0050]
在该步骤中。两个数据域分别为x、y。第二鉴别器输出的结果激励第一生成器将x域中的图片向y域中转换。第一鉴别器输出的结果激励第二生成器将y域中的图片向x域中转换。
[0051]
在该步骤中输入第一鉴别器的图像尺寸大小与输入第二鉴别器的图像尺寸大小不同。具体的是，输入所述第一鉴别器的图像尺寸大小大于输入所述第二鉴别器的图像尺寸大小。更具体的是，第一鉴别器与第二鉴别器的结构相同，均为多尺度鉴别器。第一鉴别器含有7个卷积层和1个全连接层。卷积层的卷积核尺寸为3*3。全连接层为1024。7个卷积层分别为8、16、32、64、128、256、512。
[0052]
第一鉴别器、第二鉴别器可以学习局部和非局部信息以及高级别和低级别特征信息，输出的判别结果能够更准确地反映出生成的去噪图像和真实图像在细节和整体上的相似程度，进而激励生成器生成的图像在细节和整体都能够更好地还原真实图像。
[0053]
步骤s2、将向前损失结构、反向损失结构引入所述第一生成对抗网络结构中形成第二循环生成对抗网络；
[0054]
第一生成器为a，第二生成器为n。第一鉴别器为da，第二鉴别器为dn。
[0055]
向前损失结构的公式为：
[0056]
x＝n(a(x))≈x，
[0057]
该向前损失结构中x域中的图片通过生成器a向y域中转换后的结果，再经过生成
器n之后依然能转换成x域中的图片。
[0058]
反向损失结构的公式为：
[0059]
y＝a(n(y))≈y，
[0060]
该反向损失结构中y域中的图片通过生成器n向x域中转换后的结果，再经过生成器a之后依然能转换成y域中的图片。
[0061]
步骤s3、将目标损失函数引入所述第二循环生成对抗网络结构中形成第三循环生成对抗网络结构；所述目标损失函数的公式为：
[0062]
l(a,n,da,da)＝l
gan
(a,da,x,y)+l
gan
(n,dn,y,x)+l
pix
+λl
cyc
(a,n)+μl
ide
(a,n)；
[0063]
其中,l
gan
表示对抗损失，l
pix
表示像素损失，l
cyc
表示循环一致性损失，l
ide
表示特征损失，λ和μ分别是循环一致性损失和特征损失的权值参数；μ的权值参数为1。
[0064]
在该步骤s3中，像素损失函数的公式为：
[0065][0066]
其中，()
p
表示一个像素点，x表示真实图像，z表示随机输入的噪声图像，g(z)是输入为z时生成器生成的图像，‖()‖2表示求取欧氏距离。
[0067]
可通过像素损失函数对像素进行平均，增强图片的细节，最小化生成的图像和真实图像之间的像素误差从而使生成的去噪图像能更接近真实图像的像素分布。
[0068]
特征损失函数的公式为：
[0069]
l
ide
(a,n)＝e
x～pdata(x)
[‖n(x)-x‖1]+e
y～pdata(y)
[‖a(y)-y‖1]
[0070]
其中，pdata(x)表示x域中的样本分布，e
x～pdata(x)
表示x域中的第x个样本；pdata(y)表示y域中的样本分布，e
y～pdata(y)
表示y域中的第y个样本，a表示第一生成器；n表示第二生成器。
[0071]
特征损失函数能实现映射n：y
→
x；a:x
→
y。生成器a是用来生成y域中的图像，因此当输入为y域中的图像时，希望生成器a生成的图像能尽可能地接近图像。引入特征损失能使生成器a增加图像y的输入，同时使生成器n增加图像的输入，从而让判别器判别生成的图像与原图像的差异，并将结果反馈给生成器。特征损失函数能解决x域到y域的生成图像可能存在改变原图像颜色细节的问题。
[0072]
对抗损失函数公式为：
[0073]
l
gan
(a,da,x,y)＝e
x～pdata(x)
[da(a(x)))2]+e
y～pdata(y)
[(da(y)-1)2]，
[0074]
其中，p
data
(x)表示x域中的样本分布；p
data
(y)表示y域中的样本分布。
[0075]
l
gan
(n,dn,y,x)＝e
y～pdata(y)
[dn(a(y)))2]+e
x～pdata(x)
[(dn(x)-1)2]，
[0076]
其中，p
data
(y)表示y域中的样本分布；p
data
(x)表示x域中的样本分布，dn为第二鉴别器。
[0077]
该对抗损失函数的使用能使判别器在对图像进行判别后，将图像重新放回决策边界，提高图像的质量。
[0078]
生成器a的作用就是生成尽可能接近y域的图像，判别器dn则要判断a生成的图像与y域中真实图像的相似程度并将结果反馈给a，以此来激励a生成更接近y域中真实图像的图像。
[0079]
循环一致性损失函数的公式为：
[0080][0081]
lcyc1＝e
x～pdata(x)
[||n(a(x))-x||1]+e
y～pdata(y)
[||a(n(y))-y||1]；l1范数；
[0082]
lcyc2＝e
x～pdata(x)
[||n(a(x))-x||2]+e
y～pdata(y)
[||a(n(y))-y||2]；l2范数。
[0083]
该循环一致性损失函数的计算容易，能更高效的去除图像的干扰信号。
[0084]
步骤s4、将待测图像输入所述第三循环生成对抗网络模型中。
[0085]
本发明提供的一种图像处理方法，与现有技术相比，生成的去噪图像在细节信息上能够更加接近真实图像。能很好的还原图像的颜色和细节特征。
[0086]
本发明还提供了一种图像处理系统，包括：第一网络结构模块1、第二网络结构模块2、第三网络结构模块3以及输入模块4，第一网络结构模块1用于构建第一生成对抗网络结构，第一生成对抗网络结构包括第一生成器、第二生成器，所述第一生成对抗网络还包括第一鉴别器、第二鉴别器；第二网络结构模块2用于将向前性损失结构、反向损失结构引入第一生成对抗网络结构中形成第二循环生成对抗网络；第三网络结构模块3用于将目标损失函数引入第二循环生成对抗网络结构中形成第三循环生成对抗网络结构；输入模块4用于将待测图像输入第三循环生成对抗网络模型中。
[0087]
请参阅表1通过结构相似性指数值和峰值信噪比定量分析了本算法的性能。由表1可知采用gcanet算法的结构相似性指数值和峰值信噪比的数值最低。本算法的结构相似性指数值和峰值信噪比的数值最高。本算法相比其他的几种对比算法具有最好的图像重建能力。由此可证明本文所提出算法的有效性。
[0088]
算法结构相似性指数值峰值信噪比(db)gcanet算法0.75818.891gcbd算法0.77223.46cyclewgan算法0.89628.23本算法0.97529.47
[0089]
表1不同算法性能指标对比结果
[0090]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种图像处理方法，其特征在于，包括以下步骤：步骤1、构建第一生成对抗网络结构，所述第一生成对抗网络结构包括第一生成器、第二生成器，所述第一生成对抗网络还包括第一鉴别器、第二鉴别器；步骤2、将向前性损失结构、反向损失结构引入所述第一生成对抗网络结构中形成第二循环生成对抗网络；步骤3、将目标损失函数引入所述第二循环生成对抗网络结构中形成第三循环生成对抗网络结构；所述目标损失函数的公式为：l(a,n,d
n
,d
a
)＝l
gan
(n,d
n
,y,x)+μl
ide
(a,n)+l
pix
+λl
cyc
(a,n)+l
gan
(a,d
a
,x,y)；其中，其中,l
gan
表示对抗损失，l
pix
表示像素损失，l
cyc
表示循环一致性损失，l
ide
表示特征损失，λ和μ分别是循环一致性损失和特征损失的权值参数，a表示第一生成器；n表示第二生成器；d
a
为第一鉴别器；d
n
为第二鉴别器，x,y分别为不同的数据域；步骤4、将待测图像输入所述第三循环生成对抗网络模型中。2.如权利要求1所述的一种图像处理方法，其特征在于，步骤3中所述像素损失函数的公式为：其中，()
p
表示一个像素点，x表示真实图像，z表示随机输入的噪声图像，g(z)是输入为z时生成器生成的图像，‖()‖2表示求取欧氏距离。3.如权利要求2所述的一种图像处理方法，其特征在于，步骤3中所述特征损失函数的公式为：l
ide
(a,n)＝e
x～pdata(x)
[‖n(x)-x‖1]+e
y～pdata(y)
[‖a(y)-y‖1]；其中，pdata(x)表示x域中的样本分布，e
x～pdata(x)
表示x域中的第x个样本；pdata(y)表示y域中的样本分布，e
y～pdata(y)
表示y域中的第y个样本，a表示第一生成器；n表示第二生成器。4.如权利要求3所述的一种图像处理方法，其特征在于，步骤3中所述循环一致性损失函数的公式为：lcyc1＝e
x～pdata(x)
[||n(a(x))-x||1]+e
y～pdata(y)
[||a(n(y))-y||1]；lcyc2＝e
x～pdata(x)
[||n(a(x))-x||2]+e
y～pdata(y)
[||a(n(y))-y||2]。5.如权利要求1所述的一种图像处理方法，其特征在于，步骤3中所述对抗损失函数l
gan
(a,d
a
,x,y)的公式为：l
gan
(a,d
a
,x,y)＝e
x～pdata(x)
[d
a
(a(x)))2]+e
y～pdata(y)
[(d
a
(y)-1)2]，其中，p
data
(x)表示x域中的样本分布；p
data
(y)表示y域中的样本分布。6.如权利要求2所述的一种图像处理方法，其特征在于，步骤3中所述对抗损失函数l
gan
(n,d
n
,y,x)的公式为：l
gan
(n,d
n
,y,x)＝e
y～pdata(y)
[d
n
(a(y)))2]+e
x～pdata(x)
[(d
n
(x)-1)2]，其中，p
data
(y)表示y域中的样本分布；p
data
(x)表示x域中的样本分布，d
n
为第二鉴别器。
7.如权利要求1所述的一种图像处理方法，其特征在于，输入所述第一鉴别器的图像尺寸大小与输入所述第二鉴别器的图像尺寸大小不同。8.如权利要求7所述的一种图像处理方法，其特征在于，输入所述第一鉴别器的图像尺寸大小大于输入所述第二鉴别器的图像尺寸大小。9.如权利要求1所述的一种图像处理方法，其特征在于，μ的权值参数为1。10.一种图像处理系统，包括：第一网络结构模块(1)，用于构建第一生成对抗网络结构，所述第一生成对抗网络结构包括第一生成器、第二生成器，所述第一生成对抗网络还包括第一鉴别器、第二鉴别器；第二网络结构模块(2)，用于将向前性损失结构、反向损失结构引入所述第一生成对抗网络结构中形成第二循环生成对抗网络；第三网络结构模块(3)，用于将目标损失函数引入所述第二循环生成对抗网络结构中形成第三循环生成对抗网络结构；输入模块(4)，用于将待测图像输入所述第三循环生成对抗网络模型中。

技术总结
本发明提供了一种图像处理方法，属于图像修复技术领域，包括以下步骤：步骤1、构建第一生成对抗网络结构，所述第一生成对抗网络结构包括第一生成器、第二生成器，所述第一生成对抗网络还包括第一鉴别器、第二鉴别器；步骤2、将向前性损失结构、反向损失结构引入所述第一生成对抗网络结构中形成第二循环生成对抗网络；步骤3、将目标损失函数引入所述第二循环生成对抗网络结构中形成第三循环生成对抗网络结构；步骤4、将待测图像输入所述第三循环生成对抗网络模型中。本发明提供的一种图像处理方法，生成的图像在细节信息上能够更加接近真实图像,能很好的还原图像的颜色和细节特征。图像,能很好的还原图像的颜色和细节特征。图像,能很好的还原图像的颜色和细节特征。


技术研发人员：胡俊涛 赵春 王雨
受保护的技术使用者：胡俊涛
技术研发日：2023.07.13
技术公布日：2023/10/7