一种融合鉴别器的单幅图像去雾方法

1.本发明涉及图像去雾处理技术领域，尤其涉及一种融合鉴别器的单幅图像去雾方法。


背景技术：

2.雾是一种常见的大气现象，其中灰尘、烟雾或其他漂浮颗粒极大地吸收和散射光，导致图像质量下降。有雾图像通常会丢失对比度、色彩保真度和边缘信息，这会降低场景的可见性，进而对许多后续的计算机视觉任务和相关应用(如分类、定位和自动驾驶系统)带来极大的困扰。因此，利用图像去雾技术去除图像中的雾霾并提高图像清晰度具有重要的现实意义和应用价值。
3.目前，图像去雾算法主要分为三类:基于图像增强的去雾算法、基于物理模型的去雾算法、基于深度学习的去雾算法。基于图像增强的去雾算法主要是增强图像的对比度和饱和度，来提升图像质量的视觉效果，但忽略了有雾图像的降质因素，可能会发生图像中部分信息丢失的情况，导致图像失真。基于物理模型的去雾算法主要通过合理的假设和先验知识估计有雾图像的透射率和大气光，并带入大气散射模型中，得到去雾后的图像，虽然这类算法可恢复良好的图像细节，但当采用的假设和先验在一些特定场景下不成立时，会造成去雾后的图像存在伪影、颜色失真及过饱和等问题。基于深度学习的去雾算法利用卷积神经网络从大量训练数据中提取图像特征，同时学习图像对之间的映射关系。其去雾算法可分为两种：一种是基于大气散射模型，利用神经网络对模型中的参数进行估计，达到去雾效果；另一种是直接学习有雾图像到清晰图像之间的映射关系，输出去雾后的图像，完成端到端的图像去雾。前者缺乏对中间参数的联合估计，且在优化过程中对图像去雾后的质量约束比较单一，而后者端到端的图像去雾算法中对有雾图像特征提取不充分，输出的去雾图像往往存在颜色失真、残留雾霾和细节丢失等问题。


技术实现要素：

4.针对现有去雾技术中去雾后的图像存在细节丢失、颜色失真和伪影等问题，本发明提出一种融合鉴别器的单幅图像去雾方法。该方法与其他生成对抗网络不同的是，在生成器上增加了细节增强(de)模块，使每一层生成的图的细节都得到了增强，进而提高了去雾图像的细节质量；同时引入了一种将频率信息作为附加先验信息的融合鉴别器，使去雾图像减少颜色失真和伪影。
5.本发明提出的一种融合鉴别器的单幅图像去雾方法，步骤如下：
6.s1、构建训练用的无雾图像和其对应的有雾图像组成成对数据集，并进行图像预处理；
7.s2、搭建图像去雾模型
8.在生成器网络上引入了一个细节增强(de)模块，该模块通过对生成模块的各层网络细节进行修正，以提高去雾图像的细节质量；
9.在鉴别器网络上额外增加图像的高频(hf)和低频(lf)信息，将它们作为附加的先验和约束集成到鉴别器中，此融合鉴别器可以减少颜色失真，具有很强的去雾能力；
10.s3、设计联合损失函数,在损失函数中加入感知损失，以增加图像的细节信息，使去雾图像更具有视觉真实性；
11.s4、将所述训练数据集输入搭建的图像去雾模型中进行训练，得到优化后的去雾模型,输入有雾图像到训练好的去雾模型中，得到清晰无雾图像。
12.可选的,所述步骤s1的图像预处理先将图像像素尺寸放大到286
×
286，再中心裁剪成像素尺寸为256
×
256的图像。
13.可选的，所述步骤s2中搭建图像去雾模型具体包括以下子步骤：
14.s21、搭建生成器网络中的生成模块，所述的生成模块由卷积层conv、实例归一化in层和激活函数relu层组成，第一个卷积层conv1的核大小为1
×
1，第二个卷积层conv2的核大小为3
×
3，第三个卷积层conv3的核大小为5
×
5，第四个卷积层conv4的核大小为7
×
7，第五个卷积层conv5的核大小为3
×
3，第六个卷积层conv6的核大小为1
×
1，将雾图输入到生成模块中，输出无雾图像g(i)；
15.s22、搭建生成器网络中的de模块，所述的de模块由卷积层conv、实例归一化in层和激活函数relu层构成，这些层具有相同的结构，其卷积层的核大小皆为1
×
1，该模块主要是利用上采样操作和非线性空间转移，吸收训练数据集的低级特征，然后输出相同数据的高级特征，为生成模块提供指导，确保生成模块在生成清晰无雾图像时不会有大的偏差；
16.s23、对真实图像j和生成图像g(i)应用拉普拉斯算子以获得其对应的高频(hf)信息j
hf
和g(i)
hf
，用以强调图像的边缘、纹理、细节等；
17.s24、对真实图像j和生成图像g(i)分别应用高斯滤波器以获得其对应的低频(lf)信息j
lf
和g(i)
lf
，用以强调图像的亮度、颜色和对比度信息；
18.s25、搭建图像去雾模型中的融合鉴别器网络，该网络由5个卷积层conv组成，且每个卷积层的核大小皆为4
×
4，首先将生成器生成的图像g(i)和其对应的g(i)
hf
，g(i)
lf
进行级联或真实图像j和其对应的j
hf
，j
lf
进行级联，接着送入鉴别器进行训练，利用hf和lf信息帮助鉴别器区分有雾图像和无雾图像之间的纹理和主要颜色的差异，便于生成器生成更真实、更清晰的图像。
19.可选的，所选步骤s3中所述图像去雾模型的联合损失函数为：
20.所述感知损失l
p
为：
[0021][0022]
其中，m表示图像生成器处理的样本个数，φ(g(ii))表示vgg16网络内的第30层获得的生成图像g(ii)的特征图，φ(ji)表示vgg16网络内的第30层获得的真实图像ji的特征图；
[0023]
所述像素损失l1为：
[0024][0025]
其中，m表示图像生成器处理的样本个数，ii表示输入的有雾图像，g(ii)表示生成器输出的无雾图像，ji表示真实无雾图像；
[0026]
所述结构相似性ssim损失ls为：
[0027][0028]
ls＝1-ssim(g(i),j)
[0029]
其中，μ
g(i)
表示生成图像g(i)的平均值，μj表示真实图像j的平均值，表示生成图像g(i)的方差，表示真实图像j的方差，σ
g(i)j
表示生成图像g(i)和真实图像j的协方差，c1和c2表示用于保持稳定性的常数；
[0030]
所述对抗损失lg为：
[0031]
lg＝log(1-d
fusion
(g(i)
◇
g(i)
lf
◇
g(i)
hf
))
[0032]
其中，
◇
表示级联操作，g(i)
lf
表示生成图像g(i)的低频信息，g(i)
hf
表示生成图像g(i)的高频信息，d
fusion
(g(i)
◇
g(i)
lf
◇
g(i)
hf
)表示级联操作后的生成图像为无雾图像的概率；
[0033]
所述联合损失函数为：
[0034]
l＝l1+τ1l
p
+τ2ls+τ3lg[0035]
其中，τ1表示感知损失l
p
的超参数权重，值为0.01，τ2表示结构相似性ssim损失ls的超参数权重，值为0.5，τ3表示对抗损失lg的超参数权重，值为0.0005。
[0036]
与现有技术相比，本发明的有益效果是：本发明提供了一种融合鉴别器的单幅图像去雾方法，增强了去雾效果，提高雾天图像的判别性，解决了现有图像去雾任务中存在的细节丢失、颜色失真和伪影等问题。
[0037]
本发明的主要创新点有：(1)在生成器上增加了de模块，该模块将数据分布的高级特征映射到数据的低级表示，并提供特征映射以通过处理图像训练集来过滤数据和参数，使每一层生成图的细节都得到了加强；(2)设计了一种新的融合鉴别器，由于高频信息表示图像中像素值急剧变化的区域，而低频信息表示图像中像素值缓慢变化的区域，故将集成的频率信息作为鉴别器学习过程中额外的先验知识和约束条件，提高了图像去雾能力，并能产生更真实、更清晰的图像。
附图说明
[0038]
图1为本发明实施例所提出的一种融合鉴别器的单幅图像去雾方法的流程图。
[0039]
图2为本发明实施例所提出的生成器的结构示意图。
[0040]
图3为本发明实施例所提出的融合鉴别器的结构示意图。
具体实施方式
[0041]
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和实施例，对本发明做进一步详细说明。此处所描述的具体实施例只作为示例，用于更加清楚地解释本发明的技术方案，并不用于限定本发明的保护范围。
[0042]
本发明实施例提出一种融合鉴别器的单幅图像去雾方法，如图1所示，包括以下步骤：
[0043]
s1、构建训练用的无雾图像和其对应的有雾图像组成成对数据集，并进行图像预
处理；
[0044]
s2、搭建图像去雾模型
[0045]
在生成器网络上引入了一个细节增强(de)模块，该模块通过对生成模块的各层网络细节进行修正，以提高去雾图像的细节质量；
[0046]
在鉴别器网络上额外增加图像的高频(hf)和低频(lf)信息，将它们作为附加的先验和约束集成到鉴别器中，此融合鉴别器可以减少颜色失真，具有很强的去雾能力；
[0047]
s3、设计联合损失函数，在损失函数中加入感知损失，以增加图像的细节信息，使去雾图像更具有视觉真实性；
[0048]
s4、将所述训练数据集输入搭建的图像去雾模型中进行训练，得到优化后的去雾模型，输入有雾图像到训练好的去雾模型中，得到清晰无雾图像。
[0049]
在本发明实施例中，步骤s1的图像预处理先将图像像素尺寸放大到286
×
286，再中心裁剪成像素尺寸为256
×
256的图像。
[0050]
在本发明实施例中，如图2和图3所示，步骤s2中搭建图像去雾模型具体包括以下子步骤：
[0051]
s21、搭建生成器网络中的生成模块，所述的生成模块由卷积层conv、实例归一化in层和激活函数relu层组成，第一个卷积层conv1的核大小为1
×
1，第二个卷积层conv2的核大小为3
×
3，第三个卷积层conv3的核大小为5
×
5，第四个卷积层conv4的核大小为7
×
7，第五个卷积层conv5的核大小为3
×
3，第六个卷积层conv6的核大小为1
×
1，将雾图输入到生成模块中，输出无雾图像g(i)；
[0052]
s22、搭建生成器网络中的de模块，所述的de模块由卷积层conv、实例归一化in层和激活函数relu层构成，这些层具有相同的结构，其卷积层的核大小皆为1
×
1，该模块主要是利用上采样操作和非线性空间转移，吸收训练数据集的低级特征，然后输出相同数据的高级特征，为生成模块提供指导，确保生成模块在生成清晰无雾图像时不会有大的偏差；
[0053]
s23、对真实图像j和生成图像g(i)，首先将rgb图像转换为灰度图像，然后应用拉普拉斯算子获得其对应的高频(hf)信息j
hf
和g(i)
hf
，用以强调图像的边缘、纹理、细节等；
[0054]
s24、对真实图像j和生成图像g(i)分别应用窗口大小为15，标准偏差σ＝3的高斯滤波器以获得其对应的低频(lf)信息j
lf
和g(i)
lf
，用以强调图像的亮度、颜色和对比度信息；
[0055]
s25、搭建图像去雾模型中的融合鉴别器网络，该网络由5个卷积层conv组成，且每个卷积层的核大小皆为4
×
4。首先将生成器生成的图像g(i)和其对应的g(i)
hf
，g(i)
lf
进行级联或真实图像j和其对应的j
hf
，j
lf
进行级联，接着送入鉴别器进行训练，利用hf和lf信息帮助鉴别器区分有雾图像和无雾图像之间的纹理和主要颜色的差异，便于生成器生成更真实、更清晰的图像。
[0056]
在本发明实施例中，步骤s3中所述图像去雾模型的联合损失函数为：
[0057]
所述感知损失l
p
为：
[0058][0059]
其中，m表示图像生成器处理的样本个数，φ(g(ii))表示vgg16网络内的第30层获得的生成图像g(ii)的特征图，φ(ji)表示vgg16网络内的第30层获得的真实图像ji的特征
图；
[0060]
所述像素损失l1为：
[0061][0062]
其中，m表示图像生成器处理的样本个数，ii表示输入的有雾图像，g(ii)表示生成器输出的无雾图像，ji表示真实无雾图像；
[0063]
所述结构相似性ssim损失ls为：
[0064][0065]
ls＝1-ssim(g(i),j)
[0066]
其中，μ
g(i)
表示生成图像g(i)的平均值，μj表示真实图像j的平均值，表示生成图像g(i)的方差，表示真实图像j的方差，σ
g(i)j
表示生成图像g(i)和真实图像j的协方差，c1和c2表示用于保持稳定性的常数；
[0067]
所述对抗损失lg为：
[0068]
lg＝log(1-d
fusion
(g(i)
◇
g(i)
lf
◇
g(i)
hf
))
[0069]
其中，
◇
表示级联操作，g(i)
lf
表示生成图像g(i)的低频信息，g(i)
hf
表示生成图像g(i)的高频信息，d
fusion
(g(i)
◇
g(i)
lf
◇
g(i)
hf
)表示级联操作后的生成图像为无雾图像的概率；
[0070]
所述联合损失函数为：
[0071]
l＝l1+τ1l
p
+τ2ls+τ3lg[0072]
其中，τ1表示感知损失l
p
的超参数权重，值为0.01，τ2表示结构相似性ssim损失ls的超参数权重，值为0.5，τ3表示对抗损失lg的超参数权重，值为0.0005。
[0073]
在本发明实施例中，步骤s4首先将所述训练数据集分为训练集和测试集，利用所述训练集对所述图像去雾模型进行训练，利用所述测试集对所述图像去雾模型进行测试；接着在训练过程中，我们使用adam优化器，初始学习率为0.0001，直到所述测试结果达到预设准确率时，得到优化后的所述图像去雾模型；最后将需要去雾的图像输入到训练好的图像去雾模型中，得到清晰图像。
[0074]
以上各实施例仅用于对本发明作进一步的详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。凡在不脱离本发明技术原理的前提下，做出若干等同替代或明显变型等，都应当视为属于本发明的保护范围。

技术特征：
1.一种融合鉴别器的单幅图像去雾方法，其特征在于，包括如下步骤：s1、构建训练用的无雾图像和其对应的有雾图像组成成对数据集，并进行图像预处理；s2、搭建图像去雾模型在生成器网络上引入了一个细节增强(de)模块，该模块通过对生成模块的各层网络细节进行修正，以提高去雾图像的细节质量；在鉴别器网络上额外增加图像的高频(hf)和低频(lf)信息，将它们作为附加的先验和约束集成到鉴别器中，此融合鉴别器可以减少颜色失真，具有很强的去雾能力；s3、设计联合损失函数，在损失函数中加入感知损失，以增加图像的细节信息，使去雾图像更具有视觉真实性；s4、将所述训练数据集输入搭建的图像去雾模型中进行训练，得到优化后的去雾模型，输入有雾图像到训练好的去雾模型中，得到清晰无雾图像。2.如权利要求1所述的一种融合鉴别器的单幅图像去雾方法，其特征在于，所述步骤s1的图像预处理先将图像像素尺寸放大到286
×
286，再中心裁剪成像素尺寸为256
×
256的图像。3.如权利要求1所述的一种融合鉴别器的单幅图像去雾方法，其特征在于，所述步骤s2中搭建图像去雾模型具体包括以下子步骤：s21、搭建生成器网络中的生成模块，所述的生成模块由卷积层conv、实例归一化in层和激活函数relu层组成，第一个卷积层conv1的核大小为1
×
1，第二个卷积层conv2的核大小为3
×
3，第三个卷积层conv3的核大小为5
×
5，第四个卷积层conv4的核大小为7
×
7，第五个卷积层conv5的核大小为3
×
3，第六个卷积层conv6的核大小为1
×
1，将雾图输入到生成模块中，输出无雾图像g(i)；s22、搭建生成器网络中的de模块，所述的de模块由卷积层conv、实例归一化in层和激活函数relu层构成，这些层具有相同的结构，其卷积层的核大小皆为1
×
1，该模块主要是利用上采样操作和非线性空间转移，吸收训练数据集的低级特征，然后输出相同数据的高级特征，为生成模块提供指导，确保生成模块在生成清晰无雾图像时不会有大的偏差；s23、对真实图像j和生成图像g(i)应用拉普拉斯算子以获得其对应的高频(hf)信息j
hf
和g(i)
hf
，用以强调图像的边缘、纹理、细节等；s24、对真实图像j和生成图像g(i)分别应用高斯滤波器以获得其对应的低频(lf)信息j
lf
和g(i)
lf
，用以强调图像的亮度、颜色和对比度信息；s25、搭建图像去雾模型中的融合鉴别器网络，该网络由5个卷积层conv组成，且每个卷积层的核大小皆为4
×
4，首先将生成器生成的图像g(i)和其对应的g(i)
hf
，g(i)
lf
进行级联或真实图像j和其对应的j
hf
，j
lf
进行级联，接着送入鉴别器进行训练，利用hf和lf信息帮助鉴别器区分有雾图像和无雾图像之间的纹理和主要颜色的差异，便于生成器生成更真实、更清晰的图像。4.如权利要求1所述的一种融合鉴别器的单幅图像去雾方法，其特征在于，所述步骤s3中所述图像去雾模型的联合损失函数为：所述感知损失l
p
为：
其中，m表示图像生成器处理的样本个数，φ(g(i
i
))表示vgg16网络内的第30层获得的生成图像g(i
i
)的特征图，φ(j
i
)表示vgg16网络内的第30层获得的真实图像j
i
的特征图；所述像素损失l1为：其中，m表示图像生成器处理的样本个数，i
i
表示输入的有雾图像，g(i
i
)表示生成器输出的无雾图像，j
i
表示真实无雾图像；所述结构相似性ssim损失l
s
为：l
s
＝1-ssim(g(i),j)其中，μ
g(i)
表示生成图像g(i)的平均值，μ
j
表示真实图像j的平均值，表示生成图像g(i)的方差，表示真实图像j的方差，σ
g(i)j
表示生成图像g(i)和真实图像j的协方差，c1和c2表示用于保持稳定性的常数；所述对抗损失l
g
为：l
g
＝log(1-d
fusion
(g(i)
◇
g(i)
lf
◇
g(i)
hf
))其中，
◇
表示级联操作，g(i)
lf
表示生成图像g(i)的低频信息，g(i)
hf
表示生成图像g(i)的高频信息，d
fusion
(g(i)
◇
g(i)
lf
◇
g(i)
hf
)表示级联操作后的生成图像为无雾图像的概率；所述联合损失函数为：l＝l1+τ1l
p
+τ2l
s
+τ3l
g
其中，τ1表示感知损失l
p
的超参数权重，值为0.01，τ2表示结构相似性ssim损失l
s
的超参数权重，值为0.5，τ3表示对抗损失l
g
的超参数权重，值为0.0005。

技术总结
本发明公开了一种融合鉴别器的单幅图像去雾方法，步骤如下：构建训练用的无雾图像和其对应的有雾图像组成成对数据集，并进行图像预处理；搭建图像去雾模型,其中，在生成器网络上引入了一个细节增强(DE)模块，在鉴别器网络上额外增加图像的高频(HF)和低频(LF)信息，将它们作为附加的先验和约束集成到鉴别器中；设计联合损失函数,在损失函数中加入感知损失；将所述训练数据集输入搭建的图像去雾模型中进行训练，得到优化后的去雾模型,接着输入有雾图像到训练好的去雾模型中，得到清晰无雾图像。本发明在视觉上产生了令人愉快的去雾效果，解决了输出的去雾图像存在细节丢失、颜色失真和伪影等问题。失真和伪影等问题。失真和伪影等问题。


技术研发人员：段锦 万晓玲 王佳林 陈广秋 姚安妮 刘举
受保护的技术使用者：长春理工大学
技术研发日：2023.07.13
技术公布日：2023/10/11