一种基于深度学习的图像去雾处理方法及装置与流程

1.本发明涉及计算机视觉领域，尤其涉及的是一种基于深度学习的图像去雾处理方法及装置。


背景技术：

2.图像去雾技术是通过消除大气散射效应，从而改善图像质量的一种图像处理方法，在计算机视觉领域有着广泛的应用。有雾图像通常受到雾霾、光照不足、噪点等因素的影响，导致图像质量下降，细节模糊，难以识别和分析。图像去雾技术可以去除这些影响，提高图像的质量和可视性，从而更好地满足人类视觉需求。
3.目前在图像去雾技术中，cyclegan是一种用于无监督图像转换的生成对抗网络，已被应用于许多计算机视觉任务中。cyclegan通过学习两个不同域之间的映射，可以在无需匹配数据的情况下进行图像转换。cycle-dehazing算法基于cyclegan的原理将有雾图像转换为无雾图像，实现去雾功能，但其模型特征提取单一，仅利用无监督的训练方法，无法有效对图像去雾。
4.因此，现有技术存在缺陷，有待改进与发展。


技术实现要素：

5.本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于深度学习的图像去雾处理方法及装置，旨在解决现有技术中无法有效对图像去雾的问题。
6.本发明解决技术问题所采用的技术方案如下：一种基于深度学习的图像去雾处理方法，其中，包括：获取待处理的原始图像，提取所述原始图像中的各个目标特征图，将各个所述目标特征图融合，得到输入特征图；将所述输入特征图输入预先训练的图像去雾模型，得到去雾图像；所述图像去雾模型是由预先构建的合成数据集对预先构建的初始图像去雾模型进行模型训练得到初始训练模型后，由预先构建的真实场景数据集对所述初始训练模型进行模型训练得到。
7.在一种实现方式中，所述图像去雾模型的训练步骤包括：构建合成数据集和真实场景数据集；构建初始图像去雾模型；利用所述合成数据集对所述初始图像去雾模型进行模型训练，得到初始训练模型；利用所述真实场景数据集对所述初始训练模型进行训练，得到已训练的图像去雾模型。
8.在一种实现方式中，所述构建合成数据集和真实场景数据集，包括：获取原始无雾图像、透射率图及预设全局大气光，所述透射率图是随机生成一个
深度图后应用预设指数衰减函数得到；获取预设大气退化模型公式，将所述原始无雾图像、所述透射率图及所述预设全局大气光代入所述预设大气退化模型公式，得到与所述原始无雾图像相匹配的合成有雾图像；根据所述原始无雾图像和所述合成有雾图像构建所述合成数据集；采集真实场景下的真实有雾图像和真实无雾图像，根据所述真实有雾图像和所述真实无雾图像构建所述真实场景数据集。
9.在一种实现方式中，所述构建初始图像去雾模型，包括：采用类cyclegan的双生成器和双判别器的循环网络模型作为框架，所述双生成器包括去雾生成器和合成雾图生成器，所述去雾生成器和所述合成雾图生成器均采用类unet的结构；构建所述去雾生成器和所述合成雾图生成器的自适应混合加权跳层连接模块；构建所述自适应混合加权跳层连接模块中的特征融合层；构建多层感知损失函数以及监督绝对值损失函数。
10.在一种实现方式中，利用所述合成数据集对所述初始图像去雾模型进行模型训练，得到初始训练模型，包括：获取所述合成数据集中的原始无雾图像及与所述原始无雾图像相匹配的合成有雾图像；获取预设的对抗损失函数和循环一致性损失函数，根据所述多层感知损失函数、所述监督绝对值损失函数、所述对抗损失函数以及所述循环一致性损失函数得到一阶段训练损失函数；将所述合成有雾图像输入预先构建的雾图特征增强模块，计算所述合成有雾图像的第一亮度特征图、第一对比度先验特征图和第一暗通道特征图，并将所述第一亮度特征图、所述第一对比度先验特征图和所述第一暗通道特征图进行融合，得到第一训练输入特征图；将所述第一训练输入特征图输入到所述双生成器中，由所述去雾生成器中的所述自适应混合加权跳层连接模块进行处理，记录所述去雾生成器中编码器每次降采样后的第一特征图，记录所述去雾生成器中解码器每次上采样后的第二特征图；将所述第一特征图和所述第二特征图输入所述特征融合层中进行特征融合，并将所述原始无雾图像作为监督信息，基于所述一阶段训练损失函数对所述初始图像去雾模型进行模型训练，得到不同测试指标值对应的第一候选训练模型，所述测试指标值为峰值信噪比；将所述测试指标值最高的第一候选训练模型作为初始训练模型。
11.在一种实现方式中，利用所述真实场景数据集对所述初始训练模型进行训练，得到已训练的图像去雾模型，包括：获取所述真实场景数据集中的真实有雾图像和真实无雾图像；根据所述多层感知损失函数、所述对抗损失函数以及所述循环一致性损失函数得到二阶段训练损失函数；将所述真实有雾图像输入已训练的初始训练模型；
所述真实有雾图像经所述雾图特征增强模块，计算所述真实有雾图像的第二亮度特征图、第二对比度先验特征图和第二暗通道特征图，并将所述第二亮度特征图、所述第二对比度先验特征图和所述第二暗通道特征图进行融合，得到第二训练输入特征图；将所述第二训练输入特征图输入到所述双生成器中，由所述去雾生成器中的所述自适应混合加权跳层连接模块进行处理，记录所述去雾生成器中编码器每次降采样后的第三特征图，以及记录所述去雾生成器中解码器每次上采样后的第四特征图；将所述第三特征图和所述第四特征图输入所述特征融合层中进行特征融合，并将所述真实无雾图像作为监督信息，基于所述二阶段训练损失函数对所述初始训练模型进行模型训练，得到不同测试指标值对应的第二候选训练模型，所述测试指标值为峰值信噪比；将所述测试指标值最高的第二候选训练模型作为训练完成的图像去雾模型。
12.在一种实现方式中，所述多层感知损失函数表示为：；其中，所述x表示有雾图像，所述i表示特征层的层数，所述表示每个特征层误差的权重，所述表示合成雾图生成器，所述表示去雾生成器；所述表示当前输入的有雾图像对应的第i层特征值；所述监督绝对值损失函数表示为：；其中，所述为所述合成数据集中的原始无雾图像，所述为所述合成数据集中的有雾图像；所述一阶段训练损失函数表示为：；所述二阶段训练损失函数表示为：；其中，所述、、和为常数，所述表示对抗损失函数，所述表示循环一致性损失函数，所述表示多层感知损失函数，所述表示监督绝对值损失函数。
13.本发明还提供一种基于深度学习的图像去雾处理装置，包括：获取模块，用于获取待处理的原始图像，提取所述原始图像中的各个目标特征图，将各个所述目标特征图融合，得到输入特征图；输入模块，用于将所述输入特征图输入预先训练的图像去雾模型，得到去雾图像；所述图像去雾模型是由预先构建的合成数据集对预先构建的初始图像去雾模型进行模型训练得到初始训练模型后，由预先构建的真实场景数据集对所述初始训练模型进行模型训练得到。
dehazing算法基于cyclegan的原理将有雾图像转换为无雾图像，实现去雾功能，该方法在细节保留和去雾效果上仍有不足。
22.针对上述缺点，本发明提供了一种基于cyclegan的端到端生成的单图像去雾算法，通过充分利用图像的多种信息和引入感知损失来提高去雾效果。现有技术需要匹配有雾和无雾的数据，限制了其应用范围，本发明提出一种不需要匹配数据的训练方法，扩大了算法的应用范围。
23.本发明所提供的一种基于深度学习的图像去雾处理方法及装置，所述方法包括：获取待处理的原始图像，提取原始图像中的各个目标特征图，将各个目标特征图融合，得到输入特征图；将输入特征图输入预先训练的图像去雾模型，得到去雾图像；图像去雾模型是由预先构建的合成数据集对预先构建的初始图像去雾模型进行模型训练得到初始训练模型后，由预先构建的真实场景数据集对初始训练模型进行模型训练得到。本发明通过二阶段训练方法得到图像去雾模型，充分利用合成数据的强监督信息和真实数据的现实数据分布，合理缓解了合成数据和真实数据的域分布差问题，有效提高了图像的去雾效果。
24.请参见图1，图1是本发明中基于深度学习的图像去雾处理方法的流程图。如图1所示，本发明实施例所述的基于深度学习的图像去雾处理方法包括以下步骤：步骤s100、获取待处理的原始图像，提取所述原始图像中的各个目标特征图，将各个所述目标特征图融合，得到输入特征图。
25.具体地，所述原始图像为有雾图像。所述提取所述原始图像中的各个目标特征图包括：将所述原始图像输入预先构建的雾图特征增强模块，提取所述原始图像的亮度特征图、对比度先验特征图及暗通道特征图并将各个所述目标特征图融合，得到输入特征图。本发明通过提取多个维度的目标特征图，充分利用图像的多种信息（如通道图、亮度图和对比图），有效提高了图像去雾效果。
26.如图1所示，本发明实施例所述的基于深度学习的图像去雾处理方法还包括以下步骤：步骤s200、将所述输入特征图输入预先训练的图像去雾模型，得到去雾图像；所述图像去雾模型是由预先构建的合成数据集对预先构建的初始图像去雾模型进行模型训练得到初始训练模型后，由预先构建的真实场景数据集对所述初始训练模型进行模型训练得到。
27.具体地，本发明利用合成数据集对预先构建的初始图像去雾模型进行训练得到初始训练模型，再利用真是场景数据集对初始训练模型训练得到图像去雾模型，通过上述两个阶段的训练方法，充分利用合成数据的强监督信息和真实数据的现实数据分布，提高图像的去雾效果。
28.在一种实现方式中，所述图像去雾模型的训练步骤包括：构建合成数据集和真实场景数据集；构建初始图像去雾模型；利用所述合成数据集对所述初始图像去雾模型进行模型训练，得到初始训练模型；利用所述真实场景数据集对所述初始训练模型进行训练，得到已训练的图像去雾模型。
29.具体地，先利用构建的合成数据集对所述初始图像去雾模型进行训练，得到初始训练模型，合成数据集可帮助模型更好的理解图像去雾任务，从而提高模型的性能和鲁棒性；然后利用构建的真实场景数据集对初始训练模型进行训练，得到已训练的图像去雾模型，真实场景可以提供更加真实和多样化的图像去雾样本，使模型可以更好的适应实际场景中的不同情况和变化。本发明通过上述方式使得模型在训练中比一般的生成网络能更好的学习到去雾特征，有效提高图像去雾效果。本发明利用合成数据集paired的强监督信息，并能快速应用于真实的场景中，对成对的数据依赖度极小。
30.在一种实现方式中，所述构建合成数据集和真实场景数据集，包括：获取原始无雾图像、透射率图及预设全局大气光，所述透射率图是随机生成一个深度图后应用预设指数衰减函数得到；获取预设大气退化模型公式，将所述原始无雾图像、所述透射率图及所述预设全局大气光代入所述预设大气退化模型公式，得到与所述原始无雾图像相匹配的合成有雾图像；根据所述原始无雾图像和所述合成有雾图像构建所述合成数据集；采集真实场景下的真实有雾图像和真实无雾图像，根据所述真实有雾图像和所述真实无雾图像构建所述真实场景数据集。
31.具体地，所述合成数据集paired由原始无雾图像和合成有雾图像构建，是配对合成数据集。所述真实场景数据集unpaired由真实场景下采集的真实有雾图像和真实无雾图像构建，为非配对数据集。其中，真实有雾图像和真实无雾图像之间不存在关联。利用大气退化模型，将原始无雾图像处理为合成有雾图像。所述预设大气退化模型表示为：；其中，所述i(x)为合成有雾图像；所述j(x)为原始无雾图像，两者相匹配；所述t(x)为透射率图，表示大气的透射程度，其取值范围为；所述a是全局大气光，表示大气中的光线强度，设定取值为。所述透射率图表达式为；其中，所述t(x)为投射率图，所述d(x)为深度图，所述β为衰减系数，表示雾的浓度，设定取值。所述深度图为随机生成，所述随机生成方法为随机生成灰度图，将其每个坐标设置为或者由随机生成的灰度图直接转为深度图。将无雾图像j(x)与透射率图t(x)逐像素相乘，再将全局大气光a与(1-t(x))逐像素相乘，最后将两个结果相加，得到原始无雾图像对应的合成有雾图像并将其输出。本发明构建了配对的合成数据集和非配对的真实场景数据集，用于后续的二阶段训练，可提高模型的精度，使其具有更好的去雾效果。
32.在一种实现方式中，所述构建初始图像去雾模型，包括：采用类cyclegan的双生成器和双判别器的循环网络模型作为框架，所述双生成器包括去雾生成器和合成雾图生成器，所述去雾生成器和所述合成雾图生成器均采用类unet的结构；构建所述去雾生成器和所述合成雾图生成器的自适应混合加权跳层连接模块；构建所述自适应混合加权跳层连接模块中的特征融合层；构建多层感知损失函数以及监督绝对值损失函数。
33.具体地，所述去雾生成器和合成雾生成器均具有降采样的编码器和上采样的解码器，降采样倍数为1/32，上采样倍数为32。
34.构建去雾生成器和合成雾图生成器的自适应混合加权跳层连接模块mixup（mixup weighted skip connection module, mwscm），它将mixup数据增强方法与跳层连接结合，以在不同特征层之间建立一种加权连接，其目的是为了提高深度神经网络在处理多尺度和多域问题时的性能，用于优化unet中跳跃链接模块。
35.所述构建所述去雾生成器和所述合成雾图生成器的自适应混合加权跳层连接模块的具体步骤包括：记录编码器每次降采样后的特征图，其中，的大小为的1/2；记录解码器每次上采样后的特征图，其中，的大小为的1/2；构建特征融合层，所述特征融合层的加权融合公式为：；其中，c为进行采样的次数，为解码器第c次上采样后的特征图，w为预设的可学习参数，，，为编码器第c次降采样后的特征图，为解码器第c+1次上采样后的特征图。
36.本发明通过设置可学习参数w和sigmoid函数，转换到之间，让模型学习不同特征层间的融合权重，这种加权融合方法有助于在不同抽象层次的特征之间建立平滑的连接，从而提高神经网络的泛化性能。通过deconv反卷积使解码器特征层上采样与编码中的特征层保持相同的分辨率和通道数，权重通过可学习参数w决定。通过权重，模型可动态学习特征图间的重要性。本发明中特征融合层的主要优点在于其能够在不同抽象层次的特征之间建立平滑的连接，从而提高神经网络的泛化性能。同时，由于mixup方法的引入，自适应混合加权跳层还具有一定的数据增强效果，可以有效降低过拟合风险。
37.所述构建多层感知损失函数，包括：基于imagenet预训练好的vgg19模型，选择其5个输出特征层，分别应用于有雾图像和其对应的去雾图像，得到有雾图像特征图和无雾图像特征图；使用均方误差（mse）来衡量有雾图像特征图和无雾图像特征图之间的差异。
38.本发明通过构建vgg多层感知损失函数，与传统的像素级损失函数相比，更关注图像的高级特征，能够更好地捕捉图像的视觉感知差异。
39.针对合成数据，构建监督绝对值损失函数，用于对合成雾图生成器和去雾生成器进行强监督训练。提取合成数据的雾图和对应的真值清晰图，在训练过程中分别与两个生成器得到的图像计算绝对值损失，并将两个绝对值损失相加，得到监督绝对值损失函数。监督绝对值损失函数关注生成图像与目标图像之间的像素级误差，使生成器生成的图
像在全局结构和局部细节上都更加接近目标图像。
40.在一种实现方式中，利用所述合成数据集对所述初始图像去雾模型进行模型训练，得到初始训练模型，包括：获取所述合成数据集中的原始无雾图像及与所述原始无雾图像相匹配的合成有雾图像；获取预设的对抗损失函数和循环一致性损失函数，根据所述多层感知损失函数、所述监督绝对值损失函数、所述对抗损失函数以及所述循环一致性损失函数得到一阶段训练损失函数；将所述合成有雾图像输入预先构建的雾图特征增强模块，计算所述合成有雾图像的第一亮度特征图、第一对比度先验特征图和第一暗通道特征图，并将所述第一亮度特征图、所述第一对比度先验特征图和所述第一暗通道特征图进行融合，得到第一训练输入特征图；将所述第一训练输入特征图输入到所述双生成器中，由所述去雾生成器中的所述自适应混合加权跳层连接模块进行处理，记录所述去雾生成器中编码器每次降采样后的第一特征图，记录所述去雾生成器中解码器每次上采样后的第二特征图；将所述第一特征图和所述第二特征图输入所述特征融合层中进行特征融合，并将所述原始无雾图像作为监督信息，基于所述一阶段训练损失函数对所述初始图像去雾模型进行模型训练，得到不同测试指标值对应的第一候选训练模型，所述测试指标值为峰值信噪比；将所述测试指标值最高的第一候选训练模型作为初始训练模型。
41.具体地，获取合成数据集中的原始有雾图像和其对应的合成有雾图像；获取预设的对抗损失函数，获取预设的循环一致性损失函数，与监督绝对值损失函数相结合，得到一阶段训练损失函数。在此阶段训练中，需利用到合成数据的强监督信息，故监督绝对值损失函数权重设定同比更大。
42.雾图特征增强模块为预先构建的，用于增强模型输入的特征，应用于去雾生成器的输入。所述雾图特征增强模块的实现方式为分别计算有雾图像的亮度特征图、对比度先验特征图和暗通道特征图，并将三者融合。
43.所述雾图特征增强模块处理图像的具体步骤如下：将有雾图像转为灰度图，转换后的灰度图作为亮度特征图；在有雾图像上滑动窗口w，窗口大小为3x3，计算每个窗口内像素均值和标准差，其中全局即为对比度先验特征图；基于暗通道先验公式，计算暗通道特征图，其中暗通道特征图公式为；其中，表示以像素点x为中心的局部图像块，设定为滑动窗口为3x3大小。将亮度特征图、对比度先验特征图和暗通道特征图分别经过1x1的卷积层进行特征提取，最后与有雾图像进行通道拼接操作，得到通道数为6，
大小与有雾图像一致的输入特征图。
44.一阶段训练的所述峰值信噪比表达式为：；其中，所述为所述合成数据集中的原始无雾图像，所述为所述合成数据集中的有雾图像，所述为去雾生成器；所述；其中，n=8，mse为均方误差。峰值信噪比值越大表示图像恢复质量越好。
45.本发明利用基于先验的雾图特征增强模块，提取了去雾中的先验特征，如亮度、对比度、暗道等，在模型训练前将图形进行特征增强，使得模型比一般生成网络能更好学习到去雾特征。
46.在一种实现方式中，利用所述真实场景数据集对所述初始训练模型进行训练，得到已训练的图像去雾模型，包括：获取所述真实场景数据集中的真实有雾图像和真实无雾图像；根据所述多层感知损失函数、所述对抗损失函数以及所述循环一致性损失函数得到二阶段训练损失函数；将所述真实有雾图像输入已训练的初始训练模型；所述真实有雾图像经所述雾图特征增强模块，计算所述真实有雾图像的第二亮度特征图、第二对比度先验特征图和第二暗通道特征图，并将所述第二亮度特征图、所述第二对比度先验特征图和所述第二暗通道特征图进行融合，得到第二训练输入特征图；将所述第二训练输入特征图输入到所述双生成器中，由所述去雾生成器中的所述自适应混合加权跳层连接模块进行处理，记录所述去雾生成器中编码器每次降采样后的第三特征图，以及记录所述去雾生成器中解码器每次上采样后的第四特征图；将所述第三特征图和所述第四特征图输入所述特征融合层中进行特征融合，并将所述真实无雾图像作为监督信息，基于所述二阶段训练损失函数对所述初始训练模型进行模型训练，得到不同测试指标值对应的第二候选训练模型，所述测试指标值为峰值信噪比；将所述测试指标值最高的第二候选训练模型作为训练完成的图像去雾模型。
47.具体地，二阶段训练的所述峰值信噪比表达式为；其中，为真实场景数据集中的真实有雾图像，所述；其中，n=8，mse为均方误差。
48.本发明先用合成数据集对初始图像去雾模型进行模型训练，得到初始训练模型，再使用真实数据集对初始训练模型进行训练，合理缓解了合成数据和真实数据的域分布差问题，降低了模型对数据的依赖，数据成本低，通过融合了物理先验特征，引入感知损失，提高端到端去雾的通用性能。
49.在一种实现方式中，所述多层感知损失函数表示为：
；其中，所述x表示有雾图像，所述i表示特征层的层数，所述表示每个特征层误差的权重，所述表示合成雾图生成器，所述表示去雾生成器；所述表示当前输入的有雾图像对应的第i层特征值；所述监督绝对值损失函数表示为：；其中，所述为所述合成数据集中的原始无雾图像，所述为所述合成数据集中的有雾图像；所述一阶段训练损失函数表示为：；所述二阶段训练损失函数表示为：；其中，所述、、和所述为常数，所述表示对抗损失函数，所述表示循环一致性损失函数，所述表示多层感知损失函数，所述表示监督绝对值损失函数。
50.具体地，所述多层感知损失函数中，，所述，用于调整不同层级损失的贡献，目的在于深层特征图能够表示图像的高级语义信息，而浅层特征图则表示图像的低级纹理信息。所述一阶段训练损失函数中，、、、。所述二阶段训练损失函数中，、、。本发明的模型训练融合虚拟和现实数据，通过两个阶段的训练方法，充分利用合成数据的强监督信息和真实数据的现实数据分布，提高去雾图像的恢复效果。
51.在一种实现方式中，所述图像去雾模型中使用了模型轻型化处理，提高了模型运行速度。
52.进一步地，如图2所示，基于上述基于深度学习的图像去雾处理方法，本发明还相应提供了一种基于深度学习的图像去雾处理装置，包括：获取模块100，用于获取待处理的原始图像，提取所述原始图像中的各个目标特征图，将各个所述目标特征图融合，得到输入特征图；输入模块200，用于将所述输入特征图输入预先训练的图像去雾模型，得到去雾图像；所述图像去雾模型是由预先构建的合成数据集对预先构建的初始图像去雾模型进行模型训练得到初始训练模型后，由预先构建的真实场景数据集对所述初始训练模型进
行模型训练得到。
53.在一种实施例中，如图3所示，包括：存储器20、处理器10及存储在所述存储器上并可在所述处理器上运行的基于深度学习的图像去雾处理程序30，所述基于深度学习的图像去雾处理程序30被所述处理器10执行时实现如上所述的基于深度学习的图像去雾处理方法的步骤。
54.本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如上所述的基于深度学习的图像去雾处理方法的步骤。
55.综上所述，本发明所提供的一种基于深度学习的图像去雾处理方法及装置，所述方法包括：获取待处理的原始图像，提取原始图像中的各个目标特征图，将各个目标特征图融合，得到输入特征图；将输入特征图输入预先训练的图像去雾模型，得到去雾图像；图像去雾模型是由预先构建的合成数据集对预先构建的初始图像去雾模型进行模型训练得到初始训练模型后，由预先构建的真实场景数据集对初始训练模型进行模型训练得到。本发明通过二阶段训练方法得到图像去雾模型，充分利用合成数据的强监督信息和真实数据的现实数据分布，合理缓解了合成数据和真实数据的域分布差问题，有效提高了图像的去雾效果。
56.应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

技术特征：
1.一种基于深度学习的图像去雾处理方法，其特征在于，包括：获取待处理的原始图像，提取所述原始图像中的各个目标特征图，将各个所述目标特征图融合，得到输入特征图；将所述输入特征图输入预先训练的图像去雾模型，得到去雾图像；所述图像去雾模型是由预先构建的合成数据集对预先构建的初始图像去雾模型进行模型训练得到初始训练模型后，由预先构建的真实场景数据集对所述初始训练模型进行模型训练得到。2.根据权利要求1所述的基于深度学习的图像去雾处理方法，其特征在于，所述图像去雾模型的训练步骤包括：构建合成数据集和真实场景数据集；构建初始图像去雾模型；利用所述合成数据集对所述初始图像去雾模型进行模型训练，得到初始训练模型；利用所述真实场景数据集对所述初始训练模型进行训练，得到已训练的图像去雾模型。3.根据权利要求2所述的基于深度学习的图像去雾处理方法，其特征在于，所述构建合成数据集和真实场景数据集，包括：获取原始无雾图像、透射率图及预设全局大气光，所述透射率图是随机生成一个深度图后应用预设指数衰减函数得到；获取预设大气退化模型公式，将所述原始无雾图像、所述透射率图及所述预设全局大气光代入所述预设大气退化模型公式，得到与所述原始无雾图像相匹配的合成有雾图像；根据所述原始无雾图像和所述合成有雾图像构建所述合成数据集；采集真实场景下的真实有雾图像和真实无雾图像，根据所述真实有雾图像和所述真实无雾图像构建所述真实场景数据集。4.根据权利要求3所述的基于深度学习的图像去雾处理方法，其特征在于，所述构建初始图像去雾模型，包括：采用类cyclegan的双生成器和双判别器的循环网络模型作为框架，所述双生成器包括去雾生成器和合成雾图生成器，所述去雾生成器和所述合成雾图生成器均采用类unet的结构；构建所述去雾生成器和所述合成雾图生成器的自适应混合加权跳层连接模块；构建所述自适应混合加权跳层连接模块中的特征融合层；构建多层感知损失函数以及监督绝对值损失函数。5.根据权利要求4所述的基于深度学习的图像去雾处理方法，其特征在于，利用所述合成数据集对所述初始图像去雾模型进行模型训练，得到初始训练模型，包括：获取所述合成数据集中的原始无雾图像及与所述原始无雾图像相匹配的合成有雾图像；获取预设的对抗损失函数和循环一致性损失函数，根据所述多层感知损失函数、所述监督绝对值损失函数、所述对抗损失函数以及所述循环一致性损失函数得到一阶段训练损失函数；将所述合成有雾图像输入预先构建的雾图特征增强模块，计算所述合成有雾图像的第
一亮度特征图、第一对比度先验特征图和第一暗通道特征图，并将所述第一亮度特征图、所述第一对比度先验特征图和所述第一暗通道特征图进行融合，得到第一训练输入特征图；将所述第一训练输入特征图输入到所述双生成器中，由所述去雾生成器中的所述自适应混合加权跳层连接模块进行处理，记录所述去雾生成器中编码器每次降采样后的第一特征图，记录所述去雾生成器中解码器每次上采样后的第二特征图；将所述第一特征图和所述第二特征图输入所述特征融合层中进行特征融合，并将所述原始无雾图像作为监督信息，基于所述一阶段训练损失函数对所述初始图像去雾模型进行模型训练，得到不同测试指标值对应的第一候选训练模型，所述测试指标值为峰值信噪比；将所述测试指标值最高的第一候选训练模型作为初始训练模型。6.根据权利要求5所述的基于深度学习的图像去雾处理方法，其特征在于，利用所述真实场景数据集对所述初始训练模型进行训练，得到已训练的图像去雾模型，包括：获取所述真实场景数据集中的真实有雾图像和真实无雾图像；根据所述多层感知损失函数、所述对抗损失函数以及所述循环一致性损失函数得到二阶段训练损失函数；将所述真实有雾图像输入已训练的初始训练模型；所述真实有雾图像经所述雾图特征增强模块，计算所述真实有雾图像的第二亮度特征图、第二对比度先验特征图和第二暗通道特征图，并将所述第二亮度特征图、所述第二对比度先验特征图和所述第二暗通道特征图进行融合，得到第二训练输入特征图；将所述第二训练输入特征图输入到所述双生成器中，由所述去雾生成器中的所述自适应混合加权跳层连接模块进行处理，记录所述去雾生成器中编码器每次降采样后的第三特征图，以及记录所述去雾生成器中解码器每次上采样后的第四特征图；将所述第三特征图和所述第四特征图输入所述特征融合层中进行特征融合，并将所述真实无雾图像作为监督信息，基于所述二阶段训练损失函数对所述初始训练模型进行模型训练，得到不同测试指标值对应的第二候选训练模型，所述测试指标值为峰值信噪比；将所述测试指标值最高的第二候选训练模型作为训练完成的图像去雾模型。7.根据权利要求6所述的基于深度学习的图像去雾处理方法，其特征在于，所述多层感知损失函数表示为：；其中，所述x表示有雾图像，所述i表示特征层的层数，所述表示每个特征层误差的权重，所述表示合成雾图生成器，所述表示去雾生成器；所述表示当前输入的有雾图像对应的第i层特征值；所述监督绝对值损失函数表示为：；其中，所述为所述合成数据集中的原始无雾图像，所述为所述合成数据集中的有雾图像；
所述一阶段训练损失函数表示为：；所述二阶段训练损失函数表示为：；其中，所述、、和为常数，所述表示对抗损失函数，所述表示循环一致性损失函数，所述表示多层感知损失函数，所述表示监督绝对值损失函数。8.一种基于深度学习的图像去雾处理装置，其特征在于，包括：获取模块，获取待处理的原始图像，提取所述原始图像中的各个目标特征图，将各个所述目标特征图融合，得到输入特征图；输入模块，用于将所述输入特征图输入预先训练的图像去雾模型，得到去雾图像；所述图像去雾模型是由预先构建的合成数据集对预先构建的初始图像去雾模型进行模型训练得到初始训练模型后，由预先构建的真实场景数据集对所述初始训练模型进行模型训练得到。9.一种终端，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度学习的图像去雾处理程序，所述基于深度学习的图像去雾处理程序被所述处理器执行时实现如权利要求1~7任意一项所述的基于深度学习的图像去雾处理方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如权利要求1~7任意一项所述的基于深度学习的图像去雾处理方法的步骤。

技术总结
本发明所提供的一种基于深度学习的图像去雾处理方法及装置，所述方法包括：获取待处理的原始图像，提取原始图像中的各个目标特征图，将各个目标特征图融合，得到输入特征图；将输入特征图输入预先训练的图像去雾模型，得到去雾图像；图像去雾模型是由预先构建的合成数据集对预先构建的初始图像去雾模型进行模型训练得到初始训练模型后，由预先构建的真实场景数据集对初始训练模型进行模型训练得到。本发明通过二阶段训练方法得到图像去雾模型，充分利用合成数据的强监督信息和真实数据的现实数据分布，合理缓解了合成数据和真实数据的域分布差问题，有效提高了图像的去雾效果。有效提高了图像的去雾效果。有效提高了图像的去雾效果。


技术研发人员：裴朝科
受保护的技术使用者：深圳市欧冶半导体有限公司
技术研发日：2023.06.20
技术公布日：2023/7/20