一种基于深度学习分阶段式训练的图像去雾方法及装置与流程

1.本发明涉及计算机视觉领域，尤其涉及的是一种基于深度学习分阶段式训练的图像去雾方法及装置。


背景技术：

2.图像去雾是通过消除大气散射效应，从而改善图像质量的图像处理方法。传统的暗通道去雾方法基于局部暗通道近似为0的假设，并通过归一化暗通道求透视率图。但暗通道近似0的假设并不是一直成立的，遇到不成立的场景暗通道去雾容易导致去雾异常。有的方法是通过伪深度评估进行加雾和去雾，但由于深度评估没有真实真值监督，导致评估的深度与真实深度差异较大，进而影响去雾和加雾的质量。有的方法是基于先验条件的自监督学习，同样地，先验的问题也会继承到网络当中，影响去雾质量。
3.也就是说，目前主要的去雾算法分为传统去雾算法和基于深度学习的去雾算法。传统去雾算法鲁棒性差，容易导致去雾过度或异常等问题。而深度学习则缺乏真实的端到端数据，导致在真实场景下去雾效果较差，且对算力的要求高，导致去雾的实时性较差。
4.因此，现有技术存在缺陷，有待改进与发展。


技术实现要素：

5.本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于深度学习分阶段式训练的图像去雾方法及装置，旨在解决现有技术中对图像去雾处理时的去雾效果较差以及去雾的实时性较差的问题。
6.本发明解决技术问题所采用的技术方案如下：一种基于深度学习分阶段式训练的图像去雾方法，所述方法包括：获取预先训练的图像去雾模型，所述图像去雾模型是利用预先构建的仿真数据集对预先构建的去雾网络进行训练得到初始去雾模型，再利用预先构建的真实有雾数据集对所述初始去雾模型进行自监督训练后得到；将待处理的原始图像输入所述图像去雾模型，得到去雾图像；其中，所述仿真数据集包括：仿真有雾图、与所述仿真有雾图匹配的有雾深度图、仿真无雾图及与所述仿真无雾图匹配的无雾深度图。
7.可选地，所述图像去雾模型的训练步骤包括：利用自动驾驶模拟器在不同场景下生成仿真有雾图、与所述仿真有雾图匹配的有雾深度图、仿真无雾图及与所述仿真无雾图匹配的无雾深度图，根据所述仿真有雾图、所述有雾深度图、所述仿真无雾图和所述无雾深度图构建仿真数据集；获取生成网络和辨别网络，所述生成网络包括预先构建的去雾网络和加雾网络，所述辨别网络包括辨别无雾网络和辨别有雾网络；基于所述仿真数据集对所述生成网络和所述辨别网络进行训练，训练结束后，提取所述去雾网络，将已训练的所述去雾网络作为初始去雾模型；
获取真实有雾数据集，利用所述真实有雾数据集对所述初始去雾模型进行自监督训练，得到已训练的图像去雾模型。
8.可选地，所述去雾网络的构建步骤包括：构建并加载efficientnet-lite3的基础模型作为骨干，并用两层步长为2的3
×
3卷积层代替efficientnet-lite3的conv_stem层；构造4层unet网络，每层所述unet网络均包括一层编码器和一层解码器，所述骨干用于输出4组不同尺度特征至所述unet网络的编码器；构建全局平均池化层，所述全局平均池化层用于将所述骨干输出的4组不同尺度特征进行平均池化得到全局特征；构建第一线性层和第二线性层，所述第一线性层用于根据所述全局特征得到大气光强，所述第二线性层用于根据所述全局特征得到雾浓度因子；构建双反卷积层作为上采样模块，所述上采样模块用于将所述unet网络的输出特征上采样至输入分辨率；构建双卷积层，所述双卷积层用于接收上采样后的特征与原图拼接后得到的拼接图像，并根据所述拼接图像得到透视率。
9.可选地，所述加雾网络利用的是4层unet网络结构，所述辨别无雾网络和辨别有雾网络利用的均是5层卷积网络加sigmoid激活函数；所述辨别网络的训练步骤包括：将所述生成网络的权重固定，利用所述生成网络得到生成有雾图和生成无雾图；获取所述仿真数据集中的仿真有雾图和仿真无雾图；基于预设的辨别网络损失函数，利用所述仿真有雾图、仿真无雾图、生成有雾图和生成无雾图对所述辨别网络进行训练；所述生成网络的训练步骤为：将所述辨别网络的权重固定，进行无雾图闭环通路训练和有雾图闭环通路训练。
10.可选地，所述无雾图闭环通路训练的训练步骤包括：将所述仿真数据集中的仿真无雾图和匹配的无雾深度图输入所述生成网络中；随机生成第一雾浓度因子，利用所述无雾深度图和所述第一雾浓度因子得到第一透视率；随机生成第一大气光强，根据所述第一透视率和所述仿真无雾图得到第一初始合成雾图；所述第一初始合成雾图经所述生成网络处理得到第一最终合成雾图；所述第一最终合成雾图经所述去雾网络处理得到生成无雾图，所述生成无雾图和所述仿真无雾图形成闭环，利用预设的第一损失函数约束所述生成无雾图和所述仿真无雾图；利用所述辨别网络指导所述生成网络更新权重；所述有雾图闭环通路训练的训练步骤包括：将所述仿真有雾图和匹配的有雾深度图输入所述去雾网络中，所述仿真有雾图经所述去雾网络处理，得到第二透视率、第二大气光强和第二雾浓度因子；根据所述仿真有雾图、第二大气光强和第二透视率得到去雾结果，以及根据所述
第二透视率和所述第二雾浓度因子得到生成深度图；利用预设的第二损失函数对所述生成深度图和所述有雾深度图进行平均绝对误差的计算；根据所述有雾深度图和所述第二雾浓度因子合成透视图，并根据所述透视图和所述去雾结果得到第二初始合成雾图；所述第二初始合成雾图经所述生成网络处理，得到第二最终合成雾图，所述第二最终合成雾图和所述仿真有雾图形成闭环，使用预设的第三损失函数约束所述第二最终合成雾图和所述仿真有雾图；根据预设的第四损失函数，利用辨别网络指导生成网络更新权重。
11.可选地，所述获取真实有雾数据集，利用所述真实有雾数据集对所述初始去雾模型进行自监督训练，得到已训练的图像去雾模型，包括：采集真实行车场景下的真实有雾图像，并得到与所述真实有雾图像匹配的分割权重图像，根据所述真实有雾图像和所述分割权重图像构建真实有雾数据集；构建去雾教师网络和学生网络，加载所述初始去雾模型的权重并赋给所述去雾教师网络和所述学生网络，其中，所述去雾教师网络的权重固定且进入推理模式，所述学生网络的权重放开且进入训练模式；将所述真实有雾图像和匹配的所述分割权重图像输入所述去雾教师网络和所述学生网络中，进行透视率自监督训练和大气光强自监督训练；完成所述透视率自监督训练和所述大气光强自监督训练后，得到已训练的图像去雾模型。
12.可选地，所述透视率自监督训练的训练步骤包括：所述真实有雾图像经所述去雾教师网络处理，得到教师网络透视率和教师网络大气光强，以及所述真实有雾图像经所述学生网络处理，得到学生网络透视率和学生网络大气光强；将所述教师网络透视率和所述学生网络透视率输入预设的自监督模块计算第五损失函数；将所述教师网络大气光强和所述学生网络大气光强保持不变，计算第六损失函数；计算所述学生网络的去雾结果，得到学生网络去雾图像，并利用预设的第七损失函数计算溢出量作为无监督损失；所述大气光强自监督训练的训练步骤包括：将真实有雾图像和所述学生网络去雾图像转换为hsv色域空间，并抽出各自色调分量，得到所述真实有雾图像的第一色调分量及所述学生网络去雾图像的第二色调分量；将所述第一色调分量和所述第二色调分量归一化至[0,1]区间，并计算色调差；根据预设的修正色调差公式对所述色调差进行修正处理，得到色调差修正值；根据预设的第八损失函数和所述色调差修正值计算色偏损失。
[0013]
本发明公开了一种基于深度学习分阶段式训练的图像去雾装置，所述装置包括：获取模块，用于获取预先训练的图像去雾模型，所述图像去雾模型是利用预先构建的仿真数据集对预先构建的去雾网络进行训练得到初始去雾模型，再利用预先构建的真
实有雾数据集对所述初始去雾模型进行自监督训练后得到；处理模块，用于将待处理的原始图像输入所述图像去雾模型，得到去雾图像；其中，所述仿真数据集包括：仿真有雾图、与所述仿真有雾图匹配的有雾深度图、仿真无雾图及与所述仿真无雾图匹配的无雾深度图。
[0014]
本发明公开了一种终端，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度学习分阶段式训练的图像去雾程序，所述基于深度学习分阶段式训练的图像去雾程序被所述处理器执行时实现如上所述的基于深度学习分阶段式训练的图像去雾方法的步骤。
[0015]
本发明公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如上所述的基于深度学习分阶段式训练的图像去雾方法的步骤。
[0016]
本发明所提供的一种基于深度学习分阶段式训练的图像去雾方法及装置，所述方法包括：获取预先训练的图像去雾模型，所述图像去雾模型是利用预先构建的仿真数据集对预先构建的去雾网络进行训练得到初始去雾模型，再利用预先构建的真实有雾数据集对所述初始去雾模型进行自监督训练后得到；将待处理的原始图像输入所述图像去雾模型，得到去雾图像；其中，所述仿真数据集包括：仿真有雾图、与所述仿真有雾图匹配的有雾深度图、仿真无雾图及与所述仿真无雾图匹配的无雾深度图。本发明通过获取预先训练的图像去雾模型，以对待处理图像进行去雾处理，图像去雾模型在训练时进行两阶段训练，在第一阶段训练时使用仿真图和匹配的深度图，以使本发明的训练的去雾方法与真实深度有关，在第二阶段训练时采用真实有雾数据的自监督训练，以提高模型在真实场景的泛化能力，进而在对待处理图像进行去雾时，提高了去雾效果，且提高了实时性。
附图说明
[0017]
图1是本发明中基于深度学习分阶段式训练的图像去雾方法较佳实施例的流程图。
[0018]
图2是本发明中去雾网络的构建原理示意图。
[0019]
图3是本发明中辨别网络的训练原理示意图。
[0020]
图4是本发明中无雾图闭环通路训练的原理示意图。
[0021]
图5是本发明中有雾图闭环通路训练的原理示意图。
[0022]
图6是本发明中构建去雾教师网络和学生网络的原理示意图。
[0023]
图7是本发明中基于深度学习分阶段式训练的图像去雾装置的较佳实施例的功能原理框图。
[0024]
图8是本发明中终端的功能原理框图。
具体实施方式
[0025]
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0026]
目前雾生成依赖于大气退化模型，如公式所示：
式1其中可以表示为式2其中，为待处理的雾图，为需要恢复的无雾图，a为全球大气光强，为透视率，为雾浓度因子，为场景深度。由于与相关，故雾浓度与场景深度相关，且距离越远雾浓度越强。
[0027]
对于传统的暗通道去雾方法，暗通道先验为在绝大多数的非天空区域，局部区域像素总会有至少一个颜色通道具有很低的值。即：式3式4式3为无雾图的暗通道表达公式，其中为无雾图像的暗通道，为无雾图像的彩色通道，表示以x为中心的局部区域窗口。式4表示无雾图的暗通道接近为0。
[0028]
暗通道去雾的主要核心思想为无雾图的局部区域的暗通道为0，总结此算法问题为：1、当图像区域不遵从暗通道为0时，算法失效。即当无雾时，区域以亮色为主时，如天空，白墙或大面积白色物体等。
[0029]
2、算法以局部区域统计为主，缺乏全局信息，与真实场景的深度不一致。
[0030]
对于顶会的匹配式训练网络，匹配式训练需要用到匹配式数据，在去雾算法中，匹配式即为像素级别对齐的有雾图和无雾图。但在现实中不能采集到同一时刻同一场景下的有雾图和无雾图，而目前的匹配式的公开数据集都以对无雾图评估深度信息，并用式1，式2合成出有雾图。
[0031]
对于合成t图，存在的问题有：1、深度评估错误。
[0032]
2、t图动态范围小。表1为对t图的非天空和非错误区域进行统计，真实t分布范围是合成的3倍。
[0033][0034]
表1对于顶会的非匹配式训练网络，顶会的非匹配式训练以cyclegan为主，例如，第一种方式是对无雾图评估深度，依据评估的深度进行加雾，最后经过去雾网络得到无雾图；第二种方式是对有雾图去雾得到无雾图，无雾图评估深度，依据深度加雾得到有雾图。但以上
的算法过程都依赖于深度评估，而该深度评估的训练过程并无任何监督真值，导致深度评估的结果与实际深度有差异。
[0035]
另外，主流去雾网络结构不利于终端部署。表2为主流去雾网络在芯原芯片（3.5t算力）下运行分辨率为960
×
768的测试结果，从每秒帧数（fps,frames per second）看出主流去雾网络的性能远没有达到实时性要求。
[0036][0037]
表2表2中，da是指图像去雾的领域自适应方法；eda是指基于细节增强卷积和内容引导注意力的单图像去雾方法；gunet是指对图像去模糊网络性能提升方法；psd是指物理先验指导下的原理合成到真实去哈兹方法。
[0038]
因此，现有技术的技术问题总结为：第一、去雾算法并没有与真实深度结合，导致去雾效果局部过强或过弱；第二、去雾网络缺乏对真实有雾数据进行训练，导致去雾算法在真实场景下性能下降；第三、去雾网络在终端部署实时性较差。
[0039]
本发明提出的基于深度学习的分阶段式训练的图像去雾方法，对真实场景具有良好的去雾效果，且能实时运行在终端设备上。
[0040]
请参见图1，图1是本发明中基于深度学习分阶段式训练的图像去雾方法的流程图。本发明实施例所述的基于深度学习分阶段式训练的图像去雾方法包括以下步骤：步骤s100、获取预先训练的图像去雾模型，所述图像去雾模型是利用预先构建的仿真数据集对预先构建的去雾网络进行训练得到初始去雾模型，再利用预先构建的真实有雾数据集对所述初始去雾模型进行自监督训练后得到。
[0041]
目前大多数基于cyclegan训练的去雾都与深度无关，或只是伪深度相关，本发明则采用cyclegan网络和真实深度相结合的方式，以使去雾效果不会出现局部过强或过弱的情况。
[0042]
如图2所示，本发明实施例所述的基于深度学习分阶段式训练的图像去雾方法还包括以下步骤：步骤s200、将待处理的原始图像输入所述图像去雾模型，得到去雾图像，其中，所述仿真数据集包括：仿真有雾图、与所述仿真有雾图匹配的有雾深度图、仿真无雾图及与所述仿真无雾图匹配的无雾深度图。
[0043]
具体地，获取到预先训练的图像去雾模型后，直接将待处理的原始图像输入图像去雾模型，输出结果为去雾图像。
[0044]
本发明通过获取预先训练的图像去雾模型，以对待处理图像进行去雾处理，图像去雾模型在训练时是利用两阶段的训练方式，在第一阶段训练时使用仿真图和匹配的深度图，使得本发明的训练的去雾方法与真实深度有关，在第二阶段训练时采用自监督训练的方式，提高了模型性能，进而提高了模型的图像去雾效果。
[0045]
在一种实施例中，所述图像去雾模型的训练步骤包括：步骤s10、利用自动驾驶模拟器在不同场景下生成仿真有雾图、与所述仿真有雾图
匹配的有雾深度图、仿真无雾图及与所述仿真无雾图匹配的无雾深度图，根据所述仿真有雾图、所述有雾深度图、所述仿真无雾图和所述无雾深度图构建仿真数据集；步骤s20、获取生成网络和辨别网络，所述生成网络包括预先构建的去雾网络和加雾网络，所述辨别网络包括辨别无雾网络和辨别有雾网络；步骤s30、基于所述仿真数据集对所述生成网络和所述辨别网络进行训练，训练结束后，提取所述去雾网络，将已训练的所述去雾网络作为初始去雾模型；步骤s40、获取真实有雾数据集，利用所述真实有雾数据集对所述初始去雾模型进行自监督训练，得到已训练的图像去雾模型。
[0046]
具体地，用自动驾驶模拟器carla simulator在不同场景下生成仿真有雾图，有雾深度图，仿真无雾图，无雾深度图。其中，仿真有雾图与仿真无雾图之间为非匹配关系，仿真有雾图与有雾深度图之间为匹配关系，仿真无雾图与无雾深度图之间为匹配关系。
[0047]
基于仿真数据集的cyclegan训练，即对carla simulator生成的有/无雾图依据匹配的深度图进行去/加雾训练，最终得到初始去雾模型。采集真实的行车有雾数据，基于真实的有雾数据，对基础的去雾模型进行自监督的finetune训练，并得到最终的去雾模型。本发明对图像去雾模型进行了分阶段式训练。
[0048]
在一种实施例中，所述步骤s20中去雾网络的构建步骤包括：构建并加载efficientnet-lite3的基础模型作为骨干，并用两层步长为2的3
×
3卷积层代替efficientnet-lite3的conv_stem层；构造4层unet网络，每层所述unet网络均包括一层编码器和一层解码器，所述骨干用于输出4组不同尺度特征至所述unet网络的编码器；构建全局平均池化层，所述全局平均池化层用于将所述骨干输出的4组不同尺度特征进行平均池化得到全局特征；构建第一线性层和第二线性层，所述第一线性层用于根据所述全局特征得到大气光强，所述第二线性层用于根据所述全局特征得到雾浓度因子；构建双反卷积层作为上采样模块，所述上采样模块用于将所述unet网络的输出特征上采样至输入分辨率；构建双卷积层，所述双卷积层用于接收上采样后的特征与原图拼接后得到的拼接图像，并根据所述拼接图像得到透视率。
[0049]
如图2所示，本发明的去雾网络是轻量级去雾网络，本发明的去雾网络依赖于大气退化模型，去雾网络按任务划分为：1.评估透视率t；2.评估大气光强a；3.评估雾浓度因子。其中最繁杂的任务为评估透视率t，但由于大气退化模型对t分辨率和细腻程度要求不高，故有利于控制网络成本。具体地，第一、构建并加载efficientnet-lite3的基础模型作为骨干，并用两层stride=2的3x3卷积层代替efficientnet-lite3的conv_stem层实现特征快速下采样。第二、构造4层unet网络，分别有4层编码器和4层解码器。第三、骨干输出4组不同尺度特征至unet的编码器。第四、构建全局平均池化层，并将骨干输出4组不同尺度特征进行平均池化得到全局特征。第五、构建线性层精细化a和构建线性层精细化，并将全局特征分别送至精细化a和精细化得出大气光强a和雾浓度因子。第六、构建双反卷积层作为上采样模块，并将unet的输出特征上采样至输入分辨率。第七、构建双卷积层作为精细化t层，并将unet上采样后的特征与原图拼接起来，送至精细化t层得出透视率t。
[0050]
efficientnet-lite3的步长和卷积核的设置是固定的。conv stem是efficientnet-lite3的第一层卷积层，其stride=2。pytorch在构建网络时可对节点改名
字，conv stem只是其第一个节点层的名字。原来的基础模型efficientnet-lite3是用conv stem，基础模型在设计之初就已经固定了网络结构，而本发明需要一个更加高效的下采样模块，所以将第一层的conv stem改为stride=2的双卷积。unet属于深度学习网络通用结构中的一种，如resnet，由于encoder到decoder连在一起是u型结构，因此称为unet。
[0051]
在一种实现方式中，基于仿真数据集的cyclegan训练一共有两组网络，分别为生成网络组gen_clean（去雾）和gen_haze(加雾)，辨别网络组dis_clean(辨别无雾)，dis_haze(辨别有雾)。
[0052]
首先，构建生成和辨别网络，并初始化权重。其中，gen_clean使用的是预先构建的轻量去雾网络，加雾网络利用的是4层unet网络结构，所述辨别无雾网络和辨别有雾网络利用的均是5层卷积网络加sigmoid激活函数。
[0053]
所述辨别网络的训练步骤包括：将所述生成网络的权重固定，利用所述生成网络得到生成有雾图和生成无雾图；获取所述仿真数据集中的仿真有雾图和仿真无雾图；基于预设的辨别网络损失函数，利用所述仿真有雾图、仿真无雾图、生成有雾图和生成无雾图对所述辨别网络进行训练。
[0054]
具体地，训练辨别网络时，生成网络权重固定。如图3所示，输入成对图像到辨别网络，其中，仿真有雾图和仿真无雾图由carla生成的，而生成有雾图和生成无雾图是由生成网络生成的。对辨别有雾和辨别无雾网络而言，需要正确辨别真实图像和生成器生成的图像。辨别网络的损失函数如式5所示，为真实图像，为生成器生成图像，d(x)为辨别网络输出结果，m为训练图片对总数。
[0055]
式5所述生成网络的训练步骤为：将所述辨别网络的权重固定，进行无雾图闭环通路训练和有雾图闭环通路训练。在训练生成网络时，辨别网络权重固定，且分无雾图闭环和有雾图闭环两组通路。
[0056]
在一种实施例中，所述无雾图闭环通路训练的训练步骤包括：步骤a1、将所述仿真数据集中的仿真无雾图和匹配的无雾深度图输入所述生成网络中；步骤a2、随机生成第一雾浓度因子，利用所述无雾深度图和所述第一雾浓度因子得到第一透视率；步骤a3、随机生成第一大气光强，根据所述第一透视率和所述仿真无雾图得到第一初始合成雾图；步骤a4、所述第一初始合成雾图经所述生成网络处理得到第一最终合成雾图；步骤a5、所述第一最终合成雾图经所述去雾网络处理得到生成无雾图，所述生成无雾图和所述仿真无雾图形成闭环，利用预设的第一损失函数约束所述生成无雾图和所述仿真无雾图；步骤a6、利用所述辨别网络指导所述生成网络更新权重。
[0057]
具体地，对于无雾图闭环，如图4所示，具体步骤为：输入仿真无雾图和匹配的无雾
深度图，分别记为和。随机生成第一雾浓度因子（），将真实深度图和第一雾浓度因子代入公式2，得到第一透视率。随机生成a（），将第一透视率和仿真无雾图代入公式1，初步合成第一初始合成雾图，第一初始合成雾图经过生成雾网络获得第一最终合成雾图。最终合成公式如式6，式6中表示仿真无雾图，为无雾深度图，表征生成网络，a表示第一大气光强，表示第一雾浓度因子。
[0058]
式6第一最终合成雾图经过去雾网络gen_clean得到生成无雾图。生成无雾图与仿真无雾图形成闭环，使用平均绝对误差（l1 loss）约束与，第一损失函数如式7，n为像素总数。
[0059]
式7辨别网络指导生成网络更新权重，即辨别网络对生成网络生成的图像判断为真实的概率越高越好。辨别网络指导生成网络更新权重的损失函数如式8，为生成器生成图像，d(x)为辨别网络输出结果，m为训练图片对总数。
[0060]
式8对于有雾图闭环，有雾图闭环通路训练的训练步骤包括：步骤b1、将所述仿真有雾图和匹配的有雾深度图输入所述去雾网络中，所述仿真有雾图经所述去雾网络处理，得到第二透视率、第二大气光强和第二雾浓度因子；步骤b2、根据所述仿真有雾图、第二大气光强和第二透视率得到去雾结果，以及根据所述第二透视率和所述第二雾浓度因子得到生成深度图；步骤b3、利用预设的第二损失函数对所述生成深度图和所述有雾深度图进行平均绝对误差的计算；步骤b4、根据所述有雾深度图和所述第二雾浓度因子合成透视图，并根据所述透视图和所述去雾结果得到第二初始合成雾图；步骤b5、所述第二初始合成雾图经所述生成网络处理，得到第二最终合成雾图，所述第二最终合成雾图和所述仿真有雾图形成闭环，使用预设的第三损失函数约束所述第二最终合成雾图和所述仿真有雾图；步骤b6、根据预设的第四损失函数，利用辨别网络指导生成网络更新权重。
[0061]
具体地，如图5所示，输入仿真有雾图和匹配的有雾深度图，分别记为和；仿真有雾图经过去雾网络得到第二透视率、第二大气光强a和第二雾浓度因子，利用式9计算得到去雾结果。利用公式10计算出，对和进行平均
绝对误差（l1 loss），第二损失函数如下式11所示：式9 式10式11利用有雾深度图和第二雾浓度因子合成透视图。利用透视图和去雾结果初步合成第二初始合成雾图，并经过生成雾网络得到第二最终合成雾图，合成公式12如下。第二最终合成雾图和仿真有雾图形成闭环，使用平均绝对误差（l1 loss）约束第二最终合成雾图和仿真有雾图，第三损失函数如下式13，n为像素总数。
[0062]
式12式13辨别网络指导生成网络更新权重，即辨别网络对生成网络生成的图像判断为真实的概率越高越好。第四损失函数如下式14，为生成器生成图像，d(x)为辨别网络输出结果，m为训练图片对总数。
[0063]
式14在一种实施例中，所述步骤s40具体包括：步骤s41、采集真实行车场景下的真实有雾图像，并得到与所述真实有雾图像匹配的分割权重图像，根据所述真实有雾图像和所述分割权重图像构建真实有雾数据集；步骤s42、构建去雾教师网络和学生网络，加载所述初始去雾模型的权重并赋给所述去雾教师网络和所述学生网络，其中，所述去雾教师网络的权重固定且进入推理模式，所述学生网络的权重放开且进入训练模式；步骤s43、将所述真实有雾图像和匹配的所述分割权重图像输入所述去雾教师网络和所述学生网络中，进行透视率自监督训练和大气光强自监督训练；步骤s44、完成所述透视率自监督训练和所述大气光强自监督训练后，得到已训练的图像去雾模型。
[0064]
目前大多数去雾算法在缺少监督标签的情况下，都采用基于先验知识的无监督学习，而本发明除了基于先验的无监督之外，还有教师网络产生的软标签作为自监督学习。
[0065]
基于真实数据的自监督训练，如图6所示，分两阶段进行训练：1）训练透视率；2）训练大气光强。具体地，第一、构建去雾教师网络和学生网络，加载仿真数据集
训练完成的初始去雾模型的权重并赋给去雾教师网络和学生网络。去雾教师网络权重固定且进入推理模式，学生网络权重放开且进入训练模型。第二、输入真实有雾图像，和匹配的分割权重图像。这里的分割权重是指哪些区域需要保持，哪些区域需要增强或减弱。第三、训练透视率，大气光强保持不变。第四、训练大气光强，学生网络权重固定任务a分支以外的所有权重。
[0066]
在一种实现方式中，所述透视率自监督训练的训练步骤包括：所述真实有雾图像经所述去雾教师网络处理，得到教师网络透视率和教师网络大气光强，以及所述真实有雾图像经所述学生网络处理，得到学生网络透视率和学生网络大气光强；将所述教师网络透视率和所述学生网络透视率输入预设的自监督模块计算第五损失函数；将所述教师网络大气光强和所述学生网络大气光强保持不变，计算第六损失函数；计算所述学生网络的去雾结果，得到学生网络去雾图像，并利用预设的第七损失函数计算溢出量作为无监督损失。
[0067]
具体地，训练透视率时，第一、真实有雾图像经过去雾教师网络得到教师网络透视率和教师网络大气光强，真实有雾图像经过学生网络得到学生网络透视率和学生网络大气光强，和送至自监督模块计算第五损失函数，如公式15所示：式15第二、教师网络大气光强和学生网络大气光强保持不变，计算第六损失函数，如公式16所示：式16第三、计算学生网络的去雾结果得到学生网络去雾图像。计算溢出量作为无监督损失，第七损失函数可表示为式17，其中n像素总数，为限制在有效范围内。
[0068]
式17所述大气光强自监督训练的训练步骤包括：将真实有雾图像和所述学生网络去雾图像转换为hsv色域空间，并抽出各自色调分量，得到所述真实有雾图像的第一色调分量及所述学生网络去雾图像的第二色调分量；将所述第一色调分量和所述第二色调分量归一化至[0,1]区间，并计算色调差；根据预设的修正色调差公式对所述色调差进行修正处理，得到色调差修正值；根据预设的第八损失函数和所述色调差修正值计算色偏损失。
[0069]
具体地，将真实有雾图像和所述学生网络去雾图像转换为hsv色域空间是指：学生网络权重固定任务a分支以外的所有权重，对学生网络的任务a权重进行微调。
[0070]
真实有雾图像和学生网络去雾图像转换为hsv色域空间，并抽出各自色调分
量分别记为第一色调分量和第二色调分量。第一、第一色调分量和第二色调分量归一化至[0,1]区间；第二、计算色调差如式18：式18第三、修正色调差如式19：式19第四、计算色偏损失，损失函数如下式20：式20这样，本发明达到了以下效果：第一、本发明使用的轻量级去雾网络，可以在终端设备上满足实时要求；第二、去雾算法与真实深度结合，起到远强近弱的效果；第三、本发明的图像去雾模型容易训练，且对数据采集要求低；第四、去雾算法泛化能力强，适用于不同的真实场景。
[0071]
本发明与其他去雾方法的实时性对比如表3所示。表3为本发明去雾算分与主流去雾网络在芯原芯片（3.5t算力）下运行分辨率为960x768的测试结果，从fps（frames per second）看出本发明网络性能远优于主流网络。
[0072][0073]
表3表3中，da是指图像去雾的领域自适应方法；eda是指基于细节增强卷积和内容引导注意力的单图像去雾方法；gunet是指对图像去模糊网络性能提升方法；psd是指物理先验指导下的原理合成到真实去哈兹方法。
[0074]
进一步地，如图7所示，基于上述基于深度学习分阶段式训练的图像去雾方法，本发明还相应提供了一种基于深度学习分阶段式训练的图像去雾装置，包括：获取模块100，用于获取预先训练的图像去雾模型，所述图像去雾模型是利用预先构建的仿真数据集对预先构建的去雾网络进行训练得到初始去雾模型，再利用预先构建的真实有雾数据集对所述初始去雾模型进行自监督训练后得到；处理模块200，用于将待处理的原始图像输入所述图像去雾模型，得到去雾图像。
[0075]
其中，所述仿真数据集包括：仿真有雾图、与所述仿真有雾图匹配的有雾深度图、仿真无雾图及与所述仿真无雾图匹配的无雾深度图。
[0076]
在一种实施例中，如图8所示，包括：存储器20、处理器10及存储在所述存储器上并可在所述处理器上运行的基于深度学习分阶段式训练的图像去雾程序30，所述基于深度学
习分阶段式训练的图像去雾程序30被所述处理器10执行时实现如上所述的基于深度学习分阶段式训练的图像去雾方法的步骤。
[0077]
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如上所述的基于深度学习分阶段式训练的图像去雾方法的步骤。
[0078]
综上所述，本发明所提供的一种基于深度学习分阶段式训练的图像去雾方法及装置，所述方法包括：获取预先训练的图像去雾模型，所述图像去雾模型是利用预先构建的仿真数据集对预先构建的去雾网络进行训练得到初始去雾模型，再利用预先构建的真实有雾数据集对所述初始去雾模型进行自监督训练后得到；将待处理的原始图像输入所述图像去雾模型，得到去雾图像；其中，所述仿真数据集包括：仿真有雾图、与所述仿真有雾图匹配的有雾深度图、仿真无雾图及与所述仿真无雾图匹配的无雾深度图。本发明通过获取预先训练的图像去雾模型，以对待处理图像进行去雾处理，图像去雾模型在训练时进行两阶段训练，在第一阶段训练时使用仿真图和匹配的深度图，以使本发明的训练的去雾方法与真实深度有关，在第二阶段训练时采用真实有雾数据的自监督训练，以提高模型在真实场景的泛化能力，进而在对待处理图像进行去雾时，提高了去雾效果，且提高了实时性。
[0079]
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

技术特征：
1.一种基于深度学习分阶段式训练的图像去雾方法，其特征在于，所述方法包括：获取预先训练的图像去雾模型，所述图像去雾模型是利用预先构建的仿真数据集对预先构建的去雾网络进行训练得到初始去雾模型，再利用预先构建的真实有雾数据集对所述初始去雾模型进行自监督训练后得到；将待处理的原始图像输入所述图像去雾模型，得到去雾图像；其中，所述仿真数据集包括：仿真有雾图、与所述仿真有雾图匹配的有雾深度图、仿真无雾图及与所述仿真无雾图匹配的无雾深度图。2.根据权利要求1所述的基于深度学习分阶段式训练的图像去雾方法，其特征在于，所述图像去雾模型的训练步骤包括：利用自动驾驶模拟器在不同场景下生成仿真有雾图、与所述仿真有雾图匹配的有雾深度图、仿真无雾图及与所述仿真无雾图匹配的无雾深度图，根据所述仿真有雾图、所述有雾深度图、所述仿真无雾图和所述无雾深度图构建仿真数据集；获取生成网络和辨别网络，所述生成网络包括预先构建的去雾网络和加雾网络，所述辨别网络包括辨别无雾网络和辨别有雾网络；基于所述仿真数据集对所述生成网络和所述辨别网络进行训练，训练结束后，提取所述去雾网络，将已训练的所述去雾网络作为初始去雾模型；获取真实有雾数据集，利用所述真实有雾数据集对所述初始去雾模型进行自监督训练，得到已训练的图像去雾模型。3.根据权利要求2所述的基于深度学习分阶段式训练的图像去雾方法，其特征在于，所述去雾网络的构建步骤包括：构建并加载efficientnet-lite3的基础模型作为骨干，并用两层步长为2的3
×
3卷积层代替efficientnet-lite3的conv_stem层；构造4层unet网络，每层所述unet网络均包括一层编码器和一层解码器，所述骨干用于输出4组不同尺度特征至所述unet网络的编码器；构建全局平均池化层，所述全局平均池化层用于将所述骨干输出的4组不同尺度特征进行平均池化得到全局特征；构建第一线性层和第二线性层，所述第一线性层用于根据所述全局特征得到大气光强，所述第二线性层用于根据所述全局特征得到雾浓度因子；构建双反卷积层作为上采样模块，所述上采样模块用于将所述unet网络的输出特征上采样至输入分辨率；构建双卷积层，所述双卷积层用于接收上采样后的特征与原图拼接后得到的拼接图像，并根据所述拼接图像得到透视率。4.根据权利要求2所述的基于深度学习分阶段式训练的图像去雾方法，其特征在于，所述加雾网络利用的是4层unet网络结构，所述辨别无雾网络和辨别有雾网络利用的均是5层卷积网络加sigmoid激活函数；所述辨别网络的训练步骤包括：将所述生成网络的权重固定，利用所述生成网络得到生成有雾图和生成无雾图；获取所述仿真数据集中的仿真有雾图和仿真无雾图；基于预设的辨别网络损失函数，利用所述仿真有雾图、仿真无雾图、生成有雾图和生成
无雾图对所述辨别网络进行训练；所述生成网络的训练步骤为：将所述辨别网络的权重固定，进行无雾图闭环通路训练和有雾图闭环通路训练。5.根据权利要求4所述的基于深度学习分阶段式训练的图像去雾方法，其特征在于，所述无雾图闭环通路训练的训练步骤包括：将所述仿真数据集中的仿真无雾图和匹配的无雾深度图输入所述生成网络中；随机生成第一雾浓度因子，利用所述无雾深度图和所述第一雾浓度因子得到第一透视率；随机生成第一大气光强，根据所述第一透视率和所述仿真无雾图得到第一初始合成雾图；所述第一初始合成雾图经所述生成网络处理得到第一最终合成雾图；所述第一最终合成雾图经所述去雾网络处理得到生成无雾图，所述生成无雾图和所述仿真无雾图形成闭环，利用预设的第一损失函数约束所述生成无雾图和所述仿真无雾图；利用所述辨别网络指导所述生成网络更新权重；所述有雾图闭环通路训练的训练步骤包括：将所述仿真有雾图和匹配的有雾深度图输入所述去雾网络中，所述仿真有雾图经所述去雾网络处理，得到第二透视率、第二大气光强和第二雾浓度因子；根据所述仿真有雾图、第二大气光强和第二透视率得到去雾结果，以及根据所述第二透视率和所述第二雾浓度因子得到生成深度图；利用预设的第二损失函数对所述生成深度图和所述有雾深度图进行平均绝对误差的计算；根据所述有雾深度图和所述第二雾浓度因子合成透视图，并根据所述透视图和所述去雾结果得到第二初始合成雾图；所述第二初始合成雾图经所述生成网络处理，得到第二最终合成雾图，所述第二最终合成雾图和所述仿真有雾图形成闭环，使用预设的第三损失函数约束所述第二最终合成雾图和所述仿真有雾图；根据预设的第四损失函数，利用辨别网络指导生成网络更新权重。6.根据权利要求2所述的基于深度学习分阶段式训练的图像去雾方法，其特征在于，所述获取真实有雾数据集，利用所述真实有雾数据集对所述初始去雾模型进行自监督训练，得到已训练的图像去雾模型，包括：采集真实行车场景下的真实有雾图像，并得到与所述真实有雾图像匹配的分割权重图像，根据所述真实有雾图像和所述分割权重图像构建真实有雾数据集；构建去雾教师网络和学生网络，加载所述初始去雾模型的权重并赋给所述去雾教师网络和所述学生网络，其中，所述去雾教师网络的权重固定且进入推理模式，所述学生网络的权重放开且进入训练模式；将所述真实有雾图像和匹配的所述分割权重图像输入所述去雾教师网络和所述学生网络中，进行透视率自监督训练和大气光强自监督训练；完成所述透视率自监督训练和所述大气光强自监督训练后，得到已训练的图像去雾模型。
7.根据权利要求6所述的基于深度学习分阶段式训练的图像去雾方法，其特征在于，所述透视率自监督训练的训练步骤包括：所述真实有雾图像经所述去雾教师网络处理，得到教师网络透视率和教师网络大气光强，以及所述真实有雾图像经所述学生网络处理，得到学生网络透视率和学生网络大气光强；将所述教师网络透视率和所述学生网络透视率输入预设的自监督模块计算第五损失函数；将所述教师网络大气光强和所述学生网络大气光强保持不变，计算第六损失函数；计算所述学生网络的去雾结果，得到学生网络去雾图像，并利用预设的第七损失函数计算溢出量作为无监督损失；所述大气光强自监督训练的训练步骤包括：将真实有雾图像和所述学生网络去雾图像转换为hsv色域空间，并抽出各自色调分量，得到所述真实有雾图像的第一色调分量及所述学生网络去雾图像的第二色调分量；将所述第一色调分量和所述第二色调分量归一化至[0,1]区间，并计算色调差；根据预设的修正色调差公式对所述色调差进行修正处理，得到色调差修正值；根据预设的第八损失函数和所述色调差修正值计算色偏损失。8.一种基于深度学习分阶段式训练的图像去雾装置，其特征在于，所述装置包括：获取模块，用于获取预先训练的图像去雾模型，所述图像去雾模型是利用预先构建的仿真数据集对预先构建的去雾网络进行训练得到初始去雾模型，再利用预先构建的真实有雾数据集对所述初始去雾模型进行自监督训练后得到；处理模块，用于将待处理的原始图像输入所述图像去雾模型，得到去雾图像；其中，所述仿真数据集包括：仿真有雾图、与所述仿真有雾图匹配的有雾深度图、仿真无雾图及与所述仿真无雾图匹配的无雾深度图。9.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度学习分阶段式训练的图像去雾程序，所述基于深度学习分阶段式训练的图像去雾程序被所述处理器执行时实现如权利要求1~7任意一项所述的基于深度学习分阶段式训练的图像去雾方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如权利要求1~7任意一项所述的基于深度学习分阶段式训练的图像去雾方法的步骤。

技术总结
本发明所提供的一种基于深度学习分阶段式训练的图像去雾方法及装置，方法包括：获取预先训练的图像去雾模型，图像去雾模型是利用仿真数据集对预先构建的去雾网络进行训练得到初始去雾模型，利用真实有雾数据集对初始去雾模型进行自监督训练后得到；将待处理的原始图像输入图像去雾模型，得到去雾图像；仿真数据集包括仿真有雾图、有雾深度图、仿真无雾图及无雾深度图。本发明利用的图像去雾模型在训练时进行两阶段训练，在第一阶段训练时使用仿真图和匹配的深度图，以使本发明的训练的去雾方法与真实深度有关，在第二阶段训练时采用真实有雾数据的自监督训练，以提高模型在真实场景的泛化能力，进而在对待处理图像进行去雾时，提高了去雾效果。提高了去雾效果。提高了去雾效果。


技术研发人员：裴朝科
受保护的技术使用者：深圳市欧冶半导体有限公司
技术研发日：2023.06.20
技术公布日：2023/7/20