基于多分支渐进式深度网络的弱光图像增强方法

1.本发明属于图像处理技术领域，涉及一种基于多分支渐进式深度网络的弱光图像增强方法。


背景技术：

2.针对弱光增强，研究者们已经进行了多个方面的研究，大致可以分为空间域和频域的方法、retinex理论的方法，融合的方法，以及学习的方法。早期的研究主要是关于空间域与频域的方法，将图像转换到一个特定的空间，修改像素的分布和动态范围来增强图像。后来，由edwin h land建立retinex理论，一些方法通过消除图像中照明光的影响来确定物体的真实特性。除此之外，图像融合的方法使用不同的传感器获取同一场景的许多图像，从每幅图像中提取尽可能多的有用信息，合成高质量的图像。
3.最近几年，神经网络强大的拟合能力在建立高-低质量图像之间的映射关系中，表现出了卓越的性能，基于深度学习的图像增强方法开始大量出现，它们在学习从低光图像到增强的高质量图像的复杂端到端映射方面具有巨大潜力，在色彩和细节的恢复上表现出卓越的性能。为了完成弱光图像增强的任务，许多现有的方法建立端到端的网络处理这些复杂的退化，还有一些方法以级联的方式逐步处理这些复杂的退化。例如，在深度学习领域，第一种用于弱光图像增强的方法就是以端到端的学习方式产生令人满意的结果。一些方法设计了多个网络使用弱光图像分别预测目标图像的不同分量，最后整合出期望的增强图像，最具有代表性的是基于retinex理论提出的方法。最近，一些方法集中在设计具有多个分支的模型以增强弱光图像。特别是在复杂的视觉任务上具有强大的灵活性和良好的性能，有文献提出使用多个相同的分支同时增强弱光图像，融合不同分支的输出图像得到较为满意的结果，但这种直接融合图像的方法同时也将大量的噪声和伪影带到了目标图像中。


技术实现要素：

4.本发明的目的是提供一种基于多分支渐进式深度网络的弱光图像增强方法，该方法通过不同尺度的多分支增强网络克服了弱光图像退化问题。
5.本发明所采用的技术方案是，基于多分支渐进式深度网络的弱光图像增强方法，具体包括如下步骤：
6.步骤1，准备数据；
7.步骤2，搭建多分支渐进式增强模型；
8.步骤3，根据步骤2搭建的结构对步骤1准备的数据进行训练，得到训练好的多分支渐进式增强模型；
9.步骤4，基于步骤3得到的训练好的多分支渐进式增强模型进行数据测试。
10.本发明的特点还在于：
11.步骤1的具体过程为：
12.步骤1.1，准备配对的弱光图像对步骤1.1，准备配对的弱光图像对表示需要增强的弱光图像，表示与弱光图像一一对应的正常亮度的高质量图像groundtruth，i表示第i对数据，n表示数据集中数据对的个数；
13.步骤1.2，将步骤1.1获取的图像对数据划分为两部分，分别是训练集d
train
和测试集d
test
，其中训练集占全部数据的97％，测试集占全部数据的3％；
14.步骤1.3，对步骤2中划分的训练集d
train
图片进行随机裁剪，仅保留训练集中原始图像80％的像素数据用于训练，之后使用双三次插值方法将训练图像对{i
l
,ih}的尺寸调整为256
×
256，再使用相同的双三次插值方法分别将256
×
256的标签图像块ih下采样1/2和1/4，分别得到128
×
128和64
×
64的标签图像块i
h2
和i
h4
。
15.步骤2中，多分支渐进式增强模型包括多分支增强结构和渐进式增强结构；
16.多分支增强结构包括编码器模块、多分支模块和解码器模块；
17.编码器模块包括六个卷积和relu激活函数层，接收输入的低光图像i
l
，增强输入由初始弱光图像i
l
与两个增强图像在通道维度中拼接，得到增强的输入数据，初始化时增强图像由原始的弱光图像i
l
替代，因此，模型的输入表示为：
[0018][0019]
将输入编码器，提取不同维度大小和不同尺度的特征表示
[0020]
编码器表示为：
[0021][0022]
其中，是编码器的输入，是第j个分支的特征提取器，是第j个编码器输出的深度特征表示，[w,h,c]表示输入弱光图像的尺寸和通道数；
[0023]
多分支模块包括四个分支，这四个分支表示为：
[0024][0025]
其中，表示第k个增强分支，和分别表示第k个增强分支的输入和输出，第四个分支的输出通道是输入的一半，而其余三个分支的输入和输出尺寸完全相同；
[0026]
解码器模块接收四个分支的输出，将不同分支增强后的特征融合，并压缩到三个通道内，生成最终结果，解码器融合的过程表示为：
[0027][0028]
其中，f
up
表示对特征图进行2x上采样，并将特征图的通道数压缩到其原始大小的一半，f
gz
是将融合的特征图压缩到rgb通道的操作，得到与输入弱光图像i
l
大小相同的增强图像
[0029]
渐进式增强结构包括四个不同尺度的卷积lstm模块，四个不同尺度的卷积lstm模块嵌入到多分支增强结构中，在多分支增强结构中的每个增强分支中，卷积lstm单元位于卷积层之间，每个卷积lstm单元由四个组成部分组成，即遗忘门、输入门、输出门和存储单
元c
t
，遗忘门、输入门、输出门由如下公式(5)～(7)所示：
[0030]ct
＝c
t-1
×
δ(wf[h
t-1
,x
t
])
ꢀꢀꢀ
(5)；
[0031]ct
＝c
t
+δ(wi[h
t-1
,x
t
])
×
tanh(wg[h
t-1
,x
t
])
ꢀꢀꢀ
(6)；
[0032]ht
＝δ(wo[h
t-1
,x
t
])
×
tanh(c
t
)
ꢀꢀꢀ
(7)；
[0033]
其中，h
t
表示lstm在第t时间步的隐藏状态向量；[h
t-1
,x
t
]是第(t-1)个时间步的输出和第t个时间步的输入的连接通道特征图，wf,wi,wg,和wo是相互独立的卷积；δ和tanh分别是sigmoid激活函数和tanh激活函数。
[0034]
步骤3的具体过程为：
[0035]
步骤3.1，将预处理之后的数据i
l
与两个增强图像在通道维度中拼接，得到增强的输入数据；
[0036]
步骤3.2，将步骤3.1所得的增强的输入数据通过编码器提取不同尺度的特征表示，得到四种尺度的输出
[0037]
步骤3.3，在不同分支增强特征表示之前，使用通道注意力为不同分支的输入特征在通道维度分配不同的权重参数，通道注意力模块表示为：
[0038][0039]
其中，是编码器提取的原始特征图，是输出加权的特征表示，f
sq
表示全局平均池化操作，其中：w1和w2是通道注意力的权重参数；
[0040]
步骤3.4，在赋予不同通道的特征权重之后，四种尺度的加权特征表示j＝1,2,3,4分别交给四个不同的分支，特征图在相应分支内前向传播，使得四个分支对不同的尺寸的特征表示增强，得到多个分支增强后的特征表示；
[0041]
步骤3.5，使用解码器融合模块将多个分支的增强特征表示输出融合为三通道rgb图像；
[0042]
步骤3.6，在多分支增强结构的增强阶段，增强特征表示的同时，渐进式增强结构的卷积lstm模块单元状态c
t
和当前时间步长lstm的输出h
t
会被更新；
[0043]
步骤3.7，当多分支增强模型完成一次的增强任务后，会得到当前时间步长的增强图像
[0044]
步骤3.8，对多分支增强结构和渐进式增强结构产生的增强结果与标签图像计算损失，计算的方式如下：
[0045]
l＝λ1l
pixel
+λ2l
multi
+λ3l
adv
+λ4l
grad
+λ5l
color
ꢀꢀꢀ
(9)；
[0046]
其中，l
pixel
为像素损失、l
multi
为多尺度感知损失、l
adv
为对抗损失、l
grad
为梯度损失、l
color
为颜色损失，其中λ1,λ2,λ3,λ4,和λ5是平衡最终损失函数中每一项的权重参数；
[0047]
步骤3.9，根据步骤3.8得到的损失，将损失反向传播，迭代完所有epoch后训练完成。
[0048]
步骤4的具体过程为：
[0049]
步骤4.1，加载训练好的多分支渐进式增强模型；
[0050]
步骤4.2，加载数据准备阶段划分的测试数据集d
test
；
[0051]
步骤4.3，测试的弱光图像的尺寸保持不变，将测试图像逐个输入训练好的多分支渐进式增强模型，增强的目标图像与输入的弱光图像i
l
尺寸相同；
[0052]
步骤4.4，对得到的增强图像和标签图像ih计算测试指标psnr/ssim计算方式为：
[0053][0054]
式中，l表示图像中的像素最大值，ih表示真实标签图像，n表示像素个数，表示重建图像；
[0055][0056]
式中，μ
x
和μy分别为重建图像和真实图像ih的平均值，σ
x
和σy分别为和ih的方差，σ
xy
为和ih的协方差，参数c1、c2为常数。
[0057]
本发明的有益效果如下：
[0058]
1.本发明由于在对弱光图像增强的过程中采用了分而治之的研究思想，将弱光图像的增强过程分解到四种不同的尺度，并且在不同尺度内的增强过程同时进行，避免了级联网络先后增强弱光图像而产生的噪声放大或对比度损失的问题，在极低亮度环境下仍然能够恢复出更多的细节和亮度。
[0059]
2.本发明提出一种由粗到精的渐进式增强策略，使用卷积lstm结构将弱光图像增强问题纵向分解，将弱光图像到正常亮度图像的增强过程分为多个阶段，将每一次多分支网络的融合输出结果重新送入到多分支网络，使用lstm结构联合多个阶段的增强效果，将复杂的弱光图像与高质量图像之间的拟合问题细化。
[0060]
3.本发明设置了一个丰富的联合损失函数，仿真结果表明，与现有的弱光图像增强算法相比，本发明能恢复更多的图像细节，产生更加清晰的图像边缘和纹理，避免产生明显的图像失真和伪影。
附图说明
[0061]
图1是本发明基于多分支渐进式深度网络的弱光图像增强方法采用的基于多分支网络的弱光图像增强结构；
[0062]
图2是本发明基于多分支渐进式深度网络的弱光图像增强方法基于卷积lstm的渐进式增强策略结构；
[0063]
图3是本发明基于多分支渐进式深度网络的弱光图像增强方法渐进式增强策略每一阶段的可视化效果；
[0064]
图4(a)～(j)是本发明基于多分支渐进式深度网络的弱光图像增强方法与已有算法对公共数据集测试后在视觉上进行对比的结果图；
[0065]
图5(a)～(i)是本发明基于多分支渐进式深度网络的弱光图像增强方法与已有算
法对手机拍摄图像测试后在视觉上进行对比的结果图；
[0066]
图6是本发明基于多分支渐进式深度网络的弱光图像增强方法与已有算法对模型参数量统计和在公共数据集上测试指标的对比图。
具体实施方式
[0067]
下面结合附图和具体实施方式对本发明进行详细说明。
[0068]
本发明基于多分支渐进式深度网络的弱光图像增强方法，实现本发明的技术思路是：使用大量的自然弱光图像或人工合成的弱光图像与标签图像构成训练集，在每一次输入弱光图像时，都将图像裁剪为原来的80％以增广数据集，设计了四个具有不同结构的分支来完成不同尺度和不同级别的特征增强和融合。使用卷积lstm缓解网络过深造成的训练困难，通过多分支渐进式网络学习弱光图像到目标图像的映射关系。参照图1和图2，基于多分支渐进式的弱光图像增强方法的实施步骤主要包括四个阶段：数据准备阶段、搭建多分支增强结构和渐进式增强模型阶段，训练阶段，测试阶段。
[0069]
(一)数据准备阶段
[0070]
步骤1，构造数据集图像对数据，用于多分支增强阶段和渐进式增强阶段的训练过程：首先准备配对的弱光图像对程：首先准备配对的弱光图像对表示需要增强的弱光图像，表示与弱光图像一一对应的正常亮度的高质量图像ground truth，i表示第i对数据，n表示数据集中数据对的个数。
[0071]
步骤2，划分数据：将步骤1获取的图像对数据划分为两部分，分别是训练集d
train
和测试集d
test
，其中训练集占全部数据的97％，测试集占全部数据的3％。
[0072]
步骤3，对步骤2中划分的训练集d
train
数据预处理：对训练集d
train
中的图片进行随机裁剪，仅保留训练集中原始图像80％的像素数据用于训练，之后使用双三次插值方法将训练图像对{i
l
,ih}的尺寸调整为256
×
256，再使用相同的双三次插值方法分别将256
×
256的标签图像块ih下采样1/2和1/4，分别得到128
×
128和64
×
64的标签图像块i
h2
和i
h4
。
[0073]
(二)搭建多分支渐进式增强模型，包括多分支增强结构和渐进式增强结构；
[0074]
本发明所提出的多分支增强结构如图1所示：包括编码器模块、多分支模块和解码器模块三大部分：
[0075]
(1)编码器模块由六个卷积和relu激活函数层组成，接收输入的低光图像i
l
，增强输入由初始弱光图像i
l
与两个增强图像在通道维度中拼接，得到增强的输入数据，初始化时增强图像由原始的弱光图像i
l
替代，因此：模型的输入可表示为：
[0076][0077]
之后将输入编码器，提取不同维度大小和不同尺度的特征表示
[0078]
编码器可表示为：
[0079]
[0080]
其中，是编码器的输入，是第j个分支的特征提取器，是第j个编码器输出的深度特征表示，[w,h,c]表示输入弱光图像的尺寸和通道数。对于j＝1,2,3,4,的尺寸和通道数分别为[w,h,64],和
[0081]
(2)多分支模块为图1中的分支1、分支2、分支3、分支4。这四个分支对编码器提取出来的不同深度对应的特征进行增强。受u-net和res-net的启发，本发明设计了四个具有不同接受域的分支来学习不同尺度下的深度表示。更具体地说，第一个分支用于处理相对简单的任务，因此与其他三个分支相比，它具有最简单的结构。而第二分支的结构与u-net相似，但在跳过连接和特征图大小上有独特的区别。相应地，第三分支的结构类似于res-net，它去掉了批处理归一化层，只保留了少量的res-block，以减少模型参数的数量。第四个分支负责执行相对复杂的增强任务，其中集成了更深层的常规层和四个空洞卷积层，以学习更多信息的特征表示。在形式上，这四个分支表示为:
[0082][0083]
其中，表示第k个增强分支，和分别表示第k个增强分支的输入和输出，第四个分支的输出通道是输入的一半，而其它分支的输入和输出尺寸完全相同。
[0084]
(3)解码器模块接收四个分支的输出，将不同分支增强后的特征融合，并压缩到三个通道内，生成最终结果。解码器融合的过程可表示为：
[0085][0086]
其中，f
up
表示对特征图进行2x上采样，并将特征图的通道数压缩到其原始大小的一半，f
gz
是将融合的特征图压缩到rgb通道的操作，得到与输入弱光图像i
l
大小相同的增强图像
[0087]
本发明所提出的渐进式增强结构如图2所示：本发明构造了四个不同尺度的卷积lstm模块嵌入到分支网络中，在每个增强分支中，卷积lstm单元位于卷积层之间。每个卷积lstm单元由四个组成部分组成，即遗忘门(公式(5))、输入门(公式(6))、输出门(公式(7))和存储单元c
t
，具体如下：
[0088]ct
＝c
t-1
×
δ(wf[h
t-1
,x
t
])
ꢀꢀꢀ
(5)；
[0089]ct
＝c
t
+δ(wi[h
t-1
,x
t
])
×
tanh(wg[h
t-1
,x
t
])
ꢀꢀꢀ
(6)；
[0090]ht
＝δ(wo[h
t-1
,x
t
])
×
tanh(c
t
)
ꢀꢀꢀ
(7)；
[0091]
其中，h
t
表示lstm在第t时间步的隐藏状态向量；[h
t-1
,x
t
]是第(t-1)个时间步的输出和第t个时间步的输入的连接通道特征图。wf,wi,wg,和wo是相互独立的卷积；δ和tanh分别是sigmoid激活函数和tanh激活函数。在训练开始，c
t
和h
t
的所有元素分别初始化为1和0。g1、g2和g3是结构相同的多分支模型，具有相同的权值，但迭代过程中的时间步长不同，在网络的连续时间步上，相邻两个子网络由卷积lstm单元连接。如图3所示：不同的时间步长上的渐进式增强结果，最后一个时间步的增强图像为最终增强结果
[0092]
(三)训练阶段
[0093]
步骤1，首先将数据准备阶段预处理之后的数据i
l
与两个增强图像在通道维度
中拼接得到增强的输入数据。
[0094]
步骤2，之后将增强的输入数据通过编码器提取不同尺度的特征表示。得到四种尺度的输出j＝1,2,3,4。
[0095]
步骤3，在不同分支增强特征表示之前，使用通道注意力为不同的分支的输入特征在通道维度分配不同的权重参数，通道注意力模块表示为：
[0096]
其中，j＝1,2,3,4是编码器提取的原始特征图，j＝1,2,3,4是输出加权的特征表示，f
sq
表示全局平均池化操作，其中：w1和w2是通道注意力的权重参数。
[0097]
步骤4，在赋予不同通道的特征权重之后，四种尺度的加权特征表示j＝1,2,3,4分别交给四个不同的分支，特征图在相应分支内前向传播，使得四个分支对不同的尺寸的特征表示增强，得到多个分支增强后的特征表示。
[0098]
步骤5，使用解码器融合模块将多个分支的增强特征表示输出融合为三通道rgb图像。
[0099]
步骤6，在多分支增强结构的增强阶段，增强特征表示的同时，渐进式增强阶段的卷积lstm模块单元状态c
t
和当前时间步长lstm的输出h
t
会被更新。
[0100]
步骤7，当多分支增强模型完成一次的增强任务后，会得到当前时间步长的增强图像使用更新之后的c
t
、h
t
重复3次训练阶段的步骤1到步骤5。
[0101]
步骤8，对多分支网络以及渐进式网络产生的增强结果与标签图像计算损失，计算的方式如下：
[0102]
l＝λ1l
pixel
+λ2l
multi
+λ3l
adv
+λ4l
grad
+λ5l
color
ꢀꢀꢀ
(9)；
[0103]
五个损失分别是像素损失l
pixel
、多尺度感知损失l
multi
、对抗损失l
adv
、梯度损失l
grad
、颜色损失l
color
，其中λ1,λ2,λ3,λ4,和λ5是平衡最终损失函数中每一项的权重参数。这里将λ1,λ2,λ3,λ4和λ5设置为1.5,1,0.001,1,和0.5。
[0104]
各损失函数的计算过程如下：
[0105]
l
pixel
损失表示为：
[0106][0107]
其中，ih是ground truth，是渐进网络的第i个增强图像，l
mse
是衡量两幅图像之间的度量，n是渐进增强中的迭代次数；
[0108]
l
multi
损失表示为：
[0109][0110]
其中，l
vgg
(
·
)表示vgg19网络在第二层和第七层关于预测图像及其目标图像的特征图之间的mse；ih,i
h2
,i
h4
分别是原始、1/2和1/4尺度的参考ground truth；分别是原始、1/2和1/4比例的增强图像，权重常数γ2和γ4设置为0.8和0.4；
[0111]
对抗性损失l
adv
表示为：
[0112]
l
adv
＝l
mse
(d(i
l
，g(i
l
；θ))，[1])
ꢀꢀꢀ
(12)；
[0113]
l
grad
计算过程表示为：
[0114][0115]
其中，和代表沿水平和垂直方向的梯度算子；
[0116]
l
color
计算过程表示为：
[0117][0118]
其中，∠表示增强图像及其目标图像的像素级颜色向量之间的余弦相似度，p是增强图像或其目标图像的第p个像素。
[0119]
步骤9，计算得到整体的损失之后，将损失反向传播，这里使用adam优化器，学习率在前50个epoch设置为0.0004，之后下降为0.0002，迭代200次，迭代完所有epoch后训练完成。
[0120]
(四)测试阶段
[0121]
步骤1，加载训练好的多分支渐进式增强模型。
[0122]
步骤2，加载数据准备阶段划分的测试数据集d
test
。
[0123]
步骤3，测试的弱光图像的尺寸保持不变，将测试图像逐个输入训练好的多分支渐进式增强模型，增强的目标图像与输入的弱光图像i
l
尺寸相同。
[0124]
步骤4，对得到的增强图像和标签图像ih计算测试指标psnr(质量评价指标)/ssim(质量评价指标)计算方式为：
[0125][0126]
式中：l表示图像中的像素最大值，ih表示真实标签图像，n表示像素个数，表示重建图像。两幅图像的像素差别越小，psnr值越高。
[0127][0128]
式中：μ
x
和μy分别为重建图像和真实图像ih的平均值，σ
x
和σy分别为和ih的方差，σ
xy
为和ih的协方差，参数c1,c2为常数，用于防止分母为0。ssim值在[0，1]范围内取值，一般来说，ssim值越大，表明两幅图像越相似。
[0129]
针对无法获取标签图像的弱光图像，允许ih不存在，只产生增强的目标图像不计算测试指标。
[0130]
以下通过仿真实验验证本发明的有效性。
[0131]
仿真内容：
[0132]
(1)在相同的训练集和测试图像上，采用对比实验的形式，选择七个具有代表性的
弱光图像增强方法与本发明仿真结果进行比较，以验证本发明的有效性。如图4(a)～(j)所示，七个具有代表性的弱光图像增强方法是lv等人提出的方法，简称mbllen；wang等人提出的方法，简称deepupe；moran等人提出的方法，简称deeplpf；zamir等人提出的方法，简称mirnet；zhao等人提出的方法，简称retinexdip；yang等人提出的方法，简称sgm-net；wang等人提出的方法，简称llflow。
[0133]
(2)为了进一步验证本发明的通用性，使用智能手机在不同亮度和噪声条件下拍摄低光图像，并比较不同方法获得的增强结果，如图5(a)～(i)所示。
[0134]
(3)为了对比模型的参数量与弱光图像增强性能，计算了七种模型的参数量和在公共数据集下的测试指标对比结果，如图6所示。
[0135]
具体仿真条件详见每个实施例的描述。
[0136]
实施例1
[0137]
在三个广泛使用的数据库(即lol、sys和mit)上对本发明与其他七种方法训练和测试，其结果如图4所示：图4(a)是输入的弱光图像，图4(b)是mbllen方法的增强结果，图4(c)是deepupe方法的增强结果，图4(d)是deeplpf方法的增强结果，图4(e)是mirnet方法的增强结果，图4(f)是retinexdip方法的增强结果，图4(g)是sgm-net方法的增强结果，图4(h)是llflow方法的增强结果，图4(i)是本方法的增强结果，图4(j)是真实的标签图像。
[0138]
图4的仿真结果可以看出：比较第一行到第二行在mit数据库上的结果，大多数比较的方法可以产生相对满意的结果，相比之下，本发明在生成更精细的纹理细节方面表现得更好(参见图4中的第一行)，并在天空颜色上显示出更好的校正(参见图4中的第二行)。在sys数据库中非自然弱光图像上比较，参考第三行和第四行图像，可以发现我们的方法在比较的算法中产生了最令人信服的结果。特别是，本发明生成的第四排夕阳与目标图像最接近，表现出了比其他方法更好的人眼感知特征。相比之下，其他方法产生非常严重的色移(参见图4第三行的(d)、(f)、(g)、(h))和模糊效果(参见图4第三行的(b)、(c)、(e))。lol数据库中包含的图像是在室内拍摄的，非常暗且噪声多，这对许多弱光图像增强方法来说是非常具有挑战性的。从比较结果可以看出(参见图4的第五行和第六行)，本发明在主要区域产生最少伪影和最小噪声的最逼真的结果。而且，增强结果的亮度、对比度和颜色与目标图像最为逼真。相比之下，其他比较的方法容易在边缘和纹理区域内产生大量意想不到的光晕(参见图4中最后两行的(b)至(e))，一些方法甚至在整个重建结果中产生明显的颜色失真(参见图4中最后两行的(c)、(e)、(h))。由于精心设计的多分支结构以及应用的渐进式增强策略，所提出的方法能够在非常暗的环境和亮度不足的条件下处理各种复杂的退化，在亮度、颜色、对比度和噪声方面表现出足够的增强效果。
[0139]
实施例2
[0140]
使用智能手机拍摄不同亮度和噪声条件下的弱光图像，并对不同方法得到的增强结果进行了直观的评估。其结果如图5(a)～(i)所示：图5(a)是输入的弱光图像，图5(b)是mbllen方法的增强结果，图5(c)是deepupe方法的增强结果，图5(d)是deeplpf方法的增强结果，图5(e)是mirnet方法的增强结果，图5(f)是retinexdip方法的增强结果，图5(g)是sgm-net方法的增强结果，图5(h)是llflow方法的增强结果，图5(i)是本发明的增强结果。
[0141]
从图5(a)～(i)中仿真结果可以看出：本发明在各个方面都明显优于其他方法：1)在恢复亮度和颜色方面表现出令人满意的性能，2)完美地保留了更多的细节，3)对各种噪
声具有极好的鲁棒性。
[0142]
实施例3
[0143]
在性能和计算复杂度之间取得更好的平衡是评估模型效率的关键。按升序对模型参数的数量进行排序来评估不同方法的性能和计算效率，如图6所示，其中横轴表示网络参数(mb)，纵轴表示在三个数据库上的平均psnr值。
[0144]
从图6的仿真结果可以看出：本发明在保持中等规模计算成本的同时，在增强性能方面领先其他方法。
[0145]
上述三个实验的结果表明，本发明与已有的弱光图像增强方法相比，具有更强的图像增强能力，能够得到更多的图像细节，而且恢复的图像在视觉上有较好的感知效果，不存在明显的失真和伪像，更接近于真实图像。

技术特征：
1.基于多分支渐进式深度网络的弱光图像增强方法，其特征在于：具体包括如下步骤：步骤1，准备数据；步骤2，搭建多分支渐进式增强模型；步骤3，根据步骤2搭建的结构对步骤1准备的数据进行训练，得到训练好的多分支渐进式增强模型；步骤4，基于步骤3得到的训练好的多分支渐进式增强模型进行数据测试。2.根据权利要求1所述的基于多分支渐进式深度网络的弱光图像增强方法，其特征在于：所述步骤1的具体过程为：步骤1.1，准备配对的弱光图像对步骤1.1，准备配对的弱光图像对表示需要增强的弱光图像，i
ih
表示与弱光图像一一对应的正常亮度的高质量图像ground truth，i表示第i对数据，n表示数据集中数据对的个数；步骤1.2，将步骤1.1获取的图像对数据划分为两部分，分别是训练集d
train
和测试集d
test
，其中训练集占全部数据的97％，测试集占全部数据的3％；步骤1.3，对步骤2中划分的训练集d
train
图片进行随机裁剪，仅保留训练集中原始图像80％的像素数据用于训练，之后使用双三次插值方法将训练图像对{i
l
,i
h
}的尺寸调整为256
×
256，再使用相同的双三次插值方法分别将256
×
256的标签图像块i
h
下采样1/2和1/4，分别得到128
×
128和64
×
64的标签图像块i
h2
和i
h4
。3.根据权利要求2所述的基于多分支渐进式深度网络的弱光图像增强方法，其特征在于：所述步骤2中，多分支渐进式增强模型包括多分支增强结构和渐进式增强结构；多分支增强结构包括编码器模块、多分支模块和解码器模块；编码器模块包括六个卷积和relu激活函数层，接收输入的低光图像i
l
，增强输入由初始弱光图像i
l
与两个增强图像在通道维度中拼接，得到增强的输入数据，初始化时增强图像由原始的弱光图像i
l
替代，因此，模型的输入表示为：将输入编码器，提取不同维度大小和不同尺度的特征表示编码器表示为：其中，是编码器的输入，是第j个分支的特征提取器，是第j个编码器输出的深度特征表示，[w,h,c]表示输入弱光图像的尺寸和通道数；多分支模块包括四个分支，这四个分支表示为：其中，表示第k个增强分支，和分别表示第k个增强分支的输入和输出，第四个分支的输出通道是输入的一半，而其余三个分支的输入和输出尺寸完全相同；解码器模块接收四个分支的输出，将不同分支增强后的特征融合，并压缩到三个通道
内，生成最终结果，解码器融合的过程表示为：其中，f
up
表示对特征图进行2x上采样，并将特征图的通道数压缩到其原始大小的一半，f
gz
是将融合的特征图压缩到rgb通道的操作，得到与输入弱光图像i
l
大小相同的增强图像渐进式增强结构包括四个不同尺度的卷积lstm模块，四个不同尺度的卷积lstm模块嵌入到多分支增强结构中，在多分支增强结构中的每个增强分支中，卷积lstm单元位于卷积层之间，每个卷积lstm单元由四个组成部分组成，即遗忘门、输入门、输出门和存储单元c
t
，遗忘门、输入门、输出门由如下公式(5)～(7)所示：c
t
＝c
t
+δ(w
i
[h
t-1
,x
t
])
×
tanh(w
g
[h
t-1
,x
t
]) (6)；h
t
＝δ(w
o
[h
t-1
,x
t
])
×
tanh(c
t
) (7)；其中，h
t
表示lstm在第t时间步的隐藏状态向量；[h
t-1
,x
t
]是第(t-1)个时间步的输出和第t个时间步的输入的连接通道特征图，w
f
,w
i
,w
g
,和w
o
是相互独立的卷积；δ和tanh分别是sigmoid激活函数和tanh激活函数。4.根据权利要求3所述的基于多分支渐进式深度网络的弱光图像增强方法，其特征在于：所述步骤3的具体过程为：步骤3.1，将预处理之后的数据i
l
与两个增强图像在通道维度中拼接，得到增强的输入数据；步骤3.2，将步骤2.1所得的增强的输入数据通过编码器提取不同尺度的特征表示，得到四种尺度的输出步骤3.3，在不同分支增强特征表示之前，使用通道注意力为不同分支的输入特征在通道维度分配不同的权重参数，通道注意力模块表示为：其中，是编码器提取的原始特征图，是输出加权的特征表示，f
sq
表示全局平均池化操作，其中：w1和w2是通道注意力的权重参数；步骤3.4，在赋予不同通道的特征权重之后，四种尺度的加权特征表示j＝1,2,3,4分别交给四个不同的分支，特征图在相应分支内前向传播，使得四个分支对不同的尺寸的特征表示增强，得到多个分支增强后的特征表示；步骤3.5，使用解码器融合模块将多个分支的增强特征表示输出融合为三通道rgb图像；步骤3.6，在多分支增强结构的增强阶段，增强特征表示的同时，渐进式增强结构的卷积lstm模块单元状态c
t
和当前时间步长lstm的输出h
t
会被更新；步骤3.7，当多分支增强模型完成一次的增强任务后，会得到当前时间步长的增强图像
步骤3.8，对多分支增强结构和渐进式增强结构产生的增强结果与标签图像计算损失，计算的方式如下：l＝λ1l
pixel
+λ2l
multi
+λ3l
adv
+λ4l
grad
+λ5l
color (9)；其中，l
pixel
为像素损失、l
multi
为多尺度感知损失、l
adv
为对抗损失、l
grad
为梯度损失、l
color
为颜色损失，其中λ1,λ2,λ3,λ4,和λ5是平衡最终损失函数中每一项的权重参数；步骤3.9，根据步骤3.8得到的损失，将损失反向传播，迭代完所有epoch后训练完成。5.根据权利要求4所述的基于多分支渐进式深度网络的弱光图像增强方法，其特征在于：所述步骤4的具体过程为：步骤4.1，加载训练好的多分支渐进式增强模型；步骤4.2，加载数据准备阶段划分的测试数据集d
test
；步骤4.3，测试的弱光图像的尺寸保持不变，将测试图像逐个输入训练好的多分支渐进式增强模型，增强的目标图像与输入的弱光图像i
l
尺寸相同；步骤4.4，对得到的增强图像和标签图像i
h
计算测试指标psnr/ssim计算方式为：式中，l表示图像中的像素最大值，i
h
表示真实标签图像，n表示像素个数，表示重建图像；式中，μ
x
和μ
y
分别为重建图像和真实图像i
h
的平均值，σ
x
和σ
y
分别为和i
h
的方差，σ
xy
为和i
h
的协方差，参数c1、c2为常数。

技术总结
本发明公开了一种基于多分支渐进式的弱光图像增强方法，包括如下步骤：步骤1，准备数据；步骤2，搭建多分支渐进式增强模型；步骤3，根据步骤2搭建的结构对步骤1准备的数据进行训练，得到训练好的多分支渐进式增强模型；步骤4，基于步骤3得到的训练好的多分支渐进式增强模型进行数据测试。本发明通过不同尺度的多分支增强网络克服了弱光图像退化问题。分支增强网络克服了弱光图像退化问题。分支增强网络克服了弱光图像退化问题。


技术研发人员：袁诚 张凯兵 余有江 陈小改 李敏奇 卢健
受保护的技术使用者：西安工程大学
技术研发日：2023.03.07
技术公布日：2023/7/20