一种基于图像处理与深度学习的水下图像增强方法

1.本发明涉及海洋工程研究领域，尤其涉及一种基于图像处理与深度学习的水下图像增强方法。


背景技术：

2.水下成像对于许多生物资源和矿物的勘探具有重要意义，虽然随着相机的发展，光学机器人以及海洋工程的增加，近些年水下视觉获得了极大的关注，但是水下作业的开展都需要对图像进行预先的处理，以便得到更好的特征和视觉效果。然而，在浑浊的水域，水下环境对光线的吸收差异导致水下图像三个通道值各不相同，其中红色的衰减程度最高，其次蓝绿，因此水下图像整体偏蓝绿色，要去除突出的颜色，如蓝色和绿色，并保持亮度和清晰度，这是一项具有挑战性的任务。
3.早期使用基于物理模型的图像恢复方法或基于非物理模型的图像增强方法，可以提高水下图像的质量。基于物理模型的方法容易受到模型假设、参数和噪声的影响，在复杂的水下环境中效果不是很稳定。现有的深度学习增强图像方法可以分为基于深度卷积网络cnn和生成对抗网络gan方法，cnn在图像恢复领域被广泛应用于各种应用，包括图像去噪、图像去雾、图像超分辨率和低照度增强等。由于水下环境复杂，缺乏高质量的图像与已知退化的图像匹配训练，故cnn水下图像增强的发展效果一度陷入停滞状态。涉及到卷积运算有一个明显的缺点，即它只作用于局部邻域，容易丢失全局信息。近些年来注意力机制逐步被应用到视觉领域，注意机制使网络忽略无关信息，关注关键信息，具有注意力机制的多尺度可变形卷积网络的出现提高了水下图像的质量。
4.现有学习模型的局限性体现在现有深度学习方法大多采用基于有监督学习模型的学习方法，只能在合成的图像训练数据集上进行有监督训练，由于合成图像训练数据的局限性，导致有监督学习的模型及方法在真实图像上应用时处理结果往往比在合成图像上表现差。


技术实现要素：

5.发明目的：本发明的目的是提供一种基于图像处理与深度学习的水下图像增强方法，提高水下相机成像的分辨率以及颜色校正的质量。
6.技术方案：本发明包括如下步骤：
7.(1)将原始图像分别输入颜色校正模块和对比度增强模块，得到校正图像i
dr
和增强图像i
gch
；
8.(2)对u-net网络进行改进并应用到水下图像的置信度图的预测中；
9.(3)利用公开的水下数据集和多个损失函数训练改进后的u-net网路；
10.(4)将原始图像、校正图像i
dr
和增强图像i
gch
输入到上述改进u-net网络模型中，输出网络预测的两种置信度图；
11.(5)将校正图像i
dr
和增强图像i
gch
分别乘以对应的置信度并融合，输出增强后的图
像。
12.进一步地，所述步骤(1)应用颜色校正模块校正步骤包括：
13.(1.1)基于retinex理论对原图进行图像信息进行分解，并转换到对数域中；
14.(1.2)引入进行双边滤波估测反射分量
15.ri＝lb(ri(x，y))＝lb(si(x，y))-lb[si(x，y)*wi(x，y，x
′
，y
′
)]
[0016][0017]
其中，wi为双边滤波器；(x，y)是当前被卷积像素的坐标点；(m，n)是邻域像素的坐标点；σr和σd为平滑参数；
[0018]
(1.3)根据步骤(1.2)求得红色通道的反射分量rr；
[0019]
(1.4)根据水下图像三个通道的衰减系数求解剩余通道的颜色分量rg，rb：
[0020][0021]
其中，cb，cg，cr分别是图像的b、g和r通道在水下的衰减系数；
[0022]
(1.5)运用多尺度的retinex算法：
[0023][0024]
式中，j为尺度常量的个数，一般为3，为图像的三个颜色通道；wi是加权系数；
[0025]
(1.6)最后，将ri转化为实数域ri，再进行颜色重组输出反射分量，得出颜色校正后的图像。
[0026]
进一步地，所述步骤(1)对比度增强包括：首先将图像的色域范围变换到ycbcr，并将clahe单独应用于y分量；其次将图像锐化，并利用直方图进行线性化处理；最后将处理所得的图像通过拉普拉斯高斯金字塔融合后输出对比度增强的图像。
[0027]
进一步地，所述步骤(2)中改进后的u-net网络，包括并行的多尺度特征提取模块以及注意力机制模块。
[0028]
进一步地，所述多尺度特征提取模块包括三个平滑空洞卷积，设置卷积核为3*3，空洞率分别为1、2和4，卷积之后的感受野分别为3、5和9，并行连接三个卷积层、归一化、relu层。
[0029]
进一步地，所述注意力机制模块包括像素注意力机制和通道注意力机制，所述通道注意力机制模块包括avgpooling层、全连接层、relu层、sigmoid层以及输出图像f2。
[0030]
进一步地，步骤(3)所述的损失函数，包括：
[0031]
结构相似性损失函数：
[0032][0033]
其中，n表示样本的数量；ssim为结构相似性，
[0034]
感知损失函数：
[0035][0036]
其中，和分别是生成图像和真实的图像在i阶段提取到的特征；c，h，w为特征图的维度，
[0037]
总的损失函数l
loss
由以上两部分构成：
[0038]
l
loss
＝l
ssim
+λl
p
[0039]
其中，λ为感知损失的权重系数。
[0040]
有益效果：本发明与现有技术相比，具有如下显著优点：基于传统与深度学习融合的水下图像增强算法，能够有效地提高水下相机成像的分辨率以及颜色校正的质量；可以更好的还原水下图像的细节信息，使得生成的图像与原始图像更加相似；改进后的u-net网络能够更好地提取不同尺度的特征，性能更好。
附图说明
[0041]
图1为本发明的流程图；
[0042]
图2为颜色校正模块模型图；
[0043]
图3为对比度增强模块模型图；
[0044]
图4为改进后的u-net网络示意图；
[0045]
图5为多尺度特征提取模块示意图；
[0046]
图6为改进注意力机制模块示意图。
具体实施方式
[0047]
下面结合附图对本发明的技术方案作进一步说明。
[0048]
如图1所示，本发明提供了一种传统与深度学习融合的水下图像增强算法，包括如下步骤：
[0049]
(1)构建颜色校正模块和对比度增强模块对原始图像进行处理；
[0050]
(2)构建u-net预测网络，用于图像的置信度图的预测；
[0051]
(3)将以上构造出的训练数据集800张图像进行预处理操作，放入u-net网络中，批处理大小为16，学习率为0.001，每10,000次迭代将学习速率降低0.1，直到u-net网络收敛；
[0052]
(4)将步骤(1)与(2)所得到的图像与原始图像放入训练好的u-net网络中进行预测出两个置信度图；
[0053]
(5)将步骤(1)与(2)得到的图像乘以步骤(5)改进后的u-net网络所预测出对应的置信度图，得出最终增强后的水下图像。
[0054]
如图2所示，所述的颜色校正模块用于原始图像的颜色校正，具体步骤如下：
[0055]
(1.1)基于retinex理论对原图进行图像信息的分解，并转换到对数域中：
[0056]
log(s)＝log(r)+log(l)
[0057]
其中，s(x，y)为环境光；l(x，y)为照射分量；r(x，y)为反射分量。
[0058]
(1.2)接着引入进行双边滤波估测反射分量
[0059]ri
＝lb(ri(x，y))＝lb(si(x，y))-lb[si(x，y)*wi(x，y，x
′
，y
′
)]
[0060][0061]
其中，wi为双边滤波器；(x，y)是当前被卷积像素的坐标点；(m，n)是邻域像素的坐标点；σr和σd为平滑参数。
[0062]
(1.3)根据式(1.2)求得红色通道的反射分量rr。
[0063]
(1.4)根据水下图像三个通道的衰减系数求解rg，rb：
[0064][0065]
中，cb，cg，cr分别是图像的b、g和r通道在水下的衰减系数。
[0066]
(1.5)运用多尺度的retinex算法：
[0067][0068]
式中，j为尺度常量的个数，一般为3，为图像的三个颜色通道；wi是加权系数。
[0069]
(1.6)最后，将ri转化为实数域ri，再进行颜色重组输出反射分量，得出颜色校正后的图像。
[0070]
如图3所示的对比度增强模块用于图像的对比度提升，所述的色域转换用于图像的通道拆分，对亮度通道y进行clahe；对gama编码后的图像进行弱化以及直方图线性化处理，可以恢复伽马校正使得图像丢失的细节部分：
[0071][0072]
最后将锐化后的图像以及claghe增强后的图像对单个通道每个级别加权融合得出该阶段处理的最终图像。
[0073]
i＝(f-w*g))(1-w)
[0074][0075]
其中，f(x，y)输入图像；f
max
为通道中的最大像素值；f
encode d
为伽马编码图像；f为输入图像；g为高斯模糊；w表示权重(0.1～0.9)，本文取值0.6；w1和w2分别为归一化后clahe以及锐化图像的权重；fi为第i个级别的金字塔的融合图像；j表示通道。
[0076]
如图4所示，所述的改进后的u-net网络用于输入图像的置信度图的预测。对于以上提出的颜色校正以及对比度增强算法会分别得到i
dr
、i
gc
，接着采用了一个融合网络框架，利用u-net主干网络预测出输入的i
dr
和i
gch
的置信度图，用于确定最终输出图像剩余的特征。
[0077]
主干网络是一个u型的网络，主要是用来学习输入两种算法处理后的图像对应的置信度，初始输入图像为大小为h*w*3的彩色图像。所设计的网络模型一共四层，在网络的前半部分用于主干的特征提取，可以看作是编码器，前三层均以两个3*3的卷积层、bn层、leakyrelu。特别的批量归一化应用于卷积层输出之上，作用于通道维，激活函数之前。可以
加快模型收敛速度。考虑卷积对于特征提取的两种误差影响，于是我们在每次卷积后引入fusionblock，在三种不同输入图像的特征提取时将不同的图像特征进行组合，以互补的形式充分挖掘有价值信息，具体结构如图4所示。第四层经过卷积块、平均池化层，通过上采样输送到注意力机制模块，同时也输入到网络后半部分的第三层，经过注意力机制模块的第三层的最大池化输出与经过注意力机制模块的第四层输入进行融合。后半部分网络可以看作是一个解码的过程，网络的前半部分与后半部分的同一层之间使用跳跃连接，用于连接低层次和高层次之间的特征图之间的信息，可以减少在卷积采样过程中图像特征信息的丢失。通过每一次的上采样与对应的前半部分网络同层的输出特征进行融合，不断地压缩特征，重复三次，最后一次通过sigmoid层输出网络预测输入的两个个权重系数。
[0078]fmax
＝max(f1+f2+
…fn
)
[0079]favg
＝(f1+f2+
…fn
)/n
[0080]reh
＝r
gc
*c1+r
dr
*c2[0081]
其中，hn为输入特征图的尺寸；s为卷积的步长；f为感受野；h
out
为输出的特征图的尺寸；n为图像特征的数量；fn为不同的特征输入；r
gc
为颜色校正算法处理后的图像；r
dr
为对比度提升算法处理后的图像；c1和c2为网络预测的置信度；r
eh
为最终增强后的图像。
[0082]
如图5所示，所述的多尺度特征提取模块，处理输入图像的时候可以关注不同尺度的特征，通过优化感受野，增强对于图像颜色与结构的恢复能力。对于使用卷积网络细化图像，其限制条件就是感受野，无论是感受野太大还是太小都会造成网络提取到部分的特征或者获得冗余的特征信息造成计算的效率低下。本文设计了一种简易的并行的多尺度特征提取的架构，设置卷积核为3*3，空洞率rate＝1，2，4，卷积之后的感受野分别为3，5，9。
[0083]
f＝(r-1)(k-1)+k
[0084][0085]
其中，k为卷积核的尺寸；r为空洞率；f为对应级联的感受野大小；hn为输入特征图的尺寸；s为卷积的步长；f为感受野；h
out
为输出的特征图的尺寸。
[0086]
如图6所示，所述的注意力机制模块，通过引入两种注意力以串行的方式从空间和通道两个维度上来学习输入特征的权重，在处理水下图片信息时候，更加具有灵活性，相对于一般的注意力机制来讲，网络能够更加关注高频密集的像素区域以及对于那些不同通道具有不同的加权信息，去关注更有意义的特征。对于通道注意力，采用全局平均池化将全局空间信息转化为通道信息。接着采用两个全连接层以及relu激活函数来学习通道的信息。因为在u-net后半部分网络恢复图片的时候，通道数逐渐变少直至三层输出，为了减少信息的丢失，引入通道注意力机制。
[0087]
首先利用全局平均池化将全局空间信息转化为通道描述，特征图的形状从c*h*w变为c*1*1。为了获得不同通道的权重值，使用激活函数以及全连接层来学习，最后逐个元素的将初始输入与通道输出的权重相乘进一步处理。考虑到由于水下对于光的衰减导致图像像素的分布不均匀以及图像高频区域的处理，引入像素注意力机制，其计算公式如下：
[0088][0089]
f1＝σs(fc(σr(fcl(avepool(f
input
))))*f
input
[0090]
f2＝σr(conv(σr(conv(f1)))
[0091]fout
＝σs(conv(σr(conv(f2)))*f2[0092]
其中，xc(i，j)表示为图片的第c个通道位置(i，j)的数值；σs为sigmoid；σr为relu；fcl为全连接层；f
input
为输入的特征图；conv为卷积层。
[0093]
从构造的uiebd中提取的800对图像随机集生成训练集，将输入图像的大小调整为112
×
112。对数据集进行增强扩充样本。据预先训练的19层vgg网络的relu激活层(即第层relu54层)来定义感知损失。批大小为16，学习率为0.001，每10,000次迭代将学习速率降低0.1，直到u-net网络收敛。定义的损失函数是采用结构相似度损失以及感知损失的加权和，其中结构相似度损失函数表示为：
[0094][0095]
式中，n表示样本的数量；ssim为结构相似性。
[0096]
感知损失：
[0097][0098]
其中，和分别是生成图像和真实的图像在vgg网络第i阶段提取到的特征；ci，hi，wi为vgg网络第i个卷积层的特征图的维度；m是感知损失函数中使用的特征数。
[0099]
总的损失函数l
loss
由以上两部分构成：
[0100]
l
loss
＝l
ssim
+λl
p
[0101]
式中，λ为感知损失的权重系数
[0102]
在发明中，采用有参考的性能评价指标psnr和ssim，以及无参考的性能评价指标uciqe和uiqm对网络训练过程进行评价。
[0103]
对比算法包括：msrcr、he，retinex-based，udcp。在三类水下图片进行测试验证，具体实验结果如表1、表2、表3所示。
[0104]
表1对于偏绿色的图像增强实验对比
[0105][0106]
表2对于偏蓝绿的图像增强的实验对比
[0107][0108][0109]
表3对于偏蓝的图像增强的实验对比
[0110]

技术特征：
1.一种基于图像处理与深度学习的水下图像增强方法，其特征在于，包括如下步骤：(1)将原始图像分别输入颜色校正模块和对比度增强模块，得到校正图像i
dr
和增强图像i
gch
；(2)对u-net网络进行改进并应用到水下图像的置信度图的预测中；(3)利用公开的水下数据集和多个损失函数训练改进后的u-net网路；(4)将原始图像、校正图像i
dr
和增强图像i
gch
输入到上述改进u-net网络模型中，输出网络预测的两种置信度图；(5)将校正图像i
dr
和增强图像i
gch
分别乘以对应的置信度并融合，输出增强后的图像。2.根据权利要求1所述的基于图像处理与深度学习的水下图像增强方法，其特征在于，所述步骤(1)应用颜色校正模块校正的步骤包括：(1.1)基于retinex理论对原图进行图像信息进行分解，并转换到对数域中；(1.2)引入进行双边滤波估测反射分量r
i
＝lb(r
i
(x，y))＝lb(s
i
(x，y))-lb[s
i
(x，y)*w
i
(x，y，x
′
，y
′
)]其中，w
i
为双边滤波器；(x，y)是当前被卷积像素的坐标点；(m，n)是邻域像素的坐标点；σ
r
和σ
d
为平滑参数；(1.3)根据步骤(1.2)求得红色通道的反射分量r
r
；(1.4)根据水下图像三个通道的衰减系数求解剩余通道的颜色分量r
g
，r
b
：其中，c
b
，c
g
，c
r
分别是图像的b、g和r通道在水下的衰减系数；(1.5)运用多尺度的retinex算法：式中，j为尺度常量的个数，一般为3，为图像的三个颜色通道；w
i
是加权系数；(1.6)最后，将r
i
转化为实数域r
i
，再进行颜色重组输出反射分量，得出颜色校正后的图像。3.根据权利要求1所述的基于图像处理与深度学习的水下图像增强方法，其特征在于，所述步骤(1)对比度增强包括：首先将图像的色域范围变换到yc
b
c
r
，并将clahe单独应用于y分量；其次将图像锐化，并利用直方图进行线性化处理；最后将处理所得的图像通过拉普拉斯高斯金字塔融合后输出对比度增强的图像。4.根据权利要求1所述的基于图像处理与深度学习的水下图像增强方法，其特征在于，所述步骤(2)中改进后的u-net网络，包括并行的多尺度特征提取模块以及注意力机制模块。5.根据权利要求3所述的基于图像处理与深度学习的水下图像增强方法，其特征在于，
所述多尺度特征提取模块包括三个平滑空洞卷积，设置卷积核为3*3，空洞率分别为1、2和4，卷积之后的感受野分别为3、5和9，并行连接三个卷积层、归一化层以及relu层。6.根据权利要求3所述的基于图像处理与深度学习的水下图像增强方法，其特征在于，所述注意力机制模块包括像素注意力机制和通道注意力机制。7.根据权利要求6所述的基于图像处理与深度学习的水下图像增强方法，其特征在于，所述通道注意力机制模块包括avgpooling层、全连接层、relu层、sigmoid层以及输出图像f2。8.根据权利要求6所述的基于图像处理与深度学习的水下图像增强方法，其特征在于，所述两种注意力机制以串行的方式从空间和通道两个维度学习输入特征的权重。9.根据权利要求1所述的基于图像处理与深度学习的水下图像增强方法，其特征在于，步骤(3)所述的损失函数，包括：结构相似性损失函数：其中，n表示样本的数量；ssim为结构相似性，感知损失函数：其中，和分别是生成图像和真实的图像在i阶段提取到的特征；c，h，w为特征图的维度，总的损失函数l
loss
由以上两部分构成：l
loss
＝l
ssim
+λl
p
其中，λ为感知损失的权重系数。10.根据权利要求1所述的基于图像处理与深度学习的水下图像增强方法，其特征在于，所述步骤(3)训练的数据集采用真实的水下数据集uied。

技术总结
本发明公开了一种基于图像处理与深度学习的水下图像增强方法，包括将原始图像分别输入颜色校正模块和对比度增强模块，得到校正图像I


技术研发人员：王红茹 王学广
受保护的技术使用者：江苏科技大学
技术研发日：2023.04.06
技术公布日：2023/10/8