一种亮度掩模引导的多注意力机制的水下图像增强方法

1.本发明涉及水下图像处理技术领域，尤其涉及一种亮度掩模引导的多注意力机制的水下图像增强方法。


背景技术：

2.海洋中蕴含着多种多样的资源，特别是近年来，不断恶化的自然环境致使资源问题愈加突出，人们开始格外注意海洋环境，于是提高海洋监测技术变得愈加重要。水下图像增强技术作为一种新的海洋环境监测技术，可用于监测海洋生态环境、监测如何运输倾倒区的垃圾以及检测污染物扩散等。由此可见，水下图像的清晰度直接影响着海洋相关方面的研究，因此众多水下任务如海洋资源探测、水下目标检测等都与水下图像增强密切相关。
3.然而在复杂的水下环境中，水介质对不同波长的光的吸收作用具有选择性，从而导致拍摄的水下图像或多或少会存在色偏现象，比如人眼看起来往往偏蓝色或者偏绿色，此外，悬浮在水中的微小粒子会造成光线的散射，其中前向散射会直接导致水下图像存在模糊不清、细节丢失的问题，而后向散射会直接导致水下图像出现对比度低的现象。基于以上原因，直接从拍摄的水下图像中很难得到理想化的信息，为满足需求，在对涉及水下图像的任务进行研究之前，如何设计一个优秀的增强方法以提高图像对比度、增强图像细节并校正图像色彩，具有一定的现实意义。
4.传统的水下图像增强方法主要包括基于特征融合的图像增强方法和基于retinex理论的图像增强方法，其中前者主要通过融合不同特征信息增强水下图像，利用多张图像的互补信息来生产高质量的结果；后者由于与人类视觉系统相似，retinex模型可以感知目标物体的颜色，增强退化图像的细节，同时还能提供色彩恒定性和动态范围，因此用于增强水下图像。此类方法不考虑水下成像机制的物理属性，因此结果倾向于带来伪影、过度增强或色彩失真等问题。基于物理模型的水下图像增强方法，根据水下环境和室外有雾场景的光学成像过程之间具有高度相似性，引入简化图像成像模型来描述水下场景，即对水下图像退化过程搭建一个合理的数学模型，为了估计模型的参数，推演出退化前的水下图像，大多使用众所周知的暗通道先验，考虑到水下光的波长依赖性吸收和介质的不均匀性，研究者将水的物理特性嵌入到修改后的暗通道先验中，提出了红通道先验技术、基于暗通道先验的水下图像复原技术以及最大强度先验技术等。尽管使用这些方法相对很好的估计了透射率或者背景光，仍然不可避免地出现色偏或者视觉上令人不满意的结果，这是因为在各种复杂的海洋环境中，特定的假设和先验可能并不总是成立的。
5.数据驱动的方法专注于学习合成水下图像与其对应的地面真实图像之间的映射功能，相关的增强方法主要有基于cnn的算法和基于gan的算法两大类，其中cnn算法旨在保护原始图像，而gan算法目的是提高水下图像的感知效果。基于深度学习的方法都在努力摆脱数据集的局限，拓宽了算法的适用范围。然而，缺乏足够的训练数据和不确定的输出往往使基于深度学习的方法性能不令人满意，因此，定制相应的数据集是此类增强方法的难点所在。


技术实现要素：

6.根据现有技术存在的问题，本发明公开了一种亮度掩模引导的多注意力机制的水下图像增强方法，具体包括如下步骤：
7.获取水下图像并构建训练集和测试集；
8.构建亮度掩模引导的多注意力机制神经网络模型，用于水下图像增强，该神经网络模型包括编码器网络、三注意力模块、亮度掩模引导模块和解码器网络；
9.提取水下图像的低级特征、中级特征和高级特征；
10.采用三注意力模块对高级特征进行特征增强处理获得增强后特征；
11.将目标图像对应的反向亮度掩模分别与低级特征、中级特征以及增强后特征相结合，将结合后的三组特征分别输入至三个亮度掩模引导模块，使得反向亮度掩模分别引导与之对应的特征图的增强，得到亮度调整后的特征图，从而使得暗区域亮度得以提升、饱和区域不过曝；
12.将亮度调整后的特征图输入至解码器网络中获得增强的目标图像；
13.将训练集中的所有图像采用上述方式对神经网络模型进行训练，获得训练好的神经网络模型，再将测试集输入至完成训练的神经网络模型获得增强后的水下图像。
14.所述对高级特征进行特征增强处理时：
15.首先将高级特征进行空洞空间金字塔池化操作，获得具有相同尺度不同感受野的特征图，记为f
aspp
；
16.构建亮度空间注意力单元，将特征图输入至亮度空间注意力单元获取亮度调整后的特征图；
17.构建边缘空间注意力单元，将亮度调整后的特征图输入至边缘空间注意力单元获得边缘增强后的特征图；
18.将特征图、亮度调整后的特征图以及边缘增强后的特征图进行逐像素相加，得到整体增强特征图；
19.构建通道注意力单元，将整体增强特征图输入至通道注意力单元中得到其在通道方向特征响应的全局分布，对输入的整体增强特征图进行权重选择，对突出对象表现出响应的通道分配权重。
20.获取亮度调整后的特征图时：
21.使用反向的亮度掩模rbm作为像素级的注意力图，其中反向亮度掩模图由1-m得到，其中是[0,1]之间的亮度掩模图，是所有像素值均为1的全1矩阵；
[0022]
对反向亮度掩模图使用全局平均池化操作，使其与特征图f
aspp
具有相同的尺寸大小，使用两个卷积核大小分别为1*k和k*1的卷积层捕获空间关注点信息，使用sigmoid函数，对映射到[0,1]的亮度空间特征图归一化处理，得到亮度注意力图bsa，并以此引导f
aspp
的增强，得到亮度调整后的特征图，用f
bsa
表示：
[0023][0024][0025]
[0026][0027]
其中w表示要学习的空间注意力权重，σ表示sigmoid函数，conv表示卷积层，cat(
·
)表示连接操作，其中和分别表示像素级的加法和乘法。
[0028]
在获得边缘注意力图时：对亮度调整后的特征图f
bsa
使用三个卷积块组成的特征编码器进行编码，使用sigmoid函数对边缘特征图进行归一化处理，得到边缘注意力图esa，以此引导特征图f
bsa
进行边缘增强，记为f
esa
[0029]
esa＝σ3(bn3(conv3(δ2(bn2(conv2(δ1(bn1(conv1(f
bsa
)))))))))
ꢀꢀꢀꢀ
(5)
[0030][0031]
其中bn(
·
)表示块归一化操作。
[0032]
将特征图f
aspp
、亮度调整后的特征图f
bsa
以及边缘增强后的特征图f
esa
进行逐像素相加，得到整体增强特征图，记为f
sam
：
[0033][0034]
对特征图使用全局平均池化，将空间维度进行特征压缩，得到通道特征向量该向量表示通道方向特征响应的全局分布，使用两个连续的全连接层捕获通道相关性，通过使用sigmoid运算对映射到[0,1]的编码通道方向特征向量采取归一化处理措施，得到通道注意力图ca；
[0035]
ca＝f(vk,w)＝σ(fc2(δ(fc1(vk,w1)),w2))
ꢀꢀꢀꢀꢀ
(8)
[0036]
其中w表示要学习的通道注意力块的参数，σ表示sigmoid函数，fc表示全连接层，δ表示prelu激活函数，使用得到的通道注意力图来引导f
sam
的增强，得到整体细节增强后的特征图，用f
cam
表示：
[0037][0038]
获得低级特征、中级特征以及增强后特征时：利用反向亮度掩模图作为特征选择器来加权特征的不同空间位置的重要性，光吸收越严重的像素被分配越高的权重，其表示为：
[0039][0040]
其中和分别为输入特征以及亮度掩模引导模块之后的输出特征。
[0041]
由于采用了上述技术方案，本发明提供的一种亮度掩模引导的多注意力机制的水下图像增强方法，该方法通过设计一个亮度掩模引导的多注意力机制的神经网络模型，对质量退化的区域进行增强处理，通过三注意力模块的引入以及将图像退化信息与深度学习相结合的优势，能够有效增强水下图像的细节，同时调整图像的亮度；该方法能够准确提取水下图像中不同尺度的特征图，同时有效的防止梯度消失，使用空洞空间金字塔池化操作能够提取到相同尺度但是不同感受野的特征图，三注意力图更能够对图像的细节信息进行显著增强；该方法提出了一个亮度掩模引导的解码器网络来强制网络更加关注光吸收严重区域，探索了水下图像信息与深度神经网络之间的互补性。
附图说明
[0042]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043]
图1为本发明方法的流程图
[0044]
图2为本发明中编码器网络中包含的三个残差增强模块的示意图，其中(a)、(b)和(c)分别为残差增强模块a、b和c的结构图；
[0045]
图3为本发明中亮度掩模引导模块的结构图
[0046]
图4为本发明中解码器网络中的残差增强模块d的结构示意图
[0047]
图5为本发明与8种现有增强方法在ufo-120数据集上的对比实验结果图；
[0048]
图6为本发明与8种现有增强方法在euvp数据集上的对比实验结果图；
[0049]
图7为本发明与8种现有增强方法在颜色校正方面的对比实验结果图；
[0050]
图8为本发明与8种现有增强方法应用于水下显著性目标检测的对比实验结果图。
具体实施方式
[0051]
为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
[0052]
如图1所示的一种亮度掩模引导的多注意力机制的水下图像增强方法，具体包括如下步骤：
[0053]
步骤1:构建水下图像训练集和测试集；
[0054]
步骤2：构建亮度掩模引导的多注意力机制神经网络模型，用于水下图像增强，模型主要包括编码器网络、三注意力模块、亮度掩模引导模块和解码器网络；
[0055]
步骤3：提取水下图像的低级特征、中级特征和高级特征；
[0056]
在编码器网络中构建三个串联的残差增强模块，分别为残差增强模块a、残差增强模块b和残差增强模块c，每个残差增强模块的结构示意图如图2所示。其中残差增强模块a包含两个残差块，残差增强模块b包含三个残差块，残差增强模块c包含四个残差块。每个残差块由3个卷积层组成，并且除最后一个卷积层之外，其它卷积层后面紧跟着块归一化操作bn和prelu激活函数。同一个残差增强模块中的卷积操作拥有相同的滤波器个数，且滤波器的个数从128以2倍的方式增长到512，每个残差块中，除最后一个卷积层的卷积核大小为1*1之外，其他所有卷积核大小均为3*3，且步长为1。三个参差增强模块的输出结果分别为低级特征、中级特征和高级特征，将一张待优化的目标水下图像输入至编码器网络对目标图像进行全局低级、中级和高级特征的提取；
[0057]
步骤4：构建三注意力模块，对步骤3提取到的高级特征进行特征的选择性增强；
[0058]
步骤4-1：对步骤3提取到的高级特征进行空洞空间金字塔池化(aspp)操作，得到具有相同尺度但是不同感受野的特征图。
[0059]
首先采用具有不同膨胀率的空洞卷积，分别将其设置为2、3和5以捕获多感受野上下文信息。然后将不同空洞卷积操作得到的特征图和直接只用1*1卷积操作得到的特征图进行融合。最后将其作为空洞空间金字塔池化的输出，并将其表示为其中
h、w和c分为表示特征图的高、宽和通道数，则空间位置可以表示为j＝(x,y)为特征图f
aspp
的空间坐标。
[0060]
步骤4-2：构建亮度空间注意力单元，将步骤4-1得到的特征图输入该单元，捕获亮度空间关注点，以此为指导对特征图f
aspp
进行亮度方面的调整；
[0061]
首先，使用反向亮度掩模(rbm)(即)作为像素级的注意力图，其中反向亮度掩模图由1-m得到(是[0,1]之间的亮度掩模图，是所有像素值均为1的全1矩阵)，说明了水下图像中降质越严重的区域，应该被分配越大的注意力权重。其次，对反向亮度掩模使用全局平均池化操作，使其与特征图f
aspp
具有相同的尺寸大小。再次，为了增强感受野获得全局信息，同时不增加参数，使用两个卷积核大小分别为1*k和k*1的卷积层，用于捕获空间关注点。最后，使用sigmoid函数，对映射到[0,1]的亮度空间特征图归一化处理，得到亮度注意力图bsa，并以此引导f
aspp
的增强，得到亮度调整后的特征图，用f
bsa
表示。
[0062][0063][0064][0065][0066]
其中w表示要学习的空间注意力权重，σ表示sigmoid函数，conv表示卷积层，cat(
·
)表示连接操作，其中和分别表示像素级的加法和乘法。
[0067]
步骤4-3：构建边缘空间注意力单元，将步骤4-2得到的特征图输入该单元，得到边缘注意力图，并以此为指导对特征图进行边缘的增强；
[0068]
首先，为了显式的将边缘特征嵌入到网络中，我们对亮度调整后的特征图f
bsa
使用1*1、3*3和1*1卷积块组成的特征编码器进行编码。然后，使用sigmoid函数对边缘特征图进行归一化处理，得到边缘注意力图esa。最后，利用边缘注意力图引导特征图f
bsa
进行边缘增强，记为f
esa
。
[0069]
esa＝σ3(bn3(conv3(δ2(bn2(conv2(δ1(bn1(conv1(f
bsa
)))))))))
ꢀꢀꢀꢀꢀꢀ
(5)
[0070][0071]
其中bn(
·
)表示块归一化操作。
[0072]
步骤4-4：对步骤4-1的结果、步骤4-2的结果以及步骤4-3的结果进行逐像素相加，得到整体增强特征图，用f
sam
表示；
[0073][0074]
步骤4-5：构建通道注意力单元，将步骤4-4的输出特征图输入该单元，得到其在通道方向特征响应的全局分布，对输入特征图进行权重选择，对突出对象表现出高响应的通道分配更大的权重，使其进一步指导特征图在通道方向上的增强；
[0075]
首先，我们对特征图使用全局平均池化，将空间维度进行特征压缩，得到通道特征向量该向量表示通道方向特征响应的全局分布。然后，使用两个连续的全连接层捕获通道相关性。然后通过使用sigmoid运算，我们对映射到[0,1]的编码通道
方向特征向量采取归一化处理措施，得到通道注意力图ca。
[0076]
ca＝f(vk,w)＝σ(fc2(δ(fc1(vk,w1)),w2))
ꢀꢀꢀꢀ
(8)
[0077]
其中w表示要学习的通道注意力块的参数，σ表示sigmoid函数，fc表示全连接层，δ表示prelu激活函数。此外，为了避免梯度消失问题并且保持原始特征的良好属性，我们使用得到的通道注意力图来引导f
sam
的增强，得到整体细节增强后的特征图，用f
cam
表示：
[0078][0079]
步骤5：将目标图像对应的反向亮度掩模分别与步骤3中提取的低级和中级特征以及步骤4得到的整体细节增强后的特征图相结合，将结合后的三组特征分别输入到三个亮度掩模引导模块，使得反向亮度掩模分别引导与之对应的特征图的增强，从而使得暗区域亮度得以提升、饱和区域不过曝；
[0080]
我们利用反向亮度掩模图作为特征选择器来加权特征的不同空间位置的重要性，具体如图3所示。光吸收越严重的像素被分配越高的权重，其可以表示为：
[0081][0082]
其中和分别为输入特征以及亮度掩模引导模块之后的输出特征。
[0083]
步骤6：构建一个解码器网络，主要包含三个相同的残差增强模块d，将步骤5的输出结果输入到解码器网络，得到增强的目标图像；
[0084]
残差增强模块d包含两个残差块如图4所示，每个残差块由3个卷积操作和两个prelu激活函数构成，除最后一个卷积层的核大小为1*1之外，其它所有卷积核大小均为3*3，步长均为1。且每个残差增强模块d中的卷积层有相同的滤波器个数，分别以2倍的方式从512减少到128。
[0085]
步骤7：对图像训练集中的所有图像进行上述步骤，得到训练好的神经网络模型；
[0086]
步骤8：将测试集数据输入到训练好的网络模型中，得到增强后的水下图像。
[0087]
分别将本发明与ts增强方法、ocm增强方法、ulap增强方法、gdcp增强方法、ucolor增强方法、waternet增强方法、uwcnn增强方法以及fgan增强方法8种增强方法进行主客观方面的对比实验。
[0088]
对于主观实验，图5和图6分别展示了本发明与8种增强方法在ufo120数据集和euvp数据集上的主观实验对比结果。从图中可以看出本发明不仅能够显著增强图像细节，提高图像的对比度，还能够在提升暗区域照度的同时抑制过饱和区域曝光。图7验证了本发明与8种增强方法相比，在颜色校正方面的准确性，其中右上角的数字为ciede2000指标的评价结果，该评价指标表示颜色恢复的准确性，其值越小，表示颜色恢复越准确。另外，使用显著性目标检测算法，对本发明与8种增强方法的结果图进行检测，结果如图8所示，可以看出对于原图边界像素精确分割的情况下，对所有增强方法的结果图的检测结果都是准确的，对比边界不清楚的情况下，只有本发明能够生成较为精准的显著图。
[0089]
对于客观实验，表1和表2分别为ufo120数据集和euvp数据集上的客观图像质量量化对比。psnr是图像客观全参考评价指标中应用最为广泛的一种，其通过计算增强结果与参考图像之间像素点的均方误差(mse)对图像质量进行评价；ssim同样为图像客观全参考评价指标，分别从亮度、对比度和结构三个方面评价增强图像与参考图像之间的相似性，两
种指标均是分数越大时，说明图像的增强效果越好。niqe为无参考评价指标，利用模型统计量和失真图像的统计量之间的简单距离指标来表示失真图像的质量，该指标得分越低，表示图像的质量越好。从两个表可以看出，本发明在三个评价指标中几乎都能达到最优或者次优排名。表3为ufo120数据集上的显著性目标检测性能对比。f-measure是一种整体性能度量，通过精度和召回率的加权和平均值计算得出，其中maxf指标表示不同阈值下f-measure的最大值，avgf代表不同阈值下f-measure的平均值，两者均是值越大越好。sm表示预测显著图和真实显著图之间的区域感知和对象感知结构相似性度量，其值越大，表示预测效果越好。从表3可以看出，相比于其它增强方法，本发明对于显著性目标检测具有最佳的促进作用。
[0090]
表1
[0091][0092]
表2
[0093][0094]
表3
[0095][0096]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种亮度掩模引导的多注意力机制的水下图像增强方法，其特征在于包括：获取水下图像并构建训练集和测试集；构建亮度掩模引导的多注意力机制神经网络模型，用于水下图像增强，该神经网络模型包括编码器网络、三注意力模块、亮度掩模引导模块和解码器网络；提取水下图像的低级特征、中级特征和高级特征；采用三注意力模块对高级特征进行特征增强处理获得增强后特征；将目标图像对应的反向亮度掩模分别与低级特征、中级特征以及增强后特征相结合，将结合后的三组特征分别输入至三个亮度掩模引导模块，使得反向亮度掩模分别引导与之对应的特征图的增强，得到亮度调整后的特征图，从而使得暗区域亮度得以提升、饱和区域不过曝；将亮度调整后的特征图输入至解码器网络中获得增强的目标图像；将训练集中的所有图像采用上述方式对神经网络模型进行训练，获得训练好的神经网络模型，再将测试集输入至完成训练的神经网络模型获得增强后的水下图像。2.根据权利要求1所述的一种亮度掩模引导的多注意力机制的水下图像增强方法，其特征在于：所述对高级特征进行特征增强处理时：首先将高级特征进行空洞空间金字塔池化操作，获得具有相同尺度不同感受野的特征图，记为f
aspp
；构建亮度空间注意力单元，将特征图输入至亮度空间注意力单元获取亮度调整后的特征图；构建边缘空间注意力单元，将亮度调整后的特征图输入至边缘空间注意力单元获得边缘增强后的特征图；将特征图、亮度调整后的特征图以及边缘增强后的特征图进行逐像素相加，得到整体增强特征图；构建通道注意力单元，将整体增强特征图输入至通道注意力单元中得到其在通道方向特征响应的全局分布，对输入的整体增强特征图进行权重选择，对突出对象表现出响应的通道分配权重。3.根据权利要求2所述的一种亮度掩模引导的多注意力机制的水下图像增强方法，其特征在于：获取亮度调整后的特征图时：使用反向的亮度掩模rbm作为像素级的注意力图，其中反向亮度掩模图由1-m得到，其中是[0,1]之间的亮度掩模图，是所有像素值均为1的全1矩阵；对反向亮度掩模图使用全局平均池化操作，使其与特征图f
aspp
具有相同的尺寸大小，使用两个卷积核大小分别为1*k和k*1的卷积层捕获空间关注点信息，使用sigmoid函数，对映射到[0,1]的亮度空间特征图归一化处理，得到亮度注意力图bsa，并以此引导f
aspp
的增强，得到亮度调整后的特征图，用f
bsa
表示：表示：表示：
其中w表示要学习的空间注意力权重，σ表示sigmoid函数，conv表示卷积层，cat(
·
)表示连接操作，其中和分别表示像素级的加法和乘法。4.根据权利要求2所述的一种亮度掩模引导的多注意力机制的水下图像增强方法，其特征在于：在获得边缘注意力图时：对亮度调整后的特征图f
bsa
使用三个卷积块组成的特征编码器进行编码，使用sigmoid函数对边缘特征图进行归一化处理，得到边缘注意力图esa，以此引导特征图f
bsa
进行边缘增强，记为f
esa
esa＝σ3(bn3(conv3(δ2(bn2(conv2(δ1(bn1(conv1(f
bsa
)))))))))
ꢀꢀꢀꢀꢀ
(5)其中bn(
·
)表示块归一化操作。5.根据权利要求2所述的一种亮度掩模引导的多注意力机制的水下图像增强方法，其特征在于：将特征图f
aspp
、亮度调整后的特征图f
bsa
以及边缘增强后的特征图f
esa
进行逐像素相加，得到整体增强特征图，记为f
sam
：6.根据权利要求4所述的一种亮度掩模引导的多注意力机制的水下图像增强方法，其特征在于：对特征图使用全局平均池化，将空间维度进行特征压缩，得到通道特征向量该向量表示通道方向特征响应的全局分布，使用两个连续的全连接层捕获通道相关性，通过使用sigmoid运算对映射到[0,1]的编码通道方向特征向量采取归一化处理措施，得到通道注意力图ca；ca＝f(v
k
,w)＝σ(fc2(δ(fc1(v
k
,w1)),w2))
ꢀꢀꢀꢀꢀꢀꢀ
(8)其中w表示要学习的通道注意力块的参数，σ表示sigmoid函数，fc表示全连接层，δ表示prelu激活函数，使用得到的通道注意力图来引导f
sam
的增强，得到整体细节增强后的特征图，用f
cam
表示：7.根据权利要求1所述的一种亮度掩模引导的多注意力机制的水下图像增强方法，其特征在于：获得低级特征、中级特征以及增强后特征时：利用反向亮度掩模图作为特征选择器来加权特征的不同空间位置的重要性，光吸收越严重的像素被分配越高的权重，其表示为：其中和分别为输入特征以及亮度掩模引导模块之后的输出特征。

技术总结
本发明公开了一种亮度掩模引导的多注意力机制的水下图像增强方法，该方法首先将水下图像和对应的反向亮度掩模作为网络的输入；然后设计了一个包含不同残差增强模块的编码器网络，用于精准的学习水下图像中不同层级的特征表示；其次，对高级特征加上一个三注意力模块，突出其中最具辨别力的特征；最后，考虑到水下图像的光选择性吸收程度可以通过表征图像照度分布的亮度掩模来隐式反映，本发明设计一个亮度掩模引导的解码器网络，对质量退化的区域进行增强。通过三注意力模块的引入以及将图像退化信息与深度学习相结合的优势，本发明能够有效增强水下图像的细节，同时调整图像的亮度。度。度。


技术研发人员：付先平 李圆圆 米泽田 赵庆利 王辉兵 张军
受保护的技术使用者：大连海事大学
技术研发日：2023.04.04
技术公布日：2023/7/12