基于纯噪声训练的亮度可调的低照度图像增强方法

1.本发明属于计算机视觉图像技术领域，涉及图像增强方法，尤其是一种基于纯噪声训练的亮度可调的低照度图像增强方法。


背景技术：

2.随着数字化技术走进千家万户，图像已逐渐成为人们捕捉瞬间、传递想法的重要方式。然而，在低光照场景以及曝光时间不足的情况下，很容易拍出带有较多噪点、色彩失真、亮度不充分等问题的图像，不仅使图像在视觉观感上不尽人意，而且还可能降低下游目标识别、检测等系统的可靠性。由此，还需要采用具备修补光照能力的后处理方法来作图像增强。其中，现有的基于深度学习的低照度增强方法大多需要成对的低照度-正常照度数据集用于训练。成对数据集的采集耗时，需要采用专业技术，稍有操作失误就会拍出不可用的图像对，同时，人工拍摄的数据集仅可涵盖真实世界的有限场景，会削弱方法应对复杂场景的泛化能力。现有的各种图像增强方法也未对复杂场景下图像不同的亮度等级作细致的增强处理。因此，如何在更少的图像采集成本的基础上，提供更灵活的低照度图像亮度调整方案，是计算机视觉领域的一个具有挑战性的研究课题。
3.低照度图像增强技术(low-light image enhancement)是指将一张对比度低、光照不足、略有噪点和色彩偏差的图像增强至对应的正常照度、高质量图像的技术。该技术可以为人们观察和评判图像作辅助，也可以为计算机理解和处理图像提供支持，它在监控安防等领域发挥重要作用。
4.传统的低照度图像增强方法可大致分为三类：(1)基于直方图均衡的方法，均衡函数作用于图像后，全图的像素会依据概率重新排列，以达到近似均匀分布的效果。(2)基于伽马校正等非线性变换的方法，其有助于在保留细节的同时调整图像对比度。(3)基于retinex理论的方法，该理论将图像解耦为反射率和照明图两部分，并依据各自的特征作进一步增强。
5.在深度神经网络模型大发展的背景下，许多先进方法被提出并用于低照度增强问题。其中，按训练时采用的数据，可分为以下几种学习策略：(1)有监督学习：retinexnet和kind增强方法均由分解和增强两部分网络组成，分解网络负责将输入图像解耦为无关光强的反射率图和具有结构感知能力的平滑照明图，增强网络负责进一步提亮照明图以实现低照度修复。(2)无监督学习：enlightengan使用注意力引导的u-net型生成器，以及一个鉴别器来校准增强图像，使其贴近真实世界的感官效果。(3)零样本学习：rrdnet方法无需先验训练，只需针对单测试图不断迭代并最小化专门的由重建损失、纹理增强损失和照明引导的噪声预测损失组成的损失函数即可。retinexdip方法将retinex分解思想和基于deep image prior(dip)的深度网络先验技术结合在一起，即把随机采样的白噪声送入模型，两个dip网络分别生成原始图像的反射率和照明图。(4)无参考学习：ruas是一种新提出的基于架构搜索的无参考学习方法；zero-dce将亮度增强格式化为图像特定曲线的预测任务；sci是自校准照明学习架构，它的训练采用级联模式，并在每个级联的照度预测块前补充自
校准模块，该模块有利于各阶段结果的收敛，测试阶段仅考虑网络中的第一个基本块，使计算成本得到降低。上述方法虽然在训练过程中逐步减少使用成对的有监督数据，但仍需要与低照度任务相关的非成对数据来辅助训练，这使得图像采集质量对训练成效产生很大影响。另外，zero-dce等方法设计的曝光控制损失约定了一个固定的目标曝光级别，使得用户不能根据个人喜好微调输出图像的亮度等级。rrdnet等零样本方法效果突出，但需要耗费数分钟进行单张图像的测试，无法兼顾测试效果和实时性。


技术实现要素：

6.本发明的目的在于克服现有技术的不足，提供一种设计合理且能够有效提高训练效率及测试效率的基于纯噪声训练的亮度可调的低照度图像增强方法。
7.本发明解决其技术问题是采取以下技术方案实现的：
8.一种基于纯噪声训练的亮度可调的低照度图像增强方法，包括以下步骤：
9.步骤1、在图像输入阶段，随机采样高斯分布，组成噪声图像集，并将图像像素值归一化至[0，1]，得到低照度输入图像i；
[0010]
步骤2、将低照度输入图像i和亮度变化因子v分别送入到网络的图像处理模块和亮度处理模块中进行特征提取，得到对应低照度输入图像i的特征图和对应亮度变化因子的特征向量；
[0011]
步骤3、步骤2得到的特征图和特征向量通过卷积和非线性变换的操作，实现特征的融合和重构，输出通道数为6的曲线参数，其中前3通道和后3通道分别代表曲线的2个不同参数项k和b；
[0012]
步骤4、通过线性曲线公式：o(x)＝k(x)i(x)+b(x)，将低照度输入图像i增强为由亮度变化因子的幅值指导的具有特定亮度的输出图像o；
[0013]
步骤5、对步骤1中所得的低照度输入图像i作均值和对比度变换，得到伪参考图像i
″
；
[0014]
步骤6、使用步骤1中得到的低照度输入图像i、步骤4中得到的输出图像o和步骤5中得到的伪参考图像i
″
计算总损失，进行迭代优化网络。
[0015]
进一步，所述步骤1的具体实现方法包括：
[0016]
步骤1.1、若处于测试阶段，则直接进入步骤2，否则进入步骤1.2；
[0017]
步骤1.2、从均值为0、标准差为1的标准高斯分布中采样尺寸为128
×
128
×
3的输入噪声图像；
[0018]
步骤1.3、分别计算输入噪声图像的最大像素值i
max
和最小像素值i
min
，通过公式，通过公式得到归一化后的低照度输入图像i。
[0019]
进一步，所述图像处理模块由卷积层和激活函数构成；所述亮度处理模块由线性层、卷积层和激活函数构成。
[0020]
进一步，所述步骤2的具体实现方法包括：
[0021]
步骤2.1、将低照度输入图像i送入网络的图像处理模块中，通过图像处理模块的6个对称级联的卷积层以及每个卷积层后紧跟的relu激活函数进行非线性变换，每个卷积层所用卷积核的尺寸均为3
×
3，卷积操作均设置成步长为1和填充模式为复制一圈的形式，最
后输出低照度输入图像i对应的特征图；
[0022]
步骤2.2、将亮度变化因子v送入网络的亮度处理模块中，经过亮度处理模块中的线性全连接层，使尺寸为1的序列扩展成尺寸为32的序列，输出亮度变化因子对应的特征向量。
[0023]
进一步，所述步骤3的具体实现方法包括：
[0024]
步骤3.1、将步骤2得到的特征图和特征向量形变成维度为4的特征图，得到1
×
32
×
128
×
128的图像特征图和1
×
32
×1×
1的亮度特征图；
[0025]
步骤3.2、对步骤3.1中的两张4维特征图作内积，得到尺寸为1
×1×
128
×
128的图像，该图再经过1个核尺寸为3
×
3的卷积层和其后的sigmoid激活函数就得到曲线参数k和b。
[0026]
进一步，所述步骤5的具体实现方法包括：
[0027]
步骤5.1、若处于测试阶段，则结束步骤5；若处于训练阶段，则进入步骤5.2；
[0028]
步骤5.2、将步骤1得到的低照度输入图像i通过公式：i
′
(x)＝(i(x)-0.5)*r+0.5或进行对比度变换，得到变换后的图像i
′
，其中，r表示图像新的取值宽度，用于调整动态范围，d表示对比度变换的剧烈程度，用于调整高斯分布的峰度，ε1和ε2代表两个极小的正数，clip表示裁切操作，使值域控制在[0，1]内；
[0029]
步骤5.3、将步骤5.2得到的图像i
′
与亮度变化因子的数值相加，实现均值变换，得到变换后的伪参考图像i
″
。
[0030]
进一步，所述步骤6的具体实现方法包括以下步骤：
[0031]
步骤6.1、若处于测试阶段，则结束步骤6；若处于训练阶段，则进入步骤6.2；
[0032]
步骤6.2、通过公式：l
rec
(i
″
，o)＝l1(i
″
，o)＝∑|i
″
(x)-o(x)|计算重建损失，得到输出图像o和伪参考图像i
″
之间的像素级平均绝对误差；
[0033]
步骤6.3、通过公式：计算空间一致性损失，其中，o
′
和i
′
分别代表输出和输入图像在经过空间和通道平均池化后得到的图像，k代表图像经4
×
4的空间池化后所剩局部区域的个数，ω(i)是中心区域i的4个最近邻；
[0034]
步骤6.4、将步骤6.2和步骤6.3得到的损失求和，得到总损失，网络以最小化总损失为目标，不断迭代各模块参数，使性能得到优化。
[0035]
进一步，所述亮度变化因子v取值范围为：-0.5至1.0。
[0036]
本发明的优点和积极效果是：
[0037]
1、本发明采用纯噪声的训练策略，降低了真实世界数据集的采集和筛选成本，同时，使用随机高斯噪声训练，可以帮助模型绕过常用的色彩恒常和光照平滑损失，使难以设计的非线性曲线形式简化为线性曲线形式，实现了低照度增强领域降本增效的功能。
[0038]
2、本发明引入亮度变化因子作为网络的另一个输入项，通过亮度处理模块与主干的图像处理模块相集成，使得测试阶段可以连续且实时地调整输出图像的亮度。本发明借助纯噪声策略，将现有方法常采用的“多对一”亮度调整方式逐步更新为“一对一”和“一对多”，提供了更灵活的亮度调整方案。
[0039]
3、本发明不仅在定量指标测评和定性视觉评估上优于现有方法，还具备较高的训
练效率和测试效率。
附图说明
[0040]
图1是本发明的整体网络架构；
[0041]
图2是本发明的图像处理模块和亮度处理模块的框架图。
具体实施方式
[0042]
以下结合附图对本发明实施例作进一步详述：
[0043]
一种基于纯噪声训练的亮度可调的低照度图像增强方法，如图1及图2所示，包括以下步骤：
[0044]
步骤1、在图像输入阶段，随机采样高斯分布，组成噪声图像集，并将图像像素值归一化至[0，1]，得到低照度输入图像i。本步骤的具体实现方法为：
[0045]
步骤1.1、若处于测试阶段，则直接进入所述步骤2；若处于训练阶段，则进行以下操作。
[0046]
步骤1.2、从均值为0、标准差为1的标准高斯分布中采样尺寸为128
×
128
×
3的输入噪声图像。
[0047]
步骤1.3、分别计算图像的最大像素值i
max
和最小像素值i
min
，通过公式得到归一化后的低照度输入图像i。
[0048]
步骤2、将低照度输入图像i和亮度变化因子v送入网络，分别通过网络中的图像处理模块和亮度处理模块进行特征提取，输出低照度对应低照度输入图像i的特征图和对应亮度变化因子的特征向量。本步骤的具体实现方法为：
[0049]
步骤2.1、将低照度输入图像i送入网络的图像处理模块中，该图像处理模块由卷积层和激活函数构成，卷积层为6个对称级联的卷积层，每个卷积层后紧跟relu激活函数实现非线性变换，每个卷积层所用卷积核的尺寸均为3
×
3，卷积操作均设置成步长为1和填充模式为复制一圈的形式，最后输出输入图像对应的特征图。
[0050]
步骤2.2、将亮度变化因子v送入网络的亮度处理模块中，该亮度处理模块由线性层、卷积层和激活函数构成，经过线性全连接层，使尺寸为1的序列扩展成尺寸为32的序列，输出亮度变化因子对应的特征向量。
[0051]
步骤3、步骤2得到的特征图和特征向量，通过卷积和非线性变换的操作，实现特征的融合和重构，输出通道数为6的曲线参数，其中前3通道和后3通道分别代表曲线的2个不同参数项k和b。本步骤的具体实现方法为：
[0052]
步骤3.1、将步骤2中得到的特征图和特征向量形变成维度为4的特征图像，即1
×
32
×
128
×
128的图像特征图和1
×
32
×1×
1的亮度特征图。
[0053]
步骤3.2、对步骤3.1中的两张4维特征图作内积，得到尺寸为1
×1×
128
×
128的图像，该图再经过1个核尺寸为3
×
3的卷积层和其后的sigmoid激活函数就得到曲线参数k和b。
[0054]
步骤4、通过线性曲线公式o(x)＝k(x)i(x)+b(x)，将低照度输入图像i增强为由亮度变化因子的幅值指导的具有特定亮度的输出图像o。
[0055]
步骤5、对步骤1中所得的低照度输入图像作均值和对比度变换。变换后的图像作
为伪参考图像，参与模型训练与优化。本步骤的具体实现方法为：
[0056]
步骤5.1、若处于测试阶段，则忽略该步骤，即将步骤4视为最终步骤；若处于训练阶段，则进入该步骤。
[0057]
步骤5.2、步骤1中得到的低照度输入图像i先通过公式i
′
(x)＝(i(x)-0.5)*r+0.5或实现对比度变换，得到变换后的图像i
′
，其中，r表示图像新的取值宽度，用于调整动态范围，而d表示对比度变换的剧烈程度，用于调整高斯分布的峰度，d越大则变换后的图像越平坦、色调对比越小，ε1和ε2代表两个极小的正数，以防止除数为0或log内部为0，clip表示裁切操作，使值域控制在[0，1]内。
[0058]
步骤5.3、步骤5.2中得到的图像i
′
，再通过与亮度变化因子的数值相加，即i
″
(x)＝i
′
(x)+v，来实现均值变换，得到变换后的最终伪参考图像i
″
，其中，亮度参考因子可在[-0.5，1.0]范围内取任一数值。
[0059]
步骤6、使用步骤1中得到的低照度输入图像i、步骤4中得到的输出图像o和步骤5中得到的伪参考图像i
″
计算总损失，进行迭代优化网络。
[0060]
步骤6.1、若处于测试阶段，则忽略该步骤，即将步骤4视为最终步骤；若处于训练阶段，则进入该步骤。
[0061]
步骤6.2、通过公式l
rec
(i
″
，o)＝l1(i
″
，o)＝∑|i
″
(x)-o(x)|计算重建损失，即计算输出图像和伪参考图像之间的像素级平均绝对误差。
[0062]
步骤6.3、通过公式计算空间一致性损失，其中，o
′
和i
′
分别代表输出和输入图像在经过空间和通道平均池化后得到的图像，k代表图像经4
×
4的空间池化后所剩局部区域的个数，ω(i)是中心区域i的4个最近邻。
[0063]
步骤6.4、将步骤6.2和步骤6.3中的损失求和，得到总损失，网络以最小化总损失为目标，不断迭代各模块参数，使性能得到优化。
[0064]
下面按照本发明的方法进行测试，以说明本发明的效果。
[0065]
测试环境：python3.8.15；pytorch框架；ubuntu18.04系统；nvidia gtx 1080ti gpu。
[0066]
测试序列：所选数据集是用于低照度图像增强的低光照数据集lol、lsrw、npe、mef和lime。其中lol、lsrw_huawei、lsrw_nikon数据集分别包含15对、30对和20对低照度-正常照度图像对，npe、mef、lime数据集分别包含8张、17张和10张低照度图像。
[0067]
测试指标：本发明使用psnr和ssim指标对有参考测试集进行评测，使用niqe和brisque指标对无参考测试集进行评测，对当今流行的不同方法计算指标数据然后进行结果对比，另外还对不同方法下图像的视觉效果进行比较，证明本发明在低照度增强领域能够得到较好的结果。
[0068]
测试结果如下：
[0069]
表1.本发明与其他方法在有参考数据集下的性能比较
[0070][0071][0072]
表2.本发明与其他方法在无参考数据集下的性能比较
[0073][0074]
表3.本发明与其他方法的效率比较
[0075][0076]
通过以上对比数据可以看出，本发明在有参考数据集上取得两个最优、两个次优的结果，在无参考数据集上取得一个最优、两个次优，在训练效率上最优，与现有方法相比有较大提升。
[0077]
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

技术特征：
1.一种基于纯噪声训练的亮度可调的低照度图像增强方法，其特征在于：包括以下步骤：步骤1、在图像输入阶段，随机采样高斯分布,组成噪声图像集，并将图像像素值归一化至[0,1]，得到低照度输入图像i；步骤2、将低照度输入图像i和亮度变化因子v分别送入到网络的图像处理模块和亮度处理模块中进行特征提取，得到对应低照度输入图像i的特征图和对应亮度变化因子的特征向量；步骤3、步骤2得到的特征图和特征向量通过卷积和非线性变换的操作，实现特征的融合和重构，输出通道数为6的曲线参数，其中前3通道和后3通道分别代表曲线的2个不同参数项k和b；步骤4、通过线性曲线公式：o(x)＝k(x)i(x)+b(x)，将低照度输入图像i增强为由亮度变化因子的幅值指导的具有特定亮度的输出图像o；步骤5、对步骤1中所得的低照度输入图像i作均值和对比度变换，得到伪参考图像i”；步骤6、使用步骤1中得到的低照度输入图像i、步骤4中得到的输出图像o和步骤5中得到的伪参考图像i”计算总损失，进行迭代优化网络。2.根据权利要求1所述的基于纯噪声训练的亮度可调的低照度图像增强方法，其特征在于：所述步骤1的具体实现方法包括：步骤1.1、若处于测试阶段，则直接进入步骤2，否则进入步骤1.2；步骤1.2、从均值为0、标准差为1的标准高斯分布中采样尺寸为128
×
128
×
3的输入噪声图像；步骤1.3、分别计算输入噪声图像的最大像素值i
max
和最小像素值i
min
，通过公式，通过公式得到归一化后的低照度输入图像i。3.根据权利要求1所述的基于纯噪声训练的亮度可调的低照度图像增强方法，其特征在于：所述图像处理模块由卷积层和激活函数构成；所述亮度处理模块由线性层、卷积层和激活函数构成。4.根据权利要求3所述的基于纯噪声训练的亮度可调的低照度图像增强方法，其特征在于：所述步骤2的具体实现方法包括：步骤2.1、将低照度输入图像i送入网络的图像处理模块中，通过图像处理模块的6个对称级联的卷积层以及每个卷积层后紧跟的relu激活函数进行非线性变换，每个卷积层所用卷积核的尺寸均为3
×
3，卷积操作均设置成步长为1和填充模式为复制一圈的形式，最后输出低照度输入图像i对应的特征图；步骤2.2、将亮度变化因子v送入网络的亮度处理模块中，经过亮度处理模块中的线性全连接层，使尺寸为1的序列扩展成尺寸为32的序列，输出亮度变化因子对应的特征向量。5.根据权利要求1所述的基于纯噪声训练的亮度可调的低照度图像增强方法，其特征在于：所述步骤3的具体实现方法包括：步骤3.1、将步骤2得到的特征图和特征向量形变成维度为4的特征图，得到1
×
32
×
128
×
128的图像特征图和1
×
32
×1×
1的亮度特征图；步骤3.2、对步骤3.1中的两张4维特征图作内积，得到尺寸为1
×1×
128
×
128的图像，
该图再经过1个核尺寸为3
×
3的卷积层和其后的sigmoid激活函数就得到曲线参数k和b。6.根据权利要求1所述的基于纯噪声训练的亮度可调的低照度图像增强方法，其特征在于：所述步骤5的具体实现方法包括：步骤5.1、若处于测试阶段，则结束步骤5；若处于训练阶段，则进入步骤5.2；步骤5.2、将步骤1得到的低照度输入图像i通过公式：i
′
(x)＝(i(x)-0.5)*r+0.5或进行对比度变换，得到变换后的图像i
′
，其中，r表示图像新的取值宽度，用于调整动态范围，d表示对比度变换的剧烈程度，用于调整高斯分布的峰度，ε1和ε2代表两个极小的正数，clip表示裁切操作，使值域控制在[0,1]内；步骤5.3、将步骤5.2得到的图像i
′
与亮度变化因子的数值相加，实现均值变换，得到变换后的伪参考图像i”。7.根据权利要求1所述的基于纯噪声训练的亮度可调的低照度图像增强方法，其特征在于：所述步骤6的具体实现方法包括以下步骤：步骤6.1、若处于测试阶段，则结束步骤6；若处于训练阶段，则进入步骤6.2；步骤6.2、通过公式：l
rec
(i”,o)＝l1(i”,o)＝∑|i”(x)-o(x)|计算重建损失，得到输出图像o和伪参考图像i”之间的像素级平均绝对误差；步骤6.3、通过公式：计算空间一致性损失，其中，o
′
和i
′
分别代表输出和输入图像在经过空间和通道平均池化后得到的图像，k代表图像经4
×
4的空间池化后所剩局部区域的个数，ω(i)是中心区域i的4个最近邻；步骤6.4、将步骤6.2和步骤6.3得到的损失求和，得到总损失，网络以最小化总损失为目标，不断迭代各模块参数，使性能得到优化。8.根据权利要求1至7任一项所述的基于纯噪声训练的亮度可调的低照度图像增强方法，其特征在于：所述亮度变化因子v取值范围为：-0.5至1.0。

技术总结
本发明涉及一种基于纯噪声训练的亮度可调的低照度图像增强方法，其技术特点是：训练阶段采样随机高斯噪声作为低照度输入图像；将低照度输入图像和亮度变化因子分别送入到图像处理模块和亮度处理模块中，得到特征图和特征向量；对特征图和特征向量通过卷积和非线性变换的操作，实现特征的融合和重构，输出通道数为6的曲线参数；将低照度输入图像增强为由亮度变化因子的幅值指导的具有特定亮度的输出图像；作均值和对比度变换，得到伪参考图像；计算总损失，进行迭代优化网络。本发明采用纯噪声的训练策略，帮助模型绕过常用的色彩恒常和光照平滑损失，使难以设计的非线性曲线形式简化为线性曲线形式，实现了低照度增强领域降本增效的功能。本增效的功能。本增效的功能。


技术研发人员：姜竹青 徐雍宁 于佳 王海婴 门爱东
受保护的技术使用者：北京邮电大学
技术研发日：2023.05.26
技术公布日：2023/8/14