基于单张RAW图像的高动态范围图像重构方法和系统

基于单张raw图像的高动态范围图像重构方法和系统
技术领域
1.本发明涉及一种基于单张raw图像的高动态范围图像重构方法和系统，属于计算摄像与图像处理技术领域。


背景技术：

2.高动态范围成像(high dynamic range imaging，hdri)技术是计算摄像领域近年来兴起的一项新技术。由于真实场景的动态范围(即明暗差别)远大于消费级相机传感器的感知和记录能力，数字图像往往在过暗和过亮区域发生丢失细节，高动态范围成像技术凭借着更深的数据位宽赋予了图像更强的信息记录能力，从而保留过暗和过亮区域的细节。
3.高动态范围图像的获取方式通常可分类两大类：一类方法通过研制新颖的、具有更强感知记录能力的传感器(如事件相机、红外相机等)来采集图像并重构为高动态范围图像，此类方法使用了专门设计的相机，但花销和实用性限制了其应用。另一类方法则直接将现有消费级相机能够记录的低动态范围(low dynamic range)图像转化为高动态范围图像。
4.一些研究人员考虑到消费级相机拍摄的单张图像难以覆盖高动态范围，采用包围曝光的形式拍摄若干不同曝光的低动态范围图像，并进行后期合成。不同曝光的图像能够覆盖场景中不同的动态范围，通过合并多张图像能够显著增加最终图像的亮暗细节。此类方法合成高动态范围图像的过程中需要将多张曝光进行对齐。虽然现有的图像对齐方法能够处理运动较小的场景，但对于更加动态的场景的处理无法达到很高的精确度，这限制了此类包围曝光、后期合成方法的实际应用。
5.为了避免不对齐问题带来的潜在影响，一些研究者们更倾向于直接从消费级相机拍摄的单张低动态范围图像重构高动态范围图像。随着具有强表示能力的深度学习工具的兴起，近年来涌现出很多深度学习模型来完成单张低动态范围图像到高动态范围图像的映射。然而，由于相机采集的单张低动态范围图像通常在经历相机内不可拟的信号处理流程(signal processing pipeline)后只保留了低比特(通常为8比特)的图像信息，此过程造成了信息损失。因此，单张曝光的重构问题非常困难，无法重构出极端高动态范围的场景。


技术实现要素：

6.本发明的目的是针对现有技术存在的不足，为解决现有传感器受硬件限制导致的单张图像动态范围不高等技术问题，创造性地提出一种基于单张raw图像的高动态范围图像重构方法和系统。
7.本发明采用以下技术方案实现。
8.一种基于单张raw图像的高动态范围图像重构方法，包括以下步骤：
9.首先，采集数据位宽更多的raw格式数据，构建高动态范围图像重构成对数据集。设通过分析raw图像和高动态范围图像的性质，设计输入为单张raw图像，输出为高动态范围图像的深度神经网络。构建卷积神经网络的曝光掩码估计模块，分离高动态范围图像中
过暗和过亮区域。通过分析不同颜色通道(红-绿-蓝-绿)的亮度差异性，分别为过暗和过亮区域引入亮度引导，并构建全局空间引导模块，从更大的空间范围内提取场景特征。
10.然后，使用采集的真实成对数据集对深度神经网络进行训练。
11.最后，利用训练好的神经网络模型完成单张raw图像到高动态范围图像的重构。
12.进一步地，构建高动态范围图像重构成对数据集，包括高动态范围场景的选择，成像设备的搭建，使用包围曝光模式进行图像采集，以及包围曝光合成高动态范围图像。
13.进一步地，所述曝光掩码估计，包括分别预测欠曝光、过曝光区域的神经网络模型的构建，设计损失和约束条件，使用曝光掩码对图像的过暗和过亮区域进行预测。
14.进一步地，所述亮度引导，包括对raw格式数据通道维度上的亮度属性分析，根据绿色通道亮度较高，红/蓝通道亮度较低的特点，分别对掩码所标记的过暗和过亮区域进行通道引导并设计引导网络。
15.进一步地，所述全局空间引导模块从过暗、过亮区域信息量过少以至于难以恢复细节的角度出发，采用更大范围的自注意力机制网络，进一步为过暗、过亮区域的细节恢复提供全局信息。
16.进一步地，利用所述高动态范围图像重构成对数据集来训练深度网络，并用训练好的网络将单张raw图像映射为高动态范围图像。
17.另一方面，本发明提出了一种基于单张raw图像的高动态范围图像重构系统，包括数据模块、构建模块、训练模块和成像模块。
18.其中，数据模块负责采集和处理用于训练单张raw图像到高动态范围图像网络的真实成对数据集。进一步地，数据模块包括高动态范围场景的选择、成像设备的搭建、使用包围曝光模式进行图像采集，以及包围曝光合成高动态范围图像。
19.构建模块负责利用raw图像和高动态范围图像的性质，搭建高动态范围重构神经网络。进一步地，构建模块包括分别预测欠曝光、过曝光区域的神经网络模型的构建，对raw格式数据通道维度上的亮度属性分析，根据绿色通道亮度较高，红/蓝通道亮度较低的特点，分别对掩码所标记的过暗和过亮区域进行通道引导并设计引导网络，全局空间引导模块从过暗、过亮区域信息量过少以至于难以恢复细节的角度出发，采用更大范围的自注意力机制网络，进一步为过暗、过亮区域的细节恢复提供全局信息。
20.训练模块负责将数据模块构建的单张raw图像作为输入，高动态范围图像作为输出，训练神经网络。进一步地，训练模块利用数据模块中获取的数据集，将其中的单张raw图像作为输入，将其中的高动态范围图像作为输出，训练构建模块的深度神经网络。
21.成像模块使用训练好的网络对高动态范围场景下拍摄的单张raw图像进行处理，得到高动态范围图像。进一步地，成像模块使用消费级相机拍摄单张raw图像，并送入训练好的网络，得到高动态范围图像。
22.上述模块之间的关系如下：
23.数据模块的输出端与构建模块的输入端相连；构建模块的输出端与训练模块的输入端相连；训练模块的输出端与成像模块的输入端相连。
24.有益效果
25.本发明从raw图像本身性质的角度出发，构建深度学习模型，实现对单张raw图像暗部和亮部细节的恢复，重构出高质量高动态范围图像，显著提高了从单张raw图像到高动
态范围图像的重构精度。
附图说明
26.图1是本发明方法实施例的总流程图；
27.图2是本发明方法实施例的深度神经网络结构图；
28.图3是本发明系统的结构示意图。
具体实施方式
29.下面结合附图对本发明做进一步详细说明。
30.如图1所示，一种基于单张raw图像的高动态范围图像重构方法，包括步骤如下：
31.步骤1：构建基于单张raw图像的高动态范围成对数据集。该数据集包含真实成对的单张raw图像和单张高动态范围图像。
32.具体地，在采集基于单张raw图像的高动态范围成对数据集时，首先选择符合高动态范围，即同时具有亮部和暗部的场景，确保场景中无环境运动(如行人走动、树叶晃动等)。在构建完整数据集时，还要考虑到丰富的场景类型，并包含在一天的不同时段内拍摄的数据。
33.其次，设置拍摄成像系统，将可采集raw格式图像数据的成像设备(如单反相机)固定于三脚架上，确保三脚架稳定不移动。随后，以手动模式调节感光度、光圈、快门时间，使得图像曝光准确。同时，确保对焦模式为手动对焦，并调节对焦环使相机对焦在场景中。将相机拍摄模式调为包围曝光模式，一次性采集三张包围曝光照片，曝光补偿分别为-3，0，3。至此，完成了一个场景的拍摄。
34.当所有场景的拍摄完成后，每个场景均对应一组三张的包围曝光图像，其中-3曝光补偿的图像记录了场景的亮部细节，3曝光补偿的图像记录了场景的暗部细节，0曝光补偿的raw图像则为基于单张raw图像的高动态范围成对数据集中的输入图像。之后，对每个场景的三张包围曝光图像，可以采用debevec等人在2008年提出的方法(详见debevec p e,malik j.recovering high dynamic range radiance maps from photographs[m]//acm siggraph 2008classes.2008:1-10.)，将其合并为一张同时记录暗部和亮部细节的高动态范围图像作为数据集的真值。至此，完成基于单张raw图像的高动态范围成对数据集的构建。
[0035]
步骤2：构建曝光掩码估计网络，分离高动态场景图像中的暗部和亮部。可以采用基于深度学习的可学习掩码来划分图像中不同动态范围的区域。
[0036]
具体地，首先以0.5和0.05为硬阈值，获取图像基于硬阈值的暗部掩码和亮部掩码
[0037]
以raw图像r为输入，通过构建的暗部和亮部掩码估计网络pu和po，并使用sigmoid函数s将结果转换到[0,1]之间，得到预测的暗部掩码m
under
和亮部掩码m
over
：
[0038]mover
＝s(po(r))
[0039]munder
＝s(pu(r))
[0040]
其中，暗部和亮部掩码估计网络pu和po采用了两个卷积块的形式，每个卷积块包含
pattern recognition.2022:17683-17693)来提取全局特征。该结构由输入映射、局部增强窗口模块、下采样、上采样和输出映射组成。每个局部增强窗口模块包含层归一化操作、基于窗口的自注意力机制、全连接层、重塑层、3
×
3深度可分离卷积层、展平操作以及跨层连接。
[0058]
将堆叠后的raw图像i
rgbg
输入此分支，得到全局特征提取的结果。
[0059]
步骤5：利用高动态范围图像重构成对数据集来训练深度网络，用训练好的网络将单张raw图像映射为高动态范围图像。
[0060]
具体地，将步骤3、步骤4构建的亮度引导分支和全局空间引导分支输出的特征相加，并通过由3
×
3卷积层、leakyrelu激活函数构成的残差模块，得到最终重构的高动态范围图像h。
[0061]
对构建完成的高动态范围图像重构深度神经网络，将步骤1中的单张raw数据作为输入，将与之对应的高动态范围图像作为真值，对深度网络进行训练，得到优化后的网络模型参数。
[0062]
将重构得到的高动态范围图像hi与真值计算log域的l2损失函数，作为重构损失
[0063][0064]
其中，n为训练样本的数量。
[0065]
训练基于单张raw图像的高动态范围图像重构网络总的训练目标函数为：
[0066][0067]
其中，τ表示掩码约束损失函数的权重。
[0068]
优化上式时，可以采用adam优化器并将学习率设置为初始10-4
，逐渐衰减至10-5
，总共在步骤1的数据集中循环训练2000次。
[0069]
综上，本发明实施例提出的基于单张raw图像的高动态范围图像重构方法是一种从raw数据和高动态范围图像本身性质出发的高动态范围图像生成方法。该方法采用比常规方法是用的srgb拥有更强信息记录能力的raw数据作为输入，大大扩宽所能应用的动态范围。亮度引导分支和全局空间引导分支从通道维度和空间维度增强了深度网络的特征提取能力，进一步增强生成的高动态范围图像的质量，对科学研究和影音影像领域的发展具有重要的意义。
[0070]
其次，参照附图描述根据本发明实施例提出的基于单张raw图像的高动态范围图像重构系统。
[0071]
图3是本发明的一个实施例的基于单张raw图像的高动态范围图像重构系统。
[0072]
如图3所示，该基于单张raw图像的高动态范围图像重构系统包括：数据模块100、构建模块200、训练模块300和成像模块400。
[0073]
其中，数据模块100用于构建基于单张raw图像的高动态范围重构真实成对数据集，作为深度网络的监督信号；构建模块200用于从raw图像和高动态范围图像本身性质构建曝光掩码估计网络、亮度引导分支和全局空间引导分支；训练模块300用于训练高动态范
围重构深度神经网络，得到训练好的模型；成像模块400用于使用训练好的网络对单张raw图像进行处理，得到高动态范围图像。
[0074]
进一步地，在本发明的一个实施例中，所述数据模块100，选择高动态范围场景，搭建成像设备，使用包围曝光模式进行图像采集，以及包围曝光合成高动态范围图像组成成对数据集。
[0075]
进一步地，在本发明的一个实施例中，所述构建模块200，构建深度网络分别预测欠曝光、过曝光区域，对raw格式数据通道维度上的亮度属性分析，根据绿色通道亮度较高，红/蓝通道亮度较低的特点，分别对掩码所标记的过暗和过亮区域进行通道引导并设计引导网络，全局空间引导模块从过暗、过亮区域信息量过少以至于难以恢复细节的角度出发，采用更大范围的自注意力机制网络，进一步为过暗、过亮区域的细节恢复提供全局信息。
[0076]
进一步地，在本发明的一个实施例中，所述训练模块300，利用数据模块中获取的数据集，将其中的单张raw图像作为输入，将其中的高动态范围图像作为输出，训练构建模块的深度神经网络。
[0077]
进一步地，在本发明的一个实施例中，所述成像模块400，使用消费级相机拍摄单张raw图像，并送入训练好的网络，得到高动态范围图像。
[0078]
综上，本发明实施例提出的基于单张raw图像的高动态范围图像重构系统是一种从raw数据和高动态范围图像本身性质出发的高动态范围图像生成系统。该系统采用比常规成像方法用的srgb拥有更强信息记录能力的raw数据作为输入，大大扩宽所能应用的动态范围。亮度引导分支和全局空间引导分支从通道维度和空间维度增强了深度网络的特征提取能力，进一步增强生成的高动态范围图像的质量，对科学研究和影音影像领域的发展具有重要的意义。
[0079]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.基于单张raw图像的高动态范围图像重构方法，其特征在于，包括以下步骤：步骤1：构建基于单张raw图像的高动态范围成对数据集，该数据集包含真实成对的单张raw图像和单张高动态范围图像；步骤2：构建曝光掩码估计网络，分离高动态场景图像中的暗部和亮部；步骤3：基于raw通道亮度特异性构建亮度引导分支；亮度引导包括对raw格式数据通道维度上的亮度属性分析，根据绿色通道亮度较高，红/蓝通道亮度较低的特点，分别对掩码所标记的过暗和过亮区域进行通道引导并设计引导网络；其中，在暗部区域，采用记录更多暗部细节的绿色通道来引导红、蓝通道的重构；在亮部区域，采用相对不容易被截断的红、蓝通道来引导绿色通道的重构；步骤4：基于高动态场景暗部和亮部细节丢失构建全局空间引导分支；将堆叠后的raw图像输入此分支，得到全局特征提取的结果；步骤5：利用高动态范围图像重构成对数据集来训练深度网络，用训练好的网络将单张raw图像映射为高动态范围图像。2.如权利要求1所述的基于单张raw图像的高动态范围图像重构方法，其特征在于，步骤1构建高动态范围图像重构成对数据集的过程，包括：高动态范围场景的选择，成像设备的搭建，使用包围曝光模式进行图像采集，以及包围曝光合成高动态范围图像。3.如权利要求1或2所述的基于单张raw图像的高动态范围图像重构方法，其特征在于，首先选择符合高动态范围，即同时具有亮部和暗部的场景，确保场景中无环境运动；在构建完整数据集时，还要考虑到丰富的场景类型，并包含在一天的不同时段内拍摄的数据；成像设备的搭建时，将可采集raw格式图像数据的成像设备固定于三脚架上，确保三脚架稳定不移动；随后，以手动模式调节感光度、光圈、快门时间，使得图像曝光准确；同时，确保对焦模式为手动对焦，并调节对焦环使相机对焦在场景中；将相机拍摄模式调为包围曝光模式，一次性采集三张包围曝光照片，曝光补偿分别为-3，0，3；当所有场景的拍摄完成后，每个场景均对应一组三张的包围曝光图像，其中-3曝光补偿的图像记录了场景的亮部细节，3曝光补偿的图像记录了场景的暗部细节，0曝光补偿的raw图像则为基于单张raw图像的高动态范围成对数据集中的输入图像；之后，对每个场景的三张包围曝光图像，将其合并为一张同时记录暗部和亮部细节的高动态范围图像作为数据集的真值。4.如权利要求1所述的基于单张raw图像的高动态范围图像重构方法，其特征在于，步骤2中，采用基于深度学习的可学习掩码来划分图像中不同动态范围的区域。5.如权利要求1所述的基于单张raw图像的高动态范围图像重构方法，其特征在于，步骤2中，曝光掩码估计过程包括：分别预测欠曝光、过曝光区域的神经网络模型的构建，设计损失和约束条件，使用曝光掩码对图像的过暗和过亮区域进行预测。6.如权利要求1或5所述的基于单张raw图像的高动态范围图像重构方法，其特征在于，首先以0.5和0.05为硬阈值，获取图像基于硬阈值的暗部掩码和亮部掩码以raw图像r为输入，通过构建的暗部和亮部掩码估计网络p
u
和p
o
，并使用sigmoid函数s将结果转换到[0,1]之间，得到预测的暗部掩码m
under
和亮部掩码m
over
：
m
over
＝s(p
o
(r))m
under
＝s(p
u
(r))其中，暗部和亮部掩码估计网络p
u
和p
o
采用了两个卷积块的形式，每个卷积块包含两个3
×
3卷积层、leakyrelu激活函数和经过1
×
1卷积的跨层连接；为引导网络能够学习到过暗和过亮区域的掩码m
under
和m
over
，进一步增加掩码约束，使m
under
和m
over
在1-范数下接近硬阈值生成的掩码和掩码约束的损失函数表示为：表示为：7.如权利要求1所述的基于单张raw图像的高动态范围图像重构方法，其特征在于，步骤3中，对输入大小为h
×
w的raw图像r，首先将其按照拜耳模式堆叠成h/2
×
w/2
×
4大小的图像i
rgbg
，其中四个通道分别代表红、绿、蓝、绿；从raw图像i
rgbg
中分别提取绿色通道和红、蓝通道得到i
g
和i
rb
；随后，将i
rgbg
，i
g
和i
rb
分别送入u-net编码器中进行特征提取，得到对应的特征张量y
rgbg
，y
g
和y
rb
；然后，在经过解码器重构图像之前，首先使用y
g
和y
rb
分别与y
rgbg
堆叠，由此来引入绿色通道和红、蓝通道的亮度引导；分别将暗部、亮部掩码用于绿色、红蓝通道引导的重构结果上，该过程表示为：y
′
g
＝d(concat(y
g
,y
rgbg
))y
′
rb
＝d(concat(y
rb
,y
rgbg
))y
di
＝m
under
⊙
y
′
g
+m
over
⊙
y
′
rb
其中，concat表示张量的堆叠，d表示u-net解码器，y
′
g
和y
′
rb
分别表示绿通道和红、蓝通道引导得到的重构结果，
⊙
表示张量的哈达玛积，y
di
为亮度引导分支的输出结果；m
under
和m
over
分别表示过暗和过亮区域的掩码。8.如权利要求1所述的基于单张raw图像的高动态范围图像重构方法，其特征在于，步骤4中，采用基于u-net结构的transformer结构提取全局特征；该结构由输入映射、局部增强窗口模块、下采样、上采样和输出映射组成；每个局部增强窗口模块包含层归一化操作、基于窗口的自注意力机制、全连接层、重塑层、3
×
3深度可分离卷积层、展平操作以及跨层连接。9.如权利要求1所述的基于单张raw图像的高动态范围图像重构方法，其特征在于，步骤5中，将步骤3、步骤4构建的亮度引导分支和全局空间引导分支输出的特征相加，并通过由3
×
3卷积层、leakyrelu激活函数构成的残差模块，得到最终重构的高动态范围图像h；对构建完成的高动态范围图像重构深度神经网络，将步骤1中的单张raw数据作为输入，将与之对应的高动态范围图像作为真值，对深度网络进行训练，得到优化后的网络模型参数；将重构得到的高动态范围图像h
i
与真值计算log域的l2损失函数，作为重构损失损失函数，作为重构损失
其中，n为训练样本的数量；训练基于单张raw图像的高动态范围图像重构网络总的训练目标函数为：其中，τ表示掩码约束损失函数的权重。10.基于单张raw图像的高动态范围图像重构系统，其特征在于，包括数据模块、构建模块、训练模块和成像模块；其中，数据模块负责采集和处理用于训练单张raw图像到高动态范围图像网络的真实成对数据集；数据模块包括高动态范围场景的选择、成像设备的搭建、使用包围曝光模式进行图像采集，以及包围曝光合成高动态范围图像；构建模块负责利用raw图像和高动态范围图像的性质，搭建高动态范围重构神经网络；构建模块包括分别预测欠曝光、过曝光区域的神经网络模型的构建，对raw格式数据通道维度上的亮度属性分析，根据绿色通道亮度较高，红/蓝通道亮度较低的特点，分别对掩码所标记的过暗和过亮区域进行通道引导并设计引导网络，全局空间引导模块从过暗、过亮区域信息量过少以至于难以恢复细节的角度出发，采用更大范围的自注意力机制网络，进一步为过暗、过亮区域的细节恢复提供全局信息；训练模块负责将数据模块构建的单张raw图像作为输入，高动态范围图像作为输出，训练神经网络；训练模块利用数据模块中获取的数据集，将其中的单张raw图像作为输入，将其中的高动态范围图像作为输出，训练构建模块的深度神经网络；成像模块使用训练好的网络对高动态范围场景下拍摄的单张raw图像进行处理，得到高动态范围图像；成像模块使用消费级相机拍摄单张raw图像，并送入训练好的网络，得到高动态范围图像；上述模块之间的关系如下：数据模块的输出端与构建模块的输入端相连；构建模块的输出端与训练模块的输入端相连；训练模块的输出端与成像模块的输入端相连。

技术总结
本发明提出了基于单张RAW图像的高动态范围图像重构方法和系统，属于计算摄像与图像处理技术领域。本发明通过分析RAW图像和高动态范围图像的性质，设计输入为单张RAW图像，输出为高动态范围图像的深度神经网络。通过构建卷积神经网络的曝光掩码估计模块，分离高动态范围图像中过暗和过亮区域。分析不同颜色通道的亮度差异性，分别为过暗和过亮区域引入亮度引导，并构建全局空间引导，从更大的空间范围内提取场景特征。使用采集的真实成对数据集对深度神经网络进行训练。利用训练好的模型完成单张RAW图像到高动态范围图像的重构。系统包括数据模块、构建模块、训练模块和成像模块。本发明显著提高了从单张RAW图像到高动态范围图像的重构精度。的重构精度。的重构精度。


技术研发人员：付莹 邹云昊 张军
受保护的技术使用者：北京理工大学
技术研发日：2023.04.06
技术公布日：2023/8/9