一种基于饱和度感知编码器的小样本HDR去鬼影方法

一种基于饱和度感知编码器的小样本hdr去鬼影方法
技术领域
1.本发明属于图像处理技术领域，具体涉及一种小样本hdr去鬼影方法。


背景技术：

2.高动态范围(hdr)成像的开发就是为了解决低动态范围(ldr)图像包含的过度曝光或曝光不足的区域，导致破坏场景细节的局限性，旨在通过融合多个具有不同特征的ldr图像来生成hdr图像。但是，在动态场景或手持相机场景中hdr成像会出现鬼影现象，常见的解决方法包括基于对齐的方法、基于图像块的方法和基于深度学习的方法，然而，这些方法容易出错且需要大量有标签的hdr数据，标签的hdr数据需要绝对静态背景且需要大量人力来进行手动后期检查，难以收集。文献“基于图像块分解的多曝光图像融合去鬼影算法，光学学报，2019，vol 39(09)，pp 132-140”公开了一种基于图像块分解的多曝光图像融合去鬼影方法。该方法将多曝光图像块分解成信号结构、信号强度和平均强度3个概念相独立的部分，采用图像块结构一致性检测的方式来进行鬼影检测,去除结构不一致的图像块并对这3个部分分开融合,重构所需图像块并将其聚合至最终融合图像。文献所述方法是一种基于图像块分解的方法，参数自适应性方面仍然存在不足，实用性不强。此外，该方法需要大量有标签的hdr数据来训练，但是由于hdr数据的收集困难，很难获得足够的训练数据，限制了该方法的实际应用。


技术实现要素：

3.为了克服现有技术的不足，本发明提供了一种基于饱和度感知编码器的小样本hdr去鬼影方法，首先通过曝光调整将短曝光帧调整为新的中曝光帧和新的长曝光帧；然后通过伽马校正将ldr输入图像映射到hdr域；再经过幻化模块和多尺度残差swin transformer模块，经过卷积层，得到最终的预测图像。本发明只需少量有标签的hdr数据，符合实际需求，适用性强，重建的hdr图像质量高。
4.本发明解决其技术问题所采用的技术方案包括如下步骤：
5.步骤1：通过曝光调整将短曝光帧调整为新的中曝光帧和新的长曝光帧
6.通过曝光调整将短曝光帧转换为新的中曝光帧和长曝光帧过程如下所示：
[0007][0008]
式中，clip(
·
)表示曝光调整，γ表示伽马校正参数，t1、t2、t3分别表示短曝光帧的曝光时间、中曝光帧的曝光时间和长曝光帧的曝光时间；
[0009]
步骤2：通过伽马校正将ldr输入图像映射到hdr域分别得到h1′
、h2′
、h3′
；
[0010]
映射过程如下所示：
[0011][0012]
式中，
[0013]
步骤3：连接和hi′
获得6通道输入ii，并屏蔽输入ii图像块以获得i
′i；
[0014]
沿着通道维度连接和hi′
以获得6通道输入随后屏蔽输入ii的图像块以获得i
′i；具体为：将输入分成不重叠的图像块并以高掩码率(75％)随机对这些图像块的一个子集进行掩码得到i
′i；
[0015]
步骤4：将i
′
＝{i
′1,i
′2,i
′3}输入幻化模块，得到特征
[0016]
首先将i
′1,i
′2,i
′3分别输入三个卷积层，提取浅层特征fi；然后，将浅层特征fi划分为不重叠的图像块并将每个图像块映射到查询q、键k和值v；随后，计算查询q和键k之间的相似度，并使用softmax函数以获得注意力权重；最后，将注意力权重应用于v以获得操作过程如下所示：
[0017][0018][0019]
式中，wq、wk、wv分别表示映射到查询q、键k和值v的参数矩阵，分别表示图像块映射后的查询、键、值，b是可学习的位置编码，d是的维度；
[0020]
步骤5：将沿通道连接得到fs，然后输入多尺度残差swin transformer模块，输出特征f
out
；
[0021]
首先，将沿着通道维度连接起来，得到多尺度残差swin transformer模块的输入；多尺度残差swin transformer模块由多个多尺度swin transformer层stl、多个卷积层和一个残差连接组成；给定第i个多尺度残差swin transformer模块的输入特征第i个多尺度残差swin transformer模块的输出表示如下:
[0022][0023][0024]
式中，表示第i个多尺度残差swin transformer模块中尺度为lj的第n个swin transformer层；经过多个多尺度残差swin transformer模块后，最终输出f
out
；
[0025]
步骤6：f
out
经过卷积层与步骤5中沿通道连接得到的残差fs相加，得到最终的预测图像
[0026]fout
输入卷积层然后与残差fs相加，得到最终的预测图像计算过程如下：
[0027][0028]
步骤7：设计损失函数，训练模型；
[0029]
使用函数ω将预测的hdr图像变换为短曝光、中曝光和长曝光ldr图像过程如下：
[0030][0031]
式中，i＝1,2,3分别对应短曝光、中曝光和长曝光；
[0032]
通过标签生成将短曝光帧转换为新的短、中和长曝光帧；然后，将新的曝光帧作为模型的标签计算过程如下：
[0033][0034]
最后计算与之间的l1自监督损失：
[0035][0036]
步骤8：使用静态有标签的ldr样本s和动态有标签的ldr样本d微调已训练的模型，得到优化模型；
[0037]
使用动态标记样本d和静态标记样本s对模型进行微调，应用μ律映射线性域图像到色调映射域图像，如下所示：
[0038][0039]
式中，t(x)是色调映射函数；
[0040]
然后将动态标记样本d和静态标记样本s输入模型得到预测的hdr图像和并计算其与样本标签之间的重建损失l
recon
和感知损失l
percep
，公式如下：
[0041][0042][0043]
l
finetune
＝l
recon
+λl
percep
(14)
[0044]
式中，σ
i,j
(.)表示vgg19网络中的第j个卷积层和第i个最大池化层，λ＝1e-2
；
[0045]
步骤9：利用无标签ldr样本u，迭代优化模型；
[0046]
生成无标签数据的hdr伪标签并利用无标签ldr样本u和有标签的ldr样本s、d迭代优化模型；
[0047]
步骤9-1：采用自适应伪标签选择策略来选择无重影的hdr伪标签；
[0048]
在时间步t，使用优化模型n
t
来预测动态和静态标记样本的hdr图像和然后使用函数ω将预测的hdr图像映射到中等曝光图像并计与原始中等曝光ldr图像的损失公式如下：
[0049][0050]
式中，mask(
·
)表示遮盖曝光过度和曝光不足的区域；设定亮度值在τ0到τ1之间为曝光正常的区域，小于τ0为曝光不足，大于τ1为曝光过度；
[0051]
对所有图像块的损失进行排序，并采用σ(
·
,
·
)函数得到β百分位数损失作为选择阈值τ
t
：
[0052][0053]
使用模型n
t
预测无标签样本的伪标签然后使用ω函数将映射到中等曝光得到并计算和原始中等曝光ldr图像之间的损失得到之间的损失得到如果当前损失大于阈值τ
t
，判定伪标签质量较差，具有更多的饱和区域和鬼影区域，则给出一个权重，该权重在下一次训练迭代中趋于线性衰减，计算过程如下所示：
[0054][0055][0056][0057]
式中，为时间步t中无标签的中等曝光图像，为时间步t中无标签样本的最大选择损失，为无标签样本ui在第t+1次训练迭代中的权重因子；
[0058]
步骤9-2：使用动态和静态有标签样本d和s以及无标签样本u迭代自适应优化模型；
[0059]
在时间步t，使用模型n
t
来预测无标签数据的伪标签然后用标签和伪标记样本训练模型n
t
，得到时间步t+1的模型n
t+1
；每个时间步中，计算重建损失和感知损失如下：
[0060][0061]
式中，λ＝1e-2
，是无标签数据ui的权重因子。
[0062]
优选地，所述伽马校正参数γ＝2.2。
[0063]
优选地，所述μ＝5000，β＝85。
[0064]
本发明的有益效果如下：
[0065]
为了克服现有的基于图像块分解的多曝光图像融合去鬼影算法的不足，本发明提供一种基于饱和度感知编码器的小样本hdr去鬼影方法。考虑到饱和区域可以被视为掩蔽低动态范围(ldr)输入区域，本发明提出了一个自监督学习网络，使用无标签的ldr数据来学习稳健的特征表示并重建非饱和hdr图像。为解决鬼影问题，本发明提出了一种基于样本质量的迭代半监督学习方法，使用少量有标签的hdr样本微调模型，为了防止过拟合问题并充分利用无标签数据，本发明还提出了一种自适应伪标签选择策略，选择高质量的hdr伪标签，以避免错误标记样本的影响。该方法先解决饱和度问题，再解决去鬼影问题，采用自监督和半监督的学习方法，只需少量有标签的hdr数据，符合实际需求，适用性强，重建的hdr图像质量高。
附图说明
[0066]
图1为本发明hdr图像去鬼影的流程图。
[0067]
图2为本发明实施例无标签ldr图像短曝光帧。
[0068]
图3为本发明实施例曝光调整后新的中曝光帧。
[0069]
图4为本发明实施例曝光调整后新的中曝光帧。
[0070]
图5为本发明实施例预测hdr图像。
具体实施方式
[0071]
下面结合附图和实施例对本发明进一步说明。
[0072]
下面以无标签ldr图像短曝光帧为例，如图2，描述具体的实施方式。该实施例中基于饱和度感知编码器的小样本hdr去鬼影方法，包括如下步骤，如图1所示：
[0073]
步骤一：通过曝光调整将短曝光帧调整为新的中曝光帧和新的长曝光帧如图3，图4所示。
[0074]
因为无标签数据u的中曝光帧和长曝光帧中存在更多饱和区域，本发明首先通过曝光调整将短曝光帧转换为新的中曝光帧和长曝光帧过程如下所示：
[0075][0076]
式中，clip(
·
)表示曝光调整，γ表示伽马校正参数，t1、t2、t3分别表示短曝光帧的曝光时间、中曝光帧的曝光时间和长曝光帧的曝光时间。
[0077]
步骤二：通过伽马校正将ldr输入图像映射到hdr域以获得得到h1′
、h2′
、h3′
。
[0078]
由于伽马校正基本上将输入图像映射到更接近人感知的域，本发明将其用作映射函数，映射过程如下所示：
[0079][0080]
式中，ti表示ldr图像的曝光时间，γ是伽马校正参数，本发明将γ设为2.2。
[0081]
步骤三：连接和hi′
获得6通道输入ii，并屏蔽输入ii图像块以获得i
′i，i＝1,2,3。
[0082]
沿着通道维度连接和hi′
以获得6通道输入随后屏蔽输入ii的图像块以获得i
′i。具体来说，将输入分成不重叠的图像块并以高掩码率(75％)随机对这些图像块的一个子集进行掩码。考虑到掩码策略是另一种破坏饱和区域的方法，本发明使模型学习一种鲁棒性表示来恢复这些饱和区域，i
′
＝{i
′1,i
′2,i
′3}是模型的输入。
[0083]
步骤四：i
′
输入幻化模块，得到特征i＝1,2,3。
[0084]
首先将i
′
输入三个卷积层，提取浅层特征fi。然后，将浅层特征fi划分为不重叠的图像块并将每个图像块映射到查询q、键k和值v。随后，计算q和k之间的相似度，并使用
softmax函数以获得注意力权重。最后，将注意力权重应用于v以获得操作过程如下所示：
[0085][0086][0087]
式中，wq、wk、wv分别表示映射到查询q、键k和值v的参数矩阵，b是可学习的位置编码，d是的维度。
[0088]
步骤五：将沿通道连接得到fs，然后输入多尺度残差swin transformer模块，输出特征f
out
。
[0089]
首先，将沿着通道维度连接起来，得到多尺度残差swin transformer模块的输入。然后，多尺度残差swin transformer模块合并来自不同曝光区域的大量信息。多尺度残差swin transformer模块由多个多尺度swin transformer层(stl)、几个卷积层和一个残差连接组成。给定第i个多尺度残差swin transformer模块的输入特征多尺度残差swin transformer模块的输出可以表示如下:
[0090][0091][0092]
式中，表示第i个多尺度残差swin transformer模块中尺度为lj的第n个swin transformer层，表示第i个多尺度残差swin transformer模块中第n个swin transformer层的输入特征。经过多个多尺度残差swin transformer模块后，最终输出f
out
。
[0093]
步骤六：f
out
经过卷积层与残差fs相加，得到最终的预测图像如图5所示。
[0094]fout
输入卷积层然后与残差fs相加，得到最终的预测图像计算过程如下：
[0095][0096]
步骤七：设计损失函数，训练上述模型。
[0097]
由于使用无标签数据u，没有hdr图像的真实标签，本发明计算ldr域中的自监督损失。首先使用函数ω将预测的hdr图像变换为短曝光、中曝光和长曝光ldr图像过程如下：
[0098][0099]
式中，i＝1,2,3表示ldr图像的曝光程度，ti是曝光时间，γ是伽马校正参数。为了恢复饱和区域，本发明通过标签生成将短曝光帧转换为新的短、中和长曝光帧。然后，将新的曝光帧作为模型的标签计算过程如下：
[0100]
[0101]
最后计算与之间的l1自监督损失：
[0102][0103]
步骤八：使用静态有标签的ldr样本s和动态有标签的ldr样本d微调训练的模型。
[0104]
为了改善饱和区域并进一步学习处理重影区域，本发明使用一些动态标记样本d和静态标记样本s对预训练模型进行微调。这里应用“μ律”来映射线性域图像到色调映射域图像，如下所示：
[0105][0106]
式中，t(x)是色调映射函数，μ＝5000。然后将两种样本输入模型得到预测的hdr图像和并计算其与样本标签之间的重建损失l
recon
和感知损失l
percep
，公式如下：
[0107][0108][0109][0110]
式中，σ
i,j
(
·
)表示vgg19网络中的第j个卷积层和第i个最大池化层，λ＝1e-2
。通过最终的微调损失l
finetune
来微调模型。
[0111]
步骤九：利用无标签ldr样本u，迭代优化模型。
[0112]
为了防止少数有标签训练样本的过度拟合问题并利用无标签样本，本发明在步骤九中进一步生成无标签数据的hdr伪标签并利用无标签ldr样本u和有标签的ldr样本s、d迭代优化模型。
[0113]
子步骤1：采用自适应伪标签选择策略来选择曝光良好且无重影的hdr伪标签。
[0114]
由于hdr伪标签不可避免地包含饱和与重影样本，本发明提出了一种自适应伪标签选择策略来选择曝光良好且无重影的hdr伪标签，以避免伪标签阻碍优化过程。具体来说，在时间步t，使用模型n
t
来预测动态和静态标记样本的hdr图像和然后使用函数ω将预测的hdr图像映射到中等曝光图像并计算与原始中等曝光ldr图像在曝光良好区域中的损失公式如下：
[0115][0116]
式中，mask(
·
)表示遮盖曝光过度和曝光不足的区域。随后，对所有图像块的损失进行排序，并采用σ(
·
,
·
)函数得到β百分位数损失作为选择阈值τ
t
：
[0117][0118]
式中，β设置为85。此外，使用模型n
t
来预测无标签样本的伪标签类似于上述标记数据的操作。然后使用ω函数将映射到中等曝光得到并计算和原始中等曝光ldr图像之间的损失得到如果当前损失
大于阈值τ
t
，认为伪标签质量较差，具有更多的饱和区域和鬼影区域，则将给出一个较低的权重，该权重在下一次训练迭代中趋于线性衰减，计算过程如下所示：
[0119][0120][0121][0122]
式中，为时间步t中无标签的中等曝光图像，为时间步t中无标签样本的最大选择损失，为无标签样本ui在第t+1次训练迭代中的权重因子。
[0123]
子步骤2：使用少量动态和静态有标签样本d和s以及大量无标签样本u迭代地自适应地优化模型。
[0124]
具体来说，在时间步t，使用模型n
t
来预测无标签数据的伪标签然后用一些标签和伪标记样本训练模型n
t
，得到时间步t+1的模型n
t+1
。每个时间步中，计算重建损失和感知损失如下：
[0125][0126]
式中，λ＝1e-2
，是无标签数据ui的权重因子。

技术特征：
1.一种基于饱和度感知编码器的小样本hdr去鬼影方法，其特征在于，包括如下步骤：步骤1：通过曝光调整将短曝光帧调整为新的中曝光帧和新的长曝光帧通过曝光调整将短曝光帧转换为新的中曝光帧和长曝光帧过程如下所示：式中，clip(
·
)表示曝光调整，γ表示伽马校正参数，t1、t2、t3分别表示短曝光帧的曝光时间、中曝光帧的曝光时间和长曝光帧的曝光时间；步骤2：通过伽马校正将ldr输入图像映射到hdr域分别得到h1′
、h2′
、h3′
；映射过程如下所示：式中，步骤3：连接和h
i
′
获得6通道输入i
i
，并屏蔽输入i
i
图像块以获得i
′
i
；沿着通道维度连接和h
i
′
以获得6通道输入随后屏蔽输入i
i
的图像块以获得i
′
i
；具体为：将输入分成不重叠的图像块并以高掩码率(75％)随机对这些图像块的一个子集进行掩码得到i
′
i
；步骤4：将i
′
＝{i
′1，i
′2，i
′3}输入幻化模块，得到特征首先将i
′1，i
′2，i
′3分别输入三个卷积层，提取浅层特征f
i
；然后，将浅层特征f
i
划分为不重叠的图像块并将每个图像块映射到查询q、键k和值v；随后，计算查询q和键k之间的相似度，并使用softmax函数以获得注意力权重；最后，将注意力权重应用于v以获得操作过程如下所示：操作过程如下所示：式中，w
q
、w
k
、w
v
分别表示映射到查询q、键k和值v的参数矩阵，分别表示图像块映射后的查询、键、值，b是可学习的位置编码，d是的维度；步骤5：将沿通道连接得到f
s
，然后输入多尺度残差swin transformer模块，输出特征f
out
；首先，将沿着通道维度连接起来，得到多尺度残差swin transformer模块的输入；多尺度残差swin transformer模块由多个多尺度swin transformer层stl、多个卷积层和一个残差连接组成；给定第i个多尺度残差swin transformer模块的输入特征第i个多尺度残差swin transformer模块的输出表示如下：表示如下：式中，表示第i个多尺度残差swin transformer模块中尺度为l
j
的第n个swin transformer层；经过多个多尺度残差swin transformer模块后，最终输出f
out
；
步骤6：f
out
经过卷积层与步骤5中沿通道连接得到的残差fs相加，得到最终的预测图像f
out
输入卷积层然后与残差f
s
相加，得到最终的预测图像计算过程如下：步骤7：设计损失函数，训练模型；使用函数ω将预测的hdr图像变换为短曝光、中曝光和长曝光ldr图像过程如下：式中，i＝1，2，3分别对应短曝光、中曝光和长曝光；通过标签生成将短曝光帧转换为新的短、中和长曝光帧；然后，将新的曝光帧作为模型的标签计算过程如下：最后计算与之间的l1自监督损失：步骤8：使用静态有标签的ldr样本s和动态有标签的ldr样本d微调已训练的模型，得到优化模型；使用动态标记样本d和静态标记样本s对模型进行微调，应用μ律映射线性域图像到色调映射域图像，如下所示：式中，t(x)是色调映射函数；然后将动态标记样本d和静态标记样本s输入模型得到预测的hdr图像和并计算其与样本标签之间的重建损失l
recon
和感知损失l
percep
，公式如下：公式如下：l
finetune
＝l
recon
+λl
percep
(14)式中，σ
i，j
(
·
)表示vgg19网络中的第j个卷积层和第i个最大池化层，λ＝1e-2
；步骤9：利用无标签ldr样本u，迭代优化模型；生成无标签数据的hdr伪标签并利用无标签ldr样本u和有标签的ldr样本s、d迭代优化模型；步骤9-1：采用自适应伪标签选择策略来选择无重影的hdr伪标签；在时间步t，使用优化模型n
t
来预测动态和静态标记样本的hdr图像和然后使用函数ω将预测的hdr图像映射到中等曝光图像并计与原始中等曝光ldr图像的损失公式如下：式中，mask(
·
)表示遮盖曝光过度和曝光不足的区域；设定亮度值在τ0到τ1之间为曝光
正常的区域，小于τ0为曝光不足，大于τ1为曝光过度；对所有图像块的损失进行排序，并采用σ(
·
，
·
)函数得到β百分位数损失作为选择阈值τ
t
：使用模型n
t
预测无标签样本的伪标签然后使用ω函数将映射到中等曝光得到并计算和原始中等曝光ldr图像之间的损失得到之间的损失得到如果当前损失大于阈值τ
t
，判定伪标签质量较差，具有更多的饱和区域和鬼影区域，则给出一个权重，该权重在下一次训练迭代中趋于线性衰减，计算过程如下所示：计算过程如下所示：计算过程如下所示：式中，为时间步t中无标签的中等曝光图像，为时间步t中无标签样本的最大选择损失，为无标签样本u
i
在第t+1次训练迭代中的权重因子；步骤9-2：使用动态和静态有标签样本d和s以及无标签样本u迭代自适应优化模型；在时间步t，使用模型n
t
来预测无标签数据的伪标签然后用标签和伪标记样本训练模型n
t
，得到时间步t+1的模型n
t+1
；每个时间步中，计算重建损失和感知损失如下：式中，λ＝1e-2
，是无标签数据u
i
的权重因子。2.根据权利要求1所述的一种基于饱和度感知编码器的小样本hdr去鬼影方法，其特征在于，所述伽马校正参数γ＝2.2。3.根据权利要求1所述的一种基于饱和度感知编码器的小样本hdr去鬼影方法，其特征在于，所述μ＝5000，β＝85。

技术总结
本发明公开了一种基于饱和度感知编码器的小样本HDR去鬼影方法，首先通过曝光调整将短曝光帧调整为新的中曝光帧和新的长曝光帧；然后通过伽马校正将LDR输入图像映射到HDR域；再经过幻化模块和多尺度残差Swin Transformer模块，经过卷积层，得到最终的预测图像。本发明只需少量有标签的HDR数据，符合实际需求，适用性强，重建的HDR图像质量高。重建的HDR图像质量高。重建的HDR图像质量高。


技术研发人员：闫庆森 张艳宁 朱宇 刘胜强 孙瑾秋 陈伟烨 张松
受保护的技术使用者：西北工业大学
技术研发日：2023.04.05
技术公布日：2023/7/7