基于屏摄图像的真实世界Raw视频去噪数据集生成方法

基于屏摄图像的真实世界raw视频去噪数据集生成方法
技术领域
1.本发明涉及图像信号处理技术领域，尤其涉及一种基于屏摄图像的真实世界raw视频去噪数据集生成方法。


背景技术：

2.视频去噪旨在利用连续视频帧间的关联信息提高去噪效果，但是isp过程让rgb域上的噪声十分复杂，并不利于噪声的有效去除。因此，直接对raw视频进行去噪能极大地提升去噪性能。近年来，越来越多的视频去噪方法选择在raw域上对噪声进行去除。由于缺乏真实数据，这些raw视频去噪方法往往使用仿真噪声数据。但是仿真数据与真实采集的数据间存在很大差异，因此使用仿真数据的raw视频去噪方法在真实数据上的表现还有待提升。
3.另一方面，有视频去噪工作利用定格动画的拍摄方式制作了第一个真实世界raw视频去噪数据集。但是定格动画的拍摄方式限制了采集视频的内容，从而导致数据集缺乏户外、街景、运动等视频内容，并且数据量很低，不能广泛地覆盖地真实世界的视频形式。
4.为了解决上述问题，本发明提出一种基于屏摄图像的真实世界raw视频去噪数据集生成方法。


技术实现要素：

5.本发明的目的在于提出一种基于屏摄图像的真实世界raw视频去噪数据集生成方法以解决背景技术中所提出的问题。本发明基于屏摄图像对已有的多样化视频在raw域上的进行重新采集，能克服采集内容上的限制。为了获得高质量的干净-带噪数据对，本发明提出了亮度矫正、空间对齐使干净帧与带噪帧保持一致，并利用色彩修正克服数据集整体存在的色彩偏蓝问题。
6.为了实现上述目的，本发明采用了如下技术方案：
7.基于屏摄图像的真实世界raw视频去噪数据集生成方法，具体包括以下步骤：
8.s1、构建屏幕图像采集系统：利用显示器和拍摄设备组成图像采集模块，将图像采集模块置于暗室中，通过调整显示器屏幕亮度来模拟真实低光环境，通过此设计，能够有效避免环境光对图像采集的影响；所述拍摄设备包括但不限于手机相机、工业相机和单反相机；由于显示器的发光网格和拍摄设备彩色滤光片阵列间的混叠效应，捕捉到的屏幕内容可能会引入摩尔纹，因此采集屏幕图像时，调整拍摄设备与显示器之间的距离以及拍摄设备焦距，避免出现摩尔纹和模糊；
9.s2、基于屏摄图像采集真实带噪-干净raw视频帧数据对：选取高质量视频逐帧播放在显示器屏幕上，分别拍摄静止屏幕画面的带噪视频帧和干净视频帧，组成真实带噪-干净raw视频帧数据对；
10.s3、对带噪帧与干净帧间进行亮度矫正和空间对齐：带噪帧与干净帧的亮度差异由不连续的iso和曝光时长产生，将干净帧乘以亮度矫正系数，使干净帧与带噪帧保持相同的亮度；由于采集设备的微小运动，通过deepflow技术，将干净帧与带噪帧对齐，消除干净
帧与带噪帧之间的空间错位；
11.s4、对视频帧进行色彩修正生成raw视频去噪数据集：由于显示器屏幕的蓝光效应，捕捉到的视频帧色彩将发生偏离，因此需要参考原始视频的色彩对视频帧进行修正；对原始视频通过逆向isp方法uip处理得到raw格式视频帧，处理后的视频帧按照顺序组合成视频，生成raw视频去噪数据集。
12.优选地，利用拍摄设备对s2中所播放的视频进行采集时，将拍摄设备随机选定一个iso，根据屏幕亮度确定短曝光时长；带噪帧通过所选定的iso和短曝光时长连续捕捉，干净帧通过低iso和长曝光时长捕捉；连续捕捉若干次带噪帧以丰富噪声样本的多样性。
13.优选地，所述s3进一步包括以下内容：
14.考虑到采集设备放置在暗室中并且采集时屏幕亮度不发生改变，因此捕捉到视频帧的亮度只与iso增益和曝光时间有关，具体公式表示为：
15.b＝g
×e16.式中，b表示视频帧像素的亮度；g、e分别表示iso增益和曝光时间；
17.假设用bc，gc和ec来表示干净帧的亮度、iso增益和曝光时间，用bn，gn和en来表示带噪帧的亮度、iso增益和曝光时间；在不改变带噪帧中噪声分布的前提下，通过将干净帧与亮度补偿系数g
cor
相乘进行校正，使干净帧具有与有带噪帧相同的亮度，该过程的公式表示为：
18.bc×gcor
＝bn19.对于raw图像，经过黑色校正后的像素值与b呈线性关系，通过像素值平均值来估计raw图像的平均亮度，g
cor
变形可得：
[0020][0021]
式中，表示带噪帧在空间位置(i,j)上的像素值，表示干净帧在空间位置(i,j)上的像素值；bl表示raw图像的黑级。
[0022]
优选地，所述s4具体包括以下内容：
[0023]
通过不同通道的色温来描述由于屏幕蓝光造成的色彩偏移，具体为：
[0024][0025]
式中，ki表示色温；分别表示raw图像rggb四个通道各自像素的平均值；表示的平均值，i∈{r，g1，g2，b}；
[0026]
正确的通道色温通过uip方法中的逆向isp过程获得，通过将拍摄的rgb视频重置为raw视频从而获得采集前rggb通道的正确色温；以r通道色温为基准，色彩矫正过程的公式表示为：
[0027][0028]
式中，x
g1
、x
g2
、xb表示计算获得的通道矫正系数。
[0029]
与现有技术相比，本发明提供了基于屏摄图像的真实世界raw视频去噪数据集生成方法，具备以下有益效果：
[0030]
(1)本发明基于屏摄图像提出了真实世界raw视频去噪数据集生成方法，具体包括数据集的采集和处理方法，所制作的数据集为raw视频去噪算法的训练和评估提供了基准数据集。
[0031]
(2)本发明为生成高质量的干净-带噪raw视频数据对，提出了亮度矫正，空间对齐，色彩修正的处理方法，所制作的数据集优于现有的真实世界raw视频去噪数据集；经过本发明的研究探索，能够启发更多raw视频去噪算法的研究。
附图说明
[0032]
图1为本发明实施例1中提到的屏幕图像采集系统以及所采集的干净、带噪视频帧示意图；
[0033]
图2为本发明实施例1中所使用的拍摄视频源。
具体实施方式
[0034]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
[0035]
实施例1：
[0036]
请参阅图1，本发明提出基于屏摄图像的真实世界raw视频去噪数据集生成方法，包括以下步骤：
[0037]
s1、构建低光环境及采集系统：为了避免环境光的影响，采集系统放置在暗室中，通过调整显示器屏幕亮度来模拟真实低光环境；采集系统由显示器和拍摄设备组成，鉴于不同设备捕获的噪声差别很大，拍摄设备使用传感器为imx385的监控相机；由于显示器的发光网格和相机彩色滤光片阵列间的混叠效应，捕捉到的屏幕内容可能会引入摩尔纹，需调整相机和显示器距离以及相机焦距，以避免摩尔纹和模糊出现；
[0038]
s2、基于屏摄图像采集真实带噪-干净raw视频帧数据对：将选取的高质量视频逐帧播放在显示器屏幕上，分别拍摄静止屏幕画面的带噪视频帧和干净视频帧，组成真实带噪-干净raw视频帧数据对；如图2所示，拍摄视频源来自davis、uvg和adobe240fps数据集中各100、16和4个高质量视频；davis视频的帧率在30fps左右，uvg视频的帧率为50或120fps，adobe240fps视频的帧率为240fps；在120个视频中，58个视频的分辨率为4k(3840
×
2160)或更高，53个视频的分辨率为1080p(1920
×
1080)，4个视频的分辨率为720p(1080
×
720)，5个视频的分辨率在4k和1080p之间，每个视频只抓取了其中的25帧；为了保证重拍视频的高质量，显示器采用高动态范围的4k屏幕来显示丰富的细节和色彩；对于每个播放的视频，将从相机设置(1600，3200，6400，12800，25600)中随机选定一个iso，并根据屏幕亮度确定短曝光时长；为了更好地拍摄带噪帧，相机周围的亮度被控制在约1lux；带噪帧通过选定的
iso和短曝光时长连续捕捉10次(以丰富噪声样本的多样性)，干净帧通过低iso和长曝光时长捕捉；在5个不同的iso级别下，共捕获了120对动态干净-带噪视频，即一个iso值对应24个视频；这120个场景被分为训练集(90个场景)和测试集(30个场景)；
[0039]
s3、带噪帧与干净帧间进行亮度矫正和空间对齐：带噪帧与干净帧的亮度差异由不连续的iso和曝光时长产生，可通过对干净帧乘以亮度矫正系数使干净帧与带噪帧保持相同的亮度；由于采集设备的微小运动，带噪帧和干净帧间常存在空间错位，可通过deepflow技术将干净帧与带噪帧对齐；
[0040]
考虑到采集设备放置在暗室中并且采集时屏幕亮度不发生改变，因此捕捉到视频帧的亮度只与iso增益和曝光时间有关，具体公式表示为：
[0041]
b＝g
×e[0042]
式中，b表示视频帧像素的亮度；g、e分别表示iso增益和曝光时间；
[0043]
假设用bc，gc和ec来表示干净帧的亮度、iso增益和曝光时间，用bn，gn和en来表示带噪帧的亮度、iso增益和曝光时间；在不改变带噪帧中噪声分布的前提下，通过将干净帧与亮度补偿系数g
cor
相乘进行校正，使干净帧具有与有带噪帧相同的亮度，该过程的公式表示为：
[0044]bc
×gcor
＝bn[0045]
对于raw图像，经过黑色校正后的像素值与b呈线性关系，通过像素值平均值来估计raw图像的平均亮度，g
cor
变形可得：
[0046][0047]
式中，表示带噪帧在空间位置(i,j)上的像素值，表示干净帧在空间位置(i,j)上的像素值；bl表示raw图像的黑级；
[0048]
需要注意的是，过曝的像素值被剪切到白级，与b不是线性关系；当g
cor
小于1时，直接对干净帧g
cor
会导致矫正后的干净帧过曝区域像素值小于白级，与带噪帧产生较大的差异；因此在采集过程中，需要调整曝光时间和屏幕亮度，使捕获的干净帧略暗于带噪帧；
[0049]
s4、对视频帧进行色彩修正生成raw视频去噪数据集：由于显示器屏幕的蓝光效应，捕捉到的视频帧色彩将发生偏离，因此需要参考原始视频的色彩对视频帧进行修正；原始视频的raw格式通过逆向isp方法uip处理得到；修正后的视频帧按照顺序组合成视频，生成raw视频去噪数据集；
[0050]
更具体的，通过不同通道的色温来描述由于屏幕蓝光造成的色彩偏移，具体为：
[0051][0052]
式中，ki表示色温；分别表示raw图像rggb四个通道各自像素的平均值；表示的平均值，i∈{r，g1，g2，b}；
[0053]
正确的通道色温通过uip方法中的逆向isp过程获得，通过将拍摄的rgb视频重
置为raw视频从而获得采集前rggb通道的正确色温；以r通道色温为基准，色彩矫正过程的公式表示为：
[0054][0055]
式中，x
g1
、x
g2
、xb表示计算获得的通道矫正系数。
[0056]
实施例2：
[0057]
基于实施例1但有所不同之处在于：
[0058]
本发明选取了不同先进方法在在本数据集和crvdindoor数据集上进行训练，在crvdoutdoor数据集上进行测试。crvdindoor是raw域视频去噪的重要的基准数据集，包括共55个视频序列(其中11个室内场景，每个室内场景包括5个噪声水平)。
[0059]
crvdindoor数据集通过拍摄定格玩具的思路制成，是第一个真实世界raw视频去噪数据集。但是由于定格动画的局限性，该数据集的运动特征与现实世界差异过大；由于室内场景的有限性，该数据集的场景过于单一，不能广泛地覆盖真实世界的视频形式。本发明基于屏摄图像对已有的多样化视频在raw域上进行重新采集，能够克服采集内容上的限制。
[0060]
通过分别在上述两个数据集上进行有监督和无监督训练，客观评估结果通过crvdoutdoor数据集测试得出。具体结果请参阅表1，表2。
[0061]
表1
[0062][0063]
表2
[0064][0065]
如表1、表2所示，表中展示了在无参考图像质量评估指标nrqm,niqe,pi,brisque上的定量对比结果，表1、表2分别对应有监督和自监督学习。其中nrqm指标数值越大越好，niqe,pi,brisque指标数值越小越好，表中最优的结果用加粗标出。从表中可以看出对于相同的模型rvideformer-l，无论自监督训练还是有监督训练，其在本数据集(recrvd)上可以
取得更好的训练结果。表1中对于其他性能较差的模型，其在本数据集上的训练结果甚至可能优于性能较好的模型，即rvideformer-l，在crvd数据集的训练结果。
[0066]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

技术特征：
1.基于屏摄图像的真实世界raw视频去噪数据集生成方法，其特征在于，具体包括以下步骤：s1、构建屏幕图像采集系统：利用显示器和拍摄设备组成图像采集模块，将图像采集模块置于暗室中，通过调整显示器屏幕亮度来模拟真实低光环境；所述拍摄设备包括但不限于手机相机、工业相机和单反相机；采集屏幕图像时，调整拍摄设备与显示器之间的距离以及拍摄设备焦距，避免出现摩尔纹和模糊；s2、基于屏摄图像采集真实带噪-干净raw视频帧数据对：选取高质量视频逐帧播放在显示器屏幕上，分别拍摄静止屏幕画面的带噪视频帧和干净视频帧，组成真实带噪-干净raw视频帧数据对；s3、对带噪帧与干净帧间进行亮度矫正和空间对齐：将干净帧乘以亮度矫正系数，使干净帧与带噪帧保持相同的亮度；通过deepflow技术，将干净帧与带噪帧对齐，消除干净帧与带噪帧之间的空间错位；s4、对视频帧进行色彩修正生成raw视频去噪数据集：对原始视频通过逆向isp方法uip处理得到raw格式视频帧，处理后的视频帧按照顺序组合成视频，生成raw视频去噪数据集。2.根据权利要求1所述的基于屏摄图像的真实世界raw视频去噪数据集生成方法，其特征在于，利用拍摄设备对s2中所播放的视频进行采集时，将拍摄设备随机选定一个iso，根据屏幕亮度确定短曝光时长；带噪帧通过所选定的iso和短曝光时长连续捕捉，干净帧通过低iso和长曝光时长捕捉；连续捕捉若干次带噪帧以丰富噪声样本的多样性。3.根据权利要求1所述的基于屏摄图像的真实世界raw视频去噪数据集生成方法，其特征在于，所述s3进一步包括以下内容：考虑到采集设备放置在暗室中并且采集时屏幕亮度不发生改变，因此捕捉到视频帧的亮度只与iso增益和曝光时间有关，具体公式表示为：b＝g
×
e式中，b表示视频帧像素的亮度；g、e分别表示iso增益和曝光时间；假设用b
c
，g
c
和e
c
来表示干净帧的亮度、iso增益和曝光时间，用b
n
，g
n
和e
n
来表示带噪帧的亮度、iso增益和曝光时间；在不改变带噪帧中噪声分布的前提下，通过将干净帧与亮度补偿系数g
cor
相乘进行校正，使干净帧具有与有带噪帧相同的亮度，该过程的公式表示为：b
c
×
g
cor
＝b
n
对于raw图像，经过黑色校正后的像素值与b呈线性关系，通过像素值平均值来估计raw图像的平均亮度，g
cor
变形可得：式中，表示带噪帧在空间位置(i,j)上的像素值，表示干净帧在空间位置(i,j)上的像素值；bl表示raw图像的黑级。4.根据权利要求1所述的基于屏摄图像的真实世界raw视频去噪数据集生成方法，其特征在于，所述s4具体包括以下内容：通过不同通道的色温来描述由于屏幕蓝光造成的色彩偏移，具体为：
式中，k
i
表示色温；分别表示raw图像rggb四个通道各自像素的平均值；表示的平均值，i∈{r，g1，g2，b}；正确的通道色温通过uip方法中的逆向isp过程获得，通过将拍摄的rgb视频重置为raw视频从而获得采集前rggb通道的正确色温；以r通道色温为基准，色彩矫正过程的公式表示为：式中，x
g1
、x
g2
、x
b
表示计算获得的通道矫正系数。

技术总结
本发明公开了基于屏摄图像的真实世界Raw视频去噪数据集生成方法，涉及图像信号处理技术领域。基于屏摄图像的真实世界Raw视频去噪数据集生成方法，包括如下步骤：S1、构建低光环境及采集系统；S2、基于屏摄图像采集真实带噪-干净Raw视频帧数据对；S3、带噪帧与干净帧间进行亮度矫正和空间对齐；S4、对视频帧进行色彩修正生成Raw视频去噪数据集；本发明基于屏摄图像提出了真实世界Raw视频去噪数据集采集和处理方法，所制作的数据集为Raw视频去噪算法的训练和评估提供了基准数据集。的训练和评估提供了基准数据集。的训练和评估提供了基准数据集。


技术研发人员：岳焕景 曹聪 廖磊 杨敬钰
受保护的技术使用者：天津大学
技术研发日：2023.04.23
技术公布日：2023/8/9