一种基于小尺寸图像的源相机识别方法

1.本发明涉及图像取证技术领域，尤其涉及到一种基于小尺寸图像的源相机识别方法。


背景技术：

2.利用光响应非均匀噪声进行来源检测不仅可以识别不同型号的相机，还可以识别同一型号的不同相机。prnu主要是由于传感器制造过程中的缺陷以及由于硅片的不均匀性导致像素对光的灵敏度不同产生的。所以即使是由同一硅片制造的传感器也会具有不相关的非均匀噪声。这一特性使prnu成为识别源设备以及验证图像完整性的强大指纹。
3.由于大尺寸图像源设备识别的精度已经很高了，如果小尺寸图像的源设备识别精度可以达到实际需要，其所需的硬件存储空间需求更小，算法的时间效率更高，同时有可能在微型设备上实现源设备识别任务。
4.zeng h,wan y,deng k,et al.source camera identification with dual-tree complex wavelet transform[j].ieee access,2020,8:18874-18883.(zeng h,wan y,deng k等。基于双树复小波变换的源相机识别[j].ieee访问,2020,8:18874-18883.)提出使用双树复小波变换并利用小波系数的局部依赖性来收缩小波系数，从而进一步提取图像中的prnu。lawgaly a,khelifi f.sensor pattern noise estimation based on improved locally adaptive dct filtering and weighted averaging for source camera identification and verification[j].ieee transactions on information forensics and security,2016,12(2):392-404.(lawgaly a,khelifi f基于改进的局部自适应dct滤波和加权平均的传感器模式噪声估计源摄像机识别与验证[j].ieee信息取证与安全交易,2016,12(2):392-404.)提出了一种改进的局部自适应离散余弦变换滤波器，并加入了一种根据整张图像的方差特性进行加权的加权平均技术。
[0005]
现有方法中的加权平均技术由于图像不同区域上受到的干扰程度存在差异，且根据噪声残差的方差进行简单加权并不能获取到合理的权重，因此现有方法并不能达到最小的均方误差。针对上述的问题，就需要设计一种能够更加准确的估计相机参考prnu的方法。


技术实现要素：

[0006]
针对本发明所要解决的技术问题提供了一种能够在小尺寸图像上获得优越性能的源相机识别方法，其能够从小尺寸图像中估计得到更加准确的光响应非均匀噪声，有效提高图像源相机识别的准确率，并且对压缩程度较高图像的识别也具有较强的鲁棒性。
[0007]
为实现上述目的，本发明所提供的技术方案为：
[0008]
一种基于小尺寸图像的源相机识别方法，包括：
[0009]
s1，求取多个相机的参考prnu噪声，并将这些prnu噪声存入prnu噪声数据库中；
[0010]
s2，对测试图像通过双树复小波滤波器进行去噪操作，并利用测试图像与去噪后的图像相减，从而提取测试图像的prnu噪声；
[0011]
s3，计算待测图像的prnu噪声和prnu噪声数据库中所有相机的参考prnu噪声的相关性，当与某参考相机的相关性最高时，则判定待测图像来自该相机。
[0012]
进一步地，步骤s1中，求取某台相机的参考prnu噪声的具体步骤如下：
[0013]
a1，通过该相机拍摄一组图像，并通过截取该组图像的中心部分获得一组小尺寸图像作为相机的参考图像；将每个参考图像分成多个图像块，并对图像块的边界扩展参考图像邻域的内容；
[0014]
a2，将a1步骤处理后的图像块分别使用双树复小波变换后使用中值估计器估计小波子带的噪声方差，再将噪声方差应用于加窗维纳滤波估计小波系数，接着进行双树复小波逆变换，之后恢复图像块边界扩展并利用去噪前的图像块与去噪后的图像块相减，得到每个图像块的噪声残差；
[0015]
a3，根据图像块上干扰噪声的方差通过加权平均方法设置权重，并对方差异常的图像块通过权重调整策略对赋予的权重进行调整；对所有的图像块进行权重调整操作后获得权重系数矩阵；
[0016]
a4，利用权重系数矩阵结合加权最大似然估计方法得到相机的prnu乘性因子k；
[0017]
a5，对乘性因子k采用进行零均值化处理，接着对零均值化处理后的乘性因子k与该相机拍摄的所有参考图像进行相乘后再求平均，得到该相机的参考prnu噪声。
[0018]
进一步地，对于步骤a2中的使用中值估计器估计小波子带的噪声方差，再将噪声方差应用于加窗维纳滤波估计小波系数的具体过程为：
[0019]
对每个图像块进行二维双树复小波变换得到小波系数后，滤波估计过程可表示为式(1)：
[0020][0021]
式中，w
in
表示为滤波前的小波系数，w
out
(u,v)表示为滤波后的像素点(u,v)上的小波系数，噪声方差和可由式(2)、(3)得到：
[0022][0023][0024]
式(2)中，median()表示中值估计器，式(3)的nh是一个以(u,v)为中心点，大小为h
×
h的局部窗口，(i,j)表示局部窗口中的一个点，w
temp
表示图像进行双树复小波变换后中高频率子带的小波系数，max()表示取0和方差估计中的最大值，min()函数则表示取所有窗口估计结果的最小值。
[0025]
进一步地，所述根据图像块上干扰噪声的方差通过加权平均方法设置权重，包括：
[0026]
图像块干扰噪声的方差计算方式如式(4)所示，以第i个参考图像p行q列的图像块为例：
[0027]
[0028]
p和q分别代表一张参考图像切割成图像块的行数和列数；为图像块上的像素点在一个方向上重新排列的数量，表示图像块上的干扰噪声在各个像素点的分量，如式(5)所示，则表示的均值；
[0029][0030]
式(5)中，xi(p,q)表示该图像块的噪声残差，为xi(p,q)的均值，n是参考图像的张数；
[0031]
得到图像块干扰噪声的方差后通过式(6)的加权平均方法获取图像块的权重：
[0032][0033]
式中，wk(p,q)表示第k张参考图像(p,q)位置图像块的权重，表示第k张图像(p,q)位置图像块的干扰噪声方差，i表示第i张参考图像。
[0034]
进一步地，所述对方差异常的图像块通过权重调整策略对赋予的权重进行调整，包括：
[0035]
当干扰噪声方差大于λ1或者小于λ2时对方差进行调整，具体为将公式(6)中的σ
ο2
(p,q)调整为如式(7)计算出的其中ο＝i,k：
[0036][0037]
式(7)中，λ1、λ2这两个参数分别代表噪声方差的上下限阈值；r为敏感因子，表示利用权重调整策略进行限制之后的干扰噪声方差。
[0038]
进一步地，所述利用权重系数矩阵结合加权最大似然估计方法得到相机的prnu乘性因子k，包括：
[0039]
噪声方差加权最大似然估计算法表示为式(8)：
[0040][0041]
xi表示第i张参考图像的噪声残差，ii表示第i张参考图像，wi表示第i张参考图像的所有图像块的权重所构成的权重系数矩阵，n为参考图像的张数。
[0042]
进一步地，所述零均值化处理的过程为：
[0043]
将乘性因子k的列中的每个值减去列的平均值，然后从行中的每个值中减去行的平均值。
[0044]
进一步地，所述使用峰值相关能量计算待测图像的prnu噪声和prnu噪声数据库中所有相机的参考prnu噪声的相关性，包括：
[0045]
峰值相关能量pce表示为：
[0046][0047]
式中，mn是匹配光响应非均匀噪声的维度乘积，ncc
rq
(i,j)为相机的参考prnu噪声r与测试图像的prnu噪声q在点(i,j)上的二维循环互相关：
[0048][0049]
其中，m和n代表r和q的两个维度，r(i,j)代表r在点(i,j)处的值，q(k+i,l+j)表示q在点(k+i,l+j)处的值，为r的平均值，为q的平均值。
[0050]
与现有技术相比，本发明具有以下技术特点：
[0051]
1.真实边界扩展解决了对于图像块进行基于小波分解去噪时产生边界效应的问题，并且借助原本的图像内容进行扩展可以避免扩展之后的图像块沿着图像边界引入明显的不连续点从而影响去噪效果。
[0052]
2.加权平均技术能提供非常接近实际信号的估计，但是因为图像不同区域提取到的prnu质量有差异，因此根据整张图像来计算权重的效果并不理想。所以本发明通过对块级图像来获取权重。
[0053]
3.使用干扰噪声的方差来代替直接使用噪声残差的方差进行加权，这种方式估计的相机参考prnu(即相机的光响应非均匀噪声)会更加准确。
[0054]
4.考虑到先前方法根据方差获取权重时图像块的方差异常时权重不合理的问题，例如在某些图像块的干扰噪声方差接近于0的情况下，权重会随着方差的减小而急剧增加，可能会造成某个区域的设备参考prnu被少量的图像块所主导，其余图像块在计算设备参考prnu时失去意义；而方差过高的图像块在计算参考prnu时的作用会被忽略。针对这个不足之处提出了一种权重调整策略进行改进。
[0055]
5.使用双树复小波变换可以有效分离高低频信息，可以较好的从高频系数提取prnu噪声。相比小波变换，双树复小波具有良好的移位不变性和良好的方向选择性，该方法在强边缘周围区域比基于dwt的方法有了相当大的性能提高。
[0056]
6.本发明方法解决了现有的相机prnu估计算法中对于小尺寸图像不同区域受到的噪声干扰考虑不充分、传统的加权平均方法导致的方差权重异常的问题，并提出块级真实边界扩展以消除滤波器的固有缺陷，因此在图像来源识别，尤其是在小尺寸图像来源识别中，本发明方法拥有比现有最先进算法更高的识别性能。
附图说明
[0057]
图1为本发明的基于小尺寸图像的源相机溯源方法的原理流程图；
[0058]
图2为结合权重系数矩阵的最大似然估计得到prnu乘性因子k的流程图。
具体实施方式
[0059]
本实施例提供一种基于小尺寸图像的源相机识别方法，首先将图像分割并进行真实边界扩展后对图像块进行多尺度的双树复小波变换后运用局部自适应阈值窗口维纳滤
波进行处理，逆变换并还原扩展后获取噪声残差；根据残差的噪声方差制定权重调整策略，获得能够合理表示图像块重要程度的权重矩阵，从而根据权重矩阵使用最大似然估计法并最终得到相机的光响应非均匀噪声(photo response non-uniformity，prnu)，并使用零均值方法来抑制非唯一性噪声。最后使用相关能量峰值计算相机的prnu噪声与自然图像的prnu的相关性，然后根据相关性进行来源识别检测。本发明解决了现有的相机prnu估计算法中对于小尺寸图像不同区域受到的噪声干扰考虑不充分、传统的加权平均方法导致的方差权重异常的问题，有效改善小图像源相机识别性能。
[0060]
参见图1，本发明的具体实现步骤如下：
[0061]
s1，求取多个相机的参考prnu噪声，并将这些prnu噪声存入prnu噪声数据库中。
[0062]
步骤s1中，求取某台相机的参考prnu噪声的具体步骤如下：
[0063]
a1，通过该相机拍摄一组图像，并通过截取该组图像的中心部分获得一组小尺寸图像作为相机的参考图像；将每个参考图像分成16
×
16像素或32
×
32像素的图像块，并对图像块的边界扩展参考图像邻域的内容。本实施例中，所述的小尺寸图像是指512
×
512像素及以下尺寸的图像。
[0064]
该步骤可以提高基于小波变换的去噪滤波器对于小波系数赋值的精准度以及消除滤波器缺陷导致的边界效应。
[0065]
a2，将a1步骤处理后的每个小尺寸图像的图像块分别使用双树复小波变换后使用中值估计器估计小波子带的噪声方差，再将噪声方差应用于加窗维纳滤波估计小波系数，接着进行双树复小波逆变换，从而达到对图像块去噪的效果，之后恢复图像块边界扩展并利用去噪前的图像块与去噪后的图像块相减，得到每个图像块的噪声残差。
[0066]
其中，对于步骤a2中的使用中值估计器估计小波子带的噪声方差，再将噪声方差应用于加窗维纳滤波估计小波系数的具体过程为：
[0067]
对每个图像块进行二维双树复小波变换得到小波系数后，滤波估计过程可表示为式(1)：
[0068][0069]
式中，w
in
表示为滤波前的小波系数，w
out
(u,v)表示为滤波后的像素点(u,v)上的小波系数，噪声方差和可由式(2)、(3)得到：
[0070][0071][0072]
式(2)中，median()表示中值估计器，式(3)的nh是一个以(u,v)为中心点，大小为h
×
h的局部窗口，(i,j)表示局部窗口中的一个点，w
temp
表示图像进行双树复小波变换后中高频率子带的小波系数，max()表示取0和方差估计中的最大值，min()函数则表示取所有窗口估计结果的最小值，接着对估计的小波系数运用二维双树复小波逆变换后得到去噪后的图像块。
[0073]
a3，根据图像块上干扰噪声的方差通过加权平均方法设置权重，并对方差异常的图像块通过权重调整策略对赋予的权重进行调整；对所有的图像块进行权重调整操作后获
得权重系数矩阵w。
[0074]
其中，所述根据图像块上干扰噪声的方差通过加权平均方法设置权重，并对方差异常的图像块通过权重调整策略对赋予的权重进行调整，具体如下：
[0075]
图像块干扰噪声的方差计算方式如式(4)所示，以第i个参考图像p行q列的图像块为例：
[0076][0077]
p和q分别代表一张参考图像切割成图像块的行数和列数；为图像块上的像素点在一个方向(即垂直或水平)上重新排列的数量，表示图像块上的干扰噪声在各个像素点的分量，如式(5)所示，则表示的均值。
[0078][0079]
式(5)中，xi(p,q)表示该图像块的噪声残差，为平均xi(p,q)从而获取到的该图像区域的近似prnu因子(对一组小尺寸图像的噪声残差的同一位置的图像块进行点平均之后得到的就是该位置的近似prnu因子)，n是用于计算相机参考prnu噪声的参考图像的张数。
[0080]
得到图像块干扰噪声的方差后可以通过式(6)的加权平均方法获取图像块的权重：
[0081][0082]
式中，wk(p,q)表示第k张参考图像(p,q)位置图像块的权重，表示第k张图像(p,q)位置图像块的干扰噪声方差，i表示第i张参考图像。
[0083]
根据式(6)获取图像块权重的方式时会出现以下问题：
[0084]
在某些图像块的干扰噪声方差接近于0的情况下，权重会随着方差的减小而急剧增加，可能会造成某个区域的设备参考prnu被少量的图像块所主导，其余图像块在计算参考prnu时失去意义；而方差过高的图像块在计算参考prnu时的作用会被忽略。针对这个问题，当噪声方差异常时，应该降低权重对于噪声方差变化的敏感程度。
[0085]
所以本发明对干扰噪声方差进行阈值判断，当干扰噪声方差大于λ1或者小于λ2时对方差进行调整，从而降低了权重对于干扰噪声方差处于异常情况时的敏感程度；将公式(6)中的σ
ο2
(p,q)调整为如式(7)计算出的其中ο＝i,k：
[0086]
[0087]
式(7)中，λ1＝3.6，λ2＝0.4，这两个参数分别代表噪声方差的上下限阈值；r为敏感因子，r＝3，其决定了权重对于方差变化的敏感程度；σ
ο2
(p,q)表示原本计算的干扰噪声的方差，表示利用权重调整策略进行限制之后的干扰噪声方差。
[0088]
a4，如图2所示，利用权重系数矩阵w结合加权最大似然估计方法得到相机的prnu乘性因子k。
[0089]
噪声方差加权最大似然估计算法可以表示为式(8)：
[0090][0091]
xi表示第i张参考图像的噪声残差(将图像块噪声残差合并之后得到的整张图像的噪声残差)，ii表示第i张参考图像，wi表示该第i张参考图像的所有图像块通过上述a1到a3步骤得到的图像块的权重所构成的权重系数矩阵。
[0092]
a5，对乘性因子k采用进行零均值化处理，从而进一步抑制由cfa插值等设备处理操作引起的不必要的伪影；接着对零均值化处理后的乘性因子k与该相机拍摄的所有参考图像进行相乘后再求平均，得到该相机的参考prnu噪声。
[0093]
其中，零均值化过程是将乘性因子k的列中的每个值减去列的平均值，然后从行中的每个值中减去行的平均值。
[0094]
s2，对测试图像通过双树复小波滤波器进行去噪操作，并利用测试图像与去噪后的图像相减，从而提取测试图像的prnu噪声。
[0095]
s3，使用峰值相关能量(peak to correlation energy，pce)计算待测图像的prnu噪声和prnu噪声数据库中所有相机的参考prnu噪声的相关性，当相关性最高时，则判定该待测图像来自该相机，反之，待测图像不是来自该相机。
[0096]
本步骤中，峰值相关能量表示为：
[0097][0098]
式中，mn是匹配光响应非均匀噪声的维度乘积，ncc
rq
(i,j)为相机的参考prnu噪声r与测试图像的prnu噪声q在点(i,j)上的二维循环互相关：
[0099][0100]
其中，m和n代表r和q的两个维度，r(i,j)代表r在点(i,j)处的值，q(k+i,l+j)表示q在点(k+i,l+j)处的值，为r的平均值，为q的平均值，而ncc
rq
(0,0)为：
[0101][0102]
以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者
替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。

技术特征：
1.一种基于小尺寸图像的源相机识别方法，其特征在于，包括：s1，求取多个相机的参考prnu噪声，并将这些prnu噪声存入prnu噪声数据库中；s2，对测试图像通过双树复小波滤波器进行去噪操作，并利用测试图像与去噪后的图像相减，从而提取测试图像的prnu噪声；s3，计算待测图像的prnu噪声和prnu噪声数据库中所有相机的参考prnu噪声的相关性，当与某参考相机的相关性最高时，则判定待测图像来自该相机。2.根据权利要求1所述的基于小尺寸图像的源相机识别方法，其特征在于，步骤s1中，求取某台相机的参考prnu噪声的具体步骤如下：a1，通过该相机拍摄一组图像，并通过截取该组图像的中心部分获得一组小尺寸图像作为相机的参考图像；将每个参考图像分成多个图像块，并对图像块的边界扩展参考图像邻域的内容；a2，将a1步骤处理后的图像块分别使用双树复小波变换后使用中值估计器估计小波子带的噪声方差，再将噪声方差应用于加窗维纳滤波估计小波系数，接着进行双树复小波逆变换，之后恢复图像块边界扩展并利用去噪前的图像块与去噪后的图像块相减，得到每个图像块的噪声残差；a3，根据图像块上干扰噪声的方差通过加权平均方法设置权重，并对方差异常的图像块通过权重调整策略对赋予的权重进行调整；对所有的图像块进行权重调整操作后获得权重系数矩阵；a4，利用权重系数矩阵结合加权最大似然估计方法得到相机的prnu乘性因子k；a5，对乘性因子k采用进行零均值化处理，接着对零均值化处理后的乘性因子k与该相机拍摄的所有参考图像进行相乘后再求平均，得到该相机的参考prnu噪声。3.根据权利要求2所述的基于小尺寸图像的源相机识别方法，其特征在于，对于步骤a2中的使用中值估计器估计小波子带的噪声方差，再将噪声方差应用于加窗维纳滤波估计小波系数的具体过程为：对每个图像块进行二维双树复小波变换得到小波系数后，滤波估计过程可表示为式(1)：式中，w
in
表示为滤波前的小波系数，w
out
(u,v)表示为滤波后的像素点(u,v)上的小波系数，噪声方差和可由式(2)、(3)得到：可由式(2)、(3)得到：式(2)中，median()表示中值估计器，式(3)的n
h
是一个以(u,v)为中心点，大小为h
×
h的局部窗口，(i,j)表示局部窗口中的一个点，w
temp
表示图像进行双树复小波变换后中高频率子带的小波系数，max()表示取0和方差估计中的最大值，min()函数则表示取所有窗口估计结果的最小值。4.根据权利要求2所述的基于小尺寸图像的源相机识别方法，其特征在于，所述根据图
像块上干扰噪声的方差通过加权平均方法设置权重，包括：图像块干扰噪声的方差计算方式如式(4)所示，以第i个参考图像p行q列的图像块为例：p和q分别代表一张参考图像切割成图像块的行数和列数；为图像块上的像素点在一个方向上重新排列的数量，表示图像块上的干扰噪声在各个像素点的分量，如式(5)所示，则表示的均值；式(5)中，x
i
(p,q)表示该图像块的噪声残差，为x
i
(p,q)的均值，n是参考图像的张数；得到图像块干扰噪声的方差后通过式(6)的加权平均方法获取图像块的权重：式中，w
k
(p,q)表示第k张参考图像(p,q)位置图像块的权重，表示第k张图像(p,q)位置图像块的干扰噪声方差，i表示第i张参考图像。5.根据权利要求2所述的基于小尺寸图像的源相机识别方法，其特征在于，所述对方差异常的图像块通过权重调整策略对赋予的权重进行调整，包括：当干扰噪声方差大于λ1或者小于λ2时对方差进行调整，具体为将公式(6)中的σ
ο2
(p,q)调整为如式(7)计算出的其中ο＝i,k：式(7)中，λ1、λ2这两个参数分别代表噪声方差的上下限阈值；r为敏感因子，表示利用权重调整策略进行限制之后的干扰噪声方差。6.根据权利要求2所述的基于小尺寸图像的源相机识别方法，其特征在于，所述利用权重系数矩阵结合加权最大似然估计方法得到相机的prnu乘性因子k，包括：噪声方差加权最大似然估计算法表示为式(8)：x
i
表示第i张参考图像的噪声残差，i
i
表示第i张参考图像，w
i
表示第i张参考图像的所
有图像块的权重所构成的权重系数矩阵，n为参考图像的张数。7.根据权利要求2所述的基于小尺寸图像的源相机识别方法，其特征在于，所述零均值化处理的过程为：将乘性因子k的列中的每个值减去列的平均值，然后从行中的每个值中减去行的平均值。8.根据权利要求1所述的基于小尺寸图像的源相机识别方法，其特征在于，所述使用峰值相关能量计算待测图像的prnu噪声和prnu噪声数据库中所有相机的参考prnu噪声的相关性，包括：峰值相关能量pce表示为：式中，mn是匹配光响应非均匀噪声的维度乘积，ncc
rq
(i,j)为相机的参考prnu噪声r与测试图像的prnu噪声q在点(i,j)上的二维循环互相关：其中，m和n代表r和q的两个维度，r(i,j)代表r在点(i,j)处的值，q(k+i,l+j)表示q在点(k+i,l+j)处的值，为r的平均值，为q的平均值。

技术总结
本发明公开了一种基于小尺寸图像的源相机识别方法，包括：首先将图像分块进行真实边界扩展后使用双树复小波结合自适应加窗维纳滤波器获取图像块的噪声残差，并根据残差的噪声方差制定权重调整策略获得权重矩阵，据此结合最大似然估计法求取多个相机的参考PRNU噪声；对测试图像通过双树复小波结合自适应加窗维纳滤波器进行去噪并提取测试图像的PRNU噪声；计算待测图像的PRNU噪声和所有相机的参考PRNU噪声的相关性，当与某参考相机的相关性最高时，则判定待测图像来自该相机。本发明解决了现有的相机PRNU估计算法中对于小尺寸图像不同区域受到的噪声干扰考虑不充分、传统的加权平均方法导致的方差权重异常的问题，有效改善小图像源相机识别性能。善小图像源相机识别性能。善小图像源相机识别性能。


技术研发人员：田妮莉 刘凯悦 潘晴
受保护的技术使用者：广东工业大学
技术研发日：2023.06.12
技术公布日：2023/8/21