用于复制移动伪造的图像检测方法、装置、介质及设备

1.本发明属于图像处理技术领域，具体涉及一种用于复制移动伪造的图像检测方法、装置、介质及设备。


背景技术：

2.随着图像处理技术的发展，人们可以很容易的使用一些诸如photoshop之类的图像编辑软件来对图像实现修改，从客观上来说方便了人们的使用，同时也推动了图片的进一步传播。而对于学术、犯罪取证等领域，图像的安全性必须得到保证。图像伪造可以大致分为三个方向，即拼接伪造、复制移动伪造和润饰伪造。复制移动伪造是指将图片的一部分剪切并复制粘贴到同一张图片上，由于粘贴的部分往往会经过旋转、缩放、模糊等后处理操作，因此复制移动伪造检测定位是一项有挑战性的取证难题。
3.传统的复制移动伪造检测定位方案主要包含三个步骤，分别是特征提取，特征匹配与后处理操作。根据特征提取方式的不同，可以将传统的复制移动伪造检测算法分为基于块的检测定位算法与基于关键点的检测定位算法。基于块的检测定位算法首先将图像分为重叠的图像块，对每个图像块提取如dct、dwt等特征，再使用欧式距离计算相关性并使用字典排序对相关性进行排序。最后根据相关系阈值与距离等条件进行后处理操作后输出检测定位图。这种算法虽然可以很好的检测定位伪造部位，但其计算复杂度太高，很难应用于实际的检测之中，同时这种算法对于几何变换攻击的鲁棒性也较差。因此，研究者们为了弥补这些缺陷，探索了基于关键点的检测定位算法。具体来讲，首先计算图像的关键点，如sift、surf等，之后使用knn算法对关键点进行特征匹配，最后通过聚类等后处理操作输出检测定位图。相较于基于块的检测定位算法，基于关键点的检测定位算法的计算速度快，同时其检测精度相较于基于块的定位算法并没有明显的下降，基本满足的实际的使用需求。但基于关键点的算法对较小的伪造物体的检测性能较差，同时对于平滑的纹理块的检测也很容易会失败。


技术实现要素：

4.为解决现有技术中的不足，本发明提供一种用于复制移动伪造的图像检测方法、装置、介质及设备，有效提高了伪造图像检测的准确率。
5.为达到上述目的，本发明所采用的技术方案是：
6.第一方面，提供一种用于复制移动伪造的图像检测方法，包括：获取待检测图像；将待检测图像输入构建的上下文多尺度交叉融合网络中，输出标记有伪造位置的定位图。
7.进一步地，所述上下文多尺度交叉融合网络，包括：双流多尺度特征提取融合模块，用于从待检测图像中提取图像的多尺度特征；特征相关性模块，用于利用皮尔森系数计算多尺度特征的相关性，并使用百分比池化去除冗余信息，获得相关性特征；多尺度融合-空洞空间金字塔池化模块，用于交换多尺度特征，并再次计算相关性，同时，融合相关性特征，获得相关性匹配图；残差冗余解码模块，用于根据相关性匹配图，解码输出标记有伪造
位置的定位图。
8.进一步地，所述双流多尺度特征提取融合模块，包括：利用vgg16的前四个块提取特征，并将第四个块的池化层去除，第四个块的卷积改为深度可分离卷积；随后将第二、三、四个块的特征采用堆叠的方式输入双流多尺度特征提取融合模块提取并融合多尺度特征，得到三个不同尺度的特征向量，将三个不同尺度的特征向量输入通道注意力模块来引导网络重点关注对复制移动伪造检测任务有积极作用的通道特征；双流多尺度特征提取融合模块的最终输出为：
9.m
r,last
＝sep(m
r,3
)+m
r,0 (3)
10.其中，r∈[h,l-，h表示高分辨率流，l表示低分辨率流，sep(
·
)表示卷积核大小为3的深度可分离卷积，m
r,0
表示双流多尺度特征提取融合模块的输入，m
r,3
表示经过了3组上下文多尺度交叉融合网络提取后的m
r,0
。
[0011]
进一步地，所述特征相关性模块，包括：利用皮尔森系数计算特征张量空间方向的任意两个像素的相关性，将得到的特征张量在通道上从大到小排序后，取固定百分比维度的特征以减少冗余特征；使用皮尔森系数计算相关性的方法如下：
[0012][0013]
其中，sm，n表示patch-like特征fm与fn之间的相关性，是fm通过减去均值除以方差后的归一化版本，是fn通过减去均值除以方差后的归一化版本，fc是通道维度。
[0014]
进一步地，所述多尺度融合-空洞空间金字塔池化模块，包括：将中间特征张量输入多尺度融合-空洞空间金字塔池化模块，在提取多尺度特征的同时融合不同尺度的特征信息；多尺度融合-空洞空间金字塔池化模块分别使用膨胀率为4、8、12、16的空洞卷积提取不同尺度的特征，然后使用卷积核为1
×
1的可分离卷积压缩通道数，并使用堆叠的双流多尺度特征提取融合模块对空洞空间金字塔池化模块的输出做不同尺度特征的融合；之后，将多尺度融合-空洞空间金字塔池化模块的输出再次输入到所述特征相关性模块中计算空间相关性，从而正确定位图像伪造位置。
[0015]
进一步地，所述残差冗余解码模块，包括：根据相关性匹配图的空间分布细化分割掩码，使用残差结构拼接到对应特征后，再使用拼接后的特征进行解码；最后，使用softmax激活得到最终的伪造掩码，在训练过程中，使用了交叉熵损失来优化网络参数，给定预测掩码h∈{0,1}和相对应的真实值y∈{0,1}，上下文多尺度交叉融合网络的损失可以使用以下公式计算：
[0016][0017]
其中，m表示像素数量。
[0018]
第二方面，提供一种用于复制移动伪造的图像检测装置，包括：图像获取模块，用于获取待检测图像；检测模块，用于将待检测图像输入构建的上下文多尺度交叉融合网络中，输出标记有伪造位置的定位图。
[0019]
第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如第一方面所述的用于复制移动伪造的图像检测方法。
[0020]
第四方面，提供一种计算机设备，包括：存储器，用于存储指令；处理器，用于执行所述指令，使得所述设备执行实现如第一方面所述的用于复制移动伪造的图像检测方法的操作。
[0021]
与现有技术相比，本发明所达到的有益效果：本发明通过将待检测图像输入构建的上下文多尺度交叉融合网络中，输出标记有伪造位置的定位图，实现了复制移动伪造区域的定位；通过dssf模块有效的提取了多尺度信息；而在解码器部分提出的残差冗余解码模块也通过利用相关性匹配图引导网络能够融合利用相关性信息；通过两者的灵活运用，提出的方案达到了实际的使用标准。
附图说明
[0022]
图1是本发明实施例提供的一种用于复制移动伪造的图像检测方法的框架示意图；
[0023]
图2是本发明实施例提供的一种用于复制移动伪造的图像检测方法的流程示意图；
[0024]
图3是本发明实施例提供的一种用于复制移动伪造的图像检测方法的网络框架示意图；
[0025]
图4是本发明实施例中dssf模块结构图；
[0026]
图5是本发明实施例中msf-aspp模块结构图。
具体实施方式
[0027]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0028]
实施例一：
[0029]
如图1～图5所示，一种用于复制移动伪造的图像检测方法，包括：获取待检测图像；将待检测图像输入构建的上下文多尺度交叉融合网络中，输出标记有伪造位置的定位图。
[0030]
所述上下文多尺度交叉融合网络，包括：双流多尺度特征提取融合模块，用于从待检测图像中提取图像的多尺度特征；特征相关性模块，用于利用皮尔森系数计算多尺度特征的相关性，并使用百分比池化去除冗余信息，获得相关性特征；多尺度融合-空洞空间金字塔池化模块(msf-aspp)，用于交换多尺度特征，并再次计算相关性，同时，融合相关性特征，获得相关性匹配图；残差冗余解码模块，用于根据相关性匹配图，解码输出标记有伪造位置的定位图。
[0031]
本发明所用的训练图像数据集来自于uscisi数据集，该图像数据集包含100000张复制移动伪造图像与相对应的真实值。本发明采用tensorflow框架，结合python语言进行编程实现。uscisi数据集按8:1:1的比例随机且不重叠的划分为训练集、验证集和测试集，分别用来训练、验证与测试。除了上述数据集之外，还额外使用了comofod数据集、casia数据集与coverage数据集来做泛化与鲁棒实验。其中，comofod数据集包含200张伪造图像与对应的真实值，同时被使用24种后处理技术生成总共5000张图片，分别用来进行泛化测试与鲁棒测试。casia数据集通过人工筛选出了1313张伪造图片，用来进行泛化测试。
coverage数据集包含100张伪造图片，用来进行泛化实验。
[0032]
如图1所示，本技术提供一种用于复制移动伪造的图像检测方法，包括如下步骤。
[0033]
step1：采用多尺度特征提取融合模块提取图片多尺度特征。在本实施例中，该步骤提出了一个双流多尺度特征提取融合模块(dssf)用来提取并融合多尺度信息，双流多尺度特征提取融合模块是上下文多尺度交叉融合网络中的一个关键性模块，用于融合上下文不同尺度之间的特征。通过这一模块，网络可以更加全面的提取图像的特征，并在进行小尺度物体检测时可以精准的做出判断。如图3所示，对于图像使用sobel滤波器提取图像的边缘并将其与图像i拼接后一起输入骨干网络进行训练。通过边缘信息的融合，模型可以更加集中于物体的分割边界，提升最终的分割精度。在综合考虑了模型性能与可训练参数量之后，选择了vgg16作为网络的骨干网络。为了探测不同尺度的物体，并在提取多尺度特征的同时减少模型的参数量，最终选择了vgg16的前四个块的特征。为了解决因为去除了第五个块的特征，导致骨干网络的感受野变小的问题，将vgg16的第四个块中的卷积全部替换为空洞卷积。此外，为了防止出现网格伪影，引入的空洞卷积的膨胀率分别为1,2,4。
[0034]
经过以上的特征提取后，得到了三个不同尺度的特征向量。首先，将三个不同尺度的特征向量输入通道注意力模块(cam)来引导网络重点关注对复制移动伪造检测任务有积极作用的通道特征。使用dssf模块融合不同尺度的特征。如图4所示，给定低分辨率特征m
l,0
与高分辨率特征m
h,0
，经过dssf模块的特征融合，输出的两个经过了特征融合的特征m
l,d
与m
h,d
如下所示：
[0035][0036][0037]
其中，clr(
·
)表示卷积核为3
×
3的深度可分离卷积、批归一化与线性整流函数(relu)的组合，sep(
·
)表示卷积核为3
×
3的深度可分离卷积，bil(
·
)表示双线性上采样算法，表示concatenation操作，d表示上下文交叉融合的阶段。综合考虑了模型的性能与训练参数量，经过实验，最终取d为3。dssf模块的最终输出可以被写作：
[0038]mr,last
＝sep(m
r,3
)+m
r,0
ꢀꢀꢀ
(3)
[0039]
其中，r∈[h,l]，h表示高分辨率流，l表示低分辨率流，sep(
·
)表示卷积核大小为3的深度可分离卷积，m
r,0
表示双流多尺度特征提取融合模块的输入，m
r,3
表示经过了3组上下文提取后的m
r,0
。
[0040]
对于经过cam模块的三个特征向量f2、f3、f4，使用堆叠dssf模块的形式融合其上下文尺度信息。具体而言，首先融合f2与f3的尺度信息，随后，再融合f3与f4的尺度信息。
[0041]
step2:本实施例利用皮尔森系数计算特征相关性，并使用百分比池化去除冗余信息。具体而言，给定两个patch-like特征fm与fn，其通道维度为fc，如下所示，使用皮尔森系数计算它们之间的相关性s
m,n
，将得到的特征张量在通道上从大到小排序后，取固定百分比
维度的特征以减少冗余特征；
[0042][0043]
其中，s
m，n
表示patch-like特征fm与fn之间的相关性，是fm通过减去均值除以方差后的归一化版本，是fn通过减去均值除以方差后的归一化版本，fc是通道维度。之后，使用百分比池化以去除冗余特征。经过实验，两个相关性匹配图s3、s4都使用115个维度通道作为输出。
[0044]
step3：利用msf-aspp模块交换多尺度信息，并再次计算相关性。msf-aspp的实现过程如图5所示。msf-aspp分别使用膨胀率为4、8、12、16的空洞卷积提取不同尺度的特征，然后使用卷积核为1
×
1的可分离卷积压缩通道数。为了进一步捕获多尺度，使用堆叠的dssf模块对aspp的输出做不同尺度特征的融合。如图5所示，给定aspp的4个输出a1、a2、a3、a4，首先将a1与a2，a3与a4分别输入dssf模块融合特征，再将a2和a3的尺度特征相融合，最后再次融合a1与a2，a3与a4的特征，并将其concat作为msf-aspp模块的输出a
last
；之后，将msf-aspp模块的输出再次输入到所述特征相关性模块中计算空间相关性，从而正确定位图像伪造位置。
[0045]
相较于现有技术中的算法，为了确保特征在经过msf-aspp模块提取多尺度特征后仍然可以保留自相关性空间线索，在a
last
解码之前，先将其输入自相关性模块，通过计算它的自相关性并与a
last
拼接，以此保证空间上的相关性能够在解码的时候起到积极作用。
[0046]
step4：利用残差冗余解码模块解码输出定位图。在本实施例中，为了利用相关性匹配图s3与s4的空间分布细化分割掩码，使用了残差结构直接将其拼接到对应特征之后，使用拼接后的特征进行解码。对于解码器的第一个块，总共使用了两倍的s4与解码块进行拼接。对于第二个解码块，使用s3进行拼接。在第三个解码块，则是用sobel卷积提取的边缘信息辅助网络更加关注边缘位置。相对于前两个解码块，这个块使用按元素加和的方式融合边缘信息，这是由于1通道的边缘特征相对于64通道的中间特征权重过低，可能会导致网络忽略边缘信息，不能达到预想的效果。最后，使用softmax激活得到最终的伪造掩码。在网络训练过程中，使用了交叉熵损失来优化网络参数。给定预测掩码h∈{0,1}和相对应的真实值y∈{0,1}，cmcf-net的损失可以使用以下公式计算：
[0047][0048]
其中，m表示像素数量。
[0049]
综上所示，本实施例充分结合了复制移动伪造检测与深度学习网络的有关知识，使用堆叠式的dssf模块充分提取了多尺度特征信息，并结合深度可分离卷积，增大了网络的感受野，帮助网络能够检测到不同尺度的物体信息；相似性计算模块引导网络关注图像的相似部分，让网络可以针对性的应对复制移动伪造检测定位这一难题。随后，提出的msf-aspp模块结合了空洞空间金字塔池化模块(aspp)与dssf模块的优势，有效的提取并充分融合了多尺度特征，为上采样解码提供了更为丰富的特征。最后，残差冗余解码模块则是利用了相关性图的空间特征，通过相似的空间位置从侧面引导网络的注意力，帮助网络能够有效的定位伪造位置。
[0050]
实施例二：
[0051]
基于实施例一所述的一种用于复制移动伪造的图像检测方法，本实施例提供一种用于复制移动伪造的图像检测装置，包括：
[0052]
图像获取模块，用于获取待检测图像；
[0053]
检测模块，用于将待检测图像输入构建的上下文多尺度交叉融合网络中，输出标记有伪造位置的定位图。
[0054]
实施例三：
[0055]
基于实施例一所述的一种用于复制移动伪造的图像检测方法，本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如实施例一所述的用于复制移动伪造的图像检测方法。
[0056]
实施例四：
[0057]
基于实施例一所述的一种用于复制移动伪造的图像检测方法，本实施例提供一种计算机设备，包括：存储器，用于存储指令；处理器，用于执行所述指令，使得所述设备执行实现如实施例一所述的用于复制移动伪造的图像检测方法的操作。
[0058]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0059]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0060]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0061]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0062]
以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

技术特征：
1.一种用于复制移动伪造的图像检测方法，其特征在于，包括：获取待检测图像；将待检测图像输入构建的上下文多尺度交叉融合网络中，输出标记有伪造位置的定位图。2.根据权利要求1所述的用于复制移动伪造的图像检测方法，其特征在于，所述上下文多尺度交叉融合网络，包括：双流多尺度特征提取融合模块，用于从待检测图像中提取图像的多尺度特征；特征相关性模块，用于利用皮尔森系数计算多尺度特征的相关性，并使用百分比池化去除冗余信息，获得相关性特征；多尺度融合-空洞空间金字塔池化模块，用于交换多尺度特征，并再次计算相关性，同时，融合相关性特征，获得相关性匹配图；残差冗余解码模块，用于根据相关性匹配图，解码输出标记有伪造位置的定位图。3.根据权利要求2所述的用于复制移动伪造的图像检测方法，其特征在于，所述双流多尺度特征提取融合模块，包括：利用vgg16的前四个块提取特征，并将第四个块的池化层去除，第四个块的卷积改为深度可分离卷积；随后将第二、三、四个块的特征采用堆叠的方式输入双流多尺度特征提取融合模块提取并融合多尺度特征，得到三个不同尺度的特征向量，将三个不同尺度的特征向量输入通道注意力模块来引导网络重点关注对复制移动伪造检测任务有积极作用的通道特征；双流多尺度特征提取融合模块的最终输出为：m
r,last
＝sep(m
r,3
)+m
r,0 (3)其中，r∈[h,l]，h表示高分辨率流，l表示低分辨率流，sep(
·
)表示卷积核大小为3的深度可分离卷积，m
r,0
表示双流多尺度特征提取融合模块的输入，m
r,3
表示经过了3组上下文多尺度交叉融合网络提取后的m
r,0
。4.根据权利要求3所述的用于复制移动伪造的图像检测方法，其特征在于，所述特征相关性模块，包括：利用皮尔森系数计算特征张量空间方向的任意两个像素的相关性，将得到的特征张量在通道上从大到小排序后，取固定百分比维度的特征以减少冗余特征；使用皮尔森系数计算相关性的方法如下：其中，s
m
，
n
表示patch-like特征f
m
与f
n
之间的相关性，是fm通过减去均值除以方差后的归一化版本，是fn通过减去均值除以方差后的归一化版本，fc是通道维度。5.根据权利要求4所述的用于复制移动伪造的图像检测方法，其特征在于，所述多尺度融合-空洞空间金字塔池化模块，包括：将中间特征张量输入多尺度融合-空洞空间金字塔池化模块，在提取多尺度特征的同时融合不同尺度的特征信息；多尺度融合-空洞空间金字塔池化模块分别使用膨胀率为4、8、12、16的空洞卷积提取不同尺度的特征，然后使用卷积核为1
×
1的可分离卷积压缩通道数，并使用堆叠的双流多尺度特征提取融合模块对空洞空间金字塔池化模块的输出做不同尺度特征的融合；之后，将多尺度融合-空洞空间金字塔池化模块的输出再次输入到所述特
征相关性模块中计算空间相关性，从而正确定位图像伪造位置。6.根据权利要求5所述的用于复制移动伪造的图像检测方法，其特征在于，所述残差冗余解码模块，包括：根据相关性匹配图的空间分布细化分割掩码，使用残差结构拼接到对应特征后，再使用拼接后的特征进行解码；最后，使用softmax激活得到最终的伪造掩码，在训练过程中，使用了交叉熵损失来优化网络参数，给定预测掩码h∈{0,1}和相对应的真实值y∈{0,1}，上下文多尺度交叉融合网络的损失可以使用以下公式计算：其中，m表示像素数量。7.一种用于复制移动伪造的图像检测装置，其特征在于，包括：图像获取模块，用于获取待检测图像；检测模块，用于将待检测图像输入构建的上下文多尺度交叉融合网络中，输出标记有伪造位置的定位图。8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1～6中任一所述的用于复制移动伪造的图像检测方法。9.一种计算机设备，其特征在于，包括：存储器，用于存储指令；处理器，用于执行所述指令，使得所述设备执行实现如权利要求1～6中任一所述的用于复制移动伪造的图像检测方法的操作。

技术总结
本发明公开了一种用于复制移动伪造的图像检测方法、装置、介质及设备，方法包括：获取待检测图像；将待检测图像输入构建的上下文多尺度交叉融合网络中，输出标记有伪造位置的定位图。本发明通过将待检测图像输入构建的上下文多尺度交叉融合网络中，输出标记有伪造位置的定位图，实现了复制移动伪造区域的定位；通过双流多尺度特征提取融合模块(DSSF)有效的提取了多尺度信息；而在解码器部分提出的残差冗余解码模块也通过利用相关性匹配图引导网络能够融合利用相关性信息；通过两者的灵活运用，提出的方案达到了实际的使用标准。提出的方案达到了实际的使用标准。提出的方案达到了实际的使用标准。


技术研发人员：熊礼治 许建华
受保护的技术使用者：南京信息工程大学
技术研发日：2023.04.21
技术公布日：2023/7/25