基于聚类决策的深度伪造图像检测方法及相关设备

1.本发明涉及图像处理技术领域，尤其涉及一种基于聚类决策的深度伪造图像检测及相关设备。


背景技术：

2.深度伪造生成技术可以生成伪造的人脸图像，有恶意使用者可以利用深度伪造生成的图像，损害他人利益。目前仅凭人眼很多时候无法分辨高质量的深度伪造图像，深度伪造人脸图像的检测是业界亟待解决的重要课题。


技术实现要素：

3.本发明提供一种基于聚类决策的深度伪造图像检测及相关设备，用以解决现有技术中高质量的深度伪造图像不易检测的缺陷，实现深度伪造图像的准确检测。
4.本发明提供一种基于聚类决策的深度伪造图像检测方法，包括：
5.获取待检测人脸图像，对所述待检测人脸图像进行图像分割，得到至少一个局部人脸图像，所述局部人脸图像反映所述待检测人脸图像中的五官；
6.将所述待检测人脸图像和所述局部人脸图像输入至已训练的特征提取模型中，获取所述特征提取模型输出的融合特征；
7.分别获取所述融合特征与已训练的第一聚类中心之间的第一距离，以及所述融合特征与已训练的第二聚类中心之间的第二距离，根据所述第一距离和所述第二距离确定所述待检测人脸图像的伪造检测结果，所述伪造检测结果反映所述待检测人脸图像是否为伪造图像，所述第一聚类中心反映伪造图像对应的所述融合特征，所述第二聚类中心反映真实图像对应的所述融合特征；
8.其中，所述已训练的特征提取模型、所述已训练的第一聚类中心和所述已训练的第二聚类中心基于多组训练数据训练得到，每组所述训练数据包括样本待检测人脸图像以及所述样本待检测人脸图像对应的伪造检测标签；所述特征提取模型的训练过程包括：
9.基于多组所述训练数据训练初始特征提取模型和二元分类器，得到中间特征提取模型，其中，所述二元分类器用于基于所述特征提取模型输出的所述融合特征，输出伪造预测结果，所述伪造预测结果用于将所述训练数据分类为真实图像或伪造图像；
10.基于多组所述训练数据训练所述中间特征提取模型，得到所述已训练的特征提取模型、所述已训练的第一聚类中心和所述已训练的第二聚类中心
11.根据本发明提供的一种基于聚类决策的深度伪造图像检测方法，所述基于多组所述训练数据训练所述中间特征提取模型，得到所述已训练的特征提取模型、所述已训练的第一聚类中心和所述已训练的第二聚类中心，包括：
12.基于多组所述训练数据，确定第一聚类中心和第二聚类中心的初始值；
13.在多组所述训练数据中确定目标训练数据批次，所述目标训练数据批次中包括多组目标训练数据；
14.对所述目标训练数据中的所述样本待检测人脸图像进行分割，得到样本局部人脸图像，将所述样本待检测人脸图像和所述样本局部人脸图像输入至所述中间特征提取模型，获取所述中间特征提取模型输出的样本融合特征；
15.基于所述目标训练数据批次中每个所述目标训练数据对应的所述样本融合特征和所述伪造检测标签更新所述中间特征提取模型的参数，基于所述目标训练数据批次中每个所述目标训练数据对应的所述样本融合特征和所述伪造检测标签更新所述第一聚类中心和所述第二聚类中心；
16.重新执行所述在多组所述训练数据中确定目标训练数据批次的步骤，直至所述中间特征提取模型的参数、所述第一聚类中心和所述第二聚类中心收敛，将参数收敛后的所述中间特征提取模型作为所述已训练的特征提取模型，将收敛后的所述第一聚类中心作为所述已训练的第一聚类中心，将收敛后的所述第二聚类中心作为所述已训练的第二聚类中心。
17.根据本发明提供的一种基于聚类决策的深度伪造图像检测方法，所述基于多组所述训练数据，确定所述第一聚类中心和所述第二聚类中心的初始值，包括：
18.对各组所述训练数据进行分类，得到第一集合和第二集合，其中，所述第一集合中的所述训练数据中的所述伪造检测标签表示对应的所述样本待检测人脸图像为伪造图像，所述第二集合中的所述训练数据中的所述伪造检测标签表示对应的所述样本待检测人脸图像为真实图像；
19.基于所述中间特征提取模型，确定所述第一集合中的每个所述样本待检测人脸图像对应的第一融合特征以及所述第二集合中的每个所述样本待检测人脸图像对应的第二融合特征，将各个所述第一融合特征的平均值作为所述第一聚类中心的初始值，将各个所述第二融合特征的平均值作为所述第二聚类中心的初始值。
20.根据本发明提供的一种基于聚类决策的深度伪造图像检测方法，所述基于所述目标训练数据批次中每个所述目标训练数据对应的所述样本融合特征和所述伪造检测标签更新所述中间特征提取模型的参数，包括：
21.基于所述目标训练数据批次中每个所述目标训练数据对应的所述样本融合特征和所述伪造检测标签计算损失函数；
22.以最小化所述损失函数为目标更新所述中间特征提取模型的参数；
23.其中，所述损失函数包括第一损失函数和第二损失函数，所述第一损失函数为所述第二损失函数为其中，其中，f表示所述目标训练数据对应的所述样本融合特征，fake表示所述目标训练数据批次中对应的所述伪造检测标签为伪造图像的所述目标训练数据对应的所述样本融合特征的集合，real表示所述目标训练数据批次中对应的所述伪造检测标签为真实图像的所述目标训练数据对应的所述样本融合特征的集合，cf表示当前的所述第一聚类中心，cr表示当前的所述第二聚类中心，β为常数。
24.根据本发明提供的一种基于聚类决策的深度伪造图像检测方法，所述基于所述目标训练数据批次中每个所述目标训练数据对应的所述样本融合特征和所述伪造检测标签
更新所述第一聚类中心和所述第二聚类中心，包括：
25.根据所述目标训练数据批次中对应的所述伪造检测标签为伪造图像的所有所述目标训练数据对应的所述样本融合特征更新所述第一聚类中心；
26.根据所述目标训练数据批次中对应的所述伪造检测标签为伪造图像的所有所述目标训练对应的所述样本融合特征更新所述第二聚类中心。
27.根据本发明提供的一种基于聚类决策的深度伪造图像检测方法，所述根据所述目标训练数据批次中对应的所述伪造检测标签为伪造图像的所有所述目标训练数据对应的所述样本融合特征更新所述第一聚类中心，包括：
28.基于第一公式更新所述第一聚类中心；
29.所述根据所述目标训练数据批次中对应的所述伪造检测标签为伪造图像的所有所述目标训练对应的所述样本融合特征更新所述第二聚类中心，包括：
30.基于第二公式更新所述第二聚类中心；
31.所述第一公式为cf
t
＝(1-α)cf
t-1
+αavg(∑
f∈fake f)，所述第二公式为cr
t
＝(1-α)cr
t-1
+αavg(∑
f∈real f)；
32.其中，cf
t
表示基于第t个所述目标训练批次更新后的所述第一聚类中心，cr
t
表示基于第t个所述目标训练批次更新后的所述第二聚类中心，f表示所述目标训练数据对应的所述样本融合特征，fake表示所述目标训练数据批次中对应的所述伪造检测标签为伪造图像的所述目标训练数据对应的所述样本融合特征的集合，real表示所述目标训练数据批次中对应的所述伪造检测标签为真实图像的所述目标训练数据对应的所述样本融合特征的集合，avg()表示对括号中的内容求平均值，α为常数。
33.根据本发明提供的一种基于聚类决策的深度伪造图像检测方法，所述特征提取模型包括第一频率特征提取模块、第二频率特征提取模块、第一空间特征提取模块和第二空间特征提取模块；所述获取所述特征提取模型输出的融合特征，包括：
34.将所述待检测人脸图像分别输入至所述第一空间特征提取模块和所述第一频率特征提取模块，基于所述第一空间特征提取模块提取所述待检测人脸图像的第一空间特征，基于所述第一频率特征提取模块提取所述待检测人脸图像的第一频率特征；
35.将所述局部人脸图像分别输入至所述第二空间特征提取模块和所述第二频率特征提取模块，基于所述第二空间特征提取模块提取所述局部人脸图像的第二空间特征，基于所述第二频率特征提取模块提取所述待检测人脸图像的第二频率特征；
36.将所有的所述第一空间特征、所述第一频率特征、所述第二空间特征和所述第二频率特征拼接，得到拼接特征，基于所述拼接特征获取所述融合特征。
37.本发明还提供一种基于聚类决策的深度伪造图像检测装置，包括：
38.图像获取模块，用于获取待检测人脸图像，对所述待检测人脸图像进行图像分割，得到至少一个局部人脸图像，所述局部人脸图像反映所述待检测人脸图像中的五官；
39.特征融合模块，用于将所述待检测人脸图像和所述局部人脸图像输入至已训练的特征提取模型中，获取所述特征提取模型输出的融合特征；
40.伪造检测模块，用于分别获取所述融合特征与已训练的第一聚类中心之间的第一距离，以及所述融合特征与已训练的第二聚类中心之间的第二距离，根据所述第一距离和所述第二距离确定所述待检测人脸图像的伪造检测结果，所述伪造检测结果反映所述待检
测人脸图像是否为伪造图像，所述第一聚类中心反映伪造图像对应的所述融合特征，所述第二聚类中心反映真实图像对应的所述融合特征；
41.其中，所述已训练的特征提取模型、所述已训练的第一聚类中心和所述已训练的第二聚类中心基于多组训练数据训练得到，每组所述训练数据包括样本待检测人脸图像以及所述样本待检测人脸图像对应的伪造检测标签；所述特征提取模型的训练过程包括：
42.基于多组所述训练数据训练初始特征提取模型和二元分类器，得到中间特征提取模型，其中，所述二元分类器用于基于所述特征提取模型输出的所述融合特征，输出伪造预测结果，所述伪造预测结果用于将所述训练数据分类为真实图像或伪造图像；
43.基于多组所述训练数据训练所述中间特征提取模型，得到所述已训练的特征提取模型、所述已训练的第一聚类中心和所述已训练的第二聚类中心。
44.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于聚类决策的深度伪造图像检测方法。
45.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于聚类决策的深度伪造图像检测方法。
46.本发明提供的基于聚类决策的深度伪造图像检测方法及相关设备，通过对人脸图像进行分割，将人脸图像和局部人脸头像均输入至特征提取模型中提取特征，再基于特征提取模型输出的融合特征，根据融合特征和真实图像和伪造图像的聚类中心之间的距离进行伪造图像检测，在特征提取模型的训练过程中，先采用二元分类器来训练特征提取模型，使得特征提取模型能够专注于某些选择性面部区域的篡改痕迹，再基于聚类决策进一步利用对比学习以扩大真实和伪造样本之间的差异，使得最终根据待检测人脸图像与真实和伪造图像的聚类中心之间的特征距离关系生成的图像伪造检测结果更加准确，实现了针对深度伪造图像的准确检测。
附图说明
47.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
48.图1是本发明提供的基于聚类决策的深度伪造图像检测方法的流程示意图；
49.图2是本发明提供的基于聚类决策的深度伪造图像检测方法中图像分割过程的示意图；
50.图3是本发明提供的基于聚类决策的深度伪造图像检测方法中特征提取模型生成融合特征的过程示意图；
51.图4是本发明提供的基于聚类决策的深度伪造图像检测方法中模型训练过程示意图；
52.图5是本发明提供的基于聚类决策的深度伪造图像检测装置的结构示意图；
53.图6是本发明提供的电子设备的结构示意图。
具体实施方式
54.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
55.下面结合图1-图4描述本发明提供的基于聚类决策的深度伪造图像检测方法。
56.如图1所示，本发明提供的基于聚类决策的深度伪造图像检测方法，包括步骤：
57.s110、获取待检测人脸图像，对所述待检测人脸图像进行图像分割，得到至少一个局部人脸图像，所述局部人脸图像反映所述待检测人脸图像中的五官；
58.s120、将所述待检测人脸图像和所述局部人脸图像输入至已训练的特征提取模型中，获取所述特征提取模型输出的融合特征；
59.s130分别获取所述融合特征与已训练的第一聚类中心之间的第一距离，以及所述融合特征与已训练的第二聚类中心之间的第二距离，根据所述第一距离和所述第二距离确定所述待检测人脸图像的伪造检测结果，所述伪造检测结果反映所述待检测人脸图像是否为伪造图像，所述第一聚类中心反映伪造图像对应的所述融合特征，所述第二聚类中心反映真实图像对应的所述融合特征。
60.发明人发现，单纯地引入深度学习模型去检测深度伪造图像时，大多数只能应用于检测特定的篡改类型，即训练该模型时所采用的数据集上存在的深度伪造痕迹，这些模型在检测未曾遇见过的深度伪造图像时往往表现不佳，这一特性也可以被称为模型的泛化性缺失。为了使得用于检测深度伪造图像的模型不只是用于检测特定篡改类型，能够具备更高的现实意义，在一种可能的实现方式中，可以通过设计模型和训练策略从而引导模型将注意力自主地集中在较为常见的特征异常区域，而不仅仅是某些对最终结果产生最大影响的区域，但是这种模型或者训练策略往往相当复杂，而且模型的参数量也会比一般的基准模型要大，并不适合部署到拥有有限算力和内存空间的设备上。
61.而本发明提供的方法，通过对人脸图像进行分割，将人脸图像和局部人脸头像均输入至特征提取模型中提取特征，再基于特征提取模型输出的融合特征，根据融合特征和真实图像和伪造图像的聚类中心之间的距离进行伪造图像检测，在特征提取模型的训练过程中，先采用二元分类器来训练特征提取模型，使得特征提取模型能够专注于某些选择性面部区域的篡改痕迹，再基于聚类决策进一步利用对比学习以扩大真实和伪造样本之间的差异，使得最终根据待检测人脸图像与真实和伪造图像的聚类中心之间的特征距离关系生成的图像伪造检测结果更加准确，实现了针对深度伪造图像的准确检测，并且，由于所有特征在距离计算中是被平等对待的，因此，本发明提供的方法可以避免过度依赖某些特征，可以有效提升模型的泛化性，同时也不需要对模型的结构进行复杂的设计，模型参数量少。
62.具体地，如图2所示，所述待检测人脸图像可以是从单独的一张图像或者从视频中的一张视频帧中截取的人脸图像，对所述待检测人脸图像进行分割，得到至少一个局部人脸图像，所述局部人脸图像可以是所述待检测人脸图像中的五官部分，例如眼睛、嘴巴、鼻子等。在一种可能的实现方式中，所述局部人脸图像可以共有四张，分别为所述待检测人脸图像中的左眼区域图像、右眼区域图像、鼻子区域图像和嘴巴区域图像。对所述待检测人脸图像进行分割，得到所述局部人脸图像，可以采用现有的人脸检测器，例如blazeface实现。
63.所述特征提取模型包括第一频率特征提取模块、第二频率特征提取模块、第一空间特征提取模块和第二空间特征提取模块；所述获取所述特征提取模型输出的融合特征，包括：
64.将所述待检测人脸图像分别输入至所述第一空间特征提取模块和所述第一频率特征提取模块，基于所述第一空间特征提取模块提取所述待检测人脸图像的第一空间特征，基于所述第一频率特征提取模块提取所述待检测人脸图像的第一频率特征；
65.将所述局部人脸图像分别输入至所述第二空间特征提取模块和所述第二频率特征提取模块，基于所述第二空间特征提取模块提取所述局部人脸图像的第二空间特征，基于所述第二频率特征提取模块提取所述待检测人脸图像的第二频率特征；
66.将所有的所述第一空间特征、所述第一频率特征、所述第二空间特征和所述第二频率特征拼接，得到拼接特征，基于所述拼接特征获取所述融合特征。
67.如图3所示，在将所述待检测人脸图像和所述局部人脸图像输入至所述特征提取模型后，首先通过所述第一空间特征提取模块、所述第一频率特征提取模块提取所述待检测人脸图像的特征，通过所述第二空间特征提取模块、所述第二频率特征提取模块提取所述局部人脸图像的特征。具体地，所述第一空间特征提取模块和所述第二空间特征提取模块可以采用现有的图像空间特征提取模块，例如卷积模块，每个所述第一空间特征和每个所述第二空间特征均为一个大小为1*256的向量。为了提升深度伪造图像的检测效率和精度，本发明提供的方法，将判别深度伪造图像的主要判别依据集中在脸部五官上，其余部分仅作为补充特征，即，设置所述第一空间特征提取模块的通道数小于所述第二空间特征提取模块的通道数，所述第一空间特征提取模块的参数量小于所述第二空间特征提取模型的参数量。为了进一步增强特征表示能力，本发明提供的方法，还提取所述待检测人脸图像和所述局部人脸图像的频率特征，具体地，所述第一频率特征提取模块和所述第二频率特征提取模块是通过离散余弦变换(dct)来实现频率特征的提取的，对于每个图像，获取每个频率的平均振幅以形成1*128的频率向量作为所述第一频率特征或所述第二频率特征。最后，所有所述第一频率特征、所述第二频率特征、所述第一空间特征和所述第二空间特征都被拼接起来，然后通过全连接层投影到大小为1*200的融合特征f中，用于分类。
68.在大多数的采用深度学习模型进行伪造图像检测的方式中，都是将基于待检测的图像提取到的特征输入至二元分类器中，二元分类器输出待检测图像为真实图像或伪造图像的检测结果，在训练过程中，特征提取模型和二元分类器共同被训练。而在本发明提供的方法中，为了提升模型的泛化性，将所有特征平等对待，并不采用这种方法，而是如图4所示，首先使用传统的二元分类器训练特征提取模型，获取正负样本(正样本对应真实图像，负样本对应伪造图像)在特征图上的中心位置，在获得数据集的正负样本中心之后，再进行所述特征提取模型和聚类中心的训练，这样可以通过进一步分离真实和伪造图像的特征来提高基于所述特征提取模型和聚类中心检测伪造图像的泛化能力。即，所述已训练的特征提取模型、所述已训练的第一聚类中心和所述已训练的第二聚类中心基于多组训练数据训练得到，每组所述训练数据包括样本待检测人脸图像以及所述样本待检测人脸图像对应的伪造检测标签；所述特征提取模型的训练过程包括：
69.基于多组所述训练数据训练初始特征提取模型和二元分类器，得到中间特征提取模型，其中，所述二元分类器用于基于所述特征提取模型输出的所述融合特征，输出伪造预
测结果；
70.基于多组所述训练数据训练所述中间特征提取模型，得到所述已训练的特征提取模型、所述已训练的第一聚类中心和所述已训练的第二聚类中心。
71.具体地，所述基于多组所述训练数据训练所述中间特征提取模型，得到所述已训练的特征提取模型、所述已训练的第一聚类中心和所述已训练的第二聚类中心，包括：
72.基于多组所述训练数据，确定第一聚类中心和第二聚类中心的初始值；
73.在多组所述训练数据中确定目标训练数据批次，所述目标训练数据批次中包括多组目标训练数据；
74.对所述目标训练数据中的所述样本待检测人脸图像进行分割，得到样本局部人脸图像，将所述样本待检测人脸图像和所述样本局部人脸图像输入至所述中间特征提取模型，获取所述中间特征提取模型输出的样本融合特征；
75.基于所述目标训练数据批次中每个所述目标训练数据对应的所述样本融合特征和所述伪造检测标签更新所述中间特征提取模型的参数，基于所述目标训练数据批次中每个所述目标训练数据对应的所述样本融合特征和所述伪造检测标签更新所述第一聚类中心和所述第二聚类中心；
76.重新执行所述在多组所述训练数据中确定目标训练数据批次的步骤，直至所述目标训练数据批次的数量达到预设值，在所述目标训练数据批次的数量达到所述预设值时，训练结束，将训练结束时的所述中间特征提取模型作为所述已训练的特征提取模型，将训练结束时的所述第一聚类中心作为所述已训练的第一聚类中心，将训练结束时的所述第二聚类中心作为所述已训练的第二聚类中心。
77.所述初始特征提取模型和所述特征提取模型的结构相同，参数不同，在基于多组所述训练数据训练所述初始特征提取模型，更新所述初始特征提取模型的参数后，直至所述初始特征提取模型的参数收敛，得到所述中间特征提取模型，显然地，所述中间特征提取模型和所述初始特征提取模型、所述已训练的特征提取模型的结构都是相同的。
78.基于所述中间特征提取模型，可以得到用于反映伪造图像样本的特征的第一聚类中心和反映真实图像样本的特征的第二聚类中心。所述基于多组所述训练数据，确定所述第一聚类中心和所述第二聚类中心的初始值，包括：
79.对各组所述训练数据进行分类，得到第一集合和第二集合，其中，所述第一集合中的所述训练数据中的所述伪造检测标签表示对应的所述样本待检测人脸图像为伪造图像，所述第二集合中的所述训练数据中的所述伪造检测标签表示对应的所述样本待检测人脸图像为真实图像；
80.基于所述中间特征提取模型，确定所述第一集合中的每个所述样本待检测人脸图像对应的第一融合特征以及所述第二集合中的每个所述样本待检测人脸图像对应的第二融合特征，将各个所述第一融合特征的平均值作为所述第一聚类中心的初始值，将各个所述第二融合特征的平均值作为所述第二聚类中心的初始值。
81.具体地，在得到所述中间特征提取模型之后，遍历训练数据集，将各个为伪造图像的所述样本待检测人脸图像输入至所述中间特征提取模型中，获取所述中间特征提取模型输出的各个所述第一融合特征，将各个为真实图像的所述样本待检测人脸图像输入至所述中间特征提取模型中，获取所述中间特征提取模型输出的各个所述第二融合特征。取各个
所述第一融合特征的平均值作为所述第一聚类中心的初始值，取各个所述第二融合特征的平均值作为所述第二聚类中心的初始值。
82.所述基于所述目标训练数据批次中每个所述目标训练数据对应的所述样本融合特征和所述伪造检测标签更新所述中间特征提取模型的参数，包括：
83.基于所述目标训练数据批次中每个所述目标训练数据对应的所述样本融合特征和所述伪造检测标签计算损失函数；
84.以最小化所述损失函数为目标更新所述中间特征提取模型的参数；
85.其中，所述损失函数包括第一损失函数和第二损失函数，所述第一损失函数为所述第二损失函数为其中，其中，f表示所述目标训练数据对应的所述样本融合特征，fake表示所述目标训练数据批次中对应的所述伪造检测标签为伪造图像的所述目标训练数据对应的所述样本融合特征的集合，real表示所述目标训练数据批次中对应的所述伪造检测标签为真实图像的所述目标训练数据对应的所述样本融合特征的集合，cf表示当前的所述第一聚类中心，cr表示当前的所述第二聚类中心，β为常数。
86.在获得所述第一聚类中心和所述第二聚类中心的初始值后，使用聚类决策的方式对所述特征提取模型和聚类中心进行训练更新，可以通过进一步分离真实和伪造图像的特征来提高基于所述特征提取模型和聚类中心检测伪造图像的泛化能力。通过最小化所述损失函数，可以扩大真实图像和伪造图像的特征中心之间的距离，并聚集具有相同标签的样本，β用于控制可以容许存在的边界。最小化所述损失函数，可以是以最小化所述第一损失函数和所述第二损失函数的加权和。
87.所述基于所述目标训练数据批次中每个所述目标训练数据对应的所述样本融合特征和所述伪造检测标签更新所述第一聚类中心和所述第二聚类中心，包括：
88.根据所述目标训练数据批次中对应的所述伪造检测标签为伪造图像的所有所述目标训练数据对应的所述样本融合特征更新所述第一聚类中心；
89.根据所述目标训练数据批次中对应的所述伪造检测标签为伪造图像的所有所述目标训练对应的所述样本融合特征更新所述第二聚类中心。
90.在基于聚类决策训练所述特征提取模型的过程中，根据当前训练批次的特征和中心移动速率α更新聚类中心，采用动量更新策略，避免中心点僵化或者位置变化太快。所述根据所述目标训练数据批次中对应的所述伪造检测标签为伪造图像的所有所述目标训练数据对应的所述样本融合特征更新所述第一聚类中心，包括：
91.基于第一公式更新所述第一聚类中心；
92.所述根据所述目标训练数据批次中对应的所述伪造检测标签为伪造图像的所有所述目标训练对应的所述样本融合特征更新所述第二聚类中心，包括：
93.基于第二公式更新所述第二聚类中心；
94.所述第一公式为cf
t
＝(1-α)cf
t-1
+αavg(∑
f∈fake f)，所述第二公式为cr
t
＝(1-α)cr
t-1
+αavg(∑
f∈real f)；
95.其中，cf
t
表示基于第t个所述目标训练批次更新后的所述第一聚类中心，cr
t
表示
基于第t个所述目标训练批次更新后的所述第二聚类中心，f表示所述目标训练数据对应的所述样本融合特征，fake表示所述目标训练数据批次中对应的所述伪造检测标签为伪造图像的所述目标训练数据对应的所述样本融合特征的集合，real表示所述目标训练数据批次中对应的所述伪造检测标签为真实图像的所述目标训练数据对应的所述样本融合特征的集合，avg()表示对括号中的内容求平均值，α为常数。
96.训练完成的所述特征提取模型和所述第一聚类中心、所述第二聚类中心被用于所述待检测人脸图像的伪造检测，利用已训练的所述特征提取模型获取所述待检测人脸图像对应的所述融合特征，根据所述融合特征分别与所述第一聚类中心、所述第二聚类中心的距离确定所述待检测人脸图像的伪造检测结果，具体地，当所述融合特征距离所述第一聚类中心的距离更近，则确定所述待检测人脸图像为伪造图像，否则确定所述待检测人脸图像为真实图像。
97.下面对本发明提供的基于聚类决策的深度伪造图像检测装置进行描述，下文描述的基于聚类决策的深度伪造图像检测装置与上文描述的基于聚类决策的深度伪造图像检测方法可相互对应参照。如图5所示，本发明提供的基于聚类决策的深度伪造图像检测装置包括：
98.图像获取模块510，用于获取待检测人脸图像，对所述待检测人脸图像进行图像分割，得到至少一个局部人脸图像，所述局部人脸图像反映所述待检测人脸图像中的五官；
99.特征融合模块520，用于将所述待检测人脸图像和所述局部人脸图像输入至已训练的特征提取模型中，获取所述特征提取模型输出的融合特征；
100.伪造检测模块530，用于分别获取所述融合特征与已训练的第一聚类中心之间的第一距离，以及所述融合特征与已训练的第二聚类中心之间的第二距离，根据所述第一距离和所述第二距离确定所述待检测人脸图像的伪造检测结果，所述伪造检测结果反映所述待检测人脸图像是否为伪造图像，所述第一聚类中心反映伪造图像对应的所述融合特征，所述第二聚类中心反映真实图像对应的所述融合特征；
101.其中，所述已训练的特征提取模型、所述已训练的第一聚类中心和所述已训练的第二聚类中心基于多组训练数据训练得到，每组所述训练数据包括样本待检测人脸图像以及所述样本待检测人脸图像对应的伪造检测标签；所述特征提取模型的训练过程包括：
102.基于多组所述训练数据训练初始特征提取模型和二元分类器，得到中间特征提取模型，其中，所述二元分类器用于基于所述特征提取模型输出的所述融合特征，输出伪造预测结果，所述伪造预测结果用于将所述训练数据分类为真实图像或伪造图像；
103.基于多组所述训练数据训练所述中间特征提取模型，得到所述已训练的特征提取模型、所述已训练的第一聚类中心和所述已训练的第二聚类中心。
104.图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(communications interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行基于聚类决策的深度伪造图像检测方法，该方法包括：获取待检测人脸图像，对所述待检测人脸图像进行图像分割，得到至少一个局部人脸图像，所述局部人脸图像反映所述待检测人脸图像中的五官；
105.将所述待检测人脸图像和所述局部人脸图像输入至已训练的特征提取模型中，获
取所述特征提取模型输出的融合特征；
106.分别获取所述融合特征与已训练的第一聚类中心之间的第一距离，以及所述融合特征与已训练的第二聚类中心之间的第二距离，根据所述第一距离和所述第二距离确定所述待检测人脸图像的伪造检测结果，所述伪造检测结果反映所述待检测人脸图像是否为伪造图像，所述第一聚类中心反映伪造图像对应的所述融合特征，所述第二聚类中心反映真实图像对应的所述融合特征；
107.其中，所述已训练的特征提取模型、所述已训练的第一聚类中心和所述已训练的第二聚类中心基于多组训练数据训练得到，每组所述训练数据包括样本待检测人脸图像以及所述样本待检测人脸图像对应的伪造检测标签；所述特征提取模型的训练过程包括：
108.基于多组所述训练数据训练初始特征提取模型和二元分类器，得到中间特征提取模型，其中，所述二元分类器用于基于所述特征提取模型输出的所述融合特征，输出伪造预测结果，所述伪造预测结果用于将所述训练数据分类为真实图像或伪造图像；
109.基于多组所述训练数据训练所述中间特征提取模型，得到所述已训练的特征提取模型、所述已训练的第一聚类中心和所述已训练的第二聚类中心。
110.此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
111.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于聚类决策的深度伪造图像检测方法，该方法包括：获取待检测人脸图像，对所述待检测人脸图像进行图像分割，得到至少一个局部人脸图像，所述局部人脸图像反映所述待检测人脸图像中的五官；
112.将所述待检测人脸图像和所述局部人脸图像输入至已训练的特征提取模型中，获取所述特征提取模型输出的融合特征；
113.分别获取所述融合特征与已训练的第一聚类中心之间的第一距离，以及所述融合特征与已训练的第二聚类中心之间的第二距离，根据所述第一距离和所述第二距离确定所述待检测人脸图像的伪造检测结果，所述伪造检测结果反映所述待检测人脸图像是否为伪造图像，所述第一聚类中心反映伪造图像对应的所述融合特征，所述第二聚类中心反映真实图像对应的所述融合特征；
114.其中，所述已训练的特征提取模型、所述已训练的第一聚类中心和所述已训练的第二聚类中心基于多组训练数据训练得到，每组所述训练数据包括样本待检测人脸图像以及所述样本待检测人脸图像对应的伪造检测标签；所述特征提取模型的训练过程包括：
115.基于多组所述训练数据训练初始特征提取模型和二元分类器，得到中间特征提取模型，其中，所述二元分类器用于基于所述特征提取模型输出的所述融合特征，输出伪造预
测结果，所述伪造预测结果用于将所述训练数据分类为真实图像或伪造图像；
116.基于多组所述训练数据训练所述中间特征提取模型，得到所述已训练的特征提取模型、所述已训练的第一聚类中心和所述已训练的第二聚类中心。
117.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于聚类决策的深度伪造图像检测方法，该方法包括：获取待检测人脸图像，对所述待检测人脸图像进行图像分割，得到至少一个局部人脸图像，所述局部人脸图像反映所述待检测人脸图像中的五官；
118.将所述待检测人脸图像和所述局部人脸图像输入至已训练的特征提取模型中，获取所述特征提取模型输出的融合特征；
119.分别获取所述融合特征与已训练的第一聚类中心之间的第一距离，以及所述融合特征与已训练的第二聚类中心之间的第二距离，根据所述第一距离和所述第二距离确定所述待检测人脸图像的伪造检测结果，所述伪造检测结果反映所述待检测人脸图像是否为伪造图像，所述第一聚类中心反映伪造图像对应的所述融合特征，所述第二聚类中心反映真实图像对应的所述融合特征；
120.其中，所述已训练的特征提取模型、所述已训练的第一聚类中心和所述已训练的第二聚类中心基于多组训练数据训练得到，每组所述训练数据包括样本待检测人脸图像以及所述样本待检测人脸图像对应的伪造检测标签；所述特征提取模型的训练过程包括：
121.基于多组所述训练数据训练初始特征提取模型和二元分类器，得到中间特征提取模型，其中，所述二元分类器用于基于所述特征提取模型输出的所述融合特征，输出伪造预测结果，所述伪造预测结果用于将所述训练数据分类为真实图像或伪造图像；
122.基于多组所述训练数据训练所述中间特征提取模型，得到所述已训练的特征提取模型、所述已训练的第一聚类中心和所述已训练的第二聚类中心。
123.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
124.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
125.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种基于聚类决策的深度伪造图像检测方法，其特征在于，包括：获取待检测人脸图像，对所述待检测人脸图像进行图像分割，得到至少一个局部人脸图像，所述局部人脸图像反映所述待检测人脸图像中的五官；将所述待检测人脸图像和所述局部人脸图像输入至已训练的特征提取模型中，获取所述特征提取模型输出的融合特征；分别获取所述融合特征与已训练的第一聚类中心之间的第一距离，以及所述融合特征与已训练的第二聚类中心之间的第二距离，根据所述第一距离和所述第二距离确定所述待检测人脸图像的伪造检测结果，所述伪造检测结果反映所述待检测人脸图像是否为伪造图像，所述第一聚类中心反映伪造图像对应的所述融合特征，所述第二聚类中心反映真实图像对应的所述融合特征；其中，所述已训练的特征提取模型、所述已训练的第一聚类中心和所述已训练的第二聚类中心基于多组训练数据训练得到，每组所述训练数据包括样本待检测人脸图像以及所述样本待检测人脸图像对应的伪造检测标签；所述特征提取模型的训练过程包括：基于多组所述训练数据训练初始特征提取模型和二元分类器，得到中间特征提取模型，其中，所述二元分类器用于基于所述特征提取模型输出的所述融合特征，输出伪造预测结果，所述伪造预测结果用于将所述训练数据分类为真实图像或伪造图像；基于多组所述训练数据训练所述中间特征提取模型，得到所述已训练的特征提取模型、所述已训练的第一聚类中心和所述已训练的第二聚类中心。2.根据权利要求1所述的基于聚类决策的深度伪造图像检测方法，其特征在于，所述基于多组所述训练数据训练所述中间特征提取模型，得到所述已训练的特征提取模型、所述已训练的第一聚类中心和所述已训练的第二聚类中心，包括：基于多组所述训练数据，确定第一聚类中心和第二聚类中心的初始值；在多组所述训练数据中确定目标训练数据批次，所述目标训练数据批次中包括多组目标训练数据；对所述目标训练数据中的所述样本待检测人脸图像进行分割，得到样本局部人脸图像，将所述样本待检测人脸图像和所述样本局部人脸图像输入至所述中间特征提取模型，获取所述中间特征提取模型输出的样本融合特征；基于所述目标训练数据批次中每个所述目标训练数据对应的所述样本融合特征和所述伪造检测标签更新所述中间特征提取模型的参数，基于所述目标训练数据批次中每个所述目标训练数据对应的所述样本融合特征和所述伪造检测标签更新所述第一聚类中心和所述第二聚类中心；重新执行所述在多组所述训练数据中确定目标训练数据批次的步骤，直至所述目标训练数据批次的数量达到预设值，在所述目标训练数据批次的数量达到所述预设值时，训练结束，将训练结束时的所述中间特征提取模型作为所述已训练的特征提取模型，将训练结束时的所述第一聚类中心作为所述已训练的第一聚类中心，将训练结束时的所述第二聚类中心作为所述已训练的第二聚类中心。3.根据权利要求2所述的基于聚类决策的深度伪造图像检测方法，其特征在于，所述基于多组所述训练数据，确定所述第一聚类中心和所述第二聚类中心的初始值，包括：对各组所述训练数据进行分类，得到第一集合和第二集合，其中，所述第一集合中的所
述训练数据中的所述伪造检测标签表示对应的所述样本待检测人脸图像为伪造图像，所述第二集合中的所述训练数据中的所述伪造检测标签表示对应的所述样本待检测人脸图像为真实图像；基于所述中间特征提取模型，确定所述第一集合中的每个所述样本待检测人脸图像对应的第一融合特征以及所述第二集合中的每个所述样本待检测人脸图像对应的第二融合特征，将各个所述第一融合特征的平均值作为所述第一聚类中心的初始值，将各个所述第二融合特征的平均值作为所述第二聚类中心的初始值。4.根据权利要求2所述的基于聚类决策的深度伪造图像检测方法，其特征在于，所述基于所述目标训练数据批次中每个所述目标训练数据对应的所述样本融合特征和所述伪造检测标签更新所述中间特征提取模型的参数，包括：基于所述目标训练数据批次中每个所述目标训练数据对应的所述样本融合特征和所述伪造检测标签计算损失函数；以最小化所述损失函数为目标更新所述中间特征提取模型的参数；其中，所述损失函数包括第一损失函数和第二损失函数，所述第一损失函数为所述第二损失函数为其中，其中，f表示所述目标训练数据对应的所述样本融合特征，fake表示所述目标训练数据批次中对应的所述伪造检测标签为伪造图像的所述目标训练数据对应的所述样本融合特征的集合，real表示所述目标训练数据批次中对应的所述伪造检测标签为真实图像的所述目标训练数据对应的所述样本融合特征的集合，cf表示当前的所述第一聚类中心，cr表示当前的所述第二聚类中心，β为常数。5.根据权利要求2所述的基于聚类决策的深度伪造图像检测方法，其特征在于，所述基于所述目标训练数据批次中每个所述目标训练数据对应的所述样本融合特征和所述伪造检测标签更新所述第一聚类中心和所述第二聚类中心，包括：根据所述目标训练数据批次中对应的所述伪造检测标签为伪造图像的所有所述目标训练数据对应的所述样本融合特征更新所述第一聚类中心；根据所述目标训练数据批次中对应的所述伪造检测标签为伪造图像的所有所述目标训练对应的所述样本融合特征更新所述第二聚类中心。6.根据权利要求5所述的基于聚类决策的深度伪造图像检测方法，其特征在于，所述根据所述目标训练数据批次中对应的所述伪造检测标签为伪造图像的所有所述目标训练数据对应的所述样本融合特征更新所述第一聚类中心，包括：基于第一公式更新所述第一聚类中心；所述根据所述目标训练数据批次中对应的所述伪造检测标签为伪造图像的所有所述目标训练对应的所述样本融合特征更新所述第二聚类中心，包括：基于第二公式更新所述第二聚类中心；所述第一公式为cf
t
＝(1-α)cf
t-1
+αavg(∑
f∈fake
f)，所述第二公式为cr
t
＝(1-α)cr
t-1
+αavg(∑
f∈real
f)；其中，cf
t
表示基于第t个所述目标训练批次更新后的所述第一聚类中心，cr
t
表示基于
第t个所述目标训练批次更新后的所述第二聚类中心，f表示所述目标训练数据对应的所述样本融合特征，fake表示所述目标训练数据批次中对应的所述伪造检测标签为伪造图像的所述目标训练数据对应的所述样本融合特征的集合，real表示所述目标训练数据批次中对应的所述伪造检测标签为真实图像的所述目标训练数据对应的所述样本融合特征的集合，avg()表示对括号中的内容求平均值，α为常数。7.根据权利要求1所述的基于聚类决策的深度伪造图像检测方法，其特征在于，所述特征提取模型包括第一频率特征提取模块、第二频率特征提取模块、第一空间特征提取模块和第二空间特征提取模块；所述获取所述特征提取模型输出的融合特征，包括：将所述待检测人脸图像分别输入至所述第一空间特征提取模块和所述第一频率特征提取模块，基于所述第一空间特征提取模块提取所述待检测人脸图像的第一空间特征，基于所述第一频率特征提取模块提取所述待检测人脸图像的第一频率特征；将所述局部人脸图像分别输入至所述第二空间特征提取模块和所述第二频率特征提取模块，基于所述第二空间特征提取模块提取所述局部人脸图像的第二空间特征，基于所述第二频率特征提取模块提取所述待检测人脸图像的第二频率特征；将所有的所述第一空间特征、所述第一频率特征、所述第二空间特征和所述第二频率特征拼接，得到拼接特征，基于所述拼接特征获取所述融合特征。8.一种基于聚类决策的深度伪造图像检测装置，其特征在于，包括：图像获取模块，用于获取待检测人脸图像，对所述待检测人脸图像进行图像分割，得到至少一个局部人脸图像，所述局部人脸图像反映所述待检测人脸图像中的五官；特征融合模块，用于将所述待检测人脸图像和所述局部人脸图像输入至已训练的特征提取模型中，获取所述特征提取模型输出的融合特征；伪造检测模块，用于分别获取所述融合特征与已训练的第一聚类中心之间的第一距离，以及所述融合特征与已训练的第二聚类中心之间的第二距离，根据所述第一距离和所述第二距离确定所述待检测人脸图像的伪造检测结果，所述伪造检测结果反映所述待检测人脸图像是否为伪造图像，所述第一聚类中心反映伪造图像对应的所述融合特征，所述第二聚类中心反映真实图像对应的所述融合特征；其中，所述已训练的特征提取模型、所述已训练的第一聚类中心和所述已训练的第二聚类中心基于多组训练数据训练得到，每组所述训练数据包括样本待检测人脸图像以及所述样本待检测人脸图像对应的伪造检测标签；所述特征提取模型的训练过程包括：基于多组所述训练数据训练初始特征提取模型和二元分类器，得到中间特征提取模型，其中，所述二元分类器用于基于所述特征提取模型输出的所述融合特征，输出伪造预测结果，所述伪造预测结果用于将所述训练数据分类为真实图像或伪造图像；基于多组所述训练数据训练所述中间特征提取模型，得到所述已训练的特征提取模型、所述已训练的第一聚类中心和所述已训练的第二聚类中心。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于聚类决策的深度伪造图像检测方法。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于聚类决策的深度伪造图像检
测方法。

技术总结
本发明提供一种基于聚类决策的深度伪造图像检测方法及相关设备，涉及图像处理技术领域，方法包括：获取待检测人脸图像，对待检测人脸图像进行图像分割，得到至少一个局部人脸图像；将待检测人脸图像和局部人脸图像输入至已训练的特征提取模型中，获取特征提取模型输出的融合特征；分别获取融合特征与已训练的第一聚类中心之间的第一距离，以及融合特征与已训练的第二聚类中心之间的第二距离，根据第一距离和第二距离确定待检测人脸图像的伪造检测结果，伪造检测结果反映待检测人脸图像是否为伪造图像，第一聚类中心反映伪造图像对应的融合特征，第二聚类中心反映真实图像对应的融合特征。本发明可以提升深度伪造图像检测的泛化性。性。性。


技术研发人员：花忠云 侯泽铭
受保护的技术使用者：哈尔滨工业大学（深圳）
技术研发日：2023.04.20
技术公布日：2023/8/13