人脸表情迁移方法和表情迁移装置、电子设备及存储介质与流程

1.本技术涉及人工智能技术领域，尤其涉及一种人脸表情迁移方法和表情迁移装置、电子设备及存储介质。


背景技术：

2.人物脸部表情迁移是指不改变原人物脸部特征的情况下，只改变人物的表情特征，目前，现有的人脸表情迁移方法虽然能够解决人脸表情迁移的问题，但是这些方法都存在一些弊端，例如，基于深度学习的生成对抗网络构建的人脸表情迁移方法，由于不同表情图像之间存在显著的域差异，使得对抗式的结构稳定度较低，从而导致表情迁移的准确率较低。因此，如何高效准确地完成人脸表情迁移任务，成为了亟待解决的技术问题。


技术实现要素：

3.本技术实施例的主要目的在于提出了一种人脸表情迁移方法和表情迁移装置、电子设备及存储介质，能够高效准确地实现对图像中人脸表情的迁移。
4.为实现上述目的，本技术实施例的第一方面提出了一种人脸表情迁移方法，所述方法包括：
5.获取目标对象的原始人脸图像和目标表情类别；
6.根据所述目标对象确定第一训练集，其中，所述第一训练集包括多个第一人脸样本图像，所述原始人脸图像和所述第一人脸样本图像属于同一所述目标对象的图像；
7.根据所述目标表情类别确定第二训练集，其中，所述第二训练集包括多个第二人脸样本图像，所述第二人脸样本图像对应的表情类别为所述目标表情类别；
8.将每个所述第二人脸样本图像输入至预设的初始循环概率模型中进行预训练，得到预训练模型；
9.将所述第一人脸样本图像和所述第二人脸样本图像输入至所述预训练模型，得到第一人脸处理图像；
10.根据所述第一人脸处理图像计算模型损失值，根据所述模型损失值调整所述预训练模型的模型参数，以得到人脸表情迁移模型；
11.将所述原始人脸图像输入所述人脸表情迁移模型，以通过所述人脸表情迁移模型将所述原始人脸图像转换为匹配所述目标表情类别的目标人脸图像。
12.在一些实施例中，所述预训练模型包括第一扩散去噪子模型和第二扩散去噪子模型；所述将所述第一人脸样本图像和所述第二人脸样本图像输入至所述预训练模型，得到第一人脸处理图像，包括：
13.将所述第一人脸样本图像输入至所述第一扩散去噪子模型，通过所述第一扩散去噪子模型对所述第一人脸样本图像进行正向图像处理，得到第二人脸处理图像；
14.通过所述第二扩散去噪子模型对所述第二人脸处理图像进行逆向图像处理，得到第三人脸处理图像；
15.对所述第三人脸处理图像进行人脸特征提取，得到人脸特征图像；
16.将所述第二人脸样本图像和所述人脸特征图像输入至所述第一扩散去噪子模型，通过所述第一扩散去噪子模型对所述第二人脸样本图像进行正向图像处理，得到第四人脸处理图像；
17.通过所述第二扩散去噪子模型对所述第四人脸处理图像进行逆向图像处理，得到第一人脸处理图像。
18.在一些实施例中，所述根据所述第一人脸处理图像计算模型损失值，根据所述模型损失值调整所述预训练模型的模型参数，以得到人脸表情迁移模型，包括：
19.根据所述第一人脸样本图像、所述第二人脸样本图像、所述第三人脸处理图像和所述第一人脸处理图像，确定循环损失值；
20.根据所述第一人脸样本图像和所述第二人脸样本图像，确定空间相似性损失值；
21.根据所述第二人脸处理图像和所述第四人脸处理图像，确定表情结构损失值；
22.对所述循环损失值、所述空间相似性损失值和所述表情结构损失值进行加权计算，得到模型损失值；
23.根据所述模型损失值对所述预训练模型的模型参数进行调整，并基于所述第一训练集和所述第二训练集继续训练调整后的模型，直至所述模型损失值满足预设训练结束条件，以得到人脸表情迁移模型。
24.在一些实施例中，所述根据所述第一人脸样本图像、所述第二人脸样本图像、所述第三人脸处理图像和所述第一人脸处理图像，确定循环损失值，包括：
25.对所述第一人脸样本图像和所述第三人脸处理图像进行距离损失计算，得到第一距离损失值；
26.对所述第二人脸样本图像和所述第一人脸处理图像进行距离损失计算，得到第二距离损失值；
27.对所述第一距离损失值和所述第二距离损失值进行加权计算，得到所述循环损失值。
28.在一些实施例中，所述根据所述第二人脸处理图像和所述第四人脸处理图像，确定表情结构损失值，包括：
29.获取预设的矩形掩码区域；
30.根据所述矩形掩码区域对所述第一人脸样本图像进行掩码处理，得到第一掩码图像；
31.根据所述矩形掩码区域对所述第二人脸样本图像进行掩码处理，得到第二掩码图像；
32.根据所述矩形掩码区域对所述第二人脸处理图像进行掩码处理，得到第三掩码图像；
33.根据所述矩形掩码区域对所述第四人脸处理图像进行掩码处理，得到第四掩码图像；
34.根据所述第一掩码图像、所述第二掩码图像、所述第三掩码图像和所述第四掩码图像，确定表情结构损失值。
35.在一些实施例中，所述根据所述第一掩码图像、所述第二掩码图像、所述第三掩码
图像和所述第四掩码图像，确定表情结构损失值，包括：
36.对所述第一掩码图像和所述第四掩码图像进行结构相似性计算，得到第一结构相似性损失值；
37.对所述第二掩码图像和所述第三掩码图像进行结构相似性计算，得到第二结构相似性损失值；
38.对所述第一结构相似性损失值和所述第二结构相似性损失值进行加权计算，得到所述表情结构损失值。
39.在一些实施例中，所述将每个所述第二人脸样本图像输入至预设的初始循环概率模型中进行预训练，得到预训练模型，包括：
40.对所述原始人脸图像进行表情特征提取，得到目标特征图像；
41.将每个所述第二人脸样本图像输入至预设的初始循环概率模型，通过所述初始循环概率模型对所述第二人脸样本图像进行处理，得到样本特征图像；
42.根据所述样本特征图像和所述目标特征图像确定图像损失值；
43.根据所述图像损失值对所述初始循环概率模型的模型参数进行调整，并基于所述第二训练集继续训练调整后的模型，直至所述图像损失值满足预设训练结束条件，以得到预训练模型。
44.为实现上述目的，本技术实施例的第二方面提出了一种人脸表情迁移装置，所述装置包括：
45.图像和类别获取模块，用于获取目标对象的原始人脸图像和目标表情类别；
46.第一训练集确定模块，用于根据所述目标对象确定第一训练集，其中，所述第一训练集包括多个第一人脸样本图像，所述原始人脸图像和所述第一人脸样本图像属于同一所述目标对象的图像；
47.第二训练集确定模块，用于根据所述目标表情类别确定第二训练集，其中，所述第二训练集包括多个第二人脸样本图像，所述第二人脸样本图像对应的表情类别为所述目标表情类别；
48.第一模型训练模块，用于将每个所述第一人脸样本图像输入至预设的初始循环概率模型中进行预训练，得到预训练模型；
49.模型输入模块，用于将所述第一人脸样本图像和所述第二人脸样本图像输入至所述预训练模型，得到第一人脸处理图像；
50.第二模型训练模块，用于根据所述第一人脸处理图像计算模型损失值，根据所述模型损失值调整所述预训练模型的模型参数，以得到人脸表情迁移模型；
51.表情迁移模块，用于将所述原始人脸图像输入所述人脸表情迁移模型，以通过所述人脸表情迁移模型将所述原始人脸图像转换为匹配所述目标表情类别的目标人脸图像。
52.为实现上述目的，本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
53.为实现上述目的，本技术实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使计算机执行上述第一方面所述的方法。
54.本技术实施例提出的人脸表情迁移方法和表情迁移装置、电子设备及存储介质，通过获取目标对象的原始人脸图像和目标表情类别，根据目标对象确定第一训练集，其中，第一训练集包括多个第一人脸样本图像，原始人脸图像和第一人脸样本图像属于同一目标对象的图像。然后，根据目标表情类别确定第二训练集，其中，第二训练集包括多个第二人脸样本图像，第二人脸样本图像对应的表情类别为目标表情类别。将每个第二人脸样本图像输入至预设的初始循环概率模型中进行预训练，得到预训练模型。之后，将第一人脸样本图像和第二人脸样本图像输入至预训练模型，得到第一人脸处理图像，并根据第一人脸处理图像计算模型损失值，根据模型损失值调整预训练模型的模型参数，以得到人脸表情迁移模型。最后，将原始人脸图像输入人脸表情迁移模型，以通过人脸表情迁移模型将原始人脸图像转换为匹配目标表情类别的目标人脸图像。本技术实施例能够高效准确地实现对图像中人脸表情的迁移。
附图说明
55.图1是本技术实施例提供的人脸表情迁移方法的流程图；
56.图2是图1中的步骤s140的流程图；
57.图3是图1中的步骤s150的流程图；
58.图4是图1中的步骤s160的流程图；
59.图5是图4中的步骤s410的流程图；
60.图6是图4中的步骤s430的流程图；
61.图7是图6中的步骤s660的流程图；
62.图8是本技术实施例提供的人脸表情迁移装置的结构示意图；
63.图9是本技术实施例提供的电子设备的硬件结构示意图。
具体实施方式
64.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
65.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
66.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
67.首先，对本技术中涉及的若干名词进行解析：
68.人工智能(artificial intelligence，ai)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统
等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
69.去噪扩散概率模型(denoising diffusion probabilistic model,ddpm)：主要通过噪声估计模型的结果来计算高斯分布的均值。
70.归一化处理：指将数据特征按比例缩放，使之落入一个小的特定区间，以去除数据特征的单位限制，将其转化为无量纲的纯数值，便于使用不同单位或量级的指标进行比较和加权。
71.l1损失函数：用于最小化误差，该误差是真实值和预测值之间的所有绝对差之和。
72.结构相似性(structural similarity，ssim)：是一种衡量两幅图像相似度的指标。
73.随机梯度下降法(stochastic gradient descent algorithm，sgd)：多用用于支持向量机、逻辑回归等凸损失函数下的线性分类器的学习。
74.随着计算机视觉技术的不断发展，人脸表情迁移技术得到了众多学者的关注和研究。人脸部表情迁移是指不改变原人物脸部特征的情况下，只改变表情特征，如是否微笑、伤心、闭眼等。这项迁移技术可以有效地提高现有表情动画的复用率和新动画的合成效率，减少动画从业人员为新表情建模的繁琐工作，能够为高度真实的人物表情提供了新的合成途径和合成方式，具有较高的现实意义。
75.目前，人脸表情迁移领域已经涌现了许多研究方法，例如，可以通过多视图几何对人脸进行重建，该方法需要采集不同角度的人脸图像，以为建模提供足量的人脸特征信息，从而进一步实现风格迁移；还可以通过立体彩色(red-green-blue depth map，rgbd)相机或者红绿蓝(red-green-blue，rgb)相机结合三维可变性人脸模型(3d morphable face model，3dmm)的方法，对人脸表情特征进行重建；还可以通过深度学习的方法对人脸模型进行建模，利用模型求解人脸参数以实现表情迁移。
76.然而，尽管这些方法能够解决人脸表情迁移的问题，但是这些方法都存在一些弊端，如，基于多视图几何对人脸进行重建的方法对设备精度要求比较高，使得进行人脸表情迁移的成本比较大；基于rgbd相机或rgb相机的方法在模型结构的局限性较大，难以生成模型细节，如原人物脸上的皱纹在表情迁移后出现消失的情况；基于深度学习的生成对抗网络构建的人脸表情迁移方法，尽管可以掌握人物脸部的细节，但是生成对抗网络的训练稳定性十分具有挑战性，同时，由于不同表情图像之间存在显著的域差异，对抗式的结构稳定度较低，且难以高效地学习从原表情到新表情之间的潜在关系，导致表情迁移的准确率较低。因此，基于目前方法的不足和任务的实际需要，如何高效准确地完成人物脸部表情迁移任务，成为了亟待解决的技术问题。
77.基于此，本技术实施例提供了一种人脸表情迁移方法和表情迁移装置、电子设备及存储介质，能够充分挖掘任务原表情和目标表情的特征信息，以准确地实现对图像中人脸表情的迁移。
78.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及
应用系统。
79.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
80.本技术实施例提供的人脸表情迁移方法，涉及人工智能技术领域。本技术实施例提供的人脸表情迁移方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现人脸表情迁移方法的应用等，但并不局限于以上形式。
81.本技术可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络个人计算机(personal computer，pc)、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
82.本技术实施例提供的人脸表情迁移方法和表情迁移装置、电子设备及存储介质，具体通过如下实施例进行说明，首先描述本技术实施例中的一种人脸表情迁移方法。
83.需要说明的是，在本技术的各个具体实施方式中，当涉及到需要根据用户信息、用户行为数据，用户历史数据以及用户位置信息等与用户身份或特性相关的数据进行相关处理时，都会先获得用户的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关法律法规和标准。此外，当本技术实施例需要获取用户的敏感个人信息时，会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意，在明确获得用户的单独许可或者单独同意之后，再获取用于使本技术实施例能够正常运行的必要的用户相关数据。
84.请参阅图1，图1是本技术实施例提供的人脸表情迁移方法的一个可选的流程图，图1中的方法可以具体包括但不限于步骤s110至步骤s170，下面结合图1对这七个步骤进行详细介绍。
85.步骤s110，获取目标对象的原始人脸图像和目标表情类别；
86.步骤s120，根据目标对象确定第一训练集，其中，第一训练集包括多个第一人脸样本图像，原始人脸图像和第一人脸样本图像属于同一目标对象的图像；
87.步骤s130，根据目标表情类别确定第二训练集，其中，第二训练集包括多个第二人脸样本图像，第二人脸样本图像对应的表情类别为目标表情类别；
88.步骤s140，将每个第二人脸样本图像输入至预设的初始循环概率模型中进行预训
练，得到预训练模型；
89.步骤s150，将第一人脸样本图像和第二人脸样本图像输入至预训练模型，得到第一人脸处理图像；
90.步骤s160，根据第一人脸处理图像计算模型损失值，根据模型损失值调整预训练模型的模型参数，以得到人脸表情迁移模型；
91.步骤s170，将原始人脸图像输入人脸表情迁移模型，以通过人脸表情迁移模型将原始人脸图像转换为匹配目标表情类别的目标人脸图像。
92.需要说明的是，在一些实施例的步骤s110至步骤s170中，为了充分挖掘人物对象原表情和目标表情的特征信息，并进一步探索两者在不同空间的潜在关系，以在稳定训练的同时完成人脸表情迁移任务。首先，获取目标对象的原始人脸图像和目标表情类别，并根据目标对象确定第一训练集，根据目标表情类别确定第二训练集，其中，第一训练集包括多个第一人脸样本图像，原始人脸图像和第一人脸样本图像属于同一目标对象的图像，而第二训练集包括多个第二人脸样本图像，第二人脸样本图像对应的表情类别为目标表情类别。然后，将每个第一人脸样本图像输入至预设的初始循环概率模型中进行预训练，得到预训练模型。之后，将第一人脸样本图像和第二人脸样本图像输入至预训练模型，得到第一人脸处理图像，并根据第一人脸处理图像计算模型损失值，根据模型损失值调整预训练模型的模型参数，以得到人脸表情迁移模型。最后，将原始人脸图像输入人脸表情迁移模型，以通过人脸表情迁移模型将原始人脸图像转换为匹配目标表情类别的目标人脸图像。本技术实施例能够高效准确地实现对图像中人脸表情的迁移。
93.在一些实施例的步骤s110中，获取需要进行人脸表情迁移的原始人脸图像和目标表情类别，原始人脸图像为包含目标对象的图像，目标表情类别用于表示目标对象转换后所属的表情类别。其中，表情类别可以包括开心类别、伤心类别、生气类别等。原始人脸图像对应的原始表情类别可以为任一种表情类别。
94.需要说明的是，在实际应用中，本技术实施例提供的人脸表情迁移方法可以应用在表情迁移系统中，在线环境下，表情迁移系统可以包括终端设备与服务端设备，且可以将人脸表情迁移方法部署于服务端侧，服务端设备与终端设备可实现通信。
95.需要说明的是，使用终端设备采集原始人脸图像，即终端设备可以通过带有摄像头的设备采集原始人脸图像，也可以是用户通过终端设备上传的原始人脸图像，也可以是采集的图像视频中获取的带有目标对象的图像。终端设备将采集的原始人员图像上传到服务端设备。
96.在一些实施例的步骤s120中，为了使得到的目标人脸图像能够保持目标对象的面部特征，在训练表情迁移模型之前需要准备训练集，则根据目标对象确定第一训练集，其中，第一训练集d0包括多个第一人脸样本图像，且该原始人脸图像和第一人脸样本图像属于同一目标对象的图像。可以理解的是，本技术使用的训练集来源于真实人物或虚拟对象，即目标对象可以为真实人物或虚拟对象，其中，虚拟对象包含但不仅限于漫画人物、游戏角色以及动画角色等。
97.可以理解的是，第一训练集d0中的第一人脸样本图像为目标对象在同一种表情类别下的多个不同的图像，例如，第一人脸样本图像可以为对象a在早上、中午、下午是三个时间端分别拍摄偏左、偏右或正脸的大笑表情图像。需要说明的是，第一训练集d0也可以从现
有的面部表情数据库中进行获取，如真实世界的情感面孔数据库(real-world affective faces database)、jaffe(the japanese female facial expression)数据库等。
98.在一些实施例的步骤s130中，为了使原始人脸图像的表情类别转换为目标表情类别，以实现人脸表情迁移，根据目标表情类别确定第二训练集d0'，其中，第二训练集d0'包括多个第二人脸样本图像，第二人脸样本图像对应的表情类别为目标表情类别。
99.可以理解的是，第二训练集d0'中的第二人脸样本图像的表情类别都是目标表情类别，即第二训练集d0'可以为不同的人物对象在作出相同表情时的图像数据集。该人物对象可以为真实人物或虚拟对象，且第二训练集d0'的获取方式与第一训练集的获取方式相同，在此不再赘述。
100.需要说明的是，为了克服现实生活和研究中对成对的匹配数据图像获取的困难，训练采用的第一训练集d0和第二训练集d0'并不限定其中图像数据是配对的，即每一张第一人脸样本图像不一定配对一张完全相同人物对象的第二样本图像，只需要采集的训练集中的图像分别满足对应的训练集要求。
101.在一些实施例的步骤s140中，为了使人脸表情迁移后学习到目标表情类别对应的表情特征，需要先学习目标表情类别的表情特征，第二人脸样本图像对应的表情类别为目标表情类别。具体地，先将每个第二人脸样本图像输入至预设的初始循环概率模型中进行预训练，得到预训练模型，该预训练模型的模型参数包括对应目标表情类别的表情特征参数。
102.请参阅图2，图2是本技术实施例提供的步骤s140的具体方法的流程图。在本技术的一些实施例中，步骤s140具体包括但不限于步骤s210至步骤s240，下面结合图2对这四个步骤进行详细介绍。
103.步骤s210，对原始人脸图像进行表情特征提取，得到目标特征图像；
104.步骤s220，将每个第二人脸样本图像输入至预设的初始循环概率模型，通过初始循环概率模型对第二人脸样本图像进行处理，得到样本特征图像；
105.步骤s230，根据样本特征图像和目标特征图像确定图像损失值；
106.步骤s240，根据图像损失值对初始循环概率模型的模型参数进行调整，并基于第二训练集继续训练调整后的模型，直至图像损失值满足预设训练结束条件，以得到预训练模型。
107.具体地，为了获取到同一类表情类别的特征共性，例如，在表情类别为开心时，人脸对象的嘴角向上，在表情类别为悲伤时，人脸对象的嘴角向下等。首先，对原始人脸图像进行表情特征提取，得到目标特征图像。然后，将第二人脸样本图像输入至初始循环概率模型进行处理，该初始循环概率模型为采用两个ddpm构建的循环模型结构。根据样本特征图像和目标特征图像确定图像损失值，如可以采用交叉熵损失函数求解图像损失值，并根据图像损失值对初始循环概率模型的模型参数进行调整。基于第二训练集d0'继续训练调整后的模型，直至图像损失值满足预设训练结束条件，以得到预训练模型。本技术实施例能够根据第二训练集d0'中的第二人脸样本图像对模型进行预训练，以使预训练模型能够先学习到目标表情类别的表情特征，使得预训练模型的模型参数包括对应目标表情类别的表情特征参数，提高人脸表情迁移对表情识别的准确性。
108.需要说明的是，预设训练结束条件可以为当图像损失值小于预设的第一损失值阈
值，或当初始循环概率模型的识别准确率大于或等于预设的第一准确率阈值。
109.需要说明的是，目标特征图像的获取可以为，将第二人脸样本图像先进行面部关键点提取，例如，采用级联深度神经网络(deep alignment network，dan)提取面部关键点，或者采用多任务级联卷积神经网络(multi-task cascaded convolutional network，mtcnn)提取面部关键点，又或者主动形状模型(active shape model，asm)提取面部关键点，还可以采用其他方式，此处不做限定。其中，目标特征图像包括提取关键点后的人脸图像，关键点位置包含但不仅限于如眉毛、眼睛、眼球、鼻子、脸颊以及嘴部等。
110.需要说明的是，目标特征图像还可以由线段构成，基于提取到的关键点进行连接，从而形成线段，目标特征图像包括生成线段后的人脸图像。此外，目标特征图像还可以体现为点状形式的人脸图像，也可以体现为线段形式的人脸图像，还可以体现为曲线形式的人脸图像等，本技术以线段形式的表情特征图像为例进行介绍，然而这不应理解为对本技术的限定。
111.请参阅图3，图3是本技术实施例提供的步骤s150的具体方法的流程图。在本技术的一些实施例中，预训练模型包括第一扩散去噪子模型和第二扩散去噪子模型，则步骤s150具体包括但不限于步骤s310至步骤s350，下面结合图3对这五个步骤进行详细介绍。
112.步骤s310，将第一人脸样本图像输入至第一扩散去噪子模型，通过第一扩散去噪子模型对第一人脸样本图像进行正向图像处理，得到第二人脸处理图像；
113.步骤s320，通过第二扩散去噪子模型对第二人脸处理图像进行逆向图像处理，得到第三人脸处理图像；
114.步骤s330，对第三人脸处理图像进行人脸特征提取，得到人脸特征图像；
115.步骤s340，将第二人脸样本图像和人脸特征图像输入至第一扩散去噪子模型，通过第一扩散去噪子模型对第二人脸样本图像进行正向图像处理，得到第四人脸处理图像；
116.步骤s350，通过第二扩散去噪子模型对第四人脸处理图像进行逆向图像处理，得到第一人脸处理图像。
117.在一些实施例的步骤s310中，为了充分挖掘两种图像的人脸特征信息和表情特征信息，并进一步探索两者对应空间的潜在关系，实现对不在数据库内但具有相似特征的图像的表情迁移。本技术将循环模型的思想运用到ddpm上，得到预训练模型，且为了确保图像在处理过程中的数据准确性，该预训练模型采用两个ddpm构建，包括第一扩散去噪子模型和第二扩散去噪子模型，以充分挖掘不同图像之间的特征信息。其中，第一扩散去噪子模型和第二扩散去噪子模型都是基于ddpm结构进行构建，以学习到不同图像之间的内部回环和联系。为了更好地学习目标对象的人脸特征，首先，将第一人脸样本图像输入至第一扩散去噪子模型，并通过第一扩散去噪子模型对第一人脸样本图像进行正向图像处理，得到第二人脸处理图像。其中，正向图像处理包括第一扩散处理q和第一去噪处理p，例如，将输入的第一人脸样本图像记为x0，对第一人脸样本图像x0经过第一扩散处理q得到图像x
0t
，再将图像x
0t
经过第一去噪处理p得到第二人脸处理图像，将第二人脸图像记为x0'。
118.需要说明的是，扩散处理过程指的是往输入图像中加噪的过程，每一次加噪的噪声服从一个正态分布，且每一次加噪的过程具有马尔可夫性，即已知当前步骤的分布，将来步骤的分布只与当前的状态有关，与之前的无关。第一扩散处理q可以表示将输入的第一人脸样本图像x0经过扩散过程q(x
t
|x
t-1
)一步步向图像添加噪声，t是步长且t＝1,2,k,t，为超
参数，t可以取值1000，在此不作具体限定。在添加了t次噪声后，得到x
t
，该x
t
服从均值为0方差为单位阵的高斯分布。其中，扩散过程的具体定义如公式(1)所示。
[0119][0120]
其中，β
t
是一个常数，可以取值为0到1之间的等比数列，n表示服从正态分布，i为单位矩阵，当加噪t步时，加噪结果即为服从标准高斯分布的数据。
[0121]
需要说明的是，去噪处理过程指的是利用p(x
t-1
|x
t
)对高斯分布采样得到的图像进行去噪，经过t步具备马尔可夫性的去噪过程以期望得到与第一人脸样本图像对应的第二人脸处理图像，该第二人脸处理图像可以表示为pq(x0)，即第二人脸处理图像和第一人脸样本图像可能存在误差。
[0122]
在一些实施例的步骤s320中，逆向图像处理包括第二扩散处理q'和第二去噪处理p'，则将得到的第二人脸处理图像经过第二扩散处理q'得到图像x
t0
，再将图像x
t0
经过第二去噪处理p'得到第三人脸处理图像x0'，x0'可以表示为p'q'pq(x0)，p'q'pq(x0)表示图像经过了两次扩散去噪处理后的结果。本技术根据ddpm的模型框架进行模型训练，能够避免对抗式的模型框架的不稳定性，提高模型训练的稳定性。
[0123]
在一些实施例的步骤s330值步骤s350中，对第三人脸处理图像进行人脸特征提取，得到人脸特征图像。在学习完目标对象的人脸特征后，可以将第二人脸样本图像和人脸特征图像进行拼接，得到待处理图像x1，并将待处理图像x1输入至第一扩散去噪子模型进行正向图像处理。具体地，对待处理图像x1经过第一扩散处理q得到图像x
1t
，再将图像x
1t
经过第一去噪处理p得到第四人脸处理图像，将第四人脸处理图像pq(x1)。之后，将得到的第四人脸图像经过第二扩散处理q'得到图像x
t1
，再将图像x
t1
经过第二去噪处理p'得到所需的第一人脸处理图像x1'，x1'还可以表示为p'q'pq(x0)，p'q'pq(x0)也表示图像经过了两次扩散去噪处理后的结果。
[0124]
需要说明的是，对第三人脸处理图像的人脸特征提取可以采用人脸关键点定位的方法，例如，采用asm提取面部关键点，或者采用主动外观模型(active appearance models，aam)提取人脸特征，得到人脸特征图像，该人脸特征图像用于准确定位目标对象的人脸特征。
[0125]
请参阅图4，图4是本技术实施例提供的步骤s160的具体方法的流程图。在本技术的一些实施例中，步骤s160具体包括但不限于步骤s410至步骤s450，下面结合图4对这五个步骤进行详细介绍。
[0126]
步骤s410，根据第一人脸样本图像、第二人脸样本图像、第三人脸处理图像和第一人脸处理图像，确定循环损失值；
[0127]
步骤s420，根据第一人脸样本图像和第二人脸样本图像，确定空间相似性损失值；
[0128]
步骤s430，根据第二人脸处理图像和第四人脸处理图像，确定表情结构损失值；
[0129]
步骤s440，对循环损失值、空间相似性损失值和表情结构损失值进行加权计算，得到模型损失值；
[0130]
步骤s450，根据模型损失值对预训练模型的模型参数进行调整，并基于第一训练集和第二训练集继续训练调整后的模型，直至模型损失值满足预设训练结束条件，以得到人脸表情迁移模型。
[0131]
可以理解的是，为了深入挖掘不同图像在各自空间的特征信息和在不同空间之间的潜在联系，以提高模型对人脸表情的迁移能力，本技术模型损失值对应的目标函数由循环一致性损失、空间相似性损失和表情结构构成。具体地，根据第一人脸样本图像、第二人脸样本图像、第三人脸处理图像和第一人脸处理图像，确定循环损失值loss
cycle
；根据第一人脸样本图像和第二人脸样本图像，确定空间相似性损失值loss
sim
；根据第二人脸处理图像和第四人脸处理图像，确定表情结构损失值loss
face
。之后，对循环损失值loss
cycle
、空间相似性损失值loss
sim
和表情结构损失值loss
face
进行加权计算，得到模型损失值loss
sum
，根据模型损失值loss
sum
对预训练模型的模型参数进行调整，并基于第一训练集和第二训练集继续训练调整后的模型，直至模型损失值满足预设训练结束条件，以得到人脸表情迁移模型。
[0132]
为了避免模型训练过程中出现的过拟合问题，可以采用随机梯度下降法对模型参数进行调整，同时，采用早停法控制模型的进展，即将训练集中的部分样本数据设定为验证集，在验证集上获取测试结果。随着定型周期epoch的增加，如果在验证集上发现测试误差上升，例如，当模型的验证误差出现在5个以上的迭代连续上升时，停止训练，并将停止之后的权重作为网络的最终参数，则该验证误差的设置条件即为预设训练结束条件。
[0133]
需要说明的是，预设训练结束条件可以为当模型损失值loss
sum
小于预设的第二损失值阈值，或当预训练模型的识别准确率大于或等于预设的第二准确率阈值。
[0134]
请参阅图5，图5是本技术实施例提供的步骤s410的具体方法的流程图。在本技术的一些实施例中，步骤s410具体包括但不限于步骤s510至步骤s530，下面结合图5对这三个步骤进行详细介绍。
[0135]
步骤s510，对第一人脸样本图像和第一人脸处理图像进行距离损失计算，得到第一距离损失值；
[0136]
步骤s520，对第二人脸样本图像和第三人脸处理图像进行距离损失计算，得到第二距离损失值；
[0137]
步骤s530，对第一距离损失值和第二距离损失值进行加权计算，得到循环损失值。
[0138]
具体地，循环损失值包括第一人脸样本图像和第二人脸样本图像分别经过两个ddpm后的损失值，即对第一人脸样本图像和第一人脸处理图像进行距离损失计算，得到第一距离损失值loss
cycle1
。对第二人脸样本图像和第三人脸处理图像进行距离损失计算，得到第二距离损失值loss
cycle2
，并对第一距离损失值loss
cycle1
和第二距离损失值loss
cycle2
进行加权计算，得到循环损失值loss
cycle
。其中，第一距离损失值和第二距离损失值的权重可以根据情况进行调整，如公式(2)所示，为循环损失值对应的循环损失函数，假设第一距离损失值loss
cycle1
和第二距离损失值loss
cycle2
的权重相同，且当采用l1范数进行距离损失计算，得到循环损失值loss
cycle
。
[0139][0140]
其中，||
·
||表示l1范数。
[0141]
在一些实施例的步骤s430中，空间相似性损失值对应的空间损失函数用于表示噪声分布与标准正态分布之间的差距，如公式(3)所示，根据第一人脸样本图像确定第一空间
损失值loss
sim1
，根据第二人脸样本图像确定第二空间损失值loss
sim2
，确定空间相似性损失值loss
sim
。
[0142][0143]
其中，ε为从标准正态分布抽样的结果，ε
θ
为加噪处理过程对应的模型，ε
θ1
为图像x0的加噪过程对应的加噪模型中选定的参数，ε
θ2
为图像x0'的加噪过程对应的加噪模型中选定的参数，表示根据ddpm模型预置的固定参数求得任一采样时刻下的损失值。
[0144]
请参阅图6，图6是本技术实施例提供的步骤s430的具体方法的流程图。在本技术的一些实施例中，步骤s330具体包括但不限于步骤s610至步骤s660，下面结合图6对这六个步骤进行详细介绍。
[0145]
步骤s610，获取预设的矩形掩码区域；
[0146]
步骤s620，根据矩形掩码区域对第一人脸样本图像进行掩码处理，得到第一掩码图像；
[0147]
步骤s630，根据矩形掩码区域对第二人脸样本图像进行掩码处理，得到第二掩码图像；
[0148]
步骤s640，根据矩形掩码区域对第二人脸处理图像进行掩码处理，得到第三掩码图像；
[0149]
步骤s650，根据矩形掩码区域对第四人脸处理图像进行掩码处理，得到第四掩码图像；
[0150]
步骤s660，根据第一掩码图像、第二掩码图像、第三掩码图像和第四掩码图像，确定表情结构损失值。
[0151]
可以理解的是，为了使得到的人脸表情迁移模型能够采集到目标对象完整的图像，则通过设置约束特定区域得到表情结构损失，以对人物对象的人脸位置进行限定。具体地，获取预设的矩形掩码区域，该矩形掩码区域表示为mask()，则根据矩形掩码区域对第一人脸样本图像进行掩码处理，即将第一训练集d0的所有第一人脸样本图像中的掩码区域的图像提取出来，并将提取出的所有掩码图像的每个像素进行平均值计算，根据得到的多个平均相似值得到第一掩码图像，可以记为mean(mask(d0))，该第一掩码图像用于表示第一人脸样本图像在矩形掩码区域的代表特征。然后，根据矩形掩码区域对第二人脸样本图像进行掩码处理，得到第二掩码图像，即将第二训练集d0'的所有第二人脸样本图像中的掩码区域的图像提取出来，并将提取出的所有掩码图像的每个像素进行平均值计算。根据得到的多个平均相似值得到第二掩码图像，可以记为mean(mask(d0'))，该第二掩码图像用于表示图像在矩形掩码区域的代表特征。之后，根据矩形掩码区域对第二人脸处理图像pq(x0)进行掩码处理，得到第三掩码图像mask(pq(x0))，并根据矩形掩码区域对第四人脸处理图像p'q'(x0')进行掩码处理，得到第四掩码图像mask(p'q'(x0'))。最后，根据第一掩码图像、第二掩码图像、第三掩码图像和第四掩码图像确定表情结构损失值loss
face
。
[0152]
需要说明的是，矩形掩码区域可以为利用矩形定位法则在图像中进行定义，以使人物表情图像的人脸被覆盖在该矩形掩码区域内，提高模型对人脸图像的细节处理。
[0153]
请参阅图7，图7是本技术实施例提供的步骤s660的具体方法的流程图。在本技术
的一些实施例中，步骤s660具体包括但不限于步骤s710至步骤s730，下面结合图7对这三个步骤进行详细介绍。
[0154]
步骤s710，对第一掩码图像和第四掩码图像进行结构相似性计算，得到第一结构相似性损失值；
[0155]
步骤s720，对第二掩码图像和第三掩码图像进行结构相似性计算，得到第二结构相似性损失值；
[0156]
步骤s730，对第一结构相似性损失值和第二结构相似性损失值进行加权计算，得到表情结构损失值。
[0157]
具体地，利用ssim指标来衡量两个掩码图像之间的结构相似性损失，以期望经过调整后的噪声分布最终可以向正态分布靠拢甚至重叠。如公式(4)所示，对第一掩码图像mean(mask(d0))和第四掩码图像mask(p'q'(x0'))进行结构相似性计算，得到第一结构相似性损失值。对第二掩码图像mean(mask(d0'))和第三掩码图像mask(pq(x0))进行结构相似性计算，得到第二结构相似性损失值。并对第一结构相似性损失值和第二结构相似性损失值进行加权计算，得到表情结构损失值loss
face
。
[0158][0159]
需要说明的是，结构相似性计算ssim的具体计算如公式(5)所示。
[0160][0161]
其中，x和x'表示需要进行计算的两幅图像，μ
x
表示x的均值，μ
x'
表示x'的均值，表示x的方差，表示x'的方差，σ
x
表示x的协方差，σ
x'
表示x'的协方差，c1和c2表示维持稳定性的两个参数。
[0162]
在一些实施例的步骤s170中，将原始人脸图像输入训练好的人脸表情迁移模型，以通过人脸表情迁移模型将原始人脸图像转换为匹配目标表情类别的目标人脸图像，即实现原始人脸图像的原始表情类别到目标表情类别的迁移。
[0163]
请参阅图8，图8是本技术实施例提供的人脸表情迁移装置的结构示意图，该装置可以实现上述实施例的人脸表情迁移方法，该装置包括图像和类别获取模块810、第一训练集确定模块820、第二训练集确定模块830、第一模型训练模块840、模型输入模块850、第二模型训练模块860和表情迁移模块870。
[0164]
图像和类别获取模块810，用于获取目标对象的原始人脸图像和目标表情类别；
[0165]
第一训练集确定模块820，用于根据目标对象确定第一训练集，其中，第一训练集包括多个第一人脸样本图像，原始人脸图像和第一人脸样本图像属于同一所述目标对象的图像；
[0166]
第二训练集确定模块830，用于根据目标表情类别确定第二训练集，其中，第二训练集包括多个第二人脸样本图像，第二人脸样本图像对应的表情类别为目标表情类别；
[0167]
第一模型训练模块840，用于将每个第一人脸样本图像输入至预设的初始循环概
率模型中进行预训练，得到预训练模型；
[0168]
模型输入模块850，用于将第一人脸样本图像和第二人脸样本图像输入至预训练模型，得到第一人脸处理图像；
[0169]
第二模型训练模块860，用于根据第一人脸处理图像计算模型损失值，根据模型损失值调整预训练模型的模型参数，以得到人脸表情迁移模型；
[0170]
表情迁移模块870，用于将原始人脸图像输入人脸表情迁移模型，以通过人脸表情迁移模型将原始人脸图像转换为匹配目标表情类别的目标人脸图像。
[0171]
需要说明的是，本技术实施例的人脸表情迁移装置用于实现上述实施例的人脸表情迁移方法，本技术实施例的人脸表情迁移装置与前述的人脸表情迁移方法相对应，具体的处理过程请参照前述的人脸表情迁移方法，在此不再赘述。
[0172]
本技术实施例还提供了一种电子设备，该电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述实施例中任一种的人脸表情迁移方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
[0173]
请参阅图9，图9示意了另一实施例的一种电子设备的硬件结构，该电子设备包括：
[0174]
处理器910，可以采用通用的中央处理器(central processing unit，cpu)、微处理器、应用专用集成电路(application specific integrated circuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本技术实施例所提供的技术方案；
[0175]
存储器920，可以采用只读存储器(read only memory，rom)、静态存储设备、动态存储设备或者随机存取存储器(random access memory，ram)等形式实现。存储器920可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器920中，并由处理器910来调用执行本技术实施例的人脸表情迁移方法；
[0176]
输入/输出接口930，用于实现信息输入及输出；
[0177]
通信接口940，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信；
[0178]
总线950，在设备的各个组件(例如处理器910、存储器920、输入/输出接口930和通信接口940)之间传输信息；
[0179]
其中处理器910、存储器920、输入/输出接口930和通信接口940通过总线950实现彼此之间在设备内部的通信连接。
[0180]
本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序用于使计算机执行上述实施例中人脸表情迁移方法。
[0181]
本技术实施例提供的一种人脸表情迁移方法和表情迁移装置、电子设备及存储介质，首先，获取目标对象的原始人脸图像和目标表情类别，并根据目标对象确定第一训练集，根据目标表情类别确定第二训练集，其中，第一训练集包括多个第一人脸样本图像，原始人脸图像和第一人脸样本图像属于同一目标对象的图像，而第二训练集包括多个第二人脸样本图像，第二人脸样本图像对应的表情类别为目标表情类别。然后，将每个第二人脸样本图像输入至预设的初始循环概率模型中进行预训练，得到预训练模型。之后，将第一人脸样本图像和第二人脸样本图像输入至预训练模型，得到第一人脸处理图像。根据第一人脸样本图像、第二人脸样本图像、第三人脸处理图像和第一人脸处理图像，确定循环损失值；
可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
[0189]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0190]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0191]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0192]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例的方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序的介质。
[0193]
以上参阅附图说明了本技术实施例的优选实施例，并非因此局限本技术实施例的权利范围。本领域技术人员不脱离本技术实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本技术实施例的权利范围之内。

技术特征：
1.一种人脸表情迁移方法，其特征在于，所述方法包括：获取目标对象的原始人脸图像和目标表情类别；根据所述目标对象确定第一训练集，其中，所述第一训练集包括多个第一人脸样本图像，所述原始人脸图像和所述第一人脸样本图像属于同一所述目标对象的图像；根据所述目标表情类别确定第二训练集，其中，所述第二训练集包括多个第二人脸样本图像，所述第二人脸样本图像对应的表情类别为所述目标表情类别；将每个所述第二人脸样本图像输入至预设的初始循环概率模型中进行预训练，得到预训练模型；将所述第一人脸样本图像和所述第二人脸样本图像输入至所述预训练模型，得到第一人脸处理图像；根据所述第一人脸处理图像计算模型损失值，根据所述模型损失值调整所述预训练模型的模型参数，以得到人脸表情迁移模型；将所述原始人脸图像输入所述人脸表情迁移模型，以通过所述人脸表情迁移模型将所述原始人脸图像转换为匹配所述目标表情类别的目标人脸图像。2.根据权利要求1所述的方法，其特征在于，所述预训练模型包括第一扩散去噪子模型和第二扩散去噪子模型；所述将所述第一人脸样本图像和所述第二人脸样本图像输入至所述预训练模型，得到第一人脸处理图像，包括：将所述第一人脸样本图像输入至所述第一扩散去噪子模型，通过所述第一扩散去噪子模型对所述第一人脸样本图像进行正向图像处理，得到第二人脸处理图像；通过所述第二扩散去噪子模型对所述第二人脸处理图像进行逆向图像处理，得到第三人脸处理图像；对所述第三人脸处理图像进行人脸特征提取，得到人脸特征图像；将所述第二人脸样本图像和所述人脸特征图像输入至所述第一扩散去噪子模型，通过所述第一扩散去噪子模型对所述第二人脸样本图像进行正向图像处理，得到第四人脸处理图像；通过所述第二扩散去噪子模型对所述第四人脸处理图像进行逆向图像处理，得到第一人脸处理图像。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一人脸处理图像计算模型损失值，根据所述模型损失值调整所述预训练模型的模型参数，以得到人脸表情迁移模型，包括：根据所述第一人脸样本图像、所述第二人脸样本图像、所述第三人脸处理图像和所述第一人脸处理图像，确定循环损失值；根据所述第一人脸样本图像和所述第二人脸样本图像，确定空间相似性损失值；根据所述第二人脸处理图像和所述第四人脸处理图像，确定表情结构损失值；对所述循环损失值、所述空间相似性损失值和所述表情结构损失值进行加权计算，得到模型损失值；根据所述模型损失值对所述预训练模型的模型参数进行调整，并基于所述第一训练集和所述第二训练集继续训练调整后的模型，直至所述模型损失值满足预设训练结束条件，以得到人脸表情迁移模型。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一人脸样本图像、所述第二人脸样本图像、所述第三人脸处理图像和所述第一人脸处理图像，确定循环损失值，包括：对所述第一人脸样本图像和所述第三人脸处理图像进行距离损失计算，得到第一距离损失值；对所述第二人脸样本图像和所述第一人脸处理图像进行距离损失计算，得到第二距离损失值；对所述第一距离损失值和所述第二距离损失值进行加权计算，得到所述循环损失值。5.根据权利要求3所述的方法，其特征在于，所述根据所述第二人脸处理图像和所述第四人脸处理图像，确定表情结构损失值，包括：获取预设的矩形掩码区域；根据所述矩形掩码区域对所述第一人脸样本图像进行掩码处理，得到第一掩码图像；根据所述矩形掩码区域对所述第二人脸样本图像进行掩码处理，得到第二掩码图像；根据所述矩形掩码区域对所述第二人脸处理图像进行掩码处理，得到第三掩码图像；根据所述矩形掩码区域对所述第四人脸处理图像进行掩码处理，得到第四掩码图像；根据所述第一掩码图像、所述第二掩码图像、所述第三掩码图像和所述第四掩码图像，确定表情结构损失值。6.根据权利要求5所述的方法，其特征在于，所述根据所述第一掩码图像、所述第二掩码图像、所述第三掩码图像和所述第四掩码图像，确定表情结构损失值，包括：对所述第一掩码图像和所述第四掩码图像进行结构相似性计算，得到第一结构相似性损失值；对所述第二掩码图像和所述第三掩码图像进行结构相似性计算，得到第二结构相似性损失值；对所述第一结构相似性损失值和所述第二结构相似性损失值进行加权计算，得到所述表情结构损失值。7.根据权利要求1至6任一项所述的方法，其特征在于，所述将每个所述第二人脸样本图像输入至预设的初始循环概率模型中进行预训练，得到预训练模型，包括：对所述原始人脸图像进行表情特征提取，得到目标特征图像；将每个所述第二人脸样本图像输入至预设的初始循环概率模型，通过所述初始循环概率模型对所述第二人脸样本图像进行处理，得到样本特征图像；根据所述样本特征图像和所述目标特征图像确定图像损失值；根据所述图像损失值对所述初始循环概率模型的模型参数进行调整，并基于所述第二训练集继续训练调整后的模型，直至所述图像损失值满足预设训练结束条件，以得到预训练模型。8.一种人脸表情迁移装置，其特征在于，所述装置包括：图像和类别获取模块，用于获取目标对象的原始人脸图像和目标表情类别；第一训练集确定模块，用于根据所述目标对象确定第一训练集，其中，所述第一训练集包括多个第一人脸样本图像，所述原始人脸图像和所述第一人脸样本图像属于同一所述目标对象的图像；
第二训练集确定模块，用于根据所述目标表情类别确定第二训练集，其中，所述第二训练集包括多个第二人脸样本图像，所述第二人脸样本图像对应的表情类别为所述目标表情类别；第一模型训练模块，用于将每个所述第一人脸样本图像输入至预设的初始循环概率模型中进行预训练，得到预训练模型；模型输入模块，用于将所述第一人脸样本图像和所述第二人脸样本图像输入至所述预训练模型，得到第一人脸处理图像；第二模型训练模块，用于根据所述第一人脸处理图像计算模型损失值，根据所述模型损失值调整所述预训练模型的模型参数，以得到人脸表情迁移模型；表情迁移模块，用于将所述原始人脸图像输入所述人脸表情迁移模型，以通过所述人脸表情迁移模型将所述原始人脸图像转换为匹配所述目标表情类别的目标人脸图像。9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现：如权利要求1至7中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使计算机执行：如权利要求1至7中任一项所述的方法。

技术总结
本申请实施例提供了一种人脸表情迁移方法和表情迁移装置、电子设备及存储介质，属于人工智能技术领域。该方法包括：获取目标对象的原始人脸图像和目标表情类别；根据目标对象确定第一训练集，第一训练集包括多个第一人脸样本图像；根据目标表情类别确定第二训练集，第二训练集包括多个第二人脸样本图像；将第二人脸样本图像输入至预设的初始循环概率模型中进行预训练得到预训练模型；将第一人脸样本图像和第二人脸样本图像输入至预训练模型得到第一人脸处理图像，进而得到人脸表情迁移模型；将原始人脸图像输入人脸表情迁移模型，将原始人脸图像转换为匹配目标表情类别的目标人脸图像。本申请实施例能够高效准确地实现对图像中人脸表情的迁移。图像中人脸表情的迁移。图像中人脸表情的迁移。


技术研发人员：李泽远 王健宗
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：2023.04.12
技术公布日：2023/7/25