用于提高AI换脸真实度的方法、换脸方法与流程

用于提高ai换脸真实度的方法、换脸方法
技术领域
1.本发明涉及深度伪造和合成技术领域，特别涉及一种用于提高ai换脸真实度的方法。


背景技术：

2.当前，使用人工智能技术进行图片或视频换脸是一个热门技术，它可以将一个人的脸部特征换成另一个人的脸部特征，从而使某个场景下，好像是另一个人在场。目前比较热门的换脸工具有deepfacelab、simswap等，他们的换脸思路基本一致，都是将一张图片的人脸，经过人工神经网络的能力进行适当的放大缩小扭曲，从而使其契合另一张图片的脸部位置，并将脸部图片覆盖原图，以此达到换脸的目的。当前的换脸技术有一个缺点：如果源图片和目标图片的清晰度不同时，换脸后的图片能看出明显的清晰度不统一。例如场景很锐利，但是脸部或者五官很模糊；或者场景很模糊，脸部很锐利。这样即使换脸时人脸覆盖效果非常好，还是能明显看出修改痕迹，因为整个图片中人脸的清晰度和其他区域清晰度不一致。
3.当前处理清晰度不同的方法主要有三种。一种是使用提升分辨率的工具，使换脸后的图片整体更加清晰锐利，从而使五官的清晰度获得提升。这种方法虽然一定程度解决的部分模糊的问题，但如果原始场景的分辨率较低，脸部分辨率较高，就会破环原始场景，就不能称为换脸了，而是为了换脸将整张图片都进行了修改。另一种方法是缩小换脸五官的更换区域，使换脸的更换区域尽可能小。当更换部分足够小的时候，人们就不会太注意到清晰度不同的问题，只要五官看起来更换了就可以了。这种方法使用检测工具可以很容易的检测出修改痕迹，也不太适用。第三种方法就是换脸前先将源图片与目标图片的清晰度统一，再进行换脸，这种方法非常繁琐，因为图片的分辨率各种各样，有时即使分辨率高，图片看起来仍然模糊，要调整成分辨率和清晰度都吻合需要消耗大量的算力和时间。如果要换的图片或视频量比较大时，这个工作就很难完成了。


技术实现要素：

4.本发明的首要目的在于提供一种用于提高ai换脸真实度的方法，能够调整换脸后的图片中人脸或五官部分的清晰度使其与图片其他区域的清晰度保持一致。
5.为实现以上目的，本发明采用的技术方案为：一种用于提高ai换脸真实度的方法，包括如下步骤：构建样本集：获取含有人脸的图片得到基准图片；对基准图片中的人脸或五官部分进行虚化或锐化改变其分辨率得到变换图片；变换图片及其对应的基准图片为一个样本；构建适用于pix2pix的unet模型，利用构建的样本集对该模型进行训练得到训练好的脸部清晰度适配模型，训练时样本的基准图片、变换图片分别作为模型输入和输出；将换脸后的图片导入脸部清晰度适配模型中进行清晰度适配后得到清晰度一致的换脸图片。
6.本发明的另一个目的在于提供一种换脸方法，使得换脸后的图片清晰度一致，伪造效果更加真实。
7.为实现以上目的，本发明采用的技术方案为：将源图片和目标图片输入至换脸模型中得到换脸后的图片；将换脸后的图片导入训练好的脸部清晰度适配模型中进行清晰度适配后得到清晰度一致的换脸图片。
8.与现有技术相比，本发明存在以下技术效果：通过构建模型和样本集，直接通过训练得到训练好的脸部清晰度适配模型，该训练好的模型可以直接将输入的图片中所有区域的分辨率调整为一致；为了确保该模型的处理效果，我们以分辨率一致的含有人脸的图片作为基准图片，通过人为制造的方式构建该基准图片对应的变换图片，从而可以批量的制造特用的样本集，再利用该样本集对模型进行训练，训练得到的脸部清晰度适配模型能够非常快速和准确的将清晰度不一致的换脸图片处理为清晰度一致的换脸图片。
附图说明
9.图1是用于提高ai换脸真实度的方法的流程图；图2是换脸方法的原理框图。
具体实施方式
10.下面结合图1至图2，对本发明做进一步详细叙述。
11.参阅图1，本发明公开了一种用于提高ai换脸真实度的方法，包括如下步骤：构建样本集：获取含有人脸的图片得到基准图片，基准图片在选择时，尽量包含不同清晰度的；对基准图片中的人脸或五官部分进行虚化或锐化改变其分辨率得到变换图片；变换图片及其对应的基准图片构成一个样本。将分辨率一致的基准图片反推清晰度不同的变换图片，处理起来非常的方便且迅速，从而使得样本可以大批量被制作。其次，再构建适用于pix2pix的unet模型，利用构建的样本集对该模型进行训练得到训练好的脸部清晰度适配模型，训练时样本的变换图片、基准图片分别作为模型输入和输出；将换脸后的图片导入脸部清晰度适配模型中进行清晰度适配后得到清晰度一致的换脸图片。通过构建模型和样本集，直接通过训练得到训练好的脸部清晰度适配模型，该训练好的模型可以直接将输入的图片中所有区域的分辨率调整为一致；为了确保该模型的处理效果，我们以分辨率一致的含有人脸的图片作为基准图片，通过人为制造的方式构建该基准图片对应的变换图片，从而可以批量的制造特用的样本集，再利用该样本集对模型进行训练，训练得到的脸部清晰度适配模型能够非常快速和准确的将清晰度不一致的换脸图片处理为清晰度一致的换脸图片。
12.进一步地，所述的适用于pix2pix的unet模型是以普通的unet网络为基础，下采样部分由之前的池化层替换为步长为2的卷积核，该模型训练时的损失函数为l1损失。之所以不是采用池化来改变size的大小，是因为采用卷积的方法，可以更好的还原图片信息，而不是仅仅提取特征。
13.进一步地，所述的对基准图片中的人脸或五官部分进行虚化或锐化改变其分辨率得到变换图片包括如下步骤：使用人脸检测工具获取基准图片中的人脸框，人脸检测工具可以是cv2或yolo等；由于在人脸框内，人的五官位置基本是固定的，根据人脸框的坐标获取人脸五官坐标，根据五官坐标以及预设的五官大小获得五官区域；对五官区域进行模糊或锐化得到第一图片；对人脸框内区域进行模糊或锐化得到第二图片；第一图片和第二图
片均为变换图片。之所以生成第一图片和第二图片，是为了提高模型的适用性。有些换脸算法换的是五官，有些换的是人脸，我们希望本方法均能适用，因此在构建样本集时，针对这两种情况，分别构建了样本集。生成变换图片时，具体选择模糊还是锐化以及模糊或锐化的具体参数，都可以在预设的范围里随机选择，这样才能保证生成的样本多样化。
14.进一步地，所述构建样本集的步骤中，还包括：对人脸框以外随机区域进行模糊或锐化得到第三图片，第三图片及其对应的基准图片构成一个样本。第三图片构成的样本，可以提高模型的泛化能力。不过这一部分图片不易过多，还是以第一图片和第二图片为主。
15.进一步地，所述的样本集中，第一图片、第二图片、第三图片的数量比为1:1:1。这个比例是优选的，实际应用时，比例可以稍微进行调整。
16.参阅图2，本发明还公开了一种换脸方法，包括如下步骤：将源图片和目标图片输入至换脸模型中得到换脸后的图片；将换脸后的图片导入训练好的脸部清晰度适配模型中进行清晰度适配后得到清晰度一致的换脸图片。通过该换脸方法，可以将换脸后图片的清晰度保持一致，避免别人通过目视的方式察觉出换脸。该方法主要的改进点就是在于前述的用于提高ai换脸真实度的方法，因此其优点和前述用于提高ai换脸真实度的方法优点相同，这里就不再重复。
17.本发明还公开了一种计算机可读存储介质和一种电子设备。其中，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如前所述的用于提高ai换脸真实度的方法或实现如前所述的换脸方法。一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序时，实现如前所述的用于提高ai换脸真实度的方法或实现如前所述的换脸方法。

技术特征：
1.一种用于提高ai换脸真实度的方法，其特征在于：包括如下步骤：构建样本集：获取含有人脸的图片得到基准图片；对基准图片中的人脸或五官部分进行虚化或锐化改变其分辨率得到变换图片；变换图片及其对应的基准图片构成一个样本；构建适用于pix2pix的unet模型，利用构建的样本集对该模型进行训练得到训练好的脸部清晰度适配模型，训练时样本的变换图片、基准图片分别作为模型输入和输出；将换脸后的图片导入脸部清晰度适配模型中进行清晰度适配后得到清晰度一致的换脸图片。2.如权利要求1所述的用于提高ai换脸真实度的方法，其特征在于：所述的适用于pix2pix的unet模型是以普通的unet网络为基础，下采样部分由之前的池化层替换为步长为2的卷积核，该模型训练时的损失函数为l1损失。3.如权利要求1所述的用于提高ai换脸真实度的方法，其特征在于：所述的对基准图片中的人脸或五官部分进行虚化或锐化改变其分辨率得到变换图片包括如下步骤：使用人脸检测工具获取基准图片中的人脸框；根据人脸框的坐标获取人脸五官坐标，根据五官坐标以及预设的五官大小获得五官区域；对五官区域进行模糊或锐化得到第一图片；对人脸框内区域进行模糊或锐化得到第二图片；第一图片和第二图片均为变换图片。4.如权利要求3所述的用于提高ai换脸真实度的方法，其特征在于：所述构建样本集的步骤中，还包括：对人脸框以外随机区域进行模糊或锐化得到第三图片，第三图片及其对应的基准图片构成一个样本。5.如权利要求4所述的用于提高ai换脸真实度的方法，其特征在于：所述的样本集中，第一图片、第二图片、第三图片的数量比为1:1:1。6.一种换脸方法，其特征在于：包括如下步骤：将源图片和目标图片输入至换脸模型中得到换脸后的图片；将换脸后的图片导入权利要求1中训练好的脸部清晰度适配模型中进行清晰度适配后得到清晰度一致的换脸图片。7.一种计算机可读存储介质，其特征在于：其上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1-5中任一项所述的用于提高ai换脸真实度的方法或实现如权利要求6所述的换脸方法。8.一种电子设备，其特征在于：包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-5中任一项所述的用于提高ai换脸真实度的方法或实现如权利要求6所述的换脸方法。

技术总结
本发明特别涉及一种用于提高AI换脸真实度的方法、换脸方法，其中，一种用于提高AI换脸真实度的方法，包括如下步骤：对含有人脸的基准图片进行区域虚化或锐化从而构建样本集；构建适用于pix2pix的Unet模型，利用构建的样本集对该模型进行训练得到训练好的脸部清晰度适配模型；将换脸后的图片导入脸部清晰度适配模型中进行清晰度适配后得到清晰度一致的换脸图片。我们以分辨率一致的含有人脸的图片作为基准图片，通过人为制造的方式构建该基准图片对应的变换图片，从而可以批量的制造特用的样本集，再利用该样本集对模型进行训练，训练得到的脸部清晰度适配模型能够非常快速和准确的将清晰度不一致的换脸图片处理为清晰度一致的换脸图片。一致的换脸图片。一致的换脸图片。


技术研发人员：田辉 王宇剑 郭玉刚 彭胜聪 张志翔
受保护的技术使用者：合肥高维数据技术有限公司
技术研发日：2023.05.19
技术公布日：2023/8/9