一种证件照人像发型自动编辑方法及系统与流程

1.本发明涉及计算机视觉技术领域，尤其涉及一种证件照人像发型自动编辑方法及系统。


背景技术：

2.人像证件照在智慧政务的业务场景中有着广泛应用，随着应用场景的不断拓展，证件照应用在传统的检测、合规审查、人脸要素识别的基础上，也逐渐对人像要素的编辑能力提出了需求，如人像发型的编辑功能。随着深度学习技术的不断发展，人像发型编辑处理也涌现出众多技术方案，生成对抗网络技术是其中的主流技术。目前基于生成对抗网络实现证件照人像发型编辑处理的技术方案主要存在如下一些不足：
3.(1)引入gan架构往往需要基于大量数据进行端到端的完整训练，才能得到一个面向领域的模型，训练开销大；
4.(2)人像证件照应用场景对人像发型的切合度有较高的要求，基于图像编辑技术改变人像发型得到的结果的效果不太稳定；
5.(3)目前基于gan的人像发型编辑技术在处理流程上还不够自动化，对于证件照类应用场景的用户体验存在一定影响。


技术实现要素：

6.为解决现有技术的不足，本发明提出一种证件照人像发型自动编辑方法及系统，结合了图像分割、gan技术以及规则辅助，提升处理流程的自动化，此外，目前基于大规模预训练模型+微调的方式逐渐称为ai视觉模型应用主流构建方式，本方案引入预训练模型进行面向人像发型编辑的gan模型构建，利用预训练模型中包含的基础表征能力，更好的实现人像发型编辑gan模型生成的多样性，以及融合效果。
7.为实现以上目的，本发明所采用的技术方案包括：
8.一种证件照人像发型自动编辑方法，其特征在于，包括：
9.获取待处理人脸图像以及参考目标发型人脸图像；
10.基于人脸关键点检测获取人脸关键点；将待处理人脸图像与参考目标发型人脸图像的人脸进行粗对齐，得到粗对齐后的待处理人脸图像与参考目标发型人脸图像；
11.基于多类别语义分割方法对粗对齐后的待处理人脸图像与参考目标发型人脸图像进行人脸图像的多类别分割，得到待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图；
12.构建stylegan2编码器，基于stylegan2编码器对粗对齐后的待处理人脸图像与参考目标发型人脸图像进行处理，得到待处理人脸图像的隐向量以及参考目标发型人脸图像的隐向量；
13.基于待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图以及待处理人脸图像的隐向量与参考目标发型人脸图像的隐向量，进行融合处理，得到目标图像。
14.进一步地，所述获取待处理人脸图像以及参考目标发型人脸图像，包括：用户从备选参考发型人脸库中选择参考目标发型人脸图像。
15.进一步地，所述基于人脸关键点检测获取人脸关键点，包括：基于dlib算法获取人脸轮廓的64个关键点。
16.进一步地，所述stylegan2编码器是基于clip预训练模型,通过迁移学习得到的人脸要素信息生成gan网络。
17.进一步地，所述基于多类别语义分割方法对粗对齐后的待处理人脸图像与参考目标发型人脸图像进行人脸图像的多类别分割；包括：
18.粗对齐后的待处理人脸图像与参考目标发型人脸图像存在差异的区域，包括：头发、皮肤以及未知区域的确定，处理规则包括：
19.若待处理人脸图像是皮肤，参考目标发型人脸图像是头发，则整合区域标记为头发；
20.若待处理人脸图像是头发，参考目标发型人脸图像是皮肤，则整合区域标记为皮肤；
21.若待处理人脸图像是头发或皮肤，参考目标发型人脸图像区域是其它，则整合区域标记为未知，采用快速匹配算法对像素的类别属性进行判定。
22.进一步地，所述基于待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图以及待处理人脸图像的隐向量与参考目标发型人脸图像的隐向量，进行融合处理，包括结构信息融合以及样式信息融合；
23.所述结构信息融合通过待处理人脸图像和参考目标发型图像的结构信息张量的加权求和；
24.所述样式信息融合通过合适编码表征待处理人脸图像和参考目标发型图像的视觉样式信息。
25.本发明还涉及一种证件照人像发型自动编辑系统，其特征在于，包括：
26.图像获取模块，用于获取待处理人脸图像以及参考目标发型人脸图像；
27.关键点获取模块，用于基于人脸关键点检测获取人脸关键点；将待处理人脸图像与参考目标发型人脸图像的人脸进行粗对齐，得到粗对齐后的待处理人脸图像与参考目标发型人脸图像；
28.多类别分割模块，用于基于多类别语义分割方法对粗对齐后的待处理人脸图像与参考目标发型人脸图像进行人脸图像的多类别分割，得到待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图；
29.stylegan2编码器模块，用于构建stylegan2编码器，基于stylegan2编码器对粗对齐后的待处理人脸图像与参考目标发型人脸图像进行处理，得到待处理人脸图像的隐向量以及参考目标发型人脸图像的隐向量；
30.图像融合模块，用于基于待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图以及待处理人脸图像的隐向量与参考目标发型人脸图像的隐向量，进行融合处理，得到目标图像。
31.本发明还涉及一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的证件照人像发型自动编辑方法。
32.本发明还涉及一种电子设备，其特征在于，包括处理器和存储器；
33.所述存储器，用于存储人脸关键点、待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图、stylegan2编码器以及待处理人脸图像的隐向量与参考目标发型人脸图像的隐向量；
34.所述处理器，用于通过调用人脸关键点、待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图、stylegan2编码器以及待处理人脸图像的隐向量与参考目标发型人脸图像的隐向量，执行上述的证件照人像发型自动编辑方法。
35.本发明还涉及一种计算机程序产品，包括计算机程序和/或指令，其特征在于，该计算机程序和/或指令被处理器执行时实现上述证件照人像发型自动编辑方法的步骤。
36.本发明的有益效果为：
37.采用本发明所述一种证件照人像发型自动编辑方法及系统，传统人像发型要素编辑处理较多采用分割贴图的方法，这种方法对于背景较复杂、发型较复杂的情况下，效果往往不够理想。本发明所述一种证件照人像发型自动编辑方法及系统，针对用户人像照和任意参考人像照实现发型风格自动编辑，引入了预训练模型得到面向人像属性表征与编辑的gan模型，并在此基础上，与基于分割贴图的方法结合，形成一套自动化的人像发型自动编辑处理技术装置。
附图说明
38.图1为本发明一种证件照人像发型自动编辑方法流程示意图。
39.图2为本发明一种证件照人像发型自动编辑系统结构示意图。
具体实施方式
40.为了更清楚的理解本发明的内容，将结合附图和实施例详细说明。
41.深度学习
42.深度学习(dl,deep learning)是机器学习(ml,machine learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(ai,artificial intelligence)。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。
43.生成对抗网络
44.gan是由ian goodfellow于2014年首次提出，学习gan的初衷，即生成不存在于真实世界的数据。类似于ai具有创造力和想象力。
45.gan有两大护法g和d:
46.g是generator，生成器:负责凭空捏造数据出来；d是discriminator，判别器:负责判断数据是不是真数据。
47.这样可以简单看作是两个网络的博弈过程。在原始的gan论文里面，g和d都是两个多层感知机网络。gan操作的数据不一定非是图像数据，z是随机噪声(随机生成的一些数，也是gan生成图像的源头)。d通过真图和假图的数据，进行一个二分类神经网络训练。g根据一串随机数就可以捏造出一个"假图像"出来，用这些假图去欺骗d，d负责辨别这是真图还是假图，会给出一个score。比如，g生成了一张图，在d这里评分很高，说明g生成能力是很成功的；若d给出的评分不高，可以有效区分真假图，则g的效果还不太好，需要调整参数。
48.预训练模型
49.首先，在一个原始任务上预先训练一个初始模型，然后在目标任务上使用该模型，针对目标任务的特性，对该初始模型进行精调，从而达到提高目标任务的目的。
50.在本质上，这是一种迁移学习的方法，在自己的目标任务上使用别人训练好的模型。对于文本语言来说，是有天然的标注特征的存在的，原因就在于文本可以根据之前的输入词语进行预测，而且文本大多是有很多词语，所以就可以构成很大的预训练数据，进而可以自监督(不是无监督，因为词语学习过程是依据之前词语的输出的，所以应该是自监督学习)的预训练。
51.图像分割
52.根据百度百科，图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程，即把属于同一区域的像素赋予相同的编号。
53.人像合成
54.人像合成是将照片中拍摄物体从照片中分离出来，然后重新组合，达到新的构图目的一种创作方式。和图像处理(狭义)不同，后者图像的表现内容不会发生变化，只是表现的形式(曝光、色彩等)发生改变，而图像合成，其作品的内容和构成会发生改变。二者同属于广义的图像处理范畴。图像合成最基本的两个概念是背景和前景。一般来说背景是一个完整的图像，前景是一个抠出来的图像元素。其中，前景的概念对于初学者比较难于理解，因为前景合成对象具有透明度这个新增加的概念。合成的时候，前景不透明的像素，就按照前景输出，透明的像素就按照背景输出，介于透明和不透明之间像素按照透明度混合输出。为了适应这些概念，图像合成软件的前景和背景，在软件的数据结构上，往往是用图层的形式进行组织。每个图层都是一个单独的图像，背景是一个图层、前景是另一个图层。两个图层在空间上有遮挡关系，合成的使用，操作者可以自由改变任意一个图层的属性(譬如进行调整、修饰、移动等)，同时不会影响到其他的图层。输出的时候，图层按照遮挡关系合并成完整的一个图像。当然，当合成的前景对象不止一个的时候，可以有多个前景图层。
55.客户上传自己的人像照片后，希望对发型进行改变，而这种修正又不是基于固定的发型模板进行选择，而是由系统提供一组参考的人像图片库中，客户选择自己满意的发型人像，系统再根据该发型人像变换处理客户上传的人像，得到最终的结果。对于人像的发型变换，属于人像属性编辑类应用，常见的技术处理路径包含两类，一种是基于人脸关键点定位发型边界区域后，直接使用图像分割、图像处理的方法实现人脸发型变换，另一类是基
于生成对抗网络，将人像发型作为人脸属性，转换为隐空间向量，通过对隐空间向量进行合理的操作处理，实现对人脸属性的编辑，达到变换人脸发型的目的。通常第二类方法在生成变换后的人像后的效果往往要优于第一类，本方案中，也采用基于gan的技术处理路线。
56.本发明第一方面涉及一种证件照人像发型自动编辑方法步骤流程如图1所示的方法，包括：
57.人脸关键点提取
58.这部分是对输入人脸图像进行对齐处理，主要是基于dlib算法获取人脸轮廓的64个关键点，实现待处理人像与目标参考人像的粗略中心点粗略对齐。
59.人像多区域分割与补全
60.可以通过多类别语义分割方法(如bisegnet)实现人脸图像的多类别分割，但由于目标人脸图像与参考发型图像的尺度、姿态可能存在差异，需要对结果进行自动化补全处理，以便后续更好的融合图像。
61.通过bisegnet网络对目标人像、参考人像进行多类别分割，得到人脸的关键属性区域mask，重点是人脸皮肤、头发区域、其它区域(背景、眼睛、鼻子、耳朵、眉毛等)的界定。为了实现自动化处理，采用了如下策略：
62.通过多类别语义分割，每个像素会被分配一个区域类别标签k
63.对于在目标图像和参考发型图像上存在差异的区域，主要是头发、皮肤、未知区域的确定上，过程主要策略是：
64.如果目标图像是皮肤，而参考发型图像是头发，则整合区域标记为头发；
65.如果目标图像是头发，而参考发型图像是皮肤，则整合区域标记为皮肤；
66.如果目标头像是头发或皮肤，而参考发型图像区域是其它，则整合区域标记为未知；由于存在主体遮挡头发的情况，会采用快速匹配算法(ffm)对像素的类别属性进行最终判定。
67.人脸发型要素隐变量编码
68.为了更好的实现人脸发型属性要素的编辑处理，需要获得一个有效的针对人脸发型属性编码操作的gan网络。在人像属性要素生成领域，stylegan网络是目前的sota架构，实现对人脸图像编码获取隐空间向量，同时由于希望利用有限的数据中心更有效的获得本场景人脸发型要素提取gan，在gan的整体架构中引入预训练模型，接上分类头组成的新判别器，并跟初始stylegan网络的判别器并联，进行联合训练。
69.编码器构建
70.构建编码器是为了获得对目标图像与参考发型图像人脸属性的隐空间向量，以便于后续更好的实现属性的编辑操作。总体来说，有两类方法实现这一目的。一类是基于优化的方法，如stylegan、ii2s等。另一类是是基于编码器的方法，通过在隐空间训练一个编码器来实现,如psp endoer+stylegan的架构。方案参考了第一种策略，在stylegan2基础上进行实现，对于stylegan2网络。
71.该架构包含两部分，mapping network、synthesis network，前者用于将latent code z解耦转换成为w，即生成风格参数，首先从正态分布中采样数据z空间，通过多层全链接层生成512维的数据w空间，w空间会复制18份称为w+空间，w+空间经过仿射变换映射到s空间；后者用于生成图像，利用卷积和上采样层，通过接受映射网络得到的style风格参数
最终生成目标尺度的图片。针对w+空间进行不同扩展，可以实现多种对人脸属性要素的操作变换。
72.在原有的stylegan w+空间基础上，构造一个新的fs空间，其中原w+空间的18个分量的前m个分量由stylegan2生成器的style block代替，并构成f编码，而剩余的分量被用于作为s编码。f编码信息控制发型位置信息，s编码信息控制发型外观信息。在这里，假设输入的待处理图像与参考发型图像分别为iface和ihair。首先是获得重构的隐向量，这里参考了ii2s等编码器的实现机制，构建输入目标图片和参考发型图片的隐空间向量：
73.c
rec
＝argminl
pips
(c)+||f-f
init
||
74.其中finit＝gm(wrec)是位置信息的初始值。
75.得到重构隐向量由于其不是针对分割区域对其的，因此还需要进行处理，获得针对分割区域对齐的隐向量编码。在这部分处理中，参考ii2s、psp等模型的处理方法，一般是通过组合gan的生成器和语义分割网络，得到一个可微分函数，也可以看作一个语义分割网络可微分生成器。通过训练这样的网络，可以从目标图像得到一个隐向量编码，这个编码和参考发型图像的分割区域编码会具有一定相似性。训练这样的网络需要设计专门的损失函数，目前效果比较好的是优化由组合交叉熵损失和风格损失联合组成的损失函数。最终，可以得到如下隐变量编码。
76.f
align
＝am*bm*f
rec
+(1-am*bm)*gm(w
align
)
77.该隐变量可以有效表述目标图像与参考发型图像分语义分割对其区域的发型要素属性，用于支持后续的融合操作。
78.基于预训练模型微调
79.基于gan实现图像要素的隐变量编码，一般需要针对不同应用领域，端到端的训练面向领域的gan，由于gan模型结构的特点，端到端的训练面向领域gan具有一定的难度，结合近年来预训练模型应用的日渐广泛，本装置中也引入预训练模型辅助领域stylegan2模型的训练。
80.其中，图中g部分代表stylegan2的generator部分，由mapping和synthesis两部分网络构成，d代表discriminator部分，由多个discriminator block与mapping网络组成，这里选取基于通用人像生成训练好的stylegan2网络作为初始g、d的初始网络参数；并选取纯视觉的预训练模型或者多模态的预训练模型，接上分类头，与stylegan2中的d联合组成d’，本方案选择clip多模态预训练模型。因此整个模型的训练优化函数变成下述公式形式：
81.min max v(d,g)+v(d’,g)
82.其中，+号左边部分是原有styegan2网络的优化目标函数，+号右边是加入预训练后的目标函数，并联的判别器会跟原始判别器同时被训练，产生的梯度变化共同对生成器部分进行调整。
83.需要说明的是，从自动化实现人像发型编辑的角度，仅依靠分割贴图的方法来实现人像发现编辑的功能在场景效果比较局限，而单纯使用基于gan的方法无法达到自动化；通过gan方法获取人脸属性要素编码信息可以有很多种实现方式，因此可以尝试使用不同的gan网络模型结构来获取人脸发型要素信息实现发型的编辑，但效果会有差异。
84.融合处理
85.在对齐、编码的基础上，基于对齐后的原始图像、隐向量，进行融合处理。这包含三
部分。
86.首先是结构信息融合，主要是通过待处理人脸图像和参考发型图像的结构信息张量的加权求和实现，如下公式所述：
[0087][0088]
其中，fk为通过编码器得到的图像结构信息编码向量。
[0089]
其次是是样式信息融合，目的是寻找一个样式的合适编码s
blend
，来表征人脸图像和参考发型图像的视觉样式信息，记为
[0090][0091]
其中，sk为通过编码器得到的图像样式编码，而uk是一组融合权重，满足
[0092][0093]sblend
可以看作是sk的凸组合，而求解s
blend
引入learned perceptual image patch similarity(lpips)距离函数，基于其设计作损失函数，通过学习来寻找获得合适的样式编码值。如下式为lpips距离函数的计算公式。
[0094][0095]
而损失函数的公式如下：
[0096][0097]
本发明另一方面还涉及一种证件照人像发型自动编辑系统，其结构如图2所示，包括：
[0098]
图像获取模块，用于获取待处理人脸图像以及参考目标发型人脸图像；
[0099]
关键点获取模块，用于基于人脸关键点检测获取人脸关键点；将待处理人脸图像与参考目标发型人脸图像的人脸进行粗对齐，得到粗对齐后的待处理人脸图像与参考目标发型人脸图像；
[0100]
多类别分割模块，用于基于多类别语义分割方法对粗对齐后的待处理人脸图像与参考目标发型人脸图像进行人脸图像的多类别分割，得到待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图；
[0101]
stylegan2编码器模块，用于构建stylegan2编码器，基于stylegan2编码器对粗对齐后的待处理人脸图像与参考目标发型人脸图像进行处理，得到待处理人脸图像的隐向量以及参考目标发型人脸图像的隐向量；
[0102]
图像融合模块，用于基于待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图以及待处理人脸图像的隐向量与参考目标发型人脸图像的隐向量，进行融合处理，得到目标图像。
[0103]
通过使用该系统，能够执行上述的运算处理方法并实现对应的技术效果。
[0104]
本发明的实施例还提供能够实现上述实施例中的方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执
行时实现上述实施例中的方法的全部步骤。
[0105]
本发明的实施例还提供一种用于执行上述方法的电子设备，作为该方法的实现装置，所述电子设备至少具备有处理器和存储器，特别是该存储器上存储有执行方法所需的数据和相关的计算机程序，例如人脸关键点、待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图、stylegan2编码器以及待处理人脸图像的隐向量与参考目标发型人脸图像的隐向量等，并通过由处理器调用存储器中的数据、程序执行实现方法的全部步骤，并获得对应的技术效果。
[0106]
优选的，该电子设备可以包含有总线架构，总线可以包括任意数量的互联的总线和桥，总线将包括由一个或多个处理器和存储器的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和接收器和发送器之间提供接口。接收器和发送器可以是同一个元件，即收发机，提供用于在传输介质上与各种其他系统通信的单元。处理器负责管理总线和通常的处理，而存储器可以被用于存储处理器在执行操作时所使用的数据。
[0107]
额外的，所述电子设备还可以进一步包括通信模块、输入单元、音频处理器、显示器、电源等部件。其所采用的处理器(或称为控制器、操作控件)可以包括微处理器或其他处理器装置和/或逻辑装置，该处理器接收输入并控制电子设备的各个部件的操作；存储器可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种，可储存上述有关的数据信息，此外还可存储执行有关信息的程序，并且处理器可执行该存储器存储的该程序，以实现信息存储或处理等；输入单元用于向处理器提供输入，例如可以为按键或触摸输入装置；电源用于向电子设备提供电力；显示器用于进行图像和文字等显示对象的显示，例如可为lcd显示器。通信模块即为经由天线发送和接收信号的发送机/接收机。通信模块(发送机/接收机)耦合到处理器，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)还经由音频处理器耦合到扬声器和麦克风，以经由扬声器提供音频输出，并接收来自麦克风的音频输入，从而实现通常的电信功能。音频处理器可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器还耦合到中央处理器，从而使得可以通过麦克风能够在本机上录音，且使得可以通过扬声器来播放本机上存储的声音。
[0108]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0109]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。
[0110]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0111]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0112]
以上所述仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换等都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

技术特征：
1.一种证件照人像发型自动编辑方法，其特征在于，包括：获取待处理人脸图像以及参考目标发型人脸图像；基于人脸关键点检测获取人脸关键点；将待处理人脸图像与参考目标发型人脸图像的人脸进行粗对齐，得到粗对齐后的待处理人脸图像与参考目标发型人脸图像；基于多类别语义分割方法对粗对齐后的待处理人脸图像与参考目标发型人脸图像进行人脸图像的多类别分割，得到待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图；构建stylegan2编码器，基于stylegan2编码器对粗对齐后的待处理人脸图像与参考目标发型人脸图像进行处理，得到待处理人脸图像的隐向量以及参考目标发型人脸图像的隐向量；基于待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图以及待处理人脸图像的隐向量与参考目标发型人脸图像的隐向量，进行融合处理，得到目标图像。2.如权利要求1所述的方法，其特征在于，所述获取待处理人脸图像以及参考目标发型人脸图像，包括：用户从备选参考发型人脸库中选择参考目标发型人脸图像。3.如权利要求1所述的方法，其特征在于，所述基于人脸关键点检测获取人脸关键点，包括：基于dlib算法获取人脸轮廓的64个关键点。4.如权利要求1所述的方法，其特征在于，所述stylegan2编码器是基于clip预训练模型,通过迁移学习得到的人脸要素信息生成gan网络。5.如权利要求1所述的方法，其特征在于，所述基于多类别语义分割方法对粗对齐后的待处理人脸图像与参考目标发型人脸图像进行人脸图像的多类别分割；包括：粗对齐后的待处理人脸图像与参考目标发型人脸图像存在差异的区域，包括：头发、皮肤以及未知区域的确定，处理规则为：若待处理人脸图像是皮肤，参考目标发型人脸图像是头发，则整合区域标记为头发；若待处理人脸图像是头发，参考目标发型人脸图像是皮肤，则整合区域标记为皮肤；若待处理人脸图像是头发或皮肤，参考目标发型人脸图像区域是其它，则整合区域标记为未知，采用快速匹配算法对像素的类别属性进行判定。6.如权利要求1所述的方法，其特征在于，所述基于待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图以及待处理人脸图像的隐向量与参考目标发型人脸图像的隐向量，进行融合处理，包括结构信息融合以及样式信息融合；所述结构信息融合通过待处理人脸图像和参考目标发型图像的结构信息张量的加权求和；所述样式信息融合通过合适编码表征待处理人脸图像和参考目标发型图像的视觉样式信息。7.一种证件照人像发型自动编辑系统，其特征在于，包括：图像获取模块，用于获取待处理人脸图像以及参考目标发型人脸图像；关键点获取模块，用于基于人脸关键点检测获取人脸关键点；将待处理人脸图像与参考目标发型人脸图像的人脸进行粗对齐，得到粗对齐后的待处理人脸图像与参考目标发型人脸图像；多类别分割模块，用于通过多类别语义分割方法对粗对齐后的待处理人脸图像与参考目标发型人脸图像进行人脸图像的多类别分割，得到待处理人脸图像掩膜图与参考目标发
型人脸图像掩膜图；stylegan2编码器模块，用于构建stylegan2编码器，基于stylegan2编码器对粗对齐后的待处理人脸图像与参考目标发型人脸图像进行处理，得到待处理人脸图像的隐向量以及参考目标发型人脸图像的隐向量；图像融合模块，用于基于待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图以及待处理人脸图像的隐向量与参考目标发型人脸图像的隐向量，进行融合处理，得到目标图像。8.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的证件照人像发型自动编辑方法。9.一种电子设备，其特征在于，包括处理器和存储器；所述存储器，用于存储人脸关键点、待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图、stylegan2编码器以及待处理人脸图像的隐向量与参考目标发型人脸图像的隐向量；所述处理器，用于通过调用人脸关键点、待处理人脸图像掩膜图与参考目标发型人脸图像掩膜图、stylegan2编码器以及待处理人脸图像的隐向量与参考目标发型人脸图像的隐向量，执行权利要求1至6中任一项所述的证件照人像发型自动编辑方法。10.一种计算机程序产品，包括计算机程序和/或指令，其特征在于，该计算机程序和/或指令被处理器执行时实现权利要求1至6中任一项所述证件照人像发型自动编辑方法的步骤。

技术总结
本发明涉及一种证件照人像发型自动编辑方法及系统，在传统基于分割贴图的发型变换方法基础上，通过引入预训练模型辅助获得GAN模型，针对用户人像照和任意参考人像照实现发型风格自动编辑，结合了图像分割、GAN技术以及规则辅助，提升处理流程的自动化，基于大规模预训练模型+微调的方式逐渐成为AI视觉模型应用主流构建方式，本发明涉及一种证件照人像发型自动编辑方法及系统，通过引入预训练模型进行面向人像发型编辑的GAN模型构建，利用预训练模型中包含的基础表征能力，更好的实现人像发型编辑GAN模型生成的多样性，以及融合效果。以及融合效果。以及融合效果。


技术研发人员：郑江 丁苏苏 张士存 罗奕康 戴菀庭 王伊妍
受保护的技术使用者：建信金融科技有限责任公司
技术研发日：2023.05.15
技术公布日：2023/8/2