用于生成人脸数据的图像处理系统及方法与流程

1.本技术涉及智能化图像处理领域，且更为具体地，涉及一种用于生成人脸数据的图像处理系统及方法。


背景技术：

2.近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号、图像处理等领域。人脸图像经过处理得到的人脸数据是一项重要的生物识别信息，深度学习以及神经网络的发展为挖掘所述人脸图像特征信息提供了新的解决思路和方案。
3.申请号为201711494694.9的中国专利公开了一种基于神经网络和积分图像的人脸定位方法，包括以下步骤：1.训练神经网络模型；2.使用训练好的模型对数字凸显进行人脸/非人脸的分类以及人脸区域的坐标定位。本发明利用单个简单的神经网络和积分图像以及数字图像处理的技术实现了对数字图像中的人脸进行分类和定位。该发明具有简单快速的特点，具有更好的鲁棒性，对训练样本的数量要求更小，使得训练工作成本更低，整体的实施成本也大大的降低，且对于多状态的人脸分类更具有优势。
4.申请号为201810946637.8的中国发明专利公开了一种基于卷积神经网络的人脸图像质量评估方法和系统。该方法步骤包括：1)构建一深度卷积网络作为大网络，以及一浅卷积层的小网络；2)利用已标注的训练样本分别训练该大网络和该小网络，直至该小网络输出的特征向量与该大网络输出的特征向量基本一致；其中，每次迭代训练时，将该大网络输出的特征向量与该小网络输出的特征向量一起作为该小网络的回归损失函数层的输入；3)将目标人脸图像输入步骤2)训练好的小网络，得到该目标人脸图像的特征向量并将其输入质量评估网络，利用质量评估网络计算得到该目标人脸图像图像质量。该发明极大优化了图像质量评估的准确度及实时性。
5.随着人工智能和计算机视觉技术的不断发展，人脸图像处理的应用场景也得到了广泛的应用。比如，在医疗整形行业中，通过对人脸图片进行分析和处理，可以提供更准确的面部优化和整形技术支持。而由于每个患者的脸型、面部特征以及医生的要求等因素都可能不同，导致对于人脸分析的准确性和效率较低，影响后续的医疗整形工作。
6.因此，期望一种优化的用于生成人脸数据的图像处理系统。


技术实现要素：

7.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种用于生成人脸数据的图像处理系统及方法。其首先对获取的目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分以得到预处理后人脸图像，接着对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列，然后将所述人脸局部图像块的序列通过包含嵌入层的vit模型以得到人脸全局语义特征向量，接着对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量，最后将所述优化人脸全局语义特征向量通过第一分类器以得到用于表示鼻梁优化的推荐
等级是否超过预定阈值的第一分类结果。这样可以提升人脸分析的准确性和效率。
8.根据本技术的一个方面，提供了一种用于生成人脸数据的图像处理系统，其包括：人脸图像数据采集模块，用于获取目标对象的人脸图像；图像预处理模块，用于对所述目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分以得到预处理后人脸图像；图像分块模块，用于对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列；人脸全局特征提取模块，用于将所述人脸局部图像块的序列通过包含嵌入层的vit模型以得到人脸全局语义特征向量；特征优化模块，用于对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量；以及鼻梁优化模块，用于将所述优化人脸全局语义特征向量通过第一分类器以得到第一分类结果，所述第一分类结果用于表示鼻梁优化的推荐等级是否超过预定阈值。
9.在上述的用于生成人脸数据的图像处理系统中，所述图像分块模块，用于对所述预处理后人脸图像进行均匀地图像分块处理以得到人脸局部图像块的序列。
10.在上述的用于生成人脸数据的图像处理系统中，所述人脸全局特征提取模块，包括：嵌入化单元，用于使用所述vit模型的所述嵌入层分别对所述人脸局部图像块的序列中各个人脸局部图像块进行嵌入化以得到人脸局部图像块嵌入向量的序列；以及vit编码单元，用于将所述人脸局部图像块嵌入向量的序列通过所述vit模型以得到所述人脸全局语义特征向量。
11.在上述的用于生成人脸数据的图像处理系统中，所述嵌入化单元，用于将所述人脸局部图像块的序列中各个人脸局部图像块的二维像素值矩阵展开为一维像素值向量以得到一维像素值向量的序列；以及使用所述嵌入层分别对所述一维像素值向量的序列中的各个一维像素值向量进行全连接编码以得到所述人脸局部图像块嵌入向量的序列。
12.在上述的用于生成人脸数据的图像处理系统中，所述特征优化模块，用于以如下优化公式对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到所述优化人脸全局语义特征向量；其中，所述优化公式为：
13.其中，是所述人脸全局语义特征向量，是所述人脸全局语义特征向量的第个位置的特征值，是所述人脸全局语义特征向量的长度，表示所述人脸全局语义特征向量的二范数的平方，是加权超参数，是所述优化人脸全局语义特征向量的第个位置的特征值。
14.在上述的用于生成人脸数据的图像处理系统中，所述鼻梁优化模块，包括：全连接编码单元，用于使用所述第一分类器的全连接层对所述优化人脸全局语义
特征向量进行全连接编码以得到编码分类特征向量；以及分类单元，用于将所述编码分类特征向量输入所述第一分类器的softmax分类函数以得到所述第一分类结果。
15.根据本技术的另一个方面，提供了一种用于生成人脸数据的图像处理方法，其包括：获取目标对象的人脸图像；对所述目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分以得到预处理后人脸图像；对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列；将所述人脸局部图像块的序列通过包含嵌入层的vit模型以得到人脸全局语义特征向量；对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量；以及将所述优化人脸全局语义特征向量通过第一分类器以得到第一分类结果，所述第一分类结果用于表示鼻梁优化的推荐等级是否超过预定阈值。
16.在上述的用于生成人脸数据的图像处理方法中，对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列，包括：对所述预处理后人脸图像进行均匀地图像分块处理以得到人脸局部图像块的序列。
17.在上述的用于生成人脸数据的图像处理方法中，将所述人脸局部图像块的序列通过包含嵌入层的vit模型以得到人脸全局语义特征向量，包括：使用所述vit模型的所述嵌入层分别对所述人脸局部图像块的序列中各个人脸局部图像块进行嵌入化以得到人脸局部图像块嵌入向量的序列；以及将所述人脸局部图像块嵌入向量的序列通过所述vit模型以得到所述人脸全局语义特征向量。
18.在上述的用于生成人脸数据的图像处理方法中，使用所述vit模型的所述嵌入层分别对所述人脸局部图像块的序列中各个人脸局部图像块进行嵌入化以得到人脸局部图像块嵌入向量的序列，包括：将所述人脸局部图像块的序列中各个人脸局部图像块的二维像素值矩阵展开为一维像素值向量以得到一维像素值向量的序列；以及使用所述嵌入层分别对所述一维像素值向量的序列中的各个一维像素值向量进行全连接编码以得到所述人脸局部图像块嵌入向量的序列。
19.与现有技术相比，本技术提供的用于生成人脸数据的图像处理系统及方法，其首先对获取的目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分以得到预处理后人脸图像，接着对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列，然后将所述人脸局部图像块的序列通过包含嵌入层的vit模型以得到人脸全局语义特征向量，接着对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量，最后将所述优化人脸全局语义特征向量通过第一分类器以得到用于表示鼻梁优化的推荐等级是否超过预定阈值的第一分类
结果。这样可以提升人脸分析的准确性和效率。
附图说明
20.为了更清楚地说明本技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本技术的主旨。
21.图1为根据本技术实施例的用于生成人脸数据的图像处理系统的应用场景图。
22.图2为根据本技术实施例的用于生成人脸数据的图像处理系统的框图示意图。
23.图3为根据本技术实施例的用于生成人脸数据的图像处理系统中的所述人脸全局特征提取模块的框图示意图。
24.图4为根据本技术实施例的用于生成人脸数据的图像处理系统中的所述鼻梁优化模块的框图示意图。
25.图5为根据本技术实施例的用于生成人脸数据的图像处理方法的流程图。
26.图6为根据本技术实施例的用于生成人脸数据的图像处理方法的系统架构的示意图。
具体实施方式
27.下面将结合附图对本技术实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本技术的部分实施例，而不是全部的实施例。基于本技术实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本技术保护的范围。
28.如本技术和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
29.虽然本技术对根据本技术的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
30.本技术中使用了流程图用来说明根据本技术的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
31.下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
32.如上所述，在医疗整形行业中，通过对人脸图片进行分析和处理，可以提供更准确的面部优化和整形技术支持。然而，由于每个患者的脸型、面部特征以及医生的要求等因素都可能不同，导致对于人脸分析的准确性和效率较低，影响后续的医疗整形效果。因此，期
望一种优化的用于生成人脸数据的图像处理系统。
33.具体地，在本技术的技术方案中，提出了一种用于生成人脸数据的图像处理系统，其能够基于图像识别和机器视觉技术来检测出目标对象的眼睛大小、位置以及各个人脸的特征信息，然后通过远程监测目标对象的眼睛度数和散光，以及目标对象的人脸面部表情，从而在不同的人脸特征情况下，自动分析生成目标对象的优化人脸结构，比如鼻梁需要增高，双眼皮等等，以此生成报告，提供更多可供医生参考的客观数据。
34.基于此，在本技术的技术方案中，考虑到在实际进行人脸图像数据的分析处理来进行人脸结构优化时，比如鼻梁需要增高，双眼皮等，关键在于对所述目标对象的人脸图像中关于目标对象的人脸特征进行充分表达。但是，由于所述目标对象的人脸图像中存在有较多的信息量，且还存在有背景干扰，而关于目标对象的人脸特征在图像中为小尺度的隐含特征信息，这对于目标对象的人脸结构分析带来了困难。因此，在此过程中，难点在于如何进行所述人脸图像中关于目标对象的人脸隐含小尺度特征信息的充分表达，以此来准确地进行目标对象的人脸结构分析，以生成人脸结构优化的报告，提供更多可供医生参考的客观数据。
35.近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述人脸图像中关于目标对象的人脸隐含小尺度特征信息提供了新的解决思路和方案。
36.具体地，在本技术的技术方案中，首先，获取目标对象的人脸图像。应可以理解，所述目标对象的人脸图像与背景颜色相近,会导致对比度不明显，也就是说，背景信息会影响到人脸特征的提取和识别。如果将所述人脸图像的原始图片直接放进编码器中进行图像特征提取,会影响最终的优化人脸图像的生成结果精准度。因此，为了提高所述目标对象的人脸图像的对比度,以提高目标对象人脸特征的表达能力，需要对原始图片进行图像预处理。也就是，对所述目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分以得到预处理后人脸图像。
37.更具体地，对所述目标对象的人脸图像进行图像预处理方式可以为对图像进行灰度转换、图像标准化、对比度受限自适应直方图均衡化(clahe)和伽马校正处理。应可以理解，灰度转换能够将彩色图片转换成灰度图像，以降低图像数据量，使处理速度更快，并且简化后续的图像处理流程。同时，灰度图像也更具有鲁棒性，可以抑制光照变化等因素对人脸识别造成的影响。并且，由于人脸在不同角度、姿态、表情、光照条件下会产生不同形态的变化，因此对人脸图像进行标准化有助于保持尺度一致性，从而更好地提取出人脸的特征。标准化方法包括图像旋转和缩放等调整。clahe是一种对图像局部对比度进行自适应调整的方法，可以增强图像的细节和边缘信息，并且可以抑制局部背景亮度变化对人脸识别的影响。此外，clahe算法还可以避免全局直方图均衡化的不良影响，如噪声大大增加等问题。伽马校正是一种非线性方式处理图像亮度变化，可以在保持图像的颜色信息不变的情况下，对亮度传感器不同之处进行修正，从而优化图像的细节和清晰度。这种预处理方法也可以降低图像的噪声影响，为后续的特征提取和人脸识别提供更好的数据支持。
38.进一步地，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述预处理后人脸图像的特征挖掘，但是由于卷积运算的固有局限性，纯cnn的方法很难学习明确的全局和远程语义信息交互。并且，还考虑到由于所述预处理后人脸图像中关
于目标对象人脸的隐含特征为小尺度的细微特征，难以进行捕捉提取。因此，为了能够提高所述标对象人脸隐含小尺度的细微特征的表达能力，以此来提高对目标对象人脸结构优化等级的控制精准度，在本技术的技术方案中，对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列后，将所述人脸局部图像块的序列通过包含嵌入层的vit模型中进行编码，以提取出所述预处理后人脸图像中的各个人脸局部图像块的关于人脸特征的隐含上下文语义关联特征分布信息，从而得到人脸全局语义特征向量。
39.具体来说，在对于所述预处理后人脸图像进行图像分块处理后的各个人脸局部图像块中关于所述目标对象的人脸小尺度隐含特征不再是小尺度的特征信息，有利于后续进行人脸特征的充分刻画。特别地，这里，所述嵌入层通过可学习嵌入矩阵将所述各个人脸局部图像块线性投影为一维嵌入向量。嵌入化的实现过程是先分别将各个所述人脸局部图像块中所有像素位置的像素值排列为一维向量，然后使用全连接层对该一维向量进行全连接编码以实现嵌入化。并且，这里，所述vit模型可以通过自注意机制处理所述各个人脸局部图像块，以此来分别提取出所述各个人脸局部图像块中基于所述预处理后人脸图像整体的关于所述目标对象的人脸隐含上下文语义关联特征信息。
40.然后，将所述人脸全局语义特征向量通过第一分类器以得到第一分类结果，所述第一分类结果用于表示鼻梁优化的推荐等级是否超过预定阈值。也就是说，以所述目标对象的人脸图像中关于目标对象的人脸全局上下文语义关联特征信息为基础来进行分类，从而对于人脸结构的各个参数数据进行调控，例如鼻梁优化的推荐等级和双眼皮优化的推荐等级等。在本技术的另一个具体示例中，还可以将所述人脸全局语义特征向量通过第二分类器以得到用于表示双眼皮优化的推荐等级是否超过预定阈值的第二分类结果，对此并不为本技术所局限。
41.特别地，在本技术的技术方案中，在将所述人脸局部图像块的序列通过包含嵌入层的vit模型得到所述人脸全局语义特征向量时，考虑到本身所述预处理后人脸图像进行图像分块处理得到的多个人脸局部图像块就存在图像语义关联，而vit模型会进一步对所述多个人脸局部图像块进行图像语义特征的上下文编码，这就使得由vit模型得到的多个上下文人脸局部图像特征向量的特征分布之间的关联性较高，导致多个上下文人脸局部图像特征向量直接级联得到的所述人脸全局语义特征向量在高维特征空间内的概率密度表示下的维度区分度不够，影响所述人脸全局语义特征向量在分类任务下的类概率表达，降低了所述人脸全局语义特征向量通过分类器得到的分类结果的准确性。
42.由此，本技术的申请人考虑到如果将所述人脸局部图像块的图像语义特征作为前景对象特征，则vit模型进行的上下文编码会引入针对前景对象特征的背景分布噪声，并且使得所述人脸全局语义特征向量具有所述人脸局部图像块的局部图像语义特征和序列间上下文关联的全局图像语义特征的空间分级语义，因此，对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益，表示为：
43.其中，是所述人脸全局语义特征向量，是所述人脸全局语义特征向量的第个位置的特征值，是所述人脸全局语义特征向量的长度，表示所述人脸全局语义特
征向量的二范数的平方，是加权超参数，是优化人脸全局语义特征向量的第个位置的特征值。
44.这里，基于标准柯西分布对于自然高斯分布在概率密度上的特征模仿范式，所述基于概率密度特征模仿范式的分布增益将特征尺度作为模仿掩码，以在高维特征空间内区分前景对象特征和背景分布噪声，从而基于高维特征的空间分级语义来对高维空间进行特征空间映射的语义认知的分布软匹配，来获得高维特征分布的无约束的分布增益，提升优化后的人脸全局语义特征向量基于特征分布的表达效果，以提升所述优化后的人脸全局语义特征向量在分类任务下的类概率表达的准确性，从而改进优化后的人脸全局语义特征向量通过分类器得到的分类结果的准确性。这样，能够准确地进行目标对象的人脸结构分析，以生成人脸结构优化的报告，从而提供更多可供医生参考的客观数据。
45.图1为根据本技术实施例的用于生成人脸数据的图像处理系统的应用场景图。如图1所示，在该应用场景中，首先，获取目标对象的人脸图像（例如，图1中所示意的d），然后，将所述目标对象的人脸图像输入至部署有用于生成人脸数据的图像处理算法的服务器中（例如，图1中所示意的s），其中，所述服务器能够使用所述用于生成人脸数据的图像处理算法对所述目标对象的人脸图像进行处理以得到用于表示鼻梁优化的推荐等级是否超过预定阈值的第一分类结果。
46.在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
47.图2为根据本技术实施例的用于生成人脸数据的图像处理系统的框图示意图。如图2所示，根据本技术实施例的用于生成人脸数据的图像处理系统100，包括：人脸图像数据采集模块110，用于获取目标对象的人脸图像；图像预处理模块120，用于对所述目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分以得到预处理后人脸图像；图像分块模块130，用于对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列；人脸全局特征提取模块140，用于将所述人脸局部图像块的序列通过包含嵌入层的vit模型以得到人脸全局语义特征向量；特征优化模块150，用于对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量；以及，鼻梁优化模块160，用于将所述优化人脸全局语义特征向量通过第一分类器以得到第一分类结果，所述第一分类结果用于表示鼻梁优化的推荐等级是否超过预定阈值。
48.更具体地，在本技术实施例中，所述人脸图像数据采集模块110，用于获取目标对象的人脸图像。在实际进行人脸图像数据的分析处理来进行人脸结构优化时，比如鼻梁需要增高，双眼皮等，关键在于对所述目标对象的人脸图像中关于目标对象的人脸特征进行充分表达。
49.更具体地，在本技术实施例中，所述图像预处理模块120，用于对所述目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分以得到预处理后人脸图像。应可以理解，所述目标对象的人脸图像与背景颜色相近,会导致对比度不明显，也就是说，背景信息会影响到人脸特征的提取和识别。如果将所述人脸图像的原始图片直接放进编码器中进行图像特征提取,会影响最终的优化人脸图像的生成结果精准度。因此，为了提高所述目标对象的人脸图像的对比度,以提高目标对象人脸特征的表达能力，需要
对原始图片进行图像预处理。
50.更具体地，在本技术实施例中，所述图像分块模块130，用于对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列。由于所述预处理后人脸图像中关于目标对象人脸的隐含特征为小尺度的细微特征，为了能够提高所述标对象人脸隐含小尺度的细微特征的表达能力，以此来提高对目标对象人脸结构优化等级的控制精准度，在本技术的技术方案中，对所述预处理后人脸图像进行图像分块处理。具体来说，在对于所述预处理后人脸图像进行图像分块处理后的各个人脸局部图像块中关于所述目标对象的人脸小尺度隐含特征不再是小尺度的特征信息，有利于后续进行人脸特征的充分刻画。
51.相应地，在一个具体示例中，所述图像分块模块130，用于：对所述预处理后人脸图像进行均匀地图像分块处理以得到人脸局部图像块的序列。
52.更具体地，在本技术实施例中，所述人脸全局特征提取模块140，用于将所述人脸局部图像块的序列通过包含嵌入层的vit模型以得到人脸全局语义特征向量。将所述人脸局部图像块的序列通过包含嵌入层的vit模型中进行编码，以提取出所述预处理后人脸图像中的各个人脸局部图像块的关于人脸特征的隐含上下文语义关联特征分布信息，从而得到人脸全局语义特征向量。
53.相应地，在一个具体示例中，如图3所示，所述人脸全局特征提取模块140，包括：嵌入化单元141，用于使用所述vit模型的所述嵌入层分别对所述人脸局部图像块的序列中各个人脸局部图像块进行嵌入化以得到人脸局部图像块嵌入向量的序列；以及，vit编码单元142，用于将所述人脸局部图像块嵌入向量的序列通过所述vit模型以得到所述人脸全局语义特征向量。
54.相应地，在一个具体示例中，所述嵌入化单元141，用于将所述人脸局部图像块的序列中各个人脸局部图像块的二维像素值矩阵展开为一维像素值向量以得到一维像素值向量的序列；以及，使用所述嵌入层分别对所述一维像素值向量的序列中的各个一维像素值向量进行全连接编码以得到所述人脸局部图像块嵌入向量的序列。
55.更具体地，在本技术实施例中，所述特征优化模块150，用于对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量。特别地，在本技术的技术方案中，在将所述人脸局部图像块的序列通过包含嵌入层的vit模型得到所述人脸全局语义特征向量时，考虑到本身所述预处理后人脸图像进行图像分块处理得到的多个人脸局部图像块就存在图像语义关联，而vit模型会进一步对所述多个人脸局部图像块进行图像语义特征的上下文编码，这就使得由vit模型得到的多个上下文人脸局部图像特征向量的特征分布之间的关联性较高，导致多个上下文人脸局部图像特征向量直接级联得到的所述人脸全局语义特征向量在高维特征空间内的概率密度表示下的维度区分度不够，影响所述人脸全局语义特征向量在分类任务下的类概率表达，降低了所述人脸全局语义特征向量通过分类器得到的分类结果的准确性。
56.由此，本技术的申请人考虑到如果将所述人脸局部图像块的图像语义特征作为前景对象特征，则vit模型进行的上下文编码会引入针对前景对象特征的背景分布噪声，并且使得所述人脸全局语义特征向量具有所述人脸局部图像块的局部图像语义特征和序列间上下文关联的全局图像语义特征的空间分级语义，因此，对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益。
57.相应地，在一个具体示例中，所述特征优化模块150，用于：以如下优化公式对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到所述优化人脸全局语义特征向量；其中，所述优化公式为：
58.其中，是所述人脸全局语义特征向量，是所述人脸全局语义特征向量的第个位置的特征值，是所述人脸全局语义特征向量的长度，表示所述人脸全局语义特征向量的二范数的平方，是加权超参数，是优化人脸全局语义特征向量的第个位置的特征值。
59.这里，基于标准柯西分布对于自然高斯分布在概率密度上的特征模仿范式，所述基于概率密度特征模仿范式的分布增益将特征尺度作为模仿掩码，以在高维特征空间内区分前景对象特征和背景分布噪声，从而基于高维特征的空间分级语义来对高维空间进行特征空间映射的语义认知的分布软匹配，来获得高维特征分布的无约束的分布增益，提升优化后的人脸全局语义特征向量基于特征分布的表达效果，以提升所述优化后的人脸全局语义特征向量在分类任务下的类概率表达的准确性，从而改进优化后的人脸全局语义特征向量通过分类器得到的分类结果的准确性。这样，能够准确地进行目标对象的人脸结构分析，以生成人脸结构优化的报告，从而提供更多可供医生参考的客观数据。
60.更具体地，在本技术实施例中，所述鼻梁优化模块160，用于将所述优化人脸全局语义特征向量通过第一分类器以得到第一分类结果，所述第一分类结果用于表示鼻梁优化的推荐等级是否超过预定阈值。也就是说，以所述目标对象的人脸图像中关于目标对象的人脸全局上下文语义关联特征信息为基础来进行分类，从而对于人脸结构的各个参数数据进行调控，例如鼻梁优化的推荐等级和双眼皮优化的推荐等级等。
61.应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类（或预测）。逻辑回归（logistics）、svm等常用于解决二分类问题，对于多分类问题（multi-class classification），同样也可以用逻辑回归或svm，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有softmax分类函数。
62.相应地，在一个具体示例中，如图4所示，所述鼻梁优化模块160，包括：全连接编码单元161，用于使用所述第一分类器的全连接层对所述优化人脸全局语义特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元162，用于将所述编码分类特征向量输入所述第一分类器的softmax分类函数以得到所述第一分类结果。
63.相应地，在另一个具体示例中，所述鼻梁优化模块160，用于：使用所述第一分类器以如下公式对所述优化人脸全局语义特征向量进行处理以获得所述第一分类结果；其中，所述公式为：，其中表示所述优化人脸全局语义特征向量，表示全连接层的权重矩阵，表示全连接层的偏置向量，表示归一化指数函数，表示所述第一分类结果。
64.综上，基于本技术实施例的用于生成人脸数据的图像处理系统100被阐明，其首先
对获取的目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分以得到预处理后人脸图像，接着对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列，然后将所述人脸局部图像块的序列通过包含嵌入层的vit模型以得到人脸全局语义特征向量，接着对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量，最后将所述优化人脸全局语义特征向量通过第一分类器以得到用于表示鼻梁优化的推荐等级是否超过预定阈值的第一分类结果。这样可以提升人脸分析的准确性和效率。
65.如上所述，根据本技术实施例的基于本技术实施例的用于生成人脸数据的图像处理系统100可以实现在各种终端设备中，例如具有基于本技术实施例的用于生成人脸数据的图像处理算法的服务器等。在一个示例中，基于本技术实施例的用于生成人脸数据的图像处理系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于本技术实施例的用于生成人脸数据的图像处理系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于本技术实施例的用于生成人脸数据的图像处理系统100同样可以是该终端设备的众多硬件模块之一。
66.替换地，在另一示例中，该基于本技术实施例的用于生成人脸数据的图像处理系统100与该终端设备也可以是分立的设备，并且该用于生成人脸数据的图像处理系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
67.图5为根据本技术实施例的用于生成人脸数据的图像处理方法的流程图。如图5所示，根据本技术实施例的用于生成人脸数据的图像处理方法，其包括：s110，获取目标对象的人脸图像；s120，对所述目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分以得到预处理后人脸图像；s130，对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列；s140，将所述人脸局部图像块的序列通过包含嵌入层的vit模型以得到人脸全局语义特征向量；s150，对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量；以及，s160，将所述优化人脸全局语义特征向量通过第一分类器以得到第一分类结果，所述第一分类结果用于表示鼻梁优化的推荐等级是否超过预定阈值。
68.图6为根据本技术实施例的用于生成人脸数据的图像处理方法的系统架构的示意图。如图6所示，在所述用于生成人脸数据的图像处理方法的系统架构中，首先，获取目标对象的人脸图像；接着，对所述目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分以得到预处理后人脸图像；然后，对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列；接着，将所述人脸局部图像块的序列通过包含嵌入层的vit模型以得到人脸全局语义特征向量；然后，对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量；最后，将所述优化人脸全局语义特征向量通过第一分类器以得到第一分类结果，所述第一分类结果用于表示鼻梁优化的推荐等级是否超过预定阈值。
69.在一个具体示例中，在上述用于生成人脸数据的图像处理方法中，对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列，包括：对所述预处理后人脸图像进行均匀地图像分块处理以得到人脸局部图像块的序列。
70.在一个具体示例中，在上述用于生成人脸数据的图像处理方法中，将所述人脸局部图像块的序列通过包含嵌入层的vit模型以得到人脸全局语义特征向量，包括：使用所述vit模型的所述嵌入层分别对所述人脸局部图像块的序列中各个人脸局部图像块进行嵌入化以得到人脸局部图像块嵌入向量的序列；以及，将所述人脸局部图像块嵌入向量的序列通过所述vit模型以得到所述人脸全局语义特征向量。
71.在一个具体示例中，在上述用于生成人脸数据的图像处理方法中，使用所述vit模型的所述嵌入层分别对所述人脸局部图像块的序列中各个人脸局部图像块进行嵌入化以得到人脸局部图像块嵌入向量的序列，包括：将所述人脸局部图像块的序列中各个人脸局部图像块的二维像素值矩阵展开为一维像素值向量以得到一维像素值向量的序列；以及，使用所述嵌入层分别对所述一维像素值向量的序列中的各个一维像素值向量进行全连接编码以得到所述人脸局部图像块嵌入向量的序列。
72.这里，本领域技术人员可以理解，上述用于生成人脸数据的图像处理方法中的各个步骤的具体操作已经在上面参考图1到图4的用于生成人脸数据的图像处理系统100的描述中得到了详细介绍，并因此，将省略其重复描述。
73.根据本技术的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。
74.技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
75.本技术使用了特定词语来描述本技术的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本技术至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本技术的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
76.此外，本领域技术人员可以理解，本技术的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本技术的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本技术的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
77.除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
78.上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所
限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

技术特征：
1.一种用于生成人脸数据的图像处理系统，其特征在于，包括：人脸图像数据采集模块，用于获取目标对象的人脸图像；图像预处理模块，用于对所述目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分，以得到预处理后人脸图像；图像分块模块，用于对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列；人脸全局特征提取模块，用于将所述人脸局部图像块的序列通过包含嵌入层的vit模型以得到人脸全局语义特征向量；特征优化模块，用于对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量；以及鼻梁优化模块，用于将所述优化人脸全局语义特征向量通过第一分类器以得到第一分类结果，所述第一分类结果用于表示鼻梁优化的推荐等级是否超过预定阈值。2.根据权利要求1所述的用于生成人脸数据的图像处理系统，其特征在于，所述图像分块模块，用于对所述预处理后人脸图像进行均匀地图像分块处理以得到人脸局部图像块的序列。3.根据权利要求2所述的用于生成人脸数据的图像处理系统，其特征在于，所述人脸全局特征提取模块，包括：嵌入化单元，用于使用所述vit模型的所述嵌入层分别对所述人脸局部图像块的序列中各个人脸局部图像块进行嵌入化以得到人脸局部图像块嵌入向量的序列；以及vit编码单元，用于将所述人脸局部图像块嵌入向量的序列通过所述vit模型以得到所述人脸全局语义特征向量。4.根据权利要求3所述的用于生成人脸数据的图像处理系统，其特征在于，所述嵌入化单元，用于将所述人脸局部图像块的序列中各个人脸局部图像块的二维像素值矩阵展开为一维像素值向量以得到一维像素值向量的序列；以及使用所述嵌入层分别对所述一维像素值向量的序列中的各个一维像素值向量进行全连接编码以得到所述人脸局部图像块嵌入向量的序列。5.根据权利要求4所述的用于生成人脸数据的图像处理系统，其特征在于，所述特征优化模块，用于以如下优化公式对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到所述优化人脸全局语义特征向量；其中，所述优化公式为：；其中，是所述人脸全局语义特征向量，是所述人脸全局语义特征向量的第个位置的特征值，是所述人脸全局语义特征向量的长度，表示所述人脸全局语义特征向量的二范数的平方，是加权超参数，是所述优化人脸全局语义特征向量的第个位置的特征值。6.根据权利要求5所述的用于生成人脸数据的图像处理系统，其特征在于，所述鼻梁优
化模块，包括：全连接编码单元，用于使用所述第一分类器的全连接层对所述优化人脸全局语义特征向量进行全连接编码以得到编码分类特征向量；以及分类单元，用于将所述编码分类特征向量输入所述第一分类器的softmax分类函数以得到所述第一分类结果。7.一种用于生成人脸数据的图像处理方法，其特征在于，包括：获取目标对象的人脸图像；对所述目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分以得到预处理后人脸图像；对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列；将所述人脸局部图像块的序列通过包含嵌入层的vit模型以得到人脸全局语义特征向量；对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量；以及将所述优化人脸全局语义特征向量通过第一分类器以得到第一分类结果，所述第一分类结果用于表示鼻梁优化的推荐等级是否超过预定阈值。8.根据权利要求7所述的用于生成人脸数据的图像处理方法，其特征在于，对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列，包括：对所述预处理后人脸图像进行均匀地图像分块处理以得到人脸局部图像块的序列。9.根据权利要求8所述的用于生成人脸数据的图像处理方法，其特征在于，将所述人脸局部图像块的序列通过包含嵌入层的vit模型以得到人脸全局语义特征向量，包括：使用所述vit模型的所述嵌入层分别对所述人脸局部图像块的序列中各个人脸局部图像块进行嵌入化以得到人脸局部图像块嵌入向量的序列；以及将所述人脸局部图像块嵌入向量的序列通过所述vit模型以得到所述人脸全局语义特征向量。10.根据权利要求9所述的用于生成人脸数据的图像处理方法，其特征在于，使用所述vit模型的所述嵌入层分别对所述人脸局部图像块的序列中各个人脸局部图像块进行嵌入化以得到人脸局部图像块嵌入向量的序列，包括：将所述人脸局部图像块的序列中各个人脸局部图像块的二维像素值矩阵展开为一维像素值向量以得到一维像素值向量的序列；以及使用所述嵌入层分别对所述一维像素值向量的序列中的各个一维像素值向量进行全连接编码以得到所述人脸局部图像块嵌入向量的序列。

技术总结
本申请公开了一种用于生成人脸数据的图像处理系统及方法。其首先对获取的目标对象的人脸图像进行图像预处理以去除所述目标对象的人脸图像中的背景部分，以得到预处理后人脸图像，接着对所述预处理后人脸图像进行图像分块处理以得到人脸局部图像块的序列，然后将所述人脸局部图像块的序列通过包含嵌入层的ViT模型以得到人脸全局语义特征向量，接着对所述人脸全局语义特征向量进行基于概率密度特征模仿范式的分布增益以得到优化人脸全局语义特征向量，最后将所述优化人脸全局语义特征向量通过第一分类器以得到用于表示鼻梁优化的推荐等级是否超过预定阈值的第一分类结果。这样可以提升人脸分析的准确性和效率。样可以提升人脸分析的准确性和效率。样可以提升人脸分析的准确性和效率。


技术研发人员：伍强 李佩剑 邓清凤
受保护的技术使用者：成都睿瞳科技有限责任公司
技术研发日：2023.08.30
技术公布日：2023/10/7