一种大语言模型人脸特征分析方法、系统及电子设备与流程

1.本发明属于大语言模型的技术领域，具体地涉及一种大语言模型人脸特征分析方法、系统及电子设备。


背景技术：

2.大语言模型是一种人工智能模型，旨在从文本层面理解和生成人类语言。现有的人工智能技术局限于文本交互，而缺少对人脸多模态信息的理解能力，如面部特征、微表情、语速、情绪等。
3.人脸分析识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行识别的一系列相关技术，通常也叫做人像识别、面部识别。
4.现有的人脸分析识别通常识别人脸的几大特征，如：鼻子、眼睛、嘴巴、眉毛等重要特征，但如此会导致识别出的人脸信息不够丰富同时也不够精细、准确率不高，同时现有的大语言无法识别出人脸图像中人脸的表情与情感，导致在人脸分析识别的领域中存在较大局限性。


技术实现要素：

5.为了解决上述技术问题，本发明提供了一种大语言模型人脸特征分析方法、系统及电子设备，用于解决现有技术中存在的技术问题。
6.第一方面，该发明提供以下技术方案，一种大语言模型人脸特征分析方法，所述方法包括：获取人脸图像数据集，对所述人脸图像数据集中的人脸图像进行图像预处理，以得到处理图像数据集；按预设比例将所述处理图像数据集分割为训练样本集与测试样本集，将所述训练样本集输入卷积神经网络cnn中训练，将所述测试样本集输入训练后的所述卷积神经网络cnn中进行关键点检测，以得到若干基本关键点；对所述基本关键点进行边缘点识别，以得到若干第一边缘关键点，对所述第一边缘关键点进行数据标注与过滤，以得到第二边缘关键点，在若干所述基本关键点中引入若干所述第二边缘关键点，以得到人脸稠密关键点；基于所述人脸稠密关键点的特征信息对所述人脸稠密关键点进行人脸特征分析与描述，以得到特征识别结果；基于所述特征识别结果，建立结果阈值集与语料匹配规则，根据所述结果阈值集与所述语料匹配规则对大语言模型进行训练。
7.相比现有技术，本技术的有益效果为：本技术首先获取人脸图像数据集，对所述人脸图像数据集中的人脸图像进行图像预处理，以得到处理图像数据集；之后按预设比例将所述处理图像数据集分割为训练样本集与测试样本集，将所述训练样本集输入卷积神经网
络cnn中训练，将所述测试样本集输入训练后的所述卷积神经网络cnn中进行关键点检测，以得到若干基本关键点；再之后对所述基本关键点进行边缘点识别，以得到若干第一边缘关键点，对所述第一边缘关键点进行数据标注与过滤，以得到第二边缘关键点，在若干所述基本关键点中引入若干所述第二边缘关键点，以得到人脸稠密关键点；然后基于所述人脸稠密关键点的特征信息对所述人脸稠密关键点进行人脸特征分析与描述，以得到特征识别结果；最后基于所述特征识别结果，建立结果阈值集与语料匹配规则，根据所述结果阈值集与所述语料匹配规则对大语言模型进行训练，本发明能够对人脸进行稠密关键点特征分析和描述，从而提高人脸识别的准确性，相比传统的人脸识别技术，该方法能够更加准确地识别人脸，避免误识别和漏识别的情况，同时本发明能够识别人脸的表情和情感，有助于更加全面地理解人脸的信息，这对于当下只有文字识别能力的大语言模型，深入人脸信息传达能力的领域将起到决定性作用，例如在心理学、社交互动等场景，大语言模型仅能从文字表达中解读部分内容，而加上面部丰富表情特征的情感提取与结果提示词，将可以避免机器误读或曲解文本内容的情况，且本发明能够快速的对人脸进行识别与分析，提高了人脸识别的效率。
8.较佳的，所述对所述人脸图像数据集中的人脸图像进行图像预处理，以得到处理图像数据集的步骤包括：依次对所述人脸图像数据集中的人脸图像进行图像去噪、图像增强、图像对齐，以得到处理图像数据集。
9.较佳的，所述对所述基本关键点进行边缘点识别，以得到若干第一边缘关键点的步骤包括：利用sobel算子的两个卷积核与计算所述基本关键点外各像素点的梯度：；选取所述梯度大于预设梯度的像素点作为边缘点；引入canny算子对所述边缘点进行非极大值抑制以及筛选，以得到若干第一边缘关键点。
10.较佳的，所述引入canny算子对所述边缘点进行非极大值抑制以及筛选，以得到若干第一边缘关键点的步骤包括：通过canny算子对所述边缘点进行非极大值抑制并重新确定边缘点：；式中，为抑制之后的梯度，、分别为点在边缘切向方向的相邻点，为点的梯度，、分别为点、点的梯度；通过迟滞阈值法设定第一梯度阈值与第二梯度阈值，将梯度大于第二梯度阈值的像素点作为第一强边缘点，将梯度大于第一梯度阈值并小于第二梯度阈值的像素点作为弱边缘点，剔除梯度小于第一梯度阈值的像素点；
将与所述强边缘点相连的弱边缘点以及将通过相邻的其他弱边缘点与强边缘点相连的弱边缘点作为第二强边缘点，基于所述第一强边缘点与所述第二强边缘点得到若干第一边缘关键点。
11.较佳的，所述基于所述人脸稠密关键点的特征信息对所述人脸稠密关键点进行人脸特征分析与描述，以得到特征识别结果的步骤包括：获取所述人脸稠密关键点中关键部位的特征点坐标与rgb值，根据所述rgb值与所述特征点坐标计算人脸的色彩特征；获取所述人脸图像数据集中人脸图像的像素分辨率以及对应拍摄设备的拍摄参数，基于所述分辨率与所述拍摄参数确定所述人脸图像与实际尺寸之间的比例因子，基于所述比例因子与所述人脸稠密关键点确定人脸的面部特征；基于所述人脸面部特征依次确定人脸的直曲特征与量感特征，基于所述色彩特征、所述面部特征、所述直曲特征以及所述量感特征输出特征识别结果。
12.较佳的，所述获取所述人脸稠密关键点中关键部位的特征点坐标与rgb值，根据所述rgb值与所述特征点坐标计算人脸的色彩特征的步骤包括：基于所述rgb值与所述特征点坐标计算所述人脸的明度：；式中，、、分别表示红、绿、蓝颜色值；基于所述rgb值与所述特征点坐标计算所述人脸的色彩差异度：；；；；式中，、、分别表示第一色差权重、第二色差权重、第三色差权重，且，、、分别表示第一色差、第二色差、第三色差，、、、分别表示肤色、发色、瞳色、唇色；将所述rgb值通过预设公式转为hsv的表示方式，并根据色调h判断肤色的色调特征，若色调h小于预设值，则为冷色调，若色调h不小于预设值，则为暖色调，以得到所述人脸的色调特征；基于所述明度、所述色彩差异度以及所述色调特征，以得到所述人脸的色彩特征。
13.较佳的，所述基于所述特征识别结果，建立结果阈值集与语料匹配规则，根据所述结果阈值集与所述语料匹配规则对大语言模型进行训练的步骤包括：根据所述特征识别结果建立结果阈值集，并基于所述特征识别结果的应用场景以及结果阈值集建立语料匹配规则，基于所述语料匹配规则确定语料库；
将所述特征识别结果以所述语料库中的数据编码成特征向量，以得到若干输入序列；计算所述输入序列中每个位置的第一注意力权重：；式中，为特征识别结果和语料库数据的查询向量，为特征识别结果和语料库数据的键向量，为特征识别结果和语料库数据的值向量，为的转置矩阵，为向量维度；对每个位置的输入序列进行非线性变换并重新计算每个位置的第二注意力权重，基于所述输入序列与所述第二注意力权重对大语言模型进行训练，以得到训练后的大语言模型。
14.第二方面，该发明提供以下技术方案，一种大语言模型人脸特征分析系统，所述系统包括：获取模块，用于获取人脸图像数据集，对所述人脸图像数据集中的人脸图像进行图像预处理，以得到处理图像数据集；第一检测模块，用于按预设比例将所述处理图像数据集分割为训练样本集与测试样本集，将所述训练样本集输入卷积神经网络cnn中训练，将所述测试样本输入训练后的所述卷积神经网络cnn中进行关键点检测，以得到若干基本关键点；第二检测模块，用于对所述基本关键点进行边缘点识别，以得到若干第一边缘关键点，对所述第一边缘关键点进行数据标注与过滤，以得到第二边缘关键点，在若干所述基本关键点中引入若干所述第二边缘关键点，以得到人脸稠密关键点；分析模块，用于基于所述人脸稠密关键点的特征信息对所述人脸稠密关键点进行人脸特征分析与描述，以得到特征识别结果；训练模块，用于基于所述特征识别结果，建立结果阈值集与语料匹配规则，根据所述结果阈值集与所述语料匹配规则对大语言模型进行训练。
15.较佳的，所述获取模块具体用于：依次对所述人脸图像数据集中的人脸图像进行图像去噪、图像增强、图像对齐，以得到处理图像数据集。
16.第三方面，该发明提供以下技术方案，一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的大语言模型人脸特征分析方法。
附图说明
17.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明第一实施例提供的大语言模型人脸特征分析方法的流程图；
图2为本发明第一实施例提供的大语言模型人脸特征分析方法中步骤s3的详细流程图；图3为本发明第一实施例提供的大语言模型人脸特征分析方法中步骤s33的详细流程图；图4为本发明第一实施例提供的大语言模型人脸特征分析方法中步骤s4的详细流程图；图5为本发明第一实施例提供的大语言模型人脸特征分析方法中步骤s41的详细流程图；图6为本发明第一实施例提供的大语言模型人脸特征分析方法中步骤s5的详细流程图；图7为本发明第二实施例提供的大语言模型人脸特征分析系统的结构框图；图8为本发明另一实施例提供的电子设备的硬件结构框图。
19.以下将结合附图对本发明实施例作进一步说明。
具体实施方式
20.为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
21.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
22.实施例一如图1所示，在本发明的第一个实施例中，该发明提供以下技术方案，一种大语言模型人脸特征分析方法，所述方法包括：s1、获取人脸图像数据集，对所述人脸图像数据集中的人脸图像进行图像预处理，以得到处理图像数据集；具体的，所述人脸图像数据集中包括不同年龄、性别、表情、姿态等多种情况下的人脸图像，通过对人脸图像进行图像预处理之后，可提高后续处理过程的准确率以及效率；其中，对所述人脸图像数据集中的人脸图像进行图像预处理具体包括：依次对所述人脸图像数据集中的人脸图像进行图像去噪、图像增强、图像对齐，以得到处理图像数据集。
23.s2、按预设比例将所述处理图像数据集分割为训练样本集与测试样本集，将所述训练样本集输入卷积神经网络cnn中训练，将所述测试样本集输入训练后的所述卷积神经网络cnn中进行关键点检测，以得到若干基本关键点；具体的，在模型训练过程中，需要利用训练集对模型进行训练，在本实施例中，通过将处理图像数据集按照预设比例的方式进行划分，其中将30%的所述处理图像数据集作为测试样本集，70%的所述处理图像数据集作为训练样本集，同时，在实际的训练过程中，也可采用300-w、mvfw、ocfw数据集对卷积神经网络cnn中进行训练，将处理图像数据集作为测
试样本集，以此完成模型的训练过程，同时，在得到训练后的卷积神经网络cnn之后，将测试样本集输入到训练后的模型中，即可得到人脸面部的68个基本关键点；其中的68个基本关键点为人脸面部的基础特征，为了进一步挖掘出人脸面部的特征信息，因此还需确定若干第二关键点，以丰富人脸识别的特征信息。
24.s3、对所述基本关键点进行边缘点识别，以得到若干第一边缘关键点，对所述第一边缘关键点进行数据标注与过滤，以得到第二边缘关键点，在若干所述基本关键点中引入若干所述第二边缘关键点，以得到人脸稠密关键点；如图2所示，其中，所述步骤s3包括：s31、利用sobel算子的两个卷积核与计算所述基本关键点外各像素点的梯度：；具体的，sobel算子是基于梯度的边缘检测算法，在实际图像中，在图像边缘所在的位置梯度较大，而sobel算子正是利用两个3
×
3的卷积核与图像做卷积，得出各处的梯度（两个卷积核分别为x方向的和y方向的）。
25.s32、选取所述梯度大于预设梯度的像素点作为边缘点；具体的，sobel算子可以一步到位进行图像的平滑和梯度计算，图像经过sobel算子得到的结果值比较大的地方即为边缘所在地，因此在该步骤中设置一预设梯度，并将大于该预设梯度的像素点作为边缘点。
26.s33、引入canny算子对所述边缘点进行非极大值抑制以及筛选，以得到若干第一边缘关键点；具体的，由于sobel算子的局部性较差，且对于特定方向较为敏感，因此，需要再引入canny算子，sobel算子的本地化不够好，这个问题在于我们把梯度的强度大于阈值的像素均认为是边缘，但实际上，只有在极大值的位置才应该被判断为边缘，但也会存在一些非极大值但大于预设梯度的点作为边缘点，因此需要对其进行非极大值抑制与筛选，以得到第一边缘关键点。
27.如图3所示，其中，所述步骤s33包括：s331、通过canny算子对所述边缘点进行非极大值抑制并重新确定边缘点：；式中，为抑制之后的梯度，、分别为点在边缘切向方向的相邻点，为点的梯度，、分别为点、点的梯度。
28.s332、通过迟滞阈值法设定第一梯度阈值与第二梯度阈值，将梯度大于第二梯度阈值的像素点作为第一强边缘点，将梯度大于第一梯度阈值并小于第二梯度阈值的像素点作为弱边缘点，剔除梯度小于第一梯度阈值的像素点；
具体的，以上对于边缘的判断是通过单一的阈值，即把经过处理后梯度值比预设梯度大的点认为是边缘，但单一的阈值很难选取，阈值过高容易造成边缘的不连续，而阈值选取过低则会引入一些其他噪声，因此在该步骤中通过迟滞阈值法设定两个阈值（第一梯度阈值为低阈值、第二梯度阈值为高阈值），以解决上述问题。
29.s333、将与所述强边缘点相连的弱边缘点以及将通过相邻的其他弱边缘点与强边缘点相连的弱边缘点作为第二强边缘点，基于所述第一强边缘点与所述第二强边缘点得到若干第一边缘关键点；具体的，强边缘点可直接视为边缘关键点，但弱边缘点中存在一些点可被选中作为边缘关键点，而弱边缘点中被选为边缘关键点的条件为：直接与强边缘点相连、通过相邻的其他弱边缘点与强边缘点相连。
30.值得说明的是，在得到第一边缘关键点之后，通过人工数据标注，对算法标记的第一边缘关键点进行归类处理，过滤得到具有实际意义的关键点，以得到第二边缘关键点，之后将第二边缘关键点加上原有的68个基础关键点，即可得到更加精准的人脸稠密关键点。
31.s4、基于所述人脸稠密关键点的特征信息对所述人脸稠密关键点进行人脸特征分析与描述，以得到特征识别结果；具体的，该步骤用于对人脸稠密关键点进行特征分析，包括特征的数量、位置、方向、分布等方面的分析，以确定人脸的形象特征，根据特征识别结果，对人脸的形象特征进行识别描述，包括面部轮廓、五官特征、肤色、发型等方面的描述。
32.如图4所示，其中，所述步骤s4包括：s41、获取所述人脸稠密关键点中关键部位的特征点坐标与rgb值，根据所述rgb值与所述特征点坐标计算人脸的色彩特征；具体的，此处的关键部位包括皮肤、嘴巴、眼睛、眉毛、头发等。
33.如图5所示，其中，所述步骤s41包括：s411、基于所述rgb值与所述特征点坐标计算所述人脸的明度：；式中，、、分别表示红、绿、蓝颜色值；其中，明度的取值范围为0~1，明度主要反映各关键部位的明暗程度，从白皙到深黑分为不同程度，将明度值乘以10倍，用数字0-10表示；需要说明的是，注意这里的2.2次方和2.2次方根，rgb颜色值不能简单直接相加，而是必须用2.2次方换算成物理光功率，因为rgb值与功率并非简单的线性关系，而是幂函数关系，这个函数的指数称为gamma值，一般为2.2，而这个换算过程，称为gamma校正。
34.s412、基于所述rgb值与所述特征点坐标计算所述人脸的色彩差异度：；；；
；式中，、、分别表示第一色差权重、第二色差权重、第三色差权重，且，、、分别表示第一色差、第二色差、第三色差，、、、分别表示肤色、发色、瞳色、唇色；具体的，在形象设计专业领域，一般以肤色、发色、瞳色、唇色的差异度来标识用户整体的色彩色差感觉，以此来判定用户整体的色彩差异情况，其中的第一色差权重、第二色差权重、第三色差权重均可根据试验拟合得到，在本实施例中，第一色差权重、第二色差权重、第三色差权重分别为80%、15%、5%。
35.s413、将所述rgb值通过预设公式转为hsv的表示方式，并根据色调h判断肤色的色调特征，若色调h小于预设值，则为冷色调，若色调h不小于预设值，则为暖色调，以得到所述人脸的色调特征。
36.s414、基于所述明度、所述色彩差异度以及所述色调特征，以得到所述人脸的色彩特征。
37.s42、获取所述人脸图像数据集中人脸图像的像素分辨率以及对应拍摄设备的拍摄参数，基于所述分辨率与所述拍摄参数确定所述人脸图像与实际尺寸之间的比例因子，基于所述比例因子与所述人脸稠密关键点确定人脸的面部特征；具体的，其中的面部特征具体包括脸型、眉形、眼型等脸部细节参数，具体如下：（1）脸型l1面部长度 = k(面部边缘顶点y坐标
ꢀ‑ꢀ
面部边缘底点y坐标)；l2颞骨宽度 = k(面部左上x坐标
ꢀ‑ꢀ
面部右上x坐标)；l3颧骨宽度 = k(面部左中x坐标
ꢀ‑ꢀ
面部右中x坐标)；l4颌骨宽度 = k(面部左下x坐标
ꢀ‑ꢀ
面部右下x坐标)；a1下颌骨角度 = ∠（面部左下点，面部底点，面部右下点）；ha面部整体弧度 = 面部边缘关键点近似椭圆弧度；椭圆展弧度的计算公式如下：；其中，k为比例因子，和分别为椭圆的长轴和短轴，为椭圆的旋转角度。
38.（2）眉型lmw眉毛宽度 = k(m0眉毛右端点x坐标
ꢀ‑ꢀ
m1眉毛左端点x坐标)；lmh眉毛高度 = k(m0眉毛顶端点x坐标
ꢀ‑ꢀ
m1眉毛底端点x坐标)；am眉毛弧度 = ∠（眉毛左端，眉毛顶端，眉毛右端）；（3）眼型lyw眼睛宽度 = k(y0眼睛右端点x坐标
ꢀ‑ꢀ
y1眼睛左端点x坐标)；lyh眼睛高度 = k(y0眼睛顶端点x坐标
ꢀ‑ꢀ
y1眼睛底端点x坐标)；ay眼睛弧度 = ∠（眼睛左端，眼睛顶端，眼睛右端）；s43、基于所述人脸面部特征依次确定人脸的直曲特征与量感特征，基于所述色彩特征、所述面部特征、所述直曲特征以及所述量感特征输出特征识别结果。
39.具体的，确定人脸的直曲特征与量感特征的过程如下：根据上述ha面部整体弧度与眉毛弧度和眼睛弧度的综合比较，可以确定用户形象
的整体感官属于直线、曲线，以得到直曲特征；量感参数主要表示用户脸型眼型占据整体形象的比例大小，用于判断服装饰品的搭配方式，因此，本发明以面部长度为参数进行判断，具体值域：男性：大量感（18.5cm以上）、中量感（17-18.5cm）、小量感（17cm以下）；女性：大量感（17cm以上）、中量感（16-17.5cm）、小量感（16cm以下）。
40.s5、基于所述特征识别结果，建立结果阈值集与语料匹配规则，根据所述结果阈值集与所述语料匹配规则对大语言模型进行训练；具体的，本发明中的大语言模型具体选用盘古模型、文心一言、chatgpt3.5，且本发明可与上述大语言模型的api进行兼容对接同步。
41.如图6所示，其中，所述步骤s5包括：s51、根据所述特征识别结果建立结果阈值集，并基于所述特征识别结果的应用场景以及结果阈值集建立语料匹配规则，基于所述语料匹配规则确定语料库；具体的，该步骤中的结果阈值集如下表1所示：表1具体的，该步骤中的语料库如下表2所示：表2
s52、将所述特征识别结果以所述语料库中的数据编码成特征向量，以得到若干输入序列。
42.s53、计算所述输入序列中每个位置的第一注意力权重：；式中，为特征识别结果和语料库数据的查询向量，为特征识别结果和语料库数据的键向量，为特征识别结果和语料库数据的值向量，为的转置矩阵，为向量维度。
43.s54、对每个位置的输入序列进行非线性变换并重新计算每个位置的第二注意力权重，基于所述输入序列与所述第二注意力权重对大语言模型进行训练，以得到训练后的大语言模型；具体的，在用户和大语言模型交流前，预先将用户的形象、肤质、色彩、脸型、直曲、情绪等特征进行分析，以得到特征识别结果，并将特征识别结果转化形成大语言模型可以理解的prompt提示语，让大模型可以针对性与用户进行交流，辅助环节是：在交流的过程中，我们同步引入了nlp情绪识别算法，将两者的交互问答文本进行语义化处理，并进一步添加语言情绪上的prompt提示语，让大语言模型由进一步理解当前用户情感的能力，这些
技术的应用可以使用户与大语言模型的交互更加智能和自然，通过训练后的大语言模型可根据用户人脸的特征识别结果及其所提出的问题，由大语言模型从细分领域语料训练结果中，结合全网大模型的语义重新组织语言，和用户进行拟人化的问答交互,产品推荐等；同时，本发明在用户与训练后的大语言模型的沟通层面中引入了数据过滤器、语义分析器、提示改进器来实现多模态多特征并发的处理过程。
44.数据过滤器（data filter）：数据过滤器的主要作用是对用户提问进行初步的数据过滤，去除无效数据，数据过滤器可以根据预先定义的规则或算法，对用户提问进行筛选和清洗，以确保后续处理的数据质量和准确性。数据过滤器的特点是快速、高效，并能够提高后续处理的效果。
45.语义分析器（semantic analyzer）：语义分析器的主要作用是对用户提问进行深入的语义理解和分析，语义分析器可以将用户提问转化为机器可理解的形式，识别出问题的关键词、实体和意图等重要信息。语义分析器的特点是能够理解用户的真实意图，并能够将用户提问与相关的语料库和模特方案数据进行匹配。
46.提示改进器（question optimizer）：提示改进器的主要作用是对用户提问进行优化，以提高问题的质量和准确性，提示改进器可以根据用户提问的语义和上下文信息，对问题进行重组、补充或改写，以更好地满足用户的需求，提示改进器的特点是能够优化用户提问，使得问题更加清晰、明确，并能够更好地与大语言模型进行交互。
47.本发明通过数据过滤器、语义分析器和提示改进器的协同作用，可以对用户提问进行准确的理解和处理，从而能够给出更加精准和准确的答案，这对于用户来说，意味着可以更快速地获取到满足自己需求的答案，提高交互体验和效率，同时可以更好地理解用户的真实意图，并能够根据用户的提问进行个性化的回答，这种拟人化的问答交互可以增加用户的参与感和满足感，提升用户对人工智能系统的认可度和信任度，更好地理解用户的需求和偏好，并能够根据用户的提问和上下文信息，推荐出符合用户需求的产品或服务，这对于商业领域来说，也可以提高产品推荐的准确性和个性化程度，增加用户的购买意愿和满意度，综上所述，数据过滤器、语义分析器和提示改进器在精准交互问答和用户进行拟人化的问答交互、产品推荐等方面具有重要的作用和必要性，可以提高人工智能系统的智能化程度和用户体验。
48.本实施例一的好处在于：本技术首先获取人脸图像数据集，对所述人脸图像数据集中的人脸图像进行图像预处理，以得到处理图像数据集；之后按预设比例将所述处理图像数据集分割为训练样本集与测试样本集，将所述训练样本集输入卷积神经网络cnn中训练，将所述测试样本集输入训练后的所述卷积神经网络cnn中进行关键点检测，以得到若干基本关键点；再之后对所述基本关键点进行边缘点识别，以得到若干第一边缘关键点，对所述第一边缘关键点进行数据标注与过滤，以得到第二边缘关键点，在若干所述基本关键点中引入若干所述第二边缘关键点，以得到人脸稠密关键点；然后基于所述人脸稠密关键点的特征信息对所述人脸稠密关键点进行人脸特征分析与描述，以得到特征识别结果；最后基于所述特征识别结果，建立结果阈值集与语料匹配规则，根据所述结果阈值集与所述语料匹配规则对大语言模型进行训练，本发明能够对人脸进行稠密关键点特征分析和描述，从而提高人脸识别的准确性，相比传统的人脸识别技术，该方法能够更加准确地识别人脸，避免误识别和漏识别的情况，同时本发明能够识别人脸的表情和情感，有助于更加全面地
理解人脸的信息，这对于当下只有文字识别能力的大语言模型，深入人脸信息传达能力的领域将起到决定性作用，例如在心理学、社交互动等场景，大语言模型仅能从文字表达中解读部分内容，而加上面部丰富表情特征的情感提取与结果提示词，将可以避免机器误读或曲解文本内容的情况，且本发明能够快速的对人脸进行识别与分析，提高了人脸识别的效率。
49.实施例二如图7所示，在本发明的第二个实施例提供了一种大语言模型人脸特征分析系统，所述系统包括：获取模块1，用于获取人脸图像数据集，对所述人脸图像数据集中的人脸图像进行图像预处理，以得到处理图像数据集；第一检测模块2，用于按预设比例将所述处理图像数据集分割为训练样本集与测试样本集，将所述训练样本集输入卷积神经网络cnn中训练，将所述测试样本输入训练后的所述卷积神经网络cnn中进行关键点检测，以得到若干基本关键点；第二检测模块3，用于对所述基本关键点进行边缘点识别，以得到若干第一边缘关键点，对所述第一边缘关键点进行数据标注与过滤，以得到第二边缘关键点，在若干所述基本关键点中引入若干所述第二边缘关键点，以得到人脸稠密关键点；分析模块4，用于基于所述人脸稠密关键点的特征信息对所述人脸稠密关键点进行人脸特征分析与描述，以得到特征识别结果；训练模块5，用于基于所述特征识别结果，建立结果阈值集与语料匹配规则，根据所述结果阈值集与所述语料匹配规则对大语言模型进行训练。
50.其中，所述获取模块1具体用于：依次对所述人脸图像数据集中的人脸图像进行图像去噪、图像增强、图像对齐，以得到处理图像数据集。
51.所述第二检测模块3包括：梯度计算子模块，用于利用sobel算子的两个卷积核与计算所述基本关键点外各像素点的梯度：；边缘点选取子模块，用于选取所述梯度大于预设梯度的像素点作为边缘点；抑制子模块，用于引入canny算子对所述边缘点进行非极大值抑制以及筛选，以得到若干第一边缘关键点。
52.所述抑制子模块包括：边缘点确定单元，用于通过canny算子对所述边缘点进行非极大值抑制并重新确定边缘点：；式中，为抑制之后的梯度，、分别为点在边缘切向
方向的相邻点，为点的梯度，、分别为点、点的梯度；剔除单元，用于通过迟滞阈值法设定第一梯度阈值与第二梯度阈值，将梯度大于第二梯度阈值的像素点作为第一强边缘点，将梯度大于第一梯度阈值并小于第二梯度阈值的像素点作为弱边缘点，剔除梯度小于第一梯度阈值的像素点；边缘关键点确定单元，用于将与所述强边缘点相连的弱边缘点以及将通过相邻的其他弱边缘点与强边缘点相连的弱边缘点作为第二强边缘点，基于所述第一强边缘点与所述第二强边缘点得到若干第一边缘关键点。
53.所述分析模块4包括：色彩特征计算子模块，用于获取所述人脸稠密关键点中关键部位的特征点坐标与rgb值，根据所述rgb值与所述特征点坐标计算人脸的色彩特征；面部特征计算子模块，用于获取所述人脸图像数据集中人脸图像的像素分辨率以及对应拍摄设备的拍摄参数，基于所述分辨率与所述拍摄参数确定所述人脸图像与实际尺寸之间的比例因子，基于所述比例因子与所述人脸稠密关键点确定人脸的面部特征；结果输出子模块，用于基于所述人脸面部特征依次确定人脸的直曲特征与量感特征，基于所述色彩特征、所述面部特征、所述直曲特征以及所述量感特征输出特征识别结果。
54.所述色彩特征计算子模块包括：明度计算单元，用于基于所述rgb值与所述特征点坐标计算所述人脸的明度：；式中，、、分别表示红、绿、蓝颜色值；差异度计算单元，用于基于所述rgb值与所述特征点坐标计算所述人脸的色彩差异度：；；；；式中，、、分别表示第一色差权重、第二色差权重、第三色差权重，且，、、分别表示第一色差、第二色差、第三色差，、、、分别表示肤色、发色、瞳色、唇色；色调计算单元，用于将所述rgb值通过预设公式转为hsv的表示方式，并根据色调h判断肤色的色调特征，若色调h小于预设值，则为冷色调，若色调h不小于预设值，则为暖色调，以得到所述人脸的色调特征；
memory，简称为sram）或动态随机存取存储器（dynamic random access memory，简称为dram），其中，dram可以是快速页模式动态随机存取存储器（fast page mode dynamic random access memory，简称为fpmdram）、扩展数据输出动态随机存取存储器（extended date out dynamic random access memory，简称为edodram）、同步动态随机存取内存（synchronous dynamic random-access memory，简称sdram）等。
59.存储器102可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器101所执行的可能的计算机程序指令。
60.处理器101通过读取并执行存储器102中存储的计算机程序指令，以实现上述大语言模型人脸特征分析方法。
61.在其中一些实施例中，电子设备还可包括通信接口103和总线100。其中，如图8所示，处理器101、存储器102、通信接口103通过总线100连接并完成相互间的通信。
62.通信接口103用于实现本技术实施例中各模块、装置、单元和/或设备之间的通信。通信接口103还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
63.总线100包括硬件、软件或两者，将计算机的部件彼此耦接在一起。总线100包括但不限于以下至少之一：数据总线（data bus）、地址总线（address bus）、控制总线（control bus）、扩展总线（expansion bus）、局部总线（local bus）。举例来说而非限制，总线100可包括图形加速接口（accelerated graphics port，简称为agp）或其他图形总线、增强工业标准架构（extended industry standard architecture，简称为eisa）总线、前端总线（front side bus，简称为fsb）、超传输（hyper transport，简称为ht）互连、工业标准架构（industry standard architecture，简称为isa）总线、无线带宽（infiniband）互连、低引脚数（low pin count，简称为lpc）总线、存储器总线、微信道架构（micro channel architecture，简称为mca）总线、外围组件互连（peripheral component interconnect，简称为pci）总线、pci-express（pci-x）总线、串行高级技术附件（serial advanced technology attachment，简称为sata）总线、视频电子标准协会局部（video electronics standards association local bus，简称为vlb）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线100可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线，但本技术考虑任何合适的总线或互连。
64.该计算机可以基于获取到大语言模型人脸特征分析系统，执行本技术的大语言模型人脸特征分析方法，从而实现大语言模型人脸特征的分析。
65.在本发明的再一些实施例中，结合上述的大语言模型人脸特征分析方法，本发明实施例提供以下技术方案，一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的大语言模型人脸特征分析方法。
66.本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系
统、装置或设备而使用的装置。
67.可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（ram），只读存储器（rom），可擦除可编辑只读存储器（eprom或闪速存储器），光纤装置，以及便携式光盘只读存储器（cdrom）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
68.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（pga），现场可编程门阵列（fpga）等。
69.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
70.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。

技术特征：
1.一种大语言模型人脸特征分析方法，其特征在于，所述方法包括：获取人脸图像数据集，对所述人脸图像数据集中的人脸图像进行图像预处理，以得到处理图像数据集；按预设比例将所述处理图像数据集分割为训练样本集与测试样本集，将所述训练样本集输入卷积神经网络cnn中训练，将所述测试样本集输入训练后的所述卷积神经网络cnn中进行关键点检测，以得到若干基本关键点；对所述基本关键点进行边缘点识别，以得到若干第一边缘关键点，对所述第一边缘关键点进行数据标注与过滤，以得到第二边缘关键点，在若干所述基本关键点中引入若干所述第二边缘关键点，以得到人脸稠密关键点；基于所述人脸稠密关键点的特征信息对所述人脸稠密关键点进行人脸特征分析与描述，以得到特征识别结果；基于所述特征识别结果，建立结果阈值集与语料匹配规则，根据所述结果阈值集与所述语料匹配规则对大语言模型进行训练。2.根据权利要求1所述的大语言模型人脸特征分析方法，其特征在于，所述对所述人脸图像数据集中的人脸图像进行图像预处理，以得到处理图像数据集的步骤包括：依次对所述人脸图像数据集中的人脸图像进行图像去噪、图像增强、图像对齐，以得到处理图像数据集。3.根据权利要求1所述的大语言模型人脸特征分析方法，其特征在于，所述对所述基本关键点进行边缘点识别，以得到若干第一边缘关键点的步骤包括：利用sobel算子的两个卷积核与计算所述基本关键点外各像素点的梯度：；选取所述梯度大于预设梯度的像素点作为边缘点；引入canny算子对所述边缘点进行非极大值抑制以及筛选，以得到若干第一边缘关键点。4.根据权利要求3所述的大语言模型人脸特征分析方法，其特征在于，所述引入canny算子对所述边缘点进行非极大值抑制以及筛选，以得到若干第一边缘关键点的步骤包括：通过canny算子对所述边缘点进行非极大值抑制并重新确定边缘点：；式中，为抑制之后的梯度，、分别为点在边缘切向方向的相邻点，为点的梯度，、分别为点、点的梯度；通过迟滞阈值法设定第一梯度阈值与第二梯度阈值，将梯度大于第二梯度阈值的像素点作为第一强边缘点，将梯度大于第一梯度阈值并小于第二梯度阈值的像素点作为弱边缘点，剔除梯度小于第一梯度阈值的像素点；将与所述强边缘点相连的弱边缘点以及将通过相邻的其他弱边缘点与强边缘点相连
的弱边缘点作为第二强边缘点，基于所述第一强边缘点与所述第二强边缘点得到若干第一边缘关键点。5.根据权利要求1所述的大语言模型人脸特征分析方法，其特征在于，所述基于所述人脸稠密关键点的特征信息对所述人脸稠密关键点进行人脸特征分析与描述，以得到特征识别结果的步骤包括：获取所述人脸稠密关键点中关键部位的特征点坐标与rgb值，根据所述rgb值与所述特征点坐标计算人脸的色彩特征；获取所述人脸图像数据集中人脸图像的像素分辨率以及对应拍摄设备的拍摄参数，基于所述分辨率与所述拍摄参数确定所述人脸图像与实际尺寸之间的比例因子，基于所述比例因子与所述人脸稠密关键点确定人脸的面部特征；基于所述人脸面部特征依次确定人脸的直曲特征与量感特征，基于所述色彩特征、所述面部特征、所述直曲特征以及所述量感特征输出特征识别结果。6.根据权利要求5所述的大语言模型人脸特征分析方法，其特征在于，所述获取所述人脸稠密关键点中关键部位的特征点坐标与rgb值，根据所述rgb值与所述特征点坐标计算人脸的色彩特征的步骤包括：基于所述rgb值与所述特征点坐标计算所述人脸的明度：；式中，、、分别表示红、绿、蓝颜色值；基于所述rgb值与所述特征点坐标计算所述人脸的色彩差异度：；；；；式中，、、分别表示第一色差权重、第二色差权重、第三色差权重，且，、、分别表示第一色差、第二色差、第三色差，、、、分别表示肤色、发色、瞳色、唇色；将所述rgb值通过预设公式转为hsv的表示方式，并根据色调h判断肤色的色调特征，若色调h小于预设值，则为冷色调，若色调h不小于预设值，则为暖色调，以得到所述人脸的色调特征；基于所述明度、所述色彩差异度以及所述色调特征，以得到所述人脸的色彩特征。7.根据权利要求1所述的大语言模型人脸特征分析方法，其特征在于，所述基于所述特征识别结果，建立结果阈值集与语料匹配规则，根据所述结果阈值集与所述语料匹配规则对大语言模型进行训练的步骤包括：根据所述特征识别结果建立结果阈值集，并基于所述特征识别结果的应用场景以及结
果阈值集建立语料匹配规则，基于所述语料匹配规则确定语料库；将所述特征识别结果以所述语料库中的数据编码成特征向量，以得到若干输入序列；计算所述输入序列中每个位置的第一注意力权重：；式中，为特征识别结果和语料库数据的查询向量，为特征识别结果和语料库数据的键向量，为特征识别结果和语料库数据的值向量，为的转置矩阵，为向量维度；对每个位置的输入序列进行非线性变换并重新计算每个位置的第二注意力权重，基于所述输入序列与所述第二注意力权重对大语言模型进行训练，以得到训练后的大语言模型。8.一种大语言模型人脸特征分析系统，其特征在于，所述系统包括：获取模块，用于获取人脸图像数据集，对所述人脸图像数据集中的人脸图像进行图像预处理，以得到处理图像数据集；第一检测模块，用于按预设比例将所述处理图像数据集分割为训练样本集与测试样本集，将所述训练样本集输入卷积神经网络cnn中训练，将所述测试样本输入训练后的所述卷积神经网络cnn中进行关键点检测，以得到若干基本关键点；第二检测模块，用于对所述基本关键点进行边缘点识别，以得到若干第一边缘关键点，对所述第一边缘关键点进行数据标注与过滤，以得到第二边缘关键点，在若干所述基本关键点中引入若干所述第二边缘关键点，以得到人脸稠密关键点；分析模块，用于基于所述人脸稠密关键点的特征信息对所述人脸稠密关键点进行人脸特征分析与描述，以得到特征识别结果；训练模块，用于基于所述特征识别结果，建立结果阈值集与语料匹配规则，根据所述结果阈值集与所述语料匹配规则对大语言模型进行训练。9.根据权利要求8所述的大语言模型人脸特征分析系统，其特征在于，所述获取模块具体用于：依次对所述人脸图像数据集中的人脸图像进行图像去噪、图像增强、图像对齐，以得到处理图像数据集。10.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的大语言模型人脸特征分析方法。

技术总结
本发明提供了一种大语言模型人脸特征分析方法、系统及电子设备，所述方法包括对人脸图像进行图像预处理，以得到处理图像数据集；将测试样本集输入训练后的卷积神经网络CNN中进行关键点检测，以得到若干基本关键点；对第一边缘关键点进行数据标注与过滤，以得到人脸稠密关键点；对人脸稠密关键点进行人脸特征分析与描述，以得到特征识别结果；建立结果阈值集与语料匹配规则，根据结果阈值集与语料匹配规则对大语言模型进行训练，本发明对人脸进行稠密关键点特征分析和描述，从而提高人脸识别的准确性，避免误识别和漏识别的情况，同时本发明能够识别人脸的表情和情感，有助于更加全面地理解人脸的信息。面地理解人脸的信息。面地理解人脸的信息。


技术研发人员：刘雨飏 李婷
受保护的技术使用者：江西脑控科技有限公司
技术研发日：2023.07.14
技术公布日：2023/8/13