基于图像分析的情绪预测方法及装置与流程

1.本发明涉及图像处理技术领域，具体而言，涉及一种基于图像分析的情绪预测方法及装置。


背景技术：

2.传统的心理问题的获取方式一般是通过与心理医生交流、量表分析方式等，但是依然存在很多弊端，例如：心理问题获取对象常常无法准确描述自身的真实感受、判断的准确度取决于医生水平、主观性较强常常出现误判等问题。
3.当下出现了非接触式的情绪识别方法，通过高清摄像机捕捉人的头部、颈部，脸部肌肉的微动数据，并计算出每个像素点运动时振动的幅度和频率，通过特有的算法公式，分析出用户潜在的情绪及心理指标。然而，现有技术在对用户进行检测时，往往因为面部在画面中所占比例每次都不一致，从而导致多次检测后最终的结果存在较大的出入，所得出的结论无法使用户信服，无法最终落地为用户服务。
4.针对上述相关技术中通过多次采集的图像直接预测被识别对象在未来某时刻的情绪，由于被识别对象在画面中所占比例每次不一致，导致预测结果可靠性较低的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本发明实施例提供了一种基于图像分析的情绪预测方法及装置，以至少解决相关技术中通过多次采集的图像直接预测被识别对象在未来某时刻的情绪，由于被识别对象在画面中所占比例每次不一致，导致预测结果可靠性较低的技术问题。
6.根据本发明实施例的一个方面，提供了一种基于图像分析的情绪预测方法，包括：获取被识别对象在准静止状态下的多帧面部图像，其中，所述准静止状态是指所述被识别对象相对于所述多帧面部图像的采集设备的静止状态；通过人脸捕捉器对所述多帧面部图像进行处理，得到处理后的所述多帧面部图像，其中，所述人脸捕捉器用于在所述多帧面部图像中搜索所述被识别对象的面部，并在搜索到所述被识别对象的面部后，调整所述被识别对象的面部在所述面部图像中的比例；对处理后的所述多帧面部图像进行情绪特征提取，得到所述被识别对象的当前情绪特征序列；确定所述当前情绪特征序列的特征值，其中，所述特征值至少包括：所述当前情绪特征序列中各项情绪的平均值；根据所述被识别对象的历史情绪特征序列的特征值和所述当前情绪特征序列的特征值预测所述被识别对象在未来预定时刻的情绪。
7.可选的，获取被识别对象在准静止状态下的多帧面部图像，包括：在获取情绪预测指令后，在确定所述被识别对象相对于所述采集设备处于静止状态时，触发所述采集设备采集所述被识别对象的视频；从所述视频中提取所述多帧面部图像。
8.可选的，获取情绪预测指令，包括以下之一：在感应到所述被识别对象的身份识别卡时，生成所述情绪预测指令；在接收到通过物理按键输入的所述被识别对象的身份信息
时，生成情绪预测指令。
9.可选的，在获取情绪预测指令之前，还包括：接收所述被识别对象的离线视频，其中，所述离线视频是在离线状态下采集的所述被识别对象的视频。
10.可选的，通过人脸捕捉器对所述多帧面部图像进行处理，得到处理后的所述多帧面部图像，包括：通过所述人脸捕捉器在所述多帧面部图像中的每一帧中搜索所述被识别对象的面部；在搜索到所述被识别对象面部后，调整所述被识别对象的面部在所述多帧面部图像中的每一帧面部图像的比例，以得到处理后的所述多帧面部图像。
11.可选的，对处理后的所述多帧面部图像进行情绪特征提取，得到所述被识别对象的当前情绪特征序列，包括：根据情绪识别模板对所述多帧面部图像中的每一帧进行情绪分析，以得到所述多帧面部图像中每一帧的情绪特征，其中，所述情绪识别模板包括多个面部图像-情绪类型映射关系，所述面部图像-情绪类型映射关系预先根据多个样本对象的面部图像进行情绪分析，得到的面部图像与情绪特征之间的对应关系；对所述多帧面部图像中每一帧的情绪特征进行情绪特征提取，得到所述被识别对象的当前情绪特征序列。
12.可选的，对处理后的所述多帧面部图像进行情绪特征提取，得到所述被识别对象的当前情绪特征序列，包括：根据所述被识别对象的特征信息确定所述被识别对象的常模范围，其中，所述特征信息包括以下至少之一：所述被识别对象的性别、所述被识别对象的年龄、所述被识别对象的职业，所述常模范围表示所述被识别对象的不同情绪类型对应的数值范围；根据所述常模范围确定处理后的所述多帧面部图像中每一帧的情绪特征；根据所述多帧面部图像中每一帧的情绪特征得到所述被识别对象的当前情绪特征序列。
13.可选的，根据所述被识别对象的历史情绪特征序列的特征值和所述当前情绪特征序列的特征值预测所述被识别对象在未来预定时刻的情绪，包括：确定所述被识别对象的历史情绪特征序列的特征值和所述当前情绪特征序列的特征值的变化信息；根据所述变化信息预测所述被识别对象在未来预定时刻的情绪。
14.根据本发明实施例的另外一个方面，还提供了一种基于图像分析的情绪预测装置，包括：获取单元，用于获取被识别对象在准静止状态下的多帧面部图像，其中，所述准静止状态是指所述被识别对象相对于所述多帧面部图像的采集设备的静止状态；处理单元，用于通过人脸捕捉器对所述多帧面部图像进行处理，得到处理后的所述多帧面部图像，其中，所述人脸捕捉器用于在所述多帧面部图像中搜索所述被识别对象的面部，并在搜索到所述被识别对象的面部后，调整所述被识别对象的面部在所述面部图像中的比例；提取单元，用于对处理后的所述多帧面部图像进行情绪特征提取，得到所述被识别对象的当前情绪特征序列；确定单元，用于确定所述当前情绪特征序列的特征值，其中，所述特征值至少包括：所述当前情绪特征序列中各项情绪的平均值；预测单元，用于根据所述被识别对象的历史情绪特征序列的特征值和所述当前情绪特征序列的特征值预测所述被识别对象在未来预定时刻的情绪。
15.可选的，所述获取单元，包括：触发模块，用于在获取情绪预测指令后，在确定所述被识别对象相对于所述采集设备处于静止状态时，触发所述采集设备采集所述被识别对象的视频；第一提取模块，用于从所述视频中提取所述多帧面部图像。
16.可选的，所述触发模块，包括以下之一：第一生成子模块，用于在感应到所述被识别对象的身份识别卡时，生成所述情绪预测指令；第二生成子模块，用于在接收到通过物理
按键输入的所述被识别对象的身份信息时，生成情绪预测指令。
17.可选的，该基于图像分析的情绪预测装置还包括：接收单元，用于在获取情绪预测指令之前，接收所述被识别对象的离线视频，其中，所述离线视频是在离线状态下采集的所述被识别对象的视频。
18.可选的，所述处理单元，包括：搜索模块，用于通过所述人脸捕捉器在所述多帧面部图像中的每一帧中搜索所述被识别对象的面部；调整模块，用于在搜索到所述被识别对象面部后，调整所述被识别对象的面部在所述多帧面部图像中的每一帧面部图像的比例，以得到处理后的所述多帧面部图像。
19.可选的，所述提取单元，包括：分析模块，用于根据情绪识别模板对所述多帧面部图像中的每一帧进行情绪分析，以得到所述多帧面部图像中每一帧的情绪特征，其中，所述情绪识别模板包括多个面部图像-情绪类型映射关系，所述面部图像-情绪类型映射关系预先根据多个样本对象的面部图像进行情绪分析，得到的面部图像与情绪特征之间的对应关系；第二提取模块，用于对所述多帧面部图像中每一帧的情绪特征进行情绪特征提取，得到所述被识别对象的当前情绪特征序列。
20.可选的，所述提取单元，包括：第二确定模块，用于根据所述被识别对象的特征信息确定所述被识别对象的常模范围，其中，所述特征信息包括以下至少之一：所述被识别对象的性别、所述被识别对象的年龄、所述被识别对象的职业，所述常模范围表示所述被识别对象的不同情绪类型对应的数值范围；第三确定模块，用于根据所述常模范围确定处理后的所述多帧面部图像中每一帧的情绪特征；获取模块，用于根据所述多帧面部图像中每一帧的情绪特征得到所述被识别对象的当前情绪特征序列。
21.可选的，所述预测单元，包括：第四确定模块，用于确定所述被识别对象的历史情绪特征序列的特征值和所述当前情绪特征序列的特征值的变化信息；预测模块，用于根据所述变化信息预测所述被识别对象在未来预定时刻的情绪。
22.根据本发明实施例的另外一个方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序执行上述中任意一项所述的基于图像分析的情绪预测方法。
23.根据本发明实施例的另外一个方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述中任意一项所述的基于图像分析的情绪预测方法。
24.在本发明实施例中，获取被识别对象在准静止状态下的多帧面部图像，其中，准静止状态是指被识别对象相对于多帧面部图像的采集设备的静止状态；通过人脸捕捉器对多帧面部图像进行处理，得到处理后的多帧面部图像，其中，人脸捕捉器用于在多帧面部图像中搜索被识别对象的面部，并在搜索到被识别对象的面部后，调整被识别对象的面部在面部图像中的比例；对处理后的多帧面部图像进行情绪特征提取，得到被识别对象的当前情绪特征序列；确定当前情绪特征序列的特征值，其中，特征值至少包括：当前情绪特征序列中各项情绪的平均值，当前情绪特征序列中各项情绪的平均值；根据被识别对象的历史情绪特征序列的特征值和当前情绪特征序列的特征值预测被识别对象在未来预定时刻的情绪。通过本发明提供的技术方案，实现了通过人脸捕捉器对采集的用户的面部图像进行二次处理，以使得用户的面部图像在画面中所占比例相对稳定，再对二次处理后的面部图像进行情绪特征提取，以基于提取的情绪特征以及历史情绪特征预测用户在接下来某一时刻
的情绪的目的，可以大大减少因客观情况造成的检测误差，达到了提升用户情绪预测的可靠性的技术效果，进而解决了相关技术中通过多次采集的图像直接预测被识别对象在未来某时刻的情绪，由于被识别对象在画面中所占比例每次不一致，导致预测结果可靠性较低的技术问题。
附图说明
25.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
26.图1是本发明实施例的一种基于图像分析的情绪预测方法的移动终端的硬件结构框图；
27.图2是根据本发明实施例的基于图像分析的情绪预测方法的流程图；
28.图3是根据本发明实施例的应用于基于图像分析的情绪预测方法的情绪识别系统的架构图；
29.图4是根据本发明实施例的可选的基于图像分析的情绪预测方法的流程图；
30.图5是根据本发明实施例的基于图像分析的情绪预测装置的示意图。
具体实施方式
31.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
32.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
33.正如背景技术中所介绍的，相关技术中通过多次采集的图像直接预测被识别对象在未来某时刻的情绪，由于被识别对象在画面中所占比例每次不一致，导致预测结果可靠性较低的缺陷。在本发明的实施例中提供了一种基于图像分析的情绪预测方法及装置、计算机可读存储介质以及处理器。
34.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
35.本发明实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种基于图像分析的情绪预测方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等
的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
36.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的基于图像分析的情绪预测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
37.根据本发明实施例，提供了一种基于图像分析的情绪预测方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
38.图2是根据本发明实施例的基于图像分析的情绪预测方法的流程图，如图2所示，该基于图像分析的情绪预测方法包括如下步骤：
39.步骤s202，获取被识别对象在准静止状态下的多帧面部图像，其中，准静止状态是指被识别对象相对于多帧面部图像的采集设备的静止状态。
40.可选的，上述被识别对象可以是需要进行情绪预测的用户。例如，可以在用户相对于采集设备(例如，相机、摄像头等)处于相对静止状态下，可以采集用户的多帧面部图像。
41.步骤s204，通过人脸捕捉器对多帧面部图像进行处理，得到处理后的多帧面部图像，其中，人脸捕捉器用于在多帧面部图像中搜索被识别对象的面部，并在搜索到被识别对象的面部后，调整被识别对象的面部在面部图像中的比例。
42.由于现有技术在对用户进行检测时，往往因为面部在画面中所占比例每次都不一致，从而导致多次检测后最终的结果存在较大的出入，所得出的结论无法使用户信服，无法最终落地为用户服务。
43.因此，在本发明实施例中，在通过上述步骤得到用户的多帧面部图像后，可以利用人脸捕捉器对多帧面部图像进行二次处理，无论是通过本地摄像头还是网络摄像头，都可使人脸在画面中处于一个相对稳定的比例，可以大大减少因客观情况造成的检测误差。
44.步骤s206，对处理后的多帧面部图像进行情绪特征提取，得到被识别对象的当前情绪特征序列。
45.在该实施例中，可以对通过人脸捕捉器二次处理后的多帧面部图像进行情绪特征提取，以得到用户的当前情绪特征序列，由于这里情绪特征提取的对象是经过人脸捕捉器
二次处理后多帧面部图像，从而可以减少因客观因素造成的情绪特征提取误差。
46.步骤s208，确定当前情绪特征序列的特征值，其中，特征值至少包括：当前情绪特征序列中各项情绪的平均值。
47.步骤s210，根据被识别对象的历史情绪特征序列的特征值和当前情绪特征序列的特征值预测被识别对象在未来预定时刻的情绪。
48.在该实施例中，可以将被识别对象的历史情绪特征序列的特征值与当前情绪序列的特征值作为预测用户在接下来某一时刻的情绪的因素，从而可以比较准确地进行用户情绪预测。
49.由上可知，在本发明上述实施例中，可以获取被识别对象在准静止状态下的多帧面部图像，其中，准静止状态是指被识别对象相对于多帧面部图像的采集设备的静止状态；通过人脸捕捉器对多帧面部图像进行处理，得到处理后的多帧面部图像，其中，人脸捕捉器用于在多帧面部图像中搜索被识别对象的面部，并在搜索到被识别对象的面部后，调整被识别对象的面部在面部图像中的比例；对处理后的多帧面部图像进行情绪特征提取，得到被识别对象的当前情绪特征序列；确定当前情绪特征序列的特征值，其中，特征值至少包括：当前情绪特征序列中各项情绪的平均值；根据被识别对象的历史情绪特征序列的特征值和当前情绪特征序列的特征值预测被识别对象在未来预定时刻的情绪，实现了通过人脸捕捉器对采集的用户的面部图像进行二次处理，以使得用户的面部图像在画面中所占比例相对稳定，再对二次处理后的面部图像进行情绪特征提取，以基于提取的情绪特征以及历史情绪特征预测用户在接下来某一时刻的情绪的目的，可以大大减少因客观情况造成的检测误差，达到了提升用户情绪预测的可靠性的技术效果。
50.因此，通过本发明实施例提供的技术方案，解决了相关技术中通过多次采集的图像直接预测被识别对象在未来某时刻的情绪，由于被识别对象在画面中所占比例每次不一致，导致预测结果可靠性较低的技术问题。
51.根据本发明上述实施例，获取被识别对象在准静止状态下的多帧面部图像，可以包括：在获取情绪预测指令后，在确定被识别对象相对于采集设备处于静止状态时，触发采集设备采集被识别对象的视频；从视频中提取多帧面部图像。
52.在该实施例中，当接收到情绪预测指令后，可以在识别到用户相对于采集设备处于静止状态时，触发采集设备采集用户的识别，接着从采集的视频中提取多帧面部图像。
53.在上述实施例中，获取情绪预测指令，包括以下之一：在感应到被识别对象的身份识别卡时，生成情绪预测指令；在接收到通过物理按键输入的被识别对象的身份信息时，生成情绪预测指令。
54.在该实施例中，当被测人员通过刷身份证或手动录入的方式，填写被试者信息，系统会根据当前环境调整采集、检测模式以及检测时间，满足测评要求后开启测评，最终生成被试者的个人分析报告。
55.此外，在获取情绪预测指令之前，还包括：接收被识别对象的离线视频，其中，离线视频是在离线状态下采集的被识别对象的视频。
56.也即是，在本发明实施例中，还支持离线视频检测。在本发明实施例中，系统支持avi和mp4两种格式的视频文件进行情绪预测，支持多选。上传离线视频后，支持通过手动录入和读取身份证自动录入两种方式填写人员信息，测评结束后生成被试者的个人分析报
告。
57.需要说明的是，在本发明实施例中，系统支持通过读卡器自动读取身份证录入采集信息和手工录入采集信息等模式，支持批量导入导出读取的身份证信息和采集的相关数据，以及增删改查被测人员信息；并支持对人员的检测情况进行统计分析，例如，各检测项的变化情况、人员状态画像以及对异常指标的统计。
58.根据本发明上述实施例，通过人脸捕捉器对多帧面部图像进行处理，得到处理后的多帧面部图像，包括：通过人脸捕捉器在多帧面部图像中的每一帧中搜索被识别对象的面部；在搜索到被识别对象面部后，调整被识别对象的面部在多帧面部图像中的每一帧面部图像的比例，以得到处理后的多帧面部图像。
59.在该实施例中，可以通过人脸捕捉器在多帧面部图像中的每一帧中搜索用户的面部，接着调整用户的面部在多帧面部图像中每一帧面部图像比例，以使得人脸在画面中处于一个相对稳定的比例，可以大大减少因客观情况造成的检测误差，使得后续情绪预测结果更加准确稳定。
60.根据本发明上述实施例，对处理后的多帧面部图像进行情绪特征提取，得到被识别对象的当前情绪特征序列，包括：根据情绪识别模板对多帧面部图像中的每一帧进行情绪分析，以得到多帧面部图像中每一帧的情绪特征，其中，情绪识别模板包括多个面部图像-情绪类型映射关系，面部图像-情绪类型映射关系预先根据多个样本对象的面部图像进行情绪分析，得到的面部图像与情绪特征之间的对应关系；对多帧面部图像中每一帧的情绪特征进行情绪特征提取，得到被识别对象的当前情绪特征序列。
61.在该实施例中，可以根据情绪识别模板对多帧面部图像中的每一帧进行情绪分析，以得到多帧面部图像中每一帧的情绪特征，从而对多帧面部图像中每一帧的情绪特征进行情绪特征提取，以得到用户的当前情绪序列。
62.其中，上述情绪识别模板可以包括多个面部图像-情绪类型映射关系，这里的面部图像-情绪类型映射关系可以是根据多个样本对象的面部图像以及面部图像对应的情绪类型预先构建的。
63.根据本发明上述实施例，对处理后的多帧面部图像进行情绪特征提取，得到被识别对象的当前情绪特征序列，包括：根据被识别对象的特征信息确定被识别对象的常模范围，其中，特征信息包括以下至少之一：被识别对象的性别、被识别对象的年龄、被识别对象的职业，常模范围表示被识别对象的不同情绪类型对应的数值范围；根据常模范围确定处理后的多帧面部图像中每一帧的情绪特征；根据多帧面部图像中每一帧的情绪特征得到被识别对象的当前情绪特征序列。
64.由于现有技术中每个检测项的默认常模范围是固定不变的，例如，针对用户a，他的焦虑情绪常模范围是20-50，换成用户b来检测，系统依然认为他的焦虑情绪常模范围是20-50，这里存在一个问题，不同行业、不同年龄、不同性别的人群其心理的常模范围应该是不同的，应该针对不同的人群制定不同的检测规则。针对这个情况，本系统支持对检测项常模进行修改，可以针对不同的人群，制定不同的检测规则，更加客观的去判断、分析用户当期的心理状态，给出准确结论及报告。
65.此外，由于一个人的心理状态会引发一系列的外在反应，并且不受神经系统控制，但是外在表现非常细微，导致肉眼难以察觉。微振动图像分析通过智能视频分析技术过滤
外部环境、摄像装置引入的图像噪音，有效提取人的头颈部最细微的振动幅度和频率。通过机器学习算法对不同部位的多个维度的微振动数据进行识别、分类和量化，并在大量实验数据的支持下，获得有心理学意义的多项心理状态指标。其中，本系统生成的心理评测报告提供以下16个心理状态指标的量化得分(括号内为默认的正常范围)：(1)注意力(25-5)，(2)心理压力(20-40)，(3)怀疑心(20-50)，(4)自信度(40-100)，(5)自我调节力(50-00)，(6)神经质(10-50)，(7)幸福感(20-70)，(8)攻击性(20-50)，(9)焦虑心理(15-40)，(10)心理平衡度(50-100)，(11)心理活力(10-50)，(12)心理压抑度(10-25)，(13)心理疲劳度(32-44)，(14)情绪消沉度(20-50)，(15)性格外倾性(40-60)，(16)心理稳定度(50-70)。
66.在该实施例中，可以根据用户的特征信息，例如，被识别对象的性别、被识别对象的年龄、被识别对象的职业等，来确定其不同情绪的常模范围，例如，焦虑情绪是20-50，针对不同的对象可以选择符合其特征的常模范围，从而可以更好地对用户进行情绪识别。
67.根据本发明上述实施例，根据被识别对象的历史情绪特征序列的特征值和当前情绪特征序列的特征值预测被识别对象在未来预定时刻的情绪，包括：确定被识别对象的历史情绪特征序列的特征值和当前情绪特征序列的特征值的变化信息；根据变化信息预测被识别对象在未来预定时刻的情绪。
68.在该实施例中，可以根据用户在历史时间段的情绪特征序列以及当前情绪特征序列之间的变化信息，来预测用户在未来时刻的情绪。
69.图3是根据本发明实施例的应用于基于图像分析的情绪预测方法的情绪识别系统的架构图，如图3所示，该系统包括：主机设备1台，数字摄像头1-3个，身份证读卡器1个，以及无线鼠标、电源适配器等。连接方式如图3所示，读卡器、数字摄像头均与主机的后端接口连接；网络摄像头则属于可选的，其可通过交换机与主机设备的后端接口连接。这种方式采用单机部署，核心引擎、数据存储、评测、人员和记录管理、统计等各功能集成在一台独立的工作站中，无需联网即可提供视频心理健康分析服务。人员信息、检测结果、视频数据均采用加密存储，保证信息安全。
70.由上述可知，本发明实施例提供的基于图像分析的情绪预测方法，主要具有如下功能：实时检测、离线检测、人员管理、测评记录、查询统计和系统设置。
71.其中，实时检测：被测人员通过刷身份证或手动录入的方式，填写被试者信息，根据当前环境调整采集、检测模式以及检测时间，满足测评要求后开启测评，最终生成被试者的个人分析报告。离线检测：系统支持avi和mp4两种格式的视频文件进行心理检测，支持多选。上传离线视频后，支持通过手动录入和读取身份证自动录入两种方式填写人员信息，测评结束后生成被试者的个人分析报告。人员管理：系统支持通过读卡器自动读取身份证录入采集信息和手工录入采集信息等模式，支持批量导入导出读取的身份证信息和采集的相关数据，以及增删改查被测人员信息；支持对人员的检测情况进行统计分析，包括：各检测项的变化情况、人员状态画像以及对异常指标的统计。测评记录：对实时测评和离线测评的信息进行记录，支持查看分析报告和回放测评录像，并对结果进行导出，检测视频支持avi、mp4格式导出，检测报告支持pdf、word形式导出。查询统计：系统支持查看所选时间范围内的总检测次数、人数、时间和单位；可通过界面交互选择整体或者某个单位的信息：查看人群画像、数值分布以及人群属性。人群画像可以分析当前所选单位的人员状态；数值分布可以查看某个检测项具体的分布情况，同时支持用户根据当前群体，自定义修改检测项的正
常范围；人群属性可以查看人员的性别和年龄的分布情况；支持导出查询统计的结果信息，以excel格式导出到本地。系统设置：支持用户调整摄像头参数、报告保存路径、视频和分析报告的导出格式。
72.图4是根据本发明实施例的可选的基于图像分析的情绪预测方法的流程图，如图4所示，本方法可以采用微振动图像分析技术捕获用户头颈部肌肉的细微活动，对获取的数据进行分析可得到与被试者的心理状态有关的量化参数。首先，用户可通过账号密码登陆系统，系统则在此阶段进行用户管理，以验证用户输入的账号密码；接下来可以进行实时测评、人员管理以及离线测评，每个阶段都是可以进行创建/修改的，在得到用户信息后，可以存储用户的测评记录，并更新历史信息后，为用户提供查询统计服务。其中，在本发明实施例中，也可以进行信息新增，提高了灵活性。
73.通过本发明实施例提供的基于图像分析的情绪预测方法，可使用人脸捕捉器对用户面部图像进行二次处理，以使得检测结果更加准确稳定；并且可以根据用户当前所属的人群属性，自定义所需常模规则；也可以根据历史检测结果，生成被测人员的用户画像；也支持针对某一群体，生成对应的人群画像。因此，具有以下有益效果：1).相对于市场目前的情绪检测系统，都没有对画面进行二次处理，进行人脸捕捉，多次检测一定会存在较大的误差，本方法解决了检测结果稳定性的问题；2).相对于市场目前的情绪检测系统，检测项的常模都是固定的，不支持修改，所以没有针对不同的人群做定性分析，不具备科学性，本方法适用于多个行业；3).相对于市场目前的情绪检测系统，都是简单地对检测结果做统计，并没有充分利用大数据做用户分析，本方法通过多次的检测结果，智能生成被测人员的用户画像，帮助被测人员了解自身情况；同时也支持生成所在单位的群体画像，帮助了解所在单位的群体属性。
74.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
75.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
76.根据本发明实施例，还提供了一种用于实施上述基于图像分析的情绪预测方法的基于图像分析的情绪预测装置，图5是根据本发明实施例的基于图像分析的情绪预测装置的示意图，如图5所示，该基于图像分析的情绪预测装置包括：获取单元51，处理单元53，提取单元55，确定单元57以及预测单元59。下面对该装置进行说明。
77.获取单元51，用于获取被识别对象在准静止状态下的多帧面部图像，其中，准静止状态是指被识别对象相对于多帧面部图像的采集设备的静止状态。
78.处理单元53，用于通过人脸捕捉器对多帧面部图像进行处理，得到处理后的多帧
面部图像，其中，人脸捕捉器用于在多帧面部图像中搜索被识别对象的面部，并在搜索到被识别对象的面部后，调整被识别对象的面部在面部图像中的比例。
79.提取单元55，用于对处理后的多帧面部图像进行情绪特征提取，得到被识别对象的当前情绪特征序列。
80.确定单元57，用于确定当前情绪特征序列的特征值，其中，特征值至少包括：当前情绪特征序列中各项情绪的平均值。
81.预测单元59，用于根据被识别对象的历史情绪特征序列的特征值和当前情绪特征序列的特征值预测被识别对象在未来预定时刻的情绪。
82.此处需要说明的是，上述获取单元51，处理单元53，提取单元55，确定单元57以及预测单元59对应于上述实施例中的步骤s202至步骤s210，五个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例所公开的内容。
83.由上可知，本发明上述实施例记载的方案中，可以利用获取单元获取被识别对象在准静止状态下的多帧面部图像，其中，准静止状态是指被识别对象相对于多帧面部图像的采集设备的静止状态；然后利用处理单元通过人脸捕捉器对多帧面部图像进行处理，得到处理后的多帧面部图像，其中，人脸捕捉器用于在多帧面部图像中搜索被识别对象的面部，并在搜索到被识别对象的面部后，调整被识别对象的面部在面部图像中的比例；接着利用提取单元对处理后的多帧面部图像进行情绪特征提取，得到被识别对象的当前情绪特征序列；再利用确定单元确定当前情绪特征序列的特征值，其中，特征值至少包括：当前情绪特征序列中各项情绪的平均值；以及利用预测单元根据被识别对象的历史情绪特征序列的特征值和当前情绪特征序列的特征值预测被识别对象在未来预定时刻的情绪，实现了通过人脸捕捉器对采集的用户的面部图像进行二次处理，以使得用户的面部图像在画面中所占比例相对稳定，再对二次处理后的面部图像进行情绪特征提取，以基于提取的情绪特征以及历史情绪特征预测用户在接下来某一时刻的情绪的目的，可以大大减少因客观情况造成的检测误差，达到了提升用户情绪预测的可靠性的技术效果。
84.因此，通过本发明实施例提供的技术方案，解决了相关技术中通过多次采集的图像直接预测被识别对象在未来某时刻的情绪，由于被识别对象在画面中所占比例每次不一致，导致预测结果可靠性较低的技术问题。
85.可选的，获取单元，包括：触发模块，用于在获取情绪预测指令后，在确定被识别对象相对于采集设备处于静止状态时，触发采集设备采集被识别对象的视频；第一提取模块，用于从视频中提取多帧面部图像。
86.可选的，触发模块，包括以下之一：第一生成子模块，用于在感应到被识别对象的身份识别卡时，生成情绪预测指令；第二生成子模块，用于在接收到通过物理按键输入的被识别对象的身份信息时，生成情绪预测指令。
87.可选的，该基于图像分析的情绪预测装置还包括：接收单元，用于在获取情绪预测指令之前，接收被识别对象的离线视频，其中，离线视频是在离线状态下采集的被识别对象的视频。
88.可选的，处理单元，包括：搜索模块，用于通过人脸捕捉器在多帧面部图像中的每一帧中搜索被识别对象的面部；调整模块，用于在搜索到被识别对象面部后，调整被识别对象的面部在多帧面部图像中的每一帧面部图像的比例，以得到处理后的多帧面部图像。
89.可选的，提取单元，包括：分析模块，用于根据情绪识别模板对多帧面部图像中的每一帧进行情绪分析，以得到多帧面部图像中每一帧的情绪特征，其中，情绪识别模板包括多个面部图像-情绪类型映射关系，面部图像-情绪类型映射关系预先根据多个样本对象的面部图像进行情绪分析，得到的面部图像与情绪特征之间的对应关系；第二提取模块，用于对多帧面部图像中每一帧的情绪特征进行情绪特征提取，得到被识别对象的当前情绪特征序列。
90.可选的，提取单元，包括：第二确定模块，用于根据被识别对象的特征信息确定被识别对象的常模范围，其中，特征信息包括以下至少之一：被识别对象的性别、被识别对象的年龄、被识别对象的职业，常模范围表示被识别对象的不同情绪类型对应的数值范围；第三确定模块，用于根据常模范围确定处理后的多帧面部图像中每一帧的情绪特征；获取模块，用于根据多帧面部图像中每一帧的情绪特征得到被识别对象的当前情绪特征序列。
91.可选的，预测单元，包括：第四确定模块，用于确定被识别对象的历史情绪特征序列的特征值和当前情绪特征序列的特征值的变化信息；预测模块，用于根据变化信息预测被识别对象在未来预定时刻的情绪。
92.根据本发明实施例的另外一个方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，程序执行上述中任意一项的基于图像分析的情绪预测方法。
93.可选地，在本实施例中，上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于通信设备群中的任意一个通信设备中。
94.可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：获取被识别对象在准静止状态下的多帧面部图像，其中，准静止状态是指被识别对象相对于多帧面部图像的采集设备的静止状态；通过人脸捕捉器对多帧面部图像进行处理，得到处理后的多帧面部图像，其中，人脸捕捉器用于在多帧面部图像中搜索被识别对象的面部，并在搜索到被识别对象的面部后，调整被识别对象的面部在面部图像中的比例；对处理后的多帧面部图像进行情绪特征提取，得到被识别对象的当前情绪特征序列；确定当前情绪特征序列的特征值，其中，特征值至少包括：当前情绪特征序列中各项情绪的平均值；根据被识别对象的历史情绪特征序列的特征值和当前情绪特征序列的特征值预测被识别对象在未来预定时刻的情绪。
95.可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：在获取情绪预测指令后，在确定被识别对象相对于采集设备处于静止状态时，触发采集设备采集被识别对象的视频；从视频中提取多帧面部图像。
96.可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：在感应到被识别对象的身份识别卡时，生成情绪预测指令；在接收到通过物理按键输入的被识别对象的身份信息时，生成情绪预测指令。
97.可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：接收被识别对象的离线视频，其中，离线视频是在离线状态下采集的被识别对象的视频。
98.可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：通过人脸捕捉器在多帧面部图像中的每一帧中搜索被识别对象的面部；在搜索
到被识别对象面部后，调整被识别对象的面部在多帧面部图像中的每一帧面部图像的比例，以得到处理后的多帧面部图像。
99.可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：根据情绪识别模板对多帧面部图像中的每一帧进行情绪分析，以得到多帧面部图像中每一帧的情绪特征，其中，情绪识别模板包括多个面部图像-情绪类型映射关系，面部图像-情绪类型映射关系预先根据多个样本对象的面部图像进行情绪分析，得到的面部图像与情绪特征之间的对应关系；对多帧面部图像中每一帧的情绪特征进行情绪特征提取，得到被识别对象的当前情绪特征序列。
100.可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：根据被识别对象的特征信息确定被识别对象的常模范围，其中，特征信息包括以下至少之一：被识别对象的性别、被识别对象的年龄、被识别对象的职业，常模范围表示被识别对象的不同情绪类型对应的数值范围；根据常模范围确定处理后的多帧面部图像中每一帧的情绪特征；根据多帧面部图像中每一帧的情绪特征得到被识别对象的当前情绪特征序列。
101.可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：确定被识别对象的历史情绪特征序列的特征值和当前情绪特征序列的特征值的变化信息；根据变化信息预测被识别对象在未来预定时刻的情绪。
102.根据本发明实施例的另外一个方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述中任意一项的基于图像分析的情绪预测方法。
103.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
104.在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
105.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
106.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
107.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
108.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或
部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
109.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：
1.一种基于图像分析的情绪预测方法，其特征在于，包括：获取被识别对象在准静止状态下的多帧面部图像，其中，所述准静止状态是指所述被识别对象相对于所述多帧面部图像的采集设备的静止状态；通过人脸捕捉器对所述多帧面部图像进行处理，得到处理后的所述多帧面部图像，其中，所述人脸捕捉器用于在所述多帧面部图像中搜索所述被识别对象的面部，并在搜索到所述被识别对象的面部后，调整所述被识别对象的面部在所述面部图像中的比例；对处理后的所述多帧面部图像进行情绪特征提取，得到所述被识别对象的当前情绪特征序列；确定所述当前情绪特征序列的特征值，其中，所述特征值至少包括：所述当前情绪特征序列中各项情绪的平均值；根据所述被识别对象的历史情绪特征序列的特征值和所述当前情绪特征序列的特征值预测所述被识别对象在未来预定时刻的情绪。2.根据权利要求1所述的基于图像分析的情绪预测方法，其特征在于，获取被识别对象在准静止状态下的多帧面部图像，包括：在获取情绪预测指令后，在确定所述被识别对象相对于所述采集设备处于静止状态时，触发所述采集设备采集所述被识别对象的视频；从所述视频中提取所述多帧面部图像。3.根据权利要求1所述的基于图像分析的情绪预测方法，其特征在于，获取情绪预测指令，包括以下之一：在感应到所述被识别对象的身份识别卡时，生成所述情绪预测指令；在接收到通过物理按键输入的所述被识别对象的身份信息时，生成情绪预测指令。4.根据权利要求2或3所述的基于图像分析的情绪预测方法，其特征在于，在获取情绪预测指令之前，还包括：接收所述被识别对象的离线视频，其中，所述离线视频是在离线状态下采集的所述被识别对象的视频。5.根据权利要求1所述的基于图像分析的情绪预测方法，其特征在于，通过人脸捕捉器对所述多帧面部图像进行处理，得到处理后的所述多帧面部图像，包括：通过所述人脸捕捉器在所述多帧面部图像中的每一帧中搜索所述被识别对象的面部；在搜索到所述被识别对象面部后，调整所述被识别对象的面部在所述多帧面部图像中的每一帧面部图像的比例，以得到处理后的所述多帧面部图像。6.根据权利要求1所述的基于图像分析的情绪预测方法，其特征在于，对处理后的所述多帧面部图像进行情绪特征提取，得到所述被识别对象的当前情绪特征序列，包括：根据情绪识别模板对所述多帧面部图像中的每一帧进行情绪分析，以得到所述多帧面部图像中每一帧的情绪特征，其中，所述情绪识别模板包括多个面部图像-情绪类型映射关系，所述面部图像-情绪类型映射关系预先根据多个样本对象的面部图像进行情绪分析，得到的面部图像与情绪特征之间的对应关系；对所述多帧面部图像中每一帧的情绪特征进行情绪特征提取，得到所述被识别对象的当前情绪特征序列。7.根据权利要求1所述的基于图像分析的情绪预测方法，其特征在于，对处理后的所述多帧面部图像进行情绪特征提取，得到所述被识别对象的当前情绪特征序列，包括：
根据所述被识别对象的特征信息确定所述被识别对象的常模范围，其中，所述特征信息包括以下至少之一：所述被识别对象的性别、所述被识别对象的年龄、所述被识别对象的职业，所述常模范围表示所述被识别对象的不同情绪类型对应的数值范围；根据所述常模范围确定处理后的所述多帧面部图像中每一帧的情绪特征；根据所述多帧面部图像中每一帧的情绪特征得到所述被识别对象的当前情绪特征序列。8.根据权利要求1所述的基于图像分析的情绪预测方法，其特征在于，根据所述被识别对象的历史情绪特征序列的特征值和所述当前情绪特征序列的特征值预测所述被识别对象在未来预定时刻的情绪，包括：确定所述被识别对象的历史情绪特征序列的特征值和所述当前情绪特征序列的特征值的变化信息；根据所述变化信息预测所述被识别对象在未来预定时刻的情绪。9.一种基于图像分析的情绪预测装置，其特征在于，包括：获取单元，用于获取被识别对象在准静止状态下的多帧面部图像，其中，所述准静止状态是指所述被识别对象相对于所述多帧面部图像的采集设备的静止状态；处理单元，用于通过人脸捕捉器对所述多帧面部图像进行处理，得到处理后的所述多帧面部图像，其中，所述人脸捕捉器用于在所述多帧面部图像中搜索所述被识别对象的面部，并在搜索到所述被识别对象的面部后，调整所述被识别对象的面部在所述面部图像中的比例；提取单元，用于对处理后的所述多帧面部图像进行情绪特征提取，得到所述被识别对象的当前情绪特征序列；确定单元，用于确定所述当前情绪特征序列的特征值，其中，所述特征值至少包括：所述当前情绪特征序列中各项情绪的平均值；预测单元，用于根据所述被识别对象的历史情绪特征序列的特征值和所述当前情绪特征序列的特征值预测所述被识别对象在未来预定时刻的情绪。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，所述程序执行权利要求1至8中任意一项所述的基于图像分析的情绪预测方法。

技术总结
本发明公开了一种基于图像分析的情绪预测方法及装置。其中，该方法包括：获取被识别对象在准静止状态下的多帧面部图像；通过人脸捕捉器对多帧面部图像进行处理，得到处理后的多帧面部图像；对处理后的多帧面部图像进行情绪特征提取，得到被识别对象的当前情绪特征序列；确定当前情绪特征序列的特征值；根据被识别对象的历史情绪特征序列的特征值和当前情绪特征序列的特征值预测被识别对象在未来预定时刻的情绪。本发明解决了相关技术中通过多次采集的图像直接预测被识别对象在未来某时刻的情绪，由于被识别对象在画面中所占比例每次不一致，导致预测结果可靠性较低的技术问题。题。题。


技术研发人员：闫宇杰 王斌 谢园园 唐雄飞 李健 陈明 武卫东
受保护的技术使用者：北京捷通华声科技股份有限公司
技术研发日：2023.07.03
技术公布日：2023/10/7