一种基于自适应选择策略的情感识别方法

1.本发明涉及情感识别技术领域，尤其涉及一种基于自适应选择策略的情感识别方法。


背景技术：

2.随着机器人技术的不断发展，机器人应用任务的不断增多，人机交互任务也日趋复杂，仅仅依靠被动地接受用户的指令和控制远远不够，如果不能主动地理解用户的目的和意图，则无法推断用户的心理状态，较为缺乏感知和引导的能力。利用情感识别模型，赋予机器人拥有像人一样的情感认知能力，能够根据人的行为举止对其情感状态进行推断，理解人的行为和意图，从而实现高效、自然、和谐的智能人机交互。
3.目前，国内外情感识别的研究主要有两大类，一类是单模式情感识别，另一类是多模式情感识别。所谓单模式情感识别为只从单一信息通道中获得当前对象的情感状态，如从语音信号、面部表情信号或生理信号(血压、体温、脉搏、心电、脑电、皮肤电阻等)等。虽然单一地依靠语音信号、面部表情信号和生理参数来进行情感识别的研究取得了一定的成果，但却存在着很多局限性，因为人类是通过多模式的方式表达情感信息的。当某一个通道的特征受到干扰或缺失时，多模式方法能在某种程度上产生互补的效应，弥补了单模式的不足，所以研究多模式情感识别的方法十分必要。东南大学的赵力、黄程韦等通过融合语音信号与心电信号进行了多模式情感识别，获得较高的融合识别率。verma等融合脑电信号与其他生理信号，对13个情感类别进行识别研究。patwadhan提出了一种利用多模式音视频连续数据自动检测情感的方法，采用特征层融合的方法建立组合特征向量，利用支持向量机分类器进行情感检测。刘菁菁等提出一种基于长短时记忆(lstm)网络的多模态情感识别模型,采用双路lstm分别模拟人类听觉和视觉处理通路处理语音和面部表情的情感信息。
4.目前，融合多模式情感信息的方法主要有2种：决策层的融合和特征层的融合。这两种方法各有优缺点，决策层的融合技术考虑了不同模式对于情感识别重要性的不同，但往往对同一模式仅赋一个权重，由于各模式对不同类别数据的分类能力是不同的，因此这种通过主观感知实验得到的权重能否应用到其他的情况下是值得怀疑的。特征层的融合技术更接近人类识别情感的过程，能更好地利用统计机器学习的技术，但是这种方法没有考虑到识别不同情感时，不同模式重要性的不同，这种方法不能最大程度地发挥多模式融合的优势。因此，情感识别技术的研究尚处于起步阶段，相应的基础理论和方法框架仍很欠缺。


技术实现要素：

5.本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于自适应选择策略的情感识别方法，通过自适应地选择与融合语音信号、面部表情信号和心电信号来实现情感的识别。
6.为解决上述技术问题，本发明所采取的技术方案是：一种基于自适应选择策略的
情感识别方法，
7.获取多种情感信号；
8.对多种情感信号分别进行预处理及转换，得到多个通道的图像信号；
9.对多个通道的图像信号分别进行情感特征提取及情感类别的初步判识；
10.自适应选择多个通道图像信号的情感类别的初步判识结果；
11.采用基于类可靠度和可能性比率的融合与识别算法进行最终的情感识别。
12.具体包括以下步骤：
13.步骤1、情感信号获取；
14.首先诱发多种情感，并同步获取相应情感状态下的语音信号、面部表情信号和心电信号三种情感信号，并将三种情感信号绑定存储，获得多个情感信号样本；
15.所述语音信号利用麦克风接收语音数据后，再通过采样量化获得；所述面部表情信号则通过摄像机拍摄获得；所述心电信号则通过便携式心电信号采集仪获取；
16.步骤2、情感信号预处理及转换；
17.步骤2-1、语音信号预处理及转换；
18.首先对获取的情感信号样本中的语音信号进行预处理，包括预加重、分帧加窗和端点检测；然后将预处理后的语音信号转换成图像信号；
19.所述预加重采用一阶数字预加重滤波器实现；所述分帧加窗为以帧长256点的标准进行分帧，并对分帧后的数据加汉明窗处理；所述端点检测则是利用短时能零积法进行；所述将预处理后的语音信号转换成图像信号则是将预处理后的语音信号进行快速傅立叶变换，得出相应的语谱图，再对语谱图中像素灰度值进行归一化处理，即使图像的像素灰度值为0，方差为1，作为第一通道图像信号；
20.步骤2-2、面部表情信号预处理；
21.针对获取的情感信号样本中的面部表情信号，首先进行脸部定位，然后进行图像几何特性归一化处理和图像光学特性归一化处理；
22.所述脸部定位利用肤色模型实现；所述图像几何特性归一化根据左右两眼的坐标值旋转图像实现；所述图像光学特性的归一化处理先采用直方图均衡化方法对图像灰度做拉伸，然后对图像像素灰度值进行归一化处理，使标准人脸图像的像素灰度值为0，方差为1，作为第二通道图像信号；
23.步骤2-3、心电信号预处理及转换；
24.首先对获取的情感样本中的心电信号进行预处理，包括去除50hz工频干扰，进行基线漂移的纠正和抑制肌电干扰；然后将预处理后的心电信号转换成图像信号；
25.所述去除50hz工频干扰采用整系数带阻滤波器实现；所述基线漂移的纠正采用拟合基线抵消法进行；所述抑制肌电干扰采用小波阈值去噪法实现；所述转换成图像信号是将预处理后的心电信号进行快速傅立叶变换，得出相应的心电谱图，然后对心电谱图中像素灰度值进行归一化处理，即使图像的像素灰度值为0，方差为1，作为第三通道图像信号；
26.步骤3、对三个通道图像信号分别进行情感特征提取及情感类别的初步判识；
27.步骤3-1、提取第一通道图像信号的情感特征参数并进行情感类别的初步判识；
28.步骤3-1-1、建立第一残差式深度卷积神经网络结构；
29.所述第一残差式深度卷积神经网络结构包括依次连接的卷积层、最大池化层、残
差块、平均池化层、全连接层、次输出层和最终输出层；
30.所述第一残差式深度卷积神经网络结构包括的残差块为resnet-50；
31.步骤3-1-2、采用梯度下降算法训练建立好的第一残差式深度卷积神经网络；
32.步骤3-1-3、将第一通道图像信号作为训练好的第一残差式卷积神经网络的输入，次输出层的值即为第一通道图像信号的情感特征参数，最终输出层的值即为第一通道图像信号情感类别的初步判识结果；
33.步骤3-2、提取第二通道图像信号的情感特征参数并进行情感类别的初步判识；
34.步骤3-2-1、建立第二残差式深度卷积神经网络结构；
35.所述第二残差式深度卷积神经网络结构包括依次连接的卷积层、最大池化层、残差块、平均池化层、全连接层、次输出层和最终输出层；
36.所述第二残差式深度卷积神经网络结构包括的残差块为resnet-101；
37.步骤3-2-2、采用梯度下降算法训练建立好的第二残差式深度卷积神经网络；
38.步骤3-2-3、将第二通道图像信号作为训练好的第二残差式卷积神经网络的输入，次输出层的值即为第二通道图像信号的情感特征参数，最终输出层的值即为第二通道图像信号情感类别的初步判识结果；
39.步骤3-3、提取第三通道图像信号的情感特征参数并进行情感类别的初步判识；
40.步骤3-3-1、建立第三残差式深度卷积神经网络结构；
41.所述第三残差式深度卷积神经网络结构包括依次连接的卷积层、最大池化层、残差块、平均池化层、全连接层、次输出层和最终输出层；
42.所述第三残差式深度卷积神经网络结构包括的残差块为resnet-34；
43.步骤3-3-2、采用梯度下降算法训练建立好的第三残差式深度卷积神经网络；
44.步骤3-3-3、将第三通道图像信号作为训练好的第三残差式卷积神经网络的输入，次输出层的值即为第三通道图像信号的情感特征参数，最终输出层的值即为第三通道图像信号情感类别的初步判识结果；
45.步骤4、自适应选择三个通道图像信号的情感类别的初步判识结果；
46.如果步骤3对三个通道图像信号情感类别的初步判识结果相同，则该结果即为情感类别的最终识别结果；如果只有两个通道的初步判识结果相同，则需要将这两个通道的图像信号情感特征参数顺序组合成混合特征向量并送入步骤5再次进行判别；如果三个通道的初步判识结果均不相同，则将第一通道和第二通道的图像信号情感特征参数顺序组合成混合特征向量并送入步骤5再次进行判别；
47.步骤5、采用基于类可靠度和可能性比率的融合与识别算法进行最终的情感识别；
48.步骤5-1、将获得的所有情感样本的组合特征向量构成一个集合称为组合特征向量集，并将该组合特征向量集等分成三份，分别作为训练样本集、可靠度预测样本集和测试样本集；
49.步骤5-2、通过对训练样本集做有放回的抽样，获得若干个子训练样本集；
50.步骤5-3、每个子训练样本集分别训练出一个分类器；所述分类器采用三层遗传小波神经网络或三层bp神经网络，所有分类器输入层均有n个神经元，代表n个情感特征参数，输出层有m个神经元，代表m种人类基本情感；
51.步骤5-4、用可靠度预测样本集中的数据作为各分类器的测试样本来预测各分类
器输出各情感类别的正确率，作为各情感类别的可靠度值；
52.步骤5-5、将测试样本集中的待测样本送入各分类器进行识别，每个分类器对每类情感均产生一个可能性比率；将各分类器输出的每类情感的可靠度值与可能性比率作和，然后将各分类器类别相同的和值累加，将累加值最大的情感类别作为最终的情感识别结果。
53.采用上述技术方案所产生的有益效果在于：本发明提供的一种基于自适应选择策略的情感识别方法，(1)能够选出反映真实情感的通道数据进行最终的判决，弥补了单模式的不足，提高了识别方法的鲁棒性和识别率；(2)将语音信号和心电信号先转换成图像信号，这样就可以采用深度卷积神经网络进行特征提取，充分利用了深度学习模型可自动提取抽象特征的优势，有效降低了运算量；(3)采用深度残差网络作为基础卷积神经网络模型，使网络结构中加入了跨层连接支路，进而使低层残差块可以向高层残差块传递信息，很大程度上解决了深度卷积神经网络随着深度增加而带来的梯度消失以及网络退化问题。(4)依据集成学习多分类器共同决策的思想，提出了一种基于类可靠度和可能性比率的融合与识别算法，充分发挥了决策层融合与特征层融合的优点，使整个识别过程更加接近人类情感识别，有利于提升分类的可靠性和效率。
附图说明
54.图1为本发明实施例提供的一种基于自适应选择策略的情感识别方法的流程图。
具体实施方式
55.下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
56.本实施例中，一种基于自适应选择策略的情感识别方法，如图1所示，包括以下步骤：
57.步骤1、情感信号获取；
58.首先通过噪声刺激或者观看影视片段等诱发方式诱发人的多种情感，并同步获取相应情感状态下的语音信号、面部表情信号和心电信号三种情感信号，并将三种情感信号绑定存储，获得多个情感信号样本；
59.其中，语音信号利用麦克风接收语音数据后，再通过计算机以11.025khz的采样频率、16bit的量化精度进行采样量化获得；面部表情信号则通过摄像机拍摄获得；心电信号则通过便携式心电信号采集仪获取；
60.步骤2、情感信号预处理及转换；
61.步骤2-1、语音信号预处理及转换；
62.首先对获取的情感信号样本中的语音信号进行预处理，包括预加重、分帧加窗和端点检测；然后将预处理后的语音信号转换成图像信号，得到第一通道图像信号；
63.本实施例中，预加重采用一阶数字预加重滤波器实现；分帧加窗为以帧长256点的标准进行分帧，并对分帧后的数据加汉明窗处理；端点检测则是利用短时能零积法进行；预处理后的语音信号转换成图像信号则是将预处理后的语音信号进行快速傅立叶变换，得出相应的语谱图，再对语谱图中像素灰度值进行归一化处理，即使图像的像素灰度值为0，方
差为1，作为第一通道图像信号；本发明实施例中，归一化后的图像大小为75
×
100像素。
64.步骤2-2、面部表情信号预处理；
65.针对获取的情感信号样本中的面部表情信号，首先进行脸部定位，然后进行图像几何特性归一化处理和图像光学特性归一化处理，得到第二通道图像信号；
66.本实施例中，脸部定位利用肤色模型实现；图像几何特性归一化根据左右两眼的坐标值旋转图像实现；图像光学特性的归一化处理先采用直方图均衡化方法对图像灰度做拉伸，然后对图像像素灰度值进行归一化处理，使标准人脸图像的像素灰度值为0，方差为1，作为第二通道图像信号；本发明实施例中，归一化后的图像大小为75
×
100像素。
67.步骤2-3、心电信号预处理及转换；
68.首先对获取的情感样本中的心电信号进行预处理，包括去除50hz工频干扰，进行基线漂移的纠正和抑制肌电干扰；然后将预处理后的心电信号转换成图像信号，得到第三通道图像信号；
69.本实施例中，去除50hz工频干扰采用整系数带阻滤波器实现；基线漂移的纠正采用拟合基线抵消法进行；抑制肌电干扰采用小波阈值去噪法实现；转换成图像信号是将预处理后的心电信号进行快速傅立叶变换，得出相应的心电谱图，然后对心电谱图中像素灰度值进行归一化处理，即使图像的像素灰度值为0，方差为1，作为第三通道图像信号；本发明实施例中，归一化后的图像大小为75
×
100像素。
70.步骤3、对三个通道图像信号分别进行情感特征提取及情感类别的初步判识；
71.步骤3-1、提取第一通道图像信号的情感特征参数并进行情感类别的初步判识；
72.步骤3-1-1、建立第一残差式深度卷积神经网络结构；
73.所述第一残差式深度卷积神经网络结构包括依次连接的卷积层、最大池化层、残差块、平均池化层、全连接层、次输出层和最终输出层；
74.所述第一残差式深度卷积神经网络结构包括的残差块为resnet-50；
75.步骤3-1-2、采用梯度下降算法训练建立好的第一残差式深度卷积神经网络；
76.步骤3-1-3、将第一通道图像信号作为训练好的第一残差式卷积神经网络的输入，次输出层的值即为第一通道图像信号的情感特征参数，最终输出层的值即为第一通道图像信号情感类别的初步判识结果；
77.本实施例中，第一残差式深度卷积神经网络首先经过卷积层，卷积核大小为7
×
7，步长为2，再经过最大池化层，卷积核大小为3
×
3，步长为2；其次经过残差块，该残差块为resnet-50，数量为3；然后经过平均池化层和全连接层；最后经过次输出层和最终输出层。
78.步骤3-2、提取第二通道图像信号的情感特征参数并进行情感类别的初步判识；
79.步骤3-2-1、建立第二残差式深度卷积神经网络结构；
80.所述第二残差式深度卷积神经网络结构包括依次连接的卷积层、最大池化层、残差块、平均池化层、全连接层、次输出层和最终输出层；
81.所述第二残差式深度卷积神经网络结构包括的残差块为resnet-101；
82.步骤3-2-2、采用梯度下降算法训练建立好的第二残差式深度卷积神经网络；
83.步骤3-2-3、将第二通道图像信号作为训练好的第二残差式卷积神经网络的输入，次输出层的值即为第二通道图像信号的情感特征参数，最终输出层的值即为第二通道图像信号情感类别的初步判识结果；
84.本实施例中，第二残差式深度卷积神经网络首先经过卷积层，卷积核大小为7
×
7，步长为2，再经过最大池化层，卷积核大小为3
×
3，步长为2；其次经过残差块，该残差块为resnet-101，数量为2；然后经过平均池化层和全连接层；最后经过次输出层和最终输出层。
85.步骤3-3、提取第三通道图像信号的情感特征参数并进行情感类别的初步判识；
86.步骤3-3-1、建立第三残差式深度卷积神经网络结构；
87.所述第三残差式深度卷积神经网络结构包括依次连接的卷积层、最大池化层、残差块、平均池化层、全连接层、次输出层和最终输出层；
88.所述第三残差式深度卷积神经网络结构包括的残差块为resnet-34；
89.步骤3-3-2、采用梯度下降算法训练建立好的第三残差式深度卷积神经网络；
90.步骤3-3-3、将第三通道图像信号作为训练好的第三残差式卷积神经网络的输入，次输出层的值即为第三通道图像信号的情感特征参数，最终输出层的值即为第三通道图像信号情感类别的初步判识结果；
91.本实施例中，第三残差式深度卷积神经网络首先经过卷积层，卷积核大小为7
×
7，步长为2，再经过最大池化层，卷积核大小为3
×
3，步长为2；其次经过残差块，该残差块为resnet-34，数量为4；然后经过平均池化层和全连接层；最后经过次输出层和最终输出层。
92.步骤4、自适应选择三个通道图像信号的情感类别的初步判识结果；
93.如果步骤3对三个通道图像信号情感类别的初步判识结果相同，则该结果即为情感类别的最终识别结果；如果只有两个通道的初步判识结果相同，则需要将这两个通道的图像信号情感特征参数顺序组合成混合特征向量并送入步骤5再次进行判别；如果三个通道的初步判识结果均不相同，则根据语音信号和面部表情信号是起主要作用的信号，所以将第一通道和第二通道的图像信号情感特征参数顺序组合成混合特征向量并送入步骤5再次进行判别；
94.步骤5、采用基于类可靠度和可能性比率的融合与识别算法进行最终的情感识别；
95.步骤5-1、将获得的所有情感样本的组合特征向量构成一个集合称为组合特征向量集，并将该组合特征向量集等分成三份，分别作为训练样本集、可靠度预测样本集和测试样本集；
96.本实施例中，将获得的所有情感样本的组合特征向量u1,u2,
…
,ur,u
r+1
,u
r+2
,
…
,u
2r
,u
2r+1
,u
2r+2
,
…
,u
3r
构成一个集合称为组合特征向量集，其中，r取值为3000；并将该组合特征向量集等分成三份，其中u1,u2,
…
,ur为训练样本集中元素，u
r+1
,u
r+2
,
…
,u
2r
为可靠度预测样本集中元素，u
2r+1
,u
2r+2
,
…
,u
3r
为测试样本集中元素。
97.步骤5-2、通过对训练样本集做有放回的抽样，获得若干个子训练样本集；
98.本实施例中，通过对训练样本集做有放回的抽样n
′
(n
′
的取值不要超过训练样本集中向量的数量即可)次，获得第一个子训练样本集s1，s1中包含1500个随机获得的特征向量；然后依此继续抽取样本获得子训练样本集s2，
…
，sm′
，即获得m
′
个子训练样本集；本实施例中，n
′
取值为1500，m
′
取值为20。
99.步骤5-3、每个子训练样本集分别训练出一个分类器；即用m
′
个子训练集样本分别训练m
′
个分类器h
t
′
，t＝1,2,
…
,m
′
；
100.分类器采用三层遗传小波神经网络或三层bp神经网络，所有分类器输入层均有n个神经元，代表n个情感特征参数，输出层有m个神经元，代表m种人类基本情感，即高兴、愤
怒、惊奇、悲伤、恐惧和中性；
101.本实施例使用20个分类器，前10个分类器采用三层遗传小波神经网络，后10个分类器采用三层bp神经网络，所有分类器输入层均有60个神经元，代表60个情感特征参数，输出层有6个神经元，代表6种人类基本情感，即高兴、愤怒、惊奇、悲伤、恐惧和中性。
102.步骤5-4、用可靠度预测样本集中的数据作为各分类器的测试样本来预测各分类器输出各情感类别的正确率，作为各情感类别的可靠度值cr
kt
,k＝1,2,
…
,6,k表示6种人类基本情感，即k＝1代表高兴，k＝2代表愤怒，k＝3代表惊奇，k＝4代表悲伤，k＝5代表恐惧和k＝6代表中性情感；
103.步骤5-5、将测试样本集中的待测样本x送入各分类器进行识别，每个分类器对每类情感均产生一个可能性比率，其中，p
kt
表示第t个分类器对第k个情感类别产生的可能性比率；将各分类器输出的每类情感的可靠度值与可能性比率作和，即cr
kt
+p
kt
，然后将各分类器类别相同的和值累加，将累加值最大的情感类别作为最终的情感识别结果，即
104.本实施例中，为验证本发明方法的情感识别效果，将不采用自适应通道选择策略的情感识别结果与本发明的情感识别结果进行对比。本实施例中，训练样本集、可靠度预测样本集和测试样本集均包含每种情感的500条语句。不采用自适应选择通道策略的情感识别正确率如表1所示；本发明方法的情感识别正确率如表2所示。
105.表1不采用自适应通道选择策略的情感识别正确率
[0106][0107][0108]
表2采用自适应通道选择策略的情感识别正确率
[0109]
情感类别高兴愤怒惊奇悲伤恐惧中性高兴96％2％1％0％1％0％愤怒2％97％0％1％0％0％惊奇0％1％97％0％2％0％悲伤2％0％0％95％2％1％恐惧0％1％1％0％98％0％中性0％1％2％4％0％93％
[0110]
由表1可以看出，不采用自适应通道选择策略的情感识别正确率是90.83％(该平
均识别正确率90.83％是通过表1中高兴的识别正确率91％、愤怒的识别正确率89％、惊奇的识别正确率93％、悲伤的识别正确率93％、恐惧的识别正确率88％和中性的识别正确率91％求和后取平均值得到的)；本发明方法的平均识别正确率是96％。虽然不采用自适应通道选择策略的情感识别结果由于采用了引入残差块的深度卷积神经网络提取情感特征，很大程度上解决了深度卷积神经网络随着深度增加而带来的梯度消失以及网络退化问题，所以获得了很好的识别结果，但是与本发明方法相比，识别率还是稍微低一些。这也说明本发明方法能够选出反映真实情感的通道数据进行最终的判决，更加接近人类情感识别的过程，提高了系统的鲁棒性和识别率。
[0111]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

技术特征：
1.一种基于自适应选择策略的情感识别方法，其特征在于：获取多种情感信号；对多种情感信号分别进行预处理及转换，得到多个通道的图像信号；对多个通道的图像信号分别进行情感特征提取及情感类别的初步判识；自适应选择多个通道图像信号的情感类别的初步判识结果；采用基于类可靠度和可能性比率的融合与识别算法进行最终的情感识别。2.根据权利要求1所述的一种基于自适应选择策略的情感识别方法，其特征在于：所述方法包括以下步骤：步骤1、情感信号获取；首先诱发多种情感，并同步获取相应情感状态下的语音信号、面部表情信号和心电信号三种情感信号，并将三种情感信号绑定存储，获得多个情感信号样本；步骤2、情感信号预处理及转换；步骤2-1、语音信号预处理及转换；首先对获取的情感信号样本中的语音信号进行预处理，包括预加重、分帧加窗和端点检测；然后将预处理后的语音信号转换成图像信号，作为第一通道图像信号；步骤2-2、面部表情信号预处理；针对获取的情感信号样本中的面部表情信号，首先进行脸部定位，然后进行图像几何特性归一化处理和图像光学特性归一化处理，作为第二通道图像信号；步骤2-3、心电信号预处理及转换；首先对获取的情感样本中的心电信号进行预处理，包括去除50hz工频干扰，进行基线漂移的纠正和抑制肌电干扰；然后将预处理后的心电信号转换成图像信号，作为第三通道图像信号；步骤3、对三个通道图像信号分别进行情感特征提取及情感类别的初步判识；步骤4、自适应选择三个通道图像信号的情感类别的初步判识结果；如果步骤3对三个通道图像信号情感类别的初步判识结果相同，则该结果即为情感类别的最终识别结果；如果只有两个通道的初步判识结果相同，则需要将这两个通道的图像信号情感特征参数顺序组合成混合特征向量并送入步骤5再次进行判别；如果三个通道的初步判识结果均不相同，则将第一通道和第二通道的图像信号情感特征参数顺序组合成混合特征向量并送入步骤5再次进行判别；步骤5、采用基于类可靠度和可能性比率的融合与识别算法进行最终的情感识别。3.根据权利要求2所述的一种基于自适应选择策略的情感识别方法，其特征在于：所述语音信号利用麦克风接收语音数据后，再通过采样量化获得；所述面部表情信号则通过摄像机拍摄获得；所述心电信号则通过便携式心电信号采集仪获取。4.根据权利要求2所述的一种基于自适应选择策略的情感识别方法，其特征在于：所述预加重采用一阶数字预加重滤波器实现；所述分帧加窗为以帧长256点的标准进行分帧，并对分帧后的数据加汉明窗处理；所述端点检测则是利用短时能零积法进行；所述将预处理后的语音信号转换成图像信号则是将预处理后的语音信号进行快速傅立叶变换，得出相应的语谱图，再对语谱图中像素灰度值进行归一化处理，即使图像的像素灰度值为0，方差为1，作为第一通道图像信号。
5.根据权利要求2所述的一种基于自适应选择策略的情感识别方法，其特征在于：所述脸部定位利用肤色模型实现；所述图像几何特性归一化根据左右两眼的坐标值旋转图像实现；所述图像光学特性的归一化处理先采用直方图均衡化方法对图像灰度做拉伸，然后对图像像素灰度值进行归一化处理，使标准人脸图像的像素灰度值为0，方差为1，作为第二通道图像信号。6.根据权利要求2所述的一种基于自适应选择策略的情感识别方法，其特征在于：所述去除50hz工频干扰采用整系数带阻滤波器实现；所述基线漂移的纠正采用拟合基线抵消法进行；所述抑制肌电干扰采用小波阈值去噪法实现；所述转换成图像信号是将预处理后的心电信号进行快速傅立叶变换，得出相应的心电谱图，然后对心电谱图中像素灰度值进行归一化处理，即使图像的像素灰度值为0，方差为1，作为第三通道图像信号。7.根据权利要求2所述的一种基于自适应选择策略的情感识别方法，其特征在于：所述步骤3的具体方法为：步骤3-1、提取第一通道图像信号的情感特征参数并进行情感类别的初步判识；步骤3-1-1、建立第一残差式深度卷积神经网络结构；所述第一残差式深度卷积神经网络结构包括依次连接的卷积层、最大池化层、残差块、平均池化层、全连接层、次输出层和最终输出层；步骤3-1-2、采用梯度下降算法训练建立好的第一残差式深度卷积神经网络；步骤3-1-3、将第一通道图像信号作为训练好的第一残差式卷积神经网络的输入，次输出层的值即为第一通道图像信号的情感特征参数，最终输出层的值即为第一通道图像信号情感类别的初步判识结果；步骤3-2、提取第二通道图像信号的情感特征参数并进行情感类别的初步判识；步骤3-2-1、建立第二残差式深度卷积神经网络结构；所述第二残差式深度卷积神经网络结构包括依次连接的卷积层、最大池化层、残差块、平均池化层、全连接层、次输出层和最终输出层；步骤3-2-2、采用梯度下降算法训练建立好的第二残差式深度卷积神经网络；步骤3-2-3、将第二通道图像信号作为训练好的第二残差式卷积神经网络的输入，次输出层的值即为第二通道图像信号的情感特征参数，最终输出层的值即为第二通道图像信号情感类别的初步判识结果；步骤3-3、提取第三通道图像信号的情感特征参数并进行情感类别的初步判识；步骤3-3-1、建立第三残差式深度卷积神经网络结构；所述第三残差式深度卷积神经网络结构包括依次连接的卷积层、最大池化层、残差块、平均池化层、全连接层、次输出层和最终输出层；步骤3-3-2、采用梯度下降算法训练建立好的第三残差式深度卷积神经网络；步骤3-3-3、将第三通道图像信号作为训练好的第三残差式卷积神经网络的输入，次输出层的值即为第三通道图像信号的情感特征参数，最终输出层的值即为第三通道图像信号情感类别的初步判识结果。8.根据权利要求7所述的一种基于自适应选择策略的情感识别方法，其特征在于：所述第一残差式深度卷积神经网络结构包括的残差块为resnet-50；所述第二残差式深度卷积神经网络结构包括的残差块为resnet-101；所述第三残差式深度卷积神经网络结构包括的
残差块为resnet-34。9.根据权利要求7所述的一种基于自适应选择策略的情感识别方法，其特征在于：所述步骤5的具体方法为：步骤5-1、将获得的所有情感样本的组合特征向量构成一个集合称为组合特征向量集，并将该组合特征向量集等分成三份，分别作为训练样本集、可靠度预测样本集和测试样本集；步骤5-2、通过对训练样本集做有放回的抽样，获得若干个子训练样本集；步骤5-3、每个子训练样本集分别训练出一个分类器；所述分类器采用三层遗传小波神经网络或三层bp神经网络，所有分类器输入层均有n个神经元，代表n个情感特征参数，输出层有m个神经元，代表m种人类基本情感；步骤5-4、用可靠度预测样本集中的数据作为各分类器的测试样本来预测各分类器输出各情感类别的正确率，作为各情感类别的可靠度值；步骤5-5、将测试样本集中的待测样本送入各分类器进行识别，每个分类器对每类情感均产生一个可能性比率；将各分类器输出的每类情感的可靠度值与可能性比率作和，然后将各分类器类别相同的和值累加，将累加值最大的情感类别作为最终的情感识别结果。

技术总结
本发明提供一种基于自适应选择策略的情感识别方法，涉及情感识别技术领域。该方法首先获取多种情感信号；并对多种情感信号分别进行预处理及转换，得到多个通道的图像信号；然后再建立多个残差式深度卷积神经网络结构对多个通道的图像信号分别进行情感特征提取及情感类别的初步判识；并自适应选择多个通道图像信号的情感类别的初步判识结果；最后采用基于类可靠度和可能性比率的融合与识别算法进行最终的情感识别。该方法能够选出反映真实情感的通道数据进行最终的判决，弥补了单模式的不足，提高了识别方法的鲁棒性和识别率；并提出了一种基于类可靠度和可能性比率的融合与识别算法，使整个识别过程更加接近人类情感识别。别。别。


技术研发人员：韩志艳 王健
受保护的技术使用者：渤海大学
技术研发日：2023.04.20
技术公布日：2023/7/25