联合情感强度和类别信息的情感建模方法、设备及介质与流程

1.本发明涉及情感识别领域，更具体地，涉及一种联合情感强度和类别信息的情感建模方法、设备及介质。


背景技术：

2.情感识别是利用一些智能产品对情感数据比如语音、面部表情等进行分析来识别人类的情感状态，它是一个与计算机科学、心理学、生物学、社会学等学科交叉的研究领域。随着这些学科的不断发展，也为情感识别的发展提供了巨大的动力。如今，情感识别作为人机交互的核心组成部分已被广泛应用于智能驾驶、远程教学、智能家居、健康监测、旅行推荐、智能机器人等领域。然而，以前的工作主要利用情感类别信息来区分人类的情感状态，而忽略了对细粒度情感分析更为重要的情感强度。
3.因此，有必要开发一种联合情感强度和类别信息的情感建模方法、设备及介质。
4.公开于本发明背景技术部分的信息仅仅旨在加深对本发明的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。


技术实现要素：

5.本发明提出了一种联合情感强度和类别信息的情感建模方法、设备及介质，其能够有效地增大不同情感类别之间的差异，并降低同类情感的类内差异，这对于情感识别是非常重要的。
6.第一方面，本公开实施例提供了一种联合情感强度和类别信息的情感建模方法，包括：
7.基于相对属性的思想，把情感强度建模成中性-非中性情感对的排序函数；
8.引入非负松弛变量对所述排序函数进行变换，并通过kkt条件将所述排序函数转化为无约束优化问题；
9.将所述无约束优化问题转化为标准的凸二次规划问题，并通过cvx求解得到情感强度；
10.将情感类别信息引入到所述情感强度中进行联合建模。
11.优选地，所述排序函数为：
12.r(xi)＝wxiꢀꢀꢀ
(1)
13.其中，w是一个指示情感强度的矩阵，r(xi)表示样本xi的情感强度，它的范围是r(xi)∈[1,2,
…
,m]，公式(1)满足如下约束：
[0014][0015][0016]
其中，o为中性-非中性情感对的有序组合，s为中性-中性情感对、非中性-非中性情感对组成的相似集合。
[0017]
优选地，引入非负松弛变量对所述排序函数进行变换，变换后的排序函数为：
[0018][0019]
其中，|
·
|表示l1范数，表示l2范数的平方，c为关于平衡松弛变量ξ
i,j
、γ
i,j
和w的参数。
[0020]
优选地，所述无约束优化问题为：
[0021][0022]
其中，α
i,j
、β
i,j
、η
i,j
和μ
i,j
是拉格朗日系数。
[0023]
优选地，所述凸二次规划问题为：
[0024][0025]
优选地，通过cvx求解得到情感强度包括：
[0026]
通过cvx进行求解所述凸二次规划问题，得到最优的和然后通过和计算得到最优的w
*
，和最后通过公式(1)计算每一个样本的表情强度。
[0027]
优选地，将情感类别信息引入到所述情感强度中进行联合建模包括：
[0028]
情感样本xi的类别信息为t∈{0,1,...,t-1}，进而获得xi的联合情感强度和类别信息的模型。
[0029]
优选地，xi的联合情感强度和类别信息的模型为：
[0030][0031][0032]
其中，表示xi在整个类别t的情感强度，表示xi在类别a的情感强度。
[0033]
第二方面，本公开实施例还提供了一种电子设备，该电子设备包括：
[0034]
存储器，存储有可执行指令；
[0035]
处理器，所述处理器运行所述存储器中的所述可执行指令，以实现所述的联合情感强度和类别信息的情感建模方法。
[0036]
第三方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现所述的联合情感强度和类别信息的情感建模方法。
[0037]
其有益效果在于：本发明为了解决个体情感表达差异导致情感强度分布不均匀，进而造成情感类别之间存在交叉空间，影响情感识别性能的问题，把情感类别信息引入到情感强度中进行联合建模，这有效地增大不同情感类别之间的差异并降低同类情感的类内差异。
[0038]
本发明的方法和装置具有其它的特性和优点，这些特性和优点从并入本文中的附图和随后的具体实施方式中将是显而易见的，或者将在并入本文中的附图和随后的具体实施方式中进行详细陈述，这些附图和具体实施方式共同用于解释本发明的特定原理。
附图说明
[0039]
通过结合附图对本发明示例性实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施例中，相同的参考标号通常代表相同部件。
[0040]
图1示出了根据本发明的一个实施例的联合情感强度和类别信息的情感建模方法的步骤的流程图。
[0041]
图2示出了根据本发明的一个实施例的联合情感强度和类别信息的建模的示意图。
具体实施方式
[0042]
下面将更详细地描述本发明的优选实施方式。虽然以下描述了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。
[0043]
为便于理解本发明实施例的方案及其效果，以下给出三个具体应用示例。本领域技术人员应理解，该示例仅为了便于理解本发明，其任何具体细节并非意在以任何方式限制本发明。
[0044]
实施例1
[0045]
图1示出了根据本发明的一个实施例的联合情感强度和类别信息的情感建模方法的步骤的流程图。
[0046]
如图1所示，该联合情感强度和类别信息的情感建模方法包括：步骤101，基于相对属性的思想，把情感强度建模成中性-非中性情感对的排序函数；步骤102，引入非负松弛变量对排序函数进行变换，并通过kkt条件将排序函数转化为无约束优化问题；步骤103，将无约束优化问题转化为标准的凸二次规划问题，并通过cvx求解得到情感强度；步骤104，将情感类别信息引入到情感强度中进行联合建模。
[0047]
在一个示例中，排序函数为：
[0048]
r(xi)＝wxiꢀꢀꢀ
(1)
[0049]
其中，w是一个指示情感强度的矩阵，r(xi)表示样本xi的情感强度，它的范围是r(xi)∈[1,2,
…
,m]，公式(1)满足如下约束：
[0050][0051][0052]
其中，o为中性-非中性情感对的有序组合，s为中性-中性情感对、非中性-非中性情感对组成的相似集合。
[0053]
在一个示例中，引入非负松弛变量对排序函数进行变换，变换后的排序函数为：
[0054][0055]
其中，|
·
|表示l1范数，表示l2范数的平方，c为关于平衡松弛变量ξ
i,j
、γ
i,j
和w的参数。
[0056]
在一个示例中，无约束优化问题为：
[0057][0058]
其中，α
i,j
、β
i,j
、η
i,j
和μ
i,j
是拉格朗日系数。
[0059]
在一个示例中，凸二次规划问题为：
[0060][0061]
在一个示例中，通过cvx求解得到情感强度包括：
[0062]
通过cvx进行求解凸二次规划问题，得到最优的和然后通过和计算得到最优的w
*
，和最后通过公式(1)计算每一个样本的表情强度。
[0063]
在一个示例中，将情感类别信息引入到情感强度中进行联合建模包括：
[0064]
情感样本xi的类别信息为t∈{0,1,...,t-1}，进而获得xi的联合情感强度和类别信息的模型。
[0065]
在一个示例中，xi的联合情感强度和类别信息的模型为：
[0066][0067][0068]
其中，表示xi在整个类别t的情感强度，表示xi在类别a的情感强度。
[0069]
具体地，相对属性可以有效地建模不同类别之间差异，已经被广泛地应用在计算机视觉中。由于情感强度的变化是连续的，且中性情感可以通过不同水平的情感强度演变为非中性情感，其中非中性情感是常用于情感识别的六种离散情感，即愤怒、厌恶、恐惧、快乐、悲伤和惊讶。因此，基于相对属性的思想，情感强度可以建模为中性情感和非中性情感之间的相对差异。也即是，情感强度可以用中性和非中性情感对之间的相对属性表示。此外，相对属性的学习过程可以表示为最大间隔优化问题。
[0070]
对于一个情感样本集i＝{xi}，其中xi表示第i个情感样本的特征。情感样本集i中的中性情感样本的集合定义为n，非中性情感样本的集合定义为e，且i＝n∪e。n中的中性情感和e中的非中性情感组成一个中性-非中性情感对，其中非中性情感的情感强度高于中性情感，然后以这些中性-非中性情感对组成一个有序集合o。同时，n中的中性情感与中性情感组成一个中性-中性情感对，e中的非中性情感与非中性情感组成一个非中性-非中性情感对，且这些情感对之间的情感强度是相似的，然后以这些中性-中性情感对，非中性-非中性情感对组成一个相似集合s。如此，相对属性的目的是学习一个排序函数，即为公式(1)，公式(1)满足公式(2)-(3)的约束。
[0071]
公式(1)-(3)是一个np-hard问题，难以直接求解。因此，引入一个非负松弛变量对其近似求解，即为：
[0072][0073]
其中，|
·
|表示l1范数，表示l2范数的平方。c是一个平衡松弛变量ξ
i,j
，γ
i,j
和w的参数，是需要人工设置的超参数。为了简化公式(9)，一个表达式被定义为：
[0074]di,j
＝x
i-xjꢀꢀꢀ
(10)
[0075]
基于公式(10)，优化公式(9)为变换后的排序函数，即为公式(4)。
[0076]
通过利用kkt(karush-kuhn-tucker)条件把公式(4)转化为无约束优化问题，即为公式(5)，此时，公式(4)可以转化为如下优化问题：
[0077][0078]
分别对公式(11)的优化变量ξ
i,j
，γ
i,j
和w求导，可以得到
[0079][0080]
其中，w
i,j
表示w的第i行j列的元素。sign(w
i,j
)被定义为：
[0081][0082]
令公式(12)等于0，可以得到
[0083][0084][0085]
把公式(15)带入公式(5)，可以得到：
[0086][0087]
其中，当w
i,j
＞0，a的计算公式如下：
[0088][0089]
当w
i,j
＝0，a的计算公式如下：
[0090][0091]
当w
i,j
＜0，a的计算公式如下：
[0092][0093][0094]
相似地，
[0095][0096]
综合公式(16)-(21)，公式(16)可以重写为：
[0097][0098]
其中，e1，e2和e3是与d
i,j
相关的标量，它们被表示为：
[0099][0100]
此时，公式(9)变成如下优化问题，即公式(6)，明显地，公式(6)是一个凸二次规划问题，可以采用优化工具cvx进行求解来得到最优的问题，可以采用优化工具cvx进行求解来得到最优的和然后把和带入公式(14)-(15)得到最优的w
*
，和最后利用公式(1)计算每一个样本的表情强度。
[0101]
虽然上述过程可以获得情感强度，但由于个体情感表达的差异导致情感强度分布不均匀，进而造成情感类别之间存在交叉，严重影响了情感识别的性能。为解决这一问题，一个联合情感强度和类别信息的建模方法被提出，它把情感强度和类别信息建模到统一架构，具体如下：
[0102]
对于情感样本xi，它的类别信息被定义为t∈{0,1,...,t-1}，其中t表示总的情感类别数。那么，xi的联合情感强度和类别信息可以定义为公式(7)-(8)。
[0103]
公式(7)-(8)可以有效地增大不同情感类别之间差异，并减低同类情感的类内差异。具体原因如下：当只利用情感强度时，由于个体情感表达的差异，导致情感强度分布不均匀，进而导致情感类别之间的表征空间存在交叉空间，这会降低情感识别的性能。然而，这种问题可以被所提出的联合情感强度和类别信息建模方法有效解决。具体地，所提出的联合情感强度和类别信息建模方法利用公式(8)中的归零操作将这些交集空间划分为对应的情感类，这解决了情感类别之间存在交叉空间的问题，也即是增大了不同情感类别之间的差异。另一方面，相比于仅使用情感类别的方法相比，所提出的联合情感强度和表情信息的建模方法将同一情感类的表示空间约束为情感强度与类别信息的交集，这有效降低同类情感的类内差异。因此，所提出的联合情感强度和类别信息的建模方法可以有效地增大不同情感类别之间的差异，并减低同类情感的类内差异。
[0104]
图2示出了根据本发明的一个实施例的联合情感强度和类别信息的建模的示意图。
[0105]
为进一步说明被提出联合情感强度和类别信息建模方法的性能，一个两个情感识别的例子被展示在图2。具体地，图2的a是情感强度的表征空间，其中三角形图案和五边形图案包围的区域是情感类别1的表征空间，圆形图案和五边形图案包围的区域是情感类别2的表征空间。由于个体情感表达的差异，导致情感强度分布不均匀，进而造成情感类别1和情感类别2之间存在一个交叉空间，也即是图2的a中五边形图案包围区域。这个区域的存在导致情感类别1和情感类别2之间难以区分，影响情感识别的性能。图2的b是情感类别信息
的表征空间，其中三角形图案包围的区域是情感类别1的表征空间，圆形图案包围的区域是情感类别2的表征空间。图2的c是本方法的表征空间。由于情感类别信息通过公式(7)-(8)引入到情感强度中进行联合建模，这有效地解决情感类别1和情感类别2之间存在交叉空间的问题，也即是增大不同情感类别之间的差异。另外，对比于图2的b和c，本方法将同一情感类的表示空间约束为情感强度与类别信息的交集，这有效地降低同一情感的类内差异。因此，本方法可以有效地增大不同情感类别之间的差异，并降低同一情感的类内差异。
[0106]
实施例2
[0107]
本公开提供一种电子设备包括，该电子设备包括：存储器，存储有可执行指令；处理器，处理器运行存储器中的可执行指令，以实现上述联合情感强度和类别信息的情感建模方法。
[0108]
根据本公开实施例的电子设备包括存储器和处理器。
[0109]
该存储器用于存储非暂时性计算机可读指令。具体地，存储器可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。
[0110]
该处理器可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制电子设备中的其它组件以执行期望的功能。在本公开的一个实施例中，该处理器用于运行该存储器中存储的该计算机可读指令。
[0111]
本领域技术人员应能理解，为了解决如何获得良好用户体验效果的技术问题，本实施例中也可以包括诸如通信总线、接口等公知的结构，这些公知的结构也应包含在本公开的保护范围之内。
[0112]
有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。
[0113]
实施例3
[0114]
本公开实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现所述的联合情感强度和类别信息的情感建模方法。
[0115]
根据本公开实施例的计算机可读存储介质，其上存储有非暂时性计算机可读指令。当该非暂时性计算机可读指令由处理器运行时，执行前述的本公开各实施例方法的全部或部分步骤。
[0116]
上述计算机可读存储介质包括但不限于：光存储介质(例如：cd－rom和dvd)、磁光存储介质(例如：mo)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置rom的媒体(例如：rom盒)。
[0117]
本领域技术人员应理解，上面对本发明的实施例的描述的目的仅为了示例性地说明本发明的实施例的有益效果，并不意在将本发明的实施例限制于所给出的任何示例。
[0118]
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。

技术特征：
1.一种联合情感强度和类别信息的情感建模方法，其特征在于，包括：基于相对属性的思想，把情感强度建模成中性-非中性情感对的排序函数；引入非负松弛变量对所述排序函数进行变换，并通过kkt条件将所述排序函数转化为无约束优化问题；将所述无约束优化问题转化为标准的凸二次规划问题，并通过cvx求解得到情感强度；将情感类别信息引入到所述情感强度中进行联合建模。2.根据权利要求1所述的联合情感强度和类别信息的情感建模方法，其中，所述排序函数为：r(x
i
)＝wx
i
ꢀꢀꢀ
(1)其中，w是一个指示情感强度的矩阵，r(x
i
)表示样本x
i
的情感强度，它的范围是r(x
i
)∈[1,2,
…
,m]，公式(1)满足如下约束：,m]，公式(1)满足如下约束：其中，o为中性-非中性情感对的有序组合，s为中性-中性情感对、非中性-非中性情感对组成的相似集合。3.根据权利要求2所述的联合情感强度和类别信息的情感建模方法，其中，引入非负松弛变量对所述排序函数进行变换，变换后的排序函数为：其中，|
·
|表示l1范数，表示l2范数的平方，c为关于平衡松弛变量ξ
i,j
、γ
i,j
和w的参数。4.根据权利要求3所述的联合情感强度和类别信息的情感建模方法，其中，所述无约束优化问题为：其中，α
i,j
、β
i,j
、η
i,j
和μ
i,j
是拉格朗日系数。5.根据权利要求4所述的联合情感强度和类别信息的情感建模方法，其中，所述凸二次规划问题为：
6.根据权利要求5所述的联合情感强度和类别信息的情感建模方法，其中，通过cvx求解得到情感强度包括：通过cvx进行求解所述凸二次规划问题，得到最优的和然后通过和计算得到最优的w
*
，和最后通过公式(1)计算每一个样本的表情强度。7.根据权利要求1所述的联合情感强度和类别信息的情感建模方法，其中，将情感类别信息引入到所述情感强度中进行联合建模包括：情感样本x
i
的类别信息为t∈{0,1,...,t-1}，进而获得x
i
的联合情感强度和类别信息的模型。8.根据权利要求7所述的联合情感强度和类别信息的情感建模方法，其中，x
i
的联合情感强度和类别信息的模型为：感强度和类别信息的模型为：其中，表示x
i
在整个类别t的情感强度，表示x
i
在类别a的情感强度。9.一种电子设备，其特征在于，所述电子设备包括：存储器，存储有可执行指令；处理器，所述处理器运行所述存储器中的所述可执行指令，以实现权利要求1-8中任一项所述的联合情感强度和类别信息的情感建模方法。10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现权利要求1-8中任一项所述的联合情感强度和类别信息的情感建模方法。

技术总结
本申请公开了一种联合情感强度和类别信息的情感建模方法、设备及介质。该方法可以包括：基于相对属性的思想，把情感强度建模成中性-非中性情感对的排序函数；引入非负松弛变量对排序函数进行变换，并通过KKT条件将排序函数转化为无约束优化问题；将无约束优化问题转化为标准的凸二次规划问题，并通过CVX求解得到情感强度；将情感类别信息引入到情感强度中进行联合建模。本发明有效地增大不同情感类别之间的差异，并降低同类情感的类内差异，这对于情感识别是非常重要的。对于情感识别是非常重要的。对于情感识别是非常重要的。


技术研发人员：焦爽 陈光辉 袁世通 周旭战 江鹏宇 秦铭阳 李现伟 李帅飞
受保护的技术使用者：中国大唐集团科学技术研究院有限公司中南电力试验研究院
技术研发日：2023.04.28
技术公布日：2023/8/14