基于核映射协同表示的跨数据库微表情识别方法

1.本发明属于面部微表情识别领域，涉及一种基于核映射协同表示的跨数据库微表情识别方法。


背景技术：

2.微表情识别是一种重要的人机交互技术，可以应用于心理学、安防等多个领域。然而，微表情数据集通常较小，且难以收集，给微表情识别的应用带来了挑战。利用迁移学习方法进行跨数据库微表情识别，即通过把从其他微表情数据库学习到的知识迁移到另一个微表情识别任务中，从而提高微表情识别的性能和效率。此外，利用迁移学习还可以减少微表情识别算法的训练时间和计算成本，使得该技术更加实用和可行。在目前可以用于跨数据库微表情识别的方法中，c3d和dan等是基于当前流行的深度模型框架构建起来的迁移学习模型。这类模型能够很好的对视频样本进行跨数据库的识别，但进行微表情识别时，由于微表情样本数据量较小，在网络训练时经常会发生过拟合现象，从而并不能有效地提高识别率。


技术实现要素：

3.本发明的目的在于提供一种基于核映射协同表示的跨数据库微表情识别方法，能够有效地对目标人物的微表情情绪进行判读，相比于其他经典的微表情识别方法，本发明有效地提高了识别率。
4.为实现上述目的，本发明提供如下技术方案：一种基于核映射协同表示的跨数据库微表情识别方法，包括以下步骤：
5.步骤一、使用lbp-top方法提取微表情的视频特征；
6.步骤二、建立一个基于核映射字典学习框架的知识迁移模型达到实现跨数据库微表情识别的目的；
7.步骤三、对模型进行优化，训练出有效的对样本的表示；
8.步骤四、使用训练好的样本表示和与之对应的标签矩阵输入至线性svm分类器中训练一个分类器；
9.步骤五、将测试的微表情样本输入至分类器中对其情绪类别进行预测和判读。
10.进一步的，所述步骤一的具体方法是：使用lbp-top方法提取微表情视频的lbp-top描述子特征。
11.进一步的，所述步骤二的具体方法是：首先建立一个基于协同表示的字典学习框架的知识模型，然后对模型中相关参数进行核映射，从而建立起一个基于核映射协同表示的字典学习迁移模型。
12.进一步的，所述步骤四和步骤五的具体方法是：将优化后得到的对数据的表示和与之对应的标签输入至lsvm中训练一个分类器，然后将测试数据输入分类器中去预测测试集的微表情样本的表情类别。
13.本发明的有益效果：本发明方法通过构造基于核映射协同表示的迁移学习模型进行跨数据库微表情识别。与现有技术如tca、sa、gfk和c3d等方法相比，本发明中方法有如下优势：
14.(1)核函数的引入可以很好地将源域数据从低维输入空间映射到高维的特征空间映射，从而在高维实现线性可分性；
15.(2)为了进一步提高数据在高维空间的可分性，我们在基于字典学习结构的迁移学习模型中对基础字典也使用核函数进行了高维映射。
附图说明
16.图1为本发明的流程图；
17.图2为lbp-top特征提取示意图。
具体实施方式
18.下面结合说明书附图和实施例来对本发明进行详细阐述。
19.如图1所示，一种基于核映射协同表示的跨数据库微表情识别方法，包括以下步骤：
20.步骤一、首先利用lbp-top三维纹理特征提取方法来提取微表情视频的三维纹理特征。
21.步骤二、基于迁移学习的理论构造一个协同表示的字典学习模型来完成跨数据微表情识别任务；
22.步骤三、针对微表情数据的非线性特性，我们引入核函数将数据从输入空间映射到高维的希尔伯特空间，使数据在高维空间变得更加可分；
23.步骤四、对模型进行优化；
24.步骤五、模型优化后得到数据的新的表示，与对应的标签信息一起，训练出一个lsvm分类器，然后利用这个训练好的分类器对测试样本的情绪类别进行判读。
25.该方法首先提取微表情视频的三维纹理特征如lbp-top等特征。所以下面先介绍lbp-top特征。
26.1.lbp-top计算不同时间间隔内的lbp特征差异，从而获得微表情的运动信息。同时，还考虑了不同区域之间的关联性，通过构建三维空间时序图像描述微表情的演化过程。即一个微表情视频可以给出三个正交平面的纹理图，x-y就是正常图像，x-t是每一行沿着时间轴扫描而过的纹理，y-t是每一列沿着时间轴扫描而过的图像(如图2所示)。
27.算法：在这三个平面都提取lbp特征，然后把三个平面的lbp特征连接起来，就是lbp-top。一般是图像分块之后再计算，所以lbp-top是一种非线性特征。
28.2.构造基于核映射字典学习的领域自适应识别模型：
[0029][0030]
ys是源域数据库,yt是目标域数据库，d是字典，as和at基于字典d对ys和yt的表示。
[0031]
进一步定义一个非线性映射：φ:m
→
h。这个映射将从m非线性映射到一个高维或
无穷维的希尔伯特空间h。通常定义映射φ(y)＝[φ(y1),...,φ(yn)]和核函数k(x,y)＝φ(x),φ(y)＝φ(x)
t
φ(y)。公式(1)中引入核空间的目的在于借助核表示理论找到一个投影矩阵和c∈h,使得φ(d)能够由φ(x)线性表示，即φ(d)＝φ(ys,yt)c＝φ(y)c，其中y＝[ys,yt]，于是φ(y)＝φ(ys,yt)，分别将公式(1)中的ys,yt,d替换为φ(ys),φ(yt),φ(y)c,于是，公式(1)变换成如下形式：
[0032][0033]
将公式(2)进行重写，得到下面新的形式：
[0034][0035]
3.优化模型
[0036]
显然，公式(3)是一个全局非凸函数，但是当只考虑其中某个模型参数的同时固定其他参数时，公式(3)可以看作是凸函数。因此，公式(3)能够通过交替更新参数变量c,as,at来进行优化。
[0037]
(1)固定其他变量，得到变量c的表达式如下：
[0038][0039]
将公式(4)重新整理得到：
[0040][0041]
公式(5)的目标函数能够表达成下面的形式：
[0042][0043]
进一步对c进行更新，得到c的解析式如下：
[0044]
c＝a
t
(aa
t
)-1
.(7)
[0045]
其中,k(y,y)＝φ
t
(y)φ(y),a＝[as,at]。
[0046]
(2)分别依次固定其他变量，得到变量的as,at表达式如下：
[0047][0048][0049]
进一步对as,at分别进行更新，得到as,at的解析式如下：
[0050]
as＝c
tks
(c
t
kc+λ1i)-1
(6)
[0051]
at＝c
tkt
(c
t
kc+λ1i)-1
(7)
[0052]
其中，k(y,y)＝φ
t
(y)φ(y),ks＝φ
t
(y)φ(ys),k
t
＝φ
t
(y)φ(yt)
[0053]
4.微表情预测
[0054]
在获得对源域和目标域数据的表示as,at，我们将as与对应的标签矩阵使用lsvm分类器训练出一个线性分类器，然后用这个分类器去对at进行预测。
[0055]
本发明方法的微表情识别实验过程如下：
[0056]
构建本实施例所使用过程为：首先提取微表情视频的lbp-top特征。面部微表情具有产生的不确定性和持续时间短等特点，使得微表情数据库必须采集视频片段作为样本。另外，面部微表情因其持续时间短且表情强度弱，使得我们希望从视频数据的各个维度去采集微表情的特征，而lbp-top是被广泛使用的三维特征。
[0057]
表1smic数据库的构成
[0058][0059]
本实施例选择微表情数据来自smic数据库，该数据库由芬兰奥卢大学的赵国英教授等人开发。该组使用了三个摄像头，即高速摄像头(hs)、普通视觉摄像头(vis)和近红外摄像头(nir)，获取不同质量的微表情视频样本，其中包括smic数据库的三个数据子集hs、vis和nir。vis和nir数据子集来自8名受试者，共71个样本，而hs数据子集则有16名受试者的164个样本(如表1所示)。这三个子数据集的所有样本均按照正性(positive)、负性(negative)和惊讶(surprise)这三种微表情类别进行分类。我们的实验协议为源域样本作为训练样本，目标域样本作为测试样本。
[0060]
表2本实施例所采用的实验方案
[0061][0062][0063]
在表3中，本实施例使用了几种经典的跨数据库迁移学习模型作为基线方法与我们的方法进行结果对比，其中包括transfer component analysis(tca),geodesic flow kernel(gfk),subspace alignment(sa),target samples regenerator(tsrg)和c3d。此外，我们将模型中的超参数经验性地设置为λ＝5。
[0064]
表3的结果显示所有方法的实验结果在识别精度方面(％)，识别精度是目标域样本的正确预测的数量除以目标域样本总数。从表3中显示的结果，我们可以清楚地看到，我们所提出方法的表现要比几乎所有的对比方法高出不少，只是在实验3中的结果低于sa方法。
[0065]
表3在smic数据集上各方法的结果对比
[0066]
方法实验1实验2实验3实验4实验5实验6
ꢀꢀꢀꢀꢀꢀꢀ
tca83.1054.8859.1557.3261.9767.61gfk84.5159.1570.4262.8076.0681.69sa80.2859.1574.6556.1071.8374.65tsrg88.7356.7164.7957.9370.4281.69
ꢀꢀꢀꢀꢀꢀꢀ
c3d61.9751.2245.0746.3454.9342.25我们的方法92.9664.0271.8364.0285.9287.32
[0067]
以上所述仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

技术特征：
1.一种基于核映射协同表示的跨数据库微表情识别方法，其特征在于：包括以下步骤：步骤一、使用lbp-top方法提取微表情的视频特征；步骤二、建立一个基于核映射字典学习框架的知识迁移模型达到实现跨数据库微表情识别的目的；步骤三、对模型进行优化，训练出有效的对样本的表示；步骤四、使用训练好的样本表示和与之对应的标签矩阵输入至线性svm分类器中训练一个分类器；步骤五、将测试的微表情样本输入至分类器中对其情绪类别进行预测和判读。2.根据权利要求1所述的基于核映射协同表示的跨数据库微表情识别方法，其特征在于：所述步骤一的具体方法是：使用lbp-top方法提取微表情视频的lbp-top描述子特征。3.根据权利要求1所述的基于核映射协同表示的跨数据库微表情识别方法，其特征在于：所述步骤二的具体方法是：首先建立一个基于协同表示的字典学习框架的知识模型，然后对模型中相关参数进行核映射，从而建立起一个基于核映射协同表示的字典学习迁移模型。4.根据权利要求1所述的基于核映射协同表示的跨数据库微表情识别方法，其特征在于：所述步骤四和步骤五的具体方法是：将优化后得到的对数据的表示和与之对应的标签输入至lsvm中训练一个分类器，然后将测试数据输入分类器中去预测测试集的微表情样本的表情类别。

技术总结
本发明公开了一种基于核映射协同表示的跨数据库微表情识别方法，包括以下步骤：步骤一、提取原始微表情视频的LBP-TOP特征；步骤二、建立一个基于核映射字典学习的迁移学习模型；步骤三、对模型进行优化；步骤四、使用训练好的模型参数和对应的标签矩阵用线性SVM分类器中训练一个分类器，将测试样本输入分类器中对其微表情类别进行预测。本发明能够有效地对目标人物的微表情情绪进行判读，相比于其他经典的微表情识别方法，本发明有效地提高了识别率。率。率。


技术研发人员：颜玮琦 鄢克雨 冯浩 徐凡
受保护的技术使用者：江西师范大学
技术研发日：2023.06.01
技术公布日：2023/8/9