基于生成对抗学习的跨模态决策信心估计方法及系统

1.本发明涉及多模态脑机接口领域，尤其涉及一种基于生成对抗学习的跨模态决策信心估计方法及系统。


背景技术：

2.决策信心是指在进行判断或决策时,个体对其决策最优性或正确性的信心程度。决策信心是人们在日常生活中的一种常见的心理现象，是影响决策结果的重要因素之一。
3.现有技术中，可以使用眼动和脑电图等生理信号可以用来估计个人在决策过程中的信心水平。虽然上述利用眼动和脑电图的多模态方法相比于单模态方法更可靠，但是多模态方法意味着需要花费更大的成本采集多模态数据，尤其是生理信号的获取都需要使用接触式设备，很大程度上限制了其在真实场景上的应用，尤其采集脑电信号的过程是非常复杂的。
4.在实现本发明过程中，发明人发现相关技术中至少存在如下问题：
5.实验中需要被试正确佩戴脑电帽并且注射电导凝胶，以确保电极在对应的位置上，这是一个较为繁杂且耗时的任务。其次，脑电帽的佩戴会在一定程序上影响被试实验过程中的舒适度，且随着时间的推移，脑电凝胶会慢慢变干，影响采集的脑电信号质量。因此，脑电帽的使用在实际应用中受到比较多的限制，用于判断决策信心的脑电信号获取较为困难。


技术实现要素：

6.为了至少解决现有技术中用于判断决策信心的脑电信号获取较为困难的问题。
7.第一方面，本发明实施例提供一种基于生成对抗学习的跨模态决策信心估计方法，包括：
8.采集被试者在决策过程中的脑电信号以及眼动信号；
9.从所述脑电信号以及所述眼动信号中提取出脑电特征以及眼动特征；
10.通过所述脑电特征以及所述眼动特征对脑电生成模型进行提取决策信心特征的第一训练，以及从所述决策信心特征中生成对抗学习确定眼动、脑电之间关系的第二训练，以使训练后的脑电生成模型能够从输入的眼动特征中生成对应的脑电特征；
11.将获取的所述被试者的真实眼动信号输入至所述训练后的脑电生成模型得到预测脑电信号，基于多模态分类器对所述真实眼动信号以及所述预测脑电信号进行决策信心估计。
12.第二方面，本发明实施例提供一种基于生成对抗学习的跨模态决策信心估计系统，包括：
13.信号采集程序模块，用于采集被试者在决策过程中的脑电信号以及眼动信号；
14.特征提取程序模块，用于从所述脑电信号以及所述眼动信号中提取出脑电特征以及眼动特征；
15.生成模型训练程序模块，用于通过所述脑电特征以及所述眼动特征对脑电生成模型进行提取决策信心特征的第一训练，以及从所述决策信心特征中生成对抗学习确定眼动、脑电之间关系的第二训练，以使训练后的脑电生成模型能够从输入的眼动特征中生成对应的脑电特征；
16.估计程序模块，用于将获取的所述被试者的真实眼动信号输入至所述训练后的脑电生成模型得到预测脑电信号，基于多模态分类器对所述真实眼动信号以及所述预测脑电信号进行决策信心估计。
17.第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的基于生成对抗学习的跨模态决策信心估计方法的步骤。
18.第四方面，本发明实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明任一实施例的基于生成对抗学习的跨模态决策信心估计方法的步骤。
19.本发明实施例的有益效果在于：利用生成对抗学习，提高了基于眼动信号的决策信心估计能力，解决了脑电信号采集过程复杂成本高的问题，并可以使决策信心估计应用于日常场景之中，在仅需要眼动信号的情况下也可以保证准确的决策信心估计。
附图说明
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1是本发明一实施例提供的一种基于生成对抗学习的跨模态决策信心估计方法的流程图；
22.图2是本发明一实施例提供的一种基于生成对抗学习的跨模态决策信心估计方法的框架图；
23.图3是本发明一实施例提供的一种基于生成对抗学习的跨模态决策信心估计方法的测试数据图；
24.图4是本发明一实施例提供的一种基于生成对抗学习的跨模态决策信心估计方法的测试示意图；
25.图5是本发明一实施例提供的一种基于生成对抗学习的跨模态决策信心估计系统的结构示意图；
26.图6为本发明一实施例提供的一种基于生成对抗学习的跨模态决策信心估计的电子设备的实施例的结构示意图。
具体实施方式
27.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是
本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.如图1所示为本发明一实施例提供的一种基于生成对抗学习的跨模态决策信心估计方法的流程图，包括如下步骤：
29.s11：采集被试者在决策过程中的脑电信号以及眼动信号；
30.s12：从所述脑电信号以及所述眼动信号中提取出脑电特征以及眼动特征；
31.s13：通过所述脑电特征以及所述眼动特征对脑电生成模型进行提取决策信心特征的第一训练，以及从所述决策信心特征中生成对抗学习确定眼动、脑电之间关系的第二训练，以使训练后的脑电生成模型能够从输入的眼动特征中生成对应的脑电特征；
32.s14：将获取的所述被试者的真实眼动信号输入至所述训练后的脑电生成模型得到预测脑电信号，基于多模态分类器对所述真实眼动信号以及所述预测脑电信号进行决策信心估计。
33.在本实施方式中，考虑到脑电信号难以收集，并且伴有场景的限制，而其他的生理信号，例如眼动信号相对而言则更容易收集，只需要佩戴眼动仪即可完成实时眼动信号的采集。因此，本方法的研究目标是建立一个可靠、鲁棒的模型，使模型在脑电这一模态缺失的情况下进行信心决策估计，也能达到较为令人满意的性能。
34.对于步骤s11，在本方法的初期，还是需要一定量的脑电信号和眼动信号，对需要决策信心估计的被试者进行测试，以实现脑电信号和眼动信号的获取。
35.作为一种实施方式，所述采集被试者在决策过程中的脑电信号以及眼动信号包括：
36.基于脑电采集设备以及眼动采集设备采集被试者在决策过程中的脑电信号以及眼动信号。
37.在本实施方式中，脑电采集设备可以采用在实验环境或者医疗环境或者其他环境场景下的esi neuroscan湿电极脑电帽，眼动信号可以使用tobii pro x3-120眼动仪采集。具体的，在对被试者进行决策信心估计时，通过显示屏幕向被试者展示各种试验，佩戴有esi neuroscan湿电极脑电帽、tobii pro x3-120眼动仪的被试者会对各种试验做出反馈，此时，脑电采集设备和眼动采集设备采集到被试者在决策过程中的脑电信号以及眼动信号。
38.作为一种实施方式，在所述采集被试者在决策过程中的脑电信号以及眼动信号之后，所述方法还包括对所述脑电信号以及眼动信号进行预处理，包括：
39.对所述脑电信号进行基线校正，并去除基线校正后脑电信号中50hz的交流电源噪音，基于1-75hz带通滤波器去除所述脑电信号中的低频信号以及高频无效信号；
40.基于主成分分析法去除所述眼动信号中受光照影响的信号。
41.在本实施方式中，对于脑电信号进行基线校正、去除伪迹、滤波等处理，具体的，可以去除所述脑电信号中的50hz交流电源噪音，利用1-75hz带通滤波器去除脑电信号中的低频以及高频无效信号。对于眼动信号，可以使用主成分分析法，去除眼动信号中受光照影响的部分。通过预处理，可以进一步提升后续步骤中特征关联的准确性。
42.对于步骤s12，为了寻找出脑电和眼动特征之间的内在关系，需要提前从所述脑电信号以及所述眼动信号中提取出脑电特征以及眼动特征。
43.具体的，从所述脑电信号以及所述眼动信号中提取出脑电特征以及眼动特征包括：
44.基于定长的汉宁窗口对所述脑电信号执行短时傅里叶变换，将执行短时傅里叶变换的脑电信号划分为多个频段，确定所述多个频段的脑电微分熵特征。
45.通过所述眼动信号确定瞳孔在x轴以及y轴方向上的均值、方差、多个频段的眼动微分熵特征以及眼球运动特征，其中，所述眼动微分熵特征的多个频段包括：0-0.2hz,0.2-0.4hz,0.4-0.6hz,0.6-0.8hz，所述眼球运动特征包括：注视时间、眨眼频率。
46.对于步骤s13，在本方法中，对脑电生成模型的训练可分为两个部分：在第一训练阶段中，进行高级特征提取以及eeg(electroencephalography，脑电图)高级特征生成。具体的说，通过dae(deep auto encoder，深度自动编码器)学习用于识别决策信心水平的每个模态的高级特征，然后在第二训练阶段中，训练gans(generative adversarial networks，生成对抗性网络)以根据眼球运动生成eeg模态的特征。在测试阶段，只需要眼动信号，并从中生成相应的脑电图特征。
47.作为一种实施方式，上述训练包括：
48.在第一训练中，基于深度自动编码器确定所述脑电特征以及所述眼动特征的重构损失，通过所述重构损失生成用于表示决策信心的眼动高阶特征以及脑电高阶特征，将所述眼动高阶特征以及脑电高阶特征确定为决策信心特征；
49.在第二训练中，将所述眼动高阶特征输入至所述脑电生成模型，得到预测脑电高阶特征，判别所述脑电高阶特征与所述预测脑电高阶特征的交叉熵损失，基于所述交叉熵损失对所述脑电生成模型进行生成对抗学习。
50.在本实施方式中，第一训练阶段：特征提取：
51.假设表示眼动信号的数据，表示eeg信号的数据。n表示数量，d1和d2是脑电和眼动初始特征的维度。e
eye
、d
eye
表示眼动的编码器和解码器，e
eeg
、d
eeg
表示eeg信号的编码器和译码器，u
eye
、v
eye
、u
eeg
、v
eeg
表示它们各自的参数。编码器的输出可以表示为：
52.o
eye
＝e
eye
(x
eye
；u
eye
)
·oeeg
＝e
eeg
(x
eeg
；u
eeg
)
53.相应地，解码器的输出为：
[0054][0055]
dae的重构损失可以表示为眼球运动和eeg特征的重构损失loss
rec
(l
rc
)：
[0056][0057]
然后，本方法选择基于聚合的融合作为多模式融合策略，该策略直接将o
eye
和o
eeg
进行拼接(用o1和o2进行替代，拼接后为(o1，o2))。计算预测的情绪类别与真实类别y的交叉熵损失loss
cls
：
[0058]
loss
cls
＝crossentropy(es(o1,o2)，y)
[0059]
整个模型的优化通过最小化重构损失和分类损失之和来实现：
[0060]
loss＝λ
rec
loss
rec
+λ
cls
loss
cls
[0061]
其中，λ
rec
、λ
cls
是损失之间的平衡参数。
[0062]
第二训练阶段：eeg高级特征生成，在第一训练阶段之后，基于深度自动编码器分别获得眼动o
eye
和eeg o
eeg
的高级特征。然后，将o
eye
作为gans的输入，以引导生成器生成相应的eeg特征。
[0063][0064]
其中θ表示生成对抗性网络g的参数。
[0065]
鉴别器d是用于将真实模态对与预测模态对区分开来的二进制分类器。给真实的多模态数据(o
eye
，o
eeg
)一个1的标签，给预测的多模态(o
eye
，)一个0的标签。最小化交叉熵损失lossd来训练鉴别器(同样的，用o1,o2对o
eye
，o
eeg
进行替代)：
[0066][0067]
对于生成器，其目标是将生成的脑电特征使判别器无法将其与真正的脑电特征区分开来，同时与对应的真实脑电特征最接近，因此通过最小化lossg进行优化:
[0068][0069]
其中，λg和λ
mse
分别表示两者之间的平衡参数。
[0070]
此外，本方法还采用了内容损失函数来鼓励接近o
eeg
。这可以通过最小化它们之间的欧几里得距离来实现，从而导致mse(mean squared error，均方误差)损失l-mse定义为：
[0071][0072]
其中l-mse鼓励学习用于完成eeg模态的详细信息。因此，生成对抗性网络g的整体损失函数可以描述为：
[0073][0074]
上述两个阶段的训练结构如图2的上半部分所示，通过上述方法的训练，使训练后的脑电生成模型能够从输入的眼动特征中生成对应的脑电特征。
[0075]
对于步骤s14，经过步骤s11-s13的训练，脑电生成模型能够根据被试者的眼动信号模拟出对应的脑电信号。之所以这样处理，是由于对被试者的决策信心估计并不是一次性的，是要持续的跟进的，但又不可能让用户一直在实验室、医疗场景继续估计，这对被试者来说也是金钱、时间的消耗，因此，让被试者在初期实验室或医疗场景下，利用高精的脑电和眼动采集设备训练出专属于被试者的脑电生成模型。
[0076]
如图2的下半部分所示，在之后的决策信心估计测试阶段进行了跨模态，也就是不对脑电信号进行采集，仅使用眼动信号进行预测。虽然这一方法相比于多模态方法会有一定的识别率损失，但是跨模态方法减少了对脑电信号的依赖，使这一工作更容易在实际应用中进行推广。例如，被试者可以使用便携式眼动仪在家庭环境场景或者其他场景中进行眼动信号的采集得到真实眼动信号(由于眼动采集设备的不同，与步骤s11采集的眼动信号的精准度略有差别)，将采集到的真实眼动信号输入至训练后的脑电生成模型，生成预测脑电信号，此时，仅需要采集被试者的眼动就可以非常便捷的实现决策信心的估计，并且也保障了估计的准确性。
[0077]
通过该实施方式可以看出，利用生成对抗学习，提高了基于眼动信号的决策信心估计能力，解决了脑电信号采集过程复杂成本高的问题，并可以使决策信心估计应用于日常场景之中，在仅需要眼动信号的情况下也可以保证准确的决策信心估计。
[0078]
对本方法进行实验说明，本方法在seed-vpdc数据集上进行了实验。该数据集是一个多模式数据集，包括eeg信号和眼动，用于测量五级决策信心。该实验由135个试验组成，每个试验包含一个图像，对应于一个决策。刺激材料包含从加州理工学院101数据集中选择的三种类型。14名受试者参与了实验，在整个实验过程中同时记录眼球运动和脑电图信号。其中一名受试者的眼动数据不完整，13名受试人的眼动和脑电图信号完整。
[0079]
对于眼动信号，tobii pro x3-120屏幕眼动仪提取了22个特征，包括瞳孔直径、注视持续时间、眨眼持续时间和扫视持续时间。根据国际10-20系统，eeg信号由具有esi神经扫描系统的62通道活性agcl电极帽以1000hz的采样率记录。对于数据预处理，对每个通道应用0.3到50hz之间的带通滤波器来过滤噪声，并采用lds(linear dynamic system，线性动态系统)方法来平滑特征。在不重叠的1秒时间窗口内，从每个样本的5个频带(即δ:1-3hz、θ:4-7hz、α:8-13hz、β:14-30hz和γ:31-50hz)中提取de(differential entropy，微分熵)特征，这已被证明在决策信心分类方面具有最佳性能。
[0080]
本方法采用了五重交叉验证方法和受试者(也就是被试者)相关分类设置。选择了两个分类器，svm(support vector machine，支持向量机)和具有快捷连接的dnns(deep neural network with shortcut connections，深度神经网络)作为基线，并使用径向基函数核，从2
[-5:10]
的参数空间搜索svm中的c。dnns方法采用四个隐藏层和一个输出层，隐藏层的大小从16搜索到256，学习率设置为0.001。这两个分类器分别在眼动和多模态数据上进行了测试和训练。为了进一步验证本方法跨模态模型和多模态模型之间的性能差距，选择基于聚合的融合作为多模态融合策略，该策略将从dae中提取的高级眼动和eeg特征连接起来。最后，为了验证本方法跨模态方法的性能，在seed-vpdc数据集上测试了dal(deep adversarial learning，基于深度对抗性学习)的模型，该模型直接从主要眼动特征生成eeg信息。
[0081]
如图3示出了不同方法的准确度和f1分数在内的实验结果。将本方法模型的平均准确度和标准差与其他方法进行了比较。
[0082]
对于脑电图与眼动，从图3中，发现dnns方法在任何一种模态上都显著优于svm方法，这证明了神经网络的优越性。此外，无论使用svm方法还是dnns方法，eeg信号对决策信心的分类能力都强于眼动，这表明在决策信心识别任务中，eeg信息比眼动更可靠。从图4所示的混淆矩阵中，可以看出，对于低决策信心水平(1和2)，眼动具有相对较高的识别率，而eeg信号具有更强的辨别极端信心水平的能力(1和5)。这表明在眼动和eeg信号之间存在用于测量决策信心的互补表示。
[0083]
对于本方法跨模态与单模态，本方法提出的跨模态方法优于仅在眼动信号上训练和测试的dnns方法，准确率提高了约5.43％，f1得分提高了4.13％，此外，从混淆矩阵中可以看出，本方法在所有级别，特别是极端信心级别上的识别率都有相对较大的提高，在第一个层次上最多增加11.55％，在第五个层次上增加8.82％。即使将眼动作为唯一的输入，也可以通过本方法学习到具有更强识别极端置信水平能力的脑电图知识。
[0084]
对于本方法跨模态与多模态，本方法与dnns多模态方法一样具有竞争力，但与dae
多模式方法相比仍存在性能差距。从混淆矩阵中可以看出，本方法主要在识别极端置信水平方面表现较差。这可以通过生成的eeg信息不能完全取代真实的eeg信号来解释。然而，与多模式方法相比，准确度的适度下降被认为是可以接受的，因为本方法只对眼动信号进行了测试，从而减少了对eeg信号的依赖，这使得决策信心测量更加适用和可行。
[0085]
对于本方法跨模态与现有跨模态的比较，与dal方法相比，dal方法在不经过高级特征提取过程的情况下从初级眼动信号中生成eeg信息，本方法在准确性上提高了约5.80％，在f1分数上提高了5.16％。dae方法比多模态dnns方法获得了更好的性能，这表明从第一个训练阶段提取的高级特征更有利于决策信心分类。更重要的是，很难从低维眼动特征中生成初级高维eeg特征
[0086]
总的来说，本方法提出了一种基于生成对抗性学习的跨模态方法，用于决策信心测量任务。在本方法中，可以在训练阶段学习高级特征空间中眼动和eeg特征之间的内在关系。在seed-vpdc数据集上的实验结果表明，本方法优于仅在眼动信号上训练和测试的单模态方法。这表明，在没有eeg的情况下，可以从眼动特征中生成eeg特征，这在一定程度上补充了eeg模态的信息。
[0087]
如图5所示为本发明一实施例提供的一种基于生成对抗学习的跨模态决策信心估计系统的结构示意图，该系统可执行上述任意实施例所述的基于生成对抗学习的跨模态决策信心估计方法，并配置在终端中。
[0088]
本实施例提供的一种基于生成对抗学习的跨模态决策信心估计系统10包括：信号采集程序模块11，特征提取程序模块12，生成模型训练程序模块13和估计程序模块14。
[0089]
其中，信号采集程序模块11用于采集被试者在决策过程中的脑电信号以及眼动信号；特征提取程序模块12用于从所述脑电信号以及所述眼动信号中提取出脑电特征以及眼动特征；生成模型训练程序模块13用于通过所述脑电特征以及所述眼动特征对脑电生成模型进行提取决策信心特征的第一训练，以及从所述决策信心特征中生成对抗学习确定眼动、脑电之间关系的第二训练，以使训练后的脑电生成模型能够从输入的眼动特征中生成对应的脑电特征；估计程序模块14用于将获取的所述被试者的真实眼动信号输入至所述训练后的脑电生成模型得到预测脑电信号，基于多模态分类器对所述真实眼动信号以及所述预测脑电信号进行决策信心估计。
[0090]
本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于生成对抗学习的跨模态决策信心估计方法；
[0091]
作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：
[0092]
采集被试者在决策过程中的脑电信号以及眼动信号；
[0093]
从所述脑电信号以及所述眼动信号中提取出脑电特征以及眼动特征；
[0094]
通过所述脑电特征以及所述眼动特征对脑电生成模型进行提取决策信心特征的第一训练，以及从所述决策信心特征中生成对抗学习确定眼动、脑电之间关系的第二训练，以使训练后的脑电生成模型能够从输入的眼动特征中生成对应的脑电特征；
[0095]
将获取的所述被试者的真实眼动信号输入至所述训练后的脑电生成模型得到预测脑电信号，基于多模态分类器对所述真实眼动信号以及所述预测脑电信号进行决策信心
估计。
[0096]
作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的方法对应的程序指令/模块。一个或者多个程序指令存储在非易失性计算机可读存储介质中，当被处理器执行时，执行上述任意方法实施例中的基于生成对抗学习的跨模态决策信心估计方法。
[0097]
图6是本技术另一实施例提供的基于生成对抗学习的跨模态决策信心估计方法的电子设备的硬件结构示意图，如图6所示，该设备包括：
[0098]
一个或多个处理器610以及存储器620，图6中以一个处理器610为例。基于生成对抗学习的跨模态决策信心估计方法的设备还可以包括：输入装置630和输出装置640。
[0099]
处理器610、存储器620、输入装置630和输出装置640可以通过总线或者其他方式连接，图6中以通过总线连接为例。
[0100]
存储器620作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本技术实施例中的基于生成对抗学习的跨模态决策信心估计方法对应的程序指令/模块。处理器610通过运行存储在存储器620中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例基于生成对抗学习的跨模态决策信心估计方法。
[0101]
存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器620可选包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至移动装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0102]
输入装置630可接收输入的数字或字符信息。输出装置640可包括显示屏等显示设备。
[0103]
所述一个或者多个模块存储在所述存储器620中，当被所述一个或者多个处理器610执行时，执行上述任意方法实施例中的基于生成对抗学习的跨模态决策信心估计方法。
[0104]
上述产品可执行本技术实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本技术实施例所提供的方法。
[0105]
非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据装置的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0106]
本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的基于生成对抗学习的跨模态决策信心估计方法的步骤。
[0107]
本技术实施例的电子设备以多种形式存在，包括但不限于：
[0108]
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机、多媒体手机、功能性手机，以及低端手机等。
[0109]
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:pda、mid和umpc设备等，例如平板电脑。
[0110]
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
[0111]
(4)其他具有数据处理功能的电子装置。
[0112]
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0113]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0114]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0115]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种基于生成对抗学习的跨模态决策信心估计方法，包括：采集被试者在决策过程中的脑电信号以及眼动信号；从所述脑电信号以及所述眼动信号中提取出脑电特征以及眼动特征；通过所述脑电特征以及所述眼动特征对脑电生成模型进行提取决策信心特征的第一训练，以及从所述决策信心特征中生成对抗学习确定眼动、脑电之间关系的第二训练，以使训练后的脑电生成模型能够从输入的眼动特征中生成对应的脑电特征；将获取的所述被试者的真实眼动信号输入至所述训练后的脑电生成模型得到预测脑电信号，基于多模态分类器对所述真实眼动信号以及所述预测脑电信号进行决策信心估计。2.根据权利要求1所述的方法，其中，所述通过所述脑电特征以及所述眼动特征对脑电生成模型进行提取决策信心特征的第一训练，以及从所述决策信心特征中生成对抗学习确定眼动、脑电之间关系的第二训练包括：在第一训练中，基于深度自动编码器确定所述脑电特征以及所述眼动特征的重构损失，通过所述重构损失生成用于表示决策信心的眼动高阶特征以及脑电高阶特征，将所述眼动高阶特征以及脑电高阶特征确定为决策信心特征；在第二训练中，将所述眼动高阶特征输入至所述脑电生成模型，得到预测脑电高阶特征，判别所述脑电高阶特征与所述预测脑电高阶特征的交叉熵损失，基于所述交叉熵损失对所述脑电生成模型进行生成对抗学习。3.根据权利要求1所述的方法，其中，所述采集被试者在决策过程中的脑电信号以及眼动信号包括：基于脑电采集设备以及眼动采集设备采集被试者在决策过程中的脑电信号以及眼动信号。4.根据权利要求1所述的方法，其中，在所述采集被试者在决策过程中的脑电信号以及眼动信号之后，所述方法还包括对所述脑电信号以及眼动信号进行预处理，包括：对所述脑电信号进行基线校正，并去除基线校正后脑电信号中50hz的交流电源噪音，基于1-75hz带通滤波器去除所述脑电信号中的低频信号以及高频无效信号；基于主成分分析法去除所述眼动信号中受光照影响的信号。5.根据权利要求1所述的方法，其中，所述从所述脑电信号以及所述眼动信号中提取出脑电特征以及眼动特征包括：基于定长的汉宁窗口对所述脑电信号执行短时傅里叶变换，将执行短时傅里叶变换的脑电信号划分为多个频段，确定所述多个频段的脑电微分熵特征。6.根据权利要5所述的方法，其中，所述方法还包括：通过所述眼动信号确定瞳孔在x轴以及y轴方向上的均值、方差、多个频段的眼动微分熵特征以及眼球运动特征，其中，所述眼动微分熵特征的多个频段包括：0-0.2hz,0.2-0.4hz,0.4-0.6hz,0.6-0.8hz，所述眼球运动特征包括：注视时间、眨眼频率。7.一种基于生成对抗学习的跨模态决策信心估计系统，包括：信号采集程序模块，用于采集被试者在决策过程中的脑电信号以及眼动信号；特征提取程序模块，用于从所述脑电信号以及所述眼动信号中提取出脑电特征以及眼动特征；
生成模型训练程序模块，用于通过所述脑电特征以及所述眼动特征对脑电生成模型进行提取决策信心特征的第一训练，以及从所述决策信心特征中生成对抗学习确定眼动、脑电之间关系的第二训练，以使训练后的脑电生成模型能够从输入的眼动特征中生成对应的脑电特征；估计程序模块，用于将获取的所述被试者的真实眼动信号输入至所述训练后的脑电生成模型得到预测脑电信号，基于多模态分类器对所述真实眼动信号以及所述预测脑电信号进行决策信心估计。8.根据权利要求7所述的系统，其中，所述生成模型训练程序模块用于：在第一训练中，基于深度自动编码器确定所述脑电特征以及所述眼动特征的重构损失，通过所述重构损失生成用于表示决策信心的眼动高阶特征以及脑电高阶特征，将所述眼动高阶特征以及脑电高阶特征确定为决策信心特征；在第二训练中，将所述眼动高阶特征输入至所述脑电生成模型，得到预测脑电高阶特征，判别所述脑电高阶特征与所述预测脑电高阶特征的交叉熵损失，基于所述交叉熵损失对所述脑电生成模型进行生成对抗学习。9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述方法的步骤。10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。

技术总结
本发明实施例提供一种基于生成对抗学习的跨模态决策信心估计方法及系统。该方法包括：采集被试者在决策过程中的脑电信号以及眼动信号；从脑电信号以及眼动信号中提取出脑电特征以及眼动特征；通过脑电特征以及眼动特征对脑电生成模型进行提取决策信心特征的第一训练，以及从决策信心特征中生成对抗学习确定眼动、脑电之间关系的第二训练；将获取的被试者的真实眼动信号输入至训练后的脑电生成模型得到预测脑电信号，基于多模态分类器对真实眼动信号以及预测脑电信号进行决策信心估计。本发明实施例利用生成对抗学习，提高了基于眼动信号的决策信心估计能力，解决了脑电信号采集过程复杂成本高的问题，保证准确的决策信心估计。估计。估计。


技术研发人员：吕宝粮 李芮
受保护的技术使用者：上海交通大学
技术研发日：2023.04.18
技术公布日：2023/7/21