一种基于多模态信息的视觉注意力评估方法及评估系统

1.本发明涉及视觉注意力评估技术领域，尤其是一种基于多模态信息的视觉注意力评估方法及评估系统。


背景技术：

2.近年来，随着地面站自动化和智能化水平的不断提高，无人机操作员的主要工作开始由控制向监控转移，体力负荷下降，视觉监控负荷增加的现象变得更加突出。单一的工作环境和超长负荷的工作，导致无人机操作员在作业过程中极易陷入视觉疲劳，注意力下降等负面状态，这将严重影响任务效率，而任何一个微小失误，都可能带来非常严重的后果。
3.对于无人机操作员的视觉认知力评估，传统方法一般基于主观量表评估或根据任务绩效评估，其结果易受主观因素、观察者差异等因素影响，准确性较低，且较难与认知力增强技术结合，实用价值有限。近年来，随着脑机接口技术的发展，以非接触的眼动、eeg等方式直接获取被试认知力特征的方法被提出。已有的关于无人机操作员视觉认知力的评估，大多停留在定性分析阶段，或没有较好地将眼动、eeg等多模态信息结合以提升信息的利用率；而利用眼动、eeg等多模态数据联合分析人类视觉认知力，已成为车辆驾驶员认知力评估、教育培训等领域的主流方法，也代表了无人机操作员视觉认知力评估的发展趋势。


技术实现要素：

4.本发明所要解决的技术问题在于，提供一种基于多模态信息的视觉注意力评估方法，能够量化无人机操作员的视觉认知力水平，将眼动、脑电等多模态信息结合，提升信息的利用率。
5.为解决上述技术问题，本发明提供一种基于多模态信息的视觉注意力评估方法，包括如下步骤：
6.步骤1、设计实验范式，采集eeg和眼动数据；
7.步骤2、对步骤1采集的eeg信号进行预处理；
8.步骤3、对步骤1采集的眼动信号进行预处理；
9.步骤4、对步骤2预处理后的eeg样本进行特征提取；
10.步骤5、建立分类模型。
11.优选的，步骤1中，设计实验范式，采集eeg和眼动数据具体包括如下步骤：
12.步骤11、设计思维探针的bci实验范式，以伪随机序列的方式决定思维探针的时间间隔，到达时间间隔时，弹出注意力水平量表，要求被试填写；
13.步骤12、设计实验任务界面，被试需要完成一个多架无人机分布式搜索监控任务，无人机会在地图中随机搜索；
14.步骤13、实验开始前，屏幕中央会显示引导语，让被试充分了解实验规则，正式采集数据前，受试者需要调整好情绪并处于身心放松的状态，做好实验准备；
15.步骤14、实验开始时，屏幕中无人机从边界外飞入场地，开始分布式搜索，当思维探针时间到时，无人机模拟发现可疑目标，标注目标类型并返回图片要求被试者判断无人机的目标检测结果是否正确；
16.步骤15、在被试标记完无人机的自动检测结果是否正确后，弹出注意力水平量表，要求被试填写。
17.优选的，步骤11中，思维探针的最小时间间隔为5分钟。
18.优选的，步骤14中，无人机的数量为8架。
19.优选的，步骤2中，对步骤1采集的eeg信号进行预处理具体包括如下步骤：
20.步骤21、通过测量电极获得受试者的脑电数据，利用50hz的陷波器对原始eeg信号进行预处理；
21.步骤22、根据思维探针的出现时间，截取思维探针前1分钟的脑电样本，并根据注意力水平量表标记数据标签；
22.步骤23、利用一个6阶巴特沃斯滤波器在1-50hz内对eeg信号滤波，对oz电极进行时频分析，得到功率谱密度图。
23.优选的，步骤3中，对步骤1采集的眼动信号进行预处理具体包括如下步骤：
24.步骤31、通过眼动仪获得受试者的眼动数据，利用二阶滑动窗口滤波器对原始眼动信号进行预处理；
25.步骤32、根据思维探针的出现时间，截取思维探针前1分钟的眼动样本，并根据注意力水平量表标记数据标签；
26.步骤33、计算眼动样本中的眨眼率、瞳孔直径、双目视距、注视点方差共4个特征。
27.优选的，步骤4中，对步骤2预处理后的eeg样本进行特征提取具体包括如下步骤：
28.步骤41、通过短时傅里叶变换，采用窗口大小为60秒的汉宁窗，时域采样频率为250hz，频域采样频率为512hz，对于每个样本，得到60*250＝1500个采样点；
29.步骤42、取出delta频段(1-4hz)、theta频段(4-8hz)、alpha频段(8-13hz)、beta频段(13-30hz)和gamma频段(30-50hz)这五个和思维活动密切相关的频段，对单一频段提取差分熵频域特征得到16个de特征，五个频段共得到16*5＝80个de特征。
30.优选的，步骤5中，建立分类模型具体包括如下步骤：
31.步骤51、建立三层全连接神经网络，第一层为80个神经元，第二层40个神经元，第三层4个神经元，采用relu激活函数，将得到的每个eeg样本的80个de特征输入网络，得到4维输出向量；
32.步骤52、将步骤51得到的输出向量与4维眼动特征拼接，得到8维特征向量，建立三层全连接神经网络，第一层为8个神经元，第二层4个神经元，第三层2个神经元，采用relu激活函数，将8维特征向量作为输入；
33.步骤53、将预处理后的眼动、eeg数据按照十折交叉验证划分训练集与测试集，对网络模型进行训练，得到平均分类准确率。
34.相应的，一种基于多模态信息的视觉注意力评系统，包括：信号采集模块、信号预处理模块、特征提取模块和信号处理模块；信号采集模块设计实验范式并且采集eeg和眼动数据，信号预处理模块对采集的eeg信号和眼动信号进行预处理，特征提取模块对eeg样本进行特征提取，信号处理模块建立分类模型，将预处理后的眼动、eeg数据按照十折交叉验
证划分训练集与测试集，对网络模型进行训练，得到平均分类准确率。
35.本发明的有益效果为：本发明结合了眼动、eeg等多模态信息进行无人机操作员的注意力状态评估，提升了信息利用率，具有较高的客观性和准确性，成本较低，可以快速推广使用。
附图说明
36.图1为本发明的系统结构示意图。
37.图2为本发明的无人机监控软件示意图。
具体实施方式
38.如图1和图2所示，一种基于多模态信息的视觉注意力评估方法，包括如下步骤：
39.步骤1、设计实验范式，采集eeg和眼动数据；具体包括如下步骤：
40.步骤11、设计思维探针的bci实验范式，以伪随机序列的方式决定思维探针的时间间隔，到达时间间隔时，弹出注意力水平量表，要求被试填写；
41.步骤12、设计实验任务界面，被试需要完成一个多架无人机分布式搜索监控任务，无人机会在地图中随机搜索；
42.步骤13、实验开始前，屏幕中央会显示引导语，让被试充分了解实验规则，正式采集数据前，受试者需要调整好情绪并处于身心放松的状态，做好实验准备；
43.步骤14、实验开始时，屏幕中无人机从边界外飞入场地，开始分布式搜索，当思维探针时间到时，无人机模拟发现可疑目标，标注目标类型并返回图片要求被试者判断无人机的目标检测结果是否正确；
44.步骤15、在被试标记完无人机的自动检测结果是否正确后，弹出注意力水平量表，要求被试填写。
45.步骤2、对步骤1采集的eeg信号进行预处理；具体包括如下步骤：
46.步骤21、通过测量电极获得受试者的脑电数据，利用50hz的陷波器对原始eeg信号进行预处理；
47.步骤22、根据思维探针的出现时间，截取思维探针前1分钟的脑电样本，并根据注意力水平量表标记数据标签；
48.步骤23、利用一个6阶巴特沃斯滤波器在1-50hz内对eeg信号滤波，对oz电极进行时频分析，得到功率谱密度图。
49.步骤3、对步骤1采集的眼动信号进行预处理；具体包括如下步骤：
50.步骤31、通过眼动仪获得受试者的眼动数据，利用二阶滑动窗口滤波器对原始眼动信号进行预处理；
51.步骤32、根据思维探针的出现时间，截取思维探针前1分钟的眼动样本，并根据注意力水平量表标记数据标签；
52.步骤33、计算眼动样本中的眨眼率、瞳孔直径、双目视距、注视点方差共4个特征。
53.步骤4、对步骤2预处理后的eeg样本进行特征提取；具体包括如下步骤：
54.步骤41、通过短时傅里叶变换，采用窗口大小为60秒的汉宁窗，时域采样频率为250hz，频域采样频率为512hz，对于每个样本，得到60*250＝1500个采样点；
55.步骤42、取出delta频段(1-4hz)、theta频段(4-8hz)、alpha频段(8-13hz)、beta频段(13-30hz)和gamma频段(30-50hz)这五个和思维活动密切相关的频段，对单一频段提取差分熵频域特征得到16个de特征，五个频段共得到16*5＝80个de特征。
56.步骤5、建立分类模型；具体包括如下步骤：
57.步骤51、建立三层全连接神经网络，第一层为80个神经元，第二层40个神经元，第三层4个神经元，采用relu激活函数，将得到的每个eeg样本的80个de特征输入网络，得到4维输出向量；
58.步骤52、将步骤51得到的输出向量与4维眼动特征拼接，得到8维特征向量，建立三层全连接神经网络，第一层为8个神经元，第二层4个神经元，第三层2个神经元，采用relu激活函数，将8维特征向量作为输入；
59.步骤53、将预处理后的眼动、eeg数据按照十折交叉验证划分训练集与测试集，对网络模型进行训练，得到平均分类准确率。
60.相应的，一种基于多模态信息的视觉注意力评估系统，包括：信号采集模块、信号预处理模块、特征提取模块和信号处理模块；信号采集模块设计实验范式并且采集eeg和眼动数据，信号预处理模块对采集的eeg信号和眼动信号进行预处理，特征提取模块对eeg样本进行特征提取，信号处理模块建立分类模型，将预处理后的眼动、eeg数据按照十折交叉验证划分训练集与测试集，对网络模型进行训练，得到平均分类准确率。

技术特征：
1.一种基于多模态信息的视觉注意力评估方法，其特征在于，包括如下步骤：步骤1、设计实验范式，采集eeg和眼动数据；步骤2、对步骤1采集的eeg信号进行预处理；步骤3、对步骤1采集的眼动信号进行预处理；步骤4、对步骤2预处理后的eeg样本进行特征提取；步骤5、建立分类模型。2.如权利要求1所述的基于多模态信息的视觉注意力评估方法，其特征在于，步骤1中，设计实验范式，采集eeg和眼动数据具体包括如下步骤：步骤11、设计思维探针的bci实验范式，以伪随机序列的方式决定思维探针的时间间隔，到达时间间隔时，弹出注意力水平量表，要求被试填写；步骤12、设计实验任务界面，被试需要完成一个多架无人机分布式搜索监控任务，无人机会在地图中随机搜索；步骤13、实验开始前，屏幕中央会显示引导语，让被试充分了解实验规则，正式采集数据前，受试者需要调整好情绪并处于身心放松的状态，做好实验准备；步骤14、实验开始时，屏幕中无人机从边界外飞入场地，开始分布式搜索，当思维探针时间到时，无人机模拟发现可疑目标，标注目标类型并返回图片要求被试者判断无人机的目标检测结果是否正确；步骤15、在被试标记完无人机的自动检测结果是否正确后，弹出注意力水平量表，要求被试填写。3.如权利要求2所述的基于多模态信息的视觉注意力评估方法，其特征在于，步骤11中，思维探针的最小时间间隔为5分钟。4.如权利要求2所述的基于多模态信息的视觉注意力评估方法，其特征在于，步骤14中，无人机的数量为8架。5.如权利要求1所述的基于多模态信息的视觉注意力评估方法，其特征在于，步骤2中，对步骤1采集的eeg信号进行预处理具体包括如下步骤：步骤21、通过测量电极获得受试者的脑电数据，利用50hz的陷波器对原始eeg信号进行预处理；步骤22、根据思维探针的出现时间，截取思维探针前1分钟的脑电样本，并根据注意力水平量表标记数据标签；步骤23、利用一个6阶巴特沃斯滤波器在1-50hz内对eeg信号滤波，对oz电极进行时频分析，得到功率谱密度图。6.如权利要求1所述的基于多模态信息的视觉注意力评估方法，其特征在于，步骤3中，对步骤1采集的眼动信号进行预处理具体包括如下步骤：步骤31、通过眼动仪获得受试者的眼动数据，利用二阶滑动窗口滤波器对原始眼动信号进行预处理；步骤32、根据思维探针的出现时间，截取思维探针前1分钟的眼动样本，并根据注意力水平量表标记数据标签；步骤33、计算眼动样本中的眨眼率、瞳孔直径、双目视距、注视点方差共4个特征。7.如权利要求1所述的基于多模态信息的视觉注意力评估方法，其特征在于，步骤4中，
对步骤2预处理后的eeg样本进行特征提取具体包括如下步骤：步骤41、通过短时傅里叶变换，采用窗口大小为60秒的汉宁窗，时域采样频率为250hz，频域采样频率为512hz，对于每个样本，得到60*250＝1500个采样点；步骤42、取出delta频段、theta频段、alpha频段、beta频段和gamma频段这五个和思维活动密切相关的频段，对单一频段提取差分熵频域特征得到16个de特征，五个频段共得到16*5＝80个de特征。8.如权利要求1所述的基于多模态信息的视觉注意力评估方法，其特征在于，步骤5中，建立分类模型具体包括如下步骤：步骤51、建立三层全连接神经网络，第一层为80个神经元，第二层40个神经元，第三层4个神经元，采用relu激活函数，将得到的每个eeg样本的80个de特征输入网络，得到4维输出向量；步骤52、将步骤51得到的输出向量与4维眼动特征拼接，得到8维特征向量，建立三层全连接神经网络，第一层为8个神经元，第二层4个神经元，第三层2个神经元，采用relu激活函数，将8维特征向量作为输入；步骤53、将预处理后的眼动、eeg数据按照十折交叉验证划分训练集与测试集，对网络模型进行训练，得到平均分类准确率。9.一种基于如权利要求1所述的基于多模态信息的视觉注意力评估方法的评估系统，其特征在于，包括：信号采集模块、信号预处理模块、特征提取模块和信号处理模块；信号采集模块设计实验范式并且采集eeg和眼动数据，信号预处理模块对采集的eeg信号和眼动信号进行预处理，特征提取模块对eeg样本进行特征提取，信号处理模块建立分类模型，将预处理后的眼动、eeg数据按照十折交叉验证划分训练集与测试集，对网络模型进行训练，得到平均分类准确率。

技术总结
本发明公开了一种基于多模态信息的视觉注意力评估方法及评估系统，方法包括如下步骤：步骤1、设计实验范式，采集EEG和眼动数据；步骤2、对步骤1采集的EEG信号进行预处理；步骤3、对步骤1采集的眼动信号进行预处理；步骤4、对步骤2预处理后的EEG样本进行特征提取；步骤5、建立分类模型。装置包括：信号采集模块、信号预处理模块、特征提取模块和信号处理模块。本发明结合了眼动、EEG等多模态信息进行无人机操作员的注意力状态评估，提升了信息利用率，具有较高的客观性和准确性，成本较低，可以快速推广使用。速推广使用。速推广使用。


技术研发人员：徐天泽 陈芳 张赛楠 杜庆节 曹治 张道强
受保护的技术使用者：南京航空航天大学
技术研发日：2023.03.31
技术公布日：2023/7/21