一种脑电和脑磁融合的脑机接口指令下达方法及装置

1.本发明涉及脑机接口技术领域，尤其涉及一种脑电和脑磁融合的脑机接口指令下达方法及装置。


背景技术：

2.脑机接口（brain-computer interface , bci）系统对大脑信号进行采集和分析，将大脑信号转换为输出指令，从而实现了跨越外周神经系统，由大脑信号对外部设备进行直接控制，进而用于替代、维护、提高、完善大脑中枢神经系统，让它可以实现正常的输出。目前基于运动想象的脑机接口技术发展迅速，在脑控外骨骼、瘫痪病人的康复医疗方面有广泛的应用。
3.现有技术中，当前很多脑控外骨骼装置的控制系统都是采用运动想象的eeg（electroencephalography，脑电图）脑机接口系统。
4.然而，单一脑电控制系统在空间分辨方面有缺陷，且存在解码精度较低的问题，容易导致运动意图与末端效应器之间的认知失联，精细运动想象分类准确率低。


技术实现要素：

5.本发明提供一种脑电和脑磁融合的脑机接口指令下达方法及装置，用以解决现有技术中单一脑电脑机接口系统在空间分辨方面有缺陷，进而导致精细运动想象解码精度较低的问题。
6.本发明提供一种脑电和脑磁融合的脑机接口指令下达方法，包括：获取脑电数据和脑磁数据；将所述脑电数据和所述脑磁数据输入至脑电脑磁联合解码模型中，得到所述脑电脑磁联合解码模型输出的运动意图结果；基于所述运动意图结果，进行指令下达；所述脑电脑磁联合解码模型包括脑电时间注意力模块、脑磁时间注意力模块、脑电空间注意力模块、脑磁空间注意力模块、时间跨模态注意力模块、空间跨模态注意力模块和分类器；所述脑电时间注意力模块用于对所述脑电数据进行时间注意力提取，得到脑电时间注意力特征，所述脑磁时间注意力模块用于对所述脑磁数据进行时间注意力提取，得到脑磁时间注意力特征，所述脑电空间注意力模块用于对所述脑电数据进行空间注意力提取，得到脑电空间注意力特征，所述脑磁空间注意力模块用于对所述脑磁数据进行空间注意力提取，得到脑磁空间注意力特征，所述时间跨模态注意力模块用于对所述脑电时间注意力特征和所述脑磁时间注意力特征进行全局特征提取，得到全局时间特征，所述空间跨模态注意力模块用于对所述脑电空间注意力特征和所述脑磁空间注意力特征进行全局特征提取，得到全局空间特征；所述分类器用于基于所述全局时间特征和所述全局空间特征进行意图解码，得到
所述运动意图结果。
7.根据本发明提供的一种脑电和脑磁融合的脑机接口指令下达方法，所述脑电脑磁联合解码模型还包括脑电时间特征提取器、脑磁时间特征提取器、脑电空间特征提取器和脑磁空间特征提取器；所述脑电时间特征提取器、所述脑磁时间特征提取器、所述脑电空间特征提取器和所述脑磁空间特征提取器均基于双向lstm模型构建。
8.根据本发明提供的一种脑电和脑磁融合的脑机接口指令下达方法，所述时间跨模态注意力模块包括时间特征映射层和第一transformer模块，所述时间特征映射层用于对所述脑电时间注意力特征和所述脑磁时间注意力特征进行初步分布对齐，得到对齐脑电时间特征和对齐脑磁时间特征；所述第一transformer模块用于基于第一预设分类特征分别与所述对齐脑电时间特征和所述对齐脑磁时间特征各时间点的特征进行注意力计算，得到全局时间特征；所述空间跨模态注意力模块包括空间特征映射层和第二transformer模块，所述空间特征映射层用于对所述脑电空间注意力特征和所述脑磁空间注意力特征进行初步分布对齐，得到对齐脑电空间特征和对齐脑磁空间特征；所述第二transformer模块用于基于第二预设分类特征分别与所述对齐脑电空间特征和所述对齐脑磁空间特征各空间点的特征进行注意力计算，得到全局空间特征。
9.根据本发明提供的一种脑电和脑磁融合的脑机接口指令下达方法，所述获取脑电数据和脑磁数据，包括：获取原始脑电数据和原始脑磁数据；对所述原始脑电数据和所述原始脑磁数据分别进行去基线漂移处理，并对去基线漂移处理后的原始脑电数据和原始脑磁数据分别进行降采样，得到降采样脑电数据和降采样脑磁数据；对所述降采样脑电数据和所述降采样脑磁数据分别进行滤波处理，得到滤波脑电数据和滤波脑磁数据；对所述滤波脑电数据和所述滤波脑磁数据分别进行独立成分分析，得到所述脑电数据和所述脑磁数据。
10.根据本发明提供的一种脑电和脑磁融合的脑机接口指令下达方法，所述分类器包括顺次连接的第一全连接层、正则化层、第二全连接层和归一化层。
11.根据本发明提供的一种脑电和脑磁融合的脑机接口指令下达方法，所述脑电脑磁联合解码模型的训练步骤包括：确定初始脑电脑磁联合解码模型，并获取样本脑电数据、样本脑磁数据和运动意图标签；将所述样本脑电数据和所述样本脑磁数据输入至所述初始脑电脑磁联合解码模型中进行解码，得到所述初始脑电脑磁联合解码模型输出的运动意图预测结果；基于所述运动意图预测结果与所述运动意图标签之间的差异，确定分类损失，并基于所述分类损失，对所述初始脑电脑磁联合解码模型进行参数迭代，得到所述脑电脑磁联合解码模型。
12.根据本发明提供的一种脑电和脑磁融合的脑机接口指令下达方法，所述样本脑电
数据和所述样本脑磁数据均是在运动想象实验范式对应的动作提示的基础上离线采集的，所述运动想象实验范式包括肩关节内收、肩关节外展、肘关节屈、肘关节伸、桡关节旋前、桡关节旋后、手指屈和手指伸。
13.本发明还提供一种脑电和脑磁融合的脑机接口指令下达装置，包括：获取单元，用于获取脑电数据和脑磁数据；解码单元，用于将所述脑电数据和所述脑磁数据输入至脑电脑磁联合解码模型中，得到所述脑电脑磁联合解码模型输出的运动意图结果；指令下达单元，用于基于所述运动意图结果，进行指令下达；所述脑电脑磁联合解码模型包括脑电时间注意力模块、脑磁时间注意力模块、脑电空间注意力模块、脑磁空间注意力模块、时间跨模态注意力模块、空间跨模态注意力模块和分类器；所述脑电时间注意力模块用于对所述脑电数据进行时间注意力提取，得到脑电时间注意力特征，所述脑磁时间注意力模块用于对所述脑磁数据进行时间注意力提取，得到脑磁时间注意力特征，所述脑电空间注意力模块用于对所述脑电数据进行空间注意力提取，得到脑电空间注意力特征，所述脑磁空间注意力模块用于对所述脑磁数据进行空间注意力提取，得到脑磁空间注意力特征，所述时间跨模态注意力模块用于对所述脑电时间注意力特征和所述脑磁时间注意力特征进行全局特征提取，得到全局时间特征，所述空间跨模态注意力模块用于对所述脑电空间注意力特征和所述脑磁空间注意力特征进行全局特征提取，得到全局空间特征；所述分类器用于基于所述全局时间特征和所述全局空间特征进行意图解码，得到所述运动意图结果。
14.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述脑电和脑磁融合的脑机接口指令下达方法。
15.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述脑电和脑磁融合的脑机接口指令下达方法。
16.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述脑电和脑磁融合的脑机接口指令下达方法。
17.本发明提供的一种脑电和脑磁融合的脑机接口指令下达方法及装置，将脑电数据和脑磁数据输入至脑电脑磁联合解码模型中，得到脑电脑磁联合解码模型输出的运动意图结果，再基于运动意图结果，进行指令下达，脑电脑磁联合解码模型包括脑电时间注意力模块、脑磁时间注意力模块、脑电空间注意力模块、脑磁空间注意力模块、时间跨模态注意力模块、空间跨模态注意力模块和分类器，由此，有效利用了脑电数据和脑磁数据中的互补信息，提高了精细运动意图解码的准确性和可靠性。
附图说明
18.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些
附图获得其他的附图。
19.图1是本发明提供的脑电和脑磁融合的脑机接口指令下达方法的流程示意图；图2是本发明提供的脑电脑磁联合解码模型的结构示意图；图3是本发明提供的多层注意力模块的结构示意图；图4是本发明提供的单试次离线采集样本脑电数据和样本脑磁数据的流程示意图；图5是本发明提供的脑机接口指令下达系统的结构示意图；图6是本发明提供的脑电和脑磁融合的脑机接口指令下达装置的结构示意图；图7是本发明提供的电子设备的结构示意图。
具体实施方式
20.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类。
22.相关技术中，基于运动想象的脑-机接口系统是唯一的一种不需要外界刺激，反映使用者自主运动意识的脑-机接口范式，可以被用于运动功能障碍患者的运动功能代偿以及脑卒中患者的功能康复。患者可以主动想象运动意图，通过脑机接口解码模型将其转换成对机械臂的控制信号，实现患者运动功能代偿，是一种非常有效的辅助残疾人独立自主生活的装置。同时该运动想象过程激励了患者主动运动意识，也有利于肢体运动功能的恢复。目前基于运动想象的脑机接口技术发展迅速，在脑控外骨骼、瘫痪病人的康复医疗方面有广泛的应用。
23.通过头皮电极帽采集脑电信号（electroencephalography , eeg）是当前脑机接口系统最常用的信号采集方式。当前很多脑控外骨骼装置的控制系统都是采用运动想象的eeg脑机接口系统。
24.脑电信号是脑神经活动产生的电信号，反映了大脑的认知活动，并具有时间分辨率高、便于采集等优势。但是单一脑电控制系统在空间分辨方面有缺陷，且存在解码精度较低的问题，容易导致运动意图与末端效应器之间的认知失联。而脑磁信号（magnetoencephalography , meg）具有较高的时空分辨率且使用便捷。利用多模态融合技术可以实现不同模态之间的优势互补，有效丰富信息量。
25.综上所述，虽然基于运动想象的脑机接口系统已经有比较广泛的研究与应用，但是仍存在单模态运动想象指令集不足，精细运动想象分类准确率低等问题。
26.基于上述问题，本发明提供一种脑电和脑磁融合的脑机接口指令下达方法，图1是本发明提供的脑电和脑磁融合的脑机接口指令下达方法的流程示意图，如图1所示，该方法包括：
步骤110，获取脑电数据和脑磁数据。
27.具体地，可以获取脑电数据和脑磁数据，此处的脑电数据和脑磁数据是指需要进行运动意图解码的数据。
28.脑电数据和脑磁数据可以是分别进行预处理得到的，此处的预处理操作依次包括去基线漂移处理、降采样、滤波处理和独立成分分析。
29.从而将脑电数据表示为的形式，其中和分别为脑电数据的通道数和时间样本点数。脑电数据的通道按其对应电极在头皮表面位置从前向后进行排列，从而编码空间位置信息。按同样的方法将脑磁数据表示为的形式，并在时间维度上对齐脑电数据和脑磁数据的采样率和时间范围，使得，以便于后续两种模态时间信息的对齐。
30.可以理解的是，脑磁数据具有较高的时空分辨率且使用便捷，结合脑电数据和脑磁数据可以实现不同模态之间的优势互补，有效丰富信息量。
31.步骤120，将所述脑电数据和所述脑磁数据输入至脑电脑磁联合解码模型中，得到所述脑电脑磁联合解码模型输出的运动意图结果；所述脑电脑磁联合解码模型包括脑电时间注意力模块、脑磁时间注意力模块、脑电空间注意力模块、脑磁空间注意力模块、时间跨模态注意力模块、空间跨模态注意力模块和分类器；所述脑电时间注意力模块用于对所述脑电数据进行时间注意力提取，得到脑电时间注意力特征，所述脑磁时间注意力模块用于对所述脑磁数据进行时间注意力提取，得到脑磁时间注意力特征，所述脑电空间注意力模块用于对所述脑电数据进行空间注意力提取，得到脑电空间注意力特征，所述脑磁空间注意力模块用于对所述脑磁数据进行空间注意力提取，得到脑磁空间注意力特征，所述时间跨模态注意力模块用于对所述脑电时间注意力特征和所述脑磁时间注意力特征进行全局特征提取，得到全局时间特征，所述空间跨模态注意力模块用于对所述脑电空间注意力特征和所述脑磁空间注意力特征进行全局特征提取，得到全局空间特征；所述分类器用于基于所述全局时间特征和所述全局空间特征进行意图解码，得到所述运动意图结果。
32.具体地，图2是本发明提供的脑电脑磁联合解码模型的结构示意图，如图2所示，t表示时间，在得到脑电数据和脑磁数据之后，可以将脑电数据和脑磁数据输入至脑电脑磁联合解码模型中，得到脑电脑磁联合解码模型输出的运动意图结果，此处的运动意图结果是指用户当前想要表达的运动意图，运动意图结果可以包括肩关节内收、肩关节外展、肘关节屈、肘关节伸、桡关节旋前、桡关节旋后、手指屈和手指伸。此处的脑电脑磁联合解码模型可以包括脑电时间注意力模块、脑磁时间注意力模块、脑电空间注意力模块、脑磁空间注意力模块、时间跨模态注意力模块、空间跨模态注意力模块和分类器。
33.其中，脑电时间注意力模块可以用于对脑电数据进行时间注意力提取，得到脑电时间注意力特征，此处的脑电时间注意力特征反映了脑电数据在时间层面的特征信息。在脑电时间注意力模块中，脑电时间注意力模块会根据脑电数据的输入序列中各个位置之间的相似度来计算每个位置的权重，从而更好地捕捉输入序列中各个位置之间的依赖关系。
脑电时间注意力模块的输出为，，即脑电时间注意力模块进一步压缩信息，提取深层脑电时间特征。
34.图3是本发明提供的多层注意力模块的结构示意图，如图3所示，对于时间特征处理的多层注意力模块由时间注意力模块和时间跨模态注意力模块构成，时间注意力模块用来捕捉输入时间序列各个时间点之间的依赖关系，从而进一步挖掘脑电数据和脑磁数据的深层特征。时间注意力模块采用transformer架构，由多个encoder神经网络和decoder神经网络构成，其中每个encoder网络和decoder网络都由多个层组成。每个层都包含了一个多头自注意力机制和一个全连接前馈网络。图3中q：指的是query，相当于decoder的内容，k：指的是key，相当于encoder的内容，v：指的是value，相当于encoder的内容。
35.时间跨模态注意力模块包括时间特征映射层和第一transformer模块，时间特征映射层用于对脑电时间注意力特征和脑磁时间注意力特征进行初步分布对齐，得到对齐脑电时间特征和对齐脑磁时间特征。第一transformer模块用于基于第一预设分类特征分别与对齐脑电时间特征和对齐脑磁时间特征各时间点的特征进行注意力计算，得到全局时间特征。
36.脑磁时间注意力模块用于对脑磁数据进行时间注意力提取，得到脑磁时间注意力特征，此处的脑磁时间注意力特征反映了脑磁数据在时间层面的特征信息。在脑磁时间注意力模块中，脑磁时间注意力模块会根据脑磁数据的输入序列中各个位置之间的相似度来计算每个位置的权重，从而更好地捕捉输入序列中各个位置之间的依赖关系。脑磁时间注意力模块输出为。为了使得时间特征提取更加稳定高效，本发明实施例中还引入了残差连接和层归一化等技术。
37.空间注意力模块工作原理与时间注意力模块类似，只是网络参数有所不同。脑电空间注意力模块用于对脑电数据进行空间注意力提取，得到脑电空间注意力特征，此处的脑电空间注意力特征反映了脑电数据在空间层面的特征信息。在脑电空间注意力模块中，根据输入空间特征中各个位置之间的相似度来计算每个位置的权重，从而捕捉空间特征内部依赖关系。脑电空间注意力模块的输出为。
38.脑磁空间注意力模块用于对脑磁数据进行空间注意力提取，得到脑磁空间注意力特征，此处的脑磁空间注意力特征反映了脑磁数据在空间层面的特征信息。在脑磁空间注意力模块中，根据输入空间特征中各个位置之间的相似度来计算每个位置的权重，从而捕捉空间特征内部依赖关系。脑磁空间注意力模块的输出为。
39.为了有效利用脑电数据和脑磁数据中的互补信息，本发明实施例进一步设计了时间跨模态注意力模块和空间跨模态注意力模块，时间跨模态注意力模块和空间跨模态注意力模块用来融合、提取多模态特征。
40.此处的时间跨模态注意力模块用于对脑电时间注意力特征和脑磁时间注意力特征进行全局特征提取，得到全局时间特征，此处的全局时间特征反映了脑电数据和脑磁数据在时间层面的特征信息。空间跨模态注意力模块与时间跨模态注意力模块结构相似，为了适应空间特征输入，网络参数有所不同。
41.此处的空间跨模态注意力模块用于对脑电空间注意力特征和脑磁空间注意力特
征进行全局特征提取，得到全局空间特征，此处的全局空间特征反映了脑电数据和脑磁数据在空间层面的特征信息。
42.此处的分类器用于基于全局时间特征和全局空间特征进行意图解码，得到运动意图结果。此处的分类器可以包括顺次连接的第一全连接层（fully connected layers，fc）、正则化层、第二全连接层和归一化层。此处正则化层可以是dropout（随机失活），此处的归一化层可以是ln（layer normalization，层归一化），也可以是bn(batch normalization，批量归一化层)，还可以是in(instance normalization)等，本发明实施例对此不作具体限定。其中，运动意图结果可以用表示。
43.此处，可以将全局时间特征和全局空间特征进行拼接后再输入至分类器中进行意图解码，还可以是利用注意力机制将全局时间特征和全局空间特征进行加权之后再拼接，再将拼接后的特征输入至分类器中进行意图解码，本发明实施例对此不作具体限定。
44.分类器采用多层全连接网络构成，每个神经元都与前一层的所有神经元相连，每个神经元都将前一层的所有输入加权求和，并通过激活函数进行非线性变换。中间层全连接网络采用整流线性函数作为激活函数，输出层采用softmax作为激活函数，最终输出该多模态脑电数据和脑磁数据属于各个类别的概率，并以概率最大的类别作为整个脑电脑磁联合解码模型的最终识别输出。
45.步骤130，基于所述运动意图结果，进行指令下达。
46.具体地，在得到运动意图结果之后，可以基于运动意图结果，进行指令下达，即，将解码后的运动意图结果指令发送给机械臂或其他外设，完成对机械臂多关节不同自由度的精细控制或其他设备的控制。
47.本发明实施例提供的方法，将脑电数据和脑磁数据输入至脑电脑磁联合解码模型中，得到脑电脑磁联合解码模型输出的运动意图结果，再基于运动意图结果，进行指令下达，脑电脑磁联合解码模型包括脑电时间注意力模块、脑磁时间注意力模块、脑电空间注意力模块、脑磁空间注意力模块、时间跨模态注意力模块、空间跨模态注意力模块和分类器，由此，有效利用了脑电数据和脑磁数据中的互补信息，提高了运动意图解码的准确性和可靠性，不会导致运动意图与末端效应器之间的认知失联，从而提高了精细运动想象分类的准确率。
48.基于上述实施例，所述脑电脑磁联合解码模型还包括脑电时间特征提取器、脑磁时间特征提取器、脑电空间特征提取器和脑磁空间特征提取器；所述脑电时间特征提取器、所述脑磁时间特征提取器、所述脑电空间特征提取器和所述脑磁空间特征提取器均基于双向lstm模型构建。
49.具体地，脑电脑磁联合解码模型还可以包括脑电时间特征提取器、脑磁时间特征提取器、脑电空间特征提取器和脑磁空间特征提取器。
50.考虑到传统的lstm（long short-term memory，长短期记忆网络）仅能够依据已有时刻的脑电数据的时间信息预测后续脑电数据的时间信息，无法充分利用后续时刻信息向前预测，继而无法充分理解脑电数据的时间信息。
51.因此，本发明实施例中脑电时间特征提取器、脑磁时间特征提取器、脑电空间特征提取器和脑磁空间特征提取器均基于双向lstm模型构建。双向lstm模型用于挖掘脑电数据和脑磁数据中蕴含的时间特征或空间特征。
52.脑磁时间特征提取器中的双向lstm模型，包含正向和反向两个子模型，能够充分利用各个时刻脑电数据的时间维度上前后双向信息。对于每个脑电数据，将脑电数据各个时间点的数据向量依次输入正向和反向lstm模型中，lstm模型将输入的各个时间点脑电数据向量经过线性映射和激活函数转变为h维特征向量。
53.lstm模型接下来将两个方向输出的特征向量进行平均得到脑电时间特征。相比于原始数据，脑电时间特征的时间样本点数保持不变，各个时间点的特征得到压缩，时域信息得以提取。脑磁时间特征提取器采用与脑电时间特征提取器相似的方法来提取脑磁时间特征。脑电时间特征和脑磁时间特征矩阵的形状完全一致，以便于后续时间注意力模块进一步提取特征。
54.脑电空间特征提取器同样采用双向lstm模型结构来挖掘脑电数据中蕴含的空间特征。将脑电数据各个通道的数据向量分别从前向后、从后向前依次输入正向和反向lstm模型中，正向和反向lstm模型分别处理各个通道的时间序列信息，通过线性映射层和激活层将各个通道脑电数据映射为g维的空间特征，并输出脑电空间特征。
55.将两个方向lstm模型输出的空间特征进行平均从而得到最终脑电空间特征。脑磁空间特征提取器采用与脑电空间特征提取器相似的方法提取脑磁空间特征。脑电空间特征和脑磁空间特征矩阵的形状完全一致，以便于后续空间注意力模块进一步提取特征。
56.基于上述实施例，所述时间跨模态注意力模块包括时间特征映射层和第一transformer模块，所述时间特征映射层用于对所述脑电时间注意力特征和所述脑磁时间注意力特征进行初步分布对齐，得到对齐脑电时间特征和对齐脑磁时间特征；所述第一transformer模块用于基于第一预设分类特征分别与所述对齐脑电时间特征和所述对齐脑磁时间特征各时间点的特征进行注意力计算，得到全局时间特征；所述空间跨模态注意力模块包括空间特征映射层和第二transformer模块，所述空间特征映射层用于对所述脑电空间注意力特征和所述脑磁空间注意力特征进行初步分布对齐，得到对齐脑电空间特征和对齐脑磁空间特征；所述第二transformer模块用于基于第二预设分类特征分别与所述对齐脑电空间特征和所述对齐脑磁空间特征各空间点的特征进行注意力计算，得到全局空间特征。
57.具体地，时间跨模态注意力模块可以包括时间特征映射层和第一transformer模块，此处的时间特征映射层用于对脑电时间注意力特征和脑磁时间注意力特征进行线性映射（初步分布对齐），得到对齐脑电时间特征和对齐脑磁时间特征。
58.即，输出的对齐脑电时间特征和对齐脑磁时间特征再进行拼接并送入第一transformer模块捕捉两个模态时间特征之间的依赖关系。
59.此处的第一transformer模块用于基于第一预设分类特征分别与对齐脑电时间特征和对齐脑磁时间特征各时间点的特征进行注意力计算，得到全局时间特征。此处的第一预设分类特征是结合脑电脑磁联合解码模型进行端到端训练得到的特征。
60.对于空间特征处理的多层注意力模块由空间注意力模块和空间跨模态注意力模块构成，空间注意力模块工作原理与时间注意力模块类似，只是网络参数有所不同。空间注
意力模块根据输入空间特征中各个位置之间的相似度来计算每个位置的权重，从而捕捉空间特征内部依赖关系。本发明实施例同样为脑电数据和脑磁数据分别搭建了空间注意力模块，其输出分别为和。空间跨模态注意力模块与时间跨模态注意力模块结构相似，为了适应空间特征输入，网络参数有所不同。
61.同样地，空间跨模态注意力模块可以包括空间特征映射层和第二transformer模块，空间特征映射层用于对脑电空间注意力特征和所述脑磁空间注意力特征进行初步分布对齐，得到对齐脑电空间特征和对齐脑磁空间特征。第二transformer模块用于基于第二预设分类特征分别与对齐脑电空间特征和对齐脑磁空间特征各空间点的特征进行注意力计算，得到全局空间特征。此处的第二预设分类特征是结合脑电脑磁联合解码模型进行端到端训练得到的特征。
62.基于上述实施例，步骤110，包括：步骤111，获取原始脑电数据和原始脑磁数据；步骤112，对所述原始脑电数据和所述原始脑磁数据分别进行去基线漂移处理，并对去基线漂移处理后的原始脑电数据和原始脑磁数据分别进行降采样，得到降采样脑电数据和降采样脑磁数据；步骤113，对所述降采样脑电数据和所述降采样脑磁数据分别进行滤波处理，得到滤波脑电数据和滤波脑磁数据；步骤114，对所述滤波脑电数据和所述滤波脑磁数据分别进行独立成分分析，得到所述脑电数据和所述脑磁数据。
63.具体地，在获取到原始脑电数据和原始脑磁数据之后，可以对原始脑电数据和原始脑磁数据分别进行去基线漂移处理，并对去基线漂移处理后的原始脑电数据和原始脑磁数据分别进行降采样，得到降采样脑电数据和降采样脑磁数据。此处的去基线漂移处理是指将一个特别低频的曲线叠加到了原始脑电/脑磁信号上，使得原始脑电/脑磁信号有缓慢的轻微的上下浮动的趋势的处理方式。
64.然后，可以对去基线漂移处理后的原始脑电数据和原始脑磁数据分别进行降采样，得到降采样脑电数据和降采样脑磁数据，即将去基线漂移处理后的脑电数据和脑磁数据分别降采样至 200hz以减少计算量。
65.再对降采样脑电数据和降采样脑磁数据分别进行滤波处理，得到滤波脑电数据和滤波脑磁数据，即对降采样后的数据进行1~40hz的带通滤波，以滤除高频和低频噪声。
66.最后，对滤波脑电数据和滤波脑磁数据分别进行独立成分分析（independent component analysis，ica分析），得到脑电数据和脑磁数据，以去除眼动和眨眼等眼电信号干扰。
67.本发明实施例提供的方法，对原始脑电数据和原始脑磁数据分别进行去基线漂移处理，并对去基线漂移处理后的原始脑电数据和原始脑磁数据分别进行降采样，得到降采样脑电数据和降采样脑磁数据，再对降采样脑电数据和降采样脑磁数据分别进行滤波处理，得到滤波脑电数据和滤波脑磁数据，最后，对滤波脑电数据和滤波脑磁数据分别进行独立成分分析，得到脑电数据和脑磁数据，从而减少了计算量，滤除了高频和低频噪声，去除了眼动和眨眼等眼电信号干扰，提高了脑电数据和脑磁数据的准确性，进而提高了后续运
动意图解码的准确性和可靠性。
68.基于上述实施例，所述脑电脑磁联合解码模型的训练步骤包括：步骤210，确定初始脑电脑磁联合解码模型，并获取样本脑电数据、样本脑磁数据和运动意图标签；步骤220，将所述样本脑电数据和所述样本脑磁数据输入至所述初始脑电脑磁联合解码模型中进行解码，得到所述初始脑电脑磁联合解码模型输出的运动意图预测结果；步骤230，基于所述运动意图预测结果与所述运动意图标签之间的差异，确定分类损失，并基于所述分类损失，对所述初始脑电脑磁联合解码模型进行参数迭代，得到所述脑电脑磁联合解码模型。
69.具体地，为了能够提高运动意图结果的准确性和可靠性，需要对脑电脑磁联合解码模型进行训练：可以预先收集样本脑电数据、样本脑磁数据以及运动意图标签，还可以预先构建初始脑电脑磁联合解码模型。
70.首先，可以将样本脑电数据和样本脑磁数据输入至初始脑电脑磁联合解码模型中进行解码，得到初始脑电脑磁联合解码模型输出的运动意图预测结果。
71.在基于初始脑电脑磁联合解码模型输出运动意图预测结果之后，即可将运动意图预测结果与预先收集的运动意图标签进行比较，根据此两者之间的差异计算得到分类损失，并基于分类损失对初始脑电脑磁联合解码模型进行参数迭代，将完成参数迭代之后的初始脑电脑磁联合解码模型记为脑电脑磁联合解码模型。
72.可以理解的是，运动意图预测结果与预先收集的运动意图标签之间的差异程度越大，分类损失越大；运动意图预测结果与预先收集的运动意图标签之间的差异程度越小，分类损失越小。
73.此处，可以使用交叉熵损失函数（cross entropy loss function），也可以使用均方误差损失函数（mean squared error，mse），还可以使用随机梯度下降法对初始脑电脑磁联合解码模型的参数进行更新，本发明实施例对此不作具体限定。
74.基于上述实施例，所述样本脑电数据和所述样本脑磁数据均是在运动想象实验范式对应的动作提示的基础上离线采集的，所述运动想象实验范式包括肩关节内收、肩关节外展、肘关节屈、肘关节伸、桡关节旋前、桡关节旋后、手指屈和手指伸。
75.具体地，可以由脑电信号采集设备采集被测人员在进行运动想象时的全脑样本脑电数据，同时可以由脑磁信号采集设备采集被测人员在进行运动想象时的全脑样本脑磁数据。
76.样本脑电数据和样本脑磁数据均是在运动想象实验范式对应的动作提示的基础上离线采集的，此处的运动想象实验范式包括肩关节 内收、肩关节外展、肘关节屈、肘关节伸、桡关节旋前、桡关节旋后、手指屈和手指伸八个精细运动想象任务，通过这八个精细运动想象可以控制机械臂实现三维空间可达，完成三维空间一个完整且多自由度的精细运动想象任务。
77.针对本发明实施例中涉及的八个精细运动想象任务，可以选取一名有规律运动习惯的健康大学生按照实验范式要求，姿态规范且标准地执行肩关节的内收、外展，肘关节的屈、伸，桡关节的旋前、旋后，手指的屈、伸共八个精细运动任务，每个运动以2s周期执行，以
第一人称视角拍摄不少于6s视频，以此构建运动想象的刺激序列。
78.实验总共包括10段实验，每段实验包括40个试次，其中，每个运动想象任务5个试次，运动想象任务提示呈现顺序随机。
79.可以理解的是，首先以第一人称视角拍摄肩、肘、桡和手指单个关节不同自由度的精细运动视频，以2s为周期，以此构建基于视频的运动想象实验范式，在实验时被试以第一视角观看三维动态动作提示。相比较于现有方法，基于视频作为运动想象任务提示的方式能够使得被试更容易想象到特定关节的特定自由度运动，有利于运动想象响应的诱发。
80.被试者根据基于三维动态视觉提示的实验范式，执行相应的精细运动想象任务，采集运动想象期间的脑电信号和脑磁信号。相比于传统脑电的精细运动想象任务，收集了多模态同步脑活动信号。
81.图4是本发明提供的单试次离线采集样本脑电数据和样本脑磁数据的流程示意图，如图4所示，首先在屏幕正中央出现一个白球，持续2秒，提示被试作好准备。白球消失后，随机出现三维动态动作诱导提示（即，视频刺激），持续6秒。被试根据提示以动觉型想象方式，而不是视觉型想象方式，执行相应的运动想象任务。休息阶段屏幕显示“休息”文字，休息阶段持续2秒。
82.对采集到的样本脑电数据和样本脑磁数据进行预处理，按照刺激呈现的标签对数据进行切分获得单试次脑电和脑磁数据。将视觉刺激序列中同一关节运动想象诱发的不同单试次样本脑电数据和样本脑磁数据分别组织为一个脑电样本和一个脑磁样本。
83.图5是本发明提供的脑机接口指令下达系统的结构示意图，如图5所示，结合提前训练好的预处理程序和脑电脑磁联合解码模型构成数据处理模块，结合脑电、脑磁采集模块和机械臂控制模块，建立了基于脑电信号和脑磁信号的运动想象脑机接口系统。
84.被试者根据自己的意图进行想象，同时采集脑电数据和脑磁数据，之后，同步的脑电数据和脑磁数据被输入到数据处理模块，经过预处理后，输入到训练好的脑电脑磁联合解码模型中，之后，将脑电脑磁联合解码模型预测的运动意图转化为指令控制机械臂装置。在控制机械臂的过程中，解码正确一次肩关节、肘关节和桡关节自由度旋转五度，根据运动想象解码正确的次数叠加旋转度数，手指的屈伸保持固定的状态，最终实现对多自由度机械臂的三维运动控制。
85.通过以上工作原理实现了从用户想象手臂运动到机械臂完成用户运动意图的转化，让用户可以独立自主完成一些基础的动作，该系统对康复具有重要意义。
86.下面对本发明提供的脑电和脑磁融合的脑机接口指令下达装置进行描述，下文描述的脑电和脑磁融合的脑机接口指令下达装置与上文描述的脑电和脑磁融合的脑机接口指令下达方法可相互对应参照。
87.基于上述实施例，本发明提供一种脑电和脑磁融合的脑机接口指令下达装置，图6是本发明提供的脑电和脑磁融合的脑机接口指令下达装置的结构示意图，如图6所示，该装置包括：获取单元610，用于获取脑电数据和脑磁数据；解码单元620，用于将所述脑电数据和所述脑磁数据输入至脑电脑磁联合解码模型中，得到所述脑电脑磁联合解码模型输出的运动意图结果；指令下达单元630，用于基于所述运动意图结果，进行指令下达；
所述脑电脑磁联合解码模型包括脑电时间注意力模块、脑磁时间注意力模块、脑电空间注意力模块、脑磁空间注意力模块、时间跨模态注意力模块、空间跨模态注意力模块和分类器；所述脑电时间注意力模块用于对所述脑电数据进行时间注意力提取，得到脑电时间注意力特征，所述脑磁时间注意力模块用于对所述脑磁数据进行时间注意力提取，得到脑磁时间注意力特征，所述脑电空间注意力模块用于对所述脑电数据进行空间注意力提取，得到脑电空间注意力特征，所述脑磁空间注意力模块用于对所述脑磁数据进行空间注意力提取，得到脑磁空间注意力特征，所述时间跨模态注意力模块用于对所述脑电时间注意力特征和所述脑磁时间注意力特征进行全局特征提取，得到全局时间特征，所述空间跨模态注意力模块用于对所述脑电空间注意力特征和所述脑磁空间注意力特征进行全局特征提取，得到全局空间特征；所述分类器用于基于所述全局时间特征和所述全局空间特征进行意图解码，得到所述运动意图结果。
88.本发明实施例提供的装置，将脑电数据和脑磁数据输入至脑电脑磁联合解码模型中，得到脑电脑磁联合解码模型输出的运动意图结果，再基于运动意图结果，进行指令下达，脑电脑磁联合解码模型包括脑电时间注意力模块、脑磁时间注意力模块、脑电空间注意力模块、脑磁空间注意力模块、时间跨模态注意力模块、空间跨模态注意力模块和分类器，由此，有效利用了脑电数据和脑磁数据中的互补信息，提高了精细运动意图解码的准确性和可靠性。
89.基于上述任一实施例，所述脑电脑磁联合解码模型还包括脑电时间特征提取器、脑磁时间特征提取器、脑电空间特征提取器和脑磁空间特征提取器；所述脑电时间特征提取器、所述脑磁时间特征提取器、所述脑电空间特征提取器和所述脑磁空间特征提取器均基于双向lstm模型构建。
90.基于上述任一实施例，所述时间跨模态注意力模块包括时间特征映射层和第一transformer模块，所述时间特征映射层用于对所述脑电时间注意力特征和所述脑磁时间注意力特征进行初步分布对齐，得到对齐脑电时间特征和对齐脑磁时间特征；所述第一transformer模块用于基于第一预设分类特征分别与所述对齐脑电时间特征和所述对齐脑磁时间特征各时间点的特征进行注意力计算，得到全局时间特征；所述空间跨模态注意力模块包括空间特征映射层和第二transformer模块，所述空间特征映射层用于对所述脑电空间注意力特征和所述脑磁空间注意力特征进行初步分布对齐，得到对齐脑电空间特征和对齐脑磁空间特征；所述第二transformer模块用于基于第二预设分类特征分别与所述对齐脑电空间特征和所述对齐脑磁空间特征各空间点的特征进行注意力计算，得到全局空间特征。
91.基于上述任一实施例，获取单元610，具体用于：获取原始脑电数据和原始脑磁数据；对所述原始脑电数据和所述原始脑磁数据分别进行去基线漂移处理，并对去基线漂移处理后的原始脑电数据和原始脑磁数据分别进行降采样，得到降采样脑电数据和降采样脑磁数据；对所述降采样脑电数据和所述降采样脑磁数据分别进行滤波处理，得到滤波脑电
数据和滤波脑磁数据；对所述滤波脑电数据和所述滤波脑磁数据分别进行独立成分分析，得到所述脑电数据和所述脑磁数据。
92.基于上述任一实施例，所述分类器包括顺次连接的第一全连接层、正则化层、第二全连接层和归一化层。
93.基于上述任一实施例，所述脑电脑磁联合解码模型的训练步骤包括：确定初始脑电脑磁联合解码模型，并获取样本脑电数据、样本脑磁数据和运动意图标签；将所述样本脑电数据和所述样本脑磁数据输入至所述初始脑电脑磁联合解码模型中进行解码，得到所述初始脑电脑磁联合解码模型输出的运动意图预测结果；基于所述运动意图预测结果与所述运动意图标签之间的差异，确定分类损失，并基于所述分类损失，对所述初始脑电脑磁联合解码模型进行参数迭代，得到所述脑电脑磁联合解码模型。
94.基于上述任一实施例，所述样本脑电数据和所述样本脑磁数据均是在运动想象实验范式对应的动作提示的基础上离线采集的，所述运动想象实验范式包括肩关节内收、肩关节外展、肘关节屈、肘关节伸、桡关节旋前、桡关节旋后、手指屈和手指伸。
95.图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器（processor）710、通信接口（communications interface）720、存储器（memory）730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行脑电和脑磁融合的脑机接口指令下达方法，该方法包括：获取脑电数据和脑磁数据；将所述脑电数据和所述脑磁数据输入至脑电脑磁联合解码模型中，得到所述脑电脑磁联合解码模型输出的运动意图结果；基于所述运动意图结果，进行指令下达；所述脑电脑磁联合解码模型包括脑电时间注意力模块、脑磁时间注意力模块、脑电空间注意力模块、脑磁空间注意力模块、时间跨模态注意力模块、空间跨模态注意力模块和分类器；所述脑电时间注意力模块用于对所述脑电数据进行时间注意力提取，得到脑电时间注意力特征，所述脑磁时间注意力模块用于对所述脑磁数据进行时间注意力提取，得到脑磁时间注意力特征，所述脑电空间注意力模块用于对所述脑电数据进行空间注意力提取，得到脑电空间注意力特征，所述脑磁空间注意力模块用于对所述脑磁数据进行空间注意力提取，得到脑磁空间注意力特征，所述时间跨模态注意力模块用于对所述脑电时间注意力特征和所述脑磁时间注意力特征进行全局特征提取，得到全局时间特征，所述空间跨模态注意力模块用于对所述脑电空间注意力特征和所述脑磁空间注意力特征进行全局特征提取，得到全局空间特征；所述分类器用于基于所述全局时间特征和所述全局空间特征进行意图解码，得到所述运动意图结果。
96.此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，
read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
97.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的脑电和脑磁融合的脑机接口指令下达方法，该方法包括：获取脑电数据和脑磁数据；将所述脑电数据和所述脑磁数据输入至脑电脑磁联合解码模型中，得到所述脑电脑磁联合解码模型输出的运动意图结果；基于所述运动意图结果，进行指令下达；所述脑电脑磁联合解码模型包括脑电时间注意力模块、脑磁时间注意力模块、脑电空间注意力模块、脑磁空间注意力模块、时间跨模态注意力模块、空间跨模态注意力模块和分类器；所述脑电时间注意力模块用于对所述脑电数据进行时间注意力提取，得到脑电时间注意力特征，所述脑磁时间注意力模块用于对所述脑磁数据进行时间注意力提取，得到脑磁时间注意力特征，所述脑电空间注意力模块用于对所述脑电数据进行空间注意力提取，得到脑电空间注意力特征，所述脑磁空间注意力模块用于对所述脑磁数据进行空间注意力提取，得到脑磁空间注意力特征，所述时间跨模态注意力模块用于对所述脑电时间注意力特征和所述脑磁时间注意力特征进行全局特征提取，得到全局时间特征，所述空间跨模态注意力模块用于对所述脑电空间注意力特征和所述脑磁空间注意力特征进行全局特征提取，得到全局空间特征；所述分类器用于基于所述全局时间特征和所述全局空间特征进行意图解码，得到所述运动意图结果。
98.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的脑电和脑磁融合的脑机接口指令下达方法，该方法包括：获取脑电数据和脑磁数据；将所述脑电数据和所述脑磁数据输入至脑电脑磁联合解码模型中，得到所述脑电脑磁联合解码模型输出的运动意图结果；基于所述运动意图结果，进行指令下达；所述脑电脑磁联合解码模型包括脑电时间注意力模块、脑磁时间注意力模块、脑电空间注意力模块、脑磁空间注意力模块、时间跨模态注意力模块、空间跨模态注意力模块和分类器；所述脑电时间注意力模块用于对所述脑电数据进行时间注意力提取，得到脑电时间注意力特征，所述脑磁时间注意力模块用于对所述脑磁数据进行时间注意力提取，得到脑磁时间注意力特征，所述脑电空间注意力模块用于对所述脑电数据进行空间注意力提取，得到脑电空间注意力特征，所述脑磁空间注意力模块用于对所述脑磁数据进行空间注意力提取，得到脑磁空间注意力特征，所述时间跨模态注意力模块用于对所述脑电时间注意力特征和所述脑磁时间注意力特征进行全局特征提取，得到全局时间特征，所述空间跨模态注意力模块用于对所述脑电空间注意力特征和所述脑磁空间注意力特征进行全局特征提取，得到全局空间特征；所述分类器用于基于所述全局时间特征和所述全局空间特征进行意图解码，得到所述运动意图结果。
99.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
100.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可
借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
101.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种脑电和脑磁融合的脑机接口指令下达方法，其特征在于，包括：获取脑电数据和脑磁数据；将所述脑电数据和所述脑磁数据输入至脑电脑磁联合解码模型中，得到所述脑电脑磁联合解码模型输出的运动意图结果；基于所述运动意图结果，进行指令下达；所述脑电脑磁联合解码模型包括脑电时间注意力模块、脑磁时间注意力模块、脑电空间注意力模块、脑磁空间注意力模块、时间跨模态注意力模块、空间跨模态注意力模块和分类器；所述脑电时间注意力模块用于对所述脑电数据进行时间注意力提取，得到脑电时间注意力特征，所述脑磁时间注意力模块用于对所述脑磁数据进行时间注意力提取，得到脑磁时间注意力特征，所述脑电空间注意力模块用于对所述脑电数据进行空间注意力提取，得到脑电空间注意力特征，所述脑磁空间注意力模块用于对所述脑磁数据进行空间注意力提取，得到脑磁空间注意力特征，所述时间跨模态注意力模块用于对所述脑电时间注意力特征和所述脑磁时间注意力特征进行全局特征提取，得到全局时间特征，所述空间跨模态注意力模块用于对所述脑电空间注意力特征和所述脑磁空间注意力特征进行全局特征提取，得到全局空间特征；所述分类器用于基于所述全局时间特征和所述全局空间特征进行意图解码，得到所述运动意图结果。2.根据权利要求1所述的脑电和脑磁融合的脑机接口指令下达方法，其特征在于，所述脑电脑磁联合解码模型还包括脑电时间特征提取器、脑磁时间特征提取器、脑电空间特征提取器和脑磁空间特征提取器；所述脑电时间特征提取器、所述脑磁时间特征提取器、所述脑电空间特征提取器和所述脑磁空间特征提取器均基于双向lstm模型构建。3.根据权利要求1所述的脑电和脑磁融合的脑机接口指令下达方法，其特征在于，所述时间跨模态注意力模块包括时间特征映射层和第一transformer模块，所述时间特征映射层用于对所述脑电时间注意力特征和所述脑磁时间注意力特征进行初步分布对齐，得到对齐脑电时间特征和对齐脑磁时间特征；所述第一transformer模块用于基于第一预设分类特征分别与所述对齐脑电时间特征和所述对齐脑磁时间特征各时间点的特征进行注意力计算，得到全局时间特征；所述空间跨模态注意力模块包括空间特征映射层和第二transformer模块，所述空间特征映射层用于对所述脑电空间注意力特征和所述脑磁空间注意力特征进行初步分布对齐，得到对齐脑电空间特征和对齐脑磁空间特征；所述第二transformer模块用于基于第二预设分类特征分别与所述对齐脑电空间特征和所述对齐脑磁空间特征各空间点的特征进行注意力计算，得到全局空间特征。4.根据权利要求1至3中任一项所述的脑电和脑磁融合的脑机接口指令下达方法，其特征在于，所述获取脑电数据和脑磁数据，包括：获取原始脑电数据和原始脑磁数据；对所述原始脑电数据和所述原始脑磁数据分别进行去基线漂移处理，并对去基线漂移处理后的原始脑电数据和原始脑磁数据分别进行降采样，得到降采样脑电数据和降采样脑
磁数据；对所述降采样脑电数据和所述降采样脑磁数据分别进行滤波处理，得到滤波脑电数据和滤波脑磁数据；对所述滤波脑电数据和所述滤波脑磁数据分别进行独立成分分析，得到所述脑电数据和所述脑磁数据。5.根据权利要求1至3中任一项所述的脑电和脑磁融合的脑机接口指令下达方法，其特征在于，所述分类器包括顺次连接的第一全连接层、正则化层、第二全连接层和归一化层。6.根据权利要求1或2所述的脑电和脑磁融合的脑机接口指令下达方法，其特征在于，所述脑电脑磁联合解码模型的训练步骤包括：确定初始脑电脑磁联合解码模型，并获取样本脑电数据、样本脑磁数据和运动意图标签；将所述样本脑电数据和所述样本脑磁数据输入至所述初始脑电脑磁联合解码模型中进行解码，得到所述初始脑电脑磁联合解码模型输出的运动意图预测结果；基于所述运动意图预测结果与所述运动意图标签之间的差异，确定分类损失，并基于所述分类损失，对所述初始脑电脑磁联合解码模型进行参数迭代，得到所述脑电脑磁联合解码模型。7.根据权利要求6所述的脑电和脑磁融合的脑机接口指令下达方法，其特征在于，所述样本脑电数据和所述样本脑磁数据均是在运动想象实验范式对应的动作提示的基础上离线采集的，所述运动想象实验范式包括肩关节内收、肩关节外展、肘关节屈、肘关节伸、桡关节旋前、桡关节旋后、手指屈和手指伸。8.一种脑电和脑磁融合的脑机接口指令下达装置，其特征在于，包括：获取单元，用于获取脑电数据和脑磁数据；解码单元，用于将所述脑电数据和所述脑磁数据输入至脑电脑磁联合解码模型中，得到所述脑电脑磁联合解码模型输出的运动意图结果；指令下达单元，用于基于所述运动意图结果，进行指令下达；所述脑电脑磁联合解码模型包括脑电时间注意力模块、脑磁时间注意力模块、脑电空间注意力模块、脑磁空间注意力模块、时间跨模态注意力模块、空间跨模态注意力模块和分类器；所述脑电时间注意力模块用于对所述脑电数据进行时间注意力提取，得到脑电时间注意力特征，所述脑磁时间注意力模块用于对所述脑磁数据进行时间注意力提取，得到脑磁时间注意力特征，所述脑电空间注意力模块用于对所述脑电数据进行空间注意力提取，得到脑电空间注意力特征，所述脑磁空间注意力模块用于对所述脑磁数据进行空间注意力提取，得到脑磁空间注意力特征，所述时间跨模态注意力模块用于对所述脑电时间注意力特征和所述脑磁时间注意力特征进行全局特征提取，得到全局时间特征，所述空间跨模态注意力模块用于对所述脑电空间注意力特征和所述脑磁空间注意力特征进行全局特征提取，得到全局空间特征；所述分类器用于基于所述全局时间特征和所述全局空间特征进行意图解码，得到所述运动意图结果。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运
行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述脑电和脑磁融合的脑机接口指令下达方法。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述脑电和脑磁融合的脑机接口指令下达方法。

技术总结
本发明涉及脑机接口技术领域，提供一种脑电和脑磁融合的脑机接口指令下达方法及装置，其中方法包括：获取脑电数据和脑磁数据；将脑电数据和脑磁数据输入至脑电脑磁联合解码模型中，得到运动意图结果；基于运动意图结果，进行指令下达；脑电脑磁联合解码模型包括脑电/脑磁时间注意力模块、脑电/脑磁空间注意力模块、时间/空间跨模态注意力模块和分类器；脑电/脑磁时间/空间注意力模块用于对脑电数据进行时间/空间注意力提取，得到脑电/脑磁时间/空间注意力特征，时间/空间跨模态注意力模块用于得到全局时间/空间特征，分类器用于基于全局时间特征和全局空间特征进行意图解码，得到运动意图结果，提高了精细运动想象分类的准确率。准确率。准确率。


技术研发人员：邱爽 江瑞 何晖光 张春成 张裕坤
受保护的技术使用者：中国科学院自动化研究所
技术研发日：2023.06.15
技术公布日：2023/7/20