一种多模态脑车交互方法、装置、设备及存储介质与流程

1.本发明涉及车辆设计技术领域，尤其涉及一种多模态脑车交互方法、装置、设备及存储介质。


背景技术：

2.脑机接口(brain computer interface，bci)是一种新型人机交互方式，它通过高级机器学习与模式识别算法对不同思维活动下的大脑的神经活动信号进行识别，并翻译成控制命令来直接控制外部设备，从而建立人脑与外部设备之间的直接通讯。脑机接口技术的研究正成为人工智能、自动驾驶的一个热点，受到越来越广泛的关注。
3.现有技术的脑机接口还未达到足够高的完善状态，在实际的使用过程中，可能会存在错误识别而执行了错误操作，而自动驾驶需要极高的安全性，如何将脑机接口合理的运用在自动驾驶领域则成了研究的重点问题。


技术实现要素：

4.本发明提供了一种多模态脑车交互方法、装置、设备及存储介质，以实现对驾驶员操作意图的准确识别。
5.根据本发明的一方面，提供了一种多模态脑车交互方法，该方法包括：
6.获取同一时刻采集的脑电信号和至少两个驾驶员状态信号；
7.通过各所述驾驶员状态信号对所述脑电信号进行修正，生成脑机操作指令；
8.基于所述脑机操作指令控制车辆运行。
9.可选的，所述驾驶员状态信号包括眼球状态信号和面部状态信号。
10.可选的，在基于所述脑机操作指令控制车辆运行之前，还包括：
11.根据所述脑机操作指令进行指令确认提醒操作；
12.若接收到驾驶员针对所述脑机操作指令反馈的终止指令，则取消所述脑机操作指令。
13.可选的，所述指令确认提醒操作包括显示提醒操作、声音提醒操作和震动提醒操作。
14.根据本发明的另一方面，提供了一种多模态脑车交互装置，该装置包括：
15.信号采集模块，用于获取同一时刻采集的脑电信号和至少两个驾驶员状态信号；
16.指令生成模块，用于通过各所述驾驶员状态信号对所述脑电信号进行修正，生成脑机操作指令；
17.指令执行模块，用于基于所述脑机操作指令控制车辆运行。
18.可选的，所述驾驶员状态信号包括眼球状态信号和面部状态信号。
19.可选的，所述装置还包括指令确认模块，用于：
20.在基于所述脑机操作指令控制车辆运行之前，根据所述脑机操作指令进行指令确认提醒操作；
21.若接收到驾驶员针对所述脑机操作指令反馈的终止指令，则取消所述脑机操作指令。
22.可选的，所述指令确认提醒操作包括显示提醒操作、声音提醒操作和震动提醒操作。
23.根据本发明的另一方面，提供了一种多模态脑车交互设备，所述设备包括：
24.脑电采集装置，用于采集驾驶员的脑电信号；
25.眼球追踪装置，用于采集驾驶员的眼球状态信号；
26.面部采集装置，用于采集驾驶员的面部状态信号；
27.至少一个处理器；以及
28.与所述至少一个处理器通信连接的存储器；其中，
29.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的多模态脑车交互方法。
30.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的多模态脑车交互方法。
31.本发明实施例的技术方案，通过获取同一时刻采集的脑电信号和至少两个驾驶员状态信号；通过各驾驶员状态信号对脑电信号进行修正，生成脑机操作指令；基于脑机操作指令控制车辆运行。本发明通过获取同一时刻驾驶员的多种状态信息，准确识别驾驶员的实际操作想法，避免错误识别和误操作，提高脑车交互的准确性。
32.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
33.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1是本发明实施例一提供的一种多模态脑车交互方法的流程图；
35.图2是本发明实施例二提供的一种多模态脑车交互装置的结构示意图；
36.图3是实现本发明实施例的多模态脑车交互方法的多模态脑车交互设备的结构示意图。
具体实施方式
37.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
38.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
39.实施例一
40.图1为本发明实施例一提供了一种多模态脑车交互方法的流程图，本实施例可适用于脑车交互的情况，该方法可以由多模态脑车交互装置来执行，该多模态脑车交互装置可以采用硬件和/或软件的形式实现，该多模态脑车交互装置可配置于车辆中。如图1所示，该方法包括：
41.s110、获取同一时刻采集的脑电信号和至少两个驾驶员状态信号。
42.在本实施例中，脑电信号可以由脑电采集装置采集得到。脑电采集装置可以是一个设置有多个电极贴片的头套，该头套可以被收置于驾驶室的座椅侧边，通过挂钩或者松紧绳固定，在使用的时候可以方便的取出，由驾驶员佩戴于头部，并保持电极贴片与驾驶员头皮的接触状态，电极贴片能够在使用过程中实时采集驾驶员的脑电波信号。
43.在一个实施例中，驾驶员状态信号可以包括眼球状态信号和面部状态信号。
44.在实际应用中，可以车内驾驶位的两侧前端以及方向盘握持部分的上方安装多个摄像头，分别实现对驾驶员眼球运动和面部表情的采集。用于采集眼球状态信号的摄像头可以对向驾驶位处驾驶员的眼睛位置，用于采集面部状态信号的摄像头可以对准驾驶位处驾驶员的整个面部。
45.s120、通过各驾驶员状态信号对脑电信号进行修正，生成脑机操作指令。
46.在本实施例中，可以将s110采集到的脑电信号和驾驶员状态信号进行数据分析，获取驾驶员所想要实现的操作意图，从而生成脑机操作指令。
47.在实际应用中，面部状态信号可以包括驾驶者眼皮张开度、面部绷紧度和嘴巴开合情况等信息，从而分析驾驶者是否为紧张或疲劳状态。
48.驾驶者眼皮张开度可以表示为：
[0049][0050]
式(1)中，ear可以表示眼睛的开合度，pi(i＝1,
…
,8)可以表示驾驶员两眼的采样点坐标，两眼相应坐标相减得到眼睛宽度。a、b可以分别代表两眼长度，利用两眼的长宽比来判断眼睛开合度。正常情况下，ear的值大致在0.23-0.36之间，处于睁开状态，在不适状况下，ear大致位于0.05-0.23之间，处于闭眼状态。
[0051]
嘴部开合度状态可以由嘴巴长宽比(mar)判断，即通过嘴部区域内的6个特征点坐标判断嘴巴状态。mar可以定义如下：
[0052][0053]
式(2)中，pi(i＝9,
…
,12)可以分别表示嘴部区域内的样本点，c可以表示嘴巴长
度。人在疲劳、说话、正常状态之间的嘴巴区分度较明显。驾驶员在正常驾驶状态时，mar一般在0-0.1之间，驾驶员在说话时，mar一般在0.1-0.4之间，驾驶员在打哈欠时，mar一般在从0附近开始上升至0.8附近又下降。因此，可以将0.1和0.4作为本实施例判定嘴巴处于正常状态、说话状态、不适状态的阈值。
[0054]
驾驶员的状态可以通过如下模糊推理表获得。
[0055]
表1模糊推理规则
[0056]
序号眼睛状态嘴巴状态面部绷紧度疲劳等级1睁开打哈欠紧绷轻度2睁开打哈欠舒缓中度3睁开说话紧绷不疲劳4睁开说话舒缓轻度5睁开闭合紧绷不疲劳6睁开闭合舒缓轻度7闭合打哈欠紧绷中度8闭合打哈欠舒缓重度9闭合说话紧绷中度10闭合说话舒缓中度11闭合闭合紧绷中度12闭合闭合舒缓重度
[0057]
本实施例脑控模块可以采用ssvep模式进行确认项bci的构建，并结合p300bci构建基于混合bci的控制操作选择系统。整个系统的工作流程可以为：首先刺激界面中的p300刺激界面运行，用p300bci从预选项中选择期望的控制操作，并反馈给用户；然后p300刺激界面停止工作，ssvep刺激界面运行，用户采用ssvepbci对所显示的结果进行判定，确认是否为期望控制操作。
[0058]
本实施例可以通过symtop生产的脑电信号放大器采集p300研究常用的fz、cz、pz、oz、p3、p4、p7和p8八个通道的脑电信号进行处理和分类。参考电位采用左右耳垂电位的平均值。脑电放大器的初始设置为：采样频率为1000hz，设定50hz的工频陷波处理以及0.5hz-30hz的带通滤波处理，头皮和脑电电极之间的阻抗限定为10kω以下。
[0059]
为了能够获得更有利于分类的脑电信息，可以对采集的脑电信号进行预处理：通过降采样的方式将脑电信号的频率降低为500hz，减少处理的数据量；通过带通滤波方式滤除0.5hz以下以及15hz以上的脑电信号，避免非p300信号的干扰。
[0060]
本实例选用通过pca分析之后最高的n个特征值作为新特征进行分类，并采用线性判别式(lda)的方法进行p300bci的分类识别，该分类器可以表示为：
[0061]
y＝w
t
x(3)
[0062]
其中，w可以是fisher判定式最大时，对应的w值。fisher判定式可以如下：
[0063][0064]
其中，sb可以表示类间离散度矩阵，sw可以表示类内离散度矩阵。
[0065]
经过上述过程判别后，系统显示用户的预期选项，并进入ssvepbci的确认刺激界
面，通过继续采集脑电信号，并通过lda判别式进行判断，公式为：
[0066]
y＝w
t
x+b(5)
[0067]
w的确定方法可以为fisher判定式，与p300bci中的分类方法相同。b的确定可以采用roc曲线法确定：首先，采用训练样本获得两类y＝w
t
x的值；然后设置不同的阈值th，通过分析确定最优击中率(truepositiverate或者hitrate)和虚警率(falsepositiverate)组合所对应的阈值为最终的阈值；最后认定b＝th。并通过最终判别用户脑电信号状态，生成脑机操作指令。
[0068]
s130、基于脑机操作指令控制车辆运行。
[0069]
在本实施例中，通过s110和s120，可以实现对驾驶员操作意图的识别，形成脑机操作指令，脑机操作指令可以由多模态脑车交互装置传输至车辆控制器，执行脑机操作指令控制车辆运行。
[0070]
在一个实施例中，s130之前，本实施例提供的多模态脑车交互方法还可以进行以下操作：根据脑机操作指令进行指令确认提醒操作；若接收到驾驶员针对脑机操作指令反馈的终止指令，则取消脑机操作指令。
[0071]
进一步的，指令确认提醒操作可以包括显示提醒操作、声音提醒操作和震动提醒操作。
[0072]
具体的，在脑机操作指令执行之前，可以由车辆的显示装置显示脑机操作指令，或由车辆的发声单元进行语音提示，或由震动单元进行震动提醒，提醒驾驶员车辆即将执行脑机操作指令，当脑机操作指令并非驾驶员的实际操作想法时，可通过触控模块发出取消的终止指令，避免错误的识别和操作被执行，提高车机交互的准确性。
[0073]
本发明实施例通过获取同一时刻采集的脑电信号和至少两个驾驶员状态信号；通过各驾驶员状态信号对脑电信号进行修正，生成脑机操作指令；基于脑机操作指令控制车辆运行。本发明通过获取同一时刻驾驶员的多种状态信息，准确识别驾驶员的实际操作想法，避免错误识别和误操作，提高脑车交互的准确性。
[0074]
实施例二
[0075]
图2为本发明实施例二提供了一种多模态脑车交互装置的结构示意图。如图2所示，该装置包括信号采集模块210、指令生成模块220和指令执行模块230。
[0076]
信号采集模块210，用于获取同一时刻采集的脑电信号和至少两个驾驶员状态信号。
[0077]
指令生成模块220，用于通过各所述驾驶员状态信号对所述脑电信号进行修正，生成脑机操作指令。
[0078]
指令执行模块230，用于基于所述脑机操作指令控制车辆运行。
[0079]
可选的，所述驾驶员状态信号包括眼球状态信号和面部状态信号。
[0080]
可选的，所述装置还包括指令确认模块，用于：
[0081]
在基于所述脑机操作指令控制车辆运行之前，根据所述脑机操作指令进行指令确认提醒操作；
[0082]
若接收到驾驶员针对所述脑机操作指令反馈的终止指令，则取消所述脑机操作指令。
[0083]
可选的，所述指令确认提醒操作包括显示提醒操作、声音提醒操作和震动提醒操
作。
[0084]
本发明实施例所提供的多模态脑车交互装置可执行本发明任意实施例所提供的多模态脑车交互方法，具备执行方法相应的功能模块和有益效果。
[0085]
实施例三
[0086]
图3是本发明实施例三提供的一种多模态脑车交互设备的结构示意图，如图3所示，该设备包括处理器310、存储器320、脑电采集装置330、眼球追踪装置340和面部采集装置350；设备中处理器310的数量可以是一个或多个，图3中以一个处理器310为例；设备中的处理器310、存储器320、脑电采集装置330、眼球追踪装置340和面部采集装置350可以通过总线或其他方式连接，图3中以通过总线连接为例。
[0087]
存储器320作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的多模态脑车交互方法对应的程序指令/模块(例如，多模态脑车交互装置中的信号采集模块210、指令生成模块220和指令执行模块230)。处理器310通过运行存储在存储器320中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的多模态脑车交互方法。
[0088]
存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器320可进一步包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0089]
脑电采集装置330，可以用于采集驾驶员的脑电信号；眼球追踪装置340，用于采集驾驶员的眼球状态信号；面部采集装置350，用于采集驾驶员的面部状态信号。
[0090]
实施例四
[0091]
本发明实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种多模态脑车交互方法，该方法包括：
[0092]
获取同一时刻采集的脑电信号和至少两个驾驶员状态信号；
[0093]
通过各所述驾驶员状态信号对所述脑电信号进行修正，生成脑机操作指令；
[0094]
基于所述脑机操作指令控制车辆运行。
[0095]
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的多模态脑车交互方法中的相关操作。
[0096]
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0097]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例
如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
[0098]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：
1.一种多模态脑车交互方法，其特征在于，包括：获取同一时刻采集的脑电信号和至少两个驾驶员状态信号；通过各所述驾驶员状态信号对所述脑电信号进行修正，生成脑机操作指令；基于所述脑机操作指令控制车辆运行。2.根据权利要求1所述的方法，其特征在于，所述驾驶员状态信号包括眼球状态信号和面部状态信号。3.根据权利要求1所述的方法，其特征在于，在基于所述脑机操作指令控制车辆运行之前，还包括：根据所述脑机操作指令进行指令确认提醒操作；若接收到驾驶员针对所述脑机操作指令反馈的终止指令，则取消所述脑机操作指令。4.根据权利要求3所述的方法，其特征在于，所述指令确认提醒操作包括显示提醒操作、声音提醒操作和震动提醒操作。5.一种多模态脑车交互装置，其特征在于，包括：信号采集模块，用于获取同一时刻采集的脑电信号和至少两个驾驶员状态信号；指令生成模块，用于通过各所述驾驶员状态信号对所述脑电信号进行修正，生成脑机操作指令；指令执行模块，用于基于所述脑机操作指令控制车辆运行。6.根据权利要求5所述的装置，其特征在于，所述驾驶员状态信号包括眼球状态信号和面部状态信号。7.根据权利要求5所述的装置，其特征在于，所述装置还包括指令确认模块，用于：在基于所述脑机操作指令控制车辆运行之前，根据所述脑机操作指令进行指令确认提醒操作；若接收到驾驶员针对所述脑机操作指令反馈的终止指令，则取消所述脑机操作指令。8.根据权利要求7所述的装置，其特征在于，所述指令确认提醒操作包括显示提醒操作、声音提醒操作和震动提醒操作。9.一种多模态脑车交互设备，其特征在于，所述设备包括：脑电采集装置，用于采集驾驶员的脑电信号；眼球追踪装置，用于采集驾驶员的眼球状态信号；面部采集装置，用于采集驾驶员的面部状态信号；至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的多模态脑车交互方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-4中任一项所述的多模态脑车交互方法。

技术总结
本发明公开了一种多模态脑车交互方法、装置、设备及存储介质。该方法包括：获取同一时刻采集的脑电信号和至少两个驾驶员状态信号；通过各所述驾驶员状态信号对所述脑电信号进行修正，生成脑机操作指令；基于所述脑机操作指令控制车辆运行。本发明通过获取同一时刻驾驶员的多种状态信息，准确识别驾驶员的实际操作想法，避免错误识别和误操作，提高脑车交互的准确性。准确性。准确性。


技术研发人员：魏源伯 王祎男 刘汉旭 王迪 杨纯宇 赵永新
受保护的技术使用者：中国第一汽车股份有限公司
技术研发日：2023.06.20
技术公布日：2023/9/20