一种基于远程生理体征提取的驾驶员状态监测方法及系统与流程

1.本发明涉及车辆行车安全及驾驶员状态监测领域，尤其涉及一种基于远程生理体征提取的驾驶员状态监测方法及系统。


背景技术：

2.在当前交通安全管理中，驾驶员行车状态是一个关键监测对象，驾驶员驾驶过程中的不良状态容易导致交通事故的发生，随着车辆自动化水平的提高以及人们对安全驾驶的要求不断增加，对于驾驶员状态监测系统的开发进度也在不断前进。
3.传统基于视觉的驾驶员状态监测方法大多数局限于浅层次的简单面部特征提取，而驾驶员执行驾驶任务时产生的分心、疲劳、路怒等不良状态是心理和生理因素联合表征的结果，因此传统的驾驶员状态监测方法和系统存在极大的不可靠性；相对于浅层特征，生理体征信号更难以被人为控制或伪装，因此可以更准确地反映驾驶员真实的驾驶状态，但现有的基于生理监测的驾驶员状态监测方法和系统研究中，大多具有设备复杂难用、不具备实时性的特点，同时需要在驾驶员身上安装监测设备，对驾驶员的驾驶效率和行车的安全性造成极大影响，进而难以通过监测驾驶员行车状态来判断驾驶风险程度。


技术实现要素：

4.本发明提供了一种基于远程生理体征提取的驾驶员状态监测方法及系统，用以解决传统基于视觉的驾驶员状态监测方法和系统大多数局限于浅层次的简单面部特征提取，且现有基于生理监测的驾驶员状态监测方法和系统研究不够便捷和完善的技术问题。
5.为实现上述目的，本发明提供了一种基于远程生理体征提取的驾驶员状态监测方法，用于驾驶员感知装置、远程生理体征提取装置和驾驶员状态警示装置互相协作的系统中，包括以下步骤：
6.s1、训练驾驶员rppg信号提取模型：设计基于transformer架构的包含快速径和慢速径的双径神经网络，通过对驾驶员进行数据采集和模型训练得到驾驶员rppg信号提取模型。
7.s2、采集和预处理驾驶员数据：通过驾驶员感知装置采集驾驶员的面部图像序列信息，并对面部图像序列信息进行预处理，将预处理得到的局部信息和全局信息发送至远程生理体征提取装置。
8.s3、提取驾驶员生理特征参数：远程生理体征提取装置将局部信息特征作为快速径输入，全局信息特征作为慢速径输入，输入驾驶员rppg信号提取模型，得到驾驶员rppg信号，远程生理体征提取装置对驾驶员rppg信号进行去噪、变换处理得到驾驶员生理特征参数后，将驾驶员生理特征参数发送至驾驶员状态警示装置。
9.s4、判定驾驶风险程度：驾驶员状态警示装置根据接收到的驾驶员生理特征参数，计算驾驶员的实时驾驶状态，根据实时驾驶状态判定驾驶风险程度。
10.优选的，在s1中，包括以下步骤：
11.s11、采集驾驶员数据：通过模拟以及实车试验，采集驾驶员在驾驶状态下的面部图像序列和同步对应的生理信号。
12.s12、进行数据预处理：对采集到的驾驶员数据进行预处理，通过面部特征点获取人脸的皮肤区域，作为局部信息特征输入；通过人脸检测器获取人脸图像框并扩大两倍作为采样框，作为全局信息特征输入。
13.s13、设计包含快速径和慢速径的transformer网络架构：设计包含快速径和慢速径的transformer网络架构，网络主体结构为多个transformer块堆叠；快速径输入信息为人脸皮肤区域的局部信息，输入帧率与原始采样率保持一致，特征图尺寸为慢速径输入信息为以人脸检测框中心为中心点，人脸检测框尺寸2倍的全局信息，并采样到局部特征图的2倍大小，输入帧率为原始采样率的1/4，特征图尺寸为其中快速径和慢速径均从空间维度和时间维度计算注意力；通过将快速径和慢速径的输出拼接后，添加一个多层感知机层，输出驾驶员的估计生理信号。
14.s14、将预处理后的数据分为训练集和验证集，在训练集上对模型输出的信号与采集的真实生理信号计算损失函数，并进行反向传播不断更新模型参数，训练到损失函数不再降低为止，选择验证集上皮尔森相关系数最大的作为最后的模型参数。
15.优选的，在s13中慢速径计算时，前l
space
层transformer从空间维度进行注意力机制计算：
16.将全局信息划分为不重叠的块，每个块的维度为p∈{1,
…
,n}和t∈{1,
…
,f}分别是块和帧的索引，所有块被展平为向量，并线性投影到式(11)的嵌入向量：
[0017][0018]
嵌入向量与输入向量之间通过可学习的位置嵌入向量和矩阵e联系起来；在每一帧的第一个块前加上一个可学习的分类token这个分类token会被用来编码每一帧的信息，用于后续计算时间维度的注意力。
[0019]
在第l层transformer(l∈{1,
…
,l
space
})和第a头自注意力(a∈{1,
…
,a})下，每个块被表示为查询q、键k和值v向量，前一层transformer产生的表示作为输入，layernorm表示层归一化，w表示权重矩阵，每个注意力头的维度为dh＝d/a，q、k、v向量分别用公式表示为：
[0020][0021][0022][0023]
第t帧的第p个块的空间自注意力权重用公式表示为：
[0024]
[0025]
自注意力权重被用作每个注意力头值的加权和的系数，得到多头自注意力的输出：
[0026][0027]
将来自注意力机制的输出拼接，并通过多层感知器，多头自注意力层和多层感知机层通过添加跳跃连接作为残差运算符操作：
[0028][0029][0030]
优选的，在通过所有空间transformer后，每帧的分类token产生一个嵌入向量f
t
，用来后续进行时间注意力计算，嵌入向量f
t
：
[0031][0032]
为了捕捉整个时间序列的特征信息，需要添加应用时间维度上的注意力，将f
t
拼接后得到作为输入序列，输入序列被映射成查询、键、值向量并进行注意力计算：
[0033][0034]
之后得到多头自注意力的输出，并应用与空间transformer一致的计算方法，将自注意力的输出进行拼接，同样通过多层感知机，多头自注意力层和多层感知机层通过添加跳跃连接作为残差运算符操作。
[0035]
经过所有时间transformer层后，每帧产生一个嵌入向量y
t
，并进行层标准化：
[0036][0037]
优选的，在s13中，快速径的计算方式与慢速径一致；将快速径与慢速径的输出进行拼接后，添加一个多层感知机层，输出驾驶员的估计生理信号：
[0038]
rppg＝mlp(f
t
)
t＝1,
…
,f
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(112)
[0039]
其中，f
t
是快速径与慢速径每帧进行拼接后的向量。
[0040]
优选的，在s4计算驾驶员的实时驾驶状态时，建立了用于将驾驶员的不同生理特征参数映射到驾驶员的不同驾驶状态的分类模型，再根据分类模型得到驾驶员的实时状态。
[0041]
优选的，在s4中，判定完驾驶风险程度后，可以通过驾驶员状态警示装置向驾驶员和网络云端发送相应的警示信息。
[0042]
本发明还提供了一种基于远程生理体征提取的驾驶员状态监测系统，用于本发明的基于远程生理体征提取的驾驶员状态监测方法，包括：驾驶员感知装置、远程生理体征提取装置和驾驶员状态警示装置。
[0043]
驾驶员感知装置用于采集和预处理驾驶员的面部序列信息，并将预处理后得到的
局部信息和全局信息发送至远程生理体征提取装置。
[0044]
远程生理体征提取装置用于接收局部信息和全局信息，并将局部信息和全局信息输入驾驶员rppg信号提取模型得到驾驶员的rppg信息，在对驾驶员rppg信号进行去噪、变换处理得到驾驶员生理特征参数后，将驾驶员生理特征参数发送至驾驶员状态警示装置。
[0045]
驾驶员状态警示装置用于接收驾驶员生理特征参数，根据驾驶员生理特征参数计算驾驶员的驾驶状态并对驾驶风险程度进行判定，在驾驶风险程度较高和极高时，对驾驶员和网络云端发出相应警示信息。
[0046]
优选的，驾驶员感知装置包括驾驶员感知模块和信息处理模块，驾驶员感知模块包括一个及以上安装于不遮挡视线的驾驶员正前方的，用于采集驾驶员的面部图像序列信息的高清网络摄像头；信息处理模块包括用于处理面部图像序列的一个及以上高性能计算设备。
[0047]
远程生理体征提取装置包括用于接收来自驾驶员感知装置的特征信息、将特征信息输入驾驶员rppg信号提取模型得到驾驶员rppg信息和对驾驶员rppg信号进行去噪、变换处理得到驾驶员生理特征参数的一个及以上高性能计算设备。
[0048]
优选的，驾驶员状态警示装置包括驾驶状态判别模块和驾驶员状态警示模块。
[0049]
驾驶状态判别模块包括用于接收来自远程生理体征提取装置的驾驶员生理体征、计算驾驶员的实时驾驶状态并判定驾驶风险程度和联动网络云端的一个及以上高性能计算设备。
[0050]
驾驶员状态警示模块包括用于向驾驶员发送警示信息的氛围灯、扬声器和振动器。
[0051]
本发明具有以下有益效果：
[0052]
本发明的基于远程生理体征提取的驾驶员状态监测方法，通过设计基于transformer架构的包含快速径和慢速径的双径神经网络，使本方法训练得到的模型可以更有效地处理不同时间尺度和空间尺度下的信息，更好地捕捉视频中的细节信息和动作信息；其中快速径可以更好地提取时间特征以及皮肤区域蕴含的rppg信息，慢速径通过较低帧率和更大范围的感受可以更好地关注背景噪声、头部运动、面部动作单元等空间信息并消除空间变化带来的影响；即通过聚合全局特征以及局部特征并学习其中有效的特征表示，关注局部区域的时间特征并消除全局信息中的背景噪声变化，从而更精确地反映驾驶员的真实驾驶状态；相比于传统的驾驶员状态监测方法，本发明的方法不需要预先设定手工特征，而是可以直接从原始信号中学习到有效的特征表示，使得本发明的方法具有简单易用的特点；特别地，由于transformer架构具备出色的序列建模能力，可以进一步提高信号提取任务的精确性。
[0053]
本发明还提供了一种基于远程生理体征提取的驾驶员状态监测系统，用于本发明的基于远程生理体征提取的驾驶员状态监测方法，除了与本发明的方法具备一样的有益效果外，由于使用高清摄像头采集驾驶员的信息，避免了侵入式传感器对驾驶员操作的影响，且具备远程生理体征提取功能，使得本发明的系统具有非接触式、简便易用、实时监测的特点。
[0054]
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。
附图说明
[0055]
构成本技术的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0056]
图1是本发明优选实施例1的方法流程示意图。
[0057]
图2是本发明优选实施例1的基于双径transformer的驾驶员rppg信号提取模型训练流程图。
[0058]
图3是本发明优选实施例1的基于transformer架构的双径网络结构图。
[0059]
图4是本发明优选实施例1的以慢速径为视角的双径transformer网络架构图。
[0060]
图5是本发明优选实施例1的基于rppg信号的驾驶员驾驶状态识别流程图。
[0061]
图6是本发明优选实施例2的系统示意图。
[0062]
图中标识为：
[0063]
1、驾驶员感知装置；2、远程生理体征提取装置；3、驾驶员状态警示装置；4、驾驶员感知模块；5、信息处理模块；6、驾驶状态判别模块；7、驾驶员状态警示模块。
具体实施方式
[0064]
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
[0065]
本发明的基于远程生理体征提取的驾驶员状态监测方法，其原理是检测心脏收缩和舒张的血流量变化引起的面部皮肤区域的微小颜色变化，通过对时序数据进行处理获得驾驶员的rppg(remote photoplethysmography,远程光电容积脉搏波)信号，进而得到心率、呼吸率等生理指标并映射到驾驶员的不同驾驶状态。
[0066]
实施例1：
[0067]
参见图1，本发明优选实施例中，提供了一种基于远程生理体征提取的驾驶员状态监测方法，用于驾驶员感知装置1、远程生理体征提取装置2和驾驶员状态警示装置3互相协作的系统中，包括以下步骤：
[0068]
s1、训练驾驶员rppg信号提取模型：设计基于transformer架构的包含快速径和慢速径的双径神经网络，通过对驾驶员进行数据采集和模型训练得到驾驶员rppg信号提取模型。
[0069]
本发明优选实施例中，通过快速径以及慢速径的结合，同时通过空间注意力与时间注意力的分离计算，关注局部区域丰富的rppg信息以及消除背景噪声变化带来的干扰，通过数据采集以及模型训练得到驾驶员rppg信号提取模型。
[0070]
参见图2，在s1中，包括以下步骤：
[0071]
s11、采集驾驶员数据：通过模拟以及实车数据，采集驾驶员在驾驶状态下的面部图像序列和同步对应的生理信号。
[0072]
s12、进行数据预处理：对采集到的驾驶员数据进行预处理，通过面部特征点获取人脸的皮肤区域，作为局部信息特征输入；通过人脸检测器获取人脸图像框并扩大两倍作为采样框，作为全局信息特征输入。
[0073]
s13、设计包含快速径和慢速径的transformer网络架构：设计包含快速径和慢速径的transformer网络架构，网络主体结构为多个transformer块堆叠；快速径输入信息为
人脸皮肤区域的局部信息，输入帧率与原始采样率保持一致，特征图尺寸为慢速径输入信息为以人脸检测框中心为中心点，人脸检测框尺寸2倍的全局信息，并采样到局部特征图的2倍大小，输入帧率为原始采样率的1/4，特征图尺寸为其中快速径和慢速径均从空间维度和时间维度计算注意力；通过将快速径和慢速径的输出拼接后，添加一个多层感知机层，输出驾驶员的估计生理信号。
[0074]
本发明优选实施例中，由于同时在空间维度和时间维度进行注意力计算会消耗大量的计算资源，因此需要将注意力计算在空间维度和时间维度上进行分解。
[0075]
参见图3至图4，在s13中慢速径计算时，前l
space
层transformer从空间维度进行注意力机制计算：
[0076]
将全局信息划分为不重叠的块，每个块的维度为和t∈{1,
…
,f}分别是块和帧的索引，所有块被展平为向量，并线性投影到式(11)的嵌入向量：
[0077][0078]
嵌入向量与输入向量之间通过可学习的位置嵌入向量和矩阵e联系起来；在每一帧的第一个块前加上一个可学习的分类token这个分类token会被用来编码每一帧的信息，用于后续计算时间维度的注意力。
[0079]
在第l层transformer(l∈{1,
…
,l
space
})和第a头自注意力(a∈{1,
…
,a})下，每个块被表示为查询(q)、键(k)和值(v)向量，前一层transformer产生的表示作为输入，layernorm表示层归一化，w表示权重矩阵，每个注意力头的维度为dh＝d/a，q、k、v向量分别用公式表示为：
[0080][0081][0082][0083]
第t帧的第p个块的空间自注意力权重用公式表示为：
[0084][0085]
自注意力权重被用作每个注意力头值的加权和的系数，得到多头自注意力的输出：
[0086][0087]
将来自注意力机制的输出拼接，并通过多层感知器，多头自注意力层和多层感知机层通过添加跳跃连接作为残差运算符操作：
[0088][0089][0090]
在通过所有空间transformer后，每帧的分类token产生一个嵌入向量f
t
，用来后续进行时间注意力计算，嵌入向量f
t
：
[0091][0092]
为了捕捉整个时间序列的特征信息，需要添加应用时间维度上的注意力，将f
t
拼接后得到作为输入序列，输入序列被映射成查询、键、值向量并进行注意力计算：
[0093][0094]
之后得到多头自注意力的输出，并应用与空间transformer一致的计算方法，将自注意力的输出进行拼接，同样通过多层感知机，多头自注意力层和多层感知机层通过添加跳跃连接作为残差运算符操作。
[0095]
经过所有时间transformer层后，每帧产生一个嵌入向量y
t
，并进行层标准化：
[0096][0097]
在s13中，快速径的计算方式与慢速径一致；将快速径与慢速径的输出进行拼接后，添加一个多层感知机层，输出驾驶员的估计生理信号：
[0098]
rppg＝mlp(f
t
)
t＝1,
…
,f
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(112)
[0099]
其中，f
t
是快速径与慢速径每帧进行拼接后的向量。
[0100]
本发明优选实施例中，将空间维度和时间维度的注意力计算进行了合理分解，使得本发明的方法能够合理的运用计算资源，不会造成计算过载的情况，保证了计算的稳定性。
[0101]
s14、将预处理后的数据分为训练集和验证集，在训练集上对模型输出的信号与采集的真实生理信号计算损失函数，并进行反向传播不断更新模型参数，训练到损失函数不再降低为止，选择验证集上皮尔森相关系数最大的作为最后的模型参数。
[0102]
参见图5，在s2和s3中：
[0103]
s2、采集和预处理驾驶员数据：通过驾驶员感知装置1采集驾驶员的面部图像序列信息，并对面部图像序列信息进行预处理，将预处理得到的局部信息和全局信息发送至远程生理体征提取装置2。
[0104]
s3、提取驾驶员生理特征参数：远程生理体征提取装置2将局部信息特征作为快速径输入，全局信息特征作为慢速径输入，输入驾驶员rppg信号提取模型，得到驾驶员rppg信号，远程生理体征提取装置2对驾驶员rppg信号进行去噪、变换(峰值检测或快速傅里叶变换)处理得到驾驶员生理特征参数后，将驾驶员生理特征参数发送至驾驶员状态警示装置3。
[0105]
本发明优选实施例中，驾驶员生理特征参数包括心率、心率变异性、呼吸率等。
[0106]
s4、判定驾驶风险程度：驾驶员状态警示装置3根据接收到的驾驶员生理特征参数，计算驾驶员的实时驾驶状态，根据实时驾驶状态判定驾驶风险程度。
[0107]
在s4计算驾驶员的实时驾驶状态时，建立了用于将驾驶员的不同生理特征参数映射到驾驶员的不同驾驶状态的分类模型，再根据分类模型得到驾驶员的实时状态。
[0108]
本发明优选实施例中，通过建立分类模型，使得不同生理特征能够映射到驾驶员的不同驾驶状态，在分析驾驶员的实时状态时能够更为准确。
[0109]
在s4中，判定完驾驶风险程度后，可以通过驾驶员状态警示装置3向驾驶员和网络云端发送相应的警示信息。
[0110]
本发明优选实施例中，通过网络云端发送相关警示信息可以与其他车辆、交通管理部门、医院等进行数据交互。
[0111]
本发明优选实施例中，通过网络云端发送相关警示信息与其他车辆、交通管理部门、医院等进行数据交互时，能够进一步地加强交通安全和驾驶员的人身安全。
[0112]
本发明优选实施例的基于远程生理体征提取的驾驶员状态监测方法，通过设计基于transformer架构的包含快速径和慢速径的双径神经网络，使本方法训练得到的模型可以更有效地处理不同时间尺度和空间尺度下的信息，更好地捕捉视频中的细节信息和动作信息；其中快速径可以更好地提取时间特征以及皮肤区域蕴含的rppg信息，慢速径通过较低帧率和更大范围的感受可以更好地关注背景噪声、头部运动、面部动作单元等空间信息并消除空间变化带来的影响；即通过聚合全局特征以及局部特征并学习其中有效的特征表示，关注局部区域的时间特征并消除全局信息中的背景噪声变化，从而更精确地反映驾驶员的真实驾驶状态；相比于传统的驾驶员状态监测方法，本发明的方法不需要预先设定手工特征，而是可以直接从原始信号中学习到有效的特征表示，使得本发明的方法具有简单易用的特点；特别地，由于transformer架构具备出色的序列建模能力，可以进一步提高信号提取任务的精确性。
[0113]
实施例2：
[0114]
参见图6，本发明优选实施例提供了一种基于远程生理体征提取的驾驶员状态监测系统，用于本发明的基于远程生理体征提取的驾驶员状态监测方法，包括：驾驶员感知装置1、远程生理体征提取装置2和驾驶员状态警示装置3。
[0115]
驾驶员感知装置1用于采集和预处理驾驶员的面部序列信息，并将预处理后得到的局部信息和全局信息发送至远程生理体征提取装置2。
[0116]
驾驶员感知装置1包括驾驶员感知模块4和信息处理模块5，驾驶员感知模块4包括一个及以上安装于不遮挡视线的驾驶员正前方的，用于采集驾驶员的面部图像序列信息的高清网络摄像头；信息处理模块5包括用于处理面部图像序列的一个及以上高性能计算设备。
[0117]
远程生理体征提取装置2用于接收局部信息和全局信息，并将局部信息和全局信息输入驾驶员rppg信号提取模型得到驾驶员的rppg信息，在对驾驶员rppg信号进行去噪、变换处理得到驾驶员生理特征参数后，将驾驶员生理特征参数发送至驾驶员状态警示装置3。
[0118]
远程生理体征提取装置2包括用于接收来自驾驶员感知装置1的特征信息、将特征信息输入驾驶员rppg信号提取模型得到驾驶员rppg信息和对驾驶员rppg信号进行去噪、变
换处理得到驾驶员生理特征参数的一个及以上高性能计算设备。
[0119]
驾驶员状态警示装置3用于接收驾驶员生理特征参数，根据驾驶员生理特征参数计算驾驶员的驾驶状态并对驾驶风险程度进行判定，在驾驶风险程度较高和极高时，对驾驶员网络云端发出相应警示信息。
[0120]
驾驶员状态警示装置3包括驾驶状态判别模块6和驾驶员状态警示模块7。
[0121]
驾驶状态判别模块6包括用于接收来自远程生理体征提取装置2的驾驶员生理体征、计算驾驶员的实时驾驶状态并判定驾驶风险程度和联动网络云端的一个及以上高性能计算设备。
[0122]
驾驶员状态警示模块7包括用于向驾驶员发送警示信息的氛围灯、扬声器和振动器。
[0123]
本发明优选实施例中，由于可以联动云端，进而联动其他车辆、交通部门和医院等，使得本发明实施例的系统能够进一步地加强交通安全和驾驶员的人身安全。
[0124]
本发明优选实施的基于远程生理体征提取的驾驶员状态监测系统，用于本发明的基于远程生理体征提取的驾驶员状态监测方法，除了与本发明的方法具备一样的有益效果外，由于使用高清摄像头采集驾驶员的信息，避免了侵入式传感器对驾驶员操作的影响，且具备远程生理体征提取功能，使得本发明的系统具有非接触式、简便易用、实时监测的特点。
[0125]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于远程生理体征提取的驾驶员状态监测方法，用于驾驶员感知装置(1)、远程生理体征提取装置(2)和驾驶员状态警示装置(3)互相协作的系统中，其特征在于，包括以下步骤：s1、训练驾驶员rppg信号提取模型：设计基于transformer架构的包含快速径和慢速径的双径神经网络，通过对驾驶员进行数据采集和模型训练得到驾驶员rppg信号提取模型；s2、采集和预处理驾驶员数据：通过驾驶员感知装置(1)采集驾驶员的面部图像序列信息，并对所述面部图像序列信息进行预处理，将预处理得到的局部信息和全局信息发送至远程生理体征提取装置(2)；s3、提取驾驶员生理特征参数：远程生理体征提取装置(2)将所述局部信息特征作为快速径输入，全局信息特征作为慢速径输入，输入所述驾驶员rppg信号提取模型，得到驾驶员rppg信号，远程生理体征提取装置(2)对所述驾驶员rppg信号进行去噪、变换处理得到驾驶员生理特征参数后，将所述驾驶员生理特征参数发送至驾驶员状态警示装置(3)；s4、判定驾驶风险程度：驾驶员状态警示装置(3)根据接收到的驾驶员生理特征参数，计算驾驶员的实时驾驶状态，根据所述实时驾驶状态判定驾驶风险程度。2.根据权利要求1所述的基于远程生理体征提取的驾驶员状态监测方法，其特征在于，在s1中，包括以下步骤：s11、采集驾驶员数据：通过模拟以及实车试验，采集驾驶员在驾驶状态下的面部图像序列和同步对应的生理信号；s12、进行数据预处理：对采集到的驾驶员数据进行预处理，通过面部特征点获取人脸的皮肤区域，作为局部信息特征输入；通过人脸检测器获取人脸图像框并扩大两倍作为采样框，作为全局信息特征输入；s13、设计包含快速径和慢速径的transformer网络架构：设计包含快速径和慢速径的transformer网络架构，网络主体结构为多个transformer块堆叠；快速径输入信息为人脸皮肤区域的局部信息，输入帧率与原始采样率保持一致，特征图尺寸为慢速径输入信息为以人脸检测框中心为中心点，人脸检测框尺寸2倍的全局信息，并采样到局部特征图的2倍大小，输入帧率为原始采样率的1/4，特征图尺寸为其中快速径和慢速径均从空间维度和时间维度计算注意力；通过将快速径和慢速径的输出拼接后，添加一个多层感知机层，输出驾驶员的估计生理信号；s14、将预处理后的数据分为训练集和验证集，在训练集上对模型输出的信号与采集的真实生理信号计算损失函数，并进行反向传播不断更新模型参数，训练到损失函数不再降低为止，选择验证集上皮尔森相关系数最大的作为最后的模型参数。3.根据权利要求2所述的基于远程生理体征提取的驾驶员状态监测方法，其特征在于，在s13中慢速径计算时，前l
sapace
层transformer从空间维度进行注意力机制计算：将全局信息划分为不重叠的块，每个块的维度为p∈{1,
…
,n}和t∈{1,
…
,f}分别是块和帧的索引，所有块被展平为向量，并线性投影到式(11)的嵌入向量：嵌入向量与输入向量之间通过可学习的位置嵌入向量和矩阵e联系起
来；在每一帧的第一个块前加上一个可学习的分类token这个分类token会被用来编码每一帧的信息，用于后续计算时间维度的注意力；在第l层transformer(l∈{1,
…
,l
space
})和第a头自注意力(a∈{1,
…
,a})下，每个块被表示为查询q、键k和值v向量，前一层transformer产生的表示作为输入，layernorm表示层归一化，w表示权重矩阵，每个注意力头的维度为d
h
＝d/a，q、k、v向量分别用公式表示为：为：为：第t帧的第p个块的空间自注意力权重用公式表示为：自注意力权重被用作每个注意力头值的加权和的系数，得到多头自注意力的输出：将来自注意力机制的输出拼接，并通过多层感知器，多头自注意力层和多层感知机层通过添加跳跃连接作为残差运算符操作：通过添加跳跃连接作为残差运算符操作：4.根据权利要求3所述的基于远程生理体征提取的驾驶员状态监测方法，其特征在于，在通过所有空间transformer后，每帧的分类token产生一个嵌入向量f
t
，用来后续进行时间注意力计算，嵌入向量f
t
：为了捕捉整个时间序列的特征信息，需要添加应用时间维度上的注意力，将f
t
拼接后得到作为输入序列，输入序列被映射成查询、键、值向量并进行注意力计算：之后得到多头自注意力的输出，并应用与空间transformer一致的计算方法，将自注意力的输出进行拼接，同样通过多层感知机，多头自注意力层和多层感知机层通过添加跳跃连接作为残差运算符操作；
经过所有时间transformer层后，每帧产生一个嵌入向量y
t
，并进行层标准化：5.根据权利要求4所述的基于远程生理体征提取的驾驶员状态监测方法，其特征在于，在s13中，快速径的计算方式与慢速径一致；将快速径与慢速径的输出进行拼接后，添加一个多层感知机层，输出驾驶员的估计生理信号：rppg＝mlp(f
t
)
t＝1,
…
,f
ꢀꢀꢀꢀꢀꢀꢀꢀ
(112)其中，f
t
是快速径与慢速径每帧进行拼接后的向量。6.根据权利要求5所述的基于远程生理体征提取的驾驶员状态监测方法，其特征在于，在s4计算驾驶员的实时驾驶状态时，建立了用于将驾驶员的不同生理特征参数映射到驾驶员的不同驾驶状态的分类模型，再根据分类模型得到驾驶员的实时状态。7.据权利要求6所述的基于远程生理体征提取的驾驶员状态监测方法，其特征在于，在s4中，判定完驾驶风险程度后，可以通过驾驶员状态警示装置(3)向驾驶员和网络云端发送相应的警示信息。8.一种基于远程生理体征提取的驾驶员状态监测系统，用于权利要求1至7所述的基于远程生理体征提取的驾驶员状态监测方法，其特征在于，包括：驾驶员感知装置(1)、远程生理体征提取装置(2)和驾驶员状态警示装置(3)；所述驾驶员感知装置(1)用于采集和预处理驾驶员的面部序列信息，并将预处理后得到的局部信息和全局信息发送至所述远程生理体征提取装置(2)；所述远程生理体征提取装置(2)用于接收所述局部信息和全局信息，并将所述局部信息和全局信息输入驾驶员rppg信号提取模型得到驾驶员的rppg信息，在对所述驾驶员rppg信号进行去噪、变换处理得到驾驶员生理特征参数后，将驾驶员生理特征参数发送至所述驾驶员状态警示装置(3)；所述驾驶员状态警示装置(3)用于接收驾驶员生理特征参数，根据驾驶员生理特征参数计算驾驶员的驾驶状态并对驾驶风险程度进行判定，在驾驶风险程度较高和极高时，对驾驶员和网络云端发出相应警示信息。9.根据权利要求8所述的基于远程生理体征提取的驾驶员状态监测系统，其特征在于，所述驾驶员感知装置(1)包括驾驶员感知模块(4)和信息处理模块(5)，所述驾驶员感知模块(4)包括一个及以上安装于不遮挡视线的驾驶员正前方的，用于采集驾驶员的面部图像序列信息的高清网络摄像头；所述信息处理模块(5)包括用于处理面部图像序列的一个及以上高性能计算设备；所述远程生理体征提取装置(2)包括用于接收来自驾驶员感知装置(1)的特征信息、将所述特征信息输入驾驶员rppg信号提取模型得到驾驶员rppg信息和对所述驾驶员rppg信号进行去噪、变换处理得到驾驶员生理特征参数的一个及以上高性能计算设备。10.根据权利要求9所述的基于远程生理体征提取的驾驶员状态监测系统，其特征在于，所述驾驶员状态警示装置(3)包括驾驶状态判别模块(6)和驾驶员状态警示模块(7)；所述驾驶状态判别模块(6)包括用于接收来自远程生理体征提取装置(2)的驾驶员生理体征、计算驾驶员的实时驾驶状态并判定驾驶风险程度和联动网络云端的一个及以上高性能计算设备；
所述驾驶员状态警示模块(7)包括用于向驾驶员发送警示信息的氛围灯、扬声器和振动器。

技术总结
本发明公开了一种基于远程生理体征提取的驾驶员状态监测方法，包括以下步骤：S1、设计双径神经网络，训练得到驾驶员rPPG信号提取模型；S2、采集驾驶员面部图像序列信息，进行预处理，将预处理得到的局部信息和全局信息发送至远程生理体征提取装置；S3、远程生理体征提取装置将局部信息和全局信息输入驾驶员rPPG信号提取模型，得到驾驶员rPPG信号，对驾驶员rPPG信号进行去噪、变换处理得到驾驶员生理特征参数后，发送至驾驶员状态警示装置；S4、驾驶员状态警示装置根据驾驶员生理特征参数，计算驾驶员实时驾驶状态，判定驾驶风险程度。本发明还提供了一种基于远程生理体征提取的驾驶员状态监测装置。员状态监测装置。员状态监测装置。


技术研发人员：彭勇 向国梁 姚松 伍贤辉 邓涵文 范超杰 林书翔 于晓泉
受保护的技术使用者：北京全路通信信号研究设计院集团有限公司
技术研发日：2023.06.15
技术公布日：2023/10/7