一种人机共驾的驾驶疲劳检测及预警控制方法及装置

1.本发明涉及安全驾驶技术领域，尤其涉及一种人机共驾的驾驶疲劳检测及预警控制方法及装置。


背景技术：

2.随着经济的飞速发展，国民生活质量的不断提高，汽车逐渐成为寻常百姓家出行的代步工具，在给人们生活带来便利和促进社会进步的同时，也增加了各类交通事故的发生，这其中的交通事故隐患问题不可忽视。据不完全统计，20％的公路交通事故是由驾驶员疲劳驾驶引起的，为了保障驾驶员的出行安全和财产安全，通常会对驾驶员进行疲劳检测并预警。目前驾驶员疲劳检测主要通过以下三种方法实现：基于生理特征的方法、基于驾驶员面部信息特征的方法和基于车辆行为特征的方法。其中，基于生理特征的检测方法，一般是要求驾驶员穿戴相关仪器设备以获得驾驶员的脑电波信号(eeg)、心率等作为参照指标，具有高精度、持续可用等优点，但成本较高；基于驾驶员面部信息特征通过实时检测人脸眼部、嘴部和头部的关键位置判断驾驶员的疲劳状态，这种方法最大的优点是非侵入性、精度高，但其很容易受到遮挡、光线等的影响；基于车辆行为的检测方法持续监测车辆行为参数如车道偏离检测、方向盘转角等动态信息来判断驾驶员的困倦程度，但它过于依赖驾驶员的个人驾驶习惯。
3.因此，传统的疲劳驾驶预警方式存在信息源单一，疲劳驾驶预警精度较低的问题。


技术实现要素：

4.为了解决上述技术问题，本发明提出一种人机共驾的驾驶疲劳检测及预警控制方法及装置。在所述方法及装置中，消除单一检测方法带来的弊端，提高预警装置的可靠性，确保驾驶员的安全。
5.为了达到上述目的，本发明的技术方案如下：
6.一种人机共驾的驾驶疲劳检测及预警控制方法，包括如下步骤：
7.实时采集驾驶室内图像、驾驶室外路面图像和方向盘转角信息；
8.根据驾驶室内图像识别获得面部特征和心率值，所述面部特征包括眼睛状态、嘴巴状态和头部俯仰角度，并将驾驶室内图像与提取的面部特征和心率值同时输入至预设的时序神经网络处理，得到第一疲劳信息；
9.将驾驶室外路面图像输入训练好的yolop模型中，获取路面的车道线信息，提取所述车道线信息中压线行驶时间，基于压线行驶时间获得第二疲劳信息；
10.根据方向盘转角信息计算方向盘抖动特征，基于方向盘抖动特征得到第三疲劳信息；
11.构建深度学习模型并采用自适应权重算法进行训练，分别获取第一疲劳信息、第二疲劳信息和第三疲劳信息对应的权重值α、β、γ，结合第一疲劳信息、第二疲劳信息和第三疲劳信息以及对应的权重值α、β、γ计算疲劳程度，当疲劳程度超过预设预警值时，发出
声/光告警并启动专家库系统。
12.优选地，所述获得面部特征，包括如下步骤：
13.对所述驾驶室内图像进行预处理；
14.对预处理后的驾驶室内图像进行人脸识别，得到人脸图像；
15.提取所述人脸图像中特征关键点坐标并输入至预设的多任务分类神经网络中，识别眼睛状态、嘴巴状态和头部俯仰角度。
16.优选地，所述多任务分类神经网络的损失函数为：
[0017][0018][0019][0020]floss_face_total
＝f
loss_leye
+f
loss_mouse
+f
loss_angle
[0021]
式中分别表示眼睛、嘴巴和头部俯仰角的真值，分别表示眼睛、嘴巴和头部俯仰角的网络预测值，c1＝c2＝c3表示l2正则化。
[0022]
优选地，所述获得心率值，包括如下步骤：
[0023]
基于所述特征关键点坐标提取前额区域；
[0024]
计算所述前额区域中g通道的均值并对所述g通道的均值信号进行盲源分离，得到分离后的g通道源信号；
[0025]
对所述分离后的g通道源信号进行快速傅里叶变换，得到心率值。
[0026]
优选地，所述时序神经网络的损失函数为：
[0027][0028]
式中l
face_+
表示正样本的损失；l
face_-表示负样本的损失，p表示时序网络输出的概率值，∈+表示正样本权重参数，∈-表示负样本权重参数；γ1，γ2，γ3分别表示眼睛、嘴巴、俯仰角的损失权重。
[0029]
优选地，所述将驾驶室外路面图像输入训练好的yolop模型中，获取路面的车道线信息，提取所述车道线信息中压线行驶时间，基于压线行驶时间获得第二疲劳信息，包括如下步骤：
[0030]
对所述驾驶室外路面图像进行预处理；
[0031]
将预处理后的驾驶室外路面图像输入到训练好的yolop模型中检测出路面的车道线信息；
[0032]
记录检测过程中车辆打开转向灯且压线行驶的时间，基于压线行驶的时间与预设行驶阈值的关系，确定第二疲劳信息。
[0033]
优选地，所述驾驶室外路面图像的预处理包括图像去噪、图像去雾、图像去雨、图像去模糊、图像颜色增强、图像亮度增强或图像细节增强中的一项或多项组合。
[0034]
优选地，所述根据方向盘转角信息计算方向盘抖动特征，基于方向盘抖动特征得到第三疲劳信息，包括如下步骤：
[0035]
对所述方向盘转角信息进行滤波去噪，获得去噪后的方向盘转角信息；
[0036]
基于去噪后的方向盘转角信息，计算一个时间窗口内方向盘转角近似熵，其近似熵作为方向盘抖动特征值；
[0037]
基于所述近似熵与预设的抖动阈值的关系，确定第三疲劳信息。
[0038]
优选地，所述启动专家库系统，包括如下步骤：
[0039]
实时跟踪与预测驾驶主车距离车道中心线的偏移量以及与前车的距离，获取预测结果；
[0040]
当预测结果超过预设的偏移量阈值或距离阈值时，则进行人机接管。
[0041]
基于上述内容，本发明还公开了一种人机共驾的驾驶疲劳检测及预警控制装置，包括：图像采集装置、信息采集模块、控制模块和预警装置，其中，
[0042]
所述图像采集装置，用于实时采集驾驶室内图像、驾驶室外路面图像并传输至所述控制模块中；
[0043]
所述信息采集模块，用于采集驾驶过程中的方向盘转角信息并传输至所述控制模块中；
[0044]
所述控制模块，用于根据驾驶室内图像识别获得面部特征和心率值，所述面部特征包括眼睛状态、嘴巴状态和头部俯仰角度，并将驾驶室内图像与提取的面部特征和心率值同时输入至预设的时序神经网络处理，得到第一疲劳信息；用于将驾驶室外路面图像输入训练好的yolop模型中，获取路面的车道线信息，提取所述车道线信息中压线行驶时间，基于压线行驶时间获得第二疲劳信息；用于根据方向盘转角信息计算方向盘抖动特征，基于方向盘抖动特征得到第三疲劳信息；用于构建深度学习模型并采用自适应权重算法进行训练，分别获取第一疲劳信息、第二疲劳信息和第三疲劳信息对应的权重值α、β、γ，结合第一疲劳信息、第二疲劳信息和第三疲劳信息以及对应的权重值α、β、γ计算疲劳程度，并根据疲劳程度向所述预警装置发送预警指令；
[0045]
所述预警装置，用于接收所述预警指令，并根据所述预警指令进行预警；用于启动专家库系统。
[0046]
基于上述技术方案，本发明的有益效果是：
[0047]
1)本发明利用远程光电容积脉搏波描记法(remote photoplethysmography，rppg)基于视频远程测量心率技术，解决接触式方法需要穿戴设备才能检测心率等问题，再利用深度学习融合算法将驾驶员面部特征(眼睛、嘴巴、头部俯仰角度)、心率、道路车道线特征以及方向盘转角信息按一定权重结合起来，实时监控驾驶员的疲劳状态，若检测到驾驶员正在疲劳驾驶则通过语音播告警和警示灯提醒驾驶员要注意休息。消除单一检测方法带来的弊端，提高预警系统的可靠性；
[0048]
2)本发明在监测驾驶员疲劳时，不仅仅进行声/光报警来提醒驾驶员，还实时跟踪与预测驾驶主车距离车道中心线的偏移量以及与前车的距离，基于预测结果与预设的偏移量阈值或距离阈值的关系来进行人机接管，自动调节行驶过程中的速度和方向盘转角，来
确保驾驶员在疲劳状态下的安全。
附图说明
[0049]
图1是一个实施例中一种人机共驾的驾驶疲劳检测及预警控制方法的流程图1；
[0050]
图2是一个实施例中一种人机共驾的驾驶疲劳检测及预警控制方法的流程图2；
[0051]
图3是一个实施例中一种人机共驾的驾驶疲劳检测及预警控制方法中基于面部特征和心率的检测方法流程图；
[0052]
图4是一个实施例中一种人机共驾的驾驶疲劳检测及预警控制方法中基于车辆行驶过程的检测方法流程图；
[0053]
图5是一个实施例中一种人机共驾的驾驶疲劳检测及预警控制装置的结构示意图。
具体实施方式
[0054]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
[0055]
如图1、2所示，本实施例提供一种人机共驾的驾驶疲劳检测及预警控制方法，包括如下步骤：
[0056]
步骤1，实时采集驾驶室内图像、驾驶室外路面图像和方向盘转角信息。
[0057]
本实施例中，通过红外摄像头实时拍摄驾驶室内，可保证在夜间采集到较清晰的人脸图像，对拍摄视频按照30fps的采集帧率进行数据采集，获取驾驶室内图像。采用高清摄像头实时拍摄驾驶室外，对拍摄视频按照30fps的采集帧率进行数据采集，获取驾驶室外路面图像。
[0058]
通过方向盘传感器采集方向盘转角数据信息，采样时间点与驾驶室内图像、驾驶室外路面图像的采集频率的时间点一致。
[0059]
步骤2，根据驾驶室内图像识别获得面部特征和心率值，所述面部特征包括眼睛状态、嘴巴状态和头部俯仰角度，并将驾驶室内图像与提取的面部特征和心率值同时输入至预设的时序神经网络处理，得到第一疲劳信息。
[0060]
参见图3，首先将驾驶室内图像输入到预训练好的光线增强神经网络模型中预处理，输出光线增强后的图像，公式如下所示：
[0061]
x
enhance
＝zerodce(x
raw
)
[0062]
其中x
raw
表示红外摄像头采集到的原始图像，经过预训练好的zerodce光线增强网络后得到优化后的图像x
enhance
。
[0063]
然后，利用人脸检测算法识别出驾驶员面部在当前图像中的坐标位置后从光线增强后的图像中截取出来做为感兴趣区域(roi)，再把感兴趣区域roi输入到预训练好的多任务分类神经网络(q2l-spp-mobilevit)中，多任务分类神经网络输出驾驶员的眼睛、嘴巴的位置、头部俯仰角。提取到的额头roi区域，获取前额区域中g通道的均值然后利用改进的小波变换滤波算法，再进行快速傅里叶变换得到心率值，最后根据计算出驾驶员的眨眼频率、打哈欠的频率、头部俯仰角的变换值和心率是否超过设定的阈值来判断驾驶员是否处于疲劳状态。具体说明如下：
[0064][0065]
用dlib算法检测出人脸，输入是光线增强后的图像x
enhance
，输出是检测到的人脸框rect即人脸左上角坐标(x1,y1)和右下角坐标(x2,y2)；landmark
68
即人脸的68个特征关键点坐标；
[0066]
根据68个特征关键点坐标，裁剪出人的左眼x
leye
、嘴巴x
mouse
输入到设计好的神经网络中训练输出e
leye
左眼状态(睁眼或闭眼)以及e
mouse
嘴巴的状态(打哈欠或嘴巴合上)；
[0067]
获取裁剪出的前额x
forehead
区域g通道的均值xforehead
g_mean
[0068]
xforehead
g_mean
＝nunpy.mean(x
forehead
[：，：，1])
[0069]
其中numpy.mean()函数表示对括号内的参数求均值；参数x
forehead
[：，：，1]表示遍历前额x
forehead
区域g通道的总数值。
[0070]
对原始的g通道均值信号进行盲源分离得到滤波后的干净均值数据
[0071][0072]
进行快速傅里叶变换得到最后的心率值：
[0073][0074]
最后把获得到的左眼状态、嘴巴状态、心率值和驾驶员俯仰角度的4维向量作为疲劳识别网络的部分输入，输出为y1{fatigue，normal}处于疲劳状态或正常状态。
[0075]
v＝{e
leye
,e
mouse
，e
hr
,e
angle
}
[0076]
多任务分类神经网络的输入为i1：
[0077]
l1＝{v，x
enhance
}
[0078]
y1＝net(i1)
[0079]
其中net()表示多任务分类神经网络。
[0080]
多任务分类神经网络的损失函数为：
[0081]
[0082][0083][0084]floss_face_total
＝f
loss_leye
+f
loss_mouse
+f
loss_angle
[0085]
其中分别表示眼睛、嘴巴和头部俯仰角的真值，分别表示眼睛、嘴巴和头部俯仰角的网络预测值，c1＝c2＝c3表示l2正则化权重取0.01。
[0086]
时序神经网络损失函数：
[0087][0088]
其中l
face_+
表示正样本(睁眼、打哈欠状态)的损失，l
face_-(闭眼、嘴巴合上状态)表示负样本的损失，p表示时序网络输出的概率值，∈+表示正样本权重参数取值为1，∈-表示负样本权重参数取值为2；γ1、γ2、γ3分别表示眼睛、嘴巴、俯仰角的损失权重分别取值为0.3，0.3，0.1。
[0089]
本实施例中时序神经网络的输入不仅仅是摄像头传感器拍摄到的驾驶员面部图像信息，还包括前一个多任务分类神经网络的输出结果即眼睛开闭状态、嘴巴开闭状态以及俯仰角，将其与驾驶室内图像同时作为输入送入到时序神经网络中，相当于给时序神经网络加了正则化，防止网络学偏。避免了一般端到端网络只是将摄像头拍摄到的整个图像都输入到网络中去，忽略了汽车在正常行驶过程中，背景是复杂多变的，影响到网络的精度。
[0090]
步骤3，将驾驶室外路面图像输入训练好的yolop模型中，获取路面的车道线信息，提取所述车道线信息中压线行驶时间，基于压线行驶时间获得第二疲劳信息。
[0091]
参见图4，先将驾驶室外路面图像输入到已训练好的去噪、去雾、去雨多任务模型ipt(image processing transformer)中得到清晰的路面图像，再将清晰的路面图像输入到训练好的yolop模型中检测出路面的车道线信息。如果检测到车辆打开转向灯，但是仍然压线行驶，则记录其压线行驶的时间，若超过阈值则判断为处于疲劳状态。
[0092]
高清摄像头采集路面图像的原理与用红外摄像头采集驾驶员面部特征的原理类似，最终得到输出y2{fatigue，normal}。
[0093]
步骤4，根据方向盘转角信息计算方向盘抖动特征，基于方向盘抖动特征得到第三疲劳信息。
[0094]
本实施例中，运用滤波算法进行滤波去噪，获得去噪后的方向盘转角信息；基于计算去噪后的方向盘转角信息，计算一个时间窗口内方向盘转角近似熵，这里用近似熵来量化一段时间内方向盘角度的随机序列不规则型，将计算获得的近似熵作为方向盘抖动特征值；判断近似熵是否持续超过预设的抖动阈值，若是则判断为处于疲劳状态，然后将结果输入y3{fatigue，normal}。
[0095]
方向盘转角近似熵计算公式如下：
[0096][0097][0098]
式中m是嵌入维度的个数，r是相似容限阈值，n是观察周期内的数据点总数或输入时间序列的长度，bi表示在i处
×
(i)和
×
(j)两个向量的距离小于相似容限阈值r的j的数量，
×
(
·
)表示从输入时间序列重建的m维向量。
[0099]
x(i)＝[x
swa
(i)，x
swa
(i+1)，...，x
swa
(i+m-1)]，x
swa
(i)∈rm[0100]
x(j)＝[x
swa
(j)，x
swa
(j+1)，...，x
swa
(j+m-1)]，x
swa
(j)∈rm[0101]
步骤5，构建深度学习模型并采用自适应权重算法进行训练，分别获取第一疲劳信息、第二疲劳信息和第三疲劳信息对应的权重值α、β、γ，结合第一疲劳信息、第二疲劳信息和第三疲劳信息以及对应的权重值α、β、γ计算疲劳程度，当疲劳程度超过预设预警值时，发出声/光告警并启动专家库系统。
[0102]
本实施例中，疲劳程度的计算公式，如下所示：
[0103]
y{fatigue,normal}＝αy1{fatigue,normal}+βy2{fatigue,normal}+γy3{fatigue,normal}
[0104]
具体地，预设初始化人脸图像检测结果的权重为α＝0.7，基于路面车道线的检测结果权重为β＝0.1，基于方向盘转角的检测结果为γ＝0.2。之后再运行该系统，系统会根据积累的历史数据训练深度学习模型，将y值输出作为自适应网络的输入，输出为权重α、β、γ的值，实现自适应权重的效果，考虑驾驶员的个人习惯，提高模型的鲁棒性和检测精度。
[0105]
参见图2，q2l-spp-mobilevit即多任务神经网络的具体模型。一般的端到端模型将驾驶员面部提取特征成图像序列后直接通过lstm网络中进行推理，本发明把驾驶室内图像、多任务神经网络的输出眼部状态、嘴部状态、俯仰角度和心率值作为送入到改进的lstm网络中即加入了self_attention机制，让模型尽可能关注到能够体现疲劳状态的一些特征。最后根据第一疲劳信息、第二疲劳信息和第三疲劳信息以及采用自适应权重算法获取的第一疲劳信息、第二疲劳信息和第三疲劳信息对应的权重值α、β、γ输出一个最终的疲劳程度，可以根据驾驶员的风格自适应变换，使模型更加灵且大幅度降低误检率。
[0106]
其中，考虑到在检测到驾驶员疲劳时仅仅采取声/光报警提醒驾驶员目前处于疲劳状态，只能在很小的程度上保障驾驶员的安全。假设驾驶员正在高速公路上驾驶，当系统检测到其疲劳驾驶时，仅仅通过声/光报警并不能让驾驶员从疲劳状态中恢复，然而在高速公路上也不能随意停车休息，假设处于疲劳状态的驾驶员需要驾驶到最近的服务区进行休息，那么在这一过程中驾驶员仍然是处于疲劳状态，反应时间变慢，那么发生交通事故的可能性仍然很大。本系统在声光报警的基础上，提出基于驾驶员疲劳状态的专家库系统，在危险紧急情况下对驾驶车辆进行接管。具体实现方案如下：
[0107]
当驾驶员处于疲劳状态时，启动专家库系统，实时跟踪与预测驾驶车辆的车速、对驾驶主车距离车道中心线的偏移量以及与前车的距离。
[0108]
假设t[x_1,x_2,
…
,x_t]为一段时间w内驾驶主车距离车道中心线的偏移量序列。利用专家库中的修正转向机制模型，模型训练数据为未打转向灯情况下，车辆距离车道中
心线的偏移量以及方向盘转角，并且模型将w时间段内非递增的偏移量序列t作为加分函数(当驾驶主车在一段时间w内距离车道中心线的偏移量越大且则可以认定发生交通事故的可能性增加)。在系统实际运行过程中，专家基于当前的偏移量序列对一段时间w内的驾驶轨迹进行预测，将w时间段内偏移量序列送入到模型中，输出为决策结果即是否对驾驶轨迹进行修正。当车辆在未打开转向灯情况下，偏移量持续大于阈值a则进行人机接管，控制方向盘转角，使其保持在车道线偏移量的安全区间。
[0109]
针对前车危险碰撞情况，调用专家库中的车距保持机制模型，模型训练数据为驾驶主车车速、油门刹车踏板信号以及主车与前车的距离，模型的加分函数为车距时间其中rs表示主车与前车的距离，vm表示驾驶主车车速，ts表示最小安全时间。将w时间段内主车车速和主车与前车的距离送入到车距保持机制模型中，输出决策结果即是否对油门刹车踏板信号进行控制，若输出结果为是，还需要输出修正的油门踏板的数值。最后将运行结果反馈到控制模块，由控制模块对油门刹车踏板进行调整，使其驾驶主车与前车保持安全距离。
[0110]
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0111]
在一个实施例中，如图5所示，提供一种人机共驾的驾驶疲劳检测及预警控制装置，包括：图像采集装置110、信息采集模块120、控制模块130和预警装置140，其中，
[0112]
所述图像采集装置110，用于实时采集驾驶室内图像和驾驶室外路面图像并传输至所述控制模块中；
[0113]
所述信息采集模块120，用于采集驾驶过程中的方向盘转角信息并传输至所述控制模块中；
[0114]
所述控制模块130，用于根据驾驶室内图像识别获得面部特征和心率值，所述面部特征包括眼睛状态、嘴巴状态和头部俯仰角度，并将驾驶室内图像与提取的面部特征和心率值同时输入至预设的时序神经网络处理，得到第一疲劳信息；用于将驾驶室外路面图像输入训练好的yolop模型中，获取路面的车道线信息，提取所述车道线信息中压线行驶时间，基于压线行驶时间获得第二疲劳信息；用于根据方向盘转角信息计算方向盘抖动特征，基于方向盘抖动特征得到第三疲劳信息；用于构建深度学习模型并采用自适应权重算法进行训练，分别获取第一疲劳信息、第二疲劳信息和第三疲劳信息对应的权重值α、β、γ，结合第一疲劳信息、第二疲劳信息和第三疲劳信息以及对应的权重值α、β、γ计算疲劳程度，并根据疲劳程度向所述预警装置140发送预警指令；
[0115]
所述预警装置140，用于接收所述预警指令，并根据所述预警指令进行预警，用于启动专家库系统。
[0116]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以
通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0117]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0118]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。

技术特征：
1.一种人机共驾的驾驶疲劳检测及预警控制方法，其特征在于，包括如下步骤：实时采集驾驶室内图像、驾驶室外路面图像和方向盘转角信息；根据驾驶室内图像识别获得面部特征和心率值，所述面部特征包括眼睛状态、嘴巴状态和头部俯仰角度，并将驾驶室内图像与提取的面部特征和心率值同时输入至预设的时序神经网络处理，得到第一疲劳信息；将驾驶室外路面图像输入训练好的yolop模型中，获取路面的车道线信息，提取所述车道线信息中压线行驶时间，基于压线行驶时间获得第二疲劳信息；根据方向盘转角信息计算方向盘抖动特征，基于方向盘抖动特征得到第三疲劳信息；构建深度学习模型并采用自适应权重算法进行训练，分别获取第一疲劳信息、第二疲劳信息和第三疲劳信息对应的权重值α、β、γ，结合第一疲劳信息、第二疲劳信息和第三疲劳信息以及对应的权重值α、β、γ计算疲劳程度，当疲劳程度超过预设预警值时，发出声/光告警并启动专家库系统。2.根据权利要求1所述的一种人机共驾的驾驶疲劳检测及预警控制方法，其特征在于，所述获得面部特征，包括如下步骤：对所述驾驶室内图像进行预处理；对预处理后的驾驶室内图像进行人脸识别，得到人脸图像；提取所述人脸图像中特征关键点坐标并输入至预设的多任务分类神经网络中，识别眼睛状态、嘴巴状态和头部俯仰角度。3.根据权利要求2所述的一种人机共驾的驾驶疲劳检测及预警控制方法，其特征在于，所述多任务分类神经网络的损失函数为：所述多任务分类神经网络的损失函数为：所述多任务分类神经网络的损失函数为：f
loss_face_total
＝f
loss_leye
+f
loss_mouse
+f
loss_angle
式中分别表示眼睛、嘴巴和头部俯仰角的真值，分别表示眼睛、嘴巴和头部俯仰角的网络预测值，c1＝c2＝c3表示l2正则化。4.根据权利要求2所述的一种人机共驾的驾驶疲劳检测及预警控制方法，其特征在于，所述获得心率值，包括如下步骤：基于所述特征关键点坐标提取前额区域；计算所述前额区域中g通道的均值并对所述g通道的均值信号进行盲源分离，得到分离后的g通道源信号；对所述分离后的g通道源信号进行快速傅里叶变换，得到心率值。
5.根据权利要求1所述的一种人机共驾的驾驶疲劳检测及预警控制方法，其特征在于，所述时序神经网络的损失函数为：式中l
face_+
表示正样本的损失；l
face_-表示负样本的损失，p表示时序网络输出的概率值，∈+表示正样本权重参数，∈-表示负样本权重参数；γ1,γ2,γ3分别表示眼睛、嘴巴、俯仰角的损失权重。6.根据权利要求1所述的一种人机共驾的驾驶疲劳检测及预警控制方法，其特征在于，所述将驾驶室外路面图像输入训练好的yolop模型中，获取路面的车道线信息，提取所述车道线信息中压线行驶时间，基于压线行驶时间获得第二疲劳信息，包括如下步骤：对所述驾驶室外路面图像进行预处理；将预处理后的驾驶室外路面图像输入到训练好的yolop模型中检测出路面的车道线信息；记录检测过程中车辆打开转向灯且压线行驶的时间，基于压线行驶的时间与预设行驶阈值的关系，确定第二疲劳信息。7.根据权利要求6所述的一种人机共驾的驾驶疲劳检测及预警控制方法，其特征在于，所述驾驶室外路面图像的预处理包括图像去噪、图像去雾、图像去雨、图像去模糊、图像颜色增强、图像亮度增强或图像细节增强中的一项或多项组合。8.根据权利要求1所述的一种人机共驾的驾驶疲劳检测及预警控制方法，其特征在于，所述根据方向盘转角信息计算方向盘抖动特征，基于方向盘抖动特征得到第三疲劳信息，包括如下步骤：对所述方向盘转角信息进行滤波去噪，获得去噪后的方向盘转角信息；基于去噪后的方向盘转角信息，计算一个时间窗口内方向盘转角近似熵，其近似熵作为方向盘抖动特征值；基于所述近似熵与预设的抖动阈值的关系，确定第三疲劳信息。9.根据权利要求1所述的一种人机共驾的驾驶疲劳检测及预警控制方法，其特征在于，所述启动专家库系统，包括如下步骤：实时跟踪与预测驾驶主车距离车道中心线的偏移量以及与前车的距离，获取预测结果；当预测结果超过预设的偏移量阈值或距离阈值时，则进行人机接管。10.一种人机共驾的驾驶疲劳检测及预警控制装置，其特征在于，包括：图像采集装置、信息采集模块、控制模块和预警装置，其中，所述图像采集装置，用于实时采集驾驶室内图像、驾驶室外路面图像并传输至所述控制模块中；所述信息采集模块，用于采集驾驶过程中的方向盘转角信息并传输至所述控制模块中；所述控制模块，用于根据驾驶室内图像识别获得面部特征和心率值，所述面部特征包括眼睛状态、嘴巴状态和头部俯仰角度，并将驾驶室内图像与提取的面部特征和心率值同时输入至预设的时序神经网络处理，得到第一疲劳信息；用于将驾驶室外路面图像输入训
练好的yolop模型中，获取路面的车道线信息，提取所述车道线信息中压线行驶时间，基于压线行驶时间获得第二疲劳信息；用于根据方向盘转角信息计算方向盘抖动特征，基于方向盘抖动特征得到第三疲劳信息；用于构建深度学习模型并采用自适应权重算法进行训练，分别获取第一疲劳信息、第二疲劳信息和第三疲劳信息对应的权重值α、β、γ，结合第一疲劳信息、第二疲劳信息和第三疲劳信息以及对应的权重值α、β、γ计算疲劳程度，并根据疲劳程度向所述预警装置发送预警指令；所述预警装置，用于接收所述预警指令，并根据所述预警指令进行预警；用于启动专家库系统。

技术总结
本发明公开一种人机共驾的驾驶疲劳检测及预警控制方法及装置。该方法包括，根据驾驶室内图像识别获得面部特征和心率值，面部特征包括眼睛状态、嘴巴状态和头部俯仰角度，并将驾驶室内图像与提取的面部特征和心率值同时输入至预设的时序神经网络处理，得到第一疲劳信息；将驾驶室外路面图像输入YOLOP模型中，获取路面的车道线信息并提取压线行驶时间，基于压线行驶时间获得第二疲劳信息；根据方向盘转角信息计算方向盘抖动特征，基于方向盘抖动特征得到第三疲劳信息；基于第一、二和三疲劳信息计算疲劳程度，当疲劳程度超过预设预警值时，发出声/光告警并启动专家库系统。本发明消除单一检测方法带来的弊端，提高预警系统的可靠性。靠性。靠性。


技术研发人员：陈振斌 欧阳颖 杨峥 赖佳琴 张天虎
受保护的技术使用者：海南大学
技术研发日：2022.12.12
技术公布日：2023/5/26