疲劳驾驶检测方法、装置、电子设备及介质与流程

1.本发明涉及智能驾驶技术领域，尤其涉及一种疲劳驾驶检测方法、装置、电子设备及介质。


背景技术：

2.研究表明，大多数的汽车安全事故是由于司机疲劳驾驶所导致的，司机疲劳驾驶检测方法也称为了热点问题。目前，常用的疲劳驾驶检测方法主要分为两类。第一类主要是通过检测驾驶员的心电图、脑电图、眼电图等身体相关生理信息来判断驾驶员是否疲劳驾驶。第二类是通过车辆的行驶特征比如车辆的行驶速度、轮胎的行驶轨迹、方向盘的转动角度等判断是否疲劳驾驶状态。然而，上述两类检测方法都是基于一个维度的特征进行检测，准确性较低，容易出现漏检、误检等情况。


技术实现要素：

3.为解决上述技术问题或至少部分地解决上述技术问题，本发明实施例提供一种疲劳驾驶检测方法、装置、电子设备及介质。
4.第一方面，本发明实施例提供了一种疲劳驾驶检测方法，包括：根据预设的采集策略，采集驾驶员的人脸图像以及语音，获得人脸图像集以及语音数据集；基于所述人脸图像集，获取所述驾驶员的面部疲劳指数；基于所述语音数据集，获取所述驾驶员的语音疲劳指数；基于所述面部疲劳指数和所述语音疲劳指数，确定所述驾驶员是否处于疲劳驾驶状态。
5.可选地，所述基于所述面部疲劳指数和所述语音疲劳指数，确定所述驾驶员是否处于疲劳驾驶状态，包括：确定所述面部疲劳指数对应的第一权重；确定所述语音疲劳指数对应的第二权重；基于所述第一权重和所述第二权重，计算所述面部疲劳指数和所述语音疲劳指数的加权和；基于所述加权和，确定所述驾驶员是否处于疲劳驾驶状态。
6.可选地，所述面部疲劳指数包括以下一种或多种：眼睛闭合度、眨眼频率、嘴部张合度。
7.可选地，所述确定所述面部疲劳指数对应的第一权重，包括：确定所述眼睛闭合度对应的第一面部权重、所述眨眼频率对应的第二面部权重、所述嘴部张合度对应的第三面部权重；
8.所述基于所述第一权重和所述第二权重，计算所述面部疲劳指数和所述语音疲劳指数的加权和，包括：基于所述第一面部权重、第二面部权重、第三面部权重和所述第二权重，计算所述眼睛闭合度、所述眨眼频率、所述嘴部张合度和所述语音疲劳指数的加权和；
9.所述基于所述加权和，确定所述驾驶员是否处于疲劳驾驶状态，包括：基于所述加权和以及所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种，确定所述驾驶员是否处于疲劳驾驶状态。
10.可选地，所述基于所述加权和以及所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种，确定所述驾驶员是否处于疲劳驾驶状态，包括：确定所述加权和是否大于或等
于第一目标阈值；在所述加权和大于或等于所述第一目标阈值的情况下，确定所述驾驶员处于疲劳驾驶；在所述加权和小于所述第一目标阈值的情况下，确定所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种是否大于或等于对应的第二目标阈值；在所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种大于或等于对应的第二目标阈值的情况下，确定所述驾驶员处于疲劳驾驶。
11.可选地，所述方法还包括：在确定所述驾驶员处于疲劳驾驶的情况下，确定驾驶员的疲劳等级；输出与所述疲劳等级对应的疲劳预警信息。
12.可选地，所述方法还包括：在输出所述疲劳预警信息或与所述疲劳等级对应的疲劳提示信息的情况下，检测车辆的行驶特征，确定所述车辆是否停止行驶；在所述车辆未停止行驶的情况下，输出预设的警示信息。
13.可选地，所述根据预设的采集策略，采集驾驶员的人脸图像以及语音，获得人脸图像集以及语音数据集，包括：确定车辆的行驶时间，根据所述行驶时间，确定采集周期以及采集时长；基于所述采集周期以及所述采集时长，采集驾驶员的人脸图像以及语音。
14.可选地，所述基于所述人脸图像集，获取所述驾驶员的面部疲劳指数，包括：
15.确定所述人脸图像集中驾驶员眼睛处于闭合状态的第一目标图像，根据所述第一目标图像的帧数与所述人脸图像集的总帧数，确定所述眼睛闭合度；
16.和/或
17.基于所述人脸图像集，确定所述驾驶员的眨眼次数；根据所述眨眼次数，确定所述眨眼频率；
18.和/或
19.确定所述人脸图像集中驾驶员嘴部轮廓处于预设状态的第二目标图像，根据所述第二目标图像的帧数与所述人脸图像集的总帧数，确定所述嘴部张合度。
20.可选地，所述基于所述语音数据，获取所述驾驶员的语音疲劳指数，包括：对所述语音数据集进行识别，确定所述语音数据集中属于疲劳语音的次数；根据所述语音数据集中属于疲劳语音的次数，确定所述驾驶员的语音疲劳指数。
21.第二方面，本发明实施例还提供了一种疲劳驾驶检测装置，包括：
22.采集模块，用于根据预设的采集策略，采集驾驶员的人脸图像以及语音，获得人脸图像集以及语音数据集；
23.图像识别模块，用于基于所述人脸图像集，获取所述驾驶员的面部疲劳指数；
24.语音识别模块，用于基于所述语音数据集，获取所述驾驶员的语音疲劳指数；
25.状态确定模块，用于基于所述面部疲劳指数和所述语音疲劳指数，确定所述驾驶员是否处于疲劳驾驶状态。
26.可选地，所述状态确定模块还用于：确定所述面部疲劳指数对应的第一权重；确定所述语音疲劳指数对应的第二权重；基于所述第一权重和所述第二权重，计算所述面部疲劳指数和所述语音疲劳指数的加权和；基于所述加权和，确定所述驾驶员是否处于疲劳驾驶状态。
27.可选地，所述状态确定模块还用于：确定所述眼睛闭合度对应的第一面部权重、所述眨眼频率对应的第二面部权重、所述嘴部张合度对应的第三面部权重；基于所述第一面部权重、第二面部权重、第三面部权重和所述第二权重，计算所述眼睛闭合度、所述眨眼频
率、所述嘴部张合度和所述语音疲劳指数的加权和；基于所述加权和以及所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种，确定所述驾驶员是否处于疲劳驾驶状态。
28.可选地，所述状态确定模块还用于：确定所述加权和是否大于或等于第一目标阈值；在所述加权和大于或等于所述第一目标阈值的情况下，确定所述驾驶员处于疲劳驾驶；在所述加权和小于所述第一目标阈值的情况下，确定所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种是否大于或等于对应的第二目标阈值；在所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种大于或等于对应的第二目标阈值的情况下，确定所述驾驶员处于疲劳驾驶。
29.可选地，所述状态确定模块还用于在确定所述驾驶员处于疲劳驾驶的情况下，确定驾驶员的疲劳等级；输出与所述疲劳等级对应的疲劳预警信息。
30.可选地，所述装置还包括行驶检测模块，用于：在输出所述疲劳预警信息或与所述疲劳等级对应的疲劳提示信息的情况下，检测车辆的行驶特征，确定所述车辆是否停止行驶；在所述车辆未停止行驶的情况下，输出预设的警示信息。
31.可选地，所述采集模块用于：确定车辆的行驶时间，根据所述行驶时间，确定采集周期以及采集时长；基于所述采集周期以及所述采集时长，采集驾驶员的人脸图像以及语音。
32.可选地，所述图像识别模块还用于：确定所述人脸图像集中驾驶员眼睛处于闭合状态的第一目标图像，根据所述第一目标图像的帧数与所述人脸图像集的总帧数，确定所述眼睛闭合度；和/或，基于所述人脸图像集，确定所述驾驶员的眨眼次数；根据所述眨眼次数，确定所述眨眼频率；和/或，确定所述人脸图像集中驾驶员嘴部轮廓处于预设状态的第二目标图像，根据所述第二目标图像的帧数与所述人脸图像集的总帧数，确定所述嘴部张合度。
33.可选地，所述语音识别模块还用于：对所述语音数据集进行识别，确定所述语音数据集中属于疲劳语音的次数；根据所述语音数据集中属于疲劳语音的次数，确定所述驾驶员的语音疲劳指数。
34.第三方面，本发明实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任一实施例的疲劳驾驶检测装置。
35.第四方面，本发明实施例还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明任一实施例的疲劳驾驶检测装置。
36.上述发明中的一个实施例具有如下优点或有益效果：
37.本发明实施例的疲劳驾驶检测方法，通过对驾驶员的人脸图像集和语音数据集分别进行分析，获得面部疲劳指数和语音疲劳指数，综合分析该面部疲劳指数和语音疲劳指数判断驾驶员是否处于疲劳驾驶的手段，从两个维度对驾驶员的状态进行判断，相比于单一维度的检测方法，能够有效地提高检测的准确性和可靠性，减少漏检和误检。
38.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
39.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
40.图1示出了本发明实施例的疲劳驾驶检测方法的流程图；
41.图2示出了本发明另一实施例的疲劳驾驶检测方法的流程图；
42.图3示出了本发明又一实施例的疲劳驾驶检测方法的流程图；
43.图4示出了本发明实施例的疲劳驾驶检测装置的结构示意图；
44.图5示出了本发明实施例的电子设备的结构示意图。
具体实施方式
45.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
46.本发明实施例考虑到驾驶员在驾驶车辆的过程中如果出现疲劳，其面部特征会出现明显的变化，也会发出表示疲劳的语音信息，若利用图像采集和识别装置捕捉驾驶员的面部特征以及利用语音采集和识别装置捕捉驾驶员语音特征，将该面部特征和语音特征作为综合判断驾驶员是否疲劳驾驶的依据，则可以有效提高检测的准确性和可靠性。
47.图1示出了本发明实施例的疲劳驾驶检测方法的流程图，如图1所示，该方法包括：
48.步骤s101：根据预设的采集策略，采集驾驶员的人脸图像以及语音，获得人脸图像集以及语音数据集。
49.在本实施例中，可以通过车载摄像头采集驾驶员的人脸图像，以及通过车载语音接收装置如车载麦克风采集驾驶员的语音。
50.在可选的实施例中，可以实时采集驾驶员在行驶过程中的人脸图像以及语音。
51.在其他可选的实施例中，可以间隔性地采集驾驶员的人脸图像以及语音。例如，在车辆刚开始行驶时，采集的间隔可以长一些，在车辆行驶了较长一段时间时，采集的间隔可以短一些，即，可以根据车辆的行驶时间确定采集周期。作为具体的示例，本实施例可以在车辆启动时开始计时，以确定车辆的行驶时间，在车辆的行驶时间为小于1小时，则可以在车辆行驶时间小于1小时的时间段内每隔20分钟采集一次，在车辆的行驶时间在1小时至2小时内的时间段内可以每隔10分钟采集一次，在车辆的行驶时间在2小时至3小时的时间段内可以每隔5分钟采集一次，在车辆的行驶时间在4小时以上时可以实时采集。
52.在间隔性地采集驾驶员的人脸图像以及语音的过程中，每次采集的时长可以是固定的，例如每次采集两分钟的人脸图像和语音作为人脸图像集以及语音数据集。采集的时长也可以是动态变化的，例如在车辆刚开始行驶时，采集的时长可以长一些，在车辆行驶了较长一段时间时，采集的时长可以短一些，即可以根据车辆的行驶时间确定采集时长。作为具体的示例，本实施例可以在车辆启动时开始计时，以确定车辆的行驶时间。在车辆行驶时间小于1小时的时间段内每隔20分钟采集一次，每次采集4分钟的人脸图像以及语音，在车辆的行驶时间在1小时至2小时内的时间段内可以每隔10分钟采集一次，每次采集3分钟的人脸图像以及语音，在车辆的行驶时间在2小时至3小时的时间段内可以每隔5分钟采集一次，每次采集1分钟的人脸图像以及语音，在车辆的行驶时间在4小时以上时可以实时采集。
53.在采集到驾驶员的人脸图像集和语音数据集之后，可以对人脸图像集和语音数据集进行预处理，将预处理后的人脸图像集以及语音数据集作为待分析的数据。
54.步骤s102：基于所述人脸图像集，获取所述驾驶员的面部疲劳指数。
55.其中，面部疲劳指数用于从面部特征维度表征驾驶员的疲劳程度，面部疲劳指数越高，驾驶员的疲劳程度越高。在本步骤中，可以利用预训练的神经网络模型识别出人脸图像中的人脸关键点，如眉毛、眼睛、嘴巴、鼻子等，根据人脸关键点的特征，获得驾驶员的面部疲劳指数(也可以称为脸部疲劳指数)。具体的，本步骤可以利用预训练的人脸检模型，定位人脸图像集中的人脸，并利用人脸关键点定位模型识别人脸关键点。作为具体的示例，可以利用预训练的mtcnn网络(multi-task convolutional neural network，多任务卷积神经网络)对人脸图像进行人脸定位和人脸关键点定位，输出定位后的人脸特征图像，基于该人脸特征图像计算面部疲劳指数。mtcnn网络为多任务级联卷积网络，该网络由p-net、r-net、o-net组成，mtcnn网络能够同时、快速、精确地进行人脸检测以及人脸关键点定位，并且该模型相比其他的人脸检测模型具有更好的准确性和实时性，对光照、背景等影响也有较好的鲁棒性，有助于提高人脸图像识别的速度和准确率。
56.本发明实施例考虑到驾驶员疲劳驾驶的情况下，其面部特征会出现明显的变化，最明显的是眼睛明显闭合、眨眼频繁、打哈欠所至的嘴巴张开程度变大以及头部下垂。因此，本发明实施例的面部疲劳指数可以包括眼睛闭合度、眨眼频率、嘴部张合度中的一种或多种。
57.作为示例，可以根据如下过程确定驾驶员的眼睛闭合度、眨眼频率和嘴部张合度：
58.确定人脸图像集中驾驶员眼睛处于闭合状态的第一目标图像，根据第一目标图像的帧数与人脸图像集的总帧数，确定眼睛闭合度；
59.基于人脸图像集，确定驾驶员的眨眼次数；根据眨眼次数，确定眨眼频率；
60.确定人脸图像集中驾驶员嘴部轮廓处于预设状态的第二目标图像，根据第二目标图像的帧数与人脸图像集的总帧数，确定嘴部张合度。
61.眼睛闭合度表示在给定时间内(即目标时间段内)眼睛闭合的图像所占的比例。假设n
close
表示给定时间内眼睛闭合处于状态的总帧数，n
total
表示给定时间间隔内人脸图像的总帧数，则眼睛闭合度p根据下式计算：
[0062][0063]
眨眼频率标识在给定时间内眨眼次数所占的比例。假设nb表示给定时间间隔内的眨眼的次数，n
l
表示给定时间间隔内人脸图像的总帧数，则眨眼频率f
bf
根据下式计算：
[0064][0065]
嘴部张合度表示在给定时间内嘴部明显张大的图像所占的比例。假设nm表示在给定时间间隔内的嘴部明显张大的帧数，nh表示给定时间间隔内人脸图像的总帧数，则嘴部张合度oc
rate
根据下式计算：
[0066]
[0067]
其中，上述眼睛闭合、眨眼以及嘴部张大的图像可以根据定位的眼部关键点、嘴部关键点的位置判定。
[0068]
步骤s103：基于所述语音数据集，获取所述驾驶员的语音疲劳指数。
[0069]
本发明实施例考虑到，驾驶员在驾驶车辆的过程中若出现疲劳驾驶的情况，其大概率会发出表示疲劳的语音信息，比如：“我好困啊”、“好困！想睡觉”这种语音，更甚者驾驶员直接发出打哈欠的语音。这类表示疲劳的语音信息可以用于判断驾驶员是否疲劳驾驶。因此，本发明实施例采集驾驶员的语音数据，对其进行分析得出语音疲劳指数，将语音疲劳指数作为判断驾驶员是否疲劳驾驶的一个依据。该语音疲劳指数从语音特征维度表征驾驶员的疲劳程度，语音疲劳指数越高，驾驶员的疲劳程度越高。
[0070]
在可选的实施例中，可以根据如下过程确定驾驶员的语音疲劳指数：
[0071]
对语音数据集进行识别，确定语音数据集中属于疲劳语音的次数；
[0072]
根据语音数据集中属于疲劳语音的次数，确定驾驶员的语音疲劳指数。
[0073]
具体的，可以利用语音识别模型对语音数据集中的语音进行文本识别，确定语音数据对应的语音文本，并判断识别出的语音文本是否属于预设的疲劳语音文本。其中，预设的疲劳语音文本是可以预先设置的表示疲劳的语音文本，例如“好累啊”“好困”。同时，也可以利用语音分类模型对语音数据集中的语音进行分类，确定语音数据中的哈欠声。然后，统计语音数据集中出现的表示疲劳的语音的次数以及哈欠声的次数，将表示疲劳的语音的次数以及哈欠声的次数之和作为语音数据集中属于疲劳语音的次数c
tired
，代入下式进行计算得出语音疲劳指数s：
[0074][0075]
其中，c表示语音数据集中语音帧的长度，也可以表示目标时间段的时长。
[0076]
步骤s104：基于所述面部疲劳指数和所述语音疲劳指数，确定所述驾驶员是否处于疲劳驾驶状态。
[0077]
在可选的实施例中，可以根据如下过程确定驾驶员是否处于疲劳驾驶：
[0078]
分别确定面部疲劳指数对应的第一阈值、语音疲劳指数对应的第二阈值；
[0079]
对面部疲劳指数和第一阈值进行比较，以及对语音疲劳指数和第二阈值进行比较；
[0080]
在面部疲劳指数大于或等于第一阈值且语音疲劳指数大于或等于第二阈值的情况下，确定驾驶员处于疲劳驾驶。
[0081]
其中，面部疲劳指数可以是眼睛闭合度、眨眼频率、嘴巴张合度中的任一种或多种。在面部疲劳指数包括眼睛闭合度、眨眼频率、嘴巴张合度中的多种时，不同的面部疲劳指数对应不同的阈值。例如，面部疲劳指数包括眼睛闭合度和嘴巴张合度，则眼睛闭合度和嘴巴张合度分别对应的不同阈值。
[0082]
在可选的实施例中，还可以根据如下过程确定驾驶员是否处于疲劳驾驶：
[0083]
确定面部疲劳指数对应的第一权重；
[0084]
确定语音疲劳指数对应的第二权重；
[0085]
基于第一权重和第二权重，计算面部疲劳指数和语音疲劳指数的加权和；
[0086]
基于加权和，确定驾驶员是否处于疲劳驾驶。
[0087]
其中，面部疲劳指数可以包括眼睛闭合度、眨眼频率、嘴巴张合度中的任一种或多种。在面部疲劳指数包括眼睛闭合度、眨眼频率、嘴巴张合度中的多种时，不同的面部疲劳指数对应不同的权重。例如，在面部疲劳指数包括眼睛闭合度、眨眼频率、嘴巴张合度的情况下，确定面部疲劳指数对应的第一权重包括：确定眼睛闭合度对应的第一面部权重、眨眼频率对应的第二面部权重、嘴部张合度对应的第三面部权重。第一面部权重、第二面部权重和第三面部权重可以预先设置，本发明在此不做限制。然后，计算眼睛闭合度、眨眼频率、嘴部张合度和语音疲劳指数的加权和，并判断该加权和是否大于或等于第一目标阈值，在加权和大于或等于第一目标阈值的情况下，确定驾驶员处于疲劳驾驶。该加权和可以作为驾驶员的疲劳指数，疲劳指数越大表示驾驶员的疲劳程度越大。该加权和的计算公式可以如下式所示：
[0088]
f＝α1p+α2f
bf
+α3oc
rate
+α4s
[0089]
其中，α1、α2、α3、α4分别表示第一面部权重、第二面部权重、第三面部权重、第二权重，α1+α2+α3+α4＝1。在可选的实施例中，可以设置α1》α2》α3》α4。
[0090]
本发明实施例在基于脸部特征的疲劳检测的基础上，充分地利用驾驶员疲劳驾驶过程中发出表示疲劳驾驶的语音信息，将这种表示疲劳驾驶的声学特征信息融合到基于脸部特征的疲劳驾驶检测的结果中，解决了驾驶员在驾驶过程中出现的头部倾斜或者身体位置发生变化所导致的人脸图片捕捉不全的问题，提高了疲劳驾驶检测的准确率和可靠性。
[0091]
在可选的实施例中，该方法还包括：在确定驾驶员疲劳驾驶的情况下，输出疲劳预警信息。
[0092]
其中，疲劳提醒信息可以是语音信息，也可以是其他不影响安全驾驶的动作信息，例如在确定驾驶员疲劳驾驶的情况下，控制驾驶员的座椅进行震动。
[0093]
在可选的实施例中，在确定驾驶员疲劳驾驶的情况下，输出疲劳提醒信息的过程可以包括：
[0094]
在确定驾驶员疲劳驾驶的情况下，确定驾驶员的疲劳等级；
[0095]
输出与该疲劳等级对应的疲劳预警信息。
[0096]
其中，在根据面部疲劳指数与语音疲劳指数联合判断出驾驶员属于疲劳驾驶的情况下，可以根据眼睛闭合度、眨眼频率、嘴部张合度以及语音疲劳指数中的一种或多种确定驾驶员的疲劳等级。例如，在根据眼睛闭合度确定疲劳等级的情况下，可以预先设置多个数值区间，不同的数值区间对应不同的疲劳等级，然后确定驾驶员的眼睛闭合度对应的数值区间，该数据区间对应的疲劳等级即为驾驶员的疲劳等级确定驾驶员的疲劳等级后，输出与该疲劳等级对应的疲劳预警信息，疲劳等级越高，输出的疲劳预警信息越强烈。例如，在疲劳等级为低级时可以播放“请及时休息”语音，在疲劳等级为中级时可以播放“请务必停车休息”语音，在疲劳等级为高级时可以播放语音并使驾驶员的座椅震动。
[0097]
本发明实施例的疲劳驾驶检测方法，在确定驾驶员疲劳驾驶的情况下输出疲劳预警信息，可以提醒驾驶员及时停止疲劳驾驶，提高行车安全，进一步的可以确定驾驶员的疲劳等级，输出与该疲劳等级对应的疲劳预警信息，不仅可以动态地对驾驶员进行提醒，还能加强提醒效果。
[0098]
图2示出了本发明另一实施例的疲劳驾驶检测方法的流程图，如图2所示，该方法包括：
[0099]
步骤s201：根据预设的采集策略，采集驾驶员的人脸图像以及语音，获得人脸图像集以及语音数据集；
[0100]
步骤s202：基于所述人脸图像集，获取所述驾驶员的面部疲劳指数；所述面部疲劳指数包括以下一种或多种：眼睛闭合度、眨眼频率、嘴部张合度；
[0101]
步骤s203：基于所述语音数据集，获取所述驾驶员的语音疲劳指数；
[0102]
步骤s204：确定所述眼睛闭合度对应的第一面部权重、所述眨眼频率对应的第二面部权重、所述嘴部张合度对应的第三面部权重；确定所述语音疲劳指数对应的第二权重；
[0103]
步骤s205：基于所述第一面部权重、第二面部权重、第三面部权重和所述第二权重，计算所述眼睛闭合度、所述眨眼频率、所述嘴部张合度和所述语音疲劳指数的加权和；
[0104]
步骤s206：基于所述加权和以及所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种，确定所述驾驶员是否处于疲劳驾驶状态。
[0105]
步骤s207：在确定驾驶员疲劳驾驶的情况下，确定驾驶员的疲劳等级；
[0106]
步骤s208：输出与该疲劳等级对应的疲劳预警信息；
[0107]
其中，步骤s201-s205以及步骤s207-s208可以参考图1所示的实施例，本发明在此不再赘述。
[0108]
本发明实施例考虑到，驾驶员在行驶过程中可能播放音视频导致采集的音频数据集存在大量的环境音，进而导致的语音疲劳指数过小或过大，不能准确表征驾驶员疲劳程度，最后导致误检或漏检的情况，所以在判断驾驶员是否疲劳驾驶时，不仅仅可以基于面部疲劳指数与语音疲劳指数的加权和进行判断，还可以基于面部疲劳指数进行判断。具体的，可以根据如下过程确定：
[0109]
判断面部疲劳指数与语音疲劳指数的加权和是否大于或等于第一目标阈值；
[0110]
在该加权和大于或等于第一目标阈值的情况下，确定驾驶员处于疲劳驾驶；
[0111]
在该加权和小于第一目标阈值的情况下，判断眼睛闭合度、眨眼频率、嘴部张合度中的一种是否大于或等于对应的第二目标阈值；
[0112]
在眼睛闭合度、眨眼频率、嘴部张合度中的一种大于或等于对应的第二目标阈值的情况下，确定驾驶员处于疲劳驾驶。
[0113]
图3示出了本发明又一实施例的疲劳驾驶检测方法的流程图，如图3所示，该方法包括：
[0114]
步骤s301：根据预设的采集策略，采集驾驶员的人脸图像以及语音，获得人脸图像集以及语音数据集；
[0115]
步骤s302：基于所述人脸图像集，获取所述驾驶员的面部疲劳指数；
[0116]
步骤s303：基于所述语音数据集，获取所述驾驶员的语音疲劳指数；
[0117]
步骤s304：基于所述面部疲劳指数和所述语音疲劳指数，确定所述驾驶员是否处于疲劳驾驶状态；
[0118]
步骤s305：在确定驾驶员处于疲劳驾驶的情况下，输出疲劳预警信息；
[0119]
步骤s306：在输出疲劳预警信息的情况下，检测车辆的行驶特征，确定所述车辆是否停止行驶；
[0120]
步骤s307：在所述车辆未停止行驶的情况下，输出预设的警示信息。
[0121]
其中，步骤s301-s305可以参考图1和图2所示的实施例，本发明在此不再赘述。
[0122]
对于步骤s306-s307，在输出疲劳预警信息后，可以检测车辆的行驶特征如行驶速度、发动机的状态等，以判断车辆是否停止行驶、驾驶员是否停车休息。若车辆未停止行驶，则可以进一步的输出警示信息，以保证驾驶员停止疲劳驾驶。其中，警示信息可以与疲劳预警信息相同，也可以是比疲劳预警信息警示作用更强烈的信息，本发明在此不做限制。
[0123]
本发明实施例的疲劳驾驶检测方法，通过对输出疲劳预警信息后的车辆状态进行检测，确定驾驶员是否停止驾驶进行休息，在确定驾驶员未停止驾驶进行休息的情况下进一步地对驾驶员进行提醒的手段，可以进一步地保证行车安全。
[0124]
图4示出了本发明实施例的疲劳驾驶检测装置400的结构示意图，如图4所示，该装置400包括：
[0125]
采集模块401，用于根据预设的采集策略，采集驾驶员的人脸图像以及语音，获得人脸图像集以及语音数据集；
[0126]
图像识别模块402，用于基于所述人脸图像集，获取所述驾驶员的面部疲劳指数；
[0127]
语音识别模块403，用于基于所述语音数据集，获取所述驾驶员的语音疲劳指数；
[0128]
状态确定模块404，用于基于所述面部疲劳指数和所述语音疲劳指数，确定所述驾驶员是否处于疲劳驾驶状态。
[0129]
本发明实施例的疲劳驾驶检测装置，通过对驾驶员的人脸图像集和语音数据集分别进行分析，获得面部疲劳指数和语音疲劳指数，综合分析该面部疲劳指数和语音疲劳指数判断驾驶员是否处于疲劳驾驶的手段，从两个维度对驾驶员的状态进行判断，相比于单一维度的检测方法，能够有效地提高检测的准确性和可靠性，减少漏检和误检。
[0130]
可选地，所述状态确定模块还用于：确定所述面部疲劳指数对应的第一权重；确定所述语音疲劳指数对应的第二权重；基于所述第一权重和所述第二权重，计算所述面部疲劳指数和所述语音疲劳指数的加权和；基于所述加权和，确定所述驾驶员是否处于疲劳驾驶状态。
[0131]
可选地，所述状态确定模块还用于：：确定所述眼睛闭合度对应的第一面部权重、所述眨眼频率对应的第二面部权重、所述嘴部张合度对应的第三面部权重；基于所述第一面部权重、第二面部权重、第三面部权重和所述第二权重，计算所述眼睛闭合度、所述眨眼频率、所述嘴部张合度和所述语音疲劳指数的加权和；基于所述加权和以及所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种，确定所述驾驶员是否处于疲劳驾驶状态。
[0132]
可选地，所述状态确定模块还用于：确定所述加权和是否大于或等于第一目标阈值；在所述加权和大于或等于所述第一目标阈值的情况下，确定所述驾驶员处于疲劳驾驶；在所述加权和小于所述第一目标阈值的情况下，确定所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种是否大于或等于对应的第二目标阈值；在所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种大于或等于对应的第二目标阈值的情况下，确定所述驾驶员处于疲劳驾驶。
[0133]
可选地，所述状态确定模块还用于：在确定所述驾驶员处于疲劳驾驶的情况下，确定驾驶员的疲劳等级；输出与所述疲劳等级对应的疲劳预警信息。
[0134]
可选地，所述装置还包括行驶检测模块，用于：在输出所述疲劳预警信息或与所述疲劳等级对应的疲劳提示信息的情况下，检测车辆的行驶特征，确定所述车辆是否停止行驶；在所述车辆未停止行驶的情况下，输出预设的警示信息。
[0135]
可选地，所述采集模块用于：确定车辆的行驶时间，根据所述行驶时间，确定目标时间段；获取驾驶员在所述目标时间段内的人脸图像集以及语音数据集。
[0136]
可选地，所述图像识别模块还用于：确定所述人脸图像集中驾驶员眼睛处于闭合状态的第一目标图像，根据所述第一目标图像的帧数与所述人脸图像集的总帧数，确定所述眼睛闭合度；和/或，基于所述人脸图像集，确定
[0137]
所述驾驶员的眨眼次数；根据所述眨眼次数，确定所述眨眼频率；和/或，5确定所述人脸图像集中驾驶员嘴部轮廓处于预设状态的第二目标图像，根据
[0138]
所述第二目标图像的帧数与所述人脸图像集的总帧数，确定所述嘴部张合度。
[0139]
可选地，所述语音识别模块还用于：对所述语音数据集进行识别，确定所述语音数据集中属于疲劳语音的次数；根据所述语音数据集中属于疲劳语音的次数，确定所述驾驶员的语音疲劳指数。
[0140]
0上述装置可执行本发明实施例所提供的方法，具备执行方法相应的功能
[0141]
模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
[0142]
本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口5 502，存储器503通过通信总线504完成相互间的通信，
[0143]
存储器503，用于存放计算机程序；
[0144]
处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：
[0145]
根据预设的采集策略，采集驾驶员的人脸图像以及语音，获得人脸图像
[0146]
集以及语音数据集；
[0147]
0基于所述人脸图像集，获取所述驾驶员的面部疲劳指数；
[0148]
基于所述语音数据集，获取所述驾驶员的语音疲劳指数；
[0149]
基于所述面部疲劳指数和所述语音疲劳指数，确定所述驾驶员是否处于疲劳驾驶状态。
[0150]
上述终端提到的通信总线504可以是外设部件互连标准(peripheral 5component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该通信总线504可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0151]
通信接口502用于上述终端与其他设备之间的通信。
[0152]
存储器503可以包括随机存取存储器(random access memory，简称ram)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器501的存储装置。
[0153]
上述的处理器501可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0154]
在本发明提供的又一实施例中，还提供了一种计算机可读介质，该计算机可读介
质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的疲劳驾驶检测方法。
[0155]
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的疲劳驾驶检测方法。
[0156]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0157]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0158]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0159]
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

技术特征：
1.一种疲劳驾驶检测方法，其特征在于，包括：根据预设的采集策略，采集驾驶员的人脸图像以及语音，获得人脸图像集以及语音数据集；基于所述人脸图像集，获取所述驾驶员的面部疲劳指数；基于所述语音数据集，获取所述驾驶员的语音疲劳指数；基于所述面部疲劳指数和所述语音疲劳指数，确定所述驾驶员是否处于疲劳驾驶状态。2.根据权利要求1所述的方法，其特征在于，所述基于所述面部疲劳指数和所述语音疲劳指数，确定所述驾驶员是否处于疲劳驾驶状态，包括：确定所述面部疲劳指数对应的第一权重；确定所述语音疲劳指数对应的第二权重；基于所述第一权重和所述第二权重，计算所述面部疲劳指数和所述语音疲劳指数的加权和；基于所述加权和，确定所述驾驶员是否处于疲劳驾驶状态。3.根据权利要求2所述的方法，其特征在于，所述面部疲劳指数包括以下一种或多种：眼睛闭合度、眨眼频率、嘴部张合度。4.根据权利要求3所述的方法，其特征在于，所述确定所述面部疲劳指数对应的第一权重，包括：确定所述眼睛闭合度对应的第一面部权重、所述眨眼频率对应的第二面部权重、所述嘴部张合度对应的第三面部权重；所述基于所述第一权重和所述第二权重，计算所述面部疲劳指数和所述语音疲劳指数的加权和，包括：基于所述第一面部权重、第二面部权重、第三面部权重和所述第二权重，计算所述眼睛闭合度、所述眨眼频率、所述嘴部张合度和所述语音疲劳指数的加权和；所述基于所述加权和，确定所述驾驶员是否处于疲劳驾驶状态，包括：基于所述加权和以及所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种，确定所述驾驶员是否处于疲劳驾驶状态。5.根据权利要求4所述的方法，其特征在于，所述基于所述加权和以及所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种，确定所述驾驶员是否处于疲劳驾驶状态，包括：确定所述加权和是否大于或等于第一目标阈值；在所述加权和大于或等于所述第一目标阈值的情况下，确定所述驾驶员处于疲劳驾驶；在所述加权和小于所述第一目标阈值的情况下，确定所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种是否大于或等于对应的第二目标阈值；在所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种大于或等于对应的第二目标阈值的情况下，确定所述驾驶员处于疲劳驾驶。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：在确定所述驾驶员处于疲劳驾驶的情况下，确定驾驶员的疲劳等级；输出与所述疲劳等级对应的疲劳预警信息。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
在输出所述疲劳预警信息的情况下，检测车辆的行驶特征，确定所述车辆是否停止行驶；在所述车辆未停止行驶的情况下，输出预设的警示信息。8.根据权利要求1所述的方法，其特征在于，所述根据预设的采集策略，采集驾驶员的人脸图像以及语音，包括：确定车辆的行驶时间，根据所述行驶时间，确定采集周期以及采集时长；基于所述采集周期以及所述采集时长，采集驾驶员的人脸图像以及语音。9.根据权利要求3所述的方法，其特征在于，所述基于所述人脸图像集，获取所述驾驶员的面部疲劳指数，包括：确定所述人脸图像集中驾驶员眼睛处于闭合状态的第一目标图像，根据所述第一目标图像的帧数与所述人脸图像集的总帧数，确定所述眼睛闭合度；和/或基于所述人脸图像集，确定所述驾驶员的眨眼次数；根据所述眨眼次数，确定所述眨眼频率；和/或确定所述人脸图像集中驾驶员嘴部轮廓处于预设状态的第二目标图像，根据所述第二目标图像的帧数与所述人脸图像集的总帧数，确定所述嘴部张合度。10.根据权利要求1所述的方法，其特征在于，所述基于所述语音数据，获取所述驾驶员的语音疲劳指数，包括：对所述语音数据集进行识别，确定所述语音数据集中属于疲劳语音的次数；根据所述语音数据集中属于疲劳语音的次数，确定所述驾驶员的语音疲劳指数。11.一种疲劳驾驶检测装置，其特征在于，包括：采集模块，用于根据预设的采集策略，采集驾驶员的人脸图像以及语音，获得人脸图像集以及语音数据集；图像识别模块，用于基于所述人脸图像集，获取所述驾驶员的面部疲劳指数；语音识别模块，用于基于所述语音数据集，获取所述驾驶员的语音疲劳指数；状态确定模块，用于基于所述面部疲劳指数和所述语音疲劳指数，确定所述驾驶员是否处于疲劳驾驶状态。12.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的方法。13.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-10中任一所述的方法。

技术总结
本发明公开了一种疲劳驾驶检测方法、装置、电子设备及介质，涉及智能驾驶技术领域。该方法包括：根据预设的采集策略，采集驾驶员的人脸图像以及语音，获得人脸图像集以及语音数据集；基于人脸图像集，获取驾驶员的面部疲劳指数；基于语音数据集，获取驾驶员的语音疲劳指数；基于面部疲劳指数和语音疲劳指数，确定驾驶员是否处于疲劳驾驶。该方法通过对驾驶员的人脸图像集和语音数据集分别进行分析，从面部疲劳指数和语音疲劳指数两个维度判断驾驶员是否处于疲劳驾驶，相比于单一维度的检测方法，能够有效地提高检测的准确性和可靠性，减少漏检和误检。少漏检和误检。少漏检和误检。


技术研发人员：袁昌龙 王琳 吕方惠 夏敏
受保护的技术使用者：中国电信股份有限公司
技术研发日：2022.11.28
技术公布日：2023/7/6