融合局部全局人脸特征的驾驶员疲劳检测方法

1.本发明属于辅助驾驶领域，具体涉及一种融合局部全局人脸特征的驾驶员疲劳检测方法。


背景技术：

2.驾驶员疲劳是驾驶员的持续职业危害，是道路事故的主要原因，对道路安全也有影响。据统计，高速公路交通事故占事故总数的11.09％。驾驶员疲劳是高速公路交通事故的最大贡献者，据估计，所有交通事故占所有交通事故的2％-23％。由于难以评估与疲劳相关的碰撞的确切数量，这些数字仍然是保守估计。公路路面宽阔平坦，空间参照少，交通速度高，提供了单调的驾驶环境。所有车辆都沿着各自的车道行驶，在高速公路上高速有序行驶。在这种单调的交通环境中长时间驾驶需要驾驶员长时间持续关注，它不可避免地伴随着警觉性的下降，导致性能下降和更高的事故风险。此外，驾驶员表现的大幅下降会受到两个生理因素的显着影响——昼夜节律和睡眠质量，很大一部分与疲劳有关的事故大约发生在凌晨2-6点和下午2-4点之间。在这两个时间段内，驾驶员的身体很容易进入自然困倦状态，从而增加了撞车的机会。同时，睡眠质量在驾驶员的行为中起着至关重要的作用。睡眠剥夺会导致功能的各个方面基本上退化，包括认知过程、注意力和专注力、警觉性、身体协调、判断、意识和决策、沟通和许多其他参数。许多先前的研究指出，睡眠剥夺几乎与酒后驾车具有相同的危险影响。
3.在过去的几十年里，疲劳检测技术一直是预防疲劳相关事故的广泛希望。到目前为止，研究人员已经研究了几种不同类型的疲劳检测技术。根据检测特征的不同，疲劳检测方法可大致分为四类：主观报告、生理信号、车辆轨迹和面部特征。主观报告不太适合实时检测；生理信号是疲劳的直接量度。然而，由于传感器的侵入性，它们的应用不容易推广；车辆轨迹的准确性不太可靠，因为它取决于道路因素和驾驶员的驾驶技能；基于面部特征的疲劳检测越来越流行，它通常比车辆轨迹更可靠，因为它注重人的表现，而不是外部设备。此外，面部表情检测是非侵入性的，比生理信号更实用。
4.因此，致力于开发一种疲劳检测模型，通过视频捕捉面部特征，基于视频的疲劳预警系统能够及时给出预警提示并接收驾驶员反馈，具有很高的实用价值。


技术实现要素：

5.针对现有技术的不足，本发明的目的在于提供一种融合驾驶员全局面部和局部细节特征的疲劳检测方法，以解决上述背景技术中提出的问题。
6.本发明的目的可以通过以下技术方案实现：
7.一种融合局部全局人脸特征的驾驶员疲劳检测方法，所述方法包括：
8.步骤1：对采集的真实行车数据集进行视频分帧处理，适配图片的标签；
9.步骤2：对得到的数据集图片进行多任务卷积神经网络mtcnn人脸对齐和人脸定位；
10.步骤3：对处理过的图像进行mte多粒度特征提取，获得全局和局部的人脸特征图像；
11.步骤4：将全局人脸图像输入全局特征提取网路gl-net中训练学习，局部特征图像输入局部特征提取网络pl-net中训练学习；
12.步骤5：将gl-net和pl-net两个网络输出的预测概率按不同的权重进行集成学习，计算最终的预测概率。概率大于0.5，结果为疲劳；小于0.5，结果为清醒；
13.优选地，所述步骤2中多任务卷积神经网络mtcnn主体包括p-net、r-net、和o-net三层网络结构。其中p-net全称为proposal network，其基本的构造是一个全卷积网络。对上一步构建完成的图像金字塔，通过一个全卷积网络进行初步特征提取与标定边框，并进行边界框回归调整窗口与非极大值抑制进行大部分窗口的过滤。r-net全称为refine network，其基本的构造是一个卷积神经网络，相对于第一层的p-net来说，增加了一个全连接层，因此对于输入数据的筛选会更加严格。在图片经过p-net后，会留下许多预测窗口，我们将所有的预测窗口送入r-net，这个网络会滤除大量效果比较差的候选框，最后对选定的候选框进行边界框回归和非极大值抑制进一步优化预测结果。o-net全称为output network，基本结构是一个较为复杂的卷积神经网络，相对于r-net来说多了一个卷积层。o-net的效果与r-net的区别在于这一层结构会通过更多的监督来识别面部的区域，而且会对人的面部特征点进行回归，最终输出五个人脸面部特征点。
14.优选地，所述步骤3中mte多粒度特征提取方法利用mtcnn网络定位的人脸框，将人脸框进行裁剪作为全局人脸特征图像；利用mtcnn网络定位的五个特征点，按照三庭五眼的比例，对左眼、右眼、眉间和嘴巴四个特征区域进行定位，裁剪四个特征区域，组合成为局部特征图像。
15.优选地，所述步骤4中全局特征提取网络gl-net的组成由改进resnet34和lstm组成，学习全局人脸的空间特征信息。改进的resnet34网络将最后一层的平均值池化替换成多尺度池化spp，提取多尺度的空间信息。输出的特征序列作为lstm网络的输入，学习时域信息，其lstm输出为基于全局人脸的疲劳预测概率；局部特征提取网络pl-net的组成由改进resnet18和lstm组成，改进的resnet18和上述resnet34相同，其lstm输出为基于局部人脸特征的疲劳预测概率。
16.优选地，所述步骤5中对gl-net和pl-net两个网络的预测概率进行集成学习，重新分配不同的权重α和β，计算最终的预测概率。其中集成学习中两个网络的不同权重由各自的网络训练中得到。
17.本发明的有益效果：
18.1、本发明基于融合局部全局人脸特征的驾驶员疲劳检测方法，通过融合驾驶员面部的全局特征和局部特征，结合时间和空间特征，大幅提高对驾驶员疲劳驾驶的检测精度；
19.2、本发明基于融合局部全局人脸特征的驾驶员疲劳检测方法，通过对驾驶员全局特征提取网络和局部特征提取网络进行集成学习，重新分配权重，加大了局部特征对预测结果的比重，极大提升了对驾驶员疲劳检测的准确性。
附图说明
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1是本发明方法流程图；
22.图2是多粒度特征提取方法图；
23.图3是全局特征提取网络图；
24.图4是局部特征提取网络图；
25.图5是长短期递归神经网络图；
具体实施方式
26.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
27.请参阅图1至图5所示，一种融合局部全局人脸特征的驾驶员疲劳检测方法，该方法包括：
28.步骤1：对采集的真实行车数据集进行视频分帧处理，适配图片的标签；
29.本发明中将数据集中视频按照30帧/秒分割完成，获取30000张图片作为训练数据集，每张图片大小固定为240
×
240，相应的疲劳标签对应。
30.步骤2：对得到的数据集图片进行多任务卷积神经网络mtcnn人脸对齐和人脸定位；
31.本发明中，将处理好的训练图片通过多任务卷积神经网络mtcnn进行人脸对齐和人脸定位，找到左眼、右眼、鼻子、嘴巴的五个特征点。多任务卷积神经网络的权重采用初始权重。
32.步骤3：对处理过的图像进行mte多粒度特征提取，获得全局人脸图像和局部特征图像。
33.本发明中，全局人脸图像即mtcnn网络定位的人脸框，将人脸框裁剪作为全局人脸图像，并将图像resize成224
×
224，作为全局特征提取网络的输入；局部特征图像利用mtcnn定位的五个特征点，通过特征点的二维坐标，以左眼和右眼的欧式距离作为基准，通过基准距离获得每个特征区域的左上角点的坐标，最后裁剪出四个特征区域。每个特征区域的尺寸resize成90*90，将四个特征区域合并成一张图片，图片尺寸为180*180，作为局部特征提取网络的输入；
34.步骤4：全局特征提取网络对输入的全局人脸图片进行时空特征信息的学习，局部特征提取网络对输入的局部特征图片进行时空特征信息的学习；
35.本发明中，全局特征提取网络由改进的resnet34和lstm组成，全局人脸图像的尺寸为224
×
224，输入改进resnet34网络中，通过卷积池化的操作，学习其空间特征信息，输出的256维特征向量作为lstm网络的输入，lstm网络学习序列中的时间信息，将步长设置为20，即学习先前20帧图像的相关性，预测下一帧的状态，输出疲劳的概率；局部特征提取网络由改进的resnet18和lstm组成，全局人脸图像的尺寸为180
×
180，输入改进resnet18网络中，通过卷积池化的操作，学习局部特征图像的空间特征信息，输出的256维特征向量作
为lstm网络的输入，lstm网络学习序列中的时间信息，将步长设置为20，即学习先前20帧图像的相关性，预测下一帧的状态，输出疲劳的概率；
36.步骤5：将步骤4中的全局和局部两个网络输出的预测概率进行集成学习，重新分配不同的权重，相应的权重在网络训练过程中产生，计算最终的预测概率。
37.本发明中，全局特征提取网络输出的预测概率为权重为α；局部特征提取网络输出的概率为权重为β。对两个网络的预测概率进行集成学习，按照各自训练产生的权重进行线性融合，计算最终的预测概率y，重进行线性融合，计算最终的预测概率y，当y》0.5时，驾驶员状态判定为疲劳，y《0.5时，驾驶员状态判定为清醒。
38.在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
39.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
40.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
41.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
42.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
43.最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

技术特征：
1.一种融合局部全局人脸特征的驾驶员疲劳检测方法，其特征在于，所述方法包括：步骤1：对采集的真实行驶数据集进行视频分帧处理，适配每帧图片的疲劳标签；步骤2：对得到的数据集图片使用多任务卷积神经网络mtcnn进行人脸对齐和人脸定位；步骤3：对mtcnn检测过的图片进行mte多粒度特征提取，获得全局人脸图像和局部特征图像；步骤4：将全局人脸图像输入全局特征提取网络gl-net中训练学习，局部特征图像输入局部特征提取网络pl-net中训练学习；步骤5：将训练好的两个模型预测的概率重新分配各自的权重，进行集成学习，获得最终的预测概率，输出驾驶员状态；2.根据权利要求1所述的一种融合局部全局人脸特征的驾驶员疲劳检测方法，其特征在于，所述步骤3所使用的多粒度特征提取方法mte，对步骤2处理过的图片进行局部特征图片和全局特征图片的提取。全局特征图片的获得根据mtcnn网络的定位框获得，裁剪人脸定位框即可获得全局特征图片；局部特征图片的获得根据五个特征点对面部特征进行裁剪，将面部的左眼、右眼、眉间和嘴巴四个特征区域裁剪成四个patch,随后将这四个patch拼接到一个新的图片，即为局部特征图片。3.根据权利要求1所述的一种融合局部全局人脸特征的驾驶员疲劳检测方法，其特征在于，所述步骤4所使用全局特征提取网络gl-net和局部特征提取网络pl-net分别进行训练，分别获得人脸全局信息和局部信息。其中gl-net由改进的resnet34和lstm构成，输入为全局人脸图像；pl-net由改进的resnet18和lstm构成，输入为局部特征图像。4.根据权利要求1所述的一种融合局部全局人脸特征的驾驶员疲劳检测方法，其特征在于，所述步骤5将pl-net和gl-net输出的预测概率进行集成学习，重新赋给不同的权重，计算最终的预测概率。5.一种融合局部全局人脸特征的驾驶员疲劳检测方法，储存有运行权利要求1-4任意一项所述的融合局部全局人脸特征的驾驶员疲劳检测方法程序。

技术总结
本发明公开了辅助驾驶领域的一种融合局部全局人脸特征的驾驶员疲劳检测方法，所述方法包括：对真实行车采集的数据进行处理；对数据集图片中的人脸使用多任务卷积神经网络MTCNN网络进行人脸对齐和人脸定位；将处理的图片使用多粒度特征提取方法MTE获得人脸面部全局图像和局部细节图像；将全局人脸图像输入GT-Net中训练，局部特征图像输入PT-Net中训练；对GT-Net和PT-Net两个网络的预测概率进行集成学习，重新分配权重，获得疲劳检测的最终结果。本发明结合驾驶员面部全局图像和局部图像的不同信息，融合了两个模型的预测结果，提高对驾驶员疲劳驾驶的检测精度。高对驾驶员疲劳驾驶的检测精度。高对驾驶员疲劳驾驶的检测精度。


技术研发人员：梁兴柱 姚伟
受保护的技术使用者：安徽理工大学
技术研发日：2023.04.21
技术公布日：2023/8/24