一种疲劳驾驶检测警示系统、方法及汽车

1.本发明涉及汽车驾驶控制技术领域，特别是涉及一种疲劳驾驶检测警示系统、方法及汽车。


背景技术：

2.疲劳驾驶是全球交通事故中占比较高的事故成因，各国科研人员都在积极开发疲劳驾驶检测装置，以减小疲劳驾驶带来的严重危害。疲劳驾驶并不是一种瞬时状态，而是一种持续的、逐渐加重的过程，过程中瞬间就可能会导致灾难后果，因此要求疲劳检测系统能够在行车途中实时检测驾驶员的驾驶状态，在出现疲劳驾驶迹象时立即发出提示信息，或接入车辆控制系统强制减速停车，以保证行车安全。
3.在疲劳驾驶检测方面，美国华盛顿大学通过专用照相机、脑电图仪和其他辅助仪器来精确测量头部运动、瞳孔直径变化和眨眼频率来检测驾驶员状况。日本先锋公司研制了一款疲劳驾驶检测系统，通过方向盘上的心跳检测装置检测驾驶员的心跳速度变化，判断驾驶员的驾驶状况，在检测到疲劳驾驶时提醒司机注意。中国农业大学的研究团队使用ccd摄像机，将图像送入计算机，使用一系列算法进行人眼的定位和状态识别，计算出人眼闭合的时间从而判断驾驶员是否处于疲劳驾驶状态。上海交通大学的研究团队使用心电图来检测驾驶员的心率指标和心率变异性指标，监测驾驶员的状态。
4.从目前研究现状来看，通过ccd摄像机和心电脑电图等传感器能够有效获取驾驶员的生理指标，但上述的传感器体积庞大、安装过于复杂且造价高昂，反而容易干扰驾驶员正常驾驶；此外，传感器设备多需接入计算终端来处理数据和运行算法，普遍采用的x86计算机功耗高、体积大，难以在车载环境中部署使用。


技术实现要素：

5.本发明的目的是提供一种疲劳驾驶检测警示系统、方法及汽车，其中，疲劳驾驶检测警示系统及方法应用于汽车，能够基于仅设置图像获取传感器获取视觉特征即可对驾驶者进行疲劳监测，并在驾驶者疲劳时对疲劳驾驶者进行干预，减少了传感器设备的设置数量，提高了在车载环境中部署使用的合理性。
6.为实现上述目的，本发明提供了如下方案：
7.一种疲劳驾驶检测警示系统，所述疲劳驾驶检测警示系统应用于汽车，所述疲劳驾驶检测警示系统包括：视频采集模块和计算核心模块；
8.所述视频采集模块与所述计算核心模块连接；
9.所述视频采集模块用于采集驾驶者的视频；
10.所述计算核心模块用于根据所述视频确定驾驶者是否处于疲劳状态。
11.可选的，所述疲劳驾驶检测警示系统还包括声光报警模块和多感官干预模块；
12.所述声光报警模块和所述多感官干预模块均与所述计算核心模块连接；
13.所述声光报警模块用于在驾驶者处于疲劳状态时发出报警信号；
14.所述多感官干预模块用于在驾驶者处于疲劳状态时对驾驶者进行多感官干预；所述多感官干预包括视觉干预、触觉干预、听觉干预和嗅觉干预。
15.可选的，所述疲劳驾驶检测警示系统还包括电源模块；
16.所述电源模块与所述计算核心模块连接。
17.可选的，所述疲劳驾驶检测警示系统还包括显示屏；
18.所述显示屏与所述计算核心模块连接。
19.所述显示屏用于显示驾驶者的视频，以及驾驶者的视频中每一视频帧对应的驾驶者的疲劳状态。
20.一种疲劳驾驶检测警示方法，所述疲劳驾驶检测警示方法应用于所述的一种疲劳驾驶检测警示系统，所述疲劳驾驶检测警示方法包括：
21.获取采集驾驶者的视频；
22.根据所述视频确定驾驶者是否处于疲劳状态。
23.可选的，所述根据所述视频确定驾驶者是否处于疲劳状态，包括：
24.对集驾驶者的视频进行分帧处理，得到多帧驾驶者视频帧；
25.令迭代次数i＝1；
26.令连续疲劳帧数j＝0；
27.获取第i帧驾驶者视频帧为当前驾驶者视频帧；
28.提取当前驾驶者视频帧中驾驶者眼部行为特征；
29.提取当前驾驶者视频帧中驾驶者嘴部行为特征；
30.提取当前驾驶者视频帧中驾驶者头部行为特征；
31.将当前驾驶者视频帧中驾驶者眼部行为特征、嘴部行为特征和头部行为特征输入到疲劳分类模型中，得到当前驾驶者视频帧对应时刻驾驶者的是否处于疲劳状态；所述疲劳分类模型是利用多个驾驶者的历史驾驶视频，对朴素贝叶斯算法模型进行训练得到的；
32.若当前驾驶者视频帧对应时刻驾驶者处于非疲劳状态，则令迭代次数i的数值增加1，并返回步骤“令连续疲劳帧数j＝0”；
33.若当前驾驶者视频帧对应时刻驾驶者处于疲劳状态，则判断迭代次数i的值是否等于1，得到第一判断结果；
34.若所述第一判断结果为是，则令迭代次数i的数值增加1，并返回步骤“获取第i帧驾驶者视频帧为当前驾驶者视频帧”；
35.若所述第一判断结果为否，则令连续疲劳帧数j的数值增加1，并判断连续疲劳帧数是否大于第一连续疲劳帧数阈值，得到第二判断结果；
36.若所述第二判断结果为否，则令迭代次数i的数值增加1，并返回步骤“获取第i帧驾驶者视频帧为当前驾驶者视频帧”；
37.若所述第二判断结果为是，则判断连续疲劳帧数是否大于第二连续疲劳帧数阈值，得到第三判断结果；所述第二连续疲劳帧数阈值大于所述第一连续疲劳帧数阈值；
38.若所述第二判断结果为否，则采用一级干预模式对汽车进行干扰；
39.若所述第二判断结果为是，则采用二级干预模式对汽车进行干扰；所述二级干预模式的干扰程度大于所述一级干预模式。
40.可选的，所述根据所述视频确定驾驶者是否处于疲劳状态，还包括：
41.若当前驾驶者视频帧对应时刻驾驶者处于疲劳状态，则对驾驶者进行多感官干预；所述多感官干预包括视觉干预、触觉干预、听觉干预和嗅觉干预。
42.可选的，在所述获取采集驾驶者的视频之前，还包括：
43.获取多个驾驶者的历史驾驶视频；
44.对多个驾驶者的历史驾驶视频进行分帧处理，得到多帧历史驾驶视频帧；
45.标注每帧历史驾驶视频帧中驾驶者的疲劳状态；
46.提取每帧历史驾驶视频帧中驾驶者的眼部行为特征、嘴部行为特征和头部行为特征；
47.以同一历史驾驶视频帧中驾驶者的眼部行为特征、嘴部行为特征和头部行为特征为输入，以历史驾驶视频帧中驾驶者的疲劳状态为输出，对朴素贝叶斯算法模型进行训练，得到疲劳分类模型。
48.一种汽车，所述汽车应用所述的一种疲劳驾驶检测警示系统。
49.根据本发明提供的具体实施例，本发明公开了以下技术效果：
50.本发明的目的是提供一种疲劳驾驶检测警示系统、方法及汽车，其中，疲劳驾驶检测警示系统及方法应用于汽车，包括：视频采集模块和计算核心模块；所述视频采集模块与所述计算核心模块连接；所述视频采集模块用于采集驾驶者的视频；所述计算核心模块用于根据所述视频确定驾驶者是否处于疲劳状态。本发明通过设置计算核心模块能够基于仅设置图像获取传感器获取视觉特征即可对驾驶者进行疲劳监测，并在驾驶者疲劳时对疲劳驾驶者进行干预，减少了传感器设备的设置数量，提高了在车载环境中部署使用的合理性。
附图说明
51.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
52.图1为本发明实施例1中疲劳驾驶检测警示系统结构示意图；
53.图2为本发明实施例1中计算核心模块结构示意图；
54.图3为本发明实施例1中soc部分电路原理图；
55.图4为本发明实施例1中dram原理图；
56.图5为本发明实施例1中emmc原理图；
57.图6为本发明实施例1中电源管理单元示意图；
58.图7为本发明实施例1中无线局域网示意图；
59.图8为本发明实施例1中数据交换示意图；
60.图9为本发明实施例1中电源模块原理图；
61.图10为本发明实施例1中电源模块pcb示意图；
62.图11为本发明实施例1中视频采集模块示意图；
63.图12为本发明实施例1中视频采集模块电路pcb图；
64.图13为本发明实施例1中声光报警模块示意图；
65.图14为本发明实施例1中声光报警模块电路pcb图；
66.图15为本发明实施例1中led部分示意图；
67.图16为本发明实施例1中led部分pcb图；
68.图17为本发明实施例1中imu模块示意图；
69.图18为本发明实施例2中疲劳检测与预警流程图。
具体实施方式
70.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
71.本发明的目的是提供一种疲劳驾驶检测警示系统、方法及汽车，其中，疲劳驾驶检测警示系统及方法应用于汽车，能够基于仅设置图像获取传感器获取视觉特征即可对驾驶者进行疲劳监测，并在驾驶者疲劳时对疲劳驾驶者进行干预，减少了传感器设备的设置数量，提高了在车载环境中部署使用的合理性。
72.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
73.实施例1
74.如图1所示，本实施例提供了一种疲劳驾驶检测警示系统，疲劳驾驶检测警示系统应用于汽车，疲劳驾驶检测警示系统包括：视频采集模块和计算核心模块；视频采集模块与计算核心模块连接。
75.视频采集模块用于采集驾驶者的视频；计算核心模块用于根据视频确定驾驶者是否处于疲劳状态。疲劳驾驶检测警示系统还包括声光报警模块和多感官干预模块；声光报警模块和多感官干预模块均与计算核心模块连接；声光报警模块用于在驾驶者处于疲劳状态时发出报警信号；多感官干预模块用于在驾驶者处于疲劳状态时对驾驶者进行多感官干预；多感官干预包括视觉干预、触觉干预、听觉干预和嗅觉干预。疲劳驾驶检测警示系统还包括电源模块；电源模块与计算核心模块连接。疲劳驾驶检测警示系统还包括显示屏；显示屏与计算核心模块连接。显示屏用于显示驾驶者的视频，以及驾驶者的视频中每一视频帧对应的驾驶者的疲劳状态。
76.本专利提及的疲劳驾驶检测设备由计算核心模块、电源模块、视频采集模块、显示屏、声光报警模块组成。设备结构如图1所示。
77.1、计算核心模块
78.如图2，计算核心模块用于接收视频采集模块的数据，其上部署算法判断驾驶员疲劳状态。计算核心模块算力强、布局合理、功耗低、体积小，适合车载环境下稳定使用。
79.计算核心模块是一张印刷电路板，电路板分四层，表层和底层在布线的同时贴装元器件，中间内层只布线。电路板由soc、dram、emmc、pmu、wlan、uart等芯片组成，电路板上引出了tfcard、otg、uart、lcd、mipi、gpio拓展接口，供外部设备使用。
80.1.1soc部分
81.核心计算模块soc基于全志科技v853芯片，为异构高性能方案，采用cpu(通用运算处理器)+gpu(图形处理器)+npu(ai神经网络处理器)的异构设计。
82.cpu采用arm双核cortex-a72+四核cortex-a53的大小核(big-little)处理器架构设计，最高运行频率达1.8ghz。大小核设计能够同时兼顾计算能力和功耗，处理较为复杂的任务时调用大核或者大小核联动运行，而在处理简单任务或者待机的时，仅需要调用小核，因此计算终端能够在保持性能调度的同时，兼顾功耗表现，提升终端的运行效率和稳定性。
83.gpu采用arm mali-t860 mp4四核gpu，支持opengl、dx11等图形处理技术，支持4kvp9以及4k 10bits h265/h264视频解码，支持反交错、去噪、边缘细节色彩优化等视频后期处理技术。
84.npu支持8bit/16bit运算，兼容多种ai框架，支持tensorflow lite/androidnnapi，ai软件工具支持对caffe/tensorflow模型的导入及映射、优化，算力高达3.0tops，每秒可执行3万亿次运算。相较于gpu作为ai运算单元的传统大型芯片方案，使用npu运算功耗仅需gpu的1％，能大大降低终端功耗和发热量，提升系统稳定性。
85.异构设计充分综合了不同的处理核心对于不同类型数据处理的优势，将擅长标量运算的cpu、擅长矢量运算的gpu和擅长矩阵运算的npu有机融合，大大提高计算终端在面对复杂情况下的响应能力，提升设备的性能。soc部分电路原理图设计如图3所示。
86.1.2dram部分
87.如图4，dram(dynamic randomaccess memory)为动态随机存取存储器，用于存储soc的中间计算结果。计算核心模块dram采用512m ddr3颗粒，较大的dram容量能显著提升系统响应速度。
88.1.3emmc部分
89.如图5，emmc(embedded multi media card)为嵌入式多媒体卡，用于存储核心板固件和程序。emmc读取速度快、寿命长，能够在车载条件下应用。计算核心模块emmc采用32g颗粒。
90.1.4pmu
91.如图6，pmu(powermanagement unit)为电源管理单元，是一种控制数字平台电源功能的微控制芯片，能够将传统分立的若干类电源集成在单个封装的芯片内，实现更高的电源转换效率和更低的功耗。计算核心模块的pmu芯片直接与soc通讯，输出核心板需要的多路电压。
92.1.5wlan部分
93.wlan(wireless localareanetwork)为无线局域网。计算核心模块通过wlan与外部网路相连，可以上传相关数据，接收管理指令。此部分原理图如图7所示：
94.1.6uart、otg部分
95.uart(universal asynchronous receiver/transmitter)为通用异步收发传输器，用于计算核心模块和外部计算机通讯，可检测计算核心模块启动状态和故障排除修复。otg(on-the-go)应用于不同的设备或移动设备间的连接，进行数据交换。此部分原理图如图8所示：
96.2、电源模块
97.电源模块负责转换车载电瓶的输出电源至合适的电压，为疲劳驾驶监测系统提供电能。车载电瓶的输出电压一般为24v或12v，为了兼容两种不同的电压类型，需要电压模块有宽电压适应能力。此部分原理图如图9所示:
98.pcb设计遵循大电流覆铜的原则，尽量降低电源损耗，同时，通过布局设计优化隔离开关电源产生的高频干扰。电源模块pcb设计如图10所示：
99.3、视频采集模块
100.视频采集模块共有两个，用于采集驾驶员面部表情以及肢体动作和车前的路况，输入计算核心模块进行判断。视频采集模块硬件上为单目cmos摄像机，安装在车内仪表盘上方或其他不影响驾驶位置。
101.应采集的需要，摄像头需要满足清晰度、图像噪声方面的要求，此部分的原理图如图11所示：
102.电路pcb设计力求简洁和小型化，布局合理设计规范，如图12所示。
103.4、显示屏
104.显示屏用于显示驾驶人信息、行车过程中记录的数据、驾驶人状况和报警信息。显示屏与核心板连接，显示屏大小为7寸，可安放在车辆中控面板中，便于驾驶人查看。显示屏下方还装有rfid认证模块，可以对驾驶员信息进行注册认证和管理。
105.5、声光报警模块
106.声光报警模块通过视觉和听觉刺激对驾驶人进行提醒和警告。主要由音频驱动和led驱动组成。音频驱动采用pam8046功放芯片，为d类功放芯片，具有极低的功耗，可以提供双声道5w的输出，满足车载条件下的要求。此部分电路原理图如图13所示，pcb设计如图14所示。
107.led采用mos管pwm驱动，能够显著缩小驱动器体积，减小硬件成本。原理图如图15所示，驱动pcb设计如图16所示。
108.6、imu模块
109.imu模块由加速度传感器、地磁传感器和气压计组成，所用芯片型号包括mpu6050、hmc5883l和ms5611。
110.如图17，mpu6050是invensense公司推出的一款mems传感器，其内部集成了三轴加速度仪和三轴陀螺仪，且带有数字滤波器处理器，提高了输出数据的纯净度和稳定性。hmc5883l是honeywell公司推出的一款三轴地磁传感器，其内置的磁阻器件和处理电路直接输出数字信号，用于测量环境中的磁场信息。ms5611是meas公司推出的一款高分辨率气压传感器，能够结合环境温度精确测量气压数据，其分辨率可达10cm。
111.实施例2
112.本实施例公开了一种疲劳驾驶检测警示方法，疲劳驾驶检测警示方法应用于如实施例1的一种疲劳驾驶检测警示系统，疲劳驾驶检测警示方法包括：
113.步骤1：获取采集驾驶者的视频。
114.步骤2：视频确定驾驶者是否处于疲劳状态。
115.步骤2：包括：
116.对集驾驶者的视频进行分帧处理，得到多帧驾驶者视频帧。
117.令迭代次数i＝1。
118.令连续疲劳帧数j＝0。
119.获取第i帧驾驶者视频帧为当前驾驶者视频帧。
120.提取当前驾驶者视频帧中驾驶者眼部行为特征。
121.提取当前驾驶者视频帧中驾驶者嘴部行为特征。
122.提取当前驾驶者视频帧中驾驶者头部行为特征。
123.将当前驾驶者视频帧中驾驶者眼部行为特征、嘴部行为特征和头部行为特征输入到疲劳分类模型中，得到当前驾驶者视频帧对应时刻驾驶者的是否处于疲劳状态；疲劳分类模型是利用多个驾驶者的历史驾驶视频，对朴素贝叶斯算法模型进行训练得到的。
124.若当前驾驶者视频帧对应时刻驾驶者处于非疲劳状态，则令迭代次数i的数值增加1，并返回步骤“令连续疲劳帧数j＝0”。
125.若当前驾驶者视频帧对应时刻驾驶者处于疲劳状态，则判断迭代次数i的值是否等于1，得到第一判断结果。
126.若第一判断结果为是，则令迭代次数i的数值增加1，并返回步骤“获取第i帧驾驶者视频帧为当前驾驶者视频帧”。
127.若第一判断结果为否，则令连续疲劳帧数j的数值增加1，并判断连续疲劳帧数是否大于第一连续疲劳帧数阈值，得到第二判断结果。
128.若第二判断结果为否，则令迭代次数i的数值增加1，并返回步骤“获取第i帧驾驶者视频帧为当前驾驶者视频帧”。
129.若第二判断结果为是，则判断连续疲劳帧数是否大于第二连续疲劳帧数阈值，得到第三判断结果；第二连续疲劳帧数阈值大于第一连续疲劳帧数阈值。
130.若第二判断结果为否，则采用一级干预模式对汽车进行干扰。
131.若第二判断结果为是，则采用二级干预模式对汽车进行干扰；二级干预模式的干扰程度大于一级干预模式。
132.步骤2还包括：若当前驾驶者视频帧对应时刻驾驶者处于疲劳状态，则对驾驶者进行多感官干预；多感官干预包括视觉干预、触觉干预、听觉干预和嗅觉干预。
133.此外，在获取采集驾驶者的视频之前，还包括：获取多个驾驶者的历史驾驶视频；对多个驾驶者的历史驾驶视频进行分帧处理，得到多帧历史驾驶视频帧；标注每帧历史驾驶视频帧中驾驶者的疲劳状态；提取每帧历史驾驶视频帧中驾驶者的眼部行为特征、嘴部行为特征和头部行为特征；以同一历史驾驶视频帧中驾驶者的眼部行为特征、嘴部行为特征和头部行为特征为输入，以历史驾驶视频帧中驾驶者的疲劳状态为输出，对朴素贝叶斯算法模型进行训练，得到疲劳分类模型。
134.基于视觉特征并利用多感官方式制止疲劳驾驶的方法，主要流程为：采集驾驶员的面部状态信息，利用dlib库对驾驶员的眼睛和嘴巴两个关键状态进行识别，再通过识别到的面部特征预估驾驶员当前的疲劳状态；若判断驾驶员进入疲劳状态，则汽车进入主动疲劳干预模式，利用多感官方式缓解驾驶员的疲劳状态。
135.本方案采用phog算法结合dlib库进行人脸识别检测。算法通过摄像头提取视频帧，首先进行降噪及灰度处理，然后进行人脸检测和人脸68个关键点定位。根据眼、嘴以及头部等关键点坐标设定疲劳阈值，判断驾驶员面部及头部的疲劳状态。综合以上疲劳驾驶因素判断驾驶员的疲劳状态，并触发对应的预警措施，最大程度减少疲劳驾驶带来的风险。疲劳检测与预警流程图如图18所示。
136.具体包括以下步骤：
137.1.眼部、嘴部、头部检测及疲劳判定
138.通过phog算法可以提取出人脸各特征点位的横纵坐标。当驾驶员打瞌睡时，眼部会闭合，上眼皮和下眼皮之间的距离缩小，左眼角和右眼角之间的距离增加；嘴部会张开，上嘴唇和下嘴唇之间的距离增加，左嘴角和右嘴角之间的距离缩小；同时颈部肌群会放松，驾驶员会出现“点头”的情况。
139.由于在驾驶员打瞌睡的过程中眼部和嘴部出现的变化较为类似，可以作相似处理。可以将上下眼皮特征点之间的距离和左右眼角之间距离的比值ear以及上下嘴唇特征点之间的距离和左右嘴角之间距离的比值mar作为阈值以此判断驾驶员是否出现打瞌睡的情况。但由于嘴唇相较眼皮有一定厚度，可采用计算内外轮廓的mar值然后取平均的做法。具体算法如下所示：
[0140][0141][0142][0143][0144]
在头部检测中，我们知道头部可以产生三个方向的运动，分别是左右摆动roll、上下摆动pitch和旋转yaw。当驾驶员打瞌睡时，只有roll和pitch两种运动会发生。因此我们计算头部状态时需要将二维特征点转换为三维特征点并通过欧拉角计算驾驶员瞌睡阈值。最后，我们可以通过定义分别计算出眼部和嘴部的perclos值，具体算法如下所示：
[0145][0146]
2.朴素贝叶斯算法
[0147]
上述三种通过眼、嘴、头部等单一因素不能完全准确地判断驾驶员的状态。设想一种场景，驾驶员为了放松脖颈而主动做出roll和pitch的动作，此时驾驶员虽然并非处于疲劳状态，但很容易被误判为疲劳状态。因此，为了提高准确率，本文采用朴素贝叶斯算法进行进一步判断。由贝叶斯定理得：
[0148][0149]
由于导致驾驶员疲劳的条件相互独立，可得：
[0150]
p(x|ck)＝p(x1,x2,
…
xj|ck)＝πjp(xj|ck)。
[0151]
可得：
[0152][0153]
根据上式建立朴素贝叶斯分类器：
[0154][0155]
可得，输入疲劳驾驶的疲劳因素，得出概率最大的类别就是预测出的结果。
[0156]
式中，y＝f(x)表示设计的朴素贝叶斯分类器，给定的条件特征集为x＝(x1，x2，x3)，x1为眨眼的样本属性，x2为哈欠的样本属性，x3为瞌睡点头的样本属性，xj为特征集其中某一属性。y为类别集，y∈{c1，c2}，c1代表正常驾驶状态，c2代表疲劳驾驶状态，ck为类别集其中某一状态。argmin函数用来返回一个使函数值最小的值。∏j示从i＝1到i＝j函数的乘积。
[0157]
3.驾驶人多感官干预(对驾驶人)
[0158]
人体的感官是一个多元化的复杂系统，相较于传统的单感官干预，多感官干预的效果显著提升。人体有五大感官，包括触觉、听觉、味觉、视觉、嗅觉，其中味觉不具有可操作性，因此本方案的多感官干预包括对触觉、听觉、视觉和嗅觉的干预。值得注意的是，多感官干预系统可以与车辆中控系统和座舱控制系统连接，发出相应的控制指令。
[0159]
当判断驾驶员处于疲劳状态时，汽车会进入主动疲劳干预模式并进行如下干预手段：
[0160]
视觉干预：通过人车交互指令控制车辆打开氛围灯及顶灯，且亮度调至最大，通过增加眼部进光达到刺激视觉的效果；值得注意的是，在打开灯光时应该按照先打开氛围灯后打开顶灯的顺序进行操作，层次递增式地增加驾驶员的眼部进光，以防突然亮灯对驾驶员产生过度刺激，从而出现驾驶失控的情况。
[0161]
触觉干预：打开车座底部的振动模式以及车座靠背上的按摩模式，力度在5s内由一档逐渐调至最大；同时打开车载空调，进入外循环模式，温度调至16
°
，风力由一档逐渐调至最大；
[0162]
听觉干预：控制车载扬声器进行语音提醒并发出警报。由于人体感官在唤醒时对听觉特别敏感，直接用最大音量播报很容易对驾驶员造成惊吓，导致驾驶员操作失控，因此需要将音量逐级上调直至最大音量；
[0163]
嗅觉干预：设计一套车载智能喷雾装置，内含薄荷、冰片等提神醒脑成分，在驾驶员进入疲劳状态时喷出提神气体实现对疲劳驾驶的主动干预。
[0164]
4、其他干预手段(对外部环境)
[0165]
当驾驶人检测到疲劳驾驶动作时，除了对该车驾驶员提出警醒，使其快速脱离疲劳驾驶状态，还应当向外界发出信号，警示其他车辆以及行人该车可能存在风险，以期主动避让，防止可能的危险。
[0166]
将此部分的干预手段分为二级，对应不同的警示措施。
[0167]
其中，一级干预在进入疲劳驾驶状态3s后仍然没有解除时触发，具体动作为：自动间歇性鸣笛，鸣笛周期为1s。
[0168]
二级干预在进入疲劳驾驶状态8s后仍然没有解除时触发，具体动作为：自动鸣笛，打开双闪，间歇性自动制动，制动周期为1s，直至车辆完全停下。
[0169]
5、车辆偏航警示
[0170]
正常驾驶车辆时，驾驶员根据路况微调方向盘，保持车辆行驶方向防止偏航，此时利用imu(惯性测量单元)将测得行驶方向上连续动态随机的加速度值。当驾驶员进入疲劳驾驶状态时，对车辆几乎丧失控制能力，车辆将处于不受控状态，保持直行，此时利用imu(惯性测量单元)检测车辆运动轨迹，当车辆垂直于行驶方向的加速度长时间(5s)未检测到调整时，则可判定车辆存在偏离车道的风险。
[0171]
imu包括多个加速度传感器和角速度传感器，每个传感器的值都可能受到环境的干扰而发生一定的错误，因此需要利用卡尔曼滤波算法对每个传感器的值进行降噪滤波处理。
[0172]
卡尔曼滤波原理如下：
[0173]
设定系统方程为：
[0174]
x(k+1)＝f(k)x(k)+g(k)u(k)+v(k)。
[0175]
z(k)＝h(k)x(k)+ω(k)。
[0176]
其中，x(k)为状态变量，f(k)为系统矩阵，u(k)为输入信号，g(k)为输入矩阵，z(k)为观察变量，h(k)为观测矩阵，v(k)和ω(k)分别为过程噪声和观测噪声。其中过程噪声和观测噪声服从相互独立的高斯白噪声，即：
[0177]
p(v(k))～n(0,q(k))。
[0178]
p(ω(k))～n(0,r(k))。
[0179]
由高斯白噪声定义可知有如下关系式成立：
[0180]
q(k)＝cov{v(k)}＝e{v(k)v(k)
t
}。
[0181]
r(k)＝cov{ω(k)}＝e{ω(k)ω(k)
t
}。
[0182]
其中q(k)为过程噪声协方差矩阵，r(k)过测量噪声协方差矩阵，cov{
·
}表示协方差，e{
·
}表示期望。
[0183]
定义如下变量：
[0184]
表示在k时刻对x(k+1)的估计值(还没用测量值进行修正的中间变量)。表示在k+1时刻对x(k+1)的估计值。表示在k时刻对z(k+1)的估计值。则卡尔曼滤波过程为：
[0185]
(1)状态时间更新：
[0186][0187]
(2)误差协方差时间更新：
[0188]
p-(k+1)＝f(k)p(k)f
t
(k)+q(k)。
[0189]
(3)卡尔曼增益状态更新(校正)：
[0190]
w(k+1)＝p-(k+1)h
t
(k+1)(h(k+1)p-(k+1)h
t
(k+1)+r(k+1))-1
。
[0191]
(4)估计值状态更新(校正)：
[0192][0193]
(5)误差协方差状态更新(校正)：
[0194]
p(k+1)＝(i-w(k+1)h(k+1))p-(k+1)。
[0195]
其中，k表示时刻，x(k)为状态变量，表示k时刻系统状态，表示在k时刻对x
(k+1)的估计值(先验估计)，f(k)为系统矩阵，表示在k+1时刻对x(k+1)的估计值(后验估计)，g(k)为输入矩阵，u(k)为输入信号。p-(k+1)表示先验误差的协方差矩阵，具体为p(k)表示后验误差的协方差矩阵，具体为f
t
(k)表示系统矩阵的转置，q(k)为过程噪声协方差矩阵。w(k+1)表示k+1时刻的卡尔曼增益值，h
t
(k+1)表示k+1时刻观测矩阵的转置，h(k+1)表示k+1时刻的观测矩阵，r(k+1)表示过测量噪声协方差矩阵。
[0196]
此时，根据处理后的imu检测结果，打开对应方向的转向灯以警示他人。
[0197]
6、疲劳驾驶状态的解除
[0198]
若多感官干预措施有效，则通过上述算法判断是否解除疲劳驾驶状态，接触疲劳驾驶状态后，多感官干预措施即可关闭。此后再次进入检测阶段，循环进行算法。
[0199]
实施例3
[0200]
本实施例提供了一种汽车，汽车应用如实施例1的一种疲劳驾驶检测警示系统。
[0201]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0202]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种疲劳驾驶检测警示系统，其特征在于，所述疲劳驾驶检测警示系统应用于汽车，所述疲劳驾驶检测警示系统包括：视频采集模块和计算核心模块；所述视频采集模块与所述计算核心模块连接；所述视频采集模块用于采集驾驶者的视频；所述计算核心模块用于根据所述视频确定驾驶者是否处于疲劳状态。2.根据权利要求1所述的一种疲劳驾驶检测警示系统，其特征在于，所述疲劳驾驶检测警示系统还包括声光报警模块和多感官干预模块；所述声光报警模块和所述多感官干预模块均与所述计算核心模块连接；所述声光报警模块用于在驾驶者处于疲劳状态时发出报警信号；所述多感官干预模块用于在驾驶者处于疲劳状态时对驾驶者进行多感官干预；所述多感官干预包括视觉干预、触觉干预、听觉干预和嗅觉干预。3.根据权利要求1所述的一种疲劳驾驶检测警示系统，其特征在于，所述疲劳驾驶检测警示系统还包括电源模块；所述电源模块与所述计算核心模块连接。4.根据权利要求1所述的一种疲劳驾驶检测警示系统，其特征在于，所述疲劳驾驶检测警示系统还包括显示屏；所述显示屏与所述计算核心模块连接。所述显示屏用于显示驾驶者的视频，以及驾驶者的视频中每一视频帧对应的驾驶者的疲劳状态。5.一种疲劳驾驶检测警示方法，其特征在于，所述疲劳驾驶检测警示方法应用于如权利要求1-4任一项所述的一种疲劳驾驶检测警示系统，所述疲劳驾驶检测警示方法包括：获取采集驾驶者的视频；根据所述视频确定驾驶者是否处于疲劳状态。6.根据权利要求5所述的一种疲劳驾驶检测警示方法，其特征在于，所述根据所述视频确定驾驶者是否处于疲劳状态，包括：对集驾驶者的视频进行分帧处理，得到多帧驾驶者视频帧；令迭代次数i＝1；令连续疲劳帧数j＝0；获取第i帧驾驶者视频帧为当前驾驶者视频帧；提取当前驾驶者视频帧中驾驶者眼部行为特征；提取当前驾驶者视频帧中驾驶者嘴部行为特征；提取当前驾驶者视频帧中驾驶者头部行为特征；将当前驾驶者视频帧中驾驶者眼部行为特征、嘴部行为特征和头部行为特征输入到疲劳分类模型中，得到当前驾驶者视频帧对应时刻驾驶者的是否处于疲劳状态；所述疲劳分类模型是利用多个驾驶者的历史驾驶视频，对朴素贝叶斯算法模型进行训练得到的；若当前驾驶者视频帧对应时刻驾驶者处于非疲劳状态，则令迭代次数i的数值增加1，并返回步骤“令连续疲劳帧数j＝0”；若当前驾驶者视频帧对应时刻驾驶者处于疲劳状态，则判断迭代次数i的值是否等于1，得到第一判断结果；
若所述第一判断结果为是，则令迭代次数i的数值增加1，并返回步骤“获取第i帧驾驶者视频帧为当前驾驶者视频帧”；若所述第一判断结果为否，则令连续疲劳帧数j的数值增加1，并判断连续疲劳帧数是否大于第一连续疲劳帧数阈值，得到第二判断结果；若所述第二判断结果为否，则令迭代次数i的数值增加1，并返回步骤“获取第i帧驾驶者视频帧为当前驾驶者视频帧”；若所述第二判断结果为是，则判断连续疲劳帧数是否大于第二连续疲劳帧数阈值，得到第三判断结果；所述第二连续疲劳帧数阈值大于所述第一连续疲劳帧数阈值；若所述第二判断结果为否，则采用一级干预模式对汽车进行干扰；若所述第二判断结果为是，则采用二级干预模式对汽车进行干扰；所述二级干预模式的干扰程度大于所述一级干预模式。7.根据权利要求6所述的一种疲劳驾驶检测警示方法，其特征在于，所述根据所述视频确定驾驶者是否处于疲劳状态，还包括：若当前驾驶者视频帧对应时刻驾驶者处于疲劳状态，则对驾驶者进行多感官干预；所述多感官干预包括视觉干预、触觉干预、听觉干预和嗅觉干预。8.根据权利要求6所述的一种疲劳驾驶检测警示方法，其特征在于，在所述获取采集驾驶者的视频之前，还包括：获取多个驾驶者的历史驾驶视频；对多个驾驶者的历史驾驶视频进行分帧处理，得到多帧历史驾驶视频帧；标注每帧历史驾驶视频帧中驾驶者的疲劳状态；提取每帧历史驾驶视频帧中驾驶者的眼部行为特征、嘴部行为特征和头部行为特征；以同一历史驾驶视频帧中驾驶者的眼部行为特征、嘴部行为特征和头部行为特征为输入，以历史驾驶视频帧中驾驶者的疲劳状态为输出，对朴素贝叶斯算法模型进行训练，得到疲劳分类模型。9.一种汽车，其特征在于，所述汽车应用如权利要求1-4任一项所述的一种疲劳驾驶检测警示系统。

技术总结
本发明提供了一种疲劳驾驶检测警示系统、方法及汽车，其中，疲劳驾驶检测警示系统及方法应用于汽车，包括：视频采集模块和计算核心模块；所述视频采集模块与所述计算核心模块连接；所述视频采集模块用于采集驾驶者的视频；所述计算核心模块用于根据所述视频确定驾驶者是否处于疲劳状态。本发明通过设置计算核心模块能够基于仅设置图像获取传感器获取视觉特征即可对驾驶者进行疲劳监测，并在驾驶者疲劳时对疲劳驾驶者进行干预，减少了传感器设备的设置数量，提高了在车载环境中部署使用的合理性。理性。理性。


技术研发人员：王景升 梅杰 姚辰达
受保护的技术使用者：中国人民公安大学
技术研发日：2023.03.09
技术公布日：2023/6/7