一种基于多特征融合的危险驾驶管控方法及系统与流程

1.本发明涉及车辆安全控制技术领域，更具体的，涉及一种基于多特征融合的危险驾驶管控方法及系统。


背景技术：

2.危险驾驶是引发交通事故的重要因素之一。一方面，驾驶员在情绪不稳定或愤怒的时候驾驶车辆时，会出现危险驾驶；另一方面，驾驶员在吸食毒品或酒精的作用下，产生极度兴奋，也容易做出危险驾驶行为。当驾驶员连续做出危险驾驶动作，产生与其他同行车辆冲突的可能，极易产生道路交通事故。危险驾驶是引发交通事故的重要因素，每年由于疲劳驾驶引发的交通事故不计其数。引发危险驾驶的原因又多个方面：1)情绪愤怒；2)极端兴奋；3)竞争心理；4)疲劳驾驶。
3.目前，现有的危险驾驶感知方式采用单一的线索，一般通过驾驶员，或车辆操控信号等线索去发现危险驾驶，但是这种方式鲁棒性可靠性较低，误判率较高。又或者现有的危险驾驶提醒方式大多是通过语音提醒等方式提醒驾驶员，不能主动避免或干预危险驾驶的方法。
4.当前的危险驾驶提醒系统，只能够提醒车辆，并不能控制车辆，且不能从根本上消除隐患。


技术实现要素：

5.本发明为了解决现有技术不能够主动干预危险驾驶行为，当面对做出危险驾驶行为的驾驶员时，仅通过辅助提醒的方式不能从根本上消除危险驾驶的问题，提供了一种基于多特征融合的危险驾驶管控方法及系统，其不仅能实现辅助提醒，还能主动干预危险驾驶行为，从而实现从根本上消除危险驾驶。
6.为实现上述本发明目的，采用的技术方案如下：
7.一种基于多特征融合的危险驾驶管控方法，所述的方法包括步骤如下：
8.获取驾驶员状态特征和车辆操控特征，并根据权重系数计算驾驶行为危险度；
9.将驾驶行为危险度输入第一神经网络判断驾驶员当前状态是否存在危险驾驶，当存在危险驾驶时，进行报警提示；
10.在报警提示满足设定的条件后，将车辆信息发送给云端控制系统，所述云端控制系统根据车辆信息规划出当前车辆的停车路线；
11.将车辆控制权切换给所述云端控制系统，并由云端控制系统根据停车路线控制车辆停在指定地点；
12.直到检测安全后，解除云端控制系统的车辆控制权。
13.优选地，所述驾驶员状态特征通过采集驾驶员的面部图像和声音信息进行分析判断。
14.进一步地，根据采集驾驶员的面部图像进行分析判断驾驶员状态特征，具体如下：
15.将采集的驾驶员的面部图像输入第二神经网络识别出驾驶员的眼睛和嘴巴，再通过第三神经网络判别嘴巴和眼睛的开合状态；
16.当驾驶员的眼睛睁开，嘴巴闭合时，认为驾驶员处于清醒状态；
17.当驾驶员的眼睛闭合，嘴巴闭合时，认为驾驶员处于困倦状态；
18.当驾驶员的眼睛和嘴巴都是张开时，认为驾驶员处于激动状态。
19.进一步地，根据采集驾驶员的声音信息进行分析判断驾驶员状态特征，具体如下：
20.将采集驾驶员的声音信息输入卷积神经网络提出语音信号中的谱特征和声纹特征，再通过特征融合提取出其中暴力言语特征，利用分类神经网络lstm识别声音中是否存在暴力言语，进行判断驾驶员的情绪是愤怒或者正常。
21.再进一步地，将整个驾驶员的面部图像的状态特征时间序列、或声音信息的状态特征时间序列，输入长短期记忆模型；所述的长短期记忆模型中的记忆单元的细胞状态，不断更新记录面部图像或声音信息的状态特征时间序列，直到结束后输出给融合网络，用于通过添加权重系数计算驾驶行为危险度。
22.优选地，所述车辆操控特征包括急加速、急减速、方向盘转动速度、车速。
23.进一步地，通过车端传感器检测得到方向盘转动角度时间序列、油门踏板力度时间序列、刹车踏板力度时间序列、车轮转速时间序列几种车端数据信息；
24.先对车端数据信息进行预处理，再将车端数据信息输入到深度卷积神经网络，提取得到急加速、急减速、方向盘转动速度、车速几种车辆操控特征时间序列；
25.再将车辆操控特征时间序列输入长短期记忆模型，提取出车辆操控特征时间序列中的特征信息；
26.将提取出的特征信息输入融合网络，用于通过添加权重系数计算驾驶行为危险度。
27.优先地，所述权重系数，根据采集驾驶员以往的驾驶行为，通过驾驶行为分析得到驾驶员在不同状态特征下所对应的车辆操控特征，计算出危险驾驶操作下的权重系数。
28.优先地，判断驾驶员当前状态是否存在危险驾驶，具体，设定一个次数阈值，当驾驶员的危险驾驶行为达到设定的次数阈值后，判断存在危险驾驶。
29.优先地，所述报警提示满足设定的条件，具体指，报警提示超过预设的时间阈值，或者报警提示超过预设的报警次数阈值。
30.优先地，在将车辆控制权切换给所述云端控制系统之前，所述云端控制系统先获取车主授权云端控制系统控制车辆的权限，并签订安全驾驶协议书。
31.优先地，将车辆信息发送给云端控制系统的同时，还将车辆信息广播给周围其他车辆；所述的车辆信息包括车辆的位置信息、id信息。
32.优先地，将车辆信息发送给云端控制系统，所述云端控制系统还根据车辆信息锁定车辆位置。
33.优选地，还获取车辆在道路上行驶的运动轨迹图像，根据运动轨迹图像提取车辆在不存在其他干扰车辆的情况下，任意变换车道、刹车信息；并提取在其他车辆存在时，与其他车辆之间的竞争操控信息，进一步确定是否存在危险驾驶；所述的车辆信息包括车辆的位置信息、id信息。
34.优选地，将驾驶行为危险度划分为不同等级，根据不同的等级执行对应的管控干
预策略。
35.一种危险驾驶管控系统，包括车辆、基站、云端控制系统；
36.其中，所述车辆执行如上所述的基于多特征融合的危险驾驶管控方法；
37.所述的车辆通过基站将车辆信息发送给云端控制系统；所述云端控制系统根据车辆信息规划出当前车辆的停车路线，并根据停车路线控制车辆停在指定地点。
38.优选地，还包括路端摄像头，用于获取车辆在道路上行驶的运动轨迹图像，并将运动轨迹图像通过基站传输给车辆；所述的车辆根据运动轨迹图像提取车辆在不存在其他干扰车辆的情况下，任意变换车道、刹车信息；并提取在其他车辆存在时，与其他车辆之间的竞争操控信息，进一步确定是否存在危险驾驶。
39.一种危险驾驶管控系统，包括车辆、基站、边缘云计算中心、云端控制系统；
40.所述车辆通过车端传感器采集驾驶员的面部图像和声音信息，及急加速、急减速、方向盘转动速度、车速几种信息；
41.并通过车辆中的车端通信单元，将采集到的信息通过基站发送给边缘云计算中心，所述的边缘云计算中心执行如上所述的基于多特征融合的危险驾驶管控方法；
42.当存在危险驾驶时，所述的边缘云计算中心将车辆信息发送给云端控制系统；所述云端控制系统根据车辆信息规划出当前车辆的停车路线，并根据停车路线控制车辆停在指定地点。
43.优选地，还包括路端摄像头，用于获取车辆在道路上行驶的运动轨迹图像，并将运动轨迹图像通过基站传输给边缘云计算中心；所述的边缘云计算中心根据运动轨迹图像提取车辆在不存在其他干扰车辆的情况下，任意变换车道、刹车信息；并提取在其他车辆存在时，与其他车辆之间的竞争操控信息，进一步确定是否存在危险驾驶。
44.本发明的有益效果如下：
45.相对于现有的危险驾驶感知方式采用单一线索，本发明综合考虑了驾驶员状态特征和车辆操控特征，通过多特征融合来判断驾驶员是否存在危险驾驶行为，如果存在，则进行报警提示，提示驾驶员纠正驾驶行为。
46.相对于现有的危险驾驶提醒系统，只能够提醒车辆，并不能控制车辆，且不能从根本上消除隐患。本发明能够主动干预存在危险驾驶的车辆，具体在报警提示后，驾驶员仍然存在危险驾驶等情况，则将车辆控制权移交云端控制系统，利用云端控制系统根据车辆信息规划出当前车辆的停车路线，并控制车辆停在指定地点，使得车辆在合适的地点停车，在确认安全后才解除云端控制系统的车辆控制权。因此相对于传统方法，本发明方法的实用性和安全性更强。
附图说明
47.图1是本发明所述一种基于多特征融合的危险驾驶管控方法的流程图。
48.图2是对驾驶员的面部图像进行分析判断驾驶员状态特征的原理图。
49.图3是对驾驶员的声音信息进行分析判断驾驶员状态特征的原理图。
50.图4是一种危险驾驶分析的原理图。
51.图5是一种实现危险驾驶管控方法的流程图。
52.图6是一种车端实现危险驾驶管控方法的原理图。
53.图7是一种实现危险驾驶管控方法的场景图。
54.图8是另一种危险驾驶分析的原理图。
55.图9是另一种实现危险驾驶管控方法的场景图。
56.图10是另一种车端实现危险驾驶管控方法的原理图。
57.图11是另一种实现危险驾驶管控方法的流程图。
58.图中，110-车辆、120-基站、130-云端控制系统、140-安全地点、150-边缘云计算中心、160-路端摄像头、170-交警。
具体实施方式
59.以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
60.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
61.如图1所示，一种基于多特征融合的危险驾驶管控方法，所述的方法包括步骤如下：
62.获取驾驶员状态特征和车辆操控特征，并根据权重系数计算驾驶行为危险度；
63.将驾驶行为危险度输入第一神经网络判断驾驶员当前状态是否存在危险驾驶，当存在危险驾驶时，进行报警提示；
64.在报警提示满足设定的条件后，将车辆信息发送给云端控制系统，所述云端控制系统根据车辆信息规划出当前车辆的停车路线；
65.将车辆控制权切换给所述云端控制系统，并由云端控制系统根据停车路线控制车辆停在指定地点；
66.直到检测安全后，解除云端控制系统的车辆控制权。
67.相对于现有的危险驾驶感知方式采用单一线索，本发明综合考虑了驾驶员状态特征和车辆操控特征，通过多特征融合来判断驾驶员是否存在危险驾驶行为，如果存在，则进行报警提示，提示驾驶员纠正驾驶行为。
68.相对于现有的危险驾驶提醒系统，只能够提醒车辆，并不能控制车辆，且不能从根本上消除隐患。本发明能够主动干预存在危险驾驶的车辆，具体在报警提示后，驾驶员仍然存在危险驾驶等情况，则将车辆控制权移交云端控制系统，利用云端控制系统根据车辆信息规划出当前车辆的停车路线，并控制车辆停在指定地点，使得车辆在合适的地点停车，在确认安全后才解除云端控制系统的车辆控制权。因此相对于传统方法，本发明方法的实用性和安全性更强。
69.在本实施例中，如图2所示，所述驾驶员状态特征通过采集驾驶员的面部图像和声音信息进行分析判断，具体如下：
70.其中，根据采集驾驶员的面部图像进行分析判断驾驶员状态特征，如下：
71.先通过车端智能摄像头，采集驾驶员的图像信息，再通过相机的校正；第一阶段通过第二神经网络检测出驾驶员的眼睛和嘴巴，第二阶段将采集的驾驶员的面部图像输入第三神经网络识别出驾驶员的眼睛和嘴巴，再通过第三神经网络判别嘴巴和眼睛的开合状态；
72.当驾驶员的眼睛睁开，嘴巴闭合时，认为驾驶员处于清醒状态；
73.当驾驶员的眼睛闭合，嘴巴闭合时，认为驾驶员处于困倦状态；
74.当驾驶员的眼睛和嘴巴都是张开时，认为驾驶员处于激动状态。
75.在本实施例中，所述的第二神经网络包括yolov5s、yolov5m、yolov5l、yolov5x四个模型，本实施例采用yolov5神经网络，所述的第三神经网络采用vgg网络。
76.本实施例，如图3所示，根据采集驾驶员的声音信息进行分析判断驾驶员状态特征，具体如下：
77.将采集驾驶员的声音信息输入卷积神经网络提出语音信号中的谱特征和声纹特征，再通过谱特征、声纹特征融合提取出其中暴力言语特征，利用分类神经网络lstm识别声音中是否存在暴力言语，进行判断驾驶员的情绪是愤怒或者正常。
78.在本实施中，驾驶员开车前，需要录入驾驶员的声纹信息，保证后期声音识别系统可以确定采集到的是驾驶员发出的声音信息。当通过车载麦克风收集到驾驶员的语音信息后，需要将语音信号预处理，得到语音信号中的声音谱和声纹图，通过深度卷积神经网络，提取出语音信号中的普特征和声纹特征，再通过特征融合网络识别出驾驶员的语音信号，并提取出其中的暴力言语，再通过分类神经网络判断驾驶员此时是处于正常还是愤怒的状态。
79.如图4所示，在本实施例中，通过车端传感器检测得到方向盘转动角度时间序列、油门踏板力度时间序列、刹车踏板力度时间序列、车轮转速时间序列几种车端数据信息；
80.先对车端数据信息进行预处理，再将车端数据信息输入到深度卷积神经网络，提取得到急加速、急减速、方向盘转动速度、车速几种车辆操控特征时间序列。所述的预处理使车端数据信息对齐和规范化，初步筛选、剔除无用信息。
81.再将车辆操控特征时间序列输入长短期记忆模型，提取出车辆操控特征时间序列中的特征信息；
82.将提取出的特征信息输入融合网络，用于通过添加权重系数计算驾驶行为危险度。
83.通过摄像头检测驾驶员的面部图像，通过麦克风检测驾驶员的声音信息；分别输入对应的深度卷积神经网络。将整个驾驶员的面部图像的状态特征时间序列、或声音信息的状态特征时间序列，输入长短期记忆模型；所述的长短期记忆模型中的记忆单元的细胞状态，不断更新记录面部图像或声音信息的状态特征时间序列，直到结束后输出给融合网络，用于通过添加权重系数计算驾驶行为危险度。
84.由于深度卷积神经网络cnn处埋单帧时间序列中的车端信息十分有效，但对车辆这周连续的时序数据，其中帧间存在着时序关系和运动信息，这时加入长短期记忆模型lstm，增加了门结构组成了更加复杂的细胞单元，门结构使得ltsm结构可以实现对上下文信息的遗忘和存储，可以成功提取出车辆时间序列中的特征信息。
85.在本实施例中，所述车辆操控特征包括急加速、急减速、方向盘转动速度、车速。具体地，通过内置传感器采集车辆操控特征，如：方向盘扭矩检测传感器、刹车与油门力度检测传感器、轮速传感器、组合惯导gps/imu，采集方向盘的扭矩，油门和刹车的力度，车轮的转速等等信息。
86.本实施例从车端传感器采集多方面信号，包括驾驶员的面部图像、声音信息，急加速、急减速、方向盘转动速度、车速等，通过多特征融合来判断驾驶员是否存在危险驾驶行为，如果存在，则通过车端提醒系统，警告驾驶员纠正驾驶行为。如果在多次提醒后，驾驶员仍然存在危险驾驶等情况，则将车辆控制权移交云端控制系统，利用云端控制系统控制车辆，使得车辆在合适的地点停车。通过智能语音系统和人脸识别系统判断驾驶员情绪是否稳定，或者等待交通警察来处理以后，云端控制系统才解除对车辆的控制。
87.本实施例判断驾驶员当前状态是否存在危险驾驶，具体，设定一个次数阈值，当驾驶员的危险驾驶行为达到设定的次数阈值后，判断存在危险驾驶。通过多次检测结果来确定驾驶员是否真的存在危险驾驶行为，以此提供检测系统的准确性，降低误报警率。
88.本实施例，融合网络将车辆操控特征与驾驶员状态特征添加上权重系数，车辆操控特征与驾驶员状态特征的权重系数，根据采集驾驶员以往的驾驶行为，通过驾驶行为分析得到驾驶员在不同状态特征下所对应的车辆操控特征，计算出危险驾驶操作下的权重系数。当车辆操控特征与驾驶员状态特征经过添加权重系数融合后，再次输入到深度卷积神经网络cnn中，判断驾驶员当前状态是正常驾驶还是危险驾驶，通过设定一个次数阈值，当驾驶的危险驾驶行为达到设定的次数阈值后，说明驾驶员确实存在危险驾驶行为，降低神经网络的误判断率。
89.在本实施例中，所述报警提示满足设定的条件，具体指，报警提示超过预设的时间阈值，或者报警提示超过预设的报警次数阈值。
90.在本实施例中，在将车辆控制权切换给所述云端控制系统之前，所述云端控制系统先获取车主授权云端控制系统控制车辆的权限，并签订安全驾驶协议书。
91.所述云端控制系统控制车辆需要获取车主的授权，当车主开通危险驾驶行为安全检测功能时，需要车主授权云端控制系统才能够自动控制车辆的权限，当驾驶员存在危险驾驶行为的情况下，授权过程中需要签订安全驾驶协议书，保证云端控制系统控制车辆的合法性，并为自动控制车辆提供法律依据。
92.在本实施例中，将车辆信息发送给云端控制系统的同时，还将车辆信息广播给周围其他车辆；所述的车辆信息包括车辆的位置信息、id信息。从而可以让周围其他车辆注意避让，以免出现事故。
93.在本实施例中，将车辆信息发送给云端控制系统，所述云端控制系统还根据车辆信息锁定车辆位置，并获取车辆在道路上行驶的运动轨迹图像，根据运动轨迹图像提取车辆在不存在其他干扰车辆的情况下，任意变换车道、刹车信息；还提取在其他车辆存在时，与其他车辆之间的竞争操控信息，进一步确定是否存在危险驾驶；所述的车辆信息包括车辆的位置信息、id信息。
94.如图5所示，从车端传感器采集多方面信号，包括驾驶员的面部图像、声音信息，方向盘的操控，刹车及油门的力度，车轮转速等，通过多特征融合来判断驾驶员是否存在危险驾驶行为，如果存在，则通过车端提醒系统，警告驾驶员纠正驾驶行为。当车内警告系统无
法唤醒驾驶员纠正驾驶行为时，也即危险驾驶行为没有解除，将该车辆危险驾驶行为通过v2x通信技术上报至云端控制系统，并将该车辆的信息广播给周围车辆。云端控制系统通过根据当前车辆的位置，选择最近的停车地点，规划最优路径，控制车辆行驶到该区域停车。当通过云端控制系统将车辆停到安全停车点后，通过车载智能语音与驾驶员进行交流，通过语音情感分析功能，判断驾驶员目前的情绪状态是否稳定，并且检测驾驶员的愤怒或者激动的表情是否消失；当驾驶员情绪稳定表情正常后，云端控制系统接收到驾驶员的正常情绪后，通过v2x通信技术解除车辆控制；如果车辆附近存在交通警察或管理部门，也可以通过人工对危险驾驶车辆进行处理，当人工处理完成后管理人员向云端控制系统发送处理结果，云端控制系统解除对车辆的自动控制，由驾驶员驾驶车辆行驶。
95.在实施例中，将驾驶行为危险度划分为不同等级，根据不同的等级执行对应的管控干预策略。
96.对于驾驶行为危险程度进行划分，分为低、中、高三种等级危险程度。当处于低级可控危险驾驶行为时，先通过云端控制系统下发危险提醒预警，通过车联网通信单元将危险驾驶预警信息传输到云端控制系统，通过车端语音播报进行提醒；当车内提醒系统预警5次后，驾驶员的危险驾驶行为依然存在，没有解除危险驾驶，将车辆的危险驾驶行为上报到云端控制系统，由云端控制系统下发违规处罚通知，通过车联网通信单元将违规处罚通知传输到车端系统，由车端语音系统提醒驾驶员当前已经违章，并播报，处罚通知；当违规处罚的通知播报3次后，驾驶员依然存在危险驾驶行为，云端控制系统平台将通知附近交警170赶去处理危险驾驶车辆，并通过语音播报警告驾驶员，交警170正赶来处理危险驾驶操作。当处于中级已违章危险驾驶行为时，云端控制系统直接将危险驾驶车辆的信息上传到云端控制系统，云端控制系统直接下发违规处罚通知，通过语音播报警告驾驶员，能够更快的警示驾驶员的操作，降低危险驾驶带来的危险后果，如果依然还是存在危险操作，云端控制系统将通知附近的交警170赶去控制危险驾驶车辆，并播报警告驾驶员。当处于高级存在重大安全事故风险时，云端控制系统直接上报危险驾驶车辆信息，云端控制系统立即通知附近的交警170赶去控制危险驾驶车辆，并语音播报警告驾驶员交警170将来。
97.所述危险驾驶行为危险程度分析方法，根据提取出的各种危险驾驶特征的不同状态值进行危险等级的划分，如对于驾驶员的面部表情的变化程度和频率等，还有驾驶员声音的大小，另外车端就可以根据车辆方向盘的转角的变化速度，加速度大小等，利用上述不同的数值区间，进行融合判断出危险驾驶的不同等级。
98.在一个具体的实施例中，如图6所示，一种危险驾驶管控系统，包括车辆、基站、云端控制系统；
99.其中，所述车辆执行如上所述的基于多特征融合的危险驾驶管控方法；
100.所述的车辆通过基站将车辆信息发送给云端控制系统；所述云端控制系统根据车辆信息规划出当前车辆的停车路线，并根据停车路线控制车辆停在指定地点。
101.在本实施例中，还包括路端摄像头，用于获取车辆在道路上行驶的运动轨迹图像，并将运动轨迹图像通过基站传输给车辆；所述的车辆根据运动轨迹图像提取车辆在不存在其他干扰车辆的情况下，任意变换车道、刹车信息；并提取在其他车辆存在时，与其他车辆之间的竞争操控信息，进一步确定是否存在危险驾驶。
102.在本实施例中，利用车端的车载计算单元实现如上所述基于多特征融合的危险驾
驶管控方法。其具体应用场景如图6所示，车端设有摄像头、麦克风、方向盘扭矩检测传感器、刹车与油门力度检测传感器、轮速传感器、组合惯导gps/imu、车载计算单元、车载通信单元、车辆控制单元，通过车端智能摄像头识别驾驶员的面部表情，通过麦克风采集驾驶员声音，通过内置传感器采集车辆的操控性，如方向盘的扭矩，油门和刹车的力度，车轮的转速；将采集到的驾驶员表情信息，输入到深度神经网络中判断驾驶员是否存在愤怒、兴奋、疲劳等现象，并通过车辆的操控来检测测量是否存在危险驾驶，最后融合多方面传感器信息，最终识别车辆是否存在危险驾驶，当检测出存在危险驾驶行为的情况下，需要再次检测驾驶员的行为，通过多次检测结果来确定驾驶员是否真的存在危险驾驶行为，以此提供检测系统的准确性，降低误报警率。当检测出驾驶员出现危险驾驶行为，车辆控制系统限制驾驶员的操作，通过基站、车端通信单元接收云端控制系统的控制信号，控制车辆就近安全停车位。当车辆停止运动后，车端智能语音助手，询问驾驶员的情绪，并检测驾驶员的表情变化，判断驾驶员情绪是否恢复正常，如果驾驶员的情绪恢复正常，就解除车辆的控制，或者如果附近存在交通管理者，等交警170处理完驾驶员的危险行为后，上报云端控制系统后，再下发解除车辆控制命令到车端。
103.本实施例中，只要车端的算力负载能达到一定程度，可以将本发明所述的危险驾驶方法涉及到的计算部署在车端进行计算。这种做法可以节省成本，但是对车端的算力负载有一定的要求。
104.如图8所示，本实施例利用多特征融合来判断驾驶员是否存在危险驾驶行为，融合网络将驾驶员状态特征和车辆操控特征通过增加权重系数来计算驾驶行动危险度，最后融合路端摄像头提取的车辆特征信息，通过神经网络来判断驾驶员是否存在危险驾驶行为。第一种，当车端可以正常采集到危险驾驶车辆的数据信息的情况下，首先通过车端采集到的驾驶员信息和车辆行驶信息，在边缘云计算中心，利用深度神经网络对驾驶员的面部图像、声音信息进行危险驾驶行为特征提取，另外对于车辆操控特征根据采集到的车辆行驶信息进行车辆操控分析，当检测到存在危险驾驶行为，将车辆信息上报到云端控制系统，云端控制系统根据车辆的定位信息和id信息，锁定车辆位置，并获取车辆行驶道路上的摄像头图像信息，通过路端摄像头视频数据，利用车载计算单元分析疑似危险车辆是否存在危险驾驶行为，通过多特征融合系统分析多方面传感器信息，最终识别车辆是否存在危险驾驶。第二种，由于车端的危险驾驶数据采集系统被破环，或者出现故障的情况下，当车端上传的危险驾驶检测数据存在丢失的情况下，路端通过车辆上传的基本数据信息，如定位信息、id信息，确定车辆的位置，通过路端摄像头的视频数据，提取出车辆是否存在危险驾驶的运动轨迹图像，以此确定当危险驾驶感知数据存在丢失的情况下，也可以检测路上的危险驾驶车辆。
105.在一个具体的实施例中，如图9所示，一种危险驾驶管控系统，包括车辆、基站、边缘云计算中心、云端控制系统；
106.所述车辆通过车端传感器采集驾驶员的面部图像和声音信息，及急加速、急减速、方向盘转动速度、车速几种信息；
107.并通过车辆中的车端通信单元，将采集到的信息通过基站发送给边缘云计算中心，所述的边缘云计算中心执行如上所述的基于多特征融合的危险驾驶管控方法；
108.当存在危险驾驶时，所述的边缘云计算中心将车辆信息发送给云端控制系统；所
述云端控制系统根据车辆信息规划出当前车辆的停车路线，并根据停车路线控制车辆停在指定地点。
109.本实施例将本发明所涉及到的计算通过边缘云计算中心实现，有效的降低车端的计算负载，提高计算效率。
110.本实施例还包括路端摄像头，用于获取车辆在道路上行驶的运动轨迹图像，并将运动轨迹图像通过基站传输给边缘云计算中心；所述的边缘云计算中心根据运动轨迹图像提取车辆在不存在其他干扰车辆的情况下，任意变换车道、刹车信息；并提取在其他车辆存在时，与其他车辆之间的竞争操控信息，进一步确定是否存在危险驾驶。
111.如图9所示，通过车端传感器采集驾驶员数据和车辆行驶数据，通过120基站将检测数据传输到边缘云计算中心，当边缘云计算中心通过车端传感器采集的驾驶员面部图像和车辆操控信息，利用深度神经卷积神经网路检测到驾驶员发生危险驾驶行为，当判断出车辆疑似存在危险驾驶行为，边缘计算云平台根据车辆的定位信息，获取车辆实时的运动视频数据信息，增加车辆周围环境数据信息，利用融合网路判断确定驾驶员真正存在危险驾驶行为，当存在危险驾驶行为存在，并且多次提醒没有解除危险驾驶操作，就将危险驾驶车辆的基本信息上传到云端控制系统进行危险驾驶的管控操作，当云端控制系统下发违规处理通知后，依然存在危险操作的情况，通知车辆将车辆控制器切换给云端控制系统，云端控制系统根据停车路线控制车辆停在指定地点，同时通过云端控制系统通知附近交管人员赶去管控危险驾驶人员。
112.图10为本实施例应用场景中的车端图，其中车端危险驾驶检测包含：摄像头、麦克风、方向盘扭矩检测传感器、刹车与油门力度检测传感器、轮速传感器、组合惯导gps/imu、车载计算单元、车载通信单元，通过车端智能摄像头识别驾驶员的面部表情，通过麦克风采集驾驶员声音，通过内置传感器采集车辆的操控性，如方向盘的扭矩，油门和刹车的力度，车轮的转速；将采集到的驾驶员面部图像信息，上传到边缘云计算中心，输入到深度神经网络中判断驾驶员是否存在愤怒、兴奋等现象，并通过车辆的操控来检测判断是否存在危险驾驶，通过融合多方面传感器信息，识别车辆是否存在危险驾驶行为，当检测出存在危险驾驶行为的情况下，需要根据车辆的定位信息和车端id来确定车辆的位置信息，并通过路端摄像头检测车辆的周围环境，通过多源数据融合来确定驾驶员是否真的存在危险驾驶行为，以此提供检测系统的准确性，降低误报警率。当检测出驾驶员出现危险驾驶行为，云端控制系统通下发预警提醒，或者通过通知周围交警170赶去处理。另外当车端采集的驾驶员信息或车辆行驶信息存在丢失的情况下，可以利用路端的摄像头提供的视频数据，利用深度卷积神经网络来提取出危险驾驶行为特征。
113.在本实施例中，如图11所示，本实施例从车端传感器采集多方面信号，包括驾驶员面部图像、声音信息，方向盘的操控，刹车及油门的力度，车轮转速等，利用车端，通过车端通信单元将采集到的驾驶员面部表情信息、车端行驶信息上传到边缘云计算中心进行计算处理，利用多特征融合来判断驾驶员是否存在危险驾驶行为，如果存在，根据危险驾驶行为的不同类型与严重程度，利用车端通信单元通信向车端发送不同的预警信息，警告驾驶员纠正驾驶行为，如果在多次提醒后，驾驶员仍然存在危险驾驶等情况，则将危险驾驶车辆信息上报到云端控制系统，云端控制系统向车端下发危险驾驶处罚通知，并通过语音播报提醒处罚内容，如果驾驶员收到违规处罚通知后，仍然存在危险驾驶行为，云端控制系统通知
附件交警170赶去控制危险驾驶员。
114.本实施例利用边缘云计算中心进行计算处理，有利于降低车端的计算负载，提高计算效率。
115.显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

技术特征：
1.一种基于多特征融合的危险驾驶管控方法，其特征在于：所述的方法包括步骤如下：获取驾驶员状态特征和车辆操控特征，并根据权重系数计算驾驶行为危险度；将驾驶行为危险度输入第一神经网络判断驾驶员当前状态是否存在危险驾驶，当存在危险驾驶时，进行报警提示；在报警提示满足设定的条件后，将车辆信息发送给云端控制系统，所述云端控制系统根据车辆信息规划出当前车辆的停车路线；将车辆控制权切换给所述云端控制系统，并由云端控制系统根据停车路线控制车辆停在指定地点；直到检测安全后，解除云端控制系统的车辆控制权。2.根据权利要求1所述的基于多特征融合的危险驾驶管控方法，其特征在于：所述驾驶员状态特征通过采集驾驶员的面部图像和声音信息进行分析判断。3.根据权利要求2所述的基于多特征融合的危险驾驶管控方法，其特征在于：根据采集驾驶员的面部图像进行分析判断驾驶员状态特征，具体如下：将采集的驾驶员的面部图像输入第二神经网络识别出驾驶员的眼睛和嘴巴，再通过第三神经网络判别嘴巴和眼睛的开合状态；当驾驶员的眼睛睁开，嘴巴闭合时，认为驾驶员处于清醒状态；当驾驶员的眼睛闭合，嘴巴闭合时，认为驾驶员处于困倦状态；当驾驶员的眼睛和嘴巴都是张开时，认为驾驶员处于激动状态。4.根据权利要求2所述的基于多特征融合的危险驾驶管控方法，其特征在于：根据采集驾驶员的声音信息进行分析判断驾驶员状态特征，具体如下：将采集驾驶员的声音信息输入卷积神经网络提出语音信号中的谱特征和声纹特征，再通过特征融合提取出其中暴力言语特征，利用分类神经网络lstm识别声音中是否存在暴力言语，进行判断驾驶员的情绪是愤怒或者正常。5.根据权利要求3或4任一项所述的基于多特征融合的危险驾驶管控方法，其特征在于：将整个驾驶员的面部图像的状态特征时间序列、或声音信息的状态特征时间序列，输入长短期记忆模型；所述的长短期记忆模型中的记忆单元的细胞状态，不断更新记录面部图像或声音信息的状态特征时间序列，直到结束后输出给融合网络，用于通过添加权重系数计算驾驶行为危险度。6.根据权利要求1所述的基于多特征融合的危险驾驶管控方法，其特征在于：所述车辆操控特征包括急加速、急减速、方向盘转动速度、车速。7.根据权利要求6所述的基于多特征融合的危险驾驶管控方法，其特征在于：通过车端传感器检测得到方向盘转动角度时间序列、油门踏板力度时间序列、刹车踏板力度时间序列、车轮转速时间序列几种车端数据信息；先对车端数据信息进行预处理，再将车端数据信息输入到深度卷积神经网络，提取得到急加速、急减速、方向盘转动速度、车速几种车辆操控特征时间序列；再将车辆操控特征时间序列输入长短期记忆模型，提取出车辆操控特征时间序列中的特征信息；将提取出的特征信息输入融合网络，用于通过添加权重系数计算驾驶行为危险度。8.根据权利要求1所述的基于多特征融合的危险驾驶管控方法，其特征在于：所述权重
系数，根据采集驾驶员以往的驾驶行为，通过驾驶行为分析得到驾驶员在不同状态特征下所对应的车辆操控特征，计算出危险驾驶操作下的权重系数。9.根据权利要求1所述的基于多特征融合的危险驾驶管控方法，其特征在于：判断驾驶员当前状态是否存在危险驾驶，具体，设定一个次数阈值，当驾驶员的危险驾驶行为达到设定的次数阈值后，判断存在危险驾驶。10.根据权利要求1所述的基于多特征融合的危险驾驶管控方法，其特征在于：所述报警提示满足设定的条件，具体指，报警提示超过预设的时间阈值，或者报警提示超过预设的报警次数阈值。11.根据权利要求1所述的基于多特征融合的危险驾驶管控方法，其特征在于：在将车辆控制权切换给所述云端控制系统之前，所述云端控制系统先获取车主授权云端控制系统控制车辆的权限，并签订安全驾驶协议书。12.根据权利要求1所述的基于多特征融合的危险驾驶管控方法，其特征在于：将车辆信息发送给云端控制系统的同时，还将车辆信息广播给周围其他车辆；所述的车辆信息包括车辆的位置信息、id信息。13.根据权利要求1所述的基于多特征融合的危险驾驶管控方法，其特征在于：将车辆信息发送给云端控制系统，所述云端控制系统还根据车辆信息锁定车辆位置。14.根据权利要求1所述的基于多特征融合的危险驾驶管控方法，其特征在于：还获取车辆在道路上行驶的运动轨迹图像，根据运动轨迹图像提取车辆在不存在其他干扰车辆的情况下，任意变换车道、刹车信息；并提取在其他车辆存在时，与其他车辆之间的竞争操控信息，进一步确定是否存在危险驾驶；所述的车辆信息包括车辆的位置信息、id信息。15.根据权利要求1所述的基于多特征融合的危险驾驶管控方法，其特征在于：将驾驶行为危险度划分为不同等级，根据不同的等级执行对应的管控干预策略。16.一种危险驾驶管控系统，其特征在于：包括车辆、基站、云端控制系统；其中，所述车辆执行如权利要求1～15任一项所述的基于多特征融合的危险驾驶管控方法；所述的车辆通过基站将车辆信息发送给云端控制系统；所述云端控制系统根据车辆信息规划出当前车辆的停车路线，并根据停车路线控制车辆停在指定地点。17.根据权利要求16所述的危险驾驶管控系统，其特征在于：还包括路端摄像头，用于获取车辆在道路上行驶的运动轨迹图像，并将运动轨迹图像通过基站传输给车辆；所述的车辆根据运动轨迹图像提取车辆在不存在其他干扰车辆的情况下，任意变换车道、刹车信息；并提取在其他车辆存在时，与其他车辆之间的竞争操控信息，进一步确定是否存在危险驾驶。18.一种危险驾驶管控系统，其特征在于：包括车辆、基站、边缘云计算中心、云端控制系统；所述车辆通过车端传感器采集驾驶员的面部图像和声音信息，及急加速、急减速、方向盘转动速度、车速几种信息；并通过车辆中的车端通信单元，将采集到的信息通过基站发送给边缘云计算中心，所述的边缘云计算中心执行如权利要求1～15任一项所述的基于多特征融合的危险驾驶管控方法；
当存在危险驾驶时，所述的边缘云计算中心将车辆信息发送给云端控制系统；所述云端控制系统根据车辆信息规划出当前车辆的停车路线，并根据停车路线控制车辆停在指定地点。19.根据权利要求18所述的危险驾驶管控系统，其特征在于：还包括路端摄像头，用于获取车辆在道路上行驶的运动轨迹图像，并将运动轨迹图像通过基站传输给边缘云计算中心；所述的边缘云计算中心根据运动轨迹图像提取车辆在不存在其他干扰车辆的情况下，任意变换车道、刹车信息；并提取在其他车辆存在时，与其他车辆之间的竞争操控信息，进一步确定是否存在危险驾驶。

技术总结
本发明公开了一种基于多特征融合的危险驾驶管控方法及系统，包括如下：获取驾驶员状态特征和车辆操控特征，并根据权重系数计算驾驶行为危险度；将驾驶行为危险度输入第一神经网络判断驾驶员当前状态是否存在危险驾驶，当存在危险驾驶时，进行报警提示；在报警提示满足设定的条件后，将车辆信息发送给云端控制系统，所述云端控制系统根据车辆信息规划出当前车辆的停车路线；将车辆控制权切换给所述云端控制系统，并由云端控制系统根据停车路线控制车辆停在指定地点；直到检测安全后，解除云端控制系统的车辆控制权。本发明不仅能实现辅助提醒，还能主动干预危险驾驶行为，从而实现从根本上消除危险驾驶，具有更强的实用性和安全性。性。性。


技术研发人员：陶鹏 李增文 牛雷 华东南 袁茂
受保护的技术使用者：重庆长安汽车股份有限公司
技术研发日：2023.05.16
技术公布日：2023/8/13