一种驾驶员检测系统、方法、电子设备及存储介质与流程

1.本发明涉及智能驾驶领域，尤其涉及一种驾驶员检测系统、方法、电子设备及存储介质。


背景技术：

2.dms(driver monitor system，驾驶员检测系统)功能为对驾驶员的身份识别，以及监控驾驶员是否疲劳和危险驾驶行为。
3.现有技术中，一般是使用目标检测来检测人脸，然后再在人脸的基础上做疲劳检测，抽烟、喝水、打电话检测，性别检测，年龄检测，表情检测，左顾右盼检测，但一般检测每一个功能需要一个模型，这么多模型部署在嵌入式开发板上，时间消耗比较长，难以达到实时，有一些方案是采用多任务来训练上述模型，但需要一张图像数据标签都有，例如使用多任务训练抽烟、喝水、打电话检测，睁眼和闭眼检测，表情检测时，就需要一张图像有抽烟、喝水、打电话的标签，睁眼、闭眼的标签。这样就没有办法利用公开数据集进行训练，因为公开数据集都只有一个标签，例如表情的数据只有表情的标签。还有一种方式就是人工将所有的图像打标签，即对每一张图像同时打三个标签，但这种方法会消耗大量的人工成本。


技术实现要素：

4.本发明针对现有技术中存在的技术问题，提供一种驾驶员检测系统、方法、电子设备及存储介质，可以明显减少耗时。
5.根据本发明的第一方面，提供了一种驾驶员检测系统，包括：人脸检测网络、主干网络、睁眼/闭眼检测分支、表情检测分支和动作检测分支；
6.所述人脸检测网络用于人脸检测；
7.所述睁眼/闭眼检测分支、表情检测分支和动作检测分支分别与所述主干网络连接，分别用于对检测到的人脸进行睁眼/闭眼检测、表情检测和动作检测。
8.在上述技术方案的基础上，本发明还可以作出如下改进。
9.可选的，所述人脸检测模块还包括：将检测到人脸的横坐标和纵坐标的坐标范围向正负两个方向等比例扩大。
10.可选的，所述主干网络和睁眼/闭眼检测分支为squeezenet网络；所述主干网络作为所述检测系统的backbone，包括5个fire模块。
11.可选的，所述表情检测分支采用n个shufflenet单元，n为所述表情检测分支在训练过程中待学习的参数的个数。
12.可选的，所述动作检测分支采用m个shufflenet单元，m为所述动作检测分支在训练过程中待学习的参数的个数；动作检测分支进行动作检测的类型包括：抽烟、喝水和打电话。
13.可选的，所述主干网络、睁眼/闭眼检测分支、表情检测分支和动作检测分支的训练过程包括：
14.将检测到的人脸经过所述主干网络输入所述睁眼/闭眼检测分支进行训练，所述睁眼/闭眼检测分支进行睁眼/闭眼检测的准确度高于设定阈值后，将所述睁眼/闭眼检测分支以及所述主干网络的参数进行冻结；
15.训练所述表情检测分支的n个参数，所述表情检测分支进行表情检测的准确度高于设定阈值后，将所述表情检测分支的参数也进行冻结；
16.训练所述动作检测分支的m个参数，直至所述动作检测分支进行动作检测的准确度高于设定阈值。
17.根据本发明的第二方面，提供一种驾驶员检测方法，包括：
18.步骤1，基于人脸检测网络进行人脸检测；
19.步骤2，构建与主干网络分别连接的睁眼/闭眼检测分支、表情检测分支和动作检测分支并进行训练，训练过程包括：
20.将检测到的人脸经过所述主干网络输入所述睁眼/闭眼检测分支进行训练，所述睁眼/闭眼检测分支进行睁眼/闭眼检测的准确度高于设定阈值后，将所述睁眼/闭眼检测分支以及所述主干网络的参数进行冻结；
21.训练所述表情检测分支的n个参数，所述表情检测分支进行表情检测的准确度高于设定阈值后，将所述表情检测分支的参数也进行冻结；
22.训练所述动作检测分支的m个参数，直至所述动作检测分支进行动作检测的准确度高于设定阈值；
23.步骤3，将检测到的人脸输入训练完成的睁眼/闭眼检测分支、表情检测分支和动作检测分支，同时进行进行睁眼/闭眼检测、表情检测和动作检测。
24.根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现驾驶员检测方法的步骤。
25.根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现驾驶员检测方法的步骤。
26.本发明提供的一种驾驶员检测系统、方法、电子设备及存储介质，相对于现有技术中使用三个网络分别进行睁眼/闭眼、表情和动作检测，本发明提供的一种驾驶员检测系统、方法、电子设备及存储介质，使用一个网络，耗时会明显的减少；现有技术使用过多任务训练时，需要将一张图像有所有标签，很多公开数据利用不了，这样会加大消耗人工成本，本发明提供的一种驾驶员检测系统、方法、电子设备及存储介质，可以使用公开数据集，减少对人力成本的消耗，速度还和使用多任务训练的推理时间差不多；解决在dms多任务训练时，由于数据缺乏原因，只能采用单个模型进行训练，这样使得部署嵌入式开发板难以实时的问题。
附图说明
27.图1为本发明提供的一种驾驶员检测系统的实施例的结构示意图；
28.图2为本发明实施例提供的人脸的检测示意图；
29.图3为本发明实施例提供的fire模块的基本结构图；
30.图4为本发明实施例提供的shufflenet基本模块的shufflenet单元的结构示意图；
31.图5为本发明提供的一种可能的电子设备的硬件结构示意图；
32.图6为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
33.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
34.图1为本发明提供的一种驾驶员检测系统的实施例的结构示意图，如图1所示，该检测系统包括：人脸检测网络、主干网络、睁眼/闭眼检测分支、表情检测分支和动作检测分支。
35.人脸检测网络用于人脸检测。
36.具体实施中，人脸检测网络可以为retinaface、mtcnn等。
37.睁眼/闭眼检测分支、表情检测分支和动作检测分支分别与主干网络连接，分别用于对检测到的人脸进行睁眼/闭眼检测、表情检测和动作检测。
38.本发明提供的一种驾驶员检测系统，相对于现有技术中使用三个网络分别进行睁眼/闭眼、表情和动作检测，本发明提供的一种驾驶员检测系统，使用一个网络，耗时会明显的减少。
39.实施例1
40.本发明提供的实施例1为本发明提供的一种驾驶员检测的实施例，结合图2可知，该检测系统的实施例包括：人脸检测网络、主干网络、睁眼/闭眼检测分支、表情检测分支和动作检测分支。
41.人脸检测网络用于人脸检测。
42.在一种可能的实施例方式中，人脸检测模块还包括：将检测到人脸的横坐标和纵坐标的坐标范围向正负两个方向等比例扩大。在扩大人脸的基础上进行多任务训练抽烟、喝水、打电话检测，睁眼和闭眼检测，表情检测。
43.如图2所示为本发明实施例提供的人脸的检测示意图，结合图2可知，具体实施中，例如当检测到人脸的坐标范围为(x0,y0)到(x
1,
y1)，则扩大人脸的坐标范围为(x
0-w/2,y0‑□
/3)到(x1+w/2,y1+
□
/3)，其中w是检测到人脸的宽度，h是人脸的长度。
44.睁眼/闭眼检测分支、表情检测分支和动作检测分支分别与主干网络连接，分别用于对检测到的人脸进行睁眼/闭眼检测、表情检测和动作检测。
45.在一种可能的实施例方式中，主干网络和睁眼/闭眼检测分支为squeezenet网络；主干网络作为检测系统的backbone，包括5个fire模块。
46.具体实施中，先基于squeezenet_v1.1网络上修改，其中squeezenet_v1.1网络的基本模块是fire模块，如图3所示为本发明实施例提供的fire模块的基本结构图，在第5个fire模块后开始接分支，squeezenet_v1.1网络前5个fire模块就作为检测系统的backbone，第一个分支后直接squeezenet_v1.1原始结构，因为睁、闭眼任务复杂度比较简单，故不用做太多的改进。
47.在一种可能的实施例方式中，表情检测分支采用n个shufflenet单元，n为表情检测分支在训练过程中待学习的参数的个数。
48.第二个分支可以采用shufflenetv2单元，如图4所示为本发明实施例提供的
shufflenet基本模块的shufflenet单元的结构示意图，n个基本单元在网络学习中加入一个学习参数，在训练过程中学习这个参数。
49.在一种可能的实施例方式中，动作检测分支采用m个shufflenet单元，m为动作检测分支在训练过程中待学习的参数的个数；动作检测分支进行动作检测的类型包括：抽烟、喝水和打电话。
50.在一种可能的实施例方式中，主干网络、睁眼/闭眼检测分支、表情检测分支和动作检测分支的训练过程包括：
51.将检测到的人脸经过主干网络输入睁眼/闭眼检测分支进行训练，睁眼/闭眼检测分支进行睁眼/闭眼检测的准确度高于设定阈值后，将睁眼/闭眼检测分支以及主干网络的参数进行冻结。
52.具体实施中，准确度的公式可以为所有的分类正确的样本数(正类预测为正类、反类预测为反类)除以总得样本数。
53.训练表情检测分支的n个参数，表情检测分支进行表情检测的准确度高于设定阈值后，将表情检测分支的参数也进行冻结。
54.训练动作检测分支的m个参数，直至动作检测分支进行动作检测的准确度高于设定阈值。
55.就可以使用一张图像使用一个多任务网络进行推理能得到抽烟、喝水、打电话检测，睁眼和闭眼检测，表情检测的结果。
56.经过实际测试，如果将上述三个任务使用三个网络和本发明提供的检测系统中的一个网络速度对比，本发明提供的检测系统耗时只占原先一半的时间，并且准确度和单独的每一个网络结果差不多。
57.实施例2
58.本发明提供的实施例2为本发明提供的一种驾驶员检测方法的实施例，结合图1-4可知，该检测方法的实施例包括：
59.步骤1，基于人脸检测网络进行人脸检测。
60.具体实施中，人脸检测网络可以为retinaface、mtcnn等。
61.步骤2，构建与主干网络分别连接的睁眼/闭眼检测分支、表情检测分支和动作检测分支并进行训练，训练过程包括：
62.将检测到的人脸经过主干网络输入睁眼/闭眼检测分支进行训练，睁眼/闭眼检测分支进行睁眼/闭眼检测的准确度高于设定阈值后，将睁眼/闭眼检测分支以及主干网络的参数进行冻结。
63.训练表情检测分支的n个参数，表情检测分支进行表情检测的准确度高于设定阈值后，将表情检测分支的参数也进行冻结。
64.训练动作检测分支的m个参数，直至动作检测分支进行动作检测的准确度高于设定阈值。
65.步骤3，将检测到的人脸输入训练完成的睁眼/闭眼检测分支、表情检测分支和动作检测分支，同时进行进行睁眼/闭眼检测、表情检测和动作检测。
66.可以理解的是，本发明提供的一种驾驶员检测方法与前述各实施例提供的驾驶员检测系统相对应，驾驶员检测方法的相关技术特征可参考驾驶员检测系统的相关技术特
征，在此不再赘述。
67.请参阅图5，图5为本发明实施例提供的电子设备的实施例示意图。如图5所示，本发明实施例提了一种电子设备，包括存储器1310、处理器1320及存储在存储器1310上并可在处理器1320上运行的计算机程序1311，处理器1320执行计算机程序1311时实现以下步骤：基于人脸检测网络进行人脸检测；构建与主干网络分别连接的睁眼/闭眼检测分支、表情检测分支和动作检测分支并进行训练，训练过程包括：将检测到的人脸经过主干网络输入睁眼/闭眼检测分支进行训练，睁眼/闭眼检测分支进行睁眼/闭眼检测的准确度高于设定阈值后，将睁眼/闭眼检测分支以及主干网络的参数进行冻结；训练表情检测分支的n个参数，表情检测分支进行表情检测的准确度高于设定阈值后，将表情检测分支的参数也进行冻结；训练动作检测分支的m个参数，直至动作检测分支进行动作检测的准确度高于设定阈值；将检测到的人脸输入训练完成的睁眼/闭眼检测分支、表情检测分支和动作检测分支，同时进行进行睁眼/闭眼检测、表情检测和动作检测。
68.请参阅图6，图6为本发明提供的一种计算机可读存储介质的实施例示意图。如图6所示，本实施例提供了一种计算机可读存储介质1400，其上存储有计算机程序1411，该计算机程序1411被处理器执行时实现如下步骤：基于人脸检测网络进行人脸检测；构建与主干网络分别连接的睁眼/闭眼检测分支、表情检测分支和动作检测分支并进行训练，训练过程包括：将检测到的人脸经过主干网络输入睁眼/闭眼检测分支进行训练，睁眼/闭眼检测分支进行睁眼/闭眼检测的准确度高于设定阈值后，将睁眼/闭眼检测分支以及主干网络的参数进行冻结；训练表情检测分支的n个参数，表情检测分支进行表情检测的准确度高于设定阈值后，将表情检测分支的参数也进行冻结；训练动作检测分支的m个参数，直至动作检测分支进行动作检测的准确度高于设定阈值；将检测到的人脸输入训练完成的睁眼/闭眼检测分支、表情检测分支和动作检测分支，同时进行进行睁眼/闭眼检测、表情检测和动作检测。
69.本发明实施例提供的一种驾驶员检测系统、方法、电子设备及存储介质，相对于现有技术中使用三个网络分别进行睁眼/闭眼、表情和动作检测，本发明提供的一种驾驶员检测系统、方法、电子设备及存储介质，使用一个网络，耗时会明显的减少；现有技术使用过多任务训练时，需要将一张图像有所有标签，很多公开数据利用不了，这样会加大消耗人工成本，本发明提供的一种驾驶员检测系统、方法、电子设备及存储介质，可以使用公开数据集，减少对人力成本的消耗，速度还和使用多任务训练的推理时间差不多，解决在dms多任务训练时，由于数据缺乏原因，只能采用单个模型进行训练，这样使得部署嵌入式开发板难以实时的问题。
70.需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
71.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
72.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程
图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
73.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
74.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
75.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
76.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

技术特征：
1.一种驾驶员检测系统，其特征在于，所述检测系统包括：人脸检测网络、主干网络、睁眼/闭眼检测分支、表情检测分支和动作检测分支；所述人脸检测网络用于人脸检测；所述睁眼/闭眼检测分支、表情检测分支和动作检测分支分别与所述主干网络连接，分别用于对检测到的人脸进行睁眼/闭眼检测、表情检测和动作检测。2.根据权利要求1所述的方法，其特征在于，所述人脸检测模块还包括：将检测到人脸的横坐标和纵坐标的坐标范围向正负两个方向等比例扩大。3.根据权利要求1所述的检测系统，其特征在于，所述主干网络和睁眼/闭眼检测分支为squeezenet网络；所述主干网络作为所述检测系统的backbone，包括5个fire模块。4.根据权利要求1所述的检测系统，其特征在于，所述表情检测分支采用n个shufflenet单元，n为所述表情检测分支在训练过程中待学习的参数的个数。5.根据权利要求1所述的检测系统，其特征在于，所述动作检测分支采用m个shufflenet单元，m为所述动作检测分支在训练过程中待学习的参数的个数；动作检测分支进行动作检测的类型包括：抽烟、喝水和打电话。6.根据权利要求1所述的检测系统，其特征在于，所述主干网络、睁眼/闭眼检测分支、表情检测分支和动作检测分支的训练过程包括：将检测到的人脸经过所述主干网络输入所述睁眼/闭眼检测分支进行训练，所述睁眼/闭眼检测分支进行睁眼/闭眼检测的准确度高于设定阈值后，将所述睁眼/闭眼检测分支以及所述主干网络的参数进行冻结；训练所述表情检测分支的n个参数，所述表情检测分支进行表情检测的准确度高于设定阈值后，将所述表情检测分支的参数也进行冻结；训练所述动作检测分支的m个参数，直至所述动作检测分支进行动作检测的准确度高于设定阈值。7.一种驾驶员检测方法，其特征在于，所述检测方法包括：步骤1，基于人脸检测网络进行人脸检测；步骤2，构建与主干网络分别连接的睁眼/闭眼检测分支、表情检测分支和动作检测分支并进行训练，训练过程包括：将检测到的人脸经过所述主干网络输入所述睁眼/闭眼检测分支进行训练，所述睁眼/闭眼检测分支进行睁眼/闭眼检测的准确度高于设定阈值后，将所述睁眼/闭眼检测分支以及所述主干网络的参数进行冻结；训练所述表情检测分支的n个参数，所述表情检测分支进行表情检测的准确度高于设定阈值后，将所述表情检测分支的参数也进行冻结；训练所述动作检测分支的m个参数，直至所述动作检测分支进行动作检测的准确度高于设定阈值；步骤3，将检测到的人脸输入训练完成的睁眼/闭眼检测分支、表情检测分支和动作检测分支，同时进行进行睁眼/闭眼检测、表情检测和动作检测。8.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求7所述的驾驶员检测方法的步骤。9.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机
管理类程序被处理器执行时实现如权利要求7所述的驾驶员检测方法的步骤。

技术总结
本发明涉及一种驾驶员检测系统、方法、电子设备及存储介质，该检测系统包括：人脸检测网络、主干网络、睁眼/闭眼检测分支、表情检测分支和动作检测分支；人脸检测网络用于人脸检测；睁眼/闭眼检测分支、表情检测分支和动作检测分支分别与主干网络连接，分别用于对检测到的人脸进行睁眼/闭眼检测、表情检测和动作检测；相对于现有技术中使用三个网络分别进行睁眼/闭眼、表情和动作检测，本发明提供的一种驾驶员检测系统，使用一个网络，耗时会明显的减少。少。少。


技术研发人员：张龙 陈冲
受保护的技术使用者：武汉光庭信息技术股份有限公司
技术研发日：2023.04.09
技术公布日：2023/8/22