一种基于YoLov5的抽烟行为检测方法与流程

一种基于yolov5的抽烟行为检测方法
技术领域
1.本技术涉及道路交通安全领域，尤其是涉及一种基于yolov5的抽烟行为检测方法。


背景技术：

2.根据中华人民共和国道路交通管理条例的规定，驾驶人在行车时不能进行抽烟、吃零食、和别人闲谈等一系列可能带来隐患的事情在道路安全交通的规范中，通常是禁止公共交通或者企业物流运输人员在工作场景下抽烟驾驶的，然而汽车运输的自由性较高，场景随机，因此使用人力监督劝导的方式效率非常低下，因此采用人工智能算法检测抽烟行为进行监督是非常有必要的。


技术实现要素：

3.为了使对运输人员在运输过程中的抽烟行为进行检测，本技术提供一种基于yolov5的抽烟行为检测方法。
4.本技术提供的一种基于yolov5的抽烟行为检测方法采用如下的技术方案：一种基于yolov5的抽烟行为检测方法，包括：通过设置的摄像头进行拍摄获取实时的监控画面；对原yolov5网络进行改进获取改进yolov5网络；通过所述改进yolov5网络检测所述监控画面中的司机面部位置与烟头位置；对所述监控画面中司机进行手势检测获取司机手势；基于所述烟头位置、所述司机面部位置与所述司机手势检测获取抽烟行为特征，以检测是否存在抽烟行为。
5.通过采用上述技术方案，通过设置的摄像头进行拍摄获取实时的监控画面，以能实时对司机进行拍摄；对原yolov5网络进行改进获取改进yolov5网络，使增加对小目标的捕捉效果；通过改进yolov5网络检测监控画面中的司机面部位置与烟头位置，对监控画面中司机进行手势检测获取司机手势，使分别从司机面部位置、烟头位置与司机手势等方面的组合判断司机是否存在有抽烟行为，使对运输人员在运输过程中的抽烟行为进行检测。
6.可选的，所述对原yolov5网络进行改进获取改进yolov5网络，包括：在所述原yolov5网络增加用于小目标检测的anchor；基于需求扩大所述原yolov5网络的特征图；持续对所述特征图进行采样并加入se单元以获取所述改进yolov5网络。
7.通过采用上述技术方案，通过增加用于小目标检测的anchor与扩大的特征图，使增加特征的捕捉效果。
8.可选的，所述通过所述改进yolov5网络检测所述监控画面中的司机面部位置，包括：基于所述改进yolov5网络在所述监控画面中获取司机面部的锚框；
基于所述锚框对司机面部特征图进行扩大，并增加网络层；对包含司机面部的锚框进行卡尔曼滤波预测并更新边界框。
9.通过采用上述技术方案，使获取监控画面中司机面部的图像并通过卡尔曼滤波降低噪声干扰。
10.可选的，所述通过所述改进yolov5网络检测所述监控画面中的司机面部位置，还包括：对所述锚框进行设置，以使摄像头中心位置为司机面部图像。
11.通过采用上述技术方案，使降低副驾对司机的影响。
12.可选的，所述通过所述改进yolov5网络检测所述监控画面中的烟头位置，包括：在所述原yolov5网络的anchors上增加用于香烟烟头检测的anchor，并增加烟头检测的网络层，以通过所述改进yolov5网络检测所述监控画面中的烟头位置；在所述改进yolov5网络的特征提取网络的最后加入所述se单元。
13.通过采用上述技术方案，通过增加的用于香烟烟头检测的anchor与增加的烟头检测的网络层，增加对烟头小目标的检测效果。
14.可选的，所述对所述监控画面中司机进行手势检测获取司机手势，包括：设置手势识别模型，收集抽烟手掌高举接近头部作为识别特征，区分一般情况下的司机手势的差异；通过训练图片训练手势识别模型，以基于所诉手势识别模型识别出所述监控画面中司机的抽烟手势。
15.通过采用上述技术方案，使通过手势识别模型对监控画面中司机的抽烟手势进行识别，并使其能区分出一般情况下的司机手势。
16.可选的，所述设置手势识别模型，收集抽烟手掌高举接近头部作为识别特征，区分一般情况下的司机手势的差异，包括：使用编码结构进行语义分割，并采用分类网络进行分类以训练手势识别模型；以上半身中左眼、右眼、左耳、右耳、左肩、右肩为关键点，收集抽烟手掌高举接近头部作为识别特征，区分抽烟手势的差异。
17.通过采用上述技术方案，使通过语义分割以及分类网络进行分类以训练手势识别模型。
18.可选的，所述基于所述烟头位置、所述司机面部位置与所述司机手势检测获取抽烟行为特征，包括：将基于监控画面的非结构数据进行结构转化并进行数据归一化；通过efficientnet模型对进行了结构化和归一化的数据进行抽烟行为判定、姿态判断与外观特征判定获取判定分数；根据所述判定分数决定最终检测结果。
19.通过采用上述技术方案，通过efficientnet模型对识别出的烟头位置、司机面部位置与司机手势这三者的结合来进行抽烟检测的判定。
20.可选的，所述通过efficientnet模型对进行了结构化和归一化的数据进行抽烟行为判定、姿态判断与外观特征判定获取判定分数，之后还包括：通过逻辑行为检测对所述数据进行筛选；
筛选完成后对疑似目标进行截图，并将截图的疑似目标送入基于efficientnet模型的二分类模型；通过基于efficientnet模型的二分类模型将所述疑似目标的序列截图后获取判定分数。
21.通过采用上述技术方案，通过efficientnet模型与二分类模型时提高最终的检测效果。
22.综上所述，本技术包括以下至少一种有益技术效果：1.采用yolov5网络分别从司机面部位置、烟头位置与司机手势等方面的组合判断司机是否存在有抽烟行为，进行多融合目标检测，使对运输人员在运输过程中的抽烟行为进行检测；2.对yolov5网络进行了改进，增加了对烟头等小目标的捕捉效果；3.采用efficientnet模型与二分类模型进行外观分析流程与逻辑行为检测，以增加检测效果。
附图说明
23.图1是本技术其中一实施例一种基于yolov5的抽烟行为检测方法其中一种实施方式的流程框图；图2是本技术其中一实施例一种基于yolov5的抽烟行为检测方法其中一种实施方式的流程框图；图3是本技术其中一实施例一种基于yolov5的抽烟行为检测方法其中一种实施方式的流程框图；图4是本技术其中一实施例一种基于yolov5的抽烟行为检测方法其中一种实施方式的流程框图；图5是本技术其中一实施例一种基于yolov5的抽烟行为检测方法其中一种实施方式的流程框图；图6是本技术其中一实施例一种基于yolov5的抽烟行为检测方法其中一种实施方式的流程框图；图7是本技术其中一实施例一种基于yolov5的抽烟行为检测方法其中一种实施方式的流程框图；图8是本技术其中一实施例一种基于yolov5的抽烟行为检测方法其中一种实施方式的流程框图。
具体实施方式
24.以下结合附图对本技术作进一步详细说明。
25.为了使对运输人员在运输过程中的抽烟行为进行检测，本技术实施例公开一种基于yolov5的抽烟行为检测方法。
26.参照图1，一种基于yolov5的抽烟行为检测方法，包括：s110、通过设置的摄像头进行拍摄获取实时的监控画面。
27.监控画面为对驾驶车辆的司机进行监控的画面，通过设置在车辆的摄像头进行实
时拍摄，采用清晰度高的摄像头以提高画面清晰度。
28.s120、对原yolov5网络进行改进获取改进yolov5网络。
29.原yolov5网络是一系列在coco数据集上训练的复合尺度对象检测模型，包括骨干网络、颈部、头部：yolov5网络的骨干网络主要由focus、bottleneckcsp和ssp网络构成，其中主要包括focus、conv卷积块、bottleneckcsp和ssp等模块，其中focus用于对输入数据进行切片操作，使图片形成特征图，提升图片特征提取的质量；conv卷积块用于执行卷积操作；bottleneckcsp用于提取图像的深度语义信息并对语义信息进行丰富；而ssp则是用于对数据进行池化，提高模型容错率。
30.为了提升原yolov5网络网络中对于小目标检测的效果，以对原yolov5网络进行改进。
31.s130、通过改进yolov5网络检测监控画面中的司机面部位置与烟头位置。
32.其中，司机面部位置可设置为画面中央，以减少副驾面部的司机面部识别的影响，在司机抽烟时，烟头位置通常位于司机嘴部的附近。
33.s140、对监控画面中司机进行手势检测获取司机手势。
34.其中，首先进行司机面部位置的检测，然后进行手势检测以缩小检测范围，以免被不同于司机面部位置的大目标误导。
35.s150、基于烟头位置、司机面部位置与司机手势检测获取抽烟行为特征，以检测是否存在抽烟行为。
36.本技术实施例一种基于yolov5的抽烟行为检测方法的实施原理为：通过设置的摄像头进行拍摄获取实时的监控画面，以能实时对司机进行拍摄；对原yolov5网络进行改进获取改进yolov5网络，增加对小目标的捕捉效果；通过改进yolov5网络检测监控画面中的司机面部位置与烟头位置，对监控画面中司机进行手势检测获取司机手势，使分别从司机面部位置、烟头位置与司机手势等方面的组合判断司机是否存在有抽烟行为，在运输过程中对司机的抽烟行为进行检测。
37.参照图2，为了对原yolov5网络进行改进以适用于本技术的需求，对原yolov5网络进行改进获取改进yolov5网络，包括：s210、在原yolov5网络增加用于小目标检测的anchor。
38.s220、基于需求扩大原yolov5网络的特征图。
39.s230、持续对特征图进行采样并加入se单元以获取改进yolov5网络。
40.其中，anchor即为锚框，也为先验框，在本实施例中由于烟头在检测画面中所占据的面积较小，因此需要增加用于小目标检测的anchor来对烟头这一小目标进行检测。
41.而se（squeeze-and-excitatio）单元是一种图像识别结构，通过对特征通道件的相关性进行建模，把重要特征进行强化来提升准确率，在本实施例中通过加入se单元来对原yolov5网络进行改进，以增加对烟头的识别准确率。
42.为了能进行抽烟检测，首先需要确定司机面部位置，确定司机面部位置后进行手势检测缩小检测范围，最后通过对烟头进行检测比对抽烟行为特征得出检测结果。
43.参照图3，为了确定司机面部位置，在本实施例中，通过改进yolov5网络检测监控画面中的司机面部位置，包括：
s310、基于改进yolov5网络在监控画面中获取司机面部的锚框。
44.s320、基于锚框对司机面部特征图进行扩大，并增加网络层。
45.s330、对包含司机面部的锚框进行卡尔曼滤波预测并更新边界框。
46.其中，使用改进yolov5网络获取司机面部的锚框，改进后的anchor锚框为(5, 9),(6,12 ),(8, 14), (18, 32), (36, 62)，其中(5, 9),(6,12 ),(8, 14), (18, 32), (36, 62)分别为锚框的长与宽，在原始的head模型上，对司机面部特征图进行上采用处理，扩大特征图并增加网络层，包括卷积核为3*3，conv层的步长为2；unsanple层的步长为2。
47.针对驾驶中抽烟的特殊场景，本技术在yolov5的基础上引入se残差块，采用线性变换替代主题最后的部分常规卷积，使得检测速度加快并定位帧图像中的人脸关键小图像，并更好得利用抽烟样本特征得相关性和冗余性，从而更高效率得捕捉烟头的关键帧。
48.改进后的yolov5网络的模型ap值提升了15%。对于人脸检测边界框，用卡尔曼滤波预测并更新边界框预测并更新边界框预测并更新边界框表示时刻的边界框状态；是时刻的控制量；为状态转移矩阵，表示从时刻的状态来推测时刻的状态；是控制矩阵，表示控制量作用于当前状态。是时刻的边界框状态，hat表示该变量为估计量，右上方的减号表示这是从上一时刻估计来的。
49.通过改进yolov5网络检测监控画面中的司机面部位置，还包括：s340、对锚框进行设置，以使摄像头中心位置为司机面部图像。
50.其中，对锚框进行设置，在检测过程中对锚框进行设置，考虑摄像头中心位置为检测司机面部，其余为副驾驶乘客。
51.参照图4，为了确定监控画面中烟头的位置，通过改进yolov5网络检测监控画面中的烟头位置，包括：s410、在原yolov5网络的anchors上增加用于香烟烟头检测的anchor，并增加烟头检测的网络层，以通过改进yolov5网络检测监控画面中的烟头位置。
52.s420、在改进yolov5网络的特征提取网络的最后加入se单元。
53.其中，se单元通过堆叠se块，将原始块替换为se残差块改变原有网络架构，se块可以利用压缩阶段的全局平均池化与权连接层提高烟头等小目标的捕捉精度；在本实施例中，针对驾驶中抽烟的特殊情景，本实施例在原yolov5网络的基础上引入se残差块，采用线性变换替代主题最后的部分常规卷积，使得检测速度加快并定位帧图像中的人脸关键小图像，并更好得利用抽烟样本特征得相关性和冗余性，从而更高效率得捕捉烟头的关键帧。
54.其中常规卷积得计算量为:h*w*cout*k^2*cin，其中h，w为卷积核参数，cout为输出值，cin为输入值，引入se模块后将其优化为：h*w*cout*k^2*(cin+n-1)/2。使得特征提取计算量大幅降低来改进yolov5的运算
效率。
55.参照图5，在进行小目标检测后，就需对司机手势进行检测，对监控画面中司机进行手势检测获取司机手势，包括：s510、设置手势识别模型，收集抽烟手掌高举接近头部作为识别特征，区分一般情况下的司机手势的差异。
56.s520、通过训练图片训练手势识别模型，以基于所诉手势识别模型识别出监控画面中司机的抽烟手势。
57.其中，手势识别模型使用语义分割算法，使用编解码结构进行语义分割，采用分类网络进行分类。在本实施例中使用的算法为resnet，使用resnet实现靠前的网络层与后续网络层的shortcuts，加快梯度反向传播速率，使得cnn网络的深度增加。该算法设计表示为：其中，xl为输入，ws为卷积操作，该步骤为改进resnet的l层残差块的网络架构。在此基础上进行进一步的扩展网络连接，在其他实施例中，由于densenet拥有更少的参数量与正则效果，可以参考densenet，对任意的网络层，将该层的featuremap作为所有层的输入：其中l为网络层数，c为连接数。该方法使得手势训练模型避免在训练过程中出现梯度消失的可能，增强了featuremap的传播速度，提高了手势识别的准确性。
58.参照图6，设置手势识别模型，收集抽烟手掌高举接近头部作为识别特征，区分一般情况下的司机手势的差异，包括：s610、使用编码结构进行语义分割，并采用分类网络进行分类以训练手势识别模型。
59.s620、以上半身中左眼、右眼、左耳、右耳、左肩、右肩为关键点，收集抽烟手掌高举接近头部作为识别特征，区分抽烟手势的差异。
60.在一般情况中，通过左眼、右眼、左耳与右耳对面部进行定位，通过左肩与右肩对肩膀运动进行定位，通过左眼、右眼、左耳、右耳、左肩、右肩等关键点的位置对抽烟过程中的手势进行定位，在通常情况中，抽烟时，会通过手指夹持住烟蒂，所以收集抽烟手掌高举接近头部作为识别特征。
61.参照图7，基于烟头位置、司机面部位置与司机手势检测获取抽烟行为特征，包括：s710、将基于监控画面的非结构数据进行结构转化并进行数据归一化。
62.其中，在模型训练之前，需要将图片数据等非结构数据进行结构化转化并进行数据归一化。pi＝(x，y，z)
63.其中，pi指的是一个具体关键点的坐标，x代表绝对横坐标，y代表绝对纵坐标，s代
表该关键点的置信度，iw为姿态检测图的宽度，ih为该图的高度。
64.s720、通过efficientnet模型对进行了结构化和归一化的数据进行抽烟行为判定、姿态判断与外观特征判定获取判定分数。
65.其中，efficientnet模型处理大量训练图片后对svc模型进行进一步训练，认为行车状态下的抽烟姿势主要为手举过胸口，大致位于下巴附近；而嘴部叼烟状态下可以着重分析嘴部烟蒂形状的异物作为判别标准。
66.s730、根据判定分数决定最终检测结果。
67.其中，在本实施例中是采用accuracy作为评价标准，accuracy表示的是准确率，表示判定正确的次数与所有判定次数的比例。判定正确的次数是(tp+tn)，所有判定的次数是(tp+tn+fp+fn)，所以参照图8，通过efficientnet模型对进行了结构化和归一化的数据进行抽烟行为判定、姿态判断与外观特征判定获取判定分数，之后还包括：s810、通过逻辑行为检测对数据进行筛选；s820、筛选完成后对疑似目标进行截图，并将截图的疑似目标送入基于efficientnet模型的二分类模型；s830、通过基于efficientnet模型的二分类模型将疑似目标的序列截图后获取判定分数。
68.其中，二分类模型是一种线性回归问题，也即为svm二分类算法，是一种经典的分类方法。以lr为例，svm是非参模型，只考虑supportvectors，可以减少与分类平面较远的权重，提升相关数据点的权重。在本技术中由于分类结果只有抽烟与不抽烟两种逻辑结果，可以较快的得出结论，降低算法整体复杂度，以适应行车中情况多变的环境需求。由于本技术实施例中对于抽烟的检测只有抽烟与未抽烟两种状态，所以用于解决抽烟的二元问题，公式为g(z)＝1/(1+e^-z)。
69.采用efficientnet因为该网络具备保证良好精度下可以满足移动设备中硬件资源使用率较高的需求，提高算法运行效率。外观分析流程就是在对样本合集的外观表现进行判定，在实验过程中分析结果发现即使模型是外观模型，姿态部分也被考虑进去了，且由于外观模型的数据量较少，损失与准确率很快收敛。而如果场景对召回率要求较高则采用逻辑判别，而单纯的逻辑判别查准率不够，因此基于逻辑判别后再进行外观分析流程，可以提高最终的检测效果。
70.以上均为本技术的较佳实施例，并非依此限制本技术的保护范围，故：凡依本技术的结构、形状、原理所做的等效变化，均应涵盖于本技术的保护范围之内。

技术特征：
1.一种基于yolov5的抽烟行为检测方法，其特征在于，包括：通过设置的摄像头进行拍摄获取实时的监控画面；对原yolov5网络进行改进获取改进yolov5网络；通过所述改进yolov5网络检测所述监控画面中的司机面部位置与烟头位置；对所述监控画面中司机进行手势检测获取司机手势；基于所述烟头位置、所述司机面部位置与所述司机手势检测获取抽烟行为特征，以检测是否存在抽烟行为。2.根据权利要求1所述的一种基于yolov5的抽烟行为检测方法，其特征在于，所述对原yolov5网络进行改进获取改进yolov5网络，包括：在所述原yolov5网络增加用于小目标检测的anchor；基于需求扩大所述原yolov5网络的特征图；持续对所述特征图进行采样并加入se单元以获取所述改进yolov5网络。3.根据权利要求2所述的一种基于yolov5的抽烟行为检测方法，其特征在于，所述通过所述改进yolov5网络检测所述监控画面中的司机面部位置，包括：基于所述改进yolov5网络在所述监控画面中获取司机面部的锚框；基于所述锚框对司机面部特征图进行扩大，并增加网络层；对包含司机面部的锚框进行卡尔曼滤波预测并更新边界框。4.根据权利要求3所述的一种基于yolov5的抽烟行为检测方法，其特征在于，所述通过所述改进yolov5网络检测所述监控画面中的司机面部位置，还包括：对所述锚框进行设置，以使摄像头中心位置为司机面部图像。5.根据权利要求2所述的一种基于yolov5的抽烟行为检测方法，其特征在于，所述通过所述改进yolov5网络检测所述监控画面中的烟头位置，包括：在所述原yolov5网络的anchors上增加用于香烟烟头检测的anchor，并增加烟头检测的网络层，以通过所述改进yolov5网络检测所述监控画面中的烟头位置；在所述改进yolov5网络的特征提取网络的最后加入所述se单元。6.根据权利要求1所述的一种基于yolov5的抽烟行为检测方法，其特征在于，所述对所述监控画面中司机进行手势检测获取司机手势，包括：设置手势识别模型，收集抽烟手掌高举接近头部作为识别特征，区分一般情况下的司机手势的差异；通过训练图片训练手势识别模型，以基于所诉手势识别模型识别出所述监控画面中司机的抽烟手势。7.根据权利要求6所述的一种基于yolov5的抽烟行为检测方法，其特征在于，所述设置手势识别模型，收集抽烟手掌高举接近头部作为识别特征，区分一般情况下的司机手势的差异，包括：使用编码结构进行语义分割，并采用分类网络进行分类以训练手势识别模型；以上半身左眼、右眼、左耳、右耳、左肩、右肩为关键点，收集抽烟手掌高举接近头部作为识别特征，区分抽烟手势的差异。8.根据权利要求1所述的一种基于yolov5的抽烟行为检测方法，其特征在于，所述基于所述烟头位置、所述司机面部位置与所述司机手势检测获取抽烟行为特征，包括：
将基于监控画面的非结构数据进行结构转化并进行数据归一化；通过efficientnet模型对进行了结构化和归一化的数据进行抽烟行为判定、姿态判断与外观特征判定获取判定分数；根据所述判定分数决定最终检测结果。9.根据权利要求8所述的一种基于yolov5的抽烟行为检测方法，其特征在于，所述通过efficientnet模型对进行了结构化和归一化的数据进行抽烟行为判定、姿态判断与外观特征判定获取判定分数，之后还包括：通过逻辑行为检测对所述数据进行筛选；筛选完成后对疑似目标进行截图，并将截图的疑似目标送入基于efficientnet模型的二分类模型；通过基于efficientnet模型的二分类模型将所述疑似目标的序列截图后获取判定分数。

技术总结
本申请涉及一种基于YoLov5的抽烟行为检测方法，其包括：通过设置的摄像头进行拍摄获取实时的监控画面；对原YoLov5网络进行改进获取改进YoLov5网络；通过改进YoLov5网络检测监控画面中的司机面部位置与烟头位置；对监控画面中司机进行手势检测获取司机手势；基于烟头位置、司机面部位置与司机手势检测获取抽烟行为特征，以检测是否存在抽烟行为。本申请具有通过YoLov5网络从司机面部位置、烟头位置与司机手势等方面的组合判断司机是否存在有抽烟行为，使对运输人员在运输过程中的抽烟行为进行检测的效果。行检测的效果。行检测的效果。


技术研发人员：朱一峰 郑涛 陈进 雍剑书 朱剑 施文杰 姜福涛 朱立峰 徐黎军 陈文伟 施彬 张弘弦 陈佳琦 郑延斌 覃兆安
受保护的技术使用者：嘉兴恒创电力集团有限公司
技术研发日：2022.10.17
技术公布日：2023/7/22