一种基于大数据和视频技术的隧道车辆检测方法与流程

1.本发明涉及交通管理技术领域，尤其涉及一种基于大数据和视频技术的隧道车辆检测方法。


背景技术：

2.山西省地理环境比较复杂，高速公路建设中隧道数量多且长度较长，高速公路隧道运营里程已突破1000公里，且通车8年以上隧道占比超过50％，使得隧道运营安全风险等级越来越高。另一方面，山西省高速路网车型构成受区域产业影响，货运重载车辆比例超过40％，位居全国前列，特别是几条东西走向的货运走廊，如g18荣乌高速、s46五保高速、s66河汾高速等，扮演者山西西煤东运的重要角色，常年货运车辆占比50％以上，多为原煤、易燃煤制品、压缩天然气以及其他危险化学品，使得高速公路隧道行车安全问题越来越突出。如何提高高速公路危化品车辆过隧道的安全监管水平，减少人民群众生命财产损失，成为亟待解决的重要问题。
3.隧道的运营安全管理在整个高速公路的运营管理以及紧急事件处理中发挥着极其重要的作用，也是“智慧高速”未来发挥重要作用的领域。随着大数据与视频技术的高速发展，这些技术可以对隧道车辆的检测中发挥巨大作用。


技术实现要素：

4.本发明提出一种基于大数据和视频技术的隧道车辆检测方法，用于事件检测，危化品检测，解决现有高速公路隧道安全运营存在的局限和缺陷。
5.一种基于大数据和视频技术的隧道车辆检测方法，包括事件检测和危化品检测，
6.通过高清卡口和监控视频数据，以机器学习为技术方法，结合大数据处理手段和先进的图像识别算法技术，对进入公路隧道内的车辆状态进行精准识别，获取车辆车牌号、车辆类型、车辆型号、车辆运行速度、隧道内行驶轨迹位置、车流量信息；
7.所述事件检测，包括视频图像获取模块，运动区域检测模块，物体检测模块和异常事件判别模块，其中运动区域检测模块采用自适应阈值的方法做帧差运动检测，将检测到的区域输入到物体检测模块，物体检测模块做车辆和行人的检测，将检测结果送入到异常事件判别模块，最终会判别出逆行、拥堵、违章停车、抛洒、行人闯入中的异常事件；
8.所述危化品检测，包括图像获取模块，车辆检测模块，车牌识别模块，车辆品牌识别模块和危险品标记检测模块，其中车辆检测模块采用深度学习算法进行检测，车牌识别模块采用传统方法结合深度学习方法，针对非两客车辆，送入危险品标记检测模块，判别是否为危险品车辆，最终输出车辆的车牌号码，是否为两客车辆，是否为一危车辆，进而对这些车辆进行管控。
9.进一步的，所述运动区域检测模块包括图像差分运动部分，自适应阈值选取部分和形态学操作部分，其中：
10.运动差分部分预先存储前n帧的图片，然后跟当前帧图片进行像素值差分运算，若
像素点的差分绝对值大于阈值t，则该点为运动点，否则为静止点；
11.自适应阈值选取部分选取当前整幅图像的灰度均值，根据事件段调整，白天阈值提高，夜晚阈值降低；或者将图相进行分块，每块采用不同的阈值；
12.形态学操作部分对运动的二值图像进行形态学操作，包括开运算和闭运算，取操作后的连通区域，保留连通区域面积较大的区域，作为运动区域。
13.进一步的，所述物体检测模块针对运动区域，采用深度学习检测方法做物体检测，主要检测车辆和行人，深度学习检测方法包括faster-rcnn，ssd或yolov3算法对车辆进行检测，主模型采用vgg16或alexnet。
14.进一步的，所述车辆检测模块从图像中自动标记车辆的位置和置信度，采用改进的多种深度学习方法对输入图像进行车辆检测，使用faster-rcnn或ssd算法对车辆进行检测。
15.进一步的，所述车牌识别模块，采用改进的mtcnn深度学习算法检测车牌的四个端点，然后利用透视变换算法，对车牌进行校正，采用基于crnn的神经网络识别算法，对车牌进行整牌识别，解决由于传统的车牌识别算法针对模糊车牌，悬挂倾斜车牌和光照条件较差的车牌识别效果较差，导致的识别效率的问题。
16.进一步的，所述车辆品牌识别模块，采用mobilenet分类神经网络对车辆品牌进行分类识别，同时根据识别的车辆品牌，经过后处理输出收费类型。
17.进一步的，所述危险品标记检测模块根据危险品的类型训练三个检测模型，采用yolo-v1，yolo-v2或yolo-v3检测算法对危险品车辆进行检测判别。
18.本发明具有下述有益效果：
19.本发明提供的基于大数据及视频技术的高速公路隧道车辆监测技术，可提高交通事件的预警能力，加快对特殊事件的响应速度，使隧道运维管理更加合理、科学、高效。隧道内车辆在监控场景下会出现各种复杂状况(例如光照、视野、小目标、天气等)，增加了对车辆特征进行识别的难度。在内存和计算能力有限的嵌入式智能硬件平台上部署目标检测算法，需要平衡好检测精度和实时性要求。本发明采用基于多尺度神经网络模型的剪枝网络方法，通过稀疏化训练和网络剪枝操作，可显著降低模型复杂度和运行的计算成本，实现基于大数据和深度学习的隧道车辆自动检测技术。
附图说明
20.图1为本发明事件检测总体流程图；
21.图2为本发明异常事件判别流程图；
22.图3为本发明危化品检测总体流程图；
23.图4为ssd网络结构图；
24.图5为yolo-v3结构图；
25.图6为车牌识别模块技术方案第一阶段示意图；
26.图7为车牌识别模块技术方案第二阶段示意图；
27.图8为车牌识别模块技术方案第三阶段示意图。
具体实施方式
28.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
29.实施例
30.图1为本发明实施例提供的事件检测总体流程图，运动区域检测模块主要分图像差分，自适应阈值选取，形态学操作选取运动区域等几个部分。
31.运动差分：会预先存储前n(这里的n可以取4)帧的图片，然后跟当前帧图片进行像素值差分运算，若像素点的差分绝对值大于阈值t，则该点为运动点，否则为静止点。
32.自适应阈值选取：自适应阈值t选取可以选取当前整幅图像的灰度均值；也可以根据事件段调整，白天阈值提高，夜晚阈值降低；也可以将图相进行分块，每块采用不同的阈值，本发明专利采用的是第三种方案。
33.形态学操作：对运动的二值图像进行形态学操作，形态学操作主要分为开运算和闭运算，或取操作后的连通区域，保留连通区域面积较大的区域，作为运动区域。
34.针对运动区域，采用深度学习检测方法做物体检测，主要检测车辆和行人，本实例采取深度学习检测方法yolo-v3。
35.yolo-v3是目前为止，速度和精度最均衡的目标检测网络。通过多种先进方法的融合，将yolo系列的短板(速度很快，不擅长检测小物体)全部补齐。每个框使用多标签分类来预测边界框可能包含的类。不使用softmax，使用二元交叉熵损失来进行类别预测。对重叠的标签，多标签方法可以更好的模拟数据。
36.跨尺寸预测，采用类似fpn的上采样和融合方法，在多个scale的特征图上做检测，对于小目标的检测效果提升较高。
37.图2是异常事件判别流程图。
38.物体跟踪：将检测到的行人和车辆分别采用最近邻方法进行跟踪计算，即车与车进行关联跟踪，人与人进行关联跟踪，并且统计每个轨迹中物体出现的次数n，若n》t1(其中t1为物体出现次数阈值，可以取3)，则进行判别，若该轨迹为行人，则上报行人闯入，若为车辆，则进入到以下判别。
39.拥堵判别：统计同一时刻出现的车的轨迹数目和当前车辆位置，同时满足以下两个条件，则判别为拥堵事件。
40.若轨迹数目n》t2(t2为轨迹数目阈值，这里可以取值为8)。
41.将当前图像按照宽和高划分为m*m块(这里的m可以取值为5)，若每块区域内均有车辆。
42.抛洒判别：针对当前车辆周围，启用抛洒物检测算子，检测常见的抛洒物，例如矿泉水瓶，盒子等，若检测到，则判别为抛洒，同时训练一个车窗往外伸胳膊的动作的检测子，若检测到该事件，则亦可判别为抛洒。
43.逆行判别：分析车辆轨迹出现的每帧的位置，判别车辆的运动方向，若运动方向跟设置的方向相反，则判别为逆行。
44.图3是危化品检测总体流程图。
45.所述车辆检测模块即从图像中自动标记车辆的位置和置信度，采用改进的多种深度学习方法对输入图像进行车辆检测，本实施类对常用的faster-rcnn，ssd等算法进行整
合，得到faster-rcnn算法，从而对车辆进行检测。
46.faster-rcnn：为rcnn和faste-rcnn的升级算法，流程如下：
47.1.对整张图片输进cnn，得到feature map；
48.2.卷积特征输入到rpn(region proposal network)，得到候选框的特征信息；
49.3.对候选框中提取出的特征，使用分类器判别是否属于一个特定类；
50.4.对于属于某一特征的候选框，用回归器进一步调整其位置。
51.改进后的算法在以下三个方面有很大的优势：
52.1.多尺度：使用6个不同特征图检测不同尺度的目标，低层预测小目标，高层预测大目标，所以可以同时检测较小和较大的目标。
53.2.设置了多种宽高比的default box(anchor box)：在特征图的每个像素点处，生成不同宽高比的default box(anchor box),本实施类设置的宽高比为{1,2,3,1/2,1/3}。假设每个像素点有k个default box，需要对每个default box进行分类和回归，其中用于分类的卷积核个数为ck(c表示类别数)，回归的卷积核个数为4k。
54.3.数据增强：使用了两种数据增强的方式。1)放大操作:随机crop，patch与任意一个目标的iou为0.1,0.3,0.5,0.7,0.9，每个patch的大小为原图大小的[0.1,1],宽高比在1/2到2之间，能够生成更多的尺度较大的目标；2)缩小操作:首先创建16倍原图大小的画布，然后将原图放置其中，然后随机crop，能够生成更多尺度较小的目标。具体见图4，ssd网络结构图。
[0055]
所述车牌识别模块，由于传统的车牌识别算法针对模糊车牌，悬挂倾斜车牌和光照条件较差的车牌识别效果较差，故开发基于深度学习的车牌算法，可以大程度解决该类车牌的识别率。实现步骤，采用改进的mtcnn深度学习算法检测车牌的四个端点，然后利用透视变换算法，对车牌进行校正，采用基于crnn的神经网络识别算法，对车牌进行整牌识别，基于整牌识别算法，有效的避免了传统字符分割算法引入的误差，车牌检测方案如下：
[0056]
1.第一阶段：通过＊9一个浅层的cnn快速生成候选窗口：
[0057]
该阶段是一个全部由卷积层组成的cnn，取名p-net，获取候选车牌窗口以及车牌框回归向量。基于车牌框回归向量对候选窗口进行校正。之后采用nms合并高重叠率的候选窗口，该阶段在三个任务det、box、landmark任务上，a的对应取值为{1.0,0.5,0.5}，其中该阶段输入的图像的宽为16，高为12。
[0058]
2.第二阶段，通过一个更复杂的cnn否决大量非车牌窗口从而精化车牌窗口：
[0059]
第二阶段输出的候选窗口作为r-net的输入，r-net能够进一步筛除大量错误的候选窗口，再利用车牌框回归向量对候选窗口做校正，并执行nms。该阶段在三个任务det、box、landmark任务上，a的对应取值为{1.0，0.5，1.0}，其中该阶段输入的图像的宽为36，高为24。
[0060]
3.第三阶段，使用更复杂的cnn进一步精化结果并输出4个车牌定点：
[0061]
与第二阶段相似，但这一阶段用更多的监督来识别车牌区域，而且网络能够输出四个车牌顶点的位置坐标。该阶段在三个任务det、box、landmark任务上，a的对应取值为{1.0，0.5，1.0}，其中该阶段输入的图像的宽为48，高为72。
[0062]
4.车牌矫正：
[0063][0064]
根据检测的车牌的四个顶点，计算透视变换矩阵，采用透视变换理论，对车牌进行矫正，以下为透视变换公式：
[0065]
u，v是原始图片左边，对应得到变换后的图片坐标x，y，其中x＝x
′
/w
′
，y＝y
′
/w
′
。
[0066]
基于crnn算法进行整牌识别：crnn是一种卷积循环神经网络结构，用于解决基于图像的序列识别问题，特别是场景文字识别问题。网络结构包含三部分，从下到上依次为：
[0067]
卷积层，作用是从输入图像中提取特征序列；
[0068]
循环层，作用是预测从卷积层获取的特征序列的标签(真实值)分布；
[0069]
转录层，作用是把从循环层获取的标签分布通过去重整合等操作转换成最终的识别结果；
[0070]
所述危险品标记检测模块根据危险品的类型，训练了三个检测模型，本实施类采用yolo-v3检测算法对危险品车辆进行检测判别。
[0071]
yolo-v3:yolo-v3是目前为止，速度和精度最均衡的目标检测网络。通过多种先进方法的融合，将yolo系列的短板(速度很快，不擅长检测小物体)全部补齐。每个框使用多标签分类来预测边界框可能包含的类。不使用softmax，使用二元交叉熵损失来进行类别预测。对重叠的标签，多标签方法可以更好的模拟数据。跨尺寸预测：采用类似fpn的上采样和融合方法，在多个scale的特征图上做检测，对于小目标的检测效果提升较高，具体见图5。
[0072]
上面结合实施例对本发明的实例作了详细说明，但是本发明并不限于上述实例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出的各种变化，也应视为本发明的保护范围。

技术特征：
1.一种基于大数据和视频技术的隧道车辆检测方法，其特征在于，包括事件检测和危化品检测，通过高清卡口和监控视频数据，以机器学习为技术方法，结合大数据处理手段和先进的图像识别算法技术，对进入公路隧道内的车辆状态进行精准识别，获取车辆车牌号、车辆类型、车辆型号、车辆运行速度、隧道内行驶轨迹位置、车流量信息；所述事件检测，包括视频图像获取模块，运动区域检测模块，物体检测模块和异常事件判别模块，其中运动区域检测模块采用自适应阈值的方法做帧差运动检测，将检测到的区域输入到物体检测模块，物体检测模块做车辆和行人的检测，将检测结果送入到异常事件判别模块，最终会判别出逆行、拥堵、违章停车、抛洒、行人闯入中的异常事件；所述危化品检测，包括图像获取模块，车辆检测模块，车牌识别模块，车辆品牌识别模块和危险品标记检测模块，其中车辆检测模块采用深度学习算法进行检测，车牌识别模块采用传统方法结合深度学习方法，针对非两客车辆，送入危险品标记检测模块，判别是否为危险品车辆，最终输出车辆的车牌号码，是否为两客车辆，是否为一危车辆，进而对这些车辆进行管控。2.根据权利要求1所述的基于大数据和视频技术的隧道车辆检测方法，其特征在于，所述运动区域检测模块包括图像差分运动部分，自适应阈值选取部分和形态学操作部分，其中：运动差分部分预先存储前n帧的图片，然后跟当前帧图片进行像素值差分运算，若像素点的差分绝对值大于阈值t，则该点为运动点，否则为静止点；自适应阈值选取部分选取当前整幅图像的灰度均值，根据事件段调整，白天阈值提高，夜晚阈值降低；或者将图相进行分块，每块采用不同的阈值；形态学操作部分对运动的二值图像进行形态学操作，包括开运算和闭运算，取操作后的连通区域，保留连通区域面积较大的区域，作为运动区域。3.根据权利要求2所述的基于大数据和视频技术的隧道车辆检测方法，其特征在于，所述物体检测模块针对运动区域，采用深度学习检测方法做物体检测，主要检测车辆和行人，深度学习检测方法采用faster-rcnn，ssd或yolov3算法对车辆进行检测，主模型采用vgg16或alexnet。4.根据权利要求3所述的基于大数据和视频技术的隧道车辆检测方法，其特征在于，所述车辆检测模块从图像中自动标记车辆的位置和置信度，采用改进的多种深度学习方法对输入图像进行车辆检测，使用faster-rcnn或ssd算法对车辆进行检测。5.根据权利要求4所述的基于大数据和视频技术的隧道车辆检测方法，其特征在于，所述车牌识别模块采用改进的mtcnn深度学习算法检测车牌的四个端点，然后利用透视变换算法，对车牌进行校正，采用基于crnn的神经网络识别算法，对车牌进行整牌识别。6.根据权利要求5所述的基于大数据和视频技术的隧道车辆检测方法，其特征在于，所述车辆品牌识别模块采用mobilenet分类神经网络对车辆品牌进行分类识别，同时根据识别的车辆品牌，经过后处理输出收费类型。7.根据权利要求6所述的基于大数据和视频技术的隧道车辆检测方法，其特征在于，所述危险品标记检测模块根据危险品的类型训练三个检测模型，采用yolo-v1，yolo-v2或yolo-v3检测算法对危险品车辆进行检测判别。

技术总结
本发明公开了一种基于大数据和视频技术的隧道车辆检测方法，通过高清卡口、监控视频等数据，以机器学习为技术方法，结合大数据处理手段和先进的图像识别算法技术，对进入公路隧道内的车辆状态进行精准识别，获取车辆车牌号、车辆类型、车辆型号、车辆运行速度、隧道内行驶轨迹位置、车流量等信息。同时可实现对隧道内的特殊事件进行检测，例如：车辆停车、车辆逆行、行人、遗撒物品、道路施工等。实时掌握危化品车辆行驶状态和隧道车流状况，车辆在隧道内发生的突发事件第一时间进行告警，可为应急处置部门对特殊事件快速处置和应急联动提供信息支持，加快对特殊事件的响应速度。加快对特殊事件的响应速度。加快对特殊事件的响应速度。


技术研发人员：谢鹏远 王瑜波 赵凯 张伟 张海跤
受保护的技术使用者：山西省智慧交通研究院有限公司
技术研发日：2022.12.19
技术公布日：2023/7/11