一种隧道交通安全监测方法及系统与流程

1.本发明属于隧道监测领域，特别涉及一种基于跨摄像机协同多技术融合的智慧隧道交通安全监测方法及系统。


背景技术：

2.我国是个多山的国家，而隧道具有改善路网，节约土地等优点，所以逐渐成为公路建设的重要组成部分。隧道作为道路交通的重要组成部分之一，其安全性直接关系到人民的生命和财产安全。随着我国经济的快速发展，高速公路及高速公路隧道的建设项目与日俱增，隧道安全运营问题显得越来越突出，除隧道本身的土建施工质量外，隧道的监视与控制管理成为公路隧道安全正常运行的重要课题。
3.隧道内部构造狭窄、相对封闭，致使其行车环境相当复杂，而且隧道内有大量种类繁多的设施，对隧道的运营管理显得尤为重要。尤其在高速公路隧道内，车速高、车流量大而且照明差、噪声大、空气质量差，容易导致交通事故的发生。同时，隧道内的事故较难处理，且其中断交通的时间长，并且某一个路况出现问题，因为信息沟通不及时，隧道内的车速又快，会导致隧道拥堵或出现二次事故。因而，及时有效的隧道智能监控和报警非常有必要。
4.目前，在国内所有的高速隧道出入口及隧道内部均已经安装多个监控摄像机。但由于监控摄像机数量庞大，通过人工的方式来实时查看和监测隧道状况，需要投入巨大的人工成本，非常不现实。最终，耗费巨大投入安装的监控摄像机往往只能作为事件事后回溯的依据，没有起到事前有效预警、事中及时报警的作用。
5.在对隧道监控摄像机拍摄的视频画面进行分析时发现，隧道入口(进入隧道前)和隧道出口(出口外面)的摄像机拍摄的视频画面较清晰，能够人眼看清车牌号码；隧道内部由于空间狭长、光线偏暗，加上摄像机镜头污渍或拍摄质量和网络传输质量较差等原因，隧道中的监控摄像机拍摄的视频质量较差，无法识别车牌，仅能拍摄到车辆的模糊轮廓。这给隧道智能监测带来了非常大的挑战。


技术实现要素：

6.本发明的目的在于提供一种智慧隧道交通安全监测方法及系统，基于跨摄像机协同多技术融合实现智慧隧道交通安全监测方法及系统，本发明的技术方案为：一种智慧隧道交通安全监测方法，包括以下步骤：
7.步骤s1：利用安装在隧道入口、内部、出口处的多个视频采集设备，分别采集相应监控区域中的视频数据，实时获取视频流并进行解码，获得视频帧图片；所述的视频采集设备为摄像机；
8.步骤s2：对隧道入口、内部、出口处采集的视频帧图片进行目标检测，获得第一目标类型和第一目标坐标；
9.步骤s3：对隧道入口和出口处的摄像机检测到的车辆进行车牌检测和识别，获得
入口和出口车辆的车牌信息；
10.步骤s4：将隧道入口和出口处获得的车辆车牌信息，进行跨摄像机的多目标跟踪，得到所有车辆的平均车速、通行时间信息；
11.步骤s5：基于隧道入口、出口与隧道内的车辆拍摄位置、拍摄质量的差异度量值，对步骤2获得的隧道入口、内部、出口车辆图像进行车辆车牌重识别；
12.步骤s6：对隧道内各摄像机的视频帧图片进行亮度异常检测，检测隧道内灯光环境是否异常；
13.步骤s7：对隧道内部多台摄像机的视频帧图片进行着火冒烟检测，检测隧道内是否有着火冒烟异常事件的发生，获得第二目标类型、第二目标坐标和第二目标得分；
14.步骤s8：对隧道内各摄像机检测到的车辆进行单摄像机内的多目标跟踪，得到所有车辆的连续轨迹；
15.步骤s9：对隧各摄像机内得到的所有车辆连续轨迹，进行车流量检测、违法变道检测、交通堵塞检测、违法停车检测。
16.本发明的另一个实施例，提出一种智慧隧道交通安全监测系统，包括：
17.视频采集模块：利用安装在隧道入口、内部、出口处的多个视频采集设备，分别采集相应监控区域中的视频数据，实时获取视频流并进行解码，获得视频帧图片；所述的视频采集设备为摄像机；
18.目标检测模块：对隧道入口、内部、出口处采集的视频帧图片进行目标检测，获得第一目标类型和第一目标坐标；
19.车牌信息识别模块：对隧道入口和出口处的摄像机检测到的车辆进行车牌检测和识别，获得入口和出口车辆的车牌信息；
20.车速检测模块：将隧道入口和出口处获得的车辆车牌信息，进行跨摄像机的多目标跟踪，得到所有车辆的平均车速、通行时间信息；
21.车牌重识别模块：基于隧道入口、出口与隧道内的车辆拍摄位置、拍摄质量的差异度量值，对隧道入口、内部、出口车辆图像进行车辆车牌重识别；
22.亮度异常检测模块：对隧道内各摄像机的视频帧图片进行亮度异常检测，检测隧道内灯光环境是否异常；
23.烟火检测模块：对隧道内部多台摄像机的视频帧图片进行着火冒烟检测，检测隧道内是否有着火冒烟异常事件的发生，获得第二目标类型、第二目标坐标和第二目标得分；
24.轨迹获取模块：对隧道内各摄像机检测到的车辆进行单摄像机内的多目标跟踪，得到所有车辆的连续轨迹；
25.违法检测模块：对隧各摄像机内得到的所有车辆连续轨迹，进行车流量检测、违法变道检测、交通堵塞检测、违法停车检测。
附图说明
26.图1：本发明的方法整体流程图；
27.图2目标检测流程图；
28.图3车辆重识别流程图；
29.图4着火冒烟检测流程图；
30.图5车流量检测流程图；
31.图6违法变道检测流程图。
具体实施方式
32.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
33.本发明实施例公开了一种智慧隧道交通安全监测方法和系统，能够基于跨摄像机协同多技术融合实现智慧隧道交通安全监测，参见图1，包括如下过程：
34.步骤s1：利用安装在隧道入口、内部、出口处的多个视频采集设备，分别采集相应监控区域中的视频数据，实时获取视频流并进行解码，获得视频帧图片；所述的视频采集设备为摄像机；
35.本实施例中，在隧道入口、隧道出口处分别按照有第一、第三视频采集设备，在隧道内部安装有第二采集设备，所述的第二采集设备数量为多个，沿着隧道方向间隔分布；多个第二采集设备分为多组布置：
36.在靠近隧道入口处设置有第一组隧道内摄像机，在靠近隧道出口设置有第二组隧道内摄像机；所述的靠近是指离开入口或出口距离30～50米的位置；
37.进一步的，在第一组隧道内摄像机和第二组隧道内摄像机之间，根据间隔距离，例如每40米，设置一组摄像机，作为第三摄像机组；例如，如果第一组隧道内摄像机和第二组隧道内摄像机隧道长度为120米，则会有2组第三组摄像机组，分别位于40、80米的位置；
38.步骤s2：对隧道入口、内部、出口处采集的视频帧图片进行目标检测，获得第一目标类型和第一目标坐标；
39.所述的第一目标类型为如车辆、行人、宠物、石头等，其中，第一目标的坐标是目标的形状中心或重心的位置在图像中的像素坐标，包括x、y方向的坐标；
40.本实施例中，对于目标检测时采用目标检测模型实现的，具体包括，目标检测模型训练，及利用训练好的目标检测模型进行目标检测。其中，目标检测模型训练具体包括如下步骤：
41.步骤s21，收集入口、隧道内、出口处摄像机拍摄的视频帧图像；
42.步骤s21，针对所述的隧道内采集的视频帧图像，进行筛选操作，形成筛选后的图像数据集；
43.由于隧道场景与普通社会监控视频差异比较大，且隧道出入口与隧道内部的视频画面也存在巨大差异，因此，本发明针对隧道场景训练目标检测模型。对隧道监控视频获取的帧图像进行挑选后形成图像数据集；所述的挑选，是指挑选曝光图像清晰、亮度均匀、车辆完整的图帧图像；
44.步骤s22，对图像数据集中的目标图像进行数据增强，并采用标注软件对目标图像进行边界框标注；
45.步骤s23，将图像数据集分为训练集、验证集以及测试集；
46.步骤s24，建立yolov5深度卷积神经网络模型；使用训练集和adam优化器对深度卷
积神经网络模型进行训练，并利用验证集的表现进行超参数调试，保存训练好的权重参数；使用测试集进测试，进行边界框重合度计算和目标类别判断，得到检测结果；
47.利用训练好的目标检测模型进行目标检测包括：
48.步骤s25将实时监控视频的图像帧传入目标检测识别引擎，目标检测识别引擎输出该图像中包含的所有对象在对应摄像机中的检测框、类别、置信度。步骤3：对隧道入口和出口摄像机检测到的车辆进行车牌检测和识别，获得入口和出口车辆的车牌信息。
49.步骤s3：对隧道入口和出口处的摄像机检测到的车辆进行车牌检测和识别，获得入口和出口车辆的车牌信息；
50.步骤s31，建立haar级联分类器进行车牌粗定位，得到车牌位置处于中央位置的图片；
51.步骤s31，对得到的图片中车牌区域进行上下边界的裁剪，去除矫正时的干扰区域；
52.步骤s32，统计各个方向场的角度来寻找图像中纹理最为密集的两个方向，进行车牌矫正；
53.步骤s33，建立cnn回归模型预测车牌的四个顶点位置，将车牌区域裁剪出来，得到车牌的精确位置；
54.步骤s34，建立hyper l pr深度卷积神经网络端到端车牌识别模型；
55.步骤s35，获取步骤s2目标检测结果，根据置信度筛选识别对象，将车辆图像传入车牌检测和车牌识别引擎，直接得到车牌号码。
56.步骤s4：将隧道入口和出口处获得的车辆车牌信息，进行跨摄像机的多目标跟踪，得到所有车辆的平均车速、通行时间信息；具体包括：
57.步骤s41，获取步骤s3隧道入口车牌识别结果，记录拍摄到车牌lg的时间t1和车牌号码lg；
58.步骤s42，获取步骤s3隧道出口车牌识别结果，记录拍摄到同一车牌号码lg的时间t2；
59.步骤s43，根据δt＝t2-t1，得到某一车辆在隧道内通行时间；
60.步骤s44，根据隧道长度s和通行时间δt，得到车辆通行隧道平均速度v＝s/δt；
61.步骤s44，依靠通信模块将通行时间和平均速度上传至监控平台，根据事先设置好的通行时间阈值和超速低速行驶阈值，判断对应车牌号码的车辆是否超速，若超速则触发报警，便于后续稽核，并实现跨摄像机的跟踪识别。
62.步骤s5：基于隧道入口、出口与隧道内的车辆拍摄位置、拍摄质量的差异度量值，对步骤2获得的隧道入口、内部、出口车辆图像进行车辆车牌重识别；
63.因隧道出入口与隧道内的车辆拍摄角度、拍摄质量都差异巨大，虽然采用了前述数据集训练了识别模型，但是由于隧道内光线不足，仍然会导致对车辆车牌的识别不够准确，从而影响到后续的一系列监测结果的准确性，故为了进行隧道出入口和隧道内跨摄像机的车辆精准跟踪，基于隧道入口、出口与隧道内的车辆拍摄位置、拍摄质量的差异度量值，对步骤s2获得的隧道入口、内部、出口车辆图像进行车辆车牌重识别。
64.具体包括，首先建立车辆重识别深度卷积神经网络模型，并进行训练，具体如下：
65.步骤s51，建立车辆重识别深度卷积神经网络模型(cnn)，所述车辆重识别深度卷
积神经网络模型(cnn)分三个子模型，分别对应入口重识别检测子模型、内部重识别检测子模型、出口重识别检测子模型；
66.根据一个实施例，通过将车辆重识别深度卷积神经网络模型(cnn)分三个子模型，分别对应入口重识别检测子模型、内部重识别检测子模型、出口重识别检测子模型，从而为不同位置的摄像机建立对应位置的深度卷积神经网络模型，例如本实施例中，为隧道入口的摄像机、隧道出口的摄像机分别应用入口重识别检测子模型、出口重识别检测子模型，从而能够使得深度卷积神经网络模型(cnn)更具有针对性，识别更准确；
67.进一步的，所述的内部重识别检测子模型包括：内部靠近入口重识别检测子模型、内部中间段重识别检测子模型、内部靠近出口重识别检测子模型；
68.例如，针对第一组隧道内摄像机和第二组隧道内摄像机、第三摄像机组，其中，第一组隧道内摄像机靠近隧道入口，第二组隧道内摄像机靠近隧道出口，第三组隧道内摄像机位于中段，建立对应的内部靠近入口重识别检测子模型、内部中间段重识别检测子模型、内部靠近出口重识别检测子模型，并且在后续训练时，用对应的数据进行训练、验证，得到对应的最终模型；
69.步骤s52，采集同一车辆在不同摄像机视角下照明状态、出现形态、遮挡情况下的车辆图像，得到跨场景车辆图像数据集；
70.其中，对于隧道入口的图像，例如采集白天9点-晚上5点之间的图像，并在图像信息中标注时间信息，天气状态，以及采集其他时段的图像；
71.由于图像质量受到时间、光照的影响，因此，对于标标注了时间信息的图像，在训练时，可选的，可以进一步按照不同时间区段的数据图像集训练神经网络模型，从而，在识别时，根据当前时间，选择对应时间段的模型参数进行识别，从而提高准确性；
72.另外，针对雨天、晴天、阴天分别采集车辆图像，从而获得不同天气状况下的图像集，获得该图像集的训练后的对应模型，在不同的当前天气状况下，可以应用对应的模型；
73.针对晴天、阴天、雨天等的不同时刻，分别采集第一组隧道内摄像机和第二组隧道内摄像机、第三摄像机组的视频图像；
74.步骤s53，基于摄像头在入口、内部、出口的位置差异，对跨场景车辆图像数据集进行分类，得到入口图像数据集，内部图像数据集，出口图像数据集；基于入口图像数据集，内部图像数据集，出口图像数据集对入口、内部、出口重识别检测子模型分别进行训练；
75.本实施例中，不同位置摄像机拍摄的图像，对应的用于训练、验证和测试对应的神经网络模型；
76.例如，由于受到隧道方向的影响，靠近隧道的出口和入口的光照强度、光照方向均不同，在不同时刻，光照的特点也不同，对于北方地区南北向的隧道，早上靠近隧道南边隧道口的光线较好，而下午5点以后，由于太阳相对运动偏向西北方向，靠近隧道北边隧道口的光线较好，所以，不同位置、不同时刻，不同摄像机拍摄图像的质量有差别。因此，第一组隧道内摄像机采集的图像用于训练内部靠近入口重识别检测子模型、第二组隧道内摄像机采集的图像用于训练内部靠近出口重识别检测子模型、第三摄像机组的视频图像用于训练内部中间段重识别检测子模型。
77.步骤s54，训练采用多损失函数分阶段联合训练策略，保存训练好的权重参数，得到训练好的入口、内部、出口重识别检测模型。
78.进一步的，所述的步骤s5还包括，
79.步骤s55，利用训练好的车辆重识别深度卷积神经网络模型进行车辆车牌重识别：具体包括：
80.步骤s551，对于入口处实时采集的视频中车辆图像，提取车辆图像特征和车牌图像特征，采用入口重识别检测子模型进行识别；
81.步骤s552，对于出口处实时采集的视频中车辆图像，提取车辆图像特征和车牌图像特征，采用出口重识别检测子模型进行识别；
82.步骤s553，对于隧道内部处实时采集的视频中车辆图像，提取车辆图像特征和车牌图像特征，采用内部重识别检测子模型进行识别；
83.同时，将车辆图像特征征和车牌图像特征连接在一起，组成组合特征向量；
84.本实施例中，提取的车辆图像特征例如为：x1，x2，x3
……
xn,车牌图像特征例如为y1，y2，y3
……
yn，则连接后的特征向量为：{x1，x2，x3
……
xn，y1，y2，y3
……
yn}；
85.白天晴天时，外部光线好，隧道内光纤弱，因此，隧道内摄像机拍摄质量通常不如隧道外；
86.白天阴天和下雨时，外部光线差，隧道内光纤相对均匀，因此，隧道内摄像机拍摄质量优于隧道外；
87.夜晚天黑时，外部光线差，隧道内光纤相对均匀，因此，隧道内摄像机拍摄质量优于隧道外；
88.由于车辆目标比车牌目标更大，因此，对于光线不良的情况下，车牌特征的识别不如车辆特征准确，因此本发明中，对于上述连接后的特征向量，增加权重干扰因子α和β，对车辆特征和车牌特征赋予不同的权重，从而抵消天气、光线的影响，使得结果更准确。
89.{αx1，αx2，αx3
……
αxn，βy1，βy2，βy3
……
βyn}；
90.其中，β＝1-α，
[0091][0092]
步骤554，将所述的组合特征向量输入到车辆特征查询库内进行检索识别，与车辆特征查询库内图像的组合特征向量计算欧式距离进行相似性度量，基于相似性度量结果，锁定符合要求的检索识别结果。
[0093]
整体识别流程图如图3所示。依次得到以时间顺序的隧道入口、内部、出口的车辆轨迹图片流，上传至隧道安全监控平台，为后续流程提供支撑。
[0094]
步骤6：对隧道内各摄像机的视频帧图片进行亮度异常检测，检测隧道内灯光环境是否异常。
[0095]
步骤s6：对隧道内各摄像机的视频帧图片进行亮度异常检测，检测隧道内灯光环境是否异常；
[0096]
具体的，所述的步骤s6包括，
[0097]
步骤s61，将隧道内实时监控视频图像帧传入亮度异常检测引擎；把彩色图像转化为灰度图像；
[0098]
步骤s62，求整幅图像或roi区域的平均灰度值g，该灰度值为图像的亮度值；定义阈值a，b，当g∈[0,a]认为图像偏暗，当g∈[b,255]认为图像偏亮；根据获得平均灰度值g的大小；将平均灰度值g上传至监控平台，根据设定好的偏暗偏亮阈值，进行亮度异常报警。
[0099]
步骤s7：对隧道内部多台摄像机的视频帧图片进行着火冒烟检测，检测隧道内是否有着火冒烟异常事件的发生，获得第二目标类型(烟火)、第二目标坐标和第二目标得分；
[0100]
具体的，所述的步骤s7还包括，
[0101]
步骤s71，对各类烟火视频获取的目标图像进行处理后分类成相应的类别烟火数据集；
[0102]
步骤s72，对烟火数据集中的目标图像进行筛选过滤，增加非烟火的负样本，并采用标注软件对烟火进行边界框标注；
[0103]
步骤s73，建立着火冒烟深度卷积神经网络模型；
[0104]
步骤s74，将烟火数据集分为训练集、验证集以及测试集；
[0105]
步骤s75，使用训练集和sgd优化器对深度卷积神经网络进行训练，并利用验证集的表现进行超参数调试，保存训练好的权重参数；
[0106]
步骤s76，使用测试集进测试，进行边界框重合度计算和烟、火类别判断，得到检测结果；
[0107]
步骤s77，将实时监控视频的图像帧传入着火冒烟检测引擎，着火冒烟检测引擎判断图像中是否存在烟火特征，如果存在烟火特征，则上传至监控平台进行着火冒烟报警。整体检测流程图如图4所示。
[0108]
步骤s8：对隧道内各摄像机检测到的车辆进行单摄像机内的多目标跟踪，得到所有车辆的连续轨迹；具体的，所述的步骤s8还包括，
[0109]
步骤s81，获取步骤s2目标检测结果，根据置信度筛选识别对象；
[0110]
步骤s82，对于每个检测到的物体，用一个矩形框标定该区域，并提取每个区域的中心坐标及大小等特征；
[0111]
步骤s83，之后，建立链表，为每一个运动目标建立一个链表，存放提取的特征；
[0112]
步骤s84，使用卡尔曼滤波的时间更新方程进行轨迹预测；
[0113]
步骤s85，使用匈牙利算法将预测后的轨迹和当前帧中的探测进行特征加权匹配；
[0114]
步骤s86，匹配成功则用卡尔曼滤波的测量更新方程进行更新轨迹，匹配失败则认为轨迹丢失；
[0115]
步骤s87，最后，关联步骤为每个对象分配数字id。
[0116]
步骤s9：对隧各摄像机内得到的所有车辆连续轨迹，进行车流量检测、违法变道检测、交通堵塞检测、违法停车检测。具体如下：
[0117]
车流量检测是通过车辆的计数实现的，具体包括：首先获取步骤s8单摄像机内多目标跟踪得到一个唯一目标标识和对应的中心点；设置虚拟计数线，设置计数器为0；目标刚出现时，通过判断目标中心点在虚拟计数线的某一侧；目标在移动过程中会不断得到新的位置点，重复判断目标在直线的某一侧；当前后两个位置点在直线的不同侧时，说明目标跨越了直线，此时计数器加一；已计数的目标设置一个标志字段，后面不再参与计数。整体检测流程图如图5所示，其中“！＝”表示不等于。
[0118]
违法变道检测，具体包括：进行车道线检测，采用hough变换进行车道线的检测，确
定车道线的位置坐标；获取步骤s8单摄像机内多目标跟踪得到一个唯一目标标识和对应的中心点；目标刚出现时，通过判断目标中心点在车道线的某一侧；目标在移动过程中会不断得到新的位置点，重复判断目标在车道线的某一侧；当前后两个位置点在直线的不同侧时，说明目标跨越了车道线，即发生了变道行为，则上传至监控平台，进行违法变道报警；算法具体步骤如下：
[0119]
步骤s91：设置禁止变更车道线为forbidden；
[0120]
步骤s92：计算车辆跟踪轨迹中心点pos(x,y)与其对应车道线的距离d；
[0121]
d＝pos(x,y)-forbidden(x,y)
[0122]
步骤s93：计算距离的正负，也就是车辆轨迹中心点与车道线距离的正负是否发生变化来判断是否发生了变道行为，即
[0123][0124][0125]
当车辆与车道线距离的正负发生突变时，将ch_event置为1，代表发生了变道行为，反之ch_event为0代表未发生变道的行为，旧pos i t i on是过去时刻的pos i t i on值，当前pos it i on是当前时刻的pos it i on值，pos it i on即位置。整体检测流程图如图6所示。
[0126]
交通堵塞检测，具体包括：首先获取步骤s8单摄像机内多目标跟踪得到一个唯一目标标识和对应的运动轨迹坐标点集合；根据目标轨迹点坐标获得目标像素级速度；获取车流量检测的车流量参数；根据车流量参数大于某值，且每辆车连续若干帧之内速度不大于某值；则交通堵塞事件发生，进行交通堵塞报警。
[0127]
违法停车检测，具体包括：首先获取步骤s8单摄像机内多目标跟踪得到一个唯一目标标识和对应的运动轨迹坐标点集合；根据目标轨迹点坐标获得目标像素级速度；根据连续若干帧之内速度不大于某值，且排除交通堵塞情况；则车辆违法停车事件发生，进行违法停车报警。
[0128]
本发明在不添加任何隧道前端硬件成本的情况下，最大限度的利用已有的隧道监控摄像机，通过跨摄像机协同下的多技术融合手段，能够及时识别通过隧道的车辆的车型、车牌号码、车牌颜色、车速；识别车辆进入、隧道内行驶、离开的全流程图片信息；统计隧道内车流量、识别隧道内堵车等交通状况。进而提供一种能够及时监测到隧道内一系列安全问题的监测系统。如车辆在隧道内停车、超速行驶、违法变道等违法行为；隧道内有不明障碍物、有人员走动等异常状况；智能识别隧道内灯光过暗、着火冒烟等异常。并且一旦有上述安全隐患问题发生，该系统可以立刻自动报警，以便工作人员及时进行人工干预，避免事故的发生。通过该系统，可做到对隧道安全事故事前的及时预警和事中及时报警，大大提升隧道管理人员对一系列隧道安全事件的应急响应处置速度。
[0129]
根据本发明的另一方面，还提出一种智慧隧道交通安全监测系统，包括：
[0130]
视频采集模块：利用安装在隧道入口、内部、出口处的多个视频采集设备，分别采集相应监控区域中的视频数据，实时获取视频流并进行解码，获得视频帧图片；所述的视频
采集设备为摄像机；
[0131]
目标检测模块：对隧道入口、内部、出口处采集的视频帧图片进行目标检测，获得第一目标类型和第一目标坐标；
[0132]
车牌信息识别模块：对隧道入口和出口处的摄像机检测到的车辆进行车牌检测和识别，获得入口和出口车辆的车牌信息；
[0133]
车速检测模块：将隧道入口和出口处获得的车辆车牌信息，进行跨摄像机的多目标跟踪，得到所有车辆的平均车速、通行时间信息；
[0134]
车牌重识别模块：基于隧道入口、出口与隧道内的车辆拍摄位置、拍摄质量的差异度量值，对隧道入口、内部、出口车辆图像进行车辆车牌重识别；
[0135]
亮度异常检测模块：对隧道内各摄像机的视频帧图片进行亮度异常检测，检测隧道内灯光环境是否异常；
[0136]
烟火检测模块：对隧道内部多台摄像机的视频帧图片进行着火冒烟检测，检测隧道内是否有着火冒烟异常事件的发生，获得第二目标类型、第二目标坐标和第二目标得分；
[0137]
轨迹获取模块：对隧道内各摄像机检测到的车辆进行单摄像机内的多目标跟踪，得到所有车辆的连续轨迹；
[0138]
违法检测模块：对隧各摄像机内得到的所有车辆连续轨迹，进行车流量检测、违法变道检测、交通堵塞检测、违法停车检测。
[0139]
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

技术特征：
1.一种智慧隧道交通安全监测方法，其特征在于，包括以下步骤：步骤s1：利用安装在隧道入口、内部、出口处的多个视频采集设备，分别采集相应监控区域中的视频数据，实时获取视频流并进行解码，获得视频帧图片；所述的视频采集设备为摄像机；步骤s2：对隧道入口、内部、出口处采集的视频帧图片进行目标检测，获得第一目标类型和第一目标坐标；步骤s3：对隧道入口和出口处的摄像机检测到的车辆进行车牌检测和识别，获得入口和出口车辆的车牌信息；步骤s4：将隧道入口和出口处获得的车辆车牌信息，进行跨摄像机的多目标跟踪，得到所有车辆的平均车速、通行时间信息；步骤s5：基于隧道入口、出口与隧道内的车辆拍摄位置、拍摄质量的差异度量值，对步骤2获得的隧道入口、内部、出口车辆图像进行车辆车牌重识别；步骤s6：对隧道内各摄像机的视频帧图片进行亮度异常检测，检测隧道内灯光环境是否异常；步骤s7：对隧道内部多台摄像机的视频帧图片进行着火冒烟检测，检测隧道内是否有着火冒烟异常事件的发生，获得第二目标类型、第二目标坐标和第二目标得分；步骤s8：对隧道内各摄像机检测到的车辆进行单摄像机内的多目标跟踪，得到所有车辆的连续轨迹；步骤s9：对隧各摄像机内得到的所有车辆连续轨迹，进行车流量检测、违法变道检测、交通堵塞检测、违法停车检测。2.根据权利要求1所述的一种智慧隧道交通安全监测方法，其特征在于，所述步骤s2，对隧道入口、内部、出口处采集的视频帧图片进行目标检测，获得第一目标类型和第一目标坐标，具体包括，目标检测模型训练，及利用训练好的目标检测模型进行目标检测，目标检测模型训练具体包括：步骤s21，收集入口、隧道内、出口处摄像机拍摄的视频帧图像；步骤s21，针对所述的隧道内采集的是视频帧图像，进行筛选操作，形成筛选后的图像数据集；步骤s22，对图像数据集中的目标图像进行数据增强，并采用标注软件对目标图像进行边界框标注；步骤s23，将图像数据集分为训练集、验证集以及测试集；步骤s24，建立yolov5深度卷积神经网络模型；使用训练集和adam优化器对深度卷积神经网络模型进行训练，并利用验证集的表现进行超参数调试，保存训练好的权重参数；使用测试集进测试，进行边界框重合度计算和目标类别判断，得到检测结果；利用训练好的目标检测模型进行目标检测包括：步骤s25将实时监控视频的图像帧传入目标检测识别引擎，目标检测识别引擎输出该图像中包含的所有对象在对应摄像机中的检测框、类别、置信度。3.根据权利要求1所述的一种智慧隧道交通安全监测方法，其特征在于，所述的步骤s3，对隧道入口和出口处的摄像机检测到的车辆进行车牌检测和识别，获得入口和出口车辆的车牌信息，包括：
步骤s31，建立haar级联分类器进行车牌粗定位，得到车牌位置处于中央位置的图片；步骤s31，对得到的图片中车牌区域进行上下边界的裁剪，去除矫正时的干扰区域；步骤s32，统计各个方向场的角度来寻找图像中纹理最为密集的两个方向，进行车牌矫正；步骤s33，建立cnn回归模型预测车牌的四个顶点位置，将车牌区域裁剪出来，得到车牌的精确位置；步骤s34，建立hyperlpr深度卷积神经网络端到端车牌识别模型；步骤s35，获取步骤s2目标检测结果，根据置信度筛选识别对象，将车辆图像传入车牌检测和车牌识别引擎，直接得到车牌号码。4.根据权利要求1所述的一种智慧隧道交通安全监测方法，其特征在于，所述的步骤s4将隧道入口和出口处获得的车辆车牌信息，进行跨摄像机的多目标跟踪，得到所有车辆的平均车速、通行时间信息；具体包括：步骤s41，获取步骤s3隧道入口车牌识别结果，记录拍摄到车牌lg的时间t1和车牌号码lg；步骤s42，获取步骤s3隧道出口车牌识别结果，记录拍摄到同一车牌号码lg的时间t2；步骤s43，根据δt＝t2-t1，得到某一车辆在隧道内通行时间；步骤s44，根据隧道长度s和通行时间δt，得到车辆通行隧道平均速度v＝s/δt；步骤s44，依靠通信模块将通行时间和平均速度上传至监控平台，根据事先设置好的通行时间阈值和超速低速行驶阈值，判断对应车牌号码的车辆是否超速，若超速则触发报警，便于后续稽核，并实现跨摄像机的跟踪识别。5.根据权利要求1所述的一种智慧隧道交通安全监测方法，其特征在于，所述的步骤s5，基于隧道入口、出口与隧道内的车辆拍摄位置、拍摄质量的差异度量值，对步骤s2获得的隧道入口、内部、出口车辆图像进行车辆车牌重识别，具体包括，首先建立车辆重识别深度卷积神经网络模型，并进行训练，具体如下：步骤s51，建立车辆重识别深度卷积神经网络模型(cnn)，所述车辆重识别深度卷积神经网络模型(cnn)分三个子模型，分别对应入口、内部、出口重识别检测子模型；步骤s52，采集同一车辆在不同摄像机视角下照明状态、出现形态、遮挡情况下的车辆图像，得到跨场景车辆图像数据集；步骤s53，基于摄像头在入口、内部、出口的位置差异，对跨场景车辆图像数据集进行分类，得到入口图像数据集，内部图像数据集，出口图像数据集；基于入口图像数据集，内部图像数据集，出口图像数据集对入口、内部、出口重识别检测子模型分别进行训练；步骤s54，训练采用多损失函数分阶段联合训练策略，保存训练好的权重参数，得到训练好的入口、内部、出口重识别检测模型。6.根据权利要求5所述的一种智慧隧道交通安全监测方法，其特征在于，所述的步骤s5还包括，步骤s55，利用训练好的车辆重识别深度卷积神经网络模型进行车辆车牌重识别：具体包括：s551，对于入口处实时采集的视频中车辆图像，提取车辆图像特征和车牌图像特征，采用入口重识别检测子模型进行识别；
s552，对于出口处实时采集的视频中车辆图像，提取车辆图像特征和车牌图像特征，采用出口重识别检测子模型进行识别；s553，对于隧道内部处实时采集的视频中车辆图像，提取车辆图像特征征和车牌图像特征，采用内部重识别检测子模型进行识别；同时，将车辆图像特征征和车牌图像特征连接在一起，组成组合特征向量；步骤554，将所述的组合特征向量输入到车辆特征查询库内进行检索识别，与车辆特征查询库内图像的组合特征向量计算欧式距离进行相似性度量，基于相似性独立结果，锁定符合要求的检索识别结果。7.根据权利要求1所述的一种智慧隧道交通安全监测方法，其特征在于，所述的步骤s6还包括，步骤s61，将隧道内实时监控视频图像帧传入亮度异常检测引擎；把彩色图像转化为灰度图像；步骤s62，求整幅图像或roi区域的平均灰度值g，该灰度值为图像的亮度值；定义阈值a，b，当g∈[0,a]认为图像偏暗，当g∈[b,255]认为图像偏亮；根据获得平均灰度值g的大小；将平均灰度值g上传至监控平台，根据设定好的偏暗偏亮阈值，进行亮度异常报警。8.根据权利要求1所述的一种智慧隧道交通安全监测方法，其特征在于，所述的步骤s7还包括，步骤s71，对各类烟火视频获取的目标图像进行处理后分类成相应的类别烟火数据集；步骤s72，对烟火数据集中的目标图像进行筛选过滤，增加非烟火的负样本，并采用标注软件对烟火进行边界框标注；步骤s73，建立着火冒烟深度卷积神经网络模型；步骤s74，将烟火数据集分为训练集、验证集以及测试集；步骤s75，使用训练集和sgd优化器对深度卷积神经网络进行训练，并利用验证集的表现进行超参数调试，保存训练好的权重参数；步骤s76，使用测试集进测试，进行边界框重合度计算和烟、火类别判断，得到检测结果；步骤s77，将实时监控视频的图像帧传入着火冒烟检测引擎，着火冒烟检测引擎判断图像中是否存在烟火特征，如果存在烟火特征，则上传至监控平台进行着火冒烟报警。9.根据权利要求1所述的一种智慧隧道交通安全监测方法，其特征在于，所述的步骤s8还包括，步骤s81，获取步骤s2目标检测结果，根据置信度筛选识别对象；步骤s82，对于每个检测到的物体，用一个矩形框标定该区域，并提取每个区域的中心坐标及大小等特征；步骤s83，之后，建立链表，为每一个运动目标建立一个链表，存放提取的特征；步骤s84，使用卡尔曼滤波的时间更新方程进行轨迹预测；步骤s85，使用匈牙利算法将预测后的轨迹和当前帧中的探测进行特征加权匹配；步骤s86，匹配成功则用卡尔曼滤波的测量更新方程进行更新轨迹，匹配失败则认为轨迹丢失；步骤s87，最后，关联步骤为每个对象分配数字id。
10.一种智慧隧道交通安全监测系统，其特征在于，包括：视频采集模块：利用安装在隧道入口、内部、出口处的多个视频采集设备，分别采集相应监控区域中的视频数据，实时获取视频流并进行解码，获得视频帧图片；所述的视频采集设备为摄像机；目标检测模块：对隧道入口、内部、出口处采集的视频帧图片进行目标检测，获得第一目标类型和第一目标坐标；车牌信息识别模块：对隧道入口和出口处的摄像机检测到的车辆进行车牌检测和识别，获得入口和出口车辆的车牌信息；车速检测模块：将隧道入口和出口处获得的车辆车牌信息，进行跨摄像机的多目标跟踪，得到所有车辆的平均车速、通行时间信息；车牌重识别模块：基于隧道入口、出口与隧道内的车辆拍摄位置、拍摄质量的差异度量值，对隧道入口、内部、出口车辆图像进行车辆车牌重识别；亮度异常检测模块：对隧道内各摄像机的视频帧图片进行亮度异常检测，检测隧道内灯光环境是否异常；烟火检测模块：对隧道内部多台摄像机的视频帧图片进行着火冒烟检测，检测隧道内是否有着火冒烟异常事件的发生，获得第二目标类型、第二目标坐标和第二目标得分；轨迹获取模块：对隧道内各摄像机检测到的车辆进行单摄像机内的多目标跟踪，得到所有车辆的连续轨迹；违法检测模块：对隧各摄像机内得到的所有车辆连续轨迹，进行车流量检测、违法变道检测、交通堵塞检测、违法停车检测。

技术总结
本发明提出一种智慧隧道交通安全监测方法及系统，方法包括：步骤S1：利用安装在隧道入口、内部、出口处的多个视频采集设备，分别采集相应监控区域中的视频数据；步骤S2：对视频帧图片进行目标检测；步骤S3：对隧道入口和出口处的车辆进行车牌检测和识别；步骤S4：获得的车辆车牌信息，进行跨摄像机的多目标跟踪；步骤S5：对获得的隧道入口、内部、出口车辆图像进行车辆车牌重识别；步骤S6：对隧道内各摄像机的视频帧图片进行亮度异常检测；步骤S7：对隧道内部多台摄像机的视频帧图片进行着火冒烟检测；步骤S8：对隧道内各摄像机检测到的车辆进行单摄像机内的多目标跟踪，得到所有车辆的连续轨迹；步骤S9：对隧各摄像机内得到的所有车辆连续轨迹。车辆连续轨迹。车辆连续轨迹。


技术研发人员：纪明新 顾辉 李鑫
受保护的技术使用者：北京中科神通科技有限公司
技术研发日：2023.02.27
技术公布日：2023/5/23