基于车载摄像头的车辆越车道线识别方法及系统

1.本发明涉及图像处理技术领域，尤其涉及一种基于车载摄像头的车辆越车道线识别方法及系统。


背景技术：

2.现有的基于视频的车辆变道检测技术用固定摄像头采集视频信息，人工或者用计算机检测违法变道车辆。首先最大的缺点在于由于只能由固定摄像头采集视频信息，因此只能检测固定摄像头周围的小范围路段，无法检测无摄像头存在的路段。其次由于固定摄像头需要安装在路旁的支架上，因此安装成本比较高。最后由于现有车辆变道检测方法是通过检测在一段时间内车辆是否出现在多个车道内来判定是否变道，这种判定方法容易导致错误判定，降低检测精度。


技术实现要素：

3.本发明所要解决的技术问题是如何提供一种检测范围广、检测精度高且检测成本低的基于车载摄像头的车辆越车道线识别方法。
4.为解决上述技术问题，本发明所采取的技术方案是：一种基于车载摄像头的车辆越车道线识别方法，其特征在于包括如下步骤：
5.通过行车记录仪获取车辆前方的交通视频，计算机通过对视频进行按固定帧间距抽帧将视频分为若干张图片；
6.经过抽帧后的图片分别通过车道检测模块和车辆检测模块得到置信度达标的车道坐标信息和车辆特征信息；
7.车辆追踪模块通过车辆特征信息来比较检测车辆的相似度，相似度达标则持续追踪检测车辆并实时更新车辆坐标信息；
8.最后将车道坐标信息和车辆坐标信息输入到车辆变道识别模块中来判断车辆是否变道。
9.进一步的技术方案在于，所述车道检测模块包括车道检测模型，车道检测模块首先进行训练，包括如下步骤：
10.通过行车记录仪采集行车道视频，根据选定帧间距排除重复行车状况图片，得到有效车道照片，按照一定比例将所得到的车道照片分为训练集和测试集；
11.将训练集中的照片输入到psp-net网络模型中进行训练，通过该模型采集车道的各种特征使该模型能在各种条件下识别出车道；
12.模型训练完毕后将测试集中的照片输入到训练好的模型中，测量检测精度，精度合格则训练模型成功。
13.进一步的技术方案在于，车道检测模块进行车道检测的具体步骤如下：
14.车道检测模型训练完成后，由行车记录仪获取视频图像，获取到的图像采取一定的帧间距将视频分为若干张图片，将这些图片逐张输入到模型中，获取待检测车道的坐标
信息；
15.由于在实际交通条件下可能存在车辆遮挡车道的行为，因此根据获取到的车道坐标信息做一定变换，延长已经检测出的车道，得到车道最终坐标信息。
16.进一步的技术方案在于，所述车辆检测模块包括车辆检测模型，车辆检测模块首先进行训练，包括如下步骤：
17.通过行车记录仪采集车辆的视频，根据选定帧间距排除重复图片，按照一定比例将得到的照片分为训练集和测试集；将训练集中的照片输入到yolov5网络模型中进行训练，通过该模型提取车辆特征，使该模型能识别出车辆；模型训练后将测试集中的照片输入到训练好的模型中，调整检测精度，精度合格则训练模型成功。
18.进一步的技术方案在于，车辆检测模块进行车辆检测的具体步骤如下：
19.车辆检测模型训练完成后，不同车辆的各种特征由向量和矩阵形式保存在车辆检测模型中；由行车记录仪获取视频图像，获取到的图像采取一定的帧间距将视频分为若干张图片，将这些图片逐张输入到模型中，模型获取图片的特征向量和已训练好的模型做相似度判别，置信度低于阈值则判定为非车辆，停止检测，超过阈值则判定为车辆，记录其特征信息和坐标信息。
20.进一步的技术方案在于，车辆追踪模块包括车辆追踪模型，所述车辆追踪模型通过车辆的坐标信息利用卡尔曼滤波预测并生成辆的预测边框；通过检测框和预测框的iou及特征向量来判定检测对象是否是同一辆车，当置信度大于阈值时，判定为同一个目标，并根据其特征分配id，更新追踪信息，持续追踪，同时输出车辆坐标信息。
21.进一步的技术方案在于，所述车辆变道识别模块的识别方法包括如下步骤：
22.由车道检测模块得到车道的坐标值，依据车道四个顶点的坐标确定一个多边形区域，同时车辆检测模块和车辆跟踪模块得到车辆检测框的坐标值；利用多边形测试即可判定检测框的坐标点在多边形内还是在多边形外；当检测框的坐标点由多边形区域内变为多边形区域外或者由多边形区域外变为多边形区域内时，即可认为车辆发生变道。
23.进一步的技术方案在于：采取的点多边形测试算法依据射线法，选取车辆检测框左下角和右下角作为检测点，由检测点向右引出一条射线，当引出射线与多边形区域有奇数个交点时可以判定该检测点在车道内，有偶数个交点时则判定该检测点在车道外，由此可以判定车辆与车道的位置关系；当一个检测点发生位置变化时，判定为车辆越车道线，两个检测点都发生位置变化时，判定为车辆变道。
24.本发明还公开了一种基于车载摄像头的车辆越车道线识别系统，其特征在于包括：
25.图片分割模块，用于通过行车记录仪获取车辆前方的交通视频，计算机通过对视频进行按固定帧间距抽帧将视频分为若干张图片；
26.车道检测模块，用于对分割后的若干张图片进行处理，得到置信度达标的车道坐标信息；
27.车辆检测模块，用于对分割后的若干张图片进行处理，得到置信度达标的车辆坐标信息；
28.车辆追踪模块，用于通过车辆特征信息来比较检测车辆的相似度，相似度达标则持续追踪检测车辆并实时更新车辆坐标信息；
29.车辆变道识别模，用于将车道坐标信息和车辆坐标信息进行处理来判断车辆是否变道。
30.采用上述技术方案所产生的有益效果在于：1)检测范围广，可移动监测：针对传统视频检测范围小的问题，本发明基于行车记录仪检测车辆是否变道，其检测范围巨大，只要有安装行车记录仪的车辆存在的路段，都可以进行违法变道检测。
31.2)检测成本低：针对传统视频检测摄像头安装费用高的问题，本发明检测方法依赖于行车记录仪，而目现有大部分车辆都安装有行车记录仪，无需增加安装成本；
32.3)检测精度高：传统视频检测车辆变道采用判定在给定一段时间内车辆是否出现在多个车道来识别车辆是否变道，该方法过于简单，而本方法采用点多边形判定方法来判定车辆与车道之间的位置关系，检测精度高，而且(可以判定车辆变道方向，违规类型)。
附图说明
33.下面结合附图和具体实施方式对本发明作进一步详细的说明。
34.图1是本发明实施例所述方法的主流程图；
35.图2是本发明实施例所述方法中车道检测模块的训练流程图；
36.图3是本发明实施例所述方法中车道检测模块的处理流程图；
37.图4是本发明实施例所述方法中车辆检测模块的训练流程图；
38.图5是本发明实施例所述方法中车辆检测模块的处理流程图；
39.图6是本发明实施例所述方法中车辆追踪模块的处理流程图；
40.图7是本发明实施例所述方法中车辆变道识别模块的处理流程图；
41.图8是本发明实施例所述系统的原理框图。
具体实施方式
42.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
44.如图1所示，本发明实施例公开了一种基于车载摄像头的车辆越车道线识别方法，包括如下步骤：
45.通过行车记录仪获取车辆前方的交通视频，计算机通过对视频进行按固定帧间距抽帧将视频分为若干张图片；
46.经过抽帧后的图片分别通过车道检测模块和车辆检测模块得到置信度达标的车道坐标信息和车辆特征信息；
47.车辆追踪模块通过车辆特征信息来比较检测车辆的相似度，相似度达标则持续追踪检测车辆并实时更新车辆坐标信息；
48.最后将车道坐标信息和车辆坐标信息输入到车辆变道识别模块中来判断车辆是
否变道。
49.如图8所示，本发明实施例还公开了一种基于车载摄像头的车辆越车道线识别系统，包括：
50.图片分割模块，用于通过行车记录仪获取车辆前方的交通视频，计算机通过对视频进行按固定帧间距抽帧将视频分为若干张图片；
51.车道检测模块，用于对分割后的若干张图片进行处理，得到置信度达标的车道坐标信息；
52.车辆检测模块，用于对分割后的若干张图片进行处理，得到置信度达标的车辆坐标信息；
53.车辆追踪模块，用于通过车辆特征信息来比较检测车辆的相似度，相似度达标则持续追踪检测车辆并实时更新车辆坐标信息；
54.车辆变道识别模，用于将车道坐标信息和车辆坐标信息进行处理来判断车辆是否变道。
55.下面结合具体内容对上述步骤进行详细的说明，首先对一些术语进行说明：
56.卡尔曼滤波：卡尔曼滤波(kalmanfiltering)是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响，所以最优估计也可看作是滤波过程。卡尔曼滤波的一个典型实例是从一组有限的，对物体位置的，包含噪声的观察序列中预测出物体的坐标位置及速度。在本发明中卡尔曼滤波可以预测出车辆的坐标位置信息。
57.iou：交集比并集(intersectionoverunion)是一种测量在特定数据集中检测相应物体准确度的一个标准。在本发明中，iou为车辆检测框与车辆预测框之间的交并比，(汽车检测框的与汽车预测框之间相交的面积比上汽车检测框的与汽车预测框之间合并的面积)，可以作为评价实际测量车辆和预测车辆之间的相似度指标，相似度越高，该值越高。
58.pspnet网络模型：金字塔场景语义分割网络(pyramidscene parsingnetwork)是一种网络结构类似金字塔的神经网络语义分割模型，该模型可以判断图像每个像素点的类别，进行精确分割。在本发明中，该模型可以从行车记录仪所采集图片中的像素点中分割出车道所属的像素点，进行车道识别。
59.hough变换：将影像空间中的曲线(包括直线)变换到参数空间中，通过检测参数空间中的极值点，确定出该曲线的描述参数，从而提取影像中的规则曲线。在本发明中，由psp-net网络分割出的像素点坐标可以构成车道线，而通过对已检测出的车道线坐标进行hough变换即可延长车道线，防止由于车辆遮挡车道而出现车道检测精度下降的情况。
60.yolov5网络模型：你只需要看一次(youonlylookonce)的第五代版本，yolo模型是一种单阶段目标检测模型，该模型检测速度较快，检测帧率高。在本发明中，该网络可以用于提取车辆特征，检测出图片中的车辆。
61.射线法：点多边形测试的一种方法，从一个目标点引出一条射线，统计这条射线与多边形的交点个数。如果有奇数个交点，则说明目标点在多边形内，若有偶数个交点，则说明目标点在多边形外。
62.车道检测模块：
63.车道检测模型训练：车道检测模块包括车道检测模型，通过行车记录仪采集行车
道视频，根据选定侦间距排除重复行车状况图片，得到有效车道照片，按照一定比例将所得到的车道照片分为训练集和测试集。将训练集中的照片输入到psp-net网络模型中进行训练，通过该模型采集车道的各种特征使该模型能在各种条件下识别出车道。模型训练完毕后将测试集中的照片输入到训练好的模型中，测量检测精度，精度合格则训练模型成功，其训练流程如图2所示。
64.车道检测流程：
65.车道检测模型训练完成后，由行车记录仪获取视频图像，获取到的图像采取一定的帧间距将视频分为若干张图片，将这些图片逐张输入到模型中，获取待检测车道的坐标信息。由于在实际交通条件下可能存在车辆遮挡车道的行为，因此根据获取到的车道坐标信息做一定变换，延长已经检测出的车道，得到车道最终坐标信息，其具体处理流程如图3所示。
66.车辆检测模块
67.车辆检测模型训练：所述车辆检测模块包括车辆检测模型，通过行车记录仪采集车辆的视频，根据选定侦间距排除重复图片，按照一定比例将得到的片分为训练集和测试集。将训练集中的照片输入到yolov5网络模型中进行训练，通过该模型提取车辆特征，使该模型能识别出车辆。模型训练后将测试集中的照片输入到训练好的模型中，调整检测精度，精度合格则训练模型成功。其具体训练流程如图4所示。
68.车辆检测流程：车辆检测模型训练完成后，不同车辆的各种特征(形状、颜色、边缘轮廓等)由向量和矩阵形式保存在车辆检测模型中。由行车记录仪获取视频图像，获取到的图像采取一定的帧间距将视频分为若干张图片，将这些图片逐张输入到模型中，模型获取图片的特征向量和已训练好的模型做相似度判别，置信度低于阈值则判定为非车辆，停止检测，超过阈值则判定为车辆，记录其特征信息和坐标信息，其具体处理流程如图5所示。
69.车道追踪模块:
70.车辆检测模块训练完成后，由行车记录仪获取视频，按照一定的帧间距将视频分为若干张图片，将这些图片逐张输入到汽车检测模型中，得到车辆特征信息、车辆坐标信息。车辆跟踪模型通过车辆的坐标信息利用卡尔曼滤波预测并生成辆的预测边框。通过检测框和预测框的iou(intersectionoverunion，一种测量在特定数据集中检测相应物体准确度的一个标准)及特征向量来判定检测对象是否是同一辆车，当置信度大于阈值时，判定为同一个目标，并根据其特征分配id(车辆1、车辆2等)，并更新追踪信息，持续追踪，同时输出车辆坐标信息，其具体处理流程如图6所示。
71.车辆变道识别模块
72.由车道检测模块可以得到车道的坐标值，依据车道四个顶点的坐标可以确定一个多边形区域，同时车辆检测模块和车辆跟踪模块可以得到车辆检测框的坐标值。利用多边形测试即可判定检测框的坐标点在多边形内还是在多边形外。当检测框的坐标点由多边形区域内变为多边形区域外或者由多边形区域外变为多边形区域内时，即可认为车辆发生变道。在本发明中采取的点多边形测试算法依据射线法，选取车辆检测框左下角和右下角作为检测点，由检测点向右引出一条射线，当有奇数个交点时可以判定该检测点在车道内，有偶数个点是时即可判定该检测点在车道外，由此可以判定车辆与车道的位置关系。当一个检测点发生位置变化时，判定为车辆越车道线，两个检测点都发生位置变化时，判定为车辆
变道，其具体处理流程如图7所示。
73.综上，本发明提出了一种基于车载摄像头的车辆越车道线识别方法和系统，通过每个车的车载行车记录仪识别违法变道车辆，形成一个互相监督的网络，达到了有效监督交通违法者，规范司机驾驶行为的目的。

技术特征：
1.一种基于车载摄像头的车辆越车道线识别方法，其特征在于包括如下步骤：通过行车记录仪获取车辆前方的交通视频，计算机通过对视频进行按固定帧间距抽帧将视频分为若干张图片；经过抽帧后的图片分别通过车道检测模块和车辆检测模块得到置信度达标的车道坐标信息和车辆特征信息；车辆追踪模块通过车辆特征信息来比较检测车辆的相似度，相似度达标则持续追踪检测车辆并实时更新车辆坐标信息；最后将车道坐标信息和车辆坐标信息输入到车辆变道识别模块中来判断车辆是否变道。2.如权利要求1所述的基于车载摄像头的车辆越车道线识别方法，其特征，所述车道检测模块包括车道检测模型，车道检测模块首先进行训练，包括如下步骤：通过行车记录仪采集行车道视频，根据选定帧间距排除重复行车状况图片，得到有效车道照片，按照一定比例将所得到的车道照片分为训练集和测试集；将训练集中的照片输入到psp-net网络模型中进行训练，通过该模型采集车道的各种特征使该模型能在各种条件下识别出车道；模型训练完毕后将测试集中的照片输入到训练好的模型中，测量检测精度，精度合格则训练模型成功。3.如权利要求2所述的基于车载摄像头的车辆越车道线识别方法，其特征，车道检测模块进行车道检测的具体步骤如下：车道检测模型训练完成后，由行车记录仪获取视频图像，获取到的图像采取一定的帧间距将视频分为若干张图片，将这些图片逐张输入到模型中，获取待检测车道的坐标信息；由于在实际交通条件下可能存在车辆遮挡车道的行为，因此根据获取到的车道坐标信息做一定变换，延长已经检测出的车道，得到车道最终坐标信息。4.如权利要求1所述的基于车载摄像头的车辆越车道线识别方法，其特征，所述车辆检测模块包括车辆检测模型，车辆检测模块首先进行训练，包括如下步骤：通过行车记录仪采集车辆的视频，根据选定帧间距排除重复图片，按照一定比例将得到的照片分为训练集和测试集；将训练集中的照片输入到yolo v5网络模型中进行训练，通过该模型提取车辆特征，使该模型能识别出车辆；模型训练后将测试集中的照片输入到训练好的模型中，调整检测精度，精度合格则训练模型成功。5.如权利要求4所述的基于车载摄像头的车辆越车道线识别方法，其特征，车辆检测模块进行车辆检测的具体步骤如下：车辆检测模型训练完成后，不同车辆的各种特征由向量和矩阵形式保存在车辆检测模型中；由行车记录仪获取视频图像，获取到的图像采取一定的帧间距将视频分为若干张图片，将这些图片逐张输入到模型中，模型获取图片的特征向量和已训练好的模型做相似度判别，置信度低于阈值则判定为非车辆，停止检测，超过阈值则判定为车辆，记录其特征信息和坐标信息。6.如权利要求4所述的基于车载摄像头的车辆越车道线识别方法，其特征，车辆追踪模块包括车辆追踪模型，所述车辆追踪模型通过车辆的坐标信息利用卡尔曼滤波预测并生成辆的预测边框；通过检测框和预测框的iou及特征向量来判定检测对象是否是同一辆车，当
置信度大于阈值时，判定为同一个目标，并根据其特征分配id，更新追踪信息，持续追踪，同时输出车辆坐标信息。7.如权利要求1所述的基于车载摄像头的车辆越车道线识别方法，其特征在于所述车辆变道识别模块的识别方法包括如下步骤：由车道检测模块得到车道的坐标值，依据车道四个顶点的坐标确定一个多边形区域，同时车辆检测模块和车辆跟踪模块得到车辆检测框的坐标值；利用多边形测试即可判定检测框的坐标点在多边形内还是在多边形外；当检测框的坐标点由多边形区域内变为多边形区域外或者由多边形区域外变为多边形区域内时，即可认为车辆发生变道。8.如权利要求7所述的基于车载摄像头的车辆越车道线识别方法，期特征在于：采取的点多边形测试算法依据射线法，选取车辆检测框左下角和右下角作为检测点，由检测点向右引出一条射线，当引出射线与多边形区域有奇数个交点时可以判定该检测点在车道内，有偶数个交点时则判定该检测点在车道外，由此可以判定车辆与车道的位置关系；当一个检测点发生位置变化时，判定为车辆越车道线，两个检测点都发生位置变化时，判定为车辆变道。9.一种基于车载摄像头的车辆越车道线识别系统，其特征在于包括：图片分割模块，用于通过行车记录仪获取车辆前方的交通视频，计算机通过对视频进行按固定帧间距抽帧将视频分为若干张图片；车道检测模块，用于对分割后的若干张图片进行处理，得到置信度达标的车道坐标信息；车辆检测模块，用于对分割后的若干张图片进行处理，得到置信度达标的车辆坐标信息；车辆追踪模块，用于通过车辆特征信息来比较检测车辆的相似度，相似度达标则持续追踪检测车辆并实时更新车辆坐标信息；车辆变道识别模，用于将车道坐标信息和车辆坐标信息进行处理来判断车辆是否变道。

技术总结
本发明公开了一种基于车载摄像头的车辆越车道线识别方法及系统，所述方法包括如下步骤：通过行车记录仪获取车辆前方的交通视频，计算机通过对视频进行按固定帧间距抽帧将视频分为若干张图片；经过抽帧后的图片分别通过车道检测模块和车辆检测模块得到置信度达标的车道坐标信息和车辆特征信息；车辆追踪模块通过车辆特征信息来比较检测车辆的相似度，相似度达标则持续追踪检测车辆并实时更新车辆坐标信息；最后将车道坐标信息和车辆坐标信息输入到车辆变道识别模块中来判断车辆是否变道。所述方法具有检测范围广、检测精度高且检测成本低等优点。测成本低等优点。测成本低等优点。


技术研发人员：李冰 刘博文 朱孝峰 管嘉俊 孟艺箐
受保护的技术使用者：东北林业大学
技术研发日：2022.11.02
技术公布日：2023/5/13