车辆图像采集方法及计算机可读储存介质与流程

1.本发明涉及车辆视觉识别技术领域，具体涉及一种车辆图像采集方法及计算机可读储存介质。


背景技术：

2.随着社会的迅速发展，车辆越来越多，交通变得日益繁忙。为了更好地把控交通信息，掌握实时车辆情况，实现对道路车辆的有效管理，车辆检测技术被广泛地运用于现实场景中。一般情况下，货车的载重与其轴数相关，但是存在部分车主为了规避超载检测而在车上安装假轮胎，存在很大的安全隐患。传统的车辆视觉检测主要架设于道路的上方，虽然能够有效地检测车辆类别，但无法获取车轮、车轴的有效信息，因此无法识别车辆轮胎是否是正常安装的。
3.使用图像识别的优点是能够在车辆不停车、不减速的情况下对车辆信息进行采集，再配合路面安装的压电陶瓷衡器获取车辆重量信息，就可以在对通行情况几乎不影响的条件实现对车辆信息的比较全面的掌握，从而识别出超载以及其他违法违规事件。


技术实现要素：

4.针对现有的车辆检测技术无法采集车辆侧身图像，不能实现对车辆轮胎与轴数信息准确识别的问题，本发明提供一种车辆图像采集方法及计算机可读储存介质。
5.本发明的技术方案提供一种车辆图像采集方法，包括如下步骤：
6.s1.图像采集步骤，使用图像采集装置采集同一车辆通过图像采集装置视野内的连续多帧通过图像；
7.s2.图像拼接步骤，将所述图像采集步骤中获取的多帧通过图像进行图像拼接得到车辆的完整侧身图；
8.s3.图像识别步骤，使用预训练好的识别模型对图像拼接步骤中得到的完整侧身图进行轮胎特征识别得到车辆的轮胎数据。
9.优选地，所述图像采集步骤中，图像采集装置连续采集图像，以无车经过时的图像为环境图像，以一帧或者多帧环境图像建立背景图像；对比当前采集的图像与背景图像，若当前采集的图像与背景图像之间的差异超出第一阈值，判定为车辆驶入，将当前采集的图像作为第一帧通过图像并开始连续拍摄多帧通过图像。
10.优选地，所述对比当前采集的图像与背景图像的步骤中，计算当前采集的图像与背景图像两者的差值作为残差图，当残差图中超出像素值范围的区域占整张图像比例大于预设阈值时判定为车辆驶入。
11.优选地，所述图像采集步骤中，还包括根据采集的相邻两帧的通过图像计算车速，并根据车速动态调整后续拍摄间隔的步骤。
12.优选地，所述图像拼接步骤包括以下步骤：
13.s2.1将彩色图像转换为灰度图，建立sift特征点生成器，利用该特征点生成器以
及转换后的灰度图检测图像中的关键特征点，并计算描述子，将特征点集与对应的描述特征转化为特征矩阵用于后续的关键点匹配；
14.s2.2建立特征匹配器，使用最近邻算法检测相邻两张图像的所有sift特征匹配对，对所有的匹配对进行筛选，保留最优的匹配对，筛选条件为最近距离与次最近距离的比值小于第二阈值时则保留，获取匹配对的点坐标并计算视角变换矩阵；
15.s2.3初始化可视化图像，先将两张相邻的图像进行左右直接拼接，联合遍历所有的匹配对，根据s2.2步骤得到的视角变换矩阵对初始化的图像进行缩放、移动和微调，进而得到最终的完整侧身图。
16.优选地，所述图像识别步骤包括以下步骤：
17.s3.1训练模型，取标注后的完整侧身图进行模型训练，得到训练后的识别模型；
18.s3.3对所述完整侧身图使用所述识别模型进行机器识别，检测车辆的轮胎信息，轮胎信息包括各轮子的位置尺寸信息以及轮胎数量。
19.优选地，所述图像识别步骤还包括：
20.s3.2使用目标检测算法检测完整侧身图中的车辆边缘，去除边缘外侧区域后得到车辆侧身轮廓图，使用车辆侧身轮廓图覆盖原来的完整侧身图。
21.优选地，所述轮胎信息还包括轮胎的凹凸类型信息。
22.本发明还提供一种计算机可读储存介质，存储有计算机程序，所述计算机程序被处理器执行时，使所述处理器执行上述任一项所述的车辆图像采集方法。
23.本发明的车辆图像采集方法通过使用车道一侧安装的图像采集装置实现对车辆侧身图像的拍摄，为了解决难以拍摄完整侧身图像的问题，使用了图像拼接技术将多张图像合成完整的侧身图像，然后根据侧身图像识别检测车辆轮胎信息，据以作为相应的检测依据。该方法对车辆的道路通行不存在影响，保证了道路通行效率，而且可以获取车辆，尤其是货车的，完整侧身图像，实现对货车轴数，轮胎数以及轮胎情况的准确识别，为道路交通执法提供了依据。
附图说明
24.图1为本发明的系统示意图；
25.图2为本发明的流程示意图。
26.图中，
27.1:图像采集装置w:车辆
具体实施方式
28.以下结合附图和具体实施例，对本发明进行详细说明，在本说明书中，附图尺寸比例并不代表实际尺寸比例，其只用于体现各部件之间的相对位置关系与连接关系，名称相同或标号相同的部件代表相似或相同的结构，且仅限于示意的目的。
29.为了获取车辆的侧身图像，本发明首先需要在道路一侧设置面向道路的图像采集装置1用于获取车辆的侧身图像。本发明的基于该图像采集装置1的车辆图像采集方法的步骤如下：
30.s1.图像采集步骤。使用图像采集装置1采集同一车辆w通过图像采集装置1视野内
的连续多帧通过图像。
31.s2.图像拼接步骤。将s1中获取的多帧侧面图像进行图像拼接得到车辆w的完整侧身图。
32.s3.图像识别步骤。使用预训练好的识别模型对s2中得到的完整侧身图进行轮胎特征识别，得到各轮胎的目标框以及轮胎的类型。
33.上述s1图像采集步骤具体的过程如下：
34.图像采集装置1待机时仍处于工作状态，周期性的采集环境图像。在无车经过时，图像采集装置1的视野内是空旷的，仅存背景。若存在车辆驶入，首先由于货车等大型车辆的车身长度大于图像采集装置1的视野宽度，一次拍摄只能得到车辆侧身的部分图像，考虑通过图像拼接的方式得到完整的图像。车辆进入图像采集装置1视野内的部分相比背景图像存在显著差异，可以据此确定是否存在车辆驶入触发采集过程。即基于无车驶入时的一帧或者多帧图像建立背景图像，将当前待判断的图像与背景图像做比较，如果差异大于预定的阈值则认为存在车辆驶入，该帧作为一帧通过图像保存。具体的，可以通过计算残差图的方式判断拍摄图像中是否有车辆驶入。将没有车辆驶入时拍摄的图像作为基准图，表示全部为背景；当车辆驶入时，拍摄到的图像对比基准图，背景画面几乎没有变化，只有包含车辆的区域发生了明显的变化，计算两者的差值作为残差图，接近于零的区域表示背景，非零的区域表示有车辆覆盖，可以设定一个零附近的像素值范围。当像素值超出该像素范围的区域占整张图像比例大于预设阈值α时，表示有车辆驶入；当比例小于该阈值时表示车辆驶出。作为一个简化的方案，在系统仍然认定不存在车辆驶入的情况下，直接采用当前帧图像的上一帧图像作为背景图像使用，由于背景几乎是静态的，单帧的上一帧图像已经可能比较全面地体现背景信息，因此在实际使用中，其效果与基于多帧图像平均得到的背景图像几乎没有区别。然而直接采用上一帧图像的优势不仅在于取消了背景图计算过程，提升了处理效率，而且在于这意味着在待机状态下，系统不需要保存记录超过一帧的静态背景，因此节省了存储空间。另外基于以上两点，可见在以单帧图像作为背景图的条件下，即不需要做额外的运算也不需要做额外的存储操作，因此可以明显降低系统的待机功率。
35.对于该图像采集步骤，图像采集装置1的拍摄周期是可以调整的。预设的待机拍摄周期一般设置为0.05～0.3s。车辆以120km/h行驶时，在拍摄周期内基本只有2～10m的位移，因此，可以确保不会发生漏检的问题。如果只要求对车身较长的货车等保证准确率，该周期可以进一步延长，具体视实际情况设置。
36.上述方案未经特殊说明，在获取通过图像的过程中，仍然维持预设的拍摄周期。然而，本车辆图像采集方法亦提供一种优化的技术方案，通过动态调整采集通过图像的时间间隔降低需要拼接的图像数量，并同时提高拼接精度。对于每一帧已经采集到的通过图像，其与背景图像的差异主要在车身侧面图上，因此可以据此得到车身侧面图像的范围以及其边缘。当前车道上，车辆沿同方向行驶，因此可以通过估算相邻两帧间车身轮廓差距以及两帧之间的时间间隔估计车辆的行驶速度。通常我们希望至少通过三张图像实现车身拼接，并且图像数量并非越多越好，增多的图像数量不仅降低了处理速度，而且存在大量的重复区域，这些重复区域在多次拼接过程中会模糊失真。因此以图像采集装置1的1/3视野宽度(即路面在图像采集装置1镜头中的长度)除以该速度可以得到预期的拍摄间隔，这里的1/3是以至少存在三张待拼接的通过图像来确定，如果希望增加拼接的图像数量至n，则相应地
需要改为1/n的视野宽度。举例而言，如果路面在镜头中的长度为l＝12m，图像采集装置1的拍摄周期为t＝0.1s，并且相邻两帧间车身轮廓沿着路面方向的距离为s＝2m，可以估计车辆速度为72km/h，若需要保证在镜头视野内至少采集三帧以上的图像，必须在车辆通过l/3距离的时间内完成两次拍摄，即拍摄间隔不大于0.2s。在实际应用中，在触发采集过程中的前两帧通过图像的采集间隔可以预设，并由此计算车速，根据需要的通过图像数量修改后续的拍摄间隔以得到预期数量的通过图像。在车辆通过的范围内，一般认为车速基本稳定，因此后续的时间间隔可以保持不变，当然也可以在每一次拍摄前均根据以上方法由其前两帧的情况计算车速来更新本次拍摄所需的时间间隔。
37.由于车身占据了图像采集装置1视野中的大部分面积，背景所占区域较小，在后续的拼接操作中，背景特征对拼接的影响基本可以忽略，因此可以直接使用多帧通过图像进行拼接。当然优选地，也可以通过前述方法从多帧通过图像中分别去除车身外部与背景图像相同的部分得到仅含车身的通过图像用于图像拼接。
38.对于s2图像拼接步骤：
39.将s1拍摄到的多张连续的通过图像记为i＝i_1,i_2,,i_i,,i_n,其中i_i表示同一辆车捕获到的第i张通过图像，总共有n张。将这n张图像序列采用视觉图像拼接算法，对其依次拼接，得到一张包含完整车辆信息的图像。每两张相邻图像的拼接过程主要包括以下步骤：
40.s2.1.将彩色图像转换为灰度图，建立sift特征点生成器，利用该特征点生成器以及转换后的灰度图检测图像中的关键特征点，并计算描述子，将特征点集与对应的描述特征转化为特征矩阵用于后续的关键点匹配。
41.s2.2.建立特征匹配器，使用最近邻算法(knn)检测相邻两张图像的所有sift特征匹配对，对所有的匹配对进行筛选，保留最优的匹配对，筛选条件为最近距离与次最近距离的比值小于设定阈值时则保留，获取匹配对的点坐标并计算视角变换矩阵。
42.s2.3.初始化可视化图像，先将两张相邻的图像进行左右直接拼接，联合遍历所有的匹配对，根据s2.2得到的视角变换矩阵对初始化的图像进行缩放移动和微调，进而得到最终的完整侧身图。
43.s3图像识别步骤为：
44.s3.1训练模型，取标注后的完整侧身图进行模型训练，得到训练后的识别模型，并将得到的python模型转换为wk模型以内置在图像采集装置1所在的识别系统中。
45.s3.2考虑到s2中可以是使用未经裁剪的通过图像或者经过裁剪的仅保留车身的图像进行的图像拼接，而且在图像拼接过程中，车辆侧身图的轮廓外会存在噪点数据，可以使用目标检测算法检测出图中的车辆，根据目标框裁剪出车辆侧身轮廓图。
46.s3.3对裁剪出的车辆侧身轮廓图或者是未经s3.2步骤裁剪的完整侧身图使用s3.1中训练的识别模型进行机器识别，检测车辆的轮胎信息，轮胎信息包括各轮子的位置尺寸信息以及凹凸类型。显然同时可以得到轮胎数量数据，轮胎数量即为轴数。一般在本领域中，轮胎的凹凸类型是指轮毂位于轮胎内侧还是外侧。前轮作为转向轮一般采用凸轮胎以在轮毂内侧安装转向机构。其它轮胎取决于实际情况，比如当在同一轴上安装两个轮胎，提高承重时，为了在轴的一端同时安装两个轮胎，两个轮胎的轮毂是外侧凹内侧凸以方便相对固定。因此拍摄时只能拍到凹轮胎。通过对识别出的轮胎数据判读确认车辆的轴数信
息与轮胎信息，这其中可选地，可以进一步根据轮胎与地面的接触状况确认是否存在假轮胎。
47.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
48.上述内容仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

技术特征：
1.一种车辆图像采集方法，其特征在于，包括如下步骤：s1.图像采集步骤，使用图像采集装置(1)采集同一车辆(w)通过图像采集装置(1)视野内的连续多帧通过图像；s2.图像拼接步骤，将所述图像采集步骤中获取的多帧通过图像进行图像拼接得到车辆(w)的完整侧身图；s3.图像识别步骤，使用预训练好的识别模型对图像拼接步骤中得到的完整侧身图进行轮胎特征识别得到车辆的轮胎数据。2.如权利要求1所述的车辆图像采集方法，其特征在于，所述图像采集步骤中，图像采集装置(1)连续采集图像，以无车经过时的图像为环境图像，以一帧或者多帧环境图像建立背景图像；对比当前采集的图像与背景图像，若当前采集的图像与背景图像之间的差异超出第一阈值，判定为车辆驶入，将当前采集的图像作为第一帧通过图像并开始连续拍摄多帧通过图像。3.如权利要求2所述的车辆图像采集方法，其特征在于，所述对比当前采集的图像与背景图像的步骤中，计算当前采集的图像与背景图像两者的差值作为残差图，当残差图中超出像素值范围的区域占整张图像比例大于预设阈值时判定为车辆驶入。4.如权利要求2所述的车辆图像采集方法，其特征在于，所述图像采集步骤中，还包括根据采集的相邻两帧的通过图像计算车速，并根据车速动态调整后续拍摄间隔的步骤。5.如权利要求1所述的车辆图像采集方法，其特征在于，所述图像拼接步骤包括以下步骤：s2.1将彩色图像转换为灰度图，建立sift特征点生成器，利用该特征点生成器以及转换后的灰度图检测图像中的关键特征点，并计算描述子，将特征点集与对应的描述特征转化为特征矩阵用于后续的关键点匹配；s2.2建立特征匹配器，使用最近邻算法检测相邻两张图像的所有sift特征匹配对，对所有的匹配对进行筛选，保留最优的匹配对，筛选条件为最近距离与次最近距离的比值小于第二阈值时则保留，获取匹配对的点坐标并计算视角变换矩阵；s2.3初始化可视化图像，先将两张相邻的图像进行左右直接拼接，联合遍历所有的匹配对，根据s2.2步骤得到的视角变换矩阵对初始化的图像进行缩放、移动和微调，进而得到最终的完整侧身图。6.如权利要求1所述的车辆图像采集方法，其特征在于，所述图像识别步骤包括以下步骤：s3.1训练模型，取标注后的完整侧身图进行模型训练，得到训练后的识别模型；s3.3对所述完整侧身图使用所述识别模型进行机器识别，检测车辆的轮胎信息，轮胎信息包括各轮子的位置尺寸信息以及轮胎数量。7.如权利要求6所述的车辆图像采集方法，其特征在于，所述图像识别步骤还包括：s3.2使用目标检测算法检测完整侧身图中的车辆边缘，去除边缘外侧区域后得到车辆侧身轮廓图，使用车辆侧身轮廓图覆盖原来的完整侧身图。8.如权利要求6-7任一项所述的车辆图像采集方法，其特征在于，所述轮胎信息还包括轮胎的凹凸类型信息。9.一种计算机可读储存介质，存储有计算机程序，所述计算机程序被处理器执行时，使
所述处理器执行如权利要求1-8任一项所述的车辆图像采集方法。

技术总结
本发明提供一种车辆图像采集方法及计算机可读储存介质，该车辆图像采集方法包括：图像采集步骤，使用图像采集装置采集同一车辆通过图像采集装置视野内的连续多帧通过图像；图像拼接步骤，将多帧通过图像进行图像拼接得到车辆的完整侧身图；图像识别步骤，使用预训练好的识别模型对完整侧身图进行轮胎特征识别得到轮胎数据。该车辆图像采集方法通过使用车道一侧安装的图像采集装置实现对车辆侧身图像的拍摄，并拼接合成车辆完整侧身图，然后根据完整侧身图识别检测车辆轮胎信息，据以作为相应的检测依据。该方法不影响车辆通行，保证了道路通行效率，而且可以获取尤其是货车的完整侧身图，能够实现对轴数，轮胎数、轮胎情况的准确识别。准确识别。准确识别。


技术研发人员：王雪雁 李建华 周平 刘晓静 王新朋 何志强
受保护的技术使用者：合肥市正茂科技有限公司
技术研发日：2023.03.30
技术公布日：2023/7/20