一种车辆目标跟踪方法、终端设备及存储介质与流程

1.本发明涉及目标跟踪领域，尤其涉及一种车辆目标跟踪方法、终端设备及存储介质。


背景技术：

2.现有的车辆目标跟踪算法具有以下缺陷：(1)对环境的依赖强；(2)采用深度学习算法跟踪速度快的跟踪效果较差；(3)采用深度学习算法跟踪效果好的跟踪速度慢，因此急需一种即能保证跟踪速度又能保证跟踪效果的技术方案。


技术实现要素：

3.为了解决上述问题，本发明提出了一种车辆目标跟踪方法、终端设备及存储介质。
4.具体方案如下：
5.一种车辆目标跟踪方法，包括以下步骤：
6.s1：对当前帧的道路图片中的车辆进行定位，将定位到的车辆作为待跟踪车辆；
7.s2：针对每个待跟踪车辆，判断其轨迹信息是否处于历史轨迹列表内，如果是，进入s3；否则，将该待跟踪车辆的轨迹信息添加至历史轨迹列表内，等待接收到下一帧的道路图片后，返回s1；
8.s3：根据历史轨迹列表内各待跟踪车辆的历史轨迹信息，预测各待跟踪车辆的预测位置；
9.s4：根据各待跟踪车辆的靠近当前帧的前3帧的实际位置和当前帧的预测位置与前一帧的实际位置之间的距离，绘制当前帧可能存在的扇形区域；
10.s5：判断各待跟踪车辆的实际位置是否与扇形区域相交，如果扇形区域仅与一个待跟踪车辆的实际位置相交，则设定该扇形区域对应的车辆与该待跟踪车辆为同一车辆；如果扇形区域与两个以上的待跟踪车辆的实际位置相交，则通过匈牙利算法从该两个以上的待跟踪车辆中筛选该扇形区域对应的车辆的同一车辆；根据当前帧各待跟踪车辆的真实位置更新历史轨迹列表。
11.进一步的，还包括步骤s6：当判定为同一车辆时，还通过颜色、位置、特征三者分别进行相似度计算，并将三种相似度计算结果加权求和得到总相似度，根据总相似度与相似度阈值的关系判断是否为同一辆车。
12.进一步的，车辆定位通过车辆定位模型进行，车辆定位模型的网络结构以yolov4网络为基础，将backbone部分替换为mobilenetv2结构，激活函数采用prelu，同时使用diou_nms进行后处理。
13.进一步的，轨迹信息的参数包括：x、y、r、w、vx、vy、vr、vw，其中，x和y分别表示车辆位置的中心点x轴坐标和y轴坐标，r表示车辆定位框的宽高比例，w表示车辆定位框的宽度，vx、vy、vr、vw分别表示x、y、r、w的增量。
14.进一步的，根据历史轨迹列表内各待跟踪车辆的历史轨迹信息，预测各待跟踪车
辆的预测位置的计算公式为：
[0015][0016]
其中，下标n表示各待跟踪车辆在历史轨迹列表内的第n个历史轨迹信息，xn和yn分别表示第n个历史轨迹信息对应的车辆位置的中心点x轴坐标和y轴坐标，rn表示第n个历史轨迹信息对应的车辆定位框的宽高比例，wn表示第n个历史轨迹信息对应的车辆定位框的宽度，vx
n vy
n vr
n vwn分别表示第n个历史轨迹信息相对于第n-1个历史轨迹信息的x、y、r、w的增量；a
ni
表示第n个历史轨迹信息的第i个参数对应的总权重，i∈[1,8]；
[0017]
总权重等于比例权重与时间权重的乘积；
[0018]
第n个历史轨迹信息中第i个参数的比例权重的计算方法为：将第n个历史轨迹信息中的第i个参数与第n个历史轨迹信息对应的预测位置中的第i个参数进行差值计算，并将差值计算结果输入高斯模型后，将高斯模型的输出结果作为比例权重；
[0019]
每个历史轨迹信息中所有参数的时间权重相同，第n个历史轨迹信息的时间权重的计算方法为：将第n个历史轨迹信息对应的采集时间与当前帧对应的采集时间的时间差值的倒数作为时间权重。
[0020]
进一步的，根据各待跟踪车辆的靠近当前帧的前3帧的实际位置和当前帧的预测位置与前一帧的实际位置之间的距离，绘制当前帧可能存在的扇形区域的方法为：将前3帧的实际位置对应的中心点按顺序和车辆朝向进行连接后，将连接形成的夹角作为扇形的圆心角；将当前帧的预测位置与前一帧的实际位置之间的距离作为扇形的半径，以前一帧的实际位置为顶点，前一帧的车辆朝向为中心线，根据得到的圆心角和半径绘制扇形。
[0021]
一种车辆目标跟踪终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。
[0022]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。
[0023]
本发明采用如上技术方案，能够在保证跟踪速度的基础上提高跟踪效果。
附图说明
[0024]
图1所示为本发明实施例一的流程图。
具体实施方式
[0025]
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。
[0026]
现结合附图和具体实施方式对本发明进一步说明。
[0027]
实施例一：
[0028]
本发明实施例提供了一种车辆目标跟踪方法，如图1所示，所述方法包括以下步
骤：
[0029]
s1：对当前帧的道路图片中的车辆进行定位，将定位到的车辆作为待跟踪车辆。
[0030]
本实施例中通过预训练的车辆定位模型进行定位，一张图片中可能定位到多个车辆。
[0031]
车辆定位模型的网络结构以yolov4网络为基础，将backbone部分替换为mobilenetv2结构，并进行结构优化，以减少网络深度及宽度，使之在适应车辆定位的基础上减少其参数及计算量，删除不必要的分支，从而提高速度。激活函数采用prelu，以更加亲和跨平台移植。最后使用diou_nms进行后处理。
[0032]
进一步的，本实施例中车牌定位模型在预训练时，其输入的车辆图片预先通过随机增强模式中的一种进行数据增强。随机增强模式为cutmix、gridmask、fence mask和形态学变化(包括裁剪、畸变、颜色抖动、明亮增强等)中的任一种。采用本实施例的数据增强模式，可以使得训练后的模型的准确率更高。
[0033]
s2：针对每个待跟踪车辆，判断其轨迹信息是否处于历史轨迹列表内，如果是，进入s3；否则，将该待跟踪车辆的轨迹信息添加至历史轨迹列表内，等待接收到下一帧的道路图片后，返回s1。
[0034]
历史轨迹列表用于存储车辆的实际位置信息，本实施例中设定轨迹信息的参数包括：x、y、r、w、vx、vy、vr、vw，其中，x和y分别表示车辆位置的中心点x轴坐标和y轴坐标，r表示车辆定位框的宽高比例，w表示车辆定位框的宽度，vx、vy、vr、vw分别表示当前帧x、y、r、w四个参数相对于前一帧的增量。
[0035]
s3：根据历史轨迹列表内各待跟踪车辆的历史轨迹信息，预测各待跟踪车辆的预测位置。
[0036]
本实施例中根据历史轨迹列表内各待跟踪车辆的历史轨迹信息，预测各待跟踪车辆的预测位置的计算公式为：
[0037][0038]
其中，下标n表示各待跟踪车辆在历史轨迹列表内的第n个历史轨迹信息，xn和yn分别表示第n个历史轨迹信息对应的车辆位置的中心点x轴坐标和y轴坐标，rn表示第n个历史轨迹信息对应的车辆定位框的宽高比例，wn表示第n个历史轨迹信息对应的车辆定位框的宽度，vx
n vy
n vr
n vwn分别表示第n个历史轨迹信息相对于第n-1个历史轨迹信息的x、y、r、w的增量；a
ni
表示第n个历史轨迹信息的第i个参数对应的总权重，i∈[1,8]。
[0039]
总权重等于比例权重与时间权重的乘积。
[0040]
第n个历史轨迹信息中第i个参数的比例权重的计算方法为：将第n个历史轨迹信息中的第i个参数与第n个历史轨迹信息对应的预测位置中的第i个参数进行差值计算，并将差值计算结果输入高斯模型后，将高斯模型的输出结果作为比例权重。
[0041]
每个历史轨迹信息中所有参数的时间权重相同，第n个历史轨迹信息的时间权重的计算方法为：将第n个历史轨迹信息对应的采集时间与当前帧对应的采集时间的时间差值的倒数作为时间权重。
[0042]
s4：根据各待跟踪车辆的靠近当前帧的前3帧的实际位置和当前帧的预测位置与前一帧的实际位置之间的距离，绘制当前帧可能存在的扇形区域。
[0043]
该实施例中将前3帧的实际位置对应的中心点按顺序和车辆朝向进行连接后，将连接形成的夹角作为扇形的圆心角；将当前帧的预测位置与前一帧的实际位置之间的距离作为扇形的半径，以前一帧的实际位置为顶点，前一帧的车辆朝向为中心线，根据得到的圆心角和半径绘制扇形。
[0044]
s5：判断各待跟踪车辆的实际位置是否与扇形区域相交，如果扇形区域仅与一个待跟踪车辆的实际位置相交，则设定该扇形区域对应的车辆与该待跟踪车辆为同一车辆；如果扇形区域与两个以上的待跟踪车辆的实际位置相交，则通过匈牙利算法从该两个以上的待跟踪车辆中筛选该扇形区域对应的车辆的同一车辆；根据当前帧各待跟踪车辆的真实位置更新历史轨迹列表。
[0045]
基于属于同一车辆的判定结果对车辆进行跟踪。
[0046]
为了进一步提高车辆跟踪的准确度，本实施例中在步骤s5之后还包括步骤s6：当判定为同一车辆时，还通过颜色、位置、特征三者分别进行相似度计算，并将三种相似度计算结果加权求和得到总相似度，根据总相似度与相似度阈值的关系判断是否为同一辆车。本实施例中设定颜色、位置、特征按照3、6、1的权重进行计算。
[0047]
本发明实施例具有以下有益效果：
[0048]
(1)采用mobilenet结构对定位网络进行优化模型，相比于其它同类网络在兼顾车牌定位精度的同时速度更快。
[0049]
(2)根据车辆位置轨迹判定车辆推测车辆位置，使得跟踪更加稳定。
[0050]
(3)采用位置信息，颜色信息、车辆匹配等多种方式权重综合信息进行车辆跟踪，提高跟踪的准确度。
[0051]
(4)采用综合匈牙利算法及车辆轨迹最优辐射解同步判定车辆前后帧关系，进一步提高跟踪的准确度。
[0052]
实施例二：
[0053]
本发明还提供一种车辆目标跟踪终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。
[0054]
进一步地，作为一个可执行方案，所述车辆目标跟踪终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述车辆目标跟踪终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述车辆目标跟踪终端设备的组成结构仅仅是车辆目标跟踪终端设备的示例，并不构成对车辆目标跟踪终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述车辆目标跟踪终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。
[0055]
进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立
门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述车辆目标跟踪终端设备的控制中心，利用各种接口和线路连接整个车辆目标跟踪终端设备的各个部分。
[0056]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述车辆目标跟踪终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0057]
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。
[0058]
所述车辆目标跟踪终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)以及软件分发介质等。
[0059]
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

技术特征：
1.一种车辆目标跟踪方法，其特征在于，包括以下步骤：s1：对当前帧的道路图片中的车辆进行定位，将定位到的车辆作为待跟踪车辆；s2：针对每个待跟踪车辆，判断其轨迹信息是否处于历史轨迹列表内，如果是，进入s3；否则，将该待跟踪车辆的轨迹信息添加至历史轨迹列表内，等待接收到下一帧的道路图片后，返回s1；s3：根据历史轨迹列表内各待跟踪车辆的历史轨迹信息，预测各待跟踪车辆的预测位置；s4：根据各待跟踪车辆的靠近当前帧的前3帧的实际位置和当前帧的预测位置与前一帧的实际位置之间的距离，绘制当前帧可能存在的扇形区域；s5：判断各待跟踪车辆的实际位置是否与扇形区域相交，如果扇形区域仅与一个待跟踪车辆的实际位置相交，则设定该扇形区域对应的车辆与该待跟踪车辆为同一车辆；如果扇形区域与两个以上的待跟踪车辆的实际位置相交，则通过匈牙利算法从该两个以上的待跟踪车辆中筛选该扇形区域对应的车辆的同一车辆；根据当前帧各待跟踪车辆的真实位置更新历史轨迹列表。2.根据权利要求1所述的车辆目标跟踪方法，其特征在于：还包括步骤s6：当判定为同一车辆时，还通过颜色、位置、特征三者分别进行相似度计算，并将三种相似度计算结果加权求和得到总相似度，根据总相似度与相似度阈值的关系判断是否为同一辆车。3.根据权利要求1所述的车辆目标跟踪方法，其特征在于：车辆定位通过车辆定位模型进行，车辆定位模型的网络结构以yolov4网络为基础，将backbone部分替换为mobilenetv2结构，激活函数采用prelu，同时使用diou_nms进行后处理。4.根据权利要求1所述的车辆目标跟踪方法，其特征在于：轨迹信息的参数包括：x、y、r、w、vx、vy、vr、vw，其中，x和y分别表示车辆位置的中心点x轴坐标和y轴坐标，r表示车辆定位框的宽高比例，w表示车辆定位框的宽度，vx、vy、vr、vw分别表示x、y、r、w的增量。5.根据权利要求4所述的车辆目标跟踪方法，其特征在于：根据历史轨迹列表内各待跟踪车辆的历史轨迹信息，预测各待跟踪车辆的预测位置的计算公式为：其中，下标n表示各待跟踪车辆在历史轨迹列表内的第n个历史轨迹信息，x
n
和y
n
分别表示第n个历史轨迹信息对应的车辆位置的中心点x轴坐标和y轴坐标，r
n
表示第n个历史轨迹信息对应的车辆定位框的宽高比例，w
n
表示第n个历史轨迹信息对应的车辆定位框的宽度，vx
n vy
n vr
n vw
n
分别表示第n个历史轨迹信息相对于第n-1个历史轨迹信息的x、y、r、w的增量；a
ni
表示第n个历史轨迹信息的第i个参数对应的总权重，i∈[1,8]；总权重等于比例权重与时间权重的乘积；第n个历史轨迹信息中第i个参数的比例权重的计算方法为：将第n个历史轨迹信息中的第i个参数与第n个历史轨迹信息对应的预测位置中的第i个参数进行差值计算，并将差值计算结果输入高斯模型后，将高斯模型的输出结果作为比例权重；每个历史轨迹信息中所有参数的时间权重相同，第n个历史轨迹信息的时间权重的计
算方法为：将第n个历史轨迹信息对应的采集时间与当前帧对应的采集时间的时间差值的倒数作为时间权重。6.根据权利要求1所述的车辆目标跟踪方法，其特征在于：根据各待跟踪车辆的靠近当前帧的前3帧的实际位置和当前帧的预测位置与前一帧的实际位置之间的距离，绘制当前帧可能存在的扇形区域的方法为：将前3帧的实际位置对应的中心点按顺序和车辆朝向进行连接后，将连接形成的夹角作为扇形的圆心角；将当前帧的预测位置与前一帧的实际位置之间的距离作为扇形的半径，以前一帧的实际位置为顶点，前一帧的车辆朝向为中心线，根据得到的圆心角和半径绘制扇形。7.一种车辆目标跟踪终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～6中任一所述方法的步骤。8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～6中任一所述方法的步骤。

技术总结
本发明涉及一种车辆目标跟踪方法、终端设备及存储介质，该方法中包括：对当前帧的车辆进行定位，将定位到的车辆作为待跟踪车辆；当待跟踪车辆的轨迹信息处于历史轨迹列表内时，根据历史轨迹列表内各待跟踪车辆的历史轨迹信息，预测各待跟踪车辆的预测位置；绘制当前帧可能存在的扇形区域；判断各待跟踪车辆的实际位置是否与扇形区域相交，如果扇形区域仅与一个待跟踪车辆的实际位置相交，则设定该扇形区域对应的车辆与该待跟踪车辆为同一车辆；如果扇形区域与两个以上的待跟踪车辆的实际位置相交，则通过匈牙利算法从该两个以上的待跟踪车辆中筛选该扇形区域对应的车辆的同一车辆。本发明能够在保证跟踪速度的基础上提高跟踪效果。踪效果。踪效果。


技术研发人员：林建成 陈玮 黄金虎
受保护的技术使用者：厦门星纵物联科技有限公司
技术研发日：2022.11.25
技术公布日：2023/7/13