一种基于运动模型的自动化城市公交客车多目标跟踪算法

1.本发明属于智能车辆技术领域，尤其涉及一种基于运动模型的自动化城市公交客车多目标跟踪算法。


背景技术：

2.智能车辆已经成为当下和未来交通发展的重要方向，其核心可以划分为三层：环境感知层、决策规划层和控制执行层。而多目标跟踪是环境感知层研究的热点问题，其主要实现过程是从车载相机中实时输出所有目标的运动轨迹，并维持各目标的身份信息，以便后续的轨迹预测，精准查找等。
3.运动模型指的是对目标在视频中的运动轨迹进行建模和估计，由于目标在相邻两帧之间的位移往往很小，因此可以通过对目标运动趋势的估计预测目标的位置。近年来，著名的基于恒定速度模型假设的卡尔曼滤波器，逐渐成为建模物体运动的热门选择。但是一些复杂的场景包括相机运动，会影响卡尔曼滤波器预测目标边界框的准确性，因此，许多研究人员采用相机运动补偿，通过图像配准调整帧。
4.对自动驾驶的研究正在迅猛发展，大多数相关研究一直专注于自动驾驶汽车，却忽略了更加环保的自动驾驶汽车版本，即自动化城市公交客车，因此也很少有人关注多目标跟踪算法在自动化城市公交客车中面临额外的挑战。
5.从结构角度，自动化城市公交客车承重大，对制动、动力要求高，所以自动化城市公交客车的底盘都是中重型货车底盘，货车底盘减震差，导致自动化城市公交客车在行驶过程中会产生较大抖动，此时车载相机也会随着车身一起抖动；从运行机制角度，自动化城市公交客车需要停靠多个站点，与普通汽车相比，车速会有更多变化,此时车载相机也会更加频繁地抖动，车载相机抖动会导致跟踪目标面临更多噪声和非线性运动，影响卡尔曼滤波预测目标位置的精度，最终使得跟踪效果变差；不仅如此，为了方便人们交通出行，自动化城市公交客车经常将其停靠站设在人流较多的地方，使得车载相机视角下的跟踪场景更加复杂，此时卡尔曼滤波器固定的状态转移矩阵难以准确地对运动模式多变的目标进行状态转移。


技术实现要素：

6.本部分的目的在于概述本发明实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
7.为了解决上述技术问题，本发明提供如下技术方案：利用初始化模块读取检测文件获取当前帧中每个目标的检测框信息，根据阈值将检测框分为高分检测框和低分检测框，送入轨迹关联模块中；利用预测模块为上一帧中的轨迹分别设置对应的自适应状态转移矩阵，通过卡尔曼滤波获得上一帧中的轨迹在当前帧的预测边界框和协方差矩阵，使用相机运动补偿进行相邻两帧的图像配准，通过图像配准得到相邻两帧的仿射变换矩阵，拆
分仿射变换矩阵为缩放旋转和转换两部分，将这两部分分别和卡尔曼滤波获得的预测边界框和协方差矩阵结合，校正得到更加贴合目标真实位置的预测边界框和协方差矩阵；利用轨迹关联模块将当前帧校正后的预测边界框先后和高分检测框及低分检测框进行交并比计算，重叠度高并且大于阈值的预测边界框和检测框再放进匈牙利算法进行数据关联，成功和校正后预测边界框关联上的检测框则被认为是当前帧中的轨迹。
8.本发明的目的是结合自适应状态转移矩阵的卡尔曼滤波及相机运动补偿技术，提高了算法预测目标位置的准确性，为此提供了一种基于运动模型的自动化城市公交客车多目标跟踪算法。
9.本发明是通过以下技术手段实现上述技术目的的。
10.作为本发明所述的一种基于运动模型的自动化城市公交客车多目标跟踪算法的一种优选方案，其中，所述初始化模块具体包括：
11.将视频转换成图像帧形式，用检测器获取所有图像帧中每个目标的检测框信息，其中，信息包括检测框的坐标和置信度，将检测框信息储存在检测文件中，根据置信度阈值将检测框划分高分检测框和低分检测框，送入轨迹关联模块中。
12.作为本发明所述的一种基于运动模型的自动化城市公交客车多目标跟踪算法的一种优选方案，其中，所述预测模块具体包括：
13.取出存放在上一帧跟踪列表中的轨迹，为每个轨迹分别设置对应的自适应状态转移矩阵，通过卡尔曼滤波获得上一帧中的轨迹在当前帧的预测边界框和协方差矩阵，使用相机运动补偿进行相邻两帧的图像配准，得到仿射变换矩阵，拆分仿射变换矩阵为缩放旋转和转换两部分，将这两部分分别和卡尔曼滤波获得的预测边界框和协方差矩阵结合，校正得到更加贴合目标真实位置的预测边界框和协方差矩阵。
14.作为本发明所述的一种基于运动模型的自动化城市公交客车多目标跟踪算法的一种优选方案，其中，所述为每个轨迹分别设置对应的自适应状态转移矩阵f具体包括：
[0015][0016]
其中，a表示预测边界框的宽高比，h表示预测边界框的高，d
t
表示当前帧与前一帧之间的差，和表示各自对应变量的速度变化值。
[0017]
作为本发明所述的一种基于运动模型的自动化城市公交客车多目标跟踪算法的一种优选方案，其中，所述通过卡尔曼滤波获得上一帧中的轨迹在当前帧的预测边界框和协方差矩阵具体包括：
[0018]
x
′
＝fx
[0019]
p
′
＝fpf
t
+q
[0020]
其中，x表示上一帧中轨迹边界框在图像帧中的坐标，p表示上一帧中轨迹的协方
差矩阵，f表示自适应状态转移矩阵，q表示系统的噪声矩阵，代表整个系统的可靠程度，x
′
表示当前帧中预测边界框在图像帧中的坐标，p
′
表示当前帧中预测边界框的协方差矩阵。
[0021]
作为本发明所述的一种基于运动模型的自动化城市公交客车多目标跟踪算法的一种优选方案，其中，所述使用相机运动补偿进行相邻两帧的图像配准，得到仿射变换矩阵具体包括：
[0022]
将上一图像帧和当前图像帧的颜色空间从bgr转换为灰度空间，根据角点的最大数量和品质因子，筛选出上一图像帧中的角点和当前图像帧中的角点，通过ransac随机抽样算法，从上一图像帧和当前图像帧的多对角点中得到最优的仿射变换矩阵。
[0023]
作为本发明所述的一种基于运动模型的自动化城市公交客车多目标跟踪算法的一种优选方案，其中，所述拆分仿射变换矩阵为缩放旋转和转换两部分，将这两部分分别和卡尔曼滤波获得的预测边界框和协方差矩阵结合具体包括：
[0024]
a＝[z,t]
[0025]
其中，a表示仿射变换矩阵，z表示缩放旋转矩阵，t表示转换矩阵。
[0026]
作为本发明所述的一种基于运动模型的自动化城市公交客车多目标跟踪算法的一种优选方案，其中，所述拆分仿射变换矩阵后，校正卡尔曼滤波获得的预测边界框和协方差矩阵具体包括：
[0027]
x
′
校
＝zx
′
+t
[0028]
p
′
校
＝zp
′z[0029]
其中，x
′
校
表示校正后的预测边界框在图像帧中的坐标，p
′
校
表示校正后预测边界框的协方差矩阵，z表示缩放旋转矩阵，t表示转换矩阵，x
′
表示校正前预测边界框在图像帧中的坐标，p
′
表示校正前预测边界框的协方差矩阵。
[0030]
作为本发明所述的一种基于运动模型的自动化城市公交客车多目标跟踪算法的一种优选方案，其中，所述轨迹关联模块具体包括：
[0031]
将当前帧校正后的预测边界框先后和高分检测框及低分检测框进行交并比计算，重叠度高并且大于阈值的预测边界框和检测框再放进匈牙利算法进行数据关联，成功和校正后预测边界框关联上的检测框则被认为是当前帧中的轨迹。
[0032]
与现有技术相比，本发明的有益效果为：
[0033]
(1)针对自动化城市公交客车承重大，对制动、动力要求高，采用减震较差的中重型货车底盘，在行驶过程中会产生较大抖动，同时需要停靠多个站点，与普通汽车相比，车速会有更多变化；在结构和运行机制的双重影响下，车载相机伴随客车抖动导致跟踪目标面临更多噪声和非线性运动，影响卡尔曼滤波预测目标位置的精度，最终使得跟踪效果变差；因此，采用相机运动补偿，修正卡尔曼滤波在车载相机频繁抖动状态下的预测结果，弥补客车因自身原因导致的跟踪效果不佳。
[0034]
(2)针对自动化城市公交客车为便利人们出行，经常将其停靠站设在人流较多的地方，使得车载相机视角下的跟踪场景更加复杂，此时卡尔曼滤波器固定的状态转移矩阵难以准确地对运动模式多变的目标进行状态转移。因此，采用自适应状态转移矩阵，从而准确地对运动模型多变的目标进行状态转移，最终提升跟踪精度。
[0035]
(3)目前主流的跟踪算法往往结合了外观和运动模型，然而，针对自动化城市公交客车有限的硬件资源，如小型嵌入式硬件平台，其计算能力差，复杂的跟踪模型往往难以真
正应用到车端，这就需要在保证精度的同时减少算法的计算量，因此本发明在不考虑外观模型的前提下，仅通过运动模型，实现以最少的计算量达到最好的跟踪效果，完成工业落地。
附图说明
[0036]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0037]
图1为本发明实施例所述的基于运动模型的自动化城市公交客车多目标跟踪算法的流程示意图；
[0038]
图2为本发明实施例所述使用基于运动模型的自动化城市公交客车多目标跟踪算法中获得仿射变换矩阵的流程图；
[0039]
图3为本发明实施例所述使用基于运动模型的自动化城市公交客车多目标跟踪算法的效果示意图；
具体实施方式
[0040]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]
本发明的目的在于克服现有技术的不足，提出一种基于运动模型的自动化城市公交客车多目标跟踪算法，采用自适应状态转移矩阵的卡尔曼滤波及相机运动补偿，改善了城市公交客车因站台造成的预测模块难以准确预测目标位置的问题。
[0042]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0043]
实施例
[0044]
自动化城市公交客车，为了方便人们交通出行，公交站点往往会设置在人流量密集的场所，这导致车载相机视角下的跟踪场景更加复杂，此时卡尔曼滤波器固定的状态转移矩阵难以准确地对运动模式多变的目标进行状态转移；同时，在城市道路中，往往会设置多段公交站点，这使得自动化城市公交客车会比普通汽车产生更多变速工况，导致车载相机面临更多运动，从而影响卡尔曼滤波器预测目标边界框的准确性，因此，本发明结合自适应状态转移矩阵和相机运动补偿，提高了算法预测目标位置的准确性，从而提高了整个多目标跟踪算法在自动化城市公交客车上的跟踪效果。
[0045]
参照图1和图2，图3，为本发明的实施例，提供了一种基于运动模型的自动化城市公交客车多目标跟踪算法，包括以下步骤：
[0046]
步骤1：将视频转换成图像帧形式，用检测器获取所有图像帧中每个目标的检测框信息，其中，信息包括检测框的坐标和置信度，将检测框信息储存在检测文件中，根据置信度阈值将检测框划分高分检测框和低分检测框，送入轨迹关联模块中。
[0047]
步骤2：取出存放在上一帧跟踪列表中的轨迹，为每个轨迹分别设置对应的自适应状态转移矩阵，通过卡尔曼滤波获得上一帧中的轨迹在当前帧的预测边界框和协方差矩阵，使用相机运动补偿进行相邻两帧的图像配准，得到仿射变换矩阵，拆分仿射变换矩阵为缩放旋转和转换两部分，将这两部分分别和卡尔曼滤波获得的预测边界框和协方差矩阵结合，校正得到更加贴合目标真实位置的预测边界框和协方差矩阵。
[0048]
步骤2中的自适应状态转移矩阵为：
[0049][0050]
其中，a表示预测边界框的宽高比，h表示预测边界框的高，d
t
表示当前帧与前一帧之间的差，和表示各自对应变量的速度变化值。
[0051]
步骤2中的通过卡尔曼滤波获得上一帧中的轨迹在当前帧的预测边界框和协方差矩阵为：
[0052]
x
′
＝fx
[0053]
p
′
＝fpf
t
+q
[0054]
其中，x表示上一帧中轨迹边界框在图像帧中的坐标，p表示上一帧中轨迹的协方差矩阵，f表示自适应状态转移矩阵，q表示系统的噪声矩阵，代表整个系统的可靠程度，x
′
表示当前帧中预测边界框在图像帧中的坐标，p
′
表示当前帧中预测边界框的协方差矩阵。
[0055]
步骤2中的使用相机运动补偿进行相邻两帧的图像配准，得到仿射变换矩阵为：
[0056]
a＝[z,t]
[0057]
其中，a表示仿射变换矩阵，z表示缩放旋转矩阵，t表示转换矩阵。
[0058]
步骤2中的拆分仿射变换矩阵后，校正卡尔曼滤波获得的预测边界框和协方差矩阵为：
[0059]
x
′
校
＝zx
′
+t
[0060]
p
′
校
＝zp
′z[0061]
其中，x
′
校
表示校正后的预测边界框在图像帧中的坐标，p
′
校
表示校正后预测边界框的协方差矩阵，z表示缩放旋转矩阵，t表示转换矩阵，x
′
表示校正前预测边界框在图像帧中的坐标，p
′
表示校正前预测边界框的协方差矩阵。
[0062]
步骤3：将当前帧校正后的预测边界框先后和高分检测框及低分检测框进行交并比计算，重叠度高并且大于阈值的预测边界框和检测框再放进匈牙利算法进行数据关联，成功和校正后预测边界框关联上的检测框则被认为是当前帧中的轨迹。
[0063]
初步实验结果
[0064]
为验证本发明的可行性和有效性，本发明在mot17和mot20的训练集上进行验证，获得初步结果为：
[0065][0066]
上表是本发明在mot17和mot20数据集与其它两个基准算法上的表现对比，数据集方面：mot17数据集采集了城市公交客车在繁忙十字路口的行驶过程，因此用此数据集代表自动化城市公交客车所面临的相机运动问题；mot20数据集采集了火车站内拥挤的行人表现，因此用此数据集代表自动化城市公交客车在站台附近复杂的跟踪场景。评价指标方面：mota表示多目标跟踪的准确度，准确度越高，表明跟踪效果越好，ids表示多目标跟踪中因遮挡导致维持目标id切换的总次数，切换的总次数越少，表明跟踪效果越好。
[0067]
本发明公开了一种基于运动模型的自动化城市公交客车多目标跟踪算法，属于智能车辆技术领域，主要包括初始化模块，预测模块，轨迹关联模块。初始化模块读取检测文件获取当前帧中每个目标的检测框信息，根据阈值将检测框分为高分检测框和低分检测框，送入轨迹关联模块中；预测模块包括为上一帧中的轨迹分别设置对应的自适应状态转移矩阵，通过卡尔曼滤波获得上一帧中的轨迹在当前帧的预测边界框和协方差矩阵，使用相机运动补偿进行相邻两帧的图像配准，通过图像配准得到相邻两帧的仿射变换矩阵，拆分仿射变换矩阵为缩放旋转和转换两部分，将这两部分分别和卡尔曼滤波获得的预测边界框和协方差矩阵结合，校正得到更加贴合目标真实位置的预测边界框和协方差矩阵；轨迹关联模块将当前帧校正后的预测边界框先后和高分检测框及低分检测框进行交并比计算，重叠度高并且大于阈值的预测边界框和检测框再放进匈牙利算法进行数据关联，成功和校正后预测边界框关联上的检测框则被认为是当前帧中的轨迹。由于自动化城市公交客车为便利人们出行，经常将其停靠站设在人流较多的地方，使得车载相机视角下的跟踪场景更加复杂，此时卡尔曼滤波器固定的状态转移矩阵难以准确地对运动模式多变的目标进行状态转移；同样，在城市道路中，自动化城市公交客车要停靠多个站点，与普通汽车相比，车速会有更多变化，使得车载相机面临更多运动，从而影响卡尔曼滤波器预测目标边界框准确性，本发明通过结合自适应状态转移矩阵的卡尔曼滤波及相机运动补偿，提高了多目标跟踪算法在自动化城市公交客车上的跟踪效果。
[0068]
上面结合附图对本发明的实例进行了描述，虽然本发明已以较佳实施例公开如上，但其并非用以限定本发明，任何熟悉此技术的人，在不脱离本发明的精神和范围内，都可做各种的改动与修饰，因此本发明的保护范围应该以权利要求书所界定的为准。

技术特征：
1.一种基于运动模型的自动化城市公交客车多目标跟踪算法，其特征在于：所述算法采用自适应状态转移矩阵的卡尔曼滤波及相机运动补偿，具体包括如下步骤：步骤1：初始化模块，用于读取由检测器生成的检测文件，获取当前帧中每个目标的检测框信息并根据阈值将检测框分为高分检测框和低分检测框，送入轨迹关联模块中；步骤2：预测模块，包括为上一帧中的轨迹分别设置对应的自适应状态转移矩阵，通过卡尔曼滤波获得上一帧中的轨迹在当前帧的预测边界框和协方差矩阵，使用相机运动补偿进行相邻两帧的图像配准，通过图像配准得到相邻两帧的仿射变换矩阵，拆分仿射变换矩阵为缩放旋转和转换两部分，将这两部分分别和卡尔曼滤波获得的预测边界框和协方差矩阵结合，校正得到更加贴合目标真实位置的预测边界框和协方差矩阵；步骤3：轨迹关联模块，将当前帧校正后的预测边界框先后和高分检测框及低分检测框进行交并比计算，重叠度高并且大于阈值的预测边界框和检测框再放进匈牙利算法进行数据关联，成功和校正后预测边界框关联上的检测框则被认为是当前帧中的轨迹。2.根据权利要求1所述的一种算法，其特征在于：所述步骤1中的初始化模块具体包括如下子步骤：步骤11：将视频转换成图像帧形式；步骤12：用检测器获取所有图像帧中每个目标的检测框信息，其中，信息包括检测框的坐标和置信度；步骤13：将检测框信息储存在检测文件中；步骤14：根据置信度阈值将检测框划分高分检测框和低分检测框，送入轨迹关联模块中。3.根据权利要求1所述的一种算法，其特征在于：所述步骤2中的预测模块具体包括如下子步骤：步骤21：取出存放在上一帧跟踪列表中的轨迹；步骤22：为每个轨迹分别设置对应的自适应状态转移矩阵；步骤23：通过卡尔曼滤波获得上一帧中的轨迹在当前帧的预测边界框和协方差矩阵；步骤24：使用相机运动补偿进行相邻两帧的图像配准，得到仿射变换矩阵；步骤25：拆分仿射变换矩阵为缩放旋转和转换两部分，将这两部分分别和卡尔曼滤波获得的预测边界框和协方差矩阵结合；步骤26：校正得到更加贴合目标真实位置的预测边界框和协方差矩阵。4.根据权利要求3所述的一种算法，其特征在于：所述步骤22为每个轨迹分别设置对应的自适应状态转移矩阵f，具体包括如下操作：步骤221：自适应状态转移矩阵f如下：
其中，a表示预测边界框的宽高比，h表示预测边界框的高，d
t
表示当前帧与前一帧之间的差，和表示各自对应变量的速度变化值。5.根据权利要求3所述的一种算法，其特征在于：所述步骤23通过卡尔曼滤波获得上一帧中的轨迹在当前帧的预测边界框和协方差矩阵，具体包括如下操作：步骤231：通过卡尔曼滤波获得上一帧中的轨迹在当前帧的预测边界框和协方差矩阵过程如下：x
′
＝fxp
′
＝fpf
t
+q其中，x表示上一帧中轨迹边界框在图像帧中的坐标，p表示上一帧中轨迹的协方差矩阵，f表示自适应状态转移矩阵，q表示系统的噪声矩阵，代表整个系统的可靠程度，x
′
表示当前帧中预测边界框在图像帧中的坐标，p
′
表示当前帧中预测边界框的协方差矩阵。6.根据权利要求3所述的一种算法，其特征在于：所述步骤24使用相机运动补偿进行相邻两帧的图像配准，得到仿射变换矩阵，具体包括如下操作：步骤241：将上一图像帧和当前图像帧的颜色空间从bgr转换为灰度空间；步骤242：根据角点的最大数量和品质因子，筛选出上一图像帧中的角点和当前图像帧中的角点；步骤243：通过ransac随机抽样算法，从上一图像帧和当前图像帧的多对角点中得到最优的仿射变换矩阵。7.根据权利要求3所述的一种算法，其特征在于：所述步骤25拆分仿射变换矩阵为缩放旋转和转换两部分，将这两部分分别和卡尔曼滤波获得的预测边界框和协方差矩阵结合，具体包括如下操作：步骤251：拆分仿射变换矩阵为缩放旋转和转换两部分过程如下：a＝[z,t]其中，a表示仿射变换矩阵，z表示缩放旋转矩阵，t表示转换矩阵；步骤252：拆分仿射变换矩阵后，校正卡尔曼滤波获得的预测边界框和协方差矩阵过程如下:x
′
校
＝zx
′
+tp
′
校
＝zp
′
z其中，x
′
校
表示校正后的预测边界框在图像帧中的坐标，p
′
校
表示校正后预测边界框的协方差矩阵，z表示缩放旋转矩阵，t表示转换矩阵，x
′
表示校正前预测边界框在图像帧中的坐标，p
′
表示校正前预测边界框的协方差矩阵。
8.根据权利要求1所述的一种算法，其特征在于：所述步骤3中的轨迹关联模块具体包括如下子步骤：步骤31：将当前帧校正后的预测边界框先后和高分检测框及低分检测框进行交并比计算；步骤32：重叠度高并且大于阈值的预测边界框和检测框再放进匈牙利算法进行数据关联；步骤33：成功和校正后预测边界框关联上的检测框则被认为是当前帧中的轨迹。

技术总结
本发明公开了一种基于运动模型的自动化城市公交客车多目标跟踪算法，属于智能车辆技术领域，主要包括初始化模块，预测模块，轨迹关联模块。初始化模块读取检测文件获取当前帧中每个目标的检测框信息，根据阈值将检测框分为高分检测框和低分检测框，送入轨迹关联模块中；预测模块包括为上一帧中的轨迹分别设置对应的自适应状态转移矩阵，通过卡尔曼滤波获得上一帧中的轨迹在当前帧的预测边界框和协方差矩阵；轨迹关联模块将当前帧校正后的预测边界框先后和高分检测框及低分检测框进行交并比计算。本发明通过结合自适应状态转移矩阵的卡尔曼滤波及相机运动补偿，提高了多目标跟踪算法在自动化城市公交客车上的跟踪效果。算法在自动化城市公交客车上的跟踪效果。算法在自动化城市公交客车上的跟踪效果。


技术研发人员：汪少华 郭玉豪 李祎承 殷春芳 李春
受保护的技术使用者：江苏大学
技术研发日：2023.08.10
技术公布日：2023/10/6