一种目标间关系建模的多目标跟踪方法

1.本发明属于计算机视觉技术领域，涉及一种目标间关系建模的多目标跟踪方法。


背景技术：

2.多目标跟踪是一项重要的计算机视觉任务，在安防、自动驾驶、人群密度监测、行为分析、视频内容理解任务中具有重要价值。其通过分析视频，赋予不同的目标以不同的身份，并推理出每个目标在每一帧中的具体位置，进而形成每个目标对应的轨迹。
3.近年来，多目标跟踪领域发展迅速，在mot、kitti、dancetrack等数据集上取得了良好的效果。然而，由于相机运动具有不确定性，因此容易发生目标非线性运动、目标间遮挡、目标与背景遮挡等情形，这些情形都会导致赋予目标以错误的身份，进而导致跟踪不稳定。
4.在应对目标的遮挡方面，主要有如下的解决方案：第一类是优化匹配策略，即在检测与轨迹的关联阶段，采用双阈值匹配的方式，并优化关联矩阵的表示。前者可以使遮挡造成的低置信度目标得以恢复，后者得以更好地将外观特征与运动特征进行结合，使得新特征更偏向于可信度高的运动特征或外观特征。第二类是建立额外的网络分支对目标的遮挡直接进行预测，进而弥补漏检。第三类是建立目标特征的记忆库，通过注意力计算等形式将目标的过去若干帧中的特征优化为更鲁棒的特征以应对遮挡的情形。
5.在应对目标的非线性运动方面。主要有如下的解决方案：第一类是在关联阶段前采用图像配准，通过得到的仿射矩阵更新轨迹的运动坐标，进而在一定程度上抵消相机运动带来的运动坐标突变。第二类是采用轨迹平滑的方式拟合非线性运动。第三类是当判定目标发生较大程度的非线性运动后，弃用经典算法所采用的卡尔曼滤波，而是采用例如具有旋转不变性的运动特征进行匹配。
6.然而，上述算法均是将目标单一化处理的，即没有考虑到目标间的关系，导致在复杂的场景中保持稳定跟踪的难度变大。具体地，由于同类目标具有相似的外观，因此将目标特征单一化处理具有一定的局限性；对于目标拥挤的场景，容易发生频繁的目标间相互遮挡，对单个目标处理的方式容易在遮挡时混淆目标；对于相机运动造成目标非线性运动的情形，单一化处理轨迹或计算仿射矩阵的方式具有较大的计算量，而相机运动过程中目标间的相对位置可认为基本保持不变，因此对目标间关系进行建模也可以良好地应对该种情形。
7.因此，目前亟需一种针对目标间关系进行建模的多目标跟踪方法，通过目标间关系处理遮挡与非线性运动等问题，达到在复杂场景中稳定跟踪的效果。


技术实现要素：

8.有鉴于此，本发明提供了一种目标间关系建模的多目标跟踪方法，能够利用目标间的外观与拓扑关系等，达到在遮挡、非线性运动场景中稳定跟踪的效果。
9.为实现上述发明目的，本发明的技术方案为：
10.一种目标间关系建模的多目标跟踪方法，具体步骤包括：
11.s 1、构建高性能检测器与外观特征提取网络。检测器的输入为视频帧，输出为各个目标的位置与类别。外观特征提取网络的输入为裁剪出的目标区域，输出为目标的外观特征向量。
12.s2、对于当前帧，为避免遮挡等造成的漏检现象，以较低的置信度阈值筛选出检测候选框。随后采用非极大值抑制对高度重复的检测框进行去重。采用外观特征提取网络提取出各目标的外观特征。
13.s3、对当前帧检测出的目标构造帧内图，图的顶点表示该目标的外观特征与运动特征的编码，边表示所连接的两目标的特征空间拓扑关系。具体地，顶点特征编码由两部分组成：一是目标自身的位置信息与外观特征，二是目标与其若干近邻目标的夹角和归一化距离。边特征编码由该边所连接的两个目标间的融合顶点特征、几何距离与边界框相似度三部分组成。随后对构造的帧内图执行消息传递步骤，以融合边与顶点的特征。若当前帧不为第一帧，执行s4，否则执行s5.
14.s4、对当前帧与轨迹图构建匹配图。由于帧内目标不可能相互匹配，故匹配图是二部图。二部图的一端顶点为活动轨迹与暂时丢失轨迹特征，另一端顶点为当前帧的目标特征；边为所连接的轨迹与当前目标的相似度度量。与帧内图相近，匹配图的边特征编码由轨迹和当前目标的特征向量相似度、几何距离与边界框相似度组成。顶点特征编码与帧内图一致以减少复杂度。随后对构造的匹配图执行消息传递步骤，对每一条边输入至边分类器(由全连接层网络组成)计算该边所代表的匹配关系的得分。由轨迹与目标间的得分构成代价矩阵，通过计算线性指派问题得到代价矩阵的最优解，即为匹配关系。
15.s5、对当前的匹配关系进行整理。具体可以分为以下情形：
16.匹配成功的活动轨迹与高置信度目标：此种情形的匹配关系往往是可靠的，将目标划入对应轨迹，并将目标当前特征与轨迹特征作指数平滑，作为新的轨迹特征。
17.匹配成功的活动轨迹与低置信度目标：此种情形说明目标可能发生了遮挡，将目标恢复，划入对应轨迹，由于当前目标特征不可信，因此不更新轨迹特征。
18.匹配成功的非活动轨迹与高置信度目标：此种情形说明目标丢失一段时间后重现，将目标划入对应轨迹，以当前目标特征作为新的轨迹特征。
19.匹配不成功的轨迹：此种情形说明目标退出视野或被严重遮挡。若该轨迹的状态为活动轨迹，则标记为非活动，记录非活动持续时间；若该轨迹的状态为非活动轨迹，则判定若非活动状态持续时间大于最大保留时间，则将其从轨迹集合中删除。
20.匹配不成功的目标：若该目标的置信度大于一定值，说明该目标很可能是新出现的目标，将其初始化为新轨迹。
21.经过上述步骤后，更新当前轨迹图，返回s2.
22.对待处理视频中的所有帧处理完成，结束流程。
23.进一步地，帧内图的顶点与边的个数与具体的检测结果有关，由于目标密度不定，采用几何距离来寻找目标的近邻目标，范围为以该目标为中心，以图像高宽的较小者的0.1倍为半径。目标外观特征采取64维向量，与近邻目标夹角与归一化距离各预置为20维向量，若近邻目标不足20个，以0填充；若大于20个，取最近的20个。
24.进一步地，帧内图的边特征编码中，融合顶点特征通过注意力计算获得，几何距离
采用欧氏距离，边界框相似度包括中心点差值、宽高比的对数值、wasserstein距离。
25.进一步地，帧内图与匹配图的消息传递迭代次数均为3，消息传递方式为平均聚合方式。匹配图的边分类器全连接层层数为2，激活函数采用sigmoid以归一化输出。
26.进一步地，高置信度阈值为0.5，低置信度阈值为0.2.目标初始化阈值为0.6.在匹配图的边得分计算后，首先筛选得分大于等于0.4的边，构建代价矩阵时，得分小于0.4的代价设置为一大正数(例如1e5)。丢失轨迹最大保留时间为30帧。
27.有益效果：
28.1、本发明提供了一种基于目标间关系建模的多目标跟踪方法，在不同的跟踪场景中均取得了不错的效果。本发明利用图结构，通过计算近邻目标的外观与拓扑信息对目标间关系进行建模，并在匹配阶段构建匹配图，将轨迹与目标的匹配关系用边表示，通过对边特征语义的提取计算匹配得分。本发明在考虑目标间关系时，将目标与其近邻目标的外观特征、拓扑信息(夹角与归一化距离)结合，该种特征编码的方式将目标与其周围的环境关联起来，增强了目标的语义信息丰富度，在非线性运动与遮挡场景中均有益处。具体地，考虑相机非线性运动导致画面目标绝对位置突变的情形，目前主流算法仅采用分立的绝对位置信息匹配，由于相邻两帧间目标绝对位置变化太大，所以目前算法会导致目标身份突变的问题。而非线性运动过程中目标的相对位置往往保持一致，因此本发明的特征编码可以在多数非线性运动场景中保持稳定，进而实现稳定跟踪。此外，考虑目标遮挡问题，目前主流算法分立处理目标的方式导致当目标置信度低时会造成漏检。而简单降低检测器置信度会造成虚检。为此，本发明的目标间关系建模方式可以借助目标与其周围环境的一致性恢复低置信度的检测，同时可以抑制不正确的、碎片化的虚检。
29.2、此外，为了实现长时跟踪，本发明提出了鲁棒的轨迹管理机制，充分考虑了丢失轨迹再恢复的问题。主流算法往往仍是通过绝对的位置信息或外观信息进行轨迹恢复。目标再次出现时，位置往往变化很大，且单单依靠单个目标的外观信息是不稳定的，但目标与其周围的近邻目标往往仍保持着轨迹丢失前的特征。为此本发明提出的目标间关系建模方式可以充分考虑目标与其周围环境的语义信息，从而准确地恢复轨迹。
附图说明
30.图1为本发明的实施框图。
31.图2为本发明帧内图构建过程示意图。
32.图3为本发明匹配图关联过程示意图。
具体实施方式
33.下面结合附图并举实施例，对本发明进行详细描述。
34.附图1为整个跟踪算法的流程：首先读取当前视频帧图像，使用高性能检测器网络得到该帧的检测结果，包括每个目标的类别与位置信息。随后构建帧内图，以目标间的拓扑和外观关系构成帧内图的顶点与边特征编码。随后将帧内图经过消息传递网络进行迭代，融合顶点与特征关系，增加特征的感受野。之后与当前轨迹图构建匹配图，匹配图的边表示相连的目标与轨迹的外观与拓扑关系。同样将匹配图输入至消息传递网络进行迭代，根据边分类的得分构造代价矩阵，通过求解代价矩阵完成匹配，最终对轨迹进行更新与管理。
35.下面将对于具体步骤进行详细说明。
36.步骤一、构建高性能检测器与外观特征提取网络。
37.步骤二、将视频帧图像检测网络中得到检测结果，定义高、低置信度阈值，并按照阈值对检测结果进行筛选，将大于高置信度阈值的目标标记为高置信度目标，大于低置信度小于等于高置信度目标标记为低置信度目标。低置信度目标是有可能发生了遮挡等情形。随后采用非极大值抑制对检测框进行去重。随后将目标区域输入至外观特征提取网络得到各目标的外观特征并保存。
38.在本发明实例中，检测器网络可以选择yolo系列或centernet等，外观特征提取网络为osnet，高置信度阈值选择为0.5，低置信度阈值选择为0.2，每个目标外观特征向量的维度为64.
39.步骤三、在得到当前帧目标的位置与外观特征后，构建表示目标间关系的帧内图。附图2体现帧内图的顶点与边的特征编码方式。帧内图的每个顶点表示当前帧目标的特征，边表示所连接两个目标的某种相似度特征。
40.对于顶点特征编码，首先选定一个距离，大小为图像高宽中较小者的0.1倍，只考虑以当前顶点为圆心，该距离为半径的圆内的目标，将这些目标称为“近邻目标”，其余目标称为“非近邻目标”。计算该目标与所有近邻目标的距离并作归一化。作归一化的具体方式为将每个距离与最大距离作商。随后计算该目标的近邻目标之间的夹角。因此距离与夹角描述了该目标与近邻目标的一种拓扑关系。为了保持时间上的排列不变性，储存距离与夹角特征时进行排序。与近邻目标夹角与归一化距离各预置为20维向量，若近邻目标不足20个，以0填充；若大于20个，取最近的20个。随后将该目标的外观特征、该目标的位置信息(中心点与边界框高宽)与得到的与近邻目标的拓扑关系结合构成了该顶点的特征编码。因此顶点特征维度为108.
41.对于边特征编码，首先将所连接的两目标的外观特征进行融合，融合的具体方式为进行注意力计算，得到相同维度的向量。随后进行位置信息的相似度计算，将融合的顶点特征与位置信息相似度进行结合构成了边特征编码。位置信息相似度由边界框中心点差值、边界框高宽的对数比、两目标的wasserstein距离。采用wasserstein距离是相比主流算法采用的iou距离，其更有利于对小目标的边界框重叠程度进行描述。因此边特征编码的维度为69.
42.随后将构建好的帧内图经过消息传递网络进行更新。消息传递网络可以融合顶点与边之间的特征，经过多次迭代后，可以让每个顶点融合到更大范围的特征，更有利于目标关系的建模。为平衡速度与精度，消息传递网络的层数为3，顶点特征更新的方式均为平均聚合，边不进行特征更新。即通过多层感知机将顶点与相连的边的特征映射为新特征。
43.步骤四、在得到帧内图后，与轨迹图构建匹配图完成跟踪步骤。如果当前帧为第一帧，则不存在轨迹图，因此将当前的帧内图作为轨迹图。否则如附图3第一步至第四步所示，构建匹配图。
44.匹配图是由轨迹图与帧内图组成的二部图，一侧为轨迹图的顶点，一侧为帧内图的顶点。边表示所连接的轨迹与顶点匹配的特征度量，具体地，与帧内图的边特征相似，计算轨迹与目标的融合外观特征，与二者的位置信息相似度作为边特征编码。匹配图的边特征向量维度也为69.随后将匹配图经过消息传递网络，层数为3，采用平均聚合的方式更新
边与顶点特征。利用层数为2的全连接层对每个边进行计算，得到0到1之间的得分，表示对应轨迹与目标相连的可能性分数。根据可能性分数构建匹配的代价矩阵，将得分小于等于0.4的边在代价矩阵的相应位置设置为1e5以拒绝匹配，其余将代价矩阵的响应位置设置为1减去可能性得分。随后采用sinkhorn算法或hungarian算法得到匹配矩阵的最优解，即轨迹与目标的对应关系。
45.步骤五、如附图3第五步所示，进行轨迹管理与轨迹图的更新。逐个检查步骤四中求解出的匹配关系，若为活动轨迹与高置信度目标的匹配，这种匹配往往是可信的，则将目标特征与轨迹特征作指数平滑作为新的轨迹特征；若为非活动轨迹与高置信度目标的匹配，说明目标在消失一段时间后重现，将轨迹的状态恢复为活动，弃用原本的轨迹特征，以当前目标特征作为轨迹特征；若为活动轨迹与低置信度目标的匹配，将目标恢复，不更新轨迹特征。对于其余未匹配成功的轨迹，将其状态设置为非活动，并检查若非活动的持续时间超过30帧，则删除该轨迹。对于其余未匹配成功的目标，若其置信度大于0.6，说明是新出现的目标，将其初始化为新轨迹用于以后帧的匹配。待处理视频中的所有帧处理完成，结束流程。
46.自此，就完成了目标间关系建模的多目标跟踪算法的整个流程设计。
47.综上，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种目标间关系建模的多目标跟踪方法，其特征在于，包括以下步骤：步骤一，构建高性能检测器与外观特征提取网络。检测器的输入为视频帧，输出为各个目标的位置与类别。外观特征提取网络的输入为裁剪出的目标区域，输出为目标的外观特征向量；步骤二，对于当前帧，为避免遮挡等造成的漏检现象，以较低的置信度阈值筛选出检测候选框。随后采用非极大值抑制对高度重复的检测框进行去重。采用外观特征提取网络提取出各目标的外观特征；步骤三，对当前帧检测出的目标构造帧内图，图的顶点表示该目标的外观特征与运动特征的编码，边表示所连接的两目标的特征空间拓扑关系，并经过消息传递网络更新帧内图特征；步骤四，对当前帧与轨迹图构建匹配图。匹配图的一端顶点为活动轨迹与暂时丢失轨迹特征，另一端顶点为当前帧的目标特征；边为所连接的轨迹与当前目标的相似度度量，并经过消息传递网络更新匹配图特征。对每一条边输入至边分类器(由全连接层网络组成)计算该边所代表的匹配关系的得分。由轨迹与目标间的得分构成代价矩阵，通过计算线性指派问题得到代价矩阵的最优解，即为匹配关系；步骤五，对当前的匹配关系进行整理，恢复因遮挡等造成的低置信度检测与非活动轨迹。2.根据权利要求1所述的一种目标间关系建模的多目标跟踪方法，其特征在于，所述的步骤一还包括：检测器网络可以选择yolo系列或centernet等，外观特征提取网络为osnet，高置信度阈值选择为0.5，低置信度阈值选择为0.2，每个目标外观特征向量的维度为64。3.根据权利要求1所述的一种目标间关系建模的多目标跟踪方法，其特征在于，所述的步骤二中构造帧内图的具体方法为：帧内图的顶点与边的个数与具体的检测结果有关，由于目标密度不定，采用几何距离来寻找目标的近邻目标，范围为以该目标为中心，以图像高宽的较小者的0.1倍为半径。目标外观特征采取64维向量，与近邻目标夹角与归一化距离各预置为20维向量，若近邻目标不足20个，以0填充；若大于20个，取最近的20个。帧内图的边特征编码中，融合顶点特征通过注意力计算获得，几何距离采用欧氏距离，边界框相似度包括中心点差值、宽高比的对数值、wasserstein距离。4.根据权利要求1所述的一种目标间关系建模的多目标跟踪方法，其特征在于，所述步骤三中构造匹配图的具体方法为:融合轨迹图的顶点特征与帧内图的顶点特征，并加入位置信息相似度。5.根据权利要求1所述的一种目标间关系建模的多目标跟踪方法，其特征在于，所述步骤三中由匹配图计算得到匹配关系的具体方法为：对匹配图的边所代表的匹配关系输入至边分类器进行置信度计算，边分类器全连接层层数为2，激活函数采用sigmoid以归一化输出；根据边得分构造匹配代价矩阵，将得分小于等于0.4的边在代价矩阵的相应位置设置为1e5以拒绝匹配，其余将代价矩阵的响应位置设置为1减去可能性得分，随后采用sinkhorn算法或hungarian算法得到匹配矩阵的最优解，即轨迹与目标的对应关系。6.根据权利要求1所述的一种目标间关系建模的多目标跟踪方法，其特征在于，所述步骤三、四中消息传递网络的更新方式为帧内图与匹配图的消息传递迭代次数均为3，消息传递方式为平均聚合方式，即每个顶点的更新特征由其上一层的自身特征与近邻顶点的平均
特征、入边与出边的平均特征以残差结构连接而成。7.根据权利要求1所述的一种目标间关系建模的多目标跟踪方法，其特征在于，所述步骤五中轨迹整理的具体方法为：匹配成功的活动轨迹与高置信度目标：此种情形的匹配关系往往是可靠的，将目标划入对应轨迹，并将目标当前特征与轨迹特征作指数平滑，作为新的轨迹特征；匹配成功的活动轨迹与低置信度目标：此种情形说明目标可能发生了遮挡，将目标恢复，划入对应轨迹，由于当前目标特征不可信，因此不更新轨迹特征；匹配成功的非活动轨迹与高置信度目标：此种情形说明目标丢失一段时间后重现，将目标划入对应轨迹，以当前目标特征作为新的轨迹特征；匹配不成功的轨迹：此种情形说明目标退出视野或被严重遮挡。若该轨迹的状态为活动轨迹，则标记为非活动，记录非活动持续时间；若该轨迹的状态为非活动轨迹，则判定若非活动状态持续时间大于最大保留时间，则将其从轨迹集合中删除；匹配不成功的目标：若该目标的置信度大于一定值，说明该目标很可能是新出现的目标，将其初始化为新轨迹。8.根据权利要求7所述的一种目标间关系建模的多目标跟踪方法，其特征在于，其中的具体参数定义为：高置信度阈值为0.5，低置信度阈值为0.2.目标初始化阈值为0.6.在匹配图的边得分计算后，首先筛选得分大于等于0.4的边，构建代价矩阵时，得分小于0.4的代价设置为一大正数(例如1e5)。丢失轨迹最大保留时间为30帧。

技术总结
本发明公开了一种目标间关系建模的多目标跟踪方法。包括：对于当前帧检测器输出的目标，利用目标自身的位置、外观特征与目标间的拓扑关系构建帧内图；随后利用消息传递网络对帧内图的顶点、边特征进行更新，以进一步融合目标间的特征；然后结合过去帧的轨迹图与当前的帧内图构建帧间图，帧间图的边表示轨迹与检测的特征相似度；对帧间图进行消息传递过程以进一步融合；随后利用全连接层网络对边代表的匹配关系进行得分计算，并对易漏检的低置信度检测和因遮挡等原因丢失的轨迹进行恢复。本发明的方法利用目标间的拓扑关系建模，可以在相机非线性运动的场景中实现稳定关联，并利用近邻目标信息辅助恢复被遮挡目标的检测；一定程度上克服了主流多目标跟踪算法分立处理目标的缺陷，能够实现非线性运动与遮挡场景下的稳定跟踪。定跟踪。定跟踪。


技术研发人员：邓宸伟 武家鹏 韩煜祺 唐林波 王文正 王旭辰
受保护的技术使用者：北京理工大学
技术研发日：2023.03.08
技术公布日：2023/7/19