一种基于在线样本增广的目标跟踪方法及装置与流程

1.本发明属于目标跟踪技术领域，具体涉及一种基于在线样本增广的目标跟踪方法及装置。


背景技术：

2.在现有的目标跟踪算法中，常常通过搜索邻域范围内容，取目标大小的roi区域做核岭回归计算，找到最大相应值，从而确定出目标的下一帧位置。此方法在目标单一、背景干净、速度缓慢的应用场景下表现出了良好的目标跟踪效果，但是在面临多个临近的同类目标时跟踪效果较差，并且容易跟错。然而在目标跟踪算法的大多应用场景中，都存在多个同类目标。与此同时，进行目标跟踪时，在对目标视觉图像的连续采集过程中容易出现目标飞出视野和发生尺度变化等现象，导致目标跟踪困难。
3.由此可见，为实现目标跟踪算法在同类目标较多、目标尺度变化大、背景复杂等应用场景下也能跟踪成功且达到良好的目标跟踪效果，急需对现有的目标跟踪算法进行改进。


技术实现要素：

4.有鉴于此，本发明提出了一种基于在线样本增广的目标跟踪方法及装置，用以解决现有的目标算法在面临同类目标较多、目标尺度变化大、背景复杂等诸多应用场景时，表现出的目标跟踪效果较差或跟踪失败的技术问题。
5.本发明的目的是通过以下技术方案来实现的：本发明的第一方面提出了一种基于在线样本增广的目标跟踪方法，所述方法包括：对视频帧进行目标检测，得到多个同类目标，并从同类目标中选取跟踪目标；依据每个同类目标在当前帧中的位置，从当前帧中截取得到该同类目标的样本，并对各个样本执行样本增广，根据增广后的数据构建真伪数据库；利用特征提取网络提取真伪数据库中每个数据的特征，形成特征库；读取下一帧，利用特征提取网络提取跟踪目标邻域范围内的特征，并将该特征与特征库作匹配，若匹配成功，则将当前特征作为跟踪结果，并将当前特征增加到特征库中，否则执行下一步；对当前帧进行目标检测，若检测到跟踪目标，且在利用特征提取网络提取得到该跟踪目标roi区域内的特征后，将提取得到的该特征与特征库内的特征进行匹配的结果为匹配成功，则将当前特征作为跟踪结果，并将当前特征增加到特征库中，否则判定目标消失。
6.进一步的，对视频帧进行目标检测时利用yolov5n目标检测模型。
7.进一步的，所述特征提取网络为resnet50网络。
8.进一步的，所述对各个样本执行样本增广，具体为：
旋转样本，得到旋转数据；平移样本，得到平移数据；模糊化样本，得到模糊化数据；放缩样本，得到放缩数据；由旋转数据、平移数据、模糊化数据和放缩数据构成样本增广后数据。
9.进一步的，所述依据每个同类目标在当前帧中的位置，从当前帧中截取得到该同类目标的样本，具体为：依据每个同类目标在当前帧中的位置，根据该同类目标的大小计算得到对应的roi区域，并从当前帧中截取该roi区域作为该同类目标的样本，所述roi区域的中心为该同类目标的中心点。
10.进一步的，所述旋转样本，得到旋转数据，具体为：将样本对应的当前帧作为原图进行预设角度的旋转，将原图内同类目标的中心点映射到旋转图像中，旋转图像的宽度与原图的宽度保持一致，旋转图像的高度与原图的高度保持一致；在原图旋转后，对原图旋转后的坐标系进行平移，得到所述中心点的新坐标点；以所述新坐标点为中心，从旋转图像中截取得到旋转数据，旋转数据的区域长度为样本对应的roi区域的长度，且旋转数据的区域宽度为样本对应的roi区域的宽度。
11.进一步的，所述平移样本，得到平移数据，具体为：将样本对应的当前帧作为原图进行同类目标各个坐标点的平移，得到平移图像，并且平移后的同类目标的各个坐标点在样本对应的roi区域内；截取平移图像在样本对应的roi区域内的数据作为平移数据。
12.进一步的，所述匹配为余弦相似度匹配。
13.进一步的，所述特征库中，根据每个样本增广的维度构建该维度对应的特征队列；所述将当前特征增加到特征库中，具体为：若特定特征队列的长度已达到第一预设数量，则将该队列中的第一个特征排出，再将当前特征添加到特征库内的该特定特征队列中，否则将当前特征直接添加到特征库内的该特定特征队列中，所述特定特征队列为与当前特征匹配成功的特征库内特征所在的特征队列。
14.本发明的第一方面具有的有益效果为：（1）基于多模板特征匹配的技术构思，通过将特征提取网络作为已上线的目标检测模型的辅助，并结合在线样本增广手段，形成的特征库包含了同类目标的特征和跟踪目标的多维度增广特征，在形成特征库后继续利用上述特征提取网络对下一帧执行邻域范围内的特征提取，而后进行与特征库之间的特征匹配，匹配成功则表示跟踪成功，并将匹配成功的当前特征作为跟踪结果，若匹配失败，则重新利用目标检测模型进行当前帧的目标检测，然后重新利用特征提取网络对检测到的跟踪目标的roi区域进行特征提取，将提取到的特征与之前形成的特征库进行匹配，匹配成功则表示跟踪成功，若重新检测时未检测到目标或当前匹配失败，则判定目标消失；综上所述，首先，上述目标跟踪过程扩大了目标所在范围，特征库充分考虑了实际
跟踪场景下跟踪目标和场景下的同类目标自身可能出现和视觉图像连续采集过程中可能出现的旋转、平移、放缩和模糊化等情形，从而有效地提高了特征匹配精度；其次，在第一次特征匹配失败后，通过重新进行目标检测确认是否为目标消失导致的第一次特征匹配失败，若目标未消失，则缩小跟踪目标的特征提取范围，只在跟踪目标的roi区域内进行特征提取，减少计算量，而后再次进行特征匹配，由此通过两次不同特征提取范围的特征提取和匹配，减少了目标未消失情形下的目标跟踪失败，使得目标跟踪有效性得到了提高；结合特征匹配精度的提高和跟踪有效性的提高，使得本发明实现的目标跟踪方法适用于多同类目标、目标尺度变化大、背景复杂等诸多实际应用场景下的目标有效跟踪；（2）将特征提取网络设置为resnet50网络，充分利用了resnet50网络良好的特征提取精度，相比其他特征提取网络而言，resnet50网络与yolov5n目标检测模型结合所表现出的目标跟踪精度更优；（3）特征库中，通过对每个样本增广的维度均构建对应的特征队列，并且在跟踪成功后，按队列方式更新队列中的特征（目标跟踪模板），相比于单一的目标跟踪模板而言，此种多目标跟踪模板的形式，能够更好的适应目标所在环境、成像时变焦等因素引起的目标变化，从而提高了特征匹配的精度；（4）在进行样本旋转时，通过将样本对应的当前帧作为原图进行旋转，从而保证了增广后数据的有效性，避免了常规增广旋转中因为只对样本进行旋转并填充无效信息所导致的干扰；（5）在进行样本平移时，通过将样本对应的当前帧作为原图进行同类目标的平移，从而保证了增广后数据的有效性，避免了常规增广平移中因为只对样本进行平移并填充无效信息所导致的干扰。本发明的第二方面提出了一种基于在线样本增广的目标跟踪装置，所述装置包括存储器和处理器，所述存储器用于本发明第一方面所述的一种基于在线样本增广的目标跟踪方法，所述处理器用于调用存储器内保存的所述方法进行目标跟踪。
15.本发明的第二方面带来与第一方面相同的有益效果，在此不再赘述。
附图说明
16.图1为基于在线样本增广的目标跟踪方法的一种流程图；图2为基于在线样本增广的目标跟踪方法的一种逻辑时序图；图3为目标邻域范围的一种示意图。
具体实施方式
17.下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.实施例一参阅图1至图3，本实施例提供了一种基于在线样本增广的目标跟踪方法，包括如下具体步骤：
s100.获取视频帧，利用已训练好的目标检测模型对视频帧进行目标检测，得到多个同类目标，从各个同类目标的初始化跟踪模板中选择出待跟踪目标（下文简称为：跟踪目标）的初始化跟踪模板，进行跟踪。同类目标是指都为无人机、或鸟等。
19.在一些实施例中，已训练好的目标检测模型为yolov5n目标检测模型。
20.s200.依据每个同类目标在当前帧中的位置，从当前帧中截取得到该同类目标的样本，且样本中包含该同类目标，并对各个样本执行样本增广，根据增广后的数据构建真伪数据库。
21.在一些实施例中，依据每个同类目标在当前帧中的位置，从当前帧中截取得到该同类目标的样本，具体为：子步骤s01.依据每个同类目标在当前帧中的位置，根据该同类目标的大小计算得到该同类目标对应的roi区域，上述roi区域的中心为该同类目标的中心点；子步骤s02.从当前帧中截取该roi区域作为该同类目标的样本。
22.特别的，子步骤s01的一种具体实施过程为：s011.依据每个同类目标在当前帧中的位置，结合式一和该同类目标的大小计算出第一宽度w和第一高度h，并将该同类目标的中心点作为选框的中心，将计算出的第一宽度w作为选框的宽度值，将计算出的第一高度h作为选框的高度值，框选出该同类目标对应的roi区域；其中，式一具体为：；在式一中，表示该同类目标的宽度值，表示该同类目标的高度值，为一个定值且根据视频帧图像的分辨率设置。
23.在一些实施例中，对各个样本执行样本增广，具体为：子步骤s001.旋转样本，得到旋转数据。样本旋转可采用普通实施例中的旋转样本增广方法，本实施例对此公知过程不进行详细描述。
24.子步骤s002.平移样本，得到平移数据。样本平移可采用普通实施例中的平移样本增广方法，本实施例对此公知过程不进行详细描述。
25.子步骤s003.模糊化样本，得到模糊化数据。样本模糊化可采用普通实施例中的模糊样本增广方法。本实施例优选采用的模糊样本增广方法如下：通过不同大小的高斯模板对样本进行模糊化处理，得到多个不同的模糊化数据，模糊化过程表示为：（式二），在式二中，表示为样本，表示高斯模板，表示样本对应的模糊化数据。
26.子步骤s004.放缩样本，得到放缩数据。样本放缩可采用普通实施例中的放缩样本增广方法。本实施例优选采用的放缩样本增广方法如下：通过双线性插值算法，将样本按照比例进行放缩。
27.子步骤s005.由旋转数据、平移数据、模糊化数据和放缩数据构成样本增广后数据。
28.s300.利用特征提取网络提取真伪数据库中每个数据的特征，形成特征库features。
29.在一些实施例中，特征提取网络选取为resnet50网络，resnet50网络提取得到的特征称为resnet50特征。resnet50网络基于resnet50网络基础框架进行训练和优化后得到。特征库features具体包含有n个512维特征向量，特征库，表示序号为j的512维特征向量。
30.s400.读取下一帧，利用特征提取网络提取跟踪目标邻域范围内的特征，并将该特征与特征库内的特征作匹配，若匹配成功，则将当前特征作为跟踪结果，并将当前特征增加到特征库中，否则执行s500。其中，利用特征提取网络提取到的跟踪目标邻域范围的特征包括跟踪目标roi区域内特征和跟踪目标邻域范围内变量区域的特征。跟踪目标邻域范围内变量区域的特征也称为搜索区域特征。可知的，对目标的跟踪多为连续跟踪，因此在将当前特征作为跟踪结果并增加到特征库中后，继续重复执行s400，直至跟踪完成。跟踪过程多以跟踪时长为约束，达到跟踪时长后，跟踪结束。
31.当特征提取网络选取为resnet50网络时，通过遍历跟踪目标邻域范围内的各个区域提取得到resnet50特征，resnet50网络共输出m个特征向量。
32.在一些实施例中，步骤s400中目标邻域范围的确定可采用普通实施例中的确定过程，可知的，在传统的目标跟踪算法中，通过搜索目标邻域范围内容，从而在下一帧中识别和定位目标，因此在利用特征提取网络进行下一帧的特征提取前，基于同样的邻域范围确定规则，选取出跟踪目标邻域范围；特征匹配时采用余弦相似度匹配，上述将该特征与特征库内的特征作余弦相似度匹配的一种具体过程为：将该特征与特征库内的每个特征作匹配，得到特征向量的最大相似度，若该最大相似度满足阈值条件，则表示匹配成功，并将当前特征作为跟踪结果，同时记录当前特征的位置。
33.本实施例还提出了一种改进的目标邻域范围确定规则，该规则采取分层递进的方式，具体如下：设定最大邻域范围；根据目标的大小，以2的倍数选取邻域范围，若跟踪成功或者该邻域范围大于最大邻域范围时结束，得出是否跟踪成功。此方式可以在目标变化速度较慢时，快速匹配，在移动速度较快时，选取更大范围去搜索目标区域。
34.s500. 利用上述已训练好的目标检测模型对当前帧进行目标检测，若检测到跟踪目标，且在利用特征提取网络提取得到该跟踪目标roi区域内的特征后，将提取得到的该特征与特征库内的特征进行匹配的结果为匹配成功，则将当前特征作为跟踪结果，并将当前特征增加到特征库中；若未检测到目标或上述匹配失败，则判定目标消失。可知的，对目标的跟踪多为连续跟踪，因此在将当前特征作为跟踪结果并增加到特征库中后，还跳转至s400，直至跟踪完成。跟踪过程多以跟踪时长为约束，达到跟踪时长后，跟踪结束。
35.在一些实施例中，步骤s500中跟踪目标roi区域的确定可采用传统目标跟踪算法中的roi区域确定过程，本实施例优选采用与s011等同的roi区域确定规则；特征匹配时采用余弦相似度匹配，上述将提取得到的该特征与特征库内的特征进行匹配的一种具体过程为：根据提取得到的该特征与特征库内的特征进行匹配的最优结果做判断，若最优结果满
足阈值条件，则表示匹配成功。
36.可选的，上述将当前特征增加到特征库中的一种具体实施过程为：若特征库中针对每个样本增广的维度均对应一个特征，即等同于只设定了一个目标跟踪模板，则利用当前特征去更新特征库中与该当前特征匹配的特征，即为将当前特征作为新的目标跟踪模板。样本增广维度是指旋转、平移、放缩、模糊化等增广手段中的一种或多种。
37.作为上述实施例的一种改进，特征库中针对每个样本增广维度均构建该维度对应的特征队列，相应地，将当前特征增加到特征库中的另一种具体实施过程为：若特定特征队列的长度已达到第一预设数量，则将该队列中的第一个特征排出，再将当前特征添加到特征库内的该特定特征队列中，否则将当前特征直接添加到特征库内的该特征队列中，其中，特定特征队列为与当前特征匹配成功的特征库内特征所在的特征队列。
38.例如，将第一预设数量设定为5，若特定特征队列的长度已达到5个，则将队列中的第一个特征排出，再将当前特征添加到特征库内的该特定特征队列中。若特定特征队列的长度不满5个，则将当前特征直接添加到特征库内的该特定特征队列中。
39.此外，若样本增广采用s001至s005，则特征库features中包括了旋转特征队列、平移特征队列、模糊化特征队列和放缩特征队列，可将特征已满5个的旋转特征队列表示为，表示旋转特征队列中的第一个特征，依次类推，表示旋转特征队列中的第五个特征，将特征已满5个的平移特征队列表示为，表示平移特征队列中的第一个特征，依次类推，表示平移特征队列中的第五个特征，将特征满5个的放缩特征队列表示为，表示放缩特征队列中的第一个特征，表示放缩特征队列的第五个特征，将特征已满5个的模糊化特征队列表示为，表示模糊化特征队列中的第一个特征，表示模糊化特征队列中的第五个特征。
40.作为上述实施例的另一种改进，当样本的区域截取采用s01至s02步骤时，子步骤s001的另一种具体实施过程为：s0011.将样本对应的当前帧作为原图进行预设角度的旋转，将原图内同类目标的中心点映射到旋转图像中，旋转图像的宽度与原图的宽度保持一致，旋转图像的高度与原图的高度保持一致。进行预设角度的旋转采用的旋转矩阵优选为，其中，r表示旋转矩阵，表示预设的旋转角度。通过设置不同的旋转角度，可增广得到不同
的旋转数据。
41.s0012.在原图旋转后，对原图旋转后的坐标系进行平移，得到上述同类目标中心点的新坐标点。通过对原图旋转后的坐标系进行平移，保证旋转图像左上角的坐标点为（0,0），若旋转矩阵优选为，坐标系平移后旋转图像内各个坐标点的坐标与原图的坐标变换关系可表示为变换矩阵，其中，表示该变换矩阵，表示平移量。例如，中心点的新坐标值可表示为，其中表示原图内同类目标的中心点坐标。
42.s0013.以上述同类目标中心点的新坐标点为中心，从旋转图像中截取得到旋转数据，旋转数据的区域长度为样本对应的roi区域的长度，并且旋转数据的区域宽度为样本对应的roi区域的宽度，即为：为得到旋转数据，从旋转图像中截取的区域范围与样本对应的roi区域等长和等宽。
43.作为上述实施例的另一种改进，当样本的区域截取采用s01至s02步骤时，子步骤s002的另一种具体实施过程为：s0021.将样本对应的当前帧作为原图进行同类目标各个坐标点的平移，得到平移图像，并且平移后的同类目标的各个坐标点在样本对应的roi区域内；s0022.截取平移图像在样本对应的roi区域内的数据作为平移数据。
44.例如，同类目标在原图中的中心点进行平移后得到的新坐标点表示为，其中，，和均表示平移量。在根据式一确定roi区域时，平移量的优选取值为，且平移量的优选取值为，为经验取值。
45.实施例二本实施例提供了一种基于在线样本增广的目标跟踪装置，该装置基于实施例一提出的一种基于在线样本增广的目标跟踪方法，具体包括存储器和处理器，存储器用于保存权实施例一实现的一种基于在线样本增广的目标跟踪方法，处理器用于调用存储器内保存的该方法进行目标跟踪。
46.以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的
形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

技术特征：
1.一种基于在线样本增广的目标跟踪方法，其特征在于，包括：对视频帧进行目标检测，得到多个同类目标，并从同类目标中选取跟踪目标；依据每个同类目标在当前帧中的位置，从当前帧中截取得到该同类目标的样本，并对各个样本执行样本增广，根据增广后的数据构建真伪数据库；利用特征提取网络提取真伪数据库中每个数据的特征，形成特征库；读取下一帧，利用特征提取网络提取跟踪目标邻域范围内的特征，并将该特征与特征库作匹配，若匹配成功，则将当前特征作为跟踪结果，并将当前特征增加到特征库中，否则执行下一步；对当前帧进行目标检测，若检测到跟踪目标，且在利用特征提取网络提取得到该跟踪目标roi区域内的特征后，将提取得到的该特征与特征库内的特征进行匹配的结果为匹配成功，则将当前特征作为跟踪结果，并将当前特征增加到特征库中，否则判定目标消失。2.根据权利要求1所述的一种基于在线样本增广的目标跟踪方法，其特征在于，对视频帧进行目标检测时利用yolov5n目标检测模型。3.根据权利要求1所述的一种基于在线样本增广的目标跟踪方法，其特征在于，所述特征提取网络为resnet50网络。4.根据权利要求1所述的一种基于在线样本增广的目标跟踪方法，其特征在于，所述对各个样本执行样本增广，具体为：旋转样本，得到旋转数据；平移样本，得到平移数据；模糊化样本，得到模糊化数据；放缩样本，得到放缩数据；由旋转数据、平移数据、模糊化数据和放缩数据构成样本增广后数据。5.根据权利要求4所述的一种基于在线样本增广的目标跟踪方法，其特征在于，所述依据每个同类目标在当前帧中的位置，从当前帧中截取得到该同类目标的样本，具体为：依据每个同类目标在当前帧中的位置，根据该同类目标的大小计算得到对应的roi区域，并从当前帧中截取该roi区域作为该同类目标的样本，所述roi区域的中心为该同类目标的中心点。6.根据权利要求5所述的一种基于在线样本增广的目标跟踪方法，其特征在于，所述旋转样本，得到旋转数据，具体为：将样本对应的当前帧作为原图进行预设角度的旋转，将原图内同类目标的中心点映射到旋转图像中，旋转图像的宽度与原图的宽度保持一致，旋转图像的高度与原图的高度保持一致；在原图旋转后，对原图旋转后的坐标系进行平移，得到所述中心点的新坐标点；以所述新坐标点为中心，从旋转图像中截取得到旋转数据，旋转数据的区域长度为样本对应的roi区域的长度，且旋转数据的区域宽度为样本对应的roi区域的宽度。7.根据权利要求5所述的一种基于在线样本增广的目标跟踪方法，其特征在于，所述平移样本，得到平移数据，具体为：将样本对应的当前帧作为原图进行同类目标各个坐标点的平移，得到平移图像，并且平移后的同类目标的各个坐标点在样本对应的roi区域内；
截取平移图像在样本对应的roi区域内的数据作为平移数据。8.根据权利要求1所述的一种基于在线样本增广的目标跟踪方法，其特征在于，所述匹配为余弦相似度匹配。9.根据权利要求1所述的一种基于在线样本增广的目标跟踪方法，其特征在于，所述特征库中，根据每个样本增广的维度构建该维度对应的特征队列；所述将当前特征增加到特征库中，具体为：若特定特征队列的长度已达到第一预设数量，则将该队列中的第一个特征排出，再将当前特征添加到特征库内的该特定特征队列中，否则将当前特征直接添加到特征库内的该特定特征队列中，所述特定特征队列为与当前特征匹配成功的特征库内特征所在的特征队列。10.一种基于在线样本增广的目标跟踪装置，其特征在于，包括存储器和处理器，所述存储器用于保存权利要求1-9项任一项所述的一种基于在线样本增广的目标跟踪方法，所述处理器用于调用存储器内保存的所述方法进行目标跟踪。

技术总结
本发明公开了一种基于在线样本增广的目标跟踪方法及装置，涉及目标跟踪技术领域，方法包括：获取视频帧，对视频帧进行目标检测，得到多个同类目标和选中跟踪目标；增广检测到的目标样本数量，形成真伪目标数据库；提取真伪数据库中每个数据的ResNet50特征，得到特征库；读取下一帧，并提取目标邻域范围内的ResNet50特征，与特征库作匹配，匹配成功则将当前特征作为跟踪结果，并更新特征库，否则执行下一步；检测当前帧中的跟踪目标，并提取跟踪目标ROI区域内的ResNet50特征，与特征库再次作匹配，若匹配成功则将当前特征作为跟踪结果，并更新特征库，若未检测到目标或与特征库再次作的匹配失败，则判定目标消失。则判定目标消失。则判定目标消失。


技术研发人员：冉欢欢 赵瑞欣 李毅捷 陈春 李东晨 李非桃 李和伦 陈益 王丹 褚俊波 董平凯 陈未东 杨伟 夏添 赵文杰
受保护的技术使用者：四川迪晟新达类脑智能技术有限公司
技术研发日：2023.07.18
技术公布日：2023/8/16