一种增强定位能力的孪生网络长程跟踪方法

1.本发明涉及目标跟踪技术领域，具体而言，尤其涉及一种增强定位能力的孪生网络长程跟踪方法。


背景技术：

2.目标跟踪是计算机视觉中重要的研究问题之一，在视频监控、行为分析、视觉导航等领域有着广泛的应用。设计一个鲁棒、高效的跟踪器是一项非常艰巨的任务，其主要挑战包括遮挡、照明变化、旋转、运动模糊等等。围绕不同的挑战已有众多算法被提出，然而，大多数现有的跟踪器都专注于短程跟踪任务，即被跟踪的对象几乎总是在摄像机的视野中。与传统的短程跟踪相比，长程跟踪，即处理帧长度能达到分钟级且频繁出现目标消失和再现的视频更具挑战性，也更接近实际应用场景，因此近年来受到了更多的研究关注。
3.由于长程跟踪比短程跟踪有更多的应用，近年来，众多长程跟踪算法被提出。splt(skimming-perusallong-termtracking)算法就是其中之一。splt算法提出了一种新的在局部搜索区域精确捕获被跟踪对象的局部跟踪模块，局部跟踪模块由基于siameserpn的有效边界框回归器和基于深度特征嵌入的鲁棒离线训练验证器组成。此外该算法设计了一种重检测模块，从密集采样的滑动窗口中有效地选择出最可能的局部区域，可以在目标缺失时加快图像范围内的重检测过程。
4.在实际测试中发现，splt算法在对目标进行重检测时，由于重检测模块不能准确找到目标，容易出现跟踪漂移的问题。而且存在验证器不能很好的区分背景和目标的问题，出现对背景进行跟踪的情况，进而影响目标跟踪算法的整体性能。


技术实现要素：

5.有鉴于此，本发明的目的在于提出一种增强定位能力的孪生网络长程跟踪方法，以解决现有长程跟踪中目标消失后重新出现后，使用现有重检测模块对目标进行检测时，容易出现跟踪漂移的技术问题。
6.本发明采用的技术手段如下：
7.一种增强定位能力的孪生网络长程跟踪方法，包括如下步骤：
8.s1、获取目标视频的第一帧，对所述第一帧的标注区域进行裁剪，得到目标模板；
9.s2、利用孪生网络的目标提取分支对所述目标模板进行特征提取，得到目标特征图；
10.s3、在跟踪阶段将后续帧进行裁剪作为搜索区域，提取所述搜索区域特征，得到搜索区域特征图；
11.s4、将所述目标特征图和搜索区域特征图送入区域建议网络，生成一系列回归框和对应的目标分数；
12.s5、选出最高目标分数所对应的回归框区域，并放入特征强化验证器中计算验证分数；
13.当得到的验证器分数小于设定验证器的阈值时，进行继续跟踪；
14.当得到的验证器分数大于设定验证器的阈值时，判断目标可能消失，使用中心搜索，当中心搜索没有找到目标时，使用特征强化重新检测模块寻找目标；
15.s6、在特征强化重新检测方法中，使用滑窗按顺序在全局图片进行重新检测，对检测到的目标继续进行跟踪。
16.进一步地，将最高目标分数所对应的回归框区域放入特征强化验证器中计算验证分数，包括如下步骤：
17.特征强化验证器使用resnet50提取特征；
18.对block2、block3、block4特征分别进行多分支多尺度卷积；
19.对得到的多尺度特征将相同尺度特征进行融合；
20.将融合的特征进行池化操作；
21.进行全连接，提高跟踪器判断能力，进而提升跟踪器的跟踪性能。
22.进一步地，对block2、block3、block4特征分别进行多分支多尺度卷积，包括如下步骤：
23.对block2提取的特征进行多分支处理，分支一为512个大小为1*1、移动步长为1的卷积操作；分支二为大小为2*2、移动步长为2的池化操作，再经过1024个大小为1*1、移动步长为1的卷积操作；对block3提取的特征进行多分支处理，分支一为行和列扩展两倍的上采样，再经过512个大小为1*1、移动步长为1的卷积操作；分支二为1024个大小为1*1、移动步长为1的卷积操作；分支三为大小为2*2、移动步长为2的池化操作，再经过2048个大小为1*1、移动步长为1的卷积操作；对block4提取的特征进行多分支处理，分支一为行和列扩展两倍的上采样，再经过1024个大小为1*1、移动步长为1的卷积操作；分支二为2048个大小为1*1、移动步长为1的卷积操作。
24.进一步地，使用特征强化重新检测模块寻找目标步骤包括：
25.将mobilenet提取的特征进行上采样，其中上采样分支有3个卷积层，分别依次是1024个大小为3*3、移动步长为2的卷积核；行和列扩展两倍的上采样卷积层；512个大小为1*1，移动步长为1的卷积核组成，与mobilenet提取的原特征层融合以提升网络的定位能力。
26.进一步地，进一步引入非对称卷积分支，所述非对称卷积分支由两个卷积层组成；
27.所述非对称卷积分支包括512个大小为1*3、移动步长为1的卷积操作和512个大小为3*1、移动步长为1的卷积操作；
28.利用所述非对称卷积分支对目标中心区域进行特征增强以提高跟踪定位能力。
29.本发明还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时，执行上述任一项增强定位能力的孪生网络长程跟踪方法。
30.本发明还提供了一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器通过所述计算机程序运行执行上述任一项增强定位能力的孪生网络长程跟踪方法。
31.较现有技术相比，本发明具有以下优点：
32.本发明在重检测阶段，将mobilenet提取的特征进行特征增强，包括三个级联操作层，分别依次由1024个大小为3*3、移动步长为2的卷积操作，行和列扩展两倍的上采样卷积
操作，512个大小为1*1、移动步长为1的卷积操作组成。与mobilenet提取的原特征层融合，提升网络的定位能力。
33.本发明引入非对称卷积模块，非对称卷积分支由两个卷积层组成，依次是512个大小为1*3、移动步长为1的卷积操作；512个大小为3*1、移动步长为1的卷积操作，利用该非对称卷积分支对目标中心区域进行特征增强，进一步提高定位能力。
34.本发明的验证器部分首先使用resnet50提取特征，然后，对block2、block3、block4特征分别进行多分支多尺度卷积操作，其次，对得到的多尺度特征将相同尺度特征进行融合，进一步，将融合的特征进行池化操作，最后，进行全连接。提高跟踪器判断能力，进一步提高算法性能。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
36.图1为本发明方法整体流程图；
37.图2为本发明改进方法的特征强化验证器网络结构图；
38.图3为本发明改进方法的特征强化重检测模块网络结构图；
39.图4为本发明方法第一跟踪效果图。
40.图5为本发明方法第二跟踪效果图。
41.图6为本发明方法第三跟踪效果图。
42.图7为本发明方法第四跟踪效果图。
具体实施方式
43.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
44.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
45.如图1至图7所示，本发明提供了一种增强定位能力的孪生网络长程跟踪方法，具体步骤如下：
46.步骤1：获取视频的第一帧，对第一帧标注的区域进行裁剪，大小为128*128，作为
目标模板，即真实的目标。标注的区域为给定真实目标框左上点坐标，宽和高来确定的一个区域。
47.步骤2：将裁剪后的目标，利用孪生网络的目标提取分支进行特征提取，获取目标的特征图，特征图的大小为1*1，通道数为512。
48.步骤3：在跟踪阶段，将后续帧进行裁剪作为搜索区域，裁剪大小为300*300，提取搜索区域特征，获取搜索区域的特征图，特征图的大小为19*19，通道数为512。
49.步骤4：将目标的特征图和搜索区域的特征图送入区域建议网络生成一系列回归框和对应的目标分数。局部跟踪器使用的siamrpn网络，用mobilenet提取特征，进一步，利用rpn生成分数和回归框。
50.步骤5：选出最高目标分数对应的回归框区域，放入验证器，得到的验证器分数小于设定验证器的阈值，进行继续跟踪。若验证器分数大于设定验证器的阈值，判断目标可能消失，使用中心搜索，中心搜索没有找到目标，然后，使用重新检测模块寻找目标。如图2所示，验证器首先使用resnet50提取特征，然后，对block2、block3、block4特征分别进行多分支多尺度卷积，具体操作是对block2提取的特征进行多分支处理，分支一是512个大小为1*1、移动步长为1的卷积操作；分支二是大小为2*2、移动步长为2的池化操作，再经过1024个大小为1*1、移动步长为1的卷积操作。对block3提取的特征进行多分支处理，分支一是行和列扩展两倍的上采样，再经过512个大小为1*1、移动步长为1的卷积操作；分支二是1024个大小为1*1、移动步长为1的卷积操作；分支三是大小为2*2、移动步长为2的池化操作，再经过2048个大小为1*1、移动步长为1的卷积操作。对block4提取的特征进行多分支处理，分支一是行和列扩展两倍的上采样，再经过1024个大小为1*1、移动步长为1的卷积操作；分支二是2048个大小为1*1、移动步长为1的卷积操作。其次，对得到的多尺度特征将相同尺度特征进行融合，进一步，将融合的特征进行池化操作，最后，进行全连接。验证器训练过程，数据集使用ilsvrc2015_vid，需要对数据集进行处理，保存为tfrecord格式。epoch设置为70，batchsize设置为32，学习率为0.005.
51.步骤6：在重检测阶段，使用滑窗按顺序在全局图片进行重新检测。对检测到的目标继续进行跟踪。如图3所示，重检测阶段，将mobilenet提取的特征进行特征增强，包括三个级联操作层，分别依次由1024个大小为3*3、移动步长为2的卷积操作、行和列扩展两倍的上采样卷积操作、512个大小为1*1，移动步长为1的卷积操作组成。最后与mobilenet提取的原特征层融合，提升网络的定位能力。进一步，引入非对称卷积模块，非对称卷积分支由两个卷积层组成，依次是512个大小为1*3、移动步长为1的卷积操作；512个大小为3*1、移动步长为1的卷积操作。利用该非对称卷积分支对目标中心区域进行特征增强，进一步提高定位能力。训练过程，数据集使用ilsvrc2015_vid，epoch设置为45，batchsize设置为32，学习率为0.001，优化器使用动量优化器，动量设置为0.9，损失函数是二元交叉熵。
52.本发明还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时，执行增强定位能力的孪生网络长程跟踪方法。
53.本发明还提供了一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器通过所述计算机程序运行执行增强定位能力的孪生网络长程跟踪方法。
54.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
55.在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
56.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
57.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
58.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
59.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
60.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种增强定位能力的孪生网络长程跟踪方法，其特征在于，包括如下步骤：s1、获取目标视频的第一帧，对所述第一帧的标注区域进行裁剪，得到目标模板；s2、利用孪生网络的目标提取分支对所述目标模板进行特征提取，得到目标特征图；s3、在跟踪阶段将后续帧进行裁剪作为搜索区域，提取所述搜索区域特征，得到搜索区域特征图；s4、将所述目标特征图和搜索区域特征图送入区域建议网络，生成一系列回归框和对应的目标分数；s5、选出最高目标分数所对应的回归框区域，并放入特征强化验证器中计算验证分数；当得到的验证器分数小于设定验证器的阈值时，进行继续跟踪；当得到的验证器分数大于设定验证器的阈值时，判断目标可能消失，使用中心搜索，当中心搜索没有找到目标时，使用特征强化重新检测模块寻找目标；s6、在特征强化重新检测方法中，使用滑窗按顺序在全局图片进行重新检测，对检测到的目标继续进行跟踪。2.根据权利要求1所述的增强定位能力的孪生网络长程跟踪方法，其特征在于，将最高目标分数所对应的回归框区域放入特征强化验证器中计算验证分数，包括如下步骤：特征强化验证器使用resnet50提取特征；对block2、block3、block4特征分别进行多分支多尺度卷积；对得到的多尺度特征将相同尺度特征进行融合；将融合的特征进行池化操作；进行全连接，提高跟踪器判断能力，进而提升跟踪器的跟踪性能。3.根据权利要求2所述的增强定位能力的孪生网络长程跟踪方法，其特征在于，对block2、block3、block4特征分别进行多分支多尺度卷积，包括如下步骤：对block2提取的特征进行多分支处理，分支一为512个大小为1*1、移动步长为1的卷积操作；分支二为大小为2*2、移动步长为2的池化操作，再经过1024个大小为1*1、移动步长为1的卷积操作；对block3提取的特征进行多分支处理，分支一为行和列扩展两倍的上采样，再经过512个大小为1*1、移动步长为1的卷积操作；分支二为1024个大小为1*1、移动步长为1的卷积操作；分支三为大小为2*2、移动步长为2的池化操作，再经过2048个大小为1*1、移动步长为1的卷积操作；对block4提取的特征进行多分支处理，分支一为行和列扩展两倍的上采样，再经过1024个大小为1*1、移动步长为1的卷积操作；分支二为2048个大小为1*1、移动步长为1的卷积操作。4.根据权利要求1所述的增强定位能力的孪生网络长程跟踪方法，其特征在于，使用特征强化重新检测模块寻找目标步骤包括：将mobilenet提取的特征进行上采样，其中上采样分支有3个卷积层，分别依次是1024个大小为3*3、移动步长为2的卷积核；行和列扩展两倍的上采样卷积层；512个大小为1*1，移动步长为1的卷积核组成，与mobilenet提取的原特征层融合以提升网络的定位能力。5.根据权利要求4所述的增强定位能力的孪生网络长程跟踪方法，其特征在于，在重检测模块引入非对称卷积分支，所述非对称卷积分支由两个卷积层组成；所述非对称卷积分支包括512个大小为1*3、移动步长为1的卷积操作和512个大小为3*1、移动步长为1的卷积操作；
利用所述非对称卷积分支对目标中心区域进行特征增强以提高跟踪定位能力。6.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时，执行所述权利要求1至5中任一项权利要求所述的增强定位能力的孪生网络长程跟踪方法。7.一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序运行执行所述权利要求1至5中任一项权利要求所述的增强定位能力的孪生网络长程跟踪方法。

技术总结
本发明提供了一种增强定位能力的孪生网络长程跟踪方法，涉及目标跟踪技术领域，包括如下步骤：S1、获取目标视频的第一帧，对第一帧的标注区域进行裁剪，得到目标模板；S2、利用孪生网络的目标提取分支对所述目标模板进行特征提取，得到目标特征图；S3、得到搜索区域特征图；S4、将所述目标特征图和搜索区域特征图送入区域建议网络，生成一系列回归框和对应的目标分数；S5、选出最高目标分数所对应的回归框区域，并放入特征强化验证器中计算验证分数；S6、使用滑窗按顺序在全局图片进行重新检测，对检测到的目标继续进行跟踪。本算法基于SPLT算法，对重检测模块和验证器进行了网络结构的重新设计，解决了SPLT算法对于目标容易出现跟踪漂移的问题。踪漂移的问题。踪漂移的问题。


技术研发人员：姚婷婷 杨壮 曹福笑 米富横 任钰欣
受保护的技术使用者：大连海事大学
技术研发日：2023.04.13
技术公布日：2023/7/22