基于局部跟踪器的红外小目标跟踪方法及系统

1.本发明涉及红外识别技术领域，尤其涉及一种基于局部跟踪器的红外小目标跟踪方法及系统。


背景技术：

2.红外弱小点状目标跟踪是从红外图像序列中，首先给定初始帧中的目标位置，随后估计出目标在运动过程中的状态，在后续帧中预测出目标在红外场景中出现的位置，实现跟踪。由于红外弱小目标跟踪算法对稳定性的要求比较高，因此主要以生成模型类方法和判别模型类方法为主。
3.红外小目标的长期跟踪的关键在于由于脱离视场或遮挡而导致的目标不连续运动的跟踪困难。现有的长期跟踪方法遵循两种典型策略。第一种策略使用一个本地跟踪器进行平滑跟踪，当目标丢失时使用另一个重新检测器来检测目标。虽然它可以利用时间背景，如历史外观和目标的位置，这种策略的一个潜在的限制是，局部跟踪器倾向于错误地将附近的干扰物识别为目标，而不是在真正的目标不在视野时激活重新探测器。另一种长期跟踪策略是对整个图像中的目标进行全局跟踪，而不是基于之前的跟踪结果进行局部跟踪，但是现有全局跟踪策略不能有效地利用时间背景，大部分算法都是在一个局部区域内搜索目标，导致无法处理长期跟踪任务中目标频繁不连续移动的问题。


技术实现要素：

4.发明目的：本发明针对现有技术存在的问题，提供一种可以长期跟踪中目标频繁不连续移动问题的基于局部跟踪器的红外小目标跟踪方法及系统。
5.技术方案：本发明所述的基于局部跟踪器的红外小目标跟踪方法包括：
6.步骤(1)：基于预训练好的多卷积层网络生成网络中每个卷积层对应的过滤器；
7.步骤(2)：生成多个局部跟踪器，每个局部跟踪器包括一个多层卷积层网络、多个过滤器、一个融合模块和一个最大值求解模块，所述多卷积层网络用于将输入的图像帧经过处理后在每层卷积层上输出对应的特征图，每个所述过滤器连接多卷积层网络对应卷积层，用于将对应卷积层输出的特征图进行过滤，所述融合模块连接所有过滤器，用于将所有过滤器的输出融合，得到融合特征图，所述最大值求解模块连接所述融合模块，用于求取融合特征图中最大值，将最大值对应的位置作为目标位置输出；
8.步骤(3)：对所述局部跟踪器进行训练，得到训练好的局部跟踪器；
9.步骤(4)：将待识别区域划分为多个局部区域，并将训练好的局部跟踪器部署于不同的局部区域进行目标跟踪，在跟踪过程中，如果本地局部跟踪器定位到目标，则局部跟踪器跟随目标移动，在后续帧中继续跟踪目标，直至跟踪不到目标。
10.进一步的，所述步骤(1)具体包括：
11.步骤(1-1)：获取若干红外图像，并生成对应的高斯标签；
12.步骤(1-2)：将红外图像输入预训练好的多卷积层网络，多卷积层网络每个卷积层
生成一个特征图；
13.步骤(1-3)：基于红外图像的高斯标签和每个卷积层的特征图采用以下公式生成对应的过滤器：
[0014][0015]
式中，wk表示第k层卷积层对应的过滤器，y＝f(y)表示高斯标签y的离散傅里叶变换，f()表示离散傅里叶变换，xk＝ｆ(xk)表示第k层卷积层输出的特征图xk的离散傅里叶变换，λ表示正则化参数，表示二次范数，w表示所有过滤器形成的矩阵。
[0016]
进一步的，所述过滤器采用下式实现过滤：
[0017]
pk＝f-1
(xk·
wk)
[0018]
式中，pk表示对第k层卷积层输出的特征图采用过滤器过滤后得到的过滤特征图，f-1
()表示逆离散傅里叶变换，xk＝f(xk)表示第k层卷积层输出的特征图xk的离散傅里叶变换，f()表示离散傅里叶变换，wk表示第k层卷积层对应的过滤器。
[0019]
进一步的，所述融合模块采用下式实现融合：
[0020][0021][0022]
s.t.∑q
ij
＝1
[0023]
式中，q表示融合特征图，pk表示对第k层卷积层输出的特征图采用过滤器过滤后得到的过滤特征图，n表示过滤器数目，kl表示kullback-leibler散度，表示pk的第i行第j列的元素，q
ij
表示q的第i行第j列的元素。
[0024]
进一步的，所述过滤器采用下式实现更新：
[0025][0026]
式中，w
tk
、表示t时刻、t-1时刻第k层卷积层对应的过滤器，γ是学习速率，表示过滤器更新量，
⊙
表示元素相乘，y表示高斯标签y的离散傅里叶变换，表示t时刻获取的红外图像，λ表示正则化参数。
[0027]
本发明所述的基于局部跟踪器的红外小目标跟踪系统包括部署于不同的局部区域的多个局部跟踪器，所述局部跟踪器通过训练得到，包括一个多层卷积层网络、多个过滤器、一个融合模块和一个最大值求解模块，所述多卷积层网络用于将输入的图像帧经过处理后在每层卷积层上输出对应的特征图，每个所述过滤器连接多卷积层网络对应卷积层，用于将对应卷积层输出的特征图进行过滤，所述融合模块连接所有过滤器，用于将所有过滤器的输出融合，得到融合特征图，所述最大值求解模块连接所述融合模块，用于求取融合特征图中最大值，将最大值对应的位置作为目标位置输出；所述过滤器基于预训练好的多卷积层网络生成；所述局部跟踪器在跟踪过程中，如果定位到目标，则跟随目标移动，在后
续帧中继续跟踪目标，直至跟踪不到目标。
[0028]
进一步的，所述过滤器通过以下步骤生成：
[0029]
获取若干红外图像，并生成对应的高斯标签；
[0030]
将红外图像输入预训练好的多卷积层网络，多卷积层网络每个卷积层生成一个特征图；
[0031]
基于红外图像的高斯标签和每个卷积层的特征图采用以下公式生成对应的过滤器：
[0032][0033]
式中，wk表示第k层卷积层对应的过滤器，y＝f(y)表示高斯标签y的离散傅里叶变换，f()表示离散傅里叶变换，xk＝ｆ(xk)表示第k层卷积层输出的特征图xk的离散傅里叶变换，λ表示正则化参数，表示二次范数，w表示所有过滤器形成的矩阵。
[0034]
进一步的，所述过滤器采用下式实现过滤：
[0035]
pk＝f-1
(xk·
wk)
[0036]
式中，pk表示对第k层卷积层输出的特征图采用过滤器过滤后得到的过滤特征图，f-1
()表示逆离散傅里叶变换，xk＝f(xk)表示第k层卷积层输出的特征图xk的离散傅里叶变换，f()表示离散傅里叶变换，wk表示第k层卷积层对应的过滤器。
[0037]
进一步的，所述融合模块采用下式实现融合：
[0038][0039][0040]
s.t.∑q
ij
＝1
[0041]
式中，q表示融合特征图，pk表示对第k层卷积层输出的特征图采用过滤器过滤后得到的过滤特征图，n表示过滤器数目，kl表示kullback-leibler散度，表示pk的第i行第j列的元素，q
ij
表示q的第i行第j列的元素。
[0042]
进一步的，所述过滤器采用下式实现更新：
[0043][0044]
式中，w
tk
、表示t时刻、t-1时刻第k层卷积层对应的过滤器，γ是学习速率，表示过滤器更新量，
⊙
表示元素相乘，y表示高斯标签y的离散傅里叶变换，表示t时刻获取的红外图像，λ表示正则化参数。
[0045]
有益效果：本发明与现有技术相比，其显著优点是：本发明为局部跟踪器配备全局重检测功能来检测目标，根据先验信息在局部跟踪和全局检测之间进行切换，可以处理长期跟踪任务中目标频繁不连续移动的问题。
附图说明
[0046]
图1是本发明提供的基于局部跟踪器的红外小目标跟踪方法的流程示意图；
[0047]
图2是本发明中局部跟踪器的结构示意图；
[0048]
图3是本发明的目标识别示意图。
具体实施方式
[0049]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0050]
实施例一
[0051]
本实施例提供一种基于局部跟踪器的红外小目标跟踪方法，如图1所示，包括如下步骤：
[0052]
步骤(1)：基于预训练好的多卷积层网络生成网络中每个卷积层对应的过滤器。
[0053]
其中，多卷积层网络具体为vgg-net，采用vgg-net生成过滤器的步骤为：步骤(1-1)：获取若干红外图像，并生成对应的高斯标签；步骤(1-2)：将红外图像输入预训练好的多卷积层网络，多卷积层网络每个卷积层生成一个特征图；步骤(1-3)：基于红外图像的高斯标签和每个卷积层的特征图采用以下公式生成对应的过滤器：
[0054][0055]
式中，wk表示第k层卷积层对应的过滤器，y＝f(y)表示高斯标签y的离散傅里叶变换，f()表示离散傅里叶变换，xk＝ｆ(xk)表示第k层卷积层输出的特征图xk的离散傅里叶变换，λ表示正则化参数，表示二次范数，w表示所有过滤器形成的矩阵。
[0056]
步骤(2)：生成多个局部跟踪器，每个局部跟踪器包括一个多层卷积层网络、多个过滤器、一个融合模块和一个最大值求解模块，所述多卷积层网络用于将输入的图像帧经过处理后在每层卷积层上输出对应的特征图，每个所述过滤器连接多卷积层网络对应卷积层，用于将对应卷积层输出的特征图进行过滤，所述融合模块连接所有过滤器，用于将所有过滤器的输出融合，得到融合特征图，所述最大值求解模块连接所述融合模块，用于求取融合特征图中最大值，将最大值对应的位置作为目标位置输出。
[0057]
其中，所述局部跟踪器的结构如图2所示，多层卷积层网络即为上述预训练好的vgg-net，过滤器通过步骤(1)生成，采用下式实现过滤：
[0058]
pk＝f-1
(xk·
wk)
[0059]
式中，pk表示对第k层卷积层输出的特征图采用过滤器过滤后得到的过滤特征图，f-1
()表示逆离散傅里叶变换，xk＝f(xk)表示第k层卷积层输出的特征图xk的离散傅里叶变换，f()表示离散傅里叶变换，wk表示第k层卷积层对应的过滤器。
[0060]
融合模块采用下式实现融合：
[0061]
[0062][0063]
s.t.∑q
ij
＝1
[0064]
式中，q表示融合特征图，pk表示对第k层卷积层输出的特征图采用过滤器过滤后得到的过滤特征图，n表示过滤器数目，kl表示kullback-leibler散度，表示pk的第i行第j列的元素，q
ij
表示q的第i行第j列的元素，实际上，每个特征图pk都可以看作是一个概率图，它由一个概率分布这个概率分布表示位置(i，j)成为目标中心的概率，假设过滤后的特征图集合a＝{p
1，2
，p
1，3
，
···
，p
2，3
，
···
，p
n-1，n
}，其中有n(n-1)/2个噪声较小的特征图。现在，我们的目的是融合这些过滤后的响应图。以此上面的函数可以改为
[0065][0066]
方程的解可以通过拉格朗日乘子法得到，最终的结果如下：
[0067][0068]
方程是所有过滤后的概率的平均值，即通过使用加权和的所有过滤特征图来加强最终结果。
[0069]
最大值求解模块求取融合特征图中最大值将最大值对应的位置作为目标位置。
[0070]
为了实现过滤器与目标外观的适应，过滤器随时间更新，更新公式为：
[0071][0072]
式中，w
tk
、表示t时刻、t-1时刻第k层卷积层对应的过滤器，γ是学习速率，表示过滤器更新量，
⊙
表示元素相乘，y表示高斯标签y的离散傅里叶变换，表示t时刻获取的红外图像，λ表示正则化参数。
[0073]
步骤(3)：对所述局部跟踪器进行训练，得到训练好的局部跟踪器。
[0074]
训练时，采用若干包括红外图像和对应目标位置为标签的样本，训练方法采用现有方法，不再赘述。
[0075]
步骤(4)：将待识别区域划分为多个局部区域，并将训练好的局部跟踪器部署于不同的局部区域进行目标跟踪，在跟踪过程中，如果本地局部跟踪器定位到目标，则局部跟踪器跟随目标移动，在后续帧中继续跟踪目标，直至跟踪不到目标。跟踪到的目标如图3所示。
[0076]
当目标运动平稳时，激活的局部跟踪器(定位到目标的局部跟踪器)可以连续帧跟踪目标，形成激活的局部跟踪流。随着这样的流程，可以很容易地从多个历史框架转移和利用时间上下文，在框架中执行局部跟踪。另一方面，当目标由于遮挡或消失而不连续运动
时，虽然激活的局部跟踪器可能会失去目标，但另一个靠近目标的局部跟踪器可以接替跟踪来定位目标，从而实现目标频繁不连续移动的长期跟踪任务。
[0077]
实施例二
[0078]
本实施例提供了一种基于局部跟踪器的红外小目标跟踪系统，该系统包括部署于不同的局部区域的多个局部跟踪器，所述局部跟踪器通过训练得到，包括一个多层卷积层网络、多个过滤器、一个融合模块和一个最大值求解模块，所述多卷积层网络用于将输入的图像帧经过处理后在每层卷积层上输出对应的特征图，每个所述过滤器连接多卷积层网络对应卷积层，用于将对应卷积层输出的特征图进行过滤，所述融合模块连接所有过滤器，用于将所有过滤器的输出融合，得到融合特征图，所述最大值求解模块连接所述融合模块，用于求取融合特征图中最大值，将最大值对应的位置作为目标位置输出；所述过滤器基于预训练好的多卷积层网络生成；所述局部跟踪器在跟踪过程中，如果定位到目标，则跟随目标移动，在后续帧中继续跟踪目标，直至跟踪不到目标。
[0079]
进一步的，所述过滤器通过以下步骤生成：
[0080]
获取若干红外图像，并生成对应的高斯标签；
[0081]
将红外图像输入预训练好的多卷积层网络，多卷积层网络每个卷积层生成一个特征图；
[0082]
基于红外图像的高斯标签和每个卷积层的特征图采用以下公式生成对应的过滤器：
[0083][0084]
式中，wk表示第k层卷积层对应的过滤器，y＝f(y)表示高斯标签y的离散傅里叶变换，f()表示离散傅里叶变换，xk＝ｆ(xk)表示第k层卷积层输出的特征图xk的离散傅里叶变换，λ表示正则化参数，表示二次范数，w表示所有过滤器形成的矩阵。
[0085]
进一步的，所述过滤器采用下式实现过滤：
[0086]
pk＝f-1
(xk·
wk)
[0087]
式中，pk表示对第k层卷积层输出的特征图采用过滤器过滤后得到的过滤特征图，f-1
()表示逆离散傅里叶变换，xk＝f(xk)表示第k层卷积层输出的特征图xk的离散傅里叶变换，f()表示离散傅里叶变换，wk表示第k层卷积层对应的过滤器。
[0088]
进一步的，所述融合模块采用下式实现融合：
[0089][0090][0091]
s.t.∑q
ij
＝1
[0092]
式中，q表示融合特征图，pk表示对第k层卷积层输出的特征图采用过滤器过滤后得到的过滤特征图，n表示过滤器数目，kl表示kullback-leibler散度，表示pk的第i行第j列的元素，q
ij
表示q的第i行第j列的元素。
[0093]
进一步的，所述过滤器采用下式实现更新：
[0094][0095]
式中，w
tk
、表示t时刻、t-1时刻第k层卷积层对应的过滤器，γ是学习速率，表示过滤器更新量，
⊙
表示元素相乘，y表示高斯标签y的离散傅里叶变换，表示t时刻获取的红外图像，λ表示正则化参数。
[0096]
值得注意的是，上述确定装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

技术特征：
1.一种基于局部跟踪器的红外小目标跟踪方法，其特征在于该方法包括：步骤(1)：基于预训练好的多卷积层网络生成网络中每个卷积层对应的过滤器；步骤(2)：生成多个局部跟踪器，每个局部跟踪器包括一个多层卷积层网络、多个过滤器、一个融合模块和一个最大值求解模块，所述多卷积层网络用于将输入的图像帧经过处理后在每层卷积层上输出对应的特征图，每个所述过滤器连接多卷积层网络对应卷积层，用于将对应卷积层输出的特征图进行过滤，所述融合模块连接所有过滤器，用于将所有过滤器的输出融合，得到融合特征图，所述最大值求解模块连接所述融合模块，用于求取融合特征图中最大值，将最大值对应的位置作为目标位置输出；步骤(3)：对所述局部跟踪器进行训练，得到训练好的局部跟踪器；步骤(4)：将待识别区域划分为多个局部区域，并将训练好的局部跟踪器部署于不同的局部区域进行目标跟踪，在跟踪过程中，如果本地局部跟踪器定位到目标，则局部跟踪器跟随目标移动，在后续帧中继续跟踪目标，直至跟踪不到目标。2.根据权利要求1所述的基于局部跟踪器的红外小目标跟踪方法，其特征在于：所述步骤(1)具体包括：步骤(1-1)：获取若干红外图像，并生成对应的高斯标签；步骤(1-2)：将红外图像输入预训练好的多卷积层网络，多卷积层网络每个卷积层生成一个特征图；步骤(1-3)：基于红外图像的高斯标签和每个卷积层的特征图采用以下公式生成对应的过滤器：式中，w
k
表示第k层卷积层对应的过滤器，y＝f(y)表示高斯标签y的离散傅里叶变换，f()表示离散傅里叶变换，x
k
＝f(x
k
)表示第k层卷积层输出的特征图x
k
的离散傅里叶变换，λ表示正则化参数，表示二次范数，w表示所有过滤器形成的矩阵。3.根据权利要求1所述的基于局部跟踪器的红外小目标跟踪方法，其特征在于：所述过滤器采用下式实现过滤：p
k
＝f-1
(x
k
·
w
k
)式中，p
k
表示对第k层卷积层输出的特征图采用过滤器过滤后得到的过滤特征图，f-1
()表示逆离散傅里叶变换，x
k
＝f(x
k
)表示第k层卷积层输出的特征图x
k
的离散傅里叶变换，f()表示离散傅里叶变换，w
k
表示第k层卷积层对应的过滤器。4.根据权利要求1所述的基于局部跟踪器的红外小目标跟踪方法，其特征在于：所述融合模块采用下式实现融合：合模块采用下式实现融合：s.t.σq
ij
＝1式中，q表示融合特征图，p
k
表示对第k层卷积层输出的特征图采用过滤器过滤后得到的
过滤特征图，n表示过滤器数目，kl表示kullback-leibler散度，表示p
k
的第i行第j列的元素，q
ij
表示q的第i行第j列的元素。5.根据权利要求1所述的基于局部跟踪器的红外小目标跟踪方法，其特征在于：所述过滤器采用下式实现更新：式中，w
tk
、表示t时刻、t-1时刻第k层卷积层对应的过滤器，γ是学习速率，表示过滤器更新量，
⊙
表示元素相乘，y表示高斯标签y的离散傅里叶变换，表示t时刻获取的红外图像，λ表示正则化参数。6.一种基于局部跟踪器的红外小目标跟踪系统，其特征在于：该系统包括部署于不同的局部区域的多个局部跟踪器，所述局部跟踪器通过训练得到，包括一个多层卷积层网络、多个过滤器、一个融合模块和一个最大值求解模块，所述多卷积层网络用于将输入的图像帧经过处理后在每层卷积层上输出对应的特征图，每个所述过滤器连接多卷积层网络对应卷积层，用于将对应卷积层输出的特征图进行过滤，所述融合模块连接所有过滤器，用于将所有过滤器的输出融合，得到融合特征图，所述最大值求解模块连接所述融合模块，用于求取融合特征图中最大值，将最大值对应的位置作为目标位置输出；所述过滤器基于预训练好的多卷积层网络生成；所述局部跟踪器在跟踪过程中，如果定位到目标，则跟随目标移动，在后续帧中继续跟踪目标，直至跟踪不到目标。7.根据权利要求6所述的基于局部跟踪器的红外小目标跟踪系统，其特征在于：所述过滤器通过以下步骤生成：获取若干红外图像，并生成对应的高斯标签；将红外图像输入预训练好的多卷积层网络，多卷积层网络每个卷积层生成一个特征图；基于红外图像的高斯标签和每个卷积层的特征图采用以下公式生成对应的过滤器：式中，w
k
表示第k层卷积层对应的过滤器，y＝f(y)表示高斯标签y的离散傅里叶变换，f()表示离散傅里叶变换，x
k
＝f(x
k
)表示第k层卷积层输出的特征图x
k
的离散傅里叶变换，λ表示正则化参数，表示二次范数，w表示所有过滤器形成的矩阵。8.根据权利要求6所述的基于局部跟踪器的红外小目标跟踪系统，其特征在于：所述过滤器采用下式实现过滤：p
k
＝f-1
(x
k
·
w
k
)式中，p
k
表示对第k层卷积层输出的特征图采用过滤器过滤后得到的过滤特征图，f-1
()表示逆离散傅里叶变换，x
k
＝f(x
k
)表示第k层卷积层输出的特征图x
k
的离散傅里叶变换，f()表示离散傅里叶变换，w
k
表示第k层卷积层对应的过滤器。9.根据权利要求6所述的基于局部跟踪器的红外小目标跟踪系统，其特征在于：所述融合模块采用下式实现融合：
s.t.σq
ij
＝1式中，q表示融合特征图，p
k
表示对第k层卷积层输出的特征图采用过滤器过滤后得到的过滤特征图，n表示过滤器数目，kl表示kullback-leibler散度，表示p
k
的第i行第j列的元素，q
ij
表示q的第i行第j列的元素。10.根据权利要求6所述的基于局部跟踪器的红外小目标跟踪系统，其特征在于：所述过滤器采用下式实现更新：式中，w
tk
、表示t时刻、t-1时刻第k层卷积层对应的过滤器，γ是学习速率，表示过滤器更新量，
⊙
表示元素相乘，y表示高斯标签y的离散傅里叶变换，表示t时刻获取的红外图像，λ表示正则化参数。

技术总结
本发明公开了一种基于局部跟踪器的红外小目标跟踪方法及系统，方法包括：步骤(1)：基于预训练好的多卷积层网络生成网络中每个卷积层对应的过滤器；步骤(2)：生成多个局部跟踪器，每个局部跟踪器包括一个多层卷积层网络、多个过滤器、一个融合模块和一个最大值求解模块；步骤(3)：对所述局部跟踪器进行训练，得到训练好的局部跟踪器；步骤(4)：将待识别区域划分为多个局部区域，并将训练好的局部跟踪器部署于不同的局部区域进行目标跟踪，在跟踪过程中，如果本地局部跟踪器定位到目标，则局部跟踪器跟随目标移动，在后续帧中继续跟踪目标，直至跟踪不到目标。本发明可实现频繁不连续移动目标的长期跟踪。动目标的长期跟踪。动目标的长期跟踪。


技术研发人员：陆易 姜明新 王梓轩 甘峰瑞 曹宇
受保护的技术使用者：淮阴工学院
技术研发日：2023.03.31
技术公布日：2023/8/4