基于transformer结构的强机动目标跟踪方法和装置

1.本技术涉及雷达遥感应用技术领域，特别涉及一种基于transformer结构的强机动目标跟踪方法和装置。


背景技术：

2.机动目标跟踪是空域监视、交通控制和自动导航等领域的一项重要任务，而机动目标运动的不确定性和可变性使机动目标跟踪成为一项具有挑战性的任务，尤其是机动目标的运动复杂的目标跟踪场景，对机动目标跟踪方法提出了更高的性能要求。
3.相关技术中，为了提高机动目标跟踪效果，在集成框架下探索了多模型方法，如交互式多模型(imm)及其变体，多模型方法虽然通过混合估计保证了跟踪性能和计算效率，但该方法在估计目标状态之前需要预先定义运动模型，特别在跟踪强机动目标时，需要更多的时间来获得精确的运动模型，这导致状态估计的严重延迟，影响跟踪精度。基于长短期记忆(long short-term memory，lstm)结构的模型在跟踪机动性较弱的目标时表现良好，然而跟踪机动性较强的轨迹时，现有性能较好的lstm跟踪模型比如deepmtt模型在状态估计过程中引入了附加方法作为预处理方法，导致性能急剧下降；此外，lstm结构的迭代运算虽然适用于序列数据，但是当序列间隔变长时，会忽略间隔较长的状态信息，难以捕捉快速变化状态间的规律，而对于强机动目标跟踪，需要足够的特征来帮助模型学习剧烈变化状态之间的转移规律。
4.因此，如何解决强机动目标跟踪任务中目标状态估计误差大的问题，提高强机动目标跟踪任务的性能，是本领域技术人员亟待解决的技术问题。


技术实现要素：

5.鉴于上述问题，本技术实施例提供了一种基于transformer结构的强机动目标跟踪方法和装置，以便克服上述问题或者至少部分地解决上述问题。
6.本技术实施例的第一方面，公开了一种基于transformer结构的强机动目标跟踪方法，所述方法包括：
7.对量测轨迹进行编码和位置嵌入，得到具有状态差异的轨迹特征，所述量测轨迹是由预设时间内的多个量测数据组成的序列，所述量测轨迹是基于量测轨迹与真实轨迹之间的映射关系，对量测数据进行处理得到的；
8.将所述具有状态差异的轨迹特征输入到transformer编码器进行单层状态特征自注意力信息提取，得到具有不同状态信息的编码器特征；
9.将所述具有不同状态信息的编码器特征和所述具有状态差异的轨迹特征，输入到transformer解码器进行交叉注意力提取与融合，得到融合不同相关性信息的解码器特征；
10.基于所述相关性特征进行预测处理，得到残差轨迹，并将所述残差轨迹和所述量测轨迹进行相加，得到目标轨迹。
11.可选地，所述基于transformer结构的强机动目标跟踪方法是通过预先训练的强
机动目标跟踪模型实现的，所述强机动目标跟踪模型按照以下步骤进行训练：
12.构建强机动目标跟踪的训练数据集，所述训练数据集中每条训练数据包括：目标真实轨迹和目标量测轨迹；
13.将所述目标量测轨迹输入到所述强机动目标跟踪模型进行训练，得到预测残差轨迹；
14.根据所述目标真实轨迹和所述目标量测轨迹得到真实残差轨迹，并基于所述真实残差轨迹和所述预测残差轨迹计算出均方根误差作为损失函数；
15.基于所述损失函数对强机动目标跟踪模型中的训练参数进行更新，满足训练结束后条件后，得到训练好的强机动目标跟踪模型，所述训练好的强机动目标跟踪模型具有预测量测轨迹与目标轨迹的残差轨迹能力。
16.可选地，所述构建强机动目标跟踪的训练数据集，包括：
17.通过状态转移方程和观测方程分别构建目标真实轨迹和目标量测数据，所述目标真实轨迹中的每个真实轨迹数据包括：目标在二维空间中的位置坐标、目标在水平方向上的速度、目标在垂直方向上的速度，所述目标量测数据中的每个量测数据包括：传感器的量测距离和量测角度；
18.根据量测轨迹与真实轨迹之间的映射关系，将所述目标量测数据中的每个目标量测数据转换为真实轨迹数据的形式，得到目标量测轨迹。
19.可选地，所述根据量测轨迹与真实轨迹之间的映射关系，将所述目标量测数据中的每个目标量测数据转换为真实轨迹数据的形式，包括：
20.根据所述量测距离和所述量测角度，分别进行cos计算和sin计算，得到目标在二维空间中的量测位置坐标；
21.基于高斯白噪声模拟目标在水平方向上的量测速度和垂直方向上的量测速度；
22.将所述二维空间中的量测位置坐标、所述水平方向上的量测速度、所述垂直方向上的量测速度作为所述目标量测轨迹中的目标量测数据。
23.可选地，所述对量测轨迹进行编码和位置嵌入，得到具有状态差异的轨迹特征，包括：
24.依次利用全连接层和实例归一化层对所述量测轨迹进行处理，得到初始轨迹特征；
25.对所述初始轨迹特征进行固定位置编码，得到编码特征；
26.将所述初始轨迹特征和所述编码特征进行相加，得到所述具有状态差异的轨迹特征，所述状态差异是指构成轨迹的序列数据在时间维度上的差异。
27.可选地，所述transformer编码器包括n个编码器；所述将所述具有状态差异的轨迹特征输入到transformer编码器进行单层状态特征自注意力信息提取，包括：
28.第1个至第n个编码器基于多头注意力机制，依次对上一层编码器的输出特征进行自注意力信息提取，得到每个编码器的输出特征，其中，第1个编码器的输入特征为所述具有状态差异的轨迹特征；
29.将所述第n个编码器的输出特征作为具有不同状态信息的编码器特征。
30.可选地，transformer解码器包括n个解码器，解码器是采用裁剪解码器，所述裁剪解码器是指不使用自注意力层，只使用交叉注意力层融合来自不同层的状态特征；所述将
所述具有不同状态信息的编码器特征和所述具有状态差异的轨迹特征，输入到transformer解码器进行交叉注意力提取与融合，包括：
31.第1个至第n个解码器基于多头注意力机制，依次对上一层解码器的输出特征和所述具有不同状态信息的编码器特征进行交叉注意力融合，得到每个解码器的输出特征，其中，第1个解码器的输入特征为所述具有不同状态信息的编码器特征和所述具有状态差异的轨迹特征；
32.将所述第n个解码器的输出特征作为融合不同相关性信息的解码器特征。
33.可选地，所述编码器和所述解码器各自均包括：多头注意力层和前馈网络，所述前馈网络使用含噪激活函数对所述多头注意力层的输出结果进行特征提取，所述含噪激活函数是在原有tanh非线性激活函数基础上添加随机噪声得到的，所述含噪激活函数表示为：
34.f
ρ
(x)＝f(x)+ρ
·
σ(x)＝f(x)+ρ
·
(sigmoid(f(x)-x)-1)235.其中，f(
·
)表示tanh非线性激活函数，σ(
·
)表示受输入控制的噪声尺度函数，ρ表示叠加在激活函数上的高斯噪声，x是前馈网络的输入，sigmoid(
·
)表示激活函数。
36.本技术实施例的第二方面，公开了一种基于transformer结构的强机动目标跟踪装置，所述装置包括：
37.状态编码模块，用于对量测轨迹进行编码和位置嵌入，得到具有状态差异的轨迹特征，所述测量轨迹是由预设时间内的多个量测数据组成的序列，所述量测轨迹是基于量测轨迹与真实轨迹之间的映射关系，对量测数据进行处理得到的；
38.自注意力模块，用于将所述具有状态差异的轨迹特征输入到transformer编码器进行单层状态特征自注意力信息提取，得到具有不同状态信息的编码器特征；
39.交叉注意力模块，用于将所述具有不同状态信息的编码器特征和所述具有状态差异的轨迹特征，输入到transformer解码器进行交叉注意力提取与融合，得到融合不同相关性信息的解码器特征；
40.轨迹预测模块，用于基于所述融合不同相关性信息的解码器特征进行预测处理，得到残差轨迹，并将所述残差轨迹和所述量测轨迹进行相加，得到目标轨迹。
41.本技术实施例的第三方面，公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本技术第一方面所述的基于transformer结构的强机动目标跟踪方法。
42.本技术实施例包括以下优点：
43.在本技术实施例中，提出一种基于transformer结构的强机动目标跟踪方法，以解决强机动目标跟踪任务中目标状态估计误差大的问题，提高强机动目标跟踪任务的性能。通过对量测轨迹进行编码和位置嵌入，得到具有状态差异的轨迹特征，再利用transformer编码器对具有状态差异的轨迹特征进行单层状态特征自注意力信息提取，进而得到具有不同状态信息的编码器特征，接着将具有不同状态信息的编码器特征和具有状态差异的轨迹特征，输入到transformer解码器进行交叉注意力提取与融合，得到融合不同相关性信息的解码器特征，最后基于解码器特征进行预测处理，得到残差轨迹，并将残差轨迹和量测轨迹进行融合，得到目标轨迹，以实现强机动目标跟踪。
44.由于transformer结构可以为量测轨迹的所有序列数据保留状态特征，且transformer结构的多头注意机制可以从不同特征空间中提取状态特征之间的相关性信
息，因而该方法更能够学习强机动目标跟踪中快速变化状态的转移规律，提高了强机动目标状态估计的准确性，保证了强机动目标跟踪任务的性能。并且，通过将具有状态差异的轨迹特征同时输入到transformer编码器和transformer解码器进行处理，即transformer编码器和transformer解码器有相同的输入轨迹特征数据，实现利用端到端的映射方式来估计强机动目标真实状态，替代传统transformer结构中的自回归预测方式，进而降低了强机动目标的状态估计难度。此外，直接对量测轨迹进行处理，无需花时间来预先定义运动模型，提高了目标状态估计的实时性，进而提高了强机动目标的跟踪精度。
附图说明
45.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
46.图1是本技术实施例提供的一种基于transformer结构的强机动目标跟踪方法的步骤流程图；
47.图2是本技术实施例提供的一种强机动目标跟踪模型的结构示意图；
48.图3是消融实验与本技术实施例提供的强机动目标跟踪模型的位置损失收敛图；
49.图4是消融实验与本技术实施例提供的强机动目标跟踪模型的速度损失收敛图；
50.图5是消融实验与本技术实施例提供的强机动目标跟踪模型的位置与速度总损失收敛图；
51.图6是传统模型与本技术实施例提供的强机动目标跟踪模型的目标跟踪对比结果1；
52.图7是传统模型与本技术实施例提供的强机动目标跟踪模型的目标跟踪对比结果2；
53.图8是传统模型与本技术实施例提供的强机动目标跟踪模型的目标跟踪对比结果3；
54.图9是传统模型与本技术实施例提供的强机动目标跟踪模型的目标跟踪对比结果4；
55.图10是传统模型与本技术实施例提供的强机动目标跟踪模型的目标跟踪对比结果5；
56.图11是本技术实施例提供的一种基于transformer结构的强机动目标跟踪装置的结构示意图。
具体实施方式
57.为使本技术的上述目的、特征和优点能够更加明显易懂，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
58.参照图1所示，图1示出了本技术实施例提供的一种基于transformer结构的强机
动目标跟踪方法的步骤流程图。如图1所示，本技术实施例提供的一种基于transformer结构的强机动目标跟踪方法具体可以包括步骤s110和步骤s140：
59.步骤s110：对量测轨迹进行编码和位置嵌入，得到具有状态差异的轨迹特征，所述测量轨迹是由预设时间内的多个量测数据组成的序列，所述量测轨迹是基于量测轨迹与真实轨迹之间的映射关系，对量测数据进行处理得到的。
60.本技术实施例中，量测数据是利用传感器(例如，雷达)获取的数据，量测数据包括量测距离和量测角度。而目标物体在二维空间中真实的轨迹是用目标在二维空间中的坐标，以及在坐标位置点的速度来表征，因此为了更有效学习目标轨迹的状态特征，实现对目标轨迹正确估计。用于目标轨迹预测的量测轨迹是基于量测轨迹与真实轨迹之间的映射关系，将每个量测数据映射为真实轨迹的形式得到的。
61.此外，量测轨迹是由预设时间内的多个量测数据组成的序列，为了避免长时间的轨迹预测误差的积累造成跟踪失败，将该预设时间设置为与训练过程使用轨迹相同的时长。具体的，量测轨迹的获取方式包括：按照目标时间间隔获取到长时序的量测数据，并在该长时序的量测数据截取预设时间长度的量测数据作为量测轨迹。例如，目标时间间隔为0.1秒，预设时间为10秒，即量测轨迹是100个时刻的量测轨迹组成的序列。示例地，量测轨迹可以表示为z＝[z1,z2,
…
,zk]
t
，z1,z2,zk分别为量测轨迹中的第1个量测数据、第2个量测数据和第k个量测数据。
[0062]
本技术实施例中，为了能够获取量测轨迹中状态的变化规律，提高强机动目标状态估计的准确性，对量测轨迹进行编码和位置嵌入处理，得到具有状态差异的轨迹特征，该具有状态差异的轨迹特征在时间维度上的差异包含状态特征之间变化的细节，能够支撑后续步骤中transformer编码器和transformer解码器的特征提取。
[0063]
在一种可选的实施例中，所述对量测轨迹进行编码和位置嵌入，得到具有状态差异的轨迹特征，包括：依次利用全连接层和实例归一化层对所述量测轨迹进行处理，得到初始轨迹特征；对所述初始轨迹特征进行固定位置编码，得到编码特征；将所述初始轨迹特征和所述编码特征进行相加，得到所述具有状态差异的轨迹特征，所述状态差异是指构成轨迹的序列数据在时间维度上的差异。
[0064]
具体地，对量测轨迹进行编码和位置嵌入可以表示为：
[0065][0066]
其中，w和b分别是全连接层中的权重矩阵和偏置向量，是具有状态差异的编码器分支/解码器分支轨迹特征，in(
·
)是实例归一化层，该实例归一化层表示为：
[0067][0068]
其中，x表示单个批次的输入张量，μ
nl
和是实例归一化层中输入数据的均值和方差，表示为：
[0069]
[0070]
其中，n表示单个批次中的轨迹索引，t表示单条轨迹的时间步长，l表示特征通道，ε为无限小的数。实例归一化层可以在保证模型中每层输入分布一致的情况下，保留了轨迹序列数据在时间维度上的差异性，在提高模型训练速度的基础上，更有效地学习不同时刻状态之间的转移规律。
[0071]
相比较通常使用的批归一化方式，实例归一化更适合目标跟踪任务的数据处理，因为不同轨迹数据距离位置分布相差较大，因此需要使用不同的均值和方差对每条轨迹数据进行归一化处理。此外，相比较层归一化操作来说，实例归一化是在特征维度上进行归一化，能够保留时间维度上的差异性。对于分布随时间变化的轨迹序列数据，保留状态在不同时间上的状态差异有利于状态特征转移规律的学习。
[0072]
在全连接层和实例归一化层基础上，还进一步叠加位置编码，位置编码可以是可学习编码，也可以是由sin函数和cos函数产生的固定位置编码。本技术实施例中为了减少模型训练参数，采用固定位置编码的方式实现位置编码，具体表示为：
[0073][0074]
其中，pe(
·
)是由sin函数和cos函数产生的固定位置编码，ze′
/d
是在编码器分支/解码器分支中全连接层和实例归一化层的输出结果。
[0075]
在具体实施时，利用两个结构相同的输入模块来分别对量测轨迹进行编码和位置嵌入，并将这两个输入模块输出的具有状态差异的轨迹特征分别输入到transformer编码器分支和transformer解码器分支，且该两个输入模块参数不共享，从不同子空间出发保留输入量测轨迹中全部时刻的浅层特征信息。
[0076]
步骤s120：将所述具有状态差异的轨迹特征输入到transformer编码器进行单层状态特征自注意力信息提取，得到具有不同状态信息的编码器特征。
[0077]
本技术实施例中，transformer编码器是在传统transformer编码器的基础上进行改进得到的。transformer编码器基于多头注意力机制对输入的具有状态差异的轨迹特征进行自注意力信息提取。
[0078]
具体地，所述transformer编码器包括n个编码器；所述将所述具有状态差异的轨迹特征输入到transformer编码器进行单层状态特征自注意力信息提取，包括：第1个至第n个编码器基于多头注意力机制，依次对上一层编码器的输出特征进行自注意力信息提取，得到每个编码器的输出特征，其中，第1个编码器的输入特征为所述具有状态差异的轨迹特征；将所述第n个编码器的输出特征作为具有不同状态信息的编码器特征。
[0079]
也就是说，将步骤s110中的具有状态差异的轨迹特征输入到第1个编码器进行自注意力信息提取，得到第1个编码器的输出结果；再将第1个编码器的输出结果输入到第2个编码器进行自注意力信息提取，得到第2个编码器的输出结果，同理，后续每个编码器按照上述逻辑依次进行自注意力信息提取，最终得到第n个编码器的输出结果。
[0080]
在一种可选的实施例中，每个编码器包括：多头注意力层和前馈网络，所述前馈网络使用含噪激活函数对所述多头注意力层的输出结果进行特征提取。其中，多头注意力层由多个单头注意力层构成，在单头注意力层中，根据编码器预先学习的参数矩阵，将输入特征分别映射为第一查询矩阵、第一键矩阵和第一值矩阵；再对第一查询矩阵和第一键矩阵进行点积运算，得到第一相似矩阵；并基于第一相似矩阵和所述第一值矩阵得到单头注意
力层的提取特征。
[0081]
示例地，单头自注意力层对输入特征的映射可表示为：
[0082][0083]
其中，wq、wk、wv分别表示第一查询矩阵q∈rk×c、第一键矩阵k∈rk×c和第一值矩阵v∈rk×c的训练参数矩阵；表示transformer编码器输入的具有状态差异的轨迹特征；通过对查询矩阵和键矩阵进行点积运算，得到第一相似矩阵，第一相似矩阵表示为：
[0084][0085]
其中，softmax为归一化指数函数，尺度参数则是为了抵消较大输入，避免softmax函数数值陷入极小梯度区域。此外，在第一相似矩阵中额外插入一个掩码mask，使得当前状态的估计不能看到后续时刻的输入数据。进而通过a
kq
·
v的运算，注意力层的输出不仅包含了当前时刻状态的信息，还包含了与当前时刻相关的其他时刻状态信息，其中其他时刻的状态信息是通过第一相似性矩阵作为权重叠加到当前时刻上的。
[0086]
具体地，在编码器中，前馈网络使用含噪激活函数对所述多头注意力层的输出结果进行特征提取，包括：利用单头注意力层对输入特征进行自注意力信息提取，得到每个单头注意力层的提取特征；接着将所有单头注意力层的提取特征进行拼接，得到多头注意力层的输出特征；最后将多头注意力层的输出特征和上一层编码器的输出特征融合处理后，再进行归一化操作，将该归一化操作的结果输入到含有含噪激活函数的前馈网络进行处理，得到编码器的输出特征。
[0087]
示例地，在第j个编码器中，单头自注意力层提取和多头自注意力层信息提取过程分别表示如下：
[0088][0089][0090]
其中，是第j个编码器中第i个单头自注意力层的输出，是第j个编码器的多头注意力层输出，h为单头注意力层的个数且dk＝d
model
/h，是第j个编码器中第i个单头注意力层的相似度矩阵，其中映射矩阵和是第j个编码器中第i个单头自注意力层的可学习参数，concat(
·
)表示在特征维度上拼接状态特征。
[0091]
进而，第j个编码器分支的多头注意力层和前馈网络层分别表示如下:
[0092][0093][0094]
其中，是第j个编码器的输入特征，即第j-1个编码器的输出特征，当j＝1时是步骤s110中的具有状态差异的轨迹特征；是第j个编码器的输出特征，multi-head self-atten(
·
)表示多头自注意力信息提取，ln表示层归一化操作，
ffnn表示含噪前馈网络。
[0095]
含噪前馈网络ffnn包含两个子层，第一个子层是有含噪激活函数的非线性映射，第二个子层是线性映射，含噪前馈网络模块的特征提取过程可表示如下:
[0096]
ffnn(x)＝f
ρ
(xw1+b1)w2+b2[0097]
其中，f
ρ
是含噪激活函数，x是前馈网络的输入，和是前馈网络的可学习权重矩阵和偏差向量，其中前馈网络第一层的特征维度d
ff
大于多头注意力层输出的特征维度d
model
，是为了进一步将多头注意力信息映射到更大的特征空间，获取到更加复杂的特征表达。
[0098]
含噪激活函数是在原有tanh非线性激活函数基础上添加随机噪声得到的，所述含噪激活函数表示为：
[0099]fρ
(x)＝f(x)+ρ
·
σ(x)＝f(x)+ρ
·
(sigmoid(f(x)-x)-1)2[0100]
其中，f(
·
)表示tanh非线性激活函数，σ(
·
)表示受输入控制的噪声尺度函数，ρ表示叠加在激活函数上的高斯噪声，sigmoid(
·
)表示激活函数。相比较经典的relu激活函数，含噪的tanh激活函数存在均值中心化和负值，因此更加适合目标跟踪任务。并且，本技术实施的强机动目标跟踪模型是基于全连接层构建的，参数量较大，为了避免强机动目标跟踪模型训练过程中陷入激活函数的饱和区域，因此选择含噪的tanh激活函数给模型训练提供了更多的随机性。
[0101]
步骤s130：将所述具有不同状态信息的编码器特征和所述具有状态差异的轨迹特征，输入到transformer解码器进行交叉注意力提取与融合，得到融合不同相关性信息的解码器特征。
[0102]
本技术实施例中，transformer解码器是在传统transformer解码器的基础上进行改进得到的。transformer解码器利用交叉注意力层对不同层特征进行交叉注意与融合。transformer解码器接受两部分的输入，一部分是步骤s120中transformer编码器输出的具有不同状态信息的编码器特征，另一部分是步骤s110中量测轨迹经过编码和位置嵌入，得到具有状态差异的轨迹特征。
[0103]
具体地，transformer解码器包括n个解码器；所述将所述具有不同状态信息的编码器特征和所述具有状态差异的轨迹特征，输入到transformer解码器进行交叉注意力提取与融合，包括：第1个至第n个解码器基于多头注意力机制，依次对上一层解码器的输出特征和所述具有不同状态信息的编码器特征进行交叉注意力融合，得到每个解码器的输出特征，其中，第1个解码器的输入特征为所述具有不同状态信息的编码器特征和所述具有状态差异的轨迹特征；将所述第n个解码器的输出特征作为融合不同相关性信息的解码器特征。
[0104]
也就是说，将步骤s110中的具有状态差异的轨迹特征和步骤s120中具有不同状态信息的编码器特征，输入到第1个解码器进行交叉注意力融合，得到第1个解码器的输出结果；再将第1个解码器的输出结果和步骤s120中具有不同状态信息的编码器特征，输入到第2个解码器进行交叉注意力融合，得到第2个解码器的输入结果，同理，后续每个解码器按照上述逻辑依次进行交叉注意力融合，最终得到第n个解码器的输出结果。
[0105]
在一种可选的实施例中，解码器可以采用经典transformer解码器来对具有不同状态信息的编码器特征和具有状态差异的轨迹特征进行处理，以得到融合不同相关性信息
的解码器特征，其中经典transformer解码器中包括：一个自注意力层、一个交叉注意力层和一个全连接层。
[0106]
在一种优选的实施例中，为了减少模型训练参数和提高强机动目标的跟踪性能。解码器采用裁剪解码器，所述裁剪解码器是指不使用自注意力层，只使用交叉注意力层融合来自不同层的状态特征。也就是说，裁剪解码器在经典transformer解码器的基础上，裁剪了原始解码器的自注意力层，仅使用解码器中的交叉注意力层融合来自不同层的状态特征。
[0107]
在一种可选的实施例中，每个解码器包括：多头注意力层和前馈网络，所述前馈网络使用含噪激活函数对所述多头注意力层的输出结果进行特征提取。其中，多头注意力层由多个单头注意力层构成，在单头注意力层中，根据解码器预先学习的参数矩阵，将具有不同状态信息的编码器特征分别映射为第二键矩阵和第二值矩阵，将具有状态差异的轨迹特征映射为第二查询矩阵；再对第二查询矩阵和第二键矩阵进行点积运算，得到单头第二相似度矩阵；并基于第二相似矩阵和所述第二值矩阵得到单头注意力层的提取特征。
[0108]
具体地，在解码器中，前馈网络使用含噪激活函数对所述多头注意力层的输出结果进行特征提取，包括：利用单头注意力层对具有不同状态信息的编码器特征和前一个解码器输出特征，进行交叉注意力提取与融合，得到每个单头注意力层的提取特征；再将每个单头注意力层的提取特征进行拼接，得到多头注意力特征；最后将多头注意力特征和前一个解码器输出特征相加融合后，进行归一化操作，将归一化操作的结果输入到含有含噪激活函数的前馈网络进行处理得到解码器的输出特征。
[0109]
示例地，在第j个解码器中，第i个单头注意力层信息提取与多头自注意力层信息获取过程分别表示如下：
[0110][0111][0112]
其中，是第j解码器中第i个单头自注意力层的可学习参数，是第j个解码器中第i个单头交叉注意力层的相似度矩阵。通过计算点积第i个单头交叉注意力层中的轨迹特征被加强，生成基于与交叉相关的特征lj是第j个解码器的多头交叉注意力信息，并通过相加的方式与进行特征融合。
[0113]
进而，第j个解码器分支的多头注意力层和前馈网络层分别表示如下：
[0114][0115][0116]
其中，表示第n个编码器的输出特征，即具有不同状态信息的编码器特征；j＝1,2,...,n表示第j个解码器的另一个输入，即第j-1个解码器的输出特征；当j＝1时，是transformer解码器分支的输入模块输出的具有状态差异的轨迹特征
multi-head cross-atten(
·
)表示多头交叉注意力信息提取；ln表示层归一化操作；ffnn表示含噪前馈网络，该含噪前馈网络与编码器中的含噪前馈网络相同，且含噪前馈网络中的含噪激活函数与编码器中的含噪激活函数相同，在此不再赘述。
[0117]
本技术实施例中，transformer解码器通过对输入量测轨迹进行不同层特征交叉注意与融合，使模型能够学习更多状态间的转移规律，以提供更多的状态信息来估计真实状态，提高了强机动目标跟踪性能。
[0118]
通过上述步骤s120和步骤s130，利用transformer编码器和transformer解码器来对具有状态差异的轨迹特征进行提取，由于是将具有状态差异的轨迹特征同时输入到transformer编码器和transformer解码器进行处理，实现利用端到端的映射方式来估计强机动目标真实状态，替代传统transformer结构中的自回归预测方式。因为对于目标跟踪任务来说，自回归方式在下一个时间步的估计中会额外引入估计噪声，进而进一步增大状态估计的难度。而本技术实施例中transformer编码器和transformer解码器对来自相同的输入量测轨迹的轨迹特征(具有状态差异的轨迹特征)进行处理，其中transformer编码器用于提取输入的各层特征的自注意信息，而transformer解码器用于不同层特征间的交叉注意力信息提取和融合，以此获得更多状态特征之间的相关信息，更能够学习强机动目标跟踪中快速变化状态的转移规律，提高了强机动目标状态估计的准确性，保证了强机动目标跟踪任务的性能。
[0119]
步骤s140：基于所述融合不同相关性信息的解码器特征进行预测处理，得到残差轨迹，并将所述残差轨迹和所述量测轨迹进行相加，得到估计的目标轨迹。
[0120]
本技术实施例中，并不是直接预测目标的真实轨迹，而是预测真实轨迹与量测轨迹的残差轨迹。为了适应强机动目标跟踪任务，利用一个线性映射层来对步骤s130中transformer解码器输出的融合不同相关性信息的解码器特征进行残差轨迹预测。进而，将预测的残差轨迹与量测轨迹相加，得到用于目标跟踪的估计目标轨迹。
[0121]
具体地，在实际目标跟踪过程中，使用固定长度为m个采样点(如m＝100)的滑动窗在长时轨迹上按固定预设采样点k
p
进行重叠滑动，并将前后轨迹重叠区域通过求和平均的方式来获取最后的预测结果，其中固定预设采样点k
p
可根据长时轨迹长度来灵活选取，如设置k
p
＝50。
[0122]
例如，对于长度为100秒(采样间隔为0.1秒，共1000个采样点)的长时轨迹序列，固定预设采样点设置为50个(5秒)，使用时间长度为10秒内的序列数据作为量测轨迹。在进行强机动目标跟踪时，第一个滑动窗口下按照上述步骤s110至步骤s150的方法计算出0至10秒的估计目标轨迹，在第二个滑动窗口下按照相同的方法，计算出5至15秒的估计目标轨迹，接着通过求和平均的方式，计算出重叠区域5到10秒的估计目标轨迹，依次求取重叠区域的估计目标轨迹，最为获得目标跟踪的估计目标轨迹。依次地，按照上述逻辑依次计算后每个时刻的目标轨迹，实现目标跟踪。
[0123]
在一种可选的实施例中，所述基于transformer结构的强机动目标跟踪方法是通过预先训练的强机动目标跟踪模型实现的，图2示出了强机动目标跟踪模型的结构示意图。该强机动目标跟踪模型包括transformer编码器和transformer解码器两个分支，transformer编码器分支中包括n个编码器，在transformer解码器分支中包括n个解编码器，并且在每个编码器和解码器中均包含有多头注意力层和前馈网络，前馈网络使用含噪
激活函数对多头注意力层的输出结果进行特征提取。此外，在transformer编码器和transformer解码器之前分别具有一个输入模块，每个输入模块包括一个线性映射层(全连接层)、实例归一化层和位置编码层。在transformer解码器之后还叠加了一个线性映射层用于实现残差轨迹预测。
[0124]
具体地，所述强机动目标跟踪模型按照步骤s310至步骤s340的方法进行训练：
[0125]
步骤s310：构建强机动目标跟踪的训练数据集，所述训练数据集中每条训练数据包括：目标真实轨迹和目标量测轨迹。
[0126]
步骤s320：将所述目标量测轨迹输入到所述强机动目标跟踪模型进行训练，得到预测残差轨迹。
[0127]
步骤s330：根据所述目标真实轨迹和所述目标量测轨迹得到真实残差轨迹，并基于所述真实残差轨迹和所述预测残差轨迹计算出均方根误差作为损失函数。
[0128]
步骤s340：基于所述损失函数对强机动目标跟踪模型中的训练参数进行更新，满足训练结束后条件后，得到训练好的强机动目标跟踪模型，所述训练好的强机动目标跟踪模型具有预测量测轨迹与目标轨迹的残差轨迹能力。
[0129]
在步骤s310中，采用last dataset构建方式训练数据集，以模拟不同机动目标在x-y坐标下(二维空间)的真实轨迹和传感器的量测数据。因为机动目标的运动遵循一定的运动学理论，即在特定时间段内机动目标的运动符合不同转速的恒定运动模型(cv)或者恒定转弯(ct)模型，因此机动目标的轨迹能够通过这两个具有足够通用性的运动模型来进行模拟。针对二维平面的机动目标，模拟不同机动目标轨迹的片段，同时为了保证训练数据集中的模拟轨迹能够匹配真实的机动目标跟踪场景，与生成轨迹相关的所有参数都是根据真实场景来设置的。
[0130]
具体地，构建强机动目标跟踪的训练数据集，包括：通过状态转移方程和观测方程分别构建目标真实轨迹和目标量测数据，所述目标真实轨迹中的每个真实轨迹数据包括：目标在二维空间中的位置坐标、目标在水平方向上的速度、目标在垂直方向上的速度，所述目标量测数据中的每个量测数据包括：传感器的量测距离和量测角度；根据量测轨迹与真实轨迹之间的映射关系，将所述目标量测数据中的每个目标量测数据转换为真实轨迹数据的形式，得到目标量测轨迹。
[0131]
示例地，目标真实轨迹表示为y
1:k
＝[x,y,v
x
,vy]
1:k
，目标量测数据表示为x
1:k
＝[r,θ]
1:k
，其中，[x,y]为目标的二维空间位置坐标，[v
x
,vy]为目标在水平方向上x和垂直方向上y的速度，r和θ分别是传感器的量测距离和量测角度。
[0132]
以民航飞机跟踪场景为例，其训练数据集构建过程包括：构建采样点数为100，采样间隔为0.1s的20万短时目标轨迹训练数据对，具体的参数设置按照表1的参数进行设置。表1中的参数包含了民航飞机的所有运动情况，在构建得到训练数据集后，其中80％用于强机动目标跟踪模型训练，其他20％用于强机动目标跟踪模型的性能测试。
[0133]
此外，在得到量测数据后，为了更有效地学习到目标轨迹状态的特征，需要将量测数据转化为量测轨迹，即根据量测轨迹与真实轨迹之间的映射关系，对量测数据进行预处理获得含噪量测轨迹，将含噪量测轨迹作为强机动目标跟踪模型的输入。
[0134]
表1民航飞机的所有运动参数
[0135][0136]
具体地，根据量测轨迹与真实轨迹之间的映射关系，将所述目标量测数据中的每个目标量测数据转换为真实轨迹数据的形式，包括：根据所述量测距离和所述量测角度，分别进行cos计算和sin计算，得到目标在二维空间中的量测位置坐标；基于高斯白噪声模拟目标在水平方向上的量测速度和垂直方向上的量测速度；将所述二维空间中的量测位置坐标、所述水平方向上的量测速度、所述垂直方向上的量测速度作为所述目标量测轨迹中的目标量测数据。
[0137]
示例地，量测轨迹表示为：
[0138][0139]
其中，和是根据量测距离和量测角度，计算得到的目标在二维空间中的量测位置坐标，具体表示为：
[0140][0141]
此外，采用均值为0，方差为1的高斯噪声n～n(0,1)来模拟量测速度和进而为强机动目标跟踪模型的训练提供更多的随机性和可能性，以实现更好的模型收敛效果。因此，本技术实施例的强机动目标跟踪模型以量测轨迹作为模型输入来估计真实目标轨迹y
1:k
。
[0142]
本技术实施例中，考虑到目标真实轨迹的位置范围过广，不同轨迹之间的数值量差较大，强机动目标跟踪模型难以收敛，而对残差轨迹的学习能够大大缩减不同轨迹之间的数值差距，因此归一化后的量测轨迹到残差轨迹的映射关系更有利于模型收敛与学习。进而，利用强机动目标跟踪模型预测量测轨迹与真实轨迹的残差轨迹，在步骤s320中，将目标量测轨迹输入到强机动目标跟踪模型后，输出预测残差轨迹。
[0143]
为了使强机动目标跟踪模型能够学习到量测轨迹到残差轨迹的映射关系，在步骤s330中将模型输出预测残差轨迹与真实的残差轨迹进行比较，并计算出损失函数。具体的，通过计算均方根误差作为强机动目标跟踪模型的损失函数，表示为：
[0144][0145]
其中，k表示轨迹的持续时长，o是强机动目标跟踪模型的预测残差轨迹，r是根据量测轨迹和真实轨迹计算的真实残差轨迹。
[0146]
进而，通过强机动目标跟踪模型训练过程中的反向传播过程，损失函数被最小化使得强机动目标跟踪模型收敛，得到训练好的强机动目标跟踪模型，该训练好的强机动目标跟踪模型具有预测真实目标轨迹与量测轨迹的残差轨迹的能力。因此，在实际目标跟踪过程中，能够直接预测出真实目标轨迹与量测轨迹之间的残差轨迹，进而基于残差轨迹计算出估计目标轨迹，实现目标跟踪。
[0147]
在本技术实施例中，提出一种基于transformer结构的强机动目标跟踪方法，以解决强机动目标跟踪任务中目标状态估计误差大的问题，提高强机动目标跟踪任务的性能。由于transformer结构可以为量测轨迹的所有序列数据保留状态特征，且transformer结构的多头注意机制可以从不同特征空间中提取状态特征之间的相关性信息，因而该方法更能够学习强机动目标跟踪中快速变化状态的转移规律，提高了强机动目标状态估计的准确性，保证了强机动目标跟踪任务的性能。并且，通过将具有状态差异的轨迹特征同时输入到transformer编码器和transformer解码器进行处理，即transformer编码器和transformer解码器针对相同的输入量测轨迹进行处理，实现利用端到端的映射方式来估计强机动目标真实状态，替代传统transformer结构中的自回归预测方式，进而降低了强机动目标的状态估计难度。此外，直接对量测轨迹进行处理，无需花时间来预先定义运动模型，提高了目标状态估计的实时性，进而提高了强机动目标的跟踪精度。
[0148]
进一步地，为了验证本技术实施例中强机动目标跟踪模型(即trmtt模型)的有效性，设计了四个消融实验来评估使用不同归一化层、裁剪的解码器和噪声激活函数在本技术实施例所设计强机动目标跟踪模型中所起的作用。使用一个相同测试轨迹，来比较四个消融实验与trmtt模型的结果，测试轨迹的参数如表2所示。
[0149]
为了更好地比较损失曲线，以上五个实验(四个消融实验和trmtt模型)使用相同的训练数据集和参数设置，分别训练了100个epochs。图3至图5分别比较了四个消融实验和本技术实施例提供的trmtt模型的位置损失收敛图、速度损失收敛图、位置与速度总损失收敛图。表3列出了4个消融实验和trmtt模型在跟踪测试轨迹时位置和速度均方根误差的均值和标准差。
[0150]
表2测试轨迹的参数设置
[0151][0152]
表3消融实验和trmtt模型目标跟踪对比结果
[0153][0154]
结果分析如下：
[0155]
(1)使用不同归一化层对目标跟踪结果的具体影响：消融实验1和消融实验2分别是使用不加归一化层的输入模块和使用加层归一化层的输入模块。而在trmtt模型中的输入模块使用的是实例归一化层，其在特征维度上规范化状态特征，并且可以在浅层特征提取阶段保留状态特征在时间维度上的差异性，同时在编码器-解码器结构中使用层归一化来确保transformer结构的有效性。进而，通过使用消融实验1和消融实验2来证明在输入模块和编码器-解码器结构中使用不同归一化层的有效性。首先，从图3-5中的损失曲线可以发现，若输入模块没有实例归一化层，模型将无法很好地收敛，而且根据表3也可以发现，消融实验1和消融实验2训练的模型在跟踪测试轨迹时，跟踪位置均方根误差值与速度均方根误差值较大，无法提供准确的跟踪结果。因此，本技术实施例在输入模块中使用实例规范化层不仅可以加速训练，而且能够大大提高跟踪性能。
[0156]
(2)使用裁剪的解码器对目标跟踪结果的具体影响：对于本技术实施例中的trmtt
模型来说，裁剪了原始解码器的自注意力层，仅使用解码器中的交叉注意力层融合来自不同层的状态特征。在消融实验3中使用经典transformer结构中完整的解码器，包含一个自注意力层、一个交叉注意力层和一个全连接层，以证明使用裁剪的解码器的有效性。观察图3中的损失曲线和表3的跟踪结果可知，在解码器中裁剪掉自注意力层不仅减少了训练参数而且可以有效提高跟踪性能。
[0157]
(3)使用含噪激活函数对目标跟踪结果的具体影响：经典transformer结构仅在全连接网络的第一个全连接层中使用relu激活函数来引入非线性，而本技术实施例中的trmtt模型使用含噪激活函数代替relu函数。其中，含噪激活函数在原有tanh非线性激活函数基础上添加部分随机噪声，为模型训练提供更多的随机性以加速训练过程。在消融实验4中使用relu激活函数，从图3可知，使用噪声激活函数的损失函数相比较使用经典relu函数的损失曲线下降较快。从表3中也可以看出，使用噪声激活函数可以提高跟踪性能。
[0158]
进一步地，为了评估本技术实施例中trmtt模型性能，设置了5个机动目标轨迹，轨迹参数如表4所示。轨迹1-3比轨迹4、5具有更强的机动性和更大的转弯率。所有机动目标轨迹的角度噪声标准差和距离噪声标准差分别设置为0.516
°
和10m。每个轨迹持续100秒，采样间隔为0.1秒，且每个轨迹的三段是由不同的转移矩阵生成。
[0159]
表4轨迹设计参数
[0160][0161]
本技术实施例将trmtt模型与传统imm方法、deepmtt模型进行了跟目标踪结果对比，每个方法都运行了100次蒙特卡洛模拟实验。除了比较三种方法的直观跟踪结果外，还比较了100次蒙特卡洛实验中跟踪位置rmse和速度rmse的均值和标准差。本技术在imm方法中应用ct和cv转移矩阵。值得注意的是，deepmtt模型使用的训练对与本技术的trmtt模型不同，deepmtt模型使用的输入数据是传统ukf滤波器估计后的轨迹，用于训练和测试。在本技术实施例所设计的trmtt模型中，使用从雷达量测数据直接获得的含噪量测轨迹，未使用任何传统滤波器进行预处理。因此，为了公平比较，使用原始deepmtt模型中的训练样本和
trmtt模型相同的训练样本，分别对deepmtt模型进行了训练和跟踪实验，分别命名为deepmtt-raw和deepmtt-new。
[0162]
图6-10是五个机动轨迹的跟踪结果，放大的子图展示了具有100个采样点的轨迹段。可以看出，传统imm的跟踪性能明显比deepmtt-new模型和trmtt模型差，但在跟踪轨迹1-3上比deepmtt-raw模型有更好的性能，从图6-8可以看出，deepmtt-raw模型依赖于传统的ukf方法来提供预处理轨迹。对于具有恒定速度或相对较小转弯率的轨迹，如图9-10所示的轨迹4和5，deepmtt-raw模型可以获得可靠的预处理轨迹，从而进行精确跟踪。但是，当转弯速度大于
±9°
/s时，如轨迹1-3中的部分片段，ukf滤波器无法跟踪这些机动性强的轨迹段，使得deepmtt模型输入的预处理轨迹与真实轨迹偏差很大，严重影响了最终跟踪结果。因此，为了避免其他方法对跟踪结果的影响，本技术不采用任何预处理方法，只使用量测数据获取的含噪量测轨迹作为trmtt模型的输入。
[0163]
为了更加直观地比较深度学习模型的性能，本技术还将含噪量测轨迹作为deepmtt模型的输入。相较于使用预处理轨迹，使用含噪量测轨迹作为输入能够使deepmtt-new模型获得稳定且良好的跟踪结果，尤其是在跟踪轨迹1-3的强机动片段时。不过，本技术实施例设计的trmtt模型在跟踪以上五条轨迹时总是优于deepmtt-new模型。无论是具有恒定速度或小转弯速率的轨迹，还是具有大转弯速率的轨道，trmtt模型都可以稳定地跟踪并给出最佳的跟踪结果。此外，本技术实施例将轨迹3的第一段的转弯率设置为了11
°
/s，该转弯率大于训练数据集的范围，不过图8显示trmtt模型仍然可以精确跟踪。
[0164]
在表5和表6中，进一步给出了以上5个机动目标在不同轨迹段上的位置和速度rmse的均值和标准差。如表5所示，对于轨迹4和5，传统的imm方法比其他三种深度学习模型都要差。但是，当处理轨迹1-3时，deepmtt-raw模型的性能急剧下降，甚至在部分轨迹段比imm方法更差，这种情况已在上文中提到，deepmtt-new模型在处理轨迹1-3方面明显优于deepmtt-raw模型，这也证明了本技术所使用的训练数据对的有效性。
[0165]
表5现有模型与trmtt模型的位置性能对比结果1
[0166]
[0167]
表6对现有模型与trmtt模型的速度性能对比结果1
[0168][0169]
对于表6，可以发现deepmtt-raw模型在机动性较弱的路段能够获得良好的速度rmse数值，这是因为ukf滤波器给出的预处理速度为deepmtt-raw模型提供了更准确的速度信息输入，因此速度结果好。但是，对于轨迹1-3中具有较强机动性的部分，deepmtt-raw模型的性能急剧下降。此外，还可以看出，trmtt模型在没有额外方法的帮助下，在轨迹4和5中仍然获得了接近deepmtt-raw模型的速度rmse数值，并且在轨迹1-3的强机动片段中具有明显的优势。而且，与使用相同训练数据对的deepmtt-new模型相比，trmtt模型在速度rmse方面有近50％的提高。
[0170]
进一步地，讨论了以上四种方法的计算复杂性，使用intel(r)xeon(r)platinum 8280cpu(2.70ghz)和1tb ram来测试imm、deepmtt-raw模型、deepmtt-new模型和trmtt模型。在一次跟踪迭代中，imm方法、deepmtt-raw模型和deepmtt-new模型分别消耗了3.03ms、8.05ms和4.19ms。本技术所设计trmtt模型的运算时间为1.24ms，优于其他方法。因此，本技术所提出的trmtt模型在实时目标跟踪应用中具有优势。
[0171]
参照图11所示，示出了本技术实施例的一种基于transformer结构的强机动目标跟踪装置的结构示意图，如图11所示，所述装置包括：
[0172]
状态编码模块1110，用于对量测轨迹进行编码和位置嵌入，得到具有状态差异的轨迹特征，所述测量轨迹是由预设时间内的多个量测数据组成的序列，所述量测轨迹是基于量测轨迹与真实轨迹之间的映射关系，对量测数据进行处理得到的；
[0173]
自注意力模块1120，用于将所述具有状态差异的轨迹特征输入到transformer编码器进行单层状态特征自注意力信息提取，得到具有不同状态信息的编码器特征；
[0174]
交叉注意力模块1130，用于将所述具有不同状态信息的编码器特征和所述具有状态差异的轨迹特征，输入到transformer解码器进行交叉注意力提取与融合，得到融合不同相关性信息的解码器特征；
[0175]
轨迹预测模块1140，用于基于所述融合不同相关性信息的解码器特征进行预测处理，得到残差轨迹，并将所述残差轨迹和所述量测轨迹进行相加，得到目标轨迹。
[0176]
在一种可选的实施例中，所述基于transformer结构的强机动目标跟踪方法是通过预先训练的强机动目标跟踪模型实现的，所述装置还包括训练模块，用于选了所述强机动目标跟踪模型，所述训练模块包括：
[0177]
数据构建模块，用于构建强机动目标跟踪的训练数据集，所述训练数据集中每条训练数据包括：目标真实轨迹和目标量测数据；
[0178]
残差预测模块，用于将所述目标量测轨迹输入到所述强机动目标跟踪模型进行训练，得到预测残差轨迹；
[0179]
损失计算模块，用于根据所述目标真实轨迹和所述目标量测轨迹得到真实残差轨迹，并基于所述真实残差轨迹和所述预测残差轨迹计算出均方根误差作为损失函数；
[0180]
参数更新模块，用于基于所述损失函数对强机动目标跟踪模型中的训练参数进行更新，满足训练结束后条件后，得到训练好的强机动目标跟踪模型，所述训练好的强机动目标跟踪模型具有预测量测轨迹与目标轨迹的残差轨迹能力。
[0181]
在一种可选的实施例中，所述数据构建模块包括：
[0182]
轨迹模拟模块，用于通过状态转移方程和观测方程分别构建目标真实轨迹和目标量测数据，所述目标真实轨迹中的每个真实轨迹数据包括：目标在二维空间中的位置坐标、目标在水平方向上的速度、目标在垂直方向上的速度，所述目标量测数据中的每个量测数据包括：传感器的量测距离和量测角度；
[0183]
轨迹映射模块，用于根据量测轨迹与真实轨迹之间的映射关系，将所述目标量测数据中的每个目标量测数据转换为真实轨迹数据的形式，得到目标量测轨迹。
[0184]
在一种可选的实施例中，所述轨迹映射模块包括：
[0185]
第一轨迹映射子模块，用于根据所述量测距离和所述量测角度，分别进行cos计算和sin计算，得到目标在二维空间中的量测位置坐标；
[0186]
第二轨迹映射子模块，用于基于高斯白噪声模拟目标在水平方向上的量测速度和垂直方向上的量测速度；
[0187]
第三轨迹映射子模块，用于将所述二维空间中的量测位置坐标、所述水平方向上的量测速度、所述垂直方向上的量测速度作为所述目标量测轨迹中的目标状态信息。
[0188]
在一种可选的实施例中，所述状态编码模块包括：
[0189]
第一状态编码子模块，用于依次利用全连接层和实例归一化层对所述量测轨迹进行处理，得到初始轨迹特征；
[0190]
第二状态编码子模块，用于对所述初始轨迹特征进行固定位置编码，得到编码特征；
[0191]
第三状态编码子模块，用于将所述初始轨迹特征和所述编码特征进行相加，得到所述具有状态差异的轨迹特征，所述状态差异是指构成轨迹的序列数据在时间维度上的差异。
[0192]
在一种可选的实施例中，所述transformer编码器包括n个编码器；所述将所述具有状态差异的轨迹特征输入到transformer编码器进行单层状态特征自注意力信息提取，包括：
[0193]
第1个至第n个编码器基于多头注意力机制，依次对上一层编码器的输出特征进行自注意力信息提取，得到每个编码器的输出特征，其中，第1个编码器的输入特征为所述具
有状态差异的轨迹特征；将所述第n个编码器的输出特征作为具有不同状态信息的编码器特征。
[0194]
在一种可选的实施例中，transformer解码器包括n个解码器，解码器是采用裁剪解码器，所述裁剪解码器是指不使用自注意力层，只使用交叉注意力层融合来自不同层的状态特征；所述将所述具有不同状态信息的编码器特征和所述具有状态差异的轨迹特征，输入到transformer解码器进行交叉注意力提取与融合，包括：
[0195]
第1个至第n个解码器基于多头注意力机制，依次对上一层解码器的输出特征和所述具有不同状态信息的编码器特征进行交叉注意力融合，得到每个解码器的输出特征，其中，第1个解码器的输入特征为所述具有不同状态信息的编码器特征和所述具有状态差异的轨迹特征；将所述第n个解码器的输出特征作为融合不同相关性信息的解码器特征。
[0196]
在一种可选的实施例中，所述编码器和所述解码器各自均包括：多头注意力层和前馈网络，所述前馈网络使用含噪激活函数对所述多头注意力层的输出结果进行特征提取，所述含噪激活函数是在原有tanh非线性激活函数基础上添加随机噪声得到的。
[0197]
本技术实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行实现本技术实施例所述的基于transformer结构的强机动目标跟踪方法。
[0198]
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0199]
本技术实施例是参照根据本技术实施例的方法和装置的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理器或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0200]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0201]
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0202]
尽管已描述了本技术实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术实施例范围的所有变更和修改。
[0203]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包
括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0204]
以上对本技术所提供的一种基于transformer结构的强机动目标跟踪方法和装置进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。

技术特征：
1.一种基于transformer结构的强机动目标跟踪方法，其特征在于，所述方法包括：对量测轨迹进行编码和位置嵌入，得到具有状态差异的轨迹特征，所述量测轨迹是由预设时间内的多个量测数据组成的序列，所述量测轨迹是基于量测轨迹与真实轨迹之间的映射关系，对量测数据进行处理得到的；将所述具有状态差异的轨迹特征输入到transformer编码器进行单层状态特征自注意力信息提取，得到具有不同状态信息的编码器特征；将所述具有不同状态信息的编码器特征和所述具有状态差异的轨迹特征，输入到transformer解码器进行交叉注意力提取与融合，得到融合不同相关性信息的解码器特征；基于所述融合不同相关性信息的解码器特征进行预测处理，得到残差轨迹，并将所述残差轨迹和所述量测轨迹进行相加，得到目标轨迹。2.根据权利要求1所述的方法，其特征在于，所述基于transformer结构的强机动目标跟踪方法是通过预先训练的强机动目标跟踪模型实现的，所述强机动目标跟踪模型按照以下步骤进行训练：构建强机动目标跟踪的训练数据集，所述训练数据集中每条训练数据包括：目标真实轨迹和目标量测轨迹；将所述目标量测轨迹输入到所述强机动目标跟踪模型进行训练，得到预测残差轨迹；根据所述目标真实轨迹和所述目标量测轨迹得到真实残差轨迹，并基于所述真实残差轨迹和所述预测残差轨迹计算出均方根误差作为损失函数；基于所述损失函数对强机动目标跟踪模型中的训练参数进行更新，满足训练结束后条件后，得到训练好的强机动目标跟踪模型，所述训练好的强机动目标跟踪模型具有预测量测轨迹与目标轨迹的残差轨迹能力。3.根据权利要求2所述的方法，其特征在于，所述构建强机动目标跟踪的训练数据集，包括：通过状态转移方程和观测方程分别构建目标真实轨迹和目标量测数据，所述目标真实轨迹中的每个真实轨迹数据包括：目标在二维空间中的位置坐标、目标在水平方向上的速度、目标在垂直方向上的速度，所述目标量测数据中的每个量测数据包括：传感器的量测距离和量测角度；根据量测轨迹与真实轨迹之间的映射关系，将所述目标量测数据中的每个目标量测数据转换为真实轨迹数据的形式，得到目标量测轨迹。4.根据权利要求3所述的方法，其特征在于，所述根据量测轨迹与真实轨迹之间的映射关系，将所述目标量测数据中的每个目标量测数据转换为真实轨迹数据的形式，包括：根据所述量测距离和所述量测角度，分别进行cos计算和sin计算，得到目标在二维空间中的量测位置坐标；基于高斯白噪声模拟目标在水平方向上的量测速度和垂直方向上的量测速度；将所述二维空间中的量测位置坐标、所述水平方向上的量测速度、所述垂直方向上的量测速度作为所述目标量测轨迹中的目标量测数据。5.根据权利要求1所述的方法，其特征在于，所述对量测轨迹进行编码和位置嵌入，得到具有状态差异的轨迹特征，包括：依次利用全连接层和实例归一化层对所述量测轨迹进行处理，得到初始轨迹特征；
对所述初始轨迹特征进行固定位置编码，得到编码特征；将所述初始轨迹特征和所述编码特征进行相加，得到所述具有状态差异的轨迹特征，所述状态差异是指构成轨迹的序列数据在时间维度上的差异。6.根据权利要求1所述的方法，其特征在于，所述transformer编码器包括n个编码器；所述将所述具有状态差异的轨迹特征输入到transformer编码器进行单层状态特征自注意力信息提取，包括：第1个至第n个编码器基于多头注意力机制，依次对上一层编码器的输出特征进行自注意力信息提取，得到每个编码器的输出特征，其中，第1个编码器的输入特征为所述具有状态差异的轨迹特征；将所述第n个编码器的输出特征作为具有不同状态信息的编码器特征。7.根据权利要求1所述的方法，其特征在于，transformer解码器包括n个解码器，解码器是采用裁剪解码器，所述裁剪解码器是指不使用自注意力层，只使用交叉注意力层融合来自不同层的状态特征；将所述具有不同状态信息的编码器特征和所述具有状态差异的轨迹特征，输入到transformer解码器进行交叉注意力提取与融合，包括：第1个至第n个解码器基于多头注意力机制，依次对上一层解码器的输出特征和所述具有不同状态信息的编码器特征进行交叉注意力融合，得到每个解码器的输出特征，其中，第1个解码器的输入特征为所述具有不同状态信息的编码器特征和所述具有状态差异的轨迹特征；将所述第n个解码器的输出特征作为融合不同相关性信息的解码器特征。8.根据权利要求6或7所述的方法，其特征在于，所述编码器和所述解码器各自均包括：多头注意力层和前馈网络，所述前馈网络使用含噪激活函数对所述多头注意力层的输出结果进行特征提取，所述含噪激活函数是在原有tanh非线性激活函数基础上添加随机噪声得到的，所述含噪激活函数表示为：f
ρ
(x)＝f(x)+ρ
·
σ(x)＝f(x)+ρ
·
(sigmoid(f(x)-x)-1)2其中，f(
·
)表示tanh非线性激活函数，σ(
·
)表示受输入控制的噪声尺度函数，ρ表示叠加在激活函数上的高斯噪声，x是前馈网络的输入，sigmoid(
·
)表示激活函数。9.一种基于transformer结构的强机动目标跟踪装置，其特征在于，所述装置包括：状态编码模块，用于对量测轨迹进行编码和位置嵌入，得到具有状态差异的轨迹特征，所述测量轨迹是由预设时间内的多个量测数据组成的序列，所述量测轨迹是基于量测轨迹与真实轨迹之间的映射关系，对量测数据进行处理得到的；自注意力模块，用于将所述具有状态差异的轨迹特征输入到transformer编码器进行单层状态特征自注意力信息提取，得到具有不同状态信息的编码器特征；交叉注意力模块，用于将所述具有不同状态信息的编码器特征和所述具有状态差异的轨迹特征，输入到transformer解码器进行交叉注意力提取与融合，得到融合不同相关性信息的解码器特征；轨迹预测模块，用于基于所述融合不同相关性信息的解码器特征进行预测处理，得到残差轨迹，并将所述残差轨迹和所述量测轨迹进行相加，得到目标轨迹。10.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如权利要求1-8任一项所述的基于
transformer结构的强机动目标跟踪方法。

技术总结
本申请中提供了一种基于transformer结构的强机动目标跟踪方法和装置，所述方法包括：对量测轨迹进行编码和位置嵌入，得到具有状态差异的轨迹特征；将具有状态差异的轨迹特征输入到transformer编码器进行单层状态特征自注意力信息提取，得到具有不同状态信息的编码器特征；将具有不同状态信息的编码器特征和具有状态差异的轨迹特征，输入到transformer解码器进行交叉注意力提取与融合，得到融合不同相关性信息的解码器特征；基于解码器特征进行预测处理，将得到的残差轨迹和量测轨迹相加得到目标轨迹。该方法更能够学习快速变化状态的转移规律，提高强机动目标状态估计的准确性，保证了目标跟踪任务的性能。证了目标跟踪任务的性能。证了目标跟踪任务的性能。


技术研发人员：李刚 张钰姝 何友
受保护的技术使用者：清华大学
技术研发日：2023.06.14
技术公布日：2023/8/9