一种基于意图随机性影响策略的行人轨迹预测方法

1.本发明涉及轨迹预测技术领域，具体为一种基于意图随机性影响策略的行人轨迹预测方法。


背景技术：

2.在城市交通环境中，如何及早地发现进入交通车道的行人并辨识其运动意图和运动轨迹，是提高车辆安全性的一个难题。根据世界卫生组织《2018年全球道路安全现状报告》显示，由于交通意外导致的死亡人数已经上升135万/年，平均每24秒就有一个人在道路上失去生命，其中约23％的死者为行人。该报告还强调，道路交通伤害如今是5至29岁儿童和年轻人的主要杀手。如何提高车辆的行驶安全，减少道路交通的事故发生数，是当前需要解决的重要问题之一，只有准确地预测行人的移动方向，及时地避开可能会发生意外的潜在行人，才能降低人车发生碰撞的几率。
3.目前的方法很少考虑行人意图的改变带来的对于前进方向以及速度大小的影响，一方面行人本身运动的随机性难以刻画，另一方面社会规则下的行人受限于群体，因此目前的方法多关注行人与物理环境的交互。但是并不意味着行人本身的随机性可以被忽略，尤其是复杂场景下，高级别无人驾驶的落地应用往往又不得不去避免意外事故的发生，特别是对交通场景中的行人轨迹的预测，对于交通安全至关重要；如果能够建模行人运动的随机性所带来的轨迹改变，自动驾驶的车辆也才可以更安全地行驶，从而在城市里面得到广泛的应用。


技术实现要素：

4.针对上述问题，本发明提供了一种基于意图随机性影响策略的行人轨迹预测方法，包括以下步骤：
5.从行人历史轨迹中提取最后一帧的位移信息，包括行人当前的速度方向和大小；
6.从标准正态分布抽样获取随机数因子，用于模拟行人速度的改变量；
7.将最后一帧的位移信息输入一个有偏置的线性层，得到的结果与随机数因子相乘得到随机意图向量；
8.基于最小二乘法，对每一个行人历史轨迹坐标点进行二阶拟合得到拟合误差，将拟合误差初始化，并将初始化后的拟合误差输入一个具有随机偏置的线性层，得到每个行人意图改变概率向量；
9.将随机意图向量和意图改变概率向量输入稀疏意图模块，稀疏意图模块对意图改变概率进行逐元素的阈值判断，确定行人使用随机意图向量或使用不带来任何影响的零向量，得到输出向量，完成对随机意图模块的构建；
10.将行人的历史轨迹坐标通过编码得到行人的位移向量，并将随机意图模块的输出向量与行人的位移向量叠加后输入基线模型，得到行人预测轨迹。
11.进一步的，所述将最后一帧的位移信息输入一个有偏置的线性层，得到的结果与
随机数因子相乘得到随机意图向量，包括以下步骤：
12.通过历史轨迹坐标得到最后一帧的位移，然后使用最后一帧位移的一个坐标分量作为基准信息；
13.从标准正态分布抽样得到随机数因子将送入一个有偏置的线性层之后，结果和相乘得到随机意图向量为：
[0014][0015]
其中表示两个向量对应元素相乘，w和b表示线性层linear中学习的权重参数和偏置项，包含行人在最后一帧的速度大小和方向即意图信息。
[0016]
进一步的，本发明提供的一种基于意图随机性影响策略的行人轨迹预测方法，还包括：
[0017]
得到所述随机意图向量后，结合随机数因子带来的随机性，初步得到结合当前行人状态的随机意图向量，之后在模型训练期间不断更新w和b的数值，实现模型对于随机意图向量中随机性的自我调节，避免出现极其不合理的意图改变。
[0018]
进一步的，所述将初始化后的拟合误差输入一个具有随机偏置的线性层，得到每个行人意图改变概率向量，包括以下步骤：
[0019]
基于最小二乘法对于每一个行人的历史轨迹坐标点进行二阶拟合得到拟合误差；
[0020]
根据误差大小将拟合误差初始化为数值在0～1之间的向量
[0021]
将向量经过一个具有随机偏置的线性层linear得到表示每个行人意图改变概率的向量为：
[0022][0023]
其中，ν和μ是随机偏置线性层linear中的可学习参数，是从区间[0,1)的均匀分布中抽取的一组随机数；权重ν和随机偏置项的引入，针对不同真实场景，灵活的在训练过程更新行人的意图改变概率；
[0024]
线性层使用人为设计的随机偏置项使得网络训练过程中轨迹拟合误差小的行人被考虑发生意图改变。
[0025]
进一步的，本发明提供的一种基于意图随机性影响策略的行人轨迹预测方法，还包括：
[0026]
得到所述行人意图改变概率向量后，基于意图损失函数，对行人意图改变概率向量进行训练，实现对于行人意图改变概率的灵活更新。
[0027]
进一步的，所述意图损失函数为：
[0028][0029]
其中，表示根据行人历史轨迹最后一帧与未来轨迹的拟合误差得到的意图改变概率真实值；
[0030]
最终损失函数定义为基线模型损失函数l
baseline
和l
intention
的线性组合，即：
[0031]
l＝l
baseline
+λl
intention
；
[0032]
其中惩罚因子λ＝0.1，用以平衡两个损失之间的主次关系。
[0033]
进一步的，所述稀疏意图模块对意图改变概率进行逐元素的阈值判断，确定行人使用随机意图向量或使用不带来任何影响的零向量，得到输出向量，包括以下步骤：
[0034]
利用稀疏意图模块，对进行逐元素的阈值判断，对于每一个行人n，生成一个介于0和1之间的随机数θn；
[0035]
当时，的第n个元素置为的第n个元素，否则置为0，即：
[0036][0037]
最终生成一个零向量与稀疏随机意图向量拼接得到模块输出
[0038]
进一步的，所述将行人的历史轨迹坐标通过编码得到行人的位移向量，并将随机意图模块的输出向量与行人的位移向量叠加后输入基线模型，得到行人预测轨迹，具体包括：
[0039]
将行人的历史轨迹坐标编码为位移向量位移为相邻两帧之间的坐标差，确保与测试的基线模型数据输入形式保持一致；
[0040]
将行人的历史轨迹坐标输入到随机意图模块得到与零向量拼接的意图模块输出
[0041]
对位移向量和意图模块输出进行叠加操作得到即：
[0042][0043]
其中
⊕
表示逐元素相加；
[0044]
通过意图向量带来行人速度和方向的改变，模拟行人的意图改变带来的影响。
[0045]
与现有技术相比，本发明提供的一种基于意图随机性影响策略的行人轨迹预测方法，其有益效果是：
[0046]
本发明提出一种随机意图向量构建策略，结合历史轨迹信息与随机因子，可以在预测轨迹时直接考虑行人本身的意图变化带来的速度大小和方向的改变；本发明以行人历史轨迹拟合误差设计意图改变概率，并引入意图损失函数自更新意图改变概率，可以针对性的建模行人运动随机性带来的轨迹上的改变；本发明提出的构建意图向量方法可作为插件嵌入至所有轨迹预测基准方法，补充对行人本身具有随机性的建模，以提升基准方法的行人轨迹预测精准性。
附图说明
[0047]
图1为本发明实施例提供的随机意图模块的原理图；
[0048]
图2为本发明实施例提供的行人轨迹预测基线模型实施细节图。
具体实施方式
[0049]
下面结合附图1至图2，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0050]
实施例1：如图1-2所示，本发明提供的一种基于意图随机性影响策略的行人轨迹预测方法，具体包括如下步骤：
[0051]
1.随机意图向量及意图改变概率的构建
[0052]
采取前八帧的轨迹作为历史轨迹，因此第八帧的位移反映的就是行人当前的速度方向和大小，即行人当下的意图的直接表现，真实场景下行人意图发生改变直观表现为轨迹上的改变。而物理背景下只要行人的任一速度分量发生变化，就会产生后续速度大小和方向上的改变。
[0053]
首先通过历史轨迹坐标得到的第8帧的位移，然后使用第8帧位移的一个坐标分量作为基准信息，将结合一些随机数因子来模拟行人速度的改变量；社交背景下，多数行人轨迹基本不变或改变幅度很小，少数行人会有轨迹上的大幅度改变；同时行人的轨迹改变的模拟需要能够对原状态做出正向和反向操作，因此生成的随机数因子最好能够包含正负数分布；本发明中采用标准正态分布去产生随机数因子
[0054]
从标准正态分布抽样得到随机数因子将送入一个有偏置的线性层之后，结果和相乘得到随机意图向量为：
[0055][0056]
其中表示两个向量对应元素相乘，w和b表示线性层linear中可学习的权重参数和偏置项，包含行人在最后一帧的速度大小和方向即意图信息，结合随机数因子带来的随机性，可以初步得到结合当前行人状态的随机意图向量，之后在模型训练期间会不断更新w和b的数值，这样可以实现模型对于随机意图向量中随机性的自我调节，避免出现极其不合理的意图改变。
[0057]
之后如何从历史轨迹数据中设定一个标准来界定哪些行人可能更倾向于意图发生改变，会使随机意图向量更具有针对性，从而在完善行人随机性的同时，不带来太多余的影响。由于行人的轨迹就是行人意图的直观反映，所以我们设计了一个拟合误差模块，首先基于最小二乘法对于每一个行人的历史轨迹坐标点进行二阶拟合得到拟合误差，再根据误差大小将拟合误差初始化为数值在0～1之间的向量随后将向量经过一个具有随机偏置的线性层linear
*
得到表示每个行人意图改变概率的向量为：
[0058][0059]
其中ν和μ是我们定义的随机偏置线性层linear
*
中的可学习参数，是从区间[0,1)的均匀分布中抽取的一组随机数。这里权重ν和随机偏置项的引入主要为了针对不同真实场景，模型能更加灵活的在训练过程更新行人的意图改变概率，同时这里的线性层使用人为设计的随机偏置项也是为了能使得网络训练过程中轨迹拟合误差小的行人也有可能被考虑发生意图改变。
sgcn和intention-stgat进行了对比。其中表1中*表示使用官方提供的代码复现出来的结果，可能由于一些超参数的设置不同或是实验设备不同，直接复现出来的结果和原文中结果不太一样。因此为了公平比较，也为了更好的反映本发明实施例1中提供的行人轨迹预测方法的实际效果，在评估intention-sgcn和intention-stgat时的所有超参数以及实验设备都和复现基线模型时保持一致，可以看出对于不同的基线模型，本发明的意图向量构建方法都可以使得模型测试的误差指标有所改进，其中intention-sgcn在5个真实场景下的平均ade/fde与sgcn
*
相比实现了0.02/0.12的改进，intention-stgat与stgat
*
相比实现了0.03/0.05的改进；也即通过在几种先进基线模型上的评估结果，可以看到本发明实施例1中提供的行人轨迹预测方法对于这两种不同类型的方法，在实际的误差评估上基本上都有改进。其中ade和fde这两个指标都是越低越好。
[0073]
表1
[0074][0075]
可以看出，本发明提供的一种基于意图随机性影响策略的行人轨迹预测方法，具有以下的有益效果：
[0076]
(1)在多个大规模公共行人轨迹预测数据集上的实验结果表明，我们的方法可以显著提高基线行人轨迹预测的性能；
[0077]
(2)提出的随机意图向量构建策略可以指导模型去捕捉行人的随机意图改变，减小行人运动的不确定性带来的突发影响，有效提升行人轨迹预测效能，在不同真实场景下均具有有效性；
[0078]
(3)意图改变概率的设定使我们的随机意图向量更具有针对性，从而在完善行人随机性的同时，不带来太多余的影响。在基线模型loss函数基础上引入一种新的意图损失，使得模型能更加灵活的在训练过程更新行人的意图改变概率。
[0079]
(4)将本发明提供的模型可以加入到基线模型中，在大规模公共行人轨迹预测数据集进行训练，将训练好的的权重保存下来。然后将训练好的模型和权重移植到深度学习的开发板上。当汽车搭载上这块开发板，就能结合环境感知，自动判断周围行人的未来轨迹，从而更好的辅助规划驾驶路线，减少交通事故的发生。
[0080]
以上所述实施例仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换，均属于本发明的保护范围。

技术特征：
1.一种基于意图随机性影响策略的行人轨迹预测方法，其特征在于，包括以下步骤：从行人历史轨迹中提取最后一帧的位移信息，包括行人当前的速度方向和大小；从标准正态分布抽样获取随机数因子，用于模拟行人速度的改变量；将最后一帧的位移信息输入一个有偏置的线性层，得到的结果与随机数因子相乘得到随机意图向量；基于最小二乘法，对每一个行人历史轨迹坐标点进行二阶拟合得到拟合误差，将拟合误差初始化，并将初始化后的拟合误差输入一个具有随机偏置的线性层，得到每个行人意图改变概率向量；将随机意图向量和意图改变概率向量输入稀疏意图模块，稀疏意图模块对意图改变概率进行逐元素的阈值判断，确定行人使用随机意图向量或使用不带来任何影响的零向量，得到输出向量，完成对随机意图模块的构建；将行人的历史轨迹坐标通过编码得到行人的位移向量，并将随机意图模块的输出向量与行人的位移向量叠加后输入基线模型，得到行人预测轨迹。2.如权利要求1所述的一种基于意图随机性影响策略的行人轨迹预测方法，其特征在于，所述将最后一帧的位移信息输入一个有偏置的线性层，得到的结果与随机数因子相乘得到随机意图向量，包括以下步骤：通过历史轨迹坐标得到最后一帧的位移，然后使用最后一帧位移的一个坐标分量作为基准信息；从标准正态分布抽样得到随机数因子将送入一个有偏置的线性层之后，结果和相乘得到随机意图向量为：其中表示两个向量对应元素相乘，w和b表示线性层linear中学习的权重参数和偏置项，包含行人在最后一帧的速度大小和方向即意图信息。3.如权利要求2所述的一种基于意图随机性影响策略的行人轨迹预测方法，其特征在于，还包括：得到所述随机意图向量后，结合随机数因子带来的随机性，初步得到结合当前行人状态的随机意图向量，之后在模型训练期间不断更新w和b的数值，实现模型对于随机意图向量中随机性的自我调节，避免出现极其不合理的意图改变。4.如权利要求3所述的一种基于意图随机性影响策略的行人轨迹预测方法，其特征在于，所述将初始化后的拟合误差输入一个具有随机偏置的线性层，得到每个行人意图改变概率向量，包括以下步骤：基于最小二乘法对于每一个行人的历史轨迹坐标点进行二阶拟合得到拟合误差；根据误差大小将拟合误差初始化为数值在0～1之间的向量将向量经过一个具有随机偏置的线性层linear得到表示每个行人意图改变概率的向量为：
其中，ν和μ是随机偏置线性层linear中的可学习参数，是从区间[0,1)的均匀分布中抽取的一组随机数；权重ν和随机偏置项的引入，针对不同真实场景，灵活的在训练过程更新行人的意图改变概率；线性层使用人为设计的随机偏置项使得网络训练过程中轨迹拟合误差小的行人被考虑发生意图改变。5.如权利要求4所述的一种基于意图随机性影响策略的行人轨迹预测方法，其特征在于，还包括：得到所述行人意图改变概率向量后，基于意图损失函数，对行人意图改变概率向量进行训练，实现对于行人意图改变概率的灵活更新。6.如权利要求5所述的一种基于意图随机性影响策略的行人轨迹预测方法，其特征在于，所述意图损失函数为：其中，表示根据行人历史轨迹最后一帧与未来轨迹的拟合误差得到的意图改变概率真实值；最终损失函数定义为基线模型损失函数l
baseline
和l
intention
的线性组合，即：l＝l
baseline
+λl
intention
；其中惩罚因子λ＝0.1，用以平衡两个损失之间的主次关系。7.如权利要求6所述的一种基于意图随机性影响策略的行人轨迹预测方法，其特征在于，所述稀疏意图模块对意图改变概率进行逐元素的阈值判断，确定行人使用随机意图向量或使用不带来任何影响的零向量，得到输出向量，包括以下步骤：利用稀疏意图模块，对进行逐元素的阈值判断，对于每一个行人n，生成一个介于0和1之间的随机数θ
n
；当时，的第n个元素置为的第n个元素，否则置为0，即：最终生成一个零向量与稀疏随机意图向量拼接得到模块输出8.如权利要求7所述的一种基于意图随机性影响策略的行人轨迹预测方法，其特征在于，所述将行人的历史轨迹坐标通过编码得到行人的位移向量，并将随机意图模块的输出向量与行人的位移向量叠加后输入基线模型，得到行人预测轨迹，具体包括：将行人的历史轨迹坐标编码为位移向量位移为相邻两帧之间的坐标差，确保与测试的基线模型数据输入形式保持一致；将行人的历史轨迹坐标输入到随机意图模块得到与零向量拼接的意图模块输出
对位移向量和意图模块输出进行叠加操作得到即：其中表示逐元素相加；通过意图向量带来行人速度和方向的改变，模拟行人的意图改变带来的影响。

技术总结
本发明公开了一种基于意图随机性影响策略的行人轨迹预测方法，涉及轨迹预测技术领域，本发明包括从行人历史轨迹中提取最后一帧的位移信息；从标准正态分布抽样获取随机数因子；将最后一帧的位移信息输入一个有偏置的线性层，得到的结果与随机数因子相乘得到随机意图向量，用于模拟行人运动随机性产生的影响；对每一个行人历史轨迹坐标点进行二阶拟合得到拟合误差，将拟合误差初始化，并将初始化后的拟合误差输入一个具有随机偏置的线性层，得到每个行人意图改变概率向量；将随机意图向量和意图改变概率向量输入稀疏意图模块，确定行人使用随机意图向量或使用不带来任何影响的零向量，得到输出向量，完成对随机意图模块的构建。构建。构建。


技术研发人员：陈杰 邓英剑 黄志祥 徐睿 杜文天 于敬仟 李倩 万辉耀 李迎松
受保护的技术使用者：安徽大学
技术研发日：2023.02.17
技术公布日：2023/6/14