一种考虑交互的行人轨迹预测系统及方法

1.本发明属于汽车智能驾驶技术领域，尤其涉及一种智能交通环境下考虑交互的行人轨迹预测方法。


背景技术：

2.现有的智能驾驶大多数是在相对封闭的环境下进行研究，然而随着更改级别的智能驾驶推进，不可避免需要面对更加复杂的交通环境，尤其是人车混和的道路交通场景下，准确预测行人的运动轨迹对车辆行为决策至关重要。
3.但是，现有的行人轨迹预测技术，大多是针对交通路口、人行横道等特定的场景，几乎都只考虑了行人自身的特性，忽略了行人在面对车辆和其他行人时可能发生的交互关系，以及交互关系作用下行人轨迹变化的影响。同时，现有技术通过单一考虑时间或者空间特征的方式，难以准确衡量交互情况下不同要素对轨迹影响的重要性。因此，研究人-车交互关系下行人的运动趋势，有助于更精准地获取行人的未来运动轨迹，对全场景下智能驾驶的推广具有很大的价值。


技术实现要素：

4.针对于上述现有技术的不足，本发明的目的在于提供一种考虑交互的行人轨迹预测系统及方法，通过构建基于注意力机制的行人轨迹预测框架，提高人车混合行驶道路下行人轨迹预测的精准性。
5.为达到上述目的，本发明采用的技术方案如下：
6.本发明的一种考虑交互的行人轨迹预测系统，包括：传感器单元、行人历史轨迹数据库、车辆历史轨迹数据库、车载计算单元；
7.传感器单元，其包括但不局限于车载摄像头和激光雷达、路侧传感单元、行人位置传感器，用于获取车辆和行人的位置坐标信息，并将信息存储到车辆历史轨迹数据库和行人历史轨迹数据库中；
8.车辆历史轨迹数据库，用于存储车辆的历史位置坐标信息；
9.行人历史轨迹数据库，用于存储行人的历史位置坐标信息；
10.车载计算单元，其包括依次连接的编码器、注意力模块、解码器；
11.编码器用于计算行人和车辆的历史轨迹，并进行存储；注意力模块包括时间注意力模块和空间注意力模块，时间注意力模块用于计算历史时间特征，空间注意力模块用于计算全局空间特征；解码器用于计算考虑交互关系的行人预测轨迹。
12.本发明的一种考虑交互的行人轨迹预测方法，基于上述系统，步骤如下：
13.1)编码器对行人历史轨迹数据库、车辆历史轨迹数据库中的运动特性进行编码，生成隐藏状态和输出张量；
14.2)注意力模块对周围行人和车辆运动特征的时间、空间信息进行编码，对不同时间、空间信息的影响赋予权重，分别确定各对象空间信息对行人的重要性，以及历史时刻信
息对当前时刻的重要性，并将计算得到的时间特征向量和全局空间特征向量拼接，得到特征向量；
15.3)将包含周围行人和车辆的特征向量和高斯采样噪声，输入到基于lstm的解码器中进行多模态轨迹预测，得到行人预测轨迹集，对真实轨迹和预测轨迹进行比较判别，并通过损失函数计算，从轨迹集中选择最优的行人预测轨迹。
16.进一步地，所述步骤1)中编码器采用lstm网络计算隐藏状态和输出张量，具体如下：
17.11)将行人历史轨迹数据库中每个时刻的位置坐标信息拼接并作为编码器输入，得到单个行人特征向量和语义向量；
[0018][0019]
式中，xi表示单个行人特征向量，表示每个时刻的信息，表示语义向量，fc表示全连接层，w
fcl
表示编码器全连接层的权重；
[0020]
12)通过lstm网络计算当前时刻行人i的隐藏状态，设置行人历史轨迹数据库中行人采用相同的网络权重，拼接单个行人各时刻的编码器输出，得到单个行人编码器输出；拼接场景中所有行人对应的编码器输出，得到所有行人的输出张量：
[0021][0022]
式中，和分别表示行人i在当前时刻和前一时刻的隐藏状态；w
en
表示lstm网络权重；b
en
表示偏差，h
i，en
表示单个行人编码器输出，h
en
表示所有行人的输出张量。
[0023]
进一步地，所述步骤2)中采用时间注意系数衡量历史时刻信息对当前时刻的重要性，具体包括：
[0024]
21)行人编码器输出作为时间注意力模块的输入，得到时间注意系数：
[0025][0026]
式中，表示时间注意系数，表示中间向量，和分别表示k时刻和s时刻的中间向量，tanh为激活函数，和b
α
为网络参数；
[0027]
22)时间注意力模块将时间注意系数与步骤12)中的隐藏状态相拼接，输出时间特征向量
[0028]
[0029]
进一步地，所述步骤2)中采用空间注意系数衡量各对象空间信息对行人的重要性，并用归一化后的注意系数计算得到行人的全局空间特征，具体包括：
[0030]
23)计算人-人和人-车空间交互的距离和夹角信息：
[0031][0032]
式中，为t时刻行人i和周围行人j之间的距离；为t时刻行人i和车辆之间的距离，为行人i的速度向量与行人i到行人j的方向向量间的夹角；为行人i和行人j的速度向量间的夹角；为行人i和车辆速度向量间的夹角；为行人i和车辆速度向量间的夹角；分别为t时刻行人i和行人j的位置坐标，为t时刻车辆的位置坐标；
[0033]
24)将人-人和人-车交互信息进行级联，得到三个交互特征向量：
[0034][0035]
式中，为行人i和行人j的人-人交互关系向量；为行人i和车辆的人-车交互关系向量；为行人i与其他道路参与者交互关系的向量；
[0036]
25)计算空间注意系数，并进行归一化得到行人i在t时刻的全局空间特征向量
[0037][0038]
式中，为行人i与行人j在t时刻交互的空间注意系数，为行人i的交互特征向
量拼接成的特征向量，w
fc2
为空间注意力模块的全连接层参数，为行人j与无人车的距离，为除了行人i以外其他行人与车辆的距离，为车辆与行人间的距离拼接成的特征向量，n为行人数量，φ是归一化函数。
[0039]
进一步地，所述步骤2)中将计算得到的时间特征向量和全局空间特征向量拼接，表示为：
[0040][0041]
式中，为特征向量。
[0042]
进一步地，所述步骤3)中采用多层感知器(mlp)对真实轨迹和预测轨迹进行比较判别，行人预测轨迹集为：
[0043][0044]
式中，k为预测轨迹的数量，和为t时刻与t-1时刻中间状态向量，为第k条轨迹的特征向量，为高斯采样噪声，预测时间为t＝t
obs+1
，...，t
pred
；和为t时刻与t-1时刻解码器的隐藏状态，w
de
为解码器网络权重参数，为预测轨迹，w
m2
为多层感知机权重参数，和分别为观测周期解码器和编码器的输出。
[0045]
进一步地，所述步骤3)中采用最小化多模态损失函数，设置指数项来控制每个误差在整个损失中的比例，根据计算结果，从行人预测轨迹集中，选择计算值最小的轨迹，作为最优的行人预测轨迹，最小化多模态损失函数l的计算方式如下：
[0046][0047]
式中，t为预测时长，为待选的预测轨迹，为真实轨迹，λ为超参数，e为常数。
[0048]
本发明的有益效果：
[0049]
1、本发明从时间维度对输入序列赋予不同的权重，减少行人不同历史时刻的偏差，而且同时提取人-人和人-车交互信息，并从空间维度模拟周围行人以及车辆的交互关系，通过同时考虑时间和空间维度的交互影响，提高交互作用下轨迹预测的准确性。此外，引入随机噪声进一步加强对不确定性的模拟。
[0050]
2、本发明方法能够有效描述人-人和人-车交互关系，有助于行人轨迹预测模型详细学习行人的轨迹特征，可以在不丢失时间和空间信息的情况下，获得统一的行人轨迹预测特征表示。
附图说明
[0051]
图1为本发明中行人轨迹预测原理框图。
具体实施方式
[0052]
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
[0053]
本发明的一种考虑交互的行人轨迹预测系统，包括：传感器单元、行人历史轨迹数据库、车辆历史轨迹数据库、车载计算单元；
[0054]
传感器单元，其包括但不局限于车载摄像头和激光雷达、路侧传感单元、行人位置传感器，用于获取车辆和行人的位置坐标信息，并将信息存储到车辆历史轨迹数据库和行人历史轨迹数据库中；
[0055]
车辆历史轨迹数据库，用于存储车辆的历史位置坐标信息；
[0056]
行人历史轨迹数据库，用于存储行人的历史位置坐标信息；
[0057]
车载计算单元，其包括依次连接的编码器、注意力模块、解码器；
[0058]
编码器用于计算行人和车辆的历史轨迹，并进行存储(包括行人和车辆在不同时刻的位置坐标)；注意力模块包括时间注意力模块和空间注意力模块，时间注意力模块用于计算历史时间特征，空间注意力模块用于计算全局空间特征；解码器用于计算考虑交互关系的行人预测轨迹。
[0059]
本发明的一种考虑交互的行人轨迹预测方法，基于上述系统，如图1所示，步骤如下：
[0060]
1)编码器对行人历史轨迹数据库、车辆历史轨迹数据库中的运动特性进行编码，生成隐藏状态和输出张量；
[0061]
其中，编码器采用lstm网络计算隐藏状态和输出张量，具体如下：
[0062]
11)将行人历史轨迹数据库中每个时刻的位置坐标信息拼接并作为编码器输入，得到单个行人特征向量和语义向量；
[0063][0064]
式中，xi表示单个行人特征向量，表示每个时刻的信息，表示语义向量，fc表示全连接层，w
fc1
表示编码器全连接层的权重；
[0065]
12)通过lstm网络计算当前时刻行人i的隐藏状态，设置行人历史轨迹数据库中行人采用相同的网络权重，拼接单个行人各时刻的编码器输出，得到单个行人编码器输出；拼接场景中所有行人对应的编码器输出，得到所有行人的输出张量：
[0066]
[0067]
式中，和分别表示行人i在当前时刻和前一时刻的隐藏状态；w
en
表示lstm网络权重；b
en
表示偏差，h
i，en
表示单个行人编码器输出，h
en
表示所有行人的输出张量。
[0068]
2)注意力模块通过注意力机制计算方法，对周围行人和车辆运动特征的时间、空间信息进行编码，对不同时间、空间信息的影响赋予权重，分别确定各对象空间信息对行人的重要性，以及历史时刻信息对当前时刻的重要性，并将计算得到的时间特征向量和全局空间特征向量拼接，得到特征向量；
[0069]
其中，采用时间注意系数衡量历史时刻信息对当前时刻的重要性，具体包括：
[0070]
21)行人编码器输出作为时间注意力模块的输入，得到时间注意系数：
[0071][0072]
式中，表示时间注意系数，表示中间向量，和分别表示k时刻和s时刻的中间向量，tanh为激活函数，和b
α
为网络参数；
[0073]
22)时间注意力模块将时间注意系数与步骤12)中的隐藏状态相拼接，输出时间特征向量
[0074][0075]
以及，采用空间注意系数衡量各对象空间信息对行人的重要性，并用归一化后的注意系数计算得到行人的全局空间特征，具体包括：
[0076]
23)计算人-人和人-车空间交互的距离和夹角信息：
[0077][0078]
式中，为t时刻行人i和周围行人j之间的距离；为t时刻行人i和车辆之间的距离，为行人i的速度向量与行人i到行人j的方向向量间的夹角；为行人i和行人j的速度向量间的夹角；为行人i和车辆速度向量间的夹角；为行人i和车辆速度向量间的夹角；分别为t时刻行人i和行人j的位置坐标，为t时刻车辆的位置坐标；
[0079]
24)将人-人和人-车交互信息进行级联，得到三个交互特征向量：
[0080][0081]
式中，为行人i和行人j的人-人交互关系向量；为行人i和车辆的人-车交互关系向量；为行人i与其他道路参与者交互关系的向量；
[0082]
25)计算空间注意系数，并进行归一化得到行人i在t时刻的全局空间特征向量
[0083][0084]
式中，为行人i与行人j在t时刻交互的空间注意系数，为行人i的交互特征向量拼接成的特征向量，w
fc2
为空间注意力模块的全连接层参数，是行人j与无人车的距离，为除了行人i以外其他行人与车辆的距离，为车辆与行人间的距离拼接成的特征向量，n为行人数量，φ是归一化函数。
[0085]
将计算得到的时间特征向量和全局空间特征向量拼接，表示为：
[0086][0087]
式中，为特征向量。
[0088]
3)将包含周围行人和车辆的特征向量和高斯采样噪声，输入到基于lstm的解码器中进行多模态轨迹预测，得到行人预测轨迹集，对真实轨迹和预测轨迹进行比较判别，并通过损失函数计算，从轨迹集中选择最优的行人预测轨迹；
[0089]
其中，采用多层感知器(mlp)对真实轨迹和预测轨迹进行比较判别，行人预测轨迹集为：
[0090]
[0091]
式中，k为预测轨迹的数量，和为t时刻与t-1时刻中间状态向量，为第k条轨迹的特征向量，为高斯采样噪声，预测时间为t＝t
obs+1
，...，t
pred
；和为t时刻与t-1时刻解码器的隐藏状态，w
de
为解码器网络权重参数，为预测轨迹，w
m2
为多层感知机权重参数，和分别为观测周期解码器和编码器的输出。
[0092]
采用最小化多模态损失函数，设置指数项来控制每个误差在整个损失中的比例，根据计算结果，从行人预测轨迹集中，选择计算值最小的轨迹，作为最优的行人预测轨迹，最小化多模态损失函数l的计算方式如下：
[0093][0094]
式中，t为预测时长，为待选的预测轨迹，为真实轨迹，λ为超参数，e为常数。
[0095]
本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

技术特征：
1.一种考虑交互的行人轨迹预测系统，其特征在于，包括：传感器单元、行人历史轨迹数据库、车辆历史轨迹数据库、车载计算单元；传感器单元，其包括但不局限于车载摄像头和激光雷达、路侧传感单元、行人位置传感器，用于获取车辆和行人的位置坐标信息，并将信息存储到车辆历史轨迹数据库和行人历史轨迹数据库中；车辆历史轨迹数据库，用于存储车辆的历史位置坐标信息；行人历史轨迹数据库，用于存储行人的历史位置坐标信息；车载计算单元，其包括依次连接的编码器、注意力模块、解码器；编码器用于计算行人和车辆的历史轨迹，并进行存储；注意力模块包括时间注意力模块和空间注意力模块，时间注意力模块用于计算历史时间特征，空间注意力模块用于计算全局空间特征；解码器用于计算考虑交互关系的行人预测轨迹。2.一种考虑交互的行人轨迹预测方法，基于权利要求1所述的系统，其特征在于，步骤如下：1)编码器对行人历史轨迹数据库、车辆历史轨迹数据库中的运动特性进行编码，生成隐藏状态和输出张量；2)注意力模块对周围行人和车辆运动特征的时间、空间信息进行编码，对不同时间、空间信息的影响赋予权重，分别确定各对象空间信息对行人的重要性，以及历史时刻信息对当前时刻的重要性，并将计算得到的时间特征向量和全局空间特征向量拼接，得到特征向量；3)将包含周围行人和车辆的特征向量和高斯采样噪声，输入到基于lstm的解码器中进行多模态轨迹预测，得到行人预测轨迹集，对真实轨迹和预测轨迹进行比较判别，并通过损失函数计算，从轨迹集中选择最优的行人预测轨迹。3.根据权利要求2所述的考虑交互的行人轨迹预测方法，其特征在于，所述步骤1)中编码器采用lstm网络计算隐藏状态和输出张量，具体如下：11)将行人历史轨迹数据库中每个时刻的位置坐标信息拼接并作为编码器输入，得到单个行人特征向量和语义向量；式中，x
i
表示单个行人特征向量，表示每个时刻的信息，表示语义向量，fc表示全连接层，w
fc1
表示编码器全连接层的权重；12)通过lstm网络计算当前时刻行人i的隐藏状态，设置行人历史轨迹数据库中行人采用相同的网络权重，拼接单个行人各时刻的编码器输出，得到单个行人编码器输出；拼接场景中所有行人对应的编码器输出，得到所有行人的输出张量：
式中，和分别表示行人i在当前时刻和前一时刻的隐藏状态；w
en
表示lstm网络权重；b
en
表示偏差，h
i，en
表示单个行人编码器输出，h
en
表示所有行人的输出张量。4.根据权利要求3所述的考虑交互的行人轨迹预测方法，其特征在于，所述步骤2)中采用时间注意系数衡量历史时刻信息对当前时刻的重要性，具体包括：21)行人编码器输出作为时间注意力模块的输入，得到时间注意系数：式中，表示时间注意系数，表示中间向量，和分别表示k时刻和s时刻的中间向量，tanh为激活函数，和b
α
为网络参数；22)时间注意力模块将时间注意系数与步骤12)中的隐藏状态相拼接，输出时间特征向量量5.根据权利要求4所述的考虑交互的行人轨迹预测方法，其特征在于，所述步骤2)中采用空间注意系数衡量各对象空间信息对行人的重要性，并用归一化后的注意系数计算得到行人的全局空间特征，具体包括：23)计算人-人和人-车空间交互的距离和夹角信息：式中，为t时刻行人i和周围行人j之间的距离；为t时刻行人i和车辆之间的距离，为行人i的速度向量与行人i到行人j的方向向量间的夹角；为行人i和行人j的速度向量间的夹角；为行人i和车辆速度向量间的夹角；
分别为t时刻行人i和行人j的位置坐标，为t时刻车辆的位置坐标；24)将人-人和人-车交互信息进行级联，得到三个交互特征向量：式中，为行人i和行人j的人-人交互关系向量；为行人i和车辆的人-车交互关系向量；为行人i与其他道路参与者交互关系的向量；25)计算空间注意系数，并进行归一化得到行人i在t时刻的全局空间特征向量25)计算空间注意系数，并进行归一化得到行人i在t时刻的全局空间特征向量式中，为行人i与行人j在t时刻交互的空间注意系数，为行人i的交互特征向量拼接成的特征向量，w
fc2
为空间注意力模块的全连接层参数，为行人j与无人车的距离，为除了行人i以外其他行人与车辆的距离，为车辆与行人间的距离拼接成的特征向量，n为行人数量，φ是归一化函数。6.根据权利要求5所述的考虑交互的行人轨迹预测方法，其特征在于，所述步骤2)中将计算得到的时间特征向量和全局空间特征向量拼接，表示为：式中，为特征向量。7.根据权利要求6所述的考虑交互的行人轨迹预测方法，其特征在于，所述步骤3)中采用多层感知器对真实轨迹和预测轨迹进行比较判别，行人预测轨迹集为：
式中，k为预测轨迹的数量，和为t时刻与t-1时刻中间状态向量，为第k条轨迹的特征向量，为高斯采样噪声，预测时间为t＝t
obs+1
，...，t
pred
；和为t时刻与t-1时刻解码器的隐藏状态，w
de
为解码器网络权重参数，为预测轨迹，w
m2
为多层感知机权重参数，和分别为观测周期解码器和编码器的输出。8.根据权利要求7所述的考虑交互的行人轨迹预测方法，其特征在于，所述步骤3)中采用最小化多模态损失函数，设置指数项来控制每个误差在整个损失中的比例，根据计算结果，从行人预测轨迹集中，选择计算值最小的轨迹，作为最优的行人预测轨迹，最小化多模态损失函数l的计算方式如下：式中，t为预测时长，为待选的预测轨迹，为真实轨迹，λ为超参数，e为常数。

技术总结
本发明公开了一种考虑交互的行人轨迹预测系统及方法，系统包括：传感器单元，用于获取车辆和行人的位置坐标信息，并将信息存储到车辆历史轨迹数据库和行人历史轨迹数据库中；车载计算单元，包括依次连接的编码器、注意力模块、解码器；编码器用于计算行人和车辆的历史轨迹，并进行存储；注意力模块包括时间注意力模块和空间注意力模块，时间注意力模块用于计算历史时间特征，空间注意力模块用于计算全局空间特征；解码器用于计算考虑交互关系的行人预测轨迹。本发明通过构建基于注意力机制的行人轨迹预测框架，提高人车混合行驶道路下行人轨迹预测的精准性。轨迹预测的精准性。轨迹预测的精准性。


技术研发人员：周小川 赵万忠 王春燕 汪桉旭 叶宇林 李威
受保护的技术使用者：南京航空航天大学
技术研发日：2022.12.30
技术公布日：2023/5/16