一种基于策略意图的交叉口轨迹预测方法及装置

1.本发明涉及一种轨迹预测方法，尤其涉及一种基于策略意图的交叉口轨迹预测方法及装置。


背景技术：

2.轨迹预测可为驾驶员及车辆的危险预警系统提供更多决策依据，对行驶安全性的评估和车辆路径规划等具有重要意义。另外，在交通流当中，车辆轨迹预测为解决道路拥堵、交通参与者避障的实际问题提供了很好的思路。
3.车辆轨迹预测所面临的挑战一方面是道路交叉路口的高度复杂性，另外一方面是驾驶人个体的差异带来很大的不确定性。因此妥善考虑这两个挑战可为智能车辆提供更为准确可靠的预测轨迹。
4.尽管现有技术通常会考虑周围车辆交互影响，但是仍缺乏全局性，如专利cn114005280 a中依靠车载设备对候选车辆的周围车辆信息进行获取，只能覆盖局部区域。并且目前数据驱动的预测方式多用于简单场景，对复杂多变的场景未必适用。
5.现实情况中，即便车辆具有类似的历史轨迹，但是驾驶人的驾驶意图可能会导致不同的未来轨迹，预测出的轨迹会存在发散的情况。有一些方法,如cn112347567 b通过先识别驾驶意图，然后再基于驾驶意图预测轨迹。但该类方法容易对轨迹预测带来干扰，缺乏实用性，因为在连续驾驶意图识别周期内可能会产生多个不同结果。学术上将驾驶意图分类为策略意图、战术意图和操作意图，对策略意图的使用通常被研究者忽略，若恰当利用策略意图则可以获取驾驶行为稳定的预期，更有益与辅助轨迹预测。故，如何在复杂交通场景下利用交通规则与策略意图增加车辆轨迹预测的确定性以及准确性是亟待解决的技术问题。


技术实现要素：

6.本发明的目的增加复杂交叉口下轨迹预测时的确定性，从而提高轨迹预测精度，进一步为驾驶员及车辆的危险预警系统提供更多决策依据。
7.本发明的技术方案是提供了一种基于策略意图的交叉口轨迹预测方法，包括以下步骤：
8.步骤1、在交叉路口架设路端设备，并且对包括车辆在内的交通参与者历史轨迹信息以及道路环境进行采集，获取该区域高精地图，得到原始数据；
9.步骤2、对场景进行矢量化，对构建的每个子图进行编码，生成全局图，得到全局交互特征；
10.步骤3、按照划分的区域构建输入矩阵，并根据交通规则对被限制的区域进行失效处理；
11.步骤4、通过解码器解码得到多条可能轨迹，并选出最符合驾驶意图的轨迹作为最终预测轨迹；
12.步骤5、训练阶段，以道路交叉口收集的数据为样本进行训练；
13.步骤6、在路端设备上进行轨迹预测，并将结果传输至每个车辆。
14.进一步地，步骤1通过以下方式实现：
15.步骤1.1、对该交叉路口进行全景采集，采样频率为10hz；
16.步骤1.2、获取该路口高精地图，将步骤1.1中采集的场景信息在高精地图进行坐标对应；
17.步骤1.3、路端设备预先接收车辆通过发送模块发送的策略意图，从而得到其在交叉口的行进方向，即该交叉口的驾驶意图。
18.进一步地，步骤2通过以下方式实现：
19.步骤2.1、将交叉口划分成五个区域，其编号分别为k,k＝1,2,3,4,5；
20.步骤2.2、对每个区域内的信息进行矢量化，将每一个场景信息如车辆轨迹、道路、车道线抽象为折线，并将组成折线的向量vi的首尾坐标、语义信息、同属性编号与区域编号表示为一个二维矩阵：
[0021][0022]
其中，vi的第一列代表起点坐标；
[0023]
第二列代表终点坐标；
[0024]
第三列代表属性与采样频率，即语义标签；
[0025]
第四列代表同属性编号；
[0026]
第五列代表所在区域编号；
[0027]
步骤2.3、将同属性相同i的vi连接构成折线子图
[0028]
步骤2.4、编码折线子图特征，其编码方法为：
[0029][0030]
其中，
[0031]
代表采用一维卷积对输入特征进行编码；
[0032]
和分别表示最大池化以及均值池化；
[0033]
为线性映射。
[0034]
进一步地，步骤3通过以下方式实现：
[0035]
步骤3.1、将步骤2.4中编码后的折线子图特征，按照其所在区域k包含的p个子图构建输入矩阵：
[0036][0037]
步骤3.2、根据路端设备获取的禁行限制，对相应区域的输入矩阵进行失效处理，处理方法如下：
[0038][0039]
其中，代表整个交叉路口的特征输入，由以上五个输入矩阵组成，0为非道路区域；
[0040]
θ为每个区域禁行标识符，禁行时为0，否则为1；
[0041]
如当k＝2区域禁行，则按式(6)进行失效处理得到最终输入矩阵
[0042][0043]
步骤3.3、将中的子图特征当作全局交互图gnn中的节点:
[0044][0045]
其中gnn(
·
)为图神经网络，通过自注意力机制实现；
[0046]
为邻接矩阵，表示节点间的空间距离；
[0047]
为提取的全局交互特征，在时间轴上将划分为历史输入特征和未来真实特征
[0048]
进一步地，步骤4通过以下方式实现：
[0049]
步骤4.1、从符合高斯分布的概率分布pz中采样潜在空间变量zi，并通过线性层匹配维度后与拼接得到如式(7)所示，再经解码器解码得到一条轨迹si；
[0050][0051]
步骤4.2、对每个目标车辆分别重复n次步骤4.1，得到一组可能的未来轨迹为解码器，t
pred
表示预测轨迹的时间步长；
[0052]
步骤4.3、依据目标车辆的驾驶意图判断其会途经的车道，将该车道中心线端点作为筛选未来轨迹的参考点；将每条解码得到的未来轨迹等间隔取6个坐标点，并分别计算与参考点间的欧氏距离，将结果求和，最小求和结果对应的轨迹即为最终预测轨迹。
[0053]
进一步地，步骤5通过以下方式实现：
[0054]
步骤5.1、将和拼接后输入一个mlp层；
[0055]
步骤5.2、将步骤5.1结果经条件变分自编码器(cvae)估计均值为和方差为的潜在变量zi，为高斯分布；由zi和作为解码器lstm网络的输入得到重构的未来轨迹
[0056]
进一步地，步骤6通过以下方式实现：
[0057]
在路端设备上对该路口每个目标车辆进行轨迹预测，将所有的预测轨迹由通讯设备发送给每个目标车辆，并可进一步将预测轨迹可视化结果发送至车辆显示器上。
[0058]
本发明的有益效果在于：
[0059]
(1)本发明通过路端设备收集并处理整个交叉口信息，与车载传感设备所能获取的局部信息相比，更好地建模了各交通参与者间的交互影响，提高了轨迹预测的准确性。
[0060]
(2)本发明中的数据采集、存储、轨迹预测等都由路端设备完成，轨迹预测方法通过实施例2实现，因此无需车辆端收集、处理数据，节省算力。另外，通过车路协同方式将预测结果发送至车端接收模块，并可进一步通过显示器可视化出接收结果，增加驾驶人对轨迹预测系统的信任程度，提高行驶安全性。
[0061]
(3)本发明利用交通规则对输入数据进行规范。路端设备依据获取的交通限制信息选择性地对禁行区域的数据失效处理，在分级构建输入矩阵时屏蔽了对结果无贡献的折线子图，并可作为筛选候选预测轨迹的依据。
[0062]
(4)本发明通过提前将车辆的策略意图发送至路端设备，从而获悉车辆在交叉口的意图。该方式无需进行驾驶意图估计，而是利用确切的车辆行进方向选择符合驾驶人预期的预测轨迹，规避了个体差异带来的不确定性，很大程度上提高轨迹预测的效率和精度。
附图说明
[0063]
图1是本发明流程图；
[0064]
图2是一种基于策略意图的复杂路口轨迹预测的车-路端设备示意图；
[0065]
图3是交叉口划分区域示意图；
[0066]
图4是场景信息矢量化方式示意图；
[0067]
图5是折线子图特征编码器结构图；
[0068]
图6是最终预测轨迹选择示意图；
具体实施方式
[0069]
为了能够更清楚地理解本技术的上述目的、特征和优点，下面结合附图和具体实施方式对本技术进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互结合。
[0070]
在下面的描述中，阐述了很多具体细节以便于充分理解本技术，但是，本技术还可以采用其驾驶员不同于在此描述的其驾驶员方式来实施，因此，本技术的保护范围并不受下面公开的具体实施例的限制。
[0071]
如图1所示，本实施例1提供了一种基于策略意图的交叉口轨迹预测的车-路端设备，每个设备只负责该路口；
[0072]
其中路端设备由数据采集模块，处理器，通信装置，存储器和服务器构成；路端设备架设于交叉路口；数据采集模块负责采集路口信息，将信息与该路口高精地图输入存储装置进行储存；存储器除了储存相关路口信息外，还负责存储轨迹预测算法程序；服务器负责训练与推理；
[0073]
车辆端设备包括接收模块、发送模块与显示器；
[0074]
其中接收模块负责接收路段设备轨迹预测结果；
[0075]
发送模块负责发送驾驶员策略意图，策略意图即为驾驶人想要到达的目的地，用于预先判断其途径该交叉口时的驾驶意图(左转、右转或直行)；
[0076]
显示器负责可视化所接收的预测轨迹。
[0077]
实施例2提供了一种基于策略意图的交叉口轨迹预测方法，该方法可服务于人机共驾的车辆，以及更高等级的自动驾驶车辆。
[0078]
该实施例2所述方法的核心思想是增加轨迹预测问题中的确定性，因为驾驶员具有较强的主观性，有驾驶员参与的驾驶活动会存在较大的不确定性。增加确定性体现在两个方面，一是利用驾驶员意图，二是利用交通规则。
[0079]
对于驾驶意图的利用，该实施例2并非按照现有技术的方式去估计驾驶意图，而是直接获取准确的交叉口处的驾驶意图。具体地，驾驶意图的获取的方式为：
[0080]
假设知道一个驾驶员从a地开车去往b地，即策略意图，那么途径某个特定十字路口时，驾驶员是左转、右转还是直行可以认为是确定的，这个特定十字路口路口即为专利中提及的交叉口，确定的行进方向即为在交叉口处的驾驶意图。而要获取驾驶员的策略意图，则可以通过读取车辆导航信息，或者智能座舱语音助手询问驾驶员的目的地等方式。
[0081]
对于交通规则的利用，比如红绿灯，由于预测出的候选轨迹的方向是发散的，可以利用交通限制过滤掉一部分候选轨迹。另外，可根据交通限制来对轨迹预测算法的输入数据进行初步处理。由于输入算法的是整个交叉口下交通参与者的数据，而非车辆搭载传感器获取的局部区域的数据，但是整个交叉口的数据并不都有效，如果其中的一个路口(例如一个交叉口有4个路口)由于红灯限行，那么该路口的数据将不对轨迹预测产生贡献，相反可能有干扰，因此在输入算法模型中需要对该路口数据做失效处理，这可以根据交通信号等的变换做动态调整。
[0082]
需要注意的是，数据的获取和轨迹预测等都是由本发明的实施例中描述的路端设备完成，而不像常规的方法由车辆上的设备进行计算。本发明的实施例中，车和路端设备进行通信，车向路端设备发送策略意图，路端设备向车发送预测好的结果。车上的显示器用于可视化车辆接收到的预测结果，方便驾驶员实时查看，提高驾驶员对驾驶系统的了解程度。可选择地，车上的智能驾驶系统也可将接收的最终轨迹预测结果用于预规划、预警系统等。
[0083]
本实施例中，一种基于策略意图的交叉口轨迹预测方法，包括以下步骤：
[0084]
步骤1、在交叉路口架设路端设备，并且对包括车辆在内的交通参与者历史轨迹信息以及道路环境进行采集，获取该区域高精地图，得到原始数据；
[0085]
进一步地，步骤1通过以下方式实现：
[0086]
步骤1.1、对该交叉路口进行全景采集，采样频率为10hz。训练阶段每段场景时长为5秒，前2秒作为历史轨迹，后3秒作为算法的轨迹预测部分；推理阶段以2秒作为输入，输出3秒预测结果；
[0087]
对该交叉路口进行全景采集，其采集内容包括该区域内交通参与者、道路交通设施与标线的时空位置分布，以上内容构成采集时间段的场景信息，采样频率为10hz。训练阶段每段场景时长为5秒，前2秒作为历史轨迹，后3秒作为算法的轨迹预测部分；推理阶段以2秒作为输入，输出3秒预测结果；
[0088]
步骤1.2、获取该路口高精地图，将步骤1.1中采集的场景信息在高精地图进行坐标对应；
[0089]
该步骤中，获取该路口高精地图，将步骤1.1中采集的场景信息，通过坐标转化、时钟同步、轨迹组合，逐帧将采集到的车道线与高精地图进行对应，从而利用相对位置对交通
参与者的坐标在高精地图上进行标定。
[0090]
步骤1.3、路端设备预先接收车辆通过发送模块发送的策略意图，从而得到其在交叉口的行进方向，即该交叉口的驾驶意图。
[0091]
步骤2、对场景进行矢量化，对构建的每个子图进行编码，生成全局图，得到全局交互特征；
[0092]
进一步地，步骤2通过以下方式实现：
[0093]
步骤2.1、如图3所示，将交叉口划分成五个区域，其编号分别为k,k＝1,2,3,4,5；
[0094]
步骤2.2、如图4所示，对每个区域内的信息进行矢量化，将每一个场景信息如车辆轨迹、道路、车道线等抽象为折线，并将组成折线的向量vi的首尾坐标、语义信息、同属性编号与区域编号表示为一个二维矩阵：
[0095][0096]
其中，vi的第一列代表起点坐标；
[0097]
第二列代表终点坐标；
[0098]
第三列代表属性与采样频率(确定组成折线的向量数量m)，即语义标签；
[0099]
第四列代表同属性编号(例如车道左右车道线编号为1，2)；
[0100]
第五列代表所在区域编号；
[0101]
步骤2.3、将同属性相同i的vi连接构成折线子图
[0102]
步骤2.4、编码折线子图特征，其编码方法为：
[0103][0104]
其中，
[0105]
代表采用一维卷积对输入特征进行编码；
[0106]
和分别表示最大池化以及均值池化；
[0107]
为线性映射；
[0108]
使用的编码器结构如图5所示。
[0109]
步骤3、按照划分的区域构建输入矩阵，并根据交通规则(如信号灯等)对被限制的区域进行失效处理；
[0110]
进一步地，步骤3通过以下方式实现：
[0111]
步骤3.1、将步骤2.4中编码后的折线子图特征，按照其所在区域k包含的p个子图构建输入矩阵：
[0112][0113]
步骤3.2、根据路端设备获取的禁行限制，对相应区域的输入矩阵进行失效处理，处理方法如下：
[0114][0115]
其中，代表整个交叉路口的特征输入，由以上五个输入矩阵组成，0为非道路区域；
[0116]
θ为每个区域禁行标识符，禁行时为0，否则为1；
[0117]
如当k＝2区域禁行，则按式(6)进行失效处理得到最终输入矩阵
[0118][0119]
步骤3.3、将中的子图特征当作全局交互图gnn中的节点:
[0120][0121]
其中gnn(
·
)为图神经网络，通过自注意力机制实现；
[0122]
为邻接矩阵，表示节点间的空间距离；
[0123]
为提取的全局交互特征，在时间轴上将划分为历史输入特征和未来真实特征
[0124]
步骤4、通过解码器解码得到多条可能轨迹，并选出最符合驾驶意图的轨迹作为最终预测轨迹，如图6所示；
[0125]
进一步地，步骤4通过以下方式实现：
[0126]
步骤4.1、从符合高斯分布的概率分布pz(pz为训练得到的车辆未来轨迹的后验概率分布)中采样潜在空间变量zi，并通过线性层匹配维度后与拼接得到如式(7)所示，再经解码器解码得到一条轨迹si；
[0127][0128]
步骤4.2、对每个目标车辆分别重复n次步骤4.1，得到一组可能的未来轨迹为解码器，t
pred
表示预测轨迹的时间步长；
[0129]
步骤4.3、依据目标车辆的驾驶意图判断其会途经的车道，将该车道中心线端点作为筛选未来轨迹的参考点。将每条解码得到的未来轨迹等间隔取6个坐标点，并分别计算与参考点间的欧氏距离，将结果求和，最小求和结果对应的轨迹即为最终预测轨迹。
[0130]
步骤5、训练阶段，以道路交叉口收集的数据为样本进行训练；
[0131]
进一步地，步骤5通过以下方式实现：
[0132]
步骤5.1、将和拼接后输入一个mlp层；
[0133]
步骤5.2、将步骤5.1结果经条件变分自编码器(cvae)估计均值为和方差为的潜在变量zi，为高斯分布。由zi和作为解码器lstm网络的输入
得到重构的未来轨迹训练过程采用式(8)损失函数最小化与真实未来轨迹y的误差，其中第一项为均方误差损失，用以衡量预测值与真实值之间欧式距离差距；第二项为kl散度，用以衡量潜在空间变量z与高斯分布的接近程度。
[0134][0135]
其中，q
φ
为为用于近似拟合标准高斯分布的认知网络。
[0136]
步骤6、在路端设备上进行轨迹预测，并将结果传输至每个车辆；
[0137]
进一步地，步骤6通过以下方式实现：
[0138]
在路端设备上对该路口每个目标车辆进行轨迹预测，将所有的预测轨迹由通讯设备发送给每个目标车辆，并可进一步将预测轨迹可视化结果发送至车辆显示器上。驾驶员可直观地从显示器中了解到周围交通参与者未来3s行进的轨迹，从而增加驾驶人对轨迹预测系统的信任程度，提高行驶安全性。
[0139]
通常，因为预测的轨迹不一定完全准确，驾驶员发现有低级的或明显的错误时可以对车辆进行干涉，也可认为增加了整个方案的确定性
[0140]
本技术中的步骤可根据实际需求进行顺序调整、合并和删减。
[0141]
本技术装置中的单元可根据实际需求进行合并、划分和删减。
[0142]
尽管参考附图详地公开了本技术，但应理解的是，这些描述仅仅是示例性的，并非用来限制本技术的应用。本技术的保护范围由附加权利要求限定，并可包括在不脱离本技术保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

技术特征：
1.一种基于策略意图的交叉口轨迹预测方法，包括以下步骤：步骤1、在交叉路口架设路端设备，并且对包括车辆在内的交通参与者历史轨迹信息以及道路环境进行采集，获取该区域高精地图，得到原始数据；步骤2、对场景进行矢量化，对构建的每个子图进行编码，生成全局图，得到全局交互特征；步骤3、按照划分的区域构建输入矩阵，并根据交通规则对被限制的区域进行失效处理；步骤4、通过解码器解码得到多条可能轨迹，并选出最符合驾驶意图的轨迹作为最终预测轨迹；步骤5、训练阶段，以道路交叉口收集的数据为样本进行训练；步骤6、在路端设备上进行轨迹预测，并将结果传输至每个车辆。2.根据权利要求1所述的一种基于策略意图的交叉口轨迹预测方法，其特征在于：步骤1通过以下方式实现：步骤1.1、对该交叉路口进行全景采集，采样频率为10hz；步骤1.2、获取该路口高精地图，将步骤1.1中采集的场景信息在高精地图进行坐标对应；步骤1.3、路端设备预先接收车辆通过发送模块发送的策略意图，从而得到其在交叉口的行进方向，即该交叉口的驾驶意图。3.根据权利要求1所述的一种基于策略意图的交叉口轨迹预测方法，其特征在于：步骤2通过以下方式实现：步骤2.1、将交叉口划分成五个区域，其编号分别为k,k＝1,2,3,4,5；步骤2.2、对每个区域内的信息进行矢量化，将每一个场景信息如车辆轨迹、道路、车道线抽象为折线，并将组成折线的向量v
i
的首尾坐标、语义信息、同属性编号与区域编号表示为一个二维矩阵：其中，v
i
的第一列代表起点坐标；第二列代表终点坐标；第三列代表属性与采样频率，即语义标签；第四列代表同属性编号；第五列代表所在区域编号；步骤2.3、将同属性相同i的v
i
连接构成折线子图步骤2.4、编码折线子图特征，其编码方法为：其中，代表采用一维卷积对输入特征进行编码；
和分别表示最大池化以及均值池化；为线性映射。4.根据权利要求3所述的一种基于策略意图的交叉口轨迹预测方法，其特征在于：步骤3通过以下方式实现：步骤3.1、将步骤2.4中编码后的折线子图特征，按照其所在区域k包含的p个子图构建输入矩阵：步骤3.2、根据路端设备获取的禁行限制，对相应区域的输入矩阵进行失效处理，处理方法如下：其中，代表整个交叉路口的特征输入，由以上五个输入矩阵组成，0为非道路区域；θ为每个区域禁行标识符，禁行时为0，否则为1；如当k＝2区域禁行，则按式(6)进行失效处理得到最终输入矩阵如当k＝2区域禁行，则按式(6)进行失效处理得到最终输入矩阵步骤3.3、将中的子图特征当作全局交互图gnn中的节点:其中gnn(
·
)为图神经网络，通过自注意力机制实现；为邻接矩阵，表示节点间的空间距离；为提取的全局交互特征，在时间轴上将划分为历史输入特征和未来真实特征5.根据权利要求1所述的一种基于策略意图的交叉口轨迹预测方法，其特征在于：步骤4通过以下方式实现：步骤4.1、从符合高斯分布的概率分布p
z
中采样潜在空间变量z
i
，并通过线性层匹配维度后与拼接得到如式(7)所示，再经解码器解码得到一条轨迹s
i
；步骤4.2、对每个目标车辆分别重复n次步骤4.1，得到一组可能的未来轨迹s:步骤4.2、对每个目标车辆分别重复n次步骤4.1，得到一组可能的未来轨迹s:为解码器，t
prid
表示预测轨迹的时间步长；步骤4.3、依据目标车辆的驾驶意图判断其会途经的车道，将该车道中心线端点作为筛选未来轨迹的参考点；将每条解码得到的未来轨迹等间隔取6个坐标点，并分别计算与参考点间的欧氏距离，将结果求和，最小求和结果对应的轨迹即为最终预测轨迹。
6.根据权利要求1所述的一种基于策略意图的交叉口轨迹预测方法，其特征在于：步骤5通过以下方式实现：步骤5.1、将和拼接后输入一个mlp层；步骤5.2、将步骤5.1结果经条件变分自编码器(cvae)估计均值为和方差为的潜在变量z
i
，，为高斯分布；由z
i
和作为解码器lstm网络的输入得到重构的未来轨迹7.根据权利要求1所述的一种基于策略意图的交叉口轨迹预测方法，其特征在于：步骤6通过以下方式实现：在路端设备上对该路口每个目标车辆进行轨迹预测，将所有的预测轨迹由通讯设备发送给每个目标车辆，并可进一步将预测轨迹可视化结果发送至车辆显示器上。

技术总结
本发明公开了一种基于策略意图的交叉口轨迹预测方法，包括以下步骤：步骤1、在交叉路口架设路端设备，并且对包括车辆在内的交通参与者历史轨迹信息以及道路环境进行采集，获取该区域高精地图，得到原始数据；步骤2、对场景进行矢量化，得到全局交互特征；步骤3、按照划分的区域构建输入矩阵；步骤4、通过解码器解码得到多条可能轨迹，并选出最符合驾驶意图的轨迹作为最终预测轨迹；步骤5、以道路交叉口收集的数据为样本进行训练；步骤6、在路端设备上进行轨迹预测。本发明无需进行驾驶意图估计，而是利用确定的交叉口处驾驶意图选择符合驾驶人预期的预测轨迹，规避了个体差异带来的不确定性，很大程度上提高轨迹预测的效率和精度。很大程度上提高轨迹预测的效率和精度。很大程度上提高轨迹预测的效率和精度。


技术研发人员：陈海龙 陈慧勤 朱嘉祺 陈磊
受保护的技术使用者：杭州电子科技大学
技术研发日：2022.12.14
技术公布日：2023/7/19