模型训练方法和装置、轨迹预测方法和装置与流程

1.本发明涉及自动驾驶技术领域，尤其涉及一种模型训练方法和装置、轨迹预测方法和装置。


背景技术：

2.为了保证自动驾驶过程中车辆的安全性，需要对交通参与者的轨迹进行预测，以避免车辆与障碍物发生碰撞。
3.现有的方法在预测过程中，通常仅对单个交通参与者的未来轨迹进行拟合。
4.该方法忽略了不同交通参与者轨迹之间的相互影响，导致预测得到的轨迹准确度较低，进而影响车辆行驶的安全性。


技术实现要素：

5.有鉴于此，本发明实施例提供一种模型训练方法和装置、轨迹预测方法和装置，能够提高轨迹预测的准确度。
6.第一方面，本发明实施例提供了一种模型训练方法，包括：获取自车的历史轨迹、所述自车所在场景中交通参与者的历史轨迹、所述交通参与者的未来轨迹和与所述交通参与者相关的地图特征；分别将所述自车的历史轨迹、所述交通参与者的历史轨迹、所述交通参与者的未来轨迹和所述地图特征转换至相对坐标系下；其中，所述相对坐标系的原点位于所述自车的历史轨迹上；从多个所述交通参与者中选择目标交通参与者，获取所述目标交通参与者当前所在的位置；将转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹、所述目标交通参与者当前所在的位置和转换后的地图特征输入神经网络模型，得到一阶差分结果；其中，所述神经网络模型通过自注意力机制获得目标交通参与者与场景的交互特征，并基于目标交通参与者与场景的交互特征得到所述一阶差分结果；基于所述一阶差分结果和所述目标交通参与者当前所在的位置，计算所述目标交通参与者的预测轨迹；基于所述预测轨迹和转换后的所述目标交通参与者的未来轨迹，计算损失函数的损失值；基于所述损失值调整所述神经网络模型的参数。
7.第二方面，本发明实施例提供了一种轨迹预测方法，包括：获取自车的历史轨迹、所述自车所在场景中交通参与者的历史轨迹、所述交通参与者的未来轨迹和与所述交通参与者相关的地图特征；分别将所述自车的历史轨迹、所述交通参与者的历史轨迹、所述交通参与者的未
来轨迹和所述地图特征转换至相对坐标系下；其中，所述相对坐标系的原点位于所述自车的历史轨迹上；从多个所述交通参与者中选择目标交通参与者，获取所述目标交通参与者当前所在的位置；将转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹、所述目标交通参与者当前所在的位置和转换后的地图特征输入神经网络模型，得到一阶差分结果；其中，所述神经网络模型通过自注意力机制获得目标交通参与者与场景的交互特征，并基于目标交通参与者与场景的交互特征得到所述一阶差分结果；基于所述一阶差分结果和所述目标交通参与者当前所在的位置，计算所述目标交通参与者的预测轨迹；基于所述预测轨迹和转换后的所述目标交通参与者的未来轨迹，计算损失函数的损失值；基于所述损失值调整所述神经网络模型的参数；基于训练好的神经网络模型，预测当前交通参与者的轨迹。
8.第三方面，本发明实施例提供了一种模型训练装置，包括：坐标转换模块，配置为获取自车的历史轨迹、所述自车所在场景中交通参与者的历史轨迹、所述交通参与者的未来轨迹和与所述交通参与者相关的地图特征；分别将所述自车的历史轨迹、所述交通参与者的历史轨迹、所述交通参与者的未来轨迹和所述地图特征转换至相对坐标系下；其中，所述相对坐标系的原点位于所述自车的历史轨迹上；训练模块，配置为从多个所述交通参与者中选择目标交通参与者，获取所述目标交通参与者当前所在的位置；将转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹、所述目标交通参与者当前所在的位置和转换后的地图特征输入神经网络模型，得到一阶差分结果；其中，所述神经网络模型通过自注意力机制获得目标交通参与者与场景的交互特征，并基于目标交通参与者与场景的交互特征得到所述一阶差分结果；调整模块，配置为基于所述一阶差分结果和所述目标交通参与者当前所在的位置，计算所述目标交通参与者的预测轨迹；基于所述预测轨迹和转换后的所述目标交通参与者的未来轨迹，计算损失函数的损失值；基于所述损失值调整所述神经网络模型的参数。
9.第四方面，本发明实施例提供了一种轨迹预测装置，包括：坐标转换模块，配置为获取自车的历史轨迹、所述自车所在场景中交通参与者的历史轨迹、所述交通参与者的未来轨迹和与所述交通参与者相关的地图特征；分别将所述自车的历史轨迹、所述交通参与者的历史轨迹、所述交通参与者的未来轨迹和所述地图特征转换至相对坐标系下；其中，所述相对坐标系的原点位于所述自车的历史轨迹上；从多个所述交通参与者中选择目标交通参与者，获取所述目标交通参与者当前所在的位置；训练模块，配置为将转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹、所述目标交通参与者当前所在的位置和转换后的地图特征输入神经网络模型，得到一阶差分结果；其中，所述神经网络模型通过自注意力机制获得目标交通参与者与场景的交互特征，并基于目标交通参与者与场景的交互特征
得到所述一阶差分结果；调整模块，配置为基于所述一阶差分结果和所述目标交通参与者当前所在的位置，计算所述目标交通参与者的预测轨迹；基于所述预测轨迹和转换后的所述目标交通参与者的未来轨迹，计算损失函数的损失值；基于所述损失值调整所述神经网络模型的参数；预测模块，配置为基于训练好的神经网络模型，预测当前交通参与者的轨迹。
10.第五方面，本发明实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一实施例所述的方法。
11.第六方面，一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述任一实施例所述的方法。
12.上述发明中的一个实施例具有如下优点或有益效果：神经网络模型基于自注意力机制，学习目标交通参与者与场景中其他交通参与者相互关系，得到目标交通参与者与场景的交互特征。该神经网络模型在轨迹预测过程中，不仅考虑了目标交通参与者自身的轨迹变化趋势，还考虑了目标交通参与者与场景中其他交通参与者的相互作用，能够提高轨迹预测的准确度。另外，将自车的历史轨迹等物理世界中的点转换至相对坐标系下，使该方法能够在不同的场景下迁移使用，如在不同的路段使用，提高轨迹预测效率。
13.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
14.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：图1是本发明的一个实施例提供的一种模型训练方法的流程图；图2是本发明的一个实施例提供的一种神经网络模型的示意图；图3是本发明的一个实施例提供的一种轨迹预测方法的流程图；图4是本发明的一个实施例提供的一种模型训练装置的示意图；图5是本发明的一个实施例提供的一种轨迹预测装置的示意图；图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
15.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
16.如图1所示，本发明实施例提供了一种模型训练方法，包括：步骤101：获取自车的历史轨迹、自车所在场景中交通参与者的历史轨迹、交通参与者的未来轨迹和与交通参与者相关的地图特征。
17.自车指的是自动驾驶车辆。基于定位数据确定自车的历史轨迹；基于感知数据确定自车所在场景中交通参与者的历史轨迹和未来轨迹；基于交通参与者当前的位姿和高精地图，确定与交通参与者相关的地图特征，地图特征可以为交通参与者所在的车道线信息等。
18.未来轨迹是相对于历史轨迹而言，例如，获取50帧交通参与者的轨迹，按照时间由远及近的顺序，将前20帧作为历史轨迹，将后30帧作为未来轨迹。在本发明实施例中，获取的未来轨迹属于目标交通参与者，目标交通参与者可以是场景中全部或部分交通参与者，换言之，通过本发明实施例可以训练神经网络模型预测全部或部分交通参与者的轨迹。
19.步骤102：分别将自车的历史轨迹、交通参与者的历史轨迹、交通参与者的未来轨迹和地图特征转换至相对坐标系下。
20.其中，相对坐标系的原点位于自车的历史轨迹上。
21.为了使该方法在不同的场景中迁移使用，本发明实施例将自车的历史轨迹等物理世界的点的坐标转换至以自车的历史轨迹为原点的相对坐标系下。
22.步骤103：从多个交通参与者中选择目标交通参与者，获取目标交通参与者当前所在的位置。
23.目标交通参与者可以为一个或多个，目标交通参与者当前所在的位置为：按照时间由远及近的顺序，其历史轨迹中最后一帧轨迹点。
24.步骤104：将转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹、目标交通参与者当前所在的位置和转换后的地图特征输入神经网络模型，得到一阶差分结果。
25.其中，神经网络模型通过自注意力机制获得目标交通参与者与场景的交互特征，并基于目标交通参与者与场景的交互特征得到一阶差分结果。
26.神经网络模型能够基于转换后的目标交通参与者的历史轨迹，学习目标交通参与者的轨迹变化趋势，基于自车的历史轨迹等环境特征，学习目标交通参与者与环境之间的交互关系。
27.步骤105：基于一阶差分结果和目标交通参与者当前所在的位置，计算目标交通参与者的预测轨迹。
28.神经网络模型输出的一阶差分结果为：。用于表征第m帧的一阶差分结果。
29.目标交通参与者当前所在的位置为，目标交通参与者的预测轨迹为：。为第m帧的预测轨迹。
30.步骤106：基于预测轨迹和转换后的目标交通参与者的未来轨迹，计算损失函数的损失值。
31.本发明实施例可以采用均方误差或均方根误差等作为损失函数。
32.例如，可以采用式（1）作为损失函数。
33.其中，用于表征损失函数的损失值，用于表征总帧数，用于表征目标交通参与者的数量，用于表征目标交通参与者i在第j帧中的未来轨迹，用于表征目标交通参与者i在第j帧中的预测轨迹。
34.步骤107：基于损失值调整神经网络模型的参数。
35.神经网络模型基于自注意力机制，学习目标交通参与者与场景中其他交通参与者相互关系，得到目标交通参与者与场景的交互特征。该神经网络模型在轨迹预测过程中，不仅考虑了目标交通参与者自身的轨迹变化趋势，还考虑了目标交通参与者与场景中其他交通参与者的相互作用，能够提高轨迹预测的准确度。另外，将自车的历史轨迹等物理世界中的点转换至相对坐标系下，使该方法能够在不同的场景下迁移使用，如在不同的路段使用。
36.在本发明的一个实施例中，相对坐标系的原点，为自车的历史轨迹中，按照时间由远及近的顺序，最后一帧轨迹点；相对坐标系的x轴，为自车的历史轨迹中，按照时间由远及近的顺序，最后一帧轨迹点指向第一帧轨迹点的朝向；相对坐标系的y轴，为当左手食指指向自车的朝向时，左手拇指的朝向。
37.本发明实施例基于自车的历史轨迹建立相对坐标系，能够在不同路段场景中使用。相对坐标系的原点可以为自车的历史轨迹中最后一帧轨迹点，还可以是距离最后一帧轨迹点一定距离范围内的其他帧轨迹点。
38.在本发明的一个实施例中，该方法还包括：基于转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹和转换后的地图特征，构建历史与场景交叉mask；基于转换后的目标交通参与者的未来轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹和转换后的地图特征，构建未来与场景交叉mask；基于转换后的目标交通参与者的历史轨迹和未来轨迹，构建历史与未来交叉mask；将转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹、目标交通参与者当前所在的位置和转换后的地图特征输入神经网络模型，得到一阶差分结果，包括：将转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹、目标交通参与者当前所在的位置、历史与场景交叉mask、未来与场景交叉mask、历史与未来交叉mask和转换后的地图特征输入神经网络模型。
39.通过构建历史与场景交叉mask、未来与场景交叉mask和历史与未来交叉mask，限制历史与场景的交互特征、未来与场景的交互特征以及历史与未来的交互特征的长度，过滤冗余特征。例如，通过构建交叉mask，只关注附近100米范围内的特征，而忽略100米之外的特征。
40.在实际应用场景中，可以仅构建历史与场景交叉mask、未来与场景交叉mask和历史与未来交叉mask中任意一种或两种交叉mask，并基于构建的一种或两种交叉mask训练神
经网络模型。
41.在本发明的一个实施例中，基于转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹和转换后的地图特征，构建历史与场景交叉mask，包括：基于转换后的目标交通参与者的历史轨迹，确定历史时间段内交通参与者的数量；基于转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹和转换后的地图特征，确定历史时间段内场景包含的轨迹线的数量；基于预设的交通参与者数量阈值、预设的轨迹线数量阈值、历史时间段内交通参与者的数量和场景包含的轨迹线的数量，构建历史与场景交叉mask。
42.场景包含的轨迹线指的是：自车的历史轨迹中的轨迹线、其他交通参与者的历史轨迹中的轨迹线和地图特征中的轨迹线。
43.历史与场景交叉mask为矩阵形式，行表示历史时间段内交通参与者的数量，列表示历史时间段内场景包含的轨迹线的数量，对于矩阵中的值m，如果历史时间段内交通参与者的数量a不大于预设的交通参与者数量阈值、历史时间段内场景包括的轨迹线的数量b不大于预设的轨迹线数量阈值，则m
ab
的值为true，否则，m
ab
的值为false。当然，在实际应用场景中，行、列可以转换。
44.预设的交通参与者数量阈值，可以根据当前交通参与者的数量确定，当前指的是自车的历史轨迹中最后一帧对应的时间。预设的交通参与者数量阈值，可以根据地图特征、其他交通参与者的历史轨迹和自车的历史轨迹等确定。
45.通过本发明实施例，能够限制历史与场景交互特征的长度，去除冗余信息，提高模型训练的准确度。
46.在本发明的一个实施例中，基于转换后的目标交通参与者的未来轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹和转换后的地图特征，构建未来与场景交叉mask，包括：基于转换后的目标交通参与者的未来轨迹，确定未来时间段内交通参与者的数量；基于交通参与者数量阈值、轨迹线数量阈值、未来时间段内交通参与者的数量和场景包含的轨迹线的数量，构建未来与场景交叉mask。
47.未来与场景交叉mask与历史与场景交叉mask类似，未来与场景交叉mask为矩阵形式，行表示未来时间段内交通参与者的数量，列表示历史时间段内场景包含的轨迹线的数量，对于矩阵中的值n，如果未来时间段内交通参与者的数量e不大于预设的交通参与者数量阈值、历史时间段内场景包括的轨迹线的数量f不大于预设的轨迹线数量阈值，则n
ef
的值为true，否则，n
ef
的值为false。当然，在实际应用场景中，行、列可以转换。
48.通过本发明实施例，能够限制未来与场景交互特征的长度，去除冗余信息，提高模型训练的准确度。
49.在本发明的一个实施例中，基于转换后的目标交通参与者的历史轨迹和未来轨迹，构建历史与未来交叉mask，包括：基于历史时间段内交通参与者的数量、未来时间段内交通参与者的数量和交通参
与者数量阈值，构建历史与未来交叉mask。
50.历史与未来交叉mask同样是矩阵形式，行表示历史时间段内交通参与者的数量，列表示未来时间段内交通参与者的数量，对于矩阵中的值t，如果历史时间段内交通参与者的数量c不大于预设的交通参与者数量阈值、未来时间段内交通参与者的数量d不大于预设的交通参与者数量阈值，则t
cd
的值为true，否则，t
cd
的值为false，行、列可以转换。
51.通过本发明实施例，能够限制历史与未来交互特征的长度，去除冗余信息，提高模型训练的准确度。
52.在本发明的一个实施例中，神经网络模型包括：嵌入层、矢量网络、自注意力模型和映射层；其中，嵌入层用于将模型的输入转换为embedding，矢量网络用于从轨迹或场景中提取特征，自注意力模型基于自注意力机制确定目标交通参与者与场景的交互特征，映射层用于输出一阶差分结果。嵌入层、矢量网络和自注意力模型的数量可以根据实际业务需求进行调整，以下实施例仅对其中一种神经网络模型的结构进行详细说明。
53.在本发明的一个实施例中，如图2所示，神经网络模型包括：轨迹嵌入层、场景嵌入层、位置嵌入层、第一矢量网络、第二矢量网络、第一自注意力模型、第三矢量网络、第二自注意力模型、第三自注意力模型和映射层；将转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹、目标交通参与者当前所在的位置、历史与场景交叉mask、未来与场景交叉mask、历史与未来交叉mask和转换后的地图特征输入神经网络模型，得到一阶差分结果，包括：将转换后的目标交通参与者的历史轨迹输入轨迹嵌入层，得到目标历史轨迹特征向量；将转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹和转换后的地图特征输入场景嵌入层，得到场景特征向量；将目标交通参与者当前所在的位置输入位置嵌入层，得到目标位置特征向量；将目标历史轨迹特征向量与位置编码向量相加之后输入第一矢量网络，得到目标历史轨迹线特征向量；将场景特征向量输入第二矢量网络，得到场景轨迹线特征向量；将目标历史轨迹线特征向量、场景轨迹线特征向量和历史与场景交叉mask输入第一自注意力模型，得到历史与场景交互特征向量；将历史与场景交互特征向量与预测位置特征向量相加，得到位移特征向量；基于cumsum函数对位移特征向量进行处理，得到累加位移特征向量；将累加位移特征向量与目标位置特征向量相加，得到未来轨迹点特征向量；将未来轨迹点特征向量输入第三矢量网络中，得到第一未来轨迹线特征向量；将第一未来轨迹线特征向量、场景特征向量和未来与场景交叉mask输入第二自注意力模型，得到第二未来轨迹线特征向量；将第二未来轨迹线特征向量、目标历史轨迹线特征向量和历史与未来交叉mask输入第三自注意力模型，得到第三未来轨迹线特征向量；将第三未来轨迹线特征向量与位移特征向量相加之后输入映射层，得到一阶差分结果；
其中，位置编码向量由目标交通参与者的历史轨迹确定，预测位置特征向量由目标交通参与者的未来轨迹确定。预测位置特征向量中包含预测轨迹的时间特征。本发明实施例基于位移特征向量进行残差操作，以恢复预测轨迹的差分信息。
54.其中，上述几种矢量网络还可以用图神经网络来替代，嵌入层还可以使用多层感知器来实现同样的功能。
55.目标交通参与者与场景的交互特征包括：历史与场景交互特征向量、第二未来轨迹线特征向量。其中，历史与场景交互特征也可以用第一未来轨迹线特征向量替代。
56.本发明实施例通过第一自注意力模型学习历史轨迹与场景之间的交互关系，通过第二自注意力模型学习预测的未来轨迹与场景之间的交互关系，通过第三自注意力模型学习历史轨迹与预测的未来轨迹之间的关系，通过上述多重注意力机制，提高轨迹预测的准确度。
57.如图3所示，一种轨迹预测方法，包括：步骤301：获取自车的历史轨迹、自车所在场景中交通参与者的历史轨迹、交通参与者的未来轨迹和与交通参与者相关的地图特征。
58.步骤302：分别将自车的历史轨迹、交通参与者的历史轨迹、交通参与者的未来轨迹和地图特征转换至相对坐标系下。
59.其中，相对坐标系的原点位于自车的历史轨迹上。
60.步骤303：从多个交通参与者中选择目标交通参与者，获取目标交通参与者当前所在的位置。
61.步骤304：将转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹、目标交通参与者当前所在的位置和转换后的地图特征输入神经网络模型，得到一阶差分结果。
62.其中，神经网络模型通过自注意力机制获得目标交通参与者与场景的交互特征，并基于目标交通参与者与场景的交互特征得到一阶差分结果。
63.步骤305：基于一阶差分结果和目标交通参与者当前所在的位置，计算目标交通参与者的预测轨迹。
64.步骤306：基于预测轨迹和转换后的目标交通参与者的未来轨迹，计算损失函数的损失值。
65.步骤307：基于损失值调整神经网络模型的参数。
66.步骤308：目标交通参与者与场景的交互特征基于训练好的神经网络模型，预测当前交通参与者的轨迹。
67.例如，通过自车1的历史轨迹、自车1所在场景中交通参与者的历史轨迹等训练神经网络模型，基于训练好的神经网络模型预测自车2所在场景中交通参与者的轨迹。
68.本发明实施例使神经网络模型学习目标交通参与者与环境中其他交通参与者的交互关系，在轨迹预测过程中不仅考虑自身轨迹的变化趋势，还考虑了交通参与者之间的相互影响，提高轨迹预测的准确度。
69.如图4所示，本发明实施例提供了一种模型训练装置，包括：坐标转换模块401，配置为获取自车的历史轨迹、自车所在场景中交通参与者的历史轨迹、交通参与者的未来轨迹和与交通参与者相关的地图特征；分别将自车的历史轨迹、
交通参与者的历史轨迹、交通参与者的未来轨迹和地图特征转换至相对坐标系下；其中，相对坐标系的原点位于自车的历史轨迹上；训练模块402，配置为从多个交通参与者中选择目标交通参与者，获取目标交通参与者当前所在的位置；将转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹、目标交通参与者当前所在的位置和转换后的地图特征输入神经网络模型，得到一阶差分结果；其中，神经网络模型通过自注意力机制获得目标交通参与者与场景的交互特征，并基于目标交通参与者与场景的交互特征得到一阶差分结果；训练模块403，配置为基于一阶差分结果和目标交通参与者当前所在的位置，计算目标交通参与者的预测轨迹；基于预测轨迹和转换后的目标交通参与者的未来轨迹，计算损失函数的损失值；基于损失值调整神经网络模型的参数。
70.在本发明的一个实施例中，相对坐标系的原点，为自车的历史轨迹中，按照时间由远及近的顺序，最后一帧轨迹点；相对坐标系的x轴，为自车的历史轨迹中，按照时间由远及近的顺序，最后一帧轨迹点指向第一帧轨迹点的朝向；相对坐标系的y轴，为当左手食指指向自车的朝向时，左手拇指的朝向。
71.在本发明的一个实施例中，训练模块402，配置为基于转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹和转换后的地图特征，构建历史与场景交叉mask；基于转换后的目标交通参与者的未来轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹和转换后的地图特征，构建未来与场景交叉mask；基于转换后的目标交通参与者的历史轨迹和未来轨迹，构建历史与未来交叉mask；将转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹、目标交通参与者当前所在的位置、历史与场景交叉mask、未来与场景交叉mask、历史与未来交叉mask和转换后的地图特征输入神经网络模型。
72.在本发明的一个实施例中，神经网络模型包括：轨迹嵌入层、场景嵌入层、位置嵌入层、第一矢量网络、第二矢量网络、第一自注意力模型、第三矢量网络、第二自注意力模型、第三自注意力模型和映射层；训练模块402，配置为将转换后的目标交通参与者的历史轨迹输入轨迹嵌入层，得到目标历史轨迹特征向量；将转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹和转换后的地图特征输入场景嵌入层，得到场景特征向量；将目标交通参与者当前所在的位置输入位置嵌入层，得到目标位置特征向量；将目标历史轨迹特征向量与位置编码向量相加之后输入第一矢量网络，得到目标历史轨迹线特征向量；将场景特征向量输入第二矢量网络，得到场景轨迹线特征向量；将目标历史轨迹线特征向量、场景轨迹线特征向量和历史与场景交叉mask输入第一自注意力模型，得到历史与场景交互特征向量；将历史与场景交互特征向量与预测位置特征向量相加，得到位移特征向量；基于cumsum函数对位移特征向量进行处理，得到累加位移特征向量；将累加位移特征向量与目标位置特征向量相加，得到未来轨迹点特征向量；将未来轨迹点特征向量输入第三矢量网络中，得到第一未来轨迹线特征向量；将第一未来轨迹线特征向量、场景特征向量和未来与场景交叉mask输入第二自注意力模型，得到第二未来轨迹线特征向量；将第二未来轨迹线特征向量、目标历史
轨迹线特征向量和历史与未来交叉mask输入第三自注意力模型，得到第三未来轨迹线特征向量；将第三未来轨迹线特征向量与位移特征向量相加之后输入映射层，得到一阶差分结果；其中，位置编码向量由目标交通参与者的历史轨迹确定，预测位置特征向量由目标交通参与者的未来轨迹确定。
73.在本发明的一个实施例中，训练模块402，配置为基于转换后的目标交通参与者的历史轨迹，确定历史时间段内交通参与者的数量；基于转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹和转换后的地图特征，确定历史时间段内场景包含的轨迹线的数量；基于预设的交通参与者数量阈值、预设的轨迹线数量阈值、历史时间段内交通参与者的数量和场景包含的轨迹线的数量，构建历史与场景交叉mask；基于转换后的目标交通参与者的未来轨迹，确定未来时间段内交通参与者的数量；基于交通参与者数量阈值、轨迹线数量阈值、未来时间段内交通参与者的数量和场景包含的轨迹线的数量，构建未来与场景交叉mask；基于历史时间段内交通参与者的数量、未来时间段内交通参与者的数量和交通参与者数量阈值，构建历史与未来交叉mask。
74.如图5所示，本发明实施例提供了一种轨迹预测装置，包括：坐标转换模块501，配置为获取自车的历史轨迹、自车所在场景中交通参与者的历史轨迹、交通参与者的未来轨迹和与交通参与者相关的地图特征；分别将自车的历史轨迹、交通参与者的历史轨迹、交通参与者的未来轨迹和地图特征转换至相对坐标系下；其中，相对坐标系的原点位于自车的历史轨迹上；从多个交通参与者中选择目标交通参与者，获取目标交通参与者当前所在的位置；训练模块502，配置为将转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹、目标交通参与者当前所在的位置和转换后的地图特征输入神经网络模型，得到一阶差分结果；其中，神经网络模型通过自注意力机制获得目标交通参与者与场景的交互特征，并基于目标交通参与者与场景的交互特征得到一阶差分结果；调整模块503，配置为基于一阶差分结果和目标交通参与者当前所在的位置，计算目标交通参与者的预测轨迹；基于预测轨迹和转换后的目标交通参与者的未来轨迹，计算损失函数的损失值；基于损失值调整神经网络模型的参数；预测模块504，配置为基于训练好的神经网络模型，预测当前交通参与者的轨迹。
75.本发明实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述任一实施例的方法。
76.本发明实施例提供了一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现如上述任一实施例的方法。
77.下面参考图6，其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
78.如图6所示，计算机系统600包括中央处理单元（cpu）601，其可以根据存储在只读
存储器（rom）602中的程序或者从存储部分608加载到随机访问存储器（ram）603中的程序而执行各种适当的动作和处理。在ram 603中，还存储有系统600操作所需的各种程序和数据。cpu 601、rom 602以及ram 603通过总线604彼此相连。输入/输出（i/o）接口605也连接至总线604。
79.以下部件连接至i/o接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管（crt）、液晶显示器（lcd）等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
80.特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元（cpu）601执行时，执行本发明的系统中限定的上述功能。
81.需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑磁盘只读存储器（cd-rom）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
82.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组
合来实现。
83.描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。
84.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：
1.一种模型训练方法，其特征在于，包括：获取自车的历史轨迹、所述自车所在场景中交通参与者的历史轨迹、所述交通参与者的未来轨迹和与所述交通参与者相关的地图特征；分别将所述自车的历史轨迹、所述交通参与者的历史轨迹、所述交通参与者的未来轨迹和所述地图特征转换至相对坐标系下；其中，所述相对坐标系的原点位于所述自车的历史轨迹上；从多个所述交通参与者中选择目标交通参与者，获取所述目标交通参与者当前所在的位置；将转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹、所述目标交通参与者当前所在的位置和转换后的地图特征输入神经网络模型，得到一阶差分结果；其中，所述神经网络模型通过自注意力机制获得目标交通参与者与场景的交互特征，并基于目标交通参与者与场景的交互特征得到所述一阶差分结果；基于所述一阶差分结果和所述目标交通参与者当前所在的位置，计算所述目标交通参与者的预测轨迹；基于所述预测轨迹和转换后的所述目标交通参与者的未来轨迹，计算损失函数的损失值；基于所述损失值调整所述神经网络模型的参数。2.如权利要求1所述的方法，其特征在于，所述相对坐标系的原点，为所述自车的历史轨迹中，按照时间由远及近的顺序，最后一帧轨迹点；所述相对坐标系的x轴，为所述自车的历史轨迹中，按照时间由远及近的顺序，最后一帧轨迹点指向第一帧轨迹点的朝向；所述相对坐标系的y轴，为当左手食指指向所述自车的朝向时，左手拇指的朝向。3.如权利要求1所述的方法，其特征在于，进一步包括：基于转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹和转换后的地图特征，构建历史与场景交叉mask；基于转换后的目标交通参与者的未来轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹和转换后的地图特征，构建未来与场景交叉mask；基于转换后的目标交通参与者的历史轨迹和未来轨迹，构建历史与未来交叉mask；将转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹、所述目标交通参与者当前所在的位置和转换后的地图特征输入神经网络模型，得到一阶差分结果，包括：将转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹、所述目标交通参与者当前所在的位置、所述历史与场景交叉mask、所述未来与场景交叉mask、所述历史与未来交叉mask和转换后的地图特征输入神经网络模型。4.如权利要求3所述的方法，其特征在于，所述神经网络模型包括：轨迹嵌入层、场景嵌入层、位置嵌入层、第一矢量网络、第二矢
量网络、第一自注意力模型、第三矢量网络、第二自注意力模型、第三自注意力模型和映射层；将转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹、所述目标交通参与者当前所在的位置、所述历史与场景交叉mask、所述未来与场景交叉mask、所述历史与未来交叉mask和转换后的地图特征输入神经网络模型，得到一阶差分结果，包括：将转换后的目标交通参与者的历史轨迹输入所述轨迹嵌入层，得到目标历史轨迹特征向量；将转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹和转换后的地图特征输入所述场景嵌入层，得到场景特征向量；将所述目标交通参与者当前所在的位置输入所述位置嵌入层，得到目标位置特征向量；将所述目标历史轨迹特征向量与位置编码向量相加之后输入所述第一矢量网络，得到目标历史轨迹线特征向量；将所述场景特征向量输入所述第二矢量网络，得到场景轨迹线特征向量；将所述目标历史轨迹线特征向量、所述场景轨迹线特征向量和所述历史与场景交叉mask输入第一自注意力模型，得到历史与场景交互特征向量；将所述历史与场景交互特征向量与预测位置特征向量相加，得到位移特征向量；基于cumsum函数对所述位移特征向量进行处理，得到累加位移特征向量；将所述累加位移特征向量与所述目标位置特征向量相加，得到未来轨迹点特征向量；将所述未来轨迹点特征向量输入所述第三矢量网络中，得到第一未来轨迹线特征向量；将所述第一未来轨迹线特征向量、所述场景特征向量和所述未来与场景交叉mask输入所述第二自注意力模型，得到第二未来轨迹线特征向量；将所述第二未来轨迹线特征向量、所述目标历史轨迹线特征向量和所述历史与未来交叉mask输入所述第三自注意力模型，得到第三未来轨迹线特征向量；将所述第三未来轨迹线特征向量与所述位移特征向量相加之后输入映射层，得到所述一阶差分结果；其中，所述位置编码向量由所述目标交通参与者的历史轨迹确定，所述预测位置特征向量由所述目标交通参与者的未来轨迹确定。5.如权利要求3所述的方法，其特征在于，基于转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹和转换后的地图特征，构建历史与场景交叉mask，包括：基于转换后的目标交通参与者的历史轨迹，确定历史时间段内交通参与者的数量；基于转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹和转换后的地图特征，确定所述历史时间段内场景包含的轨迹线的数量；基于预设的交通参与者数量阈值、预设的轨迹线数量阈值、所述历史时间段内交通参与者的数量和场景包含的轨迹线的数量，构建历史与场景交叉mask；基于转换后的目标交通参与者的未来轨迹、转换后的自车的历史轨迹、转换后的其他
交通参与者的历史轨迹和转换后的地图特征，构建未来与场景交叉mask，包括：基于转换后的目标交通参与者的未来轨迹，确定未来时间段内交通参与者的数量；基于所述交通参与者数量阈值、所述轨迹线数量阈值、所述未来时间段内交通参与者的数量和所述场景包含的轨迹线的数量，构建未来与场景交叉mask；基于转换后的目标交通参与者的历史轨迹和未来轨迹，构建历史与未来交叉mask，包括：基于所述历史时间段内交通参与者的数量、所述未来时间段内交通参与者的数量和所述交通参与者数量阈值，构建历史与未来交叉mask。6.一种轨迹预测方法，其特征在于，包括：获取自车的历史轨迹、所述自车所在场景中交通参与者的历史轨迹、所述交通参与者的未来轨迹和与所述交通参与者相关的地图特征；分别将所述自车的历史轨迹、所述交通参与者的历史轨迹、所述交通参与者的未来轨迹和所述地图特征转换至相对坐标系下；其中，所述相对坐标系的原点位于所述自车的历史轨迹上；从多个所述交通参与者中选择目标交通参与者，获取所述目标交通参与者当前所在的位置；将转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹、所述目标交通参与者当前所在的位置和转换后的地图特征输入神经网络模型，得到一阶差分结果；其中，所述神经网络模型通过自注意力机制获得目标交通参与者与场景的交互特征，并基于目标交通参与者与场景的交互特征得到所述一阶差分结果；基于所述一阶差分结果和所述目标交通参与者当前所在的位置，计算所述目标交通参与者的预测轨迹；基于所述预测轨迹和转换后的所述目标交通参与者的未来轨迹，计算损失函数的损失值；基于所述损失值调整所述神经网络模型的参数；基于训练好的神经网络模型，预测当前交通参与者的轨迹。7.一种模型训练装置，其特征在于，包括：坐标转换模块，配置为获取自车的历史轨迹、所述自车所在场景中交通参与者的历史轨迹、所述交通参与者的未来轨迹和与所述交通参与者相关的地图特征；分别将所述自车的历史轨迹、所述交通参与者的历史轨迹、所述交通参与者的未来轨迹和所述地图特征转换至相对坐标系下；其中，所述相对坐标系的原点位于所述自车的历史轨迹上；训练模块，配置为从多个所述交通参与者中选择目标交通参与者，获取所述目标交通参与者当前所在的位置；将转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹、所述目标交通参与者当前所在的位置和转换后的地图特征输入神经网络模型，得到一阶差分结果；其中，所述神经网络模型通过自注意力机制获得目标交通参与者与场景的交互特征，并基于目标交通参与者与场景的交互特征得到所述一阶差分结果；调整模块，配置为基于所述一阶差分结果和所述目标交通参与者当前所在的位置，计
算所述目标交通参与者的预测轨迹；基于所述预测轨迹和转换后的所述目标交通参与者的未来轨迹，计算损失函数的损失值；基于所述损失值调整所述神经网络模型的参数。8.一种轨迹预测装置，其特征在于，包括：坐标转换模块，配置为获取自车的历史轨迹、所述自车所在场景中交通参与者的历史轨迹、所述交通参与者的未来轨迹和与所述交通参与者相关的地图特征；分别将所述自车的历史轨迹、所述交通参与者的历史轨迹、所述交通参与者的未来轨迹和所述地图特征转换至相对坐标系下；其中，所述相对坐标系的原点位于所述自车的历史轨迹上；从多个所述交通参与者中选择目标交通参与者，获取所述目标交通参与者当前所在的位置；训练模块，配置为将转换后的目标交通参与者的历史轨迹、转换后的自车的历史轨迹、转换后的其他交通参与者的历史轨迹、所述目标交通参与者当前所在的位置和转换后的地图特征输入神经网络模型，得到一阶差分结果；其中，所述神经网络模型通过自注意力机制获得目标交通参与者与场景的交互特征，并基于目标交通参与者与场景的交互特征得到所述一阶差分结果；调整模块，配置为基于所述一阶差分结果和所述目标交通参与者当前所在的位置，计算所述目标交通参与者的预测轨迹；基于所述预测轨迹和转换后的所述目标交通参与者的未来轨迹，计算损失函数的损失值；基于所述损失值调整所述神经网络模型的参数；预测模块，配置为基于训练好的神经网络模型，预测当前交通参与者的轨迹。9.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。

技术总结
本发明公开了模型训练方法和装置、轨迹预测方法和装置，涉及自动驾驶技术领域。该方法包括：分别将自车的历史轨迹、交通参与者的历史轨迹、交通参与者的未来轨迹和地图特征转换至相对坐标系下；获取目标交通参与者当前所在的位置；将转换后目标交通参与者的历史轨迹、转换后自车的历史轨迹、转换后其他交通参与者的历史轨迹、目标交通参与者当前所在的位置和转换后的地图特征输入神经网络模型，得到一阶差分结果；基于一阶差分结果和目标交通参与者当前所在的位置，计算目标交通参与者的预测轨迹；基于预测轨迹和转换后目标交通参与者的未来轨迹，计算损失函数的损失值；基于损失值调整神经网络模型的参数。该实施方式能够提高轨迹预测的准确度。迹预测的准确度。迹预测的准确度。


技术研发人员：陈昌浩 李勇强 吕强 苗乾坤
受保护的技术使用者：新石器慧通（北京）科技有限公司
技术研发日：2023.07.11
技术公布日：2023/8/9