用于预测交通场景的未来发展的计算机实现的系统和方法与流程

1.本发明涉及一种用于预测交通场景的未来发展的计算机实现的系统以及方法。


背景技术：

2.对交通场景的未来发展的预测可以在静止应用的框架内使用，诸如在固定安装的交通控制系统中，该交通控制系统监控在所限定的空间区域内的交通状况。接着，这种交通控制系统可以基于该预测已经及早地提供相对应的信息以及必要时也提供驾驶建议，以便控制在监控区域内以及在其周围的交通流。
3.这里谈到的用于预测交通场景的未来发展的计算机实现的系统和方法的另一重要应用领域是移动应用，诸如具有辅助功能的车辆。这样，自动化车辆不仅必须检测这些车辆当前处在何种交通状况下，而且必须预测该交通状况如何发展，以便能够计划安全且易于理解的机动。
4.经典的预测方法通常执行基于运动学/动力学的预测。这些方法所提供的预测大多只在很短的时间内有用，例如不到2s。出于该原因，近年来，使用机器学习、尤其是深度学习（deep learning，dl）已成为预测的事实标准。在此，为了表示交通场景，通常使用二元或颜色编码的自上而下网格、图表示和/或激光雷达反射。通常预测所涉及的交通成员、即车辆、骑自行车的人、行人等等的未来轨迹，作为对交通场景的未来发展的预测。
5.已知多模态预测，其中针对每个交通成员预测多个特定于模式的轨迹。在此，每条轨迹都代表相应交通成员的可能的未来行为方式，但是没有考虑其余交通成员的行为方式。因此，在这种情况下也没有考虑在这些交通成员之间的可能出现的交互。即，这种多模态预测完全忽略了入口场景的发展。这在几个方面被证实是有问题。这样，计算花费非常高并且部分是不必要的，原因在于对于每个交通成员来说通常也计算与其他交通成员的轨迹不兼容的轨迹。此外，这种预测只是在有限范围内有效力并且例如最多只能有限地被用于自动化车辆的计划组件。


技术实现要素：

6.本发明提出了如下措施，通过这些措施实现了预测的重大意义。此外，用于该预测的计算花费可以借助于所提出的措施来合理地被限制。
7.本发明的实质和优点按照本发明，这借助于用于预测交通场景的未来发展的计算机实现的系统来实现，该系统至少包括如下组件：
•ꢀ
感知层，用于聚合入口场景的特定于场景的信息；
•ꢀ
骨干网络，用于基于特定于场景的信息来生成潜在特征的特征集；
•ꢀ
分类器，该分类器基于该特征集来评价用于该入口场景的未来发展的指定数量的不同模式；以及
•ꢀ
对于每个模式来说，有预测模块，用于生成针对该入口场景的未来发展的预测，
其中至少一个预测模块能选择性地被激活。
8.因此，按照本发明的系统具有多级架构。在第一级，该入口场景依据特征集来表征，该特征集是基于特定于场景的信息来获得的——感知层与骨干网络相结合。在第二级，关于该入口场景的未来发展的不确定性被评估，其方式是基于该特征集来评价用于该入口场景的未来发展的不同模式——分类器。第三级包括被分配给各个模式的能选择性地激活的预测模块。在激活时，这些预测模块中的每个预测模块分别只为该入口场景的每个交通成员提供单个轨迹或者一组相似轨迹作为预测，其中这些相似轨迹接着基于用于该入口场景的发展的共同意图。在此，轨迹可以以确定性或概率性的形式或者以样本形式来描述。
9.借助于该多级架构，可以非常容易标识各个模式，这些模式表示入口场景的“合理的”发展，即满足指定的选择标准。如果接着仅激活相对应的预测模块，则只生成针对该入口场景的合理发展的预测。这大大有助于该预测的重要性。此外，计算花费借此可以容易被保持在限度内。
10.因此，按照本发明的系统提供多模态预测，该多模态预测不是——像从现有技术中公知的多模态预测那样——涉及该入口场景的每个单独的交通成员的所有可能的未来行为方式，而是涉及用于该入口场景整个的发展的多个不同模式。
11.上述按照本发明的设计也基于所要求保护的用于预测交通场景的未来发展的计算机实现的方法，该方法至少包括如下步骤：
•ꢀ
聚合入口场景的特定于场景的信息；
•ꢀ
借助于骨干网络，基于特定于场景的信息来生成潜在特征的至少一个特征集；
•ꢀ
借助于分类器，基于该特征集来评价用于该入口场景的未来发展的指定数量的不同模式；
•ꢀ
基于该分类器的评价来选择至少一个模式并且激活至少一个被分配给所选择的模式的预测模块；而且
•ꢀ
借助于至少一个被激活的预测模块，生成针对该入口场景的未来发展的预测。
12.如已经提及的那样，按照本发明的系统的能选择性地激活的预测模块有利地根据由分类器进行的对所分配的模式的评价来激活。分类器例如可能会进行对各个模式的二元评价，就“合理发展”或“排他性发展”而言。替代地，分类器也可以针对每个模式给予归一化的或非归一化的分数。在这种情况下，可能会根据阈值或者当指定固定数量的待激活预测模块时也通过比较或评级来做出关于激活所分配的预测模块的决策。
13.原则上，按照本发明的计算机实现的系统包括用于至少两个不同模式的至少两个预测模块，即针对每个模式包括各一个预测模块。预测模块可以是相同类型的预测模块或者也可以是不同类型的预测模块，只要每个预测模块针对入口场景中的每个交通成员提供用于该入口场景的所有交通成员的意图的特定组合的轨迹预测即可。分类器独立于所分配的预测模块的类型地评价这些不同模式。也独立于类型地激活各个预测模块。
14.在一个优选的变体中，按照本发明的计算机实现的系统包括至少一个预测模块，该预测模块以场景锚网络（san）的形式来实现并且在该激活的情况下基于由骨干网络所提供的特征集来生成针对入口场景的未来发展的预测。有利地，这种san与该系统的其它组件一起被训练，例如与骨干网络和/或分类器一起被训练，以便关于该系统的预期应用来优化该预测。
15.特别有利的是：按照本发明的系统架构也能够实现基于模型的预测模块和/或以被预先训练的预测网络为形式的预测模块的集成。这些预测模块通常将无法使用由骨干网络提供的特征集来进行该预测。作为替代，这些预测模块可以动用感知层并且基于特定于场景的信息来生成预测。有利地，使用基于模型的预测模块可以有助于限制该预测的计算花费。
16.按照本发明的系统包括感知层，用于聚合入口场景的特定于场景的信息。有利地，这些特定于场景的信息包括关于入口场景的语义信息，尤其是地图信息。这些语义信息不仅可以在本地被提供，例如由本地存储单元来提供，或者也可以能集中调用，例如经由云。此外，这些特定于场景的信息有利地包括关于入口场景中的交通成员的信息。在此，令人特别感兴趣的是关于各个交通成员的当前运动状态和/或所走过的轨迹的信息。此类信息可以由传感器系统来检测和提供，这些传感器系统例如包括传感器，如视频、激光雷达和雷达，或者也包括gps（全球定位系统（global positioning system））与经典惯性传感器相结合。
17.接着，聚合的特定于场景的信息必须被转变成能由骨干网络处理的数据表示，这优选地同样在感知层中进行。在本发明的一个有利的变体中，这些特定于场景的信息附加地也还被转变成能由预先训练的预测网络处理的数据表示，即感知层提供这些特定于场景的信息的多种不同的数据表示。如果骨干网络和/或预先训练的预测网络以图神经网络（gnn）的形式来实现，则这些特定于场景的信息被转变成图表示。如果骨干网络或者预先训练的预测网络是卷积神经网络（cnn），则这些特定于场景的信息被转变成网格表示或者必要时也被转变成体素网格表示。
18.原则上，在本发明的范围内，可以使用任何分类器，该分类器基于该特征集来评价用于入口场景的未来发展的指定数量的不同模式。可以使用分类器来实现特别有效力的结果，该分类器以神经网络的形式来实现，原因在于该分类器的输入参量、即该特征集已经是神经网络的结果，即骨干网络的输出。
19.分类器网络的类型必须根据由骨干网络提供的特征集的数据表示来选择。如果骨干网络生成特征向量，则该分类器有利地以前馈神经网络的形式来实现。
附图说明
20.随后，依据附图来讨论本发明的有利的实施方式和扩展方案。
21.图1a)至1d)阐明了本发明所基于的问题；图2示出了按照本发明的用于预测交通场景10的未来发展的系统的第一变体的示意图；以及图3示出了按照本发明的系统的第二变体的示意图。
具体实施方式
22.如上文已经阐述的那样，按照本发明的系统提供多模态预测，该多模态预测涉及用于交通入口场景的可能的合理发展的多个不同模式。在此，入口场景的可能的发展被视为整体——即不仅仅在每个单独的交通成员的层面，其方式是例如也考虑在入口场景的交通成员与先行规则之间的交互。
23.这通过图1a)至1d)被阐明。这里示出了在t形交叉路口处的有两个车辆11和12参与的交通场景10的四种可能的合理发展。在图1b和1d中，车辆11通过其在左转时遵守先行规则来与车辆12进行交互。根据这两个车辆11和12距交叉路口的距离，其中车辆11忽略先行或者穿过车辆12的预测不合理或者至少不太可能。
24.为了阐明本发明的思想，在随后描述的实施例中，给入口场景的在图1a)至1d)中示出的可能的发展中的每个发展都分配一个模式和一个预测模块。
25.然而，在此处应明确指出：按照本发明的系统基于指定数量的模式并且与此相对应地也只包括指定数量的预测模块。因此，入口场景的多个、必要时非常不一样的可能的发展通常被组合在一个模式中并且由分类器来评价。这样，按照本发明的系统例如也可能会只提供两个模式并且相对应地提供两个不同的预测模块，以便识别“高速公路行驶”上下文并且进行针对“高速公路行驶”上下文或者替代地针对“非高速公路行驶”上下文的预测。
26.图2中的图示阐明了多级架构以及按照本发明的用于预测交通场景、这里是交通场景10的未来发展的系统100的工作原理，该交通场景形成入口场景。
27.该系统100配备有感知层110，用于聚合入口场景10的特定于场景的信息。这些特定于场景的信息包括地图信息和所谓的对象列表，这些对象列表具有关于所涉及的交通成员、这里是车辆11和12的当前状态的信息。这些特定于场景的信息还包括历史数据，这里是车辆11和12所走过的轨迹。在这里所描述的实施例中，聚合的特定于场景的信息在感知层110上被转变成图表示111并且以这种方式被输送给骨干网络120，该骨干网络以图神经网络（gnn）的形式来实现。
28.除了所描述的图表示之外，也可以根据对象列表、历史数据以及地图信息来生成网格表示。在这种情况下，骨干网络应该优选地以卷积神经网络（cnn）的形式来设计。这些特定于场景的信息也可以以来自入口场景的当前以及过去的记录的激光雷达反射的形式存在。在这种情况下，数据表示以体素网格的形式出现。原则上，这些特定于场景的信息可以被转变成如下任何数据表示，该数据表示允许呈现在入口场景中的所有或者至少重要的对象以及语义场景信息而且该数据表示与骨干网络的结构或类型兼容。
29.在当前情况下，骨干网络120基于这些特定于场景的信息的图表示111来生成表征该入口场景的潜在特征的特征向量130。
30.特征向量130被输送给分类器140，该分类器在当前实施例中以前馈神经网络的形式实现。基于特征向量130，分类器140评价用于入口场景10的可能的未来发展的指定数量的不同模式。如已经结合图1a)至1d)所阐述的那样，这里所描述的系统100根据入口场景10的四种不同的可能的合理发展来提供四个不同模式。为了评价各个模式，分类器140基于特征向量130来生成如下向量，该向量由这些不同模式的各个分数组成。然后，将其分数高于或低于阈值的那些模式选择为重要的。但是，依据这些分数，例如也可以选择n个最佳模式，即n个分数最高的模式。以这种方式，在分类器140的级上就已经可以从该预测中排除入口场景的较不可能的发展，在当前情况下例如是不遵守先行规则或者车辆11穿过车辆12。
31.对于每个模式来说，按照本发明的系统100都包括预测模块161至164，其中这些预测模块161至164中的至少一个预测模块能选择性地被激活。在该激活的情况下，每个预测模块161至164都生成针对入口场景的未来发展的预测。每个预测都包括入口场景的每个交通成员、这里即车辆11和12的各一条轨迹。这些轨迹可以确定性地被描述，其方式是针对预
测轨迹的每个时间点说明各一个状态值——位置、方向、速度、加速度等等。但是，这些轨迹也可以概率性地被确定，例如以针对预测轨迹的每个时间点的高斯密度的形式，即通过状态的平均值以及相关的协方差。同样可能的是以来自所预测的分布中的样本为形式的非参数概率轨迹表示。
32.在图2中所示出的实施例中，全部四个预测模块都是能选择性地激活的场景锚网络（san），向这些场景锚网络提供特征向量130。即，在当前情况下，只有其模式由于分类器140的评价而已经被选择的那些san被激活。而且这些被激活的san中的每个都基于由骨干网络120所提供的特征向量130来分别生成针对入口场景的未来场景的预测。
33.在图3中示出的按照本发明的系统200与在图2中示出的系统100的区别仅在于这四个预测模块的情况。在系统200的情况下，仅三个预测模块161至163以san的形式实现，向其提供特征向量130。对于这四个模式之一，这里提供经典的基于模型的预测模块170。向预测模块170提供在感知层110上聚合的特定于场景的信息。即，预测模块170基于这些特定于场景的信息来生成针对入口场景的未来发展的预测。
34.上述实施例阐明了所要求保护的用于预测交通场景的未来发展的系统和方法的反映发明本质的方面。按照本发明的系统架构基于能选择性地激活的预测模块的集合，这些预测模块中的每个预测模块都为入口场景中的每个交通成员提供一个或多个轨迹预测，用于在该场景中的交通成员的意图的特定组合。有利地，san（场景锚网络）被用作预测模块，但是也可以纳入经典的预测模块或者单独训练的基于dl的预测模块。还提供分类器，优选地以神经网络的形式，该分类器为每个预测模块提供评价、例如分数。该分数用作相应的预测模块的预测的合理性的量度。在不失一般性的情况下，这种分数可以归一化。在运行时并不是执行所要预测模块，而是只执行其评价满足指定的选择标准的那些预测模块。这具有如下优点：只针对入口场景的合理发展生成预测。特别有利的是：所提出的系统架构允许基于dl的预测与经典的预测的组合，其方式是除了san之外也可以使用其它的、例如基于计划的预测模块。这些预测模块可以已经一并包含在对分类器网络的训练中。以这种方式，除了基于dl的预测模块之外，该分类器网络也学习评价经典的预测模块并且当如果其使用合理则在运行时选择这些经典的预测模块。
35.根据在按照本发明的系统的架构中的变体可能性，也存在用于训练这种系统的不同方法。
36.不同训练方法的共同点是：
•ꢀ
骨干网络基于特定于场景的训练数据来生成学习阶段特征集；
•ꢀ
分类器网络基于该学习阶段特征集来生成不同模式的学习阶段评价；
•ꢀ
每个预测模块都生成针对入口场景的未来发展的预测；而且
•ꢀ
针对每个预测模块，确定相应预测与入口场景的实际发展的偏差并且从该偏差中得出对所分配的模式的实际评价。对模式的实际评价例如可以被限定为该偏差的倒数。
37.此外，在不同的训练方法中，骨干网络总是与分类器网络一起被训练，其方式是骨干网络的权重和/或分类器网络的权重被修改为使得在不同模式的学习阶段评价与实际评价之间的偏差被减小。该偏差可以以所谓的损失函数的形式来表示。
38.如已经结合按照本发明的系统详细阐述的那样，每个预测模块都为入口场景中的每个交通成员生成作为入口场景的未来发展的一个或多个确定性和/或概率性的预测轨
迹，作为针对入口场景的未来发展的预测。在训练方法的框架内，分别确定在来自该入口场景中的交通成员的预测轨迹与实际轨迹、即所谓的地面实况（ground-truth）轨迹之间的偏差。接着，基于这样确定的偏差，得出对被分配给相应的预测模块的模式的实际评价。
39.在使用如下标记法的情况下：通过网络/经典模型针对车辆所预测的轨迹车辆的地面实况轨迹（包含在数据中）在预测轨迹中的车辆在时间点的位置轨迹的预测范围在场景中的车辆的数量被训练的san的数量经典模型/预先训练的网络的数量模型/san的分类器分数，可以限定针对在预测轨迹与实际轨迹或地面实况轨迹之间的距离的如下量度：以预先训练的预测网络的形式或者以基于模型的预测模块的形式实现的预测模块与骨干网络所提供的学习阶段特征集无关地、而是基于训练数据来生成针对入口场景的未来发展的预测。即，如果只有分类器网络利用与骨干网络相关的参数来训练，则可以使用如下函数作为损失函数。因此，训练方法的目的在于规定分数，使得这些分数与预测轨迹距地面实况、即实际轨迹的距离成反比。以这种方式，可以将场景预测得最好的预测模块得到最佳分数。在中的脚注代表场景。总损失函数是在训练数据集中的所有场景的总和。
40.特别有利的是：骨干网络和分类器网络与至少一个事先未训练的预测模块一起来训练。在这种情况下，针对潜在特征的特征集，更加可以找到合理的多样性，该多样性不仅对于分类器、即对不同模式的表征和评价来说重要，而对于预测来说重要。
41.针对这种情况，训练方法附加地规定：
•
至少一个未训练的预测网络基于训练数据和/或学习阶段特征集来生成针对入口场景的未来发展的学习阶段预测；
•
确定学习阶段预测与入口场景的实际发展的偏差并且从该偏差中得出对所分
配的模式的实际评价；而且
•ꢀ
骨干网络的权重和/或分类器网络的权重和/或至少一个未训练的预测网络的权重被修改为使得在不同模式的学习阶段评价与实际评价之间的偏差被减小。
42.这里，损失函数可以被设计得与在上述情况下一样，在该情况下，只有分类器网络结合骨干网络来训练。但是，现在也包含san的参数，使得这些参数同样被训练。
43.为了防止由待训练的san所预测的场景变得彼此过于类似，建议在修改权重时考虑另一标准，即所预测的场景的熵。即，在该训练方法的一个有利的变体中，骨干网络的权重和/或分类器网络的权重和/或至少一个未训练的预测网络的权重不仅被修改为使得在不同模式的学习阶段评价与实际评价之间的偏差被减小，而且还被修改为使得这些预测模块的预测的熵被增大。在这种情况下，再次考虑所有预测，即不仅考虑待训练的san的预测而且考虑预先训练的和经典的预测模块的预测。

技术特征：
1.一种用于预测交通场景（10）的未来发展的计算机实现的系统（100），所述系统至少包括：a. 感知层（110），用于聚合入口场景的特定于场景的信息；b. 骨干网络（120），用于基于所述特定于场景的信息来生成潜在特征的特征集（130）；c. 分类器（140），所述分类器基于所述特征集（130）来评价用于所述入口场景的未来发展的指定数量的不同模式；以及d. 对于每个模式来说，有预测模块（161-164；170），用于生成针对所述入口场景的未来发展的预测，其中至少一个预测模块（161-164；170）能选择性地被激活。2.根据权利要求1所述的计算机实现的系统，其特征在于，对所述至少一个预测模块（161-164；170）的激活取决于由所述分类器进行的对所分配的模式的评价。3.根据权利要求1或2中任一项所述的计算机实现的系统，其特征在于，用于至少一个第一模式的至少一个第一预测模块（161-164）以场景锚网络（san）的形式来实现，所述第一预测模块基于所述特征集来生成针对所述入口场景的未来发展的预测。4.根据权利要求1至3中任一项所述的计算机实现的系统，其特征在于，用于至少一个另外的模式的至少一个另外的预测模块（170）以预先训练的预测网络的形式或者以基于模型的预测模块的形式来实现；而且所述另外的预测模块（170）基于所述特定于场景的信息来生成针对所述入口场景的未来发展的预测。5.根据权利要求1至4中任一项所述的计算机实现的系统，其特征在于，所述感知层（110）将关于所述入口场景的语义信息、尤其是地图信息和/或关于在所述入口场景中的交通成员的信息、尤其是关于所述交通成员的当前运动状态和/或所走过的轨迹的信息聚合，作为特定于场景的信息；而且所述感知层（110）将所述特定于场景的信息转变成能由所述骨干网络（120）处理的数据表示（111）和/或转变成能由预先训练的预测网络处理的数据表示。6.根据权利要求5所述的计算机实现的系统，其特征在于，所述特定于场景的信息被转变成图表示（111）或者网格表示或者体素网格表示；而且所述骨干网络（120）和/或所述预先训练的预测网络相对应地以图神经网络（gnn）的形式或者以卷积神经网络（cnn）的形式来实现。7.根据权利要求1至6中任一项所述的计算机实现的系统，其特征在于，所述分类器（140）以神经网络的形式来实现，所述分类器的类型取决于所述特征集（130）的数据表示。8.根据权利要求7所述的计算机实现的系统，其特征在于，所述骨干网络（120）生成以特征向量的形式的特征集（130）；而且所述分类器（140）以前馈神经网络的形式来实现。9.一种用于预测交通场景的未来发展的计算机实现的方法，所述方法具有如下步骤：a. 聚合入口场景的特定于场景的信息；b. 借助于骨干网络，基于所述特定于场景的信息来生成潜在特征的至少一个特征集；c. 借助于分类器，基于所述特征集来评价用于所述入口场景的未来发展的指定数量的不同模式；d. 基于所述分类器的评价来选择至少一个模式并且激活至少一个被分配给所选择的模式的预测模块；而且e. 借助于至少一个被激活的预测模块，生成针对所述入口场景的未来发展的预测。
10.根据权利要求9所述的计算机实现的方法，其特征在于，关于所述入口场景的语义信息、尤其是地图信息和/或关于在所述入口场景中的交通成员、尤其是所述交通成员的当前运动状态和/或所走过的轨迹的信息被聚合，作为特定于场景的信息；而且所述特定于场景的信息被转变成能由所述骨干网络处理的数据表示和/或被转变成能由预先训练的预测网络处理的数据表示。11.根据权利要求9或10中任一项所述的计算机实现的方法，其特征在于，激活至少一个以场景锚网络（san）的形式实现的预测模块，所述预测模块基于所述特征集来生成针对所述入口场景的未来发展的预测。12.根据权利要求9至11中任一项所述的计算机实现的方法，其特征在于，激活至少一个基于模型的预测模块和/或预先训练的预测网络，所述预测模块和/或预测网络基于所述特定于场景的信息来生成针对所述入口场景的未来发展的预测。13.根据权利要求9至12中任一项所述的计算机实现的方法，其特征在于，借助于至少一个被激活的预测模块，为在所述入口场景中的每个交通成员生成确定性的或概率性的参数或非参数轨迹，作为所述入口场景的未来发展。14.一种监控设备，其具有根据权利要求1至8中任一项所述的计算机实现的系统，用于执行根据权利要求9至13中任一项所述的方法。15.一种车辆模块，其具有根据权利要求1至8中任一项所述的计算机实现的系统，用于执行根据权利要求9至13中任一项所述的方法，尤其是用于车辆的轨迹计划和/或机动计划。

技术总结
本发明提出了一种用于预测交通场景（10）的未来发展的计算机实现的系统（100），借此可以实现预测的重大意义并且可以限制该预测的计算花费。为此，所述系统包括：a.感知层（110），用于聚合入口场景的特定于场景的信息；b.骨干网络（120），用于基于所述特定于场景的信息来生成潜在特征的特征集（130）；c.分类器（140），所述分类器基于所述特征集（130）来评价用于所述入口场景的未来发展的指定数量的不同模式；以及d.对于每个模式来说，有预测模块（161-164；170），用于生成针对所述入口场景的未来发展的预测，其中至少一个预测模块（161-164；170）能选择性地被激活。170）能选择性地被激活。170）能选择性地被激活。


技术研发人员：F
受保护的技术使用者：罗伯特
技术研发日：2022.11.29
技术公布日：2023/6/3