用于预测交通场景的未来发展的计算机实现的方法和系统与流程

1.本发明涉及用于预测交通场景的未来发展的计算机实现的方法和对应的系统。


背景技术：

2.交通场景的未来发展的预测可以用于固定应用的范围，例如在固定安装的交通控制系统中，该交通控制系统监视定义的空间区域中的交通状况。这样的交通控制系统然后可以基于所述预测在早期提供对应的信息并且必要时还提供驾驶建议，以控制受监视区域及其环境内的交通流量。预测交通场景的未来发展的另一个重要应用领域是移动应用，例如具有辅助功能的车辆。从而自动化车辆不仅必须获取其当前所处的交通状况，而且还必须预测这种交通状况将如何发展，以便能够规划安全且易于理解的机动操作。
3.经典的预测方法通常基于运动学/动力学进行预测。由此只能有条件地对交通参与者之间的交互建模。此外，这些方案提供的预测大多仅在非常短的时间内有意义，例如在不到2秒的时间内。出于这个原因，近年来机器学习，特别是深度学习(dl)的使用已成为预测的事实标准。
4.本发明的出发点是一种用于预测交通场景的未来发展的方法，包括以下步骤：
5.·
聚合交通场景的特定于场景的信息，
6.·
使用经过预训练的编码器网络将所述特定于场景的信息变换为潜在特征的多元概率分布的参量，
7.·
选择由所述参量确定的潜在特征的多元概率分布的样本，以及
8.·
使用经过预训练的解码器网络将每个选择的样本变换为输出集。
9.这种基于变分自动编码器(vae)架构或扩展(即条件变分自动编码器(cvae))的方法是已知的。与经典的自动编码器架构相比，vae和cvae架构除了编码器网络和解码器网络之外还包括概率组件。经典自动编码器的编码器网络用于将以聚合的特定于场景的信息形式存在的输入数据变换为潜在特征集，而vae/cvae架构的编码器网络将所述输入数据变换为潜在特征的多元概率分布的参量。然而，由于vae/cvae架构的解码器网络与经典自动编码器的解码器网络一样需要潜在特征集作为输入变量，因此将由所述参量确定的多元概率分布的各个样本用作输入变量。然后解码器网络为这些样本中的每单个样本生成一个输出集。
10.推理的质量在这里通过整个生成的输出集与基于编码器网络的输入数据产生的概率分布有多近似来决定性地确定。通常，推理的质量直接随着样本数量的增加而增加。这在随机选择样本(例如借助于蒙特卡罗模拟)的情况下尤其明显。被生成了输出集的样本的数量越大，就越近似于输出集的基础概率分布。
11.这在实践中证明是有问题的。因为通常只有有限的处理时间可用于推理，在所述有限的处理时间内只能处理相对较少数量的样本并生成对应数量的输出集。这样做的结果是对输出集的基础概率分布的近似不可避免地是次优的。此外，在给定潜在特征的概率分布和随机选择给定数量样本的情况下的推理是不可再现的，即推理在重复时会提供不同的
结果。此外还表明，根据预测任务的类型，向概率分布的各个样本赋予不同的重要性。在这些情况下，随机选择有限数量的样本存在以下风险，即生成的输出集过于不具体，或者在任何情况下都给出了预测问题解空间的扭曲映像。


技术实现要素：

12.本发明提出了一些措施，通过这些措施借助于vae/cvae架构在计算工作量可管理的同时显著提高了推理质量并因此显著提高了预测质量。
13.本发明的实质和优点
14.根据本发明，这是通过以下方式来实现的，即确定性地选择样本，使得每个所选择的样本代表潜在特征的多元概率分布的自己的区域，并且通过全部选择的样本对所述概率分布网格状地进行采样。
15.根据本发明的措施使用神经网络的连续性。该属性是潜在特征空间中的概率分布的网格状采样会提供输出集空间中的基础概率分布的对应采样的前提条件。通过这种方式可以系统地确保，即使只考虑有限数量的样本，也在推理期间考虑潜在特征的概率分布中对相应预测任务至关重要的部分。
16.重要的是全部选择的样本尽可能全面地代表潜在特征的概率分布。这例如可以通过对所述概率分布进行均匀采样来实现，即以均匀的网格分维进行采样，其中仅根据样本数量而与概率分布无关地选择所述网格分维。
17.在根据本发明的方法的变型中，所述采样不仅根据样本数量而且根据潜在特征的概率分布来进行。因此在这种情况下，所选择的样本之间的网格距离也根据这些样本在概率分布中的权重来加以选择。特别有利的是，具有高概率密度的区域比具有较低概率密度的区域被更紧密地采样，即具有高概率密度的区域中的网格比具有较低概率的区域中的网格更密。
18.替代于或附加于与均匀网格分维的偏差，所选择的样本的至少一部分可能在小范围内有噪声，但应当保持所选择的样本之间根据本发明的网格状距离关系。为此向以网格分维进行的采样(确定性采样)叠加噪声，这称为半确定性采样。
19.如已经提到的，在实践中通常只有潜在特征的概率分布的有限数量的样本可以用于推理。根据本发明的方法的一个优点是可以固定地预给定待选择样本的数量。基本上，在设定样本数量时必须始终在推理时间和推理质量之间进行权衡，即在可用于生成输出集的时间与整个生成的输出集与输出集的概率分布有多近似的质量之间进行权衡。有利地，在设定所述样本的数量和/或在选择所述样本时还考虑了所选择的样本与编码器网络和解码器网络的训练数据应当有多相似(地面实况)和/或整个生成的输出集有多好地提供多个不同的、预定的结果(实证意义)。
20.vae/cvae架构通常经过训练，使得通过编码器网络从输入数据中提取的潜在特征遵循多元标准正态分布作为概率分布。如果在根据本发明的方法的范围中使用这种经过预训练的var/cvae架构，则将特定于场景的信息优选地变换为预期值向量和协方差矩阵，因为多元标准正态分布是通过这些参量明确确定的。
21.原则上存在各种方法用于根据本发明对潜在特征的概率分布进行采样或用于选择用于推理的样本。在多元标准正态分布的情况下，以下方法特别合适，这将结合图2a至图
2f进行更详细的解释：
[0022]-无迹卡尔曼滤波器(ukf)采样，
[0023]-gauss-hermite正交卡尔曼滤波器(ghkf)采样，
[0024]-容积卡尔曼滤波器(ckf)采样，
[0025]-随机无迹卡尔曼滤波器(rukf)采样，
[0026]-非对称或对称的局部累积分布(lcd)采样。
[0027]
此外，为了实现上面详细描述的方法，提出了一种用于预测交通场景的未来发展的计算机实现的系统，所述系统包括感知层面，用于聚合交通场景的特定于场景的信息；经过预训练的编码器网络，用于将所述特定于场景的信息变换为潜在特征的多元概率分布的参量；采样器，用于选择由所述参量确定的潜在特征的多元概率分布的各个样本；以及经过预训练的解码器网络，用于将每个选择的样本变换为输出集。根据本发明，所述采样器被配置为确定性地选择样本，使得每个所选择的样本代表潜在特征的多元概率分布的自己的区域，并且通过全部选择的样本对所述概率分布网格状地进行采样。
[0028]
在根据本发明的系统的优选实施方式中，所述编码器网络和所述解码器网络是变分自动编码器(vae)架构或条件变分自动编码器(cvae)架构的组成部分。
附图说明
[0029]
下面基于附图讨论本发明的有利实施方式和扩展。
[0030]
图1说明了作为根据本发明的用于预测交通场景的未来发展的系统的主要组成部分的变分自动编码器(vae)架构的作用方式。
[0031]
图2a至图2f说明了根据本发明的六种不同的采样方案。
[0032]
图3a至图3d说明了与现有技术相比的根据本发明的方法的操作方式。
具体实施方式
[0033]
图1所示的vae架构10包括编码器网络12，用于将输入变量11变换为潜在特征的多元概率分布13的参量。此外，vae架构10包括采样器15，用于选择由所述参量确定的潜在特征的多元概率分布13的各个样本16。最后，vae架构10还包括解码器网络17，用于将每个选择的样本16变换为输出集18。
[0034]
编码器网络12和解码器网络17是经过预训练的。在此，向编码器网络12和解码器网络17施加了两个属性。一方面，解码器网络17为编码器网络12的给定输入变量11提供期望或预期的结果作为输出集18。另一方面，编码器网络12从输入变量11中提取的潜在特征遵循多元标准正态分布13。
[0035]
编码器网络12的输入变量11提供这里未示出的感知层面，利用所述感知层面聚合交通场景的特定于场景的信息。所述特定于场景的信息有利地包括关于交通场景的语义信息，特别是地图信息。这些语义信息既可以在本地提供，例如由本地存储单元提供，也可以集中调用，例如通过云。此外，特定于场景的信息有利地包括关于交通场景中的交通参与者的信息。在此，令人特别感兴趣的是关于各个交通参与者的当前运动状态和/或所经过的轨迹的信息。这种信息可以由传感器系统获取和提供，所述传感器系统例如包括诸如摄像机、激光雷达和雷达的传感器或者还包括gps(全球定位系统)结合经典的惯性传感器。
[0036]
然后将聚合的特定于场景的信息转换为可由编码器网络处理的数据表示，这优选同样在感知层面进行。例如，如果编码器网络以图神经网络(gnn)的形式实现，则将特定于场景的信息转换为图表示。如果编码器网络是卷积神经网络(cnn)，则将特定于场景的信息转换为网格表示或必要时也转换为体素网格表示。
[0037]
以这种方式预处理的特定于场景的信息借助于编码器网络12变换为多元标准正态分布13的参量，即变换为标准正态分布13的预期值向量μ和协方差矩阵∑。
[0038]
然而，解码器网络17不能仅基于概率分布13的这些参量来生成输出集18。为此，解码器网络17需要通过对多元概率分布13进行采样获得的各个潜在特征集。因此，为了推理必须进行采样，而且可能地按照以下方式，即基于所选择的样本生成的输出集对应于由输入变量确定并在训练方法中教导的分布。为此使用采样器15。根据本发明，所述采样器确定性或半确定性地选择样本16，而且使得每个所选择的样本16代表潜在特征的多元概率分布的自己的区域，并且通过全部选择的样本以网格形式对该概率分布采样。因此，图1中的采样器15由二维概率分布的样本网格来表示。这种采样方式具有以下优点：样本数量在推理时是固定的，但可以通过权衡推理时间和推理质量来提前设置。例如，对于给定的数据集，可以将所述数量选择为使得实现特定的预测质量。在此还可以与推理的运行时间进行权衡。样本数量的设定可以基于数据来进行。在此例如还可以考虑，所选择的样本和训练数据有多相似，或者生成的输出集是否也代表了所有预期的预测结果。
[0039]
图2a至图2f中所示的图表以潜在特征s1和s2的二维标准正态分布为例说明了不同的采样方案。圆圈20包围了3-sigma(～99.73％)的概率质量。每个点都再现了样本位置。
[0040]
图2a示出了无迹卡尔曼滤波器(unscented kalman filter，ukf)采样的结果，利用其总共选择了五个样本。样本21位于概率分布的平均值处。其余四个样本22中的每一个都布置在距中心样本21相同距离处。
[0041]
图2b示出了gauss-hermite正交卡尔曼滤波器(gauss-hermitequadrature kalman filter，ghkf)采样的结果，利用其总共选择了九个样本。样本21位于概率分布的平均值处。其余八个样本22布置在围绕该中心样本21的正方形网格分维中。
[0042]
图2c示出了五阶容积卡尔曼滤波器(cubature kalman filter，ckf)采样的结果，利用其同样选择了总共九个样本。样本21位于概率分布的平均值处。其余八个样本22均匀分布在围绕该中心样本21的圆线上。
[0043]
图2d示出了随机无迹卡尔曼滤波器(randomized unscented kalman filter，rukf)采样的结果，利用其总共选择了17个样本。样本21位于概率分布的平均值处。其余16个样本中每四个均匀分布在围绕该中心样本21的同心圆线上，其中样本位置对不同的圆线有所偏移。
[0044]
图2e示出了非对称的局部累积分布(localized cumulative distribution，lcd)采样的结果，利用其总共选择了17个样本。样本23被定位成使得样本23和概率分布之间的lcd距离最小化。这是通过求解优化问题来实现的。结果，这里三个样本23均匀地围绕概率分布的平均值分组。在其余14个样本中，每七个样本均匀分布在围绕这些中心样本23的同心圆线上，其中样本位置对不同的圆线有所偏移。
[0045]
图2f示出了对称的局部累积分布(lcd)采样的结果，利用其总共选择了17个样本。同样，在这里样本被定位成使得样本和概率分布之间的lcd距离通过求解优化问题最小化。
为此，样本21位于概率分布的平均值处。其余16个样本中每8个均匀分布在围绕该中心样本21的同心圆线上，其中样本位置对不同的圆线有所偏移。
[0046]
在本发明的范围内，只要保持所选择的样本之间的网格状距离关系，各个采样方案的样本就可以“小规模地”有噪声，类似于rukf中ukf采样的小信号随机化。这种类型的采样也称为半确定性采样。
[0047]
原则上，使用根据本发明的计算机实现的系统来预测交通场景的未来发展存在不同的可能性。图3a至图3d涉及一种实施例，其中借助于推理为交通场景30的参与者31生成可能未来轨迹。即，对于潜在特征的概率分布的每个所选择的样本，为交通参与者31以可能未来轨迹的形式生成输出集。然后基于以这种方式生成的整个输出集或轨迹，识别交通场景的未来发展的不同模式。
[0048]
图3a至图3d分别示出相同的交通场景30：车辆32已经通过并且两个车辆31和33正从不同方向接近的路口。为了预测该交通场景30的未来发展，生成了车辆31的可能未来轨迹。
[0049]
图3a示出了用vae/cvae架构生成的轨迹的理论重构分布，而且是根据现有技术借助于蒙特卡洛采样，即随机采样、概率分布和接近无穷大的样本数。从中可以识别出两种现实模式，即模式1“直行”和模式2“左转”。
[0050]
图3b示出了六个预测轨迹35，这些轨迹也是用vae/cvae架构生成的，但是根据本发明借助于确定性或半确定性采样。以这种方式生成的全部轨迹均匀分布在两种现实模式1“直行”和模式2“左转”上。这表明推理的质量在确定性/半确定性采样的情况下是一致的，而在随机采样和样本数量有限的情况下则不是给定的。这由图3c和图3d说明。
[0051]
图3c和图3d各自示出了借助于vae/cvae架构预测的六个轨迹35，其中每个基础样本都是通过概率分布的随机采样来选择的。在这两种情况下，六个生成的轨迹没有均匀地分布在两种现实模式1“直行”和模式2“左转”上。此外结果也不同。这些示例说明，当随机选择样本时，结果可能会剧烈变化，并且也可能完全错过各个模式。在这种情况下，结果缺乏实证意义。
[0052]
最后还应该指出的是，也可以在预测交通场景的未来发展的范围中以其他方式使用本发明。从而例如还可以为交通场景的未来发展生成预给定数量的不同模式的概率作为输出集，以使用整个所确定的输出集作为进一步预测和/或规划步骤的基础。

技术特征：
1.一种用于预测交通场景的未来发展的计算机实现的方法，包括以下步骤：a.聚合交通场景的特定于场景的信息，b.使用经过预训练的编码器网络(12)将所述特定于场景的信息变换为潜在特征的多元概率分布(13)的参量，c.选择由所述参量确定的潜在特征的多元概率分布(13)的样本(16)，以及d.使用经过预训练的解码器网络(17)将每个选择的样本(16)变换为输出集(18)，其特征在于，确定性地选择所述样本(16)，使得每个所选择的样本(16)代表所述潜在特征的多元概率分布(13)的自己的区域，并且通过全部选择的样本(16)对所述概率分布(13)网格状地进行采样。2.根据权利要求1所述的方法，其特征在于，将由所选择的样本(16)形成的网格适配于所述潜在特征的概率分布(13)，其方式是根据所述概率分布(13)中的各个选择的样本(16)的权重选择所选择的样本(16)之间的网格距离。3.根据权利要求1或2中任一项所述的方法，其特征在于，所选择的样本(16)的至少一部分在小范围内有噪声，其中保持所选择的样本(16)之间的网格状距离关系。4.根据权利要求1至3中任一项所述的方法，其特征在于，能够预给定待选择样本(16)的数量。5.根据权利要求1至4中任一项所述的方法，其特征在于，在设定所述样本(16)的数量和/或在选择所述样本(16)时，考虑
·
有多少时间可用于生成输出集(推理时间)，
·
整个生成的输出集与所述输出集的概率分布有多近似(推理质量)，
·
所选择的样本与来自编码器网络和解码器网络的训练数据应当有多相似(地面实况)，和/或
·
整个生成的输出集有多好地提供多个不同的、预定的结果(实证意义)。6.根据权利要求1至5中任一项所述的方法，其特征在于，将所述特定于场景的信息变换为潜在特征的多元正态分布的预期值向量μ和协方差矩阵∑。7.根据权利要求1至6中任一项所述的方法，其特征在于，为了选择所述样本(16)应用以下方法的至少一种：
·
无迹卡尔曼滤波器(ukf)采样，
·
gauss-hermite正交卡尔曼滤波器(ghkf)采样，
·
容积卡尔曼滤波器(ckf)采样，
·
随机无迹卡尔曼滤波器(rukf)采样，
·
非对称或对称的局部累积分布(lcd)采样。8.根据权利要求1至7中任一项所述的方法，其特征在于，为所述交通场景的至少一个参与者生成可能未来轨迹作为输出集(18)，并且基于整个所确定的输出集来识别所述交通场景的未来发展的不同模式。9.根据权利要求1至7中任一项所述的方法，其特征在于，为所述交通场景的未来发展生成预给定数量的不同模式的概率作为输出集，并且使用整个所确定的输出集作为进一步预测和/或规划步骤的基础。10.一种使用根据权利要求1至9所述的方法预测交通场景的未来发展的计算机实现的
系统，所述系统至少包括：a.感知层面，用于聚合交通场景的特定于场景的信息，b.经过预训练的编码器网络(12)，用于将所述特定于场景的信息变换为潜在特征的多元概率分布(13)的参量，c.采样器(15)，用于选择由所述参量确定的潜在特征的多元概率分布(13)的各个样本(16)，以及d.经过预训练的解码器网络(17)，用于将每个选择的样本(16)变换为输出集(18)，其特征在于，所述采样器(15)确定性地选择所述样本(16)，使得每个所选择的样本(16)代表所述潜在特征的多元概率分布(13)的自己的区域，并且通过全部选择的样本(16)对所述概率分布(13)网格状地进行采样。11.根据权利要求10所述的系统，其特征在于，所述编码器网络(12)和所述解码器网络(17)是变分自动编码器(vae)架构(10)或条件变分自动编码器(cvae)架构的组成部分。

技术总结
提出了一种用于预测交通场景的未来发展的计算机实现的方法，包括以下步骤：


技术研发人员：F
受保护的技术使用者：罗伯特
技术研发日：2023.02.15
技术公布日：2023/8/23