用于检测第一传感器系统的环境的方法与流程

用于检测第一传感器系统的环境的方法


背景技术：

1.驾驶的自动化伴随着为车辆配备以越来越广泛的且性能越来越卓越的传感器系统而出现，这些传感器系统用于环境检测并用于支持驾驶功能和/或用于至少部分自动化地控制和引导车辆。
2.为此，通常使用不同模态的或者说基于不同技术的多个不同的传感器，例如雷达传感器和视频传感器。由不同模态的各个传感器所生成的数据典型地首先单个地彼此独立地被处理，即，独立于光学传感器地处理所接收到的雷达波。在后面的处理步骤中才进行数据的关联或者计算，例如通过雷达反射与视频像素的关联或者所计算的雷达对象与视频对象的融合，甚至在更高度地集成的系统中，传感器彼此独立地进行测量。
3.视频摄像机例如将其图像发送到检测设备，而雷达传感器同样将其信号发送到该检测设备。


技术实现要素：

4.若视频摄像机被认为是用于受辅助的或者自动化的驾驶的不可控制的传感器系统，该传感器系统始终尽可能地探测整个场景，则其可类比于移动平台的驾驶员的视觉感知。然而，驾驶员附加地使用内后视镜和外后视镜，以便检测整个车辆环境，并且在晨昏或者夜间的情况下将另外的辅助器件，例如近光灯或者远光灯，用于更好的视觉感知。
5.在此，驾驶员的提高的注意力倾向于是局部的，即清晰的视线和大脑中的相应处理在驾驶的情况下首要是向前的。相反，在外围(peripherie)，人主要处理运动。因此，驾驶员将其视线及其注意力主动地和根据状况地对准环境的相关区域——单个驾驶员无法做到在任意时间都在视觉上检测整个360
°
环境。
6.与人类感知(scan-and-watch，扫描和观看)类似的、对多个传感器的相应的有针对性的使用和主动关联能够改善用于驾驶员辅助或者用于自动化驾驶的系统，尤其是在使用不同模态的传感器的情况下。
7.相应于本发明的各个方面，根据独立权利的特征提出一种用于检测第一传感器系统的环境的方法、一种用于训练神经网络的方法、一种神经网络和一种检测设备。有利构型方案是从属权利要求的以及以下描述的主题。
8.在本发明的整个描述中，以使该方法易于理解的方式示出方法步骤的顺序。但本领域技术人员将认识到，这些方法步骤中的许多方法步骤也可以以其他顺序来执行并且得到相同的或相应的结果。在这种意义上，这些方法步骤的顺序可以相应地被改变。一些特征设置有数词，以便改善可读性或使得配属关系更唯一明确，但这不隐含特定特征的存在。
9.根据一个方面，提出一种用于检测第一传感器系统的环境的方法，该方法具有下述步骤：
10.在一个步骤中，提供用于检测所述环境的、该第一传感器系统的数据的时间序列。在另一步骤中，使用该第一传感器系统的数据的时间序列为经训练的神经网络生成输入张量，其中，该神经网络已被设置和训练用于基于该输入张量来辨识该环境的至少一个部分
区域以借助第二传感器系统来改善对该环境的检测。在另一步骤中，借助该经训练的神经网络的输出信号为该第二传感器系统生成控制信号，以便在所述至少一个部分区域中改善该环境的检测。
11.在神经网络的情况下，人工神经元的连接上的信号可以是实数，并且人工神经元的输出通过该人工神经元的输入的总和的非线性函数来计算。典型地，人工神经元的连接具有权重，该权重随着继续进行的学习进行匹配。该权重提高或者降低连接上的信号的强度。人工神经元可以具有阈，从而仅当总信号大于所述阈时才输出信号。
12.典型地将多个人工神经元汇总成层。不同的层可以为其输入执行不同类型的变换。信号从第一层——输入层传播至最后的层——输出层；可能在多次穿过(durchlaufen)这些层之后。
13.神经网络基本上由至少三个神经元层组成：输入层、中间层(hidden layer，隐藏层)和输出层。这意味着，网络的所有神经元划分成层，其中，一个层的一个神经元总是与下个层的所有神经元连接。除了输入层之外，不同的层由在非线性的激活函数下确定的神经元组成，并且与下个层的神经元连接。深度神经网络可以具有多个这样的中间层。
14.这样的神经网络必须针对其专门的任务被训练。在此，神经网络的相应架构的每个神经元获得例如随机的初始权重。然后将输入数据给入到网络中，并且每个神经元以其权重将输入信号加权，并将结果进一步给到下个层的神经元。然后，在输出层上提供总结果。可以计算误差的大小，以及每个神经元对于该误差所具有的份额，以便然后朝将该误差最小化的方向上改变每个神经元的权重。然后，进行递归的穿过、重新测量误差和匹配权重，直至误差小于预给定的界限。
15.例如，该方法可以使用被动式传感器作为第一传感器系统和主动式传感器作为第二传感器来执行，所述被动式传感器和主动式传感器要么直接地要么通过处理单元连接。在此，第一传感器系统测量和处理第一传感器系统的环境；使用该第一传感器系统的数据则能够相应于该方法生成控制信号，该控制信号被提供给第二传感器系统，因此该第二传感器系统相应于该控制信号在第一传感器系统的环境中辨识部分区域，使用第二传感器系统对所述部分区域的识别能够改善该环境的检测。例如，针对主动式传感器、即针对第二传感器系统的控制信号能够控制第二传感器系统更准确地确定第一传感器系统的环境的某个地区、例如角度和/或距离和/或仰角。
16.在此，控制信号不局限于仅准确地确定已在其中确定到对象的区域，而是控制信号能够控制第二传感器系统更准确地确定第一传感器系统的环境的适合的部分区域或者地区，以便实现对第一传感器系统的环境的对象的在时间上更早的和/或更准确的辨识和/或识别和/或确定。除此之外，使用所描述的用于检测第一传感器系统的环境的方法不需要将专家知识引入到该方法中，因为相应的知识能够借助神经网络数据驱动地被学习。
17.通过使用该方法，有利地得出在检测环境时针对相关的交通参与者、例如车辆、行人等的提高的稳健性和性能，而不以专家知识为前提。因为在传统的基于模型对主动式传感器的控制中需要专家知识，以便辨识改善潜力并且以适合的方式控制第二传感器系统。
18.此外，有利地得出针对所选择的任务的性能更好且成本更有利的总系统，因为用于识别相关的交通参与者的传感装置和算法共同被优化。
19.此外，有利地得出与应用有关的对相关的对象的识别和该方法的简单的可扩展
性。
20.换言之，使用该方法能够，在例如已使用第一传感器系统的数据确定该环境的对象或者部分区域之后，例如补充地使用第二传感器系统的数据地，有方向地确定第一传感器系统的环境，以便更准确地确定该对象和/或该部分区域。
21.在此，使用第二传感器系统例如能够更准确地确定例如延展尺度和/或位置和/或地区和/或角度和/或距离和/或仰角和/或速度和/或未来可能的地点和/或具有不可靠地被确定的对象的地区和/或具有不可靠性地被确定的对象尺寸。
22.针对第二传感器系统的控制信号可以涉及对环境的空间检测，和/或其也可以复杂地构造和涉及例如第二传感器系统、例如视频系统的曝光(belichtung)。因此，针对第二传感器系统的控制信号可以涉及第二传感器系统的所有特性，通过对这些特性的控制能够通过使用第二传感器系统改变对环境的检测。
23.对于用于检测第一传感器系统的环境的方法，不以被识别到的对象为前提。而是在神经网络内从环境中提取特征，所述特征用于由此推导部分区域以改善该环境的检测。在此，这主要是结构上的遮挡、例如建筑物或植被和/或道路拓扑或者说道路走向，和/或是对象、如车辆和行人。
24.尤其是也能够更准确地检测不具有被识别到的对象然而具有“对象可能在未来出现在那里”的高概率的部分区域。
25.使用用于检测第一传感器系统的环境的方法，能够更快地且更早地识别对象，因为也检测先前还没有在其中识别到对象的部分区域。
26.除此之外，该方法可应用于不需要对象识别的应用，例如语义分割和/或对行车道边界的识别和/或对多传感器系统中的传感器退化的补偿。
27.使用该方法能够提高针对相关的交通参与者——例如车辆、行人等、规定性(regulatorische)元素——例如边界线、车道、步行台(b
ü
rgersteige)等的稳健性和识别率。除此之外，能够使用可控制的第二传感器系统非常有针对性地和高度准确地检测和处理小的环境区域。尤其是在距离大的小的对象、例如丢落的物品(lost cargo)的情况下，在部分遮挡、例如在乘用车后方的行人的情况下，或者用于定位可能的障碍物，用于精确地探测标记——如柱、窨井盖、交通信号灯等。
28.除此之外，使用该方法能够通过在传感装置层面上就已提高的冗余实现更简单的对自主系统的保障，因为例如可控制的第二传感器系统对第一传感器系统的测量进行确认或者证伪。因此，使用该方法能够提供由至少一个第一传感器系统和可控制的第二传感器系统组成的在经济上更有利的具有改善的总性能的总传感器系统。除此之外，使用该方法也能够将缓慢测量总环境的传感器作为第一传感器系统与在该环境的更小的检测区域中更快地进行测量的传感器作为第二传感器系统进行组合。
29.根据一个方面提出，该神经网络设置用于处理数据的时间系列和/或表征该神经网络的与时间有关的状态。这样设置的神经网络特别适合用于所描述的方法。
30.根据一个方面提出，神经网络是循环神经网络。
31.如下神经网络被称为循环神经网络或者说反向耦合神经网络：所述神经网络与其他网络不同，其特征在于，一个层的神经元与同一层的神经元或者与在前的层的神经元连接。其中，通过反向耦合能够表示状态矢量，该状态矢量逐时间步长地被传递
(weitergereicht)并且必要时被改变。通过使用循环神经网络，该方法可以特别适合针对生成相应的控制信号被训练，因为使用这样的循环神经网络对于当前的时间步长能够访问来自先前的时间步长的传感器数据。由此能够改善第一传感器系统的环境的检测。
32.根据一个方面提出，神经网络的输入张量具有第二传感器系统的数据，以便改善第一传感器系统的环境的检测。有利地能够使用第二传感器系统的附加数据来改善对第一传感器系统的环境的表示。在此，该输入张量可以具有来自当前的时间步长的和/或先前的时间步长的、第二传感器系统的数据。对神经网络的训练可以相应于对应的、在其中生成第二传感器系统的数据的时间步长进行匹配。
33.根据一个方面提出，神经网络的输入张量具有来自在当前的时间步长之前的时间步长的、第二传感器系统的数据，以便改善第一传感器系统的环境的检测。
34.由此有利地，所生成的控制信号主要基于来自先前的时间步长的、第二传感器系统的传感器数据，并且因此能够使用用于神经网络的、第二传感器系统的数据来改善对第一传感器系统的环境的表示。
35.根据一个方面提出，神经网络的输入张量具有来自当前的时间步长的、第二传感器系统的数据，并且使用来自先前的时间步长的所生成的控制信号来操控第二传感器系统，以便改善第一传感器系统的环境的检测。
36.有利地能够使用来自当前的时间步长的、第二传感器系统的数据和来自先前的时间步长的控制信号来改善第一传感器系统的环境的表示，因为对应的传感器系统的数据在相同的时间步长中被生成而因此具有更高的同步性。神经网络的训练可以相应于对应的、在其中生成第二传感器系统的数据的时间步长进行匹配。
37.根据一个方面提出，神经网络设置和训练用于从第一传感器系统的环境中创建对象列表。有利地能够使用这样的对象列表训练神经网络，或者也将对象列表的这样辨识出的对象提供给用于检测环境的其他主动式系统。
38.根据一个方面提出，第一传感器系统是被动式传感器系统，第二传感器系统是主动式传感器系统。
39.在此，主动式传感器系统可以是如下传感器系统：其信号或其所生成的数据或其探测特性可以根据控制信号在环境的检测方面选择性地针对特定的探测要求被适配和/或被控制。可控制的传感器系统的这样的探测特性尤其是可以涉及在可控制的传感器系统的检测区域中的对象的位置，例如在所选择的部分区域和/或受限的距离范围和/或仰角范围中的确定。但也可以涉及测量特性、如地点分辨率等。相应地，可控制的传感器系统可以是主动式传感器系统。可控制的传感器系统的示例是雷达传感器、激光雷达传感器、红外传感器、飞行时间传感器和光学传感器。
40.一般而言，可以使用能用对对象或环境进行作用且可控制的信号源来控制的传感器，例如热成像传感器，所述热成像传感器确定温度变化，所述温度变化在待确定的对象的有针对性的位置处通过引入涡流或者其他热输入被控制。
41.通常也可以为所引入的可控制的信号源改变该信号源的波长，例如针对红外源在0.7μm-1000μm的范围中，或者针对激光雷达传感器在300-1600nm的范围中。
42.根据一个方面提出，借助控制信号减少第二传感器系统的数据。
43.替代地或者附加地，使用第一传感器系统对对象的确定也可以由可控制的第二传
感器系统通过相应地改变该可控制的第二传感器系统的探测特性来执行，其中，该探测特性改变尤其是移动平台的环境的确定范围的空间大小。
44.通过这样利用对第二传感器系统的操控，例如能够减少传感器数据的量，以便节省计算时间和带宽。对此的示例是视频传感器，该视频传感器根据控制信号仅仅提供所选择的图像片段而非整个图像。
45.根据一个方面提出，第一传感器系统的数据包括移动平台的转向角和/或地理地图数据和/或规划的路线走向和/或道路的分类和/或天气条件。
46.替代地或者附加地，第一传感器系统也可以是主动式传感器系统，该主动式传感器系统要么相应于被动式传感器系统使用要么通过其他控制参量、例如移动平台的转向角信号和/或定位信号被控制。
47.为了借助地图数据操控第二传感器系统，第一传感器系统可以是定位传感器，该定位传感器确定在地图上的或在环境中的位置。根据所述地图数据同样能够为对该环境的改善的检测推导特征以及部分区域。
48.有意义的、可由此推导的部分区域的示例是道路走向和尤其是道路的消失点。对象在该消失点附近第一次变得可见。这在图3a至3d中针对若干示例示出。应被更准确地检测的部分区域通过阴影进行强调。
49.替代地或者附加地，可以将单个的主动式传感器用作第二传感器系统，而不将该第二传感器系统的数据用于控制信号的生成，并且也不将来自第一传感器系统的数据提供给神经网络作为输入张量。然后，神经网络的输入张量针对控制信号的生成例如具有存在的移动平台信号，要么单独地要么共同地使用这些信号，经训练的神经网络生成针对第二传感器系统的控制信号。这样的输入数据的示例是：
50.移动平台的转向角和/或地图数据和/或针对移动平台的规划路线的走向和/或道路的分类(城市、高速公路，
……
)和/或天气条件。
51.替代地或者附加地，输入张量可以具有多个第一传感器系统的数据的多个时间序列。替代地或者附加地，第一传感器系统可以生成多个控制信号，所述控制信号被提供给多个主动式传感器系统。
52.根据一个方面提出，第一传感器系统是光学摄像机系统，第二传感器系统是激光雷达传感器和/或雷达传感器和/或超声波传感器。
53.光学摄像机系统可以是严格意义上的光学摄像机或者可以是视频系统。
54.根据一个方面提出，第一传感器系统是与第二传感器系统相同的传感器系统；并且在随后的时间步长中，将该传感器系统的控制信号用于对该环境的改善的检测。
55.这样的随后的时间步长可以是分别跟随的时间步长。
56.相应于该方面，用于神经网络的输入数据可以不具有来自第一传感器系统的数据。因此，对第二传感器系统的操控尤其可以基于第二传感器系统的数据，这些第二传感器系统的数据在当前的时间步长之前的时间步长中被生成。
57.例如，主动式激光雷达传感器可以以时间上的交替在“主动式”和“被动式”模式中运行。在“被动式”模式中，可以生成关于环境的场景的概览，其方式是，以低地点分辨率检测第二传感器系统的整个视场。使用所获得的信息，能够在接下来的时间步长中在“主动式”模式中非常准确地测量该视场的小的区域。
58.根据一个方面提出，控制信号控制第二传感器系统来检测环境的部分区域，以便改善第一传感器系统的环境的检测。
59.根据一个方面提出，神经网络的输入张量具有移动平台的转向角和/或地理地图数据和/或规划的路线走向和/或道路的分类和/或天气条件和/或自主系统的当前任务和/或对象的列表和/或应被更准确地测量的区域。
60.在此，自主系统的当前任务的示例可以是：驾驶任务，例如泊入和/或避让障碍物等。
61.提出一种用于训练神经网络以生成针对第二传感器系统的控制信号的方法，所述方法具有下述步骤：在一个步骤中，使用用于检测该第一传感器系统的环境的、第一传感器系统的数据的时间序列为神经网络提供输入张量，其中，该神经网络的输入张量具有来自在当前的时间步长之前的时间步长的、第二传感器系统的数据。在另一步骤中，借助该神经网络和该输入张量生成该第一传感器系统的环境的至少一个对象。在另一步骤中，借助该神经网络和该输入张量生成控制信号。在另一步骤中，将所生成的至少一个对象与至少一个相应配属的参考对象进行比较。在另一步骤中，基于该控制信号为下一时间步长生成第二传感器系统的数据。在另一步骤中，适配该神经网络，以便在确定该环境的对象时将与对应的参考对象的偏差最小化。
62.对于该用于训练神经网络的方法，神经网络可以设置用于处理数据的时间系列和/或表征该神经网络的与时间有关的状态。替代地或者附加地，用于该用于训练神经网络的方法的神经网络可以是循环神经网络。
63.参考对象是如下对象：所述对象尤其是专门为了训练神经网络结合相应的针对该神经网络的输入数据而生成的，并且所述对象相应地有标签。
64.根据一个方面提出，为了训练神经网络，所述至少一个对象和所述相应配属的参考对象分别是具有第一传感器系统的环境的至少一个对象的对象列表，和/或所述至少一个对象和所述相应配属的参考对象分别是对第一传感器系统的环境的高分辨率的表示。环境的高分辨率的表示例如可以是环境的光学地生成的图像，和/或借助激光雷达系统所生成的表示。
65.根据一个方面提出，为了训练神经网络，借助对象探测器生成所述对象列表的至少一个对象。
66.换言之，可以使用单独的对象探测器来执行对神经网络、尤其是循环神经网络的训练，其方式是，训练神经网络以生成控制信号，并且由该对象探测器例如基于第一传感器系统的数据生成所述至少一个对象、例如对象列表的至少一个对象。通过生成所述至少一个对象使得该对象探测器能够实现通过神经网络学习控制信号的必要的反馈，其中，该对象探测器本身可以要么保持不改变，要么可以本身被考虑到神经网络的训练中。
67.根据一个方面提出，为了训练神经网络，第一传感器系统的数据的时间序列是真实的第一传感器系统的数据或者是用于该第一传感器系统的模拟数据。
68.为了使用经注释的数据来训练神经网络和尤其是循环神经网络，尤其提供第二传感器系统的数据，因为这些数据根据来自第二传感器系统的控制信号生成。因此，第二传感器系统提供决定性地与对该第二传感器系统的操控有关的数据。因此不能够收集第二传感器系统的、随后能够以不改变的形式被用于训练神经网络的数据。
69.此外，第一和第二传感器系统的传感器数据必须被注释。如在对象识别中常见的那样，每个相关对象通过边界框和另外的属性、例如对象类型和/或速度等被注释。
70.在训练时，借助描述优化目标的损失函数(loss function)来适配神经网络。这样的损失函数可以具有至少两个部分。第一部分可以是来自对象识别领域的常用的损失函数(multi-task loss，多任务损失)，该损失函数具有回归分量和分类分量。
71.在适配神经网络时，例如可以将对象与经注释的数据(ground-truth，地面真实)进行比较。损失函数的第二部分可以基于控制信号表达进一步的优化目标。对此的示例是激光雷达系统的数据点的数量的最小化，以便例如为对应的传感器系统实现成本减少。
72.神经网络可以借助反向传播(backpropagation)被适配和训练。通过使用所描述的损失函数，神经网络在训练时例如学习识别相关的对象。由于针对第二传感器系统的控制信号可能对于“对象可以怎样好地被识别到”具有重大影响，所以神经网络将这样改变控制信号，使得对象最佳地被识别到。
73.在所描述的用于训练神经网络的方法之外，为了训练，可以应用来自机器学习领域的另外的已知方法。
74.这些方法中的一些方法是：
75.深度学习(deep learning)
76.强化学习(reinforcement learning)
77.主动学习(active learning)
78.无监督学习/部分监督学习(unsupervised/semi-supervised learning)
79.根据一个方面提出，为了训练神经网络，借助高分辨率的传感器系统生成第二传感器系统的数据，和/或借助用于模拟第二传感器系统的模拟程序生成第二传感器系统的数据，和/或在第一传感器系统的环境中使用第二传感器系统生成第二传感器系统的数据。
80.换言之，为了训练神经网络，可以借助模拟程序不仅生成第一传感器系统的数据而且生成第二传感器系统的数据。替代地或者附加地，为了训练神经网络，第二传感器系统的数据可以使用高分辨率的传感器系统的数据生成，其方式是，由高分辨率的传感器系统的数据根据控制信号生成相应于第二传感器系统的数据。例如，可以基于控制信号从高分辨率的传感器系统的数据中选择相应于环境的至少一个部分区域的数据。替代地或者附加地，为了训练神经网络，可以从高分辨率的传感器系统的数据中根据控制信号选择具有更低的分辨率的数据。相应于该方面，将使用高分辨率的传感器，以便生成和存储高分辨率的数据，这些高分辨率的数据相应于控制信号被选择用于训练，以便模拟第二传感器系统的数据。
81.替代地或者附加地，神经网络的训练可以使用来自真实世界的传感器测量的数据进行，其方式是，直接使用第二传感器系统的数据。借助参考系统，使用经注释的对象和/或高分辨率的传感器数据，能够同时生成对于训练所需要的参考数据。
82.神经网络也可以在没有经注释的数据的情况下被训练，其方式是，使用重建损失(rekonstruktionsverlust)作为最小化的目标函数。因此可以实现，学习针对第二传感器系统的控制信号，因为从信息理论的角度来看，这样的重建损失包含最有价值的信息。例如，这样可以学习到：对已被测量过的建筑物在接下来的时间步长中不必再次进行测量，因为该建筑物不运动或者不改变。然而，对行人在每个时间步长中都更准确地进行测量，因为
行人能够运动并且其外观变化，这不能够简单地被预测。
83.为此，对神经网络的结构进行匹配，以便在输出端处替代于对象列表输出高分辨率的传感器数据。损失函数可以将神经网络的输出信号与例如来自模拟的、第二传感器数据的高分辨率传感器数据进行比较，并且借助度量来确定所述数据的一致程度。主要可以将绝对差的总和用作度量。以这种方式，神经网络学习到这样设计控制信号，使得能够由过去的数据和第一传感器数据的和/或第二传感器数据的具有低分辨率的传感器数据生成高分辨率的传感器数据。
84.根据一个方面提出，所述神经网络设置用于处理数据的时间系列和/或表征该神经网络的与时间有关的状态，和/或该神经网络是循环神经网络。
85.提出一种神经网络，该神经网络相应于上文中所描述的用于训练神经网络的方法中的任一种方法被设置和训练。
86.相应于上文中所描述的用于检测第一传感器系统的环境的方法中的任一种方法，提出一种方法，该方法具有神经网络，该神经网络相应于上文中所描述的用于训练神经网络的方法中的任一种方法被设置和训练。
87.提出一种检测设备，该检测设备设置用于执行上文中所描述的用于检测第一传感器系统的环境的方法中的任一种方法。
88.提出一种移动平台，该移动平台是至少部分自动化的，并且该移动平台具有上文中所描述的用于检测移动平台的环境的检测设备中的任一种检测设备，和/或其中，该移动平台具有如上文中所描述的那样的第一传感器系统和第二传感器系统。
89.由此能够借助较少的经济开销以高检测质量进行移动平台的环境的检测。
90.移动平台可以理解为移动的、至少部分自动化的系统，和/或驾驶员辅助系统。一个示例可以是至少部分自动化的车辆或者说具有驾驶员辅助系统的车辆。即，就此而论，至少部分自动化的系统在至少部分自动化的功能性方面包含移动平台，但移动平台也包含车辆和包括驾驶员辅助系统在内的其他移动机器。移动平台的其他示例可以是具有多个传感器的驾驶员辅助系统、移动的多传感器机器人——例如机器人吸尘器或者割草机。
91.所描述的用于检测第一传感器系统的环境的方法可以用于移动平台和/或也可以用于多传感器监控系统和/或生产机器和/或个人助理和/或准入控制系统(zugangskontrollsystem)。
92.这些系统中的每个系统都可以是完全地或部分地自动化的系统。
93.提出一种具有指令的计算机程序，所述指令在通过计算机执行该计算机程序时促使该计算机实施上文中所描述的方法中的任一种方法。借助这样的计算机程序能够以简单的方式方法使上文中所描述的方法可供例如移动平台使用。
94.提出一种机器可读的存储介质，在该存储介质上存储有在上文中所描述的计算机程序。借助这种机器可读的存储介质，上述计算机程序产品是便携式的。
95.提出一种如上文中所描述的那样的控制信号的针对操控外部的传感器系统的使用。因此替代地或者附加地，能够将该控制信号针对第二传感器系统和/或针对另外的外部的传感器系统用于控制。
96.提出对上文中所描述的用于检测第一传感器系统的环境的方法中的任一种方法的、用于控制至少一个部分自动化的移动平台的一种使用。
97.提出一种方法，在该方法中，基于根据上文中所描述的方法中的任一种方法所检测到的、第一传感器系统的环境生成用于操控至少部分自动化的车辆的控制信号；和/或基于所检测到的、第一传感器系统的环境生成用于警告车辆乘员的警告信号。
附图说明
98.本发明的实施例参考图1至8示出并在下文中更详细地进行阐述。附图示出：
99.图1示出一种具有不同模态的传感器的具有至少一个可控制的传感器的移动平台；
100.图2a、2b示出一种循环神经网络；
101.图3示出不同交通状况的被强调的区域；
102.图4示出用于检测环境的方法步骤；
103.图5示出一种具有数据流的检测设备；
104.图6示出在训练检测设备时的数据流；
105.图7示出用于训练检测设备的一种经修改的设定；
106.图8示出该方法的可能的应用。
具体实施方式
107.图1示意性示出车辆170，该车辆具有用于检测移动平台的环境的系统100。车辆170具有视频摄像机110，该视频摄像机相当于第一传感器系统，并且该视频摄像机以信号方式与检测设备130耦合以便将其所生成的图像提供给检测设备130。
108.车辆170的可控制的雷达传感器120与检测设备130以信号方式双向耦合并且将其信号提供给检测设备130，所述可控制的雷达传感器相当于第二传感器系统。在此，可控制的雷达传感器120在其对环境的感知方面可以使用所生成的控制信号被控制。
109.借助这样的系统可以实现，借助控制信号对主动式的第二传感器系统120、例如雷达传感器或者激光雷达传感器的有针对性的操控能够实现对环境进行有方向的检测。在此，控制信号能够借助连接信号125被传输到第二传感器系统120，该连接信号将信号从控制器130传输至第二传感器系统120。
110.检测设备130设置用于实施上文中所描述的用于借助视频摄像机110的数据和雷达传感器的数据检测环境的方法。
111.此外，检测设备可以与控制器140耦合，该控制器例如与制动器160或者转向系统150耦合。由此，控制器140能够根据来自检测设备130的信号例如控制自动化的紧急制动或者借助转向系统调节自动化的避让机动动作。
112.图2a绘出循环神经网络(rnn)200的结构，其具有输入连接部210和输出端220，在该输入连接部处能够提供输入张量，在该输出端处能够提供例如控制信号和/或对象列表，如上文中所描述的那样。在此，借助状态变量v 230和箭头表明该神经网络的循环的结构。
113.图2b绘出循环神经网络200的结构，在该循环神经网络中，使用“展开的(ausgerollte)”循环神经网络示出循环的结构。在输入连接部210a至220c处，例如可以针对时间步长t-1、t、t+1提供第一传感器系统的数据的时间序列，由所述时间序列通过神经网络生成相应的输出信号220a至220c。循环神经网络200的对应的先前的状态可以分别通
过状态矢量v
t-2
、v
t-1
、v
t
、v
t+1
被用于表征循环神经网络200的当前状态。在此，该神经网络本身在用于检测第一传感器系统的环境的该方法中保持不改变。
114.换言之，在时间点t时，输入数据x
t
和先前的时间步长的状态矢量v
t-1
由神经网络200来处理。在此，生成输出220a至220c和新的状态v
t
。状态v
t+1
用于在接下来的时间步长t+1中再次作为神经网络的输入参量。
115.图3a至3d绘出四个不同的道路场景或者说交通状况，在所述道路场景或者说交通状况中使用阴影区强调如下部分区域：所述部分区域例如可以使用第二传感器系统借助控制信号被检测，以便改善第一传感器系统的环境的检测，如上文中已阐述的那样。
116.图4绘出用于检测第一传感器系统510的环境的方法步骤：
117.在位于当前的时间步长之前的步骤s1中，由第二传感器系统520生成被提供用于生成输入张量的数据。
118.在另一步骤s2中，在当前的时间步长中提供用于检测该环境的、第一传感器系统510的数据的时间序列，所述数据例如包括该环境的大的区域。
119.在另一步骤s3中，使用第一传感器系统510的数据的时间序列和第二传感器系统520的所提供的数据为经训练的神经网络生成输入张量，其中，该神经网络已被设置和训练用于基于该输入张量来辨识该环境的至少一个部分区域以借助第二传感器系统来改善该环境的检测。
120.在另一步骤s4中，借助该经训练的神经网络200的输出信号生成针对第二传感器系统520的控制信号540，以便在所述至少一个部分区域中改善该环境的检测。为此，神经网络200可以在内部提取特征、例如遮挡和/或道路走向和/或对象，并且必要时还输出所述特征作为对象列表530。所提取的特征可以在内部在神经网络200中使用，以便确定应被更准确地测量的区域、例如角度和/或距离。在所述区域中存在“新的对象变得可见或者已被识别到的对象能够被更准确地检测”的高概率。因此神经网络200能够根据所述区域生成相应的、针对第二传感器系统520的控制信号。
121.在另一步骤s5中，该控制信号控制第二传感器系统520来检测该环境的所述部分区域，以便改善第一传感器系统510的环境的检测。借助该控制信号540，第二传感器系统例如能够限制其检测区域。然后，第二传感器系统520能够相应地为这样的区域生成数据，所述数据具有提高的精度，并且然后，使用所述数据能够改善地检测第一传感器系统的环境。
122.图5绘出在用于检测第一传感器系统510的环境的检测设备运行中的数据流，具有该检测设备的三个并排布置的表示，其中，在前的时间步长布置在最左边501，当前的时间步长布置在中间502，而未来的时间步长布置在右边。仅在检测设备的在中间的表示中表示出该检测设备的对应细节。在此，该检测设备具有经训练的循环神经网络200。例如，第一传感器系统510可以是被动式视频传感器和/或激光雷达传感器系统，而第二传感器系统520可以是可主动控制的激光雷达传感器系统。所述传感器系统周期性地提供传感器数据。
123.在此，应可利用第一传感器系统510的数据，以便如此控制第二传感器系统520，以便更准确地检测第一传感器系统510的环境中的适合的区域。由此例如能够更早地且更可靠地识别相关的交通参与者和/或能够减少幽灵对象的数量。
124.在时间点t，向使用深度学习训练的神经网络200提供具有第一传感器系统510的数据的输入信号210b。相应地适用于具有输入数据210a的在前的时间点t-1或具有输入数
据210c的跟随其后的时间点t+1。
125.附加地，向经训练的神经网络200提供来自先前的时间点t-1来自第二传感器系统520的传感器数据c
t-1 540a和来自先前的时间点t-1的、神经网络的状态矢量d
t-1 230b，并且因此生成输入张量。
126.状态矢量d
t-1 230b表示来自时间点t-1的、神经网络的状态矢量，借助于该状态矢量能够跨越过时间步长地存储信息。
127.除此之外，输入张量还可以具有另外的数据210b，例如车辆速度和/或车辆转向角等。
128.神经网络200基于所描述的输入数据和该神经网络所学习到的逻辑生成针对第二传感器系统520的控制信号b
t 540和探测到的对象的列表a
t
530，例如识别到的相关交通参与者的列表，所述交通参与者通过其位置和/或尺寸和/或取向和/或对象类型被表征。
129.为此，神经网络200跨越时间步长地汇总了传感器系统510、520的信息。随后可以将借助相关交通参与者的对象列表a
t
的特别精确的估计用于控制移动平台、例如车辆。
130.信号b
t
可以具有说明、如角度范围和距离范围，其应被可主动控制的第二传感器系统测量。
131.借助控制信号b
t 540，借助第二传感器系统520在随后的未来的时间步长t+1中控制第一传感器系统510的环境的检测。为此，可以为接下来的时间步长t+1提供在时间点t时的、第二传感器系统520的数据c
t 540b和神经网络200的状态矢量d
t 230c。
132.图6绘出在训练用于检测第一传感器系统的环境的检测设备时的数据流。
133.除了相应于在图5中所描述的用于检测第一传感器系统510的环境的检测设备已进行描述的数据流之外，在图6中示出从对象列表a
t 530和控制信号b
t 540到损失函数610的数据流，以便能够借助在此未示出的参考对象执行比较至少一个通过神经网络200所生成的对象与相应配属的参考对象，如上文中所描述的那样。
134.为了根据控制信号b
t 540生成图5的第二传感器系统520的数据，在图6中替代于第二传感器系统520，设置模拟程序620。神经网络200的训练的流程的方法步骤已在上文进行描述。
135.图7绘出在训练神经网络200用于检测第一传感器系统的环境时具有该神经网络的经修改的设定的数据流。
136.在神经网络200的该训练中，在单独的对象探测器710的帮助下训练神经网络200，以生成针对第二传感器系统的控制信号。
137.在此，不仅神经网络201而且对象探测器710获得来自先前的时间点t-1来自第二传感器系统520的传感器数据c
t-1 540a。因此，神经网络200进行学习以生成控制信号b
t 540，并且探测器710基于第二传感器系统520的数据生成对象列表a
t 530的至少一个对象。因此，探测器710通过提供对象列表a
t
的所述至少一个对象来提供反馈用于训练神经网络以生成控制信号b
t 540，并且能够本身保持不改变或同样被优化。对象探测器710的例如通过对象列表a
t 530来表征的对应状态，可以在接下来的时间步长t+1中作为相应于状态矢量d
t 230c针对神经网络201的输入参量被使用。替代地或者附加地，用于神经网络201和对象探测器710的输入信号210b可以被提供作为输入参量。换言之，神经网络200划分为用于生成控制信号b
t 540的神经网络201和对象探测器710。
138.图8a至8d绘出所描述的方法中的任一种方法的另外的可能的应用领域。
139.图8a绘出所描述的方法中的任一种方法在自动化检查系统的情况下的应用，例如用于使用热成像、涡流和传统光学器件对构件的查验，以便可靠地分拣出有缺陷的构件。
140.图8b绘出所描述的方法中的任一种方法用于自动化割草机的应用，例如用于可靠地确定或分类对象，在此尤其是将障碍物与非障碍物进行区分。
141.图8c绘出所描述的方法中的任一种方法用于自动化准入控制的应用，例如用于光学的和声学的人员辨识和自动化开门。
142.图8d绘出所描述的方法中的任一种方法用于场所或者建筑物的监控的应用，例如用于检查危险货品，例如使用摄像机和激光雷达传感器。

技术特征：
1.一种用于检测第一传感器系统(510)的环境的方法，所述方法具有步骤：提供用于检测所述环境的、所述第一传感器系统(510)的数据的时间序列；使用所述第一传感器系统(510)的数据的时间序列为经训练的神经网络(200)生成输入张量，其中，所述神经网络(200)已被设置和训练用于基于所述输入张量来辨识所述环境的至少一个部分区域以借助第二传感器系统(520)来改善所述环境的检测；借助所述经训练的神经网络的输出信号为所述第二传感器系统(520)生成控制信号(540)，以便在所述至少一个部分区域中改善所述环境的检测。2.根据权利要求1所述的方法，其中，所述神经网络(200)设置用于处理数据的时间系列和/或表征所述神经网络(200)的与时间有关的状态。3.根据上述权利要求中任一项所述的方法，其中，所述神经网络(200)的输入张量具有来自在当前的时间步长之前的时间步长的、所述第二传感器系统(520)的数据，以便改善所述第一传感器系统(510)的环境的检测。4.根据上述权利要求中任一项所述的方法，其中，所述第一传感器系统(510)是被动式传感器系统，所述第二传感器系统(520)是主动式传感器系统。5.根据上述权利要求中任一项所述的方法，其中，所述第一传感器系统(510)是与所述第二传感器系统(520)相同的传感器系统；并且在随后的时间步长中，所述传感器系统的控制信号用于对所述环境的改善的检测。6.根据上述权利要求中任一项所述的方法，其中，所述控制信号控制所述第二传感器系统(520)来检测所述环境的部分区域，以便改善所述第一传感器系统(510)的环境的检测。7.一种用于训练神经网络(200)以生成针对第二传感器系统(520)的控制信号的方法，所述方法具有步骤：使用用于检测所述第一传感器系统(510)的环境的、第一传感器系统(510)的数据的时间序列为所述神经网络(200)提供输入张量，其中，所述神经网络(200)的输入张量具有来自在当前的时间步长之前的时间步长的、第二传感器系统(520)的数据；借助所述神经网络(200)和所述输入张量生成所述第一传感器系统(510)的环境的至少一个对象；借助所述神经网络(200)和所述输入张量生成控制信号(540)；将所生成的至少一个对象与至少一个相应配属的参考对象进行比较；基于所述控制信号(540)为下一时间步长生成第二传感器系统(520)的数据；和适配所述神经网络(200)，以便在确定所述环境的对象时将与对应的参考对象的偏差最小化。8.根据权利要求7所述的方法，其中，所述至少一个对象(530)和所述相应配属的参考对象分别是具有所述第一传感器系统(510)的环境的至少一个对象的对象列表，和/或所述至少一个对象和所述相应配属的参考对象分别是所述第一传感器系统(510)的环境的高分辨率的表示。9.根据权利要求7所述的方法，其中，借助对象探测器(710)生成所述对象列表(530)的至少一个对象。
10.根据权利要求7至9中任一项所述的方法，其中，所述第一传感器系统(510)的数据的时间序列是真实的第一传感器系统(510)的数据或者是用于所述第一传感器系统(510)的模拟数据。11.根据权利要求7至10中任一项所述的方法，其中，借助高分辨率的传感器系统生成所述第二传感器系统(520)的数据，和/或借助用于模拟所述第二传感器系统的模拟程序生成所述第二传感器系统(520)的数据，和/或在所述第一传感器系统的环境中使用所述第二传感器系统(520)生成所述第二传感器系统(520)的数据。12.根据权利要求7至11中任一项所述的方法，其中，所述神经网络(200)设置用于处理数据的时间系列和/或表征所述神经网络(200)的与时间有关的状态，和/或所述神经网络(200)是循环神经网络。13.一种神经网络(200)，所述神经网络是相应于权利要求7至12中任一项被设置和训练的。14.根据权利要求1至6中任一项所述的方法，所述方法具有相应于权利要求13的神经网络(200)。15.一种检测设备，所述检测设备设置用于执行根据权利要求1至6或者14中任一项所述的方法。

技术总结
提出一种用于检测第一传感器系统的环境的方法，所述方法具有下述步骤：提供用于检测该环境的、该第一传感器系统的数据的时间序列；使用该第一传感器系统的数据的该时间序列为经训练的神经网络生成输入张量，其中，该神经网络已被设置和训练用于基于该输入张量来辨识该环境的至少一个部分区域以借助第二传感器系统来改善该环境的检测；借助该经训练的神经网络的输出信号为该第二传感器系统生成控制信号，以便在所述至少一个部分区域中改善该环境的检测。该环境的检测。该环境的检测。


技术研发人员：R
受保护的技术使用者：罗伯特
技术研发日：2021.11.03
技术公布日：2023/7/25