用于评估障碍物检测系统的性能的方法和单元与流程

1.本公开总体上涉及中央单元和由中央单元执行的方法。更特别地，本公开涉及评估被包括在受限区域处的一组两个或更多个对象中的第一对象中的障碍物检测系统的性能，该第一对象是交通工具。
2.本发明可以应用于重型交通工具，例如卡车、公共汽车和建筑设备等。尽管本发明将关于卡车进行描述，但是本发明不限于这种特定的交通工具，而是也可用于其它交通工具中，例如公共汽车、挂车、轮式装载机、铰接式运输车、挖掘机、挖掘装载机、乘用轿车、海洋船舶等。它还可以应用于例如电动船舶的电气系统中以及各种工业建筑机械或作业机械中。它能够用在全电动交通工具中以及还包括内燃发动机的混合动力交通工具中。
3.本发明可应用于部分自主交通工具或完全自主交通工具中。


背景技术：

4.交通工具包括许多用于不同目的的传感器和系统。确保交通工具的安全性通常要求高完整性和极低频率的某些错误。这对于非自主交通工具、特别是对于至少部分地自主的交通工具是重要的。当涉及到安全方面时，一个具有挑战性的领域是感知关于交通工具的周围环境的数据。这对于实现高性能来说是正确的，但在验证这种性能水平时可能更是如此。
5.保证感知的高度完整性是最困难的问题之一(如果不是最困难的问题)，它阻止了更困难的用例被自动化或获得提高水平的自主性。现有解决方案通常依赖于需要大量测试的感知系统或传感器。在没有找到聪明的方案的情况下，从实际和财务的角度来看，执行所需数量的测试通常被认为是不可行的。
6.存在可能影响所需的数据量的不同的统计方法和不同类型的独立性论证，但收集和处理数据的问题仍然存在。
7.用于证明传感器的性能的一种常见解决方案是将传感器数据与由更先进的传感器提供的地面实况数据进行比较，该更先进的传感器通常比预期的批量生产传感器(production sensor)昂贵得多。地面实况传感器可以描述为提供被认为真实的(即被认为正确的)数据的传感器。然而，由此存在一个问题：即，不存在具有足够低的故障率来满足许多用例的安全要求的地面实况传感器。
8.因此，需要至少减轻或解决这一问题。


技术实现要素：

9.本发明的目的是提供一种改进的、用于评估交通工具中的障碍物检测系统的性能的方法。
10.根据第一方面，该目的通过下文所述的方法来实现。该方法由中央单元执行并且用于评估障碍物检测系统的性能，所述障碍物检测系统被包括在受限区域处的一组两个或更多个对象中的第一对象中。第一对象是交通工具。该控制单元获得来自该组中的每个对
象的姿态数据和来自至少第一对象的障碍物检测数据。该控制单元使用来自每个对象的姿态数据来确定这些对象的相对姿态。该控制单元将障碍物检测数据与所确定的相对姿态进行比较。基于该比较，该控制单元评估第一对象的障碍物检测系统的性能。通过提供该方法，提供了评估障碍物检测系统的性能的优点。障碍物检测系统是交通工具中的安全关键系统，因此当评估障碍物检测系统的性能时，通过提供本发明的方法提高了安全性。对于许多用例/情况，与障碍物检测系统相比，构建具有高完整性的定位系统要容易得多。利用本发明，与已知解决方案相比，障碍物检测系统的验证和评估更容易且耗时更少。此外，本发明使得能够将障碍物检测系统评估到许多自动驾驶(ad)用例所必需的程度。
11.除非已知的障碍物检测系统满足某些要求或性能，否则在许多用例中不能部署ad交通工具。然而，利用本发明，提供了许多类型的ad部署的停止器(即，其中障碍物检测系统被评估为其不应该被部署的类型)。
12.根据一个实施例，该组中的至少第二对象可以是交通工具。因此，第一对象和第二对象都是交通工具，其可以被认为是动态对象，即移动对象或潜在地移动的对象。例如，静止的交通工具是动态对象，因为它适合于移动。与障碍物检测系统应当能够检测到的所有类型的对象进行比较可能是有利的，例如，以提高性能评估的质量和可靠性。从安全角度来看，与检测静态对象相比，障碍物检测系统检测其它移动对象(例如，其它交通工具)的能力可能具有高优先级。如果基于不同类型的对象(例如，岩石和交通工具二者)来评估性能，则评估的质量和可靠性可能会提高。
13.根据一个实施例，该组中的至少第二对象可以是静态对象。静态对象可以是非移动对象，例如岩石、房屋等。这样的优点可以是：如果在障碍物检测系统的性能的评估中可以考虑不同类型的对象，则性能评估的质量和可靠性可以提高。
14.根据另一个实施例，可以针对第一对象的至少一个操作条件来评估障碍物检测系统的性能，在该操作条件期间，获得姿态数据和障碍物检测数据。使用至少一个操作条件的优点可以是：可以确定障碍物检测系统在哪些操作条件下提供具有足够质量和准确度的输出数据，以及障碍物检测系统在哪些操作条件下提供质量和准确度不足的输出数据。质量和准确度不足的输出数据可以被忽略。将不同的操作条件分离可能使得在某些条件下而不是在其它条件下使用障碍物检测系统成为可能。如果这是不可能的，就不可能证明障碍物检测系统对于所有操作条件都足够安全，因为它可能实际上并不安全。作为示例，如果障碍物检测系统包括相机，则它可能对光照条件敏感。如果相机仅在白天期间工作，则可以使用日光的操作条件，并且性能评估的结果可以指示障碍物检测系统具有所需的性能。如果不考虑操作条件，则可以在评估中使用在白天和夜间期间获得的数据。在夜间期间获得的数据可能具有低质量，或者它可能是无用的数据。因此，当考虑操作条件时，评估的质量和准确度可以提高，并且对于特定操作条件，满足障碍物检测系统的安全要求的可能性也可以增加。
15.根据另一个实施例，所述至少一个操作条件可以是天气条件和光照条件中的至少一个。这可能是一个优点，因为它可以在验证和开发方面提供帮助。例如，如果照度(lux)高于x，则可能能够确定障碍物检测系统达到高性能，而如果照度低于x，则确定障碍物检测系统达到中等性能。由此，在某些条件期间，例如在一天中的某些部分期间，依赖于对象检测系统可能是可行的。使用至少一种操作条件可以使证明一天中的一部分、某些天气条件等
的安全性成为可能。它还可以使证明某一组操作条件的安全性成为可能，即使它可能对所有其它的操作条件都不安全。
16.根据另一个实施例，当获得姿态数据和障碍物检测数据时，可以针对第一对象的至少一个对象特性进一步评估障碍物检测系统的性能。使用至少一个对象特性的优点可以是：可以确定障碍物检测系统在哪些对象特性中提供具有足够质量和准确度的输出数据，以及障碍物检测系统在哪些对象特性中提供质量和准确度不足的输出数据。质量和准确度不足的输出数据可以被忽略。例如，当对移动得比x km/h快的对象进行评估时，性能可能被评估为差或低于阈值。如果可以分离该数据，则有可能评估低于x km/h的对象的性能是否可靠。因此，当考虑至少一个对象特性时，评估的质量和可靠性提高了。
17.根据另一个实施例，所述至少一个对象特性可以是铰接角度、横摆率、对象速度和对象加速度中的至少一个。这可能是一个有点，因为它可以在验证和开发方面提供帮助。例如，如果对象特性低于x，则可能能够确定障碍物检测系统达到高性能，而如果低于y，则能够确定障碍物检测系统达到中等性能。由此，在对象特性期间，例如当交通工具正以低于x的速度行驶时，依赖于对象检测系统可能是可行的。
18.根据另一个实施例，所述中央单元可以获得无对象数据，该无对象数据指示了受限区域的其中不存在对象的子区域。可以将障碍物检测数据进一步与该无对象数据进行比较，并在性能的评估中使用障碍物检测数据，以检测是否存在任何假阳性障碍物检测数据。如果受限区域是完全受限的区域，则障碍物检测系统有可能知道其中不应该有检测的地方，例如其中没有其它交通工具或静态对象的任何地方。因此，不仅有可能检查在应该获得正确的检测时是否获得了正确的检测，而且还可能跟踪当障碍物检测系统检测到不存在的对象时的情况。结合起来，这意味着有可能创建与通过障碍物检测系统验证真/假阳性/阴性读数的所有组合相关的数据。
19.根据另一个实施例，在所述受限区域的不满足预定标准的子区域中获得的姿态数据和障碍物检测数据可以被从评估中排除。对于受限区域中的某些子区域，可能难以认为中央单元(例如外接单元)可以知道所有对象的确切位置和运动，在这些情况下，在此类区域中收集的所有数据都可以被排除。例如，如果存在与被包括在受限区域中的公共道路交叉的交叉口，则可以这样做。这样做的优点可能是，在该方法中将仅使用来自感兴趣的对象的数据。这提高了该方法的质量。一些受限区域可能会不断地变化。例如，在矿山中，随着更多的材料被开采出来并从现场移走，某些区域中的周围环境会不断地变化。
20.根据本发明的第二方面，该目的通过下文所述的中央单元来实现。该中央单元用于评估被包括在受限区域处的一组两个或更多个对象中的第一对象中的障碍物检测系统的性能。第一对象是交通工具。该中央单元被配置成执行第一方面中描述的方法的步骤。该中央单元可以是包括用于执行该方法的处理电路的电子中央单元。该中央单元可以是计算机。该中央单元可以包括硬件或包括硬件和软件。该中央单元的优点和效果在很大程度上类似于该方法的优点和效果。此外，该方法的所有实施例都适用于该中央单元的所有实施例并且能够与该中央单元的所有实施例组合，反之亦然。
21.根据本发明的第三方面，该目的通过下文所述的计算机程序来实现。计算机程序可以包括程序代码组件，用于当所述程序在计算机上运行时执行根据本文中所述的实施例中的任一个实施例的方法的步骤。该计算机程序的优点和效果在很大程度上类似于该方法
的优点和效果。此外，该方法的所有实施例都适用于该计算机程序的所有实施例并且能够与该计算机程序的所有实施例组合，反之亦然。
22.根据本发明的第四方面，该目的通过下文所述的计算机可读介质来实现。该计算机可读介质可以携带计算机程序，该计算机程序包括程序代码组件，用于当所述程序在计算机上运行时执行根据本文中所述的实施例中的任一个实施例的方法的步骤。该计算机可读介质的优点和效果在很大程度上类似于该方法的优点和效果。此外，该方法的所有实施例都适用于该计算机可读介质的所有实施例并且能够与该计算机可读介质的所有实施例组合，反之亦然。
23.本发明不限于上文提及的特征和优点。本领域技术人员在阅读下面的详细描述后将认识到附加的特征和优点。
附图说明
24.参考附图，下面是作为示例引用的本发明的实施例的更详细描述。
25.在这些图中：
26.图1是图示了交通工具的示意图。
27.图2是图示了受限区域的示意图。
28.图3是图示了方法的流程图。
29.图4是图示了方法的流程图。
30.图5是图示了中央单元的示意图。
31.这些图不一定按比例绘制，并且，为了清楚起见，某些特征的尺寸可能被夸大。相反，重点放在说明原理上。
具体实施方式
32.图1图示了交通工具100。交通工具100可以是重型交通工具，例如卡车、公共汽车、建筑设备、挂车、轮式装载机、挖掘机、乘用轿车、海洋船舶、作业机械等。交通工具100可以是全电动交通工具以及还包括内燃发动机的混合动力交通工具和仅包括内燃发动机的交通工具。交通工具100可以是完全自主交通工具、至少部分地自主的交通工具或非自主交通工具。
33.本文中使用的方向(例如水平、竖直、横向)涉及交通工具100站在平坦地面上时的情形。为了方便起见，如图1所示的交通工具100在本文中是相对于笛卡尔坐标系来定义的，其中交通工具100的纵向延伸沿着笛卡尔坐标系的x轴延伸，交通工具100的横向延伸沿着y轴延伸，并且交通工具100的高度延伸沿着z轴延伸。然而应当注意，方向、位置、取向等可以在任何其它类型的坐标系中表示。
34.图2图示了受限区域102。受限区域102是通过任何合适的方式限制的地理区域。尽管图2中的受限区域102被图示为矩形，但应理解，这仅是一个示例，并且受限区域102可以具有任何合适的尺寸和形状。受限区域102可以是其中测试至少一个交通工具100的测试地点，或者它可以是任何其它区域，例如城市中的公共道路集合、港口区域等。
35.一组两个或更多个对象100a、100b被包括在受限区域102中，例如第一对象100a和第二对象100b。在下文中，将使用其中所述一组两个或更多个对象100a、100b包括两个对象
的示例。然而，任何数量的对象100可以被包括在受限区域102中。当本文中使用没有字母a或b的附图标记100时，它是指受限区域102处的任何对象100。在图2中所见的示例中，第一对象100a被称为对象a，并且第二对象100b被称为对象b。
36.如图2中所见，存在被包括在受限区域102中的中央单元103。中央单元103适于跟踪在受限区域102处的对象100中的至少一些。中央单元103对于对象100来说是中央，并且它具有在受限区域102处的所有对象100或至少一些对象100的数据。中央单元103可以是包括用于执行本文中所述方法的处理电路的电子控制单元。中央单元103可以是计算机。中央单元103可以包括硬件或包括硬件和软件。中央单元103可以包括处理器、存储器、发射器、接收器等。中央单元103可以位于受限区域102中的任何合适的位置。中央单元103可以是位于交通工具100之外的外接服务器。
37.现在将更详细地描述被包括在所述一组两个或更多个对象100a、100b中的对象100a、100b。该组中的对象100a、100b之一是动态对象(即，移动对象)，而另一个对象可以是静态对象(即，非移动对象)，或者该组中的两个对象100a、100b可以都是移动对象。在图2中所示的示例中，第一对象100a和第二对象100b都是移动对象。
38.第一对象100a是交通工具，例如图1中所示的交通工具100，并因此可以被称为自我对象、第一交通工具、交通工具a或自我交通工具。在图2中的示例中，第二对象100b也是交通工具，并因此被称为第二交通工具或交通工具b。请注意，替代地，第二对象100b可以为静态对象，即非移动对象，但本文将不详细描述该示例。
39.第一对象100a(即交通工具，也称为第一交通工具或交通工具a)包括障碍物检测系统。该障碍物检测系统适于检测第一交通工具100a的周围环境中的障碍物，例如第二对象100b。该障碍物检测系统能检测到哪种类型的障碍物可能取决于该障碍物检测系统包括哪种传感器。该障碍物检测系统可以被称为对象检测系统或感知系统。该障碍物检测系统适于检测的障碍物可以是任何类型的障碍物，例如其它交通工具、人、房屋、交通灯等，这取决于该障碍物检测系统包括哪种传感器。该障碍物检测系统适于检测的障碍物可以是静态的，即非移动的，或者它们可以是动态的，即移动的。该障碍物检测系统可以包括不同类型或相同类型的一个或多个传感器，例如相机、激光雷达、雷达等。该障碍物检测系统可以位于第一交通工具100a内部和/或外部的任何合适位置。第一对象100a中包括的障碍物检测系统具有障碍物检测视野，如图2中的虚线三角形所示。请注意，该障碍物检测视野的三角形形状仅是一个示例，并且该障碍物检测视野可以具有任何合适的形状和尺寸。在该障碍物检测视野内，障碍物检测系统适于检测受限区域102中的障碍物。该障碍物检测系统适于提供指示障碍物检测视野中的障碍物的输出。该输出可以包括检测到的对象的位置、检测到的对象的形状、检测到的对象的速度等。
40.在图2中的示例(其中第二对象100b也是交通工具，即第二交通工具100b)中，第二交通工具100b包括适于检测第二交通工具100b的周围环境中的障碍物的障碍物检测系统。第二交通工具100b中包括的障碍物检测系统类似于第一交通工具100a中包括的障碍物检测系统，并且可以提供类似类型的输出。尽管第一对象100a是在图2中唯一被图示为具有视野的对象，但第二对象100b也可以具有视野并因此具有障碍物检测系统，但为了简单起见，这在图2中没有示出。
41.所述一组两个或更多个对象中的每个交通工具(包括第一交通工具100a)适于确
定其自身的姿态，即位置和航向(heading)。由每个交通工具100确定的姿态可以具有高完整性，或者具有高于阈值的完整性，即，假设它是正确的并且是地面实况数据。每个交通工具中包括的定位系统(通过该定位系统获得姿态)可以被假设为地面实况系统，即它具有高完整性。该组中的每个交通工具100适于使用任何合适的确定装置(例如，姿态传感器等)来确定其自身的姿态。为了简单起见，在图2中仅图示了第一交通工具100a和第二交通工具100b的位置，并且该位置由坐标(x1,y1)和(x2,y2)示出。这些坐标可以是笛卡尔坐标或任何其它类型的坐标。
42.如先前所提及，第二对象100b可以是动态对象，例如移动对象(如交通工具)，或者它可以是静态对象，即非移动对象。当第二对象100b是第二交通工具时，第二对象100b适于确定其自身的姿态。对于第一交通工具100a，由第二交通工具100b确定的姿态可以具有高完整性，即，假设它是正确的。第二交通工具100b适于使用任何合适的确定装置(例如，姿态传感器等)来确定其自身的姿态。为了简单起见，在图2中仅图示了第二交通工具100b的位置，并且该位置由坐标(x2,y2)示出。该坐标可以是笛卡尔坐标或任何其它类型的坐标。
43.在第二对象100b是静态对象(即，非移动对象)的情况下，它还可以适于通过被包括在第二对象100b中的任何合适的确定装置来确定其自身的姿态。考虑其中第二对象100b是诸如交通灯的静态对象的示例。作为静态对象的交通灯可以包括例如gps单元或使得交通灯能够确定其自身姿态的任何其它合适的姿态确定单元。在其中第二对象100b是房屋的另一个示例中，第二对象100b可能不一定适于确定其自身的姿态。然而，该房屋的姿态可以从地图数据或数据库中知道。因此，第二对象100b(例如房屋)的姿态可以由中央单元103从地图中获得。
44.第一对象100a和第二对象100b之间的相对位置可以通过将第一对象100a的姿态减去第二对象100b的姿态来确定。使用具有图2中看到的位置(x1,y1)和(x2,y2)的示例，该相对位置可以是(x1-x2,y1-y2)。
45.在受限区域102处，存在在同一地理区域中运行的多个对象100a、100b。假设这些对象100a、100b可以高完整性地确定它们自身的位置或姿态(即，位置和航向)，则有可能确定对象100a、100b的相对姿态。这例如可以通过以下方式来完成：每个对象100a、100b将它们的姿态数据发送到中央单元103，然后中央单元103将这些绝对姿态相互比较。
46.两个不同对象100a、100b的相对姿态是用于生成障碍物检测系统的验证数据的有用信息。对于一些情况，例如对于具有自主交通工具的自主操作区，已知除了自主交通工具之外，在受限区域102中将不会有任何移动对象100a、100b。在这些情况下，这意味着可以确定障碍物检测系统应该检测的所有动态对象的位置。
47.如果对象100配备有障碍物检测系统并向中央单元103提供所有检测到的障碍物的数据，则可以将检测到的障碍物与受限区域102处的所有其它对象100的位置进行比较。通过聚合这些比较，然后可以收集不同方面、不同视野或不同类型的对象100的性能度量。
48.通过使用两个不同对象100a、100b的定位和自我运动系统的输出，可以为障碍物检测系统自动生成高质量的地面实况数据。在下一步骤中，可以将地面实况数据与来自一个或两个对象100的障碍物检测结果进行比较，以便例如生成性能度量。由于这可以在没有任何显著的额外成本的情况下容易地在商业运营的站点中实现，因此收集大量标记数据以用于验证和/或开发可能是可行的。这种类型的数据既可以用于具有多个传感器的组合式
障碍物检测系统，也可以用于单独的传感器。
49.图3是图示了用于评估障碍物检测系统的性能的方法的流程图，该障碍物检测系统被包括在受限区域102处的一组两个或更多个对象100a、100b中的第一对象100b中。图3基于其中第一对象100a是第一交通工具并且第二对象100b是第二交通工具的示例。换句话说，所述组中的两个对象都是动态对象，例如移动的对象。图3中举例说明的方法包括以下步骤中的至少一个，这些步骤可以以除了下面描述的顺序之外的任何合适的顺序执行：
50.步骤201a
51.第一交通工具100a向中央单元103提供姿态数据，例如姿态a。该姿态数据包括第一交通工具100a的位置数据和航向数据。该姿态数据由第一交通工具100a自身例如经由被包括在第一交通工具100a中的定位和自我运动系统获得。可以假设由第一交通工具100a获得的姿态数据已经被验证，即它们具有高完整性。
52.步骤201b
53.第二交通工具100b向中央单元103提供姿态数据，例如姿态b。该姿态数据包括第二交通工具100b的位置数据和航向数据。该姿态数据由第二交通工具100b自身例如经由被包括在第二交通工具100b中的定位和自我运动系统获得。可以假设由第二交通工具100b获得的姿态数据已经被验证，即它们具有高完整性。
54.在已经执行了步骤201a和201b之后，中央单元103包括用于受限区域102中的所有对象100的姿态数据。
55.步骤202a
56.第一交通工具100a向中央单元103提供障碍物检测数据，例如障碍物检测a。该障碍物检测数据可以包括由第一交通工具100a检测到的障碍物的位置。第一交通工具100a从其障碍物检测系统获得障碍物检测数据。假设障碍物检测系统未被验证，这与假设已经被验证的姿态数据形成对比。因此，该障碍物检测数据未被验证。除了位置之外，该障碍物检测数据还可以包括其它数据，例如不同方向上的速度和加速度等。
57.步骤202b
58.第二交通工具100b可以向中央单元103提供障碍物检测数据，例如障碍物检测b。该障碍物检测数据可以包括由第二交通工具100b检测到的障碍物的位置。第二交通工具100b从其障碍物检测系统获得障碍物检测数据。假设障碍物检测系统未被验证，这与假设已经被验证的姿态数据形成对比。因此，该障碍物检测数据未被验证。除了位置之外，该障碍物检测数据还可以包括其它数据，例如不同方向上的速度和加速度等。
59.如果第二对象100b是交通工具，例如第二交通工具100b，并且如果第二对象100b包括障碍物检测系统，则可以执行步骤202b。例如，如果第二对象100b是静态对象，例如岩石或房屋，则第二对象100b不一定包括任何障碍物检测系统，因此不提供任何障碍物检测数据。
60.步骤201a、201b、202a和202b可以以任何合适的顺序执行。
61.在已经执行了步骤202a和202b之后，中央单元103包括来自受限区域102中的至少一个对象100的障碍物检测数据，即指示对象100中的至少一个对象(即包括障碍物检测系统的对象100)已经在受限区域102中检测到的障碍物的数据。
62.步骤203
63.中央单元103计算第一交通工具100a和第二交通工具100b的相对姿态。基于来自步骤201a和步骤201b的姿态数据进行所述计算。可以通过将第一交通工具100a的姿态减去第二交通工具100b的姿态(例如姿态a-姿态b)来确定相对姿态。该相对姿态指示了第一交通工具100a和第二交通工具100b之间的位置关系。该相对姿态可以被称为地面实况数据。
64.通过使用两个不同交通工具100a、100b的定位和自我运动系统的输出，可以自动计算第一对象100a的障碍物检测系统的高质量地面实况数据。
65.步骤203是在已经执行了步骤201a和201b之后的任何时间执行的。步骤203可以在已经执行步骤201a和201b之后并且在执行步骤202a和202b之前直接执行。步骤203可以在已经执行步骤201a和201b之后执行，并且也可以在执行步骤202a或202b中的一个之后执行，或者在已经执行步骤202a和202b二者之后执行。请注意，步骤201和202是实时执行的。步骤203至205可以在任何未来的时间点进行。
66.步骤204
67.中央单元103将来自步骤202a和步骤202b的障碍物检测数据与来自步骤203的相对姿态进行比较。该比较的结果表明了：障碍物检测数据和相对姿态是相同的，二者具有一些公差，或者它们是不同的。将障碍物检测数据与相对姿态进行比较可以被称为验证障碍物检测数据。
68.将来自步骤203的相对姿态(即地面实况数据)与来自两个交通工具100a、100b的障碍物检测数据进行比较，以便例如生成性能度量。每次比较都提供了该性能度量的一个测量点。例如，如果该性能度量是离所述对象的测量距离之间的差异。来自第一对象100a的第一比较提供了一个样本(x m)。来自第二对象100b的第二比较提供了另一个样本(y m)。
69.步骤205
70.中央单元103基于步骤204中的比较的结果来评估第一交通工具100a的障碍物检测系统的性能。
71.该评估随着时间的推移而执行。
72.如果步骤204中的比较的结果表明障碍物检测数据和相对姿态相同，或者它们基本相同但具有一些公差，则障碍物检测系统的性能可以被评估为具有某种性能，例如某个性能值。例如，如果性能值已经达到或高于预定的性能阈值，则可以认为性能是足够的或具有高质量。
73.如果步骤204中的比较的结果表明障碍物检测数据和相对姿态不同或差异超过公差，则可以将障碍物检测系统的性能评估为具有某个性能值。例如，如果性能值没有达到预定的性能阈值，则可以认为该性能不足或具有低质量。
74.除了在步骤201a、201b、202a和202b中获得的数据之外，中央单元103可以包括其它类型的数据，例如关于对象100中的至少一个对象的操作条件的数据。这例如可以包括当前天气类型和光照条件，或不同的天气类型和光照条件的分布。这可能是有用的数据，因为它可能有助于评估障碍物检测系统的性能，特别是在验证和开发方面。例如，作为障碍物检测系统的性能的评估的一部分，中央单元103可能能够确定：如果照度高于x，则障碍物检测系统达到高性能，而如果照度低于x，则障碍物检测系统达到中等性能。那么，在某些条件(例如一天中的某些部分)期间，依赖于障碍物检测系统可能是可行的。至少一个交通工具100的操作条件的数据可以从特定交通工具100获得，该特定交通工具100可以包括适于检
测操作条件的传感器，例如光传感器、天气传感器等。或者，操作条件的数据可以由中央单元103从另一个单元获得，例如包括在受限区域103中的天气传感器或位于某个其它地方的天气服务器、包括在受限区域13处的光传感器等。
75.可以以不同的方式使用步骤205的结果。一个示例是自动提供标记的原始数据，该数据可用于许多目的，包括障碍物检测系统的开发、确认和验证。还可以估计或提供易于存储并且对确认和验证目的有用的性能度量。当然，在这之间存在许多潜在的步骤，因为这几乎可以被视为连续的尺度，而不是离散的尺度。
76.除了来自步骤201a、201b、202a和202b的姿态数据和障碍物检测数据之外，中央单元103可以获得与对象100中的至少一个对象相关联的附加数据，例如，当对象中的至少一个对象获得姿态数据和障碍物检测数据时其所具有的对象特性。这些对象特性例如可以是以下项中的至少一个：
77.·
铰接角度，
78.·
横摆率，
79.·
对象速度，
80.·
对象加速度，和
81.·
相对于道路的对象位置，例如对象100位于哪个车道中。
82.当评估第一交通工具100a的障碍物检测系统的性能时，至少一个交通工具100的这些对象特性中的至少一个可以由中央单元103使用。这些对象特性中的一些可以被称为对象100的运动特性。该对象特性可以由中央单元103从对象100获得，它可以由中央单元103基于姿态数据和/或障碍物检测数据来确定，它可以从位于受限区域102处或某个其它位置处的另一个单元(例如，中央单元、云单元等)获得。
83.总之，中央单元103可以获得并评估以下数据中的至少一项的性能：
84.·
姿态数据，即位置和航向
85.·
障碍物检测数据
86.·
天气条件，
87.·
光照条件
88.·
铰接角度
89.·
横摆率
90.·
对象速度
91.·
对象加速度
92.·
相对于道路的对象位置，例如对象100位于哪个车道中。
93.这些操作条件和对象特性涉及自我交通工具，即第一对象100a。例如，当自我交通工具正在转弯时和当它正在直线行驶时，可能的情况是障碍物检测系统的性能是不同的。
94.可以针对姿态数据单独地评估障碍物检测系统的性能。例如，可以单独地评估来自障碍物检测系统的所检测到的相对对象位置以及速度。评估的结果可能表明可信任该位置具有足够的完整性，但速度不是这样。
95.如果要评估第二交通工具100b的障碍物检测系统的性能，则可以重复步骤201-205。
96.可以朝着在其中收集数据的受限区域102的运行设计域(odd)评估障碍物检测系
统的性能。例如，它可能针对检测卡车而不是轿车来评估。然而，这可能仍然是非常有用的，因为它潜在地可以用来允许具有人工驾驶卡车的混合交通。还可以想象其中人工交通工具(例如，轿车)配备有经过验证的定位系统的场景，中央单元103也可以使用该定位系统开始生成障碍物检测数据。
97.被包括在第一对象100a中的对象检测系统可以检测作为动态对象的障碍物。然而，这不必是一种限制。对于对象检测系统来说，检测作为静态对象的障碍物可能更容易。因为静态对象总是在同一个位置，所以不需要连续地发送它的位置。然后可以将静态位置与第一对象100a(例如，第一交通工具)的动态位置进行比较，并将计算出的相对位置与对象检测数据进行比较。该对象检测不必局限于静态对象或移动对象。例如，交通灯的状态或路障的位置也是障碍物检测系统相对容易检测到的例子。
98.对于完全受限的区域102，中央单元103可以知道其中不应该有检测的地方，即其中没有其它交通工具或静态对象的任何地方。因此，不仅有可能检查在应该检测到正确检测时是否检测到正确检测，而且还可能跟踪障碍物检测系统检测到不存在的对象时的情况。结合起来，这意味着可以创建与验证真/假阳性/阴性系统读数的所有组合相关的数据。
99.对于某些受限区域102中的某些区或子区域，中央单元103可能无法访问受限区域102处的所有对象的确切位置和运动。在这种情况下，在这样的区域中收集的所有数据都可以被从评估中排除。例如，如果存在与受限区域102中包括的公共道路交叉的交叉口，则可以这样做。
100.步骤203、204和205可以实时执行，或者在已经获得数据之后的某个稍后时间执行，例如批量执行。
101.现在将从中央单元103的角度来描述上述方法。图4是描述中央单元103中的方法的流程图，该方法用于评估被包括在受限区域102处的一组两个或更多个对象100a、100b中的第一对象100a中的障碍物检测系统的性能。第一对象100a是交通工具。该组中的至少第二对象100b可以是交通工具。该组中的至少第二对象100b可以是静态对象。该方法包括将由中央单元103执行的以下步骤中的至少一个，这些步骤可以以除了下面描述的顺序之外的任何合适的顺序执行：
102.步骤301
103.该步骤对应于图3中的步骤201a、201b、202a、202b。中央单元103获得来自该组中的每个对象100a、100b的姿态数据和来自至少第一对象100a(即交通工具100a)的障碍物检测数据。
104.步骤302
105.中央单元103可以获得无对象数据，该无对象数据指示了受限区域102的不存在对象的子区域。
106.步骤303
107.该步骤对应于图3中的步骤203。中央单元103使用来自每个对象100a、100b的姿态数据来确定这些对象100a、100b的相对姿态。
108.步骤304
109.该步骤对应于图3中的步骤204。中央单元103将来自至少第一对象100a的障碍物检测数据与所确定的这些对象100a、100b的相对姿态进行比较。
110.可以进一步将障碍物检测数据与来自步骤302的无对象数据进行比较。
111.如果两个或更多个对象100包括障碍物检测系统，则可以在步骤304中的比较中使用来自这些对象100中的每一个对象的障碍物检测数据。
112.步骤305
113.该步骤对应于图3中的步骤205。基于该比较，中央单元103评估第一对象100a的障碍物检测系统的性能。
114.随着时间的推移来执行该评估。
115.可以针对第一对象100a的至少一个操作条件来评估障碍物检测系统的性能，所述姿态数据和障碍物检测数据是在该操作条件期间获得的。该至少一个操作条件可以是以下项中的至少一个：
116.·
天气条件，和
117.·
光照条件。
118.当获得了姿态数据和障碍物检测数据时，可以针对第一对象100a的至少一个对象特性来评估障碍物检测系统的性能。该至少一个对象特性可以是以下项中的至少一个：
119.·
铰接角度，
120.·
横摆率，
121.·
对象速度，
122.·
对象加速度，和
123.·
相对于道路的对象位置，例如对象100位于哪个车道中。
124.在步骤304中可以与无对象数据进行比较的障碍物检测数据可以被用在所述性能的评估中，以检测是否存在任何假阳性障碍物检测数据。
125.可以在受限区域102的不满足标准的子区域中获得的姿态数据和障碍物检测数据被从评估中排除。该标准可以是预定的标准。该标准可以是：中央单元103适于获得来自子区域中的所有对象的姿态数据(可能还有运动数据)，例如，如果存在与被包括在受限区域102中的公共道路交叉的交叉口。换句话说，可以从所述评估中排除受限区域102的子区域：在该子区域中，中央单元103不适合或不能从所有对象获得姿态数据(可能还有运动数据)。
126.步骤303、304和305可以实时执行，或者在已经获得数据之后的某个稍后时间执行，例如批量执行。
127.中央单元103用于评估被包括在受限区域102处的一组两个或更多个对象100a、100b中的第一对象100a中的障碍物检测系统的性能，该中央单元103被配置成执行本文中描述的方法的至少一个步骤。第一对象100a是交通工具。该组中的至少第二对象100b可以是交通工具。该组中的至少第二对象100b可以是静态对象。为了执行图3和图4中所示的方法步骤中的至少一个步骤，中央单元103可以包括如图5中所示的布置。
128.与中央单元103相关的本公开可以通过一个或多个处理器(例如图5中描绘的中央单元103中的处理器501)以及用于执行本文中描述的功能和动作的计算机程序代码来实现。本文中所使用的处理器可以理解为硬件部件。上面提及的程序代码也可以作为计算机程序产品来提供，例如以数据载体的形式提供，该数据载体承载用于在被加载到中央单元103中时执行本公开的计算机程序代码。一种这样的载体可以为cd rom盘的形式。然而，对于诸如记忆棒的其它数据载体，也是可行的。该计算机程序代码可以在服务器上作为纯程
序代码提供并被下载到中央单元103。
129.中央单元103可以包括存储器503，该存储器503包括一个或多个存储器单元。存储器503被布置成用于存储所获得的数据、存储数据、配置、计划表和应用程序等，以便在中央单元103中被执行时执行本文的方法。
130.中央单元103可以通过接收端口505从例如对象100a、100b接收数据和信息。接收端口505可以例如连接到中央单元103中的一个或多个天线。中央单元103可以通过接收端口505从受限区域102中或另一位置上的另一结构接收数据。由于接收端口505可以与处理器501通信，接收端口505然后可以将接收到的数据发送到处理器501。接收端口505还可以被配置成接收其它数据。
131.中央单元103中的处理器501可以被配置成通过可以与处理器501和存储器503通信的发送端口507向例如受限区域102中或另一位置上的对象100a、100b或另一结构传输或发送数据。
132.中央单元103被配置成例如通过处理器501或接收端口505从所述组中的每个对象100a、100b获得姿态数据，并且从至少第一对象100a获得障碍物检测数据。
133.中央单元103被配置成例如通过处理器501使用来自每个对象100a、100b的姿态数据来确定对象100a、100b的相对姿态。
134.中央单元103被配置成例如通过处理器501将障碍物检测数据与所确定的相对姿态进行比较。如果两个或更多个对象100包括障碍物检测系统，则来自这些对象100中的每一个对象的障碍物检测数据可以被用在该比较中。
135.中央单元103被配置成例如通过处理器501基于该比较来评估第一对象100a的障碍物检测系统的性能。可以针对第一对象100a的至少一个操作条件来评估障碍物检测系统的性能，所述姿态数据和障碍物检测数据是在该操作条件期间获得的。该至少一个操作条件可以是以下项中的至少一个：
136.·
天气条件，和
137.·
光照条件。
138.当获得了姿态数据和障碍物检测数据时，可以针对第一对象100a的至少一个对象特性来评估障碍物检测系统的性能。该至少一个对象特性可以是以下项中的至少一个：
139.·
铰接角度，
140.·
横摆率，
141.·
对象速度，
142.·
对象加速度，
143.·
相对于道路的对象位置，例如对象100位于哪个车道中。
144.中央单元103可以适于例如通过处理器501或接收端口505获得无对象数据，该无对象数据指示了受限区域102的不存在对象的子区域。该无对象数据可以进一步与障碍物检测数据进行比较，并被用在所述性能的评估中，以检测是否存在任何假阳性障碍物检测数据。
145.在受限区域102的不满足标准的子区域中获得的姿态数据和障碍物检测数据可以被从评估中排除。
146.因此，本文中描述的用于中央单元103的方法可以分别通过计算机程序508来实
现，该计算机程序508包括指令(即，软件代码部分)，当在至少一个处理器501上执行时，该指令使所述至少一个处理器501执行本文中描述的动作，如由中央单元103执行的那样。计算机程序508产品可以存储在计算机可读介质510上。其上存储有计算机程序508的计算机可读介质510可以包括指令，当在至少一个处理器501上执行时，该指令使所述至少一个处理器501执行本文中描述的动作，如由中央单元103执行的那样。计算机可读介质510可以是非暂时性计算机可读存储介质，例如cd rom盘或记忆棒。计算机程序508产品可以存储在包含刚才描述的计算机程序508的载体上，其中该载体是电子信号、光信号、无线电信号或如上所述的计算机可读介质510中的一种。
147.计算机程序(例如，图5中的计算机程序508)可以包括当所述程序在计算机上运行时用于执行本文中描述的方法的步骤的程序代码组件。
148.计算机可读介质可以承载计算机程序，例如图5中的计算机程序508，其包括当所述程序在计算机上运行时用于执行本文中描述的方法的步骤的程序代码组件。
149.总之，本发明涉及一种允许验证交通工具100中的安全关键感知系统的方法。
150.本发明提供了一种方法，该方法使得验证障碍物检测系统(例如，障碍物检测系统的关键方面)变得可行。这通过生成具有高质量的数据和可扩展到大量的方法来实现。
151.本发明涉及通过收集大量高质量的障碍物检测数据来评估障碍物检测系统的性能。当该数据在足够大比例的时间(典型地99.99...％的时间，其中9的数量取决于需求级别)内满足准确度要求时，障碍物检测数据可以具有高质量。障碍物检测系统应该能够在正在生产中操作的交通工具中实现，并以最小的额外成本为简单的自主用例产生价值。虽然在开发中使用来自商业操作的数据并不罕见，但本发明可以确保用于未验证的障碍物检测系统的已验证的高质量数据，而不引入昂贵且通常不存在的地面实况传感器或人工标记。
152.本发明旨在利用已经在对象100或多个对象100中得到验证的某些能力。本发明假设存在高完整性定位系统，其例如包括一个或多个传感器，确定对象的姿态，该系统可以在给定的某些情形下构建。
153.本发明可以应用于其中存在具有实施定位系统的多个对象的受限区域102。然后可以使用多个对象的已验证的定位系统来评估未验证的障碍物检测系统的性能。即，第一交通工具a 100a的姿态和第二交通工具b100b的姿态的组合可以用作第二交通工具b 100b中的障碍物检测系统的地面实况，反之亦然。
154.利用本发明，数据被提供给中央单元103并由中央单元103获得，中央单元103还具有关于受限区域102中的所有对象100的移动的信息。基于该数据，可以评估特定对象的障碍物检测系统随时间推移的性能，使得在一段时间后可以说该障碍物检测系统是安全的，并且可能也适用于特定用例。
155.本发明可以随着时间的推移而跨越几个对象来评估障碍物检测系统的性能，例如准确度和/或可靠性。本发明可用于找到强有力的统计论据，证明某个障碍物检测系统具有某种整体性能，即，创建感知系统的安全案例通常所需的整体性能。
156.通过使用由障碍物检测系统产生的数据，可以以合理的成本获得足够的数据来证明障碍物检测系统的高完整性。当这一点已经得到证明时，不是所有的交通工具都需要具有定位系统，并且成本可以被降低。希望检测第一交通工具100a周围的障碍物以避免与它们碰撞。实现这一点的一种方式是为第一交通工具100a配备障碍物检测系统。然而，证明障
碍物检测系统是安全的(例如，障碍物检测系统的性能是足够的)需要大量的里程并且太昂贵。定位系统可以以更合理的成本达到高完整性，并且在第一交通工具100上需要定位系统，例如当第一交通工具100a是至少部分地自主的交通工具时。通过将定位系统放置在受限区域102处的所有其它对象上，它们可以被检测到，并且可以避免或至少减少碰撞。然而，这要求进入或位于受限区域102处的所有对象100a、100b都具有昂贵且受限的定位系统。因此，定位系统与障碍物检测系统一起被放置在初始受限区域102中的所有对象(是交通工具)上。定位数据用来证明障碍物检测系统的完整性。当障碍物检测系统被证明是安全的时，仅需要该障碍物检测系统来用于所有未来的受限区域102。因此，降低了成本，并且该系统较少受到限制。根据用例，仅对象检测、仅定位、或者用二者，可能就足够了。
157.一般来说，本文中的“第一”、“第二”、“第三”、“第四”和/或“第五”的使用可以被理解为标示不同元素或实体的任意方式，并且可以被理解为不基于上下文赋予它们所修饰的名词累积或时间特征，除非另有说明。
158.术语“a和b中的至少一个”应当理解为“仅a、仅b、或a和b二者”，其中a和b是本文中使用的任何参数、数字、指示等。
159.应当强调，当在本说明书中使用时，术语“包括/包含”被用来指定所述特征、整数、步骤或部件的存在，但不排除一个或多个其它特征、整数、步骤、部件或其组的存在或添加。还应注意，在元素之前的词语“一个”或“一种”并不排除多个这样的元素的存在。
160.本文中使用的术语“被配置成”也可以称为“被布置成”、“适于”、“能够”或“可操作以”。
161.应当理解，本发明不限于上文所述和附图中示出的实施例；相反，本领域技术人员将认识到，在所附权利要求书的范围内可以进行许多修改和变型。

技术特征：
1.一种由中央单元(103)执行的用于评估障碍物检测系统的性能的方法，所述障碍物检测系统被包括在受限区域(102)处的一组两个或更多个对象(100a,100b)中的第一对象(100a)中，所述第一对象(100a)是交通工具，所述方法包括：获得(201a,201b,202a,202b,301)来自所述组中的每个对象(100a,100b)的姿态数据和来自至少所述第一对象(100a)的障碍物检测数据；使用来自每个对象(100a,100b)的所述姿态数据确定(203,303)这些对象(100a,100b)的相对姿态；将所述障碍物检测数据与所确定的相对姿态进行比较(204,304)；和基于所述比较，评估(205,305)所述第一对象(100a)的所述障碍物检测系统的性能。2.根据权利要求1所述的方法，其中，所述组中的至少第二对象(100b)是交通工具。3.根据权利要求1或2所述的方法，其中，所述组中的至少第二对象(100b)是静态对象。4.根据权利要求1或2所述的方法，其中，针对所述第一对象(100a)的至少一个操作条件评估所述障碍物检测系统的性能，所述姿态数据和所述障碍物检测数据是在所述至少一个操作条件期间获得的。5.根据权利要求4所述的方法，其中，所述至少一个操作条件是以下条件中的至少一个：
·
天气条件，和
·
光照条件。6.根据权利要求1或2所述的方法，其中，当获得了所述姿态数据和所述障碍物检测数据时，针对所述第一对象(100a)的至少一个对象特性来评估所述障碍物检测系统的性能。7.根据权利要求6所述的方法，其中，所述至少一个对象特性是以下项中的至少一个：
·
铰接角度，
·
横摆率，
·
对象速度，
·
对象加速度，和
·
相对于道路的对象位置。8.根据权利要求1或2所述的方法，包括：获得(302)无对象数据，所述无对象数据指示了所述受限区域(102)的不存在对象的子区域；并且其中，所述障碍物检测数据被进一步与所述无对象数据进行比较，并且被用在所述性能的评估中，以检测是否存在任何假阳性障碍物检测数据。9.根据权利要求1或2所述的方法，其中，在所述受限区域(102)的不满足标准的子区域中获得的姿态数据和障碍物检测数据被从所述评估中排除。10.一种用于评估障碍物检测系统的性能的中央单元(103)，所述障碍物检测系统被包括在受限区域(102)处的一组两个或更多个对象(100a,100b)中的第一对象(100a)中，所述第一对象(100a)是交通工具，所述中央单元(103)被配置成执行根据权利要求1至9中的任一项所述的方法的步骤。11.一种承载计算机程序的计算机可读介质，所述计算机程序包括程序代码组件，所述程序代码组件用于当所述计算机程序在计算机上运行时执行根据权利要求1至9中的任一
项所述的方法的步骤。

技术总结
用于评估障碍物检测系统的性能的方法和单元。本发明涉及一种由中央单元(103)执行的用于评估障碍物检测系统的性能的方法，所述障碍物检测系统被包括在受限区域(102)处的一组两个或更多个对象(100a,100b)中的第一对象(100a)中。所述第一对象(100a)是交通工具。所述中央单元(103)获得来自所述组中的每个对象(100a,100b)的姿态数据和来自至少所述第一对象(100a)的障碍物检测数据。所述中央单元(103)使用来自每个对象(100a,100b)的所述姿态数据来确定这些对象(100a,100b)的相对姿态。所述中央单元(103)将来自所述组中的每个对象(100a,100b)的所述障碍物检测数据与所确定的这些对象(100a,100b)的相对姿态进行比较。基于所述比较，所述中央单元(103)评估所述第一对象(100a)的所述障碍物检测系统的性能。第一对象(100a)的所述障碍物检测系统的性能。第一对象(100a)的所述障碍物检测系统的性能。


技术研发人员：莱纳斯
受保护的技术使用者：沃尔沃自主解决方案公司
技术研发日：2022.11.22
技术公布日：2023/6/16