自动驾驶系统的评估方法、装置、设备及存储介质与流程

1.本发明涉及自动驾驶领域，尤其涉及一种自动驾驶系统的评估方法、装置、设备及存储介质。


背景技术：

2.自动驾驶汽车又称为无人驾驶汽车，通过汽车上装载自动驾驶系统的方式实现无需司机驾驶车辆的目的，为提高自动驾驶汽车的安全性和智能性，需要不断对自动驾驶系统进行优化升级。
3.目前，对自动驾驶系统进行测试，通过系统中各感知模型的准确率来确定优化点是自动驾驶系统优化的思路，但随着自动驾驶系统的不断升级，准确率提升越来越困难，各感知模型准确率的微小提升不能直观地评估自动驾驶系统的整体路测表现是否有提升，难以确定下一步的优化方向。


技术实现要素：

4.本发明的主要目的在于提供一种自动驾驶系统的评估方法、装置、设备及存储介质，用于解决无法直观地评估自动驾驶系统表现的问题，帮助提高系统迭代效率。
5.本发明第一方面提供了一种自动驾驶系统的评估方法，包括：获取目标仿真环境，所述目标仿真环境包括多个带有不同标签的场景，每个场景包括多个目标障碍物；在所述目标仿真环境下运行自动驾驶系统，得到多个仿真结果集，所述多个仿真结果集与所述多个带有不同标签的场景一一对应；根据所述多个仿真结果集计算所述自动驾驶系统在所述目标仿真环境下的场景通过率以及在每个场景下的目标障碍物通过率；将所述场景通过率和所述每个场景下的目标障碍物通过率与对应的历史通过率进行差值计算，得到所述自动驾驶系统的评估结果。
6.在一种可行的实施方式中，所述根据所述多个仿真结果集计算所述自动驾驶系统在所述目标仿真环境下的场景通过率以及在每个场景下的目标障碍物通过率，包括：从所述多个仿真结果中提取基于舒适性维度的运行数据，根据所述基于舒适性维度的运行数据进行计算，得到所述自动驾驶系统在每个场景下的场景舒适度结果；从所述多个仿真结果中提取基于交互性维度的运行数据，根据所述基于交互性维度的运行数据进行计算，得到所述自动驾驶系统在每个场景下的目标障碍物交互结果集；根据所述每个场景下的场景舒适度结果和所述每个场景下的目标障碍物交互结果集计算所述自动驾驶系统在所述目标仿真环境下的场景通过率以及在每个场景下的目标障碍物通过率。
7.在一种可行的实施方式中，所述根据所述每个场景下的场景舒适度结果和所述每个场景下的目标障碍物交互结果集计算所述自动驾驶系统在所述目标仿真环境下的场景通过率以及在每个场景下的目标障碍物通过率，包括：根据每个场景对应的场景舒适度结果和目标障碍物交互结果集确定所述自动驾驶系统正确通过的场景数量和在每个场景中正确通过的目标障碍物数量；计算所述目标仿真环境中总的场景数量以及每个场景对应的
目标障碍物总数量；根据所述自动驾驶系统正确通过的场景数量和所述目标仿真环境中总的场景数量计算所述自动驾驶系统在所述目标仿真环境下的场景通过率；根据所述在每个场景中正确通过的目标障碍物数量和所述每个场景对应的目标障碍物总数量计算所述自动驾驶系统在每个场景下的目标障碍物通过率。
8.在一种可行的实施方式中，所述从所述多个仿真结果中提取基于舒适性维度的运行数据，根据所述基于舒适性维度的运行数据进行计算，得到所述自动驾驶系统在每个场景下的场景舒适度结果，包括：从所述多个仿真结果中提取基于舒适性维度的运行数据，根据所述基于舒适性维度的运行数据计算所述自动驾驶系统在每个场景下运行时每一帧的体感值，所述体感值由舒适度评分贡献变量、纵向加速度绝对值和横向加速度方差计算得到；若场景中每一帧的体感值均大于或等于第一阈值，则将舒适度高确定为场景舒适度结果，否则将舒适度低确定为场景舒适度结果，得到每个场景对应的场景舒适度结果。
9.在一种可行的实施方式中，所述从所述多个仿真结果中提取基于交互性维度的运行数据，根据所述基于交互性维度的运行数据进行计算，得到所述自动驾驶系统在每个场景下的目标障碍物交互结果集，包括：从所述多个仿真结果中提取基于交互性维度的运行数据，从所述目标仿真环境中获取每个目标障碍物的对象轮廓和对象属性，所述对象属性为不减速可压对象、减速可压对象、不可压可跨对象或不可压不可跨对象；从所述基于交互性维度的运行数据中获取目标车辆与每个目标障碍物交互时的车辆轮廓和轮胎轮廓，所述目标车辆为装载所述自动驾驶系统并在所述目标仿真环境中运行的车辆；根据所述每个目标障碍物的对象轮廓和对象属性、所述目标车辆与每个目标障碍物交互时的车辆轮廓和轮胎轮廓确定每个目标障碍物对应的目标障碍物交互结果；将每个场景中所有目标障碍物对应的目标障碍物交互结果进行汇总，得到每个场景对应的目标障碍物交互结果集。
10.在一种可行的实施方式中，所述根据所述每个目标障碍物的对象轮廓和对象属性、所述目标车辆与每个目标障碍物交互时的车辆轮廓和轮胎轮廓确定每个目标障碍物对应的目标障碍物交互结果，包括：当目标障碍物的对象属性为不减速可压对象时，若所述目标车辆与所述目标障碍物交互时的车辆轮廓与所述目标障碍物的对象轮廓存在相交或重叠时刻，则将正确通过确定为所述目标障碍物的目标障碍物交互结果；当目标障碍物的对象属性为减速可压对象时，获取所述目标车辆与所述目标障碍物交互时的行驶速度，若此时所述目标车辆的车辆轮廓与所述目标障碍物的对象轮廓存在相交或重叠时刻，且所述行驶速度小于第二阈值，则将正确通过确定为所述目标障碍物的目标障碍物交互结果；当目标障碍物的对象属性为不可压可跨对象时，若所述目标车辆与所述目标障碍物交互时的车辆轮廓与所述目标障碍物的对象轮廓存在相交或重叠时刻，且所述目标车辆与所述目标障碍物交互时的轮胎轮廓与所述目标障碍物的对象轮廓不存在相交或重叠时刻，则将正确通过确定为所述目标障碍物的目标障碍物交互结果；当目标障碍物的对象属性为不可压不可跨对象时，若所述目标车辆与所述目标障碍物交互时的车辆轮廓和轮胎轮廓与所述目标障碍物的对象轮廓均不存在相交或重叠时刻，则将正确通过确定为所述目标障碍物的目标障碍物交互结果。
11.在一种可行的实施方式中，所述将所述场景通过率和所述每个场景下的目标障碍物通过率与对应的历史数据进行差值计算，得到所述自动驾驶系统的评估结果，包括：将所述场景通过率与预设历史场景通过率进行差值计算，得到所述自动驾驶系统基于所述目标
仿真环境的总优化率；将每个场景下的目标障碍物通过率与相同场景下的预设历史目标障碍物通过率进行差值计算，得到多个场景优化率，所述多个场景优化率与所述多个带有不同标签的场景一一对应；将所述总优化率和所述多个场景优化率确定为所述自动驾驶系统的评估结果。
12.在一种可行的实施方式中，在所述获取目标仿真环境之前，还包括：获取评估数据集，所述评估数据集包括理想场景数据子集、路测场景数据子集和模拟场景数据子集；读取多个预设标签，根据所述多个预设标签将所述评估数据集中的数据进行分类和组合，得到多个带有不同标签的场景；识别每个场景下的目标障碍物并标注所述目标障碍物的对象轮廓和对象属性；将所述多个带有不同标签的场景建立连接，得到目标仿真环境。
13.在一种可行的实施方式中，所述识别每个场景下的目标障碍物并标注所述目标障碍物的对象轮廓和对象属性，包括：根据所述目标障碍物的点云信息获取所述对象轮廓；根据预设规则确定所述目标障碍物的所述对象属性，所述对象属性为不减速可压对象、减速可压对象、不可压可跨对象或不可压不可跨对象；在每个场景的每一帧画面中对所述目标障碍物的所述对象轮廓和所述对象属性进行标注。
14.本发明第二方面提供了一种自动驾驶系统的评估装置，包括：获取模块，用于获取目标仿真环境，所述目标仿真环境包括多个带有不同标签的场景，每个场景包括多个目标障碍物；运行模块，用于在所述目标仿真环境下运行自动驾驶系统，得到多个仿真结果集，所述多个仿真结果集与所述多个带有不同标签的场景一一对应；第一计算模块，用于根据所述多个仿真结果集计算所述自动驾驶系统在所述目标仿真环境下的场景通过率以及在每个场景下的目标障碍物通过率；第二计算模块，用于将所述场景通过率和所述每个场景下的目标障碍物通过率与对应的历史通过率进行差值计算，得到所述自动驾驶系统的评估结果。
15.在一种可行的实施方式中，所述第一计算模块包括：第一计算子模块，用于从所述多个仿真结果中提取基于舒适性维度的运行数据，根据所述基于舒适性维度的运行数据进行计算，得到所述自动驾驶系统在每个场景下的场景舒适度结果；第二计算子模块，用于从所述多个仿真结果中提取基于交互性维度的运行数据，根据所述基于交互性维度的运行数据进行计算，得到所述自动驾驶系统在每个场景下的目标障碍物交互结果集；第三计算子模块，用于根据所述每个场景下的场景舒适度结果和所述每个场景下的目标障碍物交互结果集计算所述自动驾驶系统在所述目标仿真环境下的场景通过率以及在每个场景下的目标障碍物通过率。
16.在一种可行的实施方式中，所述第三计算子模块具体用于：根据每个场景对应的场景舒适度结果和目标障碍物交互结果集确定所述自动驾驶系统正确通过的场景数量和在每个场景中正确通过的目标障碍物数量；计算所述目标仿真环境中总的场景数量以及每个场景对应的目标障碍物总数量；根据所述自动驾驶系统正确通过的场景数量和所述目标仿真环境中总的场景数量计算所述自动驾驶系统在所述目标仿真环境下的场景通过率；根据所述在每个场景中正确通过的目标障碍物数量和所述每个场景对应的目标障碍物总数量计算所述自动驾驶系统在每个场景下的目标障碍物通过率。
17.在一种可行的实施方式中，所述第一计算子模块具体用于：从所述多个仿真结果中提取基于舒适性维度的运行数据，根据所述基于舒适性维度的运行数据计算所述自动驾
驶系统在每个场景下运行时每一帧的体感值，所述体感值由舒适度评分贡献变量、纵向加速度绝对值和横向加速度方差计算得到；若场景中每一帧的体感值均大于或等于第一阈值，则将舒适度高确定为场景舒适度结果，否则将舒适度低确定为场景舒适度结果，得到每个场景对应的场景舒适度结果。
18.在一种可行的实施方式中，所述第二计算子模块包括：第一获取单元，用于从所述多个仿真结果中提取基于交互性维度的运行数据，从所述目标仿真环境中获取每个目标障碍物的对象轮廓和对象属性，所述对象属性为不减速可压对象、减速可压对象、不可压可跨对象或不可压不可跨对象；第二获取单元，用于从所述基于交互性维度的运行数据中获取目标车辆与每个目标障碍物交互时的车辆轮廓和轮胎轮廓，所述目标车辆为装载所述自动驾驶系统并在所述目标仿真环境中运行的车辆；确定单元，用于根据所述每个目标障碍物的对象轮廓和对象属性、所述目标车辆与每个目标障碍物交互时的车辆轮廓和轮胎轮廓确定每个目标障碍物对应的目标障碍物交互结果；汇总单元，用于将每个场景中所有目标障碍物对应的目标障碍物交互结果进行汇总，得到每个场景对应的目标障碍物交互结果集。
19.在一种可行的实施方式中，所述确定单元具体用于：当目标障碍物的对象属性为不减速可压对象时，若所述目标车辆与所述目标障碍物交互时的车辆轮廓与所述目标障碍物的对象轮廓存在相交或重叠时刻，则将正确通过确定为所述目标障碍物的目标障碍物交互结果；当目标障碍物的对象属性为减速可压对象时，获取所述目标车辆与所述目标障碍物交互时的行驶速度，若此时所述目标车辆的车辆轮廓与所述目标障碍物的对象轮廓存在相交或重叠时刻，且所述行驶速度小于第二阈值，则将正确通过确定为所述目标障碍物的目标障碍物交互结果；当目标障碍物的对象属性为不可压可跨对象时，若所述目标车辆与所述目标障碍物交互时的车辆轮廓与所述目标障碍物的对象轮廓存在相交或重叠时刻，且所述目标车辆与所述目标障碍物交互时的轮胎轮廓与所述目标障碍物的对象轮廓不存在相交或重叠时刻，则将正确通过确定为所述目标障碍物的目标障碍物交互结果；当目标障碍物的对象属性为不可压不可跨对象时，若所述目标车辆与所述目标障碍物交互时的车辆轮廓和轮胎轮廓与所述目标障碍物的对象轮廓均不存在相交或重叠时刻，则将正确通过确定为所述目标障碍物的目标障碍物交互结果。
20.在一种可行的实施方式中，所述第二计算模块具体用于：将所述场景通过率与预设历史场景通过率进行差值计算，得到所述自动驾驶系统基于所述目标仿真环境的总优化率；将每个场景下的目标障碍物通过率与相同场景下的预设历史目标障碍物通过率进行差值计算，得到多个场景优化率，所述多个场景优化率与所述多个带有不同标签的场景一一对应；将所述总优化率和所述多个场景优化率确定为所述自动驾驶系统的评估结果。
21.在一种可行的实施方式中，在所述获取模块之前，还包括建立模块，所述建立模块包括：第三获取单元，用于获取评估数据集，所述评估数据集包括理想场景数据子集、路测场景数据子集和模拟场景数据子集；分类组合单元，用于读取多个预设标签，根据所述多个预设标签将所述评估数据集中的数据进行分类和组合，得到多个带有不同标签的场景；识别标注单元，用于识别每个场景下的目标障碍物并标注所述目标障碍物的对象轮廓和对象属性；建立单元，用于将所述多个带有不同标签的场景建立连接，得到目标仿真环境。
22.在一种可行的实施方式中，所述识别单元具体用于：根据所述目标障碍物的点云信息获取所述对象轮廓；根据预设规则确定所述目标障碍物的所述对象属性，所述对象属
性为不减速可压对象、减速可压对象、不可压可跨对象或不可压不可跨对象；在每个场景的每一帧画面中对所述目标障碍物的所述对象轮廓和所述对象属性进行标注。
23.本发明第三方面提供了一种自动驾驶系统的评估设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述自动驾驶系统的评估设备执行上述的自动驾驶系统的评估方法。
24.本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的自动驾驶系统的评估方法。
25.本发明提供的技术方案中，获取目标仿真环境，所述目标仿真环境包括多个带有不同标签的场景，每个场景包括多个目标障碍物，在所述目标仿真环境下运行自动驾驶系统，得到多个仿真结果集，所述多个仿真结果集与所述多个带有不同标签的场景一一对应，根据所述多个仿真结果集计算所述自动驾驶系统在所述目标仿真环境下的场景通过率以及在每个场景下的目标障碍物通过率，将所述场景通过率和所述每个场景下的目标障碍物通过率与对应的历史数据进行差值计算，得到所述自动驾驶系统的评估结果。本发明实施例中，通过标签将目标仿真环境进行场景划分，计算场景通过率，再下沉到每个场景中，以目标障碍物为对象，计算自动驾驶系统在每个场景下的目标障碍物通过率，将场景通过率和目标障碍物通过率与历史通过率进行差值运算得到评估结果，根据评估结果的正负属性和评估结果绝对值的大小可以直观地评估自动驾驶系统的表现是变好还是变坏，以及变好或变坏的程度，有利于确定下一步的优化方向，帮助提高系统迭代效率。
附图说明
26.图1为本发明实施例中自动驾驶系统的评估方法的一个实施例示意图；
27.图2为本发明实施例中自动驾驶系统的评估方法的另一个实施例示意图；
28.图3为本发明实施例中自动驾驶系统的评估装置的一个实施例示意图；
29.图4为本发明实施例中自动驾驶系统的评估装置的另一个实施例示意图；
30.图5为本发明实施例中自动驾驶系统的评估设备的一个实施例示意图。
具体实施方式
31.本发明实施例提供了一种自动驾驶系统的评估方法、装置、设备及存储介质，用于解决无法直观地评估自动驾驶系统整体表现的问题，帮助提高系统迭代效率。
32.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
33.为便于理解，下面对本发明实施例的具体流程进行描述，可以理解的是，本发明的执行主体可以为自动驾驶系统的评估装置，还可以是车载终端或者车载终端的服务器，具体此处不做限定。本发明实施例以车载终端的服务器(以下简称服务器)为执行主体为例进
行说明。
34.请参阅图1，本发明实施例中自动驾驶系统的评估方法的一个实施例包括：
35.101、获取目标仿真环境，目标仿真环境包括多个带有不同标签的场景，每个场景包括多个目标障碍物；
36.目标障碍物是指高度低于设定阈值、影响车辆驾驶的可移动物体和路面坑包，可移动物体包括自身可移动的物体和人工可移动的物体，通常包括三类，第一类是路面本身存在的小障碍物，例如减速带、井盖、路面凸包和路面凹坑等；第二类是高度低于设定阈值且人工可移动的小障碍物，例如石头、树枝、纸盒、瓶子、塑料袋和小动物等；第三类是在特殊情况下经由固定物体产生的障碍物，例如台风后倒下的树干、掉落的广告牌以及车祸后损伤的车辆等。
37.服务器获取预先搭建的目标仿真环境，目标仿真环境包括多个场景，每个场景包括多个目标障碍物，每个场景具有不同的标签，标签为与场景相关的场景属性，例如，场景属性可设置为晴天、雨天、台风天、拥堵路段、弯道路段或高速路段，根据标签为对应的场景设置目标障碍物。
38.102、在目标仿真环境下运行自动驾驶系统，得到多个仿真结果集，多个仿真结果集与多个带有不同标签的场景一一对应；
39.自动驾驶系统包括感知模块、规划模块和控制模块，感知模块用于识别目标障碍物，并将识别的目标障碍物信息传递给规划模块，规划模块根据目标障碍物信息制定基于每个目标障碍物的避障策略，控制模块根据避障策略控制装载有自动驾驶系统的目标车辆运行，实现目标车辆的避障动作。
40.预先设定不同目标障碍物对应的正确避让方式，在目标仿真环境下运行自动驾驶系统时，服务器收集自动驾驶系统对目标障碍物的实际避让方式，并将对目标障碍物的实际避让方式与对应的正确避让方式进行比对，得到仿真结果。具体的，若实际避让方式与对应的正确避让方式相同，则将正确通过确定为目标障碍物的仿真结果，否则，将错误通过确定为目标障碍物的仿真结果，确定每个场景下全部目标障碍物对应的仿真结果，得到每个场景对应的仿真结果集，汇总多个场景分别对应的仿真结果集，得到多个仿真结果集，多个仿真结果集与多个带有不同标签的场景一一对应。
41.103、根据多个仿真结果集计算自动驾驶系统在目标仿真环境下的场景通过率以及在每个场景下的目标障碍物通过率；
42.若一个仿真结果集中所有的仿真结果均为正确通过，则确定自动驾驶系统通过该仿真结果集对应的场景，否则确定自动驾驶系统未通过该仿真结果集对应的场景，服务器统计自动驾驶系统通过的场景数量和目标仿真环境下的场景总数，将自动驾驶系统通过的场景数量和目标仿真环境下的场景总数的比值确定为自动驾驶系统在目标仿真环境下的场景通过率，场景通过率从整体上评估自动驾驶系统的运行情况，场景通过率越高，自动驾驶系统表现越优异。
43.更近一步地，服务器统计每一个场景下仿真结果为正确通过的目标障碍物数量以及对应场景下总的目标障碍物数量，将每个场景下仿真结果为正确通过的目标障碍物数量与对应场景下总的目标障碍物数量的比值确定为自动驾驶系统在每个场景下的目标障碍物通过率，目标障碍物通过率评估自动驾驶系统在对应场景下的运行情况，目标障碍物通
过率越高，自动驾驶系统在对应场景下表现越优异。
44.需要说明的是，场景通过率是自动驾驶系统整体运行情况的体现，两个自动驾驶系统具有相同的场景通过率并不意味着两个自动驾驶系统相同，例如，在具有5个场景的仿真环境下，自动驾驶系统1和自动驾驶系统2的场景通过率均为80％，即自动驾驶系统1和自动驾驶系统2各有1个场景未通过，但自动驾驶系统1未通过的场景为场景a，自动驾驶系统2未通过的场景为场景c，说明自动驾驶系统1和自动驾驶系统2各自在不同场景下存在缺陷，两个自动驾驶系统是不同的。
45.104、将场景通过率和每个场景下的目标障碍物通过率与对应的历史通过率进行差值计算，得到自动驾驶系统的评估结果。
46.预先设立历史数据库，历史数据库中记录自动驾驶系统在仿真时的各项数据，便于对数据追根溯源，历史数据库包括历史通过率，历史通过率为历史场景通过率或每个场景对应的历史目标障碍物通过率，历史数据库中保留最高数值的历史场景通过率和每个场景对应的历史目标障碍物通过率，服务器将场景通过率与历史场景通过率进行差值计算，得到第一优化率，当第一优化率大于0时，确定自动驾驶系统在目标仿真环境下的表现变好，当第一优化率小于或等于0时，确定自动驾驶系统在目标仿真环境下表现变差或保持不变；将每个场景下的目标障碍物通过率与对应场景的目标障碍物通过率进行差值计算，得到每个场景对应的第二优化率，当第二优化率大于0时，确定自动驾驶系统在对应的场景中表现变好，当第二优化率小于或等于0时，确定自动驾驶系统在对应的场景中表现变差或保持不变，将第一总优化率和每个场景的第二优化率确定为自动驾驶系统的评估结果。
47.在实际运用中，当第一优化率为0时，进一步查阅小于或等于0的第二优化率所对应的待优化场景，提取待优化场景中仿真结果为错误通过的目标障碍物，得到异常障碍物集，解析自动驾驶系统中每个模块基于异常障碍物集中每个目标障碍物的处理结果，确定错误运行的模块，快速定位待优化点，对错误运行的模块进行优化和调整，帮助提高系统迭代效率。
48.本发明实施例中，通过标签将目标仿真环境进行场景划分，计算场景通过率，再下沉到每个场景中，以目标障碍物为对象，计算自动驾驶系统在每个场景下的目标障碍物通过率，将场景通过率和目标障碍物通过率与历史通过率进行差值运算得到评估结果，根据评估结果的正负属性和评估结果绝对值的大小可以直观地评估自动驾驶系统的表现是变好还是变坏，以及变好或变坏的程度，提高了评估的准确率，有利于确定下一步的优化方向，帮助提高系统迭代效率。
49.请参阅图2，本发明实施例中自动驾驶系统的评估方法的另一个实施例包括：
50.201、获取评估数据集，评估数据集包括理想场景数据子集、路测场景数据子集和模拟场景数据子集；
51.理想场景数据子集中的数据来自于人工搭建仿真场景，在这种场景下，目标障碍物的障碍物信息是确定的，不存在感知模块漏检和错检的情况，主要检测在感知模块输出结果正确的情况下，规划模块和控制模块的处理行为是否合理，目标障碍物是指高度低于设定阈值、影响车辆驾驶的可移动物体和路面坑包，可移动物体包括自身可移动的物体和人工可移动的物体。
52.路测场景数据子集中的数据来自于路测过程中司机上报的异常交互数据，当车辆
遇到障碍物时，司机如果发现自动驾驶车辆存在异常行为，例如急刹、点刹、不避让危险障碍物或者避让可以压过的小障碍等，会进行问题上报操作，此时车辆的数据采集模块会记录异常行为前后一段时间内环境、定位、周围道路、目标障碍物以及车辆自身状态等信息，记录的数据能够在仿真的环境中再现路测的场景。
53.模拟场景数据子集中的数据来自于人工搭建的实际场景，即在真实世界中人为地设置小障碍物，例如砖块、纸壳箱、塑料袋、树枝、玻璃瓶等，此外，还可通过绳线牵引、风吹等方式制造小障碍物移动的情景，司机驾驶装载有自动驾驶系统的车辆正确驶过该场景，利用车辆上的传感器和数据采集模块，记录整个场景中的环境、定位、目标障碍物、车道以及车辆自身状态等信息，便于在仿真环境中进行场景再现。
54.自动驾驶系统包括感知模块、规划模块和控制模块，感知模块用于识别目标障碍物，并将识别的目标障碍物信息传递给规划模块，规划模块根据目标障碍物信息制定基于每个目标障碍物的避障策略，控制模块根据避障策略控制装载有自动驾驶系统的目标车辆运行，实现目标车辆的避障动作。理想场景数据子集中的数据来自用户设置，能够在准确检测障碍物信息的基础上对自动驾驶系统后端的规划模块和控制模块进行测试，路测场景数据子集和模拟场景数据子集中的数据来自真实世界，存在漏检和错检的情况，更有利于对自动驾驶系统前端的感知模块进行测试，实现对自动驾驶系统从上游到下游的全栈式测试，优化各模块的衔接，提升自动驾驶系统的表现力。
55.服务器判断自动驾驶系统是否是当前阶段的第一次评估，若是，则获取最新的评估数据集，若否，则获取自动驾驶系统上一次评估采用的评估数据集，在比较自动驾驶系统的不同版本时，使用相同的评估数据集可以消除评估数据不同带来的偏差，当自动驾驶系统的场景通过率达到定义指标时，结束当前阶段进入下一阶段。
56.202、读取多个预设标签，根据多个预设标签将评估数据集中的数据进行分类和组合，得到多个带有不同标签的场景；
57.服务器读取多个预设标签，标签为与场景相关的场景属性，例如，场景属性可设置为晴天、雨天、台风天、拥堵路段、弯道路段或高速路段，服务器解析评估数据集中的目标障碍物信息，目标障碍物信息包括目标障碍物的名称、轮廓、高度、点云信息以及目标障碍物标记，目标障碍物标记为目标障碍物关键词，目标障碍物关键词可能不止一个，例如，为塑料袋设置关键词“风”，为路面凹坑设置关键词“雨”和“弯道”，每个预设标签也有对应的场景关键词，场景关键词不止一个，将每个目标障碍物与每个预设标签进行关键词匹配，当目标障碍物的至少一个目标障碍物关键词与预设标签的至少一个场景关键词对应相同时，确认目标障碍物与预设标签匹配，一个目标障碍物可以与多个预设标签匹配，一个预设标签可以与多个目标障碍物匹配，服务器从评估数据集中筛选出与每个预设标签对应的目标障碍物数据集，将障碍物数据集中的数据进行组合配置生成场景，得到多个带有不同标签的场景。
58.通过标签查找与标签匹配的目标障碍物，并将匹配成功的目标障碍物们进行组合配置生成与标签对应的场景，使得每个场景的侧重点不同，有利于锁定同一场景下的一系列异常结果的相关性，节省查找问题点的时间，帮助提高自动驾驶系统的迭代效率。
59.203、识别每个场景下的目标障碍物并标注目标障碍物的对象轮廓和对象属性；
60.服务器识别每个场景下的目标障碍物，从获取的目标障碍物信息中获取目标障碍
物的点云信息，基于目标障碍物的点云信息在边界处勾勒多边形，获得对象轮廓，根据预设规则确定目标障碍物的对象属性，对象属性为不减速可压对象、减速可压对象、不可压可跨对象或不可压不可跨对象，在每个场景的每一帧画面中对目标障碍物的对象轮廓和对象属性进行标注，以便分析目标障碍物与目标车辆的相对关系，进而评估自动驾驶系统的表现，目标车辆上装载有自动驾驶系统。
61.预设规则可以有多种定义方式，不作具体限定，在此给出一种预设规则的设定方式：
62.1、若车辆不更改行驶速度和方向碾压驶过目标障碍物时无安全隐患且不影响舒适度，则将目标障碍物确定为不减速可压对象，例如，塑料袋、小纸盒、小树枝、布条、衣服、飞动的塑料袋以及悬挂的树枝等；
63.2、若车辆不更改行驶速度碾压驶过目标障碍物时无安全隐患但降低舒适度，则将目标障碍物确定为减速可压对象，例如，减速带、井盖、较小的路面凸起以及较浅的路面凹坑等；
64.3、若车辆不更改行驶方向碾压驶过目标障碍物时有安全隐患但不影响舒适度，则将目标障碍物确定为不可压可跨对象，例如，石块、砖头、玻璃瓶、浅坑以及小堆的碎玻璃等；
65.4、若车辆不更改行驶方向碾压驶过目标障碍物时有安全隐患且降低舒适度，则将目标障碍物确定为不可压不可跨对象，例如，交通锥、小动物、深坑、深度不明的路面涉水凹坑、倒下的树干以及倒下的广告牌等。
66.5、高于车辆底盘高度的目标障碍物在车辆进行碾压或跨越时会引发不可预知的干扰或事故，因此，将高度大于车辆底盘的目标障碍物归类于不可压不可跨对象。
67.204、将多个带有不同标签的场景建立连接，得到目标仿真环境；
68.服务器在多个带有不同标签的场景之间搭建无障碍物的路段场景，使得装载有自动驾驶系统的车辆能够完整经过多个带有不同标签的场景，得到目标仿真环境。
69.205、获取目标仿真环境，目标仿真环境包括多个带有不同标签的场景，每个场景包括多个目标障碍物；
70.服务器获取预先搭建的目标仿真环境，目标仿真环境包括多个场景，每个场景包括多个目标障碍物，每个场景具有不同的标签，标签为与场景相关的场景属性。
71.206、在目标仿真环境下运行自动驾驶系统，得到多个仿真结果集，多个仿真结果集与多个带有不同标签的场景一一对应；
72.预先设定不同目标障碍物对应的正确避让方式，在目标仿真环境下运行自动驾驶系统时，服务器收集自动驾驶系统对目标障碍物的实际避让方式，并将对目标障碍物的实际避让方式与对应的正确避让方式进行比对，得到仿真结果。具体的，若实际避让方式与对应的正确避让方式相同，则将正确通过确定为目标障碍物的仿真结果，否则，将错误通过确定为目标障碍物的仿真结果，确定每个场景下全部目标障碍物对应的仿真结果，得到每个场景对应的仿真结果集，汇总多个场景分别对应的仿真结果集，得到多个仿真结果集，多个仿真结果集与多个带有不同标签的场景一一对应。
73.207、从多个仿真结果中提取基于舒适性维度的运行数据，根据基于舒适性维度的运行数据进行计算，得到自动驾驶系统在每个场景下的场景舒适度结果；
74.服务器从多个仿真结果中提取基于舒适性维度的运行数据，舒适性维度的运行数据是指影响乘坐人员身体舒适性感受的相关指标数据，根据基于舒适性维度的运行数据计算自动驾驶系统在每个场景下运行时每一帧的体感值，体感值由舒适度评分贡献变量、纵向加速度绝对值和横向加速度方差计算得到，体感值越高越舒适，若场景中每一帧的体感值均大于或等于第一阈值，则将舒适度高确定为场景舒适度结果，否则将舒适度低确定为场景舒适度结果，得到每个场景对应的场景舒适度结果，场景的舒适度用于评估自动驾驶系统在场景中运行时乘坐人员的感受。
75.更近一步地，由于每个场景具有不同的行驶难度系数，将所有场景的第一阈值设置为相同的数值，可能会导致对行驶难度系数较低的场景舒适度要求太低或对行驶难度系数较高的场景舒适度要求太高，因此第一阈值在不同场景中可以设置为不同的数值，行驶难度系数越高的场景对应第一阈值的数值越小，行驶难度系数越低的场景对应第一阈值的数值越大。例如，标签为台风天的台风天场景行驶难度系数较高，将台风天场景的第一阈值设置为0.3，当台风天场景中每一帧的体感值均大于或等于0.3时，确认台风天场景的场景舒适度结果为舒适度高，当台风天场景中每一帧的体感值均小于0.3时，确认台风天场景的场景舒适度结果为舒适度低；标签为弯道路段的弯道路段场景行驶难度系数中等，将弯道路段场景的第一阈值设置为0.5，当弯道路段场景中每一帧的体感值均大于或等于0.5时，确认弯道路段场景的场景舒适度结果为舒适度高，当弯道路段场景中每一帧的体感值均小于0.5时，确认弯道路段场景的场景舒适度结果为舒适度低；标签为晴天的晴天场景行驶难度系数较低，将晴天场景的第一阈值设置为0.8，当晴天场景中每一帧的体感值均大于或等于0.8时，确认晴天场景的场景舒适度结果为舒适度高，当晴天场景中每一帧的体感值均小于0.8时，确认晴天场景的场景舒适度结果为舒适度低。为每个场景设置与驾驶难度系数对应的第一阈值的数值，能够灵活和准确地评估自动驾驶系统在不同场景下乘坐人员的感受。
76.208、从多个仿真结果中提取基于交互性维度的运行数据，根据基于交互性维度的运行数据进行计算，得到自动驾驶系统在每个场景下的目标障碍物交互结果集；
77.服务器从多个仿真结果中提取基于交互性维度的运行数据，交互性维度的运行数据是指目标车辆遇到目标障碍物时双方的状态以及所处位置等信息数据，从目标仿真环境中获取每个目标障碍物的对象轮廓和对象属性，对象属性为不减速可压对象、减速可压对象、不可压可跨对象或不可压不可跨对象，服务器从基于交互性维度的运行数据中获取目标车辆与每个目标障碍物交互时的车辆轮廓和轮胎轮廓，目标车辆为装载自动驾驶系统并在目标仿真环境中运行的车辆，根据每个目标障碍物的对象轮廓和对象属性、目标车辆与每个目标障碍物交互时的车辆轮廓和轮胎轮廓确定每个目标障碍物对应的目标障碍物交互结果，将每个场景中所有目标障碍物对应的目标障碍物交互结果进行汇总，得到每个场景对应的目标障碍物交互结果集。服务器获取对象轮廓、车辆轮廓和轮胎轮廓的视图为从目标车辆车顶向路面看的俯视图，判断目标车辆与目标障碍物的视图也为从目标车辆车顶向路面看的俯视图。
78.具体的，当目标障碍物的对象属性为不减速可压对象时，若目标车辆与目标障碍物交互时的车辆轮廓与目标障碍物的对象轮廓存在相交或重叠时刻，则服务器将正确通过确定为目标障碍物的目标障碍物交互结果；
79.当目标障碍物的对象属性为减速可压对象时，服务器获取目标车辆与目标障碍物交互时的行驶速度，若此时目标车辆的车辆轮廓与目标障碍物的对象轮廓存在相交或重叠时刻，且行驶速度小于第二阈值，则服务器将正确通过确定为目标障碍物的目标障碍物交互结果；
80.当目标障碍物的对象属性为不可压可跨对象时，若目标车辆与目标障碍物交互时的车辆轮廓与目标障碍物的对象轮廓存在相交或重叠时刻，且目标车辆与目标障碍物交互时的轮胎轮廓与目标障碍物的对象轮廓不存在相交或重叠时刻，则服务器将正确通过确定为目标障碍物的目标障碍物交互结果；
81.当目标障碍物的对象属性为不可压不可跨对象时，若目标车辆与目标障碍物交互时的车辆轮廓和轮胎轮廓与目标障碍物的对象轮廓均不存在相交或重叠时刻，则服务器将正确通过确定为目标障碍物的目标障碍物交互结果。
82.对于自身可移动的不可压不可跨对象，由于在交互过程中位置可能会发生快速变化，导致正在交互的不可压不可跨对象移动至目标车辆的车底，此时，将不可压不可跨对象作为不可压可跨对象进行处理，以免造成评估的不合理，提高评估的合理性和准确性。
83.例如，车道上的小猫，目标车辆行驶时确定其为不可压不可跨对象，对应生成策略进行避让，在避让过程中小猫受到环境刺激四处逃窜，移动到目标车辆车底，此时目标车辆的感知模块识别不可压不可跨对象的名称，判断不可压不可跨对象是否为自身可移动的目标障碍物，若是，则将自身可移动的目标障碍物作为不可压可跨对象来评估自动驾驶系统与目标障碍物的交互结果。
84.209、根据每个场景下的场景舒适度结果和每个场景下的目标障碍物交互结果集计算自动驾驶系统在目标仿真环境下的场景通过率以及在每个场景下的目标障碍物通过率；
85.服务器根据每个场景对应的场景舒适度结果和目标障碍物交互结果集确定自动驾驶系统正确通过的场景数量和在每个场景中正确通过的目标障碍物数量，具体的，当场景对应的场景舒适度结果为舒适度高且目标障碍物交互结果集中全部目标障碍物交互结果均为正确通过时，服务器确定自动驾驶系统正确通过这个场景，计算目标仿真环境中总的场景数量以及每个场景对应的目标障碍物总数量，根据自动驾驶系统正确通过的场景数量和目标仿真环境中总的场景数量计算自动驾驶系统在目标仿真环境下的场景通过率，场景通过率直观地评估自动驾驶系统在目标仿真环境的整体运行情况，场景通过率越高自动驾驶系统表现越优异，能够准确评估自动驾驶系统对目标仿真环境中多场景的适用性；服务器根据在每个场景中正确通过的目标障碍物数量和每个场景对应的目标障碍物总数量计算自动驾驶系统在每个场景下的目标障碍物通过率，目标障碍物通过率评估自动驾驶系统在对应场景下的运行情况，目标障碍物通过率越高，自动驾驶系统在对应场景下表现越优异，能够进一步提高评估的准确率。
86.210、将场景通过率和每个场景下的目标障碍物通过率与对应的历史通过率进行差值计算，得到自动驾驶系统的评估结果。
87.预先设立历史数据库，历史数据库中记录自动驾驶系统在仿真时的各项数据，便于对数据追根溯源，历史数据库包括历史通过率，历史通过率为历史场景通过率或每个场景对应的历史目标障碍物通过率，历史数据库中保留最高数值的历史场景通过率和每个场
景对应的历史目标障碍物通过率，服务器将场景通过率与预设历史场景通过率进行差值计算，得到自动驾驶系统基于目标仿真环境的总优化率，当总优化率大于0时，确定自动驾驶系统在目标仿真环境下的表现变好，当总优化率小于或等于0时，确定自动驾驶系统在目标仿真环境下表现变差或保持不变；将每个场景下的目标障碍物通过率与相同场景下的预设历史目标障碍物通过率进行差值计算，得到多个场景优化率，多个场景优化率与多个带有不同标签的场景一一对应，当场景优化率大于0时，确定自动驾驶系统在对应的场景中表现变好，当场景优化率小于或等于0时，确定自动驾驶系统在对应的场景中表现变差或保持不变，将总优化率和多个场景优化率确定为自动驾驶系统的评估结果。
88.在实际运用中，当总优化率为0时，进一步查阅小于或等于0的场景优化率所对应的待优化场景，提取待优化场景中仿真结果为错误通过的目标障碍物，得到异常障碍物集，解析自动驾驶系统中每个模块基于异常障碍物集中每个目标障碍物的处理结果，确定错误运行的模块，快速定位待优化点，对错误运行的模块进行优化和调整，帮助提高系统迭代效率。
89.需要说明的是，自动驾驶系统在相同评估数据集下的场景通过率高于设定值后，结束当前阶段进入下一阶段，服务器获取最新的评估数据集来建立新的目标仿真场景，按照图2中的流程进行下一阶段的评估，提高自动驾驶系统的可靠性。
90.本发明实施例中，多渠道获取评估数据，建立接近现实的目标仿真环境，实现对自动驾驶系统从上游到下游的全栈式测试，优化各模块的衔接，提升自动驾驶系统的表现力，通过标签将目标仿真环境进行场景划分，计算场景通过率，再下沉到每个场景中，以目标障碍物为对象，计算自动驾驶系统在每个场景下的目标障碍物通过率，将场景通过率和目标障碍物通过率与历史通过率进行差值运算得到评估结果，根据评估结果的正负属性和评估结果绝对值的大小可以直观地评估自动驾驶系统的表现是变好还是变坏，以及变好或变坏的程度，提高了评估的准确率，有利于确定下一步的优化方向，帮助提高系统迭代效率。
91.上面对本发明实施例中自动驾驶系统的评估方法进行了描述，下面对本发明实施例中自动驾驶系统的评估装置进行描述，请参阅图3，本发明实施例中自动驾驶系统的评估装置一个实施例包括：
92.获取模块301，用于获取目标仿真环境，目标仿真环境包括多个带有不同标签的场景，每个场景包括多个目标障碍物；
93.运行模块302，用于在目标仿真环境下运行自动驾驶系统，得到多个仿真结果集，多个仿真结果集与多个带有不同标签的场景一一对应；
94.第一计算模块303，用于根据多个仿真结果集计算自动驾驶系统在目标仿真环境下的场景通过率以及在每个场景下的目标障碍物通过率；
95.第二计算模块304，用于将场景通过率和每个场景下的目标障碍物通过率与对应的历史通过率进行差值计算，得到自动驾驶系统的评估结果。
96.本发明实施例中，通过标签将目标仿真环境进行场景划分，计算场景通过率，再下沉到每个场景中，以目标障碍物为对象，计算自动驾驶系统在每个场景下的目标障碍物通过率，将场景通过率和目标障碍物通过率与历史通过率进行差值运算得到评估结果，根据评估结果的正负属性和评估结果绝对值的大小可以直观地评估自动驾驶系统的表现是变好还是变坏，以及变好或变坏的程度，提高了评估的准确率，有利于确定下一步的优化方
向，帮助提高系统迭代效率。
97.请参阅图4，本发明实施例中自动驾驶系统的评估装置的另一个实施例包括：
98.获取模块301，用于获取目标仿真环境，目标仿真环境包括多个带有不同标签的场景，每个场景包括多个目标障碍物；
99.运行模块302，用于在目标仿真环境下运行自动驾驶系统，得到多个仿真结果集，多个仿真结果集与多个带有不同标签的场景一一对应；
100.第一计算模块303，用于根据多个仿真结果集计算自动驾驶系统在目标仿真环境下的场景通过率以及在每个场景下的目标障碍物通过率；
101.第二计算模块304，用于将场景通过率和每个场景下的目标障碍物通过率与对应的历史通过率进行差值计算，得到自动驾驶系统的评估结果。
102.可选的，第一计算模块303包括：
103.第一计算子模块3031，用于从多个仿真结果中提取基于舒适性维度的运行数据，根据基于舒适性维度的运行数据进行计算，得到自动驾驶系统在每个场景下的场景舒适度结果；
104.第二计算子模块3032，用于从多个仿真结果中提取基于交互性维度的运行数据，根据基于交互性维度的运行数据进行计算，得到自动驾驶系统在每个场景下的目标障碍物交互结果集；
105.第三计算子模块3033，用于根据每个场景下的场景舒适度结果和每个场景下的目标障碍物交互结果集计算自动驾驶系统在目标仿真环境下的场景通过率以及在每个场景下的目标障碍物通过率。
106.可选的，第三计算子模块3033具体用于：
107.根据每个场景对应的场景舒适度结果和目标障碍物交互结果集确定自动驾驶系统正确通过的场景数量和在每个场景中正确通过的目标障碍物数量；计算目标仿真环境中总的场景数量以及每个场景对应的目标障碍物总数量；根据自动驾驶系统正确通过的场景数量和目标仿真环境中总的场景数量计算自动驾驶系统在目标仿真环境下的场景通过率；根据在每个场景中正确通过的目标障碍物数量和每个场景对应的目标障碍物总数量计算自动驾驶系统在每个场景下的目标障碍物通过率。
108.可选的，第一计算子模块3031具体用于：
109.从多个仿真结果中提取基于舒适性维度的运行数据，根据基于舒适性维度的运行数据计算自动驾驶系统在每个场景下运行时每一帧的体感值，体感值由舒适度评分贡献变量、纵向加速度绝对值和横向加速度方差计算得到；若场景中每一帧的体感值均大于或等于第一阈值，则将舒适度高确定为场景舒适度结果，否则将舒适度低确定为场景舒适度结果，得到每个场景对应的场景舒适度结果。
110.可选的，第二计算子模块3032包括：
111.第一获取单元30321，用于从多个仿真结果中提取基于交互性维度的运行数据，从目标仿真环境中获取每个目标障碍物的对象轮廓和对象属性，对象属性为不减速可压对象、减速可压对象、不可压可跨对象或不可压不可跨对象；
112.第二获取单元30322，用于从基于交互性维度的运行数据中获取目标车辆与每个目标障碍物交互时的车辆轮廓和轮胎轮廓，目标车辆为装载自动驾驶系统并在目标仿真环
境中运行的车辆；
113.确定单元30323，用于根据每个目标障碍物的对象轮廓和对象属性、目标车辆与每个目标障碍物交互时的车辆轮廓和轮胎轮廓确定每个目标障碍物对应的目标障碍物交互结果；
114.汇总单元30324，用于将每个场景中所有目标障碍物对应的目标障碍物交互结果进行汇总，得到每个场景对应的目标障碍物交互结果集。
115.可选的，确定单元30323具体用于：
116.当目标障碍物的对象属性为不减速可压对象时，若目标车辆与目标障碍物交互时的车辆轮廓与目标障碍物的对象轮廓存在相交或重叠时刻，则将正确通过确定为目标障碍物的目标障碍物交互结果；当目标障碍物的对象属性为减速可压对象时，获取目标车辆与目标障碍物交互时的行驶速度，若此时目标车辆的车辆轮廓与目标障碍物的对象轮廓存在相交或重叠时刻，且行驶速度小于第二阈值，则将正确通过确定为目标障碍物的目标障碍物交互结果；当目标障碍物的对象属性为不可压可跨对象时，若目标车辆与目标障碍物交互时的车辆轮廓与目标障碍物的对象轮廓存在相交或重叠时刻，且目标车辆与目标障碍物交互时的轮胎轮廓与目标障碍物的对象轮廓不存在相交或重叠时刻，则将正确通过确定为目标障碍物的目标障碍物交互结果；当目标障碍物的对象属性为不可压不可跨对象时，若目标车辆与目标障碍物交互时的车辆轮廓和轮胎轮廓与目标障碍物的对象轮廓均不存在相交或重叠时刻，则将正确通过确定为目标障碍物的目标障碍物交互结果。
117.可选的，第二计算模块304具体用于：
118.将场景通过率与预设历史场景通过率进行差值计算，得到自动驾驶系统基于目标仿真环境的总优化率；将每个场景下的目标障碍物通过率与相同场景下的预设历史目标障碍物通过率进行差值计算，得到多个场景优化率，多个场景优化率与多个带有不同标签的场景一一对应；将总优化率和多个场景优化率确定为自动驾驶系统的评估结果。
119.可选的，自动驾驶系统的评估装置还包括建立模块305，建立模块305包括：
120.第三获取单元3051，用于获取评估数据集，评估数据集包括理想场景数据子集、路测场景数据子集和模拟场景数据子集；
121.分类组合单元3052，用于读取多个预设标签，根据多个预设标签将评估数据集中的数据进行分类和组合，得到多个带有不同标签的场景；
122.识别标注单元3053，用于识别每个场景下的目标障碍物并标注目标障碍物的对象轮廓和对象属性；
123.建立单元3054，用于将多个带有不同标签的场景建立连接，得到目标仿真环境。
124.可选的，识别标注单元3053具体用于：
125.根据目标障碍物的点云信息获取对象轮廓；根据预设规则确定目标障碍物的对象属性，对象属性为不减速可压对象、减速可压对象、不可压可跨对象或不可压不可跨对象；在每个场景的每一帧画面中对目标障碍物的对象轮廓和对象属性进行标注。
126.本发明实施例中，多渠道获取评估数据，建立接近现实的目标仿真环境，实现对自动驾驶系统从上游到下游的全栈式测试，优化各模块的衔接，提升自动驾驶系统的表现力，通过标签将目标仿真环境进行场景划分，计算场景通过率，再下沉到每个场景中，以目标障碍物为对象，计算自动驾驶系统在每个场景下的目标障碍物通过率，将场景通过率和目标
障碍物通过率与历史通过率进行差值运算得到评估结果，根据评估结果的正负属性和评估结果绝对值的大小可以直观地评估自动驾驶系统的表现是变好还是变坏，以及变好或变坏的程度，提高了评估的准确率，有利于确定下一步的优化方向，帮助提高系统迭代效率。
127.上面图3和图4从模块化功能实体的角度对本发明实施例中的自动驾驶系统的评估装置进行详细描述，下面从硬件处理的角度对本发明实施例中自动驾驶系统的评估设备进行详细描述。
128.图5是本发明实施例提供的一种自动驾驶系统的评估设备的结构示意图，该自动驾驶系统的评估设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对自动驾驶系统的评估设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在自动驾驶系统的评估设备500上执行存储介质530中的一系列指令操作。
129.自动驾驶系统的评估设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如windows serve，mac os x，unix，linux，freebsd等等。本领域技术人员可以理解，图5示出的自动驾驶系统的评估设备结构并不构成对自动驾驶系统的评估设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
130.本发明还提供一种自动驾驶系统的评估设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述自动驾驶系统的评估方法的步骤。
131.本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述自动驾驶系统的评估方法的步骤。
132.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
133.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
134.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些
修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种自动驾驶系统的评估方法，其特征在于，所述自动驾驶系统的评估方法包括：获取目标仿真环境，所述目标仿真环境包括多个带有不同标签的场景，每个场景包括多个目标障碍物；在所述目标仿真环境下运行自动驾驶系统，得到多个仿真结果集，所述多个仿真结果集与所述多个带有不同标签的场景一一对应；根据所述多个仿真结果集计算所述自动驾驶系统在所述目标仿真环境下的场景通过率以及在每个场景下的目标障碍物通过率；将所述场景通过率和所述每个场景下的目标障碍物通过率与对应的历史通过率进行差值计算，得到所述自动驾驶系统的评估结果。2.根据权利要求1所述的自动驾驶系统的评估方法，其特征在于，所述根据所述多个仿真结果集计算所述自动驾驶系统在所述目标仿真环境下的场景通过率以及在每个场景下的目标障碍物通过率，包括：从所述多个仿真结果中提取基于舒适性维度的运行数据，根据所述基于舒适性维度的运行数据进行计算，得到所述自动驾驶系统在每个场景下的场景舒适度结果；从所述多个仿真结果中提取基于交互性维度的运行数据，根据所述基于交互性维度的运行数据进行计算，得到所述自动驾驶系统在每个场景下的目标障碍物交互结果集；根据所述每个场景下的场景舒适度结果和所述每个场景下的目标障碍物交互结果集计算所述自动驾驶系统在所述目标仿真环境下的场景通过率以及在每个场景下的目标障碍物通过率。3.根据权利要求2所述的自动驾驶系统的评估方法，其特征在于，所述根据所述每个场景下的场景舒适度结果和所述每个场景下的目标障碍物交互结果集计算所述自动驾驶系统在所述目标仿真环境下的场景通过率以及在每个场景下的目标障碍物通过率，包括：根据每个场景对应的场景舒适度结果和目标障碍物交互结果集确定所述自动驾驶系统正确通过的场景数量和在每个场景中正确通过的目标障碍物数量；计算所述目标仿真环境中总的场景数量以及每个场景对应的目标障碍物总数量；根据所述自动驾驶系统正确通过的场景数量和所述目标仿真环境中总的场景数量计算所述自动驾驶系统在所述目标仿真环境下的场景通过率；根据所述在每个场景中正确通过的目标障碍物数量和所述每个场景对应的目标障碍物总数量计算所述自动驾驶系统在每个场景下的目标障碍物通过率。4.根据权利要求2所述的自动驾驶系统的评估方法，其特征在于，所述从所述多个仿真结果中提取基于舒适性维度的运行数据，根据所述基于舒适性维度的运行数据进行计算，得到所述自动驾驶系统在每个场景下的场景舒适度结果，包括：从所述多个仿真结果中提取基于舒适性维度的运行数据，根据所述基于舒适性维度的运行数据计算所述自动驾驶系统在每个场景下运行时每一帧的体感值，所述体感值由舒适度评分贡献变量、纵向加速度绝对值和横向加速度方差计算得到；若场景中每一帧的体感值均大于或等于第一阈值，则将舒适度高确定为场景舒适度结果，否则将舒适度低确定为场景舒适度结果，得到每个场景对应的场景舒适度结果。5.根据权利要求2所述的自动驾驶系统的评估方法，其特征在于，所述从所述多个仿真结果中提取基于交互性维度的运行数据，根据所述基于交互性维度的运行数据进行计算，
得到所述自动驾驶系统在每个场景下的目标障碍物交互结果集，包括：从所述多个仿真结果中提取基于交互性维度的运行数据，从所述目标仿真环境中获取每个目标障碍物的对象轮廓和对象属性，所述对象属性为不减速可压对象、减速可压对象、不可压可跨对象或不可压不可跨对象；从所述基于交互性维度的运行数据中获取目标车辆与每个目标障碍物交互时的车辆轮廓和轮胎轮廓，所述目标车辆为装载所述自动驾驶系统并在所述目标仿真环境中运行的车辆；根据所述每个目标障碍物的对象轮廓和对象属性、所述目标车辆与每个目标障碍物交互时的车辆轮廓和轮胎轮廓确定每个目标障碍物对应的目标障碍物交互结果；将每个场景中所有目标障碍物对应的目标障碍物交互结果进行汇总，得到每个场景对应的目标障碍物交互结果集。6.根据权利要求5所述的自动驾驶系统的评估方法，其特征在于，所述根据所述每个目标障碍物的对象轮廓和对象属性、所述目标车辆与每个目标障碍物交互时的车辆轮廓和轮胎轮廓确定每个目标障碍物对应的目标障碍物交互结果，包括：当目标障碍物的对象属性为不减速可压对象时，若所述目标车辆与所述目标障碍物交互时的车辆轮廓与所述目标障碍物的对象轮廓存在相交或重叠时刻，则将正确通过确定为所述目标障碍物的目标障碍物交互结果；当目标障碍物的对象属性为减速可压对象时，获取所述目标车辆与所述目标障碍物交互时的行驶速度，若此时所述目标车辆的车辆轮廓与所述目标障碍物的对象轮廓存在相交或重叠时刻，且所述行驶速度小于第二阈值，则将正确通过确定为所述目标障碍物的目标障碍物交互结果；当目标障碍物的对象属性为不可压可跨对象时，若所述目标车辆与所述目标障碍物交互时的车辆轮廓与所述目标障碍物的对象轮廓存在相交或重叠时刻，且所述目标车辆与所述目标障碍物交互时的轮胎轮廓与所述目标障碍物的对象轮廓不存在相交或重叠时刻，则将正确通过确定为所述目标障碍物的目标障碍物交互结果；当目标障碍物的对象属性为不可压不可跨对象时，若所述目标车辆与所述目标障碍物交互时的车辆轮廓和轮胎轮廓与所述目标障碍物的对象轮廓均不存在相交或重叠时刻，则将正确通过确定为所述目标障碍物的目标障碍物交互结果。7.根据权利要求1所述的自动驾驶系统的评估方法，其特征在于，所述将所述场景通过率和所述每个场景下的目标障碍物通过率与对应的历史数据进行差值计算，得到所述自动驾驶系统的评估结果，包括：将所述场景通过率与预设历史场景通过率进行差值计算，得到所述自动驾驶系统基于所述目标仿真环境的总优化率；将每个场景下的目标障碍物通过率与相同场景下的预设历史目标障碍物通过率进行差值计算，得到多个场景优化率，所述多个场景优化率与所述多个带有不同标签的场景一一对应；将所述总优化率和所述多个场景优化率确定为所述自动驾驶系统的评估结果。8.根据权利要求1-7中任一项所述的自动驾驶系统的评估方法，其特征在于，在所述获取目标仿真环境之前，还包括：
获取评估数据集，所述评估数据集包括理想场景数据子集、路测场景数据子集和模拟场景数据子集；读取多个预设标签，根据所述多个预设标签将所述评估数据集中的数据进行分类和组合，得到多个带有不同标签的场景；识别每个场景下的目标障碍物并标注所述目标障碍物的对象轮廓和对象属性；将所述多个带有不同标签的场景建立连接，得到目标仿真环境。9.根据权利要求8所述的自动驾驶系统的评估方法，其特征在于，所述识别每个场景下的目标障碍物并标注所述目标障碍物的对象轮廓和对象属性，包括：根据所述目标障碍物的点云信息获取所述对象轮廓；根据预设规则确定所述目标障碍物的所述对象属性，所述对象属性为不减速可压对象、减速可压对象、不可压可跨对象或不可压不可跨对象；在每个场景的每一帧画面中对所述目标障碍物的所述对象轮廓和所述对象属性进行标注。10.一种自动驾驶系统的评估装置，其特征在于，所述自动驾驶系统的评估装置包括：获取模块，用于获取目标仿真环境，所述目标仿真环境包括多个带有不同标签的场景，每个场景包括多个目标障碍物；运行模块，用于在所述目标仿真环境下运行自动驾驶系统，得到多个仿真结果集，所述多个仿真结果集与所述多个带有不同标签的场景一一对应；第一计算模块，用于根据所述多个仿真结果集计算所述自动驾驶系统在所述目标仿真环境下的场景通过率以及在每个场景下的目标障碍物通过率；第二计算模块，用于将所述场景通过率和所述每个场景下的目标障碍物通过率与对应的历史通过率进行差值计算，得到所述自动驾驶系统的评估结果。11.一种自动驾驶系统的评估设备，其特征在于，所述自动驾驶系统的评估设备包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述自动驾驶系统的评估设备执行如权利要求1-9中任意一项所述的自动驾驶系统的评估方法。12.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-9中任一项所述自动驾驶系统的评估方法。

技术总结
本发明涉及自动驾驶领域，公开了一种自动驾驶系统的评估方法、装置、设备及存储介质，用于直观地评估自动驾驶系统表现,提高评估的准确率。自动驾驶系统的评估方法包括：获取目标仿真环境，目标仿真环境包括多个带有不同标签的场景，每个场景包括多个目标障碍物；在目标仿真环境下运行自动驾驶系统，得到多个仿真结果集，多个仿真结果集与多个带有不同标签的场景一一对应；根据多个仿真结果集计算自动驾驶系统在目标仿真环境下的场景通过率以及在每个场景下的目标障碍物通过率；将场景通过率和每个场景下的目标障碍物通过率与对应的历史通过率进行差值计算，得到自动驾驶系统的评估结果。结果。结果。


技术研发人员：魏春成 钟华 韩旭
受保护的技术使用者：广州文远知行科技有限公司
技术研发日：2023.03.09
技术公布日：2023/7/21