一种感知融合算法的测评方法、装置、设备及存储介质与流程

1.本发明涉及车辆环境感知传感技术领域，尤其涉及一种感知融合算法的测评方法、装置、设备及存储介质。


背景技术：

2.随着高级驾驶辅助系统(advanced driving assistance system，adas)技术的快速发展，adas在商用车市场加速普及，包括前方碰撞预警系统、车道偏离预警系统、自动紧急制动系统、自适应巡航系统等主动安全装置已实现上车量产，这些功能的实现核心是感知算法，研发过程中受相关安全法规的约束，感知算法往往会迭代多轮，对感知算法的多次测评成了迫在眉睫的任务。
3.针对感知算法测评，目前业内通用的有两种手段：一种是采用虚拟仿真数据作为辅助性验证，由于仿真数据属于完美感知，与真实数据尚存在一定的差距，先天的缺陷无法满足真实情况下复杂多变的场景；另一种是进行大量的封闭场地测试、开放道路测试，显而易见多轮测试会浪费人力、物力、财力以及时间成本。


技术实现要素：

4.本发明实施例提供了一种感知融合算法的测评方法、装置、设备及存储介质，实现了对待测评感知融合算法的有效测评，节约了成本。
5.第一方面，本发明实施例提供了一种感知融合算法的测评方法，该方法包括：
6.针对至少一种预设场景，在试制车辆行驶过程中，获取车辆上待测传感器实时采集的原始传感器数据以及真值传感器实时采集的真值传感器数据，所述待测传感器与所述真值传感器时间同步；
7.对所述原始传感器数据进行处理，确定第一识别结果；
8.对所述真值传感器数据进行处理，确定第二识别结果；
9.根据所述第一识别结果和所述第二识别结果，确定待测评感知融合算法的在线测评结果，所述待测评感知融合算法集成于所述试制车辆中。
10.第二方面，本发明实施例提供了一种感知融合算法的测评装置，包括：
11.数据获取模块，用于针对至少一种预设场景，在试制车辆行驶过程中，获取车辆上待测传感器实时采集的原始传感器数据以及真值传感器实时采集的真值传感器数据；
12.第一识别模块，用于对所述原始传感器数据进行处理，确定第一识别结果；
13.第二识别模块，用于对所述真值传感器数据进行处理，确定第二识别结果；
14.结果确定模块，用于根据所述第一识别结果和所述第二识别结果，确定待测评感知融合算法的在线测评结果，所述待测评感知融合算法集成于所述试制车辆中。
15.第三方面，本发明实施例还提供了一种电子设备，包括：
16.至少一个处理器；以及
17.与所述至少一个处理器通信连接的存储器；其中，
18.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面实施例所提供的感知融合算法的测评方法。
19.第四方面，本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面实施例所述的感知融合算法的测评方法。
20.本发明实施例提供了一种感知融合算法的测评方法、装置、设备及存储介质，该方法包括：针对至少一种预设场景，在试制车辆行驶过程中，获取车辆上待测传感器实时采集的原始传感器数据以及真值传感器实时采集的真值传感器数据，所述待测传感器与所述真值传感器时间同步；对所述原始传感器数据进行处理，确定第一识别结果；对所述真值传感器数据进行处理，确定第二识别结果；根据所述第一识别结果和所述第二识别结果，确定待测评感知融合算法的在线测评结果，所述待测评感知融合算法集成于所述试制车辆中。相比于现有技术中采用仿真数据无法满足真实情况下复杂多变的场景以及采用大量的封闭场地测试、开放道路测试造成成本浪费；上述技术方案，通过在试制车辆上加装真值传感器，同时采集车辆自带传感器的数据以及后加装的真值传感器的数据，将原始传感器数据通过待测评感知融合算法处理获得第一识别结果，将真值传感器数据的处理的第二识别结果作为真值参照，将第一识别结果与第二识别结果比较，实现了对待测评感知融合算法的有效测评，保证了对待测评感知融合算法测评的准确性，且节约了成本。
21.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
22.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1为本发明实施例一提供的一种感知融合算法的测评方法的流程示意图；
24.图2为本发明实施例一提供的在一种感知融合算法的测评方法执行中试制车辆改装的示例图；
25.图3为本发明实施例一提供的在一种感知融合算法的测评方法执行中离线测评的原理示例图；
26.图4为本发明实施例二提供的另一种感知融合算法的测评方法的流程示意图；
27.图5为本发明实施例三提供的一种感知融合算法的测评装置的结构示意图；
28.图6为本发明实施例四提供的一种电子设备的结构示意图。
具体实施方式
29.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人
员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
30.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“原始”、“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
31.实施例一
32.图1为本发明实施例一提供的一种感知融合算法的测评方法的流程示意图，该方法可适用于对感知融合算法进行测评的情况，该方法可以由感知融合算法的测评装置来执行，该装置可以采用硬件和/或软件的形式实现，可配置于电子设备中。如图1所示，本实施例一提供的感知融合算法的测评方法具体可以包括以下步骤：
33.s101、针对至少一种预设场景，在试制车辆行驶过程中，获取车辆上待测传感器实时采集的原始传感器数据以及真值传感器实时采集的真值传感器数据。
34.其中，待测传感器与真值传感器时间同步。预设场景可以是指真实自然驾驶场景、交通事故场景、经验扩展场景、预期功能安全场景等。待测评融合算法具体可以理解为需要集成到车辆上的感知融合算法。为了验证融合算法是否能够对原始传感器数据进行准确处理，采用本实施例提供的感知融合算法的测评方法对感知融合算法进行测评验证。
35.在本实施例中，在试制阶段试制车型上加装真值传感器，其中，真值传感器可以包括毫米波雷达、激光雷达、摄像头、组合惯导等真值传感器。由于在试制阶段的车辆上已经预装了被测传感器，被测传感器为试制车辆自带的摄像头、雷达等。因此，为了实现本发明实施例提供的感知融合算法的测评方法，仅需加装相应的真值传感器。
36.其中，真值传感器可以包含激光雷达、摄像头、毫米波雷达以及组合惯导设备等，布设于试制车辆上相应的位置。当试制车辆行驶过程中，被测传感器可以采集数据，同时真值传感器也会同步采集数据。为了实现数据的采集以及处理，车辆上除加装真值传感器外，还需要配置有配套设备，示例性的，主要的配套设备有：时间同步板卡、总线数据采集板卡、视频采集板卡、数据采集主机(工控机)、电源系统、存储阵列、交换机、显示器、线缆线束等。
37.可以清楚的是，进行数据采集的设备主要包括：被测传感器、真值传感器、时间同步板卡、视频采集板卡、总线数据采集板卡、交换机、数据采集主机和存储阵列等。被测传感器为试制车自带的摄像头、雷达等，本实施例中将被测传感器采集的数据记为原始传感器数据。真值传感器为加装的激光雷达、毫米波雷达、摄像头等，本实施例中将真值传感器采集的数据记为真值传感器数据。其中，时间同步板卡主要是实现多种传感器数据采集的时间同步，严格保证与gps时间同步，否则采集的数据毫无意义；视频采集板卡主要实现多摄像头大带宽的视频数据采集；总线数据采集板卡主要实现毫米波雷达以及车身主线(controller area network，can)信号的数据采集；交换机主要作用是传输激光雷达以太网数据以及各个板卡之间的数据通信；数据采集主机主要对各种数据进行收集、校验、加密、存储和回放等功能；存储阵列主要是数据采集主机采集数据后能够对数据进行大批量
统一存储，并能够实现数据快速迁移，比如与云端服务器进行统一对接。
38.示例性的，图2为本发明实施例一提供的在一种感知融合算法的测评方法执行中试制车辆改装的示例图。如图2所示，在试制车辆上已经预装了被测传感器，仅需加装相应的真值传感器。整车加装的设备包括真值传感器和主要配套设备，真值传感器具体包含：1颗128线激光雷达、4颗环视摄像头、4颗周视摄像头、3颗前视摄像头、1颗后视摄像头、6颗毫米波雷达以及组合惯导设备。主要的配套设备有：时间同步板卡，总线数据采集板卡，视频采集板卡，数据采集主机(工控机)，电源系统，存储阵列，交换机，显示器，线缆线束(如秒脉冲(pulse per second，pps)授时、图片传输协议(picture transfer protocol，ptp)、高速串行计算机扩展总线标准(peripheral component interconnect express，pcie)等。
39.具体的，当试制车辆加装完毕后，根据预先定义的多种场景，试制车辆实车上路开始数据采集工作。同时采集待测传感器的原始传感器数据和后加装的真值传感器的真值传感器数据。同时还需要同步采集试制车辆的车身数据以及地图数据等其它数据。
40.s102、对原始传感器数据进行处理，确定第一识别结果。
41.本步骤用于对原始传感器数据进行处理，以获得处理结果，记为第一识别结果。试制车辆上集成有待测评感知融合算法，待测评感知融合算法用于对原始传感器数据进行处理，以获得融合后的处理结果，作为第一识别结果。原始传感器数据是指车辆自带的传感器采集的数据，该原始传感器数据经过车辆上集成的待测评感知融合算法进行处理，获得第一识别结果。
42.s103、对真值传感器数据进行处理，确定第二识别结果。
43.本步骤用于对真值传感器数据进行处理，以获得处理结果，记为第二识别结果。本实施例中，采用单独的真值处理方式对真值传感器数据进行处理。示例性的，真值处理方式可以是真值融合算法。在对真值传感器数据通过真值融合算法处理前，还可以对真值传感器数据进行清洗、标注处理，以获得更为准确的、去除噪声的真值传感器数据。
44.s104、根据第一识别结果和第二识别结果，确定待测评感知融合算法的在线测评结果。
45.其中，待测评感知融合算法集成于试制车辆中。
46.在上述步骤获得第一识别结果和第二识别结果后，由于第一识别结果是基于试制车辆自带的传感器采集的原始传感器数据通过待测评感知融合算法处理获得的，第二识别结果是基于后加装的真值传感器采集的真值传感器数据通过真值处理算法处理获得的，因此，可以将第二识别结果作为真值参照。将第二识别结果作为真值参照依据，评判第一识别结果与第二识别结果的偏差，从而确定通过待测评感知融合算法是否能够准确的处理传感器数据，以实现对待测评感知融合算法的测评结果。可以理解的是，本实施例所采用的方式为在线测评方式，在试制车辆处于某场景中的行驶过程中实时采集传感器数据，并实时对传感器数据进行融合感知处理，以获得对待测评感知融合算法的在线测评结果。
47.可以理解的是，在通过试制车辆实时采集的传感器数据对感知融合算法进行测评时，需要采集不同场景下，不同感知融合算法对应的传感器数据，以实现更全面、更准确的对各种感知融合算法进行测评验证。示例性的，不同场景可以包括真实自然驾驶场景、交通事故场景、经验扩展场景、预期功能安全场景等，不同感知融合算法可以包括对车道线识别的算法、对障碍物识别的算法以及红绿灯的状态识别的算法，此处不再一一列出。
48.本发明实施例提供了一种感知融合算法的测评方法，该方法包括：针对至少一种预设场景，在试制车辆行驶过程中，获取车辆上待测传感器实时采集的原始传感器数据以及真值传感器实时采集的真值传感器数据，待测传感器与真值传感器时间同步；对原始传感器数据进行处理，确定第一识别结果；对真值传感器数据进行处理，确定第二识别结果；根据第一识别结果和第二识别结果，确定待测评感知融合算法的在线测评结果，待测评感知融合算法集成于试制车辆中。相比于现有技术中采用仿真数据无法满足真实情况下复杂多变的场景以及采用大量的封闭场地测试、开放道路测试造成成本浪费；上述技术方案，通过在试制车辆上加装真值传感器，同时采集车辆自带传感器的数据以及后加装的真值传感器的数据，将原始传感器数据通过待测评感知融合算法处理获得第一识别结果，将真值传感器数据的处理的第二识别结果作为真值参照，将第一识别结果与第二识别结果比较，实现了对待测评感知融合算法的有效测评，保证了对待测评感知融合算法测评的准确性，且节约了成本。
49.作为本发明实施例的可选实施例，在上述实施例的基础上，该方法还包括：对原始传感器数据和真值传感器数据进行分片管理，获得不同场景和/或类别的原始分类数据和真值分类数据。
50.需要说明的是，有价值的数据包含试制车辆的信息、原始传感器数据、真值传感器数据以及地图数据等，这些数据对感知融合算法的迭代验证尤为宝贵，因此数据管理的重要性不言而喻。
51.考虑到，一辆试制车辆每天产生的数据量可达10tb，如果有100辆车一天就是1pb的数据，如此大规模量级的数据，一方面需要性能强大的车载计算平台进行采集和处理；另一方面这些数据要服务于感知融合算法提升，需要强大的有效数据挖掘算法加持。而场景是adas系统开发、测试、验证的核心，因此对采集到的数据进行切片，得到各种真实自然驾驶场景、交通事故场景、经验扩展场景、预期功能安全场景等，从而不断积累形成宝贵的场景库。场景库中的测试场景对现实世界的覆盖率越高，测试结果的准确性就越高，adas系统就越安全。
52.具体的，对原始传感器数据和真值传感器数据进行分片管理，当然也可以同步对试制车辆的自身信息以及地图数据等其他信息进行分片管理。分片管理具体可以理解为对所有的数据进行分类，将数据分成不同的全功能和独立的单元。其中，分片管理方式可以是以场景为分类标准，示例性的，场景可以分为真实自然驾驶场景、交通事故场景、经验扩展场景、预期功能安全场景。针对于不同的场景，对相关的原始传感器数据、真值传感器数据、车辆信息以及地图数据等其他相关数据按照场景进行分类，从而得到不同场景中相关的数据。又或者，待测评感知融合算法不限于一种，针对不同的待测评感知融合算法，对相关的原始传感器数据、真值传感器数据、车辆信息以及地图数据等其他相关数据按照感知融合算法的类别进行划分。
53.示例性的，表1为本发明实施例提供的在一种感知融合算法的测评方法执行中对传感器数据进行分片管理后形成的分片管理示例效果，如表1所示，按场景分布，如分为城市、乡村、高速、晴天、雨天、雪天、白天、夜间等；按照检测分为几大类，如车道线、红绿灯、地面标志、交通标志牌、可行驶区域、停车位以及目标检测等。对于不同分类，又列出了分类对应的内容，如车道线的具体内容可以包括车道形状、宽度及曲率等，红绿灯分为红绿灯类型
以及颜色属性等。具体内容可以参照表1，此处不再一一赘述。
54.表1
[0055][0056]
上述技术方案增加了对采集到的数据进行分片管理的功能，通过对采集到的数据按照不同场景或者不同类别进行分片管理，从而保证在利用采集的数据进行研究时，更有利于获取相关的数据，而不是将所有采集的数据均进行加载，而是只获取与研究目的相关的数据，提高了对采集数据管理的便利性，在进行融合算法研究时，只加载与研究目的相关的数据，减少了资源占用和成本。
[0057]
作为本发明实施例的可选实施例，在上述实施例的基础上，该方法还包括：根据试制车辆中数据存储模块存储的原始传感器数据和真值传感器数据，对待测评感知融合算法进行离线测评。
[0058]
考虑到adas系统的开发和验证是极其苛刻的过程，包括现实道路测试和详尽的实验室模拟仿真。虽然真实世界的道路测试是发布汽车产品之前的最终步骤，但业内倾向尽可能用现实的模拟或者记录的真实世界数据来代替它，可控性更强，并普通提高测试质量、验证覆盖率以及产品迭代效率。事实上，adas感知融合算法开发和验证的过程是很多轮的，第一轮测试没有数据，往往必须采用试制车辆改装后进行数据采集。有了被测传感器的原始传感器数据和真值传感器数据之后，后面每次算法迭代更新验证就无需实车测试，测评时，adas域控制器在实验室中与被测传感器是断开的，可以实现感知融合算法的离线测评。
[0059]
具体的，adas域控制器在实验室中与被测传感器是断开的，从数据存储模块中获取采集的原始传感器数据和真值传感器数据，基于这些数据对待测评感知融合算法进行离线测评。可以理解的是，在离线测评时，若需要车辆信息以及地图数据等其他信息时，仍然可以获取该类信息进行离线测评。
[0060]
示例性的，假设在进行在线测试时，获得待测评感知融合算法的测评结果为该待测评感知融合算法不合格，则为了对该待测评感知融合算法进行修正，可以基于存储的该待测感知融合算法相关的原始传感器数据和真值传感器数据对该待测评感知融合算法进行离线测评，并根据测评结果对该待检测感知算法进行修正，如此往复直至该待测评感知算法测评结果为合格，以获得满足要求的待测评感知算法。可以理解的是，对该待测评感知算法进行验证以及修正的过程可以在离线状态下进行，而避免每次进行测评时都进行真实
世界中试制车辆的数据采集，降低了资源消耗和人力成本。
[0061]
上述技术方案增加了对感知融合算法进行离线测评的功能，在试制车辆行驶过程中将采集到的原始传感器数据和真值传感器数据存储在车辆的数据存储模块中，在对感知融合算法进行离线测评时，从数据存储模块中获取相关的原始传感器数据和真值传感器数据，基于上述数据，在adas域控制器在实验室中与被测传感器是断开的情况时，可以实现感知融合算法的离线测评，提高了对感知融合算法进行测试验证的效率，采用离线测评大大缩短了感知融合算法的开发周期，有效节约了测试成本和时间。
[0062]
进一步地，根据试制车辆中数据存储模块存储的原始传感器数据和真值传感器数据，对待测评感知融合算法进行离线测评，包括：
[0063]
a1)从试制车辆中数据存储模块中获取原始传感器数据和真值传感器数据。
[0064]
具体的，在试制车辆加装真值传感器进行传感器数据采集时，会同时将采集数据存储在数据存储模块中。本步骤用于从数据存储模块中获取原始传感器数据和真值传感器数据。
[0065]
b1)将具有相同时间戳标识的原始传感器数据回灌至包含有待测评感知融合算法的域控制器中，获得处理后的结果作为第三识别结果。
[0066]
具体的，在离线状态下，即在实验室中adas域控制器与被测传感器处于断开状态，在获取原始传感器数据和真值传感器数据后，需要将原始传感器数据回灌到域控制器中，使原始传感器数据通过域控制器中的感知融合算法进行处理，在对原始传感器数据进行处理后，可以将处理结果记为第三识别结果。需要说明的是，在将原始传感器数据回灌到包含有待测评感知融合算法的域控制器中时，传感器数据可以包含雷达采集的、摄像头采集的、组合惯导采集的，为了实现离线测评时达到真实的测评效果，需要将同一时间的传感器数据同时回灌至域控制器中。由于在对原始传感器数据和真值传感器数据进行存储时，会将存储数据与时间戳标识进行关联，通过时间戳标识的方式，可以认为相同时间戳标识的数据是同一时间采集的数据，从而保证将相同时间戳标识的原始传感器数据回灌到域控制器中，保证离线测评能够达到真实场景的测试效果。
[0067]
c1)将真值传感器数据通过预设的真值融合算法进行处理，获得处理后的结果作为第四识别结果。
[0068]
具体的，将真值传感器数据通过预设的真值融合算法进行处理，获得处理后的结果记为第四识别结果。
[0069]
d1)根据第三识别结果和第四识别结果，确定待测评感知融合算法的离线测评结果。
[0070]
具体的，将第四识别结果作为真值依据，将第三识别结果与第四识别结果进行比较，从而确定待测评感知融合算法的离线测评结果。可以知道的是，根据第三识别结果和第四识别结果确定离线测评结果的方式，与根据第一识别结果和第二识别结果确定在线测评结果的方式是相同的，此处不再赘述。
[0071]
示例性的，图3为本发明实施例一提供的在一种感知融合算法的测评方法执行中离线测评的原理示例图。如图3所示，从存储阵列(相当于数据存储模块)获得真实世界的被测传感器的原始传感器数据以及真值传感器数据；离线测评时，adas域控制器在实验室中与被测传感器是断开的，此时将被测传感器的原始传感器数据注入到adas域控制器需要借
助特定的设备，即回灌主机，它的核心功能是保证多传感器回灌的时间同步性，让域控制器仿佛置身在真实世界；被测传感器的原始数据经回灌主机通过视频分流板卡、以太网分流板卡以及can分流板卡注入到adas域控制器后得到感知算法融合后的待测评感知融合算法测试结果，真值传感器数据经算法模型处理后输出真值信息；根据预设adas感知算法测评指标对真值信息以及待测评感知融合算法测试进行测评，获得离线测评结果实时输出。
[0072]
上述技术方案具体化了基于数据存储模块中存储的原始传感器数据和真值传感器数据对待测评感知融合算法进行离线测评的过程，通过将原始传感器数据回灌至域控制器中，实现对感知融合算法的离线测评，提高了对感知融合算法进行测试验证的效率。
[0073]
实施例二
[0074]
图4为本发明实施例二提供的另一种感知融合算法的测评方法的流程示意图，本实施例为上述实施例的进一步优化，在本实施例中，进一步对“对所述原始传感器数据进行处理，确定第一识别结果”限定优化，且进一步对“对所述真值传感器数据进行处理，确定第二识别结果”，且对“根据所述第一识别结果和所述第二识别结果，确定待测评感知融合算法的在线测评结果”限定优化。
[0075]
如图4所示，本实施例二提供一种感知融合算法的测评方法，具体包括如下步骤：
[0076]
s201、针对至少一种预设场景，在试制车辆行驶过程中，获取车辆上待测传感器实时采集的原始传感器数据以及真值传感器实时采集的真值传感器数据。
[0077]
具体的，在通过试制车辆实时采集的传感器数据对感知融合算法进行测评时，需要采集不同场景下，不同感知融合算法对应的传感器数据，以实现更全面、更准确的对各种感知融合算法进行测评验证。针对每一种预设场景，将试制车辆行驶于该预设场景中，车辆上的待测传感器实时采集原始传感器数据，后加装的真值传感器实时采集真值传感器数据，获取原始传感器数据和真值传感器数据。
[0078]
s202、将原始传感器数据通过待测评感知融合算法进行融合处理，获得融合处理后的结果作为第一识别结果。
[0079]
具体的，对于待测传感器采集的原始传感器数据通过车辆上集成的待测评感知融合算法进行融合处理。获得待测评感知融合算法对原始传感器数据处理的第一识别结果。
[0080]
s203、对真值传感器数据进行清洗处理，获得清洗处理后的第一真值传感器数据。
[0081]
其中，数据清洗是数据标注前的必要工作，清洗处理的方式可以是，删除无效冗余的无效数据、图像的去畸变、静态运动补偿、动态运动补偿以及擦除车端采集的敏感数据。例如，对于其中包含地理位置、人脸、车牌等隐私的信息，必须进行脱敏合规处理，并统一格式。
[0082]
具体的，在对真值传感器数据进行清洗处理后获得的真值传感器数据记为第一真值传感器数据。
[0083]
s204、将第一真值传感器数据输入至预先训练的目标框标注模型中，获得标注后的第二真值传感器数据。
[0084]
考虑到adas功能适配一个新场景的开发，需要上千万帧甚至数亿帧不等的真实路测采集和标注真值的数据支持，同时随着adas各种应用场景需求逐渐增加，路测真值数据需求更是指数级增长，将达到pb级别的大数据。如果采用人工标注，其对应的成本、效率和精度均不能满足要求。由此可见后装传感器的真值传感器数据的获取可以采用人工智能自
动获取，其中，目标框标注模型具体可以理解为对第一真值传感器数据中包含的目标进行目标框标注的模型。标注内容可以包含目标状态、类别等信息。可以通过大量的样本数据对网络模型进行训练，以获得训练后满足精度要求的网络模型作为目标框标注模型。其中，关于后装传感器真值数据的获取，摒弃传统人工标注的方法而采用人工智能的方法自动获取，标注效率提高的同时，真值数据更加可靠且丰富。
[0085]
s205、将第二真值传感器数据通过预设的真值融合算法进行处理，获得处理结果作为第二识别结果。
[0086]
其中，预设的真值融合算法具体可以理解为对真值传感器数据进行准确的、精确的处理的算法。具体的，将第二真值传感器数据通过真值融合算法进行处理，获得第二识别结果。
[0087]
s206、获取预先设定的测评指标公式。
[0088]
本实施例中，待测评感知融合算法可以包含多种不同的测评指标，测评指标用于对待测评感知融合算法进行定义，示例性的，测评指标可以包括多目标跟踪准确度、多目标跟踪精度、识别精确度、识别召回率、平均数比率等。不同的测评指标对应有不同的测评指标公式。具体的，获取待测评感知融合算法对应的测评指标公式。
[0089]
s207、将第一识别结果和第二识别结果代入测评指标公式中，获得待测评感知融合算法的在线测评结果。
[0090]
具体的，针对不同的测评指标，将第一识别结果和第二识别结果代入到不同的测评指标公式中，从而根据得到的结果作为评判待测评感知融合算法的测试结果。
[0091]
上述技术方案具体化了对原始传感器数据和真值传感器数据进行处理的过程以及根据第一识别结果和第二识别结果进行在线测评的过程，通过待测评感知融合算法对原始传感器数据进行处理获得第一识别结果；通过对真值传感器数据进行清洁标注处理后，获得清洁的带标注的真值传感器数据，对真值传感器数据进行处理获得第二识别结果；将第二识别结果作为真值比对依据，结合测评指标，对第一识别结果进行评判，获得待测评感知融合算法的在线测评结果。利用该方法，通过人工智能训练模型进行自动化标注方式，保证数据的准确性的同时大大提高了效率，同时，感知融合数据经算法模型获得真值信息相比传统更加丰富，实现了对待测评感知融合算法的有效测评，保证了对待测评感知融合算法测评的准确性，且节约了成本。
[0092]
实施例三
[0093]
图5为本发明实施例三提供的一种感知融合算法的测评装置的结构示意图，该装置可适用于对感知融合算法进行测评的情况，该感知融合算法的测评装置可配置于电子设备中，如图5所示，该装置包括：数据获取模块31、第一识别模块32、第二识别模块33以及结果确定模块34；其中，
[0094]
数据获取模块31，用于针对至少一种预设场景，在试制车辆行驶过程中，获取车辆上待测传感器实时采集的原始传感器数据以及真值传感器实时采集的真值传感器数据，待测传感器与真值传感器时间同步；
[0095]
第一识别模块32，用于对原始传感器数据进行处理，确定第一识别结果；
[0096]
第二识别模块33，用于对真值传感器数据进行处理，确定第二识别结果；
[0097]
结果确定模块34，用于根据第一识别结果和第二识别结果，确定待测评感知融合
算法的在线测评结果，待测评感知融合算法集成于试制车辆中。
[0098]
上述技术方案包括首先针对至少一种预设场景，在试制车辆行驶过程中，获取车辆上待测传感器实时采集的原始传感器数据以及真值传感器实时采集的真值传感器数据，待测传感器与真值传感器时间同步；然后对原始传感器数据进行处理，确定第一识别结果；对真值传感器数据进行处理，确定第二识别结果；最后根据第一识别结果和第二识别结果，确定待测评感知融合算法的在线测评结果，待测评感知融合算法集成于试制车辆中。相比于现有技术中采用仿真数据无法满足真实情况下复杂多变的场景以及采用大量的封闭场地测试、开放道路测试造成成本浪费；上述技术方案，通过在试制车辆上加装真值传感器，同时采集车辆自带传感器的数据以及后加装的真值传感器的数据，将原始传感器数据通过待测评感知融合算法处理获得第一识别结果，将真值传感器数据的处理的第二识别结果作为真值参照，将第一识别结果与第二识别结果比较，实现了对待测评感知融合算法的有效测评，保证了对待测评感知融合算法测评的准确性，且节约了成本。
[0099]
可选的，第一识别模块32，具体可以用于：
[0100]
将原始传感器数据通过待测评感知融合算法进行融合处理，获得融合处理后的结果作为第一识别结果。
[0101]
可选的，第二识别模块33，具体可以用于：
[0102]
对真值传感器数据进行清洗处理，获得清洗处理后的第一真值传感器数据；
[0103]
将第一真值传感器数据输入至预先训练的目标框标注模型中，获得标注后的第二真值传感器数据；
[0104]
将第二真值传感器数据通过预设的真值融合算法进行处理，获得处理结果作为第二识别结果。
[0105]
可选的，结果确定模块34，具体可以用于：
[0106]
获取预先设定的测评指标公式；
[0107]
将第一识别结果和第二识别结果代入测评指标公式中，获得待测评感知融合算法的在线测评结果。
[0108]
可选的，该装置还包括分类模块，具体可以用于：
[0109]
对原始传感器数据和真值传感器数据进行分片管理，获得不同场景和/或类别的原始分类数据和真值分类数据。
[0110]
可选的，该装置还包括离线测评模块，可以用于：
[0111]
根据试制车辆中数据存储模块存储的原始传感器数据和真值传感器数据，对待测评感知融合算法进行离线测评。
[0112]
可选的，离线测评模块，具体可以用于：
[0113]
从试制车辆中数据存储模块中获取原始传感器数据和真值传感器数据；
[0114]
将具有相同时间戳标识的原始传感器数据回灌至包含有待测评感知融合算法的域控制器中，获得处理后的结果作为第三识别结果，所述域控制器与所述待测传感器处于断开状态；
[0115]
将真值传感器数据通过预设的真值融合算法进行处理，获得处理后的结果作为第四识别结果；
[0116]
根据第三识别结果和第四识别结果，确定待测评感知融合算法的离线测评结果。
[0117]
本发明实施例所提供的感知融合算法的测评装置可执行本发明任意实施例所提供的感知融合算法的测评方法，具备执行方法相应的功能模块和有益效果。
[0118]
实施例四
[0119]
图6为本发明实施例四提供的一种车辆的结构示意图。如图6所示，车辆40包括至少一个控制器41，以及与至少一个控制器41通信连接的存储器，如只读存储器(rom)42、随机访问存储器(ram)43等，其中，存储器存储有可被至少一个控制器执行的计算机程序，控制器41可以根据存储在只读存储器(rom)42中的计算机程序或者从存储单元48加载到随机访问存储器(ram)43中的计算机程序，来执行各种适当的动作和处理。在ram 43中，还可存储车辆40操作所需的各种程序和数据。控制器41、rom 42以及ram 43通过总线44彼此相连。输入/输出(i/o)接口45也连接至总线44。
[0120]
车辆40中的多个部件连接至i/o接口45，包括：输入单元46，例如键盘、鼠标等；输出单元47，例如各种类型的显示器、扬声器等；存储单元48，例如磁盘、光盘等；以及通信单元49，例如网卡、调制解调器、无线通信收发机等。通信单元49允许车辆40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0121]
控制器41可以是各种具有处理和计算能力的通用和/或专用处理组件。控制器41的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的控制器、数字信号控制器(dsp)、以及任何适当的控制器、控制器、微控制器等。控制器41执行上文所描述的各个方法和处理，例如感知融合算法的测评方法。
[0122]
在一些实施例中，感知融合算法的测评方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元48。在一些实施例中，计算机程序的部分或者全部可以经由rom 42和/或通信单元49而被载入和/或安装到车辆40上。当计算机程序加载到ram 43并由控制器41执行时，可以执行上文描述的感知融合算法的测评方法的一个或多个步骤。备选地，在其他实施例中，控制器41可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行感知融合算法的测评方法。
[0123]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程控制器的可编程系统上执行和/或解释，该可编程控制器可以是专用或者通用可编程控制器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0124]
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的控制器，使得计算机程序当由控制器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0125]
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存
储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0126]
为了提供与用户的交互，可以在车辆上实施此处描述的系统和技术，该车辆具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0127]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
[0128]
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
[0129]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
[0130]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：
1.一种感知融合算法的测评方法，其特征在于，包括：针对至少一种预设场景，在试制车辆行驶过程中，获取车辆上待测传感器实时采集的原始传感器数据以及真值传感器实时采集的真值传感器数据，所述待测传感器与所述真值传感器时间同步；对所述原始传感器数据进行处理，确定第一识别结果；对所述真值传感器数据进行处理，确定第二识别结果；根据所述第一识别结果和所述第二识别结果，确定待测评感知融合算法的在线测评结果，所述待测评感知融合算法集成于所述试制车辆中。2.根据权利要求1所述的方法，其特征在于，所述对所述原始传感器数据进行处理，确定第一识别结果，包括：将所述原始传感器数据通过所述待测评感知融合算法进行融合处理，获得融合处理后的结果作为第一识别结果。3.根据权利要求1所述的方法，其特征在于，所述对所述真值传感器数据进行处理，确定第二识别结果，包括：对所述真值传感器数据进行清洗处理，获得清洗处理后的第一真值传感器数据；将所述第一真值传感器数据输入至预先训练的目标框标注模型中，获得标注后的第二真值传感器数据；将所述第二真值传感器数据通过预设的真值融合算法进行处理，获得处理结果作为第二识别结果。4.根据权利要求1所述的方法，其特征在于，所述根据所述第一识别结果和所述第二识别结果，确定待测评感知融合算法的在线测评结果，包括：获取预先设定的测评指标公式；将所述第一识别结果和所述第二识别结果代入所述测评指标公式中，获得待测评感知融合算法的在线测评结果。5.根据权利要求1所述的方法，其特征在于，还包括：对所述原始传感器数据和所述真值传感器数据进行分片管理，获得不同场景和/或类别的原始分类数据和真值分类数据。6.根据权利要求1所述的方法，其特征在于，还包括：根据所述试制车辆中数据存储模块存储的所述原始传感器数据和所述真值传感器数据，对所述待测评感知融合算法进行离线测评。7.根据权利要求6所述的方法，其特征在于，所述根据所述试制车辆中数据存储模块存储的所述原始传感器数据和所述真值传感器数据，对所述待测评感知融合算法进行离线测评，包括：从所述试制车辆中数据存储模块中获取所述原始传感器数据和所述真值传感器数据；将具有相同时间戳标识的所述原始传感器数据回灌至包含有待测评感知融合算法的域控制器中，获得处理后的结果作为第三识别结果，所述域控制器与所述待测传感器处于断开状态；将所述真值传感器数据通过预设的真值融合算法进行处理，获得处理后的结果作为第四识别结果；
根据所述第三识别结果和所述第四识别结果，确定待测评感知融合算法的离线测评结果。8.一种感知融合算法的测评装置，其特征在于，包括：数据获取模块，用于针对至少一种预设场景，在试制车辆行驶过程中，获取车辆上待测传感器实时采集的原始传感器数据以及真值传感器实时采集的真值传感器数据，所述待测传感器与所述真值传感器时间同步；第一识别模块，用于对所述原始传感器数据进行处理，确定第一识别结果；第二识别模块，用于对所述真值传感器数据进行处理，确定第二识别结果；结果确定模块，用于根据所述第一识别结果和所述第二识别结果，确定待测评感知融合算法的在线测评结果，所述待测评感知融合算法集成于所述试制车辆中。9.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7任一项所述的感知融合算法的测评方法。10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一项所述的感知融合算法的测评方法。

技术总结
本发明实施例提供了一种感知融合算法的测评方法、装置、设备及存储介质，该方法包括：针对至少一种预设场景，在试制车辆行驶过程中，获取车辆上待测传感器实时采集的原始传感器数据以及真值传感器实时采集的真值传感器数据；对原始传感器数据进行处理，确定第一识别结果；对真值传感器数据进行处理，确定第二识别结果；根据第一识别结果和第二识别结果，确定待测评感知融合算法的在线测评结果。利用该方法，通过在试制车辆上加装真值传感器，同时采集车辆自带传感器的数据以及真值传感器的数据，获得原始传感器数据通过待测评融合算法处理的结果，将真值传感器数据的处理结果作为真值，实现了对待测评感知融合算法的有效测评，节约了成本。节约了成本。节约了成本。


技术研发人员：高立 黄硕 王栋梁 井晓瑞 严咏麟 刘坤鹏 周俊杰
受保护的技术使用者：一汽（南京）科技开发有限公司
技术研发日：2023.05.17
技术公布日：2023/8/13