路测数据存储、采集方法、装置、存储介质及计算机设备与流程

1.本技术涉及自动驾驶技术领域，尤其涉及一种路测数据存储、采集方法、装置、存储介质及计算机设备。


背景技术：

2.在自动驾驶领域中，真实的路测数据对于自动驾驶的场景仿真和分析是非常重要的，专业人员可以依赖真实的路测数据对测试车辆在不同行驶状态下的行为与逻辑进行分析与调试，从而合理修改测试车辆内部的运行数据，以保证测试车辆在后面的道路测试中能够更好地对类似情况做出更加正确的逻辑判断。
3.在车辆道路测试中采集到路测数据后，需要将所有路测数据存储至数据中心，以便专业人员对路测数据进行查询和分析，然而，路测数据中参数多样化，且夹杂着大量无价值的数据，导致产生的日志文件数量多且文件数据内容庞大，因此车辆道路测试的路测数据在存储时需要占据较大的存储空间，导致存储耗时长。


技术实现要素：

4.本技术的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中车辆道路测试的路测数据在存储时需要占据较大的存储空间，导致存储耗时长的技术缺陷。
5.本技术提供了一种路测数据存储方法，所述方法应用于上传站，包括：
6.获取当前测试车辆在多次专项路测过程中产生的多个第一路测文件包，以及针对所述专项路测的路测类型预先设置的数据比对模板；其中，每个第一路测文件包中包含有多个日志包；
7.将各个第一路测文件包中不存在异常标识的日志包剔除后得到多个第二路测文件包，所述不存在异常标识的日志包表征该日志包中不存在异常数据；
8.当至少一个第二路测文件包中存在日志包时，将存在日志包的第二路测文件包中的各项路测数据分别与所述数据比对模板进行比对，并根据比对结果确定存在日志包的第二路测文件包中的异常数据；
9.将存在日志包的第二路测文件包中的异常数据分别写入到对应的数据文件中，并将各个数据文件上传至数据中心进行存储；
10.当所有的第二路测文件包中均不存在日志包时，则无需将所述当前测试车辆的路测数据上传至所述数据中心。
11.可选地，所述获取针对所述专项路测的路测类型预先设置的数据比对模板，包括：
12.确定所述专项路测的路测类型包含的多个测试项目，以及每一测试项目对应的预设阈值，形成与所述路测类型对应的数据比对模板。
13.可选地，所述将各个第一路测文件包中不存在异常标识的日志包剔除后得到多个第二路测文件包，包括：
14.获取各个第一路测文件包中的异常标识文件，所述异常标识文件记录着相应的第
一路测文件包中存在异常标识的日志包的标识信息；
15.基于各个异常标识文件将相应的第一路测文件包中不存在异常标识的日志包剔除，得到多个第二路测文件包。
16.可选地，所述将存在日志包的第二路测文件包中的各项路测数据分别与所述数据比对模板进行比对，并根据比对结果确定存在日志包的第二路测文件包中的异常数据，包括：
17.将存在日志包的第二路测文件包中的各项路测数据与所述数据比对模板中相应的预设阈值进行对比，得到比对结果；
18.确定所述比对结果中超过相应的预设阈值的路测数据，作为存在日志包的第二路测文件包中的异常数据。
19.可选地，所述将存在日志包的第二路测文件包中的异常数据分别写入到对应的数据文件中，包括：
20.根据预设文本格式对存在日志包的第二路测文件包中的异常数据进行数据清洗以及格式转换，得到各个异常数据对应的有效数据；
21.将各个存在日志包的第二路测文件包的有效数据分别写入对应的数据文件中。
22.可选地，所述方法应用于当前测试车辆中的车载终端，包括：
23.利用多个测试传感器采集当前测试车辆在当前专项路测过程中产生的不同时刻下的路测数据，并在每一时刻下的路测数据产生时，判断该路测数据是否超过预设阈值；
24.若超过，则对该路测数据添加异常标识后形成该时刻下的日志包；
25.若不超过，则直接形成与该路测数据对应的日志包；
26.在所述当前专项路测结束后，将生成的多个日志包进行打包，形成与所述当前专项路测对应的第一路测文件包。
27.可选地，所述方法还包括：
28.创建异常标识文件；
29.获取添加异常标识后的日志包的标识信息，并将所述标识信息记录至所述异常标识文件；
30.将所述异常标识文件添加至所述第一路测文件包。
31.本技术还提供了一种路测数据存储装置，包括：
32.文件包获取模块，用于获取当前测试车辆在多次专项路测过程中产生的多个第一路测文件包，以及针对所述专项路测的路测类型预先设置的数据比对模板；其中，每个第一路测文件包中包含有多个日志包；
33.日志包剔除模块，用于将各个第一路测文件包中不存在异常标识的日志包剔除后得到多个第二路测文件包，所述不存在异常标识的日志包表征该日志包中不存在异常数据；
34.数据比对模块，用于当至少一个第二路测文件包中存在日志包时，将存在日志包的第二路测文件包中的各项路测数据分别与所述数据比对模板进行比对，并根据比对结果确定存在日志包的第二路测文件包中的异常数据；
35.数据存储模块，将存在日志包的第二路测文件包中的异常数据分别写入到对应的数据文件中，并将各个数据文件上传至数据中心进行存储；
36.文件包检测模块，用于当所有的第二路测文件包中均不存在日志包时，则无需将所述当前测试车辆的路测数据上传至所述数据中心。
37.本技术还提供了一种存储介质，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述路测数据存储方法，和/或，所述路测数据采集方法的步骤。
38.本技术还提供了一种计算机设备，包括：一个或多个处理器，以及存储器；
39.所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，执行如上述实施例中任一项所述路测数据存储方法，和/或，所述路测数据采集方法的步骤。
40.从以上技术方案可以看出，本技术实施例具有以下优点：
41.本技术提供的路测数据存储、采集方法、装置、存储介质及计算机设备，在对路测数据进行存储时，可以获取当前测试车辆在多次专项路测过程中产生的多个第一路测文件包，以及针对该专项路测的路测类型预先设置的数据比对模板，其中，每个第一路测文件包中包含有多个日志包，由于不同路测类型的数据标准不同，各个路测类型均预先设置有对应的数据比对模板，在获取到多个第一路测文件包后，可以将各个第一路测文件包中不存在异常标识的日志包剔除后得到多个第二路测文件包，这里的不存在异常标识的日志包表征该日志包中不存在异常数据，当第二路测文件包中存在日志包时，可以将存在日志包的第二路测文件包中的各项路测数据分别与数据比对模板进行比对，并根据比对结果确定存在日志包的第二路测文件包中的异常数据，这样可以直接索引到各个第二路测文件包中的异常数据，避免了其他正常数据的干扰，接着可以将存在日志包的第二路测文件包中的异常数据分别写入到对应的数据文件中，并将各个数据文件上传至数据中心进行存储，当所有的第二路测文件包中均不存在日志包时，则无需将当前测试车辆的路测数据上传至数据中心，以此可以将各个第二路测文件包中的异常数据提取出来，剔除了无分析价值的路测数据，进而减少数据中心的存储压力，在保证技术人员可以快速读取专项测试中的有效数据的同时提高了存储效率。
附图说明
42.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
43.图1为本技术实施例提供的一种路测数据存储方法的流程示意图；
44.图2为本技术实施例提供的一种路测数据采集方法的流程示意图；
45.图3为本发明实施例提供的一种路测数据存储装置的结构示意图；
46.图4为本发明实施例提供的一种计算机设备的内部结构示意图。
具体实施方式
47.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于
本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
48.在自动驾驶领域中，真实的路测数据对于自动驾驶的场景仿真和分析是非常重要的，专业人员可以依赖真实的路测数据对测试车辆在不同行驶状态下的行为与逻辑进行分析与调试，从而合理修改测试车辆内部的运行数据，以保证测试车辆在后面的道路测试中能够更好地对类似情况做出更加正确的逻辑判断。
49.在车辆道路测试中采集到路测数据后，需要将所有路测数据存储至数据中心，以便专业人员对路测数据进行查询和分析，然而，路测数据中参数多样化，且夹杂着大量无价值的数据，导致产生的日志文件数量多且文件数据内容庞大，因此车辆道路测试的路测数据在存储时需要占据较大的存储空间，导致存储耗时长。
50.基于此，本技术提出了如下技术方案，具体参见下文：
51.在一个实施例中，如图1所示，图1为本技术实施例提供的一种路测数据存储方法的流程示意图；本技术提供了一种路测数据存储方法，应用于上传站，具体包括如下：
52.s110：获取当前测试车辆在多次专项路测过程中产生的多个第一路测文件包，以及针对所述专项路测的路测类型预先设置的数据比对模板。
53.本步骤中，当前测试车辆在执行出车测试任务时，可以在真实测试道路上进行多次专项路测，并在每一次专项路测结束后，生成与该次专项路测对应的第一路测文件包，在出车测试任务结束后，可以将出车测试任务中采集到的所有第一路测文件包发送到上传站中，同时，上传站还可以获取针对该专项路测的路测类型预先设置的数据比对模板。
54.可以理解的是，由于每次专项路测过程中产生有多个日志包，各个日志包分别记录着当前测试车辆在道路上行驶时不同时刻产生的运行数据，因此当前测试车辆可以在当前专项路测结束后，将当前专项路测产生的各个日志包进行打包，形成对应的第一路测文件包进行保存，紧接着当前测试车辆可以进入下一轮的专项测试。
55.其中，当前测试车辆在对第一路测文件包进行保存时，可以是将第一路测文件包保存至当前车辆中车载终端的存储模块中，也可以是保存至车载硬盘中，该车载硬盘为分析人员在专项路测前插入车载终端的移动硬盘，若采用存储模块进行保存，上传站可以通过无线通信技术从存储模块中获取出车测试任务中产生的多个第一路测文件包，若采用车载硬盘进行保存，上传站可以通过插入车载硬盘直接从车载硬盘中获取出车测试任务中产生的多个第一路测文件包。
56.进一步地，在获取针对该专项路测的路测类型预先设置的数据比对模板时，分析人员可以将与此次专项路测对应的数据比对模板提前存储于车载终端的存储模块或车载硬盘中，上传站在获取第一路测文件包的同时获取数据比对模板，也可以提前将所有路测类型对应的数据比对模板提前存储于上传站，以使上传站在接收到分析人员输入的路测类型后，可以从各个数据比对模板筛选出对应的数据比对模板。
57.s120：将各个第一路测文件包中不存在异常标识的日志包剔除后得到多个第二路测文件包，不存在异常标识的日志包表征该日志包中不存在异常数据。
58.本步骤中，通过步骤s110获取到多个第一路测文件包后，可以分别对各个第一路测文件包中的日志包进行筛选，在筛选的过程中，可以判断每一日志包是否存在异常标识，并在判断结果为不存在时，将对应的日志包进行剔除，最后将筛选结束的各个第一路测文
件包作为第二路测文件包。
59.需要说明的是，在当前测试车辆采集路测数据并生成日志包的过程中，若检测到存在路测数据异常，则可以在将该异常的路测数据记录至对应的日志包的同时添加异常标识，表征该路测数据所在的日志包存在异常数据，以使上传站在获取到第一路测文件包时可以根据该异常标识进行日志包筛选，这样可以在减少第一路测文件包的数据量的同时提高存储效率，其中，路测数据的异常可以是当前测试车辆的车载终端检测到的超过预设阈值的路测数据。
60.s130：当至少一个第二路测文件包中存在日志包时，将存在日志包的第二路测文件包中的各项路测数据分别与数据比对模板进行比对，并根据比对结果确定存在日志包的第二路测文件包中的异常数据。
61.本步骤中，通过步骤s120获取到多个第二路测文件包后，可以将第二路测文件包中各个日志包的各项路测数据分别与数据比对模板进行比对，以根据比对结果确定每一日志包中对应的异常数据，以便在后续可以直接索引每一日志包中的异常数据并进行提取。
62.可以理解的是，当存在第一路测文件包中的日志包均不存在异常标识被剔除时，此时通过该第一路测文件包得到的第二路测文件包为空包，因此在将各个第二路测文件包分别与数据比对模板进行比对前，可以将各个第二路测文件包中的空包删除，只保留存在日志包的第二路测文件包与数据比对模板进行比对。
63.s140：将存在日志包的第二路测文件包中的异常数据分别写入到对应的数据文件中，并将各个数据文件上传至数据中心进行存储。
64.本步骤中，通过步骤s130确定第二路测文件包中的异常数据后，针对每一第二路测文件包，可以将该第二路测文件包中各个日志包的异常数据进行索引并提取，得到该第二路测文件包的所有异常数据，接着可以将该第二路测文件包的所有异常数据依次写入到对应的数据文件中并上传至数据中心进行存储，从而实现对当前测试车辆采集的路测数据的存储。
65.需要说明的是，在提取日志包中的异常数据时，可以将该异常数据上下区间内的内容一并进行提取，避免提取到的异常数据包含的基本测试信息太少，不利于分析人员对数据的分析，例如，在对任一日志包的异常数据进行提取时，可以索引到该异常数据在日志包中的位置，并将该异常数据对应的记录时间、传感器类型等基本测试信息一并进行提取。
66.进一步地，本技术中的数据文件为提前设置的模板文件，在分别得到各个第二路测文件包的异常数据后，可以将异常数据写入对应的数据文件，此时得到的各个数据文件具有统一的格式，因此分析人员可以在各个数据文件之间进行横向对比，提高数据分析的效率。
67.s150：当所有的第二路测文件包中均不存在日志包时，则无需将当前测试车辆的路测数据上传至所述数据中心。
68.本步骤中，若当前测试车辆的路测数据中不存在异常数据，得到的各个第二路测文件包均为空包，则说明当前测试车辆采集到的路测数据均为正常数据，缺乏分析的价值，此时可以不对当前测试车辆的路测数据进行存储。
69.上述实施例中，在对路测数据进行存储时，可以获取当前测试车辆在多次专项路测过程中产生的多个第一路测文件包，以及针对该专项路测的路测类型预先设置的数据比
对模板，其中，每个第一路测文件包中包含有多个日志包，由于不同路测类型的数据标准不同，各个路测类型均预先设置有对应的数据比对模板，在获取到多个第一路测文件包后，可以将各个第一路测文件包中不存在异常标识的日志包剔除后得到多个第二路测文件包，这里的不存在异常标识的日志包表征该日志包中不存在异常数据，当第二路测文件包中存在日志包时，可以将存在日志包的第二路测文件包中的各项路测数据分别与数据比对模板进行比对，并根据比对结果确定存在日志包的第二路测文件包中的异常数据，这样可以直接索引到各个第二路测文件包中的异常数据，避免了其他正常数据的干扰，接着可以将存在日志包的第二路测文件包中的异常数据分别写入到对应的数据文件中，并将各个数据文件上传至数据中心进行存储，当所有的第二路测文件包中均不存在日志包时，则无需将当前测试车辆的路测数据上传至数据中心，以此可以将各个第二路测文件包中的异常数据提取出来，剔除了无分析价值的路测数据，进而减少数据中心的存储压力，在保证技术人员可以快速读取专项测试中的有效数据的同时提高了存储效率。
70.在一个实施例中，s110中获取针对专项路测的路测类型预先设置的数据比对模板，可以包括：
71.s111：确定专项路测的路测类型包含的多个测试项目，以及每一测试项目对应的预设阈值，形成与路测类型对应的数据比对模板。
72.本实施例中，当前测试车辆在进行专项路测时，可以确定该专项路测的路测类型包含的多个测试项目，以及每一测试项目对应的测试传感器，以便使用各个测试传感器进行数据采集，在不同的路测类型中，各个测试传感器对应的预设阈值不同，因此可以根据路测类型确定每一测试项目对应的预设阈值，形成与路测类型对应的数据比对模板。
73.举例来说，测试车辆的专项路测的路测类型包括但不限于车道保持测试、车辆跟随测试和红绿灯识别测试等类型，其中，车道保持测试指的是测试车辆在不同车道中行驶时的稳定性和精度，车辆跟随测试指的是测试车辆在跟随其他车辆时的距离控制和速度控制能力，红绿灯识别测试指的是测试车辆在识别红绿灯并做出相应行驶决策时的准确性和响应速度。进一步地，在车道保持测试中的测试项目包括物体识别测试、物体定位测试、物体测距测试和速度检测测试等测试项目，并且每一测试项目对应的预设阈值均以当前测试车辆与车道中心线的距离不能超过一定范围为标准进行设定，其他路测类型同理，在此不做赘述。
74.在一个实施例中，s120中将各个第一路测文件包中不存在异常标识的日志包剔除后得到多个第二路测文件包，可以包括：
75.s121：获取各个第一路测文件包中的异常标识文件。
76.s122：基于各个异常标识文件将相应的第一路测文件包中不存在异常标识的日志包剔除，得到多个第二路测文件包。
77.本实施例中，在获取到多个第一路测文件包后，针对每个第一路测文件包，可以查询该第一路测文件包中的异常标识文件，该异常标识文件记录着相应的第一路测文件包中存在异常标识的日志包的标识信息，因此可以通过该异常标识文件中记录的标识信息，将第一路测文件包中对应的存在异常标识的日志包进行保留，并将其他不存在异常标识的日志包剔除，形成第二路测文件包。
78.可以理解的是，这里的标识信息指的是存在着异常标识的日志包的基础信息，该
标识信息可以包括对应日志包的文件名称、创建时间、文件路径等基础信息，在对第一路测文件包中的日志包进行筛选时，可以提取异常标识文件中各个标识信息中具有唯一性的基础信息，并利用该基础信息在第一路测文件包中进行索引，得到与该基础信息对应的日志包。
79.在一个实施例中，s130中将存在日志包的第二路测文件包中的各项路测数据分别与所述数据比对模板进行比对，并根据比对结果确定存在日志包的第二路测文件包中的异常数据，可以包括：
80.s131：将存在日志包的第二路测文件包中的各项路测数据与数据比对模板中相应的预设阈值进行对比，得到比对结果。
81.s132：确定比对结果中超过相应的预设阈值的路测数据，作为存在日志包的第二路测文件包中的异常数据。
82.本实施例中，在得到存在日志包的第二路测文件包后，可以将第二路测文件包中的各项路测数据与数据比对模板中相应的预设阈值进行对比，得到比对结果，针对每项路测数据，若比对结果中该路测数据不超过相应的预设阈值，则确定该路测数据为正常数据，若比对结果中该路测数据超过相应的预设阈值，则确定该路测数据为异常数据。
83.需要说明的是，第二路测文件包中各个日志包为当前测试车辆在专项测试中多次抓取得到的运行数据，因此每一日志包的数据格式基本一致，并且在设置与该专项测试对应的数据比对模板时，可以将模板文件的数据格式调整与日志包一致，以便提高日志包与数据比对模板的比对效率。
84.具体地，在数据比对过程中，可以以日志包为单位将第二路测文件包中的各项路测数据一一映射至数据比对模板中，并根据映射结果筛选出不符合数据比对模板的路测数据，即筛选出日志包中超过数据比对模板中对应的预设阈值的路测数据，接着可以将筛选后得到的路测数据作为第二路测文件包中的异常数据。
85.在一个实施例中，s140中将存在日志包的第二路测文件包中的异常数据分别写入到对应的数据文件中，包括：
86.s141：根据预设文本格式对存在日志包的第二路测文件包中的异常数据进行数据清洗以及格式转换，得到各个异常数据对应的有效数据。
87.s142：将各个存在日志包的第二路测文件包的有效数据分别写入对应的数据文件中。
88.本实施例中，在得到第二路测文件包中的异常数据后，可以根据预设文本格式对各个第二路测文件包中的异常数据进行清洗，去除无效数据，由于将数据合并存储时需要统一所有异常数据的格式，因此可以对清洗后的数据进行格式转换为符合预设文本格式的要求，从而得到各个异常数据对应的有效数据，进而分别将各个第二路测文件包的有效数据写入对应的数据文件中。
89.其中，对异常数据清洗的操作包括但不限于数据去重、缺失值处理、异常值处理和数据标准化等处理。在这里数据去重指的是去除数据中的重复值，避免重复记录；缺失值处理指的是采用填充或删除等方法处理数据中的缺失值；异常值处理指的是采用删除或替换等方法处理数据中的异常值，避免数据的干扰和误导；数据标准化指的是对数据进行标准化处理，以消除不同变量间的单位差异，便于分析人员进行比较和分析。
90.可以理解的是，本技术中的预设文本格式可以根据数据文件的格式设定，不同格式的数据文件对应的预设文本格式不同，在此的数据文件的格式可以包括文本文件格式、数据库文件格式、程序文件格式或表格文件格式等，其中，文本文件格式可以包括txt、csv、xml等，数据库文件格式可以包括mdb、sql、db等，程序文件格式可以包括exe、dll、jar等，表格文件格式可以包括xls、xlsx、ods等，在此不做限制。
91.在一个实施例中，如图2所示，图2为本技术实施例提供的一种路测数据采集方法的流程示意图；本技术提供了一种路测数据采集方法，应用于当前测试车辆中的车载终端，具体包括如下：
92.s160：利用多个测试传感器采集当前测试车辆在当前专项路测过程中产生的不同时刻下的路测数据，并在每一时刻下的路测数据产生时，判断该路测数据是否超过预设阈值。
93.s170：若超过，则对该路测数据添加异常标识后形成该时刻下的日志包。
94.s180：若不超过，则直接形成与该路测数据对应的日志包。
95.s190：在当前专项路测结束后，将生成的多个日志包进行打包，形成与当前专项路测对应的第一路测文件包。
96.本实施例中，在对路测数据进行采集时，可以利用多个测试传感器采集当前测试车辆在专项路测过程中产生的路测数据，在一次专项路测过程中，分析人员可以利用各个测试传感器多次抓取当前测试车辆的运行数据，得到多个不同时刻下的路测数据，并在每一时刻下的路测数据产生时，判断该路测数据是否超过预设阈值，若是，则对该路测数据添加异常标识后形成日志包，若否，则直接形成与该路测数据对应的日志包，最后在当前专项路测结束后，可以将生成的多个日志包进行打包，形成与当前专项路测对应的第一路测文件包。
97.具体地，在判断路测数据是否超过预设阈值时，可以预先设置各个测试传感器的阈值，当前测试车辆在当前专项路测过程中，若存在测试传感器采集到的路测数据超过阈值，则可以在采集该运行数据的同时对该路测数据添加异常标识，以便在将该时刻下采集到的路测数据转换为日志包时可以携带上异常标识。
98.在一个实施例中，路测数据采集方法还可以包括：
99.s161：创建异常标识文件。
100.s162：获取添加异常标识后的日志包的标识信息，并将标识信息记录至异常标识文件。
101.s163：将异常标识文件添加至第一路测文件包。
102.本实施例中，当前测试车辆在采集路测数据的过程中，可以创建一个异常标识文件，在对超过阈值的路测数据添加标识异常并形成日志包后，可以获取该日志包对应的标识信息，并将该标识信息记录至异常标识文件中，其中，该标识信息可以包括日志包的文件名称、创建时间、文件路径等基础信息，在当前专项路测结束后，可以将该异常标识文件添加至第一路测文件包中。
103.可以理解的是，异常标识文件创建的位置与日志包生成的位置一致，均在同一个根目录下，该根目录可以是在车载终端的存储模块中，也可以是与车载终端连接的车载硬盘中，并且异常标识文件的创建时间，可以是由分析人员在根目录下提前创建的空文件，以
便专项测试过程中将获取到的标识信息记录至该文件中，也可以是在专项测试过程中第一次获取到标识信息时在相应的根目录下自动生成，在此不做限制。
104.下面对本技术实施例提供的路测数据存储及采集装置进行描述，下文描述的路测数据存储及采集装置与上文描述的路测数据存储及采集方法可相互对应参照。
105.在一个实施例中，如图3所示，图3为本发明实施例提供的一种路测数据存储装置的结构示意图；本技术还提供了一种路测数据存储装置，包括文件包获取模块210、日志包剔除模块220、数据比对模块230、数据存储模块240和文件包检测模块250，具体包括如下：
106.文件包获取模块210，用于获取当前测试车辆在多次专项路测过程中产生的多个第一路测文件包，以及针对专项路测的路测类型预先设置的数据比对模板；其中，每个第一路测文件包中包含有多个日志包。
107.日志包剔除模块220，用于将各个第一路测文件包中不存在异常标识的日志包剔除后得到多个第二路测文件包，不存在异常标识的日志包表征该日志包中不存在异常数据。
108.数据比对模块230，用于当至少一个第二路测文件包中存在日志包时，将存在日志包的第二路测文件包中的各项路测数据分别与数据比对模板进行比对，并根据比对结果确定存在日志包的第二路测文件包中的异常数据。
109.数据存储模块240，将存在日志包的第二路测文件包中的异常数据分别写入到对应的数据文件中，并将各个数据文件上传至数据中心进行存储。
110.文件包检测模块250，用于当所有的第二路测文件包中均不存在日志包时，则无需将当前测试车辆的路测数据上传至所述数据中心。
111.上述实施例中，在对路测数据进行存储时，可以获取当前测试车辆在多次专项路测过程中产生的多个第一路测文件包，以及针对该专项路测的路测类型预先设置的数据比对模板，其中，每个第一路测文件包中包含有多个日志包，由于不同路测类型的数据标准不同，各个路测类型均预先设置有对应的数据比对模板，在获取到多个第一路测文件包后，可以将各个第一路测文件包中不存在异常标识的日志包剔除后得到多个第二路测文件包，这里的不存在异常标识的日志包表征该日志包中不存在异常数据，当第二路测文件包中存在日志包时，可以将存在日志包的第二路测文件包中的各项路测数据分别与数据比对模板进行比对，并根据比对结果确定存在日志包的第二路测文件包中的异常数据，这样可以直接索引到各个第二路测文件包中的异常数据，避免了其他正常数据的干扰，接着可以将存在日志包的第二路测文件包中的异常数据分别写入到对应的数据文件中，并将各个数据文件上传至数据中心进行存储，当所有的第二路测文件包中均不存在日志包时，则无需将当前测试车辆的路测数据上传至数据中心，以此可以将各个第二路测文件包中的异常数据提取出来，剔除了无分析价值的路测数据，进而减少数据中心的存储压力，在保证技术人员可以快速读取专项测试中的有效数据的同时提高了存储效率。
112.在一个实施例中，文件包获取模块210可以包括：
113.模板获取子模块，用于确定专项路测的路测类型包含的多个路测项目，以及每一路测项目对应的预设阈值，形成与路测类型对应的数据对比模板。
114.在一个实施例中，日志包剔除模块220可以包括：
115.标识文件获取子模块，用于获取各个第一路测文件包中的异常标识文件，异常标
识文件记录着相应的第一路测文件包中存在异常标识的日志包的标识信息。
116.文件包获取子模块，用于基于各个异常标识文件将相应的第一路测文件包中不存在异常标识的日志包剔除，得到多个第二路测文件包。
117.在一个实施例中，数据比对模块230可以包括：
118.数据比对子模块，用于将存在日志包的第二路测文件包中的各项路测数据与数据比对模板中相应的预设阈值进行对比，得到比对结果。
119.异常数据确定子模块，用于确定比对结果中超过相应的预设阈值的路测数据，作为存在日志包的第二路测文件包中的异常数据。
120.在一个实施例中，数据存储模块240可以包括：
121.数据转换子模块，用于根据预设文本格式对存在日志包的第二路测文件包中的异常数据进行数据清洗以及格式转换，得到各个异常数据对应的有效数据。
122.数据记录子模块，用于将各个存在日志包的第二路测文件包的有效数据分别写入对应的数据文件中。
123.在一个实施例中，路测数据采集装置可以包括：
124.数据判断模块，用于利用多个测试传感器采集当前测试车辆在当前专项路测过程中产生的不同时刻下的路测数据，并在每一时刻下的路测数据产生时，判断该路测数据是否超过预设阈值。
125.标识添加模块，用于对该路测数据添加异常标识后形成该时刻下的日志包。
126.日志包生成模块，用于直接形成与该路测数据对应的日志包。
127.文件包生成模块，用于在当前专项路测结束后，将生成的多个日志包进行打包，形成与当前专项路测对应的第一路测文件包。
128.在一个实施例中，路测数据采集装置还可以包括：
129.标识文件创建模块，用于创建异常标识文件。
130.标识信息记录模块，用于获取添加异常标识后的日志包的标识信息，并将标识信息记录至异常标识文件。
131.标识文件添加模块，用于将异常标识文件添加至所述第一路测文件包。
132.在一个实施例中，本技术还提供了一种存储介质，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述路测数据存储方法，和/或，路测数据采集方法的步骤。
133.在一个实施例中，本技术还提供了一种计算机设备，所述计算机设备中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述路测数据存储方法，和/或，路测数据采集方法的步骤。
134.示意性地，如图4所示，图4为本技术实施例提供的一种计算机设备的内部结构示意图，该计算机设备300可以被提供为一服务器。参照图4，计算机设备300包括处理组件302，其进一步包括一个或多个处理器，以及由存储器301所代表的存储器资源，用于存储可由处理组件302的执行的指令，例如应用程序。存储器301中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件302被配置为执行指令，以执行上述任意实施例的路测数据存储方法，和/或，路测数据采集方法。
135.计算机设备300还可以包括一个电源组件303被配置为执行计算机设备300的电源
管理，一个有线或无线网络接口304被配置为将计算机设备300连接到网络，和一个输入输出(i/o)接口305。计算机设备300可以操作基于存储在存储器301的操作系统，例如windows server tm、mac os xtm、unix tm、linux tm、free bsdtm或类似。
136.本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
137.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
138.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。
139.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种路测数据存储方法，其特征在于，所述方法应用于上传站，包括：获取当前测试车辆在多次专项路测过程中产生的多个第一路测文件包，以及针对所述专项路测的路测类型预先设置的数据比对模板；其中，每个第一路测文件包中包含有多个日志包；将各个第一路测文件包中不存在异常标识的日志包剔除后得到多个第二路测文件包，所述不存在异常标识的日志包表征该日志包中不存在异常数据；当至少一个第二路测文件包中存在日志包时，将存在日志包的第二路测文件包中的各项路测数据分别与所述数据比对模板进行比对，并根据比对结果确定存在日志包的第二路测文件包中的异常数据；将存在日志包的第二路测文件包中的异常数据分别写入到对应的数据文件中，并将各个数据文件上传至数据中心进行存储；当所有的第二路测文件包中均不存在日志包时，则无需将所述当前测试车辆的路测数据上传至所述数据中心。2.根据权利要求1所述的路测数据存储方法，其特征在于，所述获取针对所述专项路测的路测类型预先设置的数据比对模板，包括：确定所述专项路测的路测类型包含的多个测试项目，以及每一测试项目对应的预设阈值，形成与所述路测类型对应的数据比对模板。3.根据权利要求1所述的路测数据存储方法，其特征在于，所述将各个第一路测文件包中不存在异常标识的日志包剔除后得到多个第二路测文件包，包括：获取各个第一路测文件包中的异常标识文件，所述异常标识文件记录着相应的第一路测文件包中存在异常标识的日志包的标识信息；基于各个异常标识文件将相应的第一路测文件包中不存在异常标识的日志包剔除，得到多个第二路测文件包。4.根据权利要求1所述的路测数据存储方法，其特征在于，所述将存在日志包的第二路测文件包中的各项路测数据分别与所述数据比对模板进行比对，并根据比对结果确定存在日志包的第二路测文件包中的异常数据，包括：将存在日志包的第二路测文件包中的各项路测数据与所述数据比对模板中相应的预设阈值进行对比，得到比对结果；确定所述比对结果中超过相应的预设阈值的路测数据，作为存在日志包的第二路测文件包中的异常数据。5.根据权利要求1所述的路测数据存储方法，其特征在于，所述将存在日志包的第二路测文件包中的异常数据分别写入到对应的数据文件中，包括：根据预设文本格式对存在日志包的第二路测文件包中的异常数据进行数据清洗以及格式转换，得到各个异常数据对应的有效数据；将各个存在日志包的第二路测文件包的有效数据分别写入对应的数据文件中。6.一种路测数据采集方法，其特征在于，所述方法应用于当前测试车辆中的车载终端，包括：利用多个测试传感器采集当前测试车辆在当前专项路测过程中产生的不同时刻下的路测数据，并在每一时刻下的路测数据产生时，判断该路测数据是否超过预设阈值；
若超过，则对该路测数据添加异常标识后形成该时刻下的日志包；若不超过，则直接形成与该路测数据对应的日志包；在所述当前专项路测结束后，将生成的多个日志包进行打包，形成与所述当前专项路测对应的第一路测文件包。7.根据权利要求6所述的路测数据采集方法，其特征在于，所述方法还包括：创建异常标识文件；获取添加异常标识后的日志包的标识信息，并将所述标识信息记录至所述异常标识文件；将所述异常标识文件添加至所述第一路测文件包。8.一种路测数据存储装置，其特征在于，包括：文件包获取模块，用于获取当前测试车辆在多次专项路测过程中产生的多个第一路测文件包，以及针对所述专项路测的路测类型预先设置的数据比对模板；其中，每个第一路测文件包中包含有多个日志包；日志包剔除模块，用于将各个第一路测文件包中不存在异常标识的日志包剔除后得到多个第二路测文件包，所述不存在异常标识的日志包表征该日志包中不存在异常数据；数据比对模块，用于当至少一个第二路测文件包中存在日志包时，将存在日志包的第二路测文件包中的各项路测数据分别与所述数据比对模板进行比对，并根据比对结果确定存在日志包的第二路测文件包中的异常数据；数据存储模块，将存在日志包的第二路测文件包中的异常数据分别写入到对应的数据文件中，并将各个数据文件上传至数据中心进行存储；文件包检测模块，用于当所有的第二路测文件包中均不存在日志包时，则无需将所述当前测试车辆的路测数据上传至所述数据中心。9.一种存储介质，其特征在于：所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至5中任一项所述路测数据存储方法，和/或，如权利要求6-7中任一项所述路测数据采集方法的步骤。10.一种计算机设备，其特征在于，包括：一个或多个处理器，以及存储器；所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，执行如权利要求1至5中任一项所述路测数据存储方法，和/或，如权利要求6-7中任一项所述路测数据采集方法的步骤。

技术总结
本申请提供的路测数据存储、采集方法、装置、存储介质及计算机设备，在对路测数据进行存储时，可以获取测试车辆在多次专项路测过程中产生的多个第一路测文件包，以及与该专项路测对应的数据比对模板，接着可以将各个第一路测文件包中不存在异常标识的日志包剔除后得到多个第二路测文件包，并将第二路测文件包中的各项路测数据与数据比对模板进行比对，并根据比对结果确定第二路测文件包中的异常数据，然后将第二路测文件包中的异常数据分别写入到对应的数据文件中并上传至数据中心进行存储，以此可以将各个第二路测文件包中的异常数据提取出来，减少数据中心的存储压力，在保证技术人员可以快速读取专项测试中的有效数据的同时提高了存储效率。的同时提高了存储效率。的同时提高了存储效率。


技术研发人员：吴华宇
受保护的技术使用者：广州文远知行科技有限公司
技术研发日：2023.06.27
技术公布日：2023/9/20