自动驾驶模型的生成方法、装置、车辆及存储介质与流程

1.本公开涉及自动驾驶技术领域，尤其涉及一种自动驾驶模型的生成方法、装置、车辆及存储介质。


背景技术：

2.自动驾驶技术依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让车辆可以在没有任何人类主动的操作下，实现自动驾驶。其中，车辆执行自动驾驶任务是通过预设的自动驾驶模型实现的，即信息采集设备实时采集当前的场景信息，利用自动驾驶模型对场景信息进行处理，以向驾驶设备输出响应的驾驶指令。
3.相关技术中，往往需要大量的标注数据，对自动驾驶模型进行训练。但是，大量的标注数据需要耗费较多的人力及时间，从而导致生成自动驾驶模型的效率较低。


技术实现要素：

4.本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
5.本公开第一方面实施例提出了一种自动驾驶模型的生成方法，包括：获取初始训练数据集，其中，所述初始训练数据集中包括相机传感器采集的第一样本数据、及对应的标注数据，所述标注数据为基于目标传感器采集的第二样本数据生成的；基于所述初始训练数据集，对初始自动驾驶模型进行训练，以获取候选自动驾驶模型；基于预设的验证数据集，对所述候选自动驾驶模型进行验证，以获取验证结果；基于所述验证结果，对所述初始训练数据集进行更新，以获取目标训练数据集；基于所述目标训练数据集，对所述初始自动驾驶模型进行训练，以生成目标自动驾驶模型。
6.本公开第二方面实施例提出了一种自动驾驶模型的生成装置，包括：获取模块，用于获取初始训练数据集，其中，所述初始训练数据集中包括相机传感器采集的第一样本数据、及对应的标注数据，所述标注数据为基于目标传感器采集的第二样本数据生成的；训练模块，用于基于所述初始训练数据集，对初始自动驾驶模型进行训练，以获取候选自动驾驶模型；验证模块，用于基于预设的验证数据集，对所述候选自动驾驶模型进行验证，以获取验证结果；更新模块，用于基于所述验证结果，对所述初始训练数据集进行更新，以获取目标训练数据集；生成模块，用于基于所述目标训练数据集，对所述初始自动驾驶模型进行训练，以生成目标自动驾驶模型。
7.本公开第三方面实施例提出了一种车辆，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：如本公开第一方面实施例提出的自动驾驶模型的生成方法的步骤。
8.本公开第四方面实施例提出了一种计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种自动驾驶模型的生成方法，所述方法包括：获取初始训练数据集，其中，所述初始训练数据集中包括相机传感器采集的第一样本数据、及对应的标注数据，所述标注数据为基于目标传感器采集的第二样本数据生成的；基于所述初始训练数据集，对初始自动驾驶模型进行训练，以获取候选自动驾驶模型；基于预设的验证数据集，对所述候选自动驾驶模型进行验证，以获取验证结果；基于所述验证结果，对所述初始训练数据集进行更新，以获取目标训练数据集；基于所述目标训练数据集，对所述初始自动驾驶模型进行训练，以生成目标自动驾驶模型。
9.本公开提供的自动驾驶模型的生成方法、装置、车辆及存储介质，存在如下有益效果：本公开实施例中，获取初始训练数据集，初始训练数据集中包括相机传感器采集的第一样本数据、及对应的标注数据，标注数据为基于目标传感器采集的第二样本数据生成的，之后基于初始训练数据集，对初始自动驾驶模型进行训练，以获取候选自动驾驶模型，进而基于预设的验证数据集，对候选自动驾驶模型进行验证，以获取验证结果，基于验证结果，对初始训练数据集进行更新，以获取目标训练数据集，最后基于目标训练数据集，对初始自动驾驶模型进行训练，以生成目标自动驾驶模型。由此，可以基于目标传感器采集的数据，自动生成标注数据，并对基于初始训练数据集，生成的候选自动驾驶模型进行验证，以对初始训练数据集中的问题数据进行更新，进而基于更新后的目标训练数据集，生成目标自动驾驶模型，从而减少了人力及时间，提高了生成自动驾驶模型的效率。
10.本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
11.本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本公开一实施例所提供的一种自动驾驶模型的生成方法的流程示意图；图2为本公开另一实施例所提供的一种自动驾驶模型的生成方法的流程示意图；图3为本公开一实施例所提供的自动驾驶模型的生成装置的结构示意图；图4示出了适于用来实现本公开实施方式的示例性电子设备的框图。
具体实施方式
12.下面详细描述本公开的实施例，实施例的示例在附图中示出，其中自始至终相同
或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
13.下面参考附图描述本公开实施例的自动驾驶模型的生成方法、装置、车辆及存储介质。
14.图1为本公开实施例所提供的一种自动驾驶模型的生成方法的流程示意图。
15.本公开实施例以该自动驾驶模型的生成方法被配置于自动驾驶模型的生成装置中来举例说明，该自动驾驶模型的生成装置可以应用于任一车辆中，以使该车辆可以执行自动驾驶模型的生成功能。
16.如图1所示，该自动驾驶模型的生成方法可以包括以下步骤：步骤101，获取初始训练数据集，其中，初始训练数据集中包括相机传感器采集的第一样本数据、及对应的标注数据，标注数据为基于目标传感器采集的第二样本数据生成的。
17.其中，第一样本数据，可以为车辆在不同驾驶场景行驶的过程中，车辆的相机传感器采集的图像数据。
18.第一样本数据对应的标注数据可以为，根据相机传感器采集的第一样本图像的时刻，目标传感器采集的第二样本数据生成的。即第一样本数据的采集时刻，与用于生成对应的标注数据的第二样本数据的采集时刻相同。
19.其中，目标传感器与待生成的目标自动驾驶模型的类型相对应，因此，可以根据待生成的目标自动驾驶模型对应的目标类型，确定目标传感器。
20.在一些可能的实现方式中，在目标类型为障碍物检测模型的情况下，确定目标传感器为激光雷达传感器和毫米波雷达传感器。
21.进一步地，获取同一时刻相机传感器采集的第一样本数据、第二样本数据中包含的激光雷达传感器采集的点云数据、毫米波雷达传感器采集的信号数据，之后对激光雷达传感器采集的点云数据，进行障碍物检测，以获取障碍物检测结果，进而根据毫米波雷达采集的信号数据，确定障碍物检测结果中每个障碍物对应的运行速度，最后将述障碍物检测结果及每个障碍物对应的运行速度，确定为第一样本数据对应的标注数据。
22.由此，可以根据激光雷达传感器和毫米波雷达传感器采集的第二样本数据，自动生成第一样本数据对应的标注数据，从而可以避免耗费较多的人力及时间进行数据标注，提高了第一样本数据的标注效率。
23.可选地，可以采用预先训练好的障碍物检测模型等，对激光雷达传感器采集的点云数据，进行障碍物检测，以获取障碍物检测结果。其中，障碍物检测结果中可以包括障碍物的大小、朝向、位置。
24.进一步的，还可以根据毫米波雷达传感器采集的信号数据，确定障碍物的运行速度，并将运动速度也作为标注数据，即第一样本数据对应的标注数据中包含障碍物的大小、朝向、位置、运行速度等信息。
25.需要说明的是，由于点云数据的障碍物检测结果比较准确，因此，可以将点云数据的障碍物检测，确定为标注数据。进一步的，还可以根据毫米波雷达传感器采集的信号数据，确定障碍物的运行速度，并将运动速度也作为标注数据，从而可以将激光雷达传感器与毫米波雷达传感器之间的优势进行互补，提高了标注数据的多样性。
26.在一些可能的实现方式中，在目标类型为车道线检测模型的情况下，确定目标传感器为定位传感器和地图传感器。
27.进一步地，获取同一时刻相机传感器采集的第一样本数据、第二样本数据中定位传感器采集的定位数据，地图传感器对应的地图数据，之后根据定位数据及地图数据，确定自动驾驶设备周围的目标地图，进而对目标地图进行车道线检测，以获取车道线检测结果，最后将车道线检测结果，确定为第一样本数据对应的标注数据。
28.由此，可以根据定位传感器和地图传感器采集的第二样本数据，自动生成第一样本数据对应的标注数据，从而可以避免耗费较多的人力及时间进行数据标注，提高了第一样本数据的标注效率。
29.其中，地图数据可以为高精地图（high definition map，hd map）。由于高精地图非常准确，因此，可以对高精地图进行车道线检测，并将车道线检测结果确定为标注数据。
30.进一步的，由于高精地图非常大，可以结合定位传感器采集的自动驾驶设备当前的定位数据，确定自动驾驶设备周围的目标地图，进而只需对目标地图进行车道线检测，以获取标注数据。
31.可选地，可以采用预先训练好的车道线检测模型等，对目标地图的进行车道线检测，以获取车道线检测结果。其中，车道线检测结果中可以包括车道线的类型、车道线的位置等。
32.需要说明的是，由于点云数据的障碍物检测结果比较准确，因此，可以将点云数据的障碍物检测，确定为标注数据。进一步的，还可以根据毫米波雷达传感器采集的信号数据，确定障碍物的运行速度，并将运动速度也作为标注数据，从而可以将激光雷达传感器与毫米波雷达传感器之间的优势进行互补，提高了标注数据的多样性。
33.在一些可能的实现方式中，需要将不同传感器的结果通过标定进行相互转换至第一样本数据对应的坐标系下。如将障碍物检测结果、车道线检测感知结果等转换至第一样本图像对应的图像坐标系下，以获取第一样本数据对应的标注数据。
34.步骤102，基于初始训练数据集，对初始自动驾驶模型进行训练，以获取候选自动驾驶模型。
35.其中，初始自动驾驶模型可以为未经训练的初始模型。初始自动驾驶模型的结构可以基于待生成的目标自动驾驶模型的目标类型进行确定。
36.比如，待生成的目标自动驾驶模型的目标类型为障碍物检测模型，初始自动驾驶模型的结构可以为基于区域的卷积神经网络（faster region-based convolutional neural network，faster r-cnn）、单次检测多框架（single shot multibox detector，ssd）等。
37.比如，待生成的目标自动驾驶模型的目标类型为车道线检测模型，则初始自动驾驶模型的结构可以为残差网络（residual network，resnet），视觉几何组网络（visual geometry group net，vggnet）等。
38.步骤103，基于预设的验证数据集，对候选自动驾驶模型进行验证，以获取验证结果。
39.需要说明的是，由于第一样本数据对应的标注数据为基于目标传感器采集的第二样本数据自动生成的，标注数据的质量无法确定，从而可能会导致生成的候选自动驾驶模
型的性能无法确定。由此，可以基于验证数据集、对候选自动驾驶模型进行验证，以确定生成的候选自动驾驶模型的性能。
40.在一些可能的实现方式中，验证数据集中可以包含相机传感器采集的验证图像，及人工标注的数据。进而将验证图像输入候选自动驾驶模型中，以获取预测结果，进而将预测结果与标注的数据之间的差异，确定为验证结果。
41.在一些可能的实现方式中，验证数据集中可以包含相机传感器采集的验证图像，及目标传感器采集的验证数据。从而，可以将验证数据集中相机传感器采集的验证图像，输入候选自动驾驶模型，以获取验证图像对应的预测结果，之后对验证数据集中目标传感器采集的验证数据进行目标检测，以获取目标检测结果，最后根据同一时刻相机传感器采集的验证图像对应的预测结果，与目标传感器采集的验证数据对应的目标检测结果之间的差异，确定验证结果。
42.举例来说，若目标传感器为激光雷达传感器和毫米波雷达传感器，则对激光雷达传感器采集的验证数据及毫米波雷达传感器采集的验证数据，进行目标检测，以获取目标检测结果（即障碍物检测结果及障碍物的速度），进而根据候选自动驾驶模型预测的验证图像对应的预测结果，与目标检测结果之间的差异，确定验证结果。
43.在一些可能的实现方式中，可以将差异大于第一阈值的验证图像，确定为候选自动驾驶模型，预测结果较差的图像。即将差异大于第一阈值的验证图像，确定为验证结果。
44.步骤104，基于验证结果，对初始训练数据集进行更新，以获取目标训练数据集。
45.在一些可能的实现方式中，可以先确定差异大于第一阈值的验证图像与初始训练数据集第一样本数据之间的相似度，将相似度大于相似度阈值的第一样本数据对应的标注数据进行更新。比如，可以通过人工标注的方式，获取准确的标注数据。
46.步骤105，基于目标训练数据集，对初始自动驾驶模型进行训练，以生成目标自动驾驶模型。
47.本公开实施例中，在对初始训练数据集进行更新之后，目标训练数据集中各第一样本数据对应的标注数据均较为准确，因此，可以基于目标训练数据集，对初始自动驾驶模型进行重新训练，以生成目标自动驾驶模型。
48.在一些可能的实现方式中，还可以对目标自动驾驶模型进行验证，进而基于对应的验证结果，对目标训练数据集进行更新，并基于更新后的目标训练数据集，对初始自动驾驶模型进行训练。由此，反复迭代，直至生成性能较高的自动驾驶模型。
49.本公开实施例中，获取初始训练数据集，初始训练数据集中包括相机传感器采集的第一样本数据、及对应的标注数据，标注数据为基于目标传感器采集的第二样本数据生成的，之后基于初始训练数据集，对初始自动驾驶模型进行训练，以获取候选自动驾驶模型，进而基于预设的验证数据集，对候选自动驾驶模型进行验证，以获取验证结果，基于验证结果，对初始训练数据集进行更新，以获取目标训练数据集，最后基于目标训练数据集，对初始自动驾驶模型进行训练，以生成目标自动驾驶模型。由此，可以基于目标传感器采集的数据，自动生成标注数据，并对基于初始训练数据集，生成的候选自动驾驶模型进行验证，以对初始训练数据集中的问题数据进行更新，进而基于更新后的目标训练数据集，生成目标自动驾驶模型，从而减少了人力及时间，提高了生成自动驾驶模型的效率。
50.图2为本公开一实施例所提供的一种自动驾驶模型的生成方法的流程示意图，如
图2所示，该自动驾驶模型的生成方法可以包括以下步骤：步骤201，获取初始训练数据集，其中，初始训练数据集中包括相机传感器采集的第一样本数据、及对应的标注数据，标注数据为基于目标传感器采集的第二样本数据生成的。
51.步骤202，基于初始训练数据集，对初始自动驾驶模型进行训练，以获取候选自动驾驶模型。
52.步骤203，将验证数据集中相机传感器采集的验证图像，输入候选自动驾驶模型，以获取验证图像对应的预测结果。
53.步骤204，对验证数据集中目标传感器采集的验证数据进行目标检测，以获取目标检测结果。
54.其中，步骤201至步骤204的具体实现形式，可参照本公开中其他各实施例中的详细描述，此处不再具体赘述。
55.步骤205，将验证数据集中预测结果与目标检测结果之间的差异大于第一阈值对应的验证图像，确定为目标图像集中的目标图像。
56.其中，第一阈值可以用于判断候选自动驾驶模型对验证图像的预测结果是否准确。若差异小于或等于第一阈值，表示候选自动驾驶模型对验证图像的预测结果较为准确，若差异大于第一阈值，表示候选自动驾驶模型对验证图像的预测结果准确度较差。可能是初始数据训练集中的标注数据不准确导致的。
57.因此，可以将差异大于第一阈值对应的验证图像，确定为目标图像集中的目标图像，进而对目标图像进行分析，以对初始训练数据集进行更新。
58.步骤206，基于每张目标图像对应的驾驶场景，对目标图像集进行划分，以获取每个驾驶场景对应的子目标图像集。
59.在一些可能的是实现方式中，可以对目标图像集中的目标图像进行分析，以确定候选自动驾驶设备对哪些驾驶场景下的图像预测结果较差。具体的，可以基于预设的场景识别模型，对每张目标图像进行场景识别，以获取每张目标图像对应的驾驶场景，进而基于每张目标图像对应的驾驶场景，对目标图像集进行划分，以获取每个驾驶场景对应的子目标图像集。其中，每个子目标图像集中的目标图像对应的驾驶场景相同。
60.步骤207，将子目标图像集中目标图像的数量大于第二阈值对应的驾驶场景，确定为目标场景。
61.其中，第二阈值可以为预先设置的数据，比如，第二阈值可以为5、可以为10。或者，也可以根据初始训练数据集中，每个驾驶场景对应的第一样本数据的数量进行确定。本公开对此不做限定。
62.可以理解的是，若子目标图像集中目标图像的数量大于第二阈值，候选自动驾驶模型对对应的驾驶场景下的图像的预测结果比较差，因此，可以将对应的驾驶场景，确定为目标场景。从而可以基于目标场景，对初始训练数据集进行更新。
63.步骤208，将目标场景，确定为验证结果。
64.步骤209，将初始训练数据集中驾驶场景与目标场景相同的第一样本数据，确定为目标样本数据。
65.步骤210，对目标样本数据对应的标注数据进行更新，以获取目标训练数据集。
66.需要说明的是，若候选自动驾驶模型对目标场景下的图像的预测结果较差，则表示初始训练数据集中与目标场景相同的第一样本数据的标注数据准确度较差。因此，在确定了候选自动驾驶模型预测效果较差的目标场景之后，即可从初始训练数据集中，确定与目标场景相同的目标样本数据，进而对目标样本数据对应的标注数据进行更新，以获取目标训练数据集。从而提高了目标训练数据集中第一样本数据对应的标注数据的准确性，进而可以基于目标训练数据集，生成性能较好的目标自动驾驶模型。
67.步骤211，基于目标训练数据集，对初始自动驾驶模型进行训练，以生成目标自动驾驶模型。
68.本公开实施例中，在基于初始训练数据集，对初始自动驾驶模型进行训练，以获取候选自动驾驶模型之后，将验证数据集中相机传感器采集的验证图像，输入候选自动驾驶模型，以获取验证图像对应的预测结果，对验证数据集中目标传感器采集的验证数据进行目标检测，以获取目标检测结果，将验证数据集中预测结果与目标检测结果之间的差异大于第一阈值对应的验证图像，确定为目标图像集中的目标图像，之后基于每个驾驶场景分别对应的目标图像的数量，确定目标场景，进而将初始训练数据集中驾驶场景与目标场景相同的第一样本数据，确定为目标样本数据，对目标样本数据对应的标注数据进行更新，以获取目标训练数据集，最后基于目标训练数据集，对初始自动驾驶模型进行训练，以生成目标自动驾驶模型。由此，可以基于候选自动驾驶模型对验证数据集的验证，确定初始训练数据集中标注数据较差的目标场景，进而对目标场景对应的目标样本数据对应的标注数据进行更新，进而基于更新后的目标训练数据集，生成目标自动驾驶模型，从而可以准确地对初始训练数据集进行更新，提高了生成的目标训练数据集的准确性，进一步提高了生成自动驾驶模型的效率。
69.为了实现上述实施例，本公开还提出一种自动驾驶模型的生成装置。
70.图3为本公开实施例所提供的自动驾驶模型的生成装置的结构示意图。
71.如图3所示，该自动驾驶模型的生成装置300可以包括：获取模块301，用于获取初始训练数据集，其中，初始训练数据集中包括相机传感器采集的第一样本数据、及对应的标注数据，标注数据为基于目标传感器采集的第二样本数据生成的；训练模块302，用于基于初始训练数据集，对初始自动驾驶模型进行训练，以获取候选自动驾驶模型；验证模块303，用于基于预设的验证数据集，对候选自动驾驶模型进行验证，以获取验证结果；更新模块304，用于基于验证结果，对初始训练数据集进行更新，以获取目标训练数据集；生成模块305，用于基于目标训练数据集，对初始自动驾驶模型进行训练，以生成目标自动驾驶模型。
72.在一些可能的实现方式中，验证模块303，用于：将验证数据集中相机传感器采集的验证图像，输入候选自动驾驶模型，以获取验证图像对应的预测结果；对验证数据集中目标传感器采集的验证数据进行目标检测，以获取目标检测结
果；根据同一时刻相机传感器采集的验证图像对应的预测结果，与目标传感器采集的验证数据对应的目标检测结果之间的差异，确定验证结果。
73.在一些可能的实现方式中，验证模块303，用于：将验证数据集中预测结果与目标检测结果之间的差异大于第一阈值对应的验证图像，确定为目标图像集中的目标图像；基于每张目标图像对应的驾驶场景，对目标图像集进行划分，以获取每个驾驶场景对应的子目标图像集；将子目标图像集中目标图像的数量大于第二阈值对应的驾驶场景，确定为目标场景；将目标场景，确定为验证结果。
74.在一些可能的实现方式中，更新模块304，用于：将初始训练数据集中驾驶场景与目标场景相同的第一样本数据，确定为目标样本数据；对目标样本数据对应的标注数据进行更新，以获取目标训练数据集。
75.在一些可能的实现方式中，还包括确定模块，用于：根据待生成的目标自动驾驶模型对应的目标类型，确定目标传感器。
76.在一些可能的实现方式中，还包括确定模块，用于：在目标类型为障碍物检测模型的情况下，确定目标传感器为激光雷达传感器和毫米波雷达传感器；或者，在目标类型为车道线检测模型的情况下，确定目标传感器为定位传感器和地图传感器。
77.在一些可能的实现方式中，还包括获取模块301，用于：获取同一时刻相机传感器采集的第一样本数据、第二样本数据中包含的激光雷达传感器采集的点云数据、毫米波雷达传感器采集的信号数据；对激光雷达传感器采集的点云数据，进行障碍物检测，以获取障碍物检测结果；根据毫米波雷达采集的信号数据，确定障碍物检测结果中每个障碍物对应的运行速度；将障碍物检测结果及每个障碍物对应的运行速度，确定为第一样本数据对应的标注数据。
78.在一些可能的实现方式中，还包括获取模块301，用于：获取同一时刻相机传感器采集的第一样本数据、第二样本数据中定位传感器采集的定位数据，地图传感器对应的地图数据；根据定位数据及地图数据，确定自动驾驶设备周围的目标地图；对目标地图进行车道线检测，以获取车道线检测结果；将车道线检测结果，确定为第一样本数据对应的标注数据。
79.本公开实施例中的上述各模块的功能及具体实现原理，可参照上述各方法实施例，此处不再赘述。
80.本公开实施例的自动驾驶模型的生成装置，获取初始训练数据集，初始训练数据
集中包括相机传感器采集的第一样本数据、及对应的标注数据，标注数据为基于目标传感器采集的第二样本数据生成的，之后基于初始训练数据集，对初始自动驾驶模型进行训练，以获取候选自动驾驶模型，进而基于预设的验证数据集，对候选自动驾驶模型进行验证，以获取验证结果，基于验证结果，对初始训练数据集进行更新，以获取目标训练数据集，最后基于目标训练数据集，对初始自动驾驶模型进行训练，以生成目标自动驾驶模型。由此，可以基于目标传感器采集的数据，自动生成标注数据，并对基于初始训练数据集，生成的候选自动驾驶模型进行验证，以对初始训练数据集中的问题数据进行更新，进而基于更新后的目标训练数据集，生成目标自动驾驶模型，从而减少了人力及时间，提高了生成自动驾驶模型的效率。
81.图4是一示例性实施例示出的一种车辆的功能框图示意图。例如，车辆400可以是混合动力车辆，也可以是非混合动力车辆、电动车辆、燃料电池车辆或者其他类型的车辆。车辆400可以是自动驾驶车辆、半自动驾驶车辆或者非自动驾驶车辆。
82.参照图4，车辆400可包括各种子系统，例如，信息娱乐系统410、感知系统420、决策控制系统430、驱动系统440以及计算平台450。其中，车辆400还可以包括更多或更少的子系统，并且每个子系统都可包括多个部件。另外，车辆400的每个子系统之间和每个部件之间可以通过有线或者无线的方式实现互连。
83.在一些实施例中，信息娱乐系统410可以包括通信系统，娱乐系统以及导航系统等。感知系统420可以包括若干种传感器，用于感测车辆400周边的环境的信息。例如，感知系统420可包括全球定位系统（全球定位系统可以是gps系统，也可以是北斗系统或者其他定位系统）、惯性测量单元（inertial measurement unit，imu）、激光雷达、毫米波雷达、超声雷达以及摄像装置。
84.决策控制系统430可以包括计算系统、整车控制器、转向系统、油门以及制动系统。驱动系统440可以包括为车辆400提供动力运动的组件。在一个实施例中，驱动系统440可以包括引擎、能量源、传动系统和车轮。引擎可以是内燃机、电动机、空气压缩引擎中的一种或者多种的组合。引擎能够将能量源提供的能量转换成机械能量。
85.车辆400的部分或所有功能受计算平台450控制。计算平台450可包括至少一个处理器451和存储器452，处理器451可以执行存储在存储器452中的指令453。
86.处理器451可以是任何常规的处理器，诸如商业可获得的cpu。处理器还可以包括诸如图像处理器（graphic process unit，gpu），现场可编程门阵列（field programmable gate array，fpga）、片上系统（system on chip，soc）、专用集成芯片（application specific integrated circuit，asic）或它们的组合。
87.存储器452可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（sram），电可擦除可编程只读存储器（eeprom），可擦除可编程只读存储器（eprom），可编程只读存储器（prom），只读存储器（rom），磁存储器，快闪存储器，磁盘或光盘。
88.除了指令453以外，存储器452还可存储数据，例如道路地图，路线信息，车辆的位置、方向、速度等数据。存储器452存储的数据可以被计算平台450使用。在本公开实施例中，处理器451可以执行指令453，以完成上述的自动驾驶模型的生成方法的全部或部分步骤。
89.本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指
令被处理器执行时实现本公开提供的自动驾驶模型的生成方法的步骤。
90.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
91.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
92.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
93.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（ram），只读存储器（rom），可擦除可编辑只读存储器（eprom或闪速存储器），光纤装置，以及便携式光盘只读存储器（cdrom）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
94.应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（pga），现场可编程门阵列（fpga）等。
95.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
96.此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以
是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
97.上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种自动驾驶模型的生成方法，其特征在于，包括：获取初始训练数据集，其中，所述初始训练数据集中包括相机传感器采集的第一样本数据、及对应的标注数据，所述标注数据为基于目标传感器采集的第二样本数据生成的；基于所述初始训练数据集，对初始自动驾驶模型进行训练，以获取候选自动驾驶模型；基于预设的验证数据集，对所述候选自动驾驶模型进行验证，以获取验证结果；基于所述验证结果，对所述初始训练数据集进行更新，以获取目标训练数据集；基于所述目标训练数据集，对所述初始自动驾驶模型进行训练，以生成目标自动驾驶模型。2.根据权利要求1所述的方法，其特征在于，所述基于预设的验证数据集，对所述候选自动驾驶模型进行验证，以获取验证结果，包括：将所述验证数据集中所述相机传感器采集的验证图像，输入所述候选自动驾驶模型，以获取所述验证图像对应的预测结果；对所述验证数据集中所述目标传感器采集的验证数据进行目标检测，以获取目标检测结果；根据同一时刻所述相机传感器采集的验证图像对应的所述预测结果，与所述目标传感器采集的验证数据对应的所述目标检测结果之间的差异，确定所述验证结果。3.根据权利要求2所述的方法，其特征在于，所述根据同一时刻所述相机传感器采集的验证图像对应的所述预测结果，与所述目标传感器采集的验证数据对应的所述目标检测结果之间的差异，确定所述验证结果，包括：将所述验证数据集中所述预测结果与所述目标检测结果之间的差异大于第一阈值对应的验证图像，确定为目标图像集中的目标图像；基于每张所述目标图像对应的驾驶场景，对所述目标图像集进行划分，以获取每个驾驶场景对应的子目标图像集；将所述子目标图像集中目标图像的数量大于第二阈值对应的驾驶场景，确定为目标场景；将所述目标场景，确定为所述验证结果。4.根据权利要求3所述的方法，其特征在于，所述基于所述验证结果，对所述初始训练数据集进行更新，以获取目标训练数据集，包括：将所述初始训练数据集中驾驶场景与所述目标场景相同的第一样本数据，确定为目标样本数据；对所述目标样本数据对应的标注数据进行更新，以获取所述目标训练数据集。5.根据权利要求1所述的方法，其特征在于，在所述获取初始训练数据集之前，还包括：根据待生成的目标自动驾驶模型对应的目标类型，确定所述目标传感器。6.根据权利要求5所述的方法，其特征在于，所述根据待生成的目标自动驾驶模型对应的目标类型，确定所述目标传感器，包括：在所述目标类型为障碍物检测模型的情况下，确定所述目标传感器为激光雷达传感器和毫米波雷达传感器；或者，在所述目标类型为车道线检测模型的情况下，确定所述目标传感器为定位传感器和地图传感器。
7.根据权利要求6所述的方法，其特征在于，所述获取初始训练数据集，包括：获取同一时刻所述相机传感器采集的第一样本数据、所述第二样本数据中包含的所述激光雷达传感器采集的点云数据、所述毫米波雷达传感器采集的信号数据；对所述激光雷达传感器采集的点云数据，进行障碍物检测，以获取障碍物检测结果；根据所述毫米波雷达采集的信号数据，确定所述障碍物检测结果中每个障碍物对应的运行速度；将所述障碍物检测结果及每个所述障碍物对应的运行速度，确定为所述第一样本数据对应的标注数据。8.根据权利要求6所述的方法，其特征在于，所述获取初始训练数据集，包括：获取同一时刻所述相机传感器采集的第一样本数据、所述第二样本数据中所述定位传感器采集的定位数据，所述地图传感器对应的地图数据；根据所述定位数据及所述地图数据，确定自动驾驶设备周围的目标地图；对所述目标地图进行车道线检测，以获取车道线检测结果；将所述车道线检测结果，确定为所述第一样本数据对应的标注数据。9.一种自动驾驶模型的生成方法装置，其特征在于，所述装置包括：获取模块，用于获取初始训练数据集，其中，所述初始训练数据集中包括相机传感器采集的第一样本数据、及对应的标注数据，所述标注数据为基于目标传感器采集的第二样本数据生成的；训练模块，用于基于所述初始训练数据集，对初始自动驾驶模型进行训练，以获取候选自动驾驶模型；验证模块，用于基于预设的验证数据集，对所述候选自动驾驶模型进行验证，以获取验证结果；更新模块，用于基于所述验证结果，对所述初始训练数据集进行更新，以获取目标训练数据集；生成模块，用于基于所述目标训练数据集，对所述初始自动驾驶模型进行训练，以生成目标自动驾驶模型。10.一种车辆，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：实现权利要求1-8中任一项所述方法的步骤。11.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种自动驾驶模型的生成方法，所述方法包括：获取初始训练数据集，其中，所述初始训练数据集中包括相机传感器采集的第一样本数据、及对应的标注数据，所述标注数据为基于目标传感器采集的第二样本数据生成的；基于所述初始训练数据集，对初始自动驾驶模型进行训练，以获取候选自动驾驶模型；基于预设的验证数据集，对所述候选自动驾驶模型进行验证，以获取验证结果；基于所述验证结果，对所述初始训练数据集进行更新，以获取目标训练数据集；基于所述目标训练数据集，对所述初始自动驾驶模型进行训练，以生成目标自动驾驶模型。

技术总结
本公开提出一种自动驾驶模型的生成方法、装置、车辆及存储介质，涉及自动驾驶技术领域。所述方法包括：获取初始训练数据集，包括相机传感器采集的第一样本数据、及对应的标注数据，标注数据为基于目标传感器采集的第二样本数据生成的；基于初始训练数据集，对初始自动驾驶模型进行训练，以获取候选自动驾驶模型；基于预设的验证数据集，对候选自动驾驶模型进行验证，以获取验证结果；基于验证结果，对初始训练数据集进行更新，以获取目标训练数据集；基于目标训练数据集，对初始自动驾驶模型进行训练，以生成目标自动驾驶模型。由此，可以减少了数据标注的人力及时间，提高生成自动驾驶模型的效率。型的效率。型的效率。


技术研发人员：刘安华
受保护的技术使用者：小米汽车科技有限公司
技术研发日：2023.07.18
技术公布日：2023/8/24