一种智能驾驶感知模型的优化方法、装置及存储介质与流程

1.本技术涉及智能驾驶技术领域，尤其涉及一种智能驾驶感知模型的优化方法、装置及存储介质。


背景技术：

2.随着车辆技术的发展，仿真测试、场地测试、道路测试日渐普及。具备自动驾驶/辅助驾驶的车辆及相关算法软件在上市之前都要经过严格的测试和验证。仿真测试可以大大减少自动驾驶/驾驶辅助软件在实车测试及上市之前的软件故障(bug)。
3.目前，对车辆进行多种仿真测试，测试车辆的智能驾驶感知模型是否会存在不能掌控(cover)的极端场景(corner case)。当遇到corner case时，将该corner case的数据进行存储，基于存储的该corner case数据对算法进行调试，对智能驾驶感知模型进行修复。单个场景的解决并不能实现同类问题的完全消除，只能通过更大规模的数据采集和场景制造进行针对性的解决，但很多corner case场景难以复现。
4.因此，如何解决同类的corner case问题是亟待解决的问题。


技术实现要素：

5.本技术提供一种智能驾驶感知模型的优化方法、装置及存储介质，用以解决现有的智能驾驶感知模型不能覆盖同类异构极端场景的问题。
6.第一方面，本技术提供一种智能驾驶感知模型的优化方法，包括：
7.获取极端场景corner case对应的场景数据；
8.对所述场景数据进行场景重构和识别分析，得到corner case特征；
9.将所述corner case特征进行随机重构和泛化处理，得到处理后的corner case特征；
10.将所述处理后的corner case特征进行组合，生成同类异构的corner case场景库；
11.基于所述同类异构的corner case场景库对仿真测试平台的至少一个感知模型进行模型训练，得到优化后的至少一个感知模型。
12.可选的，所述方法还包括：
13.根据所述优化后的至少一个感知模型，在所述仿真测试平台中对同类异构的corner case场景进行仿真测试。
14.可选的，所述将所述corner case特征进行随机重构和泛化处理，得到处理后的corner case特征，包括：
15.将所述corner case特征进行分类，得到车辆自身的特征，目标物体的特征和场景特征；
16.基于预先配置的泛化元素库，对所述车辆自身的特征，所述目标物体的特征和所述场景特征，分别进行随机重构和泛化处理，得到所述处理后的corner case特征。
17.可选的，所述预先配置的泛化元素库包括：多种天气环境特征，多种速度特征，多种颜色特征，多种交通流量特征，以及多种工况场景特征；
18.相应的，所述基于预先配置的泛化元素库，对所述车辆自身的特征，所述目标物体的特征和所述场景特征，分别进行随机重构和泛化处理，得到所述处理后的corner case特征，包括：
19.从所述泛化元素库中选择出所述多种速度特征对所述车辆自身的速度特征进行重构和泛化处理；
20.从所述泛化元素库中选择出所述多种速度特征，多种颜色特征对所述目标物体的速度特征和颜色特征进行重构和泛化处理；
21.从所述泛化元素库中选择出所述多种天气环境特征，多种交通流量特征，多种工况场景对所述场景的天气特征、交通流量特征和工况特征进行重构和泛化处理。
22.可选的，所述对所述场景数据进行场景重构和识别分析，得到corner case特征，包括：
23.对所述corner case对应的场景数据进行场景重构和识别分析，确定导致所述corner case发生的原因；
24.根据所述导致所述corner case发生的原因，从corner case数据中提取出所述corner case特征。
25.可选的，所述获取极端场景corner case对应的场景数据，包括：
26.接收车辆上传的所述corner case对应的所述场景数据，其中，所述场景数据是所述车辆在模拟决策和驾驶员实际决策不一致时采集到的数据。
27.第二方面，本技术还提供一种智能驾驶感知模型的优化装置，所述装置包括：
28.获取模块，用于获取极端场景corner case对应的场景数据；
29.特征获取模块，用于对所述场景数据进行场景重构和识别分析，得到corner case特征；
30.泛化处理模块，用于将所述corner case特征进行随机重构和泛化处理，得到处理后的corner case特征；
31.场景库生成模块，用于将所述处理后的corner case特征进行组合，生成同类异构的corner case场景库；
32.模型测试模块，用于基于所述同类异构的corner case场景库对仿真测试平台的至少一个感知模型进行模型训练，得到优化后的至少一个感知模型。
33.可选的，所述装置还包括：
34.仿真测试模块，用于根据所述优化后的至少一个感知模型，在所述仿真测试平台中对同类异构的corner case场景进行仿真测试。
35.第三方面，本技术还提供一种服务器，包括：
36.处理器，与所述处理器通信连接的存储器，以及与其他设备交互的通信接口；
37.所述存储器存储计算机执行指令；
38.所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面任一项所述的智能驾驶感知模型的优化方法。
39.第四方面，本技术还提供一种计算机可读存储介质，所述计算机可读存储介质中
存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面任一项所述的智能驾驶感知模型的优化方法。
40.本技术提供的一种智能驾驶感知模型的优化方法、装置及存储介质，通过获取极端场景corner case对应的场景数据；对场景数据进行场景重构和识别分析，得到corner case特征；将corner case特征进行随机重构和泛化处理，得到处理后的corner case特征；将处理后的corner case特征进行组合，生成同类异构的corner case场景库；基于同类异构的corner case场景库中的场景数据对仿真测试平台的至少一个感知模型进行模型训练，得到优化后的至少一个感知模型。当遇到极端场景corner case时，根据随机重构和泛化生成的同类异构场景数据，在仿真测试平台进行训练和测试，可以将同类异构的corner case消除。
附图说明
41.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
42.图1为本技术提供的智能驾驶感知模型的优化方法一种可能的应用场景示意图；
43.图2为本技术实施例提供的一种智能驾驶感知模型的优化方法实施例一的流程示意图；
44.图3为本技术实施例提供的一种智能驾驶感知模型的优化方法一实施的流程示意图；
45.图4为本技术实施例提供的一种智能驾驶感知模型的优化装置实施例一的流程示意图；
46.图5为本技术实施例提供的一种服务器的结构示意图。
47.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
48.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
49.首先对本技术所涉及的名词进行解释：
50.极端场景(corner case)：是指在自动驾驶中遇到一些特殊的情况，这些情况是在普通的驾驶时很少或者不会发生，但发生时会对自动驾驶系统产生重要的影响。这些特殊情况可能涉及到非常极端或者复杂的路况、天气、车辆状况等等，或者是针对特殊的交通规则和道路标识。corner case在自动驾驶中是非常重要的，因为这些情况可能会导致不安全或者不稳定的行驶状况。因此，为了确保自动驾驶系统的安全性和可靠性，在开发和测试自动驾驶系统时，需要考虑到各种各样的corner case，并对其进行充分的测试和验证，以便在实际使用中能够做出正确的决策和行动。
51.泛化：在本技术中是指将收集到的特定情况下的数据特征进行归纳和抽象，从而将其推广到更广泛的情况下的数据集中使用。目的是提高模型的泛化能力，更准确地预测结果。在自动驾驶领域中，通过对特定情况下车辆的行为和环境特征进行泛化，可以提高自动驾驶系统的安全性和可靠性。
52.同类异构：在本技术中是指在不同的corner case中，有同样的影响原因，但也存在不同的特征和属性。
53.需要说明的是，在本技术中自动驾驶和智能驾驶均表示同一指代。
54.目前，具备自动驾驶和辅助驾驶的车辆在上路之前需要进行多种测试，其中，仿真测试可以大大减少车辆的规划控制软件的可能发生的问题。各类主流规划控制软件(vtd、carsim等)已经支持规划控制的仿真测试及回灌测试。
55.在车辆上路前需要对车辆进行多种仿真测试，测试车辆的规划控制软件是否会存在不能掌控(cover)的极端场景(corner case)，进而对规划控制软件进行优化。
56.图1为本技术提供的智能驾驶感知模型的优化方法一种可能的应用场景示意图，如图1所示，该场景中，当测试过程中遇到极端场景corner case a时，自动驾驶系统不能执行正确策略，导致碰撞，将该corner case a的数据进行存储，基于存储的该corner case a数据对算法进行调试，完成规划控制软件进行修复，可以对该场景做出正确选择。但由于规划控制算法的特殊性，单个场景的解决并不能实现同类异构问题的解决。当遇到与corner case a类似的corner case a'时，规划控制软件仍不能cover该场景，还是不能执行正确策略，导致碰撞。因此，又需要基于corner case a'数据再次训练，并且若在用户使用过程中出现，则可能发生危险。
57.现有方案中主要通过以下方式解决同类异构问题：
58.通过大规模的数据采集增大数据库。收集足够多的corner case对收集的corner case进行归纳，发现corner case的触发机制，并针对性的进行场景制造进而解决同类异构问题。
59.但存在有一些危险性的corner case场景收集数量有限，并且难以重新创造真实场景。
60.鉴于上述问题，发明人在对该技术领域研究过程中发现，当遇到一个corner case时，将corner case场景的特征进行针对性的泛化和组合，生成多个corner case场景数据，根据生成的多个corner case场景数据，对仿真平台中至少一个版本的规划控制软件的感知模型进行训练，得到优化后的感知模型。优化后的感知模型可以解决该corner case的同类异构问题。基于此，本技术提出一种智能驾驶感知模型的优化方法、装置及存储介质。
61.应理解，本技术提出一种智能驾驶感知模型的优化方法适用于具备自动驾驶或者辅助驾驶的交通工具，不限于车辆，也可以是飞机、轮船、智能餐车、智能分拣车辆、可移动的机器人等。
62.本技术的执行主体可以是车辆中具有仿真能力车载终端，也可以是具有仿真能力的云端服务器。
63.下面以执行主体为云端服务器为例，结合具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对
本技术的实施例进行描述。
64.图2为本技术实施例提供的一种智能驾驶感知模型的优化方法实施例一的流程示意图，如图2所示，该方法包括如下步骤：
65.s101、获取极端场景corner case对应的场景数据。
66.在本步骤中，车辆在遇到不能cover的极端场景corner case时，需要对规划控制软件的算法进行仿真测试完成算法修复(debug)，而仿真测试需要数据模拟真实的交通环境，因此，首先获取corner case对应的场景数据。场景数据包括corner case中车辆外部的图像数据，车辆的速度，车辆的规划控制软件的控制信号以及天气数据等。
67.在一种实现方式中，云端服务器接收车辆上传的corner case对应的场景数据，其中，场景数据是车辆在模拟决策和驾驶员实际决策不一致时采集到的数据。
68.在该实现方式中，用户驾驶车辆行驶，车辆中的规划控制软件实时输出模拟决策的规划控制信号，但规划控制信号不对车辆产生实际控制，车辆将模拟决策的规划控制信号与驾驶员实际操作的控制信号进行比较，若比较结果不一致或者超过预设范围时，车辆收集corner case对应的场景数据上传云端服务器。云端服务器接收该场景数据。
69.在另一种实现方式中，车辆进行实际场地、道路测试时，云端服务器实时获取车辆记录的所有场景数据和规划控制软件的控制信号，当出现规划控制软件退出或者规划控制信号反复的状况下，记录为corner case，并从记录的场景数据中获取corner case对应的场景数据。
70.在上述场景数据中，车辆外部的图像数据可以是通过车辆外部的摄像头拍摄的图像或者视频，车辆的速度可以通过车辆速度传感器记录，车辆的规划控制软件的控制信号是规划控制软件实时保存的，天气数据是根据图像数据识别得到，或者根据车辆位置信息从网络查询得到。场景数据中还可以包括通过雷达获取的雷达点云图像，车辆的基础状态数据，其中基础状态数据包括转向器状态、制动器状态、电池电量、型号标识、位置(gps)数据等。
71.需要说明的是，上述场景数据是一段时间内的连续数据，例如，一段时间内的连续帧图像或视频，连续的规划控制软件的控制信号，车辆速度的连续变化数据。
72.s102、对场景数据进行场景重构和识别分析，得到corner case特征。
73.在本步骤中，根据获取的该场景数据中车辆外部的图像数据以及车辆的基础状态数据进行场景重构，创建发生的仿真的交通场景。进行场景重构后需要识别三维场景中发生corner case的情况，并分析发生的原因。
74.在一种实现方式中，通过人对重构后的三维场景进行观察，或者通过佩戴虚拟现实设备对该场景进行观察，并借助交互式工具(例如labelbox、supervisely)进行记录发生corner case情况的原因。
75.在另一种实现方式中，通过预先训练原因预测模型实现自动化的原因识别分析，该原因预测模型根据已知原因的corner case场景数据进行训练得到，可以根据corner case场景数据预测发送corner case的原因。
76.在corner case分析原因后，根据分析的结果确定需要提取的corner case特征维度，例如车辆速度、方向、位置、天气等维度，若分析结果是受其他物体的影响，则还需要提取该物体(即目标物体)的corner case特征维度，例如速度、方向、轮廓、颜色等维度。根据
所要提取的corner case特征维度使用图像处理技术或者计算机视觉技术在场景数据中提取得到相应的corner case特征。
77.可选的，提取相应的特征后进行数据清洗，除去异常值和噪声，并进行归一化处理使其具备相同的尺度和分布。
78.可选的，对于高维特征(例如道路结构、天气、目标物体的运动轨迹等)，可以使用特征降维技术(例如，主成分分析pca)将高维特征转换为低位特征表示，方便后续处理。
79.可选的，将提取的corner case特征与人为确定的目标变量之间进行特征重要性分析，确定符合预设条件的corner case特征，例如获取相关性分析中排名前10的特征。其中，目标变量可以是识别障碍物的准确度、驾驶决策的准确度等。重要性分析可以采用相关性分析的方法，嵌入式方法或过滤式方法，可根据实际情况选择，本技术对此不做限制。
80.s103、将corner case特征进行随机重构和泛化处理，得到处理后的corner case特征。
81.在本步骤中，将得到的每一个corner case特征基于预先配置的泛化元素库，分别进行随机重构和泛化处理，得到处理后的corner case特征。随机重构用于增加场景数据的多样性和覆盖范围，泛化使经泛化数据训练后模型的更加具备适用性。其中，预先配置的泛化元素库中包括多种天气环境特征，多种交通流量特征，多种工况场景特征，多种速度特征，多种障碍物特征，以及多种颜色特征等，可以用来随机重构的选择和泛化选择。
82.例如，预先配置的泛化元素库中颜色包含红色、绿色、白的、黑色、灰色以及泛化颜色亮色和暗色，其中，红色、绿色、白的属于亮色，黑色、灰色属于暗色。
83.又例如，预先配置的泛化元素库中天气环境包含，晴天、多云、少云、小雨、中雨、大雨，以及泛化天气晴朗和雨天，其中，晴朗包括晴天、多云、少云，雨天包括小雨、中雨、大雨。
84.示例性的，基于预先配置的泛化元素库，对corner case特征中的颜色特征进行随机重构和泛化，将白色特征的目标物体随机重构为黑色、红色；并泛化为亮色的corner case特征。
85.示例性的，基于预先配置的泛化元素库，对corner case特征中的车辆的速度特征进行随机重构和泛化，将横向速度和纵向速度随机增大或者减小；将速度泛化为低速的corner case特征。
86.需要说明的是，泛化和随机重构的操作没有先后顺序的限定。
87.可选的，在随机重构和泛化之前对corner case特征进行分类，分类后的特征包括车辆自身特征、目标物体特征、环境特征，车辆自身特征包括当前车辆的所有特征数据，目标物体特征包括影响corner case原因的物体的所有特征数据，环境特征包括天气，路况，交通流等特征数据。对分类后的特征数据分别进行随机重构和泛化处理。
88.s104、将处理后的corner case特征进行组合，生成同类异构的corner case场景库。
89.在本步骤中，将随机重构和泛化后的不同corner case特征之间进行组合，生成多组corner case特征数据，在原始场景数据中将每一组处理后的corner case特征数据替换之前的特征数据，因此，可以生成多组同类异构的corner case场景，构成同类异构的corner case场景库。组合方式可以是随机组合，也可以是按照预设规则组合。
90.s105、基于同类异构的corner case场景数据对仿真测试平台的至少一个感知模
型进行模型训练，得到优化后的至少一个感知模型。
91.在本步骤中，将同类异构的corner case场景库多个场景数据，选取部分场景数据作为训练集，部分场景数据作为验证集。仿真测试平台具有多个不同版本的车辆可以使用的用于智能驾驶的感知模型，可以智能规划车辆行驶路径。根据训练集对仿真测试平台的至少一个感知模型进行训练，得到至少一个优化后的感知模型。在一种可能的实现方式中，将场景数据转化为矩阵或者向量形式，输入到感知模型中进行训练。
92.可选的，在仿真测试平台中根据测试集对优化后的至少一个感知模型进行仿真测试，验证该感知模型是否能够cover同类异构的场景。
93.本技术实施例提供一种智能驾驶感知模型的优化方法，通过获取极端场景corner case对应的场景数据；对场景数据进行场景重构和识别分析，得到corner case特征；将corner case特征进行随机重构和泛化处理，得到处理后的corner case特征；将处理后的corner case特征进行组合，生成同类异构的corner case场景库；基于同类异构的corner case场景库中的场景数据对仿真测试平台的至少一个感知模型进行模型训练，得到优化后的至少一个感知模型。当遇到极端场景corner case时，根据随机重构和泛化生成的同类异构场景数据，在仿真测试平台进行训练和测试，可以将同类异构的corner case消除。
94.下面以自动驾驶车辆遇到异形车辆导致追尾的corner case为例对智能驾驶感知模型的优化方法进行详细说明。
95.图3为本技术实施例提供的一种智能驾驶感知模型的优化方法一实施的流程示意图，如图3所示，该方法包括如下步骤：
96.s201、自动驾驶过程中车辆实时采集原始数据。
97.在本步骤中，车辆在自动驾驶过程中实时采集原始数据用于出现极端场景时进行场景重构。原始数据中包括车辆的外部摄像头实时拍摄车辆外部的视频、车辆传感器实时记录车辆的横向速度和纵向速度、实时保存规划控制软件发出的控制信号、实时记录车辆的基础状态数据，例如车辆方向角度、制动器状态、位置信息等。还可以包括，激光雷达获取的三维点云数据、雷达检测车辆周围的障碍物和其他车辆信息、根据摄像头拍摄的视频分析得到的环境数据(例如天气环境、路况)。
98.s202、车辆获取原始数据中corner case数据，并上传云端服务器。
99.在本步骤中，自动驾驶过程中出现车辆追尾，车辆将出现车辆追尾前后预设时段的原始数据作为corner case数据上传云端服务器，其中，预设时段可以为1分钟，也可以为2分钟或3分钟。
100.可选的，在追尾发生之前，自动驾驶系统退出自动驾驶由用户接管，退出自动驾驶的时刻前后预设时段的原始数据作为corner case数据。
101.s203、云端服务器基于corner case数据进行场景重建和识别分析，确定导致corner case的原因是因为异形车辆。
102.在本步骤中，云端服务器接收到该corner case数据，将corner case数据进行数据清洗，去除数据噪声，然后对清洗后的数据进行场景分析，分析车辆及其他物体的行驶路径、速度、加速度、方向、轮廓、颜色等特征，并将这些特征映射到虚拟的三维场景中，利用3d建模技术和虚拟环境模拟技术，生成与实际场景相似的虚拟场景。将原始数据中的环境数据与虚拟场景进行数据融合，生成完整的场景数据。
103.在一种实现方式中，对清洗后的视频数据进行分析，将识别出的各个物体的特征映射到虚拟的三维场景中。
104.基于场景数据进行自动化或人为分析corner case的原因，确定车辆追尾是的原因是因为异形车辆导致，具体的原因可能为未正确识别异型车辆的轮廓，导致规划控制软件输出不正确的执行策略；也可能是未正确预测异形车辆的轨迹；也可能是对异型车辆感知结果反复，导致规划控制软件输出执行策略反复。
105.s204、根据异形车辆，从corner case数据中提取出corner case特征。
106.在本步骤中，根据corner case的原因，即异形车辆，从corner case数据中提取的异形车辆的速度、颜色、相对位置、大小等维度的corner case特征，并提取当前车辆的速度、加速度、位置等维度的corner case特征。另外还提取天气环境、路况等特征。
107.s205、将提取corner case特征进行分类，得到车辆自身的特征，目标物体的特征和场景特征。
108.在本步骤中，根据异形车辆这一原因，将提取的特征分类为目标物体的特征(即异形车辆的特征)，车辆自身的特征和场景特征，其中，天气环境、路况、工况、交通规则等都属于场景特征。分类后可以针对性的对每一类进行泛化，从而全面覆盖各种场景。
109.通过对corner case进行特征分类，可以将后续用于训练的训练集划分为多个子集，这样使同一子集内的训练数据具有相似的特征和目标变量。在进行模型训练时，可以针对不同的子集采用不同的模型或参数设置，更好地适应数据的特征和目标变量，提高模型的泛化能力。
110.s206、基于预先配置的泛化元素库，对车辆自身的特征，目标物体的特征和场景特征，分别进行随机重构和泛化处理，得到处理后的corner case特征。
111.在本步骤中，预先配置的泛化元素库中包括随机重构和泛化的多种选择，例如，多种速度特征，多种颜色特征，多种物体大小特征，多种天气环境特征，多种交通流量特征，以及多种工况场景特征等，可以用来随机重构的特征选择和泛化特征选择。
112.示例性的，对于异形车辆的特征，基于预先配置的泛化元素库将异形车辆的纵向30km/h的速度特征泛化为低速范围(20-40km/h)，并进行随机重构为可能的多种速度特征(10km/h、20km/h、40km/h、60km/h)；将异形车辆的白色特征泛化为亮色，并随机重构为可能的多种颜色特征(黑色、红色、蓝色)；将异形车辆的大小特征在泛化为中型车，并随机重构为可能的多种大小(改变车身的长宽高数据)；将异形车辆的距当前车辆的相对位置特征在泛化为中等距离，并随机重构为可能的多种相对位置。
113.对于场景特征，基于预先配置的泛化元素库，对天气、路况、交通流量、障碍物等特征进行随机重构和泛化。示例性的，将小雨天气特征泛化为雨天天气，并随机重构为可能的多种天气，例如晴天、大雨；将高速道路特征泛化为城市道路，并随机重构为可能的多种道路；将交通流量泛化为中等车流量，并随机重构生成多种交通流场景，例如行人数量、交通灯信号、周围其他车辆数量；对场景数据根据该泛化元素库中随机增加障碍物特征。
114.对于车辆自身的特征，基于预先配置的泛化元素库对当前车辆的横向速度、纵向速度、方向进行、车型进行随机重构和泛化，泛化和随机重构的过程与异形车辆类似，不再赘述。
115.s207、将处理后的特征进行组合，生成同类异构场景库。
116.在本步骤中，将上述随机重构和泛化的不同特征之间进行组合，并在原始场景数据中将每一组处理后的corner case特征数据替换之前的特征数据，将替换后的场景数据分别映射在虚拟的三维场景中，利用3d建模技术和虚拟环境模拟技术，生成与实际场景相似的多个同类异构的虚拟场景，形成同类异构场景库。
117.s208、基于同类异构场景库中的场景数据在仿真测试平台对感知模型进行训练，生成优化后的感知模型。
118.在本步骤中，在模型训练之前，基于同类异构场景库中的多个场景数据，将场景数据格式转变为仿真测试平台可识别的数据格式，并将数据分为训练集和数据集，训练集中根据特征分类，将训练集又可以分为多个子集。其中，原始的场景数据也属于训练集。基于训练集对仿真平台中至少一个版本的规划控制软件的感知模型进行感知、预测、规划等功能的训练。
119.仿真平台可以是基于物理引擎实现的三维仿真平台，也可以是元宇宙虚拟仿真平台，在元宇宙虚拟仿真平台中进行仿真测试，通过软件模拟实现更加精细的物理仿真，并且在训练过程中可以对场景进行灵活的修改和编辑，可以动态调整车辆的位置、速度等。
120.可选的，针对分类后的不同子集中的场景数据，可以采用不同的参数设置进行训练。例如，在城市场景中，可以使用较为精细的路网和交通规则；而在高速公路场景中，可以使用更加简单的路网和交通规则。通过这种方式，我们可以更加精准地针对不同的子集进行模型训练，提高模型的泛化能力，从而提高自动驾驶系统的稳定性和可靠性。
121.s208、对优化后的感知模型进行仿真测试。
122.在本步骤中，优化得到的感知模型通过验证集进行仿真测试，测试优化后的感知模型能否识别异形车辆相关的同类异构的corner case并产生正确的控制信号进而避免车辆追尾的发生，仿真测试通过后将优化好的模型推送至车辆，并提示用户更新。
123.可选的，当前感知模型不能消除同类异构的corner case，基于不能消除的同类异构的corner case再次随机重构和泛化。基于更庞大的同类异构场景库再次进行训练。
124.本实例提供一种智能驾驶感知模型的优化方法，云端服务器获取自动驾驶车辆遇到异形车辆导致追尾的corner case的原始场景数据，根据corner case的原始场景数据进行了重建和原因分析，基于分析后的原因提取corner case特征；将corner case特征分类，并基于预先配置的泛化元素库进行泛化和随机重构，得到多个同类异构的场景数据；基于得到的场景数据在仿真平台进行仿真训练和仿真测试，输出最终优化好的模型。通过这种方法可以生成多个同类异构的场景数据，将同一类corner case完全消除，并且采取特征分类，对不同分类分别进行泛化的方式，可以更加全面的覆盖各种情况，提高泛化后的质量。
125.图4为本技术实施例提供的一种智能驾驶感知模型的优化装置实施例一的流程示意图，如图4所示，所述装置400包括：
126.获取模块411，用于获取极端场景corner case对应的场景数据，所述场景数据包括所述corner case中车辆外部的图像数据，车辆的速度，车辆的规划控制软件的控制信号以及天气数据；
127.特征获取模块412，用于对所述场景数据进行场景重构和识别分析，得到corner case特征；
128.泛化处理模块413，用于将所述corner case特征进行随机重构和泛化处理，得到
处理后的corner case特征；
129.场景库生成模块414，用于将所述处理后的corner case特征进行组合，生成同类异构的corner case场景库；
130.模型测试模块415，用于基于所述同类异构的corner case场景库对仿真测试平台的至少一个感知模型进行模型训练，得到优化后的至少一个感知模型。
131.可选的，所述装置还包括：
132.仿真测试模块416，用于根据所述优化后的至少一个感知模型，在所述仿真测试平台中对同类异构的corner case场景进行仿真测试。
133.可选的，所述泛化处理模块413具体用于：
134.将所述corner case特征进行分类，得到车辆自身的特征，目标物体的特征和场景特征；
135.基于预先配置的泛化元素库，对所述车辆自身的特征，所述目标物体的特征和所述场景特征，分别进行随机重构和泛化处理，得到所述处理后的corner case特征。
136.可选的，所述预先配置的泛化元素库包括：多种天气环境特征，多种速度特征，多种颜色特征，多种交通流量特征，以及多种工况场景特征；
137.相应的，所述泛化处理模块413还用于：
138.从所述泛化元素库中选择出所述多种速度特征对所述车辆自身的速度特征进行重构和泛化处理；
139.从所述泛化元素库中选择出所述多种速度特征，多种颜色特征对所述目标物体的速度特征和颜色特征进行重构和泛化处理；
140.从所述泛化元素库中选择出所述多种天气环境特征，多种交通流量特征，多种工况场景对所述场景的天气特征、交通流量特征和工况特征进行重构和泛化处理。
141.可选的，所述特征获取模块412，具体用于：
142.对所述corner case对应的场景数据进行场景重构和识别分析，确定导致所述corner case发生的原因；
143.根据所述导致所述corner case发生的原因，从corner case数据中提取出所述corner case特征。
144.可选的，所述获取模块411，具体用于：
145.接收车辆上传的所述corner case对应的所述场景数据，其中，所述场景数据是所述车辆在模拟决策和驾驶员实际决策不一致时采集到的数据。
146.本技术实施例提供的智能驾驶感知模型的优化装置，可用于执行上述方法实施例中任一项所述的智能驾驶感知模型的优化方法，其实现原理和技术效果类似，在此不再赘述。
147.图5为本技术实施例提供的一种服务器的结构示意图，如图5所示，该服务器500包括：
148.处理器511，与所述处理器通信连接的存储器512，以及与其他设备交互的通信接口513；
149.所述存储器512存储计算机执行指令；
150.所述处理器511执行所述存储器512存储的计算机执行指令，以实现如前述方法实
施例中任一项所述的智能驾驶感知模型的优化方法。
151.可选的，该服务器500各器件之间可以通过系统总线连接。
152.存储器512可以是单独的存储单元，也可以是集成在处理器511中的存储单元。
153.可选的，通过通信接口513可以与外部设备进行通信交互。该外部设备可以是前述实施例中的车辆等。
154.应理解，处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
155.系统总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。存储器可能包括随机存取存储器(random access memory，ram)，也可能还包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。
156.本技术实施例提供的服务器，可用于执行上述方法实施例中任一项所述的智能驾驶感知模型的优化方法，其实现原理和技术效果类似，在此不再赘述。
157.本技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如前述方法实施例中任一项所述的智能驾驶感知模型的优化方法。
158.上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器，电可擦除可编程只读存储器，可擦除可编程只读存储器，可编程只读存储器，只读存储器，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
159.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求书指出。
160.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求书来限制。

技术特征：
1.一种智能驾驶感知模型的优化方法，其特征在于，所述方法包括：获取极端场景corner case对应的场景数据；对所述场景数据进行场景重构和识别分析，得到corner case特征；将所述corner case特征进行随机重构和泛化处理，得到处理后的corner case特征；将所述处理后的corner case特征进行组合，生成同类异构的corner case场景库；基于所述同类异构的corner case场景库对仿真测试平台的至少一个感知模型进行模型训练，得到优化后的至少一个感知模型。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述优化后的至少一个感知模型，在所述仿真测试平台中对同类异构的corner case场景进行仿真测试。3.根据权利要求1所述的方法，其特征在于，所述将所述corner case特征进行随机重构和泛化处理，得到处理后的corner case特征，包括：将所述corner case特征进行分类，得到车辆自身的特征，目标物体的特征和场景特征；基于预先配置的泛化元素库，对所述车辆自身的特征，所述目标物体的特征和所述场景特征，分别进行随机重构和泛化处理，得到所述处理后的corner case特征。4.根据权利要求3所述的方法，其特征在于，所述预先配置的泛化元素库包括：多种天气环境特征，多种速度特征，多种颜色特征，多种交通流量特征，以及多种工况场景特征；相应的，所述基于预先配置的泛化元素库，对所述车辆自身的特征，所述目标物体的特征和所述场景特征，分别进行随机重构和泛化处理，得到所述处理后的corner case特征，包括：从所述泛化元素库中选择出所述多种速度特征对所述车辆自身的速度特征进行重构和泛化处理；从所述泛化元素库中选择出所述多种速度特征，多种颜色特征对所述目标物体的速度特征和颜色特征进行重构和泛化处理；从所述泛化元素库中选择出所述多种天气环境特征，多种交通流量特征，多种工况场景对所述场景的天气特征、交通流量特征和工况特征进行重构和泛化处理。5.根据权利要求1至4任一项所述的方法，其特征在于，所述对所述场景数据进行场景重构和识别分析，得到corner case特征，包括：对所述corner case对应的场景数据进行场景重构和识别分析，确定导致所述corner case发生的原因；根据所述导致所述corner case发生的原因，从corner case数据中提取出所述corner case特征。6.根据权利要求1至4任一所述的方法，其特征在于，所述获取极端场景corner case对应的场景数据，包括：接收车辆上传的所述corner case对应的所述场景数据，其中，所述场景数据是所述车辆在模拟决策和驾驶员实际决策不一致时采集到的数据。7.一种智能驾驶感知模型的优化装置，其特征在于，所述装置包括：获取模块，用于获取极端场景corner case对应的场景数据；
特征获取模块，用于对所述场景数据进行场景重构和识别分析，得到corner case特征；泛化处理模块，用于将所述corner case特征进行随机重构和泛化处理，得到处理后的corner case特征；场景库生成模块，用于将所述处理后的corner case特征进行组合，生成同类异构的corner case场景库；模型测试模块，用于基于所述同类异构的corner case场景库对仿真测试平台的至少一个感知模型进行模型训练，得到优化后的至少一个感知模型。8.根据权利要求7所述的装置，其特征在于，所述装置还包括：仿真测试模块，用于根据所述优化后的至少一个感知模型，在所述仿真测试平台中对同类异构的corner case场景进行仿真测试。9.一种服务器，其特征在于，包括：处理器，与所述处理器通信连接的存储器，以及与其他设备交互的通信接口；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至6任一项所述的智能驾驶感知模型的优化方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至6任一项所述的智能驾驶感知模型的优化方法。

技术总结
本申请提供一种智能驾驶感知模型的优化方法、装置及存储介质。该方法包括：通过获取极端场景corner case对应的场景数据；对场景数据进行场景重构和识别分析，得到corner case特征；将corner case特征进行随机重构和泛化处理，得到处理后的corner case特征；将处理后的corner case特征进行组合，生成同类异构的corner case场景库；基于同类异构的corner case场景库中的场景数据对仿真测试平台的至少一个感知模型进行模型训练，得到优化后的至少一个感知模型。根据随机重构和泛化生成的同类异构场景数据，在仿真测试平台进行训练和测试，可以将同类异构的corner case消除。case消除。case消除。


技术研发人员：金晨 郑琪 杨贵永 韩志 陈庆荣
受保护的技术使用者：宁波吉利汽车研究开发有限公司
技术研发日：2023.06.30
技术公布日：2023/9/20