基于数字孪生虚实结合的自动驾驶测试系统及其测试方法

1.本发明涉及自动驾驶测试技术领域，具体涉及一种基于数字孪生虚实结合的自动驾驶测试系统及其测试方法。


背景技术：

2.近年来，人工智能技术在全球范围内的各个领域中崭露头角，自动驾驶技术是人工智能技术的“皇冠”，被认为是变革人类未来出行方式的利器，全球科技巨头都在这个领域角逐竞争。随着汽车工业的发展与人工智能技术的进步，人们对自动驾驶汽车的憧憬正逐渐变为现实，在园区物流、矿山、港口、城市环卫等特定领域不断出现自动驾驶的身影，然而要实现完全开放道路环境下的自动驾驶，现阶段的自动驾驶技术仍然很不成熟，需要不断完善和测试。
3.目前自动驾驶测试主要依靠实车测试和软件仿真测试，实车测试受测试成本高昂、复杂场景构建难度大和测试安全风险等不利因素的影响，难以满足自动驾驶车辆的研究及测试需求，软件仿真测试中使用的车辆动力学模型主要为半经验的理论模型，容易在复杂工况或车辆处于高非线性动态情况时，仿真软件呈现的车辆状态与实际车辆状态出现显著偏差，并且难以体现外部环境的干扰，对实验结果的置信度存在较大的影响，因此不断完善自动驾驶测试技术也是自动驾驶落地需要解决的一个重点问题。


技术实现要素：

4.本发明的目的就是针对上述技术的不足，提供一种基于数字孪生虚实结合的自动驾驶测试系统及其测试方法，能够兼顾实车测试和软件仿真测试的优点，对提升自动驾驶测试过程安全性，克服现有实车道路测试和仿真软件测试技术不足，提高算法开发效率具有重大意义。
5.为实现上述目的，本发明所涉及的基于数字孪生虚实结合的自动驾驶测试系统，包括如下模块：道路采集模块：用于采集真实道路的信息，获取真实道路动静态交通要素原始数据；数字孪生场景构建模块：借助驾驶场景编辑仿真软件，将所述道路采集模块采集的真实道路动静态交通要素原始数据进行分析处理，构建出真实物理世界的数字孪生模型，实现数字孪生模型与真实道路的一一映射，创建对应实际车辆的虚拟车辆，并在数字孪生模型中添加虚拟交通要素，模拟真实世界的驾驶环境；自动驾驶算法模块：基于数字孪生模型提供的虚拟传感器模型获取的数据，感知融合点云、图像数据，生成交通目标位置和类别信息，经过决策规划计算得到虚拟车辆的目标轨迹，并发送至实时显示模块，同时经过运动控制算法，实时计算出车辆的控制指令，发送至实车测试模块，并接收实车测试模块发送的实车状态数据；实车测试模块：通过自动驾驶算法模块计算得到的控制指令，测试实际车辆，执行
加速、制动以及转向动作，生成实车状态数据，并发送至自动驾驶算法模块和实时显示模块；实时显示模块：实时显示数字孪生模型、虚拟交通要素以及虚拟车辆，并根据实车状态数据完成实际车辆与虚拟车辆的位置同步，从而实现虚实结合自动驾驶算法功能的闭环验证。
6.优选地，所述道路采集模块，采集的真实道路动静态交通要素原始数据包括车辆数据、交通流数据、行人数据、路网数据和环境数据。
7.优选地，所述数字孪生场景构建模块与自动驾驶算法模块之间通过构建tcp实现通信，所述自动驾驶算法模块、实车测试模块和实时显示模块之间通过5g通讯/wifi通讯。
8.优选地，所述数字孪生场景构建模块包括：驾驶场景编辑仿真软件、虚拟传感器模型和基于实际车辆改造的驾驶模拟舱，驾驶场景编辑仿真软件将虚拟传感器模型探测到的目标物体信息构成动态测试场景数据以及驾驶员的控制指令，通过tcp通信传至自动驾驶算法模块。
9.优选地，所述实车状态数据包括位姿、gps数据和车辆状态信息。
10.优选地，各个模块部署在不同主机上，各个模块可以独立运行。
11.一种所述基于数字孪生虚实结合的自动驾驶测试系统的测试方法，包括如下步骤：a）根据实车测试任务，通过所述道路采集模块采集真实道路动静态交通要素原始数据，通过数字孪生场景构建模块创建数字孪生模型，并在软件中建立多种虚拟传感器模型，添加虚拟交通要素，创建测试案例；b）标定真实道路与数字孪生模型的映射关系，标定实际车辆与虚拟车辆的映射关系；c）根据实际车辆测试任务，将虚拟传感器探测得到的目标物体信息进行处理，感知融合点云、图像数据，获得感知结果，生成交通目标位置和类别信息，经过决策规划计算得到虚拟车辆的目标轨迹，并发送至实时显示模块，同时经过运动控制算法，实时计算出车辆的控制指令，发送至实车测试模块；d）根据控制指令，实际车辆执行加速、制动以及转向动作，生成实车状态数据，并发送至自动驾驶算法模块和实时显示模块；e）实时显示模块实时显示数字孪生模型、虚拟交通要素和虚拟车辆，并根据实车状态数据来完成实际车辆与虚拟车辆的位置同步，实现整个系统的闭环实时测试验证，从而实现虚实结合自动驾驶算法功能验证。
12.优选地，所述数字孪生场景构建模块包括基于实际车辆改造的驾驶模拟舱，测试时，驾驶员进入驾驶模拟舱，根据实时显示模块显示的交通场景，操纵驾驶模拟舱内的方向盘、油门、刹车踏板和档位，产生控制指令，发送至自动驾驶算法模块，自动驾驶算法模块基于数字孪生模型提供的虚拟传感器模型获取的数据，感知融合点云、图像数据，生成交通目标位置和类别信息，经过决策规划计算得到虚拟车辆的目标轨迹，结合数字孪生场景构建模块发出的控制指令，进行控制权决策，输出车辆的最终的控制指令。
13.本发明与现有技术相比，具有以下优点：1、不仅具备了实车道路测试的优势，同时还通过在虚拟交通环境中集成真实车辆
的方式来整合了仿真技术的优势，实现了将真实车辆动力学、交通流仿真与复杂虚拟交通场景的有机结合，能够不断适应自动驾驶技术快速变化的测试需求；2、实现了虚实结合自动驾驶算法功能验证，能够兼顾实车测试和仿真测试的优点，提了升自动驾驶测试过程的安全性；3、通过实车测试模块获得车辆的状态数据，而不使用经验的车辆动力学模型，可以获得更接近真实的实验数据，实验结果更具置信度；4、提高了算法开发效率。
附图说明
14.图1为本发明基于数字孪生虚实结合的自动驾驶测试系统一个实施例的原理示意图；图2为本发明基于数字孪生虚实结合的自动驾驶测试系统另一个实施例的原理示意图。
实施方式
15.下面结合附图和具体实施例对本发明作进一步的详细说明。
实施例1
16.如图1所示，以封闭园区整车自动驾驶功能结合测试为例，一种基于数字孪生虚实结合的自动驾驶测试系统，包括如下模块：道路采集模块：用于采集真实道路的信息，获取真实道路动静态交通要素原始数据，本实施例中道路采集模块设置有激光雷达和摄像头，从真实道路场景中获取环境数据，采集区域为佛山仙湖实验室园区内部道路；数字孪生场景构建模块：借助驾驶场景编辑仿真软件：德国wivw公司的silab驾驶场景模拟软件，将道路采集模块采集的真实道路动静态交通要素原始数据进行分析处理，构建出真实物理世界的数字孪生模型，实现数字孪生模型与真实道路的一一映射，创建对应实际车辆的虚拟车辆，实际车辆使用的是经过线控改装的一款广汽aion乘用车，并在数字孪生模型中添加虚拟交通要素，模拟真实世界的驾驶环境；自动驾驶算法模块：基于数字孪生模型提供的虚拟传感器模型获取的数据，感知融合点云、图像数据，生成交通目标位置和类别信息，经过决策规划计算得到虚拟车辆的目标轨迹，并发送至实时显示模块，同时经过运动控制算法，实时计算出车辆的控制指令，发送至实车测试模块，并接收实车测试模块发送的实车状态数据；实车测试模块：通过自动驾驶算法模块计算得到的控制指令，本实施例中控制指令包括方向盘转动角度（参数范围：[-540,540]，单位：度）、油门踏板开度(参数范围：[0,1])、制动踏板力度(参数范围：[0,5])、档位输入(可输入参数：{0，1，2，3，4，5})，测试实际车辆，执行加速、制动以及转向动作，生成实车状态数据，并发送至自动驾驶算法模块和实时显示模块；实时显示模块：实时显示数字孪生模型、虚拟交通要素以及虚拟车辆，并根据实车状态数据完成实际车辆与虚拟车辆的位置同步，从而实现虚实结合自动驾驶算法功能的闭
环验证。
[0017]
其中，道路采集模块，采集的真实道路动静态交通要素原始数据包括车辆数据、交通流数据、行人数据、路网数据和环境数据。
[0018]
数字孪生场景构建模块与自动驾驶算法模块之间通过构建tcp实现通信，自动驾驶算法模块、实车测试模块和实时显示模块之间通过5g通讯/wifi通讯，本实施例中，园区内5g信号良好，并搭建了网桥构建无线网络，作为备用数据传输方式，本实施例中所采用的通信方式，各个模块之间能够实现实时通信，减少了信息延迟对自动驾驶仿真测试的不利影响。
[0019]
数字孪生场景构建模块包括：驾驶场景编辑仿真软件、虚拟传感器模型和基于实际车辆改造的驾驶模拟舱，驾驶场景编辑仿真软件将虚拟传感器模型探测到的目标物体信息构成动态测试场景数据以及驾驶员的控制指令，通过tcp通信传至自动驾驶算法模块。
[0020]
实车状态数据包括位姿、gps数据和车辆状态信息。
[0021]
另外，各个模块部署在不同主机上，各个模块可以独立运行。
[0022]
上述基于数字孪生虚实结合的自动驾驶测试系统的测试方法，包括如下步骤：a）根据实车测试任务，通过道路采集模块采集真实道路动静态交通要素原始数据，通过数字孪生场景构建模块创建数字孪生模型，并在软件中建立多种虚拟传感器模型，添加虚拟交通要素，创建测试案例；b）标定真实道路与数字孪生模型的映射关系，标定实际车辆与虚拟车辆的映射关系；c）根据实际车辆测试任务，将虚拟传感器探测得到的目标物体信息进行处理，感知融合点云、图像数据，获得感知结果，生成交通目标位置和类别信息，经过决策规划计算得到虚拟车辆的目标轨迹，并发送至实时显示模块，同时经过运动控制算法，实时计算出车辆的控制指令，发送至实车测试模块；d）根据控制指令，实际车辆执行加速、制动以及转向动作，生成实车状态数据，并发送至自动驾驶算法模块和实时显示模块；e）实时显示模块实时显示数字孪生模型、虚拟交通要素和虚拟车辆，并根据实车状态数据来完成实际车辆与虚拟车辆的位置同步，实现整个系统的闭环实时测试验证，从而实现虚实结合自动驾驶算法功能验证。
[0023]
本实施例通过道路采集模块采集真实的道路场景，使得数字孪生场景构建模块建立的测试场景非常接近现实，确保了自动驾驶算法测试的效果与实际路测相差不大；采用实时显示模块显示虚拟场景和虚拟车辆，方便工作人员观察自动驾驶仿真测试的测试效果；采用真实车辆在测试场地运行代替经验车辆动力学模型进行仿真测试，可以获得更接近真实的实验数据，使得测试结果更具置信度。
实施例2
[0024]
如图2所示，以封闭园区人机共驾虚实结合测试为例，与实施例1相比，本实施例中，数字孪生场景构建模块包括基于实际车辆改造的驾驶模拟舱，测试时，驾驶员进入驾驶模拟舱，根据实时显示模块显示的交通场景，操纵驾驶模拟舱内的方向盘、油门、刹车踏板和档位，产生控制指令，发送至自动驾驶算法模块，自动驾驶算法模块基于数字孪生模型提
供的虚拟传感器模型获取的数据，感知融合点云、图像数据，生成交通目标位置和类别信息，经过决策规划计算得到虚拟车辆的目标轨迹，结合数字孪生场景构建模块发出的控制指令，进行控制权决策，输出车辆的最终的控制指令，在本实施例中，自动驾驶算法模块升级为人机共驾控制算法模块。
[0025]
本发明基于数字孪生虚实结合的自动驾驶测试系统及其测试方法，不仅具备了实车道路测试的优势，同时还通过在虚拟交通环境中集成真实车辆的方式来整合了仿真技术的优势，实现了将真实车辆动力学、交通流仿真与复杂虚拟交通场景的有机结合，能够不断适应自动驾驶技术快速变化的测试需求；实现了虚实结合自动驾驶算法功能验证，能够兼顾实车测试和仿真测试的优点，提了升自动驾驶测试过程的安全性；通过实车测试模块获得车辆的状态数据，而不使用经验的车辆动力学模型，可以获得更接近真实的实验数据，实验结果更具置信度；而且提高了算法开发效率。

技术特征：
1.一种基于数字孪生虚实结合的自动驾驶测试系统，其特征在于：包括如下模块：道路采集模块：用于采集真实道路的信息，获取真实道路动静态交通要素原始数据；数字孪生场景构建模块：借助驾驶场景编辑仿真软件，将所述道路采集模块采集的真实道路动静态交通要素原始数据进行分析处理，构建出真实物理世界的数字孪生模型，实现数字孪生模型与真实道路的一一映射，创建对应实际车辆的虚拟车辆，并在数字孪生模型中添加虚拟交通要素，模拟真实世界的驾驶环境；自动驾驶算法模块：基于数字孪生模型提供的虚拟传感器模型获取的数据，感知融合点云、图像数据，生成交通目标位置和类别信息，经过决策规划计算得到虚拟车辆的目标轨迹，并发送至实时显示模块，同时经过运动控制算法，实时计算出车辆的控制指令，发送至实车测试模块，并接收实车测试模块发送的实车状态数据；实车测试模块：通过自动驾驶算法模块计算得到的控制指令，测试实际车辆，执行加速、制动以及转向动作，生成实车状态数据，并发送至自动驾驶算法模块和实时显示模块；实时显示模块：实时显示数字孪生模型、虚拟交通要素以及虚拟车辆，并根据实车状态数据完成实际车辆与虚拟车辆的位置同步，从而实现虚实结合自动驾驶算法功能的闭环验证。2.如权利要求1所述基于数字孪生虚实结合的自动驾驶测试系统，其特征在于：所述道路采集模块，采集的真实道路动静态交通要素原始数据包括车辆数据、交通流数据、行人数据、路网数据和环境数据。3.如权利要求1所述基于数字孪生虚实结合的自动驾驶测试系统，其特征在于：所述数字孪生场景构建模块与自动驾驶算法模块之间通过构建tcp实现通信，所述自动驾驶算法模块、实车测试模块和实时显示模块之间通过5g通讯/wifi通讯。4.如权利要求1所述基于数字孪生虚实结合的自动驾驶测试系统，其特征在于：所述数字孪生场景构建模块包括：驾驶场景编辑仿真软件、虚拟传感器模型和基于实际车辆改造的驾驶模拟舱，驾驶场景编辑仿真软件将虚拟传感器模型探测到的目标物体信息构成动态测试场景数据以及驾驶员的控制指令，通过tcp通信传至自动驾驶算法模块。5.如权利要求1所述基于数字孪生虚实结合的自动驾驶测试系统，其特征在于：所述实车状态数据包括位姿、gps数据和车辆状态信息。6.如权利要求1所述基于数字孪生虚实结合的自动驾驶测试系统，其特征在于：各个模块部署在不同主机上，各个模块可以独立运行。7.一种如权利要求1~6任一项所述基于数字孪生虚实结合的自动驾驶测试系统的测试方法，其特征在于：包括如下步骤：a）根据实车测试任务，通过所述道路采集模块采集真实道路动静态交通要素原始数据，通过数字孪生场景构建模块创建数字孪生模型，并在软件中建立多种虚拟传感器模型，添加虚拟交通要素，创建测试案例；b）标定真实道路与数字孪生模型的映射关系，标定实际车辆与虚拟车辆的映射关系；c）根据实际车辆测试任务，将虚拟传感器探测得到的目标物体信息进行处理，感知融合点云、图像数据，获得感知结果，生成交通目标位置和类别信息，经过决策规划计算得到虚拟车辆的目标轨迹，并发送至实时显示模块，同时经过运动控制算法，实时计算出车辆的控制指令，发送至实车测试模块；
d）根据控制指令，实际车辆执行加速、制动以及转向动作，生成实车状态数据，并发送至自动驾驶算法模块和实时显示模块；e）实时显示模块实时显示数字孪生模型、虚拟交通要素和虚拟车辆，并根据实车状态数据来完成实际车辆与虚拟车辆的位置同步，实现整个系统的闭环实时测试验证，从而实现虚实结合自动驾驶算法功能验证。8.如权利要求7所述基于数字孪生虚实结合的自动驾驶测试系统，其特征在于：所述数字孪生场景构建模块包括基于实际车辆改造的驾驶模拟舱，测试时，驾驶员进入驾驶模拟舱，根据实时显示模块显示的交通场景，操纵驾驶模拟舱内的方向盘、油门、刹车踏板和档位，产生控制指令，发送至自动驾驶算法模块，自动驾驶算法模块基于数字孪生模型提供的虚拟传感器模型获取的数据，感知融合点云、图像数据，生成交通目标位置和类别信息，经过决策规划计算得到虚拟车辆的目标轨迹，结合数字孪生场景构建模块发出的控制指令，进行控制权决策，输出车辆的最终的控制指令。

技术总结
本发明涉及自动驾驶测试技术领域，公开了一种基于数字孪生虚实结合的自动驾驶测试系统，包括道路采集模块、数字孪生场景构建模块、自动驾驶算法模块、实车测试模块和实时显示模块，根据实车状态数据完成实际车辆与虚拟车辆的位置同步，从而实现虚实结合自动驾驶算法功能的闭环验证。本发明还公开了一种基于数字孪生虚实结合的自动驾驶测试系统的测试方法。本发明基于数字孪生虚实结合的自动驾驶测试系统及其测试方法，能够兼顾实车测试和软件仿真测试的优点，对提升自动驾驶测试过程安全性，克服现有实车道路测试和仿真软件测试技术不足，提高算法开发效率具有重大意义。提高算法开发效率具有重大意义。提高算法开发效率具有重大意义。


技术研发人员：尹智帅 巴元新 聂琳真 李康
受保护的技术使用者：武汉理工大学
技术研发日：2023.06.26
技术公布日：2023/9/16