车辆控制方法、服务器、车辆和存储介质与流程

1.本发明涉及智能驾驶技术领域，具体地涉及车辆控制方法、服务器、车辆和存储介质。


背景技术：

2.乘用汽车是现在人们出行的主要交通工具之一，近年来尽管道路交通基础设施建设不断完善，然而道路行驶车辆迅猛增加，车辆行驶过程中面临的路况和交通环境更加复杂，增加了交通事故的发生率。为使驾驶者获得更好驾驶体验和降低交通事故的发生率，乘用车会在车辆上安装各类传感器，实时获取行驶车辆内外部环境信息，辅助驾驶员控制车辆行驶，或提醒前方道路可能存在的行车危险。现有技术中使用安装在车辆前方的传感器实时获取行驶车辆前方感知数据，提前识别连续减速带、碎石、泥地、坑洼和雪地等路况，主动悬架提前调节，确保驾驶员操作的平稳性、车辆通过性、舒适性和安全性。
3.然而现有的路面检测方法存在着如下问题：如果要同时分析通过激光雷达和摄像头等感知设备获取到的路面信息，无论何种工况下通过激光雷达获取的点云数据和通过摄像头等感知设备获取的图像数据都要同时处理，车载计算能力难以满足计算要求，更不用说保证结果的鲁棒性；分析单一感知设备来源的路面信息则会带来计算偏差，虽然降低了计算量但是不能保证异常路面识别的精度，也不能满足车辆通过的安全性和舒适性要求。


技术实现要素：

4.本发明的所要解决的技术问题是利用单一传感器获取路面数据带来的偏差问题和同时处理点云数据和图像数据车载算力难以满足需求的问题。
5.为了实现上述目的，本发明一方面提供一种路面检测方法，其步骤包括：
6.获取车辆行驶路面的第一传感器数据；
7.根据所述第一传感器数据，得到所述行驶路面是否存在异常的第一判断结果；
8.在所述第一判断结果为所述行驶路面存在异常的情况下，获取所述行驶路面的第二传感器数据；
9.根据所述第二传感器数据，得到所述行驶路面是否存在异常的第二判断结果；
10.根据所述车辆的驾驶模式，通过以下条件之一者判断所述行驶路面存在异常：
11.所述第一判断结果和所述第二判断结果均为所述行驶路面存在异常；或者，所述第一判断结果或所述第二判断结果为所述行驶路面存在异常；
12.其中，使用不同类型的传感器采集所述第一传感器数据和所述第二传感器数据。
13.可选的，所述第一传感器数据和所述第二传感器数据由车载传感器采集并传输给云服务器；所述云服务器获取到所述第一传感器数据和所述第二传感器数据后执行如下步骤：
14.根据所述第一传感器数据，得到所述行驶路面是否存在异常的第一判断结果，同时根据所述第二传感器数据，得到所述行驶路面是否存在异常的第二判断结果；
15.根据所述车辆的驾驶模式，通过以下条件之一者判断所述行驶路面存在异常：所述第一判断结果和所述第二判断结果均为所述行驶路面存在异常；或者，所述第一判断结果或所述第二判断结果为所述行驶路面存在异常。
16.优选的，所述第一传感器数据为路面点云数据和路面图像数据其中之一者；所述第二传感器数据为路面点云数据和路面图像数据其中另一者。
17.优选的，所述路面点云数据通过激光雷达、毫米波雷达、超声波雷达其中之一者采集获取；所述路面图像数据通过单目摄像机、双目摄像机、三目摄像机、环视摄像机其中之一者采集获取。
18.优选的，当所述第一传感器数据或所述第二传感器数据为所述路面点云数据时，所述根据所述第一传感器数据，得到所述行驶路面是否存在异常的第一判断结果，或，所述根据所述第二传感器数据，得到所述行驶路面是否存在异常的第二判断结果，包括如下步骤：
19.获取所述路面点云数据中的所有路面点的三维坐标；
20.计算所述行驶路面的平面s；
21.遍历所有路面点，若所述路面点与所述平面s的距离超过第一预设阈值，则该路面点为异常点；以及
22.累计异常点数量，若所述异常点数量大于第二预设阈值时，判断路面存在异常，否则不存在异常。
23.优选的，所述计算所述行驶路面的平面s的方法包括如下步骤：
24.获取所述车辆的底盘平面的法向量，将所述车辆的底盘平面的法向量作为所述平面s的法向量(a，b，c)；
25.计算所述路面点云数据内的所有路面点的均值点a0(x0,y0,z0)；以及
26.根据平面的点法公式：a(x-x0)+b(y-y0)+c(z-z0)＝0，求得所述平面s的方程：ax+by+cz+d＝0，其中x，y，z为平面s上点的坐标，a，b，c，d为所述平面s的方程的参数。
27.优选的，当所述第一传感器数据或所述第二传感器数据为所述路面图像数据时，所述根据所述第一传感器数据，得到所述行驶路面是否存在异常的第一判断结果，或，所述根据所述第二传感器数据，得到所述行驶路面是否存在异常的第二判断结果包括：
28.将所述路面图像数据输入至训练后的深度学习模型，得到所述深度学习模型输出的所述行驶路面是否存在异常的判断结果。
29.相对于现有技术，本发明所述的路面检测方法具有以下有益效果：
30.(1)通过车辆前方摄像头等感知设备采集道路图像数据，通过激光雷达采集道路点云数据，能够全面的获取行驶车辆前方环境信息，对行驶路面异常情况的判断能够更准确；
31.(2)在利用点云数据或图像数据其中之一初步确定路面是否异常的情况下再加入另一种数据进行精细的二次判断进一步确定路面是否异常，可以减少计算量降低计算压力；
32.(3)在初步确定路面是否异常基础上，通过深度学习模型可以进一步有效识别路面异常，保证异常路面识别的精度。
33.本发明另一方面提供一种车辆控制方法，当所述车辆在异常路面行驶时执行如下
步骤：
34.对所述异常路面进行三维建模，得到异常路面三维模型；
35.根据所述异常路面三维模型，获取车辆通过所述异常路面的行驶参数；
36.根据所述行驶参数和运动学模型、车辆动力学模型得到车辆悬架调节方案；及
37.控制车辆执行所述车辆悬架调节方案。
38.优选的，所述对所述异常路面进行三维建模，得到异常路面三维模型包括如下步骤：
39.根据所述图像数据，计算图像数据特征点及其三维坐标；
40.根据所述路面点云数据，计算路面点云数据特征点及其三维坐标；
41.匹配所述图像数据特征点和所述路面点云数据特征点，并排除所述图像数据特征点和所述路面点云数据的无效点，得到匹配点及其三维坐标；
42.合并所述匹配点及其三维坐标，得到所述异常路面三维模型。
43.优选的，所述根据所述异常路面三维模型，仿真模拟车辆通过所述异常路面的行驶参数包括如下步骤：
44.获取并输入所述异常路面三维模型、车辆行驶数据和障碍物距离、角度信息至仿真工具，以模拟车辆通过异常路面的行驶参数。
45.相对于现有技术，以上所述的车辆控制方法具有以下优势：
46.(1)通过车辆前方摄像头和激光雷达采集道路信息，能够全面的获取行驶车辆前方环境信息；
47.(2)利用激光雷达的点云数据初步确定路面是否异常，在初步确定异常的情况下再通过深度学习模型识别摄像头拍摄的图像以进一步确定路面是否异常，可以减少同时进行点云数据和图像数据处理的计算量，降低计算压力；
48.(3)在初步确定路面是否异常基础上，通过深度学习模型可以进一步有效识别路面异常，保证异常路面识别的精度；
49.(4)提取图像数据的特征点和三维坐标，并提取路面点云数据的特征点和三维坐标，再把两次所得的特征点进行匹配、排除无效点，可得到更精确地三维重建模型。
50.本发明的再一目的在于提出一种服务器，以解决利用单一传感器获取路面数据带来的偏差问题和/或仅依靠行驶车辆本地算力同时处理点云数据和图像数据时算力不足的问题。
51.为达到上述目的，本发明的技术方案是这样实现的：
52.一种服务器，其被配置为执行前文所述的路面检测方法和/或车辆控制方法。
53.该服务器可以是云端服务器，车载设备通过4g/5g技术将路面及驾驶数据上传给云端服务器，由云端服务器执行前文所述的任一种车辆控制方法，并通过4g/5g技术将控制程序/指令下发至行驶车辆执行。
54.相对于现有技术，所述服务器除了具有与前文所述的车辆控制方法的技术优势以外，还能够对车载算力进行更好的分配，实现整车更好地自主管理。
55.本发明的再一目的在于提出一种车辆，以解决利用单一传感器获取路面数据带来的偏差问题和/或仅依靠行驶车辆本地算力同时处理点云数据和图像数据时算力不足的问题。
56.为达到上述目的，本发明的技术方案是这样实现的：
57.一种车辆，其被配置为执行根据上述任意所述的路面检测方法和/或车辆控制方法。
58.所述车辆与前文所述的车辆控制方法相对于现有技术，其技术优势是一样的，此处不再赘述。
59.本发明的另一目的在于提出一种机器可读的存储介质，以解决利用单一传感器获取路面数据带来的偏差问题和/或仅依靠行驶车辆本地算力同时处理点云数据和图像数据时算力不足的问题。
60.为达到上述目的，本发明的技术方案是这样实现的：
61.一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行以上所述的任一种路面检测方法和/或车辆控制方法。
62.相对于现有技术，所述系统与前文所述的车辆和服务器，其技术优势是一样的，此处不再赘述。
63.本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
64.构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施方式及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
65.图1a和图1b是车辆控制方法实施例的流程示意图；
66.图2是路面异常检测流程示意图；
67.图3是路面异常分类识别流程示意图；
68.图4是三维重建流程示意图；
69.图5是基于5g通讯技术的行驶车辆控制方法整体流程示意图；以及
70.图6是云服务器运算流程示意图。
具体实施方式
71.在本发明中，在未作相反说明的情况下，使用的专业术语通常的含义如下：
72.汽车动力学仿真：汽车系统动力学是研究所有与汽车系统运动有关的学科，是汽车优化设计和控制的基础，通过仿真分析，可以实现汽车结构参数与动力学特性的优化匹配，使汽车性能达到最优。
73.云服务器：云服务器(elastic compute service,ecs)是一种简单高效、安全可靠、处理能力可弹性伸缩的计算服务。其管理方式比物理服务器更简单高效。用户无需提前购买硬件，即可迅速创建或释放任意多台云服务器。
74.三维重建：三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。
75.需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。
76.以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描
述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
77.以下介绍一个具体实施例对本发明路面检测方法进行详细介绍，参照附图1a所示。
78.步骤s11：获取车辆行驶路面的第一传感数据，在本实施例中具体为：获取所述行驶车辆前方行驶方向上的路面点云数据。在本技术一具体应用场景中，可以是通过安装在所述行驶车辆上的激光雷达获得的路面点云数据，也可以是通过相机或其他传感设备获取的点云数据。
79.步骤s12：根据第一传感数据得到行驶路面是否存在异常的第一判断结果。在本实施例中具体为：根据所述路面点云数据，判断所述行驶车辆前方路面是否存在异常。若结果为不存在异常则继续检测前方路面，车辆继续正常行驶；若结果为存在异常，则需要进一步识别路面异常情况。
80.利用车辆行驶在平坦路面时，点云点处于共面，在障碍物或路面不平时，存在点云点不共面原理，判断路面是否有异常。判断路面是否存在异常的具体实施方法可以是：获取路面点云数据，所述点云数据包括点的三维坐标；根据路面点云的坐标计算路面的平面s方程；遍历所有的路面点，计算点到平面s的偏离距离，当点到平面距离大于给定距离阈值区间时，则判定该点为异常点，最后对所有异常点求和；当异常点数量大于给定阈值时，则认为路面为异常路面，小于给定阈值时，则认为路面无异常。也可以采用领域技术人员掌握的其他方法判断路面是否存在异常。在本实施例中，可参考图2所示的流程，其具体实施方法后文亦有介绍。
81.步骤s13：若第一判断结果为行驶路面存在异常，获取行驶路面的第二传感器数据，在本实施例中具体为在所述路面存在异常的情况下，获取所述行驶车辆前方行驶方向上的图像数据。所述图像数据优选是通过安装在所述行驶车辆上的双目摄像头获得。若第一判断结果为行驶路面不存在异常，则根据驾驶模式，可以是继续正常行驶，并继续进行步骤s11根据第一传感器识别路面异常。
82.步骤s14：根据第二传感数据得到行驶路面是否存在异常的第二判断结果。在本实施例中具体为：根据所述图像数据以及深度学习模型，识别路面异常。将双目摄像头拍摄的图像数据输入到提前训练好的深度学习模型中，进行路面异常类别识别。该深度学习模型具备对路面坑洼起伏、连续减速带、碎石、障碍物等路况分类能力。
83.所述深度学习模型包括卷积网络和全连接层。识别路面异常的方法可以是：获取异常路面图像，使用卷积神经网络对图像进行特征提取得到特征向量，特征向量输入到全连接层，将特征向量进行分类，输出某一数值，该数值代表某一类的路面异常，输出数值不同则表示为不同的路面异常类别。也可以采用领域技术人员掌握的其他方法识别路面异常。在本实施例中，可参考图3所示的流程，其具体实施方法后文亦有介绍。
84.步骤s15：根据第一判断结果和第二判断结果，确定行驶路面是否存在异常。在本实施例中具体为：若第一判断结果和第二判断结果均表明行驶路面存在异常则执行车辆控制方法。车辆控制方法执行内容后文将进一步展开介绍，详见附图1b及相关内容。
85.通过实施上述路面检测方法，相对于现有技术，可得到以下有益效果：(1)利用点云数据初步确定路面是否异常，在初步确定异常的情况下再通过深度学习模型识别车辆前方行驶方向上的图像数据以进一步确定路面是否异常，可以减少同步处理点云数据和图像
数据的运算量，降低计算压力；(2)路面点云数据和图像数据二者结合能够全面的获取行驶车辆前方环境信息，精准识别路面异常；(3)通过深度学习模型可以有效识别路面异常类型。
86.可以理解的是，初步判断道路异常所采用的并不仅限于通过激光雷达方式获得的路面点云数据，可以是其他感知设备获取的路面点云数据，还可以是其他感知设备获取的图像数据。当初步判断路面存在异常时通过区别于初步判断所采用的感知设备和数据类型并进行二次判断，能够更精准的识别异常路面。上述实施步骤中仅是本实施中采用的一种方式，并不用于限制本发明，权利要求1中所述的第一传感器数据和第二传感器数据并非代表实际实施中获取路面点云数据和路面图像数据严格顺序。
87.一般而言，路面点云数据通过各种雷达传感器获得，包含路面点坐标信息，数据精度较高，受天气影响较小；而路面图像数据通过各种摄像头传感器获得，虽数据精度较低但包含有图像颜色、纹理等特征，数据量小，对算力要求较低。
88.在具体实施过程中，技术人员可以根据车辆算力配置、驾驶路面和天气环境、驾驶模式、云服务器配置等情况选择先处理路面点云数据，或者先处理路面图像数据，甚或是两者同步处理。
89.此外，当对于驾驶安全性要求更高时，只要对路面点云数据或路面图像数据两者之一的处理结果表明行驶路面存在异常时，即认为路面存在异常并实施进一步的车辆控制方法。而对于需要更多算力分配到娱乐或其他方面，同时路面状态较好时，允许车辆执行另外的路面检测策略，即只有对路面点云数据或路面图像数据两者的处理结果都表明行驶路面存在异常时，才认为路面存在异常并实施进一步的车辆控制方法。
90.当路面检测方法执行的结果表明行驶路面存在异常后，可执行本技术所述的车辆控制方法，以使得车辆平稳、安全的行驶过异常路面。本技术所述的车辆控制方法实施前提为行驶路面存在异常，其判断步骤参见上述实施例，此处不再赘述。
91.在上述实施例路面检测方法实施步骤完成之后，通过建模与仿真软件进一步模拟车辆运行环境，并通过建模与仿真软件中包含的运动学、车辆动力学模型，模拟计算所述行驶车辆的车辆悬架调节指令，其步骤可参考图1b所示，在前述实施例的步骤s15之后进一步执行如下步骤：
92.步骤s16：在识别路面异常后，进一步对异常路面进行三维建模，得到异常路面三维模型。三维建模的方法可以是：获取通过激光雷达得到的所述行驶车辆的前方路面的路面点云数据；依据三角测量法计算所述路面点云数据得到激光雷达特征点三维坐标；通过激光雷达路面点云进行检测、矫正偏移点和排除无效点，得到匹配点三维坐标；将匹配点三维坐标转换获得三维重建模型。也可以采用领域技术人员掌握的其他方法进行三维建模。在本实施例中，异常路面进行三维建模流程可参考图4所示，其具体实施方法后文亦有介绍。
93.可以理解的是，异常路面三维模型包括路面障碍物的三维信息，用于通过计算行驶过程中障碍物与行驶车辆的实时距离和方位及障碍物的高度、姿态、形状等参数。
94.在完成异常路面三维建模之后，还可以通过通信手段将异常路面三维模型共享给附近行驶的车辆，帮助周边车辆能快速获得路面异常信息，安全有序通过。
95.步骤s17：根据异常路面三维模型，获取车辆通过异常路面的行驶参数。在得到所
述异常路面三维模型后，进一步获取障碍物距离、角度和车辆行驶速度数据，模拟所述行驶车辆通过异常路面的相关参数。
96.步骤s18：根据所述车辆通过异常路面的行驶参数和运动学模型、车辆动力学模型，计算所述行驶车辆的车辆悬架调节方案。
97.步骤s19：控制车辆执行所述车辆悬架调节方案。
98.优选的，所述行驶车辆通过异常路面的相关参数包括：车速、转向角、悬架垂直力、外倾角、前束角、垂直力、悬架几何数据、质心侧偏角、路径曲率。
99.优选的，所述获取障碍物距离、角度的方法可以是通过对异常路面进行三维建模的计算方法：采用双目立体视觉融合激光雷达数据对障碍物进行三维重构，其中双目立体视觉重建方法模拟人类双眼的立体成像原理，左右摄像机在同一时间拍摄场景中某一障碍物，通过三角几何关系和视差原理，获取左右摄像机相同视角下障碍物表面点的坐标信息，进而构建出障碍物的位置和形状。激光雷达三维重构是向障碍物发射探测信号(激光束)，然后将接收到的从障碍物反射回来的信号(目标回波)与发射信号进行比较，获得障碍物的有关信息，如障碍物相对车辆的距离和方位以及障碍物高度、姿态、形状等参数。
100.优选的，车辆行驶数据包括：车辆实时位置、车速、加速度、档位信息、换挡模式、车辆行驶轨迹、制动信号等车辆运行有关的参数。
101.通过实施以上步骤，可对于提前发现的行驶车辆前方路面的异常情况进行预判处理，转换为保证行驶车辆安全平稳驾驶的行车指令。
102.对于图1a与图1b所述的实施例中判断前方路面是否存在异常、识别异常路面的类型以及三维建模的方式下文将一一展开介绍。
103.判断所述行驶车辆前方路面是否存在异常的流程可参考图2所示，利用车辆行驶在平坦路面时，点云点处于共面，在障碍物或路面不平时，存在一定数量的点云中的点不共面，判断路面是否有异常。其具体步骤包括：
104.s201：读取路面点云数据，所述路面点云数据包括路面点的三维坐标；
105.s202：计算行驶路面的平面s的方程。通过底盘惯导系统的传感器获取所述车辆底盘平面的法向量，将所述车辆的底盘平面的法向量作为所述平面s的法向量(a，b，c)，然后计算路面点云点均值点a0(x0,y0,z0)，根据平面的点法公式：a(x-x0)+b(y-y0)+c(z-z0)＝0，求得平面s方程：ax+by+cz+d＝0，其中x，y，z为平面s上点的坐标，a，b，c，d为通过前述方法计算得到的所述平面s的方程的参数。
106.可以理解的是，车辆行驶过程中，以车辆底盘的法向量作为当前路面的法向量，以路面点云的均值点作为当前路面上的一点是一种非常接近实际情况的方法，通过底盘惯导系统的传感器获取所述车辆底盘平面的法向量也是一种模拟方法。当车辆行驶时，根据预设周期不间断的执行路面检测方法，上述计算行驶路面的平面s的结果也在不断修正和模拟实际路面情况。实际实施过程中，技术人员也可以根据本技术的思路采用其他类似的方式实现，在不违背本发明思想的情况下，也应在本发明保护范围之内。
107.s203：遍历路面点云点，计算点到平面s的距离。利用点到平面方程计算公式:
[0108][0109]
计算出路面点云点到平面s的距离，得到距离集合{d1,d2,d3,
···
,di}。根据距
离集合，当点到平面距离超过第一预设阈值时，则判定该点为异常点，最后对所有异常点求和。
[0110]
可以理解的是，路面存在凹凸不平的情况，点云数据中的点与代表路面的平面s的距离反应该点与平面s的上下偏离，该数值均为正数值，因而所述第一预设阈值为一个正数值，具体数值为根据车型的底盘高低等因素设置的经验值。
[0111]
s204：当异常点数量大于第二预设阈值时，则认为路面为异常路面，小于给定阈值时，则认为路面无异常。
[0112]
可以理解的是，根据车型、路况、驾驶模式等因素实际驾驶中可赋予所述第二预设阈值不同的经验数值。
[0113]
识别路面异常的实施流程可参考图3所示，其具体步骤包括：
[0114]
s301：采集行驶车辆前方的异常路面图像。该图像可通过双目相机摄像头获得；
[0115]
s302：使用卷积算法对图像进行特征提取得到特征向量；
[0116]
s303：通过卷积神经网络对提取的特征向量进行分类，将每一类特征向量映射到对应标签向量上。具体地，特征向量输入到全连接层进行分类，输出某一数值，该数值代表某一类的路面异常，输出数值不同则表示为不同的路面异常类别。
[0117]
特别的，深度学习模型是提前训练好的深度学习模型，该深度学习模型具备对路面坑洼起伏、连续减速带、碎石、障碍物等路况分类能力。
[0118]
在识别所述路面异常后，还需要对异常路面进行三维建模，得到异常路面三维模型。在本实施例中采用双目立体视觉融合激光雷达数据进行重构，其中双目立体视觉重建方法模拟人类双眼的立体成像原理，左右摄像机在同一时间拍摄场景中某一物体，通过三角几何关系和视差原理，获取左右摄像机相同视角下物体表面点的坐标信息，进而构建出物体的位置和形状。激光雷达向目标发射探测信号(激光束)，然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较，获得目标的有关信息，如目标距离、方位、高度、姿态、甚至形状等参数，通过融合激光雷达测量参数矫正双目立体视觉三维重构中的图像匹配错误、定位错误等问题，得到更加精准的异常路面三维重建模型。
[0119]
异常路面进行三维建模的流程可参考图4所示，其具体实施步骤包括：
[0120]
s401：双目相机对行驶车辆前方路面进行左目相机拍摄和右目相机拍摄。获取通过双目相机拍摄的所述行驶车辆的前方路面，得到左目图像和右目图像；
[0121]
s402：同时提取左目图像特点和左目相机图像上的特征点，依据sgbm算法对左目图像特征点和右目图像特征点进行匹配，排除不能匹配的点，得到双目相机特征点。
[0122]
s403：依据三角测量法和视差原理计算双目相机特征点三维坐标。所述双目相机特征点三维坐标为以车辆为参考中心的真实世界坐标。
[0123]
s404：获取通过激光雷达得到的所述行驶车辆的前方路面的路面点云数据；依据三角测量法计算所述激光雷达路面点云数据，得到激光雷达特征点三维坐标。同样的，所述激光雷达特征点三维坐标为以车辆为参考中心的真实世界坐标；
[0124]
s405：匹配所述激光雷达特征点三维坐标和所述双目相机特征点三维坐标，并排除所述图像数据特征点和所述路面点云数据的无效点，得到匹配点及其三维坐标；
[0125]
可以理解的是，通过激光雷达数据和双目相机数据得到的特征点三维坐标只要偏差在误差范围以内，都可算做匹配的特征点，不能匹配的点作为无效点被排除。
[0126]
s406：合并所述匹配点及其三维坐标，获得三维重建模型。
[0127]
通过实施上述车辆控制方法，相对于现有技术，可得到以下有益效果：(1)利用激光雷达的点云数据初步确定路面是否异常，在初步确定异常的情况下再通过深度学习模型识别摄像头拍摄的图像以进一步确定路面是否异常，可以减少同时进行点云数据和图像数据处理的计算量，降低计算压力；(2)根据点云数据与行驶路面平面的偏离算法初步确定路面是否异常，可以有效识别异常路面，保证异常路面识别的精度；(3)路面点云数据和图像数据二者结合能够全面的获取行驶车辆前方环境信息；(4)通过深度学习模型可以有效识别路面异常类别；(5)通过双目相机左右双目图像的特征匹配，再通过激光雷达路面点云数据获得的特征点和双目相机特征点二次匹配，并通过所述激光雷达路面点云进行检测、矫正偏移点和排除无效点，可得到更精确地三维重建模型。
[0128]
上述实施例中先通过激光雷达的点云数据初步确定路面是否异常，再通过深度学习模型识别摄像头拍摄的图像以进一步确定路面是否异常，可以理解的是，本实施例仅为一种可行的优选实施方式，实际并不限于此顺序，也不限于采用激光雷达获取点云数据及采用摄像头获取图像数据，只要能获取路面点云数据和图像数据也可采用其他传感器。技术人员可以先获取和分析图像数据后获取和分析路面点云数据，甚或是同时获取和分析图像数据和路面点云数据。只要符合本发明的思想，均应在保护范围之内。
[0129]
对于车辆本地算力不足的具体情况，本发明另一实施例通过结合5g通信技术将行驶车辆与云端服务器结合，实施的车辆控制方法可参考图5所示，其具体实施步骤为：
[0130]
s501：道路信息采集部件和系统可以由行驶车辆实行；
[0131]
s502：采集的路面信息数据及车辆行驶必要参数打包后通过5g通信技术上传至云端服务器；
[0132]
s503：云端服务器通过执行道路异常检查、异常路面三维建模、仿真与模拟步骤得到车辆悬架调节指令；
[0133]
s504：车辆悬架调节指令经由5g通信技术下发至行驶车辆；
[0134]
最终由行驶车辆执行行车指令。
[0135]
以上步骤中，道路信息采集方法、道路异常检查、异常路面三维建模、仿真与模拟步骤等内容的实施方法与前一实施例相同，此处不再一一赘述。
[0136]
通过实施上述车辆控制方法，不仅可得到前一实施例所述的有益效果，还可以将计算压力转移到云端服务器上，充分发挥5g技术和云端算力的优势；同时能够将本地算力更好的分配在发动机、车窗以及信息娱乐系统的ecu(电子控制器单元)模块，最大限度减少系统的冗余和浪费，实现整车更好地自主管理。
[0137]
本发明还提供一种服务器，其被配置为执行以上所述的车辆控制方法，其中：云端服务器通过5g技术接收行驶车辆发送的道路和行车数据，并执行如图6所示的流程，将计算结果通过5g技术下发至行驶车辆，还可以共享给行驶车辆附近行驶的车辆，确保车辆能够安全通过。
[0138]
如图6示出了汽车控制方法的云端服务器的实施流程图，具体步骤如下：
[0139]
s601：道路异常检测。云端服务器接收到行驶路面前方信息后，计算路面点云数据的偏离信息来判断行驶车辆前方路面是否存在异常，具体地，可以通过激光雷达发射探测信号(激光束)，将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较计算出
点云点与路面的偏离距离，若偏离距离超常的点的数目超过预设阈值时，则为异常路面，低于预设阈值时，则为正常路面，然后对异常情况进行识别。
[0140]
s602：路面异常识别。若存在异常则进一步将双目摄像头拍摄的图像数据输入到提前训练好的深度学习模型中，进行路面异常类别识别。该深度学习模型具备对路面坑洼起伏、连续减速带、碎石、障碍物等路况分类能力。
[0141]
s603：路面三维建模。对异常路面进行三维建模，可以使用双目立体视觉融合激光雷达数据进行重构，其中双目立体视觉重建方法模拟人类双眼的立体成像原理，左右摄像机在同一时间拍摄场景中某一物体，通过三角几何关系和视差原理，获取左右摄像机相同视角下物体表面点的坐标信息，进而构建出物体的位置和形状。激光雷达三维重构是向目标发射探测信号(激光束)，然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较，获得目标的有关信息，如目标距离、方位、高度、姿态、甚至形状等参数，融合激光雷达测量数据矫正双目立体视觉三维重构中的图像匹配错误、定位错误等问题，得到更加精准的异常路面三维重建模型，生成路面3d地图模型。
[0142]
s604：汽车运动学和动力学仿真模拟。根据得到的异常路面三维模型、障碍物距离、角度和车辆行驶速度等信息使用simulnk软件进行车辆运动学和动力学仿真试验，间接模拟车辆实际通过异常路面的相关参数，如车速、转向角、悬架垂直力、外倾角、前束角、垂直力、悬架几何数据、质心侧偏角、路径曲率等。依据参数和多自由度运动学模型、车辆动力学模型求出车辆悬架调节方案，其中，多自由度运动学模型和车辆动力学模型，例如可以是simulnk软件提供的仿真模型，具体实施方式中技术人员可根据车型及相关设计参数灵活设定，此处不再展开。
[0143]
s605：基于5g通行技术将车辆悬架调节指令实时发送给车辆，进行主动悬架提前调整，确保驾驶操作平稳性，车辆通过性、舒适性和安全性。同时基于5g实时共享路面异常数据，提醒附近的驾驶员注意前方存在异常，需谨慎驾驶。
[0144]
以上步骤为云端服务器的一种可选的实施方式，实际上可以参考前文所述的实施方法进行组合，具体组合方式不再一一赘述。
[0145]
可以理解的是，本技术技术方案公布了采用云端处理器进行数据处理和共享，但并不限于云端处理方式。在车辆算力允许的情况下，也可以由车载算力完成数据处理和共享。
[0146]
另外，本发明还提供一种车辆其被配置为执行以上所述的车辆控制方法；以及本发明还提供一种系统，该系统包含以上所述的服务器以及以上所述的车辆。
[0147]
上述执行本发明所述车辆控制方法的云端服务器、车辆及系统，他们的实施有益效果与前文所述的车辆控制方法地有益效果相同，此处不再一一赘述。
[0148]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0149]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流
程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0150]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0151]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0152]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0153]
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
[0154]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0155]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0156]
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于此。在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，包括各个具体技术特征以任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。但这些简单变型和组合同样应当视为本发明所公开的内容，均属于本发明的保护范围。

技术特征：
1.一种路面检测方法，其特征在于，所述方法包括：获取车辆行驶路面的第一传感器数据；根据所述第一传感器数据，得到所述行驶路面是否存在异常的第一判断结果；在所述第一判断结果为所述行驶路面存在异常的情况下，获取所述行驶路面的第二传感器数据；根据所述第二传感器数据，得到所述行驶路面是否存在异常的第二判断结果；以及根据所述第一判断结果和所述第二判断结果，确定所述行驶路面是否存在异常；其中，所述第一传感器数据和所述第二传感器数据是通过使用不同类型的传感器采集的。2.根据权利要求1所述的路面检测方法，其特征在于，所述确定所述行驶路面是否存在异常包括：与逻辑判断方式：当所述第一判断结果和所述第二判断结果均为所述行驶路面存在异常时，确定所述行驶路面存在异常；或者，或逻辑判断方式：当所述第一判断结果和所述第二判断结果之一为所述行驶路面存在异常时，确定所述行驶路面存在异常。3.根据权利要求2所述的路面检测方法，其特征在于：根据所述车辆算力配置、驾驶路面和天气环境、驾驶模式、云服务器配置中的一者或多者，选择执行所述与逻辑判断方式或者所述或逻辑判断方式。4.根据权利要求1所述的路面检测方法，其特征在于：所述第一传感器数据和所述第二传感器数据由车载传感器采集并传输给云服务器；以及所述云服务器获取到所述第一传感器数据和所述第二传感器数据后执行：根据所述第一传感器数据，得到所述行驶路面是否存在异常的第一判断结果，同时根据所述第二传感器数据，得到所述行驶路面是否存在异常的第二判断结果；及通过以下条件之一者判断所述行驶路面存在异常：所述第一判断结果和所述第二判断结果均为所述行驶路面存在异常；或者，所述第一判断结果或所述第二判断结果为所述行驶路面存在异常。5.根据权利要求1所述的路面检测方法，其特征在于：所述第一传感器数据为路面点云数据和路面图像数据其中之一者；及所述第二传感器数据为路面点云数据和路面图像数据其中另一者。6.根据权利要求5所述的路面检测方法，其特征在于：所述路面点云数据通过激光雷达、毫米波雷达、超声波雷达其中之一者采集获取；及所述路面图像数据通过单目摄像机、双目摄像机、三目摄像机、环视摄像机其中之一者采集获取。7.根据权利要求5所述的路面检测方法，其特征在于，当所述第一传感器数据或所述第二传感器数据为所述路面点云数据时，所述根据所述第一传感器数据，得到所述行驶路面是否存在异常的第一判断结果，或，所述根据所述第二传感器数据，得到所述行驶路面是否存在异常的第二判断结果，包括：获取所述路面点云数据中的所有路面点的三维坐标；
计算所述行驶路面的平面s；遍历所述所有路面点，若所述路面点与所述平面s的距离超过第一预设阈值，则该路面点为异常点；以及累计异常点数量，若所述异常点数量大于第二预设阈值时，判断路面存在异常，否则不存在异常。8.根据权利要求7所述的路面检测方法，其特征在于，所述计算所述行驶路面的平面s的方法包括：获取所述车辆的底盘平面的法向量，将所述车辆的底盘平面的法向量作为所述平面s的法向量(a，b，c)；计算所述路面点云数据内的所有路面点的均值点a0(x0,y0,z0)；以及根据平面的点法公式：a(x-x0)+b(y-y0)+c(z-z0)＝0，求得所述平面s的方程：ax+by+cz+d＝0，其中x，y，z为平面s上点的坐标，a，b，c，d为所述平面s的方程的参数。9.根据权利要求5所述的路面检测方法，其特征在于，当所述第一传感器数据或所述第二传感器数据为所述路面图像数据时，所述根据所述第一传感器数据，得到所述行驶路面是否存在异常的第一判断结果，或，所述根据所述第二传感器数据，得到所述行驶路面是否存在异常的第二判断结果包括：将所述路面图像数据输入至训练后的深度学习模型，得到所述深度学习模型输出的所述行驶路面是否存在异常的判断结果。10.一种车辆控制方法，其特征在于：当根据所述1-9任一项所述的路面检测方法判断所述车辆行驶路面为异常路面时，执行如下步骤：对所述异常路面进行三维建模，得到异常路面三维模型；根据所述异常路面三维模型，获取车辆通过所述异常路面的行驶参数；根据所述行驶参数、运动学模型和车辆动力学模型得到车辆悬架调节方案；及控制车辆执行所述车辆悬架调节方案。11.根据权利要求10所述的车辆控制方法，其特征在于，所述对所述异常路面进行三维建模，得到异常路面三维模型包括：根据所述图像数据，计算图像数据特征点及其三维坐标；根据所述路面点云数据，计算路面点云数据特征点及其三维坐标；匹配所述图像数据特征点和所述路面点云数据特征点，并排除所述图像数据特征点和所述路面点云数据的无效点，得到匹配点及其三维坐标；以及合并所述匹配点及其三维坐标，得到所述异常路面三维模型。12.根据权利要求10所述的车辆控制方法，其特征在于，所述根据所述异常路面三维模型，仿真模拟车辆通过所述异常路面的行驶参数包括：获取并输入所述异常路面三维模型、车辆行驶数据和障碍物距离、角度信息至仿真工具，以模拟车辆通过异常路面的行驶参数。13.一种服务器，其被配置为执行根据权利要求1-9中任一项所述的路面检测方法和/或根据权利要求10-12中任一项所述的车辆控制方法。14.一种车辆，其被配置为执行根据权利要求1-9中任一项所述的路面检测方法和/或
根据权利要求10-12中任一项所述的车辆控制方法。15.一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行权利要求1-9中任意一项所述的路面检测方法和/或根据权利要求10-12中任一项所述的车辆控制方法。

技术总结
本发明涉及智能驾驶技术领域，提供一种车辆控制方法、服务器、车辆及存储介质。该方法包括：获取车辆行驶路面的第一传感器数据；根据第一传感器数据得到行驶路面是否存在异常的第一判断结果；在第一判断结果为行驶路面存在异常的情况下，获取行驶路面的第二传感器数据；根据第二传感器数据，得到行驶路面是否存在异常的第二判断结果；若第二判断结果为所述行驶路面存在异常，则控制车辆执行针对异常路面的行驶策略。该方法仅在初步判断路面存在异常情况下才对点云和图像数据同时处理，其它工况下只处理点云或图像数据，有效降低计算量的同时保证异常路面识别的精度。同时保证异常路面识别的精度。同时保证异常路面识别的精度。


技术研发人员：闫壮壮 杨冬生 刘柯 王欢 张谦
受保护的技术使用者：比亚迪股份有限公司
技术研发日：2022.03.22
技术公布日：2023/10/7