一种应对路面异常状态的智能网联汽车控制系统及方法

1.本发明涉及智能网联汽车控制技术领域，尤其是涉及一种应对路面异常状态的智能网联汽车控制系统及方法。


背景技术：

2.智能网联汽车通常由感知、决策和控制三部分组成，其中，感知系统为决策系统提供必需的环境信息，是智能网联汽车安全运行的基础，因此，为确保智能网联汽车的控制可靠性，当前对感知系统获取环境信息的全面性、准确性和时效性要求越来越高。
3.感知系统主要包括多个传感器，如激光雷达、毫米波雷达、相机等，多个传感器共同感知环境信息并将结果处理后传递给决策系统。但是，现有的传感器技术受限于工作原理，无法感知被遮挡区域的环境状态信息。尤其是在高速行驶时，若汽车前方遭遇道路局部坑洼或积水，由于感知系统无法感知积水坑的深度信息，此时需要人为降低速度，甚至在必要时下车查看，以确保汽车安全平稳通过。也就是说，在汽车遭遇类似的特殊路面状态时，感知系统无法有效的感知相关信息，必然会给汽车的行驶带来一定的安全隐患，导致汽车针对路面异常无法进行准确地决策控制。
4.此外，现有技术考虑借助道路基础设施与智能网联汽车之间的信息交互，以期能够帮助汽车感知系统全面获知路面状态信息，但在实际应用中，由于信息交互数据量过大，使得对于通信设备的带宽要求较高，而且汽车感知系统在接收到路面状态信息后，还需进行额外的数据处理操作，以上均不利于汽车及时、准确地进行决策控制，影响到车辆行驶的安全性及舒适性。


技术实现要素：

5.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种应对路面异常状态的智能网联汽车控制系统及方法，基于v2i(vehicle-to-infrastructure)通信技术，以解决智能网联汽车无法及时、全面、准确获知路面异常状态的问题，从而突破智能网联汽车感知系统的局限，使得智能网联汽车能够应对路面异常状态进行及时准确的决策控制，有效提高汽车行驶的安全性和舒适性。
6.本发明的目的可以通过以下技术方案来实现：一种应对路面异常状态的智能网联汽车控制系统，包括通过v2i方式通信连接的道路基础设施和智能网联汽车，所述智能网联汽车上搭载有车载通信设备以及决策控制单元，所述道路基础设施上搭载有传感器、信息处理后台及c-v2x(cellular vehicle-to-everything，基于蜂窝网络的车用无线通信技术)通信设备，所述传感器用于定期采集路面状态数据；
7.所述信息处理后台根据采集的路面状态数据，分析当前路面状态是否出现异常、并处理得到相应的异常信息；
8.所述c-v2x通信设备用于将异常信息发送至智能网联汽车的车载通信设备；
9.所述决策控制单元根据接收到的异常信息，完成相应决策控制，以输出动作指令
控制汽车的运动状态。
10.进一步地，所述传感器包括但不限于双目摄像头、激光雷达。
11.进一步地，所述信息处理后台设置有用于更新存储路面状态历史异常信息的数据库。
12.一种应对路面异常状态的智能网联汽车控制方法，包括以下步骤：
13.s1、根据预设采集频率，道路基础设施中的传感器定期采集路面状态数据；
14.s2、根据采集的路面状态数据，道路基础设施中的信息处理后台判断路面状态是否出现异常，若判断出现异常，则执行步骤s3，否则返回步骤s1；
15.s3、信息处理后台进一步处理得到异常信息，包括但不限于异常位置所涉及范围及垂向深度，并将该异常信息存储；
16.s4、将当前采集的路面状态数据与已存储的历史异常信息进行比较，以确定是否出现路面异常被覆盖，若为是，则由c-v2x设备将当前路面状态异常信息广播发送给智能网联汽车，否则返回步骤s1；
17.s5、智能网联汽车通过车载通信设备接收到路面状态异常信息；
18.s6、智能网联汽车的决策控制单元根据接收的异常信息，输出得到相应动作指令，以控制汽车的运动状态。
19.进一步地，所述步骤s1中预设采集频率不低于4次/天。
20.进一步地，所述步骤s2中信息处理后台具体是基于内置的感知算法，以判断路面状态是否出现异常，所述异常包括但不限于坑、洞、凹陷，所述感知算法包括但不限于视觉识别算法、点云识别算法。
21.进一步地，所述步骤s3具体包括以下步骤：
22.s31、根据传感器采集得到的路面状态数据，采用三维重建算法，处理得到路面异常部分的三维信息；
23.s32、根据三维信息，求解出异常部分的包围框、并计算异常部分平均垂向深度和最大垂向深度；
24.s33、道路基础设施根据自身在地图的位置坐标，结合包围框信息，计算得到异常部分包围框在地图中的绝对坐标；
25.s34、将路面状态出现异常以及对应异常部分的信息共同存储。
26.进一步地，所述步骤s31中三维重建算法包括但不限于nerf(neural radiance fields，神经辐射场)、sfm(structure from motion，运动恢复结构)。
27.进一步地，所述步骤s4具体包括以下步骤：
28.s41、将当前采集的路面状态数据与已存储的历史异常信息进行比较，从而判断路面异常部分是否被覆盖物遮挡，若判断为是，则执行步骤s42，否则返回步骤s1；
29.s42、信息处理后台将当前相关异常信息按顺序进行编码，生成c-v2x通信设备所需的广播报文并发送。
30.进一步地，所述c-v2x通信设备所需的广播报文具体包括以下组成内容：
31.1)表征覆盖物属性的代号；
32.2)路面异常部分包围框的绝对坐标信息，按照包围框东北ne、东南se、西南sw、西北nw四个顶点的顺序组成；
33.3)路面异常部分的平均垂向深度和最大垂向深度。
34.与现有技术相比，本发明具有以下优点：
35.一、本发明基于v2i通信技术，将道路基础设施和智能网联汽车进行通信连接，能够实现智能网联汽车与道路基础设施间的信息交互，并且能够保证通信的实时性和准确性；本发明在道路基础设施上搭载有传感器、信息处理后台及c-v2x通信设备，利用传感器定期采集路面状态数据，利用信息处理后台分析当前路面状态是否出现异常、并处理得到相应的异常信息，利用c-v2x通信设备将异常信息发送至智能网联汽车的车载通信设备，由此既能够有效降低通信时延、提升通信距离，并且能够直接由道路基础设施处理得到路面异常信息再发送给车辆，使得智能网联汽车能够及时、全面、准确获知路面异常状态，从而能够应对路面异常状态进行及时准确的决策控制，有效提高汽车行驶的安全性和舒适性。
36.二、本发明在道路基础设施的信息处理后台设置数据库，用于更新存储路面状态历史异常信息，从而能够方便地对当前路面状态进行比较判断，使得道路基础设施能够快速、准确地确定出当前路面是否出现路面异常被覆盖。
37.三、本发明考虑到路面异常信息具有形状不规则、导致信息难以准确方便可靠地进行传输，故设计以下方法：首先采用三维重建算法处理得到路面异常部分的三维信息，基于此再求解出异常部分的包围框并计算异常部分平均垂向深度和最大垂向深度，之后计算异常部分包围框在地图中的绝对坐标，将包围框坐标以及垂向的平均和最大深度信息进行编码后再广播发送，不仅简化了c-v2x通信设备的广播报文信息，降低了带宽要求，同时也能获取并传递在道路异常部分被覆盖时的具体信息、并确保信息传输的准确性。
附图说明
38.图1为本发明的系统结构示意图；
39.图2为本发明的方法流程示意图；
40.图3为实施例中路面异常信息示意图；
41.图4为本发明中c-v2x广播报文组成内容示意图；
42.图中标记说明：
43.1、道路基础设施，2、智能网联汽车，101、传感器，102、信息处理后台，103、c-v2x通信设备，201、车载通信设备，202、决策控制单元。
具体实施方式
44.下面结合附图和具体实施例对本发明进行详细说明。
45.实施例
46.如图1所示，一种应对路面异常状态的智能网联汽车控制系统，包括通过v2i方式通信连接的道路基础设施1和智能网联汽车2，智能网联汽车2上搭载有车载通信设备201以及决策控制单元202，道路基础设施1上搭载有传感器101、信息处理后台102及c-v2x通信设备103，其中，传感器101用于定期采集路面状态数据；
47.信息处理后台102根据采集的路面状态数据，分析当前路面状态是否出现异常、并处理得到相应的异常信息；
48.c-v2x通信设备103用于将异常信息发送至智能网联汽车2的车载通信设备201；
49.决策控制单元202根据接收到的异常信息，完成相应决策控制，以输出动作指令控制汽车的运动状态。
50.实际应用中，传感器101包括但不限于双目摄像头、激光雷达，此外，信息处理后台102还设置有用于更新存储路面状态历史异常信息的数据库，从而能够方便准确地将当前采集的路面状态数据与历史异常信息进行比较判断。
51.应用上述系统，实现一种应对路面异常状态的智能网联汽车控制方法，如图2所示，包括以下步骤：
52.s1、根据预设采集频率，道路基础设施中的传感器定期采集路面状态数据，其中，传感器感知路面状态的频率应不低于4次/天，传感器包括但不限于双目摄像头、激光雷达等设备；
53.s2、根据采集的路面状态数据，道路基础设施中的信息处理后台判断路面状态是否出现异常，若判断出现异常，则执行步骤s3，否则返回步骤s1，其中，信息处理后台具体是基于视觉识别算法、或基于激光雷达点云识别算法等，以判断路面状态是否出现异常(坑、洞等)；
54.s3、信息处理后台进一步处理得到异常信息，包括但不限于异常位置所涉及范围及垂向深度，并将该异常信息存储；
55.具体的：
56.步骤31：若判断路面状态出现异常，则根据传感器所采集得到的信息，采用三维重建算法，如nerf(neural radiance fields)、sfm(structure from motion)等处理得到路面异常部分的三维信息；
57.步骤32：路面异常部分形状通常不规则，为了便于信息传递，根据步骤31所求得的三维信息，求解出异常部分的包围框并计算异常部分平均和最大垂向深度；
58.步骤33：道路基础设施根据自身在地图的位置坐标，结合步骤32所求包围框信息，计算异常部分包围框在地图中的绝对坐标；
59.步骤34：信息处理后台将路面状态出现异常以及异常部分的信息共同留存至历史信息中；
60.s4、将当前采集的路面状态数据与已存储的历史异常信息进行比较，以确定是否出现路面异常被覆盖，若为是，则由c-v2x设备将当前路面状态异常信息广播发送给智能网联汽车，否则返回步骤s1；
61.具体的：
62.步骤41：道路基础设施基于其上搭载的传感器定期采集的信息，同时与步骤3留存的历史信息进行比较，从而判断路面异常部分是否被覆盖物(积水、积雪、落叶等)遮挡；
63.步骤42：若异常部分被覆盖，则道路基础设施上的信息处理后台将相关信息按顺序进行编码，生成c-v2x通信设备所需的广播报文并发送，c-v2x通信设备广播报文的组成内容包括：
64.1)表征覆盖物属性的代号；
65.2)路面异常部分包围框的绝对坐标信息，按照包围框东北ne、东南se、西南sw、西北nw四个顶点的顺序组成；
66.3)路面异常部分的平均垂向深度和最大垂向深度；
67.s5、智能网联汽车通过车载通信设备接收到路面状态异常信息，为实现更好的效果，智能网联汽车需至少提前100m接收到路面异常的信息；
68.s6、智能网联汽车的决策控制单元根据接收的异常信息，输出得到相应动作指令，以控制汽车的运动状态，即利用现有的智能网联汽车决策控制技术，一方面接收道路基础设施传递的路面异常信息，同时结合自身感知系统感知信息，共同作为决策控制单元的输入，以保证汽车能够安全舒适地通过路面异常部分。
69.本实施例中，首先在道路条件恶劣或道路条件易被破坏的路段上设置道路基础设施，在道路基础设施上搭载：
70.a)高清双目摄像头，用于定期采集道路信息；
71.b)信息处理后台，用于处理采集到的道路信息，并将处理结果进行编码；
72.c)c-v2x通信设备，用于将编码好的结果信息广播至周围的智能网联车辆。相较于dsrc设备，c-v2x可使用现有的蜂窝网络道路基础设施，提供更好的安全性、更长的通信范围，以及从4g到5g甚至更高的技术进化路径。
73.另外在智能网联汽车上搭载车载通信设备，用于接收道路基础设施发送的异常信息。
74.若汽车在行驶时，前方遭遇一个积水坑，此情况无论是对人类驾驶员还是智能网联汽车的感知系统，都无法判断水坑内的实际深度情况，此时，只能由人类驾驶员停车检查，以确保车辆可以安全顺利通过。在这样的场景下，应用本技术方案，能够有效解决这一问题。
75.一、道路基础设施中的双目摄像头定期感知路面状态；
76.二、根据收集的信息，利用全卷积神经网络，对采集到的图像进行语义分割，根据分割后的结果，道路基础设施中的信息处理后台判定路面状态出现异常坑；
77.三、根据同时采集的左右路面图像，运用立体匹配算法生成视差图，在对视差图进行滤波降噪处理后，如图3所示，计算求解得到对应的深度图，最后利用深度图获取路面异常部分的三维信息。求解计算包围框相对道路基础设施的二维坐标，得到ne：(15.56，18.34)，se：(15.56，18.08)，sw：(14.97，18.08)，nw：(14.97，18.34)。随后，道路基础设施根据自身在全局高清地图的位置坐标，结合所求相对二维坐标，计算异常部分包围框在全局高清地图中的绝对坐标；
78.四、道路基础设施中的信息处理后台根据步骤三求解的深度图，计算异常部分的平均垂向深度为0.1米和最大垂向深度为0.15米，同时将道路出现异常、所求包围框信息、所求深度信息记录至历史信息中；
79.五、经与历史信息相对比，道路基础设施感知到异常部分被积水覆盖，其上的信息处理后台将相关信息按顺序进行编码(如图4所示)，生成c-v2x设备所需的广播报文，并由c-v2x设备进行发送；
80.六、附近智能网联汽车上的车载通信设备在接收到异常信息后，结合自身感知系统信息，一并传递给决策控制单元，辅助汽车发出安全舒适的动作指令。
81.综上可知，本技术方案突破了智能网联汽车现有感知系统的局限，借助v2i通信技术，解决了被覆盖的异常道路部分信息的采集与传递问题；本技术方案将形状不规则的异常道路信息，通过广播其包围框坐标以及垂向的平均和最大深度信息，既能够获取并传递
在道路异常部分被覆盖时的具体信息，同时简化了c-v2x设备的广播报文信息，降低了所需通信设备的带宽要求；本方案中，路面信息采集与处理均在道路基础设施端完成，信息处理的结果直接传递给车端，且无需复杂的进一步处理即可传递给决策控制单元，降低了对智能网联汽车决策控制系统的要求。

技术特征：
1.一种应对路面异常状态的智能网联汽车控制系统，其特征在于，包括通过v2i方式通信连接的道路基础设施(1)和智能网联汽车(2)，所述智能网联汽车(2)上搭载有车载通信设备(201)以及决策控制单元(202)，所述道路基础设施(1)上搭载有传感器(101)、信息处理后台(102)及c-v2x通信设备(103)，所述传感器(101)用于定期采集路面状态数据；所述信息处理后台(102)根据采集的路面状态数据，分析当前路面状态是否出现异常、并处理得到相应的异常信息；所述c-v2x通信设备(103)用于将异常信息发送至智能网联汽车(2)的车载通信设备(201)；所述决策控制单元(202)根据接收到的异常信息，完成相应决策控制，以输出动作指令控制汽车的运动状态。2.根据权利要求1所述的一种应对路面异常状态的智能网联汽车控制系统，其特征在于，所述传感器(101)包括但不限于双目摄像头、激光雷达。3.根据权利要求1所述的一种应对路面异常状态的智能网联汽车控制系统，其特征在于，所述信息处理后台(102)设置有用于更新存储路面状态历史异常信息的数据库。4.一种应用如权利要求1所述智能网联汽车控制系统的应对路面异常状态的智能网联汽车控制方法，其特征在于，包括以下步骤：s1、根据预设采集频率，道路基础设施中的传感器定期采集路面状态数据；s2、根据采集的路面状态数据，道路基础设施中的信息处理后台判断路面状态是否出现异常，若判断出现异常，则执行步骤s3，否则返回步骤s1；s3、信息处理后台进一步处理得到异常信息，包括但不限于异常位置所涉及范围及垂向深度，并将该异常信息存储；s4、将当前采集的路面状态数据与已存储的历史异常信息进行比较，以确定是否出现路面异常被覆盖，若为是，则由c-v2x设备将当前路面状态异常信息广播发送给智能网联汽车，否则返回步骤s1；s5、智能网联汽车通过车载通信设备接收到路面状态异常信息；s6、智能网联汽车的决策控制单元根据接收的异常信息，输出得到相应动作指令，以控制汽车的运动状态。5.根据权利要求4所述的一种应对路面异常状态的智能网联汽车控制方法，其特征在于，所述步骤s1中预设采集频率不低于4次/天。6.根据权利要求4所述的一种应对路面异常状态的智能网联汽车控制方法，其特征在于，所述步骤s2中信息处理后台具体是基于内置的感知算法，以判断路面状态是否出现异常，所述异常包括但不限于坑、洞、凹陷，所述感知算法包括但不限于视觉识别算法、点云识别算法。7.根据权利要求4所述的一种应对路面异常状态的智能网联汽车控制方法，其特征在于，所述步骤s3具体包括以下步骤：s31、根据传感器采集得到的路面状态数据，采用三维重建算法，处理得到路面异常部分的三维信息；s32、根据三维信息，求解出异常部分的包围框、并计算异常部分平均垂向深度和最大垂向深度；
s33、道路基础设施根据自身在地图的位置坐标，结合包围框信息，计算得到异常部分包围框在地图中的绝对坐标；s34、将路面状态出现异常以及对应异常部分的信息共同存储。8.根据权利要求7所述的一种应对路面异常状态的智能网联汽车控制方法，其特征在于，所述步骤s31中三维重建算法包括但不限于nerf、sfm。9.根据权利要求7所述的一种应对路面异常状态的智能网联汽车控制方法，其特征在于，所述步骤s4具体包括以下步骤：s41、将当前采集的路面状态数据与已存储的历史异常信息进行比较，从而判断路面异常部分是否被覆盖物遮挡，若判断为是，则执行步骤s42，否则返回步骤s1；s42、信息处理后台将当前相关异常信息按顺序进行编码，生成c-v2x通信设备所需的广播报文并发送。10.根据权利要求9所述的一种应对路面异常状态的智能网联汽车控制方法，其特征在于，所述c-v2x通信设备所需的广播报文具体包括以下组成内容：1)表征覆盖物属性的代号；2)路面异常部分包围框的绝对坐标信息，按照包围框东北ne、东南se、西南sw、西北nw四个顶点的顺序组成；3)路面异常部分的平均垂向深度和最大垂向深度。

技术总结
本发明涉及一种应对路面异常状态的智能网联汽车控制系统及方法，该系统包括通过V2I方式通信连接的道路基础设施和智能网联汽车，该方法包括：道路基础设施中的传感器定期感知路面状态；经由信息处理后台判断后，若路面状态出现异常，求解得到异常位置所涉及范围及垂向深度等信息，并留存至历史信息中；将当前路面状态信息与已留存的历史信息进行比较，若感知到积水、积雪等覆盖异常部分时，则由C-V2X设备广播发送路面状态异常信息给附近的智能网联车辆；智能网联汽车再通过决策控制单元输出相应的动作指令，以控制汽车的运动状态。与现有技术相比，本发明突破了智能网联汽车自身感知系统的局限，解决了异常道路部分被覆盖情况下的信息采集与传递问题。下的信息采集与传递问题。下的信息采集与传递问题。


技术研发人员：陈君毅 刘镇源 姜为 肖文博 吴新政
受保护的技术使用者：同济大学
技术研发日：2023.05.30
技术公布日：2023/8/14