一种交通信息传输系统、路侧单元及数据处理方法与流程

1.本技术涉及智能交通技术领域，特别涉及一种交通信息传输系统、路侧单元及数据处理方法。


背景技术：

2.v2x(vehicle to everything，车到一切的互联)是智能交通应用的核心通信技术之一，可以通过v2v(virtual to virtual，车车通信)、v2p(virtual to prdsetrian，车人通信)、v2i(virtual to infrastructure，车路通信)以及v2n(virtual to network)等方式实现信息交互和共享，使车辆与路端环境协同与配合，实现智能交通管理控制、车辆智能化控制和智能动态信息服务。
3.rsu(road side unit，路侧单元)是部署在路侧的通信设备，通常与路侧工控机连接，路侧工控机与安装在路侧的激光雷达，毫米波雷达，摄像头等多种传感器连接。激光雷达，毫米波雷达，摄像头等多种传感器用于采集道路上的数据，并将获取得到的数据发送到路侧工控机上。路侧工控机对接收到的数据进行处理后得到处理结果，将处理结果发给rsu，再通过rsu进行通信传递。所以，现有技术中，部署每个rsu都需要部署配套的路侧工控机，导致交通信息传输系统中的设备过多，功耗很高。并且，在数据处理的过程中需要经过多个设备进行处理和转发，信令开销大，数据处理过程效率低。


技术实现要素：

4.为了解决上述现有技术中的问题，本技术实施例提供一种交通信息传输系统，直接利用路侧单元对传感器采集的道路环境数据进行处理，降低交通信息传输系统功率，提高数据处理效率。
5.第一方面，本技术实施例提供了一种路侧单元，包括通信接口、主控单元和深度学习模块；
6.所述主控单元用于通过所述通信接口接收安装在路侧的多个传感器采集的道路环境数据，采用所述深度学习模块对所述道路环境数据进行处理，获得路面通行状况信息，以及，通过所述通信接口将所述路面通行状况信息发送至与所述路侧单元进行通信的车辆中的车载单元。
7.在一种可能的实施方式中，所述多个传感器采集的道路环境数据包括：雷达传感器采集的道路环境雷达数据和视觉传感器采集的道路环境视频数据。
8.在一种可能的实施方式中，所述深度学习模块包括ai芯片；
9.所述ai芯片，用于基于所述道路环境雷达数据和所述道路环境视频数据，得到数据处理结果，并将所述数据处理结果发送至所述主控单元；所述道路环境雷达数据和所述道路环境视频数据是同一时刻不同传感器采集的数据；
10.所述主控单元，用于基于接收到的所述数据处理结果，得到所述路面通行状态信息。
11.在一种可能的实施方式中，所述主控单元，用于将基于所述道路环境雷达数据和所述道路环境视频数据得到的融合信息发送至所述ai芯片；
12.所述ai芯片用于对接收到的融合信息进行处理，并向所述主控单元发送得到的数据处理结果。
13.在一种可能的实施方式中，所述融合信息为道路环境融合数据；或者，所述融合信息为对道路环境融合数据进行特征提取，得到的融合数据特征；所述道路环境融合数据是将所述道路环境雷达数据和所述道路环境视频数据进行融合得到的。
14.在一种可能的实施方式中，所述ai芯片的数量为多个；所述数据处理结果为路面通行状况信息片段；
15.所述主控单元用于将所述融合信息分为多个融合信息段分别发送至多个ai芯片；
16.每个ai芯片用于对接收到的融合信息段进行处理，向所述主控单元返回得到的路面通行状况信息片段；
17.所述主控单元还用于接收每个ai芯片返回的路面通行状况信息片段，并将接收到的多个路面通行状况信息片段进行合并，得到所述路面通行状况信息。
18.在一种可能的实施方式中，所述ai芯片包括至少一个第一ai芯片和至少一个第二ai芯片；所述数据处理结果包括第一结构化结果和第二结构化结果；
19.所述主控单元，用于将道路环境雷达数据发送至所述第一ai芯片，以及将道路环境视频数据发送至所述第二ai芯片；
20.所述第一ai芯片，用于对接收到的道路环境雷达数据进行处理，并向所述主控单元发送得到的第一结构化结果；
21.所述第二ai芯片，用于对接收到的道路环境视频数据进行处理，并向所述主控单元发送得到的第二结构化结果；
22.所述主控单元，还用于将所述第一结构化结果与所述第二结构化结果进行融合，得到所述路面通行状况信息。
23.第二方面，本技术实施例提供了一种交通信息传输系统，包括安装在路侧的多个传感器、路侧单元和与所述路侧单元进行通信的车辆中的车载单元；
24.所述多个传感器用于采集道路环境数据，并将采集的道路环境数据发送至路侧单元；
25.所述路侧单元用于接收所述多个传感器采集的道路环境数据，并采用深度学习模块对所述道路环境数据进行处理，获得路面通行状况信息，将所述路面通行状况信息发送至所述车载单元。
26.在一种可能的实施方式中，所述多个传感器包括用于采集道路环境雷达数据的雷达传感器和用于采集道路环境视频数据的视觉传感器。第三方面，本技术实施例提供了一种数据处理方法，应用于路侧单元，所述方法包括：
27.接收安装在路侧的多个传感器采集的道路环境数据；
28.采用深度学习模块对所述道路环境数据进行处理，获得路面通行状况信息；
29.将所述路面通行状况信息发送至与所述路侧单元进行通信的车辆中的车载单元。
30.在一种可能的实施方式中，所述深度学习模块包括ai芯片，采用深度学习模块对所述道路环境数据进行处理，获得路面通行状况信息，包括：
31.采用ai芯片基于所述道路环境雷达数据和所述道路环境视频数据，得到数据处理结果；
32.基于所述数据处理结果，得到所述路面通行状态信息。
33.在一种可能的实施方式中，采用ai芯片基于所述道路环境雷达数据和所述道路环境视频数据，得到数据处理结果，包括：
34.基于所述接收到的道路环境雷达数据和所述道路环境视频数据得到融合信息；
35.利用所述ai芯片基于所述融合信息得到所述数据处理结果。
36.在一种可能的实施方式中，所述融合信息为道路环境融合数据；或者，所述融合信息为对道路环境融合数据进行特征提取，得到的融合数据特征；所述道路环境融合数据是将所述道路环境雷达数据和所述道路环境视频数据进行融合得到的。
37.在一种可能的实施方式中，所述ai芯片的数量为多个；所述数据处理结果为路面通行状况信息片段；
38.将得到的所述融合信息分为多个融合信息段；
39.采用多个ai芯片分别对多个融合信息段进行处理，得到多个路面通行状况信息片段；
40.将所述多个路面通行状况信息片段进行合并，得到所述路面通行状况信息。
41.在一种可能的实施方式中，所述深度学习模块包括至少一个第一ai芯片和至少一个第二ai芯片，所述采用深度学习模块对所述道路环境数据进行处理，获得路面通行状况信息，包括：
42.采用所述第一ai芯片对所述道路环境雷达数据进行处理，得到第一结构化结果；
43.采用所述第二ai芯片对所述道路环境视频数据进行处理，得到第二结构化结果；
44.将所述第一结构化结果与所述第二结构化结果进行融合，得到所述路面通行状况信息。
45.第四方面，本技术实施例提供了一种芯片，包括：存储器、收发机以及处理器；
46.所述存储器，用于存储计算机程序；
47.所述收发机，用于在所述处理器的控制下收发数据；
48.所述处理器，用于读取所述存储器中的计算机程序，并执行如下步骤：接收安装在路侧的多个传感器采集的道路环境数据；采用深度学习模块对所述道路环境数据进行处理，获得路面通行状况信息；将所述路面通行状况信息发送至与所述路侧单元进行通信的车辆中的车载单元。
49.第五方面，本技术实施例提供了一种计算机可读存储介质，所述存储介质存储有计算机指令，所述计算机指令被处理器执行时实现第三方面中任一项所述的方法。
50.第六方面，本技术实施例提供了一种计算机程序产品，包含有计算机可执行指令，所述计算机可执行指令用于使计算机执行第三方面中任一项所述的方法。
51.本技术实施例提供的交通信息传输系统中，在部署路侧单元时无需部署路侧工控机或路侧计算单元，直接利用路侧单元对多个传感器采集的道路环境数据，并将处理得到的路面通行状况信息发送到车载单元。不仅节省建设过程中的建造成本，还可以免去将数据发送到路侧工控机，再转发到路侧单元的过程。所以，本技术实施例提供的交通信息传输系统可以节省信令开销，降低功耗，提高数据处理的效率。
52.上述路侧单元中搭载有深度学习模块和主控单元，具备对数据的处理能力，所以可以直接对多个传感器采集的道路环境数据进行处理，得到路面通行状况信息。无需在建设过程中部署与路侧单元配套的路侧工控机或路侧计算单元，节省建造成本，并且也无需在数据处理的过程中将数据先发送到路侧工控机或路侧计算单元进行处理，在将路侧工控机或路侧计算单元的处理结果转发到路侧单元，减少了数据进行中转的过程，节省信令开销，降低了功耗的同时，也可以提高数据处理的效率。
附图说明
53.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
54.图1为本技术实施例提供的一种现有技术中的交通信息传输系统的结构示意图；
55.图2为本技术实施例提供的一种交通信息传输系统的结构示意图；
56.图3为本技术实施例提供的一种路侧单元的结构示意图；
57.图4为本技术实施例提供的一种路侧单元处理数据的流程示意图之一；
58.图5为本技术实施例提供的一种路侧单元处理数据的流程示意图之二；
59.图6为本技术实施例提供的一种路侧单元处理数据的流程示意图之三；
60.图7为本技术实施例提供的一种路侧单元处理数据的流程示意图之四；
61.图8为本技术实施例提供的一种数据处理方法的流程示意图；
62.图9为本技术实施例提供的一种数据后融合的数据处理方法的流程示意图；
63.图10为本技术实施例提供的一种数据前融合的数据处理方法的流程示意图之一；
64.图11为本技术实施例提供的一种数据前融合的数据处理方法的流程示意图之二；
65.图12为本技术实施例提供的一种数据前融合的数据处理方法的流程示意图之三；
66.图13为本技术实施例提供的一种芯片的结构示意图。
具体实施方式
67.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
68.需要说明的是，本技术的文件中涉及的术语“包括”和“具有”以及它们的变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
69.针对现有技术中的v2x的路口部署方案，图1示出了一种现有技术中的交通信息传输系统的结构示意图。如图1所示。该交通信息传输系统100可以包括路侧单元110、车载单元120、路侧工控机130以及包括多个传感器的数据获取单元140。
70.其中，数据获取单元140可以包括雷达传感器141和视觉传感器142。数据获取单元
140中的传感器用于采集道路环境数据，并将采集的道路环境数据通过以太网发送至路侧工控机130。
71.路侧工控机130内部部署雷达与摄像头的检测算法与不同传感器的融合感知算法，路侧工控机130经过传感器的检测算法与雷达摄像头的不同传感器感知融合后，将融合结果通过以太网发送给路侧单元110。
72.路侧单元110用于接收路侧工控机130发送的融合结果，再将融合结果通过pc5口以广播的方式发送给搭载在过往车辆上的obu，从而实现将传感器采集的道路环境数据及时有效的推送给智能网联车辆，使得车辆能够感知的更远，提前得到路面通信状况信息，达到车路协同的预期。
73.车载单元120用于接收路侧单元110发送的路面通信状况信息。
74.在现有的技术方案中，针对路侧的各种传感器采集到的道路环境数据，主要是采用路侧部署的路侧工控机对道路环境数据进行处理，致使交通信息传输系统中的设备较多，带来很多问题。比如，首先是成本问题，针对多个传感器的道路环境数据均需要路侧工控机或者路侧计算单元进行处理，就需要在每个存在传感器的路口均部署路侧工控机，同时，部署路侧工控机时，还需要配套的机柜，空调等，这些设备的部署会增加整体方案设备费用的支出，成本很高。并且，在部署的过程中需要考虑到施工建设问题，道路以及城市绿化方面的设计也是隐形成本。其次，需要考虑功耗的问题，路侧工控机的功耗一般在500瓦到800瓦左右，功耗很高。最后，还需要考虑到数据传输过程以及后续维护的问题，数据需要路侧工控机进行处理在转发到路侧单元，数据传输的过程中就可能会出现传输失误等问题，后续维护工控机等设备也会增加费用。
75.所以，针对上述问题，本技术实施例提供了一种交通信息传输系统，图2为本技术实施例提供的一种交通信息传输系统的结构示意图，该交通信息传输系统200可以包括路侧单元210、车载单元220以及包括多个传感器的数据获取单元230。
76.其中，数据获取单元230中可以包括多个传感器，如用于采集道路环境雷达数据的雷达传感器231和用于采集道路环境视频数据的视觉传感器232。雷达传感器231可以采用毫米波雷达和激光雷达，视觉传感器232可以采用摄像头。
77.数据获取单元230用于采集道路环境数据，并将采集的道路环境数据发送至路侧单元210。
78.路侧单元210用于接收多个传感器采集的道路环境数据，并采用深度学习模块对道路环境数据进行处理，获得路面通行状况信息，将路面通行状况信息发送至车载单元220。其中，深度学习模块可以包括一个ai芯片或者多个ai芯片，利用ai芯片对道路环境数据进行处理，得到路面通行状况信息。
79.车载单元220用于接收路侧单元210发送的路面通行状况信息。
80.本技术实施例提供的交通信息传输系统200中，直接利用路侧单元210接收数据获取单元230发送的道路环境数据，并利用深度学习模块对道路环境数据进行处理，就可以得到最终要发送到车载单元220的路面通行状况信息。将深度学习模块内嵌入rsu设备中，使用具备数据处理能力的路侧单元直接对道路环境数据进行处理，省去了传统的路侧工控机。首先，在建设交通信息传输系统200时，可以节省建造工控机或计算单元的建设成本，也无需购买工控机以及建造工控机配套的机柜等，大幅度节省设备的成本。其次，现有技术中
依赖工控机等设备处理道路环境数据所消耗的功率比本技术实施例中提供的交通信息传输系统中直接使用路侧单元处理道路环境数据所消耗的功率多，本技术实施例中提供的交通信息传输系统可以在整体上降低功耗。最后，本技术实施例提供的交通信息传输系统200可以直接对道路环境数据进行处理，无需进行多次的数据传输，节省信令开销，处理数据的效率也有所提高。
81.在一些可选的实施例中，交通信息传输系统200中还可以包括交通灯信号机、路侧可变信息牌以及用于连接网络的网络平台。
82.其中，交通灯信号机用于将交通灯的灯态数据通过以太网发送到路侧单元210中，以使路侧单元210对灯态数据进行处理，并将控灯命令返回交通灯信号机。
83.与上述实施例相对应地，本技术实施例还提供了一种路侧单元。该路侧单元可以是图2中所示的交通信息传输系统中的路侧单元210，该路侧单元至少包括主控单元、深度学习模块以及用于通信的通信接口。
84.图3为本技术实施例提供的一种路侧单元的结构示意图，如图3所示，本技术实施例中该路侧单元可以包括：通信接口310、主控单元320、深度学习模块330和总线340。通信接口310、主控单元320以及深度学习模块330均通过总线340连接，该总线340用于该通信接口310、主控单元320以及深度学习模块之间传输数据。
85.其中，通信接口310用于路侧单元210与交通信息传输系统200中的其他设备进行通信，但是具体的通信方式不做限定，可以包括通过以太网的方式进行通信，通过v2x接口的方式进行通信，或通过4g/5g的方式进行通信。
86.主控单元320用于通过通信接口310接收安装在路侧的多个传感器采集的道路环境数据以及通过通信接口310将路面通行状况信息发送至与路侧单元210进行通信的车辆中的车载单元220。
87.深度学习模块330用于对道路环境数据进行处理，获得路面通行状况信息。深度学习模块中可以包括ai芯片，可以包括一个ai芯片或者多个ai芯片。利用ai芯片对道路环境数据进行处理，得到路面通行状况信息。
88.在一种可能的实施例中，ai芯片用于基于道路环境雷达数据和道路环境视频数据，得到数据处理结果，并将数据处理结果发送至主控单元320。主控单元320基于接收到的数据处理结果，得到路面通行状态信息。
89.其中，道路环境雷达数据和道路环境视频数据是同一时刻不同传感器采集的数据。
90.在一种可能的实施方式中，多个传感器采集的道路环境数据包括：雷达传感器231采集的道路环境雷达数据和视觉传感器232采集的道路环境视频数据。
91.下面以道路环境数据为雷达传感器231采集的道路环境雷达数据和视觉传感器232采集的道路环境视频数据为例，结合具体的实施例对本技术实施例中路侧单元210对道路环境数据进行处理的过程进行详细说明：
92.方式一：路侧单元210先采用深度学习模块330分别对接收到的道路环境雷达数据和道路环境视频数据进行处理，得到结构化结果，再利用主控单元320将得到的结构化结果进行融合，最终得到路面通行状况信息。
93.具体地，路侧单元210中的深度学习模块330包括至少一个第一ai芯片和至少一个
第二ai芯片，主控单元320用于将道路环境雷达数据发送至第一ai芯片，第一ai芯片用于对接收到的道路环境雷达数据进行处理，并向主控单元320返回得到的第一结构化结果。主控单元320用于将道路环境视频数据发送至第二ai芯片，第二ai芯片用于对接收到的道路环境视频数据进行处理，并向主控单元320返回得到的第二结构化结果。主控单元320还用于将接收到的第一结构化结果与第二结构化结果进行融合，得到路面通行状况信息。
94.其中，道路环境雷达数据和道路环境视频数据是同一时刻不同传感器采集的数据。第一结构化结果包括：道路环境雷达数据中包含的各个对象的三维数据信息、速度、加速度、以及各个对象与雷达传感器之间的距离。第二结构化结果包括：道路环境视频数据中包含的各个对象的类别和颜色信息。
95.结合图4，以深度学习模块330包括一个第一ai芯片和一个第二ai芯片为例，主控单元320与第一ai芯片和第二ai芯片均通过高速数据接口进行连接。主控单元320接收雷达传感器采集的道路环境雷达数据和视觉传感器采集的道路环境视频数据，将道路环境雷达数据发送到第一ai芯片，将道路环境视频数据发送至第二ai芯片。
96.第一ai芯片和第二ai芯片对数据处理完成后，分别将得到的第一结构化结果和第二结构化结果发送至主控单元320，利用主控单元320对第一结构化结果和第二结构化结果的融合感知处理，得到路面通行状况信息。
97.示例性地，道路环境雷达数据可以称为点云数据，第一ai芯片中可以部署点云数据检测算法检测接收到的数据的类型，具体可以使用pcl(point cloud library，点云库)数据接收的方式接收主控单元320发送的点云数据，将接收到的点云数据经过特征表达和深度学习网络进行特征提取，得到第一结构化结果。
98.其中，点云数据是指一个三维坐标系统中的一组向量的集合。第一ai芯片通过部署的点云数据检测算法，扫描点云数据，记录每一点包含的三维坐标，有些可能包含颜色信息或者反射强度信息。
99.对上述得到的三维坐标信息进行处理，根据不同的坐标信息，可以得到道路上各个对象与雷达传感器之间的距离，或者，通过不同时间对同一个对象的三维坐标信息进行分析就可以确定此对象这段时间的速度，加速度等结构化数据结果。将雷达传感器采集到的点云数据处理成为可供计算机或者人理解的文本信息，就是最终得到的第一结构化结果。需要说明的是，第一结构化结果中还可以包括前方不动物体的位置信息等。
100.示例性地，将道路环境视频数据发送至第二ai芯片，第二ai芯片利用视频数据的检测方法接收视频数据，具体可以利用yuv颜色编码方法。需要将道路环境视频数据处理成为结构化数据，结构化数据有利于最终的融合处理，将视频数据进行结构化处理的过程可以有很多种，如，将道路环境视频数据按照语义关系进行分割、采用时空分割、特征提取、深度学习等方式进行处理；或者，也可以选择使用跟踪匹配算法的方式对道路环境视频数据进行时域和频域上的分析来得到结构化结果。
101.本技术实施例中可以通过先对道路环境视频数据进行预处理，经过深度学习网络的特征提取，最后采用跟踪匹配算法的方式得到第二结构化结果。对数据的预处理方式不做限定，不影响本技术实施例提供的道路环境视频数据的处理过程即可。需要说明的是，第二结构化结果可以包括能够从视频数据中通过特征表达和跟踪匹配而得出的各种结构化结果。
102.对上述道路环境视频数据的处理得到第二结构化结果，其中可以包括根据视频数据处理得到的很多结构化数据信息，如各个对象的类别信息和颜色信息。其中，各个对象可以包括但不限于车辆、行人、道路设施等。
103.由上述可知，对道路环境雷达数据进行处理可以得到对应的第一结构化结果，但是第一结构化结果中每个对象的颜色信息并不准确，并且基于雷达传感器中得到的三维信息能够判断出各个对象的大小，但是无法准确判断各个对象的类型，所以，需要通过不同的传感器采集多种数据，并通过主控单元320对多个结构化结果进行融合。如，将第二结构化结果和第一结构化结果中同一个对象的三维数据信息、行进速度、加速度、颜色信息、类别等结构化结果进行融合，就可以得到准确的每个对象的状况信息。最终发送到与路侧单元210进行通信的车载单元220，车载单元220上路面通行状况信息呈现的效果可以为：前方存在一辆车牌号为xx的小型黑色车辆，该车辆行进速度为60km/h，大概需要10s与该车错车，请您减速让行或者加速通过。
104.可选地，第一ai芯片可以为多个，第二ai芯片也可以为多个。若第一ai芯片和第二ai芯片为多个，最终需要将每个第一ai芯片得到的结构化结果进行合并确定第一结构化结果，将每个第二ai芯片得到的结构化结果合并得到第二结构化结果，再发送到主控单元320中进行融合。
105.下列方式中的方式二和方式三均是先由主控单元320先对接收到的道路环境雷达数据和道路环境视频数据先进行融合，得到融合信息，再将融合信息发送到ai芯片。ai芯片对接收到的融合信息进行处理，并向所述主控单元发送得到的数据处理结果。
106.其中，融合信息可以为道路环境融合数据，或者，融合信息可以为对道路环境融合数据进行特征提取，得到的融合数据特征，路环境融合数据是将道路环境雷达数据和道路环境视频数据进行融合得到的。
107.方式二：路侧单元210利用主控单元320将接收到的道路环境雷达数据和道路环境视频数据先进行融合，再将道路环境融合数据发送到深度学习模块330中的ai芯片中进行处理得到路面通行状况信息。
108.(1)若存在使用一个ai芯片就可以将所有接收到的道路环境融合数据处理完成，处理能力足够，则可以在深度学习模块330中只开启一个ai芯片对道路环境融合数据进行处理，就可以直接得到路面通行状况信息。可选地，在深度学习模块中可以搭载多个ai芯片，根据不同的数据量控制开启数量即可。
109.具体地，结合图5，以深度学习模块330中只存在一个ai芯片为例。主控单元320用于将接收到的同一时刻不同传感器采集的道路环境雷达数据和道路环境视频数据进行融合，得到道路环境融合数据，并将道路环境融合数据发送至一个ai芯片中，ai芯片用于对接收到的道路环境融合数据进行处理，并向主控单元320返回得到的路面通行状况信息。
110.示例性地，主控单元320先对接收到的道路环境雷达数据和道路环境视频数据进行融合，例如，道路环境视频数据为有颜色的平面二维数据，道路环境雷达数据是包含深度信息的数据，将道路环境雷达数据中的深度信息添加至平面二维数据中，得到具体三维坐标信息的道路环境融合数据；或者，也可以理解为，道路环境融合数据就是将多个传感器采集的数据融合到一起，道路环境融合数据就好像是通过一个超级传感器所采集的数据一样，这个超级传感器既可以采集到红外线传感器采集的数据，又有能力可以采集到摄像头
采集到的数据，可以识别颜色信息，也有能力采集三维坐标信息。
111.融合得到了道路环境融合数据之后，ai芯片则无需对多个传感器的数据分别进行感知，直接对道路环境融合数据进行感知即可。就可提供了只使用一个ai芯片处理数据的前提条件，利用ai芯片直接对融合数据接收，依旧可以先利用特征表达进行处理，再利用深度学习网络的方式对道路环境融合数据进行特征提取，最后再利用跟踪匹配算法处理，就得到了路面通行状况信息。
112.路侧单元210通过上述方式进行确定路面通行状况信息，将道路环境雷达数据和道路环境视频数据进行融合，再利用ai芯片对得到的道路环境融合数据进行处理，则不会分别处理多个传感器所采集的数据时，数据丢失的情况。所以，本技术实施例提供的路侧单元210通过此种方式处理多个传感器所采集的数据得到的路面通行状况信息更准确。
113.(2)若深度学习模块330中需要使用多个ai芯片才可以将所有接收到的道路环境融合数据处理完成。
114.具体地，结合图6，主控单元320用于将接收到的同一时刻不同传感器采集的道路环境雷达数据和道路环境视频数据进行融合，得到道路环境融合数据，并将道路环境融合数据分为多个融合信息段分别发送至多个ai芯片，图6中以第一融合信息段发送至第一ai芯片，第二融合信息段发送至第二ai芯片为例。第一ai芯片和第二ai芯片中对融合信息段的处理方式是相同的。每个ai芯片用于对接收到的融合信息段进行处理，向主控单元320返回得到的路面通行状况信息片段，图6中以第一ai芯片向主控单元320发送第一路面通行状况信息片段，第二ai芯片向主控单元320发送第二路面通行状况信息片段为例。主控单元320用于接收每个ai芯片返回的路面通行状况信息片段，并将接收到的多个路面通行状况信息片段进行合并，得到路面通行状况信息。
115.示例性地，主控单元320得到道路环境融合数据之后，将道路环境融合数据分为多个融合信息段，并分别发送至多个ai芯片，每个ai芯片对接收到的融合信息段进行处理，得到每个融合数据段对应的路面通行状况信息片段。将路面通行状况信息片段发送到主控单元320，在主控单元320中将各个片段进行合并，得到路面通行状况信息。
116.方式三：路侧单元210通过主控单元320对道路环境雷达数据和道路环境视频数据进行融合，并对得到的道路环境融合数据进行特征提取，得到融合数据特征。再利用深度学习模块中的ai芯片对融合数据特征进行处理，得到路面通行状况信息。
117.具体地，结合图7，以深度学习模块330中只是用一个ai芯片对融合数据特征进行处理为例，路侧单元210通过主控单元320接收到道路环境雷达数据和道路环境视频数据之后，将道路环境雷达数据和道路环境视频数据进行融合，得到道路环境融合数据，主控单元320对道路环境融合数据进行特征提取，得到融合数据特征，再将融合数据特征发送至ai芯片中进行处理，ai芯片用于对接收到的融合数据特征进行处理，并向主控单元320返回得到的路面通行状况信息。
118.示例性地，道路环境融合数据包括的数据信息其实也是很多的，利用ai芯片直接对道路环境融合数据处理，对ai芯片而言，处理压力是很大的，而融合数据特征包含的数据量相比于道路环境融合数据的数据量是少很多。所以，可以通过在主控单元320中完成对道路环境融合数据进行特征提取，将得到的融合数据特征输入到ai芯片中，实现ai芯片对特征类型的数据进行感知并处理的过程。通过这样的处理方式，大大的降低了ai芯片的数据
处理的压力。
119.ai芯片接收到融合数据特征之后，利用融合感知算法对融合数据特征进行接收，在利用特征表达以及跟踪匹配算法，就可以得到路面通行状况信息。
120.可选地，方式三中单个ai芯片处理能力不足时，也可以使用多个ai芯片，在使用多个ai芯片时，处理的过程只需要在主控单元320中将融合数据特征分为多个融合数据特征段，再将多个融合数据特征段多个ai芯片分别进行处理，最终在主控单元320中将多个ai芯片输出的路面通行状况信息片段进行合并，就可以得到路面通行状况信息。
121.由上述多种方式可知，使用路侧单元210时可以直接对多个传感器所采集的道路环境数据进行处理的，并且直接使用路侧单元210对道路环境数据进行处理，可以减少数据传输的过程。直接接收多个传感器采集的数据即可，无需将数据传输到传统的路侧工控机，减少数据处理的时间，可以提高车载单元接收到路面通行状况信息的速度，开车的用户就可以更快速的接收到路面通行状况信息，可以提高用户驾驶过程中的安全性。
122.与上述实施例相对应地，本技术实施例还提供了一种数据处理方法，该方法可以应用于路侧单元210，图8示出了一种数据处理方法的流程示意图，该方法包括以下步骤：
123.步骤s801：接收安装在路侧的多个传感器采集的道路环境数据。
124.步骤s802：采用深度学习模块对道路环境数据进行处理，获得路面通行状况信息。
125.步骤s803：将路面通行状况信息发送至与路侧单元进行通信的车辆中的车载单元。
126.在一种可能的实施方式中，多个传感器采集的道路环境数据包括：雷达传感器采集的道路环境雷达数据和视觉传感器采集的道路环境视频数据。
127.图9示出了一种数据后融合的数据处理方法的流程示意图。如图9所示，该方法包括以下步骤：深度学习模块包括至少一个第一ai芯片和至少一个第二ai芯片。
128.步骤s901：接收雷达传感器采集的道路环境雷达数据和视觉传感器采集的道路环境视频数据。
129.步骤s902：分别采用第一ai芯片对道路环境雷达数据进行处理，得到第一结构化结果和采用第二ai芯片对道路环境视频数据进行处理，得到第二结构化结果。
130.步骤s903：将第一结构化结果与第二结构化结果进行融合，得到路面通行状况信息。
131.步骤s904：将路面通行状况信息发送至与路侧单元进行通信的车辆中的车载单元。
132.其中，第一结构化结果包括道路环境雷达数据中包含的各个对象的三维数据信息、速度、加速度、以及各个对象与雷达传感器之间的距离。第二结构化结果包括道路环境视频数据中包含的各个对象的类别和颜色信息。
133.图10示出了一种数据前融合的数据处理方法的流程示意图之一。如图10所示，该方法包括以下步骤：深度学习模块仅包括一个ai芯片。
134.步骤s1001：接收雷达传感器采集的道路环境雷达数据和视觉传感器采集的道路环境视频数据。
135.步骤s1002：将接收到的同一时刻不同传感器采集的道路环境雷达数据和道路环境视频数据进行融合，得到道路环境融合数据。
136.步骤s1003：采用ai芯片对路面环境融合数据进行处理，得到路面通行状况信息。
137.步骤s1004：将路面通行状况信息发送至与路侧单元进行通信的车辆中的车载单元。
138.图11示出了一种数据前融合的数据处理方法的流程示意图之二。如图11所示，该方法包括以下步骤：深度学习模块仅包括一个ai芯片。
139.步骤s1101：接收雷达传感器采集的道路环境雷达数据和视觉传感器采集的道路环境视频数据。
140.步骤s1102：将接收到的同一时刻不同传感器采集的道路环境雷达数据和道路环境视频数据进行融合，得到道路环境融合数据。
141.步骤s1103：将所路面环境融合数据进行特征提取，得到融合数据特征。
142.步骤s1104：采用ai芯片对融合数据特征进行处理，得到路面通行状况信息。
143.步骤s1105：将路面通行状况信息发送至与路侧单元进行通信的车辆中的车载单元。
144.可选地，若深度学习模块包括多个ai芯片，则需要将融合数据特征分为多个融合数据特征段，分别发送给多个ai芯片，通过多个ai芯片对融合数据特征段进行处理，得到多个路面通行状况信息片段。将多个路面通行状况信息片段进行合并，得到路面通行状况信息。再将路面通行状况信息发送至与路侧单元进行通信的车辆中的车载单元。
145.图12示出了一种数据前融合的数据处理方法的流程示意图之三。如图12所示，该方法包括以下步骤：深度学习模块包括多个ai芯片。
146.步骤s1201：接收雷达传感器采集的道路环境雷达数据和视觉传感器采集的道路环境视频数据。
147.步骤s1202：将接收到的同一时刻不同传感器采集的道路环境雷达数据和道路环境视频数据进行融合，得到道路环境融合数据，并将道路环境融合数据分为多个融合数据段。
148.步骤s1203：采用多个ai芯片分别对多个融合数据段进行处理，得到多个路面通行状况信息片段。
149.步骤s1204：将多个路面通行状况信息片段进行合并，得到路面通行状况信息。
150.步骤s1205：将路面通行状况信息发送至与路侧单元进行通信的车辆中的车载单元。
151.上述数据处理方法中实现的技术效果与本技术实施例提供的路侧单元中处理道路环境数据时所起到的技术效果相同，此处不再赘述。
152.基于相同的技术构思，本技术实施例还提供了一种芯片，该芯片可实现签署实施例中图13所执行的方法的流程。
153.图13示出了本技术实施例提供的该芯片的结构示意图，即示出了芯片的一结构示意图。如图13所示，该终端设备包括处理器1301、存储器1302和收发机1303；
154.处理器1301负责管理总线架构和通常的处理，存储器1302可以存储处理器1301在执行操作时所使用的数据。收发机1303用于在处理器1301的控制下接收和发送数据。
155.总线架构可以包括任意数量的互联的总线和桥，具体由处理器1301代表的一个或多个处理器和存储器1302代表的存储器的各种电路链接在一起。总线架构还可以将诸如外
围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器1301负责管理总线架构和通常的处理，存储器1302可以存储处理器1301在执行操作时所使用的数据。
156.本技术实施例揭示的流程，可以应用于处理器1301中，或者由处理器1301实现。在实现过程中，信号处理流程的各步骤可以通过处理器1301中的硬件的集成逻辑电路或者软件形式的指令完成。处理器1301可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1302，处理器1301读取存储器1302中的信息，结合其硬件完成信号处理流程的步骤。
157.具体地，处理器1301，用于读取存储器1302中的程序并执行：
158.读取所述存储器中的计算机程序，并执行如下步骤：接收安装在路侧的多个传感器采集的道路环境数据；采用深度学习模块对所述道路环境数据进行处理，获得路面通行状况信息；将所述路面通行状况信息发送至与所述路侧单元进行通信的车辆中的车载单元。
159.本技术实施例针对资源预约方法还提供一种计算设备可读存储介质，即断电后内容不丢失。该存储介质中存储软件程序，包括程序代码，当程序代码在计算设备上运行时，该软件程序在被一个或多个处理器读取并执行时可实现本技术实施例上面任何一种数据处理方法的步骤。
160.本技术实施例还提供了一种计算机程序产品，本技术实施例提供的筛选界面生成方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本技术各种示例性实施方式的筛选界面生成方法的步骤，例如，所述计算机设备可以执行如图8所示的步骤s801～s803的数据处理方法的流程。
161.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
162.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
163.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特
定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
164.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
165.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

技术特征：
1.一种路侧单元，其特征在于，包括通信接口、主控单元和深度学习模块；所述主控单元用于通过所述通信接口接收安装在路侧的多个传感器采集的道路环境数据，采用所述深度学习模块对所述道路环境数据进行处理，获得路面通行状况信息，以及，通过所述通信接口将所述路面通行状况信息发送至与所述路侧单元进行通信的车辆中的车载单元。2.根据权利要求1所述的路侧单元，其特征在于，所述多个传感器采集的道路环境数据包括：雷达传感器采集的道路环境雷达数据和视觉传感器采集的道路环境视频数据。3.根据权利要求2所述的路侧单元，其特征在于，所述深度学习模块包括ai芯片；所述ai芯片，用于基于所述道路环境雷达数据和所述道路环境视频数据，得到数据处理结果，并将所述数据处理结果发送至所述主控单元；所述道路环境雷达数据和所述道路环境视频数据是同一时刻不同传感器采集的数据；所述主控单元，用于基于接收到的所述数据处理结果，得到所述路面通行状态信息。4.根据权利要求3所述的路侧单元，其特征在于，所述主控单元，用于将基于所述道路环境雷达数据和所述道路环境视频数据得到的融合信息发送至所述ai芯片；所述ai芯片用于对接收到的融合信息进行处理，并向所述主控单元发送得到的数据处理结果。5.根据权利要求4所述的路侧单元，其特征在于，所述融合信息为道路环境融合数据；或者，所述融合信息为对道路环境融合数据进行特征提取，得到的融合数据特征；所述道路环境融合数据是将所述道路环境雷达数据和所述道路环境视频数据进行融合得到的。6.根据权利要求4或5所述的路侧单元，其特征在于，所述ai芯片的数量为多个；所述数据处理结果为路面通行状况信息片段；所述主控单元用于将所述融合信息分为多个融合信息段分别发送至多个ai芯片；每个ai芯片用于对接收到的融合信息段进行处理，向所述主控单元返回得到的路面通行状况信息片段；所述主控单元还用于接收每个ai芯片返回的路面通行状况信息片段，并将接收到的多个路面通行状况信息片段进行合并，得到所述路面通行状况信息。7.根据权利要求3所述的路侧单元，其特征在于，所述ai芯片包括至少一个第一ai芯片和至少一个第二ai芯片；所述数据处理结果包括第一结构化结果和第二结构化结果；所述主控单元，用于将道路环境雷达数据发送至所述第一ai芯片，以及将道路环境视频数据发送至所述第二ai芯片；所述第一ai芯片，用于对接收到的道路环境雷达数据进行处理，并向所述主控单元发送得到的第一结构化结果；所述第二ai芯片，用于对接收到的道路环境视频数据进行处理，并向所述主控单元发送得到的第二结构化结果；所述主控单元，还用于将所述第一结构化结果与所述第二结构化结果进行融合，得到所述路面通行状况信息。8.一种交通信息传输系统，其特征在于，包括安装在路侧的多个传感器、路侧单元和与所述路侧单元进行通信的车辆中的车载单元；所述多个传感器用于采集道路环境数据，并将采集的道路环境数据发送至路侧单元；
所述路侧单元用于接收所述多个传感器采集的道路环境数据，并采用深度学习模块对所述道路环境数据进行处理，获得路面通行状况信息，将所述路面通行状况信息发送至所述车载单元。9.根据权利要求8所述的交通信息传输系统，其特征在于，所述多个传感器包括用于采集道路环境雷达数据的雷达传感器和用于采集道路环境视频数据的视觉传感器。10.一种数据处理方法，其特征在于，应用于路侧单元，所述方法包括：接收安装在路侧的多个传感器采集的道路环境数据；采用深度学习模块对所述道路环境数据进行处理，获得路面通行状况信息；将所述路面通行状况信息发送至与所述路侧单元进行通信的车辆中的车载单元。11.一种芯片，其特征在于，包括：存储器、收发机以及处理器；所述存储器，用于存储计算机程序；所述收发机，用于在所述处理器的控制下收发数据；所述处理器，用于读取所述存储器中的计算机程序，并执行如下步骤：接收安装在路侧的多个传感器采集的道路环境数据；采用深度学习模块对所述道路环境数据进行处理，获得路面通行状况信息；将所述路面通行状况信息发送至与所述路侧单元进行通信的车辆中的车载单元。12.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求10所述的方法。13.一种计算机程序产品，其特征在于，包含有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求10所述的方法。

技术总结
本申请公开了一种交通信息传输系统、路侧单元及数据处理方法，属于智能交通技术领域，本申请实施例提供的交通信息传输系统中，在部署路侧单元时无需部署路侧工控机或路侧计算单元，直接利用路侧单元对多个传感器采集的道路环境数据，并将处理得到的路面通行状况信息发送到车载单元。不仅节省建设过程中的建造成本，还可以免去将数据发送到路侧工控机或路侧计算单元，在转发到路侧单元的过程。所以，本申请实施例提供的交通信息传输系统可以节省信令开销，降低功耗，提高数据处理的效率。提高数据处理的效率。提高数据处理的效率。


技术研发人员：张岩 胡博 沈坤花 魏高荣 李文
受保护的技术使用者：大唐移动通信设备有限公司
技术研发日：2021.11.22
技术公布日：2023/5/23