多传感器数据处理方法、装置、中央处理平台和存储介质与流程

1.本技术涉及计算机技术领域，尤其涉及智能交通和自动驾驶技术领域，具体是涉及一种多传感器数据处理方法、装置、中央处理平台和存储介质。


背景技术：

2.在驾驶系统中，为了便于追踪目标，通常需要对安装于驾驶车辆上的摄像头和雷达采集的数据进行融合，而在进行数据融合过程之前，需要对这些数据进行时间同步。
3.然而，目前在进行时间同步时，通常需要由摄像头将采集的图像数据传输至中央处理平台，由中央处理平台向图像数据添加时间戳，以得到携带时间戳的图像帧数据；以及需要由雷达从中央处理平台获取时间戳，并将时间戳添加至所采集的点云数据中，向中央处理平台发送携带时间戳的点云数据；之后由中央处理平台对携带时间戳的图像帧数据和点云数据进行时间同步处理。上述方法，交互过程耗时耗力，且时间同步精度较低，亟需改进。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种多传感器数据处理方法、装置、中央处理平台和存储介质，以快速且精准的完成时间同步。
5.第一方面，本技术提供了一种多传感器数据处理方法。所述方法包括：
6.控制安装于驾驶车辆上的摄像头和雷达同时进行数据采集；
7.对摄像头采集的原图像数据和雷达采集的雷达信号进行处理，得到携带相同时间戳的点云数据和图像帧数据；
8.对点云数据和图像帧数据进行处理。
9.在其中一个实施例中，控制安装于驾驶车辆上的摄像头和雷达同时进行数据采集，包括：
10.从安装于驾驶车辆上的摄像头和雷达中，选择主传感器和从传感器；
11.确定主传感器的数据采集时间；
12.控制主传感器和从传感器在数据采集时间进行数据采集。
13.在其中一个实施例中，安装于驾驶车辆上的雷达至少包括激光雷达；若主传感器为激光雷达，则确定主传感器的数据采集时间，包括：
14.根据安装于驾驶车辆上的定位系统获取的定位数据，确定主传感器的法线角到达零度位置的到达时间；
15.将到达时间，作为主传感器的数据采集时间。
16.在其中一个实施例中，对摄像头采集的原图像数据和雷达采集的雷达信号进行处理，得到携带相同时间戳的点云数据和图像帧数据，包括：
17.对雷达采集的雷达信号进行信号处理，得到处理结果，并向处理结果添加数据采集时间对应的时间戳，得到点云数据；
18.向摄像头采集的原图像数据添加所述时间戳，得到图像帧数据。
19.在其中一个实施例中，安装于驾驶车辆上的雷达至少包括激光雷达和毫米波雷达；激光雷达采集的雷达信号为光信号，毫米波雷达采集的雷达信号为数字信号。
20.在其中一个实施例中，对点云数据和图像帧数据进行处理，包括：
21.将位于同一划分区域内的摄像头对应的图像帧数据和/或雷达对应的点云数据，作为一个数据组；其中，划分区域为根据驾驶车辆上摄像头和雷达的安装位置，对驾驶车辆进行区域划分得到；
22.将数据组从空间坐标系映射于车身坐标系，并对映射于车身坐标系下的数据组进行数据融合；其中，空间坐标系基于对驾驶车辆进行区域划分的方式构建。
23.第二方面，本技术还提供了一种多传感器数据处理装置。所述装置包括：
24.数据采集模块，用于控制安装于驾驶车辆上的摄像头和雷达同时进行数据采集；
25.第一处理模块，用于对摄像头采集的原图像数据和雷达采集的雷达信号进行处理，得到携带相同时间戳的点云数据和图像帧数据；
26.第二处理模块，用于对点云数据和图像帧数据进行处理。
27.第三方面，本技术还提供了一种中央处理平台。所述中央处理平台包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
28.控制安装于驾驶车辆上的摄像头和雷达同时进行数据采集；
29.对摄像头采集的原图像数据和雷达采集的雷达信号进行处理，得到携带相同时间戳的点云数据和图像帧数据；
30.对点云数据和图像帧数据进行处理。
31.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
32.控制安装于驾驶车辆上的摄像头和雷达同时进行数据采集；
33.对摄像头采集的原图像数据和雷达采集的雷达信号进行处理，得到携带相同时间戳的点云数据和图像帧数据；
34.对点云数据和图像帧数据进行处理。
35.第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
36.从安装于驾驶车辆上的摄像头和雷达中，选择主传感器和从传感器；
37.根据主传感器的工作机制，确定主传感器的数据采集时间；
38.控制主传感器和从传感器在数据采集时间进行数据采集。
39.上述多传感器数据处理方法、装置、中央处理平台和存储介质，中央处理平台通过控制安装于驾驶车辆上的摄像头和雷达同时进行数据采集；之后对摄像头采集的原图像数据和雷达采集的雷达信号进行处理，进而得到携带相同时间戳的点云数据和图像帧数据；最后对点云数据和图像帧数据进行处理。上述方案，中央处理平台具备将雷达采集的雷达信号处理为携带时间戳的点云数据的能力，因此无需与雷达进行多次交互，即可获得携带时间戳的点云数据；进一步的，本实施例中由中央处理平台对摄像头和雷达进行集中控制，使得两者所采集的数据在时间上严格同步，因此中央处理平台无需再对携带时间戳的点云数据和图像帧数据进行时间同步操作，提高了时间同步的效率和精度。
附图说明
40.图1为一种现有的多传感器数据处理系统的系统结构图；
41.图2a为适用于本技术实施例的一种多传感器数据处理系统的系统结构图；
42.图2b为一个实施例中多传感器数据处理方法的流程图；
43.图3为一个实施例中采集数据的流程示意图；
44.图4为一个实施例中数据处理的流程示意图；
45.图5为另一个实施例中数据处理的流程示意图；
46.图6为一个实施例中对驾驶车辆进行区域划分的示意图；
47.图7为另一个实施例中多传感器数据处理方法的流程图；
48.图8为一个实施例中多传感器数据处理装置的结构框图；
49.图9为另一个实施例中多传感器数据处理装置的结构框图；
50.图10为一个实施例中中央处理平台的内部结构图。
具体实施方式
51.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
52.如图1所示，为一种现有的多传感器数据处理系统的系统结构图。其中，多传感器数据处理系统配置于驾驶车辆上，激光雷达和毫米波雷达中均包含fpga计算单元，中央处理平台也包含fpga计算单元。摄像头、激光雷达和毫米波雷达，与中央处理平台之间通过phy芯片相连；摄像头可以通过gmsl/fpd-link等连接phy芯片，激光雷达通过网口连接phy芯片，毫米波雷达通过网口或者can连接phy芯片。
53.具体的，激光雷达和毫米波雷达中的fpga计算单元进行数据采集、信号处理和数据处理工作；中央处理平台通过ptp协议，分别给激光雷达和毫米波雷达提供时间戳信息；激光雷达和毫米波雷达中的fpga计算单元对处理后的数据打上时间戳后，经以太网或can输出点云数据；同样的，摄像头进行数据采集，并将采集的数据经gmsl或fpd-link传输给中央处理平台，由中央处理平台根据获得摄像头中数据的时间为获得的数据打上时间戳；中央处理平台获取到所有的摄像头、激光雷达、毫米波雷达信息后，需要利用专门的处理算力去完成时间同步等工作。此过程不仅耗时耗力，且时间同步的精度低。
54.基于此，本技术提供了一种多传感器数据处理方法。在一个实施例中，图2a是根据本技术实施例提供的一种改进的多传感器数据处理系统的系统结构图；图2b是根据本技术实施例提供的一种多传感器数据处理方法的流程图。该方法由基于fpga的集中式的中央处理平台执行，结合图2a和2b，具体实现过程包括以下步骤：
55.s201，控制安装于驾驶车辆上的摄像头和雷达同时进行数据采集。
56.本实施例中，安装到驾驶车辆上的可以进行数据采集的传感器可以包括摄像头和雷达；其中，雷达可以有多种类型，例如，可以包括激光雷达、毫米波雷达和超声波雷达等。
57.具体的，可以根据预先设定的触发采集机制，同时触发安装于驾驶车辆上的摄像头和雷达，进行数据采集。例如，预先设定的触发采集机制为30s时采集数据，此时，当时间到达30s时，同时向安装于驾驶车辆上的摄像头和雷达发送指令，触发摄像头和雷达在30s
时采集数据。
58.s202，对摄像头采集的原图像数据和雷达采集的雷达信号进行处理，得到携带相同时间戳的点云数据和图像帧数据。
59.本实施例中，原图像数据即为摄像头采集的未打时间戳的图像数据；图像帧数据即为携带时间戳的图像数据。
60.雷达信号即为雷达所采集的信号。本实施例中，若雷达为激光雷达，则激光雷达采集的雷达信号为光信号；若雷达为毫米波雷达，则毫米波雷达采集的雷达信号为数字信号。
61.具体的，如图2a所示，摄像头采集数据之后经gmsl/fpd-link将原图像数据传输至中央处理平台，由中央处理平台为接收的原图像数据打上时间戳得到图像帧数据；相应的，激光雷达采集信号之后经光纤将光信号传输至中央处理平台，由中央处理平台将接收的光信号转换为电信号，再将电信号经adc转换为数字信号，最后经过信号处理之后并打上时间戳得到点云数据；同样的，毫米波雷达采集信号之后先将采集的模拟信号经adc转换为数字信号，再经gmsl将数字信号传输至中央处理平台，由中央处理平台将接收的数字信号进行信号处理之后并打上时间戳得到点云数据。
62.s203，对点云数据和图像帧数据进行处理。
63.具体的，可以基于预先设定的处理逻辑，对点云数据和图像帧数据进行数据融合和目标感知。
64.本实施例中，同时控制安装于驾驶车辆上的摄像头和雷达进行数据采集，当中央处理平台获取到摄像头和雷达传输的数据之后，直接打上相同的时间戳(即采集数据的时间)，已经实现了严格意义上的时间同步，在进行后续的处理时无需再进行时间同步；相比于现有技术而言，本技术无需通过雷达与中央处理平台进行多次的ptp协议交互打上时间戳来实现时间同步，时间同步过程更为精简，且时间同步的精度更高。
65.进一步的，本实施例所提供的多传感器数据处理系统中，将雷达中原有的fpga计算单元去除，并将fpga计算单元的处理功能集成于中央处理平台，降低了整车系统的物料及开发成本。此外，由于雷达通常位于驾驶车辆的表面或者外围，容易损坏，相比于在雷达中集成fpga计算单元而言，本实施例将雷达中原有的fpga计算单元去除，降低了修复整车系统的成本。
66.上述多传感器数据处理方法，中央处理平台通过控制安装于驾驶车辆上的摄像头和雷达同时进行数据采集；之后对摄像头采集的原图像数据和雷达采集的雷达信号进行处理，进而得到携带相同时间戳的点云数据和图像帧数据；最后对点云数据和图像帧数据进行处理。上述方案，中央处理平台具备将雷达采集的雷达信号处理为携带时间戳的点云数据的能力，因此无需与雷达进行多次交互，即可获得携带时间戳的点云数据；进一步的，本实施例中由中央处理平台对摄像头和雷达进行集中控制，使得两者所采集的数据在时间上严格同步，因此中央处理平台无需再对携带时间戳的点云数据和图像帧数据进行时间同步操作，提高了时间同步的效率和精度。
67.在一个实施例中，在上述实施例的基础上，进一步对s201控制安装于驾驶车辆上的摄像头和雷达同时进行数据采集进行详细解释说明。如图3所示，具体过程包括：
68.s301，从安装于驾驶车辆上的摄像头和雷达中，选择主传感器和从传感器。
69.其中，主传感器即为驱动其他传感器工作的传感器。从传感器即为被主传感器驱
动工作的传感器。
70.可选的，可以将安装于驾驶车辆上的摄像头和雷达中的任意一个传感器，作为主传感器，将其余传感器作为从传感器。
71.进一步的，可以基于安装于驾驶车辆上的摄像头和雷达的数据采集原理，来选择主传感器和从传感器。例如，摄像头是通过曝光方式来进行数据采集，激光雷达是通过调整法线位置来进行数据采集，毫米波雷达是通过发波方式来进行数据采集。考虑到激光雷达的法线位置较容易确定，则在驾驶车辆上安装有激光雷达时，优先选择激光雷达作为主传感器，毫米波雷达和摄像头作为从传感器。
72.s302，确定主传感器的数据采集时间。
73.可选的，可以根据主传感器的数据采集原理，来确定主传感器的数据采集时间。示例性的，在主传感器为激光雷达时，由于激光雷达进行数据采集的原理是根据激光雷达的法线零度位置来进行数据采集，因此主传感器的数据采集时间即为激光雷达到达法线零度位置的时间。
74.进而，确定主传感器的数据采集时间可以是，根据安装于驾驶车辆上的定位系统获取的定位数据，确定主传感器的法线角到达零度位置的到达时间；将到达时间，作为主传感器的数据采集时间。
75.具体为，获取安装于驾驶车辆上的定位系统(即gps)的定位数据并进行分析，根据法线角度的变化情况，折算出法线角到达零度位置的时间，将法线角到达零度位置的到达时间作为主传感器的数据采集时间。
76.进一步的，在主传感器为毫米波雷达时，可以为毫米波雷达配置一个工作时钟，且工作时钟与中央处理平台的时钟系统同步，进而中央处理平台可根据毫米波雷达发波频率，确定发波时间，并将此发波时间作为数据采集时间。
77.s303，控制主传感器和从传感器在数据采集时间进行数据采集。
78.具体的，在检测到当前时间达到数据采集时间时，同时向主传感器和从传感器发送数据采集指令，以指示主传感器和从传感器进行数据采集。
79.本实施例中，从安装于驾驶车辆上的摄像头和雷达中选择出主传感器和从传感器，接着确定出主传感器的数据采集时间，当主传感器采集数据时，同时触发从传感器也在相同时间进行数据采集，则可以实现严格意义上的时间同步，使得时间同步的过程更为精简，且提高了时间同步的精度。
80.在一个实施例中，在上述实施例的基础上，进一步对s202对摄像头采集的原图像数据和雷达采集的雷达信号进行处理，得到携带相同时间戳的点云数据和图像帧数据进行详细解释说明。如图4所示，具体过程包括：
81.s401，对雷达采集的雷达信号进行信号处理，得到处理结果，并向处理结果添加数据采集时间对应的时间戳，得到点云数据。
82.具体的，雷达采集数据之后，将采集的数据传输至中央处理平台，由中央处理平台对雷达采集的雷达信号进行信号处理，得到构成点云所包含的数据，例如颜色、距离和角度等数据；之后向得到的这些数据添加上数据采集时间对应的时间戳，即可得到点云数据，点云数据中即包含了打上时间戳的颜色、距离和角度等数据。
83.s402，向摄像头采集的原图像数据添加时间戳，得到图像帧数据。
84.具体的，摄像头采集数据之后，将采集的原图像数据传输至中央处理平台，由中央处理平台向摄像头采集的原图像数据添加上数据采集时间对应的时间戳，即可得到图像帧数据。
85.本实施例中，中央处理平台会接收到雷达所传输的数据，直接对接收的数据进行信号处理，并对处理后的数据添加上数据采集时间对应的时间戳；相比于现有技术而言，本技术中雷达采集数据之后无需自身处理数据，而是将采集的数据直接传输至中央处理平台进行处理和打时间戳；为快速获得携带相同时间戳的点云数据和图像帧数据提供了一种可选方式。
86.在一个实施例中，在上述实施例的基础上，进一步对s203对点云数据和图像帧数据进行处理进行详细解释说明。如图5所示，具体过程包括：
87.s501，将位于同一划分区域内的摄像头对应的图像帧数据和/或雷达对应的点云数据，作为一个数据组。
88.其中，划分区域为根据驾驶车辆上摄像头和雷达的安装位置，对驾驶车辆进行区域划分得到。如图6所示，将驾驶车辆划分为正前、左前、左后、正后、右后、右前六个区域。
89.具体的，可以将位于同一划分区域内的摄像头对应的图像帧数据和/或雷达对应的点云数据，作为一个数据组。例如，继续参见图6，位于正前区域内的三个摄像头对应的图像帧数据、一个激光雷达对应的点云数据和一个毫米波雷达对应的点云数据，作为一个数据组。
90.s502，将数据组从空间坐标系映射于车身坐标系，并对映射于车身坐标系下的数据组进行数据融合。
91.其中，空间坐标系基于对驾驶车辆进行区域划分的方式构建，也即空间坐标系是以驾驶车辆的中心为原点建立的坐标系。车身坐标系是以驾驶车辆的重心为原点建立的坐标系。
92.数据融合即为将同一个数据组的数据融合为一张图进行数据输出。
93.具体的，由于采集的数据均是在空间坐标系下进行采集的，则得到的数据组也是在空间坐标系下的数据。可选的，可以利用对应的四元数和旋转矩阵对数据组进行处理，以得到车身坐标系下的数据组，之后再对车身坐标系下的数据组进行数据融合，最终将处在同一个数据组内的数据合并为一张图进行输出。
94.进一步的，在进行数据融合处理之后，可以基于融合处理后的数据进行目标感知。
95.需要说明的是，现有技术通常是将驾驶车辆上每个摄像头和雷达采集的数据均转换至车身坐标系下，进而对转换至车身坐标系下的数据进行对齐处理。由于每个摄像头和雷达均有自己的坐标系，因此需要进行多种坐标系之间的转换操作，过程复杂。
96.而在本实施例中，通过根据驾驶车辆上摄像头和雷达的安装位置对驾驶车辆进行区域划分，之后将位于同一区域的摄像头对应的图像帧数据和/或雷达对应的点云数据，作为一个数据组，并以数据组为单位，进行车身坐标系转换，即一个数据组内的数据只需进行一种坐标系转换即可，相比于现有技术而言，本技术数据对齐过程更为精简。
97.另外，在一个实施例中，本技术还提供一个多传感器数据处理方法的可选实例。结合图7所示，具体过程包括：
98.s701，控制安装于驾驶车辆上的摄像头和雷达同时进行数据采集。
99.具体的，从安装于驾驶车辆上的摄像头和雷达中，选择主传感器和从传感器；根据安装于驾驶车辆上的定位系统获取的定位数据，确定主传感器的法线角到达零度位置的到达时间；将到达时间，作为主传感器的数据采集时间；控制主传感器和从传感器在数据采集时间进行数据采集。
100.s702，对雷达采集的雷达信号进行信号处理，得到处理结果，并向处理结果添加数据采集时间对应的时间戳，得到点云数据。
101.s703，向摄像头采集的原图像数据添加时间戳，得到图像帧数据。
102.s704，将位于同一划分区域内的摄像头对应的图像帧数据和/或雷达对应的点云数据，作为一个数据组。
103.s705，将数据组从空间坐标系映射于车身坐标系，并对映射于车身坐标系下的数据组进行数据融合。
104.上述s701-s705的具体过程可以参见上述方法实施例的描述，其实现原理和技术效果类似，在此不再赘述。
105.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
106.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的多传感器数据处理方法的多传感器数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个多传感器数据处理装置实施例中的具体限定可以参见上文中对于多传感器数据处理方法的限定，在此不再赘述。
107.在一个实施例中，如图8所示，提供了一种多传感器数据处理装置1，包括：数据采集模块10、第一处理模块20和第二处理模块30，其中：
108.数据采集模块10，用于控制安装于驾驶车辆上的摄像头和雷达同时进行数据采集。
109.第一处理模块20，用于对摄像头采集的原图像数据和雷达采集的雷达信号进行处理，得到携带相同时间戳的点云数据和图像帧数据。
110.第二处理模块30，用于对点云数据和图像帧数据进行处理。
111.在其中一个实施例中，如图9所示，上图8中的数据采集模块10具体可以包括：
112.第一确定单元11，用于从安装于驾驶车辆上的摄像头和雷达中，选择主传感器和从传感器；
113.第二确定单元12，用于确定主传感器的数据采集时间；
114.数据采集单元13，用于控制主传感器和从传感器在数据采集时间进行数据采集。
115.在其中一个实施例中，上图9中的第二确定单元12具体可以用于：
116.根据安装于驾驶车辆上的定位系统获取的定位数据，确定主传感器的法线角到达零度位置的到达时间；将到达时间，作为主传感器的数据采集时间。
117.在其中一个实施例中，上图8中的第一处理模块20具体可以用于：
118.对雷达采集的雷达信号进行信号处理，得到处理结果，并向处理结果添加数据采集时间对应的时间戳，得到点云数据；向摄像头采集的原图像数据添加时间戳，得到图像帧数据。
119.在其中一个实施例中，安装于驾驶车辆上的雷达至少包括激光雷达和毫米波雷达；激光雷达采集的雷达信号为光信号，毫米波雷达采集的雷达信号为数字信号。
120.在其中一个实施例中，上图8中的第二处理模块30具体可以用于：
121.将位于同一划分区域内的摄像头对应的图像帧数据和/或雷达对应的点云数据，作为一个数据组；其中，划分区域为根据驾驶车辆上摄像头和雷达的安装位置，对驾驶车辆进行区域划分得到；将数据组从空间坐标系映射于车身坐标系，并对映射于车身坐标系下的数据组进行数据融合；其中，空间坐标系基于对驾驶车辆进行区域划分的方式构建。
122.上述多传感器数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
123.在一个实施例中，提供了一种计算机设备，该计算机设备可以是中央处理平台，其内部结构图可以如图10所示。该中央处理平台包括通过系统总线连接的处理器、存储器和网络接口。其中，该中央处理平台的处理器用于提供计算和控制能力。该中央处理平台的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该中央处理平台的数据库用于存储多传感器数据处理数据。该中央处理平台的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多传感器数据处理方法。
124.本领域技术人员可以理解，图10中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
125.在一个实施例中，提供了一种中央处理平台，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
126.控制安装于驾驶车辆上的摄像头和雷达同时进行数据采集；
127.对摄像头采集的原图像数据和雷达采集的雷达信号进行处理，得到携带相同时间戳的点云数据和图像帧数据；
128.对点云数据和图像帧数据进行处理。
129.在其中一个实施例中，处理器执行计算机程序中控制安装于驾驶车辆上的摄像头和雷达同时进行数据采集的逻辑时，具体实现以下步骤：
130.从安装于驾驶车辆上的摄像头和雷达中，选择主传感器和从传感器；确定主传感器的数据采集时间；控制主传感器和从传感器在数据采集时间进行数据采集。
131.在其中一个实施例中，处理器执行计算机程序中确定主传感器的数据采集时间的逻辑时，具体实现以下步骤：
132.根据安装于驾驶车辆上的定位系统获取的定位数据，确定主传感器的法线角到达
零度位置的到达时间；将到达时间，作为主传感器的数据采集时间。
133.在其中一个实施例中，处理器执行计算机程序中对摄像头采集的原图像数据和雷达采集的雷达信号进行处理，得到携带相同时间戳的点云数据和图像帧数据的逻辑时，具体实现以下步骤：
134.对雷达采集的雷达信号进行信号处理，得到处理结果，并向处理结果添加数据采集时间对应的时间戳，得到点云数据；向摄像头采集的原图像数据添加时间戳，得到图像帧数据。
135.在一个实施例中，处理器执行计算机程序时还实现以下步骤：
136.安装于驾驶车辆上的雷达至少包括激光雷达和毫米波雷达；激光雷达采集的雷达信号为光信号，毫米波雷达采集的雷达信号为数字信号。
137.在其中一个实施例中，处理器执行计算机程序中对点云数据和图像帧数据进行处理的逻辑时，具体实现以下步骤：
138.将位于同一划分区域内的摄像头对应的图像帧数据和/或雷达对应的点云数据，作为一个数据组；其中，划分区域为根据驾驶车辆上摄像头和雷达的安装位置，对驾驶车辆进行区域划分得到；将数据组从空间坐标系映射于车身坐标系，并对映射于车身坐标系下的数据组进行数据融合；其中，空间坐标系基于对驾驶车辆进行区域划分的方式构建。
139.上述提供的中央处理平台，其在实现各实施例中的原理和具体过程可参见前述实施例中多传感器数据处理方法实施例中的说明，此处不再赘述。
140.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
141.控制安装于驾驶车辆上的摄像头和雷达同时进行数据采集；
142.对摄像头采集的原图像数据和雷达采集的雷达信号进行处理，得到携带相同时间戳的点云数据和图像帧数据；
143.对点云数据和图像帧数据进行处理。
144.在其中一个实施例中，计算机程序中控制安装于驾驶车辆上的摄像头和雷达同时进行数据采集的逻辑被处理器执行时，具体实现以下步骤：
145.从安装于驾驶车辆上的摄像头和雷达中，选择主传感器和从传感器；确定主传感器的数据采集时间；控制主传感器和从传感器在数据采集时间进行数据采集。
146.在其中一个实施例中，计算机程序中确定主传感器的数据采集时间的逻辑被处理器执行时，具体实现以下步骤：
147.根据安装于驾驶车辆上的定位系统获取的定位数据，确定主传感器的法线角到达零度位置的到达时间；将到达时间，作为主传感器的数据采集时间。
148.在其中一个实施例中，计算机程序中对摄像头采集的原图像数据和雷达采集的雷达信号进行处理，得到携带相同时间戳的点云数据和图像帧数据的逻辑被处理器执行时，具体实现以下步骤：
149.对雷达采集的雷达信号进行信号处理，得到处理结果，并向处理结果添加数据采集时间对应的时间戳，得到点云数据；向摄像头采集的原图像数据添加时间戳，得到图像帧数据。
150.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
151.安装于驾驶车辆上的雷达至少包括激光雷达和毫米波雷达；激光雷达采集的雷达信号为光信号，毫米波雷达采集的雷达信号为数字信号。
152.在其中一个实施例中，计算机程序中对点云数据和图像帧数据进行处理的逻辑被处理器执行时，具体实现以下步骤：
153.将位于同一划分区域内的摄像头对应的图像帧数据和/或雷达对应的点云数据，作为一个数据组；其中，划分区域为根据驾驶车辆上摄像头和雷达的安装位置，对驾驶车辆进行区域划分得到；将数据组从空间坐标系映射于车身坐标系，并对映射于车身坐标系下的数据组进行数据融合；其中，空间坐标系基于对驾驶车辆进行区域划分的方式构建。
154.上述提供的计算机可读存储介质，其在实现各实施例中的原理和具体过程可参见前述实施例中多传感器数据处理方法实施例中的说明，此处不再赘述。
155.在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
156.控制安装于驾驶车辆上的摄像头和雷达同时进行数据采集；
157.对摄像头采集的原图像数据和雷达采集的雷达信号进行处理，得到携带相同时间戳的点云数据和图像帧数据；
158.对点云数据和图像帧数据进行处理。
159.在其中一个实施例中，计算机程序中控制安装于驾驶车辆上的摄像头和雷达同时进行数据采集的逻辑被处理器执行时，具体实现以下步骤：
160.从安装于驾驶车辆上的摄像头和雷达中，选择主传感器和从传感器；确定主传感器的数据采集时间；控制主传感器和从传感器在数据采集时间进行数据采集。
161.在其中一个实施例中，计算机程序中确定主传感器的数据采集时间的逻辑被处理器执行时，具体实现以下步骤：
162.根据安装于驾驶车辆上的定位系统获取的定位数据，确定主传感器的法线角到达零度位置的到达时间；将到达时间，作为主传感器的数据采集时间。
163.在其中一个实施例中，计算机程序中对摄像头采集的原图像数据和雷达采集的雷达信号进行处理，得到携带相同时间戳的点云数据和图像帧数据的逻辑被处理器执行时，具体实现以下步骤：
164.对雷达采集的雷达信号进行信号处理，得到处理结果，并向处理结果添加数据采集时间对应的时间戳，得到点云数据；向摄像头采集的原图像数据添加时间戳，得到图像帧数据。
165.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
166.安装于驾驶车辆上的雷达至少包括激光雷达和毫米波雷达；激光雷达采集的雷达信号为光信号，毫米波雷达采集的雷达信号为数字信号。
167.在其中一个实施例中，计算机程序中对点云数据和图像帧数据进行处理的逻辑被处理器执行时，具体实现以下步骤：
168.将位于同一划分区域内的摄像头对应的图像帧数据和/或雷达对应的点云数据，作为一个数据组；其中，划分区域为根据驾驶车辆上摄像头和雷达的安装位置，对驾驶车辆进行区域划分得到；将数据组从空间坐标系映射于车身坐标系，并对映射于车身坐标系下的数据组进行数据融合；其中，空间坐标系基于对驾驶车辆进行区域划分的方式构建。
169.上述提供的计算机程序产品，其在实现各实施例中的原理和具体过程可参见前述实施例中多传感器数据处理方法实施例中的说明，此处不再赘述。
170.需要说明的是，本技术所涉及的数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经授权或者经过各方充分授权的数据。
171.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
172.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
173.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.一种多传感器数据处理方法，其特征在于，所述方法包括：控制安装于驾驶车辆上的摄像头和雷达同时进行数据采集；对所述摄像头采集的原图像数据和所述雷达采集的雷达信号进行处理，得到携带相同时间戳的点云数据和图像帧数据；对所述点云数据和所述图像帧数据进行处理。2.根据权利要求1所述的方法，其特征在于，所述控制安装于驾驶车辆上的摄像头和雷达同时进行数据采集，包括：从安装于驾驶车辆上的摄像头和雷达中，选择主传感器和从传感器；确定所述主传感器的数据采集时间；控制所述主传感器和所述从传感器在所述数据采集时间进行数据采集。3.根据权利要求2所述的方法，其特征在于，安装于驾驶车辆上的雷达至少包括激光雷达；若所述主传感器为激光雷达，则所述确定所述主传感器的数据采集时间，包括：根据安装于所述驾驶车辆上的定位系统获取的定位数据，确定所述主传感器的法线角到达零度位置的到达时间；将所述到达时间，作为所述主传感器的数据采集时间。4.根据权利要求1所述的方法，其特征在于，所述对所述摄像头采集的原图像数据和所述雷达采集的雷达信号进行处理，得到携带相同时间戳的点云数据和图像帧数据，包括：对所述雷达采集的雷达信号进行信号处理，得到处理结果，并向所述处理结果添加数据采集时间对应的时间戳，得到点云数据；向所述摄像头采集的原图像数据添加所述时间戳，得到图像帧数据。5.根据权利要求1所述的方法，其特征在于，安装于驾驶车辆上的雷达至少包括激光雷达和毫米波雷达；所述激光雷达采集的雷达信号为光信号，所述毫米波雷达采集的雷达信号为数字信号。6.根据权利要求1所述的方法，其特征在于，所述对所述点云数据和所述图像帧数据进行处理，包括：将位于同一划分区域内的摄像头对应的图像帧数据和/或雷达对应的点云数据，作为一个数据组；其中，所述划分区域为根据所述驾驶车辆上摄像头和雷达的安装位置，对所述驾驶车辆进行区域划分得到；将所述数据组从空间坐标系映射于车身坐标系，并对映射于所述车身坐标系下的数据组进行数据融合；其中，所述空间坐标系基于对所述驾驶车辆进行区域划分的方式构建。7.一种多传感器数据处理装置，其特征在于，所述装置包括：数据采集模块，用于控制安装于驾驶车辆上的摄像头和雷达同时进行数据采集；第一处理模块，用于对所述摄像头采集的原图像数据和所述雷达采集的雷达信号进行处理，得到携带相同时间戳的点云数据和图像帧数据；第二处理模块，用于对所述点云数据和所述图像帧数据进行处理。8.根据权利要求7所述的装置，其特征在于，所述装置还包括：选择模块，用于从安装于驾驶车辆上的摄像头和雷达中，选择主传感器和从传感器；时间确定模块，用于确定所述主传感器的数据采集时间；控制模块，用于控制所述主传感器和所述从传感器在所述数据采集时间进行数据采
集。9.一种中央处理平台，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

技术总结
本申请公开了一种多传感器数据处理方法、装置、中央处理平台和存储介质。该方法包括：中央处理平台通过控制安装于驾驶车辆上的摄像头和雷达同时进行数据采集；对摄像头采集的原图像数据和雷达采集的雷达信号进行处理进而得到携带相同时间戳的点云数据和图像帧数据；对点云数据和图像帧数据进行处理。上述方案，中央处理平台具备将雷达信号处理为携带时间戳的点云数据的能力，因此无需与雷达进行多次交互即可获得携带时间戳的点云数据；本实施例中由中央处理平台对摄像头和雷达进行集中控制，使得两者所采集的数据在时间上严格同步，因此中央处理平台无需再对携带时间戳的点云数据和图像帧数据进行时间同步操作，提高了时间同步的效率和精度。间同步的效率和精度。间同步的效率和精度。


技术研发人员：吴圆峰 孙旭旭 田宝刚 张振林
受保护的技术使用者：中汽创智科技有限公司
技术研发日：2023.03.30
技术公布日：2023/7/22