一种数据标定方法、装置、电子设备及存储介质与流程

1.本发明涉及智能驾驶技术领域，尤其涉及一种数据标定方法、装置、电子设备及存储介质。


背景技术：

2.伴随着相机的拍摄技术的成熟和各类传感器的感知能力的提升，近年来，自动驾驶汽车搭载的相机和传感器的数量越来越多。自动驾驶汽车通过相机和传感器感知车身周围的环境信息，并对感知到环境信息进行融合。然而，由于相机之间、相机和传感器之间以及传感器之间的采集时间具有误差，导致相机和各传感器感知的环境信息无法匹配。


技术实现要素：

3.为了解决现有相机和各传感器感知的环境信息无法匹配的问题，本技术提供了一种数据标定方法、装置、设备及介质：
4.根据本技术的第一方面，提供了一种数据标注方法，包括：
5.获取预设采样时间单元内雷达采集的点云数据和车载相机采集的图像数据，确定点云数据在雷达坐标系中的第一坐标数据以及图像数据在相机坐标系中的第二坐标数据；
6.获取预设采样时间单元内定位设备采集的位姿数据组，对位姿数据组进行插值处理，得到参考坐标转换数据；参考坐标转换数据表征车身坐标系与世界坐标系之间的坐标转换关系；
7.基于候选标定数据和参考坐标转换数据对第一坐标数据进行坐标转换处理，得到点云数据在相机坐标系中的第三坐标数据；候选标定数据表征雷达坐标系与车身坐标系之间的坐标转换关系以及车身坐标系与相机坐标系之间的坐标转换关系；
8.根据第二坐标数据和第三坐标数据对候选标定数据进行调整，直至满足结束条件结束调整，得到目标标定数据。
9.根据本技术的第二方面，提供了一种数据标定装置，包括：
10.第一获取模块，用于获取预设采样时间单元内雷达采集的点云数据和车载相机采集的图像数据，确定点云数据在雷达坐标系中的第一坐标数据以及图像数据在相机坐标系中的第二坐标数据；
11.第二获取模块，用于获取预设采样时间单元内定位设备采集的位姿数据组，对位姿数据组进行插值处理，得到参考坐标转换数据；参考坐标转换数据表征车身坐标系与世界坐标系之间的坐标转换关系；
12.坐标转换模块，用于基于候选标定数据和参考坐标转换数据对第一坐标数据进行坐标转换处理，得到点云数据在相机坐标系中的第三坐标数据；候选标定数据表征雷达坐标系与车身坐标系之间的坐标转换关系以及车身坐标系与相机坐标系之间的坐标转换关系；
13.调整模块，用于根据第二坐标数据和第三坐标数据对候选标定数据进行调整，直
至满足结束条件结束调整，得到目标标定数据。
14.另一方面，第一获取模块，用于获取雷达在第一采样时刻采集的点云数据以及车载相机在第二采样时刻采集的图像数据；
15.其中，第一采样时刻和第二采样时刻均在预设采样时间单元内，且第一采样时刻与第二采样时刻的时间差在预设时间差区间内。
16.另一方面，第二获取模块，用于获取定位设备在第一采样时刻对应的第一预设采样时间单元内采集的第一位姿数据组以及在第二采样时刻对应的第二预设采样时间单元内采集的第二位姿数据组；第一预设采样时间单元和第二预设采样时间单元在预设采样时间单元内；
17.分别对第一位姿数据组和第二位姿数据组进行插值处理，确定第一位姿数据组对应的第一参考坐标转换数据和第二位姿数据组对应的第二参考坐标转换数据，得到参考坐标转换数据。
18.另一方面，第二获取模块，用于获取定位设备在第一采样时刻对应的第一预设采样时间单元内采集的第一位姿数据组；第一预设采样时间单元在预设采样时间单元内；
19.对第一位姿数据组进行插值处理，得到第一位姿数据组对应的第一参考坐标转换数据；
20.对第一参考坐标转换数据进行求逆处理，得到第一位姿数据组对应的第二参考坐标转换数据；
21.对第一参考坐标转换数据和第二参考坐标转换数据进行整合处理，得到参考坐标转换数据。
22.另一方面，候选标定数据包括第一候选标定数据和第二候选标定数据；
23.第一候选标定数据表征雷达坐标系与车身坐标系之间的坐标转换关系，第二候选标定数据表征车身坐标系与相机坐标系之间的坐标转换关系；
24.坐标转换模块，用于基于第一候选标定数据、第一参考坐标转换数据、第二参考坐标转换数据和第二候选标定数据对第一坐标数据进行坐标转换处理，得到点云数据在相机坐标系中的第三坐标数据。
25.另一方面，调整模块，用于根据第二坐标数据和第三坐标数据对候选标定数据进行调整，直至第二坐标数据与第三坐标数据的差值在预设差值区间内结束调整，将结束调整时的候选标定数据作为目标标定数据。
26.根据本技术的第三方面，提供了一种电子设备，电子设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现本技术第一方面的数据标定方法。
27.根据本技术的第四方面，提供了一种计算机存储介质，存储介质中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现本技术第一方面的数据标定方法。
28.根据本技术的第五方面，提供了一种计算机程序产品，计算机程序产品包括至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现本技术第一方面的数据标定方法。
29.本技术实施例提供的一种数据标定方法、装置、电子设备及存储介质，具有如下技
术效果：
30.通过获取预设采样时间单元内雷达采集的点云数据和车载相机采集的图像数据，确定点云数据在雷达坐标系中的第一坐标数据以及图像数据在相机坐标系中的第二坐标数据；获取预设采样时间单元内定位设备采集的位姿数据组，对位姿数据组进行插值处理，得到参考坐标转换数据；参考坐标转换数据表征车身坐标系与世界坐标系之间的坐标转换关系；基于候选标定数据和参考坐标转换数据对第一坐标数据进行坐标转换处理，得到点云数据在相机坐标系中的第三坐标数据；候选标定数据表征雷达坐标系与车身坐标系之间的坐标转换关系以及车身坐标系与相机坐标系之间的坐标转换关系；根据第二坐标数据和第三坐标数据对候选标定数据进行调整，直至满足结束条件结束调整，得到目标标定数据。基于本技术实施例，通过改变位姿的确定方式，对位姿数据组进行插值处理得到参考坐标转换数据，可以减少由于时间匹配误差引起的后续点云数据与图像数据无法重合的问题，可以提高标定数据的准确性。
附图说明
31.为了更清楚地说明本技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
32.图1是本技术实施例提供的一种应用环境的示意图；
33.图2是一种数据采集设备的安装示意图；
34.图3是一组标注可视化界面的示意图；
35.图4是一种点云和图像的映射链路的示意图；
36.图5是一种多个传感器的时间匹配的示意图；
37.图6是一种激光雷达和车载相机的时间软同步示意图；
38.图7是本技术实施例提供的一种数据标定方法的流程示意图；
39.图8是本技术实施例提供的一种调整界面可视化示意图；
40.图9是本技术实施例提供的调整候选标定数据前后的对比示意图；
41.图10是本技术实施例提供的一种数据标定装置的结构示意图；
42.图11是本技术实施例提供的一种用于实现本技术实施例所提供的数据标定方法的电子设备的硬件结构示意图。
具体实施方式
43.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施例作进一步地详细描述。显然，所描述的实施例仅仅是本技术一个实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
44.此处所称的“实施例”是指可包含于本技术至少一个实现方式中的特定特征、结构或特性。在本技术实施例的描述中，需要理解的是，术语“第一”、“第二”和“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
由此，限定有“第一”、“第二”和“第三”等的特征可以明示或者隐含的包括一个或者更多个该特征。而且，术语“第一”、“第二”和“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术实施例能够以除了在这里图示或描述以外的顺序实施。此外，术语“包括”、“具有”和“为”以及他们的任何变形，意图在于覆盖不排他的包含。
45.可以理解的是，在本技术的具体实施方式中，涉及到指标数据等相关的数据，当本技术以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
46.本发明实施例可应用于各种场景，包括但不限于智能交通、智能车路协同系统。
47.其中，智能交通系统(intelligent traffic system，its)又称智能运输系统(intelligent transportation system)，是将先进的科学技术(信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等)有效地综合运用于交通运输、服务控制和车辆制造，加强车辆、道路、使用者三者之间的联系，从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输系统。
48.智能车路协同系统(intelligent vehicle infrastructure cooperative systems，ivics)，简称车路协同系统，是智能交通系统(its)的一个发展方向。车路协同系统是采用先进的无线通信和新一代互联网等技术，全方位实施车车、车路动态实时信息交互，并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理，充分实现人车路的有效协同，保证交通安全，提高通行效率，从而形成的安全、高效和环保的道路交通系统。
49.请参阅图1，图1是本技术实施例提供的一种应用环境的示意图，该应用环境中可以包括车载相机10、雷达20、定位设备30和服务器40。车载相机10、雷达20、定位设备30与服务器20可以通过有线或无线通信方式进行直接或间接地连接。
50.在一些可能的实施方式中，车载相机10、雷达20、定位设备30可以向服务器40分别发送图像数据、点云数据和位姿数据，服务器40可以提供数据标注服务。
51.服务器40可以是独立的物理服务器，也可以是多个物理服务器构成的服务集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network,cdn)以及大数据和人工智能平台等基础云计算服务的云服务器。其中，服务器40可以包括有网络通信单元、处理器和存储器等等。
52.图2是一种数据采集设备的安装示意图，包括6个车载相机、1个激光雷达(laser radar，lidar)、5个雷达radar。对于每个数据采集场景，可以只选择其中的部分关键帧做标注，标注的速率可以为2hz，总共可以标注23类物体的三维边界框(3dimensions bounding box，3d bbox)、类别信息以及其他属性信息，如可见度、状态等信息。图3是一组标注可视化界面的示意图。在标注中，要求同一时刻呈现在图像和点云中的同一物体同时标注出来，形成一组数据，通常会采用人工标注点云中物体的3dbbox，然后通过映射矩阵，建立该3d bbox与各视角中图像的映射关系，这种映射关系可以是由人工通过标定确定的。
53.现有雷达与图像联合标注的方案中，需要建立点云内任意一点与图像上任意一个像素的映射关系，图4是一种点云和图像的映射链路的示意图。将点云内点的坐标映射至图
像内的链路主要有两种，一种是直接将t1时刻的点云通过刚体转换矩阵映射入t2时刻车载相机拍摄的图像中，该方法要求t1和t2足够接近，但由于车载相机和雷达频率都很低，其匹配精度仅能到25ms，映射误差较大。另一种是将t1时刻采集到的点云数据通过雷达坐标系与车身坐标系之间的转换矩阵映射至车身坐标系，再根据t1’时刻的车辆位姿将点云数据转换至世界坐标系，再根据t2’时刻的车辆位姿将点云数据转换至车身坐标系，通过车身坐标系与相机坐标系之间的转换矩阵映射至相机坐标系。该方法要求t1’和t1，t2’和t2足够接近，但其匹配精度为10ms，仍然存在映射误差。
54.然而，现有雷达与图像联合标注面临着多个器件之间时间匹配问题，图5是一种多个传感器的时间匹配的示意图，包括6组车载相机、1组点云和1组位姿的组合信号时间戳分布，由图5可以看出，存在10ms以上的错位，这将造成标注的物体无法准确匹配。
55.多传感器的融合涉及时间同步，包括硬同步和软同步。其中，软同步的方法主要是利用时间戳进行不同传感器的匹配。通常是将各传感器数据统一到扫描周期较长、频率较小的传感器上。例如，对于采样频率约为12.5hz的4线激光雷达和采样频率30hz的车载相机，显然激光雷达的采样周期大，则可以以激光雷达的采样频率为基准进行匹配。图6是一种激光雷达和车载相机的时间软同步示意图，上方虚线框可以表示激光雷达的采样频率，下方的虚线框可以表示车载相机的采样频率，横轴可以表示统一的时间戳。传感器的每个采样时刻可以记录在统一的时间序列上。当激光雷达完成一次采样，可以寻找与其采样时刻最近的图像，这样便可以完成两种数据的时间匹配，如图6中阴影部分所示。但是，若激光雷达完成一次采样的采样时刻与其采样时刻最近的图像的采样时刻的时间间距较大，最终的同步效果仍然不好。并且，随着时间同步的数据量的增大，匹配的难度必然加大，匹配的精度也大大降低。硬同步是指利用一个专门的硬件来连接所有的传感器，同一时间发送脉冲给所有传感器，并接收各自返回的时间戳。通过硬件来触发传感器，例如触发车载相机，可以保证多个车载相机近乎在同一时间触发(相机在相同曝光时间下，从接收脉冲到完成裁员的时间)，并给车载相机的采样结果打上硬件端的时间标签。硬同步虽然可以缩小不同传感器之间的时间戳差异，但是对硬件要求较高，增加了车辆制造成本。
56.下面介绍本技术一种数据标定方法的具体实施例，图7是本技术实施例提供的一种数据标定方法的流程示意图。本说明书提供了如实施例或流程图所示的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多执行顺序中的一种方式，不代表唯一的执行顺序，在实际执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
57.具体如图7所示，该数据标定方法可以包括：
58.s701：获取预设采样时间单元内雷达采集的点云数据和车载相机采集的图像数据，确定点云数据在雷达坐标系中的第一坐标数据以及图像数据在相机坐标系中的第二坐标数据。
59.本技术实施例中，可以获取雷达在第一采样时刻采集的点云数据以及获取车载相机在第二采样时刻采集的图像数据。其中，第一采样时刻和第二采样时刻均在预设采样时间单元内，且第一采样时刻与第二采样时刻的时间差在预设时间差区间内。
60.在一些可能的实施方式中，假设，软同步和硬同步的效果较差，车载相机的采样频
率为30hz，激光雷达的采样频率为10hz，定位设备可以包括高精度惯性测量单元(inertial measurment unit，imu)和实时动态差分定位单元(real time kinematic，rtk)，其采样频率为100hz。预设采样时间单元可以是车载相机、激光雷达、定位设备分别基于各自对应的采样频率可以采集到相应数据的时间长度。例如，可以在采样时刻t1采集到点云数据，在采样时刻t2采集到图像数据，然后可以确定点云数据中各点在激光雷达对应的雷达坐标系中的坐标，得到第一坐标数据，同时可以确定图像数据中各像素在相机坐标系中的坐标，得到第二坐标数据。
61.s703：获取预设采样时间单元内定位设备采集的位姿数据组，对位姿数据组进行插值处理，得到参考坐标转换数据。
62.本技术实施例中，参考坐标转换数据可以表征车身坐标系与世界坐标系之间的坐标转换关系。
63.本技术实施例中，可以获取定位设备在第一采样时刻对应的第一预设采样时间单元内采集的第一位姿数据组以及获取定位设备在第二采样时刻对应的第二预设采样时间单元内采集的第二位姿数据组。然后可以对第一位姿数据组进行插值处理，确定第一位姿数据组对应的第一参考坐标转换数据，以及对第二位姿数据组进行插值处理，确定第二位姿数据组对应的第二参考坐标转换数据，得到参考坐标转换数据。
64.本技术实施例中，可以获取定位设备在第一采样时刻对应的第一预设采样时间单元内采集的第一位姿数据组。接着可以对第一位姿数据组进行插值处理，得到第一位姿数据组对应的第一参考坐标转换数据。然后可以对第一参考坐标转换数据进行求逆处理，得到第一位姿数据组对应的第二参考坐标转换数据。通过改变位姿的确定方式，对位姿数据组进行插值处理得到参考坐标转换数据，可以减少由于时间匹配误差引起的后续点云数据与图像数据无法重合的问题，可以提高标定数据的准确性。
65.在一些可能的实施方式中，可以在采样时刻t1’和t1”采集到第一位姿数据组，以及在采样时刻t2’和t2”采集到第一位姿数据组。其中，t1’《t1《t1”，t2’《t2《t2”。然后可以对采样时刻t1’和采样时刻t1”采集到的第一位姿数据组进行插值处理，得到第一参考坐标转换数据tx_i_m，以及可以对采样时刻t2’和采样时刻t2”采集到的第二位姿数据组进行插值处理，得到第二参考坐标转换数据tx_m_i。
66.在一些可能的实施方式中，可以对采样时刻t1’和采样时刻t1”采集到的第一位姿数据组进行插值处理，得到第一参考坐标转换数据tx_i_m，然后可以对第一参考坐标转换数据tx_i_m进行求逆处理，得到第二参考坐标转换数据tx_m_i。
67.s705：基于候选标定数据和参考坐标转换数据对第一坐标数据进行坐标转换处理，得到点云数据在相机坐标系中的第三坐标数据。
68.本技术实施例中，候选标定数据表征雷达坐标系与车身坐标系之间的坐标转换关系以及车身坐标系与相机坐标系之间的坐标转换关系。
69.本技术实施例中，候选标定数据可以包括第一候选标定数据和第二候选标定数据，第一候选标定数据可以表征雷达坐标系与车身坐标系之间的坐标转换关系，第二候选标定数据可以表征车身坐标系与相机坐标系之间的坐标转换关系。
70.本技术实施例中，可以基于第一候选标定数据、第一参考坐标转换数据、第二参考坐标转换数据和第二候选标定数据对第一坐标数据进行坐标转换处理，得到点云数据在相
机坐标系中的第三坐标数据。
71.在一些可能的实施方式中，可以先基于表征雷达坐标系与车身坐标系之间的坐标转换关系的、参数化的第一候选标定数据tx_l_i对第一坐标数据p_l进行坐标转换处理，得到点云在车身坐标系中的坐标。然后可以基于表征车身坐标系与世界坐标系之间的坐标转换关系的第一参考坐标转换数据tx_i_m对点云在车身坐标系中的坐标进行坐标转换处理，得到点云在世界坐标系中的坐标p_m。接着可以基于表征世界坐标系与车身坐标系之间的坐标转换关系的第二参考坐标转换数据tx_m_i对点云在世界坐标系中的坐标p_m进行坐标转换处理，得到点云在车身坐标系下的坐标。最后，可以基于表征车身坐标系与相机坐标系之间的、参数化的第二候选标定数据tx_i_c对点云在车身坐标系下的坐标进行坐标转换处理，得到点云在相机坐标系中的坐标p_c，即第三坐标数据。具体的坐标转换处理方式如下：
72.p_m＝tx_i_m
●
tx_l_i
●
p_l
73.其中，p_m可以表示点云在世界坐标系中的坐标，p_l可以表示点云在雷达坐标系中的坐标，tx_i_m可以表示采样时刻t1车身坐标系与世界坐标系之间的坐标转换关系，tx_l_i可以表示雷达坐标系与车身坐标系之间的坐标转换关系。
74.p_c＝tx_i_c
●
tx_m_i
●
p_m
75.其中，p_c可以表示点云在相机坐标系中的坐标，p_m可以表示点云在世界坐标系中的坐标，tx_m_i可以表示采样时刻t2世界坐标系与车身坐标系之间的坐标转换关系，tx_i_c可以表示车身坐标系与相机坐标系之间的坐标转换关系。
76.根据矩阵的结合律，p_c＝tx_i_c
●
tx_m_i
●
tx_i_m
●
tx_l_i
●
p_l
77.设tx＝tx_i_c
●
tx_m_i
●
tx_i_m
●
tx_l_i
78.则p_c＝tx
●
p_l。
79.s707：根据第二坐标数据和第三坐标数据对候选标定数据进行调整，直至满足结束条件结束调整，得到目标标定数据。
80.现有单个雷达手动标定的步骤主要包括找一处地面较大且平整的位置，在雷达正前方放置一规则障碍物，将标定后的点云进行转换和显示，通过观察标定后的点云，手动调整俯仰角pitch、航向角yaw、侧倾角roll以及x方向位移、y方向位移等参数。然后该标定结果往往不准确。
81.本技术实施例中，可以根据第二坐标数据和第三坐标数据对候选标定数据进行调整，直至第二坐标数据与第三坐标数据的差值在预设差值区间内结束调整。可以将结束调整时的候选标定数据作为目标标定数据。在调整过程中，对于静态物体，无论何时被采集，其在世界坐标系中的位置理论上一致的，如果两个时刻足够接近，可以认为该两个时刻所有物体无位移。
82.图8是本技术实施例提供的一种调整界面可视化示意图，图9是本技术实施例提供的调整候选标定数据前后的对比示意图。由图9可以清楚地看到，调整后的点云数据可以与图像数据相重合。
83.通过基于可视化界面调整第一候选标定数据和第二候选标定数据的数值，可以使得采样时间差在预设时间差区间内的点云数据映射至相应的图像数据，可以减少由于时间匹配误差引起的后续点云数据与图像数据无法重合的问题，可以提高标定数据的准确性。
84.采用本技术实施例提供的数据标定方法，通过改变位姿的确定方式，对位姿数据
组进行插值处理得到参考坐标转换数据，可以减少由于时间匹配误差引起的后续点云数据与图像数据无法重合的问题，可以提高标定数据的准确性。通过基于可视化界面调整第一候选标定数据和第二候选标定数据的数值，可以使得采样时间差在预设时间差区间内的点云数据映射至相应的图像数据，可以减少由于时间匹配误差引起的后续点云数据与图像数据无法重合的问题，可以提高标定数据的准确性。
85.本技术实施例还提供一种数据标定装置，图10是本技术实施例提供的一种数据标定装置的结构示意图，如图10所示，该数据标定装置可以包括：
86.第一获取模块1001，用于获取预设采样时间单元内雷达采集的点云数据和车载相机采集的图像数据，确定点云数据在雷达坐标系中的第一坐标数据以及图像数据在相机坐标系中的第二坐标数据；
87.第二获取模块1003，用于获取预设采样时间单元内定位设备采集的位姿数据组，对位姿数据组进行插值处理，得到参考坐标转换数据；参考坐标转换数据表征车身坐标系与世界坐标系之间的坐标转换关系；
88.坐标转换模块1005，用于基于候选标定数据和参考坐标转换数据对第一坐标数据进行坐标转换处理，得到点云数据在相机坐标系中的第三坐标数据；候选标定数据表征雷达坐标系与车身坐标系之间的坐标转换关系以及车身坐标系与相机坐标系之间的坐标转换关系；
89.调整模块1007，用于根据第二坐标数据和第三坐标数据对候选标定数据进行调整，直至满足结束条件结束调整，得到目标标定数据。
90.在一些可能的实施方式中，第一获取模块，用于获取雷达在第一采样时刻采集的点云数据以及车载相机在第二采样时刻采集的图像数据；
91.其中，第一采样时刻和第二采样时刻均在预设采样时间单元内，且第一采样时刻与第二采样时刻的时间差在预设时间差区间内。
92.在一些可能的实施方式中，第二获取模块，用于获取定位设备在第一采样时刻对应的第一预设采样时间单元内采集的第一位姿数据组以及在第二采样时刻对应的第二预设采样时间单元内采集的第二位姿数据组；第一预设采样时间单元和第二预设采样时间单元在预设采样时间单元内；
93.分别对第一位姿数据组和第二位姿数据组进行插值处理，确定第一位姿数据组对应的第一参考坐标转换数据和第二位姿数据组对应的第二参考坐标转换数据，得到参考坐标转换数据。
94.在一些可能的实施方式中，第二获取模块，用于获取定位设备在第一采样时刻对应的第一预设采样时间单元内采集的第一位姿数据组；第一预设采样时间单元在预设采样时间单元内；
95.对第一位姿数据组进行插值处理，得到第一位姿数据组对应的第一参考坐标转换数据；
96.对第一参考坐标转换数据进行求逆处理，得到第一位姿数据组对应的第二参考坐标转换数据；
97.对第一参考坐标转换数据和第二参考坐标转换数据进行整合处理，得到参考坐标转换数据。
98.在一些可能的实施方式中，候选标定数据包括第一候选标定数据和第二候选标定数据；
99.第一候选标定数据表征雷达坐标系与车身坐标系之间的坐标转换关系，第二候选标定数据表征车身坐标系与相机坐标系之间的坐标转换关系；
100.坐标转换模块，用于基于第一候选标定数据、第一参考坐标转换数据、第二参考坐标转换数据和第二候选标定数据对第一坐标数据进行坐标转换处理，得到点云数据在相机坐标系中的第三坐标数据。
101.在一些可能的实施方式中，调整模块，用于根据第二坐标数据和第三坐标数据对候选标定数据进行调整，直至第二坐标数据与第三坐标数据的差值在预设差值区间内结束调整，将结束调整时的候选标定数据作为目标标定数据。
102.本技术实施例中的装置与方法实施例基于同样的申请构思。
103.本技术实施例提供了一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的数据标定方法。
104.图11是本技术实施例提供的一种用于实现本技术实施例所提供的数据标定方法的电子设备的硬件结构示意图，电子设备可以参与构成或者包含本技术实施例所提供的数据标定装置。如图11所示，电子设备可以包括一个或者多个(图中采用1101a、1101b来示出)处理器1101(处理器1101可以包括但不限于微处理器1101mcu或可编程逻辑器件fpga等处理装置)、用于存储数据的存储器1103、以及用于通信功能的传输装置1105。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为i/o接口的端口中的一个端口被包括)、网络接口和/或电源。本领域普通技术人员可以理解，图11所示的结构仅为示意，其并不对上述电子设备的结构造成限定。例如，电子设备还可以包括比图11中所示更多或者更少的组件，或者具有与图11所示不同的配置。
105.应当注意到的是上述一个或多个处理器1101和/或其他数据处理电路在本技术中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立处理模块，或全部或部分的结合到电子设备(或移动设备)中的其他元件中的任意一个内。如本技术实施例中所涉及到的，该数据处理电路作为一种处理器1101控制(例如与接口连接的可变电阻终端路径的选择)。
106.存储器1103可用于存储应用软件的软件程序以及模块，如本技术实施例中的数据标定方法对应的程序指令/数据存储装置，处理器1101通过运行存储在存储器1103内的软件程序以及模块，从未执行各功能应用以及数据处理，即实现上述的一种数据标定方法。存储器1103可包括高速随机存储器，还可包括非易失性随机存储器1103，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器1103。在一些可能的实施例中，存储器1103可以进一步包括相对于处理远程设置的存储器1103，这些远程存储器1103可以通过网络连接值电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
107.传输装置1105用于经由一个网络接收或者发送数据。上述的网络具体实例可以包括电子设备的通信供应商提供的无线网络。在一个实例中，传输装置1105包括一个网络适配器(networkinterfacecontroller,nic)，其可通过基站与其他网络设备相连从而可与互
联网进行通讯。在一个实例中，传输装置1105可以为射频(radiofrequency,rf)模块，其用于通过无线方式与互联网进行通讯。
108.显示器可以例如触摸屏式的液晶显示器(led)，该液晶显示器可使得用户能够与电子设备(或移动设备)的用户界面进行交互。
109.本技术实施例提供了一种计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种数据标定方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的数据标定方法。
110.可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
111.需要说明的是：上述本技术实施例的先后顺序仅仅为了描述，不代表实施例的优劣，且上述本说明书对特定的实施例进行了描述，其他实施例也在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或者步骤可以按照不同的实施例中的顺序来执行并且能够实现预期的结果。另外，在附图中描绘的过程不一定要求示出特定顺序或者而连接顺序才能够实现期望的结果，在某些实施方式中，多任务并行处理也是可以的或者可能是有利的。
112.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的均为与其他实施例的不同之处。尤其，对于装置和电子设备的实施例而言，由于其基于相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
113.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

技术特征：
1.一种数据标注方法，其特征在于，包括：获取预设采样时间单元内雷达采集的点云数据和车载相机采集的图像数据，确定所述点云数据在雷达坐标系中的第一坐标数据以及所述图像数据在相机坐标系中的第二坐标数据；获取所述预设采样时间单元内定位设备采集的位姿数据组，对所述位姿数据组进行插值处理，得到参考坐标转换数据；所述参考坐标转换数据表征车身坐标系与世界坐标系之间的坐标转换关系；基于候选标定数据和所述参考坐标转换数据对所述第一坐标数据进行坐标转换处理，得到所述点云数据在所述相机坐标系中的第三坐标数据；所述候选标定数据表征所述雷达坐标系与所述车身坐标系之间的坐标转换关系以及所述车身坐标系与所述相机坐标系之间的坐标转换关系；根据所述第二坐标数据和所述第三坐标数据对所述候选标定数据进行调整，直至满足结束条件结束调整，得到目标标定数据。2.根据权利要求1所述的方法，其特征在于，所述获取预设采样时间单元内雷达采集的点云数据和车载相机采集的图像数据，包括：获取所述雷达在第一采样时刻采集的所述点云数据以及所述车载相机在第二采样时刻采集的所述图像数据；其中，所述第一采样时刻和所述第二采样时刻均在所述预设采样时间单元内，且所述第一采样时刻与所述第二采样时刻的时间差在预设时间差区间内。3.根据权利要求2所述的方法，其特征在于，所述获取所述预设采样时间单元内定位设备采集的位姿数据组，对所述位姿数据组进行插值处理，得到参考坐标转换数据，包括：获取所述定位设备在所述第一采样时刻对应的第一预设采样时间单元内采集的第一位姿数据组以及在第二采样时刻对应的第二预设采样时间单元内采集的第二位姿数据组；所述第一预设采样时间单元和所述第二预设采样时间单元在所述预设采样时间单元内；分别对所述第一位姿数据组和所述第二位姿数据组进行插值处理，确定所述第一位姿数据组对应的第一参考坐标转换数据和所述第二位姿数据组对应的第二参考坐标转换数据，得到所述参考坐标转换数据。4.根据权利要求2所述的方法，其特征在于，所述获取所述预设采样时间单元内定位设备采集的位姿数据组，对所述位姿数据组进行插值处理，得到参考坐标转换数据，包括：获取所述定位设备在所述第一采样时刻对应的第一预设采样时间单元内采集的第一位姿数据组；所述第一预设采样时间单元在所述预设采样时间单元内；对所述第一位姿数据组进行插值处理，得到所述第一位姿数据组对应的第一参考坐标转换数据；对所述第一参考坐标转换数据进行求逆处理，得到所述第一位姿数据组对应的第二参考坐标转换数据；对所述第一参考坐标转换数据和所述第二参考坐标转换数据进行整合处理，得到所述参考坐标转换数据。5.根据权利要求3或4所述的方法，其特征在于，所述候选标定数据包括第一候选标定数据和第二候选标定数据；
所述第一候选标定数据表征所述雷达坐标系与所述车身坐标系之间的坐标转换关系，所述第二候选标定数据表征所述车身坐标系与所述相机坐标系之间的坐标转换关系；所述基于候选标定数据和所述参考坐标转换数据对所述第一坐标数据进行坐标转换处理，得到所述点云数据在所述相机坐标系中的第三坐标数据，包括：基于所述第一候选标定数据、所述第一参考坐标转换数据、所述第二参考坐标转换数据和所述第二候选标定数据对所述第一坐标数据进行坐标转换处理，得到所述点云数据在所述相机坐标系中的所述第三坐标数据。6.根据权利要求1所述的方法，其特征在于，所述根据所述第二坐标数据和所述第三坐标数据对所述候选标定数据进行调整，直至满足结束条件结束调整，得到目标标定数据，包括：根据所述第二坐标数据和所述第三坐标数据对所述候选标定数据进行调整，直至所述第二坐标数据与所述第三坐标数据的差值在预设差值区间内结束调整，将结束调整时的候选标定数据作为所述目标标定数据。7.一种数据标注装置，其特征在于，包括：第一获取模块，用于获取预设采样时间单元内雷达采集的点云数据和车载相机采集的图像数据，确定所述点云数据在雷达坐标系中的第一坐标数据以及所述图像数据在相机坐标系中的第二坐标数据；第二获取模块，用于获取所述预设采样时间单元内定位设备采集的位姿数据组，对所述位姿数据组进行插值处理，得到参考坐标转换数据；所述参考坐标转换数据表征车身坐标系与世界坐标系之间的坐标转换关系；坐标转换模块，用于基于候选标定数据和所述参考坐标转换数据对所述第一坐标数据进行坐标转换处理，得到所述点云数据在所述相机坐标系中的第三坐标数据；所述候选标定数据表征所述雷达坐标系与所述车身坐标系之间的坐标转换关系以及所述车身坐标系与所述相机坐标系之间的坐标转换关系；调整模块，用于根据所述第二坐标数据和所述第三坐标数据对所述候选标定数据进行调整，直至满足结束条件结束调整，得到目标标定数据。8.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1-6任一项所述的数据标注方法。9.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-6任一项所述的数据标注方法。10.一种计算机程序产品，其特征在于，所述计算机程序产品包括至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-6任一项所述的数据标注方法。

技术总结
本申请提供一种数据标定方法、装置、电子设备及存储介质，通过确定预设采样时间单元内采集的点云数据在雷达坐标系中的第一坐标数据以及图像数据在相机坐标系中的第二坐标数据，以及对预设采样时间单元内定位设备采集的位姿数据组进行插值处理，得到参考坐标转换数据，基于候选标定数据和参考坐标转换数据对第一坐标数据进行坐标转换处理，得到点云数据在相机坐标系中的第三坐标数据，根据第二坐标数据和第三坐标数据对候选标定数据进行调整，直至满足结束条件结束调整，得到目标标定数据。本申请实施例可以减少由于时间匹配误差引起的后续点云数据与图像数据无法重合的问题，可以提高标定数据的准确性。以提高标定数据的准确性。以提高标定数据的准确性。


技术研发人员：朱元豪 张振林 陈胤子 郁健峰 李晨希
受保护的技术使用者：中汽创智科技有限公司
技术研发日：2023.02.15
技术公布日：2023/7/13