目标对象状态标签的确定方法、装置、电子设备和介质与流程

1.本公开涉及计算机视觉技术，尤其是一种目标对象状态标签的确定方法、装置、电子设备和介质。


背景技术：

2.在自动驾驶技术中，环境重建是必不可少的环节，重建结果可用于车辆的规控避障和高精地图构建等场景，随着纯视觉重建技术的日趋成熟，以及对硬件成本的考虑，相关技术中通常采用纯视觉方法进行环境重建，纯视觉环境重建通常是基于多帧观测，采用一定的算法实现目标对象(比如车道线、建筑、指示牌、电线杆、限高杆及其他障碍物等环境对象)的重建，算法的优化需要以目标对象的状态真值(也称状态标签，比如目标对象的位置、朝向、尺寸等)作为参考，以对算法效果进行评估。相关技术中，通常通过人工标注的方式获得目标对象的状态真值，人力成本高，标注效率低。


技术实现要素：

3.为了解决上述人工标注真值人力成本高、标注效率低等技术问题，提出了本公开。本公开的实施例提供了一种目标对象状态标签的确定方法、装置、电子设备和介质。
4.根据本公开实施例的一个方面，提供了一种目标对象状态标签的确定方法，包括：获取至少一帧中各所述帧分别对应的图像处理结果数据、点云数据和运动状态数据；基于各所述帧分别对应的所述图像处理结果数据、所述点云数据和所述运动状态数据，确定各所述帧分别观测到的目标对象的状态标签，所述状态标签包括所述目标对象的位置、朝向和尺寸中的至少一种。
5.根据本公开实施例的另一个方面，提供了一种目标对象状态标签的确定装置，包括：第一获取模块，用于获取至少一帧中各所述帧分别对应的图像处理结果数据、点云数据和运动状态数据；第一处理模块，用于基于各所述帧分别对应的所述图像处理结果数据、所述点云数据和所述运动状态数据，确定各所述帧分别观测到的目标对象的状态标签，所述状态标签包括所述目标对象的位置、朝向和尺寸中的至少一种。
6.根据本公开实施例的再一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的目标对象状态标签的确定方法。
7.根据本公开实施例的又一方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的目标对象状态标签的确定方法。
8.基于本公开上述实施例提供的目标对象状态标签的确定方法、装置、电子设备和介质，通过获取至少一帧中各帧分别对应的图像处理结果数据、点云数据和运动状态数据，可以基于各帧分别对应的图像处理结果数据、点云数据和运动状态数据，确定各帧分别观
测到的目标对象的状态标签，基于多模数据实现了目标对象状态标签的自动化生成，相对于人工标注，大大提高了效率，降低了人工成本。
9.下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
10.图1是本公开提供的目标对象状态标签的确定方法的一个示例性的应用场景；
11.图2是本公开一示例性实施例提供的目标对象状态标签的确定方法的流程示意图；
12.图3是本公开另一示例性实施例提供的目标对象状态标签的确定方法的流程示意图；
13.图4是本公开一示例性实施例提供的步骤2021的流程示意图；
14.图5是本公开再一示例性实施例提供的目标对象状态标签的确定方法的流程示意图；
15.图6是本公开一示例性实施例提供的步骤2024的流程示意图；
16.图7是本公开一示例性实施例提供的步骤2027的流程示意图；
17.图8是本公开又一示例性实施例提供的目标对象状态标签的确定方法的流程示意图；
18.图9是本公开一示例性实施例提供的目标对象状态标签的确定装置的结构示意图；
19.图10是本公开另一示例性实施例提供的目标对象状态标签的确定装置的结构示意图；
20.图11是本公开再一示例性实施例提供的目标对象状态标签的确定装置的结构示意图；
21.图12是本公开电子设备一个应用实施例的结构示意图。
具体实施方式
22.为了解释本公开，下面将参考附图详细地描述本公开的示例实施例，显然，所描述的实施例仅是本公开的一部分实施例，而不是全部实施例，应理解，本公开不受示例性实施例的限制。
23.应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
24.本公开概述
25.在实现本公开的过程中，发明人发现，在自动驾驶技术中，环境重建是必不可少的环节，重建结果可用于车辆的规控避障和高精地图构建等场景，随着纯视觉重建技术的日趋成熟，以及对硬件成本的考虑，相关技术中通常采用纯视觉方法进行环境重建，纯视觉环境重建通常是基于多帧观测，采用一定的重建算法实现目标对象(比如车道线、建筑、指示牌、电线杆、限高杆及其他障碍物等环境对象)的重建，算法的优化需要以目标对象的状态真值(也称状态标签，比如目标对象的位置、朝向、尺寸等)作为参考，以对算法效果进行评估。相关技术中，通常通过人工标注的方式获得目标对象的状态真值，人力成本高，标注效
率低。
26.示例性概述
27.图1是本公开提供的目标对象状态标签的确定方法的一个示例性的应用场景。
28.在自动驾驶的环境重建场景，可以通过安装在车辆上的摄像头采集车辆周围的环境图像，比如基于四路环视系统采集前视、后视、左视和右视四个视角的环境图像，基于预先优化获得的重建算法重建周围环境，获得重建结果。其中，各种对象的重建所基于的重建算法需要预先基于图像数据及对应的状态标签数据进行不断优化获得，利用本公开的目标对象状态标签的确定方法，可以基于至少一帧的图像处理结果数据、点云数据和运动状态数据等多模数据，有效确定各帧分别观测到的目标对象的状态标签，从而可以将各帧分别对应的图像数据作为待进行重建的图像数据，将各帧分别对应的状态标签数据作为图像数据对应的状态标签数据，用于重建算法的优化，获得优化后的重建算法。进而将优化后的重建算法用于基于图像的环境重建，获得重建结果。图像处理结果数据可以包括目标检测结果、语义分割结果、分类结果等数据，具体可以根据实际需求设置。点云数据可以为激光雷达点云数据也可以是其他类型的雷达的点云数据，具体可以根据实际需求设置，运动状态数据可以是里程计数据也可以基于其他传感器获得的速度、加速度等数据，具体可以根据实际需求设置。本公开实施例基于多模数据有效实现了环境中各种目标对象的状态标签的确定，从而实现了用于重建算法优化的图像数据的自动化标注，大大提高标注效率，降低人工标注成本。
29.本公开提供的目标对象状态标签的确定方法，可以用于任意需要确定图像中目标对象的状态标签的场景，不限于上述的环境重建场景。
30.示例性方法
31.图2是本公开一示例性实施例提供的目标对象状态标签的确定方法的流程示意图。本实施例可应用在电子设备上，具体比如车载计算平台上，如图2所示，包括如下步骤：
32.步骤201，获取至少一帧中各帧分别对应的图像处理结果数据、点云数据和运动状态数据。
33.其中，至少一帧可以是指至少一个时间帧。图像处理结果数据可以包括目标检测结果、语义分割结果、分类结果等数据，具体可以根据实际需求设置。点云数据可以为激光雷达点云数据也可以是其他类型的雷达的点云数据，具体可以根据实际需求设置，运动状态数据可以是里程计数据也可以基于其他传感器获得的速度、加速度等数据，具体可以根据实际需求设置。各帧分别对应的图像处理结果数据、点云数据和运动状态数据可以是数据采集车辆或经授权的用户车辆同步采集获得的数据。比如在车辆上配置有摄像头、激光雷达和里程计，并配置有基于深度学习的图像处理模型，在车辆行驶过程中，在每个时间帧，可以基于摄像头采集环境图像，经图像处理模型处理获得各时间帧分别对应的图像处理结果数据，可以基于激光雷达采集每个时间帧的点云数据，可以基于里程计获得每个时间帧的运动状态数据。或者，也可以在一定时间段同步采集图像处理结果数据、点云数据和运动状态数据，通过时间对齐处理将该时间段内的数据分解为各帧分别对应的图像处理结果数据、点云数据和运动状态数据，具体方式不作限定。
34.在一个可选实施例中，对于图像处理结果数据，也可以是车辆采集各时间帧的环境图像，上传到服务器、终端、或者本公开的装置所在的电子设备，在服务器、终端或本公开
的装置所在的设备部署有基于深度学习的图像处理模型，用于对各时间帧的环境图像进行处理获得各时间帧分别对应的图像处理结果。具体获得图像处理结果的方式不作限定。
35.步骤202，基于各帧分别对应的图像处理结果数据、点云数据和运动状态数据，确定各帧分别观测到的目标对象的状态标签。
36.其中，状态标签可以包括目标对象的位置、朝向和尺寸中的至少一种。目标对象的状态标签可以是对应帧的车辆坐标系下的标签，也可以是世界坐标系下的标签，等等。比如目标对象的位置可以为车辆坐标系下的坐标，具体可以根据实际需求设置。且不同坐标系之间可以通过对应的转换关系进行相互转换。图像处理结果数据、点云数据和运动状态数据分别为三种不同模态的数据，图像处理结果数据表征了基于图像的感知情况，点云数据表征了目标对象相对车辆或雷达的三维空间状态信息，运动状态数据描述了车辆的运动状态，基于多模数据之间的关联关系，可以确定出各帧分别观测到的目标对象的状态标签，从而实现图像中目标对象的状态标签的自动化确定。
37.在一个可选示例中，通过图像处理结果数据可以确定图像中所包含的目标对象的类型及目标对象的检测框信息、语义分割结果信息等等，通过点云数据可以确定目标对象的空间状态，比如位置、朝向尺寸等等，通过运动状态数据可以建立图像中目标对象与点云数据中目标对象的对应关系，从而可以将点云数据所确定的目标对象的空间状态作为图像中目标对象的状态标签。
38.在一个可选实施例中，还可以针对不同模态的数据帧率不同的情况，对部分数据进行校正或补偿，比如对于点云数据，由于其数据采集帧率较高，可以基于里程计数据对点云数据进行运动补偿，以进一步提高点云数据的准确性，从而可以进一步提高目标对象状态标签的准确性。
39.在一个可选实施例中，还可以采用一定方式对点云数据进行噪点过滤，以进一步提高点云数据的准确性。
40.在一个可选实施例中，目标对象可以有一个或多个，目标对象的分类类型可以有一种或多种，具体不作限定。
41.本实施例提供的目标对象状态标签的确定方法，通过获取至少一帧中各帧分别对应的图像处理结果数据、点云数据和运动状态数据，可以基于各帧分别对应的图像处理结果数据、点云数据和运动状态数据，确定各帧分别观测到的目标对象的状态标签，基于多模数据实现了目标对象状态标签的自动化生成，相对于人工标注，大大提高了效率，降低了人工成本。
42.图3是本公开另一示例性实施例提供的目标对象状态标签的确定方法的流程示意图。
43.在一个可选实施例中，所述运动状态数据为里程计数据；步骤202具体可以包括以下步骤：
44.步骤2021，将任一帧作为当前帧，基于当前帧对应的里程计数据对当前帧的点云数据进行运动补偿，获得补偿后的第一点云数据。
45.其中，里程计数据可以包括速度(可以包括线速度和角速度)，还可以根据实际需求包括位姿(可以包括位置和姿态)变化量，具体可以根据实际需求设置。由于图像帧率和点云数据帧率不同，每一帧(时间帧)对应的图像处理结果数据和点云数据的帧数不同，比
如每个时间帧对应的图像处理结果数据可以是一帧图像对应的图像处理结果数据，每个时间帧对应的点云数据可以包括多帧点云，由于雷达在扫描获得点云数据的过程中是一帧一帧进行扫描的，具有一定的帧间隔，而车辆是不断移动的，导致不同帧扫描获得的点云对应的实际车辆位姿不同，为了将点云数据的多帧点云统一到同一车辆位姿下，因此需要对点云数据进行运动补偿，从而保证补偿后的第一点云数据中的各帧点云相对的车辆位姿与图像处理结果数据的车辆位姿一致，从而进一步提高获得的目标对象的状态标签的准确性。
46.在一个可选实施例中，可以按照一定规则遍历各帧，比如按照时间前后顺序进行遍历，依次将每一帧作为当前帧，具体可以根据实际需求设置。
47.在一个可选实施例中，对当前帧的点云数据进行运动补偿的方式可以根据实际需求设置，比如可以根据里程计数据确定出单位时间位姿变化量，再根据点云数据的帧间隔，确定点云数据中相邻两帧之间的位姿变化量，基于该位姿变化量对点云数据中的各点进行运动补偿，获得各点分别对应的补偿后的点，从而将各点所对应的位姿补偿到与图像(或图像处理结果)一致的车辆位姿下。
48.步骤2022，基于当前帧的图像处理结果数据和第一点云数据，确定当前帧的目标对象对应的第二点云数据。
49.其中，当前帧的目标对象对应的第二点云数据是指从第一点云数据中提取出的描述目标对象的空间信息的一部分点云数据。第二点云数据可以基于图像处理结果数据中目标对象与第一点云数据中目标对象的对应关联关系进行提取。
50.步骤2023，基于第二点云数据、在前帧的点云数据、在前帧的点云数据对应的第一车辆位姿，确定第二点云数据对应的第二车辆位姿。
51.其中，在前帧是相对当前帧的时间帧，在前帧的点云数据可以包括当前帧之前的所有时间帧或预设数量的时间帧的目标对象的点云数据，具体可以根据实际需求设置。在前帧的点云数据可以是经过运动补偿后的数据，在前帧的点云数据对应的第一车辆位姿是指在前帧的点云数据表征的空间信息所相对的车辆位姿。第一车辆位姿是在前帧处理流程中获得的车辆位姿。
52.在一个可选实施例中，在当前帧处理流程中，可以基于目标对象的第二点云数据与在前帧的点云数据进行特征匹配，建立当前帧的目标对象与在前帧的目标对象的关联关系，从而根据同一目标对象在当前帧相对在前帧的位姿变化量，确定当前帧相对在前帧的车辆位姿变化量，从而基于在前帧的第一车辆位姿和该车辆位姿变化量可以确定第二车辆位姿。
53.步骤2024，基于第二车辆位姿和第一车辆位姿，确定图像处理结果数据中的目标对象与在前帧的图像处理结果数据中的第一对象的关联关系。
54.其中，第一对象是在前帧图像中包含的对象，在确定了当前帧的第二车辆位姿，并且已知在前帧的第一车辆位姿，可以通过不同车辆位姿下的图像坐标系转换关系将当前帧的目标对象与在前帧转换到同一坐标系下，通过不同帧的检测框之间的交并比，建立当前帧的图像处理结果数据中的目标对象与在前帧的图像处理结果数据中的对象的关联关系。
55.步骤2025，基于关联关系，确定目标对象对应的第一在前点云数据。
56.其中，第一在前点云数据可以包括目标对象在至少一个在前帧对应的点云数据，或者，目标对象对应的第一在前点云数据可以为在前融合点云数据，也即在在前帧的处理
流程中，将多帧获得的该目标对象的点云数据进行融合后的点云数据，也可以是在每一帧的处理过程中都将目标对象的当前点云数据与该目标对象的在前融合点云数据进行融合，作为该目标对象的第一在前点云数据，并与该目标对象对应存储，则在当前帧，可以直接获取存储的该目标对象的第一在前点云数据，具体可以根据实际需求设置。
57.在一个可选实施例中，第一在前点云数据可以是车辆坐标系下的点云数据，也可以是世界坐标系下的点云数据，具体可以根据实际需求设置，本公开不作限定。比如，可以通过雷达坐标系与车辆坐标系的转换关系实现点云数据从雷达坐标系到车辆坐标系的转换，通过车辆坐标系与对应的车辆位姿实现点云数据从车辆坐标系到世界坐标系的转换，从而可以根据实际需求设置第一在前点云数据的坐标系。
58.步骤2026，基于第二点云数据和第一在前点云数据，确定融合点云数据。
59.其中，第二点云数据是目标对象在当前帧的点云数据，第一在前点云数据是该目标对象在在前帧的点云数据，对于静态的目标对象来说，由于其实际的空间状态不变，基于此，可以将第二点云数据与第一在前点云数据统一到同一坐标系进行融合，获得当前帧的融合点云数据，比如，若第一在前点云数据是目标对象在在前帧的车辆坐标系下的点云数据，第二点云数据是目标对象在当前帧的车辆坐标系下的点云数据，则可以将第一在前点云数据和第二点云数据均转换到世界坐标系进行融合，获得融合点云数据，具体可以根据实际需求设置。
60.步骤2027，响应于目标对象的观测结束，基于融合点云数据，确定目标对象在能观测到目标对象的各帧分别对应的车辆坐标系下的状态标签。
61.当目标对象的观测结束，表示不会再有该目标对象的新的点云数据产生，可以基于该目标对象在当前帧的融合点云数据，确定该目标对象在能够观测到该目标对象的各帧分别对应的车辆坐标系下的状态标签。具体来说，可以基于融合点云数据确定出该目标对象的统一的坐标系(比如世界坐标系)下的状态信息，进而可以基于各帧分别对应的车辆位姿，将该状态信息转换到各帧分别对应的车辆坐标系下，从而获得该目标对象在各帧分别对应的车辆坐标系下的状态信息，作为该目标对象在各帧分别对应的车辆坐标系下的状态标签，从而可以用于重建算法的优化。
62.在一个可选实施例中，目标对象的数量可以有一个或多个，对于每个目标对象均可以通过本公开的方法，确定出其在各帧的车辆坐标系下的状态标签。当重建算法需要使用世界坐标系下的状态标签时，可以将上述获得的世界坐标系下的状态信息作为目标对象的状态标签，具体可以根据实际需求设置。
63.本实施例通过里程计数据对点云数据进行运动补偿，获得更加准确的点云数据，并用于确定目标对象的融合点云数据，基于融合点云数据确定各帧图像的目标对象在车辆坐标系下的状态标签，进一步提高了状态标签的准确性。
64.在一个可选实施例中，步骤2022的基于当前帧的图像处理结果数据和第一点云数据，确定当前帧的目标对象对应的第二点云数据，包括：
65.将第一点云数据转换到图像处理结果数据对应的图像坐标系下，获得第一点云数据对应的投影像素点集，投影像素点集包括第一点云数据中各点分别对应的投影像素点；基于投影像素点集和图像处理结果数据，从第一点云数据中提取目标对象对应的第二点云数据。
66.其中，第一点云数据可以基于雷达坐标系与图像坐标系之间的转换关系转换到图像坐标系下，比如可以先将第一点云数据转换到车辆坐标系，再从车辆坐标系转换到相机坐标系，最后从相机坐标系转换到图像坐标系，具体转换原理不再赘述。获得投影像素点集后，可以基于投影像素点集中各点与图像处理结果数据中各目标对象的检测框和/或语义分割结果的各像素点的位置关系，确定出第一点云数据中属于目标对象的点，基于此，可以从第一点云数据中提取出目标对象对应的第二点云数据。当目标对象有多个时，可以获得各目标对象分别对应的第二点云数据。
67.本实施例通过将第一点云数据投影到图像坐标系，与图像处理结果数据的各目标对象进行匹配，可以有效提取出各目标对象分别对应的点云数据，便于目标对象状态标签的确定。
68.图4是本公开一示例性实施例提供的步骤2021的流程示意图。
69.在一个可选实施例中，所述点云数据为激光雷达点云数据；步骤2021的基于当前帧对应的里程计数据对当前帧的点云数据进行运动补偿，获得补偿后的第一点云数据，包括：
70.步骤20211，基于里程计数据，确定位姿变化量。
71.其中，里程计数据可以包括线速度和角速度，进而可以通过线速度、角速度对时间的积分确定出位姿变化量，或者，里程计数据可以直接包括位姿变化量，具体不作限定。位姿变化量可以是至少一个帧间隔时间内的位姿变化量。
72.步骤20212，基于位姿变化量和里程计的第一帧间隔，确定单位时间位姿变化量。
73.其中，单位时间位姿变化量可以通过位姿变化量对时间求均值获得，比如位姿变化量是一个第一帧间隔内的变化量，则可以将位姿变化量除以第一帧间隔，获得单位时间位姿变化量。
74.步骤20213，基于单位时间位姿变化量和激光雷达的第二帧间隔，确定任意相邻两帧激光雷达点云数据之间的位姿变化量。
75.其中，相邻两帧激光雷达点云数据之间的位姿变化量是指由于车辆运动导致采集相邻两帧激光雷达点云数据时激光雷达或车辆的位姿发生的变化量，也即激光雷达坐标系和车辆坐标系发生了变化，由于激光雷达的帧率较高，因此第二帧间隔通常小于第一帧间隔，每个时间帧对应的点云数据中可以包括多帧激光雷达点云，也即每帧的图像处理结果数据可以对应有多帧的激光雷达点云。基于单位时间位姿变化量和激光雷达的第二帧间隔可以确定任意相邻两帧激光雷达点云数据之间的位姿变化量，比如，图像处理结果数据对应的车辆位姿为位姿a，第1帧激光雷达点云数据对应的车辆位姿为位姿a，激光雷达与车辆的相对位姿不变，随着车辆移动后续帧的激光雷达点云数据对应的车辆位姿发生了变化，那么激光雷达点云数据所在的雷达坐标系也随车辆位姿的变化而变化，比如第2帧激光雷达点云数据车辆位姿变化了，同样地激光雷达坐标系位姿也变化
△
，那么第2帧激光雷达点云数据是相对车辆位姿b＝a+
△
的点云数据，需要获得第2帧激光雷达点云数据对应的相对车辆位姿a的点云数据，可以基于
△
确定第2帧与第1帧激光雷达点云数据之间的位姿变化量。
76.步骤20214，基于任意相邻两帧激光雷达点云数据之间的位姿变化量，确定激光雷达点云数据中各点分别对应的位姿补偿量。
77.其中，各点分别对应的位姿补偿量是将激光雷达点云数据补偿到与图像处理结果数据一致的车辆位姿状态时各点位姿需要变化的量，位姿补偿量可以包括位置平移量和角度变化量，具体比如可以包括行驶距离和偏航角变化量。该位姿补偿量可以是均相对首帧激光雷达点云数据的位姿补偿量，也可以是相邻帧之间的相对位姿补偿量，具体可以根据实际需求设置。
78.示例性的，当前帧帧的点云数据包括依次扫描的100个激光雷达点，分别用x、y表示车辆坐标系下的纵坐标和横坐标，yaw表示偏航角，扫描第1个点(x1,y1,yaw1)时车辆位姿与采集图像的车辆位姿相同，扫描第2个点(x2,y2,yaw2)时，由于车辆运动，车辆位姿和激光雷达产生了一定的变化，(x2,y2,yaw2)所在坐标系与(x1,y1,yaw1)不是同一坐标系，因此需要基于第2个点对应的激光雷达位姿相对于第1个点对应的激光雷达位姿之间的位姿变化量，确定第2个点对应的位姿补偿量，比如表示为(
△
x2,
△
y2,
△
yaw2)，进而再基于第3个点与第2个点之间的位姿变化量，确定第3个点相对第2个点的位姿补偿量，或者结合第2个点与第1个点之间的关系确定第3个点相对第1个点的位姿补偿量，具体可以根据实际需求设置。
79.步骤20215，基于各位姿补偿量，对激光雷达点云数据中的各点进行运动补偿，获得第一点云数据。
80.其中，在获得各点分别对应的位姿补偿量之后，基于各位姿补偿量对各点进行补偿即可获得第一点云数据。
81.示例性的，前述第2个点对应的补偿后的点可以表示为(x2+
△
x2,y2+
△
y2,yaw2+
△
yaw2)。
82.本实施例通过里程计数据实现对激光雷达点云数据中各点的运动补偿，可以进一步提高各点的准确性。
83.图5是本公开再一示例性实施例提供的目标对象状态标签的确定方法的流程示意图。
84.在一个可选实施例中，目标对象的数量为至少一个；在步骤2022的基于当前帧的图像处理结果数据和第一点云数据，确定当前帧的目标对象对应的第二点云数据之后，还包括：
85.步骤3010，针对任一目标对象，将该目标对象对应的第二点云数据投影到预设平面的网格坐标系，获得网格坐标系下的第一投影点集。
86.其中，预设平面及网格坐标系可以根据实际需求设置，比如可以为地平面或其他与地平面平行的平面的网格坐标系，本公开不作限定。
87.步骤3020，基于预设聚类规则，对第一投影点集进行聚类，获得至少一个类中各类分别对应的第二投影点集。
88.其中，预设聚类规则可以根据实际需求设置。比如可以将第一投影点集中的各投影点与网格坐标系中的各网格建立对应关系，确定各投影点所属的网格，根据各投影点所属网格之间的距离关系进行聚类，获得各类分别对应的第二投影点集。
89.步骤3030，将投影点最多的第二投影点集作为目标投影点集。
90.步骤3040，基于目标投影点集，从第二点云数据中确定与目标投影点集中各投影点分别对应的点，作为目标点云数据。
91.由于第一投影点集是一个目标对象，通过将投影点最多的第二投影点集作为目标投影点集，用于从该目标对象的第二点云数据中提取出目标点云数据，可以有效过滤目标对象的第二点云数据中的噪点，进一步提高目标对象的点云数据的准确性，从而进一步提高目标对象的状态标签的准确性。
92.相应的，步骤2023的基于第二点云数据、在前帧点云数据、在前帧点云数据对应的第一车辆位姿，确定第二点云数据对应的第二车辆位姿，包括：
93.步骤20231，基于目标点云数据、在前帧点云数据、在前帧点云数据对应的第一车辆位姿，确定第二点云数据对应的第二车辆位姿。
94.该步骤的具体操作原理与前述步骤2023类似，在此不再赘述。
95.本实施例通过将各目标对象的第二点云数据投影到预设平面的网格坐标系进行聚类，实现目标对象的点云数据的噪点的有效过滤，进一步提高目标对象的点云数据的准确性，从而进一步提高目标对象的状态标签的准确性。
96.在一个可选实施例中，步骤2023的基于第二点云数据、在前帧点云数据、在前帧点云数据对应的第一车辆位姿，确定第二点云数据对应的第二车辆位姿，包括：
97.基于第二点云数据，提取目标对象对应的第一特征信息；基于在前帧点云数据，提取第二特征信息；将第一特征信息与第二特征信息进行特征匹配，获得匹配结果；基于匹配结果和第一车辆位姿，确定第二车辆位姿。
98.其中，第一特征信息可以包括线特征信息、面特征信息等等，第一特征信息可以通过各点连线的曲率变化确定，具体可以根据实际需求设置。比如对于扫描到的路灯杆等竖杆，竖杆上的点之间曲率变化很小，可以形成直线，竖杆上的点与杆两侧的点曲率变化较大，等等。第二特征信息与第一特征信息类似，在此不再赘述。对于同一目标对象，其相邻帧的特征信息通常比较相似，因此可以通过当前帧与在前帧特征匹配实现点云数据中对象的跟踪与关联。特征匹配结果可以包括当前帧的目标对象分别与在前帧的各对象之间的特征相似度，从而可以基于特征相似度确定目标对象与在前帧的哪个对象属于同一物体。特征相似度可以采用任意可实施的方式确定，比如余弦相似度，具体不作限定。基于匹配结果可以确定当前帧的目标对象在在前帧中对应的对象，基于在前帧对应对象的点云数据和当前帧的第二点云数据可以确定该目标对象在当前帧相对在前帧的位姿变化量，对于静态的目标对象，其本身是不移动的，因此目标对象在当前帧相对在前帧的位姿变化量表征了车辆位姿的变化量，基于此，可以结合在前帧的第一车辆位姿和车辆位姿的变化量，确定当前帧第二点云数据对应的第二车辆位姿。
99.本实施例通过帧间点云数据的特征匹配实现车辆位姿的优化，可以有效确定当前帧的第二车辆位姿，用于图像中目标对象的状态标签的确定，实现了基于点云数据的单帧位姿优化。
100.图6是本公开一示例性实施例提供的步骤2024的流程示意图。
101.在一个可选实施例中，图像处理结果数据包括目标对象对应的目标检测框信息和目标语义分割结果信息；步骤2024的基于第二车辆位姿和第一车辆位姿，确定图像处理结果数据中的目标对象与在前帧图像处理结果数据中的第一对象的关联关系，包括：
102.步骤20241，将在前帧图像处理结果数据中第一对象的第一检测框信息和第一语义分割结果信息转换到第一车辆位姿对应的车辆坐标系下，获得第一检测框信息对应的第
一检测区域信息和第一语义分割结果信息对应的第一分割区域信息。
103.其中，目标检测框信息和目标语义分割结果信息是当前帧中目标对象的检测框信息和语义分割结果信息，第一检测框信息和第一语义分割结果信息可以基于在前帧图像对应的相机内参和外参转换到第一车辆位姿对应的车辆坐标系下。
104.步骤20242，基于第一车辆位姿和第二车辆位姿，将第一检测区域信息和第一分割区域信息分别转换到第二车辆位姿对应的车辆坐标系下，获得第一检测区域信息对应的第二检测区域信息和第一分割区域信息对应的第二分割区域信息。
105.其中，第一检测区域信息到第二检测区域信息的转换以及第一分割区域信息到第二分割区域信息的转换可以通过先从在前帧图像坐标系转换到在前帧相机坐标系，从在前帧相机坐标系转换到第一车辆坐标系，从第一车辆坐标系转换到统一的世界坐标系，再从世界坐标系转换到第二车辆坐标系实现。
106.步骤20243，将第二检测区域信息和第二分割区域信息分别转换到图像处理结果数据对应的图像坐标系下，获得第一检测框信息对应的第二检测框信息和第一语义分割结果信息对应的第二语义分割结果信息。
107.其中，第二车辆坐标系到当前帧的图像坐标系的转换可以基于图像处理结果数据对应的相机内参和外参实现。
108.步骤20244，基于第二检测框信息、目标检测框信息、第二语义分割结果信息和目标语义分割结果信息，确定目标对象与第一对象的关联关系。
109.其中，目标对象与第一对象的关联关系可以基于目标对象的目标检测框信息与第一对象的第二检测框信息的交并比，以及目标对象的目标语义分割结果信息与第一对象的第二语义分割结果信息的交并比确定。交并比是指两者交集与并集的比值。以检测框为例，目标检测框信息可以确定目标对象的检测框，第二检测框信息可以确定第一对象的检测框，可以将两个检测框的交集中的像素点数量与两个检测框并集的像素点数量的比值作为两检测框的交并比，语义分割结果信息的交并比类似。在实际应用中，可以基于检测框交并比和语义分割结果交并比中的至少一种确定目标对象与第一对象的关联关系，比如可以将两种交并比的和(或均值)与阈值比较，若大于阈值，确定目标对象与第一对象的关联关系为属于同一物体(或对象)或关联成功，否则，确定目标对象与第一对象的关联关系为不属于同一对象或关联失败。
110.本实施例通过当前帧与在前帧的检测框和语义分割结果进行匹配实现当前帧目标对象与在前帧对象的跟踪与关联，从而可以有效获得目标对象的在前点云数据，便于进行目标对象点云数据的多帧融合，提高目标对象点云数据的点规模，从而提高数据的有效性，结合噪点过滤可以获得更多准确有效的目标对象的点，进一步提高目标对象状态标签的准确性。
111.在一个可选实施例中，步骤2025的基于关联关系，确定目标对象对应的第一在前点云数据，包括：
112.响应于关联关系为目标对象与第一对象关联成功，将在前获得的第一对象对应的点云数据作为目标对象对应的第一在前点云数据。
113.其中，在前获得的第一对象对应的点云数据可以是第一对象在多帧的点云数据的融合结果，比如在前的所有包括第一对象的帧所得到的第一对象的点云数据转换到统一的
坐标系下进行融合获得的总数据，具体可以根据实际需求设置。
114.在一个可选实施例中，本公开的方法还包括：响应于关联关系为关联失败，将目标对象记录为新的对象。
115.其中，若目标对象与在前帧的任意的第一对象的关联关系均为失败，表示目标对象并不在在前帧中，可能是新出现的对象，因此，将目标对象标记为新的对象，为后续帧的处理提供准确有效的数据参考。
116.在一个可选实施例中，第一在前点云数据为在前融合获得的世界坐标系下的在前融合点云数据，第二点云数据为当前帧对应的车辆坐标系下的点云数据；步骤2026的基于第二点云数据和第一在前点云数据，确定融合点云数据，包括：
117.将第二点云数据转换到世界坐标系下，获得第三点云数据；将第三点云数据与第一在前点云数据合并，获得融合点云数据。
118.其中，可以基于第二点云数据对应的第二车辆位姿将第二点云数据转换到世界坐标系下，获得第三点云数据。进而将第三点云数据与第一在前点云数据融合，获得融合点云数据，从而实现图像观测到的各目标对象的融合点云数据的实时维护，当任一目标对象观测结束可以及时基于该目标对象的融合点云数据确定出该目标对象在各帧分别对应的车辆坐标系下的状态标签。
119.图7是本公开一示例性实施例提供的步骤2027的流程示意图。
120.在一个可选实施例中，步骤2027的响应于目标对象的观测结束，基于融合点云数据，确定目标对象在能观测到目标对象的各帧分别对应的车辆坐标系下的状态标签，包括：
121.步骤20271，响应于预设时间内未观测到目标对象，确定目标对象的观测结束。
122.其中，预设时间可以根据实际需求设置，若预设时间内未再观测到目标对象，表示该目标对象已随着车辆的移动移出当前观测视角，因此，确定该目标对象观测结束。
123.步骤20272，基于融合点云数据，确定目标对象在世界坐标系下的第一状态信息。
124.其中，第一状态信息包括世界坐标系下的第一位置、第一朝向和第一尺寸中的至少一种。由于融合点云数据是将多帧的点云数据进行融合获得，在融合过程中需要将各帧的点云数据转换到同一坐标系下，因此获得的融合点云数据是同一坐标系下的点云数据，本实施例以世界坐标系为例，第一位置和第一朝向是目标对象在世界坐标系下的坐标和朝向，第一尺寸在不同的真实物理空间坐标系中是不变的，比如在车辆坐标系和世界坐标系，同一物体的尺寸是一致的。融合点云数据包括了在各种视角扫描到的目标对象的空间位置信息，因此基于融合点云数据可以有效确定目标对象在世界坐标系下的状态信息(第一状态信息)，比如路灯杆的位置、朝向、高度，道路指示牌的位置、朝向、长、高，等等。
125.步骤20273，基于各帧分别对应的车辆位姿，将第一状态信息转换到各帧分别对应的车辆坐标系下，获得目标对象在各帧分别对应的车辆坐标系下的状态标签。
126.其中，在遍历各帧的过程中，确定了各帧分别对应的车辆位姿(比如前述当前帧的第二车辆位姿)，可以用于世界坐标系到各帧的车辆坐标系的转换，具体原理不再赘述。
127.本实施例通过融合点云数据可以获得静态的目标对象在统一的世界坐标系下的准确状态信息，进而通过坐标系转换，可以获得各帧图像中的目标对象在其对应的车辆坐标系下的状态标签，实现了目标对象状态标签的自动化标注。
128.图8是本公开又一示例性实施例提供的目标对象状态标签的确定方法的流程示意
图。
129.在一个可选实施例中，本公开的方法还包括：
130.步骤410，基于各帧分别对应的相机位姿，将第一状态信息转换到各帧分别对应的图像坐标系下，获得目标对象在各帧分别对应的图像坐标系的投影结果。
131.其中，相机位姿可以是相机相对车辆的位姿，或者也可以称为相机外参，第一状态信息到各帧分别对应的图像坐标系的转换可以基于各帧分别对应的车辆坐标系与世界坐标系的转换关系，各帧分别对应的车辆坐标系与相机坐标系的转换关系，以及相机内参等实现，具体不再赘述。
132.步骤420，对于任一帧的投影结果，确定投影结果与该帧的图像中的目标对象的重合度。
133.其中，重合度可以通过任意可实施的方式确定，比如基于投影结果与该帧的图像中的目标对象的交并比确定重合度，具体不作限定。
134.步骤430，基于重合度，确定状态标签的准确度。
135.其中，重合度表征了自动化标注的目标对象的状态标签的准确度，若获得的目标对象的状态标签足够准确，则其投影到某帧的图像中后的投影结果与该帧图像中的目标对象重合度应该较高，基于此，可以通过分析投影结果与图像中目标对象的重合度，验证自动化标注的目标对象的状态标签的准确度，可以为相关开发人员提供参考，用于对本公开方法中相关参数或步骤进行调整，以进一步优化本公开的自动化标注方法。
136.在一个可选实施例中，在步骤410的基于各帧分别对应的相机位姿，将第一状态信息转换到各帧分别对应的图像坐标系下，获得目标对象在各帧分别对应的图像坐标系的投影结果之后，还包括：
137.步骤440，对于任一帧的投影结果，将投影结果与该帧的图像转换到同一屏幕坐标系进行显示。
138.其中，图像坐标系到屏幕坐标系的转换可以基于图像坐标系与屏幕坐标系的映射关系实现。
139.本实施例通过将各帧的投影结果与其对应帧的图像显示到同一屏幕，可以使相关人员能够可视化查看获得的目标对象的状态标签是否准确，从而有效实现环境重建标签的可视化验证，使用户可以直观查看自动化标注的效果，从而有效提高用户体验。
140.本公开实施例通过将激光雷达点云观测与视觉观测结合，再结合车辆运动状态信息实现了基于多模数据的视觉重建真值(gt，也即状态标签)的自动化生成，从而可以自动化地、高效地生成各类目标对象的重建真值，大大降低真值标注的人力成本和时间成本，并且本公开实现了对生成的重建真值的可视化验证，大大提高用户体验。
141.本公开上述各实施例或可选示例可以单独实施也可以在不冲突的情况下以任意组合方式结合实施，具体可以根据实际需求设置，本公开不做限定。
142.本公开实施例提供的任一种目标对象状态标签的确定方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种目标对象状态标签的确定方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种目标对象状态标签的确定方法。下文不再赘述。
143.示例性装置
144.图9是本公开一示例性实施例提供的目标对象状态标签的确定装置的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例，如图9所示的装置包括：第一获取模块501和第一处理模块502。
145.第一获取模块501，用于获取至少一帧中各帧分别对应的图像处理结果数据、点云数据和运动状态数据。
146.第一处理模块502，用于基于各帧分别对应的图像处理结果数据、点云数据和运动状态数据，确定各帧分别观测到的目标对象的状态标签，状态标签包括目标对象的位置、朝向和尺寸中的至少一种。
147.图10是本公开另一示例性实施例提供的目标对象状态标签的确定装置的结构示意图。
148.在一个可选实施例中，运动状态数据为里程计数据；第一处理模块502包括：第一处理单元5021、第二处理单元5022、第三处理单元5023、第四处理单元5024、第五处理单元5025、第六处理单元5026和第七处理单元5027。
149.第一处理单元5021，用于将任一帧作为当前帧，基于当前帧对应的里程计数据对当前帧的点云数据进行运动补偿，获得补偿后的第一点云数据。
150.第二处理单元5022，用于基于当前帧的图像处理结果数据和第一点云数据，确定当前帧的目标对象对应的第二点云数据。
151.第三处理单元5023，用于基于第二点云数据、在前帧的点云数据、在前帧点的云数据对应的第一车辆位姿，确定第二点云数据对应的第二车辆位姿。
152.第四处理单元5024，用于基于第二车辆位姿和第一车辆位姿，确定图像处理结果数据中的目标对象与在前帧的图像处理结果数据中的第一对象的关联关系。
153.第五处理单元5025，用于基于关联关系，确定目标对象对应的第一在前点云数据。
154.第六处理单元5026，用于基于第二点云数据和第一在前点云数据，确定融合点云数据。
155.第七处理单元5027，用于响应于目标对象的观测结束，基于融合点云数据，确定目标对象在能观测到目标对象的各帧分别对应的车辆坐标系下的状态标签。
156.在一个可选实施例中，第二处理单元5022具体用于：
157.将第一点云数据转换到图像处理结果数据对应的图像坐标系下，获得第一点云数据对应的投影像素点集，投影像素点集包括第一点云数据中各点分别对应的投影像素点；基于投影像素点集和图像处理结果数据，从第一点云数据中提取目标对象对应的第二点云数据。
158.在一个可选实施例中，点云数据为激光雷达点云数据；第一处理单元5021具体用于：
159.基于里程计数据，确定位姿变化量；基于位姿变化量和里程计的第一帧间隔，确定单位时间位姿变化量；基于单位时间位姿变化量和激光雷达的第二帧间隔，确定任意相邻两帧激光雷达点云数据之间的位姿变化量；基于任意相邻两帧激光雷达点云数据之间的位姿变化量，确定激光雷达点云数据中各点分别对应的位姿补偿量；基于各位姿补偿量，对激光雷达点云数据中的各点进行运动补偿，获得第一点云数据。
160.图11是本公开再一示例性实施例提供的目标对象状态标签的确定装置的结构示意图。
161.在一个可选实施例中，目标对象的数量为至少一个；第一处理模块502还包括：投影单元5028、聚类单元5029、第八处理单元50210和第一确定单元50211。
162.投影单元5028，用于针对任一目标对象，将目标对象对应的第二点云数据投影到预设平面的网格坐标系，获得网格坐标系下的第一投影点集。
163.聚类单元5029，用于基于预设聚类规则，对第一投影点集进行聚类，获得至少一个类中各类分别对应的第二投影点集。
164.第八处理单元50210，用于将投影点最多的第二投影点集作为目标投影点集。
165.第一确定单元50211，用于基于目标投影点集，从第二点云数据中确定与目标投影点集中各投影点分别对应的点，作为目标点云数据。
166.第三处理单元5023具体用于：基于目标点云数据、在前帧点云数据、在前帧点云数据对应的第一车辆位姿，确定第二点云数据对应的第二车辆位姿。
167.在一个可选实施例中，第三处理单元5023具体用于：
168.基于第二点云数据，提取目标对象对应的第一特征信息；基于在前帧点云数据，提取第二特征信息；将第一特征信息与第二特征信息进行特征匹配，获得匹配结果；基于匹配结果和第一车辆位姿，确定第二车辆位姿。
169.在一个可选实施例中，图像处理结果数据包括目标对象对应的目标检测框信息和目标语义分割结果信息；第四处理单元5024具体用于：
170.将在前帧图像处理结果数据中第一对象的第一检测框信息和第一语义分割结果信息转换到第一车辆位姿对应的车辆坐标系下，获得第一检测框信息对应的第一检测区域信息和第一语义分割结果信息对应的第一分割区域信息；基于第一车辆位姿和第二车辆位姿，将第一检测区域信息和第一分割区域信息分别转换到第二车辆位姿对应的车辆坐标系下，获得第一检测区域信息对应的第二检测区域信息和第一分割区域信息对应的第二分割区域信息；将第二检测区域信息和第二分割区域信息分别转换到图像处理结果数据对应的图像坐标系下，获得第一检测框信息对应的第二检测框信息和第一语义分割结果信息对应的第二语义分割结果信息；基于第二检测框信息、目标检测框信息、第二语义分割结果信息和目标语义分割结果信息，确定目标对象与第一对象的关联关系。
171.在一个可选实施例中，第五处理单元5025具体用于：
172.响应于关联关系为目标对象与第一对象关联成功，将在前获得的第一对象对应的点云数据作为目标对象对应的第一在前点云数据。
173.在一个可选实施例中，第五处理单元5025还用于响应于关联关系为关联失败，将目标对象记录为新的对象。
174.在一个可选实施例中，第一在前点云数据为在前融合获得的世界坐标系下的在前融合点云数据，第二点云数据为当前帧对应的车辆坐标系下的点云数据；第六处理单元5026具体用于：
175.将第二点云数据转换到世界坐标系下，获得第三点云数据；将第三点云数据与第一在前点云数据合并，获得融合点云数据。
176.在一个可选实施例中，第七处理单元5027具体用于：
177.响应于预设时间内未观测到目标对象，确定目标对象的观测结束；基于融合点云数据，确定目标对象在世界坐标系下的第一状态信息，第一状态信息包括世界坐标系下的第一位置、第一朝向和第一尺寸中的至少一种；基于各帧分别对应的车辆位姿，将第一状态信息转换到各帧分别对应的车辆坐标系下，获得目标对象在各帧分别对应的车辆坐标系下的状态标签。
178.在一个可选实施例中，本公开的装置还包括：第二处理模块503、第三处理模块504和第四处理模块505。
179.第二处理模块503，用于基于各帧分别对应的相机位姿，将第一状态信息转换到各帧分别对应的图像坐标系下，获得目标对象在各帧分别对应的图像坐标系的投影结果。
180.第三处理模块504，用于对于任一帧的投影结果，确定投影结果与该帧的图像中的目标对象的重合度。
181.第四处理模块505，用于基于重合度，确定状态标签的准确度。
182.在一个可选实施例中，本公开的装置还包括：
183.可视化单元610，用于对于任一帧的投影结果，将投影结果与该帧的图像转换到同一屏幕坐标系进行显示。
184.本公开实施例中的各模块及单元的具体操作参见前述对应的方法实施例，在此不再赘述。
185.需要说明的是，本公开的各模块及单元还可以根据实际需求进行更细粒度的功能划分，具体可以根据实际需求设置。
186.本装置示例性实施例对应的有益技术效果可以参见上述示例性方法部分的相应有益技术效果，在此不再赘述。
187.示例性电子设备
188.图12是本公开电子设备一个应用实施例的结构示意图，包括至少一个处理器11和存储器12。
189.处理器11可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
190.存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行一个或多个计算机程序指令，以实现上文中本公开的各个实施例的方法和/或其他期望的功能。
191.在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
192.该输入装置13还可以包括例如键盘、鼠标等等。
193.该输出装置14可以向外部输出各种信息，其可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
194.当然，为了简化，图12中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还
可以包括任何其他适当的组件。
195.示例性计算机程序产品和计算机可读存储介质
196.除了上述方法和设备以外，本公开的实施例还可以提供一种计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述“示例性方法”部分中描述的本公开各种实施例的方法中的步骤。
197.计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
198.此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述“示例性方法”部分中描述的本公开各种实施例的方法中的步骤。
199.计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如但不限于包括电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
200.以上结合具体实施例描述了本公开的基本原理，但是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为其是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
201.本领域的技术人员可以对本公开进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

技术特征：
1.一种目标对象状态标签的确定方法，包括：获取至少一帧中各所述帧分别对应的图像处理结果数据、点云数据和运动状态数据；基于各所述帧分别对应的所述图像处理结果数据、所述点云数据和所述运动状态数据，确定各所述帧分别观测到的目标对象的状态标签，所述状态标签包括所述目标对象的位置、朝向和尺寸中的至少一种。2.根据权利要求1所述的方法，其中，所述运动状态数据为里程计数据；所述基于各所述帧分别对应的所述图像处理结果数据、所述点云数据和所述运动状态数据，确定各所述帧分别观测到的目标对象的状态标签，包括：将任一所述帧作为当前帧，基于所述当前帧对应的所述里程计数据对所述当前帧的所述点云数据进行运动补偿，获得补偿后的第一帧点云数据；基于所述当前帧的所述图像处理结果数据和所述第一帧点云数据，确定所述当前帧的所述目标对象对应的第二点云数据；基于所述第二点云数据、在前帧的点云数据、所述在前帧的点云数据对应的第一车辆位姿，确定所述第二点云数据对应的第二车辆位姿；基于所述第二车辆位姿和所述第一车辆位姿，确定所述图像处理结果数据中的所述目标对象与所述在前帧的图像处理结果数据中的第一对象的关联关系；基于所述关联关系，确定所述目标对象对应的第一在前点云数据；基于所述第二点云数据和所述第一在前点云数据，确定融合点云数据；响应于所述目标对象的观测结束，基于所述融合点云数据，确定所述目标对象在能观测到所述目标对象的各所述帧分别对应的车辆坐标系下的所述状态标签。3.根据权利要求2所述的方法，其中，所述基于所述当前帧的所述图像处理结果数据和所述第一点云数据，确定所述当前帧的所述目标对象对应的第二点云数据，包括：将所述第一点云数据转换到所述图像处理结果数据对应的图像坐标系下，获得所述第一点云数据对应的投影像素点集，所述投影像素点集包括所述第一点云数据中各点分别对应的投影像素点；基于所述投影像素点集和所述图像处理结果数据，从所述第一点云数据中提取所述目标对象对应的所述第二点云数据。4.根据权利要求2所述的方法，其中，所述点云数据为激光雷达点云数据；所述基于所述当前帧对应的所述里程计数据对所述当前帧的所述点云数据进行运动补偿，获得补偿后的第一点云数据，包括：基于所述里程计数据，确定位姿变化量；基于所述位姿变化量和里程计的第一帧间隔，确定单位时间位姿变化量；基于所述单位时间位姿变化量和激光雷达的第二帧间隔，确定任意相邻两帧所述激光雷达点云数据之间的位姿变化量；基于任意相邻两帧所述激光雷达点云数据之间的位姿变化量，确定所述激光雷达点云数据中各点分别对应的位姿补偿量；基于各所述位姿补偿量，对所述激光雷达点云数据中的各点进行运动补偿，获得所述第一点云数据。5.根据权利要求2所述的方法，其中，所述目标对象的数量为至少一个；在所述基于所
述当前帧的所述图像处理结果数据和所述第一点云数据，确定所述当前帧的所述目标对象对应的第二点云数据之后，还包括：针对任一所述目标对象，将所述目标对象对应的所述第二点云数据投影到预设平面的网格坐标系，获得所述网格坐标系下的第一投影点集；基于预设聚类规则，对所述第一投影点集进行聚类，获得至少一个类中各类分别对应的第二投影点集；将投影点最多的所述第二投影点集作为目标投影点集；基于所述目标投影点集，从所述第二点云数据中确定与所述目标投影点集中各投影点分别对应的点，作为目标点云数据；所述基于所述第二点云数据、在前帧点云数据、所述在前帧点云数据对应的第一车辆位姿，确定所述第二点云数据对应的第二车辆位姿，包括：基于所述目标点云数据、所述在前帧点云数据、所述在前帧点云数据对应的第一车辆位姿，确定所述第二点云数据对应的所述第二车辆位姿。6.根据权利要求2所述的方法，其中，所述基于所述第二点云数据、在前帧点云数据、所述在前帧点云数据对应的第一车辆位姿，确定所述第二点云数据对应的第二车辆位姿，包括：基于所述第二点云数据，提取所述目标对象对应的第一特征信息；基于所述在前帧点云数据，提取第二特征信息；将所述第一特征信息与所述第二特征信息进行特征匹配，获得匹配结果；基于所述匹配结果和所述第一车辆位姿，确定所述第二车辆位姿。7.根据权利要求2所述的方法，其中，所述图像处理结果数据包括所述目标对象对应的目标检测框信息和目标语义分割结果信息；所述基于所述第二车辆位姿和所述第一车辆位姿，确定所述图像处理结果数据中的所述目标对象与在前帧图像处理结果数据中的第一对象的关联关系，包括：将所述在前帧图像处理结果数据中所述第一对象的第一检测框信息和第一语义分割结果信息转换到所述第一车辆位姿对应的车辆坐标系下，获得所述第一检测框信息对应的第一检测区域信息和所述第一语义分割结果信息对应的第一分割区域信息；基于所述第一车辆位姿和所述第二车辆位姿，将所述第一检测区域信息和所述第一分割区域信息分别转换到所述第二车辆位姿对应的车辆坐标系下，获得所述第一检测区域信息对应的第二检测区域信息和所述第一分割区域信息对应的第二分割区域信息；将所述第二检测区域信息和所述第二分割区域信息分别转换到所述图像处理结果数据对应的图像坐标系下，获得所述第一检测框信息对应的第二检测框信息和所述第一语义分割结果信息对应的第二语义分割结果信息；基于所述第二检测框信息、所述目标检测框信息、所述第二语义分割结果信息和所述目标语义分割结果信息，确定所述目标对象与所述第一对象的关联关系。8.根据权利要求2所述的方法，其中，所述基于所述关联关系，确定所述目标对象对应的第一在前点云数据，包括：响应于所述关联关系为所述目标对象与所述第一对象关联成功，将在前获得的所述第一对象对应的点云数据作为所述目标对象对应的第一在前点云数据；或者，所述方法还包
括：响应于所述关联关系为关联失败，将所述目标对象记录为新的对象。9.根据权利要求2所述的方法，其中，所述第一在前点云数据为在前融合获得的世界坐标系下的在前融合点云数据，所述第二点云数据为所述当前帧对应的车辆坐标系下的点云数据；所述基于所述第二点云数据和所述第一在前点云数据，确定融合点云数据，包括：将所述第二点云数据转换到所述世界坐标系下，获得第三点云数据；将所述第三点云数据与所述第一在前点云数据合并，获得所述融合点云数据。10.根据权利要求2所述的方法，其中，所述响应于所述目标对象的观测结束，基于所述融合点云数据，确定所述目标对象在能观测到所述目标对象的各所述帧分别对应的车辆坐标系下的所述状态标签，包括：响应于预设时间内未观测到所述目标对象，确定所述目标对象的观测结束；基于所述融合点云数据，确定所述目标对象在世界坐标系下的第一状态信息，所述第一状态信息包括世界坐标系下的第一位置、第一朝向和第一尺寸中的至少一种；基于各所述帧分别对应的车辆位姿，将所述第一状态信息转换到各帧分别对应的车辆坐标系下，获得所述目标对象在各所述帧分别对应的车辆坐标系下的所述状态标签。11.根据权利要求10所述的方法，还包括：基于各所述帧分别对应的相机位姿，将所述第一状态信息转换到各所述帧分别对应的图像坐标系下，获得所述目标对象在各所述帧分别对应的图像坐标系的投影结果；对于任一帧的所述投影结果，确定所述投影结果与该帧的图像中的所述目标对象的重合度；基于所述重合度，确定所述状态标签的准确度。12.根据权利要求11所述的方法，其中，在所述基于各所述帧分别对应的相机位姿，将所述第一状态信息转换到各帧分别对应的图像坐标系下，获得所述目标对象在各帧分别对应的图像坐标系的投影结果之后，还包括：对于任一帧的所述投影结果，将所述投影结果与该帧的图像转换到同一屏幕坐标系进行显示。13.一种目标对象状态标签的确定装置，包括：第一获取模块，用于获取至少一帧中各所述帧分别对应的图像处理结果数据、点云数据和运动状态数据；第一处理模块，用于基于各所述帧分别对应的所述图像处理结果数据、所述点云数据和所述运动状态数据，确定各所述帧分别观测到的目标对象的状态标签，所述状态标签包括所述目标对象的位置、朝向和尺寸中的至少一种。14.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-12任一所述的目标对象状态标签的确定方法。15.一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-12任一所述的目标对象状态标签的确定方法。

技术总结
本公开实施例公开了一种目标对象状态标签的确定方法、装置、电子设备和介质，其中，方法包括：获取至少一帧中各帧分别对应的图像处理结果数据、点云数据和运动状态数据；基于各帧分别对应的图像处理结果数据、点云数据和运动状态数据，确定各帧分别观测到的目标对象的状态标签，状态标签包括目标对象的位置、朝向和尺寸中的至少一种。本公开实施例可以基于多模数据实现目标对象状态标签的自动化生成，相对于人工标注，大大提高了效率，降低了人工成本。本。本。


技术研发人员：王强
受保护的技术使用者：成都地平线征程科技有限公司
技术研发日：2023.06.09
技术公布日：2023/8/14