一种融合标注方法、装置、设备及存储介质与流程

1.本技术涉及数据标注技术领域，具体涉及一种融合标注方法、装置、设备及存储介质。


背景技术：

2.随着科学技术的发展，自动驾驶成为了未来的发展目标，然而自动驾驶算法所需要的数据是十分庞大的，严重依赖高质量的标注数据，而数据标注十分依赖人工，标注成本较高，因此不少公司都在数据标注工具、辅助标注算法、自动标注算法方面，投入了研究工作，期望通过工具、算法提高标注效率。
3.在视觉感知算法中，采集的数据主要是两种，一种是点云数据，一种是图片数据，为了提高效率，提出了基于三维点云和二维图像的融合标注方法，但是由于数据量极大，现有的融合标注方法对单一的算法大模型的性能的要求较高，且需要大量数据和资源进行训练。


技术实现要素：

4.鉴于以上所述现有技术的缺点，本发明提供一种融合标注方法、装置、设备及存储介质，以解决上述对单一的算法大模型的性能的要求较高，且需要大量数据和资源进行训练的技术问题。
5.本发明提供的一种融合标注方法，包括：获取初始三维点云和初始二维图像；对所述初始三维点云和初始二维图像进行数据同步，得到待标注三维点云和待标注二维图片；基于所述待标注三维点云确定三维目标框，并对所述三维目标框进行映射，得到所述待标注二维图像中的伪三维目标框；基于不同点云类对所述三维目标框中的多个目标点云进行第一分类识别得到点云识别信息，基于不同图片类对所述伪三维目标框中的多类目标图像进行第二分类识别得到图像识别信息；将所述点云识别信息和所述图像识别信息输入至决策器进行集成学习，以根据决策器的输出结果进行融合标注。
6.于本发明的一个实施例中，对所述初始三维点云和所述初始二维图像进行数据同步，包括：对所述初始三维点云和所述初始二维图像进行空间同步，以得到同一目标场景的初始三维点云和所述初始二维图；对所述目标场景中的初始三维点云和初始二维图像进行时间同步处理，以得到所述目标场景中同一时刻的初始三维点云和初始二维图像；将所述目标场景中任一组同一时刻的初始三维点云合初始二维图像确定为待标注信息，并将所述待标注信息中的初始三维点云确定为待标注点云，将所述待标注信息中的初始二维图像确定为待标注二维图像。
7.于本发明的一个实施例中，对所述三维目标框进行映射，得到所述待标注二维图像中的伪三维目标框，包括：获取所述初始三维点云和所述初始二维图像之间的映射关系；基于所述映射关系，将所述三维目标框映射至所述待标注二维图像，得到所述待标注二维图像上的伪三维识别框。
8.于本发明的一个实施例中，基于不同图片类对所述伪三维目标框中的多类目标图像进行第二分类识别，包括：将所述伪三维识别框中的图像区域确定为感兴趣区域图像；将所述感兴趣区域图像输入预设图像识别分类器，得到基于所述预设图像识别分类器的图像识别参数和图像识别置信度；遍历多个预设图像识别分类器，得到多个图像识别参数，以及与每个图像识别参数相对应的图像识别置信度；将任一目标图像识别参数和所述目标图像识别参数相对应的图像识别置信度确定为一组图像识别信息，遍历每组图像识别参数，得到多组图像识别信息。
9.于本发明的一个实施例中，基于不同点云类对所述三维目标框中的多个目标点云进行第一分类识别，包括：将所述三维识别框中的点云确定为感兴趣点云，并将所述感兴趣点云输入预设点云识别分类器，得到基于所述点云识别分类器的点云识别参数和点云识别置信度；遍历多个预设点云识别分类器，得到多个点云识别参数，以及与每个点云识别参数相对应的点云识别置信度；将任一目标点云识别参数和所述目标点云识别参数相对应的点云识别置信度确定为一组点云识别信息，遍历每组点云识别参数，得到多组点云识别信息。
10.于本发明的一个实施例中，根据决策器的输出结果进行融合标注，包括：获取所述决策器的输出结果，所述输出结果包括目标物体三维识别框和目标物体属性信息；对所述目标物体三维识别框进行映射，得到所述目标物体在待标注二维图像上的目标物体二维识别框；基于所述目标物体二维识别框和所述目标物体属性信息对所述目标物体进行融合标注。
11.本发明提供一种融合标注装置，所述装置，包括：信息采集模块，用于获取初始三维点云和初始二维图像；数据同步模块，用于对所述初始三维点云和初始二维图像进行数据同步，得到待标注三维点云和待标注二维图片；目标确定模块，用于基于所述待标注三维点云确定三维目标框，并对所述三维目标框进行映射，得到所述待标注二维图像中的伪三维目标框；弱分类器模块，用于基于不同点云类对所述三维目标框中的多个目标点云进行第一分类识别得到点云识别信息，基于不同图片类对所述伪三维目标框中的多类目标图像进行第二分类识别得到图像识别信息；融合标注模块，用于将所述点云识别信息和所述图像识别信息输入至决策器进行集成学习，以根据决策器的输出结果进行融合标注。
12.于本发明的一个实施例中，所述弱分类器模块，包括：图像识别分类器：用于基于输入的感兴趣区域图像得到所述感兴趣区域图像的图像识别参数和所述感兴趣区域图像的图像识别置信度；点云识别分类器：用于基于输入的感兴趣点云得到所初感兴趣点云的点云识别参数和所述所感兴趣点云的点云识别置信度。
13.本发明提供一种电子设备，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如上所述的融合标注方法。
14.本发明提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行如上所述的融合标注方法。
15.本发明的有益效果：本发明中的一种融合标注方法、装置、设备及存储介质，通过多个弱分类器对三维点云和二维图像分别进行识别，又将多个弱分类器的是被结果输入一个决策器中得到最终的识别结果，并根据最终的识别结果对目标物体进行融合标注，在融合标注的过程中引入集成学习的思想，通过多个算法分别对图像和点云进行识别，然后将
多个点云算法和多个图像算法进行融合，又利用点云和图片的相互映射关系，有效提高了融合标注的效率。
16.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
17.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。显而易见的，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
18.图1是本技术的一示例性实施例示出的对目标物体进行融合标注的实施环境示意图；
19.图2是本技术的一示例性实施例示出的融合标注流程图；
20.图3是本技术的一示例性实施例示出的弱分类器学习框架；
21.图4是本技术的一示例性实施例示出的基于集成学习的融合标注流程图；
22.图5是本技术的另一示例性实施例示出的基于集成学习的融合标注流程图；
23.图6是本技术的一示例性实施例示出的集成学习决策器算法网络训练图；
24.图7是本技术的一示例性实施例示出的融合标注装置的框图；
25.图8示出了适于用来实现本技术实施例的电子设备的计算机系统的结构示意图。
具体实施方式
26.以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
27.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
28.在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
29.首先需要说明的是，由于3d数据的特性主要是具有空间感，可以自由旋转查看，具有物体的深度信息。缺点是点云数据稀疏，容易被遮挡，标注人员需要脑补缺失的点云类别、属性和目标框。考虑到点云总是稀疏的，很难直接识别该车属于具体什么车，从而导致需要脑补车的长度、属性和种类的问题，时常无法直接判断出点云上的物体类别，需要同一个时刻的图片进行辅助判断，因此考虑将图片算法的结果运用到点云标注中。
30.图1是本技术的一示例性实施例示出的对目标物体进行融合标注的实施环境示意图。如图1所示，在对目标物体进行融合标注的过程中，其实施环境包括三维点云采集装置101，二维图像采集装置102，以及计算机设备103，其中，三维点云采集装置101可以是激光雷达扫描装置，二维图像采集装置102可以是光学相机装置，三维点云采集装置101和二维图像采集装置102还可以是集成在同一设备的任意可实现三维信息扫描或二维信息采集的装置，本发明不对此做任何限制，计算机设备103可以是台式图形处理器(graphic processing unit，gpu)计算机、gpu计算集群、神经网络计算机等中的至少一种。相关技术人员可以通过三维点云采集装置101、二维图像采集装置102得到包含目标物体在内的目标场景的三维点云数据和二维图像信息，并通过计算机设备103对相关数据进行处理，得到基于二维图像信息的图像识别信息和基于三维点云信息得到的点云识别信息，并将图像识别信息和点云识别信息进行处理，得到目标物体的相关系信息，以对目标物体进行融合标注。
31.如图2所示，在一示例性的实施例中，融合标注方法至少包括步骤s210至步骤s250，详细介绍如下：
32.步骤s210，获取初始三维点云和初始二维图像。
33.在本发明的一个实施例中，以车辆为目标物体，以车辆所在停车场为目标环境为例。通过激光雷达扫描装置采集得到目标场景的三维点云，并通过光学相机装置采集得到目标场景的二维图像，将采集得到的三维点云和二维图像确定为初始三维点云和初始二维图像。
34.应当理解的是，考虑到二维图像信息的无法体现例立体结构，三维点云信息无法体现平面信息的特点，将二维图像信息和三维点云信息相结合，同时标注3d点云和2d图片的融合标注场景，能够有效提升标注效率。
35.步骤s220，对初始三维点云和初始二维图像进行数据同步，得到待标注三维点云和待标注二维图片。
36.需要说明的是，采集得到二维图像和三维点云之后，需要对其进行预处理，其中包括但不限于解析，抽帧，合并等，以得到对目标物体进行融合标注可用的二维图像信息和三维点云信息。此外，还包括对得到的三维点云信息和二维图像信息进行同步处理，把每个时刻的待标注的3d点云数据对应的2d图片同步出来，做好一一对应的准备，以得到同一场景下同一时刻的待标注信息。
37.在本发明的一个实施例中，对初始三维点云和初始二维图像进行数据同步，包括：对初始三维点云和初始二维图像进行空间同步，以得到同一目标场景的初始三维点云和初始二维图；对目标场景中的初始三维点云和初始二维图像进行时间同步处理，以得到目标场景中同一时刻的初始三维点云和初始二维图像；将目标场景中任一组同一时刻的初始三维点云合初始二维图像确定为待标注信息，并将待标注信息中的初始三维点云确定为待标注点云，将待标注信息中的初始二维图像确定为待标注二维图像。
38.步骤s230，基于待标注三维点云确定三维目标框，并对三维目标框进行映射，得到待标注二维图像中的伪三维目标框。
39.在本发明的一个实施例中，以激光雷达扫描装置为三维点云采集装置，以光学相机装置为二维图像采集装置为例，在目标环境中架设激光雷达扫描装置和光学相机装置之后，还需确定该激光雷达扫描装置采集得到的三维度点云信息和光学相机装置采集得到的
二维图像信息之间的映射关系，其映射关系确定方法如下：获取激光雷达扫描装置的外参数、光学相机装置的外参数，以及光学相机装置的内参数；基于的激光雷达扫描装置的外参数确定激光雷达扫描装置的第一偏移量和第一旋转量，基于光学相机装置的外参数确定光学相机装置的第二偏移量和第二旋转量，并基于光学相机装置的内参数生成矩阵；根据第一偏移量、第一旋转量、第二偏移量、第二旋转量，以及矩阵，计算待标注三维点云和待标注二维图像的映射关系；得到待标注三维点云和待标注二维图像的映射关系之后，在三维点云中基于目标物体的大概位置，确定一个粗略的三维目标框，并根据计算得到的映射关系将该三维目标框映射至二维图像中，得到一个伪三维目标框。
40.应当理解的是，对三维目标框进行映射，得到待标注二维图像中的伪三维目标框，包括：获取初始三维点云和初始二维图像之间的映射关系；基于映射关系，将三维目标框映射至待标注二维图像，得到待标注二维图像上的伪三维识别框。
41.在本发明的一个实施例中，上述得到的伪三维目标框为包括有8个顶点的不规则框，取该8个顶点围成的最大面积为感兴趣区域，并将该感兴趣区域内得到图像确定为感兴趣区域图像。此外，将三维目标框所在区域确定为三维感兴趣区域，并将该三维感兴趣区域内的点云确定为感兴趣点云。
42.步骤s240，基于不同点云类对三维目标框中的多个目标点云进行第一分类识别得到点云识别信息，基于不同图片类对伪三维目标框中的多类目标图像进行第二分类识别得到图像识别信息。
43.图3是本技术的一示例性实施例示出的弱分类器学习框架，如图3所示，对目标物体进行融合标注的弱分类器学习框架包括个体学习器1、个体学习器2等多个个体学习器，1个决策器，以及一个学习器。
44.基于不同图片类对伪三维目标框中的多类目标图像进行第二分类识别，包括：将伪三维识别框中的图像区域确定为感兴趣区域图像；将感兴趣区域图像输入预设图像识别分类器，得到基于预设图像识别分类器的图像识别参数和图像识别置信度；遍历多个预设图像识别分类器，得到多个图像识别参数，以及与每个图像识别参数相对应的图像识别置信度；将任一目标图像识别参数和目标图像识别参数相对应的图像识别置信度确定为一组图像识别信息，遍历每组图像识别参数，得到多组图像识别信息。
45.在本发明的一个实施例中，将感兴趣区域图像输入多个不同类别的个体学习器，基于不同个体学习器得到同一感兴趣区域图像的识别结果，该识别结果包括目标物体的多个属性信息，如体积、形状、颜色等，每个个体学习器输出的识别结果的信息类别相同，但基于不同个体学习器的优势不同，该识别结果还包括各属性信息的置信度。以三个不同的个体学习器为例，将感兴趣区域图像分别输入学习器1，学习器2和学习器3，分别得到目标物体在该感兴趣区域图像的属性信息a的识别结果及置信度是“a1，置信度a1”“a2，置信度a2”“a3，置信度a3”，属性信息b及置信度的识别结果是“b1，置信度b1”“b2，置信度b2”“b3，置信度b3”，属性信息c的识别结果及置信度是“c1，置信度c1”“c2，置信度c2”“c3，置信度c3”，将一个识别结果和与之相对应的一个置信度确定为一组图像识别信息，如“a1，置信度a1”，从而得到多个图像识别信息。
46.基于不同点云类对三维目标框中的多个目标点云进行第一分类识别，包括：将三维识别框中的点云确定为感兴趣点云，并将感兴趣点云输入预设点云识别分类器，得到基
于点云识别分类器的点云识别参数和点云识别置信度；遍历多个预设点云识别分类器，得到多个点云识别参数，以及与每个点云识别参数相对应的点云识别置信度；将任一目标点云识别参数和目标点云识别参数相对应的点云识别置信度确定为一组点云识别信息，遍历每组点云识别参数，得到多组点云识别信息。
47.在本发明的一个实施了中，将感兴趣区域图像分别输入学习器4，学习器5和学习器6为例，分别得到目标物体在该感兴趣区域图像的属性信息a的识别结果及置信度是“a4，置信度a4”“a5，置信度a5”“a6，置信度a6”，属性信息b及置信度的识别结果是“b4，置信度b4”“b5，置信度b5”“b6，置信度b6”，属性信息c的识别结果及置信度是“c4，置信度c4”“c5，置信度c5”“c6，置信度c6”，将一个识别结果和与之相对应的一个置信度确定为一组图像识别信息，如“a4，置信度a5”，从而得到多个图像识别信息。
48.步骤s250，将点云识别信息和图像识别信息输入至决策器进行集成学习，以根据决策器的输出结果进行融合标注。
49.根据决策器的输出结果进行融合标注，包括：获取决策器的输出结果，输出结果包括目标物体三维识别框和目标物体属性信息；对目标物体三维识别框进行映射，得到目标物体在待标注二维图像上的目标物体二维识别框；基于目标物体二维识别框和目标物体属性信息对目标物体进行融合标注。
50.在本发明的一个实施例中，将上述各个体学习器得到的识别结果“a1，置信度a1”“a2，置信度a2”“a3，置信度a3”“a4，置信度a4”“a5，置信度a5”“a6，置信度a6”，“b1，置信度b1”“b2，置信度b2”“b3，置信度b3”“b4，置信度b4”“b5，置信度b5”“b6，置信度b6”，“c1，置信度c1”“c2，置信度c2”“c3，置信度c3”“c4，置信度c4”“c5，置信度c5”“c6，置信度c6”全部输入决策器中，得到其识别结果“a0，b0，c0”以及目标物体三维识别框x，基于三维点云和二维图像之间的映射关系将目标物体三维识别框x映射之带标注二维图像，得到目标物体二维识别框y，则基于识别结果“a0，b0，c0”和目标物体二维识别框y对目标物体进行融合标注。
51.在本发明的一个实施例中，采用集成学习中stacking算法，即堆叠各种各样的分类器。stacking工作机制是首先训练多个不同的模型，即已经准备好的多个目标识别模型，然后把之前训练的各个模型的输出为输入，即各个目标识别模型的输出结果为输入来训练一个决策模型，以得到一个最终的输出。
52.图4是本技术的一示例性实施例示出的集成学习决策器算法网络训练图，如图4所示，首先基于多个图片类目标识别算法得到图片识别结果，并基于多个点云类识别算法得到多个点云识别结果；然后将得到的图片识别结果和点云识别结果输入决策网络，同时将点云与图像之间的映射关系(即标定参数)输入决策网络，得到该决策器网络的决策结果，并基于世界的点云标注结果(即点云标注gt)计算该决策器网络的loss值(即损失值)，并基于该损失值对决策器网络进行训练和校准。
53.应当理解的是，在对目标物体进行融合标注之后，还包括基于融合标注的结果，对待标注点云和待标注二维图像进行训练，以得到目标物体识别模型，该目标物体识别模型可用于对新的待标注图像和待标注点云进行识别和标注。
54.在本发明的一个实施例中，得到目标物体识别模型之后，还包括：对目标物体进行人工标注，得到目标物体实际信息，并将基于目标物体识别模型得到的目标物体信息确定为目标物体预测信息；将目标物体实际信息和目标物体预测信息做比较，若目标物体实际
信息和目标物体预测信息不同，则基于目标物体实际信息对目标物体预测信息所对应的图像识别信息和点云识别信息进行标注。
55.图5是本技术的一示例性实施例示出的基于集成学习的融合标注流程图，如图5所示，首先基于数据采集装置采集得到二维图像和三维点云；然后对采集得到的数据进行解析，并对二维图像和三维点云进行数据同步；再然后在标注系统中对点云进行粗略拉框，并基于点云和二维图像的映射关系(即标定参数)得到伪三维目标框，分别将伪三维目标框中的二维图像输入多个图片类目标识别的弱分类器，将三维目标框中的点云输入多个点云类目标识别的弱分类器，并将上述弱分类器的输出结果作为继承学习决策器的输入结果，以得到综合识别结果，并基于点云和二维图像的映射关系和上述得到的综合识别结果对目标物体进行融合标注。
56.图6是本技术的另一示例性实施例示出的基于集成学习的融合标注流程图，如图6所示，标注点云(点云稀疏无法确定属性，粗略拉框)；然后映射出对应的图片上的粗略的目标框并输入至多个图片类目标识别的弱分类器，同时将点云数据上的粗略的目标框输入至多个点云类目标识别的弱分类器；再然后将上述分类器的弱分类器的输出结果作为继承学习决策器的输入结果，以得到点云上的标注结果，并基于上述点云上的标注结果得到图片上的标注结果，从而实现对目标物体的融合标注。
57.在本发明的一个实施例中，以标注一辆车为例，标注员首先在可能为车的目标区域拉一个粗略的大框，该框所选区域的点云在直接送往各个点云识别算法中进行目标识别，每个点云算法给出自己的算法的输出；第二步标注系统将所选的粗略的3d目标框，映射回图片对应的位置形成一个在2d图片上的粗略的目标框，该目标框对图片进行裁剪，输入给各个图片类的目标识别算法中，每一个图片算法给出自己的算法的输出；第三步将每个点云算法和每个图片算法的输出，输入到决策算法中进行结果决策，最终输出点云目标的种类、属性和3d点云目标框，最后将3d点云目标框映射回2d图片对应的位置完成标注。
58.应当理解的是，本技术提出的融合标注方法，首先将图片类的目标识别算法输出的种类、属性和目标框，外加对应的confidence(置信度)作为一个输入部分，点云类的目标识别算法也是如此。由于图片算法输出的是(伪3d框)，点云算法输出的是3d框，为了避免差异，同时考虑将标定参数作为决策器算法输出的一部分。然后，决策器将各类算法的输出结果和标定参数作为自身网络的输入，其真实标注的点云标注结果作为标签值，进行训练。最后训练得到一个能够综合各类目标识别算法各自“优势”的“聪明决策者”，因此在对目标物体进行融合标注的过程中不再训练各个目标识别算法，减少了训练资源。
59.图7是本技术的一示例性实施例示出的融合标注装置的框图。该装置可以应用于图7所示的实施环境。该装置也可以适用于其它的示例性实施环境，并具体配置在其它设备中，本实施例不对该装置所适用的实施环境进行限制。
60.如图7所示，该示例性的融合标注装置包括：信息采集模块710，数据同步模块720，目标确定模块730，弱分类器模块740，融合标注模块750。
61.其中，信息采集模块710，用于获取初始三维点云和初始二维图像；数据同步模块720，用于对初始三维点云和初始二维图像进行数据同步，得到待标注三维点云和待标注二维图片；目标确定模块730，用于基于待标注三维点云确定三维目标框，并对三维目标框进行映射，得到待标注二维图像中的伪三维目标框；弱分类器模块740，用于基于不同点云类
对三维目标框中的多个目标点云进行第一分类识别得到点云识别信息，基于不同图片类对伪三维目标框中的多类目标图像进行第二分类识别得到图像识别信息；融合标注模块750，用于将点云识别信息和图像识别信息输入至决策器进行集成学习，以根据决策器的输出结果进行融合标注。
62.在本发明的一个实施例中，弱分类器模块还包括：图像识别分类器：用于基于输入的感兴趣区域图像得到感兴趣区域图像的图像识别参数和感兴趣区域图像的图像识别置信度；点云识别分类器：用于基于输入的感兴趣点云得到所初感兴趣点云的点云识别参数和所感兴趣点云的点云识别置信度。
63.需要说明的是，上述实施例所提供的融合标注装置与上述实施例所提供的融合标注方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的融合标注装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。
64.本技术的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述各个实施例中提供的融合标注方法。
65.图8示出了适于用来实现本技术实施例的电子设备的计算机系统的结构示意图。需要说明的是，图8示出的电子设备的计算机系统800仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
66.如图8所示，计算机系统800包括中央处理单元(central processing unit，cpu)801，其可以根据存储在只读存储器(read-only memory，rom)802中的程序或者从储存部分808加载到随机访问存储器(random access memory，ram)803中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在ram 803中，还存储有系统操作所需的各种程序和数据。cpu 801、rom 802以及ram 803通过总线804彼此相连。输入/输出(input/output，i/o)接口805也连接至总线804。
67.以下部件连接至i/o接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(cathode ray tube，crt)、液晶显示器(liquid crystal display，lcd)等以及扬声器等的输出部分807；包括硬盘等的储存部分808；以及包括诸如lan(local area network，局域网)卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入储存部分808。
68.特别地，根据本技术的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本技术的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(cpu)801执行时，执行本技术的系统中限定的各种功能。
69.需要说明的是，本技术实施例所示的计算机可读介质可以是计算机可读信号介质
或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(erasable programmable read only memory，eprom)、闪存、光纤、便携式紧凑磁盘只读存储器(compact disc read-only memory，cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
70.附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
71.描述于本技术实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
72.本技术的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机的处理器执行时，使计算机执行如前所述的融合标注方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。
73.本技术的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的融合标注方法。
74.上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

技术特征：
1.一种融合标注方法，其特征在于，所述方法，包括：获取初始三维点云和初始二维图像；对所述初始三维点云和初始二维图像进行数据同步，得到待标注三维点云和待标注二维图片；基于所述待标注三维点云确定三维目标框，并对所述三维目标框进行映射，得到所述待标注二维图像中的伪三维目标框；基于不同点云类对所述三维目标框中的多个目标点云进行第一分类识别得到点云识别信息，基于不同图片类对所述伪三维目标框中的多类目标图像进行第二分类识别得到图像识别信息；将所述点云识别信息和所述图像识别信息输入至决策器进行集成学习，以根据决策器的输出结果进行融合标注。2.根据权利要求1所述的融合标注方法，其特征在于，对所述初始三维点云和所述初始二维图像进行数据同步，包括：对所述初始三维点云和所述初始二维图像进行空间同步，以得到同一目标场景的初始三维点云和所述初始二维图；对所述目标场景中的初始三维点云和初始二维图像进行时间同步处理，以得到所述目标场景中同一时刻的初始三维点云和初始二维图像；将所述目标场景中任一组同一时刻的初始三维点云合初始二维图像确定为待标注信息，并将所述待标注信息中的初始三维点云确定为待标注点云，将所述待标注信息中的初始二维图像确定为待标注二维图像。3.根据权利要求1所述的融合标注方法，其特征在于，对所述三维目标框进行映射，得到所述待标注二维图像中的伪三维目标框，包括：获取所述初始三维点云和所述初始二维图像之间的映射关系；基于所述映射关系，将所述三维目标框映射至所述待标注二维图像，得到所述待标注二维图像上的伪三维识别框。4.根据权利要求1所述的融合标注方法，其特征在于，基于不同图片类对所述伪三维目标框中的多类目标图像进行第二分类识别，包括：将所述伪三维识别框中的图像区域确定为感兴趣区域图像；将所述感兴趣区域图像输入预设图像识别分类器，得到基于所述预设图像识别分类器的图像识别参数和图像识别置信度；遍历多个预设图像识别分类器，得到多个图像识别参数，以及与每个图像识别参数相对应的图像识别置信度；将任一目标图像识别参数和所述目标图像识别参数相对应的图像识别置信度确定为一组图像识别信息，遍历每组图像识别参数，得到多组图像识别信息。5.根据权利要求1所述的融合标注方法，其特征在于，基于不同点云类对所述三维目标框中的多个目标点云进行第一分类识别，包括：将所述三维识别框中的点云确定为感兴趣点云，并将所述感兴趣点云输入预设点云识别分类器，得到基于所述点云识别分类器的点云识别参数和点云识别置信度；遍历多个预设点云识别分类器，得到多个点云识别参数，以及与每个点云识别参数相
对应的点云识别置信度；将任一目标点云识别参数和所述目标点云识别参数相对应的点云识别置信度确定为一组点云识别信息，遍历每组点云识别参数，得到多组点云识别信息。6.根据权利要求1-5任一项所述的融合标注方法，其特征在于，根据决策器的输出结果进行融合标注，包括：获取所述决策器的输出结果，所述输出结果包括目标物体三维识别框和目标物体属性信息；对所述目标物体三维识别框进行映射，得到所述目标物体在待标注二维图像上的目标物体二维识别框；基于所述目标物体二维识别框和所述目标物体属性信息对所述目标物体进行融合标注。7.一种融合标注装置，其特征在于，所述装置，包括：信息采集模块，用于获取初始三维点云和初始二维图像；数据同步模块，用于对所述初始三维点云和初始二维图像进行数据同步，得到待标注三维点云和待标注二维图片；目标确定模块，用于基于所述待标注三维点云确定三维目标框，并对所述三维目标框进行映射，得到所述待标注二维图像中的伪三维目标框；弱分类器模块，用于基于不同点云类对所述三维目标框中的多个目标点云进行第一分类识别得到点云识别信息，基于不同图片类对所述伪三维目标框中的多类目标图像进行第二分类识别得到图像识别信息；融合标注模块，用于将所述点云识别信息和所述图像识别信息输入至决策器进行集成学习，以根据决策器的输出结果进行融合标注。8.根据权利要求7所述的融合标注装置，其特征在于，所述弱分类器模块，包括：图像识别分类器：用于基于输入的感兴趣区域图像得到所述感兴趣区域图像的图像识别参数和所述感兴趣区域图像的图像识别置信度；点云识别分类器：用于基于输入的感兴趣点云得到所初感兴趣点云的点云识别参数和所述所感兴趣点云的点云识别置信度。9.一种电子设备，其特征在于，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如权利要求1至6中任一项所述的融合标注方法。10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行权利要求1至6中任一项所述的融合标注方法。

技术总结
本发明提供一种融合标注方法、装置、设备及存储介质，该方法通过获取初始三维点云和初始二维图像，对初始三维点云和初始二维图像进行数据同步，得到待标注三维点云和待标注二维图片，基于待标注三维点云确定三维目标框，并对三维目标框进行映射，得到待标注二维图像中的伪三维目标框，对三维目标框中的多个目标点云进行第一分类识别，对伪三维目标框中的多类目标图像进行第二分类识别，将识别得到的点云识别信息和图像识别信息输入至决策器进行集成学习，以根据决策器的输出结果进行融合标注；本申请通过弱分类器分别对三维点云和二维图像进行识别，又通过决策器对分别的识别结果进行决策，有效降低了标注过程对分类器算法能力和数据资源的要求。力和数据资源的要求。力和数据资源的要求。


技术研发人员：梁斯硕 李开兴 张霞
受保护的技术使用者：重庆长安汽车股份有限公司
技术研发日：2023.04.21
技术公布日：2023/7/20