应用于自动驾驶仿真的标注方法、装置、介质和程序产品与流程

1.本技术涉及自动驾驶技术领域，尤其涉及自动驾驶仿真技术领域，更具体地，涉及一种应用于自动驾驶仿真的标注方法、装置、电子设备、存储介质和程序产品。


背景技术：

2.自动驾驶相关算法在开发和验证时，需要大量的数据以进行训练或测试，例如视觉图像、激光雷达点云等传感器数据，而这些数据需要配合其中被探测物体的二维边界框、三维边界框等真值使用。如果采用实车进行采集，并进行人工真值标注的话，需要的成本极高。因此，自动驾驶仿真软件正获得越来越多的关注，自动驾驶仿真软件可以快速批量产生虚拟的传感器数据，并能够通过开发，自动进行真值标注。
3.在现有的自动驾驶仿真软件中，用户可以方便地获取物体在三维空间中的实时位置。然而，如果想要得到仿真中的虚拟相机拍到的图像中物体的二维边界框，则需要进行二次开发。在目前的二维边界框自动标注方法中，直接使用物体的三维边界框顶点投影到二维相机平面上获得二维边界框，标注出的部分二维边界框不正确，并且，对于车辆等物体来说，标注出的二维边界框不够准确和紧凑。
4.在本部分中公开的以上信息仅用于对本技术的技术构思的背景的理解，因此，以上信息可包含不构成现有技术的信息。


技术实现要素：

5.鉴于上述问题，本技术提供了一种应用于自动驾驶仿真的标注方法、装置、电子设备、存储介质和程序产品。
6.根据本技术的第一个方面，提供了一种应用于自动驾驶仿真的标注方法，所述方法包括：
7.获取同种类雷达点云，所述同种类雷达点云中的每个点包含被探测物体的以下信息：该被探测物体的实例编号、该被探测物体的种类编号和该点的三维空间位置信息，所述同种类雷达点云中的各个点的种类编号相同；
8.获取所述同种类雷达点云中各个点的实例编号，根据所述各个点的实例编号生成可见物体编号列表；
9.根据所述同种类雷达点云和所述可见物体编号列表，生成匹配列表，其中，所述匹配列表包括多个索引和多个内容，所述多个内容和所述多个索引分别一一对应，所述多个索引中的至少一个索引包括所述可见物体编号列表中的实例编号，所述多个内容包括所述同种类雷达点云中的点；
10.获取相机信息，所述相机信息包括输出待标注图的虚拟相机的内参、外参和该虚拟相机在三维空间中的位置信息；以及
11.根据所述匹配列表和所述相机信息，标注出被探测物体在所述虚拟相机的相机平面上的二维边界框，
12.其中，所述根据所述匹配列表和所述相机信息，标注出被探测物体在所述虚拟相机的二维平面中的二维边界框，具体包括：
13.将所述匹配列表中具有同一索引的内容中的多个投影到所述虚拟相机的二维相机平面上，以得到位于所述相机平面上的多个投影点；以及
14.确定包围所述多个投影点的二维边界框，所述包围所述多个投影点的二维边界框为所述被探测物体在所述虚拟相机的二维相机平面中的二维边界框。
15.根据一些示例性的实施例，所述获取同种类雷达点云包括：
16.获取初始雷达点云，所述初始雷达点云中的每个点包含被探测物体的以下信息：该被探测物体的实例编号，该被探测物体的种类编号，和该点的三维空间位置信息；以及
17.从所述初始雷达点云中选出种类编号相同的点，形成同种类雷达点云。
18.根据一些示例性的实施例，所述方法还包括：获取背景静态物体列表，所述背景静态物体列表包括仿真环境中各个静态物体的三维空间位置信息和三维边界框顶点位置信息。
19.根据一些示例性的实施例，所述从所述初始雷达点云中选出种类编号相同的点，形成同种类雷达点云，具体包括：从所述初始雷达点云中选出种类编号对应车辆的点，形成第一同种类雷达点云。
20.根据一些示例性的实施例，所述根据所述同种类雷达点云和所述可见物体编号列表，生成匹配列表，具体包括：
21.匹配所述可见物体编号列表和所述背景静态物体列表，以形成第一匹配结果，
22.其中，所述第一匹配结果包括第一子列表和第二子列表；
23.所述第一子列表包括多个索引和多个内容，所述第一子列表中的多个索引包括记载在所述可见物体编号列表中的行驶车辆的实例编号，所述行驶车辆的实例编号不等于第一规定值，其中，所述第一规定值表示停泊车辆的实例编号，所述第一子列表中的多个内容均为空；
24.所述第二子列表包括多个索引和多个内容，所述第二子列表中的多个索引包括所述背景静态物体列表中的停泊车辆，所述第二子列表中的多个内容均为空。
25.根据一些示例性的实施例，所述根据所述同种类雷达点云和所述可见物体编号列表，生成匹配列表，具体还包括：
26.筛选出所述第一同种类雷达点云中实例编号不等于第一规定值的点，以形成行驶车辆的点云；以及
27.根据所述第一子列表中的各个索引与所述行驶车辆的点云中的各个点的实例编号的对应关系，将所述行驶车辆的点云中的各个点对应存储于所述第一子列表中的多个内容中，以获得更新后的第一子列表。
28.根据一些示例性的实施例，所述根据所述同种类雷达点云和所述可见物体编号列表，生成匹配列表，具体还包括：
29.筛选出所述第一同种类雷达点云中实例编号等于第一规定值的点，以形成停泊车辆的点云；
30.针对所述停泊车辆的点云中的各个点，遍历所述背景静态物体列表；
31.当所述停泊车辆的点云中的第i个点被包围在所述背景静态物体列表中第j个静
态物体的三维边界框内时，确定该第i个点与该第j个静态物体的对应关系，其中，i大于等于1且小于等于所述停泊车辆的点云中点的个数，j大于等于1且小于等于所述背景静态物体列表中静态物体的个数；
32.根据所述对应关系，将所述停泊车辆的点云中的各个点对应存储于所述第二子列表中的多个内容中，以获得更新后的第二子列表，
33.其中，所述匹配列表包括更新后的第一子列表和更新后的第二子列表。
34.根据一些示例性的实施例，所述从所述初始雷达点云中选出种类编号相同的点，形成同种类雷达点云，具体包括：从所述初始雷达点云中选出种类编号对应行人的点，形成第二同种类雷达点云。
35.根据一些示例性的实施例，所述根据所述同种类雷达点云和所述可见物体编号列表，生成匹配列表，具体包括：
36.根据所述可见物体编号列表，形成第一匹配结果，
37.其中，所述第一匹配结果包括第三子列表；
38.所述第三子列表包括多个索引和多个内容，所述第三子列表中的多个索引包括记载在所述可见物体编号列表中的行人的实例编号，所述第三子列表中的多个内容均为空。
39.根据一些示例性的实施例，所述根据所述同种类雷达点云和所述可见物体编号列表，生成匹配列表，具体还包括：
40.根据所述第三子列表中的各个索引与所述第二同种类雷达点云中的各个点的实例编号的对应关系，将所述第二同种类雷达点云中的各个点对应存储于所述第三子列表中的多个内容中，以获得更新后的第三子列表。
41.根据一些示例性的实施例，所述方法还包括：获取行人的可控前景物体列表，所述行人的可控前景物体列表包括仿真环境的前景中各个行人的实例编号、三维空间位置信息和三维边界框顶点位置信息。
42.根据一些示例性的实施例，所述方法还包括：
43.比较所述第三子列表中的各个索引与所述行人的可控前景物体列表中的各个行人的实例编号；
44.当所述第三子列表中的索引不在所述行人的可控前景物体列表中时，从所述第三子列表中去除该索引以及与该索引对应的内容，以更新所述第三子列表，将更新后的第三子列表确定为第四子列表，
45.所述匹配列表包括所述第四子列表。
46.根据一些示例性的实施例，所述方法还包括：
47.将所述背景静态物体列表中的每一项背景静态物体的三维边界框顶点位置信息投影到二维相机平面上，获得该背景静态物体的二维边界框列表；
48.获取实例分割图，其中，输出所述实例分割图的虚拟相机与所述输出待标注图的虚拟相机的配置相同，所述实例分割图中的各个像素包括该像素所属物体的种类编号；
49.对于所述背景静态物体的二维边界框列表中的每一个二维边界框：根据所述实例分割图中的各个像素对应的种类编号，确定在所述实例分割图中该二维边界框内包含同一种背景静态物体的像素数量；计算所述像素数量占该二维边界框内的像素总数的比例；如果所述比例超过预先设定的阈值，则保留该二维边界框；如果所述比例不超过所述预先设
定的阈值，则舍弃该二维边界框；以及
50.将更新后的二维边界框列表作为所述背景静态物体在所述虚拟相机的相机平面上的二维边界框的标注结果。
51.根据一些示例性的实施例，所述背景静态物体列表中的静态物体包括交通灯、交通标志、护栏和树木中的至少一种。
52.根据本技术的第二个方面，提供了一种应用于自动驾驶仿真的标注装置，所述装置包括：
53.同种类雷达点云获取模块，用于：获取同种类雷达点云，所述同种类雷达点云中的每个点包含被探测物体的以下信息：该被探测物体的实例编号、该被探测物体的种类编号和该点的三维空间位置信息，所述同种类雷达点云中的各个点的种类编号相同；
54.可见物体编号列表生成模块，用于：获取所述同种类雷达点云中各个点的实例编号，根据所述各个点的实例编号生成可见物体编号列表；
55.匹配列表生成模块，用于：根据所述同种类雷达点云和所述可见物体编号列表，生成匹配列表，其中，所述匹配列表包括多个索引和多个内容，所述多个内容和所述多个索引分别一一对应，所述多个索引中的至少一个索引包括所述可见物体编号列表中的实例编号，所述多个内容包括所述同种类雷达点云中的点；
56.相机信息获取模块，用于：获取相机信息，所述相机信息包括输出待标注图的虚拟相机的内参、外参和该虚拟相机在三维空间中的位置信息；以及
57.二维边界框标注模块，用于：根据所述匹配列表和所述相机信息，标注出被探测物体在所述虚拟相机的相机平面上的二维边界框，
58.其中，所述根据所述匹配列表和所述相机信息，标注出被探测物体在所述虚拟相机的二维平面中的二维边界框，具体包括：
59.将所述匹配列表中具有同一索引的内容中的多个点投影到所述虚拟相机的二维相机平面上，以得到位于所述相机平面上的多个投影点；以及
60.确定包围所述多个投影点的二维边界框，所述包围所述多个投影点的二维边界框为所述被探测物体在所述虚拟相机的二维相机平面中的二维边界框。
61.根据本技术的第三个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上所述的方法。
62.根据本技术的第四个方面，提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行如上所述的方法。
63.根据本技术的第五个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
附图说明
64.通过以下参照附图对本技术实施例的描述，本技术的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
65.图1示意性示出了根据本技术实施例的自动驾驶仿真的场景图；
66.图2是根据本技术的一些示例性实施例的应用于自动驾驶仿真的标注方法的流程
图；
67.图3是根据本技术的一些示例性实施例的标注方法用于标注车辆的流程图；
68.图4是图3所示的方法中生成匹配列表的步骤的示例性流程图；
69.图5是根据本技术的一些示例性实施例的标注方法用于标注行人的流程图；
70.图6是图5所示的方法中生成匹配列表的步骤的示例性流程图；
71.图7是图5所示的方法中标注行人的二维边界框的步骤的示例性流程图；
72.图8是根据本技术的一些示例性实施例的标注方法用于标注交通灯等静态物体的流程图；
73.图9示意性示出了根据本技术实施例的应用于自动驾驶仿真的标注装置的结构框图；以及
74.图10示意性示出了根据本技术实施例的适于实现所述标注方法的电子设备的方框图。
具体实施方式
75.以下，将参照附图来描述本技术的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本技术的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本技术实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本技术的概念。
76.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本技术。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
77.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
78.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。
79.应当理解，尽管在本技术可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
80.首先，对本文中出现的技术术语作如下解释说明：
81.点云：在同一空间参考系下表达目标空间分布和目标表面特性的海量点云数据。例如，点云数据可以通过激光雷达、毫米波雷达等传感器获取。
82.雷达点云：通过激光雷达、毫米波雷达等传感器获取的点云数据。
83.自动驾驶仿真：以数学建模的方式将自动驾驶的应用场景进行数字化还原，建立
尽可能接近真实世界的系统模型，通过仿真测试进行分析和研究，以达到对自动驾驶系统和算法进行测试验证的目的。为实现自动驾驶仿真，逐渐出现了自动驾驶仿真软件。一个自动驾驶仿真软件主要包括以下几个部分：静态场景构建：对道路及其周边基础设施等静态场景的编辑能力，以及根据真实路网或高精地图搭建或生成大规模虚拟场景的道路环境的能力；动态场景仿真：有能力模拟各种交通参与者的动作以及生成与真实交通场景相似的交通流，或可以根据真实数据复现当时场景；传感器模型：自带或支持导入摄像头、激光雷达、毫米波雷达、gps、超声波雷达、imu等自动驾驶传感器模型，支持传感器模型的多种输出方式；车辆动力学模型：自带或支持可编辑的车辆动力学模型；对接adas和自动驾驶系统的丰富的接口。目前市面上各类自动驾驶仿真软件或平台包括上述几个部分，同时又各有特点。例如，carla是一款自动驾驶仿真软件或平台，用于自动驾驶系统的开发、训练和验证。carla依托虚幻引擎进行开发，使用服务器和多客户端的架构。carla提供了简单的车辆和行人的自动行为模拟，也同时提供了一整套的python接口，可以对场景中的车辆或信号灯等进行控制，用来方便的和自动驾驶系统进行联合仿真，完成决策系统和端到端的强化学习训练。
84.三维边界框：一个在三维空间中能够完整包围一个物体的长方体。
85.二维边界框：一个在二维平面上能够完整包围一个物体的长方形。
86.实例编号：仿真环境中能够识别一个物体的唯一编号。
87.种类编号：仿真环境中能够识别一类物体的唯一编号。
88.图1示意性示出了根据本技术实施例的自动驾驶仿真的场景图。示例性地，图1所示的图可以是自动驾驶仿真软件中生成的1帧仿真场景图，例如，所述自动驾驶仿真软件可以是carla软件。在图1所示的示例中，示例性示出了车辆的三维标注框100。
89.在例如carla的自动驾驶仿真软件中，提供的仿真中每一帧可以包括以下信息：
90.(1)雷达点云：雷达点云中的每个点包含被探测物体的以下信息：该被探测物体的实例编号，该被探测物体的种类编号，该点的三维空间位置信息；
91.(2)实例分割图：输出实例分割图的虚拟相机需要与输出待标注图的虚拟相机的配置相同(例如，配置相同指相机的内参、外参都一致)，实例分割图的每个像素包含该像素所属物体的种类编号；
92.(3)相机信息：虚拟相机的内参、外参、相机在三维空间的位置信息；
93.(4)可控前景物体列表：当前仿真环境中所有的某一类物体列表(例如，所有的行驶车辆、所有的行人)，列表中的每一项包含了一个物体的实例编号、物体在三维空间中的位置信息、物体的三维边界框顶点位置信息；
94.(5)背景静态物体列表：当前仿真环境中所有的某一类静态物体列表(例如，所有的停泊车辆、交通灯、交通标志)，列表中的每一项包含物体在三维空间中的位置信息、物体的三维边界框顶点位置信息。
95.在实际开发和测试过程中，需要得到仿真中的虚拟相机拍到的图像中物体的二维边界框。
96.例如，在carla软件自带文档提供的方法中，提到了标注车辆和交通灯的二维边界框的方法：获取被测物体的三维边界框列表，将三维边界框顶点投影到二维相机平面上，获得二维边界框列表。然而，发明人经研究发现，carla自带文档提供的方法没有考虑到物体
间的遮挡关系，所给出的二维边界框的标注结果是不准确的。
97.再例如，一些开源项目基于carla进行了二次开发，使用分割雷达点云的点和可控前景物体列表的三维边界框过滤出没有被遮挡的可控前景物体，再将可控前景物体的三维边界框顶点投影到二维相机平面上，获得二维边界框。然而，发明人经研究发现，该开源项目只针对行驶的车辆进行了标注，没有覆盖停泊车辆的标注；且直接使用物体的三维边界框顶点投影到二维相机平面上获得二维边界框，对于车辆来说边界框往往不够准确和紧凑。
98.基于此，本技术的实施例提供了一种应用于自动驾驶仿真的标注方法，所述方法包括：获取同种类雷达点云，所述同种类雷达点云中的每个点包含被探测物体的以下信息：该被探测物体的实例编号、该被探测物体的种类编号和该点的三维空间位置信息，所述同种类雷达点云中的各个点的种类编号相同；获取所述同种类雷达点云中各个点的实例编号，根据所述各个点的实例编号生成可见物体编号列表；根据所述同种类雷达点云和所述可见物体编号列表，生成匹配列表，其中，所述匹配列表包括多个索引和多个内容，所述多个内容和所述多个索引分别一一对应，所述多个索引中的至少一个索引包括所述可见物体编号列表中的实例编号，所述多个内容包括所述同种类雷达点云中的点；获取相机信息，所述相机信息包括输出待标注图的虚拟相机的内参、外参和该虚拟相机在三维空间中的位置信息；以及根据所述匹配列表和所述相机信息，标注出被探测物体在所述虚拟相机的相机平面上的二维边界框，其中，所述根据所述匹配列表和所述相机信息，标注出被探测物体在所述虚拟相机的二维平面中的二维边界框，具体包括：将所述匹配列表中具有同一索引的内容中的多个点投影到所述虚拟相机的二维相机平面上，以得到位于所述相机平面上的多个投影点；以及确定包围所述多个投影点的二维边界框，所述包围所述多个投影点的二维边界框为所述被探测物体在所述虚拟相机的二维相机平面中的二维边界框。在本技术实施例提供的标注方法中，二维边界框来源是包围分割雷达点云二维投影点的边界框，而不是三维边界框顶点的二维投影点，标注出的二维边界框更加紧凑和准确。
99.在本技术的示例性实施例中，所述标注方法可以对仿真中的各类物体进行标注，例如，所述各类物体可以包括车辆、行人、交通灯、交通标志等种类的物体。
100.图2是根据本技术的一些示例性实施例的应用于自动驾驶仿真的标注方法的流程图，所述方法可以包括步骤s210～s250。
101.需要说明的是，在本技术的实施例中，除非另有特别说明，所述方法包括的各个步骤的执行顺序不局限于它们在本文中记载的顺序，在不冲突的情况下，各个步骤可以并列执行，也可以以其它任意的顺序执行。
102.在步骤s210中，获取同种类雷达点云，所述同种类雷达点云中的每个点包含被探测物体的以下信息：该被探测物体的实例编号、该被探测物体的种类编号和该点的三维空间位置信息，所述同种类雷达点云中的各个点的种类编号相同。
103.在本技术的实施例中，所述获取同种类雷达点云可以包括：获取初始雷达点云，所述初始雷达点云中的每个点包含被探测物体的以下信息：该被探测物体的实例编号，该被探测物体的种类编号，和该点的三维空间位置信息；以及，从所述初始雷达点云中选出种类编号相同的点，形成同种类雷达点云。
104.在一些示例性的实施例中，所述从所述初始雷达点云中选出种类编号相同的点，
形成同种类雷达点云，具体可以包括：从所述初始雷达点云中选出种类编号对应车辆的点，形成第一同种类雷达点云。
105.可替换地或附加地，所述从所述初始雷达点云中选出种类编号相同的点，形成同种类雷达点云，具体可以包括：从所述初始雷达点云中选出种类编号对应行人的点，形成第二同种类雷达点云。
106.也就是说，在本技术的实施例中，所述同种类雷达点云可以是仿真中所有车辆的雷达点云，所有行人的雷达点云，所有交通灯或交通标志等静态物体的雷达点云。
107.在步骤s220中，获取所述同种类雷达点云中各个点的实例编号，根据所述各个点的实例编号生成可见物体编号列表。
108.例如，在所述同种类雷达点云是仿真中所有车辆的雷达点云的情况下，所述可见物体编号列表包括仿真中所有车辆的雷达点云中的各个点的实例编号。
109.在所述同种类雷达点云是仿真中所有行人的雷达点云的情况下，所述可见物体编号列表包括仿真中所有行人的雷达点云中的各个点的实例编号。
110.在所述同种类雷达点云是仿真中所有交通灯和交通标志的雷达点云的情况下，所述可见物体编号列表包括仿真中所有交通灯和交通标志的雷达点云中的各个点的实例编号。
111.在本技术的实施例中，被雷达点云中的点检测到的物体已经考虑到了物体间的遮挡关系，所以，对于所述可见物体编号列表中的各个实例编号对应的实例而言，已经考虑了物体间的遮挡关系，即，解决了遮挡问题。
112.在步骤s230中，根据所述同种类雷达点云和所述可见物体编号列表，生成匹配列表，其中，所述匹配列表包括多个索引和多个内容，所述多个内容和所述多个索引分别一一对应，所述多个索引中的至少一个索引包括所述可见物体编号列表中的实例编号，所述多个内容包括所述同种类雷达点云中的点。
113.也就是说，所述匹配列表包括多个项，每一项包括一个索引和一个内容，索引和内容一一对应，其中，索引为可见物体编号列表中的实例编号，内容为雷达点云中的点。即，在匹配列表中，对实例编号和雷达点云中的点进行匹配。
114.在步骤s240中，获取相机信息，所述相机信息包括输出待标注图的虚拟相机的内参、外参和该虚拟相机在三维空间中的位置信息。
115.例如，二维边界框会标注在某一虚拟相机的输出图像中，该虚拟相机可以称为输出待标注图的虚拟相机。
116.应该理解，相机内参是与相机自身特性相关的参数，例如，相机的焦距、像素大小等，相机外参指的是相机和雷达间的位置关系，“相机在三维空间中的位置信息”指的是相机在世界坐标系中的参数，例如相机的位置、旋转方向等
117.在步骤s250中，根据所述匹配列表和所述相机信息，标注出被探测物体在所述虚拟相机的相机平面上的二维边界框。
118.在本技术的实施例中，所述根据所述匹配列表和所述相机信息，标注出被探测物体在所述虚拟相机的二维平面中的二维边界框，具体可以包括：将所述匹配列表中具有同一索引的内容中的多个点投影到所述虚拟相机的二维相机平面上，以得到位于所述相机平面上的多个投影点；以及确定包围所述多个投影点的二维边界框，所述包围所述多个投影
点的二维边界框为所述被探测物体在所述虚拟相机的二维相机平面中的二维边界框。
119.在一些示例性的实施例中，所述方法还可以包括：获取某一类背景物体的背景静态物体列表，所述背景静态物体列表包括仿真环境中各个静态物体三维空间位置信息和三维边界框顶点位置信息。
120.在一些示例性的实施例中，所述方法还可以包括：获取某一类前景物体的可控前景物体列表，例如，所述某一类前景物体的可控前景物体列表包括仿真环境的前景中各个行人的实例编号、三维空间位置信息和三维边界框顶点位置信息。
121.下面，将以车辆、行人、交通灯、交通标志等四类物体为例，对本技术的实施例做进一步详细说明。
122.需要说明的是，在本技术实施例提供的仿真场景中，车辆包括行驶车辆和停泊车辆，其中，行驶车辆为前景动态物体，停泊车辆为背景静态物体；行人为前景动态物体；交通灯、交通标志为背景静态物体。这四类物体作为前景动态物体和背景动态物体的典型代表，本技术的实施例不局限于上述四类物体。
123.图3是根据本技术的一些示例性实施例的标注方法用于标注车辆的流程图，所述方法可以包括步骤s310～s340。
124.在步骤s310中，获取初始雷达点云，所述初始雷达点云中的每个点包含被探测物体的以下信息：该被探测物体的实例编号，该被探测物体的种类编号，和该点的三维空间位置信息。
125.在一些示例性实施例中，所述初始雷达点云中的点与仿真场景中多个类别的物体对应，例如，仿真环境中车辆、行人、交通灯、交通标志、树木、护栏等多个类别的物体。
126.在步骤s320中，对所述初始雷达点云进行处理。例如，对所述初始雷达点云进行处理包括：从所述初始雷达点云中选出种类编号相同的点，形成同种类雷达点云。
127.在该实施例中，所述从所述初始雷达点云中选出种类编号相同的点，形成同种类雷达点云，具体可以包括：从所述初始雷达点云中选出种类编号对应车辆的点，形成第一同种类雷达点云。也就是说，所述第一同种类雷达点云中的点与仿真中所有车辆对应。
128.在步骤s330中，获取所述第一同种类雷达点云中各个点的实例编号，根据所述各个点的实例编号生成可见物体编号列表。
129.例如，在该实施例中，所述可见物体编号列表包括仿真中所有车辆的雷达点云中的各个点的实例编号。
130.在步骤s340中，根据所述第一同种类雷达点云和所述可见物体编号列表，生成匹配列表。
131.图4是图3所示的方法中生成匹配列表的步骤的示例性流程图。结合参照图3和图4，生成匹配列表的步骤可以包括子步骤s3410～s3440。
132.在子步骤s3410中，匹配所述可见物体编号列表和所述背景静态物体列表，以形成第一匹配结果。
133.在该实施例中，所述第一匹配结果包括第一子列表和第二子列表。所述第一子列表为行驶车辆的列表，所述第二子列表为停泊车辆的列表。
134.所述第一子列表包括多个索引和多个内容，所述第一子列表中的多个索引包括记载在所述可见物体编号列表中的行驶车辆的实例编号，所述行驶车辆的实例编号不等于第
一规定值，其中，所述第一规定值表示停泊车辆的实例编号，所述第一子列表中的多个内容均为空。
135.所述第二子列表包括多个索引和多个内容，所述第二子列表中的多个索引包括所述背景静态物体列表中的停泊车辆，所述第二子列表中的多个内容均为空。
136.例如，以carla软件为例，行驶车辆的实例编号为非0值，停泊车辆的实例编号为0，在此情况下，所述第一子列表中的每项索引为车辆的可见物体编号列表中的所有非0实例编号，所述第一子列表的内容为空列表。所述第二子列表中的每项索引为背景静态编号列表中的车辆，所述第二子列表的内容为空列表。
137.针对第一子列表，即，针对行驶车辆的子列表，可以执行下面的子步骤s3420和s3430。
138.在子步骤s3420中，筛选出所述第一同种类雷达点云中实例编号不等于第一规定值的点，以形成行驶车辆的点云，其中，所述第一规定值表示停泊车辆的实例编号。
139.例如，所述第一规定值可以为0，但是，本技术的实施例不对该第一规定值做特别限定。
140.在子步骤s3430中，根据所述第一子列表中的各个索引与所述行驶车辆的点云中的各个点的实例编号的对应关系，将所述行驶车辆的点云中的各个点对应存储于所述第一子列表中的多个内容中，以获得更新后的第一子列表。
141.例如，在更新后的第一子列表中，所述第一子列表中的每项索引为车辆的可见物体编号列表中的所有非0实例编号，所述第一子列表的每项内容为与实例编号对应的行驶车辆的点。
142.针对第二子列表，即，针对停泊车辆的子列表，可以执行下面的子步骤s3440～s3470。
143.在子步骤s3440中，筛选出所述第一同种类雷达点云中实例编号等于第一规定值的点，以形成停泊车辆的点云。
144.例如，以carla软件为例，可以从所有的车辆雷达点云中筛选出实例编号等于0的点，这样，可以形成所有停泊车辆的点云。
145.由于在仿真中所有停泊车辆的点云具有相同的实例编号，例如，其实例编号均为0，所以，在停泊车辆的点云中，无法确定每一个点具体对应哪一辆停泊车辆。在本技术的实施例中，针对停泊车辆的点云，进一步通过遍历背景静态物体列表的方式，来确定停泊车辆的点云中的每一个点对应的停泊车辆。
146.在子步骤s3450中，针对所述停泊车辆的点云中的各个点，遍历所述背景静态物体列表。
147.在子步骤s3460中，当所述停泊车辆的点云中的第i个点被包围在所述背景静态物体列表中第j个静态物体的三维边界框内时，确定该第i个点与该第j个静态物体的对应关系。其中，i大于等于1且小于等于所述停泊车辆的点云中点的个数，j大于等于1且小于等于所述背景静态物体列表中静态物体的个数。
148.在子步骤s3470中，根据所述对应关系，将所述停泊车辆的点云中的各个点对应存储于所述第二子列表中的多个内容中，以获得更新后的第二子列表。
149.例如，在更新后的第二子列表中，所述第二子列表中的每项索引为所述背景静态
物体列表中的停泊车辆，所述第二子列表的每项内容为与该停泊车辆对应的停泊车辆的点。
150.在本技术的实施例中，所述匹配列表包括更新后的第一子列表和更新后的第二子列表。
151.返回参照图2，在形成所述匹配列表后，可以执行步骤s250，即，根据所述匹配列表和所述相机信息，标注出被探测物体在所述虚拟相机的相机平面上的二维边界框。
152.具体地，将所述匹配列表中具有同一索引的内容中的多个点投影到所述虚拟相机的二维相机平面上，以得到位于所述相机平面上的多个投影点；以及确定包围所述多个投影点的二维边界框，所述包围所述多个投影点的二维边界框为所述被探测物体在所述虚拟相机的二维相机平面中的二维边界框。
153.例如，可以结合相机信息，将所述匹配列表中的更新后的第一子列表中的每一项的内容中的多个点投影到所述虚拟相机的二维相机平面上，以得到位于所述相机平面上的多个投影点，然后，确定包围所述多个投影点的二维边界框，所述包围所述多个投影点的二维边界框为所述行驶车辆在所述虚拟相机的二维相机平面中的二维边界框。这样，实现了仿真环境中行驶车辆的二维边界框的标注。
154.再例如，可以结合相机信息，将所述匹配列表中的更新后的第二子列表中的每一项的内容中的多个点投影到所述虚拟相机的二维相机平面上，以得到位于所述相机平面上的多个投影点，然后，确定包围所述多个投影点的二维边界框，所述包围所述多个投影点的二维边界框为所述停泊车辆在所述虚拟相机的二维相机平面中的二维边界框。这样，实现了仿真环境中停泊车辆的二维边界框的标注。
155.在本技术的实施例中，车辆的二维边界框来源是包围车辆雷达点云的二维投影点的边界框，而不是车辆的三维边界框顶点的二维投影点，这使得生成的二维边界框更加紧凑和准确。
156.进一步地，在本技术的实施例中，在标注车辆的过程中，同时标注了行驶中的车辆和停泊的车辆，使得标注结果更加有效。
157.图5是根据本技术的一些示例性实施例的标注方法用于标注行人的流程图，所述方法可以包括步骤s510～s540。
158.在步骤s510中，获取初始雷达点云，所述初始雷达点云中的每个点包含被探测物体的以下信息：该被探测物体的实例编号，该被探测物体的种类编号，和该点的三维空间位置信息。
159.在步骤s520中，对所述初始雷达点云进行处理。例如，对所述初始雷达点云进行处理包括：从所述初始雷达点云中选出种类编号相同的点，形成同种类雷达点云。
160.在该实施例中，所述从所述初始雷达点云中选出种类编号相同的点，形成同种类雷达点云，具体可以包括：从所述初始雷达点云中选出种类编号对应行人的点，形成第二同种类雷达点云。也就是说，所述第二同种类雷达点云中的点与仿真中所有行人对应。
161.在步骤s530中，获取所述第二同种类雷达点云中各个点的实例编号，根据所述各个点的实例编号生成可见物体编号列表。
162.例如，在该实施例中，所述可见物体编号列表包括仿真中所有行人的雷达点云中的各个点的实例编号。
163.在步骤s540中，根据所述第二同种类雷达点云和所述可见物体编号列表，生成匹配列表。
164.图6是图5所示的方法中生成匹配列表的步骤的示例性流程图。结合参照图5和图6，生成匹配列表的步骤可以包括子步骤s5410～s5420。
165.在子步骤s5410中，根据所述可见物体编号列表，形成第一匹配结果，其中，所述第一匹配结果包括第三子列表；所述第三子列表包括多个索引和多个内容，所述第三子列表中的多个索引包括记载在所述可见物体编号列表中的行人的实例编号，所述第三子列表中的多个内容均为空。
166.例如，以carla软件为例，所有行人的实例编号为非0值，在此情况下，所述第三子列表中的每项索引为行人的可见物体编号列表中的所有非0实例编号，所述第三子列表的内容为空列表。
167.在子步骤s5420中，根据所述第三子列表中的各个索引与所述第二同种类雷达点云中的各个点的实例编号的对应关系，将所述第二同种类雷达点云中的各个点对应存储于所述第三子列表中的多个内容中，以获得更新后的第三子列表。
168.例如，在更新后的第三子列表中，所述第三子列表中的每项索引为行人的可见物体编号列表中的所有非0实例编号，所述第三子列表中的每项内容为与实例编号对应的行人的点。
169.在该实施例中，所述匹配列表可以包括更新后的第三子列表。
170.返回参照图2，在形成所述匹配列表后，可以执行步骤s250，即，根据所述匹配列表和所述相机信息，标注出被探测物体(例如行人)在所述虚拟相机的相机平面上的二维边界框。
171.可选地，图7是图5所示的方法中标注行人的二维边界框的步骤的示例性流程图。
172.结合参照图2、图5和图7，在本技术的一些示例性实施例中，所述方法还可以包括步骤s710～s730。
173.在步骤s710中，获取行人的可控前景物体列表，所述行人的可控前景物体列表包括仿真环境的前景中各个行人的实例编号、三维空间位置信息和三维边界框顶点位置信息。
174.在步骤s720中，比较所述第三子列表中的各个索引与所述行人的可控前景物体列表中的各个行人的实例编号。
175.在步骤s730中，当所述第三子列表中的索引不在所述行人的可控前景物体列表中时，从所述第三子列表中去除该索引以及与该索引对应的内容，以更新所述第三子列表，将更新后的第三子列表确定为第四子列表。
176.在该实施例中，所述匹配列表包括所述第四子列表。
177.在例如carla的仿真软件中，一方面，雷达点云中与两轮车辆驾驶人对应的点的种类编号为行人，另一方面，在可控前景物体列表中，两轮车辆驾驶人的实例编号并不在行人的可控前景物体列表中，而是在车辆的可控前景物体列表中。发明人经研究发现，在该情况下，将两轮车辆驾驶员和两轮车辆标注为一个整体较为合理，即，将该整体标注为车辆较为合理。在本技术的实施例中，通过执行步骤s710～s730，可以将两轮车辆驾驶人从行人中去除，使得标注结果更准确和合理。
178.返回参照图2，在形成所述匹配列表(例如，所述第四子列表)后，可以执行步骤s250，即，根据所述第四子列表和所述相机信息，标注出被探测物体(例如行人)在所述虚拟相机的相机平面上的二维边界框。
179.具体地，将所述第四子列表中具有同一索引的内容中的多个点投影到所述虚拟相机的二维相机平面上，以得到位于所述相机平面上的多个投影点；以及确定包围所述多个投影点的二维边界框，所述包围所述多个投影点的二维边界框为所述行人在所述虚拟相机的二维相机平面中的二维边界框。
180.例如，可以结合相机信息，将所述匹配列表中的更新后的第四子列表中的每一项的内容中的多个点投影到所述虚拟相机的二维相机平面上，以得到位于所述相机平面上的多个投影点，然后，确定包围所述多个投影点的二维边界框，所述包围所述多个投影点的二维边界框为所述行人在所述虚拟相机的二维相机平面中的二维边界框。这样，实现了仿真环境中行人的二维边界框的标注。
181.在本技术的实施例中，行人的二维边界框来源是包围车辆雷达点云的二维投影点的边界框，而不是行人的三维边界框顶点的二维投影点，这使得生成的二维边界框更加紧凑和准确。
182.图8是根据本技术的一些示例性实施例的标注方法用于标注交通灯等静态物体的流程图，所述方法可以包括步骤s810～s840。需要说明的是，在本技术的实施例中，以交通灯为例说明标注方法用于标注静态物体的过程，但是，本技术的实施例不局限于此，本技术实施例提出的标注方法也可以应用于交通标注、树木、护栏等其他种类的静态物体。
183.在步骤s810中，将所述背景静态物体列表中的每一项背景静态物体的三维边界框顶点位置信息投影到二维相机平面上，获得该背景静态物体的二维边界框列表。例如，所述背景静态物体列表可以是交通灯的背景静态物体列表。
184.在步骤s820中，获取实例分割图，其中，输出所述实例分割图的虚拟相机与所述输出待标注图的虚拟相机的配置相同，所述实例分割图中的各个像素包括该像素所属物体的种类编号，例如，交通灯的种类编号。
185.需要说明的是，此处的“配置相同”可以表示两个虚拟相机的内参和外参都相同。
186.在步骤s830中，对于所述背景静态物体的二维边界框列表中的每一个二维边界框：根据所述实例分割图中的各个像素对应的种类编号，确定在所述实例分割图中该二维边界框内包含同一种背景静态物体的像素数量；计算所述像素数量占该二维边界框内的像素总数的比例；如果所述比例超过预先设定的阈值，则保留该二维边界框；如果所述比例不超过所述预先设定的阈值，则舍弃该二维边界框。通过这样的方式，对二维边界框列表进行了更新。
187.需要说明的是，在所述比例不超过所述预先设定的阈值的情况下，说明该交通灯被遮挡，所以，需要舍弃该交通灯的二维边界框。在本技术的实施例中，使用实例分割图判断交通灯、交通标志等静态物体的遮挡情况，使标注结果更加稳定和准确。
188.在步骤s840中，将更新后的二维边界框列表作为所述背景静态物体在所述虚拟相机的相机平面上的二维边界框的标注结果。
189.在本技术实施例提供的标注方法中，能够准确且紧凑地标注车辆、行人等动态物体和交通灯、交通标注等静态物体，也就是说，本技术实施例提供的所述标注方法兼容性
强、标注结果稳定且准确，且能够扩展到自动驾驶仿真的更多种类物体标注中。
190.基于上述标注方法，本技术的实施例还提供了一种应用于自动驾驶仿真的标注装置。以下将结合图9对该装置进行详细描述。
191.图9示意性示出了根据本技术实施例的应用于自动驾驶仿真的标注装置的结构框图。
192.如图9所示，所述应用于自动驾驶仿真的标注装置可以包括同种类雷达点云获取模块910、可见物体编号列表生成模块920、匹配列表生成模块930、相机信息获取模块940和二维边界框标注模块950。
193.所述同种类雷达点云获取模块910用于：获取同种类雷达点云，所述同种类雷达点云中的每个点包含被探测物体的以下信息：该被探测物体的实例编号、该被探测物体的种类编号和该点的三维空间位置信息，所述同种类雷达点云中的各个点的种类编号相同。
194.在一些示例性实施例中，所述同种类雷达点云获取模块910可以用于执行前文描述的操作s210、s310、s320、s510、s520，在此不再赘述。
195.所述可见物体编号列表生成模块920用于：获取所述同种类雷达点云中各个点的实例编号，根据所述各个点的实例编号生成可见物体编号列表。
196.在一些示例性实施例中，所述可见物体编号列表生成模块920可以用于执行前文描述的操作s220、s330、s530，在此不再赘述。
197.所述匹配列表生成模块930用于：根据所述同种类雷达点云和所述可见物体编号列表，生成匹配列表，其中，所述匹配列表包括多个索引和多个内容，所述多个内容和所述多个索引分别一一对应，所述多个索引中的至少一个索引包括所述可见物体编号列表中的实例编号，所述多个内容包括所述同种类雷达点云中的点。
198.在一些示例性实施例中，所述匹配列表生成模块930可以用于执行前文描述的操作s230、s340、s540，在此不再赘述。
199.所述相机信息获取模块940用于：获取相机信息，所述相机信息包括输出待标注图的虚拟相机的内参、外参和该虚拟相机在三维空间中的位置信息。
200.在一些示例性实施例中，所述相机信息获取模块940可以用于执行前文描述的操作s240，在此不再赘述。
201.所述二维边界框标注模块950用于：根据所述匹配列表和所述相机信息，标注出被探测物体在所述虚拟相机的相机平面上的二维边界框。
202.例如，所述根据所述匹配列表和所述相机信息，标注出被探测物体在所述虚拟相机的二维平面中的二维边界框，具体可以包括：将所述匹配列表中具有同一索引的内容中的多个点投影到所述虚拟相机的二维相机平面上，以得到位于所述相机平面上的多个投影点；以及确定包围所述多个投影点的二维边界框，所述包围所述多个投影点的二维边界框为所述被探测物体在所述虚拟相机的二维相机平面中的二维边界框。
203.在一些示例性实施例中，所述二维边界框标注模块950可以用于执行前文描述的操作s250，在此不再赘述。
204.可替换地或附加地，所述应用于自动驾驶仿真的标注装置还可以包括背景静态物体列表获取模块960。背景静态物体列表获取模块960可以用于获取背景静态物体列表。所述背景静态物体列表包括仿真环境中各个静态物体的三维空间位置信息和三维边界框顶
点位置信息。
205.可替换地或附加地，所述应用于自动驾驶仿真的标注装置还可以包括可控前景物体列表获取模块970。可控前景物体列表获取模块970可以用于获取可控前景物体列表。例如，可以用于获取行人的可控前景物体列表，所述行人的可控前景物体列表包括仿真环境的前景中各个行人的实例编号、三维空间位置信息和三维边界框顶点位置信息。
206.根据本技术的实施例，上述各个模块或单元中的任意多个模块或单元可以合并在一个模块或单元中实现，或者其中的任意一个模块或单元可以被拆分成多个模块或单元。或者，这些模块或单元中的一个或多个模块或单元的至少部分功能可以与其他模块或单元的至少部分功能相结合，并在一个模块或单元中实现。根据本技术的实施例，上述各个模块或单元中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，上述各个模块或单元中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
207.图10示意性示出了根据本技术实施例的适于实现所述标注方法的电子设备的方框图。
208.如图10所示，根据本技术实施例的电子设备1000包括处理器1001，其可以根据存储在只读存储器(rom)1002中的程序或者从存储部分1008加载到随机访问存储器(ram)1003中的程序而执行各种适当的动作和处理。处理器1001例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))等等。处理器1001还可以包括用于缓存用途的板载存储器。处理器1001可以包括用于执行根据本技术实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
209.在ram 1003中，存储有电子设备1000操作所需的各种程序和数据。处理器1001、rom 1002以及ram 1003通过总线1004彼此相连。处理器1001通过执行rom 1002和/或ram 1003中的程序来执行根据本技术实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom 1002和ram 1003以外的一个或多个存储器中。处理器1001也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本技术实施例的方法流程的各种操作。
210.根据本技术的实施例，电子设备1000还可以包括输入/输出(i/o)接口1005，输入/输出(i/o)接口1005也连接至总线1004。电子设备1000还可以包括连接至i/o接口1005的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至i/o接口1 005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
211.本技术还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被
执行时，实现根据本技术实施例的方法。
212.根据本技术的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本技术的实施例，计算机可读存储介质可以包括上文描述的rom 1002和/或ram 1003和/或rom 1002和ram 1003以外的一个或多个存储器。
213.本技术的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本技术实施例所提供的标注方法。
214.在该计算机程序被处理器1001执行时执行本技术实施例的系统/装置中限定的上述功能。根据本技术的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
215.在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分1009被下载和安装，和/或从可拆卸介质1011被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
216.在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被处理器1001执行时，执行本技术实施例的系统中限定的上述功能。根据本技术的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
217.根据本技术的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如java，c++，python，“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
218.附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组
合来实现。
219.本领域技术人员可以理解，本技术的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本技术中。特别地，在不脱离本技术精神和教导的情况下，本技术的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本技术的范围。

技术特征：
1.一种应用于自动驾驶仿真的标注方法，其特征在于，所述方法包括：获取同种类雷达点云，所述同种类雷达点云中的每个点包含被探测物体的以下信息：该被探测物体的实例编号、该被探测物体的种类编号和该点的三维空间位置信息，所述同种类雷达点云中的各个点的种类编号相同；获取所述同种类雷达点云中各个点的实例编号，根据所述各个点的实例编号生成可见物体编号列表；根据所述同种类雷达点云和所述可见物体编号列表，生成匹配列表，其中，所述匹配列表包括多个索引和多个内容，所述多个内容和所述多个索引分别一一对应，所述多个索引中的至少一个索引包括所述可见物体编号列表中的实例编号，所述多个内容包括所述同种类雷达点云中的点；获取相机信息，所述相机信息包括输出待标注图的虚拟相机的内参、外参和该虚拟相机在三维空间中的位置信息；以及根据所述匹配列表和所述相机信息，标注出被探测物体在所述虚拟相机的相机平面上的二维边界框，其中，所述根据所述匹配列表和所述相机信息，标注出被探测物体在所述虚拟相机的二维平面中的二维边界框，具体包括：将所述匹配列表中具有同一索引的内容中的多个点投影到所述虚拟相机的二维相机平面上，以得到位于所述相机平面上的多个投影点；以及确定包围所述多个投影点的二维边界框，所述包围所述多个投影点的二维边界框为所述被探测物体在所述虚拟相机的二维相机平面中的二维边界框。2.根据权利要求1所述的方法，其特征在于，所述获取同种类雷达点云包括：获取初始雷达点云，所述初始雷达点云中的每个点包含被探测物体的以下信息：该被探测物体的实例编号，该被探测物体的种类编号，和该点的三维空间位置信息；以及从所述初始雷达点云中选出种类编号相同的点，形成同种类雷达点云。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：获取背景静态物体列表，所述背景静态物体列表包括仿真环境中各个静态物体的三维空间位置信息和三维边界框顶点位置信息。4.根据权利要求3所述的方法，其特征在于，所述从所述初始雷达点云中选出种类编号相同的点，形成同种类雷达点云，具体包括：从所述初始雷达点云中选出种类编号对应车辆的点，形成第一同种类雷达点云。5.根据权利要求4所述的方法，其特征在于，所述根据所述同种类雷达点云和所述可见物体编号列表，生成匹配列表，具体包括：匹配所述可见物体编号列表和所述背景静态物体列表，以形成第一匹配结果，其中，所述第一匹配结果包括第一子列表和第二子列表；所述第一子列表包括多个索引和多个内容，所述第一子列表中的多个索引包括记载在所述可见物体编号列表中的行驶车辆的实例编号，所述行驶车辆的实例编号不等于第一规定值，其中，所述第一规定值表示停泊车辆的实例编号，所述第一子列表中的多个内容均为空；所述第二子列表包括多个索引和多个内容，所述第二子列表中的多个索引包括所述背
景静态物体列表中的停泊车辆，所述第二子列表中的多个内容均为空。6.根据权利要求5所述的方法，其特征在于，所述根据所述同种类雷达点云和所述可见物体编号列表，生成匹配列表，具体还包括：筛选出所述第一同种类雷达点云中实例编号不等于第一规定值的点，以形成行驶车辆的点云；以及根据所述第一子列表中的各个索引与所述行驶车辆的点云中的各个点的实例编号的对应关系，将所述行驶车辆的点云中的各个点对应存储于所述第一子列表中的多个内容中，以获得更新后的第一子列表。7.根据权利要求6所述的方法，其特征在于，所述根据所述同种类雷达点云和所述可见物体编号列表，生成匹配列表，具体还包括：筛选出所述第一同种类雷达点云中实例编号等于第一规定值的点，以形成停泊车辆的点云；针对所述停泊车辆的点云中的各个点，遍历所述背景静态物体列表；当所述停泊车辆的点云中的第i个点被包围在所述背景静态物体列表中第j个静态物体的三维边界框内时，确定该第i个点与该第j个静态物体的对应关系，其中，i大于等于1且小于等于所述停泊车辆的点云中点的个数，j大于等于1且小于等于所述背景静态物体列表中静态物体的个数；根据所述对应关系，将所述停泊车辆的点云中的各个点对应存储于所述第二子列表中的多个内容中，以获得更新后的第二子列表，其中，所述匹配列表包括更新后的第一子列表和更新后的第二子列表。8.根据权利要求3-7中任一项所述的方法，其特征在于，所述从所述初始雷达点云中选出种类编号相同的点，形成同种类雷达点云，具体包括：从所述初始雷达点云中选出种类编号对应行人的点，形成第二同种类雷达点云。9.根据权利要求8所述的方法，其特征在于，所述根据所述同种类雷达点云和所述可见物体编号列表，生成匹配列表，具体包括：根据所述可见物体编号列表，形成第一匹配结果，其中，所述第一匹配结果包括第三子列表；所述第三子列表包括多个索引和多个内容，所述第三子列表中的多个索引包括记载在所述可见物体编号列表中的行人的实例编号，所述第三子列表中的多个内容均为空。10.根据权利要求9所述的方法，其特征在于，所述根据所述同种类雷达点云和所述可见物体编号列表，生成匹配列表，具体还包括：根据所述第三子列表中的各个索引与所述第二同种类雷达点云中的各个点的实例编号的对应关系，将所述第二同种类雷达点云中的各个点对应存储于所述第三子列表中的多个内容中，以获得更新后的第三子列表。11.根据权利要求10所述的方法，其特征在于，所述方法还包括：获取行人的可控前景物体列表，所述行人的可控前景物体列表包括仿真环境的前景中各个行人的实例编号、三维空间位置信息和三维边界框顶点位置信息。12.根据权利要求11所述的方法，其特征在于，所述方法还包括：比较所述第三子列表中的各个索引与所述行人的可控前景物体列表中的各个行人的
实例编号；当所述第三子列表中的索引不在所述行人的可控前景物体列表中时，从所述第三子列表中去除该索引以及与该索引对应的内容，以更新所述第三子列表，将更新后的第三子列表确定为第四子列表，所述匹配列表包括所述第四子列表。13.根据权利要求3-7和9-12中任一项所述的方法，其特征在于，所述方法还包括：将所述背景静态物体列表中的每一项背景静态物体的三维边界框顶点位置信息投影到二维相机平面上，获得该背景静态物体的二维边界框列表；获取实例分割图，其中，输出所述实例分割图的虚拟相机与所述输出待标注图的虚拟相机的配置相同，所述实例分割图中的各个像素包括该像素所属物体的种类编号；对于所述背景静态物体的二维边界框列表中的每一个二维边界框：根据所述实例分割图中的各个像素对应的种类编号，确定在所述实例分割图中该二维边界框内包含同一种背景静态物体的像素数量；计算所述像素数量占该二维边界框内的像素总数的比例；如果所述比例超过预先设定的阈值，则保留该二维边界框；如果所述比例不超过所述预先设定的阈值，则舍弃该二维边界框；以及将更新后的二维边界框列表作为所述背景静态物体在所述虚拟相机的相机平面上的二维边界框的标注结果。14.根据权利要求13所述的方法，其特征在于，所述背景静态物体列表中的静态物体包括交通灯、交通标志、护栏和树木中的至少一种。15.一种应用于自动驾驶仿真的标注装置，其特征在于，所述装置包括：同种类雷达点云获取模块，用于：获取同种类雷达点云，所述同种类雷达点云中的每个点包含被探测物体的以下信息：该被探测物体的实例编号、该被探测物体的种类编号和该点的三维空间位置信息，所述同种类雷达点云中的各个点的种类编号相同；可见物体编号列表生成模块，用于：获取所述同种类雷达点云中各个点的实例编号，根据所述各个点的实例编号生成可见物体编号列表；匹配列表生成模块，用于：根据所述同种类雷达点云和所述可见物体编号列表，生成匹配列表，其中，所述匹配列表包括多个索引和多个内容，所述多个内容和所述多个索引分别一一对应，所述多个索引中的至少一个索引包括所述可见物体编号列表中的实例编号，所述多个内容包括所述同种类雷达点云中的点；相机信息获取模块，用于：获取相机信息，所述相机信息包括输出待标注图的虚拟相机的内参、外参和该虚拟相机在三维空间中的位置信息；以及二维边界框标注模块，用于：根据所述匹配列表和所述相机信息，标注出被探测物体在所述虚拟相机的相机平面上的二维边界框，其中，所述根据所述匹配列表和所述相机信息，标注出被探测物体在所述虚拟相机的二维平面中的二维边界框，具体包括：将所述匹配列表中具有同一索引的内容中的多个点投影到所述虚拟相机的二维相机平面上，以得到位于所述相机平面上的多个投影点；以及确定包围所述多个投影点的二维边界框，所述包围所述多个投影点的二维边界框为所述被探测物体在所述虚拟相机的二维相机平面中的二维边界框。
16.一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～14中任一项所述的方法。17.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～14中任一项所述的方法。18.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～14中任一项所述的方法。

技术总结
本申请的实施例提供了一种应用于自动驾驶仿真的标注方法，包括：获取同种类雷达点云；获取同种类雷达点云中各个点的实例编号，根据各个点的实例编号生成可见物体编号列表；根据同种类雷达点云和可见物体编号列表，生成匹配列表，其中，匹配列表包括多个索引和多个内容，多个内容和多个索引分别一一对应，至少一个索引包括可见物体编号列表中的实例编号，多个内容包括同种类雷达点云中的点；获取相机信息，相机信息包括输出待标注图的虚拟相机的内参、外参和该虚拟相机在三维空间中的位置信息；以及根据匹配列表和相机信息，标注出被探测物体在虚拟相机的相机平面上的二维边界框。在虚拟相机的相机平面上的二维边界框。在虚拟相机的相机平面上的二维边界框。


技术研发人员：钟娟 张峻川 方涛 许雪娟 童立平 余恒
受保护的技术使用者：合肥复睿微电子有限公司
技术研发日：2023.03.31
技术公布日：2023/7/12