三维目标检测框标注方法、装置、电子设备和存储介质与流程

1.本公开涉及计算机视觉领域，尤其涉及一种三维目标检测框标注方法、装置、电子设备和存储介质。


背景技术：

2.在自动驾驶领域中三维(3d)目标识别是十分重要的一个任务，通常的，3d目标检测任务中的3d目标检测框标注需要很多的先决条件，包括精密的测量设备以及比较繁琐的人工标注，才可以得到比较好的标注结果。
3.然而，上述使用精密的测量设备时，需要对外参进行标定，且时间同步要求高，若通过二维(2d)目标检测的纯视觉标注方法使用深度神经网络进行标注，存在算法鲁棒性不强的问题，若重建周围环境并进行实例分割，存在算力要求过高以及处理效率较低的问题。


技术实现要素：

4.为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种三维目标检测框标注方法、装置、电子设备和存储介质，在二维目标检测框的基础上结合检测数据，提高三维目标检测框的标注准确性以及速度，减少人工标注的工作量。
5.第一方面，本公开实施例提供了一种三维目标检测框标注方法，该方法包括：
6.根据待检测图像，确定各二维目标检测框、与各二维目标检测框相对应的类别以及置信度，并根据所述待检测图像以及与所述待检测图像对应的检测数据，确定相机位姿以及重建环境信息；其中，所述检测数据包括惯性测量数据、轮速计数据以及全球定位数据中的至少一种；
7.针对每个二维目标检测框，根据相机内参矩阵、相机旋转矩阵以及各预设采样航向角角度，确定与各预设采样航向角角度对应的消失点集合；
8.针对每个消失点集合，根据所述消失点集合、所述二维目标检测框以及预设的各上边缘框采样点，确定与各上边缘检测框采样点相对应的角点集合；
9.针对每个角点集合，根据所述角点集合、所述相机内参矩阵、所述相机位姿以及所述重建环境信息中的三维地面，确定与所述角点集合对应的三维待处理检测框以及所述三维待处理检测框的尺寸信息和位姿信息；
10.针对每个二维目标检测框，根据所述二维目标检测框、所述待检测图像的后一帧图像中的各后帧二维检测框、与所述二维目标检测框对应的各三维待处理检测框以及与各后帧二维检测框对应的各后帧三维检测框，从各三维待处理检测框中确定出三维目标检测框，并根据所述二维目标检测框对应的类别以及置信度，按照所述三维目标检测框的尺寸信息和位姿信息将所述三维目标检测框标注在所述待检测图像中。
11.第二方面，本公开实施例还提供了一种三维目标检测框标注装置，该装置包括：
12.二维目标检测框构建模块，用于根据待检测图像，确定各二维目标检测框、与各二维目标检测框相对应的类别以及置信度，并根据所述待检测图像以及与所述待检测图像对
应的检测数据，确定相机位姿以及重建环境信息；其中，所述检测数据包括惯性测量数据、轮速计数据以及全球定位数据中的至少一种；
13.消失点集合确定模块，用于针对每个二维目标检测框，根据相机内参矩阵、相机旋转矩阵以及各预设采样航向角角度，确定与各预设采样航向角角度对应的消失点集合；
14.角点集合确定模块，用于针对每个消失点集合，根据所述消失点集合、所述二维目标检测框以及预设的各上边缘框采样点，确定与各上边缘检测框采样点相对应的角点集合；
15.三维待处理检测框确定模块，用于针对每个角点集合，根据所述角点集合、所述相机内参矩阵、所述相机位姿以及所述重建环境信息中的三维地面，确定与所述角点集合对应的三维待处理检测框以及所述三维待处理检测框的尺寸信息和位姿信息；
16.三维目标检测框标注模块，用于针对每个二维目标检测框，根据所述二维目标检测框、所述待检测图像的后一帧图像中的各后帧二维检测框、与所述二维目标检测框对应的各三维待处理检测框以及与各后帧二维检测框对应的各后帧三维检测框，从各三维待处理检测框中确定出三维目标检测框，并根据所述二维目标检测框对应的类别以及置信度，按照所述三维目标检测框的尺寸信息和位姿信息将所述三维目标检测框标注在所述待检测图像中。
17.第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的三维目标检测框标注方法。
18.第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的三维目标检测框标注方法。
19.本公开实施例提供的一种三维目标检测框标注方法，通过待检测图像，确定各二维目标检测框、其类别以及置信度，并根据待检测图像以及检测数据，确定相机位姿以及重建环境信息，避免使用激光雷达和毫米波雷达数据，针对每个二维目标检测框，根据相机内参矩阵、相机旋转矩阵以及各预设采样航向角角度，确定与各预设采样航向角角度对应的消失点集合，进而，针对每个消失点集合，根据消失点集合、二维目标检测框以及预设的各上边缘框采样点，确定多个角点集合，针对每个角点集合，根据角点集合、相机内参矩阵、相机位姿以及重建环境信息中的三维地面，确定多个三维待处理检测框以及三维待处理检测框的尺寸信息和位姿信息，进一步的，针对每个二维目标检测框，根据二维目标检测框、各后帧二维检测框、各三维待处理检测框以及各后帧三维检测框，从各三维待处理检测框中确定出三维目标检测框，并在待检测图像中标注三维目标检测框，实现了在二维目标检测框的基础上结合检测数据，提高三维目标检测框的标注准确性以及速度，降低了算力要求，减少人工标注的工作量。
附图说明
20.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
21.图1为本公开实施例中的一种三维目标检测框标注方法的流程图；
22.图2为本公开实施例中的一种确定角点集合的示意图；
23.图3为本公开实施例中的一种计算顶部角点的三维坐标的示意图；
24.图4为本公开实施例中的一种多对三维待处理检测框匹配对的示意图的；
25.图5为本公开实施例中的一种三维目标检测框标注装置的结构示意图；
26.图6为本公开实施例中的一种电子设备的结构示意图。
具体实施方式
27.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
28.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
29.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
30.图1为本公开实施例中的一种三维目标检测框标注方法的流程图。该方法可以由三维目标检测框标注装置执行，该装置可以采用软件和/或硬件的方式实现，该装置可配置于电子设备中。如图1所示，该方法具体可以包括如下步骤：
31.s110、根据待检测图像，确定各二维目标检测框、与各二维目标检测框相对应的类别以及置信度，并根据待检测图像以及与待检测图像对应的检测数据，确定相机位姿以及重建环境信息。
32.其中，待检测图像是待进行三维目标框标注的图像。二维目标检测框是对待检测图像进行二维目标识别后得到的二维检测框。类别是对待检测图像进行二维目标识别后的二维检测框对应的物体类别，例如车辆、行人等。置信度是对待检测图像进行二维目标识别时的可靠程度。检测数据包括惯性测量数据、轮速计数据以及全球定位数据中的至少一种。惯性测量数据是惯性测量单元(inertial measurement unit，imu)测量得到的数据。轮速计数据是轮速传感器采集的数据。全球定位数据是全球定位系统(global positioning system，gps)测量得到的数据。相机位姿是相机的位置和姿态。重建环境信息是待检测图像的周围环境信息，例如：地面信息等。相机位姿以及重建环境信息可以通过slam(simultaneous localization and mapping，即时定位与地图构建)获得。
33.具体的，对待检测图像进行二维目标识别，例如使用faster-rcnn(faster region-convolutional neural network，更快的基于区域的卷积神经网络)、yolo(you only look once，目标检测的网络)、ssd(single shot multibox detector，单步多框目标检测)、centernet(中心点网络)等算法进行二维目标识别，可以识别出各二维目标检测框、类别以及置信度。进而，根据待检测图像以及待检测图像对应的检测数据，通过slam建图可以恢复相机位姿以及重建环境信息，可以使用orb-slam3(解决纯视觉或者视觉惯导的完整的混合地图的slam系统)、vins(visual inertial navigation system，视觉惯性导航系统)、dm-vio(delayed marginalization visual-inertial odometry，延迟边缘化视觉惯性里程计)等特征点法或直接法slam算法对相机位姿进行求解、对周围环境进行稀疏、半稠
密或稠密重建得到重建环境信息。
34.s120、针对每个二维目标检测框，根据相机内参矩阵、相机旋转矩阵以及各预设采样航向角角度，确定与各预设采样航向角角度对应的消失点集合。
35.其中，相机内参矩阵用于反应相机自身的属性。相机旋转矩阵用于反应相机在三维空间中的旋转方向。预设采样航向角角度是预先设定的待进行后续消失点集合计算的航向角角度，例如在正负y
°
区间内每间隔y
°
取一个预设采样航向角角度，一共可以得到个预设采样航向角角度。消失点是指图像中平行线在远处消失的点。消失点集合是二维目标检测框对应的三个消失点所构成的集合。
36.具体的，对于每个二维目标检测框，根据相机内参矩阵、相机旋转矩阵以及各预设采样航向角角度，可以分别确定出该二维目标检测框与各预设采样航向角角度对应的三个消失点，即一个消失点集合。
37.在上述示例的基础上，可以通过下述方式来根据相机内参矩阵、相机旋转矩阵以及各预设采样航向角角度，确定与各预设采样航向角角度对应的消失点集合：
38.针对每个预设采样航向角，通过下述公式确定与预设采样航向角角度对应的消失点集合：
[0039][0040][0041][0042]
其中，k为相机内参矩阵，r为相机旋转矩阵，yaw为预设采样航向角角度，vp
x
、vpy、vpz为消失点集合中的各消失点。通过上式可以计算得到当前的预设采样航向角角度下的3个消失点。
[0043]
若第一步求得的消失点集合中任一消失点的三个维度中存在0，说明此时结果不可用，因此，使用不为零的预设翻滚角和预设俯仰角，重新计算该组消失点，具体可以是：
[0044]
若消失点集合中至少一个消失点的三个维度中存在0，则通过下述公式确定与预设采样航向角角度对应的消失点集合：
[0045][0046]
[0047][0048]
其中，roll为预设翻滚角，pitch为预设俯仰角。
[0049]
s130、针对每个消失点集合，根据消失点集合、二维目标检测框以及预设的各上边缘框采样点，确定与各上边缘检测框采样点相对应的角点集合。
[0050]
其中，上边缘框采样点是在二维目标检测框的上边缘上按照预设间隔进行采样得到的各个采样点。角点集合是后续三维待处理检测框对应的八个角点的集合，用于构建三维待处理检测框。
[0051]
可以理解的是，针对每个消失点集合，可以得到与预设的上边缘框采样点的数量相同的角点集合。
[0052]
示例性的，如图2所示的确定角点集合的示意图，首先，二维目标检测框为abcd，由一组3个消失点(vp
x
、vpy、vpz)和1个上边缘框采样点(p1)，通过计算可以得到然后，通过计算可以得到最后，再通过计算得到以及以及其中，表示两个点构成的直线，
×
表示求两个直线的交点。由此可知，针对消失点集合(vp
x
、vpy、vpz)，与上边缘检测框采样点(p1)相对应的角点集合(p1、p2、p3、p4、p5、p6、p7以及p8)。
[0053]
s140、针对每个角点集合，根据角点集合、相机内参矩阵、相机位姿以及重建环境信息中的三维地面，确定与角点集合对应的三维待处理检测框以及三维待处理检测框的尺寸信息和位姿信息。
[0054]
其中，三维待处理检测框是对角点集合进行三维恢复，得到的三维检测框。尺寸信息包括长、宽和高。位姿信息包括六个自由度姿态。
[0055]
具体的，针对每个角点集合，可以将角点集合中位于底部的四个角点投影至重建环境信息中的三维地面上，然后通过相机位姿中的相机高度等获得在空间的位置，利用两直线交点，可以计算得到位于顶部的四个角点在空间的位置，如图3所示，进而，可以根据各角点在空间的位置确定三维待处理检测框，主要包括三维待处理检测框的位姿(位置和朝向)，还包括长高宽信息，即位姿信息和尺寸信息。
[0056]
在上述示例的基础上，可以通过下述方式来确定与角点集合对应的三维待处理检测框以及三维待处理检测框的尺寸信息和位姿信息：
[0057]
针对每个角点集合，通过下述公式确定角点集合中各底部角点的三维坐标：
[0058][0059][0060]
其中，为第i个底部角点的三维坐标，k-1
pi为三维空间中第i个底部角点
对应的反向投影射线，k为相机内参矩阵，[n,m]表示重建环境信息中的三维地面，n是三维地面在相机坐标系下的法向量，m为相机中心到三维地面的距离；
[0061]
根据相机位姿以及各底部角点的三维坐标，确定角点集合中各顶部角点的三维坐标；
[0062]
根据角点集合中各顶部角点的三维坐标以及各底部角点的三维坐标，确定与角点集合对应的三维待处理检测框以及三维待处理检测框的尺寸信息和位姿信息。
[0063]
其中，底部角点为角点集合中位于底部的四个角点。顶部角点为角点集合中位于顶部的四个角点。
[0064]
具体的，通过公式可以计算得到角点集合中各底部角点的三维坐标，进一步的，根据相机位姿中的相机光心位置以及相机高度结合三维地面可以通过相似三角形的方式，确定与各底部角点相对应的各顶部角点的三维坐标。进而，根据各顶部角点的三维坐标以及各底部角点的三维坐标可以构建三维待处理检测框，并可以计算出该三维待处理检测框的尺寸信息和位姿信息。
[0065]
在上述示例的基础上，在确定与角点集合对应的三维待处理检测框以及与三维待处理检测框的尺寸信息和位姿信息之后，还可以根据各三维待处理检测框的误差情况对其进行初步筛选，具体可以是：
[0066]
针对每个三维待处理检测框，对三维待处理检测框的各边缘进行采样，确定各边缘采样点；
[0067]
根据各边缘采样点以及与三维待处理检测框对应的二维目标检测框，确定距离误差；
[0068]
根据三维待处理检测框的当前长宽比、当前高宽比、预设最大长宽比、预设最小长宽比，预设最大高宽比以及预设最小高宽比，确定形状误差；
[0069]
根据距离误差以及形状误差，确定三维待处理检测框的总误差；
[0070]
针对每个二维目标检测框，根据与二维目标检测框对应的各三维待处理检测框的总误差对各三维待处理检测框进行筛选，更新与二维目标检测框对应的各三维待处理检测框。
[0071]
其中，边缘采样点是在三维待处理检测框的各边缘上进行采样得到的多个采样点。距离误差为各边缘采样点与二维目标检测框中使用边缘提取算法提取的边缘之间的最近距离的平均值。当前长宽比是三维待处理检测框的尺寸信息中的长与宽的比，当前高宽比是三维待处理检测框的尺寸信息中的高与宽的比。预设最大长宽比、预设最小长宽比，预设最大高宽比以及预设最小高宽比是预先根据真实物体的长宽高比例而设定的阈值。形状误差是用于表现三维待处理检测框的形状是否接近真实物体的数值。总误差是对距离误差以及形状误差的整合，例如求和、加权求和等。
[0072]
具体的，针对每个三维待处理检测框，可以对三维待处理检测框的各边缘逐一进行采样，得到每个边缘上的多个边缘采样点。进而，对二维目标检测框使用canny边缘算法提取的边缘像素点并与各边缘采样点进行chamfer距离计算得到距离误差，具体可以通过下述公式来确定距离误差：
[0073]
[0074]
其中，i为二维目标检测框中canny边缘算法提取的边缘像素点的集合，t为三维待处理检测框的每个边缘采样得到的边缘采样点集合，d(t，i)为三维待处理检测框上每个边缘采样点到二维目标检测框中canny边缘算法提取的边缘像素点中最近像素的距离，e
dist
为距离误差，用于表现三维待处理检测框的边缘是否与真实物体的边缘相贴合。
[0075]
进而，可以通过下述公式确定形状误差：
[0076]eshape
＝max(s
l-σ
lm
，0)+max(σ
ls-s
l
，0)+max(s
h-σ
hm
，0)+max(σ
hs-sh，0)
[0077]
其中，s
l
、sh分别为三维待处理检测框的当前长宽比、当前高宽比，σ
ls
、σ
lm
为预设最大长宽比、预设最小长宽比，σ
hs
、σ
hm
为预设最大高宽比、预设最小高宽比，e
shape
为形状误差。
[0078]
进而，可以通过下述公式来根据距离误差以及形状误差，确定三维待处理检测框的总误差：
[0079]etotal
＝w
distedist
+w
shapeeshape
[0080]
其中，e
total
为总误差，e
dist
和e
shape
分别为距离误差和形状误差，w
dist
和w
shape
分别为距离误差对应的权重系数和形状误差对应的权重系数，可以预先根据需求确定。
[0081]
最后，对每个二维目标检测框对应的多个三维待处理检测框根据总误差进行筛选，例如：选择总误差较低的前n个三维待处理检测框来更新与该二维目标检测框对应的各三维待处理检测框。
[0082]
s150、针对每个二维目标检测框，根据二维目标检测框、待检测图像的后一帧图像中的各后帧二维检测框、与二维目标检测框对应的各三维待处理检测框以及与各后帧二维检测框对应的各后帧三维检测框，从各三维待处理检测框中确定出三维目标检测框，并根据二维目标检测框对应的类别以及置信度，按照三维目标检测框的尺寸信息和位姿信息将三维目标检测框标注在待检测图像中。
[0083]
其中，后帧二维检测框是待检测图像的后一帧图像中进行二维目标识别得到的二维检测框。后帧三维检测框是对后帧二维检测框进行三维重建后得到的三维检测框，其重建过程与三维待处理检测框类似，在此不做赘述。三维目标检测框是从各三维待处理检测框中确定出的后续用于标注在待检测图像中的三维检测框。
[0084]
具体的，针对每个二维目标检测框，从待检测图像的后一帧图像中的各后帧二维检测框，可以确定出与该二维目标检测框相匹配的后帧二维检测框。进而，对与二维目标检测框对应的各三维待处理检测框以及与该二维目标检测框相匹配的后帧二维检测框对应的各后帧三维检测框，进行三维检测框的匹配，可以得到多个匹配成功的三维检测框匹配对。进而，对这些匹配成功的三维检测框匹配对进行分析，确定其中匹配最好的一对中的三维待处理检测框为三维目标检测框。按照三维目标检测框的尺寸信息和位姿信息将三维目标检测框标注在待检测图像中，以完成三维标注处理。
[0085]
在上述示例的基础上，可以通过下述各步骤来从各三维待处理检测框中确定出三维目标检测框：
[0086]
步骤一、对二维目标检测框进行特征点提取，得到第一特征点集合，对各后帧二维检测框进行特征点提取，得到各第二特征点集合，并根据第一特征点集合、各第二特征点集合以及二维目标检测框和各后帧二维检测框之间的交并比，确定与二维目标检测框对应的匹配二维检测框。
[0087]
其中，第一特征点集合为对二维目标检测框进行特征点提取得到的各特征点的集
合。第二特征点集合为对后帧二维检测框进行特征点提取得到的各特征点的集合。二维目标检测框和各后帧二维检测框之间的交并比为二维目标检测框和各后帧二维检测框之间的面积交集与面积并集的比值。匹配二维检测框为各后帧二维检测框中与二维目标检测框相匹配的一个。
[0088]
具体的，对二维目标检测框进行特征点提取，得到第一特征点集合，对各后帧二维检测框进行特征点提取，得到各第二特征点集合，使用特征点描述子和光流追踪进行匹配，结合二维目标检测框和各后帧二维检测框之间的交并比，进行二维目标检测框和各后帧二维检测框之间的匹配，得到与二维目标检测框对应的匹配二维检测框。
[0089]
步骤二、根据与二维目标检测框对应的各三维待处理检测框的第一待匹配航向角、第一长度、第一宽度以及第一高度、与匹配二维检测框对应的各后帧三维检测框第二待匹配航向角、第二长度、第二宽度以及第二高度、匹配航向角阈值、匹配长度阈值、匹配宽度阈值以及匹配高度阈值，确定三维待处理检测框匹配对。
[0090]
其中，第一待匹配航向角是三维待处理检测框的航向角。第一长度、第一宽度以及第一高度是三维待处理检测框的长度、宽度和高度。第二待匹配航向角是后帧三维检测框的航向角。第二长度、第二宽度以及第二高度是后帧三维检测框的长度、宽度和高度。匹配航向角阈值、匹配长度阈值、匹配宽度阈值以及匹配高度阈值是预先根据需求确定的匹配阈值。三维待处理检测框匹配对包括第一三维匹配框以及第二三维匹配框；第一三维匹配框为待检测图像中的一个三维待处理检测框，第二三维匹配框为后一帧图像中的一个与第一三维匹配框相匹配的三维检测框。
[0091]
具体的，通过下述两个公式进行三维待处理检测框与各后帧三维检测框的匹配：
[0092][0093][0094]
其中，为第j个二维目标检测框对应的一个三维待处理检测框在第i帧(待检测图像)中的航向角，为第j个二维目标检测框对应的匹配二维检测框对应的一个后帧三维检测框在第i+1帧(后一帧图像)中的航向角，可以由三维待处理检测框的6自由度位姿计算得到，为第j个二维目标检测框对应的一个三维待处理检测框在第i帧中的长度、宽度和高度，分别为第j个二维目标检测框对应的匹配二维检测框对应的一个后帧三维检测框在第i+1帧中的长度、宽度和高度，δyaw为匹配航向角阈值，为匹配长
度阈值、匹配宽度阈值以及匹配高度阈值。
[0095]
若满足以上两个公式，则认为匹配成功，可以得到多对三维待处理检测框匹配对。
[0096]
示例性的，如图4所示的多对三维待处理检测框匹配对的示意图，可以看出，两个空心的大框分别表示第i帧和第i+1帧中的互相匹配的二维目标检测框以及匹配二维检测框，二维目标检测框中实心的小框表示与二维目标检测框对应的各三维待处理检测框，匹配二维检测框中实心的小框表示与匹配二维检测框对应的各后帧三维检测框。连线表示匹配成功的三维待处理检测框匹配对，如图所示，有6个三维待处理检测框匹配对。
[0097]
步骤三、根据第一特征点集合中各第一特征点的像素位置、第二特征点集合中各第二特征点的像素位置、各第一特征点的深度信息、各第二特征点的深度信息、待检测图像的相机位姿以及后一帧图像的相机位姿，确定各第一特征点的特征点空间位置以及各第二特征点的特征点空间位置。
[0098]
其中，像素位置为特征点在二维空间中的位置。深度信息为指向二维空间方向上的度量信息。特征点空间位置为特征点在三维空间中的位置。
[0099]
具体的，可以通过下述公式对二维目标检测框以及匹配二维检测框中的各特征点进行三维位置恢复：
[0100][0101]
其中，为第l个特征点在第i帧的像素坐标，即第一特征点集合中第l个第一特征点的像素位置，分别为第l个特征点在第i+1帧的像素坐标，即第二特征点集合中第l个第二特征点的像素位置，为第l个特征点在第i帧的深度信息，即第一特征点集合中第l个第一特征点的深度信息，为第l个特征点在第i+1帧的深度信息，即第二特征点集合中第l个第二特征点的深度信息，为第i帧的相机位姿(待检测图像的相机位姿)，为第i+1帧的相机位姿(后一帧图像的相机位姿)，l为匹配的特征点的总数，为第l个特征点在第i帧的特征点空间位置，即第一特征点集合中第l个第一特征点的特征点空间位置，相应的，为第l个特征点在第i+1帧的特征点空间位置，即第二特征点集合中第l个第二特征点的特征点空间位置，e
p
为求解目标，以e
p
最小为目标可以求解得到以及
[0102]
进而，可以得到各第一特征点的特征点空间位置以及各第二特征点的特征点空间位置。
[0103]
步骤四、针对每对三维待处理检测框匹配对，根据三维待处理检测框匹配对中的第一三维匹配框的中心位置、各第一特征点的特征点空间位置以及预设距离阈值，从各第一特征点中确定出第一待使用特征点，并根据各第一待使用特征点从各第二特征点中确定出各第二待使用特征点。
[0104]
其中，中心位置为三维匹配框的几何中心的三维位置。预设距离阈值为预先设置
的用于筛选具有运动一致性的特征点的阈值。第一待使用特征点为满足运动一致性的第一特征点，第二待使用特征点为满足运动一致性的第二特征点。
[0105]
具体的，针对每对三维待处理检测框匹配对，利用三维待处理检测框匹配对中的第一三维匹配框的中心位置与各第一特征点的特征点空间位置的距离是否超过预设距离阈值进行判断，如果小于，则认为该第一特征点与第一三维匹配框是关联的，确定为第一待使用特征点，否则认为是背景点。进而，从各第二特征点中确定出与各第一待使用特征点相对应的特征点为各第二待使用特征点。
[0106]
示例性的，通过下述公式判断三维待处理检测框匹配对中的第一三维匹配框的中心位置与各第一特征点的特征点空间位置的距离是否超过预设距离阈值：
[0107][0108]
其中，s为预设距离阈值，为第j个二维目标检测框在第i帧中的一个第一三维匹配框的中心位置(三维待处理检测框匹配对中的第一三维匹配框的中心位置)，为与第j个二维目标检测框中提取的第l个第一特征点在第i帧时的特征点空间位置(第一特征点集合中第l个第一特征点的特征点空间位置)。
[0109]
步骤五、根据第一待使用特征点的数量、第二待使用特征点的数量、各第一待使用特征点的空间位置、各第二待使用特征点的空间位置、第一三维匹配框的中心位置以及第二三维匹配框的中心位置，确定匹配值。
[0110]
其中，匹配值是用于衡量每对三维待处理检测框匹配对的匹配效果的数值。
[0111]
具体的，根据第一待使用特征点的数量以及第二待使用特征点的数量，结合第一待使用特征点和第一三维匹配框与第二待使用特征点和第二三维匹配框的运动一致性，即前后两帧之间的运动一致性，可以联合计算得到该对三维待处理检测框匹配对的匹配值。
[0112]
示例性的，通过下述公式确定匹配值：
[0113][0114]
其中，s
jm
为第j个二维目标检测框在第i帧的第一三维匹配框中的第一待使用特征点数量与第i+1帧的第二三维匹配框中的第二待使用特征点数量之和，
[0115]
为第j个二维目标检测框匹配的第一三维匹配框在第i帧的中心位置和第二三维匹配框在第i+1帧的中心位置，为与第j个二维目标检测框匹配的第一三维匹配框的第l个第一待使用特征点在第i帧的空间位置、第二三维匹配框的第l个第二待使用特征点在第i+1帧的空间位置，l为匹配的特征点的总数，w
jm
和w
dir
分别为特征点数量对应的权重和运动一致性对应的权重，可以预先根据实际需求设定。
[0116]
步骤六、根据各三维待处理检测框匹配对的匹配值，将匹配值最高的三维待处理检测框匹配对确定为目标匹配对，并将目标匹配对中的第一三维匹配框作为三维目标检测框。
[0117]
其中，目标匹配对为各三维待处理检测框匹配对中匹配值最高的一对。
[0118]
具体的，将与同一二维目标检测框对应的各三维待处理检测框匹配对的匹配值进行比较，从中确定出匹配值最高的三维待处理检测框匹配对确定为该二维目标检测框对应的目标匹配对，并将目标匹配对中的第一三维匹配框作为该二维目标检测框对应的三维目标检测框，以完成三维目标检测框的构建。
[0119]
在上述示例的基础上，在从各三维待处理检测框中确定出三维目标检测框之后，在根据二维目标检测框对应的类别以及置信度，按照三维目标检测框的尺寸信息和位姿信息将三维目标检测框标注在待检测图像中之前，还可以对三维目标检测框进行进一步的优化和约束，具体可以通过下述各步骤实现：
[0120]
步骤一、针对每一帧图像中的各三维目标检测框，将三维目标检测框重投影至后一帧图像中，得到二维投影检测框，根据三维目标检测框的位姿、与三维目标检测框对应的后帧三维检测框的位姿以及二维投影检测框与后帧二维检测框的中心距离，构建三维目标检测框的第一约束条件。
[0121]
其中，二维投影检测框是三维目标检测框重投影至后一帧图像中的二维框。后帧三维检测框为目标匹配对中与三维目标检测框具有对应关系的第二三维检测框；后帧二维检测框为后一帧图像中的与后帧三维检测框对应同一目标的二维检测框。
[0122]
具体的，第一约束条件如下所示：
[0123][0124]
其中，ti为第j个三维目标检测框在第i帧的位姿，t
i+1
为第j个后帧三维检测框在第i+1帧的位姿，为第i帧的三维目标检测框在第i+1帧投影得到二维投影检测框与第i+1帧匹配检测得到的后帧二维检测框的中心距离，为构成该误差的残差项，i为相机帧数量。cr为第一约束目标，以cr最小为目标，优化得到ti。
[0125]
该第一约束条件在二维目标检测框出现重叠或处于图像边缘时不使用，避免使用
变形的二维目标检测框参与优化。
[0126]
步骤二、根据各帧图像中与同一目标相对应的各三维目标检测框的尺寸信息，构建三维目标检测框的第二约束条件。
[0127]
具体的，将各帧图像中与同一目标相对应的各三维目标检测框的长、宽、高差别构建残差，从而对三维目标检测框大小进行优化。
[0128]
第二约束条件如下所示：
[0129][0130]
式中，为第j个三维目标检测框的长、高和宽，为第j个三维目标检测框在第i帧中的长、宽和高，i为相机帧数量，j为三维目标检测框的匹配数量。c
dd
为第二约束目标，以c
dd
最小为目标，优化得到
[0131]
步骤三、针对每一帧图像中的各三维目标检测框，根据三维目标检测框的位置、后帧三维检测框的位置、三维目标检测框关联的各第一待使用特征点的空间位置以及后帧三维检测框中的各第二待使用特征点的空间位置，构建三维目标检测框的第三约束条件。
[0132]
具体的，将第一待使用特征点和第二待使用特征点与三维目标检测框在前后帧运动一致性进行残差构建，从而对三维目标检测框位置进行优化，第三约束条件如下所示：
[0133][0134]
其中，为第j个三维目标检测框的位置，即几何中心位置，为第j个三维目标检测框对应的后帧三维检测框的位置，即第i+1帧中中的与三维目标检测框对应的三维检测框的几何中心位置，为第j个三维目标检测框对应的第l个第一待使用特征点的特征点空间位置，为为第j个三维目标检测框对应的第l个第二待使用特征点(第二待使用特征点在第i+1帧中)的特征点空间位置，i为相机帧数量，l为三维目标检测框中匹配的特征点数量，即第一待使用特征点的数量。c
pd
为第三约束目标，以c
pd
最小为目标，优化得到
[0135]
步骤四、根据第一约束条件、第二约束条件以及第三约束条件，对每一帧图像中的各三维目标检测框进行优化，并根据优化后的各三维目标检测框更新各三维目标检测框，根据优化后的三维目标检测框的尺寸信息和位姿信息更新各三维目标检测框的尺寸信息和位姿信息。
[0136]
具体的，通过结合以上约束条件，即第一约束条件、第二约束条件以及第三约束条
件，并配置不同的权重系数，可以得到优化后的各三维目标检测框，以即尺寸信息和位姿信息。进而，将优化后的各三维目标检测框替代原有的各三维目标检测框，将优化后的各三维目标检测框的尺寸信息和位姿信息替代原有的各三维目标检测框的尺寸信息和位姿信息。
[0137]
在上述示例的基础上，可以通过下述方式来对三维目标检测框进行标注：
[0138]
若二维目标检测框对应的类别与二维目标检测框对应的匹配二维检测框对应的类别不同，则根据二维目标检测框对应的置信度与匹配二维检测框对应的置信度，确定置信度最大值，并将与置信度最大值对应的类别确定为三维目标检测框的类别；
[0139]
按照三维目标检测框的尺寸信息和位姿信息将三维目标检测框以及三维目标检测框的类别标注在待检测图像中。
[0140]
具体的，如果二维目标检测框与后帧图像中与该二维目标检测框相匹配的匹配二维检测框所识别出的类别不同，那么使用二者的置信度进行比较，将置信度最大值对应的类别作为该二维目标检测框对应的物体的类别。将三维目标检测框经过逆投影变换，便可以获得待检测图像上对应的三维目标检测框位姿信息和尺寸信息，并标注其类别，从而完成三维目标检测框的自动标注工作。
[0141]
本实施例提供的三维目标检测框标注方法，通过待检测图像，确定各二维目标检测框、其类别以及置信度，并根据待检测图像以及检测数据，确定相机位姿以及重建环境信息，避免使用激光雷达和毫米波雷达数据，针对每个二维目标检测框，根据相机内参矩阵、相机旋转矩阵以及各预设采样航向角角度，确定与各预设采样航向角角度对应的消失点集合，进而，针对每个消失点集合，根据消失点集合、二维目标检测框以及预设的各上边缘框采样点，确定多个角点集合，针对每个角点集合，根据角点集合、相机内参矩阵、相机位姿以及重建环境信息中的三维地面，确定多个三维待处理检测框以及三维待处理检测框的尺寸信息和位姿信息，进一步的，针对每个二维目标检测框，根据二维目标检测框、各后帧二维检测框、各三维待处理检测框以及各后帧三维检测框，从各三维待处理检测框中确定出三维目标检测框，并在待检测图像中标注三维目标检测框，实现了在二维目标检测框的基础上结合检测数据，提高三维目标检测框的标注准确性以及速度，减少人工标注的工作量。
[0142]
图5为本公开实施例中的一种三维目标检测框标注装置的结构示意图。如图5所示：该装置包括：二维目标检测框构建模块510、消失点集合确定模块520、角点集合确定模块530、三维待处理检测框确定模块540以及三维目标检测框标注模块550。
[0143]
其中，二维目标检测框构建模块510，用于根据待检测图像，确定各二维目标检测框、与各二维目标检测框相对应的类别以及置信度，并根据所述待检测图像以及与所述待检测图像对应的检测数据，确定相机位姿以及重建环境信息；其中，所述检测数据包括惯性测量数据、轮速计数据以及全球定位数据中的至少一种；消失点集合确定模块520，用于针对每个二维目标检测框，根据相机内参矩阵、相机旋转矩阵以及各预设采样航向角角度，确定与各预设采样航向角角度对应的消失点集合；角点集合确定模块530，用于针对每个消失点集合，根据所述消失点集合、所述二维目标检测框以及预设的各上边缘框采样点，确定与各上边缘检测框采样点相对应的角点集合；三维待处理检测框确定模块540，用于针对每个角点集合，根据所述角点集合、所述相机内参矩阵、所述相机位姿以及所述重建环境信息中的三维地面，确定与所述角点集合对应的三维待处理检测框以及所述三维待处理检测框的尺寸信息和位姿信息；三维目标检测框标注模块550，用于针对每个二维目标检测框，根据
所述二维目标检测框、所述待检测图像的后一帧图像中的各后帧二维检测框、与所述二维目标检测框对应的各三维待处理检测框以及与各后帧二维检测框对应的各后帧三维检测框，从各三维待处理检测框中确定出三维目标检测框，并根据所述二维目标检测框对应的类别以及置信度，按照所述三维目标检测框的尺寸信息和位姿信息将所述三维目标检测框标注在所述待检测图像中。
[0144]
在上述示例的基础上，可选的，在所述确定与所述角点集合对应的三维待处理检测框以及所述三维待处理检测框的尺寸信息和位姿信息之后，还包括：初步筛选模块，用于针对每个三维待处理检测框，对所述三维待处理检测框的各边缘进行采样，确定各边缘采样点；根据各边缘采样点以及与所述三维待处理检测框对应的二维目标检测框，确定距离误差；根据所述三维待处理检测框的当前长宽比、当前高宽比、预设最大长宽比、预设最小长宽比，预设最大高宽比以及预设最小高宽比，确定形状误差；根据所述距离误差以及所述形状误差，确定所述三维待处理检测框的总误差；针对每个二维目标检测框，根据与所述二维目标检测框对应的各三维待处理检测框的总误差对各三维待处理检测框进行筛选，更新与所述二维目标检测框对应的各三维待处理检测框。
[0145]
在上述示例的基础上，可选的，消失点集合确定模块520，还用于针对每个预设采样航向角，通过下述公式确定与所述预设采样航向角角度对应的消失点集合：
[0146][0147][0148][0149]
其中，k为相机内参矩阵，r为相机旋转矩阵，yaw为预设采样航向角角度，vp
x
、vpy、vpz为消失点集合中的各消失点；
[0150]
若消失点集合中至少一个消失点的三个维度中存在0，则通过下述公式确定与所述预设采样航向角角度对应的消失点集合：
[0151][0152][0153][0154]
其中，roll为预设翻滚角，pitch为预设俯仰角。
[0155]
在上述示例的基础上，可选的，三维待处理检测框确定模块540，还用于针对每个
角点集合，通过下述公式确定所述角点集合中各底部角点的三维坐标：
[0156][0157][0158]
其中，为第i个底部角点的三维坐标，k-1
pi为三维空间中第i个底部角点对应的反向投影射线，k为相机内参矩阵，[n,m]表示所述重建环境信息中的三维地面，n是所述三维地面在相机坐标系下的法向量，m为相机中心到所述三维地面的距离；
[0159]
根据所述相机位姿以及各底部角点的三维坐标，确定所述角点集合中各顶部角点的三维坐标；根据所述角点集合中各顶部角点的三维坐标以及各底部角点的三维坐标，确定与所述角点集合对应的三维待处理检测框以及所述三维待处理检测框的尺寸信息和位姿信息。
[0160]
在上述示例的基础上，可选的，所三维目标检测框标注模块550，还用于对所述二维目标检测框进行特征点提取，得到第一特征点集合，对各后帧二维检测框进行特征点提取，得到各第二特征点集合，并根据所述第一特征点集合、各第二特征点集合以及所述二维目标检测框和各后帧二维检测框之间的交并比，确定与所述二维目标检测框对应的匹配二维检测框；根据与所述二维目标检测框对应的各三维待处理检测框的第一待匹配航向角、第一长度、第一宽度以及第一高度、与所述匹配二维检测框对应的各后帧三维检测框第二待匹配航向角、第二长度、第二宽度以及第二高度、匹配航向角阈值、匹配长度阈值、匹配宽度阈值以及匹配高度阈值，确定三维待处理检测框匹配对；其中，所述三维待处理检测框匹配对包括第一三维匹配框以及第二三维匹配框；所述第一三维匹配框为所述待检测图像中的一个三维待处理检测框，所述第二三维匹配框为所述后一帧图像中的一个与所述第一三维匹配框相匹配的三维检测框；根据所述第一特征点集合中各第一特征点的像素位置、所述第二特征点集合中各第二特征点的像素位置、各第一特征点的深度信息、各第二特征点的深度信息、所述待检测图像的相机位姿以及所述后一帧图像的相机位姿，确定所述各第一特征点的特征点空间位置以及各第二特征点的特征点空间位置；针对每对三维待处理检测框匹配对，根据所述三维待处理检测框匹配对中的第一三维匹配框的中心位置、各第一特征点的特征点空间位置以及预设距离阈值，从各第一特征点中确定出第一待使用特征点，并根据各第一待使用特征点从各第二特征点中确定出各第二待使用特征点；根据所述第一待使用特征点的数量、所述第二待使用特征点的数量、各第一待使用特征点的空间位置、各第二待使用特征点的空间位置、所述第一三维匹配框的中心位置以及所述第二三维匹配框的中心位置，确定匹配值；根据各三维待处理检测框匹配对的匹配值，将匹配值最高的三维待处理检测框匹配对确定为目标匹配对，并将所述目标匹配对中的第一三维匹配框作为三维目标检测框。
[0161]
在上述示例的基础上，可选的，在所述从各三维待处理检测框中确定出三维目标检测框之后，在所述根据所述二维目标检测框对应的类别以及置信度，按照所述三维目标检测框的尺寸信息和位姿信息将所述三维目标检测框标注在所述待检测图像中之前，还包
括：约束优化模块，用于针对每一帧图像中的各三维目标检测框，将所述三维目标检测框重投影至后一帧图像中，得到二维投影检测框，根据所述三维目标检测框的位姿、与所述三维目标检测框对应的后帧三维检测框的位姿以及所述二维投影检测框与后帧二维检测框的中心距离，构建所述三维目标检测框的第一约束条件；其中，所述后帧三维检测框为所述目标匹配对中与所述三维目标检测框具有对应关系的第二三维检测框；所述后帧二维检测框为所述后一帧图像中的与所述后帧三维检测框对应同一目标的二维检测框；根据各帧图像中与同一目标相对应的各三维目标检测框的尺寸信息，构建所述三维目标检测框的第二约束条件；针对每一帧图像中的各三维目标检测框，根据所述三维目标检测框的位置、所述后帧三维检测框的位置、所述三维目标检测框关联的各第一待使用特征点的空间位置以及所述后帧三维检测框中的各第二待使用特征点的空间位置，构建所述三维目标检测框的第三约束条件；根据所述第一约束条件、所述第二约束条件以及所述第三约束条件，对每一帧图像中的各三维目标检测框进行优化，并根据优化后的各三维目标检测框更新各三维目标检测框，根据优化后的三维目标检测框的尺寸信息和位姿信息更新各三维目标检测框的尺寸信息和位姿信息。
[0162]
在上述示例的基础上，可选的，三维目标检测框标注模块550，还用于若所述二维目标检测框对应的类别与所述二维目标检测框对应的匹配二维检测框对应的类别不同，则根据所述二维目标检测框对应的置信度与所述匹配二维检测框对应的置信度，确定置信度最大值，并将与所述置信度最大值对应的类别确定为所述三维目标检测框的类别；按照所述三维目标检测框的尺寸信息和位姿信息将所述三维目标检测框以及所述三维目标检测框的类别标注在所述待检测图像中。
[0163]
本公开实施例提供的三维目标检测框标注装置，可执行本公开方法实施例所提供的三维目标检测框标注方法中的步骤，具备执行步骤和有益效果此处不再赘述。
[0164]
图6为本公开实施例中的一种电子设备的结构示意图。下面具体参考图6，其示出了适于用来实现本公开实施例中的电子设备600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0165]
如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储装置608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理以实现如本公开所述的实施例的方法。在ram 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、rom 602以及ram 603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
[0166]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码，从而实现如上所述的三维目标检测框标注方法。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从rom 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
[0167]
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计
算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
[0168]
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
[0169]
根据待检测图像，确定各二维目标检测框、与各二维目标检测框相对应的类别以及置信度，并根据所述待检测图像以及与所述待检测图像对应的检测数据，确定相机位姿以及重建环境信息；其中，所述检测数据包括惯性测量数据、轮速计数据以及全球定位数据中的至少一种；
[0170]
针对每个二维目标检测框，根据相机内参矩阵、相机旋转矩阵以及各预设采样航向角角度，确定与各预设采样航向角角度对应的消失点集合；
[0171]
针对每个消失点集合，根据所述消失点集合、所述二维目标检测框以及预设的各上边缘框采样点，确定与各上边缘检测框采样点相对应的角点集合；
[0172]
针对每个角点集合，根据所述角点集合、所述相机内参矩阵、所述相机位姿以及所述重建环境信息中的三维地面，确定与所述角点集合对应的三维待处理检测框以及所述三维待处理检测框的尺寸信息和位姿信息；
[0173]
针对每个二维目标检测框，根据所述二维目标检测框、所述待检测图像的后一帧图像中的各后帧二维检测框、与所述二维目标检测框对应的各三维待处理检测框以及与各后帧二维检测框对应的各后帧三维检测框，从各三维待处理检测框中确定出三维目标检测框，并根据所述二维目标检测框对应的类别以及置信度，按照所述三维目标检测框的尺寸信息和位姿信息将所述三维目标检测框标注在所述待检测图像中。
[0174]
可选的，当上述一个或者多个程序被该电子设备执行时，该电子设备还可以执行上述实施例所述的其他步骤。
[0175]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom
或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0176]
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

技术特征：
1.一种三维目标检测框标注方法，其特征在于，所述方法包括：根据待检测图像，确定各二维目标检测框、与各二维目标检测框相对应的类别以及置信度，并根据所述待检测图像以及与所述待检测图像对应的检测数据，确定相机位姿以及重建环境信息；其中，所述检测数据包括惯性测量数据、轮速计数据以及全球定位数据中的至少一种；针对每个二维目标检测框，根据相机内参矩阵、相机旋转矩阵以及各预设采样航向角角度，确定与各预设采样航向角角度对应的消失点集合；针对每个消失点集合，根据所述消失点集合、所述二维目标检测框以及预设的各上边缘框采样点，确定与各上边缘检测框采样点相对应的角点集合；针对每个角点集合，根据所述角点集合、所述相机内参矩阵、所述相机位姿以及所述重建环境信息中的三维地面，确定与所述角点集合对应的三维待处理检测框以及所述三维待处理检测框的尺寸信息和位姿信息；针对每个二维目标检测框，根据所述二维目标检测框、所述待检测图像的后一帧图像中的各后帧二维检测框、与所述二维目标检测框对应的各三维待处理检测框以及与各后帧二维检测框对应的各后帧三维检测框，从各三维待处理检测框中确定出三维目标检测框，并根据所述二维目标检测框对应的类别以及置信度，按照所述三维目标检测框的尺寸信息和位姿信息将所述三维目标检测框标注在所述待检测图像中。2.根据权利要求1所述的方法，其特征在于，在所述确定与所述角点集合对应的三维待处理检测框以及所述三维待处理检测框的尺寸信息和位姿信息之后，还包括：针对每个三维待处理检测框，对所述三维待处理检测框的各边缘进行采样，确定各边缘采样点；根据各边缘采样点以及与所述三维待处理检测框对应的二维目标检测框，确定距离误差；根据所述三维待处理检测框的当前长宽比、当前高宽比、预设最大长宽比、预设最小长宽比，预设最大高宽比以及预设最小高宽比，确定形状误差；根据所述距离误差以及所述形状误差，确定所述三维待处理检测框的总误差；针对每个二维目标检测框，根据与所述二维目标检测框对应的各三维待处理检测框的总误差对各三维待处理检测框进行筛选，更新与所述二维目标检测框对应的各三维待处理检测框。3.根据权利要求1所述的方法，其特征在于，所述根据相机内参矩阵、相机旋转矩阵以及各预设采样航向角角度，确定与各预设采样航向角角度对应的消失点集合，包括：针对每个预设采样航向角，通过下述公式确定与所述预设采样航向角角度对应的消失点集合：点集合：
其中，k为相机内参矩阵，r为相机旋转矩阵，yaw为预设采样航向角角度，vp
x
、vp
y
、vp
z
为消失点集合中的各消失点；若消失点集合中至少一个消失点的三个维度中存在0，则通过下述公式确定与所述预设采样航向角角度对应的消失点集合：设采样航向角角度对应的消失点集合：设采样航向角角度对应的消失点集合：其中，roll为预设翻滚角，pitch为预设俯仰角。4.根据权利要求1所述的方法，其特征在于，所述针对每个角点集合，根据所述角点集合、所述相机内参矩阵、所述相机位姿以及所述重建环境信息中的三维地面，确定与所述角点集合对应的三维待处理检测框以及所述三维待处理检测框的尺寸信息和位姿信息，包括：针对每个角点集合，通过下述公式确定所述角点集合中各底部角点的三维坐标：针对每个角点集合，通过下述公式确定所述角点集合中各底部角点的三维坐标：其中，为第i个底部角点的三维坐标，k-1
p
i
为三维空间中第i个底部角点对应的反向投影射线，k为相机内参矩阵，[n,m]表示所述重建环境信息中的三维地面，n是所述三维地面在相机坐标系下的法向量，m为相机中心到所述三维地面的距离；根据所述相机位姿以及各底部角点的三维坐标，确定所述角点集合中各顶部角点的三维坐标；根据所述角点集合中各顶部角点的三维坐标以及各底部角点的三维坐标，确定与所述角点集合对应的三维待处理检测框以及所述三维待处理检测框的尺寸信息和位姿信息。5.根据权利要求1所述的方法，其特征在于，所述根据所述二维目标检测框、所述待检测图像的后一帧图像中的各后帧二维检测框、与所述二维目标检测框对应的各三维待处理
检测框以及与各后帧二维检测框对应的各后帧三维检测框，从各三维待处理检测框中确定出三维目标检测框，包括：对所述二维目标检测框进行特征点提取，得到第一特征点集合，对各后帧二维检测框进行特征点提取，得到各第二特征点集合，并根据所述第一特征点集合、各第二特征点集合以及所述二维目标检测框和各后帧二维检测框之间的交并比，确定与所述二维目标检测框对应的匹配二维检测框；根据与所述二维目标检测框对应的各三维待处理检测框的第一待匹配航向角、第一长度、第一宽度以及第一高度、与所述匹配二维检测框对应的各后帧三维检测框第二待匹配航向角、第二长度、第二宽度以及第二高度、匹配航向角阈值、匹配长度阈值、匹配宽度阈值以及匹配高度阈值，确定三维待处理检测框匹配对；其中，所述三维待处理检测框匹配对包括第一三维匹配框以及第二三维匹配框；所述第一三维匹配框为所述待检测图像中的一个三维待处理检测框，所述第二三维匹配框为所述后一帧图像中的一个与所述第一三维匹配框相匹配的三维检测框；根据所述第一特征点集合中各第一特征点的像素位置、所述第二特征点集合中各第二特征点的像素位置、各第一特征点的深度信息、各第二特征点的深度信息、所述待检测图像的相机位姿以及所述后一帧图像的相机位姿，确定所述各第一特征点的特征点空间位置以及各第二特征点的特征点空间位置；针对每对三维待处理检测框匹配对，根据所述三维待处理检测框匹配对中的第一三维匹配框的中心位置、各第一特征点的特征点空间位置以及预设距离阈值，从各第一特征点中确定出第一待使用特征点，并根据各第一待使用特征点从各第二特征点中确定出各第二待使用特征点；根据所述第一待使用特征点的数量、所述第二待使用特征点的数量、各第一待使用特征点的空间位置、各第二待使用特征点的空间位置、所述第一三维匹配框的中心位置以及所述第二三维匹配框的中心位置，确定匹配值；根据各三维待处理检测框匹配对的匹配值，将匹配值最高的三维待处理检测框匹配对确定为目标匹配对，并将所述目标匹配对中的第一三维匹配框作为三维目标检测框。6.根据权利要求5所述的方法，其特征在于，在所述从各三维待处理检测框中确定出三维目标检测框之后，在所述根据所述二维目标检测框对应的类别以及置信度，按照所述三维目标检测框的尺寸信息和位姿信息将所述三维目标检测框标注在所述待检测图像中之前，还包括：针对每一帧图像中的各三维目标检测框，将所述三维目标检测框重投影至后一帧图像中，得到二维投影检测框，根据所述三维目标检测框的位姿、与所述三维目标检测框对应的后帧三维检测框的位姿以及所述二维投影检测框与后帧二维检测框的中心距离，构建所述三维目标检测框的第一约束条件；其中，所述后帧三维检测框为所述目标匹配对中与所述三维目标检测框具有对应关系的第二三维检测框；所述后帧二维检测框为所述后一帧图像中的与所述后帧三维检测框对应同一目标的二维检测框；根据各帧图像中与同一目标相对应的各三维目标检测框的尺寸信息，构建所述三维目标检测框的第二约束条件；针对每一帧图像中的各三维目标检测框，根据所述三维目标检测框的位置、所述后帧
三维检测框的位置、所述三维目标检测框关联的各第一待使用特征点的空间位置以及所述后帧三维检测框中的各第二待使用特征点的空间位置，构建所述三维目标检测框的第三约束条件；根据所述第一约束条件、所述第二约束条件以及所述第三约束条件，对每一帧图像中的各三维目标检测框进行优化，并根据优化后的各三维目标检测框更新各三维目标检测框，根据优化后的三维目标检测框的尺寸信息和位姿信息更新各三维目标检测框的尺寸信息和位姿信息。7.根据权利要求1所述的方法，其特征在于，所述根据所述二维目标检测框对应的类别以及置信度，按照所述三维目标检测框的尺寸信息和位姿信息将所述三维目标检测框标注在所述待检测图像中，包括：若所述二维目标检测框对应的类别与所述二维目标检测框对应的匹配二维检测框对应的类别不同，则根据所述二维目标检测框对应的置信度与所述匹配二维检测框对应的置信度，确定置信度最大值，并将与所述置信度最大值对应的类别确定为所述三维目标检测框的类别；按照所述三维目标检测框的尺寸信息和位姿信息将所述三维目标检测框以及所述三维目标检测框的类别标注在所述待检测图像中。8.一种三维目标检测框标注装置，其特征在于，包括：二维目标检测框构建模块，用于根据待检测图像，确定各二维目标检测框、与各二维目标检测框相对应的类别以及置信度，并根据所述待检测图像以及与所述待检测图像对应的检测数据，确定相机位姿以及重建环境信息；其中，所述检测数据包括惯性测量数据、轮速计数据以及全球定位数据中的至少一种；消失点集合确定模块，用于针对每个二维目标检测框，根据相机内参矩阵、相机旋转矩阵以及各预设采样航向角角度，确定与各预设采样航向角角度对应的消失点集合；角点集合确定模块，用于针对每个消失点集合，根据所述消失点集合、所述二维目标检测框以及预设的各上边缘框采样点，确定与各上边缘检测框采样点相对应的角点集合；三维待处理检测框确定模块，用于针对每个角点集合，根据所述角点集合、所述相机内参矩阵、所述相机位姿以及所述重建环境信息中的三维地面，确定与所述角点集合对应的三维待处理检测框以及所述三维待处理检测框的尺寸信息和位姿信息；三维目标检测框标注模块，用于针对每个二维目标检测框，根据所述二维目标检测框、所述待检测图像的后一帧图像中的各后帧二维检测框、与所述二维目标检测框对应的各三维待处理检测框以及与各后帧二维检测框对应的各后帧三维检测框，从各三维待处理检测框中确定出三维目标检测框，并根据所述二维目标检测框对应的类别以及置信度，按照所述三维目标检测框的尺寸信息和位姿信息将所述三维目标检测框标注在所述待检测图像中。9.一种电子设备，其特征在于，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的三维目标检测框标注方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的三维目标检测框标注方法。

技术总结
本公开实施例公开了一种三维目标检测框标注方法、装置、电子设备和存储介质，包括：根据待检测图像，确定各二维目标检测框，根据结合检测数据，确定相机位姿和重建环境信息，针对每个二维目标检测框，根据相机内参矩阵、相机旋转矩阵和各预设采样航向角角度，确定各消失点集合，针对每个消失点集合，结合二维目标检测框和各上边缘框采样点，确定各角点集合，针对每个角点集合，结合相机内参矩阵、相机位姿和三维地面，确定各三维待处理检测框，针对每个二维目标检测框，结合各后帧二维检测框、各三维待处理检测框和各后帧三维检测框，确定三维目标检测框，并在待检测图像中标注，以实现结合二维目标检测框和检测数据，提高标注的准确性以及速度。准确性以及速度。准确性以及速度。


技术研发人员：周宏涛 何潇 张晶华 张丹
受保护的技术使用者：驭势科技（北京）有限公司
技术研发日：2023.06.30
技术公布日：2023/10/7