障碍物深度检测方法、电子设备、车辆及存储介质与流程

1.本发明涉及障碍物检测技术领域，尤其涉及一种障碍物深度检测方法、电子设备、车辆及存储介质。


背景技术：

2.自动驾驶和辅助驾驶是指在无需驾驶员进行操作或仅需驾驶员进行少量操作的情况下使车辆自动地运行。为了保证车内人员以及周围环境中的行人和车辆的安全，行驶中的自动驾驶车辆或辅助驾驶车辆需要对其周围的环境进行感知，检测其行驶路径上的障碍物并进行避让。在高阶辅助驾驶以及l3及以上自动驾驶中，2d目标检测已经满足不了现实需求，比如需要知道车辆的位姿便于后续规划控制，基于单目相机的3d目标检测相对于激光雷达、双目相机等传感器有较大成本优势，操作便捷等优点。相关技术中，利用深度学习直接预测出障碍物的深度信息。然而，在实际使用时存在准确率不足的问题，例如在特殊场景比如下雨天或者杂物等场景下，预测出的深度值会在较短时间发生跳变，导致深度信息预测误差较大，影响车辆的自动(辅助)驾驶控制。


技术实现要素：

3.本发明提供一种障碍物深度检测方法、电子设备、车辆及存储介质，用以解决传统障碍物深度检测方法预测出的障碍物深度值在特殊场景下不稳定，无法适用于实际的使用场景的缺陷。
4.本发明提供一种障碍物深度检测方法，包括：
5.获取环境图像信息；
6.将所述环境图像信息输入障碍物检测模型，得到障碍物多个二维关键点和障碍物预测高度，所述障碍物检测模型是基于环境图像训练数据和障碍物标注数据训练得到；
7.根据所述障碍物多个二维关键点计算出障碍物在图像平面上的多个投影高度值；
8.根据所述障碍物预测高度和所述障碍物在图像平面上的多个投影高度值计算出障碍物深度值。
9.根据本发明提供的一种障碍物深度检测方法，所述障碍物二维关键点包括障碍物上平面的四个角点和中心点以及障碍物下平面的四个角点和中心点，所述根据所述障碍物多个二维关键点计算出障碍物在图像平面上投影高度值，包括：
10.根据所述障碍物上平面每个角点或中心点与对应下平面每个角点或中心点的纵坐标差值，得到障碍物在图像平面上的多个投影高度值。
11.根据本发明提供的一种障碍物深度检测方法，所述根据所述障碍物预测高度和所述障碍物在图像平面上的多个投影高度值计算出障碍物深度值，包括：
12.根据所述障碍物在图像平面上的多个投影高度值、所述障碍物预测高度以及预设单目相机的焦距值计算出障碍物多个备选深度值；
13.基于所述多个备选深度值，计算出所述障碍物深度值。
14.根据本发明提供的一种障碍物深度检测方法，所述计算出所述障碍物深度值包括：
15.计算所述障碍物多个备选深度值的标准差及标准差对应的置信度；
16.在所述置信度大于预设阈值时，删除最大或最小的障碍物深度值，基于删除最大或最小的障碍物深度值后的障碍物多个备选深度值重新计算障碍物深度值的标准差及标准差对应的置信度；
17.在所述置信度不大于所述预设阈值时，将障碍物多个备选深度值的平均值作为障碍物深度值。
18.根据本发明提供的一种障碍物深度检测方法，所述根据所述障碍物在图像平面上的多个投影高度值、所述障碍物预测高度以及预设单目相机的焦距值计算出障碍物多个备选深度值，包括：
19.根据所述障碍物预测高度与所述障碍物在图像平面上的多个投影高度值计算出多个高度映射比例值，所述高度映射比例值为所述障碍物预测高度与所述障碍物在图像平面上投影高度值的商；
20.根据所述预设单目相机的焦距值和所述多个高度映射比例值计算出障碍物多个备选深度值，所述障碍物深度值为所述预设单目相机的焦距与所述高度映射比例值的乘积。
21.根据本发明提供的一种障碍物深度检测方法，所述障碍物检测模型的训练方法，包括：
22.将环境图像训练数据输入障碍物检测模型，得到预测信息，所述预测信息包括障碍物预测二维关键点、障碍物预测高度和障碍物三维目标框；
23.基于预测信息和障碍物标注数据构建模型损失函数，所述障碍物标注数据包括障碍物二维关键点标注数据、障碍物高度标注数据和障碍物三维目标框标注数据，所述损失函数包括障碍物二维关键点损失函数、障碍物高度损失函数和障碍物三维目标框损失函数；
24.根据所述模型损失函数优化所述障碍物检测模型参数，以得到训练好的障碍物检测模型。
25.根据本发明提供的一种障碍物深度检测方法，所述障碍物二维关键点标注数据获取方法，包括：
26.根据障碍物三维目标框以及透视关系计算出在障碍物二维关键点标注数据。
27.本发明还提供一种障碍物深度检测装置，包括：
28.获取模块，用于获取环境图像信息；
29.预测模块，用于将所述环境图像信息输入障碍物检测模型，得到障碍物多个二维关键点和障碍物预测高度，所述障碍物检测模型是基于环境图像训练数据和障碍物标注数据训练得到；
30.第一计算模块，用于根据所述障碍物多个二维关键点计算出障碍物在图像平面上的多个投影高度值；
31.第二计算模块，用于根据所述障碍物预测高度和所述障碍物在图像平面上的多个投影高度值计算出障碍物深度值。
32.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的障碍物深度检测方法。
33.本发明还提供一种车辆，包括如上述所述的电子设备。
34.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的障碍物深度检测方法。
35.本发明提供的障碍物深度检测方法、电子设备、车辆及存储介质，通过获取环境图像信息；将所述环境图像信息输入障碍物检测模型，得到障碍物多个二维关键点和障碍物预测高度，障碍物检测模型是基于环境图像训练数据和障碍物标注数据训练得到；根据障碍物多个二维关键点计算出障碍物在图像平面上的多个投影高度值；根据所述障碍物预测高度和障碍物在图像平面上的多个投影高度值计算出障碍物深度值，本发明并不是直接输出深度值而是先预测出障碍物在图像平面上的多个投影高度值，再根据障碍物在图像平面上的多个投影高度值计算出较为稳定的深度值，有效改善单目3d障碍物检测模型的输出稳定性，更适用于实际的使用场景。
附图说明
36.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1是本发明提供的障碍物深度检测方法的流程示意图之一；
38.图2是本发明提供的障碍物检测模型的功能结构图；
39.图3是本发明提供的检测出的障碍物关键二维关键点和高度示意图；
40.图4是本发明提供的2d目标检测以及3d目标检测对比图；
41.图5是本发明提供的障碍物深度检测方法的流程示意图之二；
42.图6是本发明提供的障碍物参数几何关系式示意图；
43.图7是本发明提供的障碍物深度检测方法的流程示意图之三；
44.图8是本发明提供的障碍物深度检测装置的结构示意图；
45.图9是本发明提供的电子设备的结构示意图。
具体实施方式
46.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.图1为本发明实施例提供的障碍物深度检测方法的流程图，如图1所示，本发明实施例提供的障碍物深度检测方法包括：
48.步骤101、获取环境图像信息；
49.在本发明实施例中，可以通过单目摄像机获取环境图像信息，不仅简单快捷，还可
以节约成本。
50.步骤102、将环境图像信息输入障碍物检测模型，得到障碍物多个二维关键点和障碍物预测高度，该障碍物检测模型是基于环境图像训练数据和障碍物标注数据训练得到；
51.在本发明实施例中，障碍物检测模型可以为自动驾驶领域中的多任务模型，模型结构包括主干网络模块(backbone)、连接颈(neck)、检测头(head)，如图2所示，通过不同检测头(head)输出障碍物多个二维关键点和障碍物预测高度。
52.步骤103、根据障碍物多个二维关键点计算出障碍物在图像平面上的多个投影高度值；
53.在本发明实施例中，障碍物二维关键点包括障碍物上平面的四个角点和中心点以及障碍物下平面的四个角点和中心点，根据障碍物多个二维关键点计算出障碍物在图像平面上投影高度值，包括：
54.根据障碍物上平面每个角点或中心点与对应下平面每个角点或中心点的纵坐标差值，得到障碍物在图像平面上的多个投影高度值。
55.在本发明实施例中，障碍物检测模型输出5个障碍物关键二维关键点：下平面角点z1,下平面角点z2,上平面角点z3,上平面角点z4和上平面中心点zc，上、下平面的关键点成对应关系，即上平面角点z1在下平面上会有一个角点与其对应，障碍物检测模型还输出障碍物预测高度(h)，如图3所示，根据障碍物关键二维关键点(z1,z2,z3,z4,zc)，可以算出障碍物如前方车辆5个不同深度值，对不同深度值进行标准差计算，根据标准差结果对深度值进行筛选，可以极大提高深度值预测的稳定性。
56.需要说明的是，本发明中深度是指自动驾驶车辆在行驶路上使用单目摄像机获取到前方障碍物的纵深的深度信息。
57.需要说明的是，本发明对二维关键点的位置和数量不作限定，本领域技术人员可以根据实际情况选取。
58.步骤104、根据障碍物预测高度和障碍物在图像平面上的多个投影高度值计算出障碍物深度值。
59.由于高阶辅助驾驶以及l3及以上自动驾驶中，2d目标检测已经满足不了现实需求，比如需要知道车辆的位姿便于后续规划控制，2d目标检测以及3d目标检测对比如图4所示。传统障碍物深度信息检测方法是利用深度学习直接预测出障碍物的深度信息。单目图像缺少深度信息导致3d障碍物模型预测深度不准，并且，在特殊场景比如下雨天或者杂物等场景下，预测出的深度值会在较短时间发生跳变，导致深度信息预测误差较大，影响车辆的自动(辅助)驾驶控制。
60.本发明实施例提供的障碍物深度检测方法通过获取环境图像信息；将所述环境图像信息输入障碍物检测模型，得到障碍物多个二维关键点和障碍物预测高度，障碍物检测模型是基于环境图像训练数据和障碍物标注数据训练得到；根据障碍物多个二维关键点计算出障碍物在图像平面上的多个投影高度值；根据所述障碍物预测高度和障碍物在图像平面上的多个投影高度值计算出障碍物深度值，本发明并不是直接输出深度值而是先预测出障碍物在图像平面上的多个投影高度值，再根据障碍物在图像平面上的多个投影高度值计算出较为稳定的深度值，有效改善单目3d障碍物检测模型的输出稳定性，更适用于实际的使用场景。
61.并且，需要说明的是，本发明实施例提供的障碍物深度检测方法不同于根据5次障碍物检测模型输出的深度预测值取平均计算，本实施例模型一次计算即可输出5个投影高度值，再根据5个投影高度值计算出5个深度值，之后取平均，保证准确性的同时提升检测效率。
62.基于上述任一实施例，根据障碍物预测高度和障碍物在图像平面上的多个投影高度值计算出障碍物深度值，包括：
63.根据障碍物在图像平面上的多个投影高度值、障碍物预测高度以及预设单目相机的焦距值计算出障碍物多个备选深度值；
64.将障碍物多个备选深度值的平均值作为障碍物深度值。
65.通过取均值计算可以提升预测结果精确度和准确性。
66.在障碍物多个备选深度值中存在跳点时，该障碍物深度检测方法预测稳定性会受到影响，因此，在本发明一些实施例中，如图5所示，根据障碍物预测高度和障碍物在图像平面上的多个投影高度值计算出障碍物深度值，包括：
67.步骤501、根据障碍物在图像平面上的多个投影高度值、障碍物预测高度以及预设单目相机的焦距值计算出障碍物多个备选深度值；
68.在本发明实施例中，根据障碍物在图像平面上的多个投影高度值、障碍物预测高度以及预设单目相机的焦距值计算出障碍物多个备选深度值，包括：
69.步骤5011、根据障碍物预测高度与障碍物在图像平面上的多个投影高度值计算出多个高度映射比例值，高度映射比例值为障碍物预测高度与障碍物在图像平面上投影高度值的商；
70.步骤5012、根据预设单目相机的焦距值和多个高度映射比例值计算出障碍物多个备选深度值，障碍物深度值为预设单目相机的焦距与所述高度映射比例值的乘积。
71.如图6所示，障碍物深度值可通过几何关系式z＝f*h/h获取，z为障碍物的深度、f为相机的焦距、h为障碍物的实际预测高度，h为障碍物在图像平面上投影，由几何相似性可以得出一个几何投影模型，障碍物深度预测通过几何关系转换为对物体实际高度和投影到图像上的高度的预测。
72.步骤502、计算障碍物多个备选深度值的标准差及标准差对应的置信度；
73.步骤503、在置信度大于预设阈值时，删除最大或最小的障碍物深度值，基于删除最大或最小的障碍物深度值后的障碍物多个备选深度值重新计算障碍物深度值的标准差及标准差对应的置信度；
74.步骤504、在置信度不大于预设阈值时，将障碍物多个备选深度值的平均值作为最终障碍物深度值。
75.在本发明实施例中，标准差alpha,置信度score＝sigmoid(alpha)，score取值在0到1之间，设置阈值thresh为0.6，若置信度大于0.6，删除最大或最小的障碍物深度值，重新计算障碍物深度值的标准差及标准差对应的置信度，从而剔除跳点，提升预测稳定性。
76.在置信度不大于0.6时，将障碍物多个备选深度值的平均值作为最终障碍物深度值，通过取均值计算可以进一步提升预测结果精确度和准确性。基于上述任一实施例，如图7所示，障碍物检测模型的训练方法，包括：
77.步骤701、将环境图像训练数据输入障碍物检测模型，得到预测信息，预测信息包
括障碍物预测二维关键点、障碍物预测高度和障碍物三维目标框；
78.步骤702、基于预测信息和障碍物标注数据构建模型损失函数，障碍物标注数据包括障碍物二维关键点标注数据、障碍物高度标注数据和障碍物三维目标框标注数据；
79.在本发明实施例中，障碍物检测模型还用于输出障碍物三维目标框，障碍物二维关键点标注数据获取方法，包括：
80.根据障碍物三维目标框以及透视关系计算出在障碍物二维关键点标注数据。
81.具体地，在相机确定的情况下可得到相机内参矩阵和相机外参矩阵
82.根据相机坐标(xc、yc、zc)及相机外参矩阵可以计算出三维目标框中各点的三维坐标(x
ω
、y
ω
、z
ω
)：
[0083][0084]
其中，r代表正交单位旋转矩阵，t代表三维平移矢量。
[0085]
再根据二维关键点标注数据与三维目标框的转换关系式，可以计算出二维关键点标注数据，转换关系式如下：
[0086][0087]
其中，u、v为二维关键点标注数据，x
ω
、y
ω
、z
ω
为通过三维目标框各点的三维坐标，其余参数为相机内外参。
[0088]
在本发明实施例中，模型损失函数包括障碍物二维关键点损失函数、障碍物高度损失函数和障碍物三维目标框损失函数；
[0089]
在本发明一些实施例中，障碍物检测模型还用于输出分类信息和车辆位姿信息，因此，模型损失函数还包括分类损失函数和位姿损失函数，障碍物二维关键点损失函数、障碍物高度损失函数、障碍物三维目标框损失函数和位姿损失函数为l1范数损失函数，分类损失函数为focal loss，l1范数损失函数为平均绝对误差，是指模型预测值f(x)和真实值y之间距离的平均值，无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解；focal loss是基于二分类交叉熵ce的。它是一个动态缩放的交叉熵损失，通过一个动态缩放因子，可以动态降低训练过程中易区分样本的权重，从而将重心快速聚焦在那些难区分的样本。
[0090]
模型损失函数计算公式为：
[0091]
模型损失函数loss_total＝loss_2dpoints(pred_2d,gt_2d)+loss_cls(pred_cls,gt_cls)+loss_3d(pred_3d,gt_3d)+loss_rotation(pred_rot,gt_rot)+loss_h(pred_h,gt_h)
[0092]
其中，loss_2dpoints为障碍物二维关键点损失函数、loss_cls为分类损失函数，loss_3d为障碍物三维目标框损失函数障碍物高度损失函数，loss_rotation为位姿损失函数，loss_h为障碍物高度损失函数，pred_2d,gt_2d分别为障碍物预测二维关键点和障碍物二维关键点标注数据；pred_cls,gt_cls分别为分类预测信息和分类标注数据；pred_3d,gt_3d分别为障碍物三维目标框预测数据和障碍物三维目标框标注数据，pred_rot,gt_rot分别为预测车辆位姿和标注车辆位姿，pred_h,gt_h分别为障碍物预测高度和障碍物高度标注数据。
[0093]
步骤703、根据模型损失函数优化障碍物检测模型参数，以得到训练好的障碍物检测模型。
[0094]
本发明实施例提供的障碍物深度检测方法，针对单目图像缺少深度信息导致3d障碍物模型预测深度不准，在特殊场景(比如下雨天或者杂物等)使得预测深度值在较短时间发生跳变，最终导致深度信息预测误差较大，而本发明实施例通过根据几何关系计算深度值，通过模型预测高度值，从而得出较为稳定的深度值，有效改善单目3d障碍物检测模型稳定性。
[0095]
下面对本发明提供的障碍物深度检测装置进行描述，下文描述的障碍物深度检测装置与上文描述的障碍物深度检测方法可相互对应参照。
[0096]
图8为本发明实施例提供的障碍物深度检测装置的示意图，如图8所示，本发明实施例提供的障碍物深度检测装置包括：
[0097]
获取模块801，用于获取环境图像信息；
[0098]
预测模块802，用于将环境图像信息输入障碍物检测模型，得到障碍物多个二维关键点和障碍物预测高度，障碍物检测模型是基于环境图像训练数据和障碍物标注数据训练得到；
[0099]
第一计算模块803，用于根据障碍物多个二维关键点计算出障碍物在图像平面上的多个投影高度值；
[0100]
第二计算模块804，用于根据障碍物预测高度和障碍物在图像平面上的多个投影高度值计算出障碍物深度值。
[0101]
在本发明实施例中，获取模块801被配置为：
[0102]
将所述环境图像信息输入障碍物检测模型，得到障碍物多个二维关键点和障碍物预测高度，障碍物检测模型是基于环境图像训练数据和障碍物标注数据训练得到；
[0103]
根据障碍物多个二维关键点计算出障碍物在图像平面上的多个投影高度值；
[0104]
根据障碍物预测高度和所述障碍物在图像平面上的多个投影高度值计算出障碍物深度值。
[0105]
在本发明实施例中，障碍物二维关键点包括障碍物上平面的四个角点和中心点以及障碍物下平面的四个角点和中心点，第一计算模块803被配置为：
[0106]
根据障碍物上平面每个角点或中心点与对应下平面每个角点或中心点的纵坐标差值，得到障碍物在图像平面上的多个投影高度值。
[0107]
在本发明实施例中，第二计算模块804被配置为：
[0108]
根据障碍物在图像平面上的多个投影高度值、所述障碍物预测高度以及预设单目相机的焦距值计算出多个障碍物深度值；
[0109]
计算多个障碍物深度值的标准差及标准差对应的置信度；
[0110]
在置信度大于预设阈值时，删除最大或最小的障碍物深度值，基于删除最大或最小的障碍物深度值后的多个障碍物深度值重新计算障碍物深度值的标准差及标准差对应的置信度；
[0111]
在置信度不大于所述预设阈值时，将所述多个障碍物深度值的平均值作为最终障碍物深度值。
[0112]
在本发明一些实施例中，还包括：训练模块，该训练模块被配置为：
[0113]
将环境图像训练数据输入障碍物检测模型，得到预测信息，所述预测信息包括障碍物预测二维关键点、障碍物预测高度和障碍物三维目标框；
[0114]
基于预测信息和障碍物标注数据构建模型损失函数，所述障碍物标注数据包括障碍物二维关键点标注数据、障碍物高度标注数据和障碍物三维目标框标注数据，所述损失函数包括障碍物二维关键点损失函数、障碍物高度损失函数和障碍物三维目标框损失函数；
[0115]
根据模型损失函数优化所述障碍物检测模型参数，以得到训练好的障碍物检测模型。
[0116]
在本发明实施例中，障碍物检测模型还用于输出障碍物三维目标框，所述障碍物二维关键点标注数据获取方法，包括：
[0117]
根据障碍物三维目标框以及透视关系计算出在障碍物二维关键点标注数据。
[0118]
在本发明实施例中，障碍物二维关键点损失函数、障碍物高度损失函数和障碍物三维目标框损失函数均为l1范数损失函数。
[0119]
本发明实施例提供的障碍物深度检测装置通过获取环境图像信息；将所述环境图像信息输入障碍物检测模型，得到障碍物多个二维关键点和障碍物预测高度，障碍物检测模型是基于环境图像训练数据和障碍物标注数据训练得到；根据障碍物多个二维关键点计算出障碍物在图像平面上的多个投影高度值；根据所述障碍物预测高度和障碍物在图像平面上的多个投影高度值计算出障碍物深度值，本发明并不是直接输出深度值而是先预测出障碍物在图像平面上的多个投影高度值，再根据障碍物在图像平面上的多个投影高度值计算出较为稳定的深度值，有效改善单目3d障碍物检测模型的输出稳定性，更适用于实际的使用场景。
[0120]
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的障碍物深度检测方法。
[0121]
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(communications interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行障碍物深度检测方法，该方法包括：获取环境图像信息；将所述环境图像信息输入障碍物检测模型，得到障碍物多个二维关
键点和障碍物预测高度，障碍物检测模型是基于环境图像训练数据和障碍物标注数据训练得到；根据障碍物多个二维关键点计算出障碍物在图像平面上的多个投影高度值；根据所述障碍物预测高度和障碍物在图像平面上的多个投影高度值计算出障碍物深度值。
[0122]
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0123]
本发明实施例还提供一种车辆，包括如上述实施例所述的电子设备。
[0124]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0125]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0126]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种障碍物深度检测方法，其特征在于，包括：获取环境图像信息；将所述环境图像信息输入障碍物检测模型，得到障碍物多个二维关键点和障碍物预测高度，所述障碍物检测模型是基于环境图像训练数据和障碍物标注数据训练得到；根据所述障碍物多个二维关键点计算出障碍物在图像平面上的多个投影高度值；根据所述障碍物预测高度和所述障碍物在图像平面上的多个投影高度值计算出障碍物深度值。2.根据权利要求1所述的障碍物深度检测方法，其特征在于，所述障碍物二维关键点包括障碍物上平面的四个角点和中心点以及障碍物下平面的四个角点和中心点，所述根据所述障碍物多个二维关键点计算出障碍物在图像平面上的多个投影高度值，包括：根据所述障碍物上平面每个角点以及中心点与对应下平面每个角点以及中心点的纵坐标差值，得到障碍物在图像平面上的多个投影高度值。3.根据权利要求1或2所述的障碍物深度检测方法，其特征在于，所述根据所述障碍物预测高度和所述障碍物在图像平面上的多个投影高度值计算出障碍物深度值，包括：根据所述障碍物在图像平面上的多个投影高度值、所述障碍物预测高度以及预设单目相机的焦距值计算出障碍物多个备选深度值；基于所述多个备选深度值，计算出所述障碍物深度值。4.根据权利要求3所述的障碍物深度检测方法，其特征在于，所述计算出所述障碍物深度值包括：计算所述障碍物多个备选深度值的标准差及标准差对应的置信度；在所述置信度大于预设阈值时，删除最大或最小的障碍物深度值，基于删除最大或最小的障碍物深度值后的障碍物多个备选深度值重新计算障碍物深度值的标准差及标准差对应的置信度；在所述置信度不大于所述预设阈值时，将障碍物多个备选深度值的平均值作为障碍物深度值。5.根据权利要求3所述的障碍物深度检测方法，其特征在于，所述根据所述障碍物在图像平面上的多个投影高度值、所述障碍物预测高度以及预设单目相机的焦距值计算出障碍物多个备选深度值，包括：根据所述障碍物预测高度与所述障碍物在图像平面上的多个投影高度值计算出多个高度映射比例值，所述高度映射比例值为所述障碍物预测高度与所述障碍物在图像平面上投影高度值的商；根据所述预设单目相机的焦距值和所述多个高度映射比例值计算出障碍物多个备选深度值，所述障碍物深度值为所述预设单目相机的焦距与所述高度映射比例值的乘积。6.根据权利要求1所述的障碍物深度检测方法，其特征在于，所述障碍物检测模型的训练方法，包括：将环境图像训练数据输入障碍物检测模型，得到预测信息，所述预测信息包括障碍物预测二维关键点、障碍物预测高度和障碍物三维目标框；基于预测信息和障碍物标注数据构建模型损失函数，所述障碍物标注数据包括障碍物二维关键点标注数据、障碍物高度标注数据和障碍物三维目标框标注数据，所述模型损失
函数包括障碍物二维关键点损失函数、障碍物高度损失函数和障碍物三维目标框损失函数；根据所述模型损失函数优化所述障碍物检测模型参数，以得到训练好的障碍物检测模型。7.根据权利要求6所述的障碍物深度检测方法，其特征在于，所述障碍物二维关键点标注数据获取方法，包括：根据所述障碍物三维目标框以及透视关系计算出在障碍物二维关键点标注数据。8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的障碍物深度检测方法。9.一种车辆，其特征在于，包括如权利要求8所述的电子设备。10.一种非暂态可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的障碍物深度检测方法。

技术总结
本发明提供一种障碍物深度检测方法、电子设备、车辆及存储介质，障碍物深度检测方法包括获取环境图像信息；将所述环境图像信息输入障碍物检测模型，得到障碍物多个二维关键点和障碍物预测高度，障碍物检测模型是基于环境图像训练数据和障碍物标注数据训练得到；根据障碍物多个二维关键点计算出障碍物在图像平面上的多个投影高度值；根据所述障碍物预测高度和障碍物在图像平面上的多个投影高度值计算出障碍物深度值，本发明并不是直接输出深度值而是先预测出障碍物在图像平面上的多个投影高度值，再根据障碍物在图像平面上的多个投影高度值计算出较为稳定的深度值，有效改善基于单目相机的3D障碍物检测模型的输出稳定性，更适用于实际的使用场景。适用于实际的使用场景。适用于实际的使用场景。


技术研发人员：贺克赛
受保护的技术使用者：嬴彻星创智能科技（上海）有限公司
技术研发日：2023.05.12
技术公布日：2023/9/14