一种基于单目图片的多目标鸟瞰结构图构建方法及系统与流程

1.本发明涉及智能交通管理领域，特别涉及一种基于单目图片的多目标鸟瞰结构图构建方法及系统。


背景技术：

2.在智能交通领域，随着基硬件设施和常规监控系统建设的逐步完善，目前针对车辆泊位的监控已有了一套比较完整的解决方案，但随着城市自动化管理水平要求的不断提高以及多种城市引入监控系统后复杂情况日益增多。使得当前仅仅基于二维图形的基础算法难以满足需求，因此如何通过现有数据结果重建当前摄像头采集图像的目标结构信息，并消除任意存在的透视误差影响，是复杂情况图像内容分析的重要数据基础。
3.目前，二维图像的鸟瞰图变换是一种重要的图像数据成像模式，因为经过变换后不仅消除了内容的透视形变，还对视觉遮挡目标进行了位置拆解，最终的成图结构对目标的相对位置表征的更为清晰。现在获取视场的鸟瞰图图片一般需要较为准确的深度估计或是通过多目立体视觉、雷达传感器的方法获取稠密点云数据来重建该视角的三维结构信息，并通过坐标变换的方式将其转化为俯视投影形态。但受限于实际已有现场硬件设施条件，大多车场单元位置下仅为单目摄像头进行监控，并且在缺乏有效训练数据条件下视角场景对应的深度图估计也较为困难，因此造成现有鸟瞰图的构建实现难度较大。


技术实现要素：

4.为解决上述技术问题，本发明提供一种基于单目图片的多目标鸟瞰结构图构建方法及系统，可以解决现有鸟瞰图的构建实现难度较大的问题。
5.为实现上述目的，一方面，本发明一种基于单目图片的多目标鸟瞰结构图构建方法，所述方法包括：
6.获取采集的图像中各个目标的局部姿态信息和近似尺寸信息；
7.根据预置高位摄像头对应的等价相机参数和地面深度图，构建所述各个目标包围框边界的鸟瞰俯视投影；
8.根据所述各个目标的局部姿态信息、近似尺寸信息、以及所述各个目标包围框边界的鸟瞰俯视投影进行无效目标过滤，生成目标鸟瞰图结构分布数据；
9.根据所述目标鸟瞰图结构分布数据确认各个目标与对应泊位之间的位置关系。
10.进一步地，所述获取采集的图像中各个目标的局部姿态信息和近似尺寸信息的步骤包括：
11.根据目标检测结果和预置姿态估计模型获取各个目标的局部姿态信息和相对尺寸信息，并根据预设近似目标宽度值和预设不确定性估计量模型对所述各个目标的局部姿态信息和相对尺寸信息进行过滤；或者
12.通过二维图像上预置的目标立体包围框对应的关键点检测结果获取采集的图像中各个目标的局部姿态信息和近似尺寸信息。
13.进一步地，所述根据预置高位摄像头对应的等价相机参数和地面深度图，构建所述各个目标包围框边界的鸟瞰俯视投影的步骤包括：
14.根据预置高位摄像头等价相机参数、地面深度图、以及各个目标的投影关键点坐标值，获取目标在相对世界坐标系下底面中心点位置坐标；
15.根据所述目标在相对世界坐标系下底面中心点位置坐标，更新所述目标的全局姿态信息；
16.根据所述更新后的目标全局姿态信息、初始目标尺寸信息、以及所述目标关键点投影坐标的误差量更新所述目标的尺寸信息；
17.根据所述更新后的目标尺寸信息、目标在相对世界坐标系下底面中心点位置坐标、以及目标投影关键点坐标值，获取目标的航向角信息；
18.根据更新后的目标尺寸信息、目标在相对世界坐标系下底面中心点位置坐标、以及目标的航向角信息，获取目标在相对世界坐标系下的俯视投影坐标。
19.进一步地，所述根据所述各个目标的局部姿态信息、近似尺寸信息、以及所述各个目标包围框边界的鸟瞰俯视投影进行无效目标过滤，生成目标鸟瞰图结构分布数据的步骤包括：
20.根据各个目标的包围框边界的鸟瞰俯视投影获取任意两个目标的相似度矩阵，生成初始化去除目标集合；
21.以行坐标标识为基准计算每行中任意两个目标相似度值大于预设值的坐标标识，并且与所述去除目标集合做差集，生成目标鸟瞰图结构分布数据。
22.进一步地，所述根据所述目标鸟瞰图结构分布数据确认各个目标与对应泊位之间的位置关系的步骤包括：
23.获取任意泊位和目标之间的相关度矩阵；
24.根据所述相关度矩阵以及目标鸟瞰图结构分布数据获取各个目标与对应泊位之间的位置关系。
25.另一方面，本发明提供一种基于单目图片的多目标鸟瞰结构图构建系统，所述系统包括：获取单元，用于获取采集的图像中各个目标的局部姿态信息和近似尺寸信息；
26.构建单元，用于根据预置高位摄像头对应的等价相机参数和地面深度图，构建所述各个目标包围框边界的鸟瞰俯视投影；
27.生成单元，用于根据所述各个目标的局部姿态信息、近似尺寸信息、以及所述各个目标包围框边界的鸟瞰俯视投影进行无效目标过滤，生成目标鸟瞰图结构分布数据；
28.确认单元，用于根据所述目标鸟瞰图结构分布数据确认各个目标与对应泊位之间的位置关系。
29.进一步地，所述获取单元，具体用于根据目标检测结果和预置姿态估计模型获取各个目标的局部姿态信息和相对尺寸信息，并根据预设近似目标宽度值和预设不确定性估计量模型对所述各个目标的局部姿态信息和相对尺寸信息进行过滤；或者通过二维图像上预置的目标立体包围框对应的关键点检测结果获取采集的图像中各个目标的局部姿态信息和近似尺寸信息。
30.进一步地，所述构建单元，具体用于根据预置高位摄像头等价相机参数、地面深度图、以及各个目标的投影关键点坐标值，获取目标在相对世界坐标系下底面中心点位置坐
标；根据所述目标在相对世界坐标系下底面中心点位置坐标，更新所述目标的全局姿态信息；根据所述更新后的目标全局姿态信息、初始目标尺寸信息、以及所述目标关键点投影坐标的误差量更新所述目标的尺寸信息；根据所述更新后的目标尺寸信息、目标在相对世界坐标系下底面中心点位置坐标、以及目标投影关键点坐标值，获取目标的航向角信息；根据更新后的目标尺寸信息、目标在相对世界坐标系下底面中心点位置坐标、以及目标的航向角信息，获取目标在相对世界坐标系下的俯视投影坐标。
31.进一步地，所述生成单元，具体用于根据各个目标的包围框边界的鸟瞰俯视投影获取任意两个目标的相似度矩阵，生成初始化去除目标集合；以行坐标标识为基准计算每行中任意两个目标相似度值大于预设值的坐标标识，并且与所述去除目标集合做差集，生成目标鸟瞰图结构分布数据。标的初始鸟瞰图坐标同时进行坐标旋转,得到优化校正后的鸟瞰图坐标。
32.进一步地，所述确认单元，具体用于获取任意泊位和目标之间的相关度矩阵；根据所述相关度矩阵以及目标鸟瞰图结构分布数据获取各个目标与对应泊位之间的位置关系。
33.本发明提供的一种基于单目图片的多目标鸟瞰结构图构建方法及系统，根据预置的高位摄像头对应的等价相机参数和地面深度图获取各个目标包围框边界的鸟瞰俯视投影，结合单目图像中各个目标的局部姿态信息和近似尺寸信息，可实现高效获取相机视角下全局目标鸟瞰图结构分布数据，并用于后续复杂泊位和场景内目标匹配结果输出。本发明通过现有单目估计结果进行等价三维结果估计，实现视角场景内的全局目标鸟瞰图结构分布估计，而无需额外采集设备数据采集或是特殊标注结果准备用于全局目标鸟瞰图估计的深度模型训练，可以解决现有鸟瞰图的构建实现难度较大的问题，为后续复杂场景的自动化处理率提升提供必要的算法和数据基础。
附图说明
34.图1是本发明提供的一种基于单目图片的多目标鸟瞰结构图构建方法的流程图；
35.图2是本发明提供的一种基于单目图片的多目标鸟瞰结构图构建系统的结构示意图。
具体实施方式
36.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
37.本发明实施例提供的一种基于单目图片的多目标鸟瞰结构图构建方法，如图1所示，包括如下步骤：
38.101、获取采集的图像中各个目标的局部姿态信息和近似尺寸信息。
39.对于本发明实施例，步骤101具体可以包括：根据目标检测结果和预置姿态估计模型获取各个目标的局部姿态信息和相对尺寸信息，并根据预设近似目标宽度值和预设不确定性估计量模型对所述各个目标的局部姿态信息和相对尺寸信息进行过滤；或者通过二维图像上预置的目标立体包围框对应的关键点检测结果获取采集的图像中各个目标的局部姿态信息和近似尺寸信息。
40.具体地，例如，第一种方式，可以直接通过目标检测结果输入6dof姿态估计模型获取目标的局部姿态信息和相对尺寸信息，并且通过预设的近似目标宽度w0值恢复目标近似
尺寸信息，并且根据模型的预测不确定性估计量对模型姿态估计结果进行筛选，剔除不可靠的估计结果；第二种方式，可以通过二维图像上目标立体包围框八个关键点的检测结果进行后处理获取目标姿态和尺寸信息，并剔除潜在的严重错误估计，具体方法包含如下两个步骤：
41.步骤101.1：根据主流车型比例结构，如小汽车、箱货车、公交车、工程车等设定标准近似车辆尺寸模板_proto_s i ze；步骤101.2：针对目标立体包围框八个关键点的检测结果kp8_0，分别使用上述尺寸模板构造目标关键点对应的以车辆底面中心点为坐标原点的三维坐标kp8_wrd(其中x轴平行于车宽，y轴平行于车长，z轴平行于车高方向)，然后利用2d-3d点组进行pnp计算目标的局部姿态信息transp0，并利用计算的姿态数据将kp8_wrd投影回图片坐标系内得到重构的关键点kp8_1，并计算投影误差err_kp8＝||kp8_1-kp8_0||，如果该误差大于预设阈值thr1则表示关键点估计结果质量较差不予保留，否则记录下对应尺寸下计算的局部姿态信息transp0和投影误差err_kp8；完成所有尺寸模板对应计算结果后，选取其中投影误差最小的对应模板尺寸值和局部姿态信息作为目标三维估计初始结果obj_s i ze0、obj_transp0。
42.102、根据预置高位摄像头对应的等价相机参数和地面深度图，构建所述各个目标包围框边界的鸟瞰俯视投影。
43.对于本发明实施例，步骤102具体可以包括：根据预置高位摄像头等价相机参数、地面深度图、以及各个目标的投影关键点坐标值，获取目标在相对世界坐标系下底面中心点位置坐标；根据所述目标在相对世界坐标系下底面中心点位置坐标，更新所述目标的全局姿态信息；根据所述更新后的目标全局姿态信息、初始目标尺寸信息、以及所述目标关键点投影坐标的误差量更新所述目标的尺寸信息；根据所述更新后的目标尺寸信息、目标在相对世界坐标系下底面中心点位置坐标、以及目标投影关键点坐标值，获取目标的航向角信息；根据更新后的目标尺寸信息、目标在相对世界坐标系下底面中心点位置坐标、以及目标的航向角信息，获取目标在相对世界坐标系下的俯视投影坐标。
44.具体地，例如，步骤102.1：使用预先估计得到的高位摄像头等价相机外参cam_transp，其中，包括旋转向量cam_rvec、平移向量cam_tvec、尺度变量sca l e，其中旋转向量对应的旋转矩阵表示为rcam，对应目标姿态估计量可同理表示和地面深度图depthmap，结合目标的投影关键点坐标值kp8_1估计目标在相对世界坐标系下底面中心点位置坐标obj_cwrd，具体方法如下所述：
45.①
利用目标的投影关键点坐标值kp8_1计算在图片坐标系下目标的底面中心点坐标为obj_c i mg；
46.②
利用预先估计地面深度图depthmap根据坐标信息obj_c img检索该坐标的深度值dep，并计算相机坐标系下的三维点值obj_ccam＝(obj_c img_z*dep,obj_c img_y*dep,dep)/sca l e，然后利用预先估计得到等价相机参数cam_transp将其反投影到相对世界坐标系内得到新坐标obj_cwrd0，并置z坐标值为0得到新的估计坐标值obj_cwrd1；
47.③
再使用等价相机参数cam_transp将坐标obj_cwrd1正投影到图片坐标系内得到重构的目标底面中心点坐标obj_c i mg1，并计算投影重构误差err_c i mg＝||obj_c img-obj_c img1||以及更新记录当前重构误差最小值对应的估计值为obj_cwrd_best，如果当前重构误差小于预设阈值则保留当前估计作为底面中心点估计坐标obj_cwrd，否则针
对当前最优估计坐标增加随机小扰动s i gma更新底面中心点坐标估计obj_cwrd1＝obj_cwrd_best*(1+s i gma)，然后重复步骤
③
直到达到预设迭代次数上限或是满足阈值条件结束迭代计算。
48.步骤102.2：利用估计的全局底面中心点位置信息obj_cwrd，更新目标的全局姿态信息为obj_transp1：其中保留目标的姿态角估计obj_rvec1＝obj_rvec0，并更新相机坐标系下位移量obj_tvec1＝cam_rvec+rcam*obj_cwrd；
49.步骤102.3：利用上述估计的目标全局姿态信息为obj_transp1以及初始目标尺寸信息obj_s i ze0，根据与关键点投影坐标kp8_1的误差量更新目标的尺寸估计值obj_s i ze：首先利用目标姿态信息和尺寸信息计算新的关键点投影坐标kp8_2，并计算投影误差err_kp8＝||kp8_1-kp8_2||，如果投影误差小于预设阈值条件下则不对尺寸信息进行更新，既obj_s i ze＝obj_s i ze0；否则计算kp8_2和kp8_1的外接矩形框长宽比均值rat i o，更新尺寸信息obj_s i ze＝obj_s i ze0*rat i o。
50.步骤102.4：利用更新的目标尺寸信息obj_s i ze、全局底面中心点位置信息obj_cwrd以及目标投影关键点坐标值kp8_1，更新计算全局目标姿态信息obj_transp，获取全局姿态角估计更新obj_rvec；并结合相机的姿态角估计cam_rvec可进一步获取目标的航向角值yaw：ryaw＝rcam_i nv*robj,yaw＝||yaw_rvec||。
51.步骤102.5：利用更新的目标尺寸信息obj_s i ze、全局底面中心点位置信息obj_cwrd以及航向角值yaw获取目标在相对世界坐标系下的俯视投影坐标obj_bev。
52.103、根据所述各个目标的局部姿态信息、近似尺寸信息、以及所述各个目标包围框边界的鸟瞰俯视投影进行无效目标过滤，生成目标鸟瞰图结构分布数据。
53.对于本发明实施例，步骤103具体可以包括：根据各个目标的包围框边界的鸟瞰俯视投影获取任意两个目标的相似度矩阵，生成初始化去除目标集合；以行坐标标识为基准计算每行中任意两个目标相似度值大于预设值的坐标标识，并且与所述去除目标集合做差集，生成目标鸟瞰图结构分布数据。
54.具体地，例如，步骤103.1：首先剔除估计尺寸与先验目标物理尺寸偏差过大的目标形成初始保留目标i d集合，然后利用保留目标的投影坐标obj_bev计算两两目标的i oa值矩阵m_i oa，初始化去除目标i d集合为空集；步骤103.2：以行坐标i d为基准计算每行i oa值大于预设值的坐标i d，并且与去除目标i d集合做差集，如果差集尺寸大于0则将该i d记录到去除目标i d集合内，否则记录到保留目标i d集合内，获取最终有效目标i d集合并形成目标bev结构分布数据。
55.104、根据所述目标鸟瞰图结构分布数据确认各个目标与对应泊位之间的位置关系。
56.对于本发明实施例，步骤104具体可以包括：获取任意泊位和目标之间的相关度矩阵；根据所述相关度矩阵以及目标鸟瞰图结构分布数据获取各个目标与对应泊位之间的位置关系。
57.具体地，例如，首先计算任意泊位和目标的互信i oa矩阵mi oa_1、m i oa_2，分别表示以泊位面积和目标面积为分母的i oa值，尺寸均为n*m，n表示泊位个数，m表示有效目标个数；以泊位为基准，如果i oa1＝0，则表示泊位未占用；i oa1》0并且对于目标的i oa2》0.9则表示泊位被正常占用；如果i oa1》0并且对于目标的i oa2-0.5则表示泊位别非正常
占用，此时需要对泊位线与目标的obj_bev的相关性做进一步判断：如果泊位的外边缘穿过obj_bev则表示压线占用，如果泊位的内边缘穿过obj_bev则表示跨位占用；如果泊位走向与目标航向角非平行，则表示目标斜停；还可以根据更多业务需求设计泊位车辆的位置相关性判断准则。
58.本发明提供的一种基于单目图片的多目标鸟瞰结构图构建方法，根据预置的高位摄像头对应的等价相机参数和地面深度图获取各个目标包围框边界的鸟瞰俯视投影，结合单目图像中各个目标的局部姿态信息和近似尺寸信息，可实现高效获取相机视角下全局目标鸟瞰图结构分布数据，并用于后续复杂泊位和场景内目标匹配结果输出。本发明通过现有单目估计结果进行等价三维结果估计，实现视角场景内的全局目标鸟瞰图结构分布估计，而无需额外采集设备数据采集或是特殊标注结果准备用于全局目标鸟瞰图估计的深度模型训练，可以解决现有鸟瞰图的构建实现难度较大的问题，为后续复杂场景的自动化处理率提升提供必要的算法和数据基础。
59.为实现本发明实施例提供的方法，本发明实施例提供一种基于单目图片的多目标鸟瞰结构图构建系统，如图2所示，该系统包括：获取单元21、构建单元22、生成单元23、确认单元24。
60.获取单元21，用于获取采集的图像中各个目标的局部姿态信息和近似尺寸信息；
61.构建单元22，用于根据预置高位摄像头对应的等价相机参数和地面深度图，构建所述各个目标包围框边界的鸟瞰俯视投影；
62.生成单元23，用于根据所述各个目标的局部姿态信息、近似尺寸信息、以及所述各个目标包围框边界的鸟瞰俯视投影进行无效目标过滤，生成目标鸟瞰图结构分布数据；
63.确认单元24，用于根据所述目标鸟瞰图结构分布数据确认各个目标与对应泊位之间的位置关系。
64.进一步地，所述获取单元21，具体用于根据目标检测结果和预置姿态估计模型获取各个目标的局部姿态信息和相对尺寸信息，并根据预设近似目标宽度值和预设不确定性估计量模型对所述各个目标的局部姿态信息和相对尺寸信息进行过滤；或者通过二维图像上预置的目标立体包围框对应的关键点检测结果获取采集的图像中各个目标的局部姿态信息和近似尺寸信息。
65.进一步地，所述构建单元22，具体用于根据预置高位摄像头等价相机参数、地面深度图、以及各个目标的投影关键点坐标值，获取目标在相对世界坐标系下底面中心点位置坐标；根据所述目标在相对世界坐标系下底面中心点位置坐标，更新所述目标的全局姿态信息；根据所述更新后的目标全局姿态信息、初始目标尺寸信息、以及所述目标关键点投影坐标的误差量更新所述目标的尺寸信息；根据所述更新后的目标尺寸信息、目标在相对世界坐标系下底面中心点位置坐标、以及目标投影关键点坐标值，获取目标的航向角信息；根据更新后的目标尺寸信息、目标在相对世界坐标系下底面中心点位置坐标、以及目标的航向角信息，获取目标在相对世界坐标系下的俯视投影坐标。
66.进一步地，所述生成单元23，具体用于根据各个目标的包围框边界的鸟瞰俯视投影获取任意两个目标的相似度矩阵，生成初始化去除目标集合；以行坐标标识为基准计算每行中任意两个目标相似度值大于预设值的坐标标识，并且与所述去除目标集合做差集，生成目标鸟瞰图结构分布数据。标的初始鸟瞰图坐标同时进行坐标旋转,得到优化校正后
的鸟瞰图坐标。
67.进一步地，所述确认单元24，具体用于获取任意泊位和目标之间的相关度矩阵；根据所述相关度矩阵以及目标鸟瞰图结构分布数据获取各个目标与对应泊位之间的位置关系。
68.本发明提供的一种基于单目图片的多目标鸟瞰结构图构建系统，根据预置的高位摄像头对应的等价相机参数和地面深度图获取各个目标包围框边界的鸟瞰俯视投影，结合单目图像中各个目标的局部姿态信息和近似尺寸信息，可实现高效获取相机视角下全局目标鸟瞰图结构分布数据，并用于后续复杂泊位和场景内目标匹配结果输出。本发明通过现有单目估计结果进行等价三维结果估计，实现视角场景内的全局目标鸟瞰图结构分布估计，而无需额外采集设备数据采集或是特殊标注结果准备用于全局目标鸟瞰图估计的深度模型训练，可以解决现有鸟瞰图的构建实现难度较大的问题，为后续复杂场景的自动化处理率提升提供必要的算法和数据基础。
69.应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
70.在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
71.为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本技术公开的原理和新颖性特征的最广范围相一致。
72.上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
73.本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(i l l ustrat i ve l ogi ca l b l ock)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(i nterchangeab i l ity)，上述的各种说明性部件(i l l ustrat i ve components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现
不应被理解为超出本发明实施例保护的范围。
74.本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(as i c)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
75.本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动磁盘、cd-rom或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于as i c中，as i c可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
76.在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于ram、rom、eeprom、cd-rom或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(dsl)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(d i sk)和磁盘(d i sc)包括压缩磁盘、镭射盘、光盘、dvd、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
77.以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于单目图片的多目标鸟瞰结构图构建方法，其特征在于，所述方法包括：获取采集的图像中各个目标的局部姿态信息和近似尺寸信息；根据预置高位摄像头对应的等价相机参数和地面深度图，构建所述各个目标包围框边界的鸟瞰俯视投影；根据所述各个目标的局部姿态信息、近似尺寸信息、以及所述各个目标包围框边界的鸟瞰俯视投影进行无效目标过滤，生成目标鸟瞰图结构分布数据；根据所述目标鸟瞰图结构分布数据确认各个目标与对应泊位之间的位置关系。2.根据权利要求1所述的一种基于单目图片的多目标鸟瞰结构图构建方法，其特征在于，所述获取采集的图像中各个目标的局部姿态信息和近似尺寸信息的步骤包括：根据目标检测结果和预置姿态估计模型获取各个目标的局部姿态信息和相对尺寸信息，并根据预设近似目标宽度值和预设不确定性估计量模型对所述各个目标的局部姿态信息和相对尺寸信息进行过滤；或者通过二维图像上预置的目标立体包围框对应的关键点检测结果获取采集的图像中各个目标的局部姿态信息和近似尺寸信息。3.根据权利要求1所述的一种基于单目图片的多目标鸟瞰结构图构建方法，其特征在于，所述根据预置高位摄像头对应的等价相机参数和地面深度图，构建所述各个目标包围框边界的鸟瞰俯视投影的步骤包括：根据预置高位摄像头等价相机参数、地面深度图、以及各个目标的投影关键点坐标值，获取目标在相对世界坐标系下底面中心点位置坐标；根据所述目标在相对世界坐标系下底面中心点位置坐标，更新所述目标的全局姿态信息；根据所述更新后的目标全局姿态信息、初始目标尺寸信息、以及所述目标关键点投影坐标的误差量更新所述目标的尺寸信息；根据高位摄像头等价相机参数和更新后的目标全局姿态信息，获取目标的航向角信息；根据更新后的目标尺寸信息、目标在相对世界坐标系下底面中心点位置坐标、以及目标的航向角信息，获取目标在相对世界坐标系下的俯视投影坐标。4.根据权利要求1所述的一种基于单目图片的多目标鸟瞰结构图构建方法，其特征在于，所述根据所述各个目标的局部姿态信息、近似尺寸信息、以及所述各个目标包围框边界的鸟瞰俯视投影进行无效目标过滤，生成目标鸟瞰图结构分布数据的步骤包括：根据各个目标的包围框边界的鸟瞰俯视投影获取任意两个目标的相似度矩阵，生成初始化去除目标集合；以行坐标标识为基准计算每行中任意两个目标相似度值大于预设值的坐标标识，并且与所述去除目标集合做差集，生成目标鸟瞰图结构分布数据。5.根据权利要求1所述的一种基于单目图片的多目标鸟瞰结构图构建方法，其特征在于，所述根据所述目标鸟瞰图结构分布数据确认各个目标与对应泊位之间的位置关系的步骤包括：获取任意泊位和目标之间的相关度矩阵；根据所述相关度矩阵以及目标鸟瞰图结构分布数据获取各个目标与对应泊位之间的
位置关系。6.一种基于单目图片的多目标鸟瞰结构图构建系统，其特征在于，所述系统包括：获取单元，用于获取采集的图像中各个目标的局部姿态信息和近似尺寸信息；构建单元，用于根据预置高位摄像头对应的等价相机参数和地面深度图，构建所述各个目标包围框边界的鸟瞰俯视投影；生成单元，用于根据所述各个目标的局部姿态信息、近似尺寸信息、以及所述各个目标包围框边界的鸟瞰俯视投影进行无效目标过滤，生成目标鸟瞰图结构分布数据；确认单元，用于根据所述目标鸟瞰图结构分布数据确认各个目标与对应泊位之间的位置关系。7.根据权利要求6所述的一种基于单目图片的多目标鸟瞰结构图构建系统，其特征在于，所述获取单元，具体用于根据目标检测结果和预置姿态估计模型获取各个目标的局部姿态信息和相对尺寸信息，并根据预设近似目标宽度值和预设不确定性估计量模型对所述各个目标的局部姿态信息和相对尺寸信息进行过滤；或者通过二维图像上预置的目标立体包围框对应的关键点检测结果获取采集的图像中各个目标的局部姿态信息和近似尺寸信息。8.根据权利要求6所述的一种基于单目图片的多目标鸟瞰结构图构建系统，其特征在于，所述构建单元，具体用于根据预置高位摄像头等价相机参数、地面深度图、以及各个目标的投影关键点坐标值，获取目标在相对世界坐标系下底面中心点位置坐标；根据所述目标在相对世界坐标系下底面中心点位置坐标，更新所述目标的全局姿态信息；根据所述更新后的目标全局姿态信息、初始目标尺寸信息、以及所述目标关键点投影坐标的误差量更新所述目标的尺寸信息；根据高位摄像头等价相机参数和更新后的目标全局姿态信息，获取目标的航向角信息；根据更新后的目标尺寸信息、目标在相对世界坐标系下底面中心点位置坐标、以及目标的航向角信息，获取目标在相对世界坐标系下的俯视投影坐标。9.根据权利要求6所述的一种基于单目图片的多目标鸟瞰结构图构建系统，其特征在于，所述生成单元，具体用于根据各个目标的包围框边界的鸟瞰俯视投影获取任意两个目标的相似度矩阵，生成初始化去除目标集合；以行坐标标识为基准计算每行中任意两个目标相似度值大于预设值的坐标标识，并且与所述去除目标集合做差集，生成目标鸟瞰图结构分布数据。标的初始鸟瞰图坐标同时进行坐标旋转,得到优化校正后的鸟瞰图坐标。10.根据权利要求6所述的一种基于单目图片的多目标鸟瞰结构图构建系统，其特征在于，所述确认单元，具体用于获取任意泊位和目标之间的相关度矩阵；根据所述相关度矩阵以及目标鸟瞰图结构分布数据获取各个目标与对应泊位之间的位置关系。

技术总结
本发明公开一种基于单目图片的多目标鸟瞰结构图构建方法及系统，涉及智能交通管理领域，包括：根据预置的高位摄像头对应的等价相机参数和地面深度图获取各个目标包围框边界的鸟瞰俯视投影，结合单目图像中各个目标的局部姿态信息和近似尺寸信息，可实现高效获取相机视角下全局目标鸟瞰图结构分布数据，并用于后续复杂泊位和场景内目标匹配结果输出。本发明通过现有单目估计结果进行等价三维结果估计，实现视角场景内的全局目标鸟瞰图结构分布估计，无需额外采集设备数据采集或是特殊标注结果准备用于全局目标鸟瞰图估计的深度模型训练，可以解决现有鸟瞰图的构建实现难度较大的问题，为后续复杂场景的自动化处理率提升提供必要的算法和数据基础。供必要的算法和数据基础。供必要的算法和数据基础。


技术研发人员：闫军 纪双西
受保护的技术使用者：超级视线科技有限公司
技术研发日：2023.02.09
技术公布日：2023/8/24