单目相机绝对深度获取方法、装置、电子设备及存储介质与流程

未命名 07-28 阅读:157 评论:0


1.本技术涉及自动驾驶车辆导航技术领域,尤其涉及导航过程中的一种单目相机绝对深度获取方法、装置、电子设备及存储介质。


背景技术:

2.单目深度信息是指通过单个摄像头获取的场景深度信息。通常使用计算机视觉算法,如视差法、结构光法和光流法等,从单目图像中推测出物体距离摄像头的远近,从而获得场景深度信息。单目深度信息应用广泛,如虚拟现实、机器人导航、自动驾驶等领域。
3.相关技术中,单目深度信息的获取一般采用单目深度估计神经网络的方法获取,但是单目深度估计神经网络只能得到相对深度,需要计算转换系数将相对深度转换成绝对深度,通过这种方法获取的转换系数不准确,容易造成误差,导致绝对深度的精度过低。


技术实现要素:

4.为解决或部分解决相关技术中存在的问题,本技术提供一种单目相机绝对深度获取方法、装置、电子设备及存储介质,能够对转换系数进行多次迭代,得到更准确的转换系数,能够准确地获得单目相机拍摄图像中对象的绝对深度。
5.本技术第一方面提供一种单目相机绝对深度获取方法,包括:根据两个目标特征的相对深度信息、像素坐标和单目相机的相机内参矩阵,获得所述两个目标特征的第一相对宽度;根据所述两个目标特征的绝对宽度与所述第一相对宽度的比值,获得用于将所述相对深度信息转换为绝对深度信息的当次转换系数,并根据所述相对深度信息和当次转换系数,获取所述两个目标特征的当次绝对深度信息;根据所述当次绝对深度信息、所述像素坐标和所述单目相机的相机内参矩阵,获得所述两个目标特征每个像素点的三维坐标;根据所述两个目标特征每个像素点的三维坐标对应的像素坐标、所述相对深度信息和所述相机内参矩阵,获得所述两个目标特征的第二相对宽度;根据所述绝对宽度与所述两个目标特征的第二相对宽度的比值,获得用于将所述相对深度信息转换为绝对深度信息的下一次转换系数,并根据所述相对深度信息和下一次转换系数,获取所述两个目标特征的待定绝对深度信息;如果所述下一次转换系数与所述当次转换系数的差值小于设定系数阈值,则将所述两个目标特征的待定绝对深度信息确定为所述两个目标特征的绝对深度信息。
6.在其中一个实施例中,如果所述下一次转换系数与当次参考转换系数的差值大于或等于设定系数阈值,则根据所述待定绝对深度信息、所述两个目标特征的像素坐标和所述单目相机的相机内参矩阵,获得所述两个目标特征每个像素点的三维坐标;根据所述两个目标特征每个像素点的三维坐标对应的像素坐标、所述相对深度信息和所述相机内参矩阵,获得所述两个目标特征的第二相对宽度;
根据所述绝对宽度与所述两个目标特征的第二相对宽度的比值,获得将所述相对深度信息转换为绝对深度信息的下一次转换系数,并根据所述相对深度信息和下一次转换系数,获取所述两个目标特征的待定绝对深度信息;直至所述下一次转换系数与所述当次转换系数的差值小于设定系数阈值。
7.在其中一个实施例中,所述根据所述两个目标特征每个像素点的三维坐标对应的像素坐标、所述相对深度信息和所述相机内参矩阵,获得所述两个目标特征的第二相对宽度,包括:分别获取所述两个目标特征每个像素点的三维坐标与所述单目相机的前方中点的第一距离、与所述单目相机的左侧边缘中点的第二距离,以及与所述单目相机的右侧边缘中点的第三距离;将所述第一距离大于第一设定距离阈值、所述第二距离和所述第三距离大于第二距离阈值对应的像素点删除,获得所述两个目标特征的第一像素点集合;根据所述第一像素点集合中每个像素点的三维坐标对应的像素坐标、所述相对深度信息和所述相机内参矩阵,获得所述两个目标特征的第二相对宽度。
8.在其中一个实施例中,所述根据所述两个目标特征每个像素点的三维坐标对应的像素坐标、所述相对深度信息和所述相机内参矩阵,获得所述两个目标特征的第二相对宽度,包括:分别获取所述两个目标特征每个像素点的三维坐标与相邻像素点的三维坐标的第四距离;将所述第四距离大于第三设定距离阈值对应的相邻像素点删除,获得所述两个目标特征的第一像素点集合;根据所述第一像素点集合中每个像素点的三维坐标对应的像素坐标、所述相对深度信息和所述相机内参矩阵,获得所述两个目标特征的第二相对宽度。
9.在其中一个实施例中,所述将所述第四距离大于第三设定距离阈值对应的相邻像素点删除,获得所述两个目标特征的第一像素点集合,还包括:如果所述两个目标特征的一个像素点的三维坐标与所有相邻像素点的三维坐标的第四距离都大于第三设定距离阈值,将所述两个目标特征的一个像素点和所有相邻像素点删除,获得所述两个目标特征的第一像素点集合。
10.在其中一个实施例中,所述获取图像中所述两个目标特征每个像素点的相对深度信息,包括:根据深度估计网络模型获取图像中所述两个目标特征每个像素点的相对深度信息。
11.本技术第二方面提供一种单目相机绝对深度获取装置,包括:第一获取模块,用于根据两个目标特征的相对深度信息、像素坐标和单目相机的相机内参矩阵,获得所述两个目标特征的第一相对宽度;第一处理模块,用于根据所述两个目标特征的绝对宽度与所述第一相对宽度的比值,获得用于将所述相对深度信息转换为绝对深度信息的当次转换系数,并根据所述相对深度信息和当次转换系数,获取所述两个目标特征的当次绝对深度信息;第二获取模块,用于根据所述当次绝对深度信息、所述像素坐标和所述单目相机
的相机内参矩阵,获得所述两个目标特征每个像素点的三维坐标;第二处理模块,用于根据所述两个目标特征每个像素点的三维坐标对应的像素坐标、所述相对深度信息和所述相机内参矩阵,获得所述两个目标特征的第二相对宽度;第三处理模块,用于根据所述绝对宽度与所述两个目标特征的第二相对宽度的比值,获得用于将所述相对深度信息转换为绝对深度信息的下一次转换系数,并根据所述相对深度信息和下一次转换系数,获取所述两个目标特征的待定绝对深度信息;判断模块,用于如果所述下一次转换系数与所述当次转换系数的差值小于设定系数阈值,则将所述两个目标特征的待定绝对深度信息确定为所述两个目标特征的绝对深度信息。
12.在其中一个实施例中,所述第二处理模块还用于:分别获取所述两个目标特征每个像素点的三维坐标与所述单目相机的前方中点的第一距离、与所述单目相机的左侧边缘中点的第二距离和与所述单目相机的右侧边缘中点的第三距离;将所述第一距离大于第一设定距离阈值、所述第二距离和所述第三距离大于第二距离阈值对应的像素点删除,获得所述两个目标特征的第一像素点集合;根据所述第一像素点集合中每个像素点的三维坐标对应的像素坐标、所述相对深度信息和所述相机内参矩阵,获得所述两个路面特征的第二相对宽度。
13.本技术第三方面提供一种电子设备,包括:处理器;以及存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如上所述的方法。
14.本技术第四方面提供一种计算机可读存储介质,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如上所述的方法。
15.本技术提供的技术方案可以包括以下有益效果:本技术的技术方案,能够根据两个目标特征的相对深度信息、像素坐标和单目相机的相机内参矩阵,获得用于将相对深度信息转换为绝对深度信息的当次转换系数和当次绝对深度信息,然后获取两个目标特征每个像素点的三维坐标;根据两个目标特征每个像素点的三维坐标对应的像素坐标、相对深度信息和相机内参矩阵,获得用于将相对深度信息转换为绝对深度信息的下一次转换系数和待定绝对深度信息;如果下一次转换系数与当次转换系数的差值小于设定系数阈值,则将两个目标特征的待定绝对深度信息确定为两个目标特征的绝对深度信息,能够对相对深度转绝对深度转换系数进行多次迭代,得到更准确的相对深度转绝对深度的转换系数,能够准确地获得单目相机拍摄图像中对象的绝对深度。
16.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本技术。
附图说明
17.通过结合附图对本技术示例性实施方式进行更详细地描述,本技术的上述以及其他目的、特征和优势将变得更加明显,其中,在本技术示例性实施方式中,相同的参考标号
通常代表相同部件。
18.图1是本技术实施例示出的单目相机绝对深度获取方法的流程示意图;图2是本技术实施例示出的单目相机绝对深度获取方法的另一流程示意图;图3是本技术实施例示出的单目相机绝对深度获取装置的结构示意图;图4是本技术实施例示出的电子设备的结构示意图。
具体实施方式
19.下面将参照附图更详细地描述本技术的实施方式。虽然附图中显示了本技术的实施方式,然而应该理解,可以以各种形式实现本技术而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本技术更加透彻和完整,并且能够将本技术的范围完整地传达给本领域的技术人员。
20.在本技术使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
21.应当理解,尽管在本技术可能采用术语“第一”、“第二”、“第三”等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本技术范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
22.相对深度,代表像素点与像素点之间的相对远近关系,不是真实的深度值,深度值越大,代表距离越远。绝对深度,代表像素点的值距离相机的真实距离。
23.相关技术中绝对深度信息获取方法一般通过相对深度信息及相对深度转绝对深度的转换系数进行转换获得,但相对深度是单目深度估计网络预测出来的结果,无法做到完全准确,这样使得计算出来的相对深度转绝对深度系数也不准确,进而导致获取的绝对深度不精确。
24.针对上述问题,本技术实施例提供一种单目相机绝对深度获取方法,能够对相对深度转绝对深度转换系数进行多次迭代,得到更准确的相对深度转绝对深度的转换系数,能够准确地获得单目相机拍摄图像中对象的绝对深度。
25.以下结合附图详细描述本技术实施例的技术方案。
26.实施例一图1是本技术实施例示出的单目相机绝对深度获取方法的流程示意图。
27.参见图1,一种单目相机绝对深度获取方法,包括:在s110中,根据两个目标特征的相对深度信息、像素坐标和单目相机的相机内参矩阵,获得两个目标特征的第一相对宽度。
28.在一种实施例中,可以获取由单目相机在车辆行驶时采集道路的视频,从视频中获取包含两个目标特征的图像,目标特征可以是路面特征,其中单目相机可以是车载相机,例如可以是行车记录仪的单目相机,但不限于此,也可以是装设在车辆上的其他设备的单
目相机。可以根据获取的两个目标特征的相对深度信息、图像中两个目标特征的像素点的像素坐标,以及单目相机的相机内参矩阵,获得两个目标特征的第一相对宽度。
29.在一种具体实施方式中,目标特征包括但不限于车道线、道路边缘线、电线杆、绿化带、交通标志标识牌、红绿灯等。两个目标特征可以是两个相同的特征,也可以是两个不同的特征。
30.在s120中,根据两个目标特征的绝对宽度与第一相对宽度的比值,获得将相对深度信息转换为绝对深度信息的当次转换系数,并根据相对深度信息和当次转换系数,获取两个目标特征的当次绝对深度信息。
31.在一种实施例中,两个目标特征之间的绝对宽度为一已知确定值,可以从地图数据库系统获取,也可以通过测量方式测量两个目标特征之间的绝对宽度以验证两个目标特征之间的绝对宽度,将两个目标特征的绝对宽度除以第一相对宽度,可以获得将相对深度信息转换为绝对深度信息的当次转换系数,并根据相对深度信息和当次转换系数乘积,获得两个目标特征的当次绝对深度信息。
32.在s130中,根据当次绝对深度信息、像素坐标和单目相机的相机内参矩阵,获得两个目标特征每个像素点的三维坐标。
33.在一种实施例中,可以根据当次绝对深度信息、图像中两个目标特征的像素点的像素坐标,以及单目相机的相机内参矩阵,通过计算获得每个像素点的三维坐标。
34.在s140中,根据两个目标特征每个像素点的三维坐标对应的像素坐标、相对深度信息和相机内参矩阵,获得两个目标特征的第二相对宽度。
35.在一种实施例中,两个目标特征的每个像素点的三维坐标都对应有不同的像素坐标,根据像素坐标、相对深度信息和相机内参矩阵,可以获得两个目标特征的第二相对宽度,第二相对宽度可以不等于第一相对宽度。
36.在s150中,根据绝对宽度与两个目标特征的第二相对宽度的比值,获得将相对深度信息转换为绝对深度信息的下一次转换系数,并根据相对深度信息和下一次转换系数,获取两个目标特征的待定绝对深度信息。
37.在一种实施例中,当已知两个目标特征之间的绝对宽度和第二相对宽度后,可以采用两个目标特征之间的绝对宽度和第二相对宽度的比值计算该单目相机的相对深度信息转换为绝对深度信息的下一次转换系数,再利用该单目相机的相对深度信息转换为绝对深度信息的下一次转换系数及目标特征的相对深度的乘积,可以获得两个目标特征的待定绝对深度信息。
38.在s160中,如果下一次转换系数与当次转换系数的差值小于设定系数阈值,则将两个目标特征的待定绝对深度信息确定为两个目标特征的绝对深度信息。
39.在一种实施例中,设定系数阈值可以根据实际需要设置,当下一次转换系数与当次转换系数的差值小于设定系数阈值,可以将下一次转换系数作为所需的转换系数,可以将两个目标特征的待定绝对深度信息确定为两个目标特征的绝对深度信息。
40.本技术实施例的单目相机绝对深度获取方法,能够根据两个目标特征的相对深度信息、像素坐标和单目相机的相机内参矩阵,获得用于将相对深度信息转换为绝对深度信息的当次转换系数和当次绝对深度信息,然后获取两个目标特征每个像素点的三维坐标;根据两个目标特征每个像素点的三维坐标对应的像素坐标、相对深度信息和相机内参矩
阵,获得用于将相对深度信息转换为绝对深度信息的下一次转换系数和待定绝对深度信息;如果下一次转换系数与当次转换系数的差值小于设定系数阈值,则将两个目标特征的待定绝对深度信息确定为两个目标特征的绝对深度信息,能够对相对深度转绝对深度转换系数进行多次迭代,得到更准确的相对深度转绝对深度的转换系数,能够准确地获得单目相机拍摄图像中对象的绝对深度。
41.实施例二图2是本技术实施例示出的单目相机绝对深度获取方法的另一流程示意图。
42.参见图2,一种单目相机绝对深度获取方法,包括:在s210中,根据两个目标特征的相对深度信息、绝对宽度、像素坐标和单目相机的相机内参矩阵,获得两个目标特征的第一相对宽度。
43.在s220中,根据两个目标特征的绝对宽度与第一相对宽度的比值,获得将相对深度信息转换为绝对深度信息的当次转换系数,并根据相对深度信息和当次转换系数,获取两个目标特征的当次绝对深度信息。
44.在一种实施例中,可以根据两个目标特征的相对深度信息、像素坐标和单目相机的相机内参矩阵获得第一相对宽度,根据绝对宽度和第一相对宽度的比值可以获得将相对深度信息转换为绝对深度信息的当次转换系数,并通过相对深度信息和当次转换系数的乘积计算出当次绝对深度信息。
45.在一种具体实施方式中,两个目标特征包括但不限于道路的相邻的车道线、标线、标志、路牌、信号灯等。以两个目标特征为相邻的两条车道线为例,两条车道线可以是车辆行驶所处车道两侧的两条车道线,即同一车道的两条车道线。两条车道线之间的绝对宽度为一确定值,可以从地图数据库系统获取,进一步地,也可以采用距离测量方式测量两条车道线之间的绝对宽度以验证两个两条车道线之间的绝对宽度。
46.在一种实施例中,可以根据深度估计网络模型获取图像中两个目标特征每个像素点的相对深度信息。可以对图像进行深度估计,获取两个目标特征每个像素点的相对深度信息,具体的,可以将图像输入深度估计模型,由深度估计模型对图像进行深度估计,获取深度估计模型输出的图像中两个目标特征的相对深度信息。其中,深度估计模型由深度估计网络对包含目标特征的图像训练得到,深度估计网络包括编码器和解码器,编码器可以对输入的图像进行特征提取,生成特征图,解码器对编码器输出的特征图进行整合解析,在解码器的输出端使用sigmoid函数处理,从而输出相对深度。深度估计网络可以为monodepth2,采用monodepth2训练得到的深度估计网络模型对图像进行深度估计后可以输出该图像中两个目标特征的相对深度。
47.在s230中,根据当次绝对深度信息、像素坐标和单目相机的相机内参矩阵,获得两个目标特征每个像素点的三维坐标。
48.在一种实施例中,目标特征可以是车道线,当两个目标特征为同一车道的两侧车道线时,可以根据当次绝对深度信息、图像中两个目标特征的像素点的像素坐标,以及单目相机的相机内参矩阵,通过计算获得每个像素点的三维坐标,具体为当次绝对深度信息乘以单目相机的相机内参矩阵的逆矩阵乘以像素坐标,可以得到两个目标特征每个像素点对应的三维坐标。
49.在s240中,根据两个目标特征每个像素点的三维坐标对应的像素坐标、相对深度
信息和相机内参矩阵,获得两个目标特征的第二相对宽度。
50.在一种实施例中,可以分别获取两个目标特征每个像素点的三维坐标与单目相机的前方中点的第一距离、与单目相机的左侧边缘中点的第二距离、与单目相机的右侧边缘中点的第三距离和与相邻像素点的三维坐标的第四距离。第一距离可以是每个像素点的三维坐标与单目相机前方中点的距离,第二距离可以是每个像素点的三维坐标与单目相机左侧中点的距离,第三距离可以是每个像素点的三维坐标与单目相机右侧中点的距离。第四距离可以是目标特征每个像素点的三维坐标与相邻像素点的三维坐标的距离,例如可以是每个像素点的三维坐标与邻近8个像素点的三维坐标的距离。
51.在一种实施例中,可以分别获取两个目标特征每个像素点的三维坐标与单目相机的前方中点的第一距离、与单目相机的左侧边缘中点的第二距离、与单目相机的右侧边缘中点的第三距离;将第一距离大于第一设定距离阈值、第二距离和第三距离大于第二距离阈值对应的像素点删除,获得两个目标特征的第一像素点集合;根据第一像素点集合中每个像素点的三维坐标对应的像素坐标、相对深度信息和相机内参矩阵,获得两个目标特征的第二相对宽度。
52.在一种实施例中,可以分别获取两个目标特征每个像素点的三维坐标与相邻像素点的三维坐标的第四距离;将第四距离大于第三设定距离阈值对应的相邻像素点删除,获得两个目标特征的第一像素点集合;根据第一像素点集合中每个像素点的三维坐标对应的像素坐标、目标特征相对深度信息和目标特征相机内参矩阵,获得目标特征两个目标特征的第二相对宽度。
53.在一种实施例中,可以分别获取两个目标特征每个像素点的三维坐标与单目相机的前方中点的第一距离、与单目相机的左侧边缘中点的第二距离、与单目相机的右侧边缘中点的第三距离和与相邻像素点的三维坐标的第四距离;将第一距离大于第一设定距离阈值、第二距离、第三距离大于第二距离阈值的像素点删除,得到删除后保留下来的像素点,再对保留下来的像素点进行判定,将像素点的三维坐标与相邻像素点的三维坐标的第四距离大于第三设定阈值的像素点删除,获得两个目标特征的第一像素点集合。
54.在一种实施例中,如果两个目标特征的一个像素点的三维坐标与所有相邻像素点的三维坐标的第四距离都大于第三设定距离阈值,将两个目标特征的一个像素点和所有相邻像素点删除,获得两个目标特征的第一像素点集合。即当一个像素点与所有相邻像素点的三维坐标的第四距离都大于第三设定距离阈值时,可以将该像素点和相邻像素点删除,例如,当前像素点与邻近的8个像素点的第四距离都大于第三设定阈值,则将当前像素点和邻近的8个像素点删除,得到保留下的像素点的第一像素点集合。
55.在一种实施例中,第一设定距离阈值和第二设定距离阈值可以按实际需要设置,例如,第一设定距离阈值可以为5米,第二设定距离阈值可以为4米。
56.在s250中,根据两个目标特征的绝对宽度与两个目标特征的第二相对宽度的比值,获得将相对深度信息转换为绝对深度信息的下一次转换系数,并根据相对深度信息和下一次转换系数,获取两个目标特征的待定绝对深度信息。
57.在一种实施例中,将两个目标特征的绝对宽度除以第二相对宽度,可以获得将相对深度信息转换为绝对深度信息的下一次转换系数,将相对深度信息转换为绝对深度信息的下一次转换系数可以与当次转换系数不一样,并根据相对深度信息和下一次转换系数的
乘积,获取两个目标特征的特定绝对深度信息。
58.在s260中,判断下一次转换系数与当次转换系数的差值是否小于设定系数阈值,如果是,执行s270;如果否,执行s230。
59.在s270中,将两个目标特征的待定绝对深度信息确定为两个目标特征的绝对深度信息。
60.在一种实施例中,如果下一次转换系数与当次转换系数的差值小于设定系数阈值,则将两个目标特征的待定绝对深度信息确定为两个目标特征的绝对深度信息。
61.在一种实施例中,如果下一次转换系数与当次参考转换系数的差值大于或等于设定系数阈值,则根据待定绝对深度信息、两个目标特征的像素坐标和单目相机的相机内参矩阵,获得两个目标特征每个像素点的三维坐标,循环步骤s230、s240、s250、s260,直至获得的将相对深度信息转换为绝对深度信息的转换系数与上一次获得的转换系数的差值小于设定系数阈值,则根据相对深度信息和转换系数,获取两个目标特征的待定绝对深度信息,将两个目标特征的待定绝对深度信息确定为两个目标特征的绝对深度信息。通过多次循环计算获得转换系数,能够获得更加准确的将相对深度信息转换为绝对深度信息的转换系数,进而获得更加准确的单目相机的绝对深度。
62.本技术实施例的单目相机绝对深度获取方法,能够根据两个目标特征的相对深度信息、像素坐标和单目相机的相机内参矩阵,获得用于将相对深度信息转换为绝对深度信息的当次转换系数和当次绝对深度信息,然后获取两个目标特征每个像素点的三维坐标;根据两个目标特征每个像素点的三维坐标对应的像素坐标、相对深度信息和相机内参矩阵,获得用于将相对深度信息转换为绝对深度信息的下一次转换系数和待定绝对深度信息;如果下一次转换系数与当次转换系数的差值小于设定系数阈值,则将两个目标特征的待定绝对深度信息确定为两个目标特征的绝对深度信息,能够对相对深度转绝对深度转换系数进行多次迭代,得到更准确的相对深度转绝对深度的转换系数,能够准确地获得单目相机拍摄图像中对象的绝对深度。
63.实施例三与前述应用功能实现方法实施例相对应,本技术还提供了一种单目相机绝对深度获取装置、电子设备及相应的实施例。
64.图3是本技术实施例示出的单目相机绝对深度获取装置的结构示意图。
65.参见图3,一种单目相机绝对深度获取装置30,包括第一获取模块310、第一处理模块320、第二获取模块330、第二处理模块340、第三处理模块350、判断模块360。
66.第一获取模块310,用于根据两个目标特征的相对深度信息、像素坐标和单目相机的相机内参矩阵,获得两个目标特征的第一相对宽度;第一处理模块320,用于根据两个目标特征的绝对宽度与第一相对宽度的比值,获得将相对深度信息转换为绝对深度信息的当次转换系数,并根据相对深度信息和当次转换系数,获取两个目标特征的当次绝对深度信息;第二获取模块330,用于根据当次绝对深度信息、像素坐标和单目相机的相机内参矩阵,获得两个目标特征每个像素点的三维坐标;第二处理模块340,用于根据两个目标特征每个像素点的三维坐标对应的像素坐标、相对深度信息和相机内参矩阵,获得两个目标特征的第二相对宽度;
(application specific integrated circuit,asic)、现场可编程门阵列 (field-programmable gate array,fpga) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
77.存储器410可以包括各种类型的存储单元,例如系统内存、只读存储器(rom)和永久存储装置。其中,rom可以存储处理器420或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中,永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中,永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备,例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外,存储器410可以包括任意计算机可读存储媒介的组合,包括各种类型的半导体存储芯片(例如dram,sram,sdram,闪存,可编程只读存储器),磁盘和/或光盘也可以采用。在一些实施方式中,存储器410可以包括可读和/或写的可移除的存储设备,例如激光唱片(cd)、只读数字多功能光盘(例如dvd-rom,双层dvd-rom)、只读蓝光光盘、超密度光盘、闪存卡(例如sd卡、min sd卡、micro-sd卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
78.存储器410上存储有可执行代码,当可执行代码被处理器420处理时,可以使处理器420执行上文述及的方法中的部分或全部。
79.此外,根据本技术的方法还可以实现为一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括用于执行本技术的上述方法中部分或全部步骤的计算机程序代码指令。
80.或者,本技术还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质),其上存储有可执行代码(或计算机程序或计算机指令代码),当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时,使处理器执行根据本技术的上述方法的各个步骤的部分或全部。
81.以上已经描述了本技术的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。

技术特征:
1.一种单目相机绝对深度获取方法,其特征在于:根据两个目标特征的相对深度信息、像素坐标和单目相机的相机内参矩阵,获得所述两个目标特征的第一相对宽度;根据所述两个目标特征的绝对宽度与所述第一相对宽度的比值,获得用于将所述相对深度信息转换为绝对深度信息的当次转换系数,并根据所述相对深度信息和所述当次转换系数,获取所述两个目标特征的当次绝对深度信息;根据所述当次绝对深度信息、所述像素坐标和所述单目相机的相机内参矩阵,获得所述两个目标特征每个像素点的三维坐标;根据所述两个目标特征每个像素点的三维坐标对应的像素坐标、所述相对深度信息和所述相机内参矩阵,获得所述两个目标特征的第二相对宽度;根据所述绝对宽度与所述两个目标特征的第二相对宽度的比值,获得用于将所述相对深度信息转换为绝对深度信息的下一次转换系数,并根据所述相对深度信息和下一次转换系数,获取所述两个目标特征的待定绝对深度信息;如果所述下一次转换系数与所述当次转换系数的差值小于设定系数阈值,则将所述两个目标特征的待定绝对深度信息确定为所述两个目标特征的绝对深度信息。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:如果所述下一次转换系数与所述当次参考转换系数的差值大于或等于设定系数阈值,则根据所述待定绝对深度信息、所述两个目标特征的像素坐标和所述单目相机的相机内参矩阵,获得所述两个目标特征每个像素点的三维坐标;根据所述两个目标特征每个像素点的三维坐标对应的像素坐标、所述相对深度信息和所述相机内参矩阵,获得所述两个目标特征的第二相对宽度;根据所述绝对宽度与所述两个目标特征的第二相对宽度的比值,获得用于将所述相对深度信息转换为绝对深度信息的下一次转换系数,并根据所述相对深度信息和下一次转换系数,获取所述两个目标特征的待定绝对深度信息;直至所述下一次转换系数与所述当次转换系数的差值小于设定系数阈值。3.根据权利要求1所述的方法,其特征在于,所述根据所述两个目标特征每个像素点的三维坐标对应的像素坐标、所述相对深度信息和所述相机内参矩阵,获得所述两个目标特征的第二相对宽度,包括:分别获取所述两个目标特征每个像素点的三维坐标与所述单目相机的前方中点的第一距离、与所述单目相机的左侧边缘中点的第二距离,以及与所述单目相机的右侧边缘中点的第三距离;将所述第一距离大于第一设定距离阈值、所述第二距离和所述第三距离大于第二距离阈值对应的像素点删除,获得所述两个目标特征的第一像素点集合;根据所述第一像素点集合中每个像素点的三维坐标对应的像素坐标、所述相对深度信息和所述相机内参矩阵,获得所述两个目标特征的第二相对宽度。4.根据权利要求1所述的方法,其特征在于,所述根据所述两个目标特征每个像素点的三维坐标对应的像素坐标、所述相对深度信息和所述相机内参矩阵,获得所述两个目标特征的第二相对宽度,包括:分别获取所述两个目标特征每个像素点的三维坐标与相邻像素点的三维坐标的第四
距离;将所述第四距离大于第三设定距离阈值对应的相邻像素点删除,获得所述两个目标特征的第一像素点集合;根据所述第一像素点集合中每个像素点的三维坐标对应的像素坐标、所述相对深度信息和所述相机内参矩阵,获得所述两个目标特征的第二相对宽度。5.根据权利要求4所述的方法,其特征在于,所述将所述第四距离大于第三设定距离阈值对应的相邻像素点删除,获得所述两个目标特征的第一像素点集合,还包括:如果所述两个目标特征的一个像素点的三维坐标与所有相邻像素点的三维坐标的第四距离都大于第三设定距离阈值,将所述两个目标特征的一个像素点和所有相邻像素点删除,获得所述两个目标特征的第一像素点集合。6.根据权利要求1所述的方法,其特征在于,所述获取图像中所述两个目标特征每个像素点的相对深度信息,包括:根据深度估计网络模型获取图像中所述两个目标特征每个像素点的相对深度信息。7.一种单目相机绝对深度获取装置,其特征在于,包括:第一获取模块,用于根据两个目标特征的相对深度信息、像素坐标和单目相机的相机内参矩阵,获得所述两个目标特征的第一相对宽度;第一处理模块,用于根据所述两个目标特征的绝对宽度与所述第一相对宽度的比值,获得用于将所述相对深度信息转换为绝对深度信息的当次转换系数,并根据所述相对深度信息和当次转换系数,获取所述两个目标特征的当次绝对深度信息;第二获取模块,用于根据所述当次绝对深度信息、所述像素坐标和所述单目相机的相机内参矩阵,获得所述两个目标特征每个像素点的三维坐标;第二处理模块,用于根据所述两个目标特征每个像素点的三维坐标对应的像素坐标、所述相对深度信息和所述相机内参矩阵,获得所述两个目标特征的第二相对宽度;第三处理模块,用于根据所述绝对宽度与所述两个目标特征的第二相对宽度的比值,获得用于将所述相对深度信息转换为绝对深度信息的下一次转换系数,并根据所述相对深度信息和下一次转换系数,获取所述两个目标特征的待定绝对深度信息;判断模块,用于如果所述下一次转换系数与所述当次转换系数的差值小于设定系数阈值,则将所述两个目标特征的待定绝对深度信息确定为所述两个目标特征的绝对深度信息。8.根据权利要求7所述的装置,其特征在于,所述第二处理模块还用于:分别获取所述两个目标特征每个像素点的三维坐标与所述单目相机的前方中点的第一距离、与所述单目相机的左侧边缘中点的第二距离和与所述单目相机的右侧边缘中点的第三距离;将所述第一距离大于第一设定距离阈值、所述第二距离和所述第三距离大于第二距离阈值对应的像素点删除,获得所述两个目标特征的第一像素点集合;根据所述第一像素点集合中每个像素点的三维坐标对应的像素坐标、所述相对深度信息和所述相机内参矩阵,获得所述两个目标特征的第二相对宽度。9.一种电子设备,其特征在于,包括:处理器;以及
存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求1-6中任一项所述的方法。10.一种计算机可读存储介质,其特征在于:其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求1-6中任一项所述的方法。

技术总结
本申请涉及一种单目相机绝对深度获取方法、装置、电子设备及存储介质。该方法包括:根据两个目标特征的相对深度信息、像素坐标和单目相机的相机内参矩阵,获得将相对深度信息转换为绝对深度信息的当次转换系数和当次绝对深度信息,获取两个目标特征每个像素点的三维坐标;根据两个目标特征每个像素点的三维坐标对应的像素坐标、相对深度信息和相机内参矩阵,获得将相对深度信息转换为绝对深度信息的下一次转换系数和待定绝对深度信息;如果下一次转换系数与当次转换系数的差值小于设定系数阈值,则将两个目标特征的待定绝对深度信息确定为两个目标特征的绝对深度信息。本申请提供的方案,能够准确地获得单目相机拍摄图像中对象的绝对深度。对象的绝对深度。对象的绝对深度。


技术研发人员:孟鹏飞 万如 贾双成 郭杏荣
受保护的技术使用者:智道网联科技(北京)有限公司
技术研发日:2023.05.11
技术公布日:2023/7/27
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐