可穿越代价模型训练方法、路径生成方法以及装置
未命名
08-15
阅读:154
评论:0
1.本技术涉及计算机视觉技术领域,具体涉及一种可穿越代价模型训练方法、路径生成方法以及装置。
背景技术:
2.基于视觉的导航是实现自主控制的基础,目前为止,自动驾驶技术已经趋向于成熟,而前提条件是在于对周围环境的感知。实际的场景一般分为结构化道路和非结构化两类:结构化场景一般是指高速公路、城市干道等结构化较好的公路,这类道路具有清晰的道路标志线,道路的背景环境比较单一,道路的几何特征也比较明显。因此,针对它的检测问题可以简化为车道线或道路边界的检测基于车道线的研究已经步入成熟阶段。而非结构化场景一般是指城市非主干道、乡村街道等结构化程度较低的场景,这类场景没有车道线和清晰的道路边界,导致效果不佳。同时,在乡下野外等条件下会受到天气、道路材料、阴影、积水等环境因素的影响,鉴于非结构化场景复杂多变的路况,智能驾驶汽车不能准确感知周围环境,难以保证驾驶汽车的驾驶安全。
3.除此之外,障碍物的预测在自动驾驶中是至关重要的,特别是在野外复杂环境。对于无人车来说,较大的石头、倒下的树干和小型植物丛都能作为障碍物。使用深度相机和激光雷达可以准确有效的测量出小车与障碍物之间的距离。但在野外环境,受到天气光照影响,抗光干扰的深度相机大都造价高昂,激光雷达的造价也高。
技术实现要素:
4.本技术实施例提供了一种可穿越代价模型训练方法,以解决现有技术中,鉴于非结构化场景复杂多变的路况,智能驾驶汽车不能准确感知周围环境,难以保证驾驶汽车的驾驶安全的问题。
5.相应的,本技术实施例还提供了一种路径生成方法、一种可穿越代价模型训练装置、一种路径生成装置,用于保证上述方法的实现及应用。
6.为了解决上述技术问题,本技术实施例公开了一种可穿越代价模型训练方法,所述方法包括:
7.根据预先采集的第一图像和对应的标注图像训练归一化植被网络,得到归一化植被模型;所述标注图像为根据所述第一图像的归一化植被指数标注的图像;
8.利用所述归一化植被模型处理第二图像,得到所述第二图像的植被像素;
9.根据所述植被像素和对应的深度值,训练可穿越代价网络,得到可穿越代价模型;所述深度值为通过预先采集所述第二图像的深度图得到的。
10.本技术实施例还公开了一种路径生成方法,所述方法包括:
11.将采集到的目标图像输入可穿越代价模型,获得可穿越代价;其中,所述可穿越代价模型是根据权利要求1所述的可穿越代价模型训练方法训练得到的;
12.利用所述可穿越代价构建拓扑结构图;
13.利用最优路径算法对所述拓扑结构图进行处理,得到最优路径;
14.其中,所述拓扑结构图包括一个或多个区域节点以及原始节点;所述区域节点为对所述目标图像分割得到的;相邻区域节点之间双向连接,所述原始节点向其中任意一个或多个区域节点单向连接。
15.本技术实施例还公开了一种可穿越代价模型训练装置,所述装置包括:
16.归一化植被模型训练模块,根据预先采集的第一图像和对应的标注图像训练归一化植被网络,得到归一化植被模型;所述标注图像为根据所述第一图像的归一化植被指数标注的图像;
17.图像处理模块,利用所述归一化植被模型处理第二图像,得到所述第二图像的植被像素;
18.可穿越代价模型训练模块,根据所述植被像素和对应的深度值,训练可穿越代价网络,得到可穿越代价模型;所述深度值为通过预先采集所述第二图像的深度图得到的。
19.本技术实施例还公开了一种路径生成装置,所述装置包括:
20.图像处理模块,将采集到的目标图像输入可穿越代价模型,获得可穿越代价;其中,所述可穿越代价模型是根据权利要求1所述的可穿越代价模型训练方法训练得到的;
21.拓扑结构图生成模块,利用所述可穿越代价构建拓扑结构图;
22.数据处理模块,利用最优路径算法对所述拓扑结构图进行处理,得到最优路径;
23.其中,所述拓扑结构图包括一个或多个区域节点以及原始节点;所述区域节点为对所述目标图像分割得到的;相邻区域节点之间双向连接,所述原始节点向其中任意一个或多个区域节点单向连接。
24.本技术实施例还公开了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现本技术实施例中一个或多个所述的方法。
25.本技术实施例还公开了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现如本技术实施例中一个或多个所述的方法。
26.本技术实施例中,根据预先采集的第一图像和对应的标注图像训练归一化植被网络,得到归一化植被模型;所述标注图像为根据所述第一图像的归一化植被指数标注的图像;利用所述归一化植被模型处理第二图像,得到所述第二图像的植被像素;根据所述植被像素和对应的深度值,训练可穿越代价网络,得到可穿越代价模型;所述深度值为通过预先采集所述第二图像的深度图得到的。本实施例中的方法可以能实时将采集到的图像输入可穿越代价模型,并通过可穿越代价模型实时预测植被的可穿越代价,并依据预测得到的可穿越代价规划出可行路径,可确保驾驶汽车的驾驶安全。
27.本技术实施例附加的方面和优点将在下面的描述部分中给出,这些将从下面的描述中变得明显,或通过本技术的实践了解到。
附图说明
28.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
29.图1为本技术实施例提供的可穿越代价模型训练方法的流程图;
30.图2为本技术实施例提供的训练归一化植被网络的示意图;
31.图3为本技术实施例提供的训练可穿越代价网络的示意图;
32.图4为本技术实施例提供的穿越代价网络结构示意图;
33.图5为本技术实施例提供的输出头的结构示意图;
34.图6为本技术实施例提供的生成可穿越代价模型的示意图;
35.图7为本技术实施例提供的路径生成方法的流程图;
36.图8为本技术实施例提供的生成最优路径的示意图;
37.图9为本技术实施例提供的拓扑结构图;
38.图10为本技术实施例提供的可穿越代价模型训练装置的结构示意图;
39.图11为本技术实施例提供的路径生成装置的结构示意图;
40.图12为本技术实施例提供的电子设备的结构示意图。
具体实施方式
41.下面详细描述本技术的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本技术,而不能解释为对本技术的限制。
42.本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本技术的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组合。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
43.本领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
44.本技术实施例所提供的方案可以由任一电子设备执行,如可以是终端设备,也可以是服务器,其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本技术在此不做限制。对于现有技术中所存在的技术问题,本技术提供的可穿越代价模型训练方法、路径生成方法以及装置,旨在解决现有技术的技术问题中的至少一项。
45.下面以具体实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本技术的实施例进行描述。
46.本技术实施例提供了一种可能的实现方式,如图1所示,提供了一种可穿越代价模型训练方法的流程图,该方案可以由任一电子设备执行,可选的,可以在服务器端或终端设备执行,为描述方便,下面以服务器作为执行主体对本技术实施例提供的方法进行说明。
47.如图1中所示,该方法可以包括以下步骤:
48.步骤101,根据预先采集的第一图像和对应的标注图像训练归一化植被网络,得到归一化植被模型。
49.其中,所述标注图像为根据所述第一图像的归一化植被指数标注的图像。
50.野外环境大都是自然环境,在自然环境内可以使用归一化植被指数(
51.normalized difference vegetation index,简称ndvi)来区分植被覆盖区和可通行路面区,它是一种光谱变换,可以用于监测遥感领域的植被特性。由于近红外不能被植物吸收甚至会强烈反射,红光可以被植物吸收,ndvi可以测量近红外和红光之间的差异来量化植被区域。它的范围在[-1,1]之间,当值为负数时,区域内可能是水。相反,当值接近1时,则可能是绿叶或者草地。当值接近零时,即没有绿植,可能是道路或者城市化区域。
[0052]
作为第一示例,如图2所示,可以预先采集第一图像和对应的标注图像,可选地,采集到的第一图像可以为rgb图像,可以预先将rgb图像分割为多个区域,然后获取每个区域对应的归一化植被指数,并利用每个区域对应的归一化植被指数生成标注图像。其中,获取与第一图像对应的标注图像,具体如下:
[0053]
采用可见光波段相机采集第一图像上每个区域对应的红色波段,采用近红外相机采集第一图像上每个区域对应的近红外波段;
[0054]
通过归一化植被指数计算公式获得归一化植被指数,其中,归一化植被指数计算公式为:
[0055][0056]
其中,ndvi为归一化植被指数;ρ
niv
在像素ρ处近红外波段的反射率;ρ
red
为在像素ρ处的红色波段反射率。
[0057]
根据上述步骤计算得到的归一化植被指数对第一图像进行标注,生成所述的标注图像。需要说明的是,本实施例中的第一图像以及与标注图像均可以对应有多张。
[0058]
如图2,可以将第一图像和对应的标注图像输入归一化植被网络进行训练。可选地,归一化植被网络使用scikit-learn库的随机梯度下降法(stochastic gradient descend,简称sgd,scikit-learn中叫做sgdregressor)模型作为基础模型来实现,sgdregressor模型主要使用随机梯度下降法进行线性回归预测植被像素。
[0059]
可以将根据上述方法得到的第一图像以及与对应的标注图像输入到sgdregressor模型中训练,最终得到归一化植被模型。
[0060]
步骤102,利用所述归一化植被模型处理第二图像,得到所述第二图像的植被像素。
[0061]
作为第二示例,可以将采集到的第二图像输入到上述训练得到的归一化植被模型,归一化植被模型输出得到第二图像中每个区域对应的植被像素。可选地,可以将第二图像分割为多个区域,如8
×
8的矩形区域,然后将第二图像输入归一化植被模型,输出得到每个区域对应的植被像素。可选地,第二图像可以与第一图像相同,可以与第一图像不同。
[0062]
步骤103,根据所述植被像素和对应的深度值,训练可穿越代价网络,得到可穿越代价模型。
[0063]
其中,所述深度值为通过预先采集所述第二图像的深度图得到的。
[0064]
作为第三示例,可以将第二图像分割为8
×
8的矩形区域;除此之外,本实施例中还可以采用深度相机采集与第二图像对应的深度图,所述深度图包括与第二图像的每个矩形区域对应的深度值。可选地,可穿越代价网络采用mobilenetv3网络作为基础模型,可以利用植被像素以及深度值训练mobilenetv3网络,以生成可以直接预测植被可穿越代价的可穿越代价模型。
[0065]
本技术实施例中,根据预先采集的第一图像和对应的标注图像训练归一化植被网络,得到归一化植被模型;所述标注图像为根据所述第一图像的归一化植被指数标注的图像;利用所述归一化植被模型处理第二图像,得到所述第二图像的植被像素;根据所述植被像素和对应的深度值,训练可穿越代价网络,得到可穿越代价模型;所述深度值为通过预先采集所述第二图像的深度图得到的。本实施例中的方法可以能实时将采集到的图像输入可穿越代价模型,并通过可穿越代价模型实时预测植被的可穿越代价,并依据预测得到的可穿越代价规划出可行路径,可确保驾驶汽车的驾驶安全。
[0066]
在一个可选的实施例中,所述根据所述植被像素和对应的深度值,训练可穿越代价网络,得到可穿越代价模型,包括:
[0067]
利用所述植被像素和对应的所述深度值,获取所述第二图像的可穿越代价矩阵图。
[0068]
结合第三示例,如图3所示,可选地,利用第二图像的每个区域对应的植被像素以及对应的深度值计算得到第二图像的每个区域对应的的可穿越代价,并利用每个区域所对应的可穿越代价生成可穿越代价矩阵图。
[0069]
利用所述第二图像和所述可穿越代价矩阵图训练所述可穿越代价网络,得到所述可穿越代价模型。
[0070]
可选地,可以将第二图像以及对应的可穿越代价矩阵图输入mobilenetv3网络进行训练,进而获得可穿越代价模型。其中,本实施例中的第二图像以及对应的可穿越代价矩阵图可以有多张。
[0071]
在一个可选的实施例中,所述利用所述植被像素和对应的所述深度值,获取所述第二图像的可穿越代价矩阵图,包括:
[0072]
根据第一示例中的归一化植被指数的计算公式计算得到的归一化植被指数范围在[-1,1]之间,当值为负数时,区域内可能是水;相反,当值接近1时,则可能是绿叶或者草地;当值接近零时,即没有绿植,可能是道路或者城市化区域。针对森林场景中各种各样的植被,灌木丛、小草、树木等,对于驾驶车辆来说,每种植被的可穿越程度也各不相同,如草地可以穿越,灌木丛需要躲避。
[0073]
将所述植被像素转化为可见光大气阻抗指数,并利用所述可见光大气阻抗指数,获得植被代价:
[0074][0075]
其中,ρ
vari
为在像素ρ处的可见光大气阻抗指数。
[0076]
可选地,计算所述植被区域的可见光大气阻抗指数采用如下公式:
[0077][0078]
其中,ρ
green
在像素ρ处绿色波段的反射率;ρ
blue
为在像素ρ处蓝色波段的反射率;ρ
red
为在像素ρ处红色波段的反射率。
[0079]
可以采用可见光相机获取植被区域对应的绿色波段、蓝色波段以及红色波段,然后,根据上述公式计算得到植被区域的可见光大气阻抗指数。
[0080]
本实施例中,由于在森林场景中存在各种各样的植被,灌木丛、小草、树木等,每种的可穿越程度也各不相同,可以利用上述生成的归一化植被模型来预测第二图像中植被与非植被。一般来说,有机物的叶绿素含量越高,越容易穿越。在同等规模下,叶子的叶绿素浓度相对较高,灌木丛较少,荆条更少,而树皮最少。可见光大气阻抗指数(vari)是叶绿素含量的一个很好的代表,通过"绿色"来衡量植被的部分,因此,将归一化植被模型预测出来的植被区域应用vari转换,计算出每个区域的植被可穿越代价,将此代价作为障碍物是否可以穿越的依据。
[0081]
除此之外,利用所述深度值与所述深度图中的最大深度值获得深度代价:
[0082][0083]
其中,d
max
为所述深度图中的最大深度值,ρ
depth
为所述深度值。
[0084]
感知深度的能力对于驾驶汽车避开障碍物是至关重要的,要知道障碍物相对于它们的位置在哪里,以便绕过它们进行导航,因此,也需要根据障碍物与驾驶汽车的距离来避开障碍物。因此,使用深度相机采集了对应的深度图,这些深度图用来计算深度代价。
[0085]
利用所述植被代价和所述深度代价获得所述可穿越代价矩阵图。
[0086]
可选地,利用第二图像的植被区域对应的植被像素以及对应的深度值计算得到第二图像的植被区域对应的的可穿越代价,并利用植被区域所对应的可穿越代价生成可穿越代价矩阵图。
[0087]
可穿越代价仅用深度成本是不合适的,因为深度信息是三维的,只在近场有效,深度相机会限制深度图推断最大深度,因此,需要将植被代价和深度代价结合起来,利用植被指数中的远场信息来估计深度范围以外的代价。
[0088]
利用所述第二图像和所述可穿越代价矩阵图训练所述可穿越代价网络,得到所述可穿越代价模型。
[0089]
本实施例将目标图像分割成多个区域,将每个区域的可穿越代价定义为一个区域的fc值。将目标图像输入到根据上述方法训练好的可穿越代价模型进行预测,得到每个区域的fc值,即可穿越代价。可选地,可穿越代价模型采用的基础模型是mobilenetv3网络,mobilenetv3网络是一个比较典型的轻量化网络,适合部署,并且能够快速地从相机捕获到的目标图像来预测可穿越代价。
[0090]
可选地,可穿越代价网络的结构如图4所示,包括mobilenetv3网络、全局平均池化层,输入的第二图像经过mobilenetv3网络提取特征,然后通过全局平均池化层进行全局平均池化,最终输入到64个输出头(假设将第二图像分割为8
×
8的64个矩形区域),每个输出头代表第二图像上一个矩形区域的可穿越代价。可选地,如图5所示,每个输出头都是由四
层全连接层(fully-connected layer,简称fc layer)构成,前三个全连接层后都有relu激活函数,最后一个全连接层后有一个线性层(linear)输出最终结果,64个输出头输出一个8
×
8的代价矩阵。
[0091]
如图6所示,将目标图像分割成8
×
8的64个相等的矩形区域,利用目标图像和深度图获得每个区域的fc值,生成可穿越代价矩阵图,图6中的p0,p1,
…
,p7,p8,p9,
…
,p
15
,
…
,p
56
,p
57
,
…
,p
64
均为对应的可穿越代价矩阵图对应的区域。可以使用可穿越代价矩阵图以及第二图像训练可穿越代价模型。
[0092]
在一个可选的实施例中,所述利用所述植被代价和所述深度代价获得所述可穿越代价矩阵图,包括:
[0093]
利用所述植被代价与所述深度代价,获得远场代价:
[0094][0095]
和,近场代价:
[0096]fnear
(c
depth
,c
veg
)=c
vegcdepth
[0097]
利用所述远场代价和所述近场代价获得穿越代价:
[0098][0099]
根据所述第二图像上所有区域的所述可穿越代价,生成所述可穿越代价矩阵图;
[0100]
其中,γ为(0,10-6
)之间的常数;α和β为(0,1)之间的常数。
[0101]
在远处的场景中,较小的障碍物知道驾驶汽车接近时才会显现,因此只需要知道在远处即可,不需要精确的数值;在近处的场景中,深度代价可由植被代价加权,可得到近场代价;其次,对于驾驶汽车来说,平坦的地面不是障碍物,因此,地面不应该赋予任何代价。结合远场代价、进场代价以及地面代价获得可穿越代价,便于提高可穿越代价的可靠性。
[0102]
如图7所示,本技术实施例还提供了一种路径生成方法,所述方法包括:
[0103]
步骤701,将采集到的目标图像输入可穿越代价模型,获得可穿越代价;其中,所述可穿越代价模型是根据上述的可穿越代价模型训练方法训练得到的。
[0104]
本实施例将目标图像分割成多个区域,将每个区域的可穿越代价定义为一个区域的fc值。将目标图像输入到根据上述方法训练好的可穿越代价模型进行预测,得到每个区域的fc值,即可穿越代价。可选地,可穿越代价模型采用的基础模型是mobilenetv3网络,mobilenetv3网络是一个比较典型的轻量化网络,适合部署,并且能够快速地从相机捕获到的目标图像来预测可穿越代价。
[0105]
步骤702,利用所述可穿越代价构建拓扑结构图。
[0106]
其中,所述拓扑结构图包括一个或多个区域节点以及原始节点;所述区域节点用于指代对所述目标图像分割得到的区域;所述相邻区域节点之间双向连接;所述原始节点向其中任意一个或多个区域节点单向连接。
[0107]
假设将目标图像分割为8
×
8的矩形区域,则共有64个区域,即将64个区域作为64个区域节点,每个节点均与其相邻的节点双向连接,表示驾驶汽车可以在两个区域节点之
间通行,例如,区域节点1和区域节点2相互连接,则表示驾驶汽车可以由区域节点1向区域节点2通行,也可以由区域节点2向区域节点1通行。原始节点为当前驾驶汽车的位置,驾驶汽车可以由原始节点向与其连接的区域节点通行,但不能由区域节点向原始节点通行,以避免原始节点对后续路径规划造成干扰。
[0108]
本实施例中,将区域节点对应的可穿越代价作为该区域节点的权重。
[0109]
步骤703,利用最优路径算法对所述拓扑结构图进行处理,得到最优路径。
[0110]
最优路径算法通过对拓扑结构图上所述区域节点的权重进行对比,将权重最小的区域节点作为目标节点,计入最优路径的一部分。最后根据得到的目标节点,生成最优路径。
[0111]
本实施例中,将采集到的目标图像输入可穿越代价模型,获得可穿越代价;利用所述可穿越代价构建拓扑结构图;利用所述可穿越代价构建拓扑结构图;利用最优路径算法对所述拓扑结构图进行处理,得到最优路径。其中,可穿越代价模型采用mobilenetv3网络作为基础网络,其属于轻量化模型,可将可穿越代价模型部署到各类小型驾驶汽车上,并能实时输入目标图像并规划最优路径。其次,本实施例中将目标图像转化为拓扑结构图,依据所预测的可穿越代价作为权重,并利用最优路径算法处理拓扑结构图,降低了驾车汽车的计算量,进一步提高了生成最优路径的效率。
[0112]
在一个可选的实施例中,所述利用所述可穿越代价构建拓扑结构图,包括:
[0113]
将所述可穿越代价进行高斯滤波平滑处理和归一化处理,获得所述区域节点对应的权重;
[0114]
将所述权重与所述区域节点关联,建立所述拓扑结构图。
[0115]
将所述可穿越代价进行高斯滤波平滑处理和归一化处理,使得各个区域的可穿越代价归一化至1至255之间。其中,高斯滤波平滑处理采用高斯滤波函数实现,高斯滤波函数如下:
[0116][0117]
其中,σ为标准差;x为目标图像上对应区域的横坐标,y为目标图像上对应区域的纵坐标。
[0118]
如图8所示,本实施例中,利用可穿越代价模型获取最优路径的整体过程为:利用可穿越代价模型对采集到的目标图像进行预测,得到可穿越代价矩阵;然后对所述可穿越代价矩阵图采用高斯滤波平滑处理和归一化处理后,将得到的结果作为权重构建拓扑结构图;最后使用最优路径算法对拓扑结构图进行处理,得到最优路径,并生成最优路径图。
[0119]
在一个可选的实施例中,所述利用最优路径算法对所述拓扑结构图进行处理,得到最优路径,包括:
[0120]
利用最优路径算法从所述原始节点或所述区域节点的相邻的所述区域节点中获得最优节点;
[0121]
连接若干个所述最优节点,生成所述最优路径。
[0122]
如图9所示,拓扑结构图共有65个节点,其中编号为0-64节点为区域节点,编号为65的节点为原始节点。假设原始节点向编号为59、编号为60的原始节点连接,若编号为60的区域节点的权重低于编号为59的区域节点的权重,则将编号为64和60的区域节点作为最优
路径的一部分。下一步则计算编号为60节点与其距离最短的节点,即计算对比编号为60的区域节点周围的5个区域节点的权重;以此类推,后续区域节点均从周围5个区域节点计算对比权重,计算出最短的区域节点。最终将计算得到的各个区域节点相连接,即为可穿越代价最低的最优路径。图9中所示的最优路径包括编号为64的原始节点以及编号为60、52、44、35的区域节点。
[0123]
可选地,将目标图像以及拓扑结构图分为上下两部分,在拓扑结构图上,将上部分的区域节点作为远景节点,下部分的区域节点作为近景节点。例如,将图9中编号为0-31的区域节点作为远景节点;将编号为32-63的区域节点作为近景节点。由于驾驶汽车装载的rgb相机拍摄到的目标图像对应的拓扑结构图中,远景节点大多为天空等远距离目标,因此,本实施例中仅需从近景节点中预测出最优路径。
[0124]
基于与本技术实施例所提供的方法相同的原理,本技术实施例还提供了一种可穿越代价模型训练装置,如图10所示,所述装置包括:
[0125]
归一化植被模型训练模块1001,根据预先采集的第一图像和对应的标注图像训练归一化植被网络,得到归一化植被模型。
[0126]
其中,所述标注图像为根据所述第一图像的归一化植被指数标注的图像。
[0127]
野外环境大都是自然环境,在自然环境内可以使用归一化植被指数(
[0128]
normalized difference vegetation index,简称ndvi)来区分植被覆盖区和可通行路面区,它是一种光谱变换,可以用于监测遥感领域的植被特性。由于近红外不能被植物吸收甚至会强烈反射,红光可以被植物吸收,ndvi可以测量近红外和红光之间的差异来量化植被区域。它的范围在[-1,1]之间,当值为负数时,区域内可能是水。相反,当值接近1时,则可能是绿叶或者草地。当值接近零时,即没有绿植,可能是道路或者城市化区域。
[0129]
作为第一示例,如图2所示,可以预先采集第一图像和对应的标注图像,可选地,采集到的第一图像可以为rgb图像,可以预先将rgb图像分割为多个区域,然后获取每个区域对应的归一化植被指数,并利用每个区域对应的归一化植被指数生成标注图像。其中,获取与第一图像对应的标注图像,具体如下:
[0130]
采用可见光波段相机采集第一图像上每个区域对应的红色波段,采用近红外相机采集第一图像上每个区域对应的近红外波段;
[0131]
通过归一化植被指数计算公式获得归一化植被指数,其中,归一化植被指数计算公式为:
[0132][0133]
其中,ndvi为归一化植被指数;ρ
niv
为在像素ρ处近红外波段的反射率;ρ
red
为在像素ρ处红色波段的反射率。
[0134]
根据上述步骤计算得到的归一化植被指数对第一图像进行标注,生成所述的标注图像。需要说明的是,本实施例中的第一图像以及与标注图像均可以对应有多张。
[0135]
如图2,可以将第一图像和对应的标注图像输入归一化植被网络进行训练。可选地,归一化植被网络使用scikit-learn库的sgdregressor模型作为基础模型来实现,sgdregressor模型主要使用随机梯度下降法进行线性回归预测植被像素。
[0136]
可以将根据上述方法得到的第一图像以及与对应的标注图像输入到
sgdregressor模型中训练,最终得到归一化植被模型。
[0137]
图像处理模块1002,利用所述归一化植被模型处理第二图像,得到所述第二图像的植被像素。
[0138]
作为第二示例,可以将采集到的第二图像输入到上述训练得到的归一化植被模型,归一化植被模型输出得到第二图像中每个区域对应的植被像素。可选地,可以将第二图像分割为多个区域,如8
×
8的矩形区域,然后将第二图像输入归一化植被模型,输出得到每个区域对应的植被像素。可选地,第二图像可以与第一图像相同,可以与第一图像不同。
[0139]
可穿越代价模型训练模块1003,根据所述植被像素和对应的深度值,训练可穿越代价网络,得到可穿越代价模型;所述深度值为通过预先采集所述第二图像的深度图得到的。
[0140]
其中,所述深度值为通过预先采集所述第二图像的深度图得到的。
[0141]
作为第三示例,可以将第二图像分割为8
×
8的矩形区域;除此之外,本实施例中还可以采用深度相机采集与第二图像对应的深度图,所述深度图包括与第二图像的每个矩形区域对应的深度值。可选地,可穿越代价网络采用mobilenetv3网络作为基础模型,可以利用植被像素以及深度值训练mobilenetv3网络,以生成可以直接预测植被可穿越代价的可穿越代价模型。
[0142]
本技术实施例中,根据预先采集的第一图像和对应的标注图像训练归一化植被网络,得到归一化植被模型;所述标注图像为根据所述第一图像的归一化植被指数标注的图像;利用所述归一化植被模型处理第二图像,得到所述第二图像的植被像素;根据所述植被像素和对应的深度值,训练可穿越代价网络,得到可穿越代价模型;所述深度值为通过预先采集所述第二图像的深度图得到的。本实施例中的方法可以能实时将采集到的图像输入可穿越代价模型,并通过可穿越代价模型实时预测植被的可穿越代价,并依据预测得到的可穿越代价规划出可行路径,可确保驾驶汽车的驾驶安全。
[0143]
本技术一个可选实施例中,所述可穿越代价模型训练模块1003包括:
[0144]
第一子模块,利用所述植被像素和对应的所述深度值,获取所述第二图像的可穿越代价矩阵图;
[0145]
第二子模块,利用所述第二图像和所述可穿越代价矩阵图训练所述可穿越代价网络,得到所述可穿越代价模型。
[0146]
本技术一个可选实施例中,所述第一子模块包括:
[0147]
第一单元,将所述植被像素转化为可见光大气阻抗指数,并利用所述可见光大气阻抗指数,获得植被代价:
[0148][0149]
其中,ρ
vari
为在像素ρ处的可见光大气阻抗指数;
[0150]
第二单元,利用所述深度值与所述深度图中的最大深度值获得深度代价:
[0151][0152]
其中,d
max
为所述深度图中的最大深度值,ρ
depth
为在像素ρ处的所述深度值。
[0153]
第三单元,利用所述植被代价和所述深度代价获得所述可穿越代价矩阵图。
[0154]
本技术一个可选实施例中,所述第三单元包括:
[0155]
第一子单元,利用所述植被代价与所述深度代价,获得远场代价:
[0156][0157]
和,近场代价:
[0158]fnear
(c
depth
,c
veg
)=c
vegcdepth
[0159]
第二子单元,利用所述远场代价和所述近场代价获得可穿越代价:
[0160][0161]
第三子单元,根据所述第二图像上所有区域的所述可穿越代价,生成所述可穿越代价矩阵图;
[0162]
其中,γ为(0,10-6
)之间的常数;α和β为(0,1)之间的常数。
[0163]
本技术实施例提供的可穿越代价模型训练装置能够实现图1至图9的方法实施例中实现的各个过程,为避免重复,这里不再赘述。
[0164]
本技术实施例的可穿越代价模型训练装置可执行本技术实施例所提供的可穿越代价模型训练方法,其实现原理相类似,本技术各实施例中的可穿越代价模型训练装置中的各模块、单元所执行的动作是与本技术各实施例中的可穿越代价模型训练方法中的步骤相对应的,对于可穿越代价模型训练装置的各模块的详细功能描述具体可以参见前文中所示的对应的可穿越代价模型训练方法中的描述,此处不再赘述。
[0165]
基于与本技术实施例所提供的方法相同的原理,本技术实施例还提供了一种路径生成装置,如图11所示,所述装置包括:
[0166]
图像处理模块1101,将采集到的目标图像输入可穿越代价模型,获得可穿越代价;其中,所述可穿越代价模型是根据权利要求1所述的可穿越代价模型训练方法训练得到的。
[0167]
本实施例将目标图像分割成多个区域,将每个区域的可穿越代价定义为一个区域的fc值。将目标图像输入到根据上述方法训练好的可穿越代价模型进行预测,得到每个区域的fc值,即可穿越代价。可选地,可穿越代价模型采用的基础模型是mobilenetv3网络,mobilenetv3网络是一个比较典型的轻量化网络,适合部署,并且能够快速地从相机捕获到的目标图像来预测可穿越代价。
[0168]
拓扑结构图生成模块1102,利用所述可穿越代价构建拓扑结构图。
[0169]
其中,所述拓扑结构图包括一个或多个区域节点以及原始节点;所述区域节点用于指代对所述目标图像分割得到的区域;所述相邻区域节点之间双向连接;所述原始节点向其中任意一个或多个区域节点单向连接。
[0170]
假设将目标图像分割为8
×
8的矩形区域,则共有64个区域,即将64个区域作为64个区域节点,每个节点均与其相邻的节点双向连接,表示驾驶汽车可以在两个区域节点之间通行,例如,区域节点1和区域节点2相互连接,则表示驾驶汽车可以由区域节点1向区域节点2通行,也可以由区域节点2向区域节点1通行。原始节点为当前驾驶汽车的位置,驾驶汽车可以由原始节点向与其连接的区域节点通行,但不能由区域节点向原始节点通行,以
避免原始节点对后续路径规划造成干扰。
[0171]
本实施例中,将区域节点对应的可穿越代价作为该区域节点的权重。
[0172]
数据处理模块1103,利用最优路径算法对所述拓扑结构图进行处理,得到最优路径;
[0173]
最优路径算法通过对拓扑结构图上所述区域节点的权重进行对比,将权重最小的区域节点作为目标节点,计入最优路径的一部分。最后根据得到的目标节点,生成最优路径。
[0174]
本实施例中,将采集到的目标图像输入可穿越代价模型,获得可穿越代价;利用所述可穿越代价构建拓扑结构图;利用所述可穿越代价构建拓扑结构图;利用最优路径算法对所述拓扑结构图进行处理,得到最优路径。其中,可穿越代价模型采用mobilenetv3网络作为基础网络,其属于轻量化模型,可将可穿越代价模型部署到各类小型驾驶汽车上,并能实时输入目标图像并规划最优路径。其次,本实施例中将目标图像转化为拓扑结构图,依据所预测的可穿越代价作为权重,并利用最优路径算法处理拓扑结构图,降低了驾车汽车的计算量,进一步提高了生成最优路径的效率。
[0175]
本技术一个可选实施例中,所述拓扑结构图生成模块1102包括:
[0176]
第一生成子模块,将所述可穿越代价进行高斯滤波平滑处理和归一化处理,获得所述区域节点对应的权重;
[0177]
第二生成子模块,将所述权重与所述区域节点关联,建立所述拓扑结构图。
[0178]
本技术一个可选实施例中,所述数据处理模块1103包括:
[0179]
第一处理子模块,第一利用最优路径算法从所述原始节点或所述区域节点的相邻的所述区域节点中获得最优节点;
[0180]
第二处理子模块,连接若干个所述最优节点,生成所述最优路径。
[0181]
本技术实施例提供的路径生成装置能够实现图1至图9的方法实施例中实现的各个过程,为避免重复,这里不再赘述。
[0182]
本技术实施例的路径生成装置可执行本技术实施例所提供的路径生成方法,其实现原理相类似,本技术各实施例中的路径生成装置中的各模块、单元所执行的动作是与本技术各实施例中的路径生成方法中的步骤相对应的,对于路径生成装置的各模块的详细功能描述具体可以参见前文中所示的对应的路径生成方法中的描述,此处不再赘述。
[0183]
基于与本技术的实施例中所示的方法相同的原理,本技术实施例还提供了一种电子设备,该电子设备可以包括但不限于:处理器和存储器;存储器,用于存储计算机程序;处理器,用于通过调用计算机程序执行本技术任一可选实施例所示的可穿越代价模型训练方法。与现有技术相比,本技术提供的可穿越代价模型训练方法,根据预先采集的第一图像和对应的标注图像训练归一化植被网络,得到归一化植被模型;所述标注图像为根据所述第一图像的归一化植被指数标注的图像;利用所述归一化植被模型处理第二图像,得到所述第二图像的植被像素;根据所述植被像素和对应的深度值,训练可穿越代价网络,得到可穿越代价模型;所述深度值为通过预先采集所述第二图像的深度图得到的。本实施例中的方法可以能实时将采集到的图像输入可穿越代价模型,并通过可穿越代价模型实时预测植被的可穿越代价,并依据预测得到的可穿越代价规划出可行路径,可确保驾驶汽车的驾驶安全。
[0184]
在一个可选实施例中,还提供了一种电子设备,如图12所示,图12所示的电子设备1200可以为服务器,包括:处理器1201和存储器1203。其中,处理器1201和存储器1203相连,如通过总线1202相连。可选地,电子设备1200还可以包括收发器1204。需要说明的是,实际应用中收发器1204不限于一个,该电子设备1200的结构并不构成对本技术实施例的限定。
[0185]
处理器1201可以是cpu(central processing unit,中央处理器),通用处理器,dsp(digital signal processor,数据信号处理器),asic(application specific integrated circuit,专用集成电路),fpga(field programmable gate array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器1201也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,dsp和微处理器的组合等。
[0186]
总线1202可包括一通路,在上述组件之间传送信息。总线1202可以是pci(peripheral component interconnect,外设部件互连标准)总线或eisa(extended industry standard architecture,扩展工业标准结构)总线等。总线1202可以分为地址总线、数据总线、控制总线等。为便于表示,图12中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
[0187]
存储器1203可以是rom(read only memory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,ram(random access memory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是eeprom(electrically erasable programmable read only memory,电可擦可编程只读存储器)、cd-rom(compact disc read only memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
[0188]
存储器1203用于存储执行本技术方案的应用程序代码,并由处理器1201来控制执行。处理器1201用于执行存储器1203中存储的应用程序代码,以实现前述方法实施例所示的内容。
[0189]
其中,电子设备包括但不限于:移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图12示出的电子设备仅仅是一个示例,不应对本技术实施例的功能和使用范围带来任何限制。
[0190]
本技术提供的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本技术在此不做限制。
[0191]
本技术实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,当其在计算机上运行时,使得计算机可以执行前述方法实施例中相应内容。
[0192]
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0193]
需要说明的是,本技术上述的计算机可读存储介质还可以是计算机可读信号介质或者计算机可读存储介质与计算机可读存储介质的组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、rf(射频)等等,或者上述的任意合适的组合。
[0194]
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
[0195]
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行上述实施例所示的方法。
[0196]
根据本技术的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选实现方式中提供的可穿越代价模型训练方法和路径生成方法。
[0197]
可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0198]
附图中的流程图和框图,图示了按照本技术各种实施例的系统、方法和计算机程
序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
[0199]
描述于本技术实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,模块的名称在某种情况下并不构成对该模块本身的限定,例如,拓扑结构图生成模块还可以被描述为“利用所述可穿越代价构建拓扑结构图的拓扑结构图生成模块”。
[0200]
以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本技术中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
技术特征:
1.一种可穿越代价模型训练方法,其特征在于,所述方法包括:根据预先采集的第一图像和对应的标注图像训练归一化植被网络,得到归一化植被模型;所述标注图像为根据所述第一图像的归一化植被指数标注的图像;利用所述归一化植被模型处理第二图像,得到所述第二图像的植被像素;根据所述植被像素和对应的深度值,训练可穿越代价网络,得到可穿越代价模型;所述深度值为通过预先采集所述第二图像的深度图得到的。2.根据权利要求1所述的可穿越代价模型训练方法,其特征在于,所述根据所述植被像素和对应的深度值,训练可穿越代价网络,得到可穿越代价模型,包括:利用所述植被像素和对应的所述深度值,获取所述第二图像的可穿越代价矩阵图;利用所述第二图像和所述可穿越代价矩阵图训练所述可穿越代价网络,得到所述可穿越代价模型。3.根据权利要求2所述的可穿越代价模型训练方法,其特征在于,所述利用所述植被像素和对应的所述深度值,获取所述第二图像的可穿越代价矩阵图,包括:将所述植被像素转化为可见光大气阻抗指数,并利用所述可见光大气阻抗指数,获得植被代价:其中,ρ
vari
为在像素ρ处的可见光大气阻抗指数;利用所述深度值与所述深度图中的最大深度值获得深度代价:其中,d
max
为所述深度图中的最大深度值,ρ
depth
为在像素ρ处的深度值;利用所述植被代价和所述深度代价获得所述可穿越代价矩阵图。4.根据权利要求3所述的可穿越代价模型训练方法,其特征在于,所述利用所述植被代价和所述深度代价获得所述可穿越代价矩阵图,包括:利用所述植被代价与所述深度代价,获得远场代价:和,近场代价:f
near
(c
depth
,c
veg
)=c
veg
c
depth
利用所述远场代价和所述近场代价获得可穿越代价:根据所述第二图像上所有区域的所述可穿越代价,生成所述可穿越代价矩阵图;其中,γ为(0,10-6
)之间的常数;α和β为(0,1)之间的常数。5.一种路径生成方法,其特征在于,所述方法包括:将采集到的目标图像输入可穿越代价模型,获得可穿越代价;其中,所述可穿越代价模
型是根据权利要求1所述的可穿越代价模型训练方法训练得到的;利用所述可穿越代价构建拓扑结构图;利用最优路径算法对所述拓扑结构图进行处理,得到最优路径;其中,所述拓扑结构图包括一个或多个区域节点以及原始节点;所述区域节点为对所述目标图像分割得到的;相邻区域节点之间双向连接,所述原始节点向其中任意一个或多个区域节点单向连接。6.根据权利要求5所述的路径生成方法,其特征在于,所述利用所述可穿越代价构建拓扑结构图,包括:将所述可穿越代价进行高斯滤波平滑处理和归一化处理,获得所述区域节点对应的权重;将所述权重与所述区域节点关联,建立所述拓扑结构图。7.根据权利要求5所述的路径生成方法,其特征在于,所述利用最优路径算法对所述拓扑结构图进行处理,得到最优路径,包括:利用最优路径算法从所述原始节点或所述区域节点的相邻的所述区域节点中获得最优节点;连接若干个所述最优节点,生成所述最优路径。8.一种可穿越代价模型训练装置,其特征在于,所述装置包括:归一化植被模型训练模块,根据预先采集的第一图像和对应的标注图像训练归一化植被网络,得到归一化植被模型;所述标注图像为根据所述第一图像的归一化植被指数标注的图像;图像处理模块,利用所述归一化植被模型处理第二图像,得到所述第二图像的植被像素;可穿越代价模型训练模块,根据所述植被像素和对应的深度值,训练可穿越代价网络,得到可穿越代价模型;所述深度值为通过预先采集所述第二图像的深度图得到的。9.一种路径生成装置,其特征在于,所述装置包括:图像处理模块,将采集到的目标图像输入可穿越代价模型,获得可穿越代价;其中,所述可穿越代价模型是根据权利要求1所述的可穿越代价模型训练方法训练得到的;拓扑结构图生成模块,利用所述可穿越代价构建拓扑结构图;数据处理模块,利用最优路径算法对所述拓扑结构图进行处理,得到最优路径;其中,所述拓扑结构图包括一个或多个区域节点以及原始节点;所述区域节点为对所述目标图像分割得到的;相邻区域节点之间双向连接,所述原始节点向其中任意一个或多个区域节点单向连接。10.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1至7中任一项所述的方法。
技术总结
本申请涉及计算机视觉技术领域,公开了一种可穿越代价模型训练方法、路径生成方法以及装置,所述方法包括:根据预先采集的第一图像和对应的标注图像训练归一化植被网络,得到归一化植被模型;所述标注图像为根据所述第一图像的归一化植被指数标注的图像;利用所述归一化植被模型处理第二图像,得到所述第二图像的植被像素;根据所述植被像素和对应的深度值,训练可穿越代价网络,得到可穿越代价模型;所述深度值为通过预先采集所述第二图像的深度图得到的。本实施例中的方法可以能实时将采集到的图像输入可穿越代价模型,并通过可穿越代价模型实时预测植被的可穿越代价,并依据预测得到的可穿越代价规划出可行路径,可确保驾驶汽车的驾驶安全。汽车的驾驶安全。汽车的驾驶安全。
技术研发人员:杨长春 王彭 王姝媛 杨森
受保护的技术使用者:常州大学
技术研发日:2023.04.07
技术公布日:2023/8/14
版权声明
本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
飞行汽车 https://www.autovtol.com/
