障碍物识别方法、设备及车辆与流程

1.本技术涉及目标检测技术，尤其涉及一种障碍物识别方法、设备及车辆。


背景技术：

2.随着人们生活水平的提高，汽车作为常用的代步工具，已经成为了生活必需品之一。在信息行业和智能领域的发展和探索下，汽车的智能化得到了迅速发展。其中，汽车的辅助驾驶技术是该领域的重点研究方向。而在汽车辅助驾驶技术中，检测及识别汽车前进方向的障碍物，是汽车辅助驾驶面临的关键技术问题。
3.目前，车辆搭载的高级辅助驾驶系统通常是通过激光雷达传感器来识别道路障碍物的，通常是由激光雷达传感器的激光发射系统进行激光发射，发射出的激光击中障碍物时，会产生一组点云，再由激光雷达传感器对该点云进行接收和分析处理，从而识别出障碍物。
4.然而，激光雷达传感器容易受天气的影响，在有雾霾或者下雨天的情况下，激光会受空气中的颗粒和雨滴影响，生成的点云数据十分混乱，所以无法保证对障碍物识别的准确性。


技术实现要素：

5.本技术提供一种障碍物识别方法、设备及车辆，用以解决目前无法保证对障碍物识别的准确性的问题。
6.第一方面，本技术提供一种障碍物识别方法，包括：
7.获取车辆在行驶方向上的道路图像；
8.将所述道路图像输入至预设的障碍物识别模型中进行特征提取，得到初始的图像特征；
9.根据所述障碍物识别模型中的加权双向特征金字塔网络结构对所述初始的图像特征进行特征融合处理，得到融合处理后的图像特征，所述融合处理后的图像特征包括所述障碍物的位置特征和语义特征，所述语义特征包括纹理特征、形状特征以及颜色特征；
10.根据所述障碍物识别模型对所述融合处理后的图像特征进行识别处理，得到障碍物识别结果，其中，所述障碍物识别结果包括识别到的障碍物的类别信息、位置信息以及置信度。
11.进一步地，所述将所述道路图像输入至预设的障碍物识别模型中进行特征提取，得到初始的图像特征，包括：
12.将所述道路图像输入至障碍物识别模型中，将所述道路图像切分成不同分辨率的道路图像，得到所述不同分辨率中每一分辨率对应的切分后的道路图像；
13.根据所述障碍物识别模型中的resnet50网络，对所述每一分辨率对应的切分后的道路图像进行特征提取，得到每一分辨率对应的初始图像特征。
14.进一步地，所述根据所述障碍物识别模型中的加权双向特征金字塔网络结构对所
述初始的图像特征进行特征融合处理，得到融合处理后的图像特征，包括：
15.根据所述分辨率从小到大的顺序对所述初始图像特征进行排序，得到分辨率排序后的多个初始图像特征；
16.将所述排序后的多个初始图像特征中前n个初始图像特征，确定为待融合图像特征集合，其中，n为正整数；
17.根据所述障碍物识别模型中的加权双向特征金字塔网络结构对所述待融合图像特征集合进行特征融合处理，得到所述融合处理后的图像特征。
18.进一步地，所述根据所述障碍物识别模型中的加权双向特征金字塔网络结构对所述待融合图像特征集合进行特征融合处理，得到所述融合处理后的图像特征，包括：
19.将所述待融合图像特征集合中对应分辨率最小的待融合图像特征确定为第一待融合图像特征，并将分辨率排序在所述第一待融合图像特征的后一个待融合图像特征确定为第二待融合图像特征；
20.通过所述加权双向特征金字塔网络结构对所述第二待融合图像特征进行特征融合，得到所述第二待融合图像特征对应的第二融合特征；
21.根据所述第二融合特征和所述第一待融合图像特征，确定所述第一待融合图像特征对应的第一融合特征；
22.将所述第一融合特征和所述第二融合特征，确定为所述融合处理后的图像特征。
23.进一步地，所述根据所述障碍物识别模型中的加权双向特征金字塔网络结构对所述待融合图像特征集合进行特征融合处理，得到所述融合处理后的图像特征，还包括：
24.将分辨率排序在所述第二待融合图像特征的后一个待融合图像特征确定为第三待融合图像特征，并将分辨率排序在所述第三待融合图像特征的后一个待融合图像特征确定为第四待融合图像特征；
25.通过所述加权双向特征金字塔网络结构对所述第四待融合图像特征进行特征融合，得到所述第四待融合图像特征对应的第四融合特征；
26.根据所述第一待融合特征、第二待融合特征、第三待融合特征以及所述第四融合特征，确定所述第三待融合特征对应的第三融合特征；
27.将所述第三融合特征和所述第四融合特征确定为所述融合处理后的图像特征。
28.进一步地，在所述根据所述障碍物识别模型对所述融合处理后的图像特征进行识别处理，得到障碍物识别结果之后，所述方法还包括：
29.根据所述障碍物识别结果，确定所述车辆的目标行驶策略；
30.基于所述目标行驶策略，控制所述车辆行驶。
31.进一步地，所述根据所述障碍物识别结果，确定所述车辆的行驶策略，包括：
32.若根据所述障碍物的位置信息确定所述障碍物在所述车辆的行驶路径上，则根据所述类别信息，确定所述障碍物的危险等级，其中，所述危险等级表征所述障碍物对所述车辆行驶的影响程度；
33.从所述预设的多个行驶策略中确定与所述危险等级对应的行驶策略作为所述目标行驶策略，其中，所述多个行驶策略与多个危险等级一一对应，所述多个行驶策略包括停止、直行以及避让。
34.第二方面，本技术提供一种障碍物识别模型训练方法，包括：
35.获取样本图像，所述样本图像中具有障碍物；
36.将所述样本图像输入至初始的神经网络模型中进行特征提取，得到初始的图像特征；
37.根据所述初始的神经网络模型中的加权双向特征金字塔网络结构对所述初始的图像特征进行特征融合处理，得到融合处理后的图像特征，所述融合处理后的图像特征包括所述障碍物的位置特征和语义特征，所述语义特征包括纹理特征、形状特征以及颜色特征；
38.根据初始的神经网络模型对所述融合处理后的图像特征进行识别处理，以对所述初始的神经网络模型进行训练，得到障碍物识别模型；其中，所述障碍物识别模型用于对待识别图像进行识别，得到所述待识别图像中的障碍物。
39.进一步地，所述将所述样本图像输入至初始的神经网络模型中进行特征提取，得到初始的图像特征，包括：
40.将所述样本图像输入至初始的神经网络模型中，将所述样本图像切分成不同分辨率的样本图像，得到所述不同分辨率中每一分辨率对应的切分后的样本图像；
41.根据所述初始的神经网络模型中的resnet50网络，对所述每一分辨率对应的切分后的样本图像进行特征提取，得到每一分辨率对应的初始图像特征。
42.进一步地，所述根据所述初始的神经网络模型中的加权双向特征金字塔网络结构对所述初始的图像特征进行特征融合处理，得到融合处理后的图像特征，包括：
43.根据所述分辨率从小到大的顺序对所述初始图像特征进行排序，得到分辨率排序后的多个初始图像特征；
44.将所述排序后的多个初始图像特征中前n个初始图像特征，确定为待融合图像特征集合，其中，n为正整数；
45.根据所述初始的神经网络模型中的加权双向特征金字塔网络结构对所述待融合图像特征集合进行特征融合处理，得到所述融合处理后的图像特征。
46.进一步地，所述根据所述初始的神经网络模型中的加权双向特征金字塔网络结构对所述待融合图像特征集合进行特征融合处理，得到所述融合处理后的图像特征，包括：
47.将所述待融合图像特征集合中对应分辨率最小的待融合图像特征确定为第一待融合图像特征，并将分辨率排序在所述第一待融合图像特征的后一个待融合图像特征确定为第二待融合图像特征；
48.通过所述加权双向特征金字塔网络结构对所述第二待融合图像特征进行特征融合，得到所述第二待融合图像特征对应的第二融合特征；
49.根据所述第二融合特征和所述第一待融合图像特征，确定所述第一待融合图像特征对应的第一融合特征；
50.将所述第一融合特征和所述第二融合特征，确定为所述融合处理后的图像特征。
51.进一步地，所述根据所述第二融合特征和所述第一待融合图像特征，确定与所述第一待融合图像特征对应的第一融合特征，包括：
52.对所述第二融合特征进行池化处理，得到池化后的第二融合特征，所述池化后的第二融合特征对应的分辨率与所述第一待融合图像特征对应的分辨率相同；
53.将所述池化后的第二融合特征与所述第一待融合图像特征依次进行矩阵相加和
卷积处理，得到与所述第一待融合图像特征对应的第一融合特征。
54.进一步地，所述根据所述初始的神经网络模型中的加权双向特征金字塔网络结构对所述待融合图像特征集合进行特征融合处理，得到所述融合处理后的图像特征，还包括：
55.将分辨率排序在所述第二待融合图像特征的后一个待融合图像特征确定为第三待融合图像特征，并将分辨率排序在所述第三待融合图像特征的后一个待融合图像特征确定为第四待融合图像特征；
56.通过所述加权双向特征金字塔网络结构对所述第四待融合图像特征进行特征融合，得到所述第四待融合图像特征对应的第四融合特征；
57.根据所述第一待融合特征、第二待融合特征、第三待融合特征以及所述第四融合特征，确定所述第三待融合特征对应的第三融合特征；
58.将所述第三融合特征和所述第四融合特征确定为所述融合处理后的图像特征。
59.进一步地，所述根据所述第一待融合特征、第二待融合特征、第三待融合特征以及所述第四融合特征，确定所述第三待融合特征对应的第三融合特征，包括：
60.对所述第一待融合图像特征进行上采样处理，得到上采样后的第一待融合图像特征；其中，所述上采样后的第一待融合图像特征对应的分辨率与所述第二待融合特征对应的分辨率相同；
61.将所述上采样后的第一待融合图像特征与所述第二待融合特征依次进行矩阵相加和卷积处理，得到第一初步融合特征；
62.对所述第一初步融合特征进行上采样处理，得到上采样后的第一初步融合特征，并将所述上采样后的第一初步融合特征与所述第三待融合特征依次进行矩阵相加和卷积处理，得到第二初步融合特征；所述上采样后的第一初步融合特征对应的分辨率与所述第三待融合特征对应的分辨率相同；
63.将所述第四融合特征进行池化处理，得到池化后的第四融合特征，所述池化后的第四融合特征对应的分辨率与所述第三待融合特征对应的分辨率相同；
64.将所述第三待融合图像特征、所述第二初步融合特征以及所述池化后的第四融合特征依次进行矩阵相加和卷积处理，得到与所述第三待融合图像特征对应的第三融合特征。
65.进一步地，所述根据初始的神经网络模型对所述融合处理后的图像特征进行识别处理，以对所述初始的神经网络模型进行训练，得到障碍物识别模型，包括：
66.根据所述初始的神经网络模型中的头部网络结构对所述融合处理后的图像特征进行特征映射，得到障碍物识别结果；
67.若确定所述障碍物识别结果满足预设条件，则确定所述障碍物识别模型训练完成。
68.进一步地，所述方法还包括：
69.基于预设的损失函数和所述障碍物识别结果确定损失值；
70.若确定所述损失值小于或等于预设损失值，则确定所述障碍物识别结果满足预设条件。
71.进一步地，所述方法还包括：
72.若确定所述损失值小于或等于指定损失值且大于所述预设损失值，则通过余弦退
火算法降低所述初始的神经网络模型的学习率。
73.第三方面，本技术提供一种障碍物识别设备，所述设备包括：
74.道路图像获取模块，用于获取车辆在行驶方向上的道路图像；
75.提取处理模块，用于将所述道路图像输入至预设的障碍物识别模型中进行特征提取，得到初始的图像特征；
76.融合处理模块，用于根据所述障碍物识别模型中的加权双向特征金字塔网络结构对所述初始的图像特征进行特征融合处理，得到融合处理后的图像特征，所述融合处理后的图像特征包括所述障碍物的位置特征和语义特征，所述语义特征包括纹理特征、形状特征以及颜色特征；
77.识别模块，用于根据所述障碍物识别模型对所述融合处理后的图像特征进行识别处理，得到障碍物识别结果，其中，所述障碍物识别结果包括识别到的障碍物的类别信息、位置信息以及置信度。
78.第四方面，本技术提供一种障碍物识别模型训练设备，所述设备包括：
79.样本图像获取模块，用于获取样本图像，所述样本图像中具有障碍物；
80.特征提取模块，用于将所述样本图像输入至初始的神经网络模型中进行特征提取，得到初始的图像特征；
81.特征融合模块，用于根据所述初始的神经网络模型中的加权双向特征金字塔网络结构对所述初始的图像特征进行特征融合处理，得到融合处理后的图像特征，所述融合处理后的图像特征包括所述障碍物的位置特征和语义特征，所述语义特征包括纹理特征、形状特征以及颜色特征；
82.训练模块，用于根据初始的神经网络模型对所述融合处理后的图像特征进行识别处理，以对所述初始的神经网络模型进行训练，得到障碍物识别模型；其中，所述障碍物识别模型用于对待识别图像进行识别，得到所述待识别图像中的障碍物。
83.第五方面，本技术提供一种车辆，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现第一方面或第二方面所述的方法。
84.第六方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面或第二方面所述的障碍物识别方法。
85.本技术提供的障碍物识别模型训练方法，通过获取车辆在行驶方向上的道路图像；将所述道路图像输入至预设的障碍物识别模型中进行特征提取，得到初始的图像特征；根据所述障碍物识别模型中的加权双向特征金字塔网络结构对所述初始的图像特征进行特征融合处理，得到融合处理后的图像特征，所述融合处理后的图像特征包括所述障碍物的位置特征和语义特征，所述语义特征包括纹理特征、形状特征以及颜色特征；根据所述障碍物识别模型对所述融合处理后的图像特征进行识别处理，得到障碍物识别结果，其中，所述障碍物识别结果包括识别到的障碍物的类别信息、位置信息以及置信度。由于训练障碍物识别模型所用的样本图像是可以根据不同场景下的障碍物进行标注的，所以基于该样本图像训练得到的障碍物识别模型，在如雨天、雾天等不同场景下，都能具有较好的障碍物识别准确性，另外通过障碍物识别模型中的加权双向特征金字塔网络结构对所述初始的图像
pyramid networ。
106.目前，高级辅助驾驶系统中对障碍物的识别以及主动规避的技术，对于车辆安全行驶至关重要。
107.在相关技术中，通常是通过激光雷达传感器来识别道路障碍物并进行规避的，激光雷达传感器利用光原理进行工作，主要由激光发射器和激光接收器组成。其发射器是利用多层激光束，激光束发射出后并击中障碍物时，会产生一组点云，然后，激光接收器使用体素网格的方法来对点云进行下采样，在对下采样的点云进行点云分割任务，将场景与其中的障碍物进行分离开来，分割方法一般使用随机抽样一致算法(random sample consensus，ransac)，该算法目标是识别一组点中的异常值，对这些异常值不进行拟合操作。此后，再进行点云聚类处理，使用欧式聚类算法将一组点云按照其距离进行分割，形成聚类后的障碍物点云簇，最后进行边界框拟合，使用主成分分析(principal component analysis，pca)算法进行拟合边界框，从而识别出障碍物。
108.然而，相关技术中激光雷达识别障碍物的方法存在以下问题：1、激光雷达容易受天气的影响，在有雾霾或者下雨天的情况下，激光会受空气中的颗粒和雨滴影响，生成的点云数据十分混乱，从而导致障碍物识别不准确。2、由于多线激光雷达的物理结构，相邻的激光线与线之间存在盲区，那么稍远处的小型物体甚至水平长条状物体将会被漏掉，存在漏检的情况。3、激光雷达成本太高很高，不便于推广。4、激光雷达识别障碍物时并没有对障碍物的类别进行细分，不能为后续行驶规划提供更丰富的信息。
109.本技术提供的障碍物识别方法，旨在解决现有技术的如上技术问题。
110.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
111.图1是根据一示例性实施例示出的一种障碍物识别模型训练方法，该障碍物识别模型训练方法，如图1所示，该障碍物识别模型训练方法，可以包括：
112.110、获取样本图像，样本图像中具有障碍物。
113.示例性地，该障碍物识别模型训练方法可以应用于电子设备，该电子设备可以包括但不限于个人电脑、车载终端、服务器等。
114.在一些实施方式中，该电子设备可以与存储有多个样本图像的存储设备连接，并从该存储设备中提取样本图像。其中，该多个样本图像可以是在不同的场景下采集的。可选的，上述不同的场景可以包括但不限于城市道路场景、高速道路场景、雾天道路场景、雨天道路场景等。其中，该样本图像预先通过标注工具标注出了障碍物。
115.作为一种示例，例如可以预先在城市道路场景下通过图像采集设备采集多张图片数据，然后使用标注工具对多张图片数据上所有的障碍物进行标注，得到多个样本图像，再将多个样本图像存储到存储设备中，以便电子设备可以直接从存储设备中获取。可选的，障碍物可以包括但不限于行人、机动车、非机动车、雪糕锥等。可选的，上述多个样本图像的数量可以为300000张，在300000张样本图像中，训练数据集可以为240000张，训练集和测试集分别为30000张。
116.可选的，在对多张图片数据进行标注之前，还可以对多张图片数据进行数据清理和数据增强，以保证样本图像的质量，进而提升障碍物识别模型的识别准确性。
117.120、将样本图像输入至初始的神经网络模型中进行特征提取，得到初始的图像特征。
118.示例性地，该初始的神经网络模型的网络结构可以是基于对yolov5s网络的网络结构进行改进而得到的，其中，如图2所示，yolov5s网络的网络结构可以包括输入端、主干网络结构(backbone)、颈部网络结构(neck)以及头部网络结构(head)四个部分组成，这四部分由不同的模块(如cbl模块、csb模块、上采样模块等)堆叠得到，其中，cbl模块为卷积模块，csp模块主要由卷积模块和/或多个残差结构(bottleneck)组成。其中，cbl模块可以包括cbl1模块至cbl6模块，csp模块可以包括csp1模块至csp8模块。
119.其中，backbone用于获取输入图像并从其中提取特征。neck位于backbone与head之间，用于将backbone提取的特征尽可能多的聚合。该结构可以预防小目标信息丢失，在识别小目标方面发挥着重要作用。head用于负责特征映射，将neck中获取的融合特征经过特征映射来预测边界框位置和类别。
120.示例性地，该初始的神经网络模型的网络结构可以是将yolov5s的网络结构中spp层删除，并将yolov5s的网络结构中的fpn+pan结构替换成加权双向特征金字塔网络结构后得到。作为一种示例，yolov5s的网络结构中的卷积模块是基于fpn+pan结构构建的，因此，在将yolov5s的网络结构中的fpn+pan结构替换成加权双向特征金字塔网络结构时，可以是将图2中yolov5s网络的cbl3模块、cbl4模块、cbl5模块中的fpn+pan结构替换为加权双向特征金字塔网络结构，并删除spp层，即可得到上述初始的神经网络模型的网络结构。
121.其中，原yolov5s网络中的neck包括fpn+pan结构、spp层，其中，fpn结构是一条自顶向下的通道来融合特征，具体说将低层特征和高层特征进行累加，目的是低层特征可以提供更加准确的位置信息，而高层特征可以提供语义信息，这样低层特征和高层特征融合可以即提供语义信息又可以提供准确位置信息，而pan结构是自下而上的路径增强网络，目的是缩短信息路径和用低层的准确定位信息来增强fpn结构，证明了双向融合的有效性。
122.然而，fpn+pan的结构的双向融合设计结构体比较简单，面对复杂的场景识别效果不理想。因此，在本实施例中将原yolov5s网络spp层删掉了，并将原yolov5s网络的fpn+pan结构替换为了bifpn结构。bifpn结构允许简单和快速的多尺度特征融合，因此可以代替spp层的作用，而且相对于fpn+pan结构，其融合速度和精度都有一定的提升。
123.请参阅图3和图4，图3为基于fpn结构的特征融合流程示意图，图4为基于bifpn结构的特征融合流程示意图，其中，c3至c7为输入的特征，p3至p7为对应c3至c7的融合特征；conv表示向量卷积运算；upsample表示上采样处理；maxpool表示最大池化处理；带圈的加号表示矩阵相加处理。根据图3和图4可知，bifpn结构针对fpn+pan结构体主要的改进点是在fpn结构的基础上，若输入和输出结点是同一层的，则添加了一条额外的融合路径(如图4中的虚线)，从而在不增加计算的前提下同时能融合更多的特征。另外，由于不同的输入特征具有不同大小的分辨率，不同的分辨率对输出特征的贡献通常不同，为了解决这样的问题，bifpn结构为每个输入添加了额外的权重，让网络了解每个输入特征的重要性，这样可以让网络更加关注重要的层次，从而减少一些不必要的层之间的连接，进而可以提升识别速度和准确率。
124.在一些实施方式中，电子设备中可以预先存储该初始的神经网络模型，在获得到样本图像后，可以将该样本图像输入至该初始的神经网络模型中，通过该初始的神经网络
模型的主干网络结构对样本图像进行特征提取，以获得样本图像的特征图，并将样本图像的特征图确定为初始的图像特征。
125.130、根据初始的神经网络模型中的加权双向特征金字塔网络结构对初始的图像特征进行特征融合处理，得到融合处理后的图像特征，融合处理后的图像特征包括障碍物的位置特征和语义特征，语义特征包括纹理特征、形状特征以及颜色特征。
126.在一些实施方式中，在主干网络结构输出初始的图像特征后，该初始的图像特征可以进入颈部网络结构中，通过颈部网络的卷积模块中加权双向特征金字塔网络结构对初始的图像特征进行特征融合处理，从而得到颈部网络结构输出的融合处理后的图像特征。其中，上述位置特征具体可以是障碍物对应图像中的像素位置。
127.140、根据初始的神经网络模型对融合处理后的图像特征进行识别处理，以对初始的神经网络模型进行训练，得到障碍物识别模型；其中，障碍物识别模型用于对待识别图像进行识别，得到待识别图像中的障碍物。
128.示例性地，可以通过初始的神经网络模型中的头部网络结构对融合处理后的图像特征进行识别处理，得到预测的障碍物识别结果，然后将障碍物识别结果和预先标注了障碍物的样本图片中数据进行损失函数计算，计算出的损失结果通过网络反向传递进行修正，然后重复执行上述步骤，直到损失结果小于预设的阈值时，表明障碍物识别模型训练完成，从而得到障碍物识别模型。
129.可见，在本实施例中，通过获取样本图像，样本图像中具有障碍物；然后，将样本图像输入至初始的神经网络模型中进行特征提取，得到初始的图像特征；再根据初始的神经网络模型中的加权双向特征金字塔网络结构对初始的图像特征进行特征融合处理，得到融合处理后的图像特征，融合处理后的图像特征包括障碍物的位置特征和语义特征，语义特征包括纹理特征、形状特征以及颜色特征。最后，根据初始的神经网络模型对融合处理后的图像特征进行识别处理，以对初始的神经网络模型进行训练，得到障碍物识别模型；其中，障碍物识别模型用于对待识别图像进行识别，得到待识别图像中的障碍物。由于样本图像是可以根据不同场景下的障碍物进行标注的，所以基于该样本图像训练得到的障碍物识别模型，在如雨天、雾天等不同场景下，都能具有较好的障碍物识别准确性。而且根据标注的障碍物的特征进行障碍物识别模型训练，使得障碍物识别模型可以学习到不同障碍物的类别信息，方便为后续行驶规划提供更丰富的信息。另外，相比于激光雷达，不仅可以提高对小目标的识别准确性，而且成本较低，容易推广。另外，通过初始的神经网络模型中的加权双向特征金字塔网络结构对初始的图像特征进行特征融合处理，由于加权双向特征金字塔网络结构允许简单和快速的多尺度特征融合，在不增加计算的前提下，能融合得到更多的特征，例如可以额外得到由样本图像中障碍物的位置特征和语义特征进行融合而得到的融合处理后的图像特征，从而能够从样本图像中获得更多的特征来训练障碍物识别模型，进一步提升了障碍物识别模型的识别准确性。
130.图5是根据另一示例性实施例示出的一种障碍物识别模型训练方法，该障碍物识别模型训练方法，如图5所示，该障碍物识别模型训练方法，可以包括：
131.210、获取样本图像，样本图像中具有障碍物。
132.其中，步骤210的具体实施方式可以参考步骤110，故不在此赘述。
133.220、将样本图像输入至初始的神经网络模型中，将样本图像切分成不同分辨率的
样本图像，得到不同分辨率中每一分辨率对应的切分后的样本图像。
134.在一些实施方式中，由于初始的神经网络模型可以是对yolov5s网络进行改进得到，而yolov5s网络的主干网络结构中包括focus模块，其中，focus模块用于对图片进行切片操作，通过在图片中每间隔1个像素取值，得到4张图片，使得图片的长和宽分别减半，通道数扩展为原来的4倍，该操作类似于2倍下采样操作，但是保证了图片信息不被丢失，以yolov5s为例，原始的640
×
640
×
3的图像通过focus模块，输出得到320
×
320
×
12的特征图。所以，可以在样本图像输入至初始的神经网络模型中后，利用上述focus模块将样本图像切分成不同分辨率的样本图像，从而得到不同分辨率中每一分辨率对应的切分后的样本图像。
135.230、根据初始的神经网络模型中的resnet50网络，对每一分辨率对应的切分后的样本图像进行特征提取，得到每一分辨率对应的初始图像特征。
136.示例性地，初始的神经网络模型中可以是将如图2所示的yolov5s网络的主干网络中cbl1模块、csp1模块、cbl2模块、csp2模块替换为resnet50网络而得到。因此可以通过resnet50网络对上述每一分辨率对应的切分后的样本图像进行特征提取，以得到每一分辨率对应的初始图像特征。
137.在本实施例中，通过resnet50网络来对每一分辨率对应的切分后的样本图像进行特征提取，由于resnet50网络的深度小于原yolov5s网络中的主干网络，因此使得训练得到的障碍物识别模型的模型参数变得更少，使得训练得到的障碍物识别模型的识别速度上有了一定的提升。另外，由于主干网络结构中的cbl3模块中也包括bifpn结构，所以在resnet50网络提取特征时，该bifpn结构也可以保证resnet50网络能提取到更多的特征。
138.240、根据分辨率从小到大的顺序对初始图像特征进行排序，得到分辨率排序后的多个初始图像特征。
139.示例性地，如图6所示，初始图像特征包括初始图像特征p1至初始图像特征p7，初始图像特征p1至初始图像特征p7可以按照从小到大的顺序，且从上到下的排布方式进行排布，以形成金字塔结构。该金字塔结构的每层代表一个初始图像特征，位于金字塔结构最顶层的初始图像特征p7对应的分辨率最小，位于金字塔结构最底层的初始图像特征p1对应的分辨率最大。其中，位于金字塔结构越上层的初始图像特征越能提供准确的语义特征，如纹理特征、颜色特征、形状特征等。位于金字塔结构越上层的初始图像特征越能提供准确的位置特征。其中，任意一层的初始图像特征对应的分辨率是其相邻的下层的初始图像特征对应的分辨率的1/2。
140.250、将排序后的多个初始图像特征中前n个初始图像特征，确定为待融合图像特征集合，其中，n为正整数。
141.沿用上述示例，如图6所示，例如n为5，则可以将初始图像特征p3至初始图像特征p7，确定为待融合图像特征集合。
142.在本实施方式中，通过选取出分辨率最小的前n个初始图像特征作为进行融合，可以避免融合数据过多，从而保证后续融合效率。
143.260、根据初始的神经网络模型中的加权双向特征金字塔网络结构对待融合图像特征集合进行特征融合处理，得到融合处理后的图像特征。其中，融合处理后的图像特征包括障碍物的位置特征和语义特征，语义特征可以包括但不限于：纹理特征、形状特征以及颜
色特征等。
144.在一些实施方式中，步骤260的具体实施方式可以包括：
145.261、将待融合图像特征集合中对应分辨率最小的待融合图像特征确定为第一待融合图像特征，并将分辨率排序在第一待融合图像特征的后一个待融合图像特征确定为第二待融合图像特征。
146.沿用上述示例，可以将待融合图像特征集合中的初始图像特征p7确定为第一待融合图像特征c7，将待融合图像特征集合中的初始图像特征p6确定为第二待融合图像特征c6。
147.262、通过加权双向特征金字塔网络结构对第二待融合图像特征进行特征融合，得到第二待融合图像特征对应的第二融合特征。
148.沿用上述示例，请再次参阅图4，第二待融合图像特征c6可以通过bifpn结构进行特征融合，以得到与第二待融合图像特征c6对应的第二融合特征p6。
149.263、根据第二融合特征和第一待融合图像特征，确定第一待融合图像特征对应的第一融合特征。
150.沿用上述示例，请再次参阅图4，第一待融合图像特征c7可以与第二融合特征p6通过bifpn结构进行融合，得到第一融合特征p7。
151.作为一些实施方式，步骤263的具体实施方式可以包括：
152.对第二融合特征进行池化处理，得到池化后的第二融合特征，池化后的第二融合特征对应的分辨率与第一待融合图像特征对应的分辨率相同。将池化后的第二融合特征与第一待融合图像特征依次进行矩阵相加和卷积处理，得到与第一待融合图像特征对应的第一融合特征。
153.沿用上述示例，由于第二融合特征p6对应的分辨率与第二待融合图像特征c6的分辨率一致，为第一待融合图像特征c7的2倍，所以需要对第二融合特征p6进行池化处理，将第二融合特征p6的分辨率降低至原来的1/2，以保证池化后的第二融合特征的分辨率能与第一待融合图像特征c7的分辨率一致，以便二者能够进行矩阵相加处理。然后，再将池化后的第二融合特征与第一待融合图像特征c7依次进行矩阵相加和卷积处理，得到与第一待融合图像特征c7对应的第一融合特征p7。可选的，上述卷积处理可以是通过3x3的卷积核进行卷积处理。
154.264、将第一融合特征和第二融合特征，确定为融合处理后的图像特征。
155.沿用上述示例，可以将如图4中的第一融合特征p7和第二融合特征p6，确定为融合处理后的图像特征。
156.在一些实施方式中，步骤260的具体实施方式还可以包括：
157.265、将分辨率排序在第二待融合图像特征的后一个待融合图像特征确定为第三待融合图像特征，并将分辨率排序在第三待融合图像特征的后一个待融合图像特征确定为第四待融合图像特征。
158.沿用上述示例，请再次参阅图4，可以将分辨率排序在第二待融合图像特征c6的后一个待融合图像特征确定为第三待融合图像特征c5，并将分辨率排序在第三待融合图像特征c5的后一个待融合图像特征确定为第四待融合图像特征c4。
159.266、通过加权双向特征金字塔网络结构对第四待融合图像特征进行特征融合，得
到第四待融合图像特征对应的第四融合特征。
160.沿用上述示例，针对第四待融合图像特征c4，可以通过bifpn结构进行特征融合，得到第四待融合图像特征c4对应的第四融合特征p4。
161.267、根据第一待融合特征、第二待融合特征、第三待融合特征以及第四融合特征，确定第三待融合特征对应的第三融合特征。
162.沿用上述示例，可以将第一待融合特征c7、第二待融合特征c6、第三待融合特征c5以及第四融合特征p4通过bifpn结构进行特征融合，得到第三待融合特征c5对应的第三融合特征p5。
163.作为一些实施方式，步骤267的具体实施方式可以包括：
164.2671、对第一待融合图像特征进行上采样处理，得到上采样后的第一待融合图像特征。其中，上采样后的第一待融合图像特征对应的分辨率与第二待融合特征对应的分辨率相同。
165.沿用上述示例，请再次参阅图4，可以对第一待融合图像特征c7进行上采样处理，以将第一待融合图像特征c7的对应分辨率放大为原来的2倍，得到上采样后的第一待融合图像特征。
166.2672、将上采样后的第一待融合图像特征与第二待融合特征依次进行矩阵相加和卷积处理，得到第一初步融合特征。
167.沿用上述示例，上采样后的第一待融合图像特征对应的分辨率与第二待融合特征c6对应的分辨率相同，因此可以将上采样后的第一待融合图像特征与第二待融合特征c6依次进行矩阵相加和卷积处理，得到第一初步融合特征。
168.2673、对第一初步融合特征进行上采样处理，得到上采样后的第一初步融合特征，并将上采样后的第一初步融合特征与第三待融合特征依次进行矩阵相加和卷积处理，得到第二初步融合特征；上采样后的第一初步融合特征对应的分辨率与第三待融合特征对应的分辨率相同。
169.沿用上述示例，由于第一初步融合特征对应的分辨率为第三待融合特征c5对应的分辨率的1/2，所以需要将第一初步融合特征进行上采样处理，得到上采样后的第一初步融合特征，然后，上采样后的第一初步融合特征与第三待融合特征c5依次进行矩阵相加和卷积处理，得到第二初步融合特征。
170.2674、将第四融合特征进行池化处理，得到池化后的第四融合特征，池化后的第四融合特征对应的分辨率与第三待融合特征对应的分辨率相同。
171.沿用上述示例，由于第四融合特征p4对应的分辨率为第三待融合特征c5对应的分辨率的2倍，因此，需要将第四融合特征p4进行池化处理，得到池化后的第四融合特征。
172.2675、将第三待融合图像特征、第二初步融合特征以及池化后的第四融合特征依次进行矩阵相加和卷积处理，得到与第三待融合图像特征对应的第三融合特征。
173.沿用上述示例，可以将第三待融合图像特征c5、第二初步融合特征以及池化后的第四融合特征依次进行矩阵相加和卷积处理，以得到与第三待融合图像特征c5对应的第三融合特征p5。
174.268、将第三融合特征和第四融合特征确定为融合处理后的图像特征。
175.沿用上述示例，可以将上述得到的第三融合特征p5和第四融合特征p4，确定为融
合处理后的图像特征。
176.可以理解的是，针对图4中的第四待融合图像特征c4和第五待融合图像特征c3的具体特征融合方式，可以参考上述对第三待融合特征c5进行特征融合的具体实施方式，通过上述方式可以得到与第五待融合图像特征c3对应的第五融合特征p3，并可以将第五融合特征p3也确定为融合处理后的图像特征。
177.270、根据初始的神经网络模型对融合处理后的图像特征进行识别处理，以对初始的神经网络模型进行训练，得到障碍物识别模型。其中，障碍物识别模型用于对待识别图像进行识别，得到待识别图像中的障碍物。
178.在一些实施方式中，步骤270的具体实施方式可以包括：
179.271、根据初始的神经网络模型中的头部网络结构对融合处理后的图像特征进行特征映射，得到障碍物识别结果。
180.其中，该障碍物识别结果中可以包括识别到的类别、位置以及置信度，该置信度可以表征该障碍物为上述类别的概率。
181.可选的，因为yolov5s的头部网络结构有三个输出头，所以上述初始的神经网络模型的neck也有三部分组成，这三个部分中每个部分也可以是由带有bifpn结构的csp模块(如csp6模块至csp7模块)构成，从而实现特征提取和特征融合。其中，三个输出头的大小可以分别为128x80x8xc，128x40x40xc，128x40x40xc，其中，128x80x8、128x40x40、128x40x40分别对应三个输出头输出图像的大小。c＝3x15x5，其中3表示3个锚框，15表示障碍物类别数目，5表示每个框的四个坐标即框的位置和一个置信度。
182.272、若确定障碍物识别结果满足预设条件，则确定障碍物识别模型训练完成。
183.其中，预设条件用于确定障碍物识别模型是否训练完成，具体可以通过计算该障碍物识别结果的损失值来确定是否满足预设条件。
184.作为一种实施方式，步骤272可以包括：
185.基于预设的损失函数和障碍物识别结果确定损失值；若确定损失值小于或等于预设损失值，则确定障碍物识别结果满足预设条件。
186.在一些实施方式中，步骤272的具体实施方式还可以包括：
187.若确定损失值大于预设损失值，则基于损失值对初始的神经网络模型进行参数调整，得到调整后的神经网络模型。
188.基于调整后的神经网络模型，返回执行步骤210至步骤270的操作，直到损失值小于或等于预设损失值。
189.可选的，预设的损失函数可以为giou损失函数。
190.可选的，该方法还可以包括：
191.若确定损失值小于或等于指定损失值且大于预设损失值，则通过余弦退火算法降低初始的神经网络模型的学习率。
192.在一些实施方式中，在初始的神经网络模型学习过程中，可以通过随机梯度下降法(stochastic gradient descent，sgd)进行优化，示例性地，当越来越接近损失值的全局最小值时，通过余弦退火算法来降低学习率，其中余弦函数随着特征x的增加余弦值首先缓慢下降，然后加速下降，再次缓慢下降，这里的加速下降和缓慢下降是通过损失函数的值和预先设置的阈值进行比较触发的，加速和缓慢是通过调整学习率做到的。这种下降算法和
学习率配合，可以产生很好的效果。从而使得初始的神经网络模型在开始阶段，以一个小的学习率学习，然后慢慢变大，直到网络参数稳定时，再次加速训练，最后到达最优值的附近。其中，上述全局最小值是相对于局部最小值来说的，比如梯度下降过程中有三个连续的山峰，如山峰1、山峰2以及山峰3，山峰1和山峰2之间的山谷1和山峰2和山峰3之间的山谷2就是局部最小值，而全局最小值是要比较山谷1和山谷2谁更小，这样才能得到全局最小值，并将该全局最小值确定为上述指定损失值。
193.作为一种示例，将采用本实施的训练方法训练得到的障碍物识别模型和采用yolov5s网络模型分别进行障碍物识别，得到的识别结果比较如表1所示：
194.表1
[0195][0196]
从表1可以得知，本实施例训练得到的障碍物识别模型相比于yolov5s网络模型，识别准确率更高，而且识别时的每秒的帧数(frames per second)，fps)更大，即对障碍物的识别速度更快。
[0197]
图7是根据一示例性实施例示出的一种障碍物识别方法，如图7所示，该障碍物识别方法可以包括：
[0198]
310、获取车辆在行驶方向上的道路图像。
[0199]
示例性地，该障碍物识别方法可以应用于车辆，具体应用于车辆上的处理器，该车辆上可以设置有与处理器连接的多个环视摄像头，例如该多个环视摄像头可以设置在车辆的不同方向上，具体地，该多个环视摄像头可以包括前视摄像头、左侧摄像头以及右侧摄像头。
[0200]
作为一种示例，在车辆的行驶过程中，多个环视摄像头可以实时采集的车辆行驶道路的初始道路图像，然后可以将多个环视摄像头分别采集的初始道路图像进行去畸变和拼接处理，以得到道路图像。
[0201]
320、将道路图像输入至预设的障碍物识别模型中进行特征提取，得到初始的图像特征。
[0202]
其中，该车辆还包括存储器，该存储器中可以存储有预设的障碍物识别模型，该障碍物识别模型可以是通过上述实施例的障碍物识别模型训练方法训练得到的。
[0203]
330、根据障碍物识别模型中的加权双向特征金字塔网络结构对初始的图像特征进行特征融合处理，得到融合处理后的图像特征，融合处理后的图像特征包括障碍物的位置特征和语义特征，语义特征包括纹理特征、形状特征以及颜色特征。
[0204]
340、根据障碍物识别模型对融合处理后的图像特征进行识别处理，得到障碍物识别结果，其中，障碍物识别结果包括识别到的障碍物的类别信息、位置信息以及置信度。
[0205]
其中，步骤320步骤340的具体实施方式可以参考上述实施例中的步骤120至步骤140，故不在此赘述。
[0206]
在一些实施例中，步骤320可以包括：
[0207]
321、将道路图像输入至障碍物识别模型中，将道路图像切分成不同分辨率的道路图像，得到不同分辨率中每一分辨率对应的切分后的道路图像。
[0208]
322、根据障碍物识别模型中的resnet50网络，对每一分辨率对应的切分后的道路图像进行特征提取，得到每一分辨率对应的初始图像特征。
[0209]
其中，步骤321至步骤322的具体实施方式可以参考上述实施例中的步骤220至步骤230，故不在此赘述。
[0210]
在一些实施例中，步骤330可以包括：
[0211]
331、根据分辨率从小到大的顺序对初始图像特征进行排序，得到分辨率排序后的多个初始图像特征。
[0212]
332、将排序后的多个初始图像特征中前n个初始图像特征，确定为待融合图像特征集合，其中，n为正整数。
[0213]
333、根据障碍物识别模型中的加权双向特征金字塔网络结构对待融合图像特征集合进行特征融合处理，得到融合处理后的图像特征。
[0214]
其中，步骤331至步骤332的具体实施方式可以参考上述实施例中的步骤240至步骤250，故不在此赘述。
[0215]
在一些实施方式中，步骤333可以包括：
[0216]
3331、将待融合图像特征集合中对应分辨率最小的待融合图像特征确定为第一待融合图像特征，并将分辨率排序在第一待融合图像特征的后一个待融合图像特征确定为第二待融合图像特征。
[0217]
3332、通过加权双向特征金字塔网络结构对第二待融合图像特征进行特征融合，得到第二待融合图像特征对应的第二融合特征。
[0218]
3333、根据第二融合特征和第一待融合图像特征，确定第一待融合图像特征对应的第一融合特征。
[0219]
3334、将第一融合特征和第二融合特征，确定为融合处理后的图像特征。
[0220]
其中，步骤3331至步骤3334的具体实施方式可以参考上述实施例中的步骤261至步骤264，故不在此赘述。
[0221]
在一些实施方式中，步骤333还可以包括：
[0222]
3335、将分辨率排序在第二待融合图像特征的后一个待融合图像特征确定为第三待融合图像特征，并将分辨率排序在第三待融合图像特征的后一个待融合图像特征确定为第四待融合图像特征。
[0223]
3336、通过加权双向特征金字塔网络结构对第四待融合图像特征进行特征融合，得到第四待融合图像特征对应的第四融合特征。
[0224]
3337、根据第一待融合特征、第二待融合特征、第三待融合特征以及第四融合特征，确定第三待融合特征对应的第三融合特征。
[0225]
3338、将第三融合特征和第四融合特征确定为融合处理后的图像特征。
[0226]
其中，步骤3335至步骤3338的具体实施方式可以参考上述实施例中的步骤265至步骤268，故不在此赘述。
[0227]
在一些实施方式中，在步骤340之后，该障碍物识别方法还可以包括：
[0228]
350、根据障碍物识别结果，确定车辆的目标行驶策略。
[0229]
作为一种实施方式，步骤350的具体实施方式可以包括：
[0230]
351、若根据障碍物的位置信息确定障碍物在车辆的行驶路径上，则根据类别信息，确定障碍物的危险等级，其中，危险等级表征障碍物对车辆行驶的影响程度。
[0231]
示例性地，例如，车辆采集到的道路图像中通常包括行驶路径(即道路)和障碍物，可以根据识别到的障碍物的位置信息，确定在道路图像中的障碍物与行驶路径的之间的相对位置关系，从而可以根据该相对位置关系，判断出障碍物是否在车辆的行驶路径上。
[0232]
如果在确定障碍物在车辆的行驶路径上，则根据类别信息，确定障碍物的危险等级。作为一种示例，例如预先可以将不同类别的障碍物与不同的危险等级进行关联，例如像塑料泡沫、纸板这类体积较小的障碍物对应的危险等级为低；像大型车辆这类体积较大的障碍物对应的危险等级为高；像小型车辆、警示牌这类体积适中的障碍物对应的危险等级为中。
[0233]
352、从预设的多个行驶策略中确定与危险等级对应的行驶策略作为目标行驶策略，其中，多个行驶策略与多个危险等级一一对应，多个行驶策略包括停止、直行以及避让。
[0234]
沿用上述示例，多个行驶策略可以预先和多个危险等级建立关联，例如危险等级为高时，对应的行驶策略可以为停止；危险等级为低时，通常对车辆行驶不会有太大影响，对应的行驶策略可以为直行；危险等级为中时，障碍物通常不会占用太大的车道，对应的行驶策略可以为避让。
[0235]
360、基于目标行驶策略，控制车辆行驶。
[0236]
沿用上述示例，例如目标行驶策略为直行，则可以控制车辆直行通过该障碍物区域。
[0237]
示例性地，该障碍物识别方法具体实施流程图可以如图8所示：首先，车辆可以同时通过前视摄像头、左侧摄像头、右侧摄像头，分别采集车辆前方、左侧、右侧的图像，然后通过车辆的处理器对前方、左侧、右侧的图像进行图像处理，得到道路图像，其中，图像处理包括去畸变处理、拼接处理等。然后将道路图像输入至障碍物识别模型中，并获取到障碍物识别模型输出的障碍物识别结果，最后处理器根据障碍物识别结果来进行车辆的行驶规划，即确定目标行驶策略，以控制车辆顺利地通过障碍物区域。
[0238]
可见，在本方式中，通过上述实施例训练得到的障碍物识别模型可以准确、快速识别出障碍物的类别信息以及位置信息，根据该类别信息以及位置信息可以方便后续控制车辆规划行驶策略，从而可以准确、灵活地帮助车辆对障碍物做出合适的应对。
[0239]
图9是根据一示例性实施例示出的一种障碍物识别模型训练设备，如图9所示，该设备400包括：
[0240]
样本图像获取模块410，用于获取样本图像，样本图像中具有障碍物。
[0241]
特征提取模块420，用于将样本图像输入至初始的神经网络模型中进行特征提取，得到初始的图像特征。
[0242]
特征融合模块430，用于根据初始的神经网络模型中的加权双向特征金字塔网络结构对初始的图像特征进行特征融合处理，得到融合处理后的图像特征，融合处理后的图像特征包括障碍物的位置特征和语义特征，语义特征包括纹理特征、形状特征以及颜色特征。
[0243]
训练模块440，用于根据初始的神经网络模型对融合处理后的图像特征进行识别
处理，以对初始的神经网络模型进行训练，得到障碍物识别模型；其中，障碍物识别模型用于对待识别图像进行识别，得到待识别图像中的障碍物。
[0244]
在一些实施方式中，特征提取模块420可以包括：
[0245]
切分子模块，用于将样本图像输入至初始的神经网络模型中，将样本图像切分成不同分辨率的样本图像，得到不同分辨率中每一分辨率对应的切分后的样本图像。
[0246]
特征提取子模块，用于根据初始的神经网络模型中的resnet50网络，对每一分辨率对应的切分后的样本图像进行特征提取，得到每一分辨率对应的初始图像特征。
[0247]
在一些实施方式中，特征融合模块430，包括：
[0248]
排序子模块，用于根据分辨率从小到大的顺序对初始图像特征进行排序，得到分辨率排序后的多个初始图像特征。
[0249]
待融合图像特征集合确定子模块，用于将排序后的多个初始图像特征中前n个初始图像特征，确定为待融合图像特征集合，其中，n为正整数。
[0250]
融合子模块，用于根据初始的神经网络模型中的加权双向特征金字塔网络结构对待融合图像特征集合进行特征融合处理，得到融合处理后的图像特征。
[0251]
在一些实施方式中，融合子模块，具体用于将待融合图像特征集合中对应分辨率最小的待融合图像特征确定为第一待融合图像特征，并将分辨率排序在第一待融合图像特征的后一个待融合图像特征确定为第二待融合图像特征；通过加权双向特征金字塔网络结构对第二待融合图像特征进行特征融合，得到第二待融合图像特征对应的第二融合特征；根据第二融合特征和第一待融合图像特征，确定第一待融合图像特征对应的第一融合特征；将第一融合特征和第二融合特征，确定为融合处理后的图像特征。
[0252]
在一些实施方式中，融合子模块，具体还用于对第二融合特征进行池化处理，得到池化后的第二融合特征，池化后的第二融合特征对应的分辨率与第一待融合图像特征对应的分辨率相同；将池化后的第二融合特征与第一待融合图像特征依次进行矩阵相加和卷积处理，得到与第一待融合图像特征对应的第一融合特征。
[0253]
在一些实施方式中，融合子模块，具体还用于将分辨率排序在第二待融合图像特征的后一个待融合图像特征确定为第三待融合图像特征，并将分辨率排序在第三待融合图像特征的后一个待融合图像特征确定为第四待融合图像特征；通过加权双向特征金字塔网络结构对第四待融合图像特征进行特征融合，得到第四待融合图像特征对应的第四融合特征；根据第一待融合特征、第二待融合特征、第三待融合特征以及第四融合特征，确定第三待融合特征对应的第三融合特征；将第三融合特征和第四融合特征确定为融合处理后的图像特征。
[0254]
在一些实施方式中，融合子模块，具体还用于对第一待融合图像特征进行上采样处理，得到上采样后的第一待融合图像特征；其中，上采样后的第一待融合图像特征对应的分辨率与第二待融合特征对应的分辨率相同；将上采样后的第一待融合图像特征与第二待融合特征依次进行矩阵相加和卷积处理，得到第一初步融合特征；对第一初步融合特征进行上采样处理，得到上采样后的第一初步融合特征，并将上采样后的第一初步融合特征与第三待融合特征依次进行矩阵相加和卷积处理，得到第二初步融合特征；上采样后的第一初步融合特征对应的分辨率与第三待融合特征对应的分辨率相同；将第四融合特征进行池化处理，得到池化后的第四融合特征，池化后的第四融合特征对应的分辨率与第三待融合
特征对应的分辨率相同；将第三待融合图像特征、第二初步融合特征以及池化后的第四融合特征依次进行矩阵相加和卷积处理，得到与第三待融合图像特征对应的第三融合特征。
[0255]
在一些实施方式中，训练模块440，具体用于根据初始的神经网络模型中的头部网络结构对融合处理后的图像特征进行特征映射，得到障碍物识别结果；若确定障碍物识别结果满足预设条件，则确定障碍物识别模型训练完成。
[0256]
在一些实施方式中，训练模块440，具体还用于基于预设的损失函数和障碍物识别结果确定损失值；若确定损失值小于或等于预设损失值，则确定障碍物识别结果满足预设条件。
[0257]
在一些实施方式中，该障碍物识别模型训练设备400还包括学习优化模块，学习优化模块用于若确定损失值小于或等于指定损失值且大于预设损失值，则通过余弦退火算法降低初始的神经网络模型的学习率。
[0258]
图10是根据一示例性实施例示出的一种障碍物识别设备，如图10所示，该设备500包括：
[0259]
道路图像获取模块510，用于获取车辆在行驶方向上的道路图像。
[0260]
提取处理模块520，用于将道路图像输入至预设的障碍物识别模型中进行特征提取，得到初始的图像特征。
[0261]
融合处理模块530，用于根据障碍物识别模型中的加权双向特征金字塔网络结构对初始的图像特征进行特征融合处理，得到融合处理后的图像特征，融合处理后的图像特征包括障碍物的位置特征和语义特征，语义特征包括纹理特征、形状特征以及颜色特征。
[0262]
识别模块540，用于根据障碍物识别模型对融合处理后的图像特征进行识别处理，得到障碍物识别结果，其中，障碍物识别结果包括识别到的障碍物的类别信息、位置信息以及置信度。
[0263]
在一些实施方式中，提取处理模块520具体用于将道路图像输入至障碍物识别模型中，将道路图像切分成不同分辨率的道路图像，得到不同分辨率中每一分辨率对应的切分后的道路图像；根据障碍物识别模型中的resnet50网络，对每一分辨率对应的切分后的道路图像进行特征提取，得到每一分辨率对应的初始图像特征。
[0264]
在一些实施方式中，融合处理模块530，具体用于根据分辨率从小到大的顺序对初始图像特征进行排序，得到分辨率排序后的多个初始图像特征；将排序后的多个初始图像特征中前n个初始图像特征，确定为待融合图像特征集合，其中，n为正整数；根据障碍物识别模型中的加权双向特征金字塔网络结构对待融合图像特征集合进行特征融合处理，得到融合处理后的图像特征。
[0265]
在一些实施方式中，融合处理模块530，具体还用于将待融合图像特征集合中对应分辨率最小的待融合图像特征确定为第一待融合图像特征，并将分辨率排序在第一待融合图像特征的后一个待融合图像特征确定为第二待融合图像特征；通过加权双向特征金字塔网络结构对第二待融合图像特征进行特征融合，得到第二待融合图像特征对应的第二融合特征；根据第二融合特征和第一待融合图像特征，确定第一待融合图像特征对应的第一融合特征；将第一融合特征和第二融合特征，确定为融合处理后的图像特征。
[0266]
在一些实施方式中，融合处理模块530，具体还用于将分辨率排序在第二待融合图像特征的后一个待融合图像特征确定为第三待融合图像特征，并将分辨率排序在第三待融
合图像特征的后一个待融合图像特征确定为第四待融合图像特征；通过加权双向特征金字塔网络结构对第四待融合图像特征进行特征融合，得到第四待融合图像特征对应的第四融合特征；根据第一待融合特征、第二待融合特征、第三待融合特征以及第四融合特征，确定第三待融合特征对应的第三融合特征；将第三融合特征和第四融合特征确定为融合处理后的图像特征。
[0267]
在一些实施方式中，该障碍物识别设备500还包括：
[0268]
目标行驶策略确定模块，用于根据障碍物识别结果，确定车辆的目标行驶策略。
[0269]
行驶控制模块，用于基于目标行驶策略，控制车辆行驶。
[0270]
在一些实施方式中，目标行驶策略确定模块，包括：
[0271]
危险等级确定子模块，用于若根据障碍物的位置信息确定障碍物在车辆的行驶路径上，则根据类别信息，确定障碍物的危险等级，其中，危险等级表征障碍物对车辆行驶的影响程度。
[0272]
目标行驶策略确定子模块，用于从预设的多个行驶策略中确定与危险等级对应的行驶策略作为目标行驶策略，其中，多个行驶策略与多个危险等级一一对应，多个行驶策略包括停止、直行以及避让。
[0273]
图11是根据一示例性实施例示出的一种车辆的结构示意图，如图11所示，该车辆具体可以包括接收器60、发送器61、处理器62、存储器63以及图像采集设备64等，该接收器60、发送器61、处理器62、存储器63可以组成该车辆的车载终端。其中，上述接收器60和发送器61用于实现车辆与其它设备(如云端服务器、定位设备、移动终端等)之间的数据传输，上述存储器存储计算机执行指令；上述处理器执行上述存储器存储的计算机执行指令，以实现上述实施例中的障碍物识别模型训练方法和障碍物识别方法。其中，图像采集设备64可以包括上述多个环视摄像头。
[0274]
在示例性实施例中，还提供了一种非临时性计算机可读存储介质，当该存储介质中的指令由终端设备的处理器执行时，使得终端设备能够执行上述实施例中的障碍物识别模型训练方法和障碍物识别方法。
[0275]
在示例性实施例中，还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，用于实现上述实施例中的障碍物识别模型训练方法和障碍物识别方法。
[0276]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求书指出。
[0277]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求书来限制。

技术特征：
1.一种障碍物识别方法，其特征在于，包括：获取车辆在行驶方向上的道路图像；将所述道路图像输入至预设的障碍物识别模型中进行特征提取，得到初始的图像特征；根据所述障碍物识别模型中的加权双向特征金字塔网络结构对所述初始的图像特征进行特征融合处理，得到融合处理后的图像特征，所述融合处理后的图像特征包括所述障碍物的位置特征和语义特征，所述语义特征包括纹理特征、形状特征以及颜色特征；根据所述障碍物识别模型对所述融合处理后的图像特征进行识别处理，得到障碍物识别结果，其中，所述障碍物识别结果包括识别到的障碍物的类别信息、位置信息以及置信度。2.根据权利要求1所述的方法，其特征在于，所述将所述道路图像输入至预设的障碍物识别模型中进行特征提取，得到初始的图像特征，包括：将所述道路图像输入至障碍物识别模型中，将所述道路图像切分成不同分辨率的道路图像，得到所述不同分辨率中每一分辨率对应的切分后的道路图像；根据所述障碍物识别模型中的resnet50网络，对所述每一分辨率对应的切分后的道路图像进行特征提取，得到每一分辨率对应的初始图像特征。3.根据权利要求2所述的方法，其特征在于，所述根据所述障碍物识别模型中的加权双向特征金字塔网络结构对所述初始的图像特征进行特征融合处理，得到融合处理后的图像特征，包括：根据所述分辨率从小到大的顺序对所述初始图像特征进行排序，得到分辨率排序后的多个初始图像特征；将所述排序后的多个初始图像特征中前n个初始图像特征，确定为待融合图像特征集合，其中，n为正整数；根据所述障碍物识别模型中的加权双向特征金字塔网络结构对所述待融合图像特征集合进行特征融合处理，得到所述融合处理后的图像特征。4.根据权利要求3所述的方法，其特征在于，所述根据所述障碍物识别模型中的加权双向特征金字塔网络结构对所述待融合图像特征集合进行特征融合处理，得到所述融合处理后的图像特征，包括：将所述待融合图像特征集合中对应分辨率最小的待融合图像特征确定为第一待融合图像特征，并将分辨率排序在所述第一待融合图像特征的后一个待融合图像特征确定为第二待融合图像特征；通过所述加权双向特征金字塔网络结构对所述第二待融合图像特征进行特征融合，得到所述第二待融合图像特征对应的第二融合特征；根据所述第二融合特征和所述第一待融合图像特征，确定所述第一待融合图像特征对应的第一融合特征；将所述第一融合特征和所述第二融合特征，确定为所述融合处理后的图像特征。5.根据权利要求4所述的方法，其特征在于，所述根据所述障碍物识别模型中的加权双向特征金字塔网络结构对所述待融合图像特征集合进行特征融合处理，得到所述融合处理后的图像特征，还包括：
将分辨率排序在所述第二待融合图像特征的后一个待融合图像特征确定为第三待融合图像特征，并将分辨率排序在所述第三待融合图像特征的后一个待融合图像特征确定为第四待融合图像特征；通过所述加权双向特征金字塔网络结构对所述第四待融合图像特征进行特征融合，得到所述第四待融合图像特征对应的第四融合特征；根据所述第一待融合特征、第二待融合特征、第三待融合特征以及所述第四融合特征，确定所述第三待融合特征对应的第三融合特征；将所述第三融合特征和所述第四融合特征确定为所述融合处理后的图像特征。6.根据权利要求1至5任一项所述的方法，其特征在于，在所述根据所述障碍物识别模型对所述融合处理后的图像特征进行识别处理，得到障碍物识别结果之后，所述方法还包括：根据所述障碍物识别结果，确定所述车辆的目标行驶策略；基于所述目标行驶策略，控制所述车辆行驶。7.根据权利要求6所述的方法，其特征在于，所述根据所述障碍物识别结果，确定所述车辆的行驶策略，包括：若根据所述障碍物的位置信息确定所述障碍物在所述车辆的行驶路径上，则根据所述类别信息，确定所述障碍物的危险等级，其中，所述危险等级表征所述障碍物对所述车辆行驶的影响程度；从所述预设的多个行驶策略中确定与所述危险等级对应的行驶策略作为所述目标行驶策略，其中，所述多个行驶策略与多个危险等级一一对应，所述多个行驶策略包括停止、直行以及避让。8.一种障碍物识别设备，其特征在于，所述设备包括：道路图像获取模块，用于获取车辆在行驶方向上的道路图像；提取处理模块，用于将所述道路图像输入至预设的障碍物识别模型中进行特征提取，得到初始的图像特征；融合处理模块，用于根据所述障碍物识别模型中的加权双向特征金字塔网络结构对所述初始的图像特征进行特征融合处理，得到融合处理后的图像特征，所述融合处理后的图像特征包括所述障碍物的位置特征和语义特征，所述语义特征包括纹理特征、形状特征以及颜色特征；识别模块，用于根据所述障碍物识别模型对所述融合处理后的图像特征进行识别处理，得到障碍物识别结果，其中，所述障碍物识别结果包括识别到的障碍物的类别信息、位置信息以及置信度。9.一种车辆，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至7中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的方法。

技术总结
本申请提供一种障碍物识别方法、设备及车辆。该障碍物识别方法包括：获取车辆在行驶方向上的道路图像；将道路图像输入至预设的障碍物识别模型中进行特征提取，得到初始的图像特征；根据障碍物识别模型中的加权双向特征金字塔网络结构对初始的图像特征进行特征融合处理，得到融合处理后的图像特征，融合处理后的图像特征包括障碍物的位置特征和语义特征，语义特征包括纹理特征、形状特征以及颜色特征；根据障碍物识别模型对融合处理后的图像特征进行识别处理，得到障碍物识别结果，其中，障碍物识别结果包括识别到的障碍物的类别信息、位置信息以及置信度。本申请的方法，保证了对障碍物识别的准确性。碍物识别的准确性。碍物识别的准确性。


技术研发人员：殷娇阳 孟祥雨 丛炜
受保护的技术使用者：国汽智控（北京）科技有限公司
技术研发日：2023.05.26
技术公布日：2023/7/27