一种基于路侧激光雷达的3D车辆目标检测方法

一种基于路侧激光雷达的3d车辆目标检测方法
技术领域
1.本发明属于智能交通信息技术领域，具体涉一种及基于路侧激光雷达的3d车辆目标检测方法。


背景技术：

2.随着智能技术的不断发展，视觉传感器已成为机器人技术中发挥重要作用的组成部分。路端感知对于智能车辆-基础设施协同系统的成功运行至关重要，随着路侧感知的发展，网联汽车能够减少感知传感器和高性能计算单元的需求。路侧感知系统能够作为安全冗余的部分，拓展单车的感知范围，为道路行驶汽车输出精确、可信的目标类别和位置信息，以识别障碍物与交通参与者。激光雷达作为一种能够捕获目标的位置、轮廓信息的精密三维传感器，能够提供比传统的路侧传感器更多的安全与性能数据，在智能驾驶中发挥重要作用。
3.查阅车辆3d目标检测的相关专利和论文，发现现有大多数路侧激光雷达感知方法都基于传统的机器视觉模型。深度学习方法在利用路侧激光雷达数据进行高效目标感知方面有很大的发展空间，值得进一步研究。另外，基于transformer的三维目标检测模型在车载传感器上表现出了优异的效果，其在路侧视角中的应用也有很大的研究价值。但是现有的路端检测方法由于检测对象位置的变化，以及点云的稀疏性，涉及到多尺度、遮挡等因素，导致特征提取困难、路端检测能力不足。
4.因此，如何结合点云的多种表征形式特征，改善稀疏点云目标以及遮挡状况下的检出效果，对于路端激光雷达的目标检测具有十分重要的意义。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种基于路侧激光雷达的3d车辆目标检测方法。本发明旨在解决现有路端检测方法特征提取困难，检测效果差的问题。
6.为达到上述目的，本发明提供了一种基于路侧激光雷达的3d车辆目标检测方法，包括以下步骤：
7.s1.通过高速公路路侧激光雷达，采集车辆点云数据，并对点云数据进行预处理；
8.s2.将预处理后的点云输入centerpoint网络，提取点云的多尺度体素特征以及鸟瞰图特征，生成一阶段目标中心候选；
9.s3.采用改进的关键点采样方法选取关键点，利用pointnet网络提取关键点特征；
10.s4.利用两层transformer结构将提取的bev特征、关键点特征、点体素特征生成融合点云的多表征形式、多尺度和关键点相互关系的点间特征；
11.s5.利用二阶段检测头，结合感兴趣区域网格池化模块细化中心提案，并预测检测置信度。
12.进一步，所述步骤s1中，预处理包括对原始点云数据进行清洗，筛出离群值，滤除地面点云，保留有效点云。
13.进一步，所述步骤s2包括以下子步骤：
14.s2.1采用second作为三维骨干网络，对预处理后的路侧激光雷达点云进行体素化，然后使用稀疏卷积编码器形成不同尺度的体素特征；
15.s2.2将不同尺度的体素特征导入到fpn网络中进行特征上采样，得到多尺度体素融合特征；
16.s2.3将输入体素特征的z维和通道维组合到一个维度中，利用2d cnn将fpn网络中得到的多尺度体素融合特征生成bev特征f
bev
；
17.s2.4采用目标热图作为检测头，获取初始目标中心候选；
18.得到n个中心候选c，计算表达式如下：
[0019][0020]
其中，h表示物体中心的目标热图；o表示基于bev视图的位置；h为距地面高度，添加因投影造成的高度信息缺失；s表示三维尺寸；θ表示偏转角度；hi,oi,hi,si,θi分别表示第i个目标相应信息。
[0021]
进一步，所述步骤s3包括以下子步骤：
[0022]
s3.1首先基于步骤s2的中心候选c进行关键点选取区域过滤，将关键点p
′
选取区域限制在c的邻域范围内，如下式：
[0023][0024]
其中，pj∈p为原始点；max(s)为最大的3d包围盒尺寸；rs是为超参数，表示建议的最大扩展半径；
[0025]
s3.2将点云以场景中心为中心分为m个扇区，通过原始点云中各个扇区点的比例确定每个扇区的关键点个数s
′
，然后利用gpu的并行计算进行分区最远点采样，确定关键点；
[0026]
s3.3根据提取得到的关键点，采用pointnet++的多层点集抽象层，生成关键点特征其中n为关键点个数，c
point
为关键点输入维度；
[0027]
s3.4利用pv-rcnn中的体素集抽象模块，为关键点聚合多尺度体素信息f
voxel
，生成包含多尺度语义信息的关键点特征f
pv
，如下式所示：
[0028]fpv
＝{f
pv1
×
,f
pv2
×
,f
pv4
×
,f
pv8
×
}
[0029]
其中，f
pv1
×
、f
pv2
×
、f
pv4
×
、f
pv8
×
分别表示下采样1、2、4、8倍后提取的特征。
[0030]
进一步，所述步骤s4包括以下子步骤：
[0031]
s4.1利用多表示和多尺度的transformer层，将点云三个特征序列f
bev
、f
pv
以及f
point
嵌入并生成丰富的交叉表示和跨尺度嵌入；
[0032]
使用单层感知器对输入特征应用特征缩减以对齐每个特征嵌入的特征维度；特征缩减层的输出为：
[0033][0034]
其中，每个特征的输出维度为
[0035]
在特征缩减层之后，多表示和多尺度变换层以作为输入并生成自注意力特征t；
[0036]
t＝[t
bev
，t
point
,t
pv1
×
,t
pv2
×
,t
pv4
×
,t
pv8
×
]
[0037]
s4.2将多表示和多尺度层的聚合特征输出t进行通道聚合，生成级联特征序列：
[0038][0039]
其中，c
t
是t中所有通道总和；n为关键点数量，将t
′
拆分为n个点对点特征t
′
＝{ti}，其中
[0040]
s4.3利用点特征相互关系transformer层建模逐点特征关系；
[0041]
点特征相互关系转换器将ti作为输入，并使用多头自注意力头对特征点之间的相互关系进行建模，生成点交叉注意力特征；
[0042]
相互关系transformer层的输出为聚合了点云多表征、多尺度特征以及点间相互关系的特征
[0043]
进一步，所述步骤s5包括以下子步骤：
[0044]
s5.1采用感兴趣区域网格合并roi-gridpooling，将步骤s2.4中得到的中心候选c均匀地进行k
×k×
k的网格划分，k为预设的网格大小；将网格中心点定义为网格点，将网格点与步骤s4.3中m3-transformers得到的聚合特征进行集合抽象操作提取gridpoint特征；
[0045]
s5.2将gridpoint特征传递到两个全连接层，通过两个分支分别生成3d-iou引导的预测分类置信度评分与回归目标的位置精化。
[0046]
本发明的有益效果在于：
[0047]
本发明利用路侧激光雷达点云数据，提出了一种基于目标中心候选结合注意力机制的3d车辆目标检测方法，利用centerpoint网络生成目标中心候选，采用改进的关键点采样方法选取关键点，优化点云的多种特征编码，基于注意力机制聚合点云的不同表征形式和多尺度特征，对关键点相互关系特征建模，提高了特征提取与表征能力，改善了对于车辆目标的检测性能，得到了一种适用于路侧场景下车辆目标的3d检测方法。
[0048]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0049]
图1为本发明的整体网络结构图；
[0050]
图2为本发明的一阶段目标中心提案生成网络；
[0051]
图3为本发明的改进关键点采样算法示意图；
[0052]
图4为本发明的多表示、多尺度以及点特征相互关系的transformer结构图；
[0053]
图5为本发明的二阶段检测头结构图。
具体实施方式
[0054]
以为使本发明的技术方案、优点和目的更加清楚，下面将结合本发明实施例的附
图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本技术的保护范围。
[0055]
如图1所示，本发明提供了一种基于路侧激光雷达的3d车辆目标检测方法，包括以下步骤：
[0056]
s1.通过高速公路路测激光雷达，采集车辆点云数据，并对点云数据进行预处理，得到无序点云p＝{(x,y,z,r)m}，其中，(x,y,z)表示点的三维位置；r代表其反射率；m表示点云点数量规模。
[0057]
预处理包括对原始点云数据进行清洗，筛出离群值，滤除地面点云，保留有效点云。
[0058]
s2.将预处理后的点云输入centerpoint网络，提取点云的多尺度体素特征以及鸟瞰图特征，生成一阶段目标中心候选，如图2所示，包括以下子步骤：
[0059]
s2.1采用second作为三维骨干网络，对预处理后的路侧激光雷达点云进行体素化，然后使用稀疏卷积编码器，通过下采样形成不同尺度的体素特征f
voxel
；
[0060]
其中，f
voxel
＝{f
voxel1
×
,f
voxel2
×
,f
voxel4
×
,f
voxel8
×
}，1x、2x、4x、8x分别表示下采样若干倍后的特征，同下。
[0061]
s2.2将不同尺度的体素特征导入到fpn网络中进行特征上采样，得到多尺度体素融合特征；
[0062]
s2.3将输入体素特征的z维和通道维组合到一个维度中，利用2dcnn将fpn网络中得到的多尺度体素融合特征生成相应的bev特征f
bev
，其中l
bev
,w
bev
表示bev视图的长宽，c
bev
为输出bev特征的维度，通过双线性插值将其转化为n个关键点特征
[0063]
s2.4采用目标热图作为检测头实现初始目标中心候选。
[0064]
具体地，在训练过程中，将真实边界盒的三维中心投影作为非归一化二维高斯分布的输入，将高斯半径σ设置为：
[0065]
σ＝max(f(wl),τ)
[0066]
其中τ＝1是最小允许高斯半径；l,w分别为目标检测框的长、宽；f是在cornernet中定义的半径函数。
[0067]
热图得分前n的位置将被提取为中心提案。预测出物体中心的目标热图h，使用与真值中心位置的l1损失来训练所有输出。对于预测框d与真值之间的偏移δd，
[0068][0069]
假设数据集中存在k类对象，那么就输出k通道的目标热图，每个通道包含一个分类的热图得分。得到的n个中心候选可表示为：
[0070][0071]
其中，h表示物体中心的目标热图；o表示基于bev视图的位置；h为距地面高度，添加因投影造成的高度信息缺失；s表示三维尺寸；θ表示偏转角度；hi,oi,hi,si,θi分别表示第i个目标相应信息。
[0072]
s3.采用改进的关键点采样方法选取关键点，利用pointnet网络提取关键点特征，如图3所示，包括以下子步骤：
[0073]
s3.1首先基于步骤2建议中心c进行关键点选取区域过滤，将n个关键点集中到proposal-ctenter的邻域。
[0074]
对于中心候选将关键点p
′
选取区域限制在c的邻域范围内，如下式
[0075][0076]
其中，pj∈p为原始点；max(s)为最大的3d包围盒尺寸；rs是为超参数，表示建议的最大扩展半径。
[0077]
s3.2将点云以场景中心为中心分为m个扇区，每个扇区的关键点个数s
′
由原始点云中各个扇区点的比例进行确定，以此为基础利用gpu的并行计算进行分区最远点采样，确定关键点。整个关键点采样的时间复杂度由采样p
′
减少到max
i∈(1,...,m)s′i，进一步加速采样过程。
[0078]
s3.3根据提取得到关键点，采用pointnet++的多层点集抽象层，生成关键点特征其中n为关键点个数，c
point
为关键点输入维度；利用pv-rcnn中的体素集抽象模块，为关键点聚合多尺度体素信息f
voxel
，生成包含多尺度语义信息的关键点特征如下式所示：
[0079]fpv
＝{f
pv1
×
,f
pv2
×
,f
pv4
×
,f
pv8
×
}
[0080]
其中，f
pv1
×
、f
pv2
×
、f
pv4
×
、f
pv8
×
分别表示下采样1、2、4、8倍后提取的特征。
[0081]
s4.利用两层transformer结构将提取的bev特征、关键点特征、点体素特征生成融合点云的多表征形式、多尺度和关键点相互关系的点间特征，如图4所示，包括以下子步骤：
[0082]
s4.1利用多表示和多尺度的transformer层，将点云三个特征序列f
bev
、f
pv
以及f
point
嵌入并生成丰富的交叉表示和跨尺度嵌入。首先，多表示和多尺度层有6个不同的输入：f
bev
、f
point
以及f
pv
＝{f
pv1
×
,f
pv2
×
,f
pv4
×
,f
pv8
×
}，不同输入间具有不同的特征维度，使用单层感知器对输入特征应用特征缩减以对齐每个特征嵌入的特征维度。
[0083]
特征缩减层的输出为：
[0084][0085]
其中每个特征的输出维度为
[0086]
在特征缩减层之后，多表示和多尺度变换层以作为输入并生成自注意力特征t。
[0087]
t＝[t
bev
，t
point
,t
pv1
×
,t
pv2
×
,t
pv4
×
,t
pv8
×
]
[0088]
s4.2将多表示和多尺度层的聚合特征输出t进行通道聚合，生成级联特征序列
[0089][0090]
其中，c
t
是t中所有通道总和，n为关键点数量。为了建模每个特征点之间的相互关系，将t
′
拆分为n个点对点特征t
′
＝{ti}，其中
[0091]
s4.3利用点特征相互关系transformer层建模逐点特征关系。
[0092]
点特征相互关系转换器将ti作为输入，并使用多头自注意力头对特征点之间的相互关系进行建模，生成点交叉注意力特征。相互关系transformer层的输出为聚合了点云多表征、多尺度特征以及点间相互关系的特征
[0093]
s5.利用二阶段检测头，结合感兴趣区域网格池化模块细化中心提案，并预测检测置信度，如图5所示，包括以下子步骤：
[0094]
s5.1在本实施例中，采用rcnn网络作为二阶段检测头。采用感兴趣区域网格合并(roi-gridpooling)将步骤s2.4中得到初始建议c均匀地进行k
×k×
k的网格划分，k为预设的网格大小；每个网格中心点定义为网格点(grid point)，将网格点与由步骤s4.3中m3-transformers得到的聚合特征进行集合抽象操作提取gridpoint特征。
[0095]
s5.2将gridpoint特征传递到两个全连接层，再由两个分支分别生成3d-iou引导的预测分类置信度评分，与回归目标的位置精化。
[0096]
对于损失函数，在rcnn网络中，对于分类损失l
cls
采用焦损(focalloss)。包围盒回归损失l
reg
与位置细化损失l
ref
采用平滑l1损失。采用3diou计算交并比损失l
iou
。具体地：对于预测框d，与真值之间的偏移δd，有
[0097]
l
cls
＝-αd(1-pd)
γ
log pd[0098][0099][0100]
其中，pd是模型对于锚框的估计分类概率，α＝0.25，γ＝2.0是焦损参数，得到最终损失函数：
[0101]
l＝l
cls
+l
iou
+β
reg
l
reg
+β
ref
l
ref
[0102]
其中，β
reg
、β
ref
表示回归损失的权重，用以平衡分类损失。
[0103]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

技术特征：
1.一种基于路侧激光雷达的3d车辆目标检测方法，其特征在于，包括以下步骤：s1.通过高速公路路侧激光雷达，采集车辆点云数据，并对点云数据进行预处理；s2.将预处理后的点云输入centerpoint网络，提取点云的多尺度体素特征以及鸟瞰图特征，生成一阶段目标中心候选；s3.采用改进的关键点采样方法选取关键点，利用pointnet网络提取关键点特征；s4.利用两层transformer结构将提取的bev特征、关键点特征、点体素特征生成融合点云的多表征形式、多尺度和关键点相互关系的点间特征；s5.利用二阶段检测头，结合感兴趣区域网格池化模块细化中心提案，并预测检测置信度。2.根据权利要求1所述的一种基于路侧激光雷达的3d车辆目标检测方法，其特征在于：所述步骤s1中，预处理包括对原始点云数据进行清洗，筛出离群值，滤除地面点云，保留有效点云。3.根据权利要求1所述的一种基于路侧激光雷达的3d车辆目标检测方法，其特征在于：所述步骤s2包括以下子步骤：s2.1采用second作为三维骨干网络，对预处理后的路侧激光雷达点云进行体素化，然后使用稀疏卷积编码器形成不同尺度的体素特征；s2.2将不同尺度的体素特征导入到fpn网络中进行特征上采样，得到多尺度体素融合特征；s2.3将输入体素特征的z维和通道维组合到一个维度中，利用2d cnn将fpn网络中得到的多尺度体素融合特征生成bev特征f
bev
；s2.4采用目标热图作为检测头，获取初始目标中心候选；得到n个中心候选c，计算表达式如下：其中，h表示物体中心的目标热图；o表示基于bev视图的位置；h为距地面高度，添加因投影造成的高度信息缺失；s表示三维尺寸；θ表示偏转角度；h
i
,o
i
,h
i
,s
i
,θ
i
分别表示第i个目标相应信息。4.根据权利要求3所述的一种基于路侧激光雷达的3d车辆目标检测方法，其特征在于：所述步骤s3包括以下子步骤：s3.1首先基于步骤s2的中心候选c进行关键点选取区域过滤，将关键点p
′
选取区域限制在c的邻域范围内，如下式：其中，p
j
∈p为原始点；max(s)为最大的3d包围盒尺寸；r
s
是为超参数，表示建议的最大扩展半径；s3.2将点云以场景中心为中心分为m个扇区，通过原始点云中各个扇区点的比例确定每个扇区的关键点个数s
′
，然后利用gpu的并行计算进行分区最远点采样，确定关键点；s3.3根据提取得到的关键点，采用pointnet++的多层点集抽象层，生成关键点特征其中n为关键点个数，c
point
为关键点输入维度；
s3.4利用pv-rcnn中的体素集抽象模块，为关键点聚合多尺度体素信息f
voxel
，生成包含多尺度语义信息的关键点特征f
pv
，如下式所示：其中，f
pv1
×
、f
pv2
×
、f
pv4
×
、f
pv8
×
分别表示下采样1、2、4、8倍后提取的特征。5.根据权利要求4所述的一种基于路侧激光雷达的3d车辆目标检测方法，其特征在于：所述步骤s4包括以下子步骤：s4.1利用多表示和多尺度的transformer层，将点云三个特征序列f
bev
、f
pv
以及f
point
嵌入并生成丰富的交叉表示和跨尺度嵌入；使用单层感知器对输入特征应用特征缩减以对齐每个特征嵌入的特征维度；特征缩减层的输出为：其中，每个特征的输出维度为在特征缩减层之后，多表示和多尺度变换层以作为输入并生成自注意力特征t；s4.2将多表示和多尺度层的聚合特征输出t进行通道聚合，生成级联特征序列：其中，c
t
是t中所有通道总和；n为关键点数量，将t
′
拆分为n个点对点特征t
′
＝{t
i
}，其中s4.3利用点特征相互关系transformer层建模逐点特征关系；点特征相互关系转换器将t
i
作为输入，并使用多头自注意力头对特征点之间的相互关系进行建模，生成点交叉注意力特征；相互关系transformer层的输出为聚合了点云多表征、多尺度特征以及点间相互关系的特征6.根据权利要求5所述的一种基于路侧激光雷达的3d车辆目标检测方法，其特征在于，所述步骤s5包括以下子步骤：s5.1采用感兴趣区域网格合并roi-gridpooling，将步骤s2.4中得到的中心候选c均匀地进行k
×
k
×
k的网格划分，k为预设的网格大小；将网格中心点定义为网格点，将网格点与步骤s4.3中m3-transformers得到的聚合特征进行集合抽象操作提取gridpoint特征；s5.2将gridpoint特征传递到两个全连接层，通过两个分支分别生成3d-iou引导的预测分类置信度评分与回归目标的位置精化。

技术总结
本发明公开了一种基于路侧激光雷达的3D车辆目标检测方法，包括：对原始激光雷达点云数据进行预处理；将预处理后的点云输入CenterPoint网络，提取点云的多尺度体素特征以及鸟瞰图特征，生成一阶段目标目标中心候选；采用改进的关键点采样方法选取关键点，利用PointNet网络提取关键点特征；利用两层Transformer结构将提取的鸟瞰图特征、关键点特征、点体素特征生成融合点云的多表征形式、多尺度和关键点相互关系的点间特征；利用二阶段检测头，结合感兴趣区域网格池化模块细化中心提案，并预测检测置信度。本发明引入注意力机制，增强了对于目标精细特征的提取能力，提高了目标检测能力，可适用于基于路侧激光雷达的车辆目标快速有效检测。的车辆目标快速有效检测。的车辆目标快速有效检测。


技术研发人员：孙棣华 赵敏 陈云
受保护的技术使用者：重庆大学
技术研发日：2023.07.19
技术公布日：2023/10/15