一种基于深度学习的栅格化点云像素级分类方法及系统

1.本发明涉及雷达数据处理技术领域，尤其涉及一种基于深度学习的栅格化点云像素级分类方法及系统。


背景技术：

2.激光雷达(light detection and ranging)由于它独特的优点,在民用和军用应用范围广泛，并且发展前景一片光明。它可以独立使用或与光学数据源如航空图像一起使用，然而，与可用许多有效工具的原始图像相反，使它们很难处理。为了克服激光雷达点云数据的非结构化和稀疏性这种特殊性质，目前的标准方法是将点云转换为数字高程模型(dem)，表示为二维光栅。这样的光栅可以类比于光学图像使用，例如与用于语义分割的2-d卷积神经网络(cnn)一起使用。在许多研究中，土地覆盖地图通常被简化为数字高程模型，用作与多光谱或高光谱图像融合的附加信息。
3.随着传感技术的最新发展，多模态数据已逐渐可轻松用于各种领域，尤其是在遥感(remote sensing)中，有许多数据类型，如多光谱(msi)，高光谱(hsi)，激光雷达(lidar)等。为了充分利用高光谱图像(hsi)和激光雷达数据，自过去十年以来已经提出了许多不同的方法和策略。目前，已经开发了许多使用hsi数据的分类方法。由于不同的源数据具有特定的优点，因此也提出了各种分类融合策略，以结合不同数据源的多种特征。但是目前很少考虑有如何在栅格化lidar数据的分类方法中取得更好效果这一方面，因此，如何对激光雷达点云进行精确分割分类是现阶段需要考虑的问题。
4.需要说明的是，在上述背景技术部分公开的信息只用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

5.本发明的目的在于克服现有技术的缺点，提供了一种基于深度学习的栅格化点云像素级分类方法及系统，解决了现有技术存在的不足。
6.本发明的目的通过以下技术方案来实现：一种基于深度学习的栅格化点云像素级分类方法，所述分类方法包括：
7.特征提取步骤：将二维光栅数据切分成不同大小的patch，找出栅格化后lidar数据的最佳初始感受野作为数据输入，并通过采用第一模型作为主干网络的网络模型对切分后的lidar二维光栅数据特征进行提取，对模型进行训练；
8.特征细化步骤：通过信息细化块选择主干网络提取的lidar信息特征，将不同层次特征图进行交叉融合，扩大浅层lidar特征图的感受野；
9.特征强化步骤：聚合邻域内相关点的特征，强化各个像素点的隐空间特征表示；
10.最终通过对栅格化后lidar数据的特征进行提取、细化、融合与强化，从原始特征中选择最有效的特征对模型进行训练，提高了模型对lidar数据的分类精度，从而对hsi和lidar数据分类融合进行提升。
11.所述特征提取步骤具体包括：
12.以像素为中心将二维光栅数据切分成半径r的数据补丁块作为输入数据，将数据补丁送入到2-dcnn隧道中，通过resnet50模型从中心目标像素周围域提取空间特征；resnet50模型包括conv block和identity block两种基本块，多个conv block基本块之间并联以改变网络的维度，多个identity block基本块之间串联以加深网络的深度；
13.resnet50模型中含有4个卷积块，每个卷积块中分别有3、4、6、3个瓶颈结构，通过卷积块和最大池化层降低特征图的空间分辨率，最后选择提取第二和第三卷积块输出的特征图(f3和f4)作为特征细化步骤的输入。
14.所述特征细化步骤包括：
15.将所述特征提取步骤中第二和第三卷积块输出的特征图f
in
作为信息细化块的输入，使用具有bn和relu的3
×
3卷积层减少输入的特征图f
in
的通道数从而降低网络的计算量；
16.统一来自不同阶段的特征图的通道数进行进一步融合，通过全局平均池化操作，并利用具有bn和sigmoid激活函数的3
×
3卷积层生成全局权重向量mc，将全局权重向量mc和特征图f
in
相乘，生成通道注意力细化块的输出，通过通道注意力细化块捕获更准确的语义信息；
17.第二和第三卷积块输出的特征图(f3和f4)，经过信息细化后得到低级特征图f
low
和高级特征图f
high
，将两个特征图输入到交叉融合块，使用双线性插值运算将高级特征图f
high
的分辨率更改为与低级特征图f
low
相同的分辨率，通过具有bn和relu的3
×
3卷积层精细化上采样高级特征图；
18.通过级联运算将上采样后的高级特征图f
high
和低级特征图f
low
进行级联，并通过具有bn和relu的1
×
1卷积层生成交叉融合块的输出。
19.所述特征强化步骤包括：
20.通过信息细化及融合后将得到的特征图分成k个对象区域{m1，m2，
…
，mk}，将每个对象区域的所有像素进行聚合，并按其所属对象区域的程度加权，得到对象区域特征fk；
21.计算每个像素和每个对象区域之间的关系ω
ik
，通过聚合k个对象区域的表示以及通过对象区域特征fk和像素与区域之间的关系ω
ik
，经过具有bn和relu的1
×
1卷积层来实现特征的强化，最终得到原始表示和经过特征强化的对象上下文表示的特征。
22.一种基于深度学习的栅格化点云像素级分类系统，它包括特征提取单元、特征细化单元和特征强化单元；
23.所述特征提取单元：用于将二维光栅数据切分成不同大小的patch，找出栅格化后点云的最佳初始感受野作为数据输入，并通过采用第一模型作为主干网络的网络模型对切分后的lidar二维光栅数据特征进行提取，对模型进行训练；
24.所述特征细化单元：用于通过信息细化块选择主干网络提取的信息特征，将不同层次特征图进行交叉融合，扩大浅层特征图的感受野；
25.所述特征强化单元：用于聚合邻域内相关点的特征，强化各个像素点的隐空间特征表示，通过提高lidar数据的分类精度，对his和lidar数据分分类融合进行提升。
26.特征细化单元包括信息细化子单元和交叉融合子单元；
27.所述信息细化子单元：用于将特征提取单元中第二和第三卷积块输出的特征图f
in
作为信息细化块的输入，使用具有bn和relu的3
×
3卷积层减少输入的特征图f
in
的通道数从而降低网络的计算量；统一来自不同阶段的特征图的通道数进行进一步融合，通过全局平均池化操作，并利用具有bn和sigmoid激活函数的3
×
3卷积层生成全局权重向量mc，将全局权重向量mc和特征图f
in
相乘，生成通道注意力细化块的输出，通过通道注意力细化块捕获更准确的语义信息；
28.所述交叉融合子单元：用于将第二和第三卷积块输出的特征图(f3和f4)，经过信息细化后得到低级特征图f
low
和高级特征图f
high
输入到交叉融合块，使用双线性插值运算将高级特征图f
high
的分辨率更改为与低级特征图f
low
相同的分辨率，通过具有bn和relu的3
×
3卷积层精细化上采样高级特征图；通过级联运算将上采样后的高级特征图f
high
和低级特征图f
low
进行级联，并通过具有bn和relu的1
×
1卷积层生成交叉融合块的输出。
29.所述特征强化单元包括对象区域特征生成子单元和计算聚合子单元；
30.所述对象区域特征生成子单元：用于将通过信息细化及融合后得到的特征图分成k个对象区域{m1，m2，
…
，mk}，将每个对象区域的所有像素进行聚合，并按其所属对象区域的程度加权，得到对象区域特征fk；
31.所述计算聚合子单元：用于计算每个像素和每个对象区域之间的关系ω
ik
，通过聚合k个对象区域的表示以及通过对象区域特征fk和像素与区域之间的关系ω
ik
，经过具有bn和relu的1
×
1卷积层来实现特征的强化，最终得到原始表示和经过特征强化的对象上下文表示的特征。
32.本发明具有以下优点：一种基于深度学习的栅格化点云像素级分类方法及系统，通过迁移学习对模型参数进行初始化训练，引入信息细化和交叉融合模块来选择主干网络提取的信息特征，并利用对象上下文表示完成特征加强，最终提高了栅格化后的激光雷达数据的分类效果。
附图说明
33.图1为本发明方法的流程示意图；
34.图2为特征提取结构的示意图；
35.图3为信息细化结构的示意图；
36.图4为信息融合结果的示意图；
37.图5为特征强化结构的示意图。
具体实施方式
38.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下结合附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的保护范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。下面结合附图对本发明做进一步的描述。
39.如图1所示，本发明其中一种实施方式涉及一种基于深度学习的栅格化点云像素
级分类方法，其包括：
40.特征提取步骤：将二维光栅数据切分成不同大小的patch，找出栅格化后lidar数据的最佳初始感受野作为数据输入，并通过采用第一模型作为主干网络的网络模型对切分后的lidar二维光栅数据特征进行提取，对模型进行训练；
41.特征细化步骤：通过信息细化块选择主干网络提取的lidar信息特征，将不同层次特征图进行交叉融合，扩大浅层lidar特征图的感受野；
42.特征强化步骤：聚合邻域内相关点的特征，强化各个像素点的隐空间特征表示；
43.最终通过对栅格化后lidar数据的特征进行提取、细化、融合与强化，从原始特征中选择最有效的特征进行模型训练，提高了模型对lidar数据的分类精度，从而对hsi和lidar数据分类融合进行提升。
44.进一步地，由于采用的是原始稀疏的点云栅格化后的数据集，不再受限于原始点云的非结构化和数据量大的特点，因此可以类比为光学图像处理，首先将这些二维光栅切分成不同大小的patch进行实验以找出最佳尺寸；引入经典网络resnet50的部分模型与权重，并将其作为点云特征提取的主干网络，进行迁移学习。在这一过程中，使用迁移学习的思想，采用预训练resnet50的权重，利用大规模数据训练得到的特征来初始化模型参数,从而加快对激光雷达点云数据分类模型的收敛速度和提高分类模型的泛化能力。
45.特征提取步骤具体包括：
46.以像素为中心将二维光栅数据切分成半径r(比如4)的数据补丁块作为输入数据，将数据补丁(尺寸ksize＝2
×
r+1)送入到2-dcnn隧道中，通过resnet50模型从中心目标像素周围域提取空间特征；如图2所示，resnet50模型包括conv block和identity block两种基本块，多个conv block基本块之间并联以改变网络的维度，多个identity block基本块之间串联以加深网络的深度；resnet50模型中含有4个卷积块，每个卷积块中分别有3、4、6、3个瓶颈结构，通过卷积块和最大池化层降低特征图的空间分辨率，然后使用四个卷积块来编码更准确的语义信息。
47.resnet50的输入通常有三个通道。本发明运用的激光雷达数据分别是1和2个通道，选择提取第2、3个block(卷积块)的输出(f3和f4)作为下一阶段信息细化模块的输入。
48.进一步地，经过主干网络后，提取到了不同层次的点云二维光栅特征，采用信息细化块来选择信息，网络可以从各个尺度捕获更准确的点云语义信息；并将不同层次的特征图交叉融合，扩大浅层的点云二维光栅特征图的接收范围。换言之，低级别点云二维光栅特征图将具有与高级别点云二维光栅特征图相似的接受能力，使用高级特征图来补偿低级特征图的感受野。此外，交叉融合块具有非常简单的结构，并且它带来的计算负担很小，从而具有捕获更准确的小规模的点云二维光栅语义信息的有效特性；在这一过程中，基于通道注意力机制，首先设计了信息细化块，通过为点云二维光栅特征图的不同通道引入全局权重来选择栅格化点云的信息特征。然后通过交叉融合块显著提高其语义信息捕获能力。
49.特征细化步骤包括：
50.将特征提取步骤中第二和第三卷积块输出的特征图f
in
作为信息细化块的输入，如图3所示，使用具有bn(批处理归一化层)和relu(校正线性层)的3
×
3卷积层(convolution)减少输入的特征图f
in
的通道数从而降低网络的计算量；
51.统一来自不同阶段的特征图的通道数进行进一步融合，通过全局平均池化操作，
并利用具有bn和sigmoid激活函数的3
×
3卷积层生成全局权重向量mc，将全局权重向量mc和经过卷积层后的特征图f
in
相乘，生成通道注意力细化块的输出，通过通道注意力细化块捕获更准确的语义信息；
52.第二和第三卷积块输出的特征图(f3和f4)，经过信息细化后得到低级特征图f
low
和高级特征图f
high
，将两个特征图输入到交叉融合块，如图4所示，使用双线性插值运算将高级特征图f
high
的分辨率更改为与低级特征图f
low
相同的分辨率，通过具有bn和relu的3
×
3卷积层精细化上采样高级特征图；通过级联运算将上采样后的高级特征图f
high
和低级特征图f
low
进行级联，并通过具有bn和relu的1
×
1卷积层生成交叉融合块的输出。
53.进一步地，利用通道注意力机制找出点云二维光栅像素点对应对象的上下文特征并用于特征强化；最终通过提高lidar分支的分类精度，对his和lidar数据的分类融合的效果进行提升。在这一过程中，通过聚合邻域内相关点的特征，考虑当前点云二维光栅像素点与所属对象区域的关系，强化点云数据的特征表示。
54.如图5所示，特征强化步骤包括：
55.通过信息细化及融合后将得到的特征图分成k个对象区域{m1，m2，
…
，mk}，每个对象区域mk对应于第k个类别，所得计为粗略的语义分割结果，将每个对象区域的所有像素进行聚合，并按其所属对象区域的程度加权，得到对象区域特征fk；
56.计算每个像素和每个对象区域之间的关系ω
ik
，即softmax权重，通过聚合第k个对象区域的表示，同时考虑到每个像素点与所属对象区域的关系来增强其表示，即通过对象区域特征fk和像素与区域之间的关系ω
ik
，经过具有bn和relu的1
×
1卷积层来实现特征的强化，最终得到原始表示和经过特征强化的对象上下文表示的特征。
57.本发明的另一种实施方式涉及一种基于深度学习的栅格化点云像素级分类系统，它包括特征提取单元、特征细化单元和特征强化单元；
58.所述特征提取单元：用于将二维光栅数据切分成不同大小的patch，找出栅格化后点云的最佳初始感受野作为数据输入，并通过采用第一模型作为主干网络的网络模型对切分后的lidar二维光栅数据特征进行提取，对模型进行训练；
59.所述特征细化单元：用于通过信息细化块选择主干网络提取的信息特征，将不同层次特征图进行交叉融合，扩大浅层特征图的感受野；
60.所述特征强化单元：用于聚合邻域内相关点的特征，强化各个像素点的隐空间特征表示，通过提高lidar数据的分类精度，对his和lidar数据分分类融合进行提升。
61.特征细化单元包括信息细化子单元和交叉融合子单元；
62.所述信息细化子单元：用于将特征提取单元中第二和第三卷积块输出的特征图f
in
作为信息细化块的输入，使用具有bn和relu的3
×
3卷积层减少输入的特征图f
in
的通道数从而降低网络的计算量；统一来自不同阶段的特征图的通道数进行进一步融合，通过全局平均池化操作，并利用具有bn和sigmoid激活函数的3
×
3卷积层生成全局权重向量mc，将全局权重向量mc和特征图f
in
相乘，生成通道注意力细化块的输出，通过通道注意力细化块捕获更准确的语义信息；
63.所述交叉融合子单元：用于将第二和第三卷积块输出的特征图(f3和f4)，经过信息细化后得到低级特征图f
low
和高级特征图f
high
输入到交叉融合块，使用双线性插值运算将高级特征图f
high
的分辨率更改为与低级特征图f
low
相同的分辨率，通过具有bn和relu的3
×
3卷积层精细化上采样高级特征图；通过级联运算将上采样后的高级特征图f
high
和低级特征图f
low
进行级联，并通过具有bn和relu的1
×
1卷积层生成交叉融合块的输出。
64.所述特征强化单元包括对象区域特征生成子单元和计算聚合子单元；
65.所述对象区域特征生成子单元：用于将通过信息细化及融合后得到的特征图分成k个对象区域{m1，m2，
…
，mk}，将每个对象区域的所有像素进行聚合，并按其所属对象区域的程度加权，得到对象区域特征fk；
66.所述计算聚合子单元：用于计算每个像素和每个对象区域之间的关系ω
ik
，通过聚合k个对象区域的表示以及通过对象区域特征fk和像素与区域之间的关系ω
ik
，经过具有bn和relu的1
×
1卷积层来实现特征的强化，最终得到原始表示和经过特征强化的对象上下文表示的特征。
67.以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

技术特征：
1.一种基于深度学习的栅格化点云像素级分类方法，其特征在于：所述分类方法包括：特征提取步骤：将二维光栅数据切分成不同大小的patch，找出栅格化后lidar数据的最佳初始感受野作为数据输入，并通过采用第一模型作为主干网络的网络模型对切分后的lidar二维光栅数据特征进行提取，对模型进行训练；特征细化步骤：通过信息细化块选择主干网络提取的lidar信息特征，将不同层次特征图进行交叉融合，扩大浅层lidar特征图的感受野；特征强化步骤：聚合邻域内相关点的特征，强化各个像素点的隐空间特征表示；最终通过对栅格化后lidar数据的特征进行提取、细化、融合与强化，从原始特征中选择最有效的特征对模型进行训练，提高了模型对lidar数据的分类精度，从而对hsi和lidar数据分类融合进行提升。2.根据权利要求1所述的一种基于深度学习的栅格化点云像素级分类方法，其特征在于：所述特征提取步骤具体包括：以像素为中心将二维光栅数据切分成半径r的数据补丁块作为输入数据，将数据补丁送入到2-dcnn隧道中，通过resnet50模型从中心目标像素周围域提取空间特征；resnet50模型包括conv block和identity block两种基本块，多个conv block基本块之间并联以改变网络的维度，多个identity block基本块之间串联以加深网络的深度；resnet50模型中含有4个卷积块，每个卷积块中分别有3、4、6、3个瓶颈结构，通过卷积块和最大池化层降低特征图的空间分辨率，最后选择提取第二和第三卷积块输出的特征图(f3和f4)作为特征细化步骤的输入。3.根据权利要求1所述的一种基于深度学习的栅格化点云像素级分类方法，其特征在于：所述特征细化步骤包括：将所述特征提取步骤中第二和第三卷积块输出的特征图f
in
作为信息细化块的输入，使用具有bn和relu的3
×
3卷积层减少输入的特征图f
in
的通道数从而降低网络的计算量；统一来自不同阶段的特征图的通道数进行进一步融合，通过全局平均池化操作，并利用具有bn和sigmoid激活函数的3
×
3卷积层生成全局权重向量mc，将全局权重向量mc和特征图f
in
相乘，生成通道注意力细化块的输出，通过通道注意力细化块捕获更准确的语义信息；第二和第三卷积块输出的特征图(f3和f4)，经过信息细化后得到低级特征图f
low
和高级特征图f
high
，将两个特征图输入到交叉融合块，使用双线性插值运算将高级特征图f
high
的分辨率更改为与低级特征图f
low
相同的分辨率，通过具有bn和relu的3
×
3卷积层精细化上采样高级特征图；通过级联运算将上采样后的高级特征图f
high
和低级特征图f
low
进行级联，并通过具有bn和relu的1
×
1卷积层生成交叉融合块的输出。4.根据权利要求1所述的一种基于深度学习的栅格化点云像素级分类方法，其特征在于：所述特征强化步骤包括：通过信息细化及融合后将得到的特征图分成k个对象区域{m1，m2，
…
，m
k
}，将每个对象区域的所有像素进行聚合，并按其所属对象区域的程度加权，得到对象区域特征f
k
；计算每个像素和每个对象区域之间的关系ω
ik
，通过聚合k个对象区域的表示以及通过对象区域特征f
k
和像素与区域之间的关系ω
ik
，经过具有bn和relu的1
×
1卷积层来实现特
征的强化，最终得到原始表示和经过特征强化的对象上下文表示的特征。5.一种基于深度学习的栅格化点云像素级分类系统，其特征在于：它包括特征提取单元、特征细化单元和特征强化单元；所述特征提取单元：用于将二维光栅数据切分成不同大小的patch，找出栅格化后点云的最佳初始感受野作为数据输入，并通过采用第一模型作为主干网络的网络模型对切分后的lidar二维光栅数据特征进行提取，对模型进行训练；所述特征细化单元：用于通过信息细化块选择主干网络提取的信息特征，将不同层次特征图进行交叉融合，扩大浅层特征图的感受野；所述特征强化单元：用于聚合邻域内相关点的特征，强化各个像素点的隐空间特征表示，通过提高lidar数据的分类精度，对his和lidar数据分分类融合进行提升。6.根据权利要求5所述的一种基于深度学习的栅格化点云像素级分类系统，其特征在于：特征细化单元包括信息细化子单元和交叉融合子单元；所述信息细化子单元：用于将特征提取单元中第二和第三卷积块输出的特征图f
in
作为信息细化块的输入，使用具有bn和relu的3
×
3卷积层减少输入的特征图f
in
的通道数从而降低网络的计算量；统一来自不同阶段的特征图的通道数进行进一步融合，通过全局平均池化操作，并利用具有bn和sigmoid激活函数的3
×
3卷积层生成全局权重向量mc，将全局权重向量mc和特征图f
in
相乘，生成通道注意力细化块的输出，通过通道注意力细化块捕获更准确的语义信息；所述交叉融合子单元：用于将第二和第三卷积块输出的特征图(f3和f4)，经过信息细化后得到低级特征图f
low
和高级特征图f
high
输入到交叉融合块，使用双线性插值运算将高级特征图f
high
的分辨率更改为与低级特征图f
low
相同的分辨率，通过具有bn和relu的3
×
3卷积层精细化上采样高级特征图；通过级联运算将上采样后的高级特征图f
high
和低级特征图f
low
进行级联，并通过具有bn和relu的1
×
1卷积层生成交叉融合块的输出。7.根据权利要求5所述的一种基于深度学习的栅格化点云像素级分类系统，其特征在于：所述特征强化单元包括对象区域特征生成子单元和计算聚合子单元；所述对象区域特征生成子单元：用于将通过信息细化及融合后得到的特征图分成k个对象区域{m1，m2，
…
，m
k
}，将每个对象区域的所有像素进行聚合，并按其所属对象区域的程度加权，得到对象区域特征f
k
；所述计算聚合子单元：用于计算每个像素和每个对象区域之间的关系ω
ik
，通过聚合k个对象区域的表示以及通过对象区域特征f
k
和像素与区域之间的关系ω
ik
，经过具有bn和relu的1
×
1卷积层来实现特征的强化，最终得到原始表示和经过特征强化的对象上下文表示的特征。

技术总结
本发明涉及一种基于深度学习的栅格化点云像素级分类方法及系统，包括将二维光栅数据切分成不同大小的块，找出最佳初始感受野作为数据输入，并通过采用第一模型作为主干网络的网络模型对切分后的LIDAR二维光栅数据特征进行提取，对模型进行训练；通过信息细化块选择主干网络提取的信息特征，将不同层次特征图进行交叉融合，扩大浅层特征图的感受野；聚合邻域内相关点的特征，强化各个像素点的隐空间特征表示，进而提高了LIDAR数据的分类精度。本发明通过迁移学习对模型参数进行初始化训练，引入信息细化和交叉融合模块来选择主干网络提取的信息特征，并利用对象上下文表示完成特征加强，最终提高了栅格化后激光雷达数据的分类效果。效果。效果。


技术研发人员：刘凯琪 董娇 韩嘉威 李伟
受保护的技术使用者：北京理工大学
技术研发日：2023.05.17
技术公布日：2023/8/14