一种基于全局及局部自注意力的点云语义分割系统及方法

1.本发明属于点云数据处理领域，具体地指一种基于全局及局部自注意力的点云语义分割系统及方法。


背景技术：

2.点云是最重要、最简单的3d数据表示形式之一。与其他形式的3d数据相比，点云可以通过3d扫描仪直接获取，具有很大的优势。随着深度学习的快速发展，点云数据处理在计算机视觉、自动驾驶和机器人等诸多领域都有着广泛的应用。自注意力机制能够从众多信息中选择出对当前任务目标更关键的信息，抑制其他无用的信息，将有限的资源用在更为重要的地方。目前自注意力机制已经在自然语言处理领域和二维图像处理领域取得了巨大成功，并且成为了点云数据处理领域的热门研究方向。
3.虽然自注意力可以非常有效地增强特征之间的相关性，以往的模型使用自注意力时仍然存在一些问题：
4.1、点云的分布往往是不均匀的，相邻点一般具有相似的特征。以往的模型直接在局部范围内使用自注意力聚合特征，会导致一些有用的信息被削弱甚至丢失。
5.2、以往的模型只使用自注意力聚合某一层的全局信息或局部信息，没有将这一层的全局和局部信息结合起来。
6.3、虽然以往的模型利用自注意力提升了点云语义分割任务的精度，但是它们的精度仍处于较低水平，亟需提升。


技术实现要素：

7.本发明旨在提升点云语义分割任务的精度，设计了一种基于全局及局部自注意力的点云语义分割系统及方法。在s3dis数据集为基础的语义分割任务中，本发明获得了理想的结果。与其他模型相比，本发明在精度上展现了巨大的优势。
8.本发明所设计的一种基于全局及局部自注意力的点云语义分割系统，其特殊之处在于：包括下采样模块、具有逆密度权重的局部自注意力模块、轻量级的全局自注意力模块、融合模块以及上采样模块；
9.其中下采样模块用于缩减点云数量、提取点云高维特征，具有逆密度权重的局部自注意力模块用于补偿点云的不均匀分布以及获取点云的局部关联，轻量级的全局自注意力模块用于获取点云的整体关联，融合模块的主要作用是将两种不同的注意力模块的输出在同一尺度上融合，上采样模块用于将点云的数量进行还原，下采样模块、具有逆密度权重的局部自注意力模块、轻量级的全局自注意力模块和融合模块共同构成自注意力层。所发明的点云语义分割系统共包含三个自注意力层，第一个自注意力层以原始点云的坐标及升维特征作为输入进行计算，后面的两个自注意力层均以上一个自注意力层的的输出作为输入进行计算；该系统具体操作过程为：
10.将原始输入点云送入多层感知机mlp层进行特征映射，mlp层输出的映射特征送入
第一层上采样模块u1和第一层自注意力层s1中；
11.将映射特征对应的坐标送入第一层自注意力层s1中；
12.在自注意力层s1、s2和s3中，下采样模块输出的采样坐标送入局部自注意力模块，输出的采样特征同时送入局部自注意力模块和全局自注意力模块；
13.第一层局部自注意力模块lsa1的输出坐标送入第二层自注意力层s2中；
14.局部自注意力模块lsa1输出的局部特征既送入自注意力层s2中，又与全局自注意力模块gsa1输出的全局特征一起送入第一层融合模块f1；
15.第二层局部自注意力模块lsa2的输出坐标送入第三层自注意力层s3中；
16.局部自注意力模块lsa2输出的局部特征既送入自注意力层s3中，又与全局自注意力模块gsa2输出的全局特征一起送入融合模块f2；
17.第三层局部自注意力模块lsa3输出的局部特征既送入最大池化层中，又与第三层全局自注意力模块gsa3输出的全局特征一起送入第三层融合模块f3；
18.融合模块f3输出的融合特征和融合模块f2输出的融合特征一起送入上采样模块u3；
19.融合模块f1输出的融合特征和上采样模块u3输出的采样特征一起送入上采样模块u2；
20.上采样模块u2输出的采样特征和mlp层输出的映射特征一起送入上采样模块u1；
21.局部自注意力模块lsa3输出的局部特征经过最大池化层处理后，得到最大特征；
22.最大特征经过复制后与上采样模块u1输出的采样特征一起送入第四层融合模块f4；
23.融合模块f4输出的融合特征经过softmax函数处理后，最终输出点云语义分割结果。
24.进一步地，下采样模块首先对输入坐标采用最远点采样算法获得候选点坐标，然后使用k邻近算法获得侯选点的临近点坐标；
25.下采样模块输出的采样坐标为候选点坐标；
26.利用索引从输入特征中获得候选点特征及候选点的临近点特征；
27.将候选点特征、候选点坐标、邻近点特征和邻近点坐标进行差异化融合，通过最大池化获取融合后的特征，具体融合过程可描述为：
28.f
new
＝max(mlp(cat(f
knn-fc),fc,p
knn-pc))
29.其中，f
new
为下采样模块输出的采样特征，f
knn
为临近点特征，fc为候选点特征，p
knn
为临近点坐标，pc为候选点坐标，max为最大池化操作，mlp为多层感知器，cat为拼接操作。
30.进一步地，具有逆密度权重的局部自注意力模块将输入特征分别通过3个线性层处理，获得q、k、v矩阵；
31.求输入坐标中每个点与其邻域点的差，将获得的差异性坐标信息送入线性层，得到位置编码；
32.求输入坐标中每个点到其他点的平均距离，将平均距离取倒数，获得点集的逆密度权重，再利用索引获得每个点的逆密度权重；
33.将q矩阵和k矩阵求差，获得的差值与位置编码求和，求和的结果再经过mlp和softmax函数处理，之后与每个点的逆密度权重做逐点相乘，获得注意力权重；
34.将v矩阵与位置编码求和，求和的结果与注意力权重逐点相乘，再将每个点的局部信息聚合，获得注意力特征图；
35.注意力特征图经过mlp处理后，与原始输入特征相加，获得局部自注意力模块输出的局部特征；
36.局部自注意力模块的输出坐标为该模块的输入坐标。
37.本发明的一种优选方式全局自注意力模块的输入为下采样模块输出的采样特征；
38.输入特征分别经过3个卷积层处理后，获得q、k、v矩阵；
39.q矩阵与k矩阵进行矩阵相乘，然后将乘积的结果相加至第一行，之后在第一行上进行softmax，得到注意力权重；
40.注意力权重与v矩阵进行逐点相乘，乘积的结果再与输入特征进行相加，得到全局自注意力模块输出的全局特征。
41.优选地，所述q、k、v矩阵的维度均为512维。
42.优选地，所述融合模块由cat函数和mlp构成
43.融合模块f1、f2、f3的输入为局部自注意力模块输出的局部特征以及全局自注意力模块输出的全局特征，融合模块f4的输入为复制后的最大特征以及上采样模块u1输出的采样特征；
44.所述融合模块首先将两个输入特征进行拼接，然后将拼接后的特征送入mlp，得到该模块输出的融合特征。
45.优选地，所述上采样模块使用pointnet++算法中的插值方法将点云数量还原，输出采样特征。
46.一种利用上述基于全局及局部自注意力的点云语义分割系统进行语义分割的方法，包括以下步骤：
47.步骤1：构建点云语义分割网络，该网络包括下采样模块、具有逆密度权重的局部自注意力模块、轻量级的全局自注意力模块、融合模块以及上采样模块；
48.其中下采样模块用于缩减点云数量、提取点云高维特征，具有逆密度权重的局部自注意力模块用于补偿点云的不均匀分布以及获取点云的局部关联，轻量级的全局自注意力模块用于获取点云的整体关联，融合模块的主要作用是将两种不同的注意力模块的输出在同一尺度上融合，上采样模块用于将点云的数量进行还原，下采样模块、具有逆密度权重的局部自注意力模块、轻量级的全局自注意力模块和融合模块共同构成自注意力层。所发明的点云语义分割系统共包含三个自注意力层，第一个自注意力层以原始点云的坐标及升维特征作为输入进行计算，后面的两个自注意力层均以上一个自注意力层的的输出作为输入进行计算；该网络中：
49.将原始输入点云送入mlp(多层感知机)层进行特征映射，mlp层输出的映射特征送入第一层上采样模块u1和第一层自注意力层s1中；
50.将映射特征对应的坐标送入第一层自注意力层s1中；
51.在自注意力层s1、s2和s3中，下采样模块输出的采样坐标送入局部自注意力模块，输出的采样特征同时送入局部自注意力模块和全局自注意力模块；
52.第一层局部自注意力模块lsa1的输出坐标送入第二层自注意力层s2中；
53.局部自注意力模块lsa1输出的局部特征既送入自注意力层s2中，又与全局自注意
力模块gsa1输出的全局特征一起送入第一层融合模块f1；
54.第二层局部自注意力模块lsa2的输出坐标送入第三层自注意力层s3中；
55.局部自注意力模块lsa2输出的局部特征既送入自注意力层s3中，又与全局自注意力模块gsa2输出的全局特征一起送入融合模块f2；
56.第三层局部自注意力模块lsa3输出的局部特征既送入最大池化层中，又与第三层全局自注意力模块gsa3输出的全局特征一起送入第三层融合模块f3；
57.自注意力层s2、s3的内部数据处理过程与自注意力层s1一致；
58.融合模块f3输出的融合特征和融合模块f2输出的融合特征一起送入上采样模块u3；
59.融合模块f1输出的融合特征和上采样模块u3输出的采样特征一起送入上采样模块u2；
60.上采样模块u2输出的采样特征和mlp层输出的映射特征一起送入上采样模块u1；
61.局部自注意力模块lsa3输出的局部特征经过最大池化层处理后，得到最大特征；
62.最大特征经过复制后与上采样模块u1输出的采样特征一起送入第四层融合模块f4；
63.融合模块f4输出的融合特征经过softmax函数处理后，最终输出点云语义分割结果；
64.步骤2、用所构建的点云语义分割网络进行点云语义分割
65.基于同一发明构思，本方案还涉及一种电子设备，其特殊之处在于，包括：
66.一个或多个处理器；
67.存储装置，用于存储一个或多个程序；
68.当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现所述基于全局及局部自注意力的点云语义分割的方法。
69.基于同一发明构思，本方案还涉及一种计算机可读介质，其上存储有计算机程序，其特征在于：所述程序被处理器执行时实现所述基于全局及局部自注意力的点云语义分割的方法。
70.本发明的优点在于：
71.1、提出了一种下采样模块，该模块通过聚合采样点及其邻近点的坐标及特征信息，获取了采样点附近的强语义信息。
72.2、提出了一种具有逆密度权重的局部自注意力模块，该模块利用逆密度权重补偿点云的不均匀分布，更好的捕获了点云的局部关联。
73.3、提出了一种轻量级的全局自注意力模块，该模块通过一个矩阵乘法运算和一个逐点相乘运算计算注意力特征，相对于以往采用两个矩阵乘法运算的方式，一定程度上减少了计算量。
74.4、构建了一种基于全局及局部自注意力的点云语义分割系统，该方法主要包括下采样模块、具有逆密度权重的局部自注意力模块、轻量级的全局自注意力模块、融合模块以及上采样模块，总体上，该方法逐层融合同一尺度上点云的局部特征和全局特征，捕获了输入点云中每个点的细粒度特征，明显地提升了点云语义分割任务的精度。
附图说明
75.图1为本发明实施例中，基于全局及局部自注意力的点云语义分割整体网络结构流程图。
76.图2为本发明实施例中，具有逆密度权重的局部自注意力模块结构流程图。
77.图3为本发明实施例中，轻量级全局自注意力模块的结构流程图。
具体实施方式
78.下面结合附图和实施例对本发明作进一步说明。
79.实施例一
80.本发明提出了一种基于全局及局部自注意力的点云语义分割系统，包括下采样模块、具有逆密度权重的局部自注意力模块、轻量级的全局自注意力模块、融合模块以及上采样模块；
81.其中下采样模块用于缩减点云数量、提取点云高维特征，具有逆密度权重的局部自注意力模块用于补偿点云的不均匀分布以及获取点云的局部关联，轻量级的全局自注意力模块用于获取点云的整体关联，融合模块的主要作用是将两种不同的注意力模块的输出在同一尺度上融合，上采样模块用于将点云的数量进行还原，下采样模块、具有逆密度权重的局部自注意力模块、轻量级的全局自注意力模块和融合模块共同构成自注意力层。所发明的点云语义分割系统共包含三个自注意力层，第一个自注意力层以原始点云的坐标及升维特征作为输入进行计算，后面的两个子自注意力层均以上一个注意力层的的输出作为输入进行计算。
82.利用构建的基于全局及局部自注意力的点云语义分割系统，进行点云语义分割。
83.实施例二
84.基于同一发明构思，本方案还提出了一种利实施例一基于全局及局部自注意力的点云语义分割系统进行语义分割的方法，其步骤如下：
85.s1：构建基于全局及局部自注意力的点云语义分割整体网络。其结构如实施例一所述的基于全局及局部自注意力的点云语义分割系统，基于本发明实施例一介绍的方法，本领域所属技术人员能够了解该系统的具体结构及变形，故而在此不再赘述。
86.s2：用所构建的点云语义分割网络进行点云语义分割，所述点云语义分割整体网络结构流程图如图1所示，具体包括以下步骤：
87.s21：将原始输入点云送入mlp层进行特征映射，mlp层输出64维映射特征，再将该映射特征送入上采样模块u1和下采样模块d1。
88.s22：构建自注意力层，获取同一尺度上局部特征与全局特征的融合特征。
89.自注意力层通过下采样模块获得采样特征和采样坐标，通过局部自注意力模块得到局部特征，通过全局自注意力模块得到全局特征，通过融合模块得到融合特征；
90.自注意力层s1的输入为下采样模块d1的输入，自注意力层s1的输出为局部自注意力模块lsa1和融合模块f1的输出。自注意力层s2的输入为下采样模块d2的输入，自注意力层s2的输出为局部自注意力模块lsa2和融合模块f2的输出。自注意力层s3的输入为下采样模块d3的输入，自注意力层s3的输出为局部自注意力模块lsa3和融合模块f3的输出；
91.自注意力层s1、s2、s3的内部数据处理过程完全一致。
92.s22中所述下采样模块的内部数据处理过程具体如下：
93.下采样模块d1的输入坐标为mlp层输出的映射特征及映射特征的坐标，下采样模块d2、d3的输入为局部自注意力模块lsa1、lsa2的输出坐标及输出的局部特征；
94.下采样模块首先对输入坐标采用最远点采样算法(fps)获得候选点坐标。具体的，下采样模块d1、d2、d3依次将候选点的数量变为原始输入点云数量的1/4、1/16、1/64。然后使用k邻近算法(knn)获得侯选点的邻近点坐标，其中邻近点数量k取16；
95.下采样模块输出的采样坐标为候选点坐标；
96.利用索引从输入特征中获得候选点特征及候选点的邻近点特征；
97.将候选点特征、候选点坐标、邻近点特征和邻近点坐标进行差异化融合，通过最大池化获取融合后的特征。下采样模块d1、d2、d3输出的采样特征的维度分别为128维、256维、512维，具体融合过程可描述为：
98.f
new
＝max(mlp(cat(f
knn-fc),fc,p
knn-pc))
99.其中，f
new
为下采样模块输出的采样特征，f
knn
为邻近点特征，fc为候选点特征，p
knn
为邻近点坐标，pc为候选点坐标，max为最大池化操作，mlp为多层感知器，cat为拼接操作。
100.s22中所述局部自注意力模块的网络结构流程图如图2所示，该模块的内部数据处理过程具体如下：
101.局部自注意力模块lsa1、lsa2、lsa3的输入特征分别为下采样模块d1、d2、d3输出的采样特征，输入坐标分别为下采样模块d1、d2、d3输出的采样坐标；
102.将输入特征分别通过3个线性层处理，获得q、k、v矩阵，其中q、k、v矩阵的维度均为512维；
103.求输入坐标中每个点与其邻域点的坐标差，将获得的差异性坐标信息送入线性层，得到位置编码。其中，其邻域点的数量取16，位置编码的维度为512维；
104.求输入坐标中每个点到其他点的平均距离，将平均距离取倒数，获得点集的逆密度权重，再利用索引获得每个点的逆密度权重；
105.将q矩阵和k矩阵求差，获得的差值与位置编码求和，求和的结果再经过mlp和softmax函数处理，之后与每个点的逆密度权重做逐点相乘，获得注意力权重。其中，注意力权重的维度为512维；
106.将v矩阵与位置编码求和，求和的结果与注意力权重逐点相乘，再将每个点的局部信息聚合，获得注意力特征图；
107.注意力特征图经过mlp处理后，与原始输入特征相加，获得局部自注意力模块输出的局部特征；
108.局部自注意力模块的输出坐标为该模块的输入坐标。
109.s22中所述全局自注意力模块的网络结构流程图如图3所示，该模块的内部数据处理过程具体如下：
110.全局自注意力模块gsa1、gsa2、gsa3的输入分别为下采样模块d1、d2、d3输出的采样特征；
111.输入特征分别经过3个卷积核为1*1的卷积层处理后，获得q、k、v矩阵，其中q、k、v矩阵的维度与输入特征一致；
112.q矩阵与k矩阵进行矩阵相乘，然后将乘积的结果相加至第一行，之后在第一行上
进行softmax，得到注意力权重。
113.注意力权重与v矩阵进行逐点相乘，乘积的结果再与输入特征进行相加，得到全局自注意力模块输出的全局特征。
114.s22中所述融合模块的内部数据处理过程如下：
115.所述融合模块由cat函数和mlp构成；
116.融合模块f1、f2、f3的输入分别为局部自注意力模块lsa1输出的局部特征及全局自注意力模块gsa1输出的全局特征、局部自注意力模块lsa2输出的局部特征及全局自注意力模块gsa2输出的全局特征、局部自注意力模块lsa3输出的局部特征及全局自注意力模块gsa3输出的全局特征；
117.所述融合模块首先将两个输入特征进行拼接，然后将拼接后的特征送入mlp，得到该模块输出的融合特征，其中融合特征的维度均为256维。
118.s23：利用上采样模块将点云数量进行还原。
119.所述上采样模块的内部数据处理处理过程如下：
120.上采样模块u3的输入为融合模块f2、f3输出的融合特征，上采样模块u2的输入为融合模块f1输出的融合特征及上采样模块u3输出的采样特征，上采样模块u1的输入为mlp层输出的映射特征及上采样模块u2输出的采样特征；
121.所述上采样模块使用pointnet++算法中的插值方法进行点云数量还原，输出采样特征。
122.s24：将局部自注意力模块lsa3输出的局部特征进行最大池化，得到最大特征。最大特征经过复制后与上采样模块u1输出的采样特征一起送入融合模块f4，融合模块f4输出的融合特征经过softmax函数处理后，输出点云语义分割结果。
123.所述融合模块f4的内部数据处理过程与融合模块f1、f2、f3一致，该模块输出的融合特征的维度与数据集的类别数相同。
124.为了评估本发明提出的方法的有效性，以实例均交并比(ins.miou)作为模型评估标准，在s3dis数据集上进行对比试验。
125.表1s3dis数据集上6折交叉验证测试结果
126.model区域1区域2区域3区域4区域5区域6均值pointnet5035.352.944.54661.648.4pointnet++(ssg)59.83768.344.752.36855pointnet++(msg)61.237.5684552.568.355.4dgcnn64.13863.847.551.168.655.5csanet68.740.463.946.353.370.357.2语义分割模型69.745.572.952.654.377.662.1
127.按照官方标准将s3dis数据集划分为6个区域，s3dis数据集上6折交叉验证的测试结果如表1所示。表中的“区域1”表示区域1用作测试样本，其余5个区域用作训练样本。表中最后一列“均值”表示6个区域ins.miou的平均值。由表1可见，提出的语义分割模型展现出了巨大的优势，每个区域的ins.miou及所有区域的平均ins.miou相对于以往模型都大幅提高。
128.实施例三
129.基于同一发明构思，本发明还提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现实施例二中所述的方法。
130.由于本发明实施例二所介绍的设备为实施本发明实施例一种基于全局及局部自注意力的点云语义分割的方法所采用的电子设备，故而基于本发明实施例一介绍的方法，本领域所属技术人员能够了解该电子设备的具体结构及变形，在此不再赘述。凡是本发明实施例二种方法所采用的电子设备都属于本发明所欲保护的范围。
131.实施例四
132.基于同一发明构思，本发明还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例一中所述的方法。
133.由于本发明实施例四所介绍的设备为实施本发明实施例一种基于全局及局部自注意力的点云语义分割的方法所采用的计算机可读介质，故而基于本发明实施例一介绍的方法，本领域所属技术人员能够了解该电子设备的具体结构及变形，故而在此不再赘述。凡是本发明实施例一种方法所采用的电子设备都属于本发明所欲保护的范围。
134.本文中所描述的具体实施例仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做出的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

技术特征：
1.一种基于全局及局部自注意力的点云语义分割系统，其特征在于：包括下采样模块、具有逆密度权重的局部自注意力模块、轻量级的全局自注意力模块、融合模块以及上采样模块；其中下采样模块用于缩减点云数量、提取点云高维特征，具有逆密度权重的局部自注意力模块用于补偿点云的不均匀分布以及获取点云的局部关联，轻量级的全局自注意力模块用于获取点云的整体关联，融合模块的主要作用是将两种不同的注意力模块的输出在同一尺度上融合，上采样模块用于将点云的数量进行还原；下采样模块、具有逆密度权重的局部自注意力模块、轻量级的全局自注意力模块和融合模块共同构成自注意力层，该点云语义分割系统共包含三个自注意力层，第一个自注意力层以原始点云的坐标及升维特征作为输入进行计算，后面的两个自注意力层均以上一个自注意力层的的输出作为输入进行计算；利用构建的基于全局及局部自注意力的点云语义分割系统，进行点云语义分割。2.根据权利要求1所述的基于全局及局部自注意力的点云语义分割系统，其特征在于：所述下采样模块的具体处理过程如下：首先对输入坐标采用最远点采样算法获得候选点坐标，然后使用k邻近算法获得侯选点的临近点坐标；下采样模块输出的采样坐标为候选点坐标；利用索引从输入特征中获得候选点特征及候选点的临近点特征；将候选点特征、候选点坐标、邻近点特征和邻近点坐标进行差异化融合，通过最大池化获取融合后的特征，具体融合过程可描述为：f
new
＝max(mlp(cat(f
knn-f
c
),f
c
,p
knn-p
c
))其中，f
new
为下采样模块输出的采样特征，f
knn
为临近点特征，f
c
为候选点特征，p
knn
为临近点坐标，p
c
为候选点坐标，max为最大池化操作，mlp为多层感知器，cat为拼接操作。3.根据权利要求1所述的基于全局及局部自注意力的点云语义分割系统，其特征在于：所述具有逆密度权重的局部自注意力模块具体处理过程如下：将输入特征分别通过3个线性层处理，获得q、k、v矩阵；求输入坐标中每个点与其邻域点的差，将获得的差异性坐标信息送入线性层，得到位置编码；求输入坐标中每个点到其他点的平均距离，将平均距离取倒数，获得点集的逆密度权重，再利用索引获得每个点的逆密度权重；将q矩阵和k矩阵求差，获得的差值与位置编码求和，求和的结果再经过mlp和softmax函数处理，之后与每个点的逆密度权重做逐点相乘，获得注意力权重；将v矩阵与位置编码求和，求和的结果与注意力权重逐点相乘，再将每个点的局部信息聚合，获得注意力特征图；注意力特征图经过mlp处理后，与原始输入特征相加，获得局部自注意力模块输出的局部特征；局部自注意力模块的输出坐标为该模块的输入坐标。4.根据权利要求1所述的基于全局及局部自注意力的点云语义分割系统，其特征在于：所述全局自注意力模块的处理过程如下：
所述全局自注意力模块的输入为下采样模块输出的采样特征；输入特征分别经过3个卷积层处理后，获得q、k、v矩阵；q矩阵与k矩阵进行矩阵相乘，然后将乘积的结果相加至第一行，之后在第一行上进行softmax，得到注意力权重；注意力权重与v矩阵进行逐点相乘，乘积的结果再与输入特征进行相加，得到全局自注意力模块输出的全局特征。5.根据权利要求3或4所述的基于全局及局部自注意力的点云语义分割系统，其特征在于：所述q、k、v矩阵的维度均为512维。6.根据权利要求1所述的基于全局及局部自注意力的点云语义分割系统，其特征在于：所述融合模块由cat函数和mlp构成，融合模块f1、f2、f3的输入为局部自注意力模块输出的局部特征以及全局自注意力模块输出的全局特征，融合模块f4的输入为复制后的最大特征以及上采样模块u1输出的采样特征；所述融合模块首先将两个输入特征进行拼接，然后将拼接后的特征送入mlp，得到该模块输出的融合特征。7.根据权利要求1所述的基于全局及局部自注意力的点云语义分割系统，其特征在于：所述上采样模块使用pointnet++算法中的插值方法将点云数量还原，输出采样特征。8.一种基于全局及局部自注意力的点云语义分割系统的语义分割方法，其特征在于，包括以下步骤：步骤1：构建点云语义分割网络，该网络包括下采样模块、具有逆密度权重的局部自注意力模块、轻量级的全局自注意力模块、融合模块以及上采样模块；其中下采样模块用于缩减点云数量、提取点云高维特征，具有逆密度权重的局部自注意力模块用于补偿点云的不均匀分布以及获取点云的局部关联，轻量级的全局自注意力模块用于获取点云的整体关联，融合模块的主要作用是将两种不同的注意力模块的输出在同一尺度上融合，上采样模块用于将点云的数量进行还原，下采样模块、具有逆密度权重的局部自注意力模块、轻量级的全局自注意力模块和融合模块共同构成自注意力层，该点云语义分割网络共包含三个自注意力层，第一个自注意力层以原始点云的坐标及升维特征作为输入进行计算，后面的两个自注意力层均以上一个自注意力层的的输出作为输入进行计算；该网络中：将原始输入点云送入多层感知机mlp层进行特征映射，mlp层输出的映射特征送入第一层上采样模块u1和第一层自注意力层s1中；将映射特征对应的坐标送入第一层自注意力层s1中；在三个自注意力层s1、s2和s3中，下采样模块输出的采样坐标送入局部自注意力模块，输出的采样特征同时送入局部自注意力模块和全局自注意力模块；第一层局部自注意力模块lsa1的输出坐标送入第二层自注意力层s2中；局部自注意力模块lsa1输出的局部特征既送入自注意力层s2中，又与全局自注意力模块gsa1输出的全局特征一起送入第一层融合模块f1；第二层局部自注意力模块lsa2的输出坐标送入第三层自注意力层s3中；局部自注意力模块lsa2输出的局部特征既送入第三层自注意力层s3中，又与第二层全
局自注意力模块gsa2输出的全局特征一起送入第二层融合模块f2；第三层局部自注意力模块lsa3输出的局部特征既送入最大池化层中，又与第三层全局自注意力模块gsa3输出的全局特征一起送入第三层融合模块f3；自注意力层s2、s3的内部数据处理过程与自注意力层s1一致；融合模块f3输出的融合特征和融合模块f2输出的融合特征一起送入上采样模块u3；融合模块f1输出的融合特征和上采样模块u3输出的采样特征一起送入上采样模块u2；上采样模块u2输出的采样特征和mlp层输出的映射特征一起送入上采样模块u1；局部自注意力模块lsa3输出的局部特征经过最大池化层处理后，得到最大特征；最大特征经过复制后与上采样模块u1输出的采样特征一起送入第四层融合模块f4；融合模块f4输出的融合特征经过softmax函数处理后，最终输出点云语义分割结果；步骤2、用所构建的点云语义分割网络进行点云语义分割。9.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求8所述的方法。10.一种计算机可读介质，其上存储有计算机程序，其特征在于：所述程序被处理器执行时实现如权利要求8所述的方法。

技术总结
本发明提出了一种基于全局及局部自注意力的点云语义分割系统及方法，包括下采样模块、具有逆密度权重的局部自注意力模块、轻量级的全局自注意力模块、融合模块以及上采样模块；其中下采样模块用于缩减点云数量、提取点云高维特征，具有逆密度权重的局部自注意力模块用于补偿点云的不均匀分布以及获取点云的局部关联，轻量级的全局自注意力模块用于获取点云的整体关联，融合模块的主要作用是将两种不同的注意力模块的输出在同一尺度上融合，该系统和方法可以捕捉输入点云中每个点细粒度的特征，提高点云语义分割任务的精度。与其他模型相比，本发明在精度上展现了巨大的优势。本发明在精度上展现了巨大的优势。本发明在精度上展现了巨大的优势。


技术研发人员：王改华 李麒 王能元 刘洪
受保护的技术使用者：湖北工业大学
技术研发日：2023.04.26
技术公布日：2023/8/6