一种基于稀疏实例提议和聚合的点云全景分割方法

1.本发明涉及3d视觉技术领域，具体是涉及一种基于稀疏实例提议和聚合的点云全景分割方法。


背景技术：

2.lidar全景分割(lps)在使用点云进行3d场景理解中发挥着重要作用，这是许多机器人应用(如自动驾驶)的基本任务。lps将语义分割和实例分割结合在一个框架中，为场景中的点提供语义标签和属于实例(物体)的点的实例id。随着大规模点云基准的出现，例如semantickitti和nuscenes，lps已经取得了快速进展。然而，由于点云的稀疏、无序和非均匀采样特性，进行可靠的全景分割仍然具有极高的挑战性。
3.现有的lps方法主要可以分为基于检测的方法和基于聚类的方法。前者利用3d目标检测网络来发现实例，但通常受到检测精度的限制。后者通过中心回归和聚类算法实现实例分割。对于基于聚类的方法，聚类性能很容易受到回归中心点分布的影响。我们发现，大多数现有方法都严重依赖可学习偏移分支来为中心回归提供几何偏移量。然而，由于lidar点云的稀疏性、非均匀密度以及各种形状/大小的实例，很难预测理想的几何偏移量。最近，dsnet设计了一个可学习动态偏移(ds)模块来迭代地将回归中心点进一步移动到聚类中心点，但是移动后的中心点可能与真实实例中心不匹配，这种不一致可能会降低dsnet模块的学习效果。


技术实现要素：

4.针对上述问题，本发明提出了一种非学习的稀疏实例提议(sip)模块，可以直接从物体的原始点中高效地聚类实例。本发明采用“采样-移动-聚类”方案设计了sip模块。具体来说，为了避免由于移动和聚类所有物体点而导致的显著计算负担和内存开销，本发明引入了平衡点采样(bps)策略，所提出的bps生成稀疏种子点，并在距离范围内更均匀地分布，同时实现点采样和分配，提高了效率。此外，本发明设计了一种简单但有效的移动模块“气泡收缩”(bs)，可以迭代地将种子点高效而精确地移动到聚类中心；最后，本发明通过连通组分标记(ccl)算法将移动后的点聚类成实例，该算法可以通过高效的深度优先搜索来实现。由于bps、bs和基于ccl的分组的级联设计，本发明的非学习的sip模块是有效且高效的，并且可以轻松地以即插即用方式扩展到其他骨干网络和数据集中。
5.然而，由于lidar点云的稀疏性，聚类算法(包括本发明的sip模块)在分组大型物体(如卡车和公共汽车)时可能会生成碎片化/过度分割的实例。为了提高实例分割的完整性，本发明提出了一个实例聚合(ia)模块来进一步整合潜在的碎片化实例。具体而言，本发明应用knn-transformer来增强实例提议之间的交互，并通过实例相似度将属于同一实例id的实例提议合并。本发明的ia模块可以补充sip模块，进一步提高大型物体的分割性能。
6.为了实现上述目的，本发明提供一种基于稀疏实例提议和聚合的点云全景分割方法，包括以下步骤：
7.s1、基于“采样-移动-聚类”的方式构建稀疏实例提议模块，输出实例提议；
8.s2、基于knn-transformer构建实例聚合模块对所述稀疏实例提议模块产生的潜在的碎片化的实例进行聚合，输出精确完整的实例分割结果；
9.s3、利用服务器，通过降低网络损失函数优化网络参数，直至网络收敛，获得基于稀疏实例提议和聚合的点云全景分割方法；
10.s4、利用所述基于稀疏实例提议和聚合的点云全景分割方法对新的点云进行全景分割。
11.优选的，所述步骤s1具体包括以下步骤：
12.s11、构建平衡点采样策略，对前景点进行稀疏采样，获得稀疏种子点x∈m×3，以降低计算负担和内存消耗；
13.s12、构建“气泡收缩”移动模块，将所述稀疏种子点x∈m×3往实例中心迭代式地移动，使得属于不同实例的种子点分离而属于相同实例的种子点聚合；
14.s13、使用基于深度优先搜索的连通组分标记算法对移动后的所述稀疏种子点进行聚类，并将其他未采样点分配到对应种子点所属的簇，得到最终实例提议点簇n为点簇数，pi为第i个点簇中的点的集合。
15.优选的，所述平衡点采样策略具体为：使用体素化操作将输入的点云分成体素块，然后将同一体素中的点求平均值作为该体素中所有点所对应的种子点；该种子点支配所在体素中的所有点，包括语义类别和实例id；所述体素化操作具体为：
16.给定点云p中一点pi＝(xi，yi，zi)，它的体素索引其中s为体素化的分辨率，为向下取整操作；具有相同体素索引的所有点在同一体素块内；
17.所述“气泡收缩”移动模块具体为：首先经验性地给出各类别实例的最小半径rc，将所有种子点作为顶点建立一个连接图，如果两个顶点属于同一个类别c且它们之间的距离小于最小半径rc，则它们相连；然后为每个种子点分配一个气泡，该气泡包含连接到这个种子点的所有点，气泡根据其中的点会迭代式地进行收缩，以达到属于相同实例的种子点聚集而属于不同实例的种子点分离的效果；收缩过程如下所示：
18.d＝diag(k1)，x＝x
t
19.for i
←
to l do
20.x＝xd-1k
21.end
22.x
′
＝x
t
23.其中，k为构建的连接图的连接矩阵，l为迭代次数，默认为4；
24.所述连通组分标记算法具体为：以平移后的种子点为顶点建立连通图，如果两个顶点属于同一个类别且他们之间的距离小于该类别对应的最小半径，则他们相连，然后用连通组分标记算法找出各个簇；连通组分标记中的最小半径设置为所述“气泡收缩”移动模块中的rc的一半。
25.优选的，所述步骤s2具体包括以下步骤：
26.s21、根据所述稀疏实例提议模块输出的实例提议点簇和点云特征，提取对应的实例特征
27.s22、使用knn-transformer对所述实例特征之间的依赖进行建模，输出增强后的实例特征
28.s23、使用轻量级多层感知机，根据两两实例之间的特征和中心点位置计算相似度，若相似度大于一定阈值，则将这两个实例进行合并。
29.优选的，所述步骤s21的具体过程为：
30.gi＝maxpool(mlp([fi,pi])
[0031]
其中，mlp为多层感知机，maxpool为最大池化函数，fi，pi分别为点簇的特征和坐标集合；所提取的实例特征的特征维度为64。
[0032]
优选的，所述步骤s22的具体过程为：
[0033]
根据中心点空间位置，使用k近邻(knn)选取离实例点簇pi最近的k个点簇{pj}
j∈n(i)
；然后通过线性层，将点簇pi对应的实例特征gi映射为查询特征图qi，将k个点簇{pj}
j∈n(i)
对应的实例特征{gj}
j∈n(i)
映射为键值特征对ki，vi，然后计算自注意力，得到增强后的实例特征
[0034][0035]
其中，c为64。
[0036]
优选的，所述步骤s23中的所述相似度的计算过程具体为：
[0037][0038]
其中，pi，pj为点簇i，j的中心点坐标，即点簇集合中点的平均值。
[0039]
优选的，所述步骤s3具体包括以下步骤：
[0040]
s31、利用服务器执行训练点云生成单元，对输入的原始点云进行随机坐标翻转、随机点云旋转，随机点云缩放等数据增强，生成增强后的训练点云输入；
[0041]
s32、利用服务器执行语义骨干网络，生成输入点云的语义预测结果和点云特征，对语义骨干网络进行监督，监督损失为交叉熵损失和lovasz损失之和：
[0042][0043]
其中，为预测值，yi为真实值；j为iou的lovasz拓展版本，e(c)为类别c的误差向量，c为总语义类别数；
[0044]
s33、利用服务器执行步骤s1中的所述稀疏实例提议模块，将前景点输入，生成实例提议点簇
[0045]
s34、利用服务器执行步骤s2中的所述实例聚合模块，对所计算的实例之间的相似度s
i，j
进行监督，使用的监督损失为二分类交叉熵损失：
[0046]
l
aff
＝σ
i，j
[y
i，j log(s
i，j
)+(1-y
i，j
)log(1-s
i，j
)]
[0047]
其中，如果点簇i，j属于同一个实例则y
i,j
为1，否则为0；
[0048]
s35、利用服务器优化目标函数l
sem
和l
aff,
获取局部最优网络参数。
[0049]
优选的，步骤s32中的所述语义骨干网络由3d稀疏卷积网络和2d u-net组成；所述
3d稀疏卷积网络由四个特征提取块组成，提取多尺度特征；所述2du-net由2d卷积网络组成，先进行2次逐步的尺度为2的下采样，然后上采样到原分辨率并投影到点特征；所述3d稀疏卷积网络提取的多尺度特征和所述2du-net提取的反投影后的点特征拼接后送入到全连接层进行特征压缩得到点云特征；所述语义骨干网络后接一个2层全连接层来预测语义分割。
[0050]
优选的，所述步骤s4具体包括以下步骤：
[0051]
s41、获取3d环境下的雷达点云；
[0052]
s42、将所述雷达点云输入到所述语义骨干网络得到语义预测结果和点云特征；
[0053]
s43、根据所述语义预测结果获取前景点，并将前景点输入到所述稀疏实例提议模块中，获取实例提议点簇；
[0054]
s44、将所述实例提议点簇和点云特征输入到所述实例聚合模块获得聚合后的实例点簇；
[0055]
s45、根据语义预测通过最大投票为每个聚合后的实例点簇分配语义类别，并和语义分割结果融合后得到最终的全景分割结果。
[0056]
与现有技术相比，本发明的有益效果是：
[0057]
本发明提供的一种基于稀疏实例提议和聚合的点云全景分割方法，基于“采样-移动-聚类”方案设计一种高效准确且非学习的稀疏实例提议模块，消除了对偏移分支的依赖，并加速了聚类过程，且可以轻松地扩展到其他骨干网络和数据集中，并以即插即用的方式使用；此外基于knn-transformer设计一种实例聚合模块对实例提议模块产生的潜在的碎片化的实例进行聚合，提高其在大目标上的性能，输出更加精确完整的实例分割结果。本发明提出的方法(panet)能够准确地对输入的点云进行全景分割，且对实际3d环境中目标遮挡，快速移动等问题具有很好的鲁棒性，在大尺度数据集semantickitti和nuscenes上实现了先进的性能。
附图说明
[0058]
图1为本发明提供的一种基于稀疏实例提议和聚合的点云全景分割方法的整体算法框架图；
[0059]
图2为本发明提供的稀疏提议模块三个步骤的框架图；
[0060]
图3为所提出的算法和其他先进方法(dsnet，panoptic-polarnet)的可视化比较图。
具体实施方式
[0061]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0062]
针对现有技术中存在的问题与不足，本发明提出基于稀疏实例提议和聚合的点云全景分割方法，主要包括设计稀疏实例提议模块、设计实例聚合模块、模型训练和模型推断四个阶段的步骤实现。
[0063]
本发明提出的一种基于稀疏实例提议和聚合的点云全景分割方法，包括以下步骤：
[0064]
s1、基于“采样-移动-聚类”的方式构建高效准确且非学习的稀疏实例提议模块，输出实例提议；
[0065]
s2、基于knn-transformer构建实例聚合模块对所述稀疏实例提议模块产生的潜在的碎片化的实例进行聚合，提高其在大目标上的性能，输出精确完整的实例分割结果；
[0066]
s3、利用服务器，通过降低网络损失函数优化网络参数，直至网络收敛，获得基于稀疏实例提议和聚合的点云全景分割方法；
[0067]
s4、利用所述基于稀疏实例提议和聚合的点云全景分割方法对新的点云进行全景分割。
[0068]
下面对每一步骤进行详细的说明介绍。
[0069]
具体的，步骤s1、基于“采样-移动-聚类”的方式构建高效准确且非学习的稀疏实例提议模块，输出实例提议。如图2(b)(c)(d)所示为本发明提供的稀疏提议模块三个步骤的框架图，具体步骤如下：
[0070]
s11、构建平衡点采样策略，对前景点进行稀疏采样，获得稀疏种子点x∈m×3，以降低计算负担和内存消耗；具体为，使用体素化操作将输入的点云分成体素块，然后将同一体素中的点求平均值作为该体素中所有点所对应的种子点；该种子点支配所在体素中的所有点，包括语义类别和实例id；所述体素化操作具体为：
[0071]
给定点云p中一点pi＝(xi，yi，zi)，它的体素索引其中s为体素化的分辨率，为向下取整操作；具有相同体素索引的所有点在同一体素块内。
[0072]
s12、构建“气泡收缩”移动模块，将所述稀疏种子点x∈m×3往实例中心迭代式地移动，使得属于不同实例的种子点分离而属于相同实例的种子点聚合；具体为，首先经验性地给出各类别实例的最小半径rc，将所有种子点作为顶点建立一个连接图，如果两个顶点属于同一个类别c且它们之间的距离小于最小半径rc，则它们相连；然后为每个种子点分配一个气泡，该气泡包含连接到这个种子点的所有点，接下来类似于其他移动模块，气泡根据其中的点会迭代式地进行收缩，以达到属于相同实例的种子点聚集而属于不同实例的种子点分离的效果；收缩过程如下所示：
[0073]
d＝diag(k1)，x＝x
t
[0074]
for i
←
to l do
[0075]
x＝xd-1k[0076]
end
[0077]
x
′
＝x
t
[0078]
其中，k为构建的连接图的连接矩阵，l为迭代次数，默认为4。
[0079]
s13、使用基于深度优先搜索的连通组分标记算法对移动后的所述稀疏种子点进行聚类，并将其他未采样点分配到对应种子点所属的簇，得到最终实例提议点簇n为点簇数，pi为第i个点簇中的点的集合，具体为，以平移后的种子点为顶点建立连通图，如果两个顶点属于同一个类别且他们之间的距离小于该类别对应的最小半径，则他们相连，然后用连通组分标记算法找出各个簇；连通组分标记中的最小半径设置为所述“气泡收缩”移
动模块中的rc的一半。
[0080]
步骤s2、基于transformer构建实例聚合模块对所述稀疏实例提议模块产生的潜在的碎片化的实例进行聚合，提高其在大目标上的性能，输出精确完整的实例分割结果；具体步骤如下：
[0081]
s21、根据所述稀疏实例提议模块输出的实例提议点簇和点云特征，提取对应的实例特征实例特征提取具体为：
[0082]gi
＝maxpool(mlp([fi，pi])
[0083]
其中，mlp为多层感知机，maxpool为最大池化函数，fi，pi分别为点簇的特征和坐标集合；所提取的实例特征的特征维度为64。
[0084]
s22、使用knn-transformer对所述实例特征之间的依赖进行建模，输出增强后的实例特征knn-transformer的具体过程为：
[0085]
根据中心点空间位置，使用k近邻(knn)选取离实例点簇pi最近的k个点簇然后通过线性层，将点簇pi对应的实例特征gi映射为查询特征图qi，将k个点簇对应的实例特征映射为键值特征对ki，vi，然后计算自注意力，得到增强后的实例特征
[0086][0087]
其中，c为64。
[0088]
s23、使用轻量级多层感知机，根据两两实例之间的特征和中心点位置计算相似度，若相似度大于一定阈值，则将这两个实例进行合并；相似度计算过程具体为：
[0089][0090]
其中，pi，pj为点簇i，j的中心点坐标，即点簇集合中点的平均值。
[0091]
步骤s3、利用服务器，通过降低网络损失函数优化网络参数，直至网络收敛，获得基于稀疏实例提议和聚合的点云全景分割方法。如图1所示为本发明提供的一种基于稀疏实例提议和聚合的点云全景分割方法的整体算法框架图，具体步骤如下：
[0092]
s31、利用服务器执行训练点云生成单元，对输入的原始点云进行随机坐标翻转、随机点云旋转，随机点云缩放等数据增强，生成增强后的训练点云输入。
[0093]
s32、利用服务器执行语义骨干网络，生成输入点云的语义预测结果和点云特征，对语义骨干网络进行监督，监督损失为交叉熵损失和lovasz损失之和：
[0094][0095]
其中，为预测值，yi为真实值；j为iou的lovasz拓展版本，e(c)为类别c的误差向量，c为总语义类别数；所述语义骨干网络由3d稀疏卷积网络和2du-net组成；所述3d稀疏卷积网络由四个特征提取块组成，提取多尺度特征；所述2d u-net由2d卷积网络组成，先进行
2次逐步的尺度为2的下采样，然后上采样到原分辨率并投影到点特征；所述3d稀疏卷积网络提取的多尺度特征和所述2d u-net提取的反投影后的点特征拼接后送入到全连接层进行特征压缩得到点云特征；所述语义骨干网络后接一个2层全连接层来预测语义分割。
[0096]
s33、利用服务器执行步骤s1中的所述稀疏实例提议模块，将前景点输入，生成实例提议点簇
[0097]
s34、利用服务器执行步骤s2中的所述实例聚合模块，对所计算的实例之间的相似度s
i，j
进行监督，使用的监督损失为二分类交叉熵损失：
[0098]
l
aff
＝σ
i，j
[y
i，j log(s
i,j
)+(1-y
i，j
)log(1-s
i，j
)]
[0099]
其中，如果点簇i，j属于同一个实例则y
i,j
为1，否则为0；
[0100]
s35、利用服务器优化目标函数l
sem
和l
aff
,获取局部最优网络参数。
[0101]
步骤s4、利用所述基于稀疏实例提议和聚合的点云全景分割方法对新的点云进行全景分割。具体步骤如下：
[0102]
s41、获取3d环境下的雷达点云；
[0103]
s42、将所述雷达点云输入到所述语义骨干网络得到语义预测结果和点云特征；
[0104]
s43、根据所述语义预测结果获取前景点，并将前景点输入到所述稀疏实例提议模块中，获取实例提议点簇；
[0105]
s44、将所述实例提议点簇和点云特征输入到所述实例聚合模块获得聚合后的实例点簇；
[0106]
s45、根据语义预测通过最大投票为每个聚合后的实例点簇分配语义类别，并和语义分割结果融合后得到最终的全景分割结果。如图3所示为本发明所提出的算法和其他先进方法(dsnet，panoptic-polamet)的可视化比较图，本发明所提出的算法在拥挤目标如人群和大目标如公交车等情景都有更好的分割效果。
[0107]
本发明主要的创新点如下：
[0108]
(1)开发了一种稀疏实例提议(sip)模块，无需额外的学习任务，直接从物体的原始点中对实例进行分组，可以轻松地扩展到其他骨干网络和数据集中，并以即插即用的方式使用。
[0109]
(2)sip通过基于bps、bs和ccl的级联设计，消除了对偏移分支的依赖，并加速了聚类过程。
[0110]
(3)提出了一个实例聚合模块，以整合可能的碎片化实例，并补充sip模块，以提高大型对象的分割性能。
[0111]
(4)在semantickitti和nuscenes上实现了先进的性能，如下表所示：
[0112]
表1所本发明提出的方法(panet)和其他方法在semantickitti验证集上的比较
[0113][0114]
表2本发明所提出的方法(panet)和其他方法在nuscenes验证集上的比较
[0115][0116]
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

技术特征：
1.一种基于稀疏实例提议和聚合的点云全景分割方法，其特征在于，包括以下步骤：s1、基于“采样-移动-聚类”的方式构建稀疏实例提议模块，输出实例提议；s2、基于knn-transformer构建实例聚合模块对所述稀疏实例提议模块产生的潜在的碎片化的实例进行聚合，输出精确完整的实例分割结果；s3、利用服务器，通过降低网络损失函数优化网络参数，直至网络收敛，获得基于稀疏实例提议和聚合的点云全景分割方法；s4、利用所述基于稀疏实例提议和聚合的点云全景分割方法对新的点云进行全景分割。2.根据权利要求1所述的一种基于稀疏实例提议和聚合的点云全景分割方法，其特征在于，所述步骤s1具体包括以下步骤：s11、构建平衡点采样策略，对前景点进行稀疏采样，获得稀疏种子点以降低计算负担和内存消耗；s12、构建“气泡收缩”移动模块，将所述稀疏种子点往实例中心迭代式地移动，使得属于不同实例的种子点分离而属于相同实例的种子点聚合；s13、使用基于深度优先搜索的连通组分标记算法对移动后的所述稀疏种子点进行聚类，并将其他未采样点分配到对应种子点所属的簇，得到最终实例提议点簇n为点簇数，p
i
为第i个点簇中的点的集合。3.根据权利要求2所述的一种基于稀疏实例提议和聚合的点云全景分割方法，其特征在于，所述平衡点采样策略具体为：使用体素化操作将输入的点云分成体素块，然后将同一体素中的点求平均值作为该体素中所有点所对应的种子点；该种子点支配所在体素中的所有点，包括语义类别和实例id；所述体素化操作具体为：给定点云p中一点p
i
＝(x
i
,y
i
,z
i
)，它的体素索引其中s为体素化的分辨率，为向下取整操作；具有相同体素索引的所有点在同一体素块内；所述“气泡收缩”移动模块具体为：首先经验性地给出各类别实例的最小半径r
c
，将所有种子点作为顶点建立一个连接图，如果两个顶点属于同一个类别c且它们之间的距离小于最小半径r
c
，则它们相连；然后为每个种子点分配一个气泡，该气泡包含连接到这个种子点的所有点，气泡根据其中的点会迭代式地进行收缩，以达到属于相同实例的种子点聚集而属于不同实例的种子点分离的效果；收缩过程如下所示：d＝diag(k1),x＝x
t
fori
←
to l dox＝xd-1
kendx
′
＝x
t
其中，k为构建的连接图的连接矩阵，l为迭代次数，默认为4；所述连通组分标记算法具体为：以平移后的种子点为顶点建立连通图，如果两个顶点属于同一个类别且他们之间的距离小于该类别对应的最小半径，则他们相连，然后用连通组分标记算法找出各个簇；连通组分标记中的最小半径设置为所述“气泡收缩”移动模块中的r
c
的一半。
4.根据权利要求3所述的一种基于稀疏实例提议和聚合的点云全景分割方法，其特征在于，所述步骤s2具体包括以下步骤：s21、根据所述稀疏实例提议模块输出的实例提议点簇和点云特征，提取对应的实例特征s22、使用knn-transformer对所述实例特征之间的依赖进行建模，输出增强后的实例特征s23、使用轻量级多层感知机，根据两两实例之间的特征和中心点位置计算相似度，若相似度大于一定阈值，则将这两个实例进行合并。5.根据权利要求4所述的一种基于稀疏实例提议和聚合的点云全景分割方法，其特征在于，所述步骤s21的具体过程为：g
i
＝maxpool(mlp([f
i
,p
i
])其中，mlp为多层感知机，maxpool为最大池化函数，f
i
,p
i
分别为点簇的特征和坐标集合；所提取的实例特征的特征维度为64。6.根据权利要求5所述的一种基于稀疏实例提议和聚合的点云全景分割方法，其特征在于，所述步骤s22的具体过程为：根据中心点空间位置，使用k近邻(knn)选取离实例点簇p
i
最近的k个点簇{p
j
}
j∈n(i)
；然后通过线性层，将点簇p
i
对应的实例特征g
i
映射为查询特征图q
i
，将k个点簇{p
j
}
j∈n(i)
对应的实例特征{g
j
}
j∈n(i)
映射为键值特征对k
i
,v
i
，然后计算自注意力，得到增强后的实例特征，然后计算自注意力，得到增强后的实例特征其中，c为64。7.根据权利要求6所述的一种基于稀疏实例提议和聚合的点云全景分割方法，其特征在于，所述步骤s23中的所述相似度的计算过程具体为：其中，p
i
,p
j
为点簇i,j的中心点坐标，即点簇集合中点的平均值。8.根据权利要求7所述的一种基于稀疏实例提议和聚合的点云全景分割方法，其特征在于，所述步骤s3具体包括以下步骤：s31、利用服务器执行训练点云生成单元，对输入的原始点云进行随机坐标翻转、随机点云旋转，随机点云缩放等数据增强，生成增强后的训练点云输入；s32、利用服务器执行语义骨干网络，生成输入点云的语义预测结果和点云特征，对语义骨干网络进行监督，监督损失为交叉熵损失和lovasz损失之和：其中，为预测值，y
i
为真实值；j为iou的lovasz拓展版本，e(c)为类别c的误差向量，c为总语义类别数；s33、利用服务器执行步骤s1中的所述稀疏实例提议模块，将前景点输入，生成实例提
议点簇s34、利用服务器执行步骤s2中的所述实例聚合模块，对所计算的实例之间的相似度s
i,j
进行监督，使用的监督损失为二分类交叉熵损失：l
aff
＝∑
i,j
[y
i,j
log(s
i,j
)+(1-y
i,j
)log(1-s
i,j
)]其中，如果点簇i,j属于同一个实例则y
i,j
为1，否则为0；s35、利用服务器优化目标函数l
sem
和l
aff
，获取局部最优网络参数。9.根据权利要求8所述的一种基于稀疏实例提议和聚合的点云全景分割方法，其特征在于，步骤s32中的所述语义骨干网络由3d稀疏卷积网络和2d u-net组成；所述3d稀疏卷积网络由四个特征提取块组成，提取多尺度特征；所述2du-net由2d卷积网络组成，先进行2次逐步的尺度为2的下采样，然后上采样到原分辨率并投影到点特征；所述3d稀疏卷积网络提取的多尺度特征和所述2du-net提取的反投影后的点特征拼接后送入到全连接层进行特征压缩得到点云特征；所述语义骨干网络后接一个2层全连接层来预测语义分割。10.根据权利要求9所述的一种基于稀疏实例提议和聚合的点云全景分割方法，其特征在于，所述步骤s4具体包括以下步骤：s41、获取3d环境下的雷达点云；s42、将所述雷达点云输入到所述语义骨干网络得到语义预测结果和点云特征；s43、根据所述语义预测结果获取前景点，并将前景点输入到所述稀疏实例提议模块中，获取实例提议点簇；s44、将所述实例提议点簇和点云特征输入到所述实例聚合模块获得聚合后的实例点簇；s45、根据语义预测通过最大投票为每个聚合后的实例点簇分配语义类别，并和语义分割结果融合后得到最终的全景分割结果。

技术总结
本发明涉及3D视觉技术领域，提出了一种基于稀疏实例提议和聚合的点云全景分割方法，基于“采样-移动-聚类”方案设计一种高效准确且非学习的稀疏实例提议模块，消除了对偏移分支的依赖，并加速了聚类过程，且可以轻松地扩展到其他骨干网络和数据集中，并以即插即用的方式使用；此外基于KNN-Transformer设计一种实例聚合模块对实例提议模块产生的潜在的碎片化的实例进行聚合，提高其在大目标上的性能，输出更加精确完整的实例分割结果。本发明提出的方法(PANet)能够准确地对输入的点云进行全景分割，且对实际3D环境中目标遮挡，快速移动等问题具有很好的鲁棒性。等问题具有很好的鲁棒性。等问题具有很好的鲁棒性。


技术研发人员：刘勇 梅剑标
受保护的技术使用者：浙江大学
技术研发日：2023.04.24
技术公布日：2023/7/18