基于匹配关键点特征强度的复杂零件扫描区域规划方法

1.本发明涉及激光点云采集技术领域，具体涉及一种基于匹配关键点特征强度的复杂零件扫描区域规划方法。


背景技术：

2.激光点云采集技术是一种利用激光扫描仪获取物体表面三维信息的技术，在工业检测、三维重建、机器人测量-加工一体化等领域有着广泛的应用。特别是在机器人测量-加工一体化中，激光点云采集的主要目的是利用扫描获得的点云与工件cad模型之间进行点云匹配，从而实现工件的准确定位，并确定待加工余量，从而指导机器人精密加工。
3.关键点是3d点云中具有显著几何特征和可重复性的点，本质上，少量的关键点就足以成功对齐点云，并且定位良好的关键点可以进一步提高配准精度。传统基于特征的点云匹配算法，主要是利用从点云中提取手工设计的局部特征描述子，接着使用随机采样一致算法(ransac)剔除错误匹配点对。手工设计的局部特征需要设计者具有丰富的相关领域知识及经验，不仅增加了设计成本，还限制了特征的通用性。并且，手工设计的特征容易受噪声和形变影响，导致特征描述子稳定性较差，缺乏自适应性和学习能力，难以应用于其他领域和任务。
4.近年来，随着深度学习技术的迅速发展，基于深度学习的点云网络模型也逐步推广。基于深度学习的点云特征提取模型，可以从大量数据中自动学习特征表示方法，特征提取过程具有自适应性。因此，对于工业检测中的复杂零件来说，为了提高点云采集效率以及点云匹配精度，需要一种合适的扫描区域规划方法。申请号为cn 202310051345的发明专利公开了一种下雨环境下无人机点云数据扫描实现方法和系统，利用下雨时雨滴干扰的分层区特性，设定相应的扫描层和扫描角度，以提高点云数据采集的效率和精度。但是该方法需要对目标对象的结构属性进行预先分析，并手动标定平整区域和对称点，增加了操作人员的工作量和误差，并且该方法没有考虑到其他类型的噪声点，如物体表面材质或光照环境导致的反射信号较弱等情况。申请号为cn 202010341002.2的发明专利公开了一种基于关键点局部曲面特征直方图和空间关系的三维点云识别方法。首先通过移动区域对点云进行自动滤波，然后根据曲率均值寻找关键点，根据局部曲面直方图计算特征描述符，根据关键点描述符和空间关系进行特征匹配，最后使用全局容器和重叠率进行多线程识别。但该方法不够鲁棒，无法应对点云的噪声、遮挡或变形，并且无法处理大规模或复杂场景。


技术实现要素：

5.本发明的目的在于提供一种基于匹配关键点特征强度的复杂零件扫描区域规划方法，通过本发明的方法能够解决复杂零件不同区域特征强度不同，进而造成点云匹配精度差异的问题，达到了评价点云特征强度从而提高匹配精度的效果，能够提高点云的采集效率。
6.本发明是这样实现的：
7.一种基于匹配关键点特征强度的复杂零件扫描区域规划方法，包括以下步骤：
8.s1.获取点云数据：将待扫描零件的cad模型进行采样，得到零件表面离散点云；
9.s2.获取匹配关键点：将零件表面离散点云输入基于深度学习的点云匹配模型，得到零件表面离散点云的若干匹配关键点及其对应匹配权重；
10.s3.获取匹配关键类簇：选取匹配权重较大的n个匹配关键点进行聚类，得到聚类后的m个匹配关键类簇；
11.s4.获取扫描点云规划区域：基于匹配关键类簇对零件表面离散点云进行扫描区域规划，得到m个候选点云扫描区域及其对应的特征强度系数。
12.更进一步的方案是：
13.步骤s1中，零件cad模型采样的方法为均匀采样，即均匀地从零件cad模型表面三维曲面中提取点，然后进行下采样，控制最终点云数量。在一般的实践操作过程中，需要保证输入到网络的点云数量不超过10万个，同时又不能过少，点云数量一般最少要超过5000个。因此在采样过程中，根据零件的大小，设置不同的采样密度，控制满足要求的点云数量。
14.更进一步的方案是：
15.步骤s2中，基于深度学习的点云匹配模型是选取d3feat点云匹配模型。
16.更进一步的方案是：
17.步骤s2中，匹配关键点对应匹配权重的评价方法为，匹配关键点权重越高，该匹配关键点特征信息越强。
18.更进一步的方案是：
19.步骤s3中，聚类的算法为层次化聚类算法。
20.更进一步的方案是：
21.步骤s3中，层次化聚类算法为自下而上的聚合法，即将每个数据点视为一个初始类簇，然后将最相似的类簇逐步合并成更大的类簇，直到达到设定聚类结束条件为止。
22.更进一步的方案是：
23.步骤s3中，层次化聚类算法的约束条件为：当匹配关键类簇的最小包围盒的最大侧面面积等于阈值s
th
时，该匹配关键类簇停止继续聚类，s
th
为扫描仪在最佳成像距离下所能拍摄到的最大扫描面积。
24.更进一步的方案是：
25.步骤s4中，所述扫描区域规划方法如下：
26.记零件表面离散点云为p，关键匹配类簇为q＝{qi|i＝1，
…
，m}，
27.(1)对于关键匹配类簇qi，获取qi的最小方向包围盒obbi；
28.(2)将零件表面离散点云p位于最小方向包围盒obbi内的部分记为点云
29.(3)基于主成分分析法将点云投影至二维平面将点云在平面上投影的最小包围矩形面积记为
30.(4)将关键匹配类簇qi内所包含匹配关键点qi投影至二维平面将平面上包含不重复的匹配关键点数量记为
31.(5)计算关键匹配类簇qi的特征强度系数
[0032][0033]
其中，为匹配关键点qj对应的特征强度系数。
[0034]
计算所有关键匹配类簇的特征强度系数，最终得到候选点云扫描区域及其对应的特征强度系数。
[0035]
更进一步的方案是：
[0036]
步骤s4中，所述候选点云扫描区域对应特征强度系数的评价方法为，特征强度系数越高，该候选点云扫描区域特征信息越强，以选择具有较高特征强度的点云区域进行采集。
[0037]
更进一步的方案是：
[0038]
对点云扫描区域的规划结果进行评价时，选取匹配源点云s与匹配目标点云t进行匹配后，两点云之间匹配点的均方误差(rmse)作为评价指标，其公式如下：
[0039][0040]
其中si为匹配源点云s中的点，tj是匹配目标点云t中的点，且tj是将原始si进行矩阵变换后，在匹配目标点云t中距离变换后的s
′i距离最近的点。
[0041]
本发明可以应用于飞轮壳零件、车身构件零件以及其他零件。
[0042]
本发明至少具有如下技术效果：
[0043]
复杂零件存在复杂的结构，这对点云匹配造成一定的挑战，而复杂结构的存在意味着该部分存在显著几何特征的点，这些点即为3d点云中的关键点，另一方面，由于点云数据量大，这会造成硬件内存高消耗和计算效率低下，一种解决方法是对点云进行下采样，即只保留一部分代表性的点，现有的下采样方法(比如基于体素网格的采样方法、最远点采样方法和随机采样方法，等等)都存在一些局限性，比如定位不准确、点可能出现在非显著区域，导致不具有区分性的描述子，等等。因此，检测出具有显著几何特征的关键点，对点云匹配精度的提高具有重要意义。即少量的关键点就足以成功对齐点云，并且定位良好的关键点可以进一步提高配准精度。得到扫描区域的特征信息，则在实际中重点扫描该区域，因为其包含更多的关键点，就可以配准点云，不需要扫描零点的全部，即达到点云采集效率的提高。通过本发明的方法能够解决复杂零件不同区域特征强度不同，进而造成点云匹配精度差异的问题，达到了评价点云特征强度从而提高匹配精度的效果，能够提高点云的采集效率。
附图说明
[0044]
图1为基于匹配关键点特征强度的复杂零件扫描区域规划方法流程图；
[0045]
图2为提取的飞轮壳匹配关键点示意图；
[0046]
图3为提取的车身构件匹配关键点示意图；
[0047]
图4为层次化聚类算法(聚合法)示意图；
[0048]
图5为飞轮壳匹配关键点聚类后匹配关键类簇示意图；
[0049]
图6为车身构件匹配关键点聚类后匹配关键类簇示意图。
具体实施方式
[0050]
下面结合附图和具体实施例对本发明作进一步的详细说明。
[0051]
实施例一
[0052]
如附图1所示，一种基于匹配关键点特征强度的复杂零件扫描区域规划方法，包括以下步骤：
[0053]
s1.获取点云数据：将待扫描飞轮壳零件的cad模型进行采样，得到飞轮壳零件表面离散点云；飞轮壳cad模型采样方法为均匀采样，即均匀地从飞轮壳cad模型表面三维曲面中提取点，采样密度设置为5，然后进行下采样，控制最终点云数量，下采样方法使用体素下采样方法，体素大小设置为8，得到最终的点云数量为42990个。
[0054]
s2.获取匹配关键点：将零件表面离散点云输入基于深度学习的点云匹配模型，得到零件表面离散点云的若干匹配关键点及其对应匹配权重；提取的匹配关键点示意图如附图2所示。基于深度学习的点云匹配模型是选取d3feat点云匹配模型。匹配关键点对应匹配权重的评价方法为，匹配关键点权重越高，该匹配关键点特征信息越强。
[0055]
s3.获取匹配关键类簇：选取匹配权重较大的1000个匹配关键点进行聚类，得到聚类后的5个匹配关键类簇，如附图5所示；
[0056]
聚类算法为层次化聚类算法(hierarchical clustering)。
[0057]
步骤s3中，所述层次化聚类算法为自下而上的聚合法，即将每个数据点视为一个初始类簇，然后将最相似的类簇逐步合并成更大的类簇，直到达到设定聚类结束条件为止。如附图4所示。
[0058]
步骤s3中，所述层次化聚类算法的约束条件为：当匹配关键类簇的最小包围盒的最大侧面面积等于阈值s
th
时，该匹配关键类簇停止继续聚类，s
th
为扫描仪在最佳成像距离下所能拍摄到的最大扫描面积。
[0059]
s4.获取扫描点云规划区域：基于匹配关键类簇对飞轮壳零件表面离散点云进行扫描区域规划，得到5个候选点云扫描区域及其对应的特征强度系数。
[0060]
扫描区域规划方法如下：
[0061]
记零件表面离散点云为p，关键匹配类簇为q＝{qi|i＝1，
…
，m}，
[0062]
(1)对于关键匹配类簇qi，获取qi的最小方向包围盒obbi；
[0063]
(2)将零件表面离散点云p位于最小方向包围盒obbi内的部分记为点云
[0064]
(3)基于主成分分析法将点云投影至二维平面将点云在平面上投影的最小包围矩形面积记为
[0065]
(4)将关键匹配类簇qi内所包含匹配关键点qi投影至二维平面将平面上包含不重复的匹配关键点数量记为
[0066]
(5)计算关键匹配类簇qi的特征强度系数
[0067]
[0068]
其中，为匹配关键点qj对应的特征强度系数。
[0069]
计算所有关键匹配类簇的特征强度系数，最终得到5个候选点云扫描区域及其对应的特征强度系数。
[0070]
步骤s4中，候选点云扫描区域对应特征强度系数的评价方法为，特征强度系数越高，该候选点云扫描区域特征信息越强，以选择具有较高特征强度的点云区域进行采集。
[0071]
对点云扫描区域的规划结果进行评价时，选取匹配源点云s与匹配目标点云t进行匹配后，两点云之间匹配点的均方误差(rmse)作为评价指标，其公式如下：
[0072][0073]
其中si为匹配源点云s中的点，tj是匹配目标点云t中的点，且tj是将原始si进行矩阵变换后，在匹配目标点云t中距离变换后的s
′i距离最近的点。
[0074]
实施例二
[0075]
一种基于匹配关键点特征强度的复杂零件扫描区域规划方法，包括以下步骤：
[0076]
s1.获取点云数据：将待扫描车身构件零件的cad模型进行采样，得到车身构件零件表面离散点云；车身构件cad模型采样方法为均匀采样，即均匀地从车身构件cad模型表面三维曲面中提取点，采样密度设置为5，然后进行下采样，控制最终点云数量，下采样方法使用体素下采样方法，体素大小设置为8，得到最终的点云数量为43548个。
[0077]
s2.获取匹配关键点：将零件表面离散点云输入基于深度学习的点云匹配模型，得到零件表面离散点云的若干匹配关键点及其对应匹配权重；提取的匹配关键点示意图如附图3所示。基于深度学习的点云匹配模型是选取d3feat点云匹配模型。匹配关键点对应匹配权重的评价方法为，匹配关键点权重越高，该匹配关键点特征信息越强。
[0078]
s3.获取匹配关键类簇：选取匹配权重较大的1000个匹配关键点进行聚类，得到聚类后的6个匹配关键类簇，如附图6所示；
[0079]
聚类算法为层次化聚类算法(hierarchical clustering)。
[0080]
步骤s3中，所述层次化聚类算法为自下而上的聚合法，即将每个数据点视为一个初始类簇，然后将最相似的类簇逐步合并成更大的类簇，直到达到设定聚类结束条件为止。如附图4所示。
[0081]
步骤s3中，所述层次化聚类算法的约束条件为：当匹配关键类簇的最小包围盒的最大侧面面积等于阈值s
th
时，该匹配关键类簇停止继续聚类，s
th
为扫描仪在最佳成像距离下所能拍摄到的最大扫描面积。
[0082]
s4.获取扫描点云规划区域：基于匹配关键类簇对车身构件零件表面离散点云进行扫描区域规划，得到6个候选点云扫描区域及其对应的特征强度系数。
[0083]
扫描区域规划方法如下：
[0084]
记零件表面离散点云为p，关键匹配类簇为q＝{qi|i＝1，
…
，m}，
[0085]
(6)对于关键匹配类簇qi，获取qi的最小方向包围盒obbi；
[0086]
(7)将零件表面离散点云p位于最小方向包围盒obbi内的部分记为点云
[0087]
(8)基于主成分分析法将点云投影至二维平面将点云在平面上投
影的最小包围矩形面积记为
[0088]
(9)将关键匹配类簇qi内所包含匹配关键点qi投影至二维平面将平面上包含不重复的匹配关键点数量记为
[0089]
(10)计算关键匹配类簇qi的特征强度系数
[0090][0091]
其中，为匹配关键点qj对应的特征强度系数。
[0092]
计算所有关键匹配类簇的特征强度系数，最终得到6个候选点云扫描区域及其对应的特征强度系数。
[0093]
步骤s4中，候选点云扫描区域对应特征强度系数的评价方法为，特征强度系数越高，该候选点云扫描区域特征信息越强，以选择具有较高特征强度的点云区域进行采集。
[0094]
对点云扫描区域的规划结果进行评价时，选取匹配源点云s与匹配目标点云t进行匹配后，两点云之间匹配点的均方误差(rmse)作为评价指标，其公式如下：
[0095][0096]
其中si为匹配源点云s中的点，tj是匹配目标点云t中的点，且tj是将原始si进行矩阵变换后，在匹配目标点云t中距离变换后的s
′i距离最近的点。
[0097]
尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本技术公开的原则范围和精神之内。

技术特征：
1.一种基于匹配关键点特征强度的复杂零件扫描区域规划方法，其特征在于包括以下步骤：s1.获取点云数据：将待扫描零件的cad模型进行采样，得到零件表面离散点云；s2.获取匹配关键点：将零件表面离散点云输入基于深度学习的点云匹配模型，得到零件表面离散点云的若干匹配关键点及其对应匹配权重；s3.获取匹配关键类簇：选取匹配权重较大的n个匹配关键点进行聚类，得到聚类后的m个匹配关键类簇；s4.获取扫描点云规划区域：基于匹配关键类簇对零件表面离散点云进行扫描区域规划，得到m个候选点云扫描区域及其对应的特征强度系数。2.根据权利要求1所述基于匹配关键点特征强度的复杂零件扫描区域规划方法，其特征在于：步骤s1中，零件cad模型采样的方法为均匀采样，即均匀地从零件cad模型表面三维曲面中提取点，然后进行下采样，控制最终点云数量。3.根据权利要求2所述基于匹配关键点特征强度的复杂零件扫描区域规划方法，其特征在于：步骤s2中，基于深度学习的点云匹配模型是选取d3feat点云匹配模型。4.根据权利要求2所述基于匹配关键点特征强度的复杂零件扫描区域规划方法，其特征在于：步骤s2中，匹配关键点对应匹配权重的评价方法为，匹配关键点权重越高，该匹配关键点特征信息越强。5.根据权利要求3或4所述基于匹配关键点特征强度的复杂零件扫描区域规划方法，其特征在于：步骤s3中，聚类的算法为层次化聚类算法。6.根据权利要求5所述基于匹配关键点特征强度的复杂零件扫描区域规划方法，其特征在于：步骤s3中，层次化聚类算法为自下而上的聚合法，即将每个数据点视为一个初始类簇，然后将最相似的类簇逐步合并成更大的类簇，直到达到设定聚类结束条件为止。7.根据权利要求6所述基于匹配关键点特征强度的复杂零件扫描区域规划方法，其特征在于：步骤s3中，层次化聚类算法的约束条件为：当匹配关键类簇的最小包围盒的最大侧面面积等于阈值s
th
时，该匹配关键类簇停止继续聚类，s
th
为扫描仪在最佳成像距离下所能拍摄到的最大扫描面积。8.根据权利要求3或4所述基于匹配关键点特征强度的复杂零件扫描区域规划方法，其特征在于：步骤s4中，所述扫描区域规划方法如下：记零件表面离散点云为p，关键匹配类簇为q＝{q
i
|i＝1，
…
，m}，(1)对于关键匹配类簇q
i
，获取q
i
的最小方向包围盒obb
i
；(2)将零件表面离散点云p位于最小方向包围盒obb
i
内的部分记为点云(3)基于主成分分析法将点云投影至二维平面将点云在平面上投影的最
小包围矩形面积记为(4)将关键匹配类簇q
i
内所包含匹配关键点q
i
投影至二维平面将平面上包含不重复的匹配关键点数量记为(5)计算关键匹配类簇q
i
的特征强度系数的特征强度系数其中，为匹配关键点q
j
对应的特征强度系数；计算所有关键匹配类簇的特征强度系数，最终得到候选点云扫描区域及其对应的特征强度系数。9.根据权利要求8所述基于匹配关键点特征强度的复杂零件扫描区域规划方法，其特征在于：步骤s4中，所述候选点云扫描区域对应特征强度系数的评价方法为，特征强度系数越高，该候选点云扫描区域特征信息越强，以选择具有较高特征强度的点云区域进行采集。10.根据权利要求9所述基于匹配关键点特征强度的复杂零件扫描区域规划方法，其特征在于：对点云扫描区域的规划结果进行评价时，选取匹配源点云s与匹配目标点云t进行匹配后，两点云之间匹配点的均方误差(rmse)作为评价指标，其公式如下：其中s
i
为匹配源点云s中的点，t
j
是匹配目标点云t中的点，且t
j
是将原始s
i
进行矩阵变换后，在匹配目标点云t中距离变换后的s
′
i
距离最近的点。

技术总结
本发明公开了一种基于匹配关键点特征强度的复杂零件扫描区域规划方法，包括：获取点云数据：将待扫描零件的CAD模型进行采样，得到零件表面离散点云；获取匹配关键点：将零件表面离散点云输入基于深度学习的点云匹配模型，得到零件表面离散点云的若干匹配关键点及其对应匹配权重；获取匹配关键类簇：选取匹配权重较大的匹配关键点进行聚类，得到聚类后的匹配关键类簇；获取扫描点云规划区域：基于匹配关键类簇对零件表面离散点云进行扫描区域规划，得到候选点云扫描区域及其对应的特征强度系数。本方法能够解决复杂零件不同区域特征强度不同，造成点云匹配精度差异的问题，达到评价点云特征强度从而提高匹配精度的效果，能够提高点云采集效率。提高点云采集效率。提高点云采集效率。


技术研发人员：朱大虎 贺敏琦 欧阳鹏 华林
受保护的技术使用者：武汉理工大学
技术研发日：2023.05.16
技术公布日：2023/9/14