工件形貌点云配准方法、装置、设备及存储介质

1.本发明涉及点云配准技术领域，尤其涉及一种工件形貌点云配准方法、装置、设备及存储介质。


背景技术：

2.在工业生产中，零部件由于生产工艺中存在的问题，可能存在各种不同类型的毛刺。飞边毛刺危害很大，直接影响零件检测、装配、使用性能、工作寿命，对密封件、轴承、齿轮、液压元件等零部件正常运行带来极大的影响，因此在生产过程中需要对零部件进行毛刺处理。
3.现有的是通过机器来完成去毛刺工作，而在零部件的毛刺清理过程中，需要进行目标工件的抓取。在对目标工件的识别和位姿估计是最为关键的一个步骤，在采集到目标的图像信息并转换为三维点云数据之后，需要对目标工件点云和模板工件点云完成点云配准，以从图像中识别到待抓取工件并得到其位姿信息。但目标工件每次装夹位置、轮廓外型尺寸、毛刺大小及分布均存在不一致，传统的点云配准算法需要处理海量点云，导致对工件进行点云配准的效率过低。
4.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

5.本发明的主要目的在于提供了一种工件形貌点云配准方法、装置、设备及存储介质，旨在解决传统的点云配准算法对工件进行点云配准的效率过低的技术问题。
6.为实现上述目的，本发明提供了一种工件形貌点云配准方法，所述方法包括以下步骤：
7.获取待配准工件和模板工件的原始三维点云，并对所述原始三维点云进行点云预处理，获得目标三维点云；
8.通过iss关键点提取算法对所述目标三维点云进行关键点提取，获得所述原始三维点云对应的关键三维点云；
9.通过3dsc特征描述算法对所述关键三维点云进行特征描述，获得所述关键三维点云对应的特征描述子对点云；
10.提取所述关键三维点云中所述待配准工件对应的目标点云，并根据所述特征描述子对点云获取所述目标点云的变换矩阵；
11.根据所述变换矩阵对所述待配准工件和所述模板工件进行点云配准。
12.可选地，所述提取所述关键三维点云中所述待配准工件对应的目标点云，并根据所述特征描述子对点云获取所述目标点云的变换矩阵，包括：
13.提取所述关键三维点云中所述待配准工件对应的目标点云和所述模板工件的模板点云；
14.根据所述特征描述子对点云按一致性初始配准算法对所述目标点云进行粗匹配，获取初始变换矩阵；
15.根据所述初始变换矩阵按ndt算法对所述目标点云进行精匹配，获得所述目标点云对应的旋转平移矩阵；
16.所述根据所述变换矩阵对所述待配准工件和所述模板工件进行点云配准，包括：
17.根据所述旋转平移矩阵对所述待配准工件和所述模板工件进行点云配准。
18.可选地，所述根据所述特征描述子对点云按一致性初始配准算法对所述目标点云进行粗匹配，获取初始变换矩阵，包括：
19.从所述模板点云中采集预设数量的采样点；
20.根据所述特征描述子对点云和所述采样点对所述目标点云进行遍历，获取所述目标点云中与所述采样点相似的相似点；
21.从所述相似点中随机获取作为所述目标点云的唯一对应点；
22.根据所述唯一对应点按一致性初始配准算法对所述目标点云进行粗匹配，获取初始变换矩阵。
23.可选地，所述根据所述初始变换矩阵按ndt算法对所述目标点云进行精匹配，获得所述目标点云对应的旋转平移矩阵，包括：
24.将所述目标点云和所述模板点云所对应的点云空间按ndt算法划分为点云网格，并获取所述点云网格中各点云的均值和协方差矩阵；
25.根据所述均值和所述协方差矩阵确定各点云的概率密度函数；
26.根据所述初始变换矩阵和所述概率密度函数对所述目标点云进行空间映射，获得所述目标点云对应的旋转平移矩阵。
27.可选地，所述对所述原始三维点云进行点云预处理，获得目标三维点云，包括：
28.对所述原始三维点云进行体素栅格滤波，获得原始三维点云对应的下采样点云；
29.对所述下采样点云中的离群点进行统计滤波，获得滤波后的下采样点云；
30.根据随机采样一致性算法对所述滤波后的下采样点云进行点云分割，获得原始三维点云对应的目标三维点云。
31.可选地，所述对所述原始三维点云进行体素栅格滤波，获得原始三维点云对应的下采样点云，包括：
32.获取所述原始三维点云的空间坐标集合，并确定所述空间坐标集合中的最大值和最小值；
33.根据所述最大值和所述最小值确定所述原始三维点云对应的三维体素栅格，并确定所述三维体素栅格的格栅重心；
34.根据所述三维体素栅格和所述格栅重心确定所述原始三维点云对应的下采样点云。
35.可选地，所述对所述下采样点云中的离群点进行统计滤波，获得滤波后的下采样点云，包括：
36.获取所述下采样点云中各个点与预设邻域内所有点的平均距离；
37.根据所述平均距离获取所述下采样点云中各个点的阈值；
38.根据所述平均距离和所述阈值对所述下采样点云中各个点进行遍历比较，在所述
平均距离大于所述阈值时，将所述平均距离大于所述阈值的各个点进行滤波，获得滤波后的下采样点云。
39.此外，为实现上述目的，本发明还提出一种工件形貌点云配准装置，所述装置包括：
40.点云获取模块，用于获取待配准工件和模板工件的原始三维点云，并对所述原始三维点云进行点云预处理，获得目标三维点云；
41.关键点提取模块，用于通过iss关键点提取算法对所述目标三维点云进行关键点提取，获得所述原始三维点云对应的关键三维点云；
42.特征描述模块，用于通过3dsc特征描述算法对所述关键三维点云进行特征描述，获得所述关键三维点云对应的特征描述子对点云；
43.矩阵获取模块，用于提取所述关键三维点云中所述待配准工件对应的目标点云，并根据所述特征描述子对点云获取所述目标点云的变换矩阵；
44.点云配准模块，用于根据所述变换矩阵对所述待配准工件和所述模板工件进行点云配准。
45.此外，为实现上述目的，本发明还提出一种工件形貌点云配准设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的工件形貌点云配准程序，所述工件形貌点云配准程序配置为实现如上文所述的工件形貌点云配准方法的步骤。
46.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有工件形貌点云配准程序，所述工件形貌点云配准程序被处理器执行时实现如上文所述的工件形貌点云配准方法的步骤。
47.本发明通过获取待配准工件和模板工件的原始三维点云，并对所述原始三维点云进行点云预处理，获得目标三维点云；然后通过iss关键点提取算法对所述目标三维点云进行关键点提取，获得所述原始三维点云对应的关键三维点云；通过3dsc特征描述算法对所述关键三维点云进行特征描述，获得所述关键三维点云对应的特征描述子对点云；接着提取所述关键三维点云中所述待配准工件对应的目标点云，并根据所述特征描述子对点云获取所述目标点云的变换矩阵；最后根据所述变换矩阵对所述待配准工件和所述模板工件进行点云配准。本发明通过对目标三维点云进行关键点提取并进行特征描述，避免了对海量点云进行处理，有效解决了传统点云配准算法效率过低的问题，从而提高了待配准工件和所述模板工件进行点云配准的效率。
附图说明
48.图1是本发明实施例方案涉及的硬件运行环境的工件形貌点云配准设备的结构示意图；
49.图2为本发明工件形貌点云配准方法第一实施例的流程示意图；
50.图3为本发明工件形貌点云配准方法第一实施例中特征空间划分的场景示意图；
51.图4为本发明工件形貌点云配准方法第二实施例的流程示意图；
52.图5为本发明工件形貌点云配准方法第三实施例的流程示意图；
53.图6为本发明工件形貌点云配准方法第三实施例中点云预处理的场景示意图；
54.图7为本发明工件形貌点云配准装置第一实施例的结构框图。
55.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
56.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
57.参照图1，图1为本发明实施例方案涉及的硬件运行环境的工件形貌点云配准设备结构示意图。
58.如图1所示，该工件形貌点云配准设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)，也可以是稳定的非易失性存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
59.本领域技术人员可以理解，图1中示出的结构并不构成对工件形貌点云配准设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
60.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及工件形貌点云配准程序。
61.在图1所示的工件形貌点云配准设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明工件形貌点云配准设备中的处理器1001、存储器1005可以设置在工件形貌点云配准设备中，所述工件形貌点云配准设备通过处理器1001调用存储器1005中存储的工件形貌点云配准程序，并执行本发明实施例提供的工件形貌点云配准方法。
62.本发明实施例提供了一种工件形貌点云配准方法，参照图2，图2为本发明工件形貌点云配准方法第一实施例的流程示意图。
63.本实施例中，所述工件形貌点云配准方法包括以下步骤：
64.步骤s10：获取待配准工件和模板工件的原始三维点云，并对所述原始三维点云进行点云预处理，获得目标三维点云。
65.需要说明的是，本实施例方法的执行主体可以是能够进行点云数据处理和点云配准的计算服务设备，还可以是能够实现相同或相似功能的其他电子设备，例如上述工件形貌点云配准设备，本实施例对此不加以限制。此处以上述工件形貌点云配准设备(简称点云配准设备)对本实施例和下述各实施例进行具体说明。
66.可理解的是，点云配准实际上是通过计算得到完美的坐标变换，将处于不同视角下的点云数据经过旋转平移等刚性变换统一整合到指定坐标系之下的过程。通俗一点讲，进行配准的两个点云，它们彼此之间可以通过旋转平移等这种位置变换完全重合，因此这两个点云属于刚性变换即形状大小是完全一样的，只是坐标位置不一样而已。点云配准就是求出两个点云之间的坐标位置变换关系。
67.应理解的是，待配准工件是待进行点云配准处理的工件。模板工件是在进行配准
的过程中，将待配准工件通过旋转平移等位置变换与其完全重合的工件。原始三维点云是根据待配准工件和模板工件所处配准场景时获取的点云数据，包括待配准工件的点云数据、模板工件的点云数据和工件所在工作台的点云数据。
68.在具体实现中，由于原始三维点云中不仅包括待配准工件和模板工件的三维点云，还包括其他多余的带有大量无规则噪声点云(例如工作台或其他工件的点云数据)，因此还需要对原始三维点云进行与处理，获得待配准工件和模板工件的目标三维点云。例如，点云配准设备可以对原始三维点云进行滤波、分割、降采样等操作，完成点云的预处理，获得待配准工件和模板工件的目标三维点云，从而降低后续点云的计算时间。
69.步骤s20：通过iss关键点提取算法对所述目标三维点云进行关键点提取，获得所述原始三维点云对应的关键三维点云。
70.需要说明的是，iss关键点提取算法是一种直接针对于点云数据的特征提取方法，通过从众多点中提取更具有代表性和描述性的关键点，可以有效的解决传统点云配准算法在处理海量点云时效率过低的问题。通过对所述目标三维点云进行关键点提取，可以获得原始三维点云对应的关键三维点云。
71.应理解的是，关键点又称为兴趣点，是指在点云上通过定义检测标准得到的具有稳定性、区别性、代表性的点集。通过对这些关键点进行提取可以保留点云数据中的有价值信息，删除不必要点，加快后续特征点对描述和配准速度，方便解决传统点云处理的过程中不能解决的复杂场景问题。常见的点云关键点提取方式包括基于曲率的3d-sift关键点提取方法；基于表面法线的d-harris关键点提取方法、基于尺度空间iss关键点提取方法等。
72.为便于理解，以iss关键点提取算法对目标三维点云进行关键点提取的过程为例，但不对本实施例进行限。iss关键点提取算法是一种通过对点云数据进行尺度空间变换提取点云关键点的方法，该算法首先通过高斯平滑对点云进行尺度空间变换，接着根据差分运算检测边界和角点，最后通过对检测到的特征点进行评估和过滤来选取关键点。iss对关键评估过滤的标准是基于从所建立的局部坐标系中三个轴线方向上的特征值比值的，因其特征值的获取是具有一定几何意义，所以这种根据特征值分析的关键点提取方法能够根据第一、第二和第三特征值之间的差异，精准的判断出某点是否为角点、图像边界或关键点。该算法具体求解步骤如下：
73.1)对目标三维点云数据p中每个查询点pi建立局部坐标系，并设定搜索半径r
frame
。
74.2)确定所有查询点pi在半径r
frame
内的相邻点，并进行加权，设立权值为w
ij
。
[0075][0076]
3)计算所有pi与其相邻点的协方差矩阵p
i(cov)
。
[0077][0078]
4)计算每个协方差矩阵的特征值并按递减顺序排列。
[0079]
5)设定阈值ε1、ε2，阈值满足式即视为iss关键点。
[0080][0081]
将满足阈值ε1、ε2的iss关键点提取出来，从而获得原始三维点云对应的关键三维点云。
[0082]
步骤s30：通过3dsc特征描述算法对所述关键三维点云进行特征描述，获得所述关键三维点云对应的特征描述子对点云。
[0083]
需要说明的是，3dsc特征描述算法是通过统计点云数据中上下文信息相似点完成关键点特征描述，使整个配准算法能够得到更高的精度的一种算法。点云配准设备通过对关键三维点云进行特征描述，可以获得关键三维点云对应的特征描述子对点云。
[0084]
为便于理解，在完成对点云关键点的提取后，需要将待配准工件的点云和模板工件的点云的关键点关联起来才能继续完成对目标工件的配准工作，这种关联需要通过关键点对两片点云进行特征描述。通常情况下，点云特征描述方法分为局部特征描述子和全局特征描述子两种，全局特征描述子(如vfh、高程差、平均强度、几何中心等)是将全局信息整合统一完成对点云特征的描述，而局部特征描述子(如sift、surf、3dsc、fpfh等)则是通过对特征点周围的点云形状、结构等特征进行描述。相比全局特征描述子，局部特征描述子更容易捕捉到细节特征的细微变化，在处理遮挡情况和完成关键点提取之后点数量不大的点云数据时，能够有更强的精度和鲁棒性，且计算时间与全局描述相当。
[0085]
因此可以选择局部特征描述子的3dsc特征描述算法进行点对特征描述。参考图3，图3为本发明工件形貌点云配准方法第一实施例中特征空间划分的场景示意图。如图中所示，左图为sc特征空间划分图，右图为3dsc特征空间图，可以选择局部特征描述子3d形状上下文描述子(3dsc)进行点对特征描述。3dsc是由2dsc扩展而来，不同于2dsc的是，3dsc通过对邻域范围由同心圈替换为同心球的方式进行区域划分，支撑区域是以基点为中心的球体，以基点的表面法线估计为北极导向。支撑区域在方位角和仰角尺寸上由等间隔的边界分开，并且沿径向尺寸以对数间隔的边界分开。3dsc构造简单，辨别力强，且对噪声不敏感，在针对非刚体物体的匹配中，可以提高点云处理的鲁棒性。3dsc特征描述过程如下：
[0086]
(1)计算所有查询点pj(iss关键点)法线nj，并以点pj为中心，半径r
3dsc
，法线nj为正北方向建立球形支撑区域。
[0087]
(2)根据r＝r0...rj}对支撑区域按对数距离径向划分为j+1个同心圆。纵向和横向分别按180
°
、360
°
仰角区和方位角区均匀划分为l+1和k+1个区间，形成j
×k×
l个子区域。设r0为最小半径r
min
(r
min
》0)，rj为最大半径r
max
，半径边界计算如下式：
[0088][0089]
(3)通过下式计算对每个子区域内所有点的加权值ω(pj)。
[0090][0091]
其中，v(j,k,l)对应子区域的体积，ρj为子区域内点密度。
[0092]
(4)合并所有ω(pj)值组成特征向量该向量包含查询点周围的形状上下文特征。
[0093][0094]
其中，k＝{1,2,...,n},n＝j*k*l。通过3dsc特征描述算法对关键三维点云进行特征描述，从而可以获得关键三维点云对应的特征描述子对点云。
[0095]
步骤s40：提取所述关键三维点云中所述待配准工件对应的目标点云，并根据所述特征描述子对点云获取所述目标点云的变换矩阵。
[0096]
步骤s50：根据所述变换矩阵对所述待配准工件和所述模板工件进行点云配准。
[0097]
需要说明的是，完成对目标点云和模板点云关键点的3dsc特征描述后，可以根据特征描述子对点云确定目标点云进行点云匹配准的变换矩阵。
[0098]
在具体实现中，可以根据特征描述子对点云进行粗配准，降低误配准概率。然后根据在粗配准的基础上确定最合适的变换矩阵，完成待配准工件和模板工件的点云配准。也可以直接通过icp算法计算最近邻搜索匹配点，确定目标点云的需进行配准的点云数据，再获取对应的变换矩阵，还可以是其他确定目标点云进行点云匹配准的变换矩阵，本实施例对此不加以限制。
[0099]
本实施例获取待配准工件和模板工件的原始三维点云，由于原始三维点云中不仅包括待配准工件和模板工件的三维点云，还包括其他多余的带有大量无规则噪声点云(例如工作台或其他工件的点云数据)，因此还需要对原始三维点云进行与处理，获得待配准工件和模板工件的目标三维点云。例如，可以对原始三维点云进行滤波、分割、降采样等操作，完成点云的预处理，获得待配准工件和模板工件的目标三维点云，从而降低后续点云的计算时间。然后通过对目标三维点云进行关键点提取，获得原始三维点云对应的关键三维点云，有效解决传统点云配准算法在处理海量点云时效率过低的问题。接着通过统计点云数据中上下文信息相似点完成关键点特征描述，使整个配准算法能够得到更高的精度，可以获得关键三维点云对应的特征描述子对点云。再根据特征描述子对点云进行配准(例如粗匹配或精匹配)，降低误配准概率，确定目标点云进行点云匹配准的变换矩阵，最后根据变换矩阵完成待配准工件和模板工件的点云配准。本实施例通过对目标三维点云进行关键点提取并进行特征描述，避免了对海量点云进行处理，有效解决了传统点云配准算法效率过低的问题，从而提高了待配准工件和所述模板工件进行点云配准的效率。
[0100]
参考图4，图4为本发明工件形貌点云配准方法第二实施例的流程示意图。
[0101]
基于上述第一实施例，在本实施例中，考虑到获取目标点云的变换矩阵的精确性，所述步骤s40包括：
[0102]
步骤s41：提取所述关键三维点云中所述待配准工件对应的目标点云和所述模板工件的模板点云。
[0103]
步骤s42：根据所述特征描述子对点云按一致性初始配准算法对所述目标点云进行粗匹配，获取初始变换矩阵。
[0104]
需要说明的是，一致性初始配准算法(sanple consensus initial aligment，sac-ia)是一种对于初始的变换矩阵估计的算法，初始配准方法工作量很大，它使用了点云数据旋转不变的特性。但计算复杂度较高，因为在合并的步骤需要查看所有的可能的对应关系，有可能只能得到局部最优解，因此可以利用一致性初始配准算法对点云进行粗配准，完成对两片点云的粗配准，求得目标点云与模板点云的初始变换矩阵作为后续精配准的初
始值，降低误配准概率。
[0105]
步骤s43：根据所述初始变换矩阵按ndt算法对所述目标点云进行精匹配，获得所述目标点云对应的旋转平移矩阵。
[0106]
步骤s51：根据所述旋转平移矩阵对所述待配准工件和所述模板工件进行点云配准。
[0107]
需要说明的是，ndt算法是一种基于概率模型的正态分布变换算法，通过使用点云概率密度函数作为概率模型进行精配准，获得目标点云对应的旋转平移矩阵。
[0108]
在具体实现中，完成对目标点云和模板点云的关键点的3dsc特征描述后，可以基于一种一致性初始配准算法根据提取到的特征描述子对点云数据进行粗配准，获得初始变换矩阵，降低误配准概率。然后将该初始变换矩阵作为前提条件采用ndt算法对待配准工件的点云进行精配准，得到最终的精确的旋转平移矩阵，完成对待配准工件的位姿估计。最后根据旋转平移矩阵对待配准工件和模板工件进行点云配准。
[0109]
进一步地，考虑到对点云数据进行粗配准的精度，本实施例中在步骤s42包括：从所述模板点云中采集预设数量的采样点；根据所述特征描述子对点云和所述采样点对所述目标点云进行遍历，获取所述目标点云中与所述采样点相似的相似点；从所述相似点中随机获取作为所述目标点云的唯一对应点；根据所述唯一对应点按一致性初始配准算法对所述目标点云进行粗匹配，获取初始变换矩阵。
[0110]
需要说明的是，预设数量是预先设置的数量，例如n个采样点。相似点是具有相似3dsc特征的点，相似点可以包含一个或多个点，然后可以从这些相似点中随机选取一个点作为模板点云在目标点云中的唯一对应点进行粗匹配。
[0111]
为便于理解，以sac-ia算法基于特征描述子对点云来寻找唯一对应点为例进行说明，但不对本方案进行限定。完成对目标点云和模板点云关键点的3dsc特征描述后，可以基于sac-ia算法根据提取到的特征描述子对点云数据进行粗配准。sac-ia算法因为是基于3dsc特征描述子来寻找目标和场景点云的唯一对应点，因此同样也具有点云旋转不变性的特点，同时对点云噪声和密度具有较强的鲁棒性，并且对于初始位姿相差较大的两片点云也能得到较好的初始配准效果。该算法的具体步骤如下：
[0112]
1)从模板点云中选取n个采样点，为了尽量保证所采样的点具有不同的3dsc特征，采样点两两之间的距离应满足大于预先给定最小距离阈值d。
[0113]
2)在目标点云中查找与模板点云中采样点具有相似3dsc特征的一个或多个点，从这些相似点中随机选取一个点作为模板点云在目标点云中的唯一对应点。
[0114]
3)根据对应点集采用奇异值分解(svd)计算目标点云和模板点云之间的刚体变换矩阵并以该矩阵进行点云粗配准，利用配准后的对应点之间的误差和对本次配准性能进行描述，一般情况下，误差和函数采用huber罚函数表示，如下式所示：
[0115][0116]
其中，le为一预先给定值，ei为第i组对应点变换之后的距离差。上述配准的最终目的是在所有变换中找到一组最优的变换，使得误差函数的值最小，此时的变换即为最终的配准变换矩阵，进一步可得到配准结果。
[0117]
进一步地，考虑到对点云数据进行精配准的精度，本实施例中在步骤s43包括：将所述目标点云和所述模板点云所对应的点云空间按ndt算法划分为点云网格，并获取所述点云网格中各点云的均值和协方差矩阵；根据所述均值和所述协方差矩阵确定各点云的概率密度函数；根据所述初始变换矩阵和所述概率密度函数对所述目标点云进行空间映射，获得所述目标点云对应的旋转平移矩阵。
[0118]
需要说明的是，点云空间三维点云数据映射的位置空间。在点云空间中，各个点云数据具有特定的位置。点云网格是将点云空间划分为相等距离的网格。
[0119]
为便于理解，以ndt算法基于初始变换矩阵来对所述目标点云进行精匹配的过程进行说明，但不对本方案进行限定。在粗配准完成并得到初始变换矩阵后，将该矩阵作为前提条件采用ndt算法对待配准工件的点云进行精配准，得到最终的精确的旋转平移矩阵，完成对待配准工件的位姿估计。基于概率模型的正态分布变换算法使用点云概率密度函数作为概率模型进行配准，在粗配准得到较好的初始位置后具有较好的速度和精度，具有更强的鲁棒性。ndt算法具体步骤如下：
[0120]
1)将点云空间划分为相等的网格，并计算每个网格内点xi的均值q和协方差矩阵c，其中点xi为分割后网格内所有点的位置数据；
[0121][0122][0123]
2)根据点xi的均值q和协方差矩阵c求得点xi的概率密度函数p(x)；
[0124][0125]
3)将源点云根据初始变换矩阵t对网格空间进行映射，确定每一个映射点的正态分布，求出映射点的概率分布之和的分数值s(p)作为评估标准。
[0126][0127]
其中，t(p,xi)为内点xi变换矩阵。
[0128]
4)使用hessian矩阵法对所有分数值s(p)进行优化，求得s(p)最小值，直到满足收敛要求。最终完成对目标点云的精匹配，获得目标点云对应的旋转平移矩阵。
[0129]
本实施例完成对目标点云和模板点云的关键点的3dsc特征描述后，可以基于一种一致性初始配准算法根据提取到的特征描述子对点云数据进行粗配准，获得初始变换矩阵，降低误配准概率。然后将该初始变换矩阵作为前提条件采用ndt算法对待配准工件的点云进行精配准，得到最终的精确的旋转平移矩阵，完成对待配准工件的位姿估计。最后根据旋转平移矩阵对待配准工件和模板工件进行点云配准。从而提高点云配准数据处理的鲁棒性，提高点云配准的精度。
[0130]
参考图5，图5为本发明工件形貌点云配准方法第三实施例的流程示意图。
[0131]
基于上述各实施例，在本实施例中，考虑到对原始三维点云进行点云预处理的精度，所述步骤s10包括：
[0132]
步骤s11：对所述原始三维点云进行体素栅格滤波，获得原始三维点云对应的下采样点云。
[0133]
需要说明的是，由于受到例如相机引入的噪声、载物台自身和表面粉尘、工件表面毛刺、光照等因素影响，在视觉系统获取到的原始三维点云数据会带有大量无规则噪声点和无用的载物台平面点云，且待配准工件的点云自身密度也较大，这些都会很大程度上影响到后续对工件位姿的估计，因此就需要对点云进行预处理，通过分割剔除载物台平面点云，滤波去除噪声点并降低点云密度，加快后续处理速度。
[0134]
在具体实现中，点云配准设备通过把原始三维点云分割成众多可设定大小的三维体素栅格，使用每个栅格的重心来表示该栅格内的所有点，在保存点云形状特征的基础上，有效减少点的数量，从而获得原始三维点云对应的下采样点云。
[0135]
步骤s12：对所述下采样点云中的离群点进行统计滤波，获得滤波后的下采样点云。
[0136]
在具体实现中，对于体素下采样后获得的下采样点云，因相机采集噪声引入的在空间中分布稀疏的明显离群点，可以采用统计滤波器进行去除，获得滤波后的下采样点云。
[0137]
步骤s13：根据随机采样一致性算法对所述滤波后的下采样点云进行点云分割，获得原始三维点云对应的目标三维点云。
[0138]
为了便于理解，以目标点云与载物台平面点云的分割进行说明，但并不对本方案进行限定。由于以面结构光采集得到的原始三维点云数据会将载物台平面信息也包含进去，产生大量的无用点云，并干扰后续配准。因此可以引入随机采样一致性(random sample consensus，ransac)算法拟合载物台平面，完成目标工件点云与载物台平面点云的分割。ransac算法则适当舍去局外点，再加以迭代拟合，大大降低了噪声点的影响，提高了拟合精度。ransac算法在滤波后的下采样点云中拟合平面的具体步骤如下：
[0139]
1)在滤波后的下采样点云中随机选择三个点，由这三点组成一个平面，计算其对应平面方程a
x
+y+z+＝0。
[0140]
2)计算所有点到该平面的距离di，设定阈值d
threshold
，若d《d
thresholdi
则认为该点为平面内点，即内样本点，反之为外样本点，记录当前内样本点个数。
[0141]
3)重复上述过程，直到同一平面内样本点ni》，保存该平面，并将该平面上内样本点标记。
[0142]
4)根据期望的误差率、最佳内点个数、总样本个数、当前迭代次数计算，迭代结束评判因子，并以此作为停止迭代的标准。选取内样本点最多的平面作为最佳拟合参数输出，从而完成目标点云与载物台平面点云的分割。参考图6，图6为本发明工件形貌点云配准方法第三实施例中点云预处理的场景示意图。如图6所示，左图为以面结构光采集得到的原始三维点云数据，其中不仅包含待检测工件的目标点云以及模板工件的模板点云，还包括载物台平面点云。在经过随机采样一致性算法拟合载物台平面完成目标点云与载物台平面点云的分割好后，获得如右图所示的目标三维点云。
[0143]
在具体实现中，原始三维点云数据中会将载物台平面信息也包含进去，产生大量的无用点云，并干扰后续配准。因此可以根据随机采样一致性算法对滤波后的下采样点云进行点云分割，获得原始三维点云对应的目标三维点云。
[0144]
进一步地，考虑到过高的点云分布密度对后续数据处理带来误判影响，本实施例中在步骤s11包括：获取所述原始三维点云的空间坐标集合，并确定所述空间坐标集合中的最大值和最小值；根据所述最大值和所述最小值确定所述原始三维点云对应的三维体素栅
格，并确定所述三维体素栅格的格栅重心；根据所述三维体素栅格和所述格栅重心确定所述原始三维点云对应的下采样点云。
[0145]
需要说明的是，空间坐标集合是基于原始三维点云中各点云获取的空间位置的坐标集合。
[0146]
在具体实现中，由视觉系统采集的原始三维点云数据信息量过大，点云分布较为密集，过高的点云分布密度不仅会对后续的分割任务带来误判影响，还会降低整个位姿估计的工作效率，因此需要对采集到的原始点云进行下采样，降低点云密度。对所述原始三维点云进行体素栅格滤波的原理是通过把输入点云分割成众多可设定大小的三维体素栅格，使用每个栅格的重心来表示该栅格内的所有点。该方法能够在保存点云形状特征的基础上，有效减少点的数量。具体步骤如下：
[0147]
(1)根据输入的原始三维点云的空间坐标集合，求得其分别在xyz坐标轴的最大值x
max
，y
max
，z
max
和最小值x
min
，y
min
，z
min
。
[0148]
(2)依据所求最大、最小值计算出点云最小外接矩形边长d
x
，dy，dz。
[0149]
(3)设定体素栅格边长r，计算栅格数量q
sum
。
[0150][0151]
(4)确定体素栅格(i,j,k)所属点索引。
[0152][0153]
(5)计算每个体素栅格重心o
ijk
，以栅格重心表示栅格内所有点。若重心不存在，则使用距离所求栅格重心最近的点作为重心。
[0154][0155]
其中，p为栅格内点数量，pi为栅格内某点i。从而完成对原始三维点云进行体素栅格滤波，获得原始三维点云对应的下采样点云。
[0156]
进一步地，考虑到下采样后因相机采集噪声引入的在空间中分布稀疏的明显离群点，为提高目标三维点云的精度，提高数据处理的效率。本实施例中在步骤s12包括：获取所述下采样点云中各个点与预设邻域内所有点的平均距离；根据所述平均距离获取所述下采样点云中各个点的阈值；根据所述平均距离和所述阈值对所述下采样点云中各个点进行遍历比较，在所述平均距离大于所述阈值时，将所述平均距离大于所述阈值的各个点进行滤波，获得滤波后的下采样点云。
[0157]
在具体实现中，对于体素下采样后因相机采集噪声引入的在空间中分布稀疏的明显离群点，可以采用统计滤波器进行去除，其具体步骤如下：
[0158]
(1)计算滤波后的下采样点云内每个点到邻域k内所有点的平均距离di。
[0159]
(2)计算所有平均距离的均值μ、标准差σ，得到阈值d
max
。
[0160]dmax
＝+std_mul*σ；
[0161]
其中，std_mul为自定义标准差倍数。
[0162]
(3)依次比较平均距离di和阈值d
max
，若平均距离di大于阈值d
max
，将该点作为离群点剔除，直到遍历所有点。将平均距离大于阈值的各个点进行滤波，获得滤波后的下采样点云。
[0163]
本实施点云配准设备通过把原始三维点云分割成众多可设定大小的三维体素栅格，使用每个栅格的重心来表示该栅格内的所有点，在保存点云形状特征的基础上，有效减少点的数量，从而获得原始三维点云对应的下采样点云。对于体素下采样后获得的下采样点云，因相机采集噪声引入的在空间中分布稀疏的明显离群点，还可以采用统计滤波器进行去除，获得滤波后的下采样点云。尤其由于原始三维点云数据中会将载物台平面信息也包含进去，产生大量的无用点云，并干扰后续配准。因此可以根据随机采样一致性算法对滤波后的下采样点云进行点云分割，获得原始三维点云对应的目标三维点云。相比原始三维点云，预处理后点云数据在保留了工件点云原有特征的基础上，有效的将无用载物台平面点云和离群噪声点剔除，并降低了工件点云密度，进而提高了点云配准的效率。
[0164]
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有工件形貌点云配准程序，所述工件形貌点云配准程序被处理器执行时实现如上文所述的工件形貌点云配准方法的步骤。
[0165]
参照图7，图7为本发明工件形貌点云配准装置第一实施例的结构框图。
[0166]
如图7所示，本发明实施例提出的工件形貌点云配准装置包括：
[0167]
点云获取模块701，用于获取待配准工件和模板工件的原始三维点云，并对所述原始三维点云进行点云预处理，获得目标三维点云；
[0168]
关键点提取模块702，用于通过iss关键点提取算法对所述目标三维点云进行关键点提取，获得所述原始三维点云对应的关键三维点云；
[0169]
特征描述模块703，用于通过3dsc特征描述算法对所述关键三维点云进行特征描述，获得所述关键三维点云对应的特征描述子对点云；
[0170]
矩阵获取模块704，用于提取所述关键三维点云中所述待配准工件对应的目标点云，并根据所述特征描述子对点云获取所述目标点云的变换矩阵；
[0171]
点云配准模块705，用于根据所述变换矩阵对所述待配准工件和所述模板工件进行点云配准。
[0172]
本实施例获取待配准工件和模板工件的原始三维点云，由于原始三维点云中不仅包括待配准工件和模板工件的三维点云，还包括其他多余的带有大量无规则噪声点云(例如工作台或其他工件的点云数据)，因此还需要对原始三维点云进行与处理，获得待配准工件和模板工件的目标三维点云。例如，可以对原始三维点云进行滤波、分割、降采样等操作，完成点云的预处理，获得待配准工件和模板工件的目标三维点云，从而降低后续点云的计算时间。然后通过对目标三维点云进行关键点提取，获得原始三维点云对应的关键三维点云，有效解决传统点云配准算法在处理海量点云时效率过低的问题。接着通过统计点云数据中上下文信息相似点完成关键点特征描述，使整个配准算法能够得到更高的精度，可以获得关键三维点云对应的特征描述子对点云。再根据特征描述子对点云进行配准(例如粗匹配或精匹配)，降低误配准概率，确定目标点云进行点云匹配准的变换矩阵，最后根据变
换矩阵完成待配准工件和模板工件的点云配准。本实施例通过对目标三维点云进行关键点提取并进行特征描述，避免了对海量点云进行处理，有效解决了传统点云配准算法效率过低的问题，从而提高了待配准工件和所述模板工件进行点云配准的效率。
[0173]
基于本发明上述工件形貌点云配准装置第一实施例，提出本发明工件形貌点云配准装置的第二实施例。
[0174]
在本实施例中，所述矩阵获取模块704，还用于提取所述关键三维点云中所述待配准工件对应的目标点云和所述模板工件的模板点云；根据所述特征描述子对点云按一致性初始配准算法对所述目标点云进行粗匹配，获取初始变换矩阵；根据所述初始变换矩阵按ndt算法对所述目标点云进行精匹配，获得所述目标点云对应的旋转平移矩阵；所述点云配准模块705，还用于根据所述旋转平移矩阵对所述待配准工件和所述模板工件进行点云配准。
[0175]
进一步地，所述矩阵获取模块704，还用于从所述模板点云中采集预设数量的采样点；根据所述特征描述子对点云和所述采样点对所述目标点云进行遍历，获取所述目标点云中与所述采样点相似的相似点；从所述相似点中随机获取作为所述目标点云的唯一对应点；根据所述唯一对应点按一致性初始配准算法对所述目标点云进行粗匹配，获取初始变换矩阵。
[0176]
进一步地，所述矩阵获取模块704，还用于将所述目标点云和所述模板点云所对应的点云空间按ndt算法划分为点云网格，并获取所述点云网格中各点云的均值和协方差矩阵；根据所述均值和所述协方差矩阵确定各点云的概率密度函数；根据所述初始变换矩阵和所述概率密度函数对所述目标点云进行空间映射，获得所述目标点云对应的旋转平移矩阵。
[0177]
进一步地，所述点云获取模块701，还用于对所述原始三维点云进行体素栅格滤波，获得原始三维点云对应的下采样点云；对所述下采样点云中的离群点进行统计滤波，获得滤波后的下采样点云；根据随机采样一致性算法对所述滤波后的下采样点云进行点云分割，获得原始三维点云对应的目标三维点云。
[0178]
进一步地，所述点云获取模块701，还用于获取所述原始三维点云的空间坐标集合，并确定所述空间坐标集合中的最大值和最小值；根据所述最大值和所述最小值确定所述原始三维点云对应的三维体素栅格，并确定所述三维体素栅格的格栅重心；根据所述三维体素栅格和所述格栅重心确定所述原始三维点云对应的下采样点云。
[0179]
进一步地，所述点云获取模块701，还用于获取所述下采样点云中各个点与预设邻域内所有点的平均距离；根据所述平均距离获取所述下采样点云中各个点的阈值；根据所述平均距离和所述阈值对所述下采样点云中各个点进行遍历比较，在所述平均距离大于所述阈值时，将所述平均距离大于所述阈值的各个点进行滤波，获得滤波后的下采样点云。
[0180]
本发明工件形貌点云配准装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
[0181]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该
要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0182]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0183]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0184]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种工件形貌点云配准方法，其特征在于，所述工件形貌点云配准方法包括：获取待配准工件和模板工件的原始三维点云，并对所述原始三维点云进行点云预处理，获得目标三维点云；通过iss关键点提取算法对所述目标三维点云进行关键点提取，获得所述原始三维点云对应的关键三维点云；通过3dsc特征描述算法对所述关键三维点云进行特征描述，获得所述关键三维点云对应的特征描述子对点云；提取所述关键三维点云中所述待配准工件对应的目标点云，并根据所述特征描述子对点云获取所述目标点云的变换矩阵；根据所述变换矩阵对所述待配准工件和所述模板工件进行点云配准。2.如权利要求1所述的工件形貌点云配准方法，其特征在于，所述提取所述关键三维点云中所述待配准工件对应的目标点云，并根据所述特征描述子对点云获取所述目标点云的变换矩阵，包括：提取所述关键三维点云中所述待配准工件对应的目标点云和所述模板工件的模板点云；根据所述特征描述子对点云按一致性初始配准算法对所述目标点云进行粗匹配，获取初始变换矩阵；根据所述初始变换矩阵按ndt算法对所述目标点云进行精匹配，获得所述目标点云对应的旋转平移矩阵；所述根据所述变换矩阵对所述待配准工件和所述模板工件进行点云配准，包括：根据所述旋转平移矩阵对所述待配准工件和所述模板工件进行点云配准。3.如权利要求2所述的工件形貌点云配准方法，其特征在于，所述根据所述特征描述子对点云按一致性初始配准算法对所述目标点云进行粗匹配，获取初始变换矩阵，包括：从所述模板点云中采集预设数量的采样点；根据所述特征描述子对点云和所述采样点对所述目标点云进行遍历，获取所述目标点云中与所述采样点相似的相似点；从所述相似点中随机获取作为所述目标点云的唯一对应点；根据所述唯一对应点按一致性初始配准算法对所述目标点云进行粗匹配，获取初始变换矩阵。4.如权利要求3所述的工件形貌点云配准方法，其特征在于，所述根据所述初始变换矩阵按ndt算法对所述目标点云进行精匹配，获得所述目标点云对应的旋转平移矩阵，包括：将所述目标点云和所述模板点云所对应的点云空间按ndt算法划分为点云网格，并获取所述点云网格中各点云的均值和协方差矩阵；根据所述均值和所述协方差矩阵确定各点云的概率密度函数；根据所述初始变换矩阵和所述概率密度函数对所述目标点云进行空间映射，获得所述目标点云对应的旋转平移矩阵。5.如权利要求1所述的工件形貌点云配准方法，其特征在于，所述对所述原始三维点云进行点云预处理，获得目标三维点云，包括：对所述原始三维点云进行体素栅格滤波，获得原始三维点云对应的下采样点云；
对所述下采样点云中的离群点进行统计滤波，获得滤波后的下采样点云；根据随机采样一致性算法对所述滤波后的下采样点云进行点云分割，获得原始三维点云对应的目标三维点云。6.如权利要求5所述的工件形貌点云配准方法，其特征在于，所述对所述原始三维点云进行体素栅格滤波，获得原始三维点云对应的下采样点云，包括：获取所述原始三维点云的空间坐标集合，并确定所述空间坐标集合中的最大值和最小值；根据所述最大值和所述最小值确定所述原始三维点云对应的三维体素栅格，并确定所述三维体素栅格的格栅重心；根据所述三维体素栅格和所述格栅重心确定所述原始三维点云对应的下采样点云。7.如权利要求6所述的工件形貌点云配准方法，其特征在于，所述对所述下采样点云中的离群点进行统计滤波，获得滤波后的下采样点云，包括：获取所述下采样点云中各个点与预设邻域内所有点的平均距离；根据所述平均距离获取所述下采样点云中各个点的阈值；根据所述平均距离和所述阈值对所述下采样点云中各个点进行遍历比较，在所述平均距离大于所述阈值时，将所述平均距离大于所述阈值的各个点进行滤波，获得滤波后的下采样点云。8.一种工件形貌点云配准装置，其特征在于，所述装置包括：点云获取模块，用于获取待配准工件和模板工件的原始三维点云，并对所述原始三维点云进行点云预处理，获得目标三维点云；关键点提取模块，用于通过iss关键点提取算法对所述目标三维点云进行关键点提取，获得所述原始三维点云对应的关键三维点云；特征描述模块，用于通过3dsc特征描述算法对所述关键三维点云进行特征描述，获得所述关键三维点云对应的特征描述子对点云；矩阵获取模块，用于提取所述关键三维点云中所述待配准工件对应的目标点云，并根据所述特征描述子对点云获取所述目标点云的变换矩阵；点云配准模块，用于根据所述变换矩阵对所述待配准工件和所述模板工件进行点云配准。9.一种工件形貌点云配准设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的工件形貌点云配准程序，所述工件形貌点云配准程序配置为实现如权利要求1至7中任一项所述的工件形貌点云配准方法的步骤。10.一种存储介质，其特征在于，所述存储介质上存储有工件形貌点云配准程序，所述工件形貌点云配准程序被处理器执行时实现如权利要求1至7任一项所述的工件形貌点云配准方法的步骤。

技术总结
本发明涉及点云配准技术领域，公开了一种工件形貌点云配准方法、装置、设备及存储介质。本发明通过获取待配准工件和模板工件的原始三维点云并进行点云预处理，获得目标三维点云；然后通过ISS关键点提取算法对目标三维点云进行关键点提取获得关键三维点云，减少了点云数量；再通过3DSC特征描述算法对关键三维点云进行特征描述获得特征描述子对点云；最后提取关键三维点云中待配准工件的目标点云，并根据特征描述子对点云获取目标点云的变换矩阵；最后根据变换矩阵对待配准工件和模板工件进行点云配准。从而避免了对海量点云进行处理的过程，有效解决了传统点云配准算法效率过低的问题，提高了待配准工件和模板工件进行点云配准的效率。准的效率。准的效率。


技术研发人员：刘畅文 李波 付丹丹 柳光金
受保护的技术使用者：襄阳华中科技大学先进制造工程研究院 襄阳美利信科技有限责任公司
技术研发日：2023.06.12
技术公布日：2023/10/11