一种新能源电芯焊缝反光点去噪和点云补全方法及系统与流程

1.本发明涉及工业品缺陷检测中三维重建技术领域，尤其涉及一种新能源电芯焊缝反光点去噪和点云补全方法。


背景技术：

2.激光线扫描相机是以激光器为辐射源，可以精准探测目标距离、位置、运动轨迹，测量目标的散射截面和形状等激光线扫描法目前已经发展成为一种对测量环境要求较低、灵敏度较高、数据处理自动化、适用范围广的非接触性的有效测量方法，成为现代光测中的一个重要组成部分。采用激光线扫描相机对连续运行在被检测物品的画面进行实时采集，通过图像采集卡将采集图像传送到计算机进行图像处理，自动化流水线运动，连续运动产品画面的缺陷检测在运动的情况下进行运动图像的定位、检测和产品的ng判定。适用于连续运动印刷、钢带加工、织布生产、电芯等工业产品的连续图像采集、图像处理、模式识别、缺陷检测等教学研究实验。在实际应用中，测量系统对被测物体表面的光学特性一定的要求，由于强烈的镜面反射容易引起相机捕获的像素饱和和数据异常，故要求被测物体表面具有足够的漫反射且不能存在大面积的镜面反射。然而，在实际的检测过程中，由于被测物体的材质不同，其表面存在着不同的反射特性，其中，由于物体表面的高反射率会导致物体三维重建点云的丢失，例如对新能源电芯进行扫描测量时，电芯顶盖焊道金属表面存在反光区域会出现引起数据丢失等问题，导致对新能源电芯的缺陷检测时无法获得准确的点云数据，测量精度下降，无法取得理想的检测效果。


技术实现要素：

3.针对上述提到的存在电芯顶盖焊道表面反光引起数据丢失等问题，本发明的目的在于提出了一种新能源电芯焊缝反光点去噪和点云补全方法，来解决以上背景技术部分提到的技术问题。
4.为达到上述技术目的，本发明采用以下技术方案：第一方面，本发明提供了一种新能源电芯焊缝反光点去噪和点云补全方法，具体包括以下步骤：步骤一：利用标定好的线激光扫描系统扫描电芯焊道，得到同一电芯焊道的灰度图像和深度图像，将所述深度图像转化为原始点云；步骤二：对所述原始点云进行预处理以去除离群点噪声，得到预处理后点云；步骤三：基于预处理后点云训练得到标准的点云定位模型；步骤四：将点云定位模型与所述深度图像转化的原始点云进行匹配，通过欧式距离计算定位得到反光区域点云；步骤五：对所述灰度图像进行边缘提取处理，得到灰度图像的边缘图像以及得到可能的反光区域缺失的边缘图像；步骤六：对反光区域点云采用移动最小二乘法去除反光区域点云中的噪点以及补
全部分丢点区域；步骤七：基于所述边缘图像采用灰度图像所在二维坐标投射到点云所在三维坐标的方式，插值补全反光区域缺失的点云，输出最终补全点云。
5.进一步的，所述步骤二中，对所述原始点云进行预处理以去除离群点噪声，具体包括：对转换的原始点云中每一个点利用kd-tree进行统计分析，计算点云中每个点到所有临近点的平均距离，临近点有k个，去除平均距离在全局标准方差之外的点。
6.进一步的，所述步骤三中，基于预处理后点云训练得到标准的点云定位模型，具体包括：通过icp算法匹配不同电芯焊道的点云，采用欧式距离计算点与点的差值，将每次匹配时计算得到的差值大于均值范围的点去除，输出最终标准的点云定位模型。
7.更进一步的，取多组电芯焊道的点云进行基于icp算法的两两匹配，当两组点云匹配完成后，根据欧式距离计算方法计算该两组点云中对应点的距离，当两点距离大于设定的阈值时则去除当前点云模型中对应的点云，重复多组电芯焊道点云匹配后，最终得到标准的点云定位模型。
8.进一步的，所述步骤四中，将点云定位模型与所述深度图像转化的原始点云进行匹配，通过欧式距离计算定位得到反光区域点云，具体包括：将当前带有反光丢点噪点区域的原始点云与标准的点云定位模型进行配准，采用欧式距离计算方法计算点与点的距离，将原始点云中距离大于阈值的点标记为反光区域点云。
9.进一步的，所述步骤五中，对所述灰度图像进行边缘提取处理，得到灰度图像的边缘图像以及得到可能的反光区域缺失的边缘图像，具体包括：使用canny算子提取灰度图像的边缘点集（边缘信息），将所得的边缘点集与灰度图像相同尺寸的图像上进行二值化，边缘点集的点取值为255，其余点取值为0，得到该灰度图像的边缘图像。
10.进一步的，所述步骤六中，对反光区域点云采用移动最小二乘法去除反光区域点云中的噪点以及补全部分丢点区域，具体包括：首先在离散点云中确定拟合不同位置的节点，即建立拟合曲线，用系数定义该位置附近的拟合的形态，各个节点附近的拟合函数可表示为，其公式为：其中，为节点的空间坐标，为节点附近点位置坐标，为系数函数，为基函数，其表示为，；建立最优化模型使得节点附近采样点取值与拟合函数在采样点取值之间差的加权平方和最小：其中，为节点的空间位置，为采样点，为采样点的空间位置，是采样点的取值，，为权函数，其形式为三次样条曲线：
其中为矢量的模，对模型求导可得到：其中、均为基函数，且i、j分别代表的是图像的行和列；引入下述记号可简化表达：可得到最终法方程：可得到最终法方程：得到任意点计算出拟合函数及其取值，根据拟合函数与各点云距离阈值，去除反光区域中噪点以及补全部分丢点区域。
11.进一步的，步骤七中，所述插值补全反光区域缺失的点云具体包括：对于边缘图像在灰度图像投影中的第个像素点，若其值为非0，则在灰度图像中找到距离第个像素点最近的三个非零值点，则第个像素点的补全值为：根据已标定的参数将补全后的灰度像素转为三维坐标点云。
12.第二方面，本发明提供了一种新能源电芯顶盖焊缝反光点去噪和点云补全系统，包括数据采集模块，点云预处理模块，点云模型训练模块，反光区域定位模块，图像边缘提取模块，反光数据去噪补全模块；所述数据采集模块用于利用标定好的线激光扫描系统扫描电芯焊道，得到同一电芯焊道的灰度图像和深度图像；将所述深度图像转化为原始点云；所述点云预处理模块用于对所述原始点云进行预处理以去除离群点噪声，得到预处理后点云；
所述点云模型训练模块用于基于预处理后点云训练得到标准的点云定位模型；所述反光区域定位模块用于将点云定位模型与所述深度图像转化的原始点云进行匹配，通过欧式距离计算定位得到反光区域点云；所述图像边缘提取模块用于对所述灰度图像进行边缘提取处理，得到灰度图像的边缘图像以及得到可能的反光区域缺失的边缘图像；所述反光数据去噪补全模块用于对反光区域点云采用移动最小二乘法去除反光区域点云中的噪点以及补全部分丢点区域；以及用于基于所述边缘图像采用灰度图像所在二维坐标投射到点云所在三维坐标的方式，插值补全反光区域缺失的点云，输出最终补全点云。
13.采用上述方案后，本发明具有以下有益效果：本发明的方法首先对点云预处理后进行配准训练，得到标准点云定位模型并得到准确的反光区域点云，利用灰度图像和点云两种数据信息，准确有效的对电芯焊道点云的反光区域数据进行去噪和补全，增强了点云还原效果，利于后续测量工作。
14.通过本发明的方法可实现抵消待测金属表面的高光闪亮点，以及实现三维重建并进行精准的缺陷检测。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的变形形式。
16.图1是本发明实施例提供的新能源电芯顶盖焊缝反光点去噪和点云补全方法的流程图；图2为本发明实施例提供的点云模型训练流程图；图3为本发明实施例提供的反光区域定位流程图；图4为本发明实施例提供的电芯焊道反光去噪丢点补全的系统的示意图。
具体实施方式
17.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.如图1-4所示，本实施例揭示的一种新能源电芯焊缝反光点去噪和点云补全方法，具体包括以下步骤：s1：利用标定好的线激光扫描系统扫描电芯焊道，得到同一电芯焊道的灰度图像和深度图像，线激光扫描系统包括线激光扫描相机、灰度相机，线激光扫描相机用于扫描电芯焊道得到深度图像，灰度相机用于扫描电芯焊道得到灰度图像。基于三角原理将所述深度图像转化为原始点云，构建被测物的空间三维形态；原始点云转化方法是基于激光三角测距原理，通过预先标定好的扫描系统参数及相机分辨率，对深度图像进行空间三维坐标
的转换，得到原始点云数据。
19.s2：对所述原始点云进行预处理以去除离群点噪声，得到预处理后点云；预处理具体包括：对转换的原始点云中每一个点利用kd-tree（k-dimensional树的简称，是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结构）进行统计分析，计算点云中每个点到所有临近点的平均距离，临近点有k个，去除平均距离在全局标准方差之外的点。
20.s3：基于预处理后点云训练得到标准的点云定位模型；模型训练过程具体包括：通过icp算法（icp算法是基于数据配准法，利用最近点搜索法，从而解决基于自由形态曲面的一种算法，icp 配准原理是指采用 icp 算法对两个或多个点云进行匹配的原理。其基本思路是将一个点云作为参考点云，将另一个点云沿着某个方向旋转和平移，使其与参考点云最为吻合。在这个过程中，icp算法会根据两个点云之间的距离，不断调整旋转和平移的参数，直到两个点云之间的距离最小化），匹配不同电芯焊道的点云，采用欧式距离计算点与点的差值，将每次匹配时计算得到的差值大于均值范围的点去除，输出最终标准的点云定位模型。
21.更进一步的，训练模型可采用下述方式：取多组电芯焊道的点云进行基于icp算法的两两匹配，当两组点云匹配完成后，根据欧式距离计算方法计算该两组点云中对应点的距离，当两点距离大于设定的阈值时则去除当前点云模型中对应的点云，重复多组电芯焊道点云匹配后，最终得到标准的点云定位模型。
22.s4：将点云定位模型与所述深度图像转化的原始点云进行匹配，通过欧式距离计算定位得到反光区域点云；本步骤具体为：将当前带有反光丢点噪点区域的原始点云与标准的点云定位模型进行配准，采用欧式距离计算方法计算点与点的距离，将原始点云中距离大于阈值的点标记为反光区域点云。
23.以下对原始点云与标准的点云定位模型进行配准过程进行介绍，采用icp配准方法，具体包括：在目标点云和源点云，找到最临近点，计算出最优匹配参数旋转矩阵和平移矩阵；假设点集中有个数据点，记为，点集中有个数据点，记为，且这两个数据集满足：中数据点的个数和的数据点个数相等，即=；对于中的每一个点都对应中具有相同的索引下标，即=。
24.设为数据点和点集的几何距离为具体计算步骤为：
①
计算数据点集的重心和数据点集的重心：，
②
计算点集和点集的协方差矩阵：
③
构造对称矩阵：其中为单位矩阵，是矩阵的迹，，而。
25.④
计算最佳旋转向量：其中：应用变换矩阵：对进行旋转变换和平移变换，得到新的对应点集目标函数计算与阈值判断：计算与对应点集的平均距离，如果小于设定的阈值或者大于最大迭代次数时，则停止迭代计算，否则返回步骤2）继续计算，知道满足条件。
26.其中平均距离可表示为：最终为所有最近点的欧式距离平方和目标函数，表示为：其中阈值设定为，当时停止迭代计算，否则返回步骤1）继续计算。
27.上述的欧式距离计算方式为：其中代表点和的距离。
28.s5：对所述灰度图像进行边缘提取处理，得到灰度图像的边缘图像以及得到可能的反光区域缺失的边缘图像；灰度图像边缘提取过程具体包括：使用canny算子（canny边缘检测算子，是john f. canny于1986年开发出来的一个多级边缘检测算法）提取灰度图像的边缘点集（边缘信息），将所得的边缘点集与灰度图像相同尺寸的图像上进行二值化，边缘
点集的点取值为255，其余点取值为0，得到该灰度图像的边缘图像。
29.s6：对反光区域点云采用移动最小二乘法去除反光区域点云中的噪点以及补全部分丢点区域；以下对本步骤进行具体流程介绍：s61：首先在离散点云中确定拟合不同位置的节点，即建立拟合曲线，用系数定义该位置附近的拟合的形态，各个节点附近的拟合函数可表示为，其公式为：其中，为节点的空间坐标，为节点附近点位置坐标，为基函数，其表示为，；s62：建立最优化模型使得节点附近采样点取值与拟合函数在采样点取值之间差的加权平方和最小：其中，为节点的空间位置，为采样点，为采样点的空间位置，是采样点的取值，，为权函数，其形式为三次样条曲线：其中为矢量的模，对模型求导可得到：其中、均为基函数，且i、j分别代表的是图像的行和列；引入下述记号可简化表达：可得到最终法方程：可得到最终法方程：
s63：得到任意点计算出拟合函数及其取值，根据拟合函数与各点云距离阈值，去除反光区域中噪点以及补全部分丢点区域。
30.s7：基于所述边缘图像采用灰度图像所在二维坐标投射到点云所在三维坐标的方式，插值补全反光区域缺失的点云（即基于所述边缘图像计算得到灰度插值补全图像），输出最终补全点云。
31.以下对所述采用灰度图像所在二维坐标投射到点云所在三维坐标的方式原理进行介绍：根据相机标定参数获取三维坐标系和世界三维坐标系的转换矩阵，世界三维坐标系和相机二维成像坐标系的转换矩阵：对于世界坐标系下的点，在世界坐标系下对应的三维坐标为，在点云所在的坐标系中对应的三维坐标为，在相机成像坐标系下的二维坐标为,则,,因此，通过该方式可将灰度图像所在二维坐标投射到点云所在三维坐标。
32.以下对所述插值补全反光区域缺失的点云具体介绍：对于边缘图像在灰度图像投影中的第个像素点，若其值为非0，则在灰度图像中找到距离第个像素点最近的三个非零值点，则第个像素点的补全值为：根据已标定的参数将补全后的灰度像素转为三维坐标点云。
33.如图4所示，本发明实施例还提供了一种新能源电芯顶盖焊缝反光点去噪和点云补全系统，包括数据采集模块，点云预处理模块，点云模型训练模块，反光区域定位模块，图像边缘提取模块，反光数据去噪补全模块；所述数据采集模块用于利用标定好的线激光扫描系统扫描电芯焊道，得到同一电芯焊道的灰度图像和深度图像；基于三角原理将所述深度图像转化为原始点云，构建被测物的空间三维形态；所述点云预处理模块用于对所述原始点云进行预处理以去除离群点噪声，得到预处理后点云；所述点云模型训练模块用于基于预处理后点云训练得到标准的点云定位模型；所述反光区域定位模块用于将点云定位模型与所述深度图像转化的原始点云进行匹配，通过欧式距离计算定位得到反光区域点云；所述图像边缘提取模块用于对所述灰度图像进行边缘提取处理，得到灰度图像的边缘图像以及得到可能的反光区域缺失的边缘图像；所述反光数据去噪补全模块用于对反光区域点云采用移动最小二乘法去除反光区域点云中的噪点以及补全部分丢点区域；以及用于基于所述边缘图像采用灰度图像所在二维坐标投射到点云所在三维坐标的方式，插值补全反光区域缺失的点云（即基于所述边缘图像计算得到灰度插值补全图像），输出最终补全点云。
34.如上所述的新能源电芯顶盖焊缝反光点去噪和点云补全方法可以应用于新能源
电芯生产线中缺陷的异常检测，以下提供一个该方法的应用实例：在电芯圆弧角焊道处极易出现高亮反光区域引起噪点产生和数据点丢失，在检测过程中算法误把此类数据归为缺陷项造成过检。在项目上运用本实施例的反光点去噪和点云补全方法后，检测良率显著下降，点云的配准精度明显提高，点云的噪点和丢点比例下降。对同一批含有真实缺陷次品的产品（数量为1562个）进行对比检测，分别对采用本实施例所述方法补全反光区域的点云和不采用本实施例所述方法处理的点云进行对照检测，得出以下结果：此批产品采用补全方法前后的良率和过检率对比：其中三个算法过检产品采用补全方法前后的配准精度、噪点比例、丢点比例对比：其中：良率为总检测产品数量-算法检出的缺陷数量/总检测产品数量；过检率为算法误检出的缺陷数量（实际为合格品）/总检测产品数量；点云配准的精度采用rms（均方根误差）进行评估：目标点云与模型点云的各点距离平方和的平均值的平方根；点云的噪点比例为：噪点数量/总点云数量；点云的丢点比例为：丢点数量/总点云数量。
35.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一可选实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
36.以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。

技术特征：
1.一种新能源电芯焊缝反光点去噪和点云补全方法，其特征在于包括以下步骤：步骤一：利用标定好的线激光扫描系统扫描电芯焊道，得到同一电芯焊道的灰度图像和深度图像，将所述深度图像转化为原始点云；步骤二：对所述原始点云进行预处理以去除离群点噪声，得到预处理后点云；步骤三：基于预处理后点云训练得到标准的点云定位模型；步骤四：将点云定位模型与所述深度图像转化的原始点云进行匹配，通过欧式距离计算定位得到反光区域点云；步骤五：对所述灰度图像进行边缘提取处理，得到灰度图像的边缘图像以及得到可能的反光区域缺失的边缘图像；步骤六：对反光区域点云采用移动最小二乘法去除反光区域点云中的噪点以及补全部分丢点区域；步骤七：基于所述边缘图像采用灰度图像所在二维坐标投射到点云所在三维坐标的方式，插值补全反光区域缺失的点云，输出最终补全点云。2.如权利要求1所述的一种新能源电芯焊缝反光点去噪和点云补全方法，其特征在于步骤二中，对所述原始点云进行预处理以去除离群点噪声具体包括：对转换的原始点云中每一个点利用kd-tree进行统计分析，计算点云中每个点到所有临近点的平均距离，临近点有k个，去除平均距离在全局标准方差之外的点。3.如权利要求1所述的一种新能源电芯焊缝反光点去噪和点云补全方法，其特征在于所述步骤三中，所述基于预处理后点云训练得到标准的点云定位模型具体包括：通过icp算法匹配不同电芯焊道的点云，采用欧式距离计算点与点的差值，将每次匹配时计算得到的差值大于均值范围的点去除，输出最终标准的点云定位模型。4.如权利要求3所述的一种新能源电芯焊缝反光点去噪和点云补全方法，其特征在于所述步骤三中，所述基于预处理后点云训练得到标准的点云定位模型具体包括：取多组电芯焊道的点云进行基于icp算法的两两匹配，当两组点云匹配完成后，根据欧式距离计算方法计算该两组点云中对应点的距离，当两点距离大于设定的阈值时则去除当前点云模型中对应的点云，重复多组电芯焊道点云匹配后，最终得到标准的点云定位模型。5.如权利要求1所述的一种新能源电芯焊缝反光点去噪和点云补全方法，其特征在于所述步骤四中，所述将点云定位模型与所述深度图像转化的原始点云进行匹配，通过欧式距离计算定位得到反光区域点云，具体包括：将原始点云与标准的点云定位模型进行配准，采用欧式距离计算方法计算点与点的距离，将原始点云中距离大于阈值的点标记为反光区域点云。6.如权利要求1所述的一种新能源电芯焊缝反光点去噪和点云补全方法，其特征在于步骤五中，对所述灰度图像进行边缘提取处理，得到灰度图像的边缘图像以及得到可能的反光区域缺失的边缘图像，具体包括：使用canny算子提取灰度图像的边缘点集，将所得的边缘点集与灰度图像相同尺寸的图像上进行二值化，边缘点集的点取值为255，其余点取值为0，得到该灰度图像的边缘图像。7.如权利要求1所述的一种新能源电芯焊缝反光点去噪和点云补全方法，其特征在于所述步骤六中，所述对反光区域点云采用移动最小二乘法去除反光区域点云中的噪点以及补全部分丢点区域，具体包括：
首先在离散点云中确定拟合不同位置的节点，即建立拟合曲线，用系数定义该位置附近的拟合的形态，各个节点附近的拟合函数可表示为，其公式为：其中，为节点的空间坐标，为节点附近点位置坐标，为系数函数，为基函数，其表示为，；建立最优化模型使得节点附近采样点取值与拟合函数在采样点取值之间差的加权平方和最小：其中，为节点的空间位置，为采样点，为采样点的空间位置，是采样点的取值，，为权函数，其形式为三次样条曲线：其中为矢量的模，对模型求导可得到：其中、均为基函数，且i、j分别代表的是图像的行和列；引入下述记号可简化表达：可得到最终法方程：可得到最终法方程：得到任意点计算出拟合函数及其取值，根据拟合函数与各点云距离阈值，去除反光区域中噪点以及补全部分丢点区域。
8.如权利要求1所述的一种新能源电芯焊缝反光点去噪和点云补全方法，其特征在于步骤七中，所述插值补全反光区域缺失的点云具体包括：对于边缘图像在灰度图像投影中的第个像素点，若其值为非0，则在灰度图像中找到距离第个像素点最近的三个非零值点，则第个像素点的补全值为：根据已标定的参数将补全后的灰度像素转为三维坐标点云。9.一种新能源电芯顶盖焊缝反光点去噪和点云补全系统，其特征在于：包括数据采集模块，点云预处理模块，点云模型训练模块，反光区域定位模块，图像边缘提取模块，反光数据去噪补全模块；所述数据采集模块用于利用标定好的线激光扫描系统扫描电芯焊道，得到同一电芯焊道的灰度图像和深度图像；将所述深度图像转化为原始点云；所述点云预处理模块用于对所述原始点云进行预处理以去除离群点噪声，得到预处理后点云；所述点云模型训练模块用于基于预处理后点云训练得到标准的点云定位模型；所述反光区域定位模块用于将点云定位模型与所述深度图像转化的原始点云进行匹配，通过欧式距离计算定位得到反光区域点云；所述图像边缘提取模块用于对所述灰度图像进行边缘提取处理，得到灰度图像的边缘图像以及得到可能的反光区域缺失的边缘图像；所述反光数据去噪补全模块用于对反光区域点云采用移动最小二乘法去除反光区域点云中的噪点以及补全部分丢点区域；以及用于基于所述边缘图像采用灰度图像所在二维坐标投射到点云所在三维坐标的方式，插值补全反光区域缺失的点云，输出最终补全点云。

技术总结
本发明公开了一种新能源电芯焊缝反光点去噪和点云补全方法及系统，该方法包括：线激光扫描系统扫描电芯焊道，得到同一电芯焊道的灰度图像和深度图像，转化为原始点云；原始点云预处理以去除离群点噪声；预处理后点云训练得到标准的点云定位模型；点云定位模型与深度图像转化的原始点云匹配，计算定位得到反光区域点云；对灰度图像进行边缘提取处理，得到灰度图像边缘图像；去除反光区域点云中的噪点以及补全部分丢点区域；基于所述边缘图像插值补全反光区域缺失的点云，输出最终补全点云。本发明准确有效的对电芯焊道点云的反光区域数据进行去噪和补全，增强了点云还原效果，利于后续测量工作。后续测量工作。后续测量工作。


技术研发人员：杨进一 陈宇 林少宁
受保护的技术使用者：厦门微图软件科技有限公司
技术研发日：2023.07.13
技术公布日：2023/8/14