一种基于视觉的激光熔覆过程中金属粒子流三维重建方法

1.本发明属于同轴送粉激光熔覆技术领域，具体涉及一种基于视觉的激光熔覆过程中金属粒子流三维重建方法。


背景技术：

2.随着航空航天技术的不断发展，材料和涂层的性能要求越来越高。激光熔覆技术作为一种高效、精密、低热影响的表面改性技术，已经在航空航天领域中得到了广泛的应用，并且在未来仍有巨大的应用前景。目前，在航空航天领域中激光熔覆技术主要应用于制备高温合金涂层、制备防腐蚀涂层、制备防磨涂层等方面，并且可通过制备具有不同性能的涂层，可以提高航空航天器的性能和使用寿命，加速研发和生产周期、降低燃料消耗和碳排放，实现可持续发展。激光熔覆技术是通过不同的送粉方式在基材表面添加熔覆材料，利用高能量密度的激光束使之与基材表面薄层一起熔凝，在基材表面形成冶金结合的添加熔覆层，激光熔覆过程中金属粉末流场的空间分布特征对熔覆层的质量有很大的影响，激光束和金属粉末流场的参数必须相互匹配，以实现稳定的焊接工艺和均匀的质量。
3.在申请号为201610707481.9中发明了一种激光熔覆粉末流聚集性测量方法，此方法应用激光熔覆喷嘴、测量装置、对准校正仪器和高度测量仪器，所述测量装置包括底座、升降支架、升降台、升降调节机构、夹持器和粉末分层收集器；所述方法依次进行测量前对准校正、选定测量截面、收集粉末、测量粉末四个步骤。此方法应用的结构较复杂，不能实时获取金属粒子流场整体形貌并进行直观显示，对于存在倾斜的喷流或错误的粉末分布等情况，不能及时、准确的进行判断。


技术实现要素：

4.本发明的目的在于提供一种基于视觉的激光熔覆过程中金属粒子流三维重建方法，可以实现非接触、实时获取粉末流场的三维信息、粉末流的汇聚情况，为后续分析喷嘴的缺陷和损坏情况以及粉末流和激光束的对准等情况提供基础，并对于解决零件制造的精度问题及材料的高效使用问题具有重要意义。
5.为实现上述目的，本发明的技术方案是：
6.一种基于视觉的激光熔覆过程中金属粒子流三维重建方法，首先，编写一组图像处理以及三维重建程序，后续将利用此程序进行关于粉末流场的三维重建工作。通过综合考虑金属颗粒直径大小、金属粒子的光谱反射特性、以及金属粒子流场的速度等对于成像质量有影响的因素，进而搭建一套由工业相机和线激光器组成的图像获取装置，并通过机床输出的ttl电平信号让工业相机的拍照行为和机床的激光熔覆喷嘴运动进行同步，从而实现金属粒子流场序列图像的实时精确采集；利用编写完成的图像处理程序对采集得到的序列图像进行图像增强、图像裁剪等预处理工作，为后续对序列图像的特征提取工作提供基础；利用编写完成的图像处理程序获取图像的灰度直方图并根据图像的灰度直方图选取合适阈值从而对序列图像进行二值化处理，并完成序列图像的特征点提取工作；最终利用
编写完成的三维重建程序完成对于金属粒子流的三维重建工作。
7.具体步骤如下：
8.步骤1：编写一组图像处理程序以及三维重建程序，利用此程序进行粉末流场的三维重建；通过综合考虑金属粒子直径大小、金属粒子的光谱反射特性以及金属粒子流场的速度对于成像质量有影响的因素，搭建一套由工业相机和线激光器组成的图像采集装置，工业相机和线激光器呈垂直位置关系，并通过机床输出的ttl电平信号让工业相机的拍照行为和机床的激光熔覆送粉喷嘴运动同步，线激光器发射的线激光垂直地面并照射于金属粒子流，激光熔覆送粉喷嘴和工业相机作相对运动，同时工业相机尽可能在低曝光时间条件下进行拍摄，防止运动模糊引起的粒子轨迹光迹；为获取金属粒子流在一个时间段内空间分布形态，故根据已知的送粉喷嘴直径大小dmm将序列图像分为m个层级，每个层级之间间隔a um，每个层级拍摄n张图像，拍摄得到各个层级的单独图像表示为(p
11
、p
12
、p
13
……
p
1n
……
p
m1
、p
m2
、p
m3
……
p
mn
),最终完成对于序列图像的采集；
9.步骤2：利用步骤1编写的图像处理程序对采集得到的序列图像进行图像增强、图像裁剪；首先，选择序列图像中的任意一张图像对其进行灰度直方图均衡化处理，增强图像特征以选取感兴趣区域；再在特征增强后的图像上选取两个点，其中一个点位于图像的左上角像素坐标为(x1,y1)，另一个点位于图像的右下角像素坐标为(x2,y2)；然后根据坐标完成对感兴趣区域图像的裁剪，并根据左上角以及右下角的像素坐标将感兴趣区域图像粘贴到和原图像相同尺寸的黑色背景中，为后续的特征点提取工作剔除复杂背景的干扰；最后，对其余序列图像均同样处理；
10.步骤3：建立相机靶面尺寸和相机像元尺寸、图像分辨率之间的关系，如下所示：
11.a＝a*ppi#(1)
12.式中，a是相机靶面尺寸，a是相机像元尺寸，ppi是图像分辨率；
13.建立视野范围与工作距离、相机靶面尺寸、焦距之间的关系，如下所示：
[0014][0015]
式中，fov是视野范围，wd是工作距离，a是相机靶面尺寸，f是焦距；
[0016]
根据已知的相机像元尺寸、工作距离、焦距、图像分辨率计算得出视野范围大小为w*h mm；利用步骤1编写的图像处理程序获取步骤2预处理之后序列图像的灰度直方图，根据灰度直方图中的灰度值范围选取二值化阈值并对序列图像进行二值化处理，得到二值图；然后提取二值图中灰度值为255的特征点在像素坐标系下的像素坐标(u，v)；
[0017]
建立单个像素在世界坐标系下的尺寸大小和图像分辨率以及视野范围之间的关系，如下所示：
[0018][0019]
其中，s是单个像素在世界坐标系下的尺寸，fov是视野范围，ppi是图像分辨率；
[0020]
根据图像分辨率w*h pixel和视野范围w*h mm计算得出每个像素在世界坐标系中的实际尺寸大小为
[0021]
建立世界坐标系下的像素坐标和像素坐标系下的像素坐标和单个像素在世界坐标系中的实际尺寸之间的关系，如下所示：
[0022]
p＝m*s#(4)
[0023]
其中p是世界坐标系下的像素坐标，m是像素坐标系下的像素坐标，s是单个像素在世界坐标系中的实际尺寸；
[0024]
最终计算得出每个特征点在世界坐标系中的x坐标和z坐标将层级序号和层间距的乘积作为特征点在世界坐标系下的y坐标m*a，最终特征点在世界坐标系下的坐标可表示为
[0025]
步骤4：利用步骤1编写的三维重建程序结合序列图像中的特征点在世界坐标系下的坐标，最终完成对激光熔覆金属粒子流的三维重建。
[0026]
本发明的有益效果：利用工业相机和线激光器的组合装置完成对于高速、小粒径、低照度的金属粒子流场清晰成像，并利用机床输出的ttl电平信号同步控制工业相机完成对于序列图像的采集工作；利用基于matlab编程语言的图像处理程序，完成对序列图像的预处理以及特征提取工作，并建立图像特征点像素坐标和世界坐标的转换关系；利用基于matlab编程语言的三维重建程序，完成对于金属粒子流场的三维重建，可实时获取金属粒子流场的空间分布形态，得出金属粒子流的汇聚情况，为后续分析喷嘴的缺陷和损坏情况以及金属粒子流场和激光束的对准情况提供基础。
附图说明
[0027]
图1为图像采集系统示意图。
[0028]
图2为金属粒子流二维图。
[0029]
图3为特征增强后的金属粒子流二维图。
[0030]
图4为选取感兴趣区域图像。
[0031]
图5为去除复杂背景后图像。
[0032]
图6为二值化后图像。
[0033]
图7为金属粒子流三维重建效果图。
具体实施方式
[0034]
本发明针对激光熔覆过程中金属粒子流汇聚效果难获取问题，提出了一种基于视觉的激光熔覆过程中金属粒子流场三维重建方法，搭建一套由工业相机和线激光器组成的装置完成对于高速、小粒径、低照度的金属粒子流场的清晰成像，采集得到序列图像并对其进行预处理以及特征提取，最终实现对金属粒子流场的三维重建，为后续分析喷嘴的缺陷和损坏情况以及粉末流和激光束的对准等情况提供基础，提高熔覆材料的利用效率。
[0035]
本发明的基本思路为：
[0036]
本实施例首先编写一组图像处理以及三维重建程序；搭建一套如图1所示的由工业相机和线激光器组成的图像采集系统，利用图像采集系统采集得到金属粒子流场序列图像；选取序列图像的其中一张图像如图2所示，然后利用编写完成的图像处理程序，对图2进
行灰度直方图均衡化处理增强图像特征如图3所示；然后在图2上选取两个点，如图4所示，其中一个点位于图像的左上角像素坐标为(x1,y1)，另一个点位于图像的右下角像素坐标为(x2,y2)；然后根据坐标完成对感兴趣区域图像的裁剪，并根据左上角以及右下角的像素坐标将感兴趣区域图像粘贴到和原图像相同尺寸的黑色背景中，结果如图5所示，最后，对其余序列图像均进行图像裁剪处理；利用编写完成的图像处理程序获取预处理之后图像的灰度直方图，根据灰度直方图中的灰度值范围选取合适的二值化阈值并对序列图像进行二值化处理，二值化结果如图6所示；然后提取二值图中灰度值为255的特征点在像素坐标系下的像素坐标(u，v)，已知相机像元尺寸和图像分辨率w*h pixel可根据公式(1)计算得出相机靶面尺寸，根据公式(2)利用已知的工作距离和焦距以及计算得出的相机靶面尺寸可得到视野范围大小w*h mm，根据公式(3)利用已知的图像分辨率和计算得出的视野范围大小，计算得出单个像素在世界坐标系中的实际尺寸大小为根据公式(4)利用特征点在像素坐标系下的像素坐标(u，v)和单个像素在世界坐标系中的实际尺寸，可计算得出每个特征点在世界坐标系中的x坐标为和z坐标为将层级序号和层间距的乘积作为特征点在世界坐标系下的y坐标m*a，最终特征点在世界坐标系下的坐标可表示为利用编写完成的三维重建程序结合序列图像中的特征点在世界坐标系下的坐标，最终完成对激光熔覆过程中金属粒子流的三维重建，如图7所示。

技术特征：
1.一种基于视觉的激光熔覆过程中金属粒子流三维重建方法，其特征在于，步骤如下：步骤1：编写一组图像处理程序以及三维重建程序，利用此程序进行粉末流场的三维重建；通过综合考虑金属粒子直径大小、金属粒子的光谱反射特性以及金属粒子流场的速度对于成像质量有影响的因素，搭建一套由工业相机和线激光器组成的图像采集装置，工业相机和线激光器呈垂直位置关系，并通过机床输出的ttl电平信号让工业相机的拍照行为和机床的激光熔覆送粉喷嘴运动同步，线激光器发射的线激光垂直地面并照射于金属粒子流，激光熔覆送粉喷嘴和工业相机作相对运动，同时工业相机尽可能在低曝光时间条件下进行拍摄，防止运动模糊引起的粒子轨迹光迹；为获取金属粒子流在一个时间段内空间分布形态，故根据已知的送粉喷嘴直径大小dmm将序列图像分为m个层级，每个层级之间间隔a um，每个层级拍摄n张图像，拍摄得到各个层级的单独图像表示为(p
11
、p
12
、p
13
……
p
1n
……
p
m1
、p
m2
、p
m3
……
p
mn
),最终完成对于序列图像的采集；步骤2：利用步骤1编写的图像处理程序对采集得到的序列图像进行图像增强、图像裁剪；首先，选择序列图像中的任意一张图像对其进行灰度直方图均衡化处理，增强图像特征以选取感兴趣区域；再在特征增强后的图像上选取两个点，其中一个点位于图像的左上角像素坐标为(x1,y1)，另一个点位于图像的右下角像素坐标为(x2,y2)；然后根据坐标完成对感兴趣区域图像的裁剪，并根据左上角以及右下角的像素坐标将感兴趣区域图像粘贴到和原图像相同尺寸的黑色背景中，为后续的特征点提取工作剔除复杂背景的干扰；最后，对其余序列图像均同样处理；步骤3：建立相机靶面尺寸和相机像元尺寸、图像分辨率之间的关系，如下所示：a＝a*ppi#(1)式中，a是相机靶面尺寸，a是相机像元尺寸，ppi是图像分辨率；建立视野范围与工作距离、相机靶面尺寸、焦距之间的关系，如下所示：式中，fov是视野范围，wd是工作距离，a是相机靶面尺寸，f是焦距；根据已知的相机像元尺寸、工作距离、焦距、图像分辨率计算得出视野范围大小为w*h mm；利用步骤1编写的图像处理程序获取步骤2预处理之后序列图像的灰度直方图，根据灰度直方图中的灰度值范围选取二值化阈值并对序列图像进行二值化处理，得到二值图；然后提取二值图中灰度值为255的特征点在像素坐标系下的像素坐标(u，v)；建立单个像素在世界坐标系下的尺寸大小和图像分辨率以及视野范围之间的关系，如下所示：其中，s是单个像素在世界坐标系下的尺寸，fov是视野范围，ppi是图像分辨率；根据图像分辨率w*h pixel和视野范围w*h mm计算得出每个像素在世界坐标系中的实际尺寸大小为建立世界坐标系下的像素坐标和像素坐标系下的像素坐标和单个像素在世界坐标系
中的实际尺寸之间的关系，如下所示：p＝m*s#(4)其中p是世界坐标系下的像素坐标，m是像素坐标系下的像素坐标，s是单个像素在世界坐标系中的实际尺寸；最终计算得出每个特征点在世界坐标系中的x坐标和z坐标将层级序号和层间距的乘积作为特征点在世界坐标系下的y坐标m*a，最终特征点在世界坐标系下的坐标可表示为步骤4：利用步骤1编写的三维重建程序结合序列图像中的特征点在世界坐标系下的坐标，最终完成对激光熔覆过程中金属粒子流的三维重建。

技术总结
本发明公开了一种基于视觉的激光熔覆过程中金属粒子流三维重建方法，编写一组图像处理以及三维重建程序。搭建由工业相机和线激光器组成的图像获取装置，并通过机床输出的TTL电平信号让工业相机的拍照行为和机床的激光熔覆喷嘴运动进行同步，实现金属粒子流场序列图像的实时精确采集。利用图像处理程序对序列图像进行预处理。利用图像处理程序获取图像的灰度直方图并根据图像的灰度直方图选取阈值对序列图像进行二值化处理，并完成序列图像的特征点提取工作；利用编写完成的三维重建程序完成对于金属粒子流的三维重建工作。本发明方法为后续分析喷嘴的缺陷和损坏情况以及金属粒子流场和激光束的对准情况提供基础。粒子流场和激光束的对准情况提供基础。粒子流场和激光束的对准情况提供基础。


技术研发人员：刘阳 王荣升 王浩宇 赵凯 高佳丽 叶文勇
受保护的技术使用者：大连工业大学
技术研发日：2023.06.15
技术公布日：2023/8/13