一种激光金属增材沉积内部空隙状态实时预测方法

1.本发明属于激光金属增材制造技术领域，具体涉及一种激光金属增材沉积内部空隙状态的实时预测方法。


背景技术：

2.激光金属增材制造技术中，沉积内部孔隙状态是影响构件质量的的关键因素，而熔池特征是对构件质量影响最为直接的因素，因而研究增材制造过程中熔池特征的变化对增材制造质量的保证有着重要的意义，同时根据熔池特征变化来控制增材制造零件内部孔隙状态也是实现增材制造智能化的一个重要组成部分。
3.目前对于沉积内部孔隙缺陷的检测方法一般有阿基米德法、超声波回波速度测量法、金相横切面图像分析法以及x射线断层扫描法等，这些检测方法均是需要等待构件制造完成后才能进行检测，不能满足工业实时检测的需求。在现有的空隙预测技术中，一般对孔隙进行二分类预测，即预测构件整体孔隙的有无或严重情况，而无法预测局部孔隙的质量状态。而沉积孔隙缺陷中气孔孔隙和键孔孔隙主要由高能量密度引起，而缺乏熔合孔隙则是能量密度较低导致；又由于熔池的光学图像在不同激光能量密度下会表现出不同的物理特征，因此我们提出一种基于深度学习特征融合的激光增材制造沉积内部孔隙状态的实时预测方法。


技术实现要素：

4.本发明所要解决的技术问题便是针对上述现有技术的不足，提供一种激光金属增材沉积内部孔隙状态实时预测方法，它能够对激光金属增材沉积内部孔隙状态进行实时预测，且能保证预测的孔隙状态具有较高的精度。
5.本发明所采用的技术方案是：一种激光金属增材沉积内部空隙状态实时预测方法，包括以下步骤：步骤1：在不同工艺参数下采集多道单道多层熔池光学图像，将熔池光学图像通过ct扫描仪进行断层扫描后进行处理获得内部孔隙状态的光学图像样本，将部分图像样本作为训练集，另一部分图像样本作为测试集；步骤2：建立深度学习孔隙率预测模型，所述深度学习孔隙率预测模型包括输入模块、卷积特征提取模块、时序特征提取模块、特征融合模块、决策层模块和输出模块；所述卷积特征提取模块用于对输入的光学图像样本数据进行全局特征提取；所述时序特征提取模块用于在卷积特征提取模块的输出中进一步提取其中的时序特征和局部特征；所述特征融合模块用于将卷积特征提取模块提取的特征和时序特征提取模块提取的特征进行融合；所述决策层模块用于对融合后的特征进行处理，得到孔隙质量预测分类的概率值；
步骤3：将步骤1中的训练集中的光学图像样本数据输入步骤2中的深度学习孔隙率预测模型中，对深度学习孔隙率预测模型进行训练，得到训练完成的深度学习孔隙率预测模型；步骤4：将步骤1中的测试集中的光学图像样本数据输入步骤3中训练完成的深度学习孔隙率预测模型中进行校验，校验后得到最终的深度学习孔隙率预测模型；步骤5：将激光金属增材沉积过程中实时采集的光学熔池图像处理后输入最终的深度学习孔隙率预测模型中进行内部孔隙状态实时预测。
6.作为优选，步骤1具体包括以下步骤：步骤11：采用不同工艺参数进行多组单道多层试验，并利用图像采集装置采集不同试验下的熔池图像；步骤12：采用ct扫描仪对多组单道多层试验所得的构件进行内部孔隙无损检测，再通过imagej图像处理软件分割出ct扫描仪所得的内部截面图中的孔隙，并对分割出的孔隙进行标定，得出孔隙大小，并按孔隙大小分为小面积孔隙、中等面积孔隙、大面积孔隙三种内部孔隙状态；步骤13：根据时间对应关系将步骤12得到的内部孔隙状态标注在步骤11的各层熔池图像中，得到光学图像样本；步骤14：将得到的光学图像样本按7:3分为训练集和测试集。
7.作为优选，步骤12中的图像处理流程包括依次进行的裁剪、旋转、平移、噪声滤波、孔隙分割和孔隙计算。
8.作为优选，步骤13中，对得到的有效光学图像样本进行归一化处理。
9.作为优选，步骤13中进行的归一化处理包括灰度归一化和尺寸归一化。
10.作为优选，步骤2中的卷积特征提取模块采用alexnet的卷积层部分作为架构，且其中的卷积层均采用分组卷积，分组数与对应试验的单道打印层数一致，并在分组卷积后又统一接组归一化层。
11.作为优选，步骤2中的时序特征提取模块采用convlstm为架构。
12.本发明的有益效果在于：（1）采用ct扫描对沉积进行无损检测，得到内部孔隙分布高度截面图像，并通过孔隙分割、尺寸标定等算法获取内部孔隙的实际尺寸，并进行分类，然后与熔池图像结合形成光学图像样本，利用深度学习孔隙率预测模型对熔池图像进行预测，可有效预测构件局部的孔隙状态；（2）采用单道多层熔池光学图像，可适于对加工薄壁件进行孔隙预测；（3）引入时序特征提取模块，提取光学熔池的的时空变化特征，并与卷积层的特征进行特征融合，输入全连接层后实现最终的孔隙预测，可进一步的提高内部孔隙质量状态的预测准确度。
13.本发明将光学熔池图像与内部孔隙状态相结合映射，利用深度学习特征融合网络模型对单道多层沉积内部孔隙状态进行实时预测，并具有较高的预测准确度。
附图说明
14.图1为本发明的深度学习孔隙率预测模型的示意图；
图2为本发明深度学习孔隙率预测模型中卷积特征提取模块的示意图；图3为本发明深度学习孔隙率预测模型中决策层模块的示意图；图4为本发明深度学习孔隙率预测模型中时序特征提取模块convlstm网络架构示意图；图5为本发明深度学习孔隙率预测模型中输出模块的示意图。
实施方式
15.下面将结合附图及具体实施例对本发明作进一步详细说明。
16.如图1、图2、图3和图5所示，本实施例提供的激光金属增材沉积内部空隙状态实时预测方法，具体包括以下步骤：步骤1：在不同的工艺参数下进行多组单道多层试验，并利用图像采集装置采集不同试验下的熔池光学图像；其中不同的工艺参数包括激光功率、激光扫描速度、激光光斑直径、送粉速率、载气量等主要工艺参数。
17.使用ct扫描仪对上述多组单道多层试验所得的构件进行内部孔隙无损检测，得到扫描图像；裁剪，将单道沉积构件从包含多道的ct扫描图像中一一截取出来；旋转，针对ct扫描图像中部分单道存在倾斜的情况，利用imagej图像处理软件测量其倾斜角度，并对其进行旋转，使后续处理中的孔隙测量方向与实际激光扫描方向一致；平移，针对旋转后的ct扫描图像，其中部分图像存在沉积主体中线与截取旋转后的图像中线不一致的情况，利用imagej图像处理软件获取ct扫描图像中的沉积部分外接矩形，外接矩形的中心像素所在的横坐标与图像中心像素所在的横坐标做差，即得到沉积部分平移的像素距离，然后进行平移；图像存在沉积主体中线与截取旋转后的图像中线不一致的情况，会导致后续孔隙测量出现部分孔隙未能被计算进来的情况，使得后续孔隙计算存在较大的误差；噪声滤波，对上述采集处理后的单道ct扫描图像中存在的熔渣和其他噪声统一进行滤波处理；孔隙分割，利用imagej图像处理软件中的分割插件将孔隙较为完好地分割出来，并且不会将其他部分错误的分割出来；孔隙标定与计算，像素对应的实际距离由ct扫描仪给定，利用matlab软件对单道构件的最终孔隙图像进行批量处理，通过该标定关系可以对分割出来的孔隙进行面积换算，得到孔隙大小。
18.根据孔隙大小分为小面积孔隙、中等面积孔隙和大面积孔隙，再根据时间对应关系将分类的三种沉积内部孔隙状态标注各层熔池光学图像，得到光学图像样本，并从所有的光学图像样本中选出所有有效的光学图像样本；对选出的有效的光学图像样本进行归一化处理，归一化处理包括灰度归一化和尺寸归一化，使光学图像样本的尺寸归一化为224
×
224，令光学图像样本的灰度值大小坐落在（0，1）区间，保证网络模型的高效训练；通过归一化处理，能够有效降低特征信息冗余度，提高特征提取速度，减小网络模型参数优化难度和速度。
19.将归一化处理后的光学图像样本按7:3分为训练集和测试集。
20.步骤2：建立深度学习孔隙率预测模型，所述深度学习孔隙率预测模型包括输入模块、卷积特征提取模块、时序特征提取模块、特征融合模块、决策层模块和输出模块。
21.所述输入模块用于对每一层的光学图像均匀抽样采样。
22.所述卷积特征提取模块用于对输入的光学图像样本数据进行全局特征提取；所述卷积特征提取模块采用alexnet的卷积层部分；其中所有卷积层均采用分组卷积，分组数与对应试验的单道打印层数保持一致，在减小模型参数的同时又不会降低模型性能；并在分组卷积后又统一接组归一化层，其能加快网络对不同层熔池特征的提取和收敛速度。
23.本实施例的卷积特征提取模块具体设置如下： 对输入模块输入的数据接入组归一化层进行组归一化处理；后接卷积层，此卷积层的输出通道为90、卷积核为11
×
11、步长为4、填充为2，分组数为30；后接组归一化层，此组归一化层的通道数为90, 分组数为30；后接relu激活函数层；后接最大下采样池化层，此最大下采样池化层的卷积核为3
×
3，步长为2；再接卷积层，此卷积层的输出通道为270、卷积核为为5
×
5、步长为2、填充为2,分组数为30；后接组归一化层，此组归一化层的通道数为270, 分组数为30；后接relu激活函数层；后接最大下采样池化层，此最大下采样池化层的卷积核为3
×
3，步长为2；再接卷积层，此卷积层的输出通道为390、卷积核为3
×
3、步长为2、填充为1，分组数为30；后接组归一化层，此组归一化层的通道数为390, 分组数为30；后接relu激活函数层，后接最大下采样池化层，此最大下采样池化层的卷积核为3
×
3，步长为2；再接卷积层，此卷积层的输出通道为390、卷积核为3
×
3、步长为2、填充为1，分组数为30；后接组归一化层，此组归一化层的通道数为390, 分组数为30；后接relu激活函数层，后接最大下采样池化层，此最大下采样池化层的卷积核为3
×
3，步长为2；再接卷积层，此卷积层的输出通道为300、卷积核为1
×
1、步长为1、填充为0，分组数为30；后接组归一化层，此组归一化层的通道数为150，分组数为30；最后接最大平均自适应下采样层进行输出，输出的尺寸为150
×6×
6。
24.由于在当前时刻的熔池物理特征会受到当前打印层前几个时刻熔池的影响以及打印层的熔覆表面形态的影响，因此提出时序特征提取模块，时序特征提取模块用于在卷积特征提取模块的输出中进一步提取其中的时序特征和局部特征；所述时序特征提取模块以convlstm为架构设置，在将卷积特征提取模块的输出输入convlstm网络前，需先要按照convlstm输入的维度要求将进行转换；本实施例中转换成通道维数为150，输入尺寸为1
×6×
6，其时间步设定为样本的通道维数150；本实施例中convlstm网络的输入参数为：输入通道数为1，隐藏层节点数为8,卷积核为3
×
3,层数为1，得到如图4所示的convlstm网络架构，其中h为隐藏层状态，c为lstm单元状态，x为时间步，layer_output_list和last_state_list为两个输出列表；最终输出结果取last_state_list这个输出列表中的隐藏层状态h的状态，即输出通道维数为150，尺寸大小为8
×6×
6。
25.所述特征融合模块用于将卷积特征提取模块提取的特征和时序特征提取模块提
取的特征进行融合；即将时序特征提取模块提取的特征在第三维度上与卷积提取模块提取的特征进行拼接操作，得到通道维数150，大小为9
×6×
6的特征矩阵。
26.所述决策层模块用于对融合后的特征进行处理，得到孔隙质量预测分类的概率值；本实施例中的具体设置如下：将特征融合后的特征矩阵展平输入全连接层，后接批归一化层，后接relu激活函数层，后接丢弃层，后接全连接层，后接批归一化层，后接relu激活函数层，后接丢弃层，后接全连接层进行输出。
27.所述输出模块将决策层模块所输出的三种孔隙质量预测分类的概率值输入全连接层，通过全连接层输出对孔隙质量的预测。
28.步骤3：将步骤1中的训练集中的光学图像样本数据输入步骤2中的深度学习孔隙率预测模型中，对深度学习孔隙率预测模型进行训练，得到训练完成的深度学习孔隙率预测模型；步骤4：将步骤1中的测试集中的光学图像样本数据输入步骤3中训练完成的深度学习孔隙率预测模型中进行校验，校验后得到最终的深度学习孔隙率预测模型；步骤5：将激光金属增材沉积过程中实时采集的光学熔池图像处理后输入最终的深度学习孔隙率预测模型中进行内部孔隙状态实时预测。
29.以上所述仅是本发明优选的实施方式，但本发明的保护范围并不局限于此，任何基于本发明所提供的技术方案和发明构思进行的改造和替换都应涵盖在本发明的保护范围内。

技术特征：
1.一种激光金属增材沉积内部空隙状态实时预测方法，其特征在于，包括以下步骤：步骤1：在不同工艺参数下采集多道单道多层熔池光学图像，将熔池光学图像通过ct扫描仪进行断层扫描后进行处理获得内部孔隙状态的光学图像样本，将部分图像样本作为训练集，另一部分图像样本作为测试集；步骤2：建立深度学习孔隙率预测模型，所述深度学习孔隙率预测模型包括输入模块、卷积特征提取模块、时序特征提取模块、特征融合模块、决策层模块和输出模块；所述卷积特征提取模块用于对输入的光学图像样本数据进行全局特征提取；所述时序特征提取模块用于在卷积特征提取模块的输出中进一步提取其中的时序特征和局部特征；所述特征融合模块用于将卷积特征提取模块提取的特征和时序特征提取模块提取的特征进行融合；所述决策层模块用于对融合后的特征进行处理，得到孔隙质量预测分类的概率值；步骤3：将步骤1中的训练集中的光学图像样本数据输入步骤2中的深度学习孔隙率预测模型中，对深度学习孔隙率预测模型进行训练，得到训练完成的深度学习孔隙率预测模型；步骤4：将步骤1中的测试集中的光学图像样本数据输入步骤3中训练完成的深度学习孔隙率预测模型中进行校验，校验后得到最终的深度学习孔隙率预测模型；步骤5：将激光金属增材沉积过程中实时采集的光学熔池图像处理后输入最终的深度学习孔隙率预测模型中进行内部孔隙状态实时预测。2.根据权利要求1所述的一种激光金属增材沉积内部空隙状态实时预测方法，其特征在于，步骤1具体包括以下步骤：步骤11：采用不同工艺参数进行多组单道多层试验，并利用图像采集装置采集不同试验下的熔池图像；步骤12：采用ct扫描仪对多组单道多层试验所得的构件进行内部孔隙无损检测，再通过imagej图像处理软件分割出ct扫描仪所得的内部截面图中的孔隙，并对分割出的孔隙进行标定，得出孔隙大小，并按孔隙大小分为小面积孔隙、中等面积孔隙、大面积孔隙三种内部孔隙状态；步骤13：根据时间对应关系将步骤12得到的内部孔隙状态标注在步骤11的各层熔池图像中，得到光学图像样本；步骤14：将得到的光学图像样本按7:3分为训练集和测试集。3.根据权利要求2所述的一种激光金属增材沉积内部空隙状态实时预测方法，其特征在于，步骤12中的图像处理流程包括依次进行的裁剪、旋转、平移、噪声滤波、孔隙分割和孔隙计算。4.根据权利要求3所述的一种激光金属增材沉积内部空隙状态实时预测方法，其特征在于，步骤13中，对得到的光学图像样本进行归一化处理。5.根据权利要求4所述的一种激光金属增材沉积内部空隙状态实时预测方法，其特征在于，步骤13中进行的归一化处理包括灰度归一化和尺寸归一化。6.根据权利要求1-5任一所述的一种激光金属增材沉积内部空隙状态实时预测方法，其特征在于，步骤2中的卷积特征提取模块采用alexnet的卷积层部分作为架构，且其中的
卷积层均采用分组卷积，分组数与对应试验的单道打印层数一致，并在分组卷积后又统一接组归一化层。7.根据权利要求1-5任一所述的一种激光金属增材沉积内部空隙状态实时预测方法，其特征在于，步骤2中的时序特征提取模块采用convlstm为架构。

技术总结
本发明属于激光金属增材制造技术领域，具体公开了一种激光金属增材沉积内部空隙状态实时预测方法，包括步骤1：在不同工艺参数下采集多组单道多层熔池光学图像，并将光学图像处理为光学图像样本后分为训练集和测试集；步骤2：建立深度学习孔隙率预测模型；步骤3：将训练集输入深度学习孔隙率预测模型中进行训练；步骤4：将测试集输入训练完成的深度学习孔隙率预测模型中进行校验，得到最终的深度学习孔隙率预测模型；步骤5：将实时数据输入最终的深度学习孔隙率预测模型中进行内部孔隙状态实时预测。本发明将光学熔池图像与内部孔隙状态相结合映射，利用深度学习特征融合网络模型可对单道多层沉积内部孔隙状态进行实时预测。单道多层沉积内部孔隙状态进行实时预测。单道多层沉积内部孔隙状态进行实时预测。


技术研发人员：殷鸣 彭科 卓师铭 谢罗峰 张煜杭 李伟 向锦 丁鑫钰
受保护的技术使用者：四川大学
技术研发日：2023.04.12
技术公布日：2023/7/12