一种基于机器视觉的3D打印产品缺陷在线检测方法

一种基于机器视觉的3d打印产品缺陷在线检测方法
技术领域
1.本发明属于3d打印在线检测技术领域，尤其涉及一种基于机器视觉的3d打印产品缺陷在线检测方法。


背景技术：

2.3d打印技术是一种近年来兴起的先进制造技术，亦称为增材制造技术。3d打印技术基于三维的cad模型数据，采用材料逐层累加的方法制造实体零件。相对于传统的减材制造、等材制造技术，3d打印技术是目前快速成型技术中应用最为广泛且最具发展潜力的工艺方法，目前已在航空航天、汽车制造、建筑和生物医疗等领域广泛应用。随着传统制造业的转型升级，3d打印技术已经被应用于制造高精度、高强度以及高度定制化的零件，提高3d打印件的质量已然成为了该领域的研究热点。在3d打印过程中，采用缺陷检测设备和检测方法能够使打印偏差尽早被发现，进而可以及时采取相应的停机和纠正措施，减少材料的浪费，提高打印精度。虽然成型零件的外表面和外轮廓缺陷可以通过常规检测方法检验，但是，由于3d打印的原理是逐层地加工零件，外表面能反映零件的整体层叠结构，而上表面则反映了零件每一层的加工精度。常规的检测方法只能针对成型零件的外部尺寸缺陷进行检测，而细微的叠层缺陷难以辨别，使成型零件的质量存在隐患，并且检测精度受限。
3.如公开号为cn108638497a的中国专利公开了一种3d打印机打印模型外表面的全方位检测系统和方法，该检测系统主要包括打印模块、打印检测模块、计算模块以及控制模块，打印模块包括打印头，打印检测模块包括图像获取单元和驱动机构；驱动机构带动图像获取单元绕打印头水平转动；计算模块将打印件数字模型进行切片，提取切片后模型的外轮廓，并计算外轮廓相邻点所在直线的垂直平分线；控制单元控制驱动机构工作使图像获取单元的朝向保持在该垂直平分线上从而在打印时图像获取单元始终正对当前打印表面；该检测系统通过利用六自由度机械臂与相机相配合实现3d打印件外表面的拍摄，能够通过外表面的纹理对缺陷进行识别。上述专利技术在3d打印缺陷检测中起到了一定的效果，但由于采用的是特殊的机械结构，不具有面向多种不同型号3d打印机进行检测的普适性。此外，由于判定仅通过3d打印件的外表面判定，3d打印件内部可能存在的缺陷被忽视。


技术实现要素：

4.本发明的目的是提供一种基于机器视觉的3d打印产品缺陷在线检测方法，以解决现有检测方法存在的只能针对成型零件外部尺寸缺陷进行检测而细微叠层缺陷难以辨别、检测精度受限、普适性差的问题。
5.本发明为解决技术问题所采用的技术方案如下：
6.本发明的一种基于机器视觉的3d打印产品缺陷在线检测方法，包括以下步骤：
7.步骤一、搭建检测装置并对检测装置进行位置调整；
8.步骤二、生成打印件数字模型，并进行路径规划；
9.步骤三、启动3d打印和缺陷检测；
10.步骤s3.1上传gcode代码并启动打印；
11.步骤s3.2检测3d打印机的打印喷头状态并采集图像；
12.步骤s3.3提取表面图像轮廓；
13.步骤s3.4判断叠层轮廓是否存在缺陷；
14.步骤s3.5重复上述步骤直至打印结束，获取打印件成型情况。
15.进一步的，步骤一中，所述检测装置包括：相机、台式机、第一蓝牙模块、光电开关传感器、微控制器、第二蓝牙模块、锂电池和电源管理模块；相机与台式机连接，台式机与第一蓝牙模块连接，光电开关传感器与微控制器连接，微控制器与第二蓝牙模块连接连接，电源管理模块分别与微控制器、第二蓝牙模块连接和锂电池连接，第一蓝牙模块和第二蓝牙模块通过无线通信连接。
16.进一步的，步骤一的具体操作流程如下：
17.步骤s1.1相机安装固定；
18.将相机固定在靠近3d打印机的位置，保证在打印过程中相机始终能获取完整的打印件叠层图像；
19.步骤s1.2标定相机内外参；
20.将标定板放置在3d打印机内部打印工作台平面中心，采用张正友标定法标定相机内参，以3d打印机内部打印工作台平面为基准标定相机外参，建立世界坐标系；通过图像坐标(x,y)计算得到对应的打印件上的点在世界坐标系下的坐标(xw,yw)；
21.步骤s1.3光电开关传感器安装；
22.将光电开关传感器安装在3d打印机侧面，光电开关传感器与3d打印机之间的距离为d1，调整光电开关传感器的感应距离，确保3d打印机的打印喷头移动到指定的边缘位置时光电开关传感器能够检测到。
23.进一步的，步骤二的具体操作流程如下：
24.步骤s2.1生成3d打印的stl模型文件并切片；
25.利用打印件数字模型数据生成stl模型文件，利用切片软件将打印件数字模型进行切片，得到切片文件；
26.步骤s2.2生成并重新规划gcode代码；
27.利用切片文件生成3d打印机能识别的gcode代码，在此基础上重新规划gcode代码，使每层打印结束后打印喷头运动到指定位置并暂时停留，以保证在打印过程中光电开关传感器能够检测到打印喷头，进而控制相机拍摄到完整的打印件叠层图像。
28.进一步的，步骤s3.1的具体操作流程如下：
29.将gcode代码上传到3d打印机，控制相机拍摄未开始打印前的背景图像r0(x,y)，启动3d打印机开始进行打印。
30.进一步的，步骤s3.2的具体操作流程如下：
31.光电开关传感器检测打印喷头是否靠近，以此判断3d打印机是否完成了打印件数字模型的新一层打印，当光电开关传感器检测到打印喷头靠近时，微控制器采集到光电开关传感器输出信号的变化，并通过第二蓝牙模块向第一蓝牙模块发送拍照指令，当台式机通过第二蓝牙模块接收到第一蓝牙模块发送的拍照指令时，台式机控制相机拍摄一帧图像ri(x,y)。
32.进一步的，步骤s3.3的具体操作流程如下：
33.将第i帧图像ri(x,y)与第i-1帧图像r
i-1
(x,y)采用帧间差分法获得差分图像di(x,y)，差分图像di(x,y)可用相邻两帧图像像素灰度差的绝对值表示：
34.di(x,y)＝|ri(x,y)-r
i-1
(x,y)|
35.上表面部分在叠层前后会出现像素灰度变化，当前后灰度差值的绝对值超过阈值t1时，认为该像素是新形成的叠层，并将该像素的灰度值设为255，不超过阈值t1的点设置为0，即认为是不变的像素，该过程表示为：
[0036][0037]
pi(x,y)为二值化图像坐标，pi(x,y)中灰度值为255的区域为新打印的叠层，其中连续的像素为叠层的轮廓。
[0038]
进一步的，步骤s3.4的具体操作流程如下：
[0039]
根据相机参数，将二值化图像坐标pi(x,y)转换成世界坐标系下的坐标pi(xw,yw)，得到新叠层轮廓的尺寸，将其与gcode代码中对应叠层打印路径构成的图像si(xw,yw)轮廓采用最近点迭代进行配准。
[0040]
进一步的，采用最近点迭代进行配准的具体操作步骤如下：
[0041]
以图像si(xw,yw)的中心为原点，向周围均匀发出m条射线，每条射线与图像pi(xw,yw)和图像si(xw,yw)分别相交于点q
1m
(xw,yw)和q
2m
(xw,yw)上，计算q
1m
(xw,yw)和q
2m
(xw,yw)的欧式距离lm，设定轮廓偏差评价参数t
max
，将偏差总和∑lm与轮廓偏差评价参数t
max
相比较判断，保存当前叠层偏差总和ei＝∑lm，当偏差总和∑lm超过轮廓偏差评价参数t
max
时，认为出现严重打印缺陷，提醒操作人员停止打印。
[0042]
进一步的，步骤s3.5中，通过参考当前叠层偏差总和ei的大小来获取打印件的成型情况。
[0043]
本发明的有益效果是：
[0044]
(1)本发明的一种基于机器视觉的3d打印产品缺陷在线检测方法，采用机器视觉在线检测3d打印过程，使打印偏差能尽早被发现，进而及时采取相应的停机操作，有效解决了3d打印可能出现的坍塌、层偏移等导致材料浪费的问题。
[0045]
(2)本发明的一种基于机器视觉的3d打印产品缺陷在线检测方法，通过表面图像轮廓提取和叠层轮廓对比实现3d打印产品叠层缺陷的精细化识别，解决了现有检测方法只能针对成型零件外部尺寸缺陷进行检测而细微叠层缺陷难以辨别的问题，提高检测精度。
[0046]
(3)本发明的一种基于机器视觉的3d打印产品缺陷在线检测方法，通过相机和gcode代码的重新规划实现在线检测3d打印过程，可面向市面上不同厂家的多种型号的3d打印机，不再受3d打印机类型的限制，提高检测方法的普适性。
附图说明
[0047]
图1为本发明的一种基于机器视觉的3d打印产品缺陷在线检测装置的结构示意图。
[0048]
图2为本发明的一种基于机器视觉的3d打印产品缺陷在线检测方法的工作流程示意图。
[0049]
图3为步骤一中装置搭建及位置调整的具体过程示意图。
[0050]
图4为步骤二中模型生成与路径规划的具体过程示意图。
[0051]
图5为步骤三中启动3d打印和检测过程的具体过程示意图。
[0052]
图6为步骤s3.4中叠层偏差的计算方法示意图。
[0053]
图中，1、相机，2、台式机，3、第一蓝牙模块，4、光电开关传感器，5、微控制器，6、第二蓝牙模块，7、锂电池，8、电源管理模块，9、3d打印机，10、标定板。
具体实施方式
[0054]
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。
[0055]
如图1所示，本发明的一种基于机器视觉的3d打印产品缺陷在线检测装置，主要包括：相机1、台式机2、第一蓝牙模块3、光电开关传感器4、微控制器5、第二蓝牙模块6、锂电池7和电源管理模块8。相机1与台式机2连接，台式机2与第一蓝牙模块3连接，光电开关传感器4与微控制器5连接，微控制器5与第二蓝牙模块连接6连接，电源管理模块8分别与微控制器5、第二蓝牙模块连接6和锂电池7连接，第一蓝牙模块3和第二蓝牙模块6通过无线通信连接。
[0056]
如图1所示，相机1用于拍摄3d打印机9在打印过程中的打印件叠层图像；台式机2用于接收微控制器5的拍照指令，台式机2用于向相机1发送控制指令从而控制相机1进行拍照；第一蓝牙模块3与第二蓝牙模块6配对，第一蓝牙模块3用于实现台式机2与微控制器5之间的无线数据传输；光电开关传感器4用于感应3d打印机9的打印喷头901是否移动到指定的边缘位置；微控制器5用于检测光电开关传感器4的输出信号，微控制器5还用于向台式机2发送拍照指令；第二蓝牙模块6与第一蓝牙模块3配对，第二蓝牙模块6用于实现微控制器5与台式机2之间的无线数据传输；锂电池7用于给电源管理模块8提供能量；电源管理模块8用于对锂电池7的输出电压进行变换，从而给第二蓝牙模块6和微控制器5提供能量。
[0057]
本实施方式中，所说的相机1具体可采用aca1300-60gm型号basler厂家的相机，但不限于此。
[0058]
本实施方式中，所说的台式机2具体可采用t3650型号dell/戴尔厂家的台式机，但不限于此。
[0059]
本实施方式中，所说的第一蓝牙模块3具体可采用fsc-bt617型号深圳飞易通科技有限公司的蓝牙模块，但不限于此。
[0060]
本实施方式中，所说的光电开关传感器4具体可采用e3c-ds10t型号omron/欧姆龙厂家的光电开关传感器，但不限于此。
[0061]
本实施方式中，所说的微控制器5具体可采用stm32f103rct6型号stmicroelectronics/意法半导体厂家的微控制器，但不限于此。
[0062]
本实施方式中，所说的第二蓝牙模块6具体可采用fsc-bt617型号深圳飞易通科技有限公司的蓝牙模块，但不限于此。
[0063]
本实施方式中，所说的锂电池7具体可采用shks-12-2ah型号上海孔胜电池有限公司的锂电池，但不限于此。
[0064]
本实施方式中，所说的电源管理模块8具体可采用urb2412ld-30wr3型号广州金升
阳科技有限公司的电源管理模块，但不限于此。
[0065]
如图2所示，本发明的一种基于机器视觉的3d打印产品缺陷在线检测方法，具体操作步骤如下：
[0066]
步骤一、装置搭建及位置调整；
[0067]
如图3所示，该步骤的具体操作流程如下：
[0068]
步骤s1.1相机1安装固定；
[0069]
操作人员将相机1固定在3d打印机9旁侧较近位置，保证在3d打印机9的打印过程中相机1始终能够获取完整的打印件叠层图像。
[0070]
步骤s1.2标定相机1内外参；
[0071]
操作人员将标定板10放置在3d打印机9内部打印工作台平面中心，采用张正友标定法标定相机1内参，以3d打印机9内部打印工作台平面为基准标定相机1外参，建立世界坐标系；通过图像坐标(x,y)可计算得到对应的打印件上的点在世界坐标系下的坐标(xw,yw)。
[0072]
步骤s1.3光电开关传感器4安装；
[0073]
操作人员将光电开关传感器4安装在3d打印机9侧面，光电开关传感器4与3d打印机9之间的距离为d1，调整光电开关传感器4的感应距离，确保3d打印机9的打印喷头901移动到指定的边缘位置时光电开关传感器4能够检测到。
[0074]
步骤二、模型生成与路径规划；
[0075]
如图4所示，该步骤的具体操作流程如下：
[0076]
步骤s2.1生成3d打印的stl模型文件并切片；
[0077]
利用打印件数字模型数据生成stl模型文件，利用切片软件将打印件数字模型进行切片，得到切片文件。
[0078]
步骤s2.2生成并重新规划gcode代码；
[0079]
利用切片文件生成3d打印机9能够识别的gcode代码，并在此基础上，重新规划gcode代码，使每层打印结束后打印喷头901运动到指定位置并暂时停留，以便在打印过程中光电开关传感器4能够检测到打印喷头901，进而控制相机1拍摄到完整的打印件叠层图像。
[0080]
步骤三、启动3d打印和缺陷检测；
[0081]
如图5所示，该步骤的具体操作流程如下：
[0082]
步骤s3.1上传gcode代码并启动打印；
[0083]
操作人员将gcode代码上传到3d打印机9，操作人员控制相机1拍摄未开始打印前的背景图像r0(x,y)，启动3d打印机9开始进行打印。
[0084]
步骤s3.2检测喷头状态并采集图像；
[0085]
光电开关传感器4检测打印喷头901是否靠近，以此判断3d打印机9是否完成了打印件数字模型的新一层打印，当光电开关传感器4检测到打印喷头901靠近时，微控制器5采集到光电开关传感器4输出信号的变化，并通过第二蓝牙模块6向第一蓝牙模块3发送拍照指令，当台式机2通过第二蓝牙模块6接收到第一蓝牙模块3发送的拍照指令时，台式机2控制相机1拍摄一帧图像ri(x,y)。
[0086]
步骤s3.3提取表面图像轮廓；
[0087]
将第i帧图像ri(x,y)与第i-1帧图像r
i-1
(x,y)采用帧间差分法获得差分图像di(x,
y)，差分图像di(x,y)可用相邻两帧图像像素灰度差的绝对值表示：
[0088]di
(x,y)＝|ri(x,y)-r
i-1
(x,y)|
[0089]
上表面部分在叠层前后会出现像素灰度变化，当前后灰度差值的绝对值超过阈值t1时，认为该像素是新形成的叠层，并将该像素的灰度值设为255，不超过阈值t1的点设置为0，即认为是不变的像素，该过程可表示为：
[0090][0091]
其中，pi(x,y)为二值化图像坐标，pi(x,y)中灰度值为255的区域即可认为是新打印的叠层，其中连续的像素即可认为是叠层的轮廓。
[0092]
步骤s3.4判断叠层轮廓是否存在缺陷；
[0093]
根据步骤s1.2中得到的相机1参数，将二值化图像坐标pi(x,y)转换成世界坐标系下的坐标pi(xw,yw)，进而得到新叠层轮廓的尺寸；将其与gcode代码中对应叠层打印路径构成的图像si(xw,yw)轮廓采用最近点迭代进行配准，具体为：
[0094]
如图6所示，以图像si(xw,yw)的中心为原点，向周围均匀发出m条射线，每条射线与图像pi(xw,yw)和图像si(xw,yw)分别相交于点q
1m
(xw,yw)和q
2m
(xw,yw)上，计算q
1m
(xw,yw)和q
2m
(xw,yw)的欧式距离lm，设定轮廓偏差评价参数t
max
，将偏差总和∑lm与轮廓偏差评价参数t
max
相比较判断，保存当前叠层偏差总和ei＝∑lm，当偏差总和∑lm超过轮廓偏差评价参数t
max
时，即认为出现严重打印缺陷，提醒操作人员停止打印。
[0095]
步骤s3.5重复上述步骤直至打印结束，通过参考当前叠层偏差总和ei的大小操作人员即可得知打印件的成型情况。
[0096]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：
1.一种基于机器视觉的3d打印产品缺陷在线检测方法，其特征在于，包括以下步骤：步骤一、搭建检测装置并对检测装置进行位置调整；步骤二、生成打印件数字模型，并进行路径规划；步骤三、启动3d打印和缺陷检测；步骤s3.1上传gcode代码并启动打印；步骤s3.2检测3d打印机的打印喷头状态并采集图像；步骤s3.3提取表面图像轮廓；步骤s3.4判断叠层轮廓是否存在缺陷；步骤s3.5重复上述步骤直至打印结束，获取打印件成型情况。2.根据权利要求1所述的一种基于机器视觉的3d打印产品缺陷在线检测方法，其特征在于，步骤一中，所述检测装置包括：相机、台式机、第一蓝牙模块、光电开关传感器、微控制器、第二蓝牙模块、锂电池和电源管理模块；相机与台式机连接，台式机与第一蓝牙模块连接，光电开关传感器与微控制器连接，微控制器与第二蓝牙模块连接连接，电源管理模块分别与微控制器、第二蓝牙模块连接和锂电池连接，第一蓝牙模块和第二蓝牙模块通过无线通信连接。3.根据权利要求1所述的一种基于机器视觉的3d打印产品缺陷在线检测方法，其特征在于，步骤一的具体操作流程如下：步骤s1.1相机安装固定；将相机固定在靠近3d打印机的位置，保证在打印过程中相机始终能获取完整的打印件叠层图像；步骤s1.2标定相机内外参；将标定板放置在3d打印机内部打印工作台平面中心，采用张正友标定法标定相机内参，以3d打印机内部打印工作台平面为基准标定相机外参，建立世界坐标系；通过图像坐标(x,y)计算得到对应的打印件上的点在世界坐标系下的坐标(x
w
,y
w
)；步骤s1.3光电开关传感器安装；将光电开关传感器安装在3d打印机侧面，光电开关传感器与3d打印机之间的距离为d1，调整光电开关传感器的感应距离，确保3d打印机的打印喷头移动到指定的边缘位置时光电开关传感器能够检测到。4.根据权利要求1所述的一种基于机器视觉的3d打印产品缺陷在线检测方法，其特征在于，步骤二的具体操作流程如下：步骤s2.1生成3d打印的stl模型文件并切片；利用打印件数字模型数据生成stl模型文件，利用切片软件将打印件数字模型进行切片，得到切片文件；步骤s2.2生成并重新规划gcode代码；利用切片文件生成3d打印机能识别的gcode代码，在此基础上重新规划gcode代码，使每层打印结束后打印喷头运动到指定位置并暂时停留，以保证在打印过程中光电开关传感器能够检测到打印喷头，进而控制相机拍摄到完整的打印件叠层图像。5.根据权利要求1所述的一种基于机器视觉的3d打印产品缺陷在线检测方法，其特征在于，步骤s3.1的具体操作流程如下：
将gcode代码上传到3d打印机，控制相机拍摄未开始打印前的背景图像r0(x,y)，启动3d打印机开始进行打印。6.根据权利要求5所述的一种基于机器视觉的3d打印产品缺陷在线检测方法，其特征在于，步骤s3.2的具体操作流程如下：光电开关传感器检测打印喷头是否靠近，以此判断3d打印机是否完成了打印件数字模型的新一层打印，当光电开关传感器检测到打印喷头靠近时，微控制器采集到光电开关传感器输出信号的变化，并通过第二蓝牙模块向第一蓝牙模块发送拍照指令，当台式机通过第二蓝牙模块接收到第一蓝牙模块发送的拍照指令时，台式机控制相机拍摄一帧图像r
i
(x,y)。7.根据权利要求6所述的一种基于机器视觉的3d打印产品缺陷在线检测方法，其特征在于，步骤s3.3的具体操作流程如下：将第i帧图像r
i
(x,y)与第i-1帧图像r
i-1
(x,y)采用帧间差分法获得差分图像d
i
(x,y)，差分图像d
i
(x,y)可用相邻两帧图像像素灰度差的绝对值表示：d
i
(x,y)＝|r
i
(x,y)-r
i-1
(x,y)|上表面部分在叠层前后会出现像素灰度变化，当前后灰度差值的绝对值超过阈值t1时，认为该像素是新形成的叠层，并将该像素的灰度值设为255，不超过阈值t1的点设置为0，即认为是不变的像素，该过程表示为：p
i
(x,y)为二值化图像坐标，p
i
(x,y)中灰度值为255的区域为新打印的叠层，其中连续的像素为叠层的轮廓。8.根据权利要求7所述的一种基于机器视觉的3d打印产品缺陷在线检测方法，其特征在于，步骤s3.4的具体操作流程如下：根据相机参数，将二值化图像坐标p
i
(x,y)转换成世界坐标系下的坐标p
i
(x
w
,y
w
)，得到新叠层轮廓的尺寸，将其与gcode代码中对应叠层打印路径构成的图像s
i
(x
w
,y
w
)轮廓采用最近点迭代进行配准。9.根据权利要求8所述的一种基于机器视觉的3d打印产品缺陷在线检测方法，其特征在于，采用最近点迭代进行配准的具体操作步骤如下：以图像s
i
(x
w
,y
w
)的中心为原点，向周围均匀发出m条射线，每条射线与图像p
i
(x
w
,y
w
)和图像s
i
(x
w
,y
w
)分别相交于点q
1m
(x
w
,y
w
)和q
2m
(x
w
,y
w
)上，计算q
1m
(x
w
,y
w
)和q
2m
(x
w
,y
w
)的欧式距离l
m
，设定轮廓偏差评价参数t
max
，将偏差总和∑l
m
与轮廓偏差评价参数t
max
相比较判断，保存当前叠层偏差总和e
i
＝∑l
m
，当偏差总和∑l
m
超过轮廓偏差评价参数t
max
时，认为出现严重打印缺陷，提醒操作人员停止打印。10.根据权利要求9所述的一种基于机器视觉的3d打印产品缺陷在线检测方法，其特征在于，步骤s3.5中，通过参考当前叠层偏差总和e
i
的大小来获取打印件的成型情况。

技术总结
一种基于机器视觉的3D打印产品缺陷在线检测方法，属于3D打印在线检测领域，该方法包括：搭建检测装置并对检测装置进行位置调整；生成打印件数字模型，并进行路径规划；启动3D打印和缺陷检测：上传gcode代码并启动打印、检测3D打印机的打印喷头状态并采集图像、提取表面图像轮廓、判断叠层轮廓是否存在缺陷。本发明采用机器视觉在线检测3D打印过程，使打印偏差能尽早被发现，及时采取相应的停机操作，有效解决了3D打印可能出现的坍塌、层偏移等导致材料浪费的问题。本发明通过表面图像轮廓提取和叠层轮廓对比实现3D打印产品叠层缺陷的精细化识别，提高了检测精度。本发明普适性强，可面向多种型号3D打印机。面向多种型号3D打印机。面向多种型号3D打印机。


技术研发人员：闫钰锋 闫镜伊 潘国涛 贺国强 白素平 于信 才存良
受保护的技术使用者：长春理工大学
技术研发日：2023.04.18
技术公布日：2023/10/15