一种汽车冲压件缺陷检测系统及方法与流程

1.本发明涉及缺陷检测技术领域，特别是指一种汽车冲压件缺陷检测系统及方法。


背景技术：

2.在汽车冲压成型过程中，由于模具配合、振动等因素，冲压件表面可能出现起皱、畸变、局部凹陷和凸起等缺陷，导致形状误差较大，甚至成为废品。
3.传统的检测方法包括目视检测、触摸检测、油石打磨、涂油检测和检具检测等，但这些方法存在效率低、结果不可靠、质量跟踪困难和数字化集成难等问题。
4.目前应用机器视觉检对冲压件表面缺陷进行检测，在效率和精度上具有明显优势，一方面可以能克服人工检测的视觉疲劳问题，适用于大批量生产的冲压工艺产品表面缺陷检测。
5.但因为冲压件表面光滑特征点较少，使得构建冲压件的三维模型成为一项难题。为了获得足够的特征点，即使采用复杂的光学检测系统，也很难达到理想效果。同时，冲压件表面缺陷的形态和位置多种多样，受到振动、模具配合等因素的影响，使得其表面缺陷检测难度较大。传统的静态检测方式无法满足生产节拍的要求，因此动态检测方式更为适用。但即使采用动态检测方式，仍然需要解决诸如图像模糊、运动伪影等技术问题，以确保准确地检测表面缺陷。因此，如何提高冲压件检测精度且不影响生产节拍，是汽车制造业中的一项重要挑战。


技术实现要素：

6.本发明实施例提供了一种汽车冲压件缺陷检测系统及方法，能够检测传送带上运行的冲压件表面是否存在缺陷。所述技术方案如下：一方面，一种汽车冲压件检测方法，包括以下步骤：s100向冲压件表面投射具有唯一标识的编码光斑；s200采集冲压件运行过程中，通过双目摄像头从不同视角采集到的同一编码光斑图像；s300对采集得到的图像进行非一致性运动模糊去除：所述非一致性运动模糊去除是在数学分析其解的性质基础上，将传统数学正则化方法与深度学习方法相结合，构建非一致模糊图像深度复原网络drnfnb，以实时高精度复原在拍摄运动冲压件时产生的非一致模糊图像；s400超分辨率重建处理：针对采集运动冲压件图像序列化的特有优势，构建深度卷积网络lsrdcnn，其以稀疏流形相似图像作为输入，用于冲压件图像的超分重建，提高图像分辨率，提升细小缺陷的检出率；s500特征算法提取：特征算法提取：特征算法提取使用的是基于卷积神经网络的特征提取方法，以识别冲压件表面的缺陷类型；s600根据编码光斑在不同视角下的视差信息，构建三维模型；
s700使用深度复原网络drnfnb进行表面缺陷检测。
7.优选的是，所述s100中，所述唯一标识编码光斑由数字投影仪投影，为十字型光斑，横、竖均有10个像素，每个像素均为rgb 3通道，共有319个十字型光斑。
8.优选的是，在s300中，所述非一致模糊图像深度复原网络drnfnb使用的深度学习方法是卷积神经网络，该网络包括一个输入层、若干隐藏层和一个输出层。
9.优选的是，所述隐藏层包括一层卷积层、一层激活层和一层池化层，其中，卷积层用于实现卷积运算，激活层用于实现非线性转换，池化层用于实现特征降维。
10.优选的是，所述s500中，所述缺陷类型包括点特征缺陷和线特征缺陷，针对点特征缺陷的各向同性构建多尺度稀疏基底，针对线特征缺陷的各向异性构建多尺度几何分析基底，达到增强缺陷特征的目的，提高缺陷检测的精度。
11.优选的是，所述s600中，构建三维模型的方法是利用双目立体视觉原理，通过编码光斑在不同视角下的视差信息，计算出冲压件表面的深度信息。
12.优选的是，所述s700中，利用经过s300训练后的drnfnb网络作为特征提取，将drnfnb网络中的卷积特征提取部分结构和权重参数整合入表面检测网络模型中；在drnfnb输出的高纬度特征图上，添加全连接层或者卷积块设计分类区域；表面检测网络输入为图像块，输出每个像素的多分类概率；冻结drnfnb中特征层参数，仅更新表面检测网络中的分类部分参数；使用s500提供的缺陷图像及标签进行训练和验证；训练后对新图像进行像素级表面缺陷检测与定位；将检测结果在s600三维模型上标记输出。
13.另一方面，一种汽车冲压件检测系统，包括：双目视觉设备、编码设备、图像预处理模块、三维建模模块、缺陷检测模块。
14.优选的是，所述双目视觉设备包括左摄像头和右摄像头，所述左、右摄像头通过安装支架对称安装在传送带上方。
15.优选的是，所述编码设备为数字投影仪，所述数字投影仪安装在左、右摄像头的中轴线上，所述数字投影仪发射的十字型光斑，横竖均有10个像素，每个像素均为rgb 3通道，共有319种十字光斑。
16.优选的是，还包括数据收集与分析模块，用于收集冲压件的检测数据并进行统计分析。
17.本发明实施例提供的技术方案带来的有益效果至少包括：本发明通过采集唯一编码光斑的双目视觉图像构建汽车冲压件三维模型；通过drnfnb网络对图像进行运动模糊去除处理，提升图像质量，通过lsrdcnn实现图像超分辨率重建，进一步提升分辨率和缺陷信息表达能力，基于处理后的图像，提出多尺度特征提取方法获取丰富的缺陷特征信息，为后续缺陷提供精确的定位。能获取够构建传送工序中的汽车冲压件的高质量的三维信息，提高缺陷检测的准确性。
18.利用构建三维模型，设计深度学习检测网络提取缺陷特征，最终检测结果再标注到三维模型上，完成缺陷类型分类和位置整体判断输出。该检测系统可以实现对冲压件的实时检测，且不用静止检测，不影响生产节拍，有助于提高生产效率。
附图说明
19.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使
用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1是本发明提供的一种汽车冲压件缺陷检测方法整体流程图。
21.图2是图1中步骤500的具体实施流程图。
22.图3是图1中步骤600的具体实施流程图。
实施方式
23.为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
24.如图1所示，一种汽车冲压件检测方法，包括以下步骤：步骤s100 向冲压件表面投射具有唯一标识的编码光斑。
25.具体为，所述唯一标识的编码光斑，随时间变化的空间编码，可采用数字投影仪投射一系列顺序变化的编码光图形，如编码圆形或条形码等，每个编码光图形的位置和形状随时间改变，但保持唯一对应关系，以提供三维重建需要的特征点。
26.值得说明的是，唯一标识的编码光斑可以通过数字投影仪（如dlp数字光处理器）投影，该投影仪使用微型镜子阵列（dmd）来控制图像的生成，通过设计一个适当的图像模板，并将其投影在目标表面上，可以实现所需的特定像素和通道数量特征型光斑。本发明优选的是十字型光斑，横、竖均有10个像素，每个像素均为rgb 3通道，共有3
19
次方种十字型光斑，保证一定时间区域内投影到汽车冲压件表面的光斑都是唯一的，简洁便于识别。利于双目视采集十字光斑构建三维模型，有效解决了冲压件表面光滑，自身特征较少，无法有效构建三维模型问题，编码光斑投影提供了冲压件表面特征点，是后续三维视觉分析的基础，对整个三维建模和检测是非常关键的第一步。
27.步骤s200采集冲压件运行过程中，通过双目摄像头从不同视角采集到的同一编码光斑图像。
28.具体为，使用双目摄像头采集图像在冲压件运行过程中持续拍摄，采集同一编码光斑在不同视角下的图像，得到多视角的图像，不同视角的图像为构建三维模型提供了深度信息，为后续三维建模与检测算法提供了关键的图像输入源。
29.s300对采集得到的图像进行非一致性运动模糊去除。
30.所述非一致性运动模糊去除是在数学分析其解的性质基础上，将传统数学正则化方法与深度学习方法相结合，构建非一致模糊图像深度复原网络drnfnb，以实时高精度复原在拍摄运动冲压件时产生的非一致模糊图像。
31.特别是，在移动式冲压件检测中，采集图像通常存在严重的非一致模糊问题，这将极大降低后续检测工作的效果。通过s300步骤实现的高精度非一致模糊去除，能够有效消除该影响，为后续步骤提供清晰良好的输入参考图像。尤其是采用了drnfnb网络及其多模块 设计，能够针对不同区域的模糊模式进行精细处理，大幅提升去模糊效果。优化后的清晰图像可以显著提升三维重建、深度学习检测等后续步骤的性能，助推整体检测精度。
32.s400超分辨率重建处理。
33.特别是，针对采集运动冲压件图像序列化的特有优势，构建深度卷积网络
lsrdcnn，其以稀疏流形相似图像作为输入，用于冲压件图像的超分重建，提高图像分辨率，提升细小缺陷的检出率。
34.值得说明的是，针对采集运动冲压件图像序列化的特有优势，结合局部线性流形学习和卷积神经网络思想，构建了基于深度卷积神经网络的lsrdcnn模型。
35.lsrdcnn模型首先通过lle算法实现图像的稀疏表达，提取图像序列间局部流形结构，是整个方法流程中的重要链接，决定后续检测工作的效果水平。
36.s500特征算法提取。
37.特别是，针对点特征缺陷的各向同性构建多尺度稀疏基底，针对线特征缺陷的各向异性构建多尺度几何分析基底，达到增强缺陷特征的目的，提高缺陷检测的精度；值得说明的是，如图2所示，其具体步骤为：s510收集大量标注好的冲压件图像与对应的缺陷位置和类型数据，作为特征学习的训练样本；s520对训练图像进行预处理，如标准化、裁剪等，提取图像块用于学习；s530对点状缺陷图像块，采用mrbm神经网络进行无监督学习，提取多层稀疏表征；s540对线性缺陷图像块，采用卷积自动编码器网络进行无监督学习，提取各尺度几何分布特征；s550将学习得到的特征库与缺陷类型标记相对应保存；s560对新图像利用预训练好的特征提取网络提取全量特征；s570特征匹配分类器，如svm，判断新图像特征属于何种缺陷类型。
38.s600根据编码光斑在不同视角下的视差信息，构建三维模型。
39.如图3所示，步骤s610对不同视角下的编码光斑图像进行特征提取，利用sift算法提取每个视角下光斑区域的关键点和描述符特征；步骤s620将不同视角下提取的特征点进行匹配，利用描述符距离得到特征点对之间的对应关系；步骤s630根据立体视觉原理，计算特征点对内视差关系，即两个视角下同一光斑关键点在图像平面上坐标的差值；步骤s640利用视差－基线法则，通过单个视差和两相机间基线距离，推断出关键点在三维空间中的z坐标；步骤s650对所有特征点重复上述计算，获得它们在三维坐标系中的空间位置；步骤s660将三维坐标连接成三维形状，初步还原物体表面几何结构；步骤680输出三维表面模型数据，提供给后续检测步骤使用。
40.s700使用卷积神经网络进行表面缺陷检测。
41.具体为，所述s700中，利用经过s300训练后的drnfnb网络作为特征提取；在drnfnb输出的特征图上，添加全连接层设计分类器；使用s500提供的缺陷图像及标签进行训练和验证；训练后对新图像进行像素级表面缺陷检测与定位；将检测结果在s600三维模型上标记输出。
42.值得说明的是，drnfnb在去模糊任务中已经学习到深度特征表达能力，将带给检测网络比较强大的初始特征；可以避免过拟合：检测网络只需要学习如何将特征投影到缺陷分类空间，而不必从零开始学习表达特征，降低过拟合风险；提升训练速度。检测网络部分参数由drnfnb初始化，在首次训练时特征部分几乎不用学习，能更快收敛到好结果。
43.另一方面，一种汽车冲压件检测方法，包括：双目视觉设备、编码设备、图像预处理模块、三维建模模块和缺陷检测模块。
44.所述双目视觉设备包括左右对称安装的两个摄像头，将两个摄像头安装在固定的支架上，确保摄像头之间的距离和角度保持稳定，进行摄像头内外参数标定，以获取摄像头的焦距、畸变参数、旋转矩阵和平移矩阵等信息，这些参数对于后续的图像匹配和三维重建
非常重要，为了保证图像匹配的准确性，需要确保两个摄像头的图像采集是同步的，这可以通过硬件触发或者软件同步的方式实现。
45.所述编码设备为数字投影仪，所述数字投影仪安装在左、右摄像头的中轴线上，所述数字投影仪发射的十字型光斑，横竖均有10个像素，每个像素均为rgb 3通道，共有3
19
种十字光斑；所述图像预处理模块用于去除拍摄图像中的运动模糊、进行流行学习稀疏表达和超分辨率重建；所述三维建模模块，根据编码光斑在不同视角下的视差信息，构建三维模型。
46.所述缺陷检测模块，可实现数据集构建、模型融合、环境仿真、标注反馈。
47.进一步，所述报警处理模块包括：声光报警器和/或生产线控制模块；声光报警器用于在检测到缺陷时发出声音和光线信号；生产线控制模块用于在检测到缺陷时暂停或调整生产线操作，当检测到冲压件存在缺陷时，报警处理模块可以立即触发声光报警器发出声音和光线信号，提醒操作人员注意。同时，生产线控制模块可以暂停或调整生产线操作，防止有缺陷的冲压件继续流入下一道工序。
48.进一步，所述控制系统还包括数据收集与分析模块，用于收集冲压件的检测数据并进行统计分析，以便了解生产过程中的缺陷分布和发生趋势，进而优化生产工艺和提高生产质量，这个模块负责收集冲压件的检测数据，进行统计分析，以了解生产过程中的缺陷分布和发生趋势。这有助于企业优化生产工艺，提高生产质量，并确保产品的可靠性和安全性。
49.进一步，为了提升本系统实用性，所述控制系统还包括远程监控与诊断模块，允许用户通过网络远程访问系统，实时查看冲压件检测情况，同时支持对系统进行远程诊断和维护，通过网络远程访问系统，用户可以实时查看冲压件的检测情况，获取生产过程的第一手信息。同时，这个模块支持对系统进行远程诊断和维护，提高设备的使用率和可维护性。
50.进一步，提升本系统的可操作性，所述控制系统具有人机交互界面，方便操作人员对系统进行设置、调试和操作，人机交互界面方便操作人员对系统进行设置、调试和操作，使得系统更加易用。这样的界面可以采用触摸屏或其他显示设备实现，提供直观的操作指引。
51.进一步，提升本系统的实用性，所述系统还包括一个或多个自动分拣装置，用于在检测到冲压件表面存在缺陷时，自动将有缺陷的冲压件从生产线上分拣出来，自动分拣装置可以在检测到冲压件表面存在缺陷时，自动将有缺陷的冲压件从生产线上分拣出来，确保缺陷产品不会流入下一道工序，降低废品率。
52.进一步，所述系统可与其他生产线设备和信息系统进行集成，实现整个生产过程的智能化和自动化管理，将冲压件检测系统与其他生产线设备和信息系统进行集成，可以实现整个生产过程的智能化和自动化管理。这有助于提高生产效率，降低人工成本，同时确保产品质量的稳定性。
53.综上，本发明通过采集唯一编码光斑的双目视觉图像构建汽车冲压件三维模型；通过drnfnb网络对图像进行运动模糊去除处理，提升图像质量；通过lsrdcnn实现图像超分辨率重建，进一步提升分辨率和缺陷信息表达能力；基于处理后的图像，提出多尺度特征提取方法获取丰富的缺陷特征表达信息，为后续缺陷提供精确的分析及定位；利用提取的缺
陷特征，以及构建三维模型，设计深度学习检测网络进行自动检测，最终检测结果再标注到三维模型上，完成缺陷类型和位置整体判断输出。本发明实现了对冲压件缺陷的高准确性、实时性和自动化检测，有助于推动汽车制造行业的质量控制和自动化水平。
54.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种汽车冲压件检测方法，其特征在于，包括以下步骤：s100向冲压件表面投射具有唯一标识的编码光斑；s200采集冲压件运行过程中，通过双目摄像头从不同视角采集到的同一编码光斑图像；s300对采集得到的图像进行非一致性运动模糊去除：所述非一致性运动模糊去除是在数学分析其解的性质基础上，将传统数学正则化方法与深度学习方法相结合，构建非一致模糊图像深度复原网络drnfnb，以实时高精度复原在拍摄运动冲压件时产生的非一致模糊图像；s400超分辨率重建处理：针对采集运动冲压件图像序列化的特有优势，构建深度卷积网络lsrdcnn，其以稀疏流形相似图像作为输入，用于冲压件图像的超分重建，提高图像分辨率，提升细小缺陷的检出率；s500特征算法提取：特征算法提取使用的是基于卷积神经网络的特征提取方法，以识别冲压件表面的缺陷类型；s600根据编码光斑在不同视角下的视差信息，构建三维模型；s700使用深度复原网络drnfnb进行表面缺陷检测。2.根据权利要求1所述的方法，其特征在于，所述s100中，所述唯一标识编码光斑由数字投影仪投影，为十字型光斑，横、竖均有10个像素，每个像素均为rgb 3通道，共有3
19
种十字型光斑。3.根据权利要求1所述的方法，其特征在于，在s300中，所述非一致模糊图像深度复原网络drnfnb使用的深度学习方法是卷积神经网络，该网络包括一个输入层、若干隐藏层和一个输出层。4.根据权利要求1所述的方法，其特征在于，所述s500中，所述缺陷类型包括点特征缺陷和线特征缺陷，针对点特征缺陷的各向同性构建多尺度稀疏基底，针对线特征缺陷的各向异性构建多尺度几何分析基底，达到增强缺陷特征的目的，提高缺陷检测的精度。5.根据权利要求1所述的方法，其特征在于，所述s600中，构建三维模型的方法是利用双目立体视觉原理，通过编码光斑在不同视角下的视差信息，计算出冲压件表面的深度信息。6.根据权利要求1所述的方法，其特征在于，所述s700中，利用经过s300训练后的drnfnb网络作为特征提取；将drnfnb输出的特征图上，添加全连接层设计分类器；使用s500提供的缺陷图像及标签进行训练和验证；训练后对新图像进行像素级表面缺陷检测与定位；将检测结果在s600三维模型上标记输出。7.根据权利要求1-6所述的任一方法的汽车冲压件检测系统，其特征在于，包括：双目视觉设备、编码设备、图像预处理模块、三维建模模块、缺陷检测模块。8.根据权利要求7所述的检测系统，其特征在于，所述双目视觉设备包括左摄像头和右摄像头，所述左、右摄像头通过安装支架对称安装在传送带上方。9.根据权利要求7所述的检测系统，其特征在于，所述编码设备为数字投影仪，所述数字投影仪安装在左、右摄像头的中轴线上，所述数字投影仪发射的十字型光斑，横竖均有10个像素，每个像素均为rgb 3通道，共有3
19
种十字光斑。10.根据权利要求7所述的检测系统，其特征在于，还包括数据收集与分析模块，用于收
集冲压件的检测数据并进行统计分析。

技术总结
一种汽车冲压件缺陷检测系统及方法，属于缺陷检测技术领域。本发明通过采集唯一编码光斑的双目视觉图像构建汽车冲压件三维模型；通过DRNFNB网络对图像进行运动模糊去除处理，提升图像质量；通过LSRDCNN实现图像超分辨率重建，进一步提升分辨率和缺陷信息表达能力；基于处理后的图像，提出多尺度特征提取方法获取丰富的缺陷特征表达信息，为后续缺陷提供精确的分析及定位；利用提取的缺陷特征，以及构建三维模型，设计深度学习检测网络进行自动检测，最终检测结果再标注到三维模型上，完成缺陷类型和位置整体判断输出。本发明实现了对冲压件缺陷的高准确性、实时性和自动化检测，有助于推动汽车制造行业的质量控制和自动化水平。平。平。


技术研发人员：王云峰 石光耀
受保护的技术使用者：易启科技（吉林省）有限公司
技术研发日：2023.08.29
技术公布日：2023/10/8