汽车灯具缺陷自动化检测方法与流程

1.本发明涉及汽车灯具生产的技术领域，尤其是一种汽车灯具缺陷自动化检测方法。


背景技术：

2.众所周知，在汽车灯具产品的生产过程中，会产生各种各样的质量缺陷，因此，在汽车灯具产品出厂之前，需要对其进行相应的质量缺陷检测。然而，有的质量缺陷会在品检环节被检出，有的质量缺陷则会被流入到市场才被发现。经对现场统计的汽车灯具产品质量缺陷类型进行统计，汽车灯具产品质量缺陷可分为如下几种：
3.1、重量异常：比如经常出现汽车灯具产品内遗留手套、螺丝等重量较大的部件；
4.2.尺寸异常：有些汽车灯具灯罩胶筋壁厚超标引发其它连锁质量问题；
5.3.外观异常：汽车灯具外观经常出现飞边、毛刺、光导暗斑、磕伤、划伤、断裂、开裂等人眼可察觉异常，但传统技术主要采用人眼观察，存在主观判断、标准不统一、人眼易疲劳及用工贵等问题。


技术实现要素：

6.本发明旨在至少解决现有技术中存在的技术问题之一。
7.为此，本发明提出一种汽车灯具缺陷自动化检测方法，全方位对汽车灯具所有常见缺陷进行自动识别筛查，全面消除质量隐患。
8.根据本发明实施例的汽车灯具缺陷自动化检测方法，包括以下步骤：
9.第1步骤、在汽车灯具质检流水线上进行质量缺陷检测：对生产出来的汽车灯具进行采样测量，并进行采样重量、尺寸及外观；
10.第2步骤、逐一对每种型号的汽车灯具标准件进行称重，并设置允许标准差范围；
11.第3步骤、逐一对每种型号的汽车灯具标准件局部关键尺寸进行测量，并设置允许标准差范围；
12.第4步骤、逐一对每种型号的汽车灯具标准件良品、残次品及残次品生产缺陷进行拍照，并得到相应的汽车灯具标准件良品图像、残次品图像以及残次品生产缺陷图像，随后对得到的图像进行收集、人工分类、标注，采用外观缺陷检测算法对图像进行预处理，roi感兴趣区识别，深度神经网络训练，标识分类缺陷类型，生成在线推理模型文件；
13.第5步骤、在线对所有生产的汽车灯具逐一进行缺陷检测：采用重量检测工装、工业相机测量工装以及机械臂视觉工装构成的流水线，且重量检测工装、工业相机测量工装以及机械臂视觉工装之间均由传送带进行连接，实现全数字化自动化缺陷检测。
14.本发明的有益效果是，分别从重量、尺寸及外观异常等多方面全方位对汽车灯具所有常见缺陷进行自动识别筛查，全面消除质量隐患。
15.根据本发明一个实施例，在第5步骤中，具体步骤如下：
16.第5.1步骤、带有重量传感器的传送设备进行重量异常检测：采用传送机构将汽车
灯具成品传送到重量检测工装，所述重量检测工装对汽车灯具进行精确称重，超出重量标准差范围的成品标记为次品，并剔除出传送带返工；
17.第5.2步骤、工业相机计算关键件尺寸并进行关键尺寸异常检测：工业相机测量工装对汽车灯具灯罩胶筋壁进行拍照，并精确测量灯罩胶筋壁厚，同时驱动plc控制剔除装置将超出胶筋壁厚标准差的汽车灯具成品标记剔除；
18.第5.3步骤、机械臂环绕拍照基于深度学习进行外观缺陷检测：由带有深度学习功能的机械臂视觉工装的机械臂探头进行缺陷检测，检测出各种外观缺陷。
19.根据本发明一个实施例，在第4步骤中，所述外观缺陷检测算法结合深度学习算法和传统图像特征提取算法，将传统图像特征提取算法的特征在模型的深层和浅层按通道进行拼接。
20.根据本发明一个实施例，所述深度学习算法采用resnet50作为主干backbone，然后将传统图像特征提取算法提取的特征在模型的深层和浅层按通道进行拼接。
21.根据本发明一个实施例，所述传统图像特征提取算法采用surf算子提取瑕疵图和模板图的特征点，再通过透视变换将瑕疵图和模板图对齐，最后差分得到传统图像特征。
22.根据本发明一个实施例，在第4步骤中，所述在线推理模型文件中的关键部件尺寸测量算法的步骤如下：
23.第4.1步骤、预处理：采用基于预处理滤镜的测量值的偏差进行评价的统计学方法，选择最佳的预处理滤镜；
24.第4.2步骤、投影处理：相对于检查方向进行垂直扫描，然后计算各投影线的平均浓度；
25.第4.3步骤、微分处理：根据投影波形进行微分处理；
26.第4.4步骤、校正：进行校正使微分绝对值达到100％；
27.第4.5步骤、亚像素处理：对于微分波形中峰值中心附近的3个像素，根据这3个像素形成的波形，进行修正演算，以1/100像素为单位测算边界位置进行亚像素处理。
28.根据本发明一个实施例，在第4步骤中，利用视觉检测系统，逐一对每种型号的汽车灯具标准件良品、残次品及残次品生产缺陷进行拍照。
29.根据本发明一个实施例，所述视觉检测系统的打光装置包括相机、第一光源和第二光源；所述相机、第一光源和第二光源均位于汽车灯具标准件的上方，且所述相机、第一光源和第二光源从上往下依次分布。
30.根据本发明一个实施例，所述第一光源为椭圆形结构，所述第二光源为方体结构，第二光源的数量为两个，两个第二光源镜像式分布，且两个第二光源呈八字形结构。
31.根据本发明一个实施例，所述相机镜头的轴线、第一光源的轴线以及八字形结构的轴线位于同一条竖直线上。
32.本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
33.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
34.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1是本发明汽车灯具缺陷自动化检测方法的流程图；
36.图2是本发明汽车灯具缺陷自动化检测方法的流水线；
37.图3是视觉检测系统的打光装置的结构示意图；
38.图4是在线推理模型文件中的关键部件尺寸测量算法的流程图；
39.图5是外观缺陷检测算法的流程图。
40.图中的标号为：1、重量检测工装；2、工业相机测量工装；3、机械臂视觉工装；4、相机；5、第一光源；6、第二光源。
具体实施方式
41.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.在本发明的描述中，需要理解的是，术语“一侧”、“另一侧”、“两侧”、“之间”、“中部”、“上端”、“下端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
43.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接，可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
44.下面参考附图具体描述本发明实施例的汽车灯具缺陷自动化检测方法。
45.见图1、图2、图3、图4和图5，本发明的一种汽车灯具缺陷自动化检测方法，包括以下步骤：
46.第1步骤、在汽车灯具质检流水线上进行质量缺陷检测：对生产出来的汽车灯具进行采样测量，并进行采样重量、尺寸及外观。
47.第2步骤、逐一对每种型号的汽车灯具标准件进行称重，并设置一定允许标准差范围；该允许标准差范围通过电脑输入设置。
48.第3步骤、逐一对每种型号的汽车灯具标准件局部关键尺寸进行测量，并设置一定允许标准差范围；该允许标准差范围通过电脑输入设置。
49.第4步骤、逐一对每种型号的汽车灯具标准件良品、残次品及残次品生产缺陷进行拍照，并得到相应的汽车灯具标准件良品图像、残次品图像以及残次品生产缺陷图像，随后对得到的图像进行收集、人工分类、标注，采用研发设计的深度学习系统，即采用外观缺陷检测算法对图像进行预处理，roi感兴趣区识别，深度神经网络训练，标识分类飞边、毛刺、
光导暗斑、磕伤、划伤、断裂、开裂等常规缺陷类型，生成在线推理模型文件；
50.第5步骤、在线对所有生产的汽车灯具逐一进行缺陷检测：采用重量检测工装1、工业相机测量工装2以及机械臂视觉工装3构成的流水线，且重量检测工装1、工业相机测量工装2以及机械臂视觉工装3之间均由传送带进行连接，实现全数字化自动化缺陷检测。
51.在第5步骤中，具体步骤如下：
52.第5.1步骤、带有重量传感器的传送设备进行重量异常检测：采用传送机构将汽车灯具成品传送到重量检测工装1，重量检测工装1对汽车灯具进行精确称重，超出重量标准差范围的成品标记为次品，并剔除出传送带返工；
53.第5.2步骤、工业相机计算关键件尺寸并进行关键尺寸异常检测：工业相机测量工装2对汽车灯具灯罩胶筋壁进行拍照，并精确测量灯罩胶筋壁厚，同时驱动plc控制剔除装置将超出胶筋壁厚标准差的汽车灯具成品标记剔除；
54.第5.3步骤、机械臂环绕拍照基于深度学习进行外观缺陷检测：由带有深度学习功能的机械臂视觉工装3的机械臂探头进行缺陷检测，检测出各种外观缺陷。
55.具体地，见图1和图2，本发明的汽车灯具缺陷自动化检测方法，主要采用以下方法进行：
①
首先，带有重量传感器的传送设备进行重量异常检测：采用安装有称重传感器的自动传送机构，将汽车灯具产品传送到下一道工序；同时称重传感器对汽车灯具产品进行精确称重，超出重量标准差范围的汽车灯具产品标记次品，并剔除出传送带返工。
②
然后，工业相机计算关键件尺寸并进行关键尺寸异常检测：下一道工序工装对汽车灯具产品进行固定，工装上方架设的工业相机对汽车灯具灯罩胶筋壁进行拍照，并精确测量灯罩胶筋壁厚，同时驱动plc控制剔除装置将超出胶筋壁厚标准差的汽车灯具产品标记剔除。
③
最后，机械臂环绕拍照基于深度学习进行外观缺陷检测：合格汽车灯具产品传送到最后环节，由带有深度学习功能的机械臂探头进行缺陷检测，检测出各种外观缺陷。此套方法与流程分别从重量、尺寸及外观异常等多方面全方位对车灯所有常见缺陷进行自动识别筛查，全面消除质量隐患。
56.在第4步骤中，外观缺陷检测算法结合深度学习算法和传统图像特征提取算法，将传统图像特征提取算法的特征在模型的深层和浅层按通道进行拼接。其中，外观缺陷检测算法提升工件表面瑕疵质检的效果和效率，降低对大量人工的依赖，并尽可能快且准确地给出疵点具体的位置和类别，该外观缺陷检测算法结合深度学习算法和传统图像特征提取算法的优势。
57.深度学习算法采用resnet50作为主干backbone，然后将传统图像特征提取算法提取的特征在模型的深层和浅层按通道进行拼接。其中，resnet是一种深度残差卷积神经网络，resnet50表示此网络的深度是50层，相对resnet101等具有适中的算力要求。在卷积神经网络中，backbone指的是网络的主干网络。
58.传统图像特征提取算法采用surf算子提取瑕疵图和模板图的特征点，再通过透视变换将瑕疵图和模板图对齐，最后差分得到传统图像特征。
59.在第4步骤中，在线推理模型文件中的关键部件尺寸测量算法的步骤如下：
60.第4.1步骤、预处理：采用基于预处理滤镜的测量值的偏差进行评价的统计学方法，选择最佳的预处理滤镜(均值、中值等)，以提高检查速度及检查效果。
61.第4.2步骤、投影处理：相对于检查方向进行垂直扫描，然后计算各投影线的平均
浓度，这样可以减少区域内噪点造成的检查错误。
62.第4.3步骤、微分处理：根据投影波形进行微分处理。可能成为边缘、浓淡变化较大的部位，其微分值也较大。
63.第4.4步骤、校正：为了使边缘达到稳定状态，进行校正使微分绝对值达到100％。将超过预设边缘感度的微分波形的峰值作为边缘位置。这样即使环境照度发生变化，也可以在内部以相同的条件进行检测，保持稳定的边缘检测效果。
64.第4.5步骤、亚像素处理：对于微分波形中峰值中心附近的3个像素，根据这3个像素形成的波形，进行修正演算。以1/100像素为单位测算边界位置进行压像素处理。
65.在第4步骤中，利用视觉检测系统，逐一对每种型号的汽车灯具标准件良品、残次品及残次品生产缺陷进行拍照。
66.光源是视觉检测系统不可或缺的组成部分，直接关系到成像质量。良好的照明方式可以凸显目标区域的特征。汽车灯具外观一般由塑料件和玻璃件组成，都具有一定的镜面反射效应，且被检工件尺寸宽度大，设计如图3所示的打光装置，照射面积大，光线集中且照射均匀，不会形成镜面反射。视觉检测系统的打光装置包括相机4、第一光源5和第二光源6；相机4、第一光源5和第二光源6均位于汽车灯具标准件的上方，且相机4、第一光源5和第二光源6从上往下依次分布。第一光源5为椭圆形结构，第二光源6为方体结构，第二光源6的数量为两个，两个第二光源6镜像式分布，且两个第二光源6呈八字形结构。相机4镜头的轴线、第一光源5的轴线以及八字形结构的轴线位于同一条竖直线上。
67.见图5，其中，fpn表示使用卷积神经网络构建特征金字塔，用于多尺度提取特征；cls表示分类算子；bboxs表示边界框回归；pool表示兴趣区池化算法；rpn表示用来提取目标候选框的网络。
68.本发明的汽车灯具缺陷自动化检测方法，分别从重量、尺寸及外观异常等多方面全方位对汽车灯具所有常见缺陷进行自动识别筛查，全面消除质量隐患。
69.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种汽车灯具缺陷自动化检测方法，其特征在于，包括以下步骤：第1步骤、在汽车灯具质检流水线上进行质量缺陷检测：对生产出来的汽车灯具进行采样测量，并进行采样重量、尺寸及外观；第2步骤、逐一对每种型号的汽车灯具标准件进行称重，并设置允许标准差范围；第3步骤、逐一对每种型号的汽车灯具标准件局部关键尺寸进行测量，并设置允许标准差范围；第4步骤、逐一对每种型号的汽车灯具标准件良品、残次品及残次品生产缺陷进行拍照，并得到相应的汽车灯具标准件良品图像、残次品图像以及残次品生产缺陷图像，随后对得到的图像进行收集、人工分类、标注，采用外观缺陷检测算法对图像进行预处理，roi感兴趣区识别，深度神经网络训练，标识分类缺陷类型，生成在线推理模型文件；第5步骤、在线对所有生产的汽车灯具逐一进行缺陷检测：采用重量检测工装(1)、工业相机测量工装(2)以及机械臂视觉工装(3)构成的流水线，且重量检测工装(1)、工业相机测量工装(2)以及机械臂视觉工装(3)之间均由传送带进行连接，实现全数字化自动化缺陷检测。2.根据权利要求1所述的汽车灯具缺陷自动化检测方法，其特征在于，在第5步骤中，具体步骤如下：第5.1步骤、带有重量传感器的传送设备进行重量异常检测：采用传送机构将汽车灯具成品传送到重量检测工装(1)，所述重量检测工装(1)对汽车灯具进行精确称重，超出重量标准差范围的成品标记为次品，并剔除出传送带返工；第5.2步骤、工业相机计算关键件尺寸并进行关键尺寸异常检测：工业相机测量工装(2)对汽车灯具灯罩胶筋壁进行拍照，并精确测量灯罩胶筋壁厚，同时驱动plc控制剔除装置将超出胶筋壁厚标准差的汽车灯具成品标记剔除；第5.3步骤、机械臂环绕拍照基于深度学习进行外观缺陷检测：由带有深度学习功能的机械臂视觉工装(3)的机械臂探头进行缺陷检测，检测出各种外观缺陷。3.根据权利要求1所述的汽车灯具缺陷自动化检测方法，其特征在于，在第4步骤中，所述外观缺陷检测算法结合深度学习算法和传统图像特征提取算法，将传统图像特征提取算法的特征在模型的深层和浅层按通道进行拼接。4.根据权利要求3所述的汽车灯具缺陷自动化检测方法，其特征在于，所述深度学习算法采用resnet50作为主干backbone，然后将传统图像特征提取算法提取的特征在模型的深层和浅层按通道进行拼接。5.根据权利要求3所述的汽车灯具缺陷自动化检测方法，其特征在于，所述传统图像特征提取算法采用surf算子提取瑕疵图和模板图的特征点，再通过透视变换将瑕疵图和模板图对齐，最后差分得到传统图像特征。6.根据权利要求1所述的汽车灯具缺陷自动化检测方法，其特征在于，在第4步骤中，所述在线推理模型文件中的关键部件尺寸测量算法的步骤如下：第4.1步骤、预处理：采用基于预处理滤镜的测量值的偏差进行评价的统计学方法，选择最佳的预处理滤镜；第4.2步骤、投影处理：相对于检查方向进行垂直扫描，然后计算各投影线的平均浓度；第4.3步骤、微分处理：根据投影波形进行微分处理；
第4.4步骤、校正：进行校正使微分绝对值达到100％；第4.5步骤、亚像素处理：对于微分波形中峰值中心附近的3个像素，根据这3个像素形成的波形，进行修正演算，以1/100像素为单位测算边界位置进行亚像素处理。7.根据权利要求1所述的汽车灯具缺陷自动化检测方法，其特征在于：在第4步骤中，利用视觉检测系统，逐一对每种型号的汽车灯具标准件良品、残次品及残次品生产缺陷进行拍照。8.根据权利要求7所述的汽车灯具缺陷自动化检测方法，其特征在于：所述视觉检测系统的打光装置包括相机(4)、第一光源(5)和第二光源(6)；所述相机(4)、第一光源(5)和第二光源(6)均位于汽车灯具标准件的上方，且所述相机(4)、第一光源(5)和第二光源(6)从上往下依次分布。9.根据权利要求8所述的汽车灯具缺陷自动化检测方法，其特征在于：所述第一光源(5)为椭圆形结构，所述第二光源(6)为方体结构，第二光源(6)的数量为两个，两个第二光源(6)镜像式分布，且两个第二光源(6)呈八字形结构。10.根据权利要求9所述的汽车灯具缺陷自动化检测方法，其特征在于：所述相机(4)镜头的轴线、第一光源(5)的轴线以及八字形结构的轴线位于同一条竖直线上。

技术总结
本发明公开了一种汽车灯具缺陷自动化检测方法，在汽车灯具质检流水线上进行质量缺陷检测：对生产出来的汽车灯具进行采样测量，并进行采样重量、尺寸及外观；逐一对每种型号的车灯标准件进行称重；逐一对每种型号的车灯标准件局部关键尺寸进行测量；逐一对每种型号的车灯标准件良品、残次品及残次品生产缺陷进行拍照，采用外观缺陷检测算法对图像进行预处理，ROI感兴趣区识别，深度神经网络训练，标识分类缺陷类型，生成在线推理模型文件；在线对所有生产的车灯逐一进行缺陷检测。该方法分别从重量、尺寸及外观异常等多方面全方位对车灯所有常见缺陷进行自动识别筛查，全面消除质量隐患。隐患。隐患。


技术研发人员：陈凤华
受保护的技术使用者：常州星宇车灯股份有限公司
技术研发日：2023.05.25
技术公布日：2023/8/13