一种MiniLED背光面板颗粒的视觉定位和匹配方法与流程

一种miniled背光面板颗粒的视觉定位和匹配方法
技术领域
1.本发明涉及miniled面板缺陷检测技术领域，具体是一种miniled背光面板颗粒的视觉定位和匹配方法。


背景技术：

2.为了达到更好的显示效果，miniled背光面板上的独立点亮分区正在快速增长，背光面板上的的颗粒数也从0.1k/片逐渐增长到10k/片的数量级，呈指数型增长。单纯靠显微镜辅助人工进行检测已远远达不到miniled背光面板的产能，因此，基于机器视觉的高速、精确自动检查机已经在miniled背光面板的产线上大量被应用。
3.miniled背光面板的视觉检测中，80％以上的检测内容集中在led颗粒和ic颗粒上。而miniled背光面板上led/ic颗粒的尺寸远小于颗粒间距，所以fov图像上有效检测区通常只占整张图像的不到10％。为了提高检测效率，各检测段的检测算法只需要对颗粒及周边小范围区域进行检测即可，因此提前对led和ic颗粒进行视觉定位是十分必要的。
4.而miniled背光面板的各种视觉检测设备，使用的是大靶面面阵相机或线扫相机，每张fov图像上存在几颗到几百颗的led和ic颗粒。由于设备机构制造和标定的误差，导致图像上颗粒的真实坐标和计算得到的理论坐标存在偏移，所以在对颗粒进行视觉定位之后，还需要将每个颗粒的定位结果坐标和理论坐标进行匹配，才能进行到下一步的检测流程中。
5.现有的定位及匹配方法存在以下缺陷：使用大幅面相机对miniled背光面板上的奇数列和偶数列灯珠分别进行扫描拍摄，每次扫描仅可处理1列灯珠的图像，效率较低。


技术实现要素：

6.本发明的目的在于提供一种miniled背光面板颗粒的视觉定位和匹配方法，以解决上述背景技术中提出的问题。
7.为实现上述目的，本发明提供如下技术方案：
8.一种miniled背光面板颗粒的视觉定位和匹配方法，包括以下步骤：
9.s1：获取fov图像数据流；
10.s2：图像分割：对于获取的图像信息，将图象上的每个像素根据灰度值进行标记，并依据所述标记提取目标像素区域；
11.s3：轮廓筛选：根据s2中提取的目标像素区域形成的轮廓，对所述轮廓进行筛选，通过筛选后的轮廓截取固定尺寸的局部图像，并记录所述局部图象左上点在fov图像上的基准坐标；
12.s4：获得精准坐标：在s3得到的多个局部图像上，分别使用标准形状模板进行搜索，得到颗粒在局部图像上的亚像素级坐标，叠加所述基准坐标后，得出颗粒在整张fov图像上的检测坐标；
13.s5：空间匹配：获取所有颗粒在fov图像中的理论坐标，寻找检测坐标中的中心点
颗粒坐标，确定所述理论坐标与所述中心点颗粒坐标的最佳偏移量，根据最佳偏移量实现检测坐标与理论坐标的匹配。
14.作为本发明进一步的方案：在所述步骤s1之前，还包括图像预处理，对所述fov原图上的每个像素，计算其蓝通道灰度值与红通道灰度值之差，并将该差值赋值到预处理图像上的同坐标像素。
15.作为本发明进一步的方案：所述步骤s2中，将图象上的每个像素根据灰度值进行标记，并依据所述标记提取目标像素区域，还包括：
16.对于预处理图像上的每个像素，记其灰度值为g，计算每个像素周围nxn个像素的灰度均值，记为gavg，如果g-gavg》阈值1，将该像素标记为255；否则将该像素标记为0，标记为255的区域为所述目标像素区域。
17.作为本发明进一步的方案：步骤s3中，对所述轮廓进行筛选，通过筛选后的轮廓截取固定尺寸的局部图像，还包括：
18.设置轮廓长、宽的上限阈值和下限阈值以限定待筛选的目标轮廓范围，计算s2中标记出的每个轮廓的最小外接矩形，当所述轮廓的最小外接矩形位于所述目标轮廓范围之内时，将该轮廓筛选出来，并计算其中心点坐标，然后在fov图像上以该中心点为中心，截取固定尺寸的所述局部图像。
19.作为本发明进一步的方案：所述步骤s5中，寻找检测坐标中的中心点颗粒坐标，还包括，计算所有检测坐标的x均值和y均值，得到检测坐标的平均中心点；所述中心点颗粒坐标为所述检测坐标中距离所述平均中心点最近的颗粒坐标。
20.作为本发明进一步的方案：所述步骤s5中，确定所述理论坐标与所述中心点颗粒坐标的最佳偏移量，还包括：在理论坐标中寻找距离所述中心点颗粒坐标小于阈值1的多个第一理论坐标，计算每个第一理论坐标与中心点颗粒坐标之间的第一偏移量；将每个所述第一偏移量叠加到所述检测坐标上，得到多组偏移后的第一检测坐标；在理论坐标中寻找距离多组所述第一检测坐标最近的点位并获取多个第二偏移量，所述最佳偏移量为第二偏移量中最小值所对应的第一偏移量。
21.作为本发明进一步的方案：所述步骤s5中，根据最佳偏移量实现检测坐标与理论坐标的匹配，还包括：所述最佳偏移量对应的所述第一检测坐标表征为最佳点位坐标，在理论坐标中寻找距离所述最佳点位坐标最近的点位作为最终匹配的理论点位。
22.与现有技术相比，本发明的有益效果是：
23.1、本发明的miniled背光面板颗粒的视觉定位和匹配方法，通过对fov图像信息根据灰度值进行提取，并对提取的轮廓进行筛选后截取固定尺寸的局部图像，根据局部图像上的基准坐标与通过标准形状模型搜索得到的颗粒的亚象素级坐标进行累加，以得出颗粒的检测坐标，再由检测坐标中的中心点坐标确定与理论坐标之间的最佳偏移量，通过最佳偏移量实现理论坐标的匹配，从而提高后续aoi检测效率：由于提前进行颗粒定位，使得后续aoi检查功能仅对颗粒周围进行检测即可。检测面积可以降低50％～90％，检测算法耗时可以降低几何倍率。
24.2、减少处理量，节省磁盘空间：由于提前进行颗粒定位，使得后续aoi检查设备仅存储颗粒周围图像即可。磁盘占用空间可以降低50％～90％。
25.3、避免颗粒序号串号的风险：由于本方案可以将定位结果和颗粒序号一一匹配，
使得后续aoi检查功能检测到ng颗粒并将结果传送给rework(维修)工站时，rework工站可以准确定位到ng的颗粒坐标并进行维修，这样可以减少rework工站维修时搜索颗粒所耗费的时间。
附图说明
26.图1为miniled背光面板颗粒的视觉定位和匹配方法的流程图；
27.图2为step1预处理后的效果图；
28.图3为step4中基于形状的轮廓匹配示意图；
29.图4为step5空间匹配算法流程图；
30.图5为step5空间匹配算法结果图；
具体实施方式
31.为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
32.请参阅图1，本实施例，一种miniled背光面板颗粒的视觉定位和匹配方法，包括以下步骤：
33.step0.从相机获取图像数据流，暂存到计算机内存中。
34.step1.图像预处理：
35.参阅图2，对于彩色fov原图上的每个像素，计算其蓝通道灰度值与红通道灰度值之差，并将该差值赋值到预处理图像上的同坐标像素。
36.step2.图像分割：
37.对于预处理图像上的每个像素，记其灰度值为g，计算每个像素周围nxn个像素的灰度均值，记为gavg。如果g-gavg》阈值1，将该像素标记为255；否则将该像素标记为0。标记为255的区域为要提取的颗粒区域。通过该步骤，使预处理图像中偏差较大的(即g-gavg大于阈值1)的像素进行标记，实现目标像素区域的提取。
38.step3.轮廓筛选：
39.设置轮廓长、宽的上限阈值和下限阈值，该轮廓长、宽的上限阈值和下限阈值限定了待筛选的目标轮廓范围。计算step2中标记出的每个轮廓的最小外接矩形，该最小外接矩形的长和宽记为对应轮廓的长和宽。当最小外接矩形的长处于上下限阈值之间，并且其宽度处于上下限阈值之间时，即该轮廓的最小外接矩形位于所述目标轮廓范围之内时，将该轮廓筛选出来，并计算其中心点坐标。然后在fov图像上以该中心点为中心，截取固定尺寸的局部图像。同时记录所述局部图像左上点在fov图像上的基准坐标(x_local,y_local)。这一步的目的是尽量减少背景干扰带来的错误筛选。
40.step4.获得精准坐标：
41.参阅图3，在step3得到的多个局部图像上，分别使用标准形状模板进行搜索，得到颗粒在局部图像上的亚像素级坐标(x_shape,y_shape)。叠加step3中的局部图像左上角点的基准坐标(x_local,y_local)后，即为颗粒在整张fov图像上的检测坐标，记作pt_s＝(x_shape+x_local,y_shape+y_local)。
42.参阅图4-5，step5.空间匹配，包括以下步骤：
43.s51.将所有颗粒在fov图象上的理论坐标记作记作pt_t1、pt_t2...；
44.s52.根据step4得到fov图像上所有颗粒的检测坐标，记作pt_s1、pt_s2...；
45.s53.计算所有检测坐标pt_s的x均值和y均值，得到检测坐标pt_s的平均中心点，记作pt_s_c；
46.s54.在检测坐标pt_s中寻找距离平均中心点pt_s_c最近的中心点颗粒坐标，记为pt_s_x；
47.s55.在理论坐标pt_t中寻找距离中心点颗粒坐标pt_s_x《阈值1的多个第一理论坐标pt_t’，该第一理论坐标pt_t’对应的颗粒与上述中心点颗粒距离较近，即理论坐标中位于中心点颗粒周围的多个颗粒对应的理论坐标。每个第一理论坐标pt_t’与中心点颗粒坐标pt_s_x之间存在第一偏移量offset，并计算得到对应的多个第一偏移量offset1、offset2...；
48.s56.逐个使用s55中得到的第一偏移量offset，叠加到检测坐标pt_s上，得到多组偏移后的第一检测坐标pt_s’。对每组第一检测坐标pt_s’，在理论坐标pt_t中寻找距离该第一检测坐标pt_s’最近的点位，该最近点位与对应的第一检测坐标pt_s’之间存在第二偏移量，记作distotal。对于每组第一检测坐标pt_s’，都会得到一个第二偏移量distotal。选取第二偏移量distotal中最小值所对应的第一偏移量offset作为最佳偏移量offset_best。该最佳偏移量即为图像上颗粒的真实坐标到理论坐标的整体偏移；
49.s57.将step4得到fov图像上所有颗粒的检测坐标pt_s，叠加s56中得到的最佳偏移量offset_best，得到最佳点位坐标pt_s_b。即该最佳偏移量offset_best对应的第一检测坐标pt_s’表征为最佳点位坐标pt_s_b。
50.对于每个最佳点位坐标pt_s_b，在理论坐标pt_t中寻找距离它最近的点位作为最终与之匹配的理论点位，完成匹配。
51.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
或“包含
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。
52.尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

技术特征：
1.一种miniled背光面板颗粒的视觉定位和匹配方法，其特征在于：包括以下步骤：s1：获取fov图像数据流；s2：图像分割：对于获取的图像信息，将图象上的每个像素根据灰度值进行标记，并依据所述标记提取目标像素区域；s3：轮廓筛选：根据s2中提取的目标像素区域形成的轮廓，对所述轮廓进行筛选，通过筛选后的轮廓截取固定尺寸的局部图像，并记录所述局部图象左上点在fov图像上的基准坐标；s4：获得精准坐标：在s3得到的多个局部图像上，分别使用标准形状模板进行搜索，得到颗粒在局部图像上的亚像素级坐标，叠加所述基准坐标后，得出颗粒在整张fov图像上的检测坐标；s5：空间匹配：获取所有颗粒在fov图像中的理论坐标，寻找检测坐标中的中心点颗粒坐标，确定所述理论坐标与所述中心点颗粒坐标的最佳偏移量，根据最佳偏移量实现检测坐标与理论坐标的匹配。2.根据权利要求1所述的miniled背光面板颗粒的视觉定位和匹配方法，其特征在于：在所述步骤s1之前，还包括图像预处理，对所述fov原图上的每个像素，计算其蓝通道灰度值与红通道灰度值之差，并将该差值赋值到预处理图像上的同坐标像素。3.根据权利要求1所述的miniled背光面板颗粒的视觉定位和匹配方法，其特征在于：所述步骤s2中，将图象上的每个像素根据灰度值进行标记，并依据所述标记提取目标像素区域，还包括：对于预处理图像上的每个像素，记其灰度值为g，计算每个像素周围nxn个像素的灰度均值，记为gavg，如果g-gavg>阈值1，将该像素标记为255；否则将该像素标记为0，标记为255的区域为所述目标像素区域。4.根据权利要求1所述的miniled背光面板颗粒的视觉定位和匹配方法，其特征在于：步骤s3中，对所述轮廓进行筛选，通过筛选后的轮廓截取固定尺寸的局部图像，还包括：设置轮廓长、宽的上限阈值和下限阈值以限定待筛选的目标轮廓范围，计算s2中标记出的每个轮廓的最小外接矩形，当所述轮廓的最小外接矩形位于所述目标轮廓范围之内时，将该轮廓筛选出来，并计算其中心点坐标，然后在fov图像上以该中心点为中心，截取固定尺寸的所述局部图像。5.根据权利要求1所述的miniled背光面板颗粒的视觉定位和匹配方法，其特征在于：所述步骤s5中，寻找检测坐标中的中心点颗粒坐标，还包括，计算所有检测坐标的x均值和y均值，得到检测坐标的平均中心点；所述中心点颗粒坐标为所述检测坐标中距离所述平均中心点最近的颗粒坐标。6.根据权利要求1所述的miniled背光面板颗粒的视觉定位和匹配方法，其特征在于：所述步骤s5中，确定所述理论坐标与所述中心点颗粒坐标的最佳偏移量，还包括：在理论坐标中寻找距离所述中心点颗粒坐标小于阈值1的多个第一理论坐标，计算每个第一理论坐标与中心点颗粒坐标之间的第一偏移量；将每个所述第一偏移量叠加到所述检测坐标上，得到多组偏移后的第一检测坐标；在理论坐标中寻找距离多组所述第一检测坐标最近的点位并获取多个第二偏移量，所述最佳偏移量为第二偏移量中最小值所对应的第一偏移量。7.根据权利要求6所述的miniled背光面板颗粒的视觉定位和匹配方法，其特征在于：
所述步骤s5中，根据最佳偏移量实现检测坐标与理论坐标的匹配，还包括：所述最佳偏移量对应的所述第一检测坐标表征为最佳点位坐标，在理论坐标中寻找距离所述最佳点位坐标最近的点位作为最终匹配的理论点位。

技术总结
本发明公开了一种MiniLED背光面板颗粒的视觉定位和匹配方法，包括以下步骤：S1：获取FOV图像数据流；S2：图像分割：对于获取的图像信息，将图象上的每个像素根据灰度值进行标记，并依据所述标记提取目标像素区域；S3：轮廓筛选：根据S2中提取的目标像素区域形成的轮廓，对所述轮廓进行筛选，通过筛选后的轮廓截取固定尺寸的局部图像，并记录所述局部图象左上点在FOV图像上的基准坐标；S4：获得精准坐标：在S3得到的多个局部图像上，分别使用标准形状模板进行搜索，得到颗粒在局部图像上的亚像素级坐标，叠加所述基准坐标后，得出颗粒在整张FOV图像上的检测坐标；S5：空间匹配：获取所有颗粒在FOV图像中的理论坐标，寻找检测坐标中的中心点颗粒坐标。标中的中心点颗粒坐标。标中的中心点颗粒坐标。


技术研发人员：修浩然
受保护的技术使用者：合肥欣奕华智能机器股份有限公司
技术研发日：2023.05.11
技术公布日：2023/8/9