用于焊线和其他电子部件封装设备的智能图案识别系统及相关方法与流程

用于焊线和其他电子部件封装设备的智能图案识别系统及相关方法
1.相关申请的交叉引用
2.本技术要求获得2021年1月15日提交的美国临时申请no.63/138,377的权益，该美国临时申请的内容通过引用而被纳入本文。
技术领域
3.本发明涉及用于电子部件封装设备的智能图案识别系统和方法，且更特别地，涉及改进的用于焊线的图案识别系统和方法。


背景技术：

4.在半导体装置或其他装置的加工和封装中，可以利用各种设备零件。例如，传统的半导体封装方法涉及到贴片工艺(例如，在裸片焊合机上，也被已知为贴片机)，然后是焊线工艺(例如，在焊线机上，如楔焊机或球焊机)。在其他示例中，也可以使用先进的封装设备(例如，热压焊合机、倒装芯片焊合机等)。
5.与此类设备相关，通常使用图案识别系统。例如，在贴片工艺中，在将裸片贴附至基板之前，可以使用图案识别系统来确保正确的放置。同样，在焊线工艺中形成线材焊合部之前，图案识别系统也可用于确保线材焊合部的正确放置。示例性的图案识别系统利用成像系统(其中示例性的成像系统是相机，或包括相机)和计算机上的图像处理软件。
6.不幸的是，传统的图案识别系统和方法是低效和繁琐的。经常地，如果关于图案识别系统没有出现可接受的匹配水平，那么底层电子部件封装系统的操作就会中断，以便操作者能够进行调整。
7.因此，期望的是提供改进的图案识别系统和方法。


技术实现要素：

8.根据本发明的示例性实施例，提供了一种对电子装置封装机的图案识别系统进行操作的方法。该方法包括以下步骤：(a)使用图像采集配方对电子装置封装机上的工件的一部分进行成像；(b)利用与来自步骤(a)的图像相关的图案识别配方来确定是否出现可接受的匹配水平；以及(c)如果在步骤(b)中没有出现可接受的匹配水平，则自动改变(i)图像采集配方和(ii)图案识别配方中至少之一的至少一个参数。
9.根据本发明的另一个示例性实施例，提供了一种电子装置封装机的图案识别系统。该图案识别系统包括：成像系统，用于使用图像采集配方对电子装置封装机上的工件的一部分进行成像；控制系统，用于控制成像系统；以及计算机，其被配置为利用与来自成像系统的图像相关的图案识别配方来确定是否出现可接受的匹配水平。如果通过计算机没有与图案识别配方有关地出现可接受的匹配水平，则计算机改变(i)图像采集配方和(ii)图案识别配方中至少之一的至少一个参数。
10.根据本发明的又一个示例性实施例，提供了一种焊线系统。该焊线系统包括：用于
在焊线操作期间支撑工件的支撑结构；承载焊线工具的焊头组件；以及图案识别系统。该图案识别系统包括：成像系统，用于使用图像采集配方对工件的一部分进行成像；控制系统，用于控制成像系统；以及计算机，其被配置为利用与来自成像系统的图像相关的图案识别配方来确定是否出现可接受的匹配水平。如果通过计算机没有与图案识别配方有关地出现可接受的匹配水平，则计算机改变(a)图像采集配方和(b)图案识别配方中至少之一的至少一个参数。
11.根据本发明的又一个示例性实施例，提供了一种对电子装置封装机的图案识别系统进行操作的方法。该方法包括以下步骤：(a)使用图像采集配方对电子装置封装机上的工件的一部分进行成像；以及(b)利用与来自步骤(a)的图像相关的图案识别配方来确定是否出现可接受的匹配水平。图像采集配方和图案识别配方中的每一个都是存储在与电子装置封装机相关的存储器中的多个配方之一。
附图说明
12.当结合附图阅读时，从下面的详细描述中可以最好地理解本发明。需要强调的是，根据通常的做法，附图中的各种特征不是按比例绘制的。相反，为了清楚起见，各种特征的尺寸被任意扩大或缩小。附图中包括以下视图：
13.图1是根据本发明示例性实施例的电子部件封装系统的方框侧视图；
14.图2是根据本发明示例性实施例的焊线机的方框侧视图；
15.图3a至图3c是工件靶标标记图像的俯视框图，有助于解释本发明的各种示例性实施例；以及
16.图4至图6是说明根据各种示例性实施例对电子装置封装机的图案识别系统进行操作的各种方法的流程图。
具体实施方式
17.根据本发明的特定示例性实施例，提供了智能机器视觉图案识别系统(例如，电子装置封装机的图案识别系统)和方法(例如，对电子装置封装机的图案识别系统进行操作的方法)。这种智能机器视觉图案识别系统和方法能够在预定的范围内改变设置(例如，参数)。也就是说，为了减少因机器视觉图案识别失败而导致的停机时间，机器视觉设置(例如，图像采集配方的参数、图案识别配方的参数等)在预定范围内自动改变，以增加识别成功率。
18.更具体地说，在本发明的特定示例性实施例中，一旦先前的图案识别配方(和/或图像采集配方)在尝试中失败，多个参数(例如，光线亮度、包括滤光器在内的图像预处理、相机图像采集设置等)将被自动调整，并在预定的限度内尝试，以增加图案识别成功率。
19.在参数调整导致图案识别成功率改善的情况下(例如，可接受的匹配水平、合格分数等)，调整后的参数排列(例如，新配方，或调整的/“新”配方)可用作为下一次同类图案匹配操作的起点(或作为参数的替代排列供将来使用)。如果调整后的排列没有实现图案识别成功，则操作者可能需要手动协助进行参数调整(例如，手动调整的配方)，其中该手动调整的配方可用作为下一个同类图案匹配操作的起点(或作为参数的替代排列供将来使用)。
20.根据本发明的特定示例性实施例，可以记录与成功和失败的参数集(例如，配方)
有关的统计数据，以供将来使用(例如，使用机器学习算法进行评估和优化)。图案识别系统包括(i)成像硬件(相机、光学元件、发光器、滤光器、透镜、反射镜等)，以及(ii)用于进行图案识别的图像处理软件。
21.根据本发明的各方面，配方(例如，图像采集配方、图案识别配方等)包括多个成像变量/参数。这种变量/参数可以包括：(i)与成像系统有关的多个参数(例如，与光线、曝光、强度、聚焦等有关的参数)，以及(ii)多个图像处理参数(例如，与图案匹配、软件调整如抑制有关的参数和预处理参数)。
22.根据本发明的各方面，可接受的匹配水平应是本领域技术人员所理解的。例如，可接受的匹配水平可以通过比较(a)来自采集的图像(例如，由成像系统拍摄的)的图案与(b)参考图案(例如，来自先前教导的图像的参考图案、来自参考图像的图案、来自合成图像的图案等)来确定。检测是否出现可接受的匹配水平的其他示例性方面包括利用分数(例如，合格分数、不合格分数等)、阈值等。
23.一旦出现可接受的匹配水平(例如，与工件上的一个或多个靶标标记有关)，就可以进行给定的电子装置封装机的操作。例如，在贴片机上，在可接受的匹配水平下，一个或多个半导体裸片可以被贴附至工件。在另一个示例中，在焊线机上，在可接受的匹配水平下，一个或多个线环可以被焊合至工件。
24.正如本领域技术人员所理解的那样，可接受的匹配水平可能由于多种原因而无法出现。例如，由成像系统提供的图像可能无法使用现有的图像采集配方和/或现有的图案识别配方进行识别。通过改变与迭代过程有关的(一个或两个配方的)一个或多个参数，可以出现可接受的匹配水平。
25.如本文所用，术语“图像采集配方”涉及多个参数/设置，所述参数/设置与图像采集过程和/或成像系统有关(和/或与之相关使用)，以采集图像。与图像采集过程和/或成像系统相关的多个参数/设置的示例包括：(i)成像系统的一个或多个发光参数(例如，照明亮度、曝光时间、相机增益和光线颜色)；(ii)成像系统的一个或多个光学参数；(iii)成像系统的一个或多个位置参数；以及(iv)与成像系统相关的一个或多个部件参数。
26.如本文所用，术语“图案识别配方”涉及与图案识别过程相关使用的多个参数/设置。与图案识别过程相关使用的多个参数/设置的示例包括多个图像处理参数。多个图像处理参数包括图像过滤参数、图像分辨率参数、与图案匹配有关的参数以及与确定匹配程度有关的参数中的至少之一。
27.现在参考附图，在图1中，图示了电子部件封装机100(例如，半导体封装机、贴片机、焊线机、热压焊合机、倒装芯片焊合机、取放机、激光焊接机等)。电子部件封装机100包括：头顶组件106(例如，焊头组件)；图案识别系统102；以及支撑结构114(图示为对工件116进行支撑)。图案识别系统102包括：成像系统108，用于使用图像采集配方对工件116的一部分进行成像；控制系统110，用于控制成像系统108；以及计算机112，其被配置为利用与来自成像系统108的图像有关的图案识别配方以确定是否出现可接受的匹配水平。
28.在图2中，图示了焊线机200。焊线机200包括焊头组件206、焊线工具218、支撑结构214(图示为对工件216进行支撑)、以及图案识别系统202。图案识别系统202包括：成像系统208(用于使用图像采集配方对工件216的一部分进行成像)；控制系统210(用于控制成像系统208)；以及计算机212(其被配置为利用与来自成像系统208的图像有关的图案识别配方
来确定是否出现可接受的匹配水平)。成像系统208被图示为将光线208a发射至工件216的一部分，与使用图像获取配方的成像步骤有关(例如，见图4、图5或图6的步骤402、502或602)。当对工件216的该部分成像时，检测到靶标图像(例如，图3a、图3b和图3c的靶标图像322a、322b、322c)并用于确定在继续操作焊线机200之前是否已经出现了可接受的匹配水平。
29.现在参考图3a至图3c，说明了各种发光曝光的靶标图像。图3a说明了视场320a内的靶标图像322a被“过度曝光”(即，光线太亮)。图3b说明在视场320b内具有可接受的曝光/发光水平的靶标图像322b。图3c说明了在视场320c内的靶标图像322c被“曝光不足”(即，光线太暗)。
30.图4至图6是说明对电子装置封装机的图案识别系统进行操作的各种方法的流程图。正如本领域技术人员所理解的那样，流程图中包括的特定步骤可以省略；可以增加特定附加的步骤；并且步骤的顺序可以从图示的顺序中改变，所有这些都在本发明的范围之内。
31.现在参考图4，在步骤400，成像系统(例如，见图1中的成像系统108，图2中的成像系统208)被移动到对工件(例如，见图1中的工件116，图2中的工件216)的一部分成像的位置。在步骤402，使用图像采集配方对电子装置封装机上的工件的该部分(例如，工件上的靶标标记)进行成像。在步骤404，利用与来自步骤402的图像相关的图案识别配方来确定是否出现可接受的匹配水平。在步骤406，确定匹配程度是否可以接受。如果匹配水平是可接受的，则在步骤408中继续操作(例如，自动模式)。如果匹配程度不可接受，则在步骤410确定是否已经尝试了最大数量的操作。如果已经尝试了最大数量的操作，则在步骤412停止自动模式(例如，操作者干预)。如果没有尝试最大数量的操作，则在步骤414改变图像采集配方和图案识别配方的至少之一中的参数(例如，在给定配方中提供的范围内改变参数)。然后使用改变的参数重复步骤402和404。在重复的步骤406，确定匹配程度是否可以接受。如果匹配程度可以接受，则在步骤416将新图像采集配方和/或新图案识别配方保存到存储器中(并可用作为机器上的新起始配方)；然后在步骤408继续操作(例如，自动模式)。如果匹配是不可接受的，则在步骤410确定是否已经尝试了最大数量的操作。然后重复步骤414、402、404、406和410，直至步骤406或410得到满足。
32.现在参考图5，在步骤500，成像系统(例如，见图1中的成像系统108，图2中的成像系统208)被移动到对工件的一部分(例如，见图1中的工件116，图2中的工件216)进行成像的位置。在步骤502，使用来自配方库的图像采集配方(或另一个图像采集配方)对电子装置封装机上的工件的该部分(例如，工件上的靶标标记)进行成像。例如，配方库可以包括多个图像采集配方和/或多个图案识别配方。在步骤502中使用的初始图像采集配方(以及在步骤504中使用的初始图案识别配方)可以基于一些优先级标准来选择。例如，在步骤504中更有可能(例如，基于过去的经验)导致可接受的匹配水平的配方可以优先于配方库中的其他配方。
33.在步骤504，与来自步骤502的图像相关地利用来自配方库的图案识别配方(或另一个图案识别配方)，以确定是否出现可接受的匹配水平。在步骤506，确定匹配程度是否可以接受。如果匹配程度可以接受，则在步骤508中继续操作(例如，自动模式)。如果匹配程度不可接受，则在步骤510中确定是否已经尝试了最大数量的操作。如果已经尝试了最大数量的操作，则在步骤512停止自动模式(例如，操作者干预)。如果没有尝试最大操作数量，则在
步骤514从配方库中选择另一个图像采集配方和另一个图案识别配方中的至少一个。另一个配方(例如，另一个图像采集配方和/或另一个图案识别配方)可以在步骤514中根据一些优先级标准来选择。例如，更有可能(例如，基于过去的经验)导致可接受的匹配水平的配方可以优先于配方库中的其他配方。
34.在步骤514选择了另一个(些)配方后，然后使用来自配方库的另一个图像采集配方和另一个图案识别配方中的至少之一重复步骤502和504。在重复的步骤506，确定匹配水平是否可以接受。如果匹配水平可以接受，则然后在步骤508中继续操作(例如，自动模式)。如果匹配程度不可接受，则在步骤510确定是否已经尝试了最大数量的操作。然后重复步骤514、502、504、506和510，直至步骤506或510得到满足。
35.现在参考图6，在步骤600，成像系统(例如，见图1中的成像系统108，图2中的成像系统208)被移动到对工件的一部分(例如，见图1中的工件116，图2中的工件216)进行成像的位置。在步骤602，使用来自配方库的图像采集配方(或另一个图像采集配方)对电子装置封装机上的工件的该部分(例如，工件上的靶标标记)进行成像。在步骤604，与来自步骤602的图像相关地利用来自配方库的图案识别配方(或另一个图案识别配方)，以确定是否出现可接受的匹配水平。在步骤606，确定匹配水平是否可以接受。如果匹配程度可以接受，则在步骤608中继续操作(例如，自动模式)。如果匹配程度不可接受，则在步骤610确定是否已经尝试了最大数量的操作。如果已经尝试了最大数量的操作，则在步骤612停止自动模式(例如，操作者干预)。如果没有尝试最大数量的操作，则在步骤614确定是否应改变参数和/或应选择另一个配方。这一确定可以使用软件(例如，智能算法)进行。例如，在试用了来自配方库的一定数量的配方后，可以改变配方的一个或多个参数。在另一个示例中，在现有配方的一个或多个参数被改变后，可以从配方库中选择不同的配方。
36.此外，与确定是否应改变参数和/或应选择另一个配方相关地，可进行附加的考虑。历史数据(例如，以直方图或类似形式)可用于基于不同配方在特定设备零件(例如，特定的焊线机)上的历史合格率(例如，可接受的匹配水平)对所述不同配方进行优先排序。例如，具有最高合格率的配方可以被第一优先考虑。用户可以选择是否：(i)改变当前配方的参数；(ii)选择另一个配方；(iii)在改变其中一个配方之前，首先尝试库中的所有配方；等等。在另一个示例中，关于是否改变现有配方(通过改变一个或多个参数)或尝试库中的新配方的决定，也可以通过计算匹配程度失败的量(例如，分数)来进行。与如果数量/分数不在预定的公差范围内则使用来自库的新配方不同的是，如果数量/分数在预定的公差范围内，则可以利用对参数(例如，图像采集参数或图案识别参数)的轻微改变。
37.如果要选择另一个配方，在步骤616，从配方库中选择另一个图像采集配方和另一个图案识别配方中的至少之一。如果确定应该改变参数，在步骤618，改变图像采集配方和图案识别配方中至少之一的参数(例如，在给定配方中提供的范围内改变该参数)。然后使用改变的参数和/或另一个配方重复步骤602和604。在重复的步骤606，确定匹配程度是否可以接受。如果匹配程度可以接受，则在步骤620将新图像采集配方和/或新图案识别配方保存到存储器中(如果适用)(并可用作为机器上的新起始配方)。如果匹配程度不可接受，则在步骤610确定是否已经尝试了最大数量的操作。然后重复步骤614、602、604、606和610，直至步骤606或610得到满足。
38.虽然在此参照具体的实施例对本发明进行了说明和描述，但本发明并非旨在局限
于所示的细节。而是，在权利要求的范围和等价物范围内以及在不背离本发明的情况下，可以对细节进行各种修改。

技术特征：
1.一种对电子装置封装机的图案识别系统进行操作的方法，所述方法包括以下步骤：(a)使用图像采集配方对电子装置封装机上的工件的一部分进行成像；(b)利用与来自步骤(a)的图像有关的图案识别配方，确定是否出现可接受的匹配水平；以及(c)如果在步骤(b)中没有出现可接受的匹配水平，则自动改变(i)图像采集配方和(ii)图案识别配方中至少之一的至少一个参数。2.根据权利要求1所述的方法，其中所述电子装置封装机是半导体封装机。3.根据权利要求2所述的方法，其中所述半导体封装机选自由焊线机、贴片机、热压焊合机、倒装芯片焊合机和激光焊接机构成的组。4.根据权利要求2所述的方法，其中所述半导体封装机是焊线机。5.根据权利要求1所述的方法，其中所述工件的所述部分包括工件的靶标标记。6.根据权利要求1所述的方法，其中所述图案识别系统包括成像系统、用于控制所述成像系统的控制系统、以及计算机。7.根据权利要求6所述的方法，其中所述图像采集配方包括与所述成像系统有关的多个参数。8.根据权利要求7所述的方法，其中与所述成像系统有关的多个参数包括以下至少之一：(i)成像系统的一个或多个发光参数，(ii)成像系统的一个或多个光学参数，(iii)成像系统的一个或多个位置参数，以及(iv)与成像系统有关的一个或多个部件参数。9.根据权利要求8所述的方法，其中所述一个或多个发光参数包括照明亮度、曝光时间、相机增益和光线颜色中的至少之一。10.根据权利要求6所述的方法，其中所述图案识别配方包括与步骤(b)相关使用的多个图像处理参数。11.根据权利要求10所述的方法，其中所述多个图像处理参数包括图像过滤参数、图像分辨率参数、与图案匹配有关的参数以及与确定与步骤(b)相关匹配水平有关的参数中的至少之一。12.根据权利要求1所述的方法，其中步骤(c)中至少一个参数的改变导致(i)新图像采集配方和(ii)新图案识别配方中的至少之一。13.根据权利要求1所述的方法，其中在步骤(c)之后，使用新图像采集配方和新图案识别配方中的至少之一、包括在步骤(c)中改变的至少一个参数重复步骤(a)和步骤(b)。14.根据权利要求13所述的方法，其中如果重复步骤(b)导致可接受的匹配水平，则新图像采集配方和新图案识别配方中的至少之一被保存到存储器中。15.根据权利要求1所述的方法，其中重复步骤(a)至步骤(c)，直至步骤(b)导致可接受的匹配水平。16.根据权利要求1所述的方法，其中图案识别配方和图像采集配方被包含在库中，所述库包含存储在与电子装置封装机有关的存储器中的多个配方。17.根据权利要求16所述的方法，其中，如果基于步骤(b)没有出现可接受的匹配水平，则选择存储在存储器中的多个配方中的另一个配方，并且在步骤(c)之前使用所述多个配方中的另一个配方重复步骤(a)和步骤(b)。18.一种电子装置封装机的图案识别系统，所述图案识别系统包括：
成像系统，用于使用图像采集配方对电子装置封装机上的工件的一部分进行成像；控制系统，用于控制所述成像系统；以及计算机，其被配置为利用与来自成像系统的图像有关的图案识别配方，以确定是否出现可接受的匹配水平，如果通过计算机没有与图案识别配方有关地出现可接受的匹配水平，则计算机改变(i)图像采集配方和(ii)图案识别配方中至少之一的至少一个参数。19.根据权利要求18所述的图案识别系统，其中所述电子装置封装机是半导体封装机。20.根据权利要求19所述的图案识别系统，其中所述半导体封装机选自由焊线机、贴片机、热压焊合机和倒装芯片焊合机构成的组。21.根据权利要求19所述的图案识别系统，其中所述半导体封装机是焊线机。22.根据权利要求18所述的图案识别系统，其中所述工件的所述部分包括工件的靶标标记。23.根据权利要求18所述的图案识别系统，其中所述图像采集配方包括与所述成像系统有关的多个参数。24.根据权利要求23所述的图案识别系统，其中与所述成像系统有关的多个参数包括以下至少之一：(i)成像系统的一个或多个发光参数，(ii)成像系统的一个或多个光学参数，(iii)成像系统的一个或多个位置参数，以及(iv)与成像系统有关的一个或多个部件参数。25.根据权利要求24所述的图案识别系统，其中所述一个或多个发光参数包括照明亮度、曝光时间、相机增益和光线颜色中的至少之一。26.根据权利要求18所述的图案识别系统，其中所述图像采集配方包括多个图像处理参数。27.根据权利要求18所述的图案识别系统，其中通过所述计算机改变至少一个参数导致(i)新图像采集配方和(ii)新图案识别配方中的至少之一。28.根据权利要求18所述的图案识别系统，其中使用新图像采集配方和新图案识别配方中的至少之一、包括改变的至少一个参数重复对所述工件的所述部分进行成像。29.根据权利要求28所述的图案识别系统，其中如果所述计算机确定使用新图案识别和新图像采集配方中的至少之一出现可接受的匹配水平，则新图案识别配方和新图像采集配方中的至少之一被保存到存储器中。30.根据权利要求18所述的图案识别系统，其中对所述工件的所述部分进行成像和通过计算机对图案识别配方的利用被重复进行，直至所述计算机确定出现可接受的匹配水平。31.根据权利要求18所述的图案识别系统，其中图像采集配方和图案识别配方中的至少之一是存储在与所述图案识别系统有关的存储器中的多个配方之一。32.根据权利要求31所述的图案识别系统，其中，如果没有出现可接受的匹配水平，则选择存储在存储器中的多个配方中的另一个配方，并且使用所述多个配方中的另一个配方重复对成像部分的成像和由计算机利用的图案匹配。33.一种焊线系统，包括：用于在焊线操作中支撑工件的支撑结构；承载焊线工具的焊头组件；以及
图案识别系统，包括：(i)成像系统，用于使用图像采集配方对所述工件的一部分进行成像；(ii)控制系统，用于控制所述成像系统；以及(iii)计算机，其被配置为利用与来自成像系统的图像有关的图案识别配方，以确定是否出现可接受的匹配水平，如果通过计算机没有与图案识别配方有关地出现可接受的匹配水平，则计算机改变(a)图像采集配方和(b)图案识别配方中至少之一的至少一个参数。34.一种对电子装置封装机的图案识别系统进行操作的方法，所述方法包括以下步骤：(a)使用图像采集配方对电子装置封装机上的工件的一部分进行成像；(b)利用与来自步骤(a)的图像有关的图案识别配方，以确定是否出现可接受的匹配水平；其中图像采集配方和图案识别配方中的每一个都是存储在与电子装置封装机有关的存储器中的多个配方之一。35.根据权利要求34所述的方法，其中所述图像采集配方是基于优先级标准选择在步骤(a)中使用的。36.根据权利要求34所述的方法，其中所述多个配方是基于优先级标准按顺序利用的。37.根据权利要求34所述的方法，进一步包括如下步骤：如果在步骤(b)中没有出现可接受的匹配水平，则自动改变图像采集配方和图案识别配方中至少之一的至少一个参数。38.根据权利要求34所述的方法，其中如果在步骤(b)中没有出现可接受的匹配水平，则作出选择(i)用多个配方中的另一个配方重复步骤(a)至步骤(b)，或者(ii)自动改变图像采集配方和图案识别配方中至少之一的至少一个参数。

技术总结
提供了一种对电子装置封装机的图案识别系统进行操作的方法。该方法包括以下步骤：(a)使用图像采集配方对电子装置封装机上的工件的一部分进行成像；(b)利用与来自步骤(a)的图像相关的图案识别配方来确定是否出现可接受的匹配水平；以及(c)如果在步骤(b)中没有出现可接受的匹配水平，则自动改变(i)图像采集配方和(ii)图案识别配方中至少之一的至少一个参数。参数。


技术研发人员：P
受保护的技术使用者：库利克和索夫工业公司
技术研发日：2022.02.17
技术公布日：2023/10/11