一种芯片识别方法和拾取系统

1.本发明涉及固晶设备技术领域，尤其是涉及一种芯片识别方法和拾取系统。
技术背景
2.随着信息技术、通信、医疗和汽车等行业的不断发展，对半导体产品的需求不断增加。同时，随着技术的不断发展，半导体产品的制造工艺也在不断升级。我国半导体产业正在飞速发展，而封装技术则是影响半导体产业发展的非常重要的一个环节。芯片作为封装环节的原料，只有快速的并且选择符合规格的芯片贴装才能保证固晶设备的固晶质量。目前的取片方式是通过相机拍照，每次只识别少量的几颗(cn202111607965.3)，每一次识别只吸取一颗芯片，需要吸嘴重复的来回动作，且也需要相机不断拍照，实时移动料盘，且可能导致移动到的区域并不一定有符合规格的芯片，因此浪费了时间，降低了贴装效率。


技术实现要素：

3.本发明针对以上指出的不足，提出了一种芯片识别方法和拾取系统。
4.本发明至少通过如下技术方案之一实现。
5.一种芯片识别方法，包括以下步骤：
6.摄像模块获取料盘图像并将料盘图像信息上传至计算机；
7.预设模块从获取的料盘图像中选取最优芯片图像，并将选取的最优芯片图像作为预设模板；
8.计算机提取料盘内其他芯片的图像信息并计算；
9.将料盘上的其他芯片图像与作为预设模板的芯片图像进行对比，判断芯片是否符合规格，若符合规格，则将芯片标记为待拾取芯片，若不符合规格，则自动忽略。
10.进一步地，获取料盘图像为料盘的整体图像或局部图像，所述图像信息包括芯片的图像信息。
11.进一步地，摄像模块进行拍照，将图像上传至计算机的图像处理模块进行处理，确定图像包括原点和x、y方向的坐标系。
12.进一步地，选取最优芯片图像包括以下步骤：
13.在图像中芯片最密集的区域，选取多幅芯片图像形成图像集，所述图像集里面包括n个芯片的图像，n》＝1；
14.选取最佳图像：对图像集中的每个图像投影标准差进行判定，投影标准差最小的即为最佳图像；
15.在最佳图像中计算图像中每个芯片的面积，去掉最大面积和最小面积额芯片图像，芯片面积最接近平均面积的将作为最优芯片模板，并将其设置为预设模板图像；
16.计算预设模板图像信息，包括：芯片的面积、形状、颜色、边缘、纹理、长、宽、亮暗程度、灰度其中的一种或多种信息。
17.进一步地，按照坐标轴的方向依次提取芯片的图像信息，所述图像信息为芯片的
面积、形状、颜色、边缘、纹理、长、宽、亮暗程度、灰度其中的一种或多种信息。
18.进一步地，逐个比对料盘内芯片图像信息与预设模板的芯片图像信息，具体包括以下步骤：
19.按照x坐标轴方向或y坐标轴方向逐个比对芯片图像信息与预设模板的图像信息；逐个比对图像信息与预设模板的信息包括：形状比对、颜色比对、长和宽比对、亮暗比对灰度比对，若两者信息符合，则将芯片标记为待拾取芯片，并计算待拾取芯片的坐标(x，y)为待识取位置；当沿着x、y轴都识别完毕，获得芯片料盘图像内所有的待拾取芯片和待拾取芯片位置。
20.进一步地，在获得料盘图像内所有的符合标准的待拾取芯片位置后，按照计算的待拾取位置坐标逐个拾取对应的芯片。
21.进一步地，从料盘上拾取芯片的步骤为：移动吸嘴首先按照x坐标值从小到大的顺序依次拾取芯片；若y轴方向上有连续两个或以上芯片具有相同大小的x坐标值的待取芯片,则对x坐标值相同的芯片再按照y坐标值从小到大的顺序依次向上拾取,直至拾取到y轴方向上没有芯片，此时吸嘴会继续按照x坐标值从小到大顺序取片，但凡遇到y轴方向上有相同x坐标值待取芯片，都会朝y轴方向行进，从而进入循环。
22.进一步地，移动吸嘴按照y坐标值从小到大的顺序依次拾取芯片；若x轴方向上有连续两个或以上芯片具有相同大小的y坐标值的待取芯片,则对y坐标值大小相同的芯片再按照x坐标值从小到大的顺序依次拾取,直至拾取到x轴方向没有待拾取芯片或者直至x轴方向已到达料盘尽头，开始朝y轴方向行进，从而进入循环。
23.实现所述的芯片识别方法的拾取系统，包括
24.摄像模块：用于对料盘的图像拍照，并将图像发送至计算机图像处理模块；
25.识别模块：计算机识别摄像模块的图像，提取图像特征；
26.分析对比模块：分析图像信息，计算图像特征，并进行与预设模板对比，分析相似度；
27.拾取模块：将符合规格的芯片进行吸取。
28.与现有技术相比，本发明的有益效果在于：
29.1.本发明采用视觉摄像模块对一整个料盘进行拍照，获取料盘的图像，料盘上贴满了一个个独立的芯片，获取了料盘的图像也即获取了所有的芯片图像。预设的模板图像即为料盘内符合规定的芯片的图像，将识别到的芯片图像和模板做对比，并采用精确的计算方法，尽可能准确的筛选出多的符合规定的芯片，而对于有残缺的芯片或者墨点芯片等不符合规定的芯片，也会精确地排除。将符合规定的芯片标定为待拾取芯片，不符合规定的芯片不进行任何处理，在标定过程中待拾取的芯片也同时被确定位置。比对完毕，只需要根据这些位置进行拾取，提高了固晶机的贴装效率。
30.2.本发明通过x，y轴坐标系和图像的像素点计算出芯片的长，宽，面积等一种或者多种信息，同时还可以得到符合规格芯片的坐标位置。为吸嘴拾取模块提供了依据。
31.3.在获取完毕所有的芯片图像信息后，拾取模块的吸嘴按照一定的路径拾取芯片，吸嘴轨迹容易控制，且移动轨迹比较简单，可以不遗漏地取完标定芯片。
附图说明
32.为了更清楚的说明本发明的技术方案，下面将对实施例或者现有技术描述中所需要使用的附图做简单介绍，下面描述的图仅仅是发明的一些实施例，对于固晶机封装领域的技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
33.图1为本发明实施例提供的一种芯片识别流程方法步骤；
34.图2为本发明实施例提供的一种芯片识别流程步骤s1的具体步骤；
35.图3为本发明实施例提供的一种芯片识别流程步骤s2的具体步骤；
36.图4为本发明实施例提供的一种芯片识别流程步骤s4的具体步骤；
37.图5为本发明实施例提供的一种芯片识别方法拾取的具体步骤；
38.图6为本发明实施例提供的一种符合规定的芯片；
39.图7为本发明实施例提供的不符合规定的芯片；
40.图8为本发明实施例提供的采集的图像集；
41.图9为本发明实施例提供的一种芯片识别系统；
42.附图标记说明：10摄像模块，20识别模块，30分析对比模块，40拾取模块。
具体实施方式
43.为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明并不用于限定本发明。
44.如图1所示，本实施例的一种芯片识别方法，包括以下步骤：
45.s1.摄像模块对料盘拍照，并将拍到的图像上传至计算机的图像处理软件进行后续处理；
46.s2.对步骤s1中获取的图像进行进一步的采集，获取多幅芯片图像成为图像集，并由图像集确定最优芯片进而确定预设模板；
47.s2.提取和计算料盘图像内的其他所有芯片的图像信息；
48.s3.逐一将芯片图像信息和预设模板信息进行对比，若图像符合规格，则将芯片标记为待拾取芯片，并计算待拾取芯片的位置；
49.具体地，步骤s1中的摄像模块一般指的是视觉识别机构，包括工业相机和镜头；料盘上贴有如图6所示的芯片，且料盘有其规格大小，芯片包括，有正方形、矩形或者其他图形的芯片。在固晶机设备中，料盘固定不动，且位于相机的正下方，以便于相机对料盘拍照，如果移动可能会导致芯片的定位不准，从而影响后续拾取操作。
50.进一步地，步骤s1中拍照是根据料盘规格和相机视野范围，决定是否获取完整的料盘图像，还是只拍局部地分多次拍摄。如果一次性可以拍摄完毕，则无需移动摄像模块，只需要通过一次拍摄即可获取料盘图像信息，从而获取芯片图像信息，将符合规定的芯片进行标定，同时确定位置。吸嘴在计算机分析完图像并确定好待取芯片位置后可以直接进行取料。如果料盘有料区域过大，则需要多次摄像，移动摄像机，每次摄像固定大小区域，并对区域内的芯片图像信息进行识别分析并标定。分多次完成拍摄标定后，在进行最后的拾取模块动作，吸嘴吸取。无论是一次吸取还是分多次吸取，都是通过先拍摄，接着识别完图像，确定好所有待拾取芯片位置，最后吸嘴吸取的方式，极大地提高了贴装效率。
51.具体地，如图2所示，步骤s11、摄像模块控制相机和调整光源，并拍照，在工作台上，适当的调整镜头放大倍数和光源强度，使得芯片在视野中可以清晰的成像，之后会将获取的完整的料盘图像或者局部的料盘图像上传至计算机的图像处理软件。料盘图像内芯片越少，处理速度越快。
52.步骤s12、计算机的图像处理软件将确定所获取的图像的原点和x轴，y轴，一般以图像的中心作为原点，x，y轴互相垂直，且以每一个像素点作为基本单位1。将此坐标系确定好后，将为后续处理的方向提供了依据。
53.进一步地，如图一所示的步骤s2，需要为整个料盘内的芯片提供一个模板，以此作为芯片是否合规的依据。需要采取优中择优的方式，先获取最佳图像集，最后从最佳图像集中获取最优芯片，具体包括以下步骤：
54.步骤s21、将步骤s1中获取的图像进一步的处理，将会在图像中芯片较为密集的区域，对图像进行裁剪，裁剪多次成为图像集，这是由于料盘上可能有缺陷芯片2，因此要采集多幅图像，保证数据更加具有一般性。
55.每一个图像集中包含若干芯片，一般来说以10个芯片左右为最佳，如图8所示，为所采集的四个图像。
56.预设模板是自动选取的，通过模板自动选取，可以获得准确的芯片特征参数，如芯片面积、形状、颜色、边缘、纹理、长、宽、亮暗程度、灰度其中的一种或多种信息。而且采用这种自动选取模板的方式，也扩大了应用场合，不管是什么种类的芯片，只需要自动选取模板，即可设定为预设模板，而无需在下一次换芯片时手动去设置模板参数等。节约了时间，提高了芯片识别效率。在固晶机初始化阶段，需要操作工用推杆推动承装料盘的工作台，使芯片中心位于十字架中间，然后手动框选芯片模板，操作较为繁琐，在获取芯片间距时，需要手动选取芯片中心，会造成误差，对后面进行紧邻芯片的判别造成误判，从而可能导致吸晶失败。
57.步骤s22、获取完图像集之后，将选取图像集中最佳的图像，通过对图像集中的每个图像求投影标准差，标准差最小的即为需要的最佳图像，包括：
58.将图像集中每个图像的完整方波的平均波幅h进行投影，平均波幅和图像中的芯片数量呈正相关，计算公式为：
59.h＝∑hi/n
60.其中n为所有的完整方波数量，i＝0，1，2
…
n；hi表示第i个的波幅；
61.根据平均波幅计算投影标准差，计算公式为：
[0062][0063]
q为投影标准差，将q值从高到低进行排序，q最小的那幅图像即为最佳的图像，类似于图8的a、b、c、d中，从上到下，从左到右的投影标准差分别为q＝19.38；q＝21.40；q＝38.43；q＝18.92；可见右下角的图像为最佳图像，左下角的图像为最差图像。
[0064]
步骤s23、将步骤s22中的图像确认为最佳图像后，需要计算该最佳图像中的芯片面积，并去除所有芯片面积中的最大值和最小值，求取平均面积，将接近平均面积的芯片选取为最优芯片，也是作为预设模板的芯片。例如图8中右下角的最佳图像中，由白色方框标记的芯片面积最接近平均芯片面积，则取其为最优芯片，作为预设模板。
[0065]
预设模板的芯片也可以根据需求设定，例如本次预设模板为正方形芯片，则会将所有为正方形的芯片进行标定。例如除了形状要求，如果要求还需要面积为s的芯片，则会将形状为正方形图像为s的芯片全部标定。如更严格要求，对芯片的边缘纹理等有所要求，则需要计算灰度特征，比较灰度方差，如预设模板灰度方差为k，则将所有芯片灰度方差小于等于k的全部标定。首先通过这种标定方式可以准确的识别到符合规格的芯片且不遗漏，而且这种全部标定再拾取的方式也提高了贴装效率。
[0066]
步骤s24、根据步骤s23中所取得的最优芯片，计算机图像处理软件获取预设模板的图像信息，在本实施例中，根据s23中最优芯片的四个定位点坐标，得到芯片的长宽参数。或者获取其他参数，计算长度、宽度、亮度、形状、边缘、纹理、面积、灰度等其中一种或者多种信息。
[0067]
进一步的，在获取到预设模板之后，需要对料盘中的其他芯片图像进行信息提取和计算。
[0068]
具体地，步骤s3、提取料盘内所有芯片的图像信息，计算长度、宽度、亮度、形状、边缘、纹理、面积、灰度等其中一种或者多种信息。所有的信息并非全部计算，而是根据芯片差异情况来决定。
[0069]
作为一种优选的实施例，芯片只要为矩形的都符合要求，则只需要比较形状即可，如果还需要面积相等，那么还需要计算芯片面积，计算图像内的芯片像素总数，计算公式为：
[0070][0071]
其中r是区域大小，a(i，j)代表每个像素，每个像素算作1。area为总像素面积。
[0072]
进一步地，步骤s4、将步骤s3中计算好的芯片图像信息和步骤s2中计算好的预设模板的图像信息进行对比，且按照对比情况决定是否将芯片标定为待取芯片。
[0073]
具体地，如图4所示步骤s31、按照步骤s12中确定的原点和x轴、y轴，并选取一个方向，将步骤s3中得到的每个芯片的图像信息和s24中得到的预设模板图像信息做比较，例如本实施例中将比较芯片的面积参数，并将相差值在30像素单位内的标定为合格芯片。对比主要是为了筛除不满足规格的芯片。
[0074]
可以理解的，在对比过程中步骤s31按照x轴或者y轴任意一个方向进行对比时，当x方向走到尽头，会直接从y方向的下一行开始朝着x负方向逐一对比，按照z字形模式对比，节约对比时间。
[0075]
步骤s32、如果对比中面积参数符合标准，就会将其标定为待取芯片，并将通过芯片的四个定位点坐标计算出其中心坐标位置，本实施例中选取芯片的四个角顶点作为定位点，从左到右，从上到下的顶点坐标分别为(x1，y1),(x2,y2),(x3,y3),(x4,y4),则中心点坐标为((x2-x1)/2,(y3-y1)/2),并记录该坐标值。
[0076]
步骤s33、如果对比过程中，芯片图像和预设模板图像信息相差较大，则直接跳过此芯片，继续沿着坐标轴进行下一片对比，不进行标定，也不记录坐标。
[0077]
步骤s34、直到对比完毕，得到所有待拾取芯片和待拾取芯片的中心坐标位置。
[0078]
进一步地，如图5所示，s4步骤后还有芯片拾取过程，依据步骤s34所获取的所有待拾取芯片的坐标值(x，y)，具体包括：
[0079]
移动吸嘴首先按照x坐标值从小到大的顺序依次拾取芯片；若y轴方向上有连续两个或以上芯片具有相同大小的x坐标值的待取芯片,则对x坐标值相同的芯片再按照y坐标值从小到大的顺序依次向上拾取,直至拾取到y轴方向上没有芯片，此时吸嘴会继续按照x坐标值从小到大顺序取片，但凡遇到y轴方向上有相同x坐标值待取芯片，都会朝y轴方向行进，从而进入循环。
[0080]
作为另一种优选的实施例，移动吸嘴按照y坐标值从小到大的顺序依次拾取芯片；若x轴方向上有连续两个或以上芯片具有相同大小的y坐标值的待取芯片,则对y坐标值大小相同的芯片再按照x坐标值从小到大的顺序依次拾取,直至拾取到x轴方向没有待拾取芯片或者直至x轴方向已到达料盘尽头，开始朝y轴方向行进，从而进入循环。
[0081]
具体地，步骤s41和步骤s42为并列的两种取片方式，任选其一即可。由于料盘芯片上不一定每个位置都有芯片，也不能保证所有的符合规格的芯片都连续，所以此种取片策略既可以保证每一颗符合规格的芯片都被吸取，且移动轨迹简单，吸嘴运动也便于控制，出现误差概率较小。
[0082]
根据视觉摄像模块能拍摄到的范围，同时也根据料盘大小，或者料盘有料区域大小决定是否一次性还是分多次拍摄完整个料盘，如果一次性可以拍摄完毕，则无需移动摄像模块，只需要通过一次拍摄即可获取料盘图像信息，从而获取芯片图像信息，将符合规定的芯片进行标定，同时确定位置。吸嘴装置在分析完图像后可以直接进行取料。如果料盘有料区域过大，则需要多次摄像，每次摄像固定大小区域，并对区域内的芯片图像信息进行识别分析并标定。分多次完成拍摄标定后，在进行最后的拾取模块动作，吸嘴吸取。无论是一次吸取还是分多次吸取，都是通过先拍摄后吸取的方式，极大地提高了贴装效率。
[0083]
综上所述，本发明的实施例应用场景至少用到两种场合：
[0084]
一是当料盘上只有同一种芯片，但是有的芯片之上有墨点，或者污渍，或者缺角，被压坏等，可以通过与预设的符合规格的芯片比较，从而排除那些坏片，如图7的.b出所示。
[0085]
二是当芯片料盘上是不同的芯片，预设模板设置为需要的芯片，依然可以通过与预设模板进行比较从而取到需要的芯片。
[0086]
如图9所示的一种芯片拾取系统，包括摄像模块10、识别模块20、分析对比模块30、拾取模块40。
[0087]
摄像模块：包括相机，光源，镜头等，作用是对料盘的图像拍照，并将图像发送至计算机的识别模块；
[0088]
识别模块：为计算机中的处理模块，识别拍照的图像，并提取图像信息，计算图像相关参数。
[0089]
分析对比模块：为计算机中的计算模块，可以调节需要设置对比的参数，例如本实施例中可以选取芯片图像信息的面积参数，并将识别到的信息与预设模板信息进行对比和标定。
[0090]
拾取模块：主要包含吸嘴等硬件，此模块将控制吸嘴将符合规格的芯片进行吸取。
[0091]
该系统在运作时需要用到第一实施例所述的芯片识别方法和拾取方法，从而产生同样的效果。
[0092]
以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各
实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。

技术特征：
1.一种芯片识别方法，其特征在于，包括以下步骤：摄像模块获取料盘图像并将料盘图像信息上传至计算机；预设模块从获取的料盘图像中选取最优芯片图像，并将选取的最优芯片图像作为预设模板；计算机提取料盘内其他芯片的图像信息并计算；将料盘上的其他芯片图像与作为预设模板的芯片图像进行对比，判断芯片是否符合规格，若符合规格，则将芯片标记为待拾取芯片，若不符合规格，则自动忽略。2.如权利要求1所述的芯片识别方法，其特征在于：获取料盘图像为料盘的整体图像或局部图像，所述图像信息包括芯片的图像信息。3.如权利要求1所述的芯片识别方法，其特征在于：摄像模块进行拍照，将图像上传至计算机的图像处理模块进行处理，确定图像包括原点和x、y方向的坐标系。4.如权利要求1所述的芯片识别方法，其特征在于：选取最优芯片图像包括以下步骤：在图像中芯片最密集的区域，选取多幅芯片图像形成图像集，所述图像集里面包括n个芯片的图像，n>＝1；选取最佳图像：对图像集中的每个图像投影标准差进行判定，投影标准差最小的即为最佳图像；在最佳图像中计算图像中每个芯片的面积，去掉最大面积和最小面积的芯片图像，芯片面积最接近平均面积的将作为最优芯片模板，并将其设置为预设模板图像；计算预设模板图像信息，包括：芯片的面积、形状、颜色、边缘、纹理、长、宽、亮暗程度、灰度其中的一种或多种信息。5.如权利要求1所述的芯片识别方法，其特征在于：按照坐标轴的方向依次提取芯片的图像信息，所述图像信息为芯片的面积、形状、颜色、边缘、纹理、长、宽、亮暗程度、灰度其中的一种或多种信息。6.如权利要求1所述的芯片识别方法，其特征在于：逐个比对料盘内芯片图像信息与预设模板的芯片图像信息，具体包括以下步骤：按照x坐标轴方向或y坐标轴方向逐个比对芯片图像信息与预设模板的图像信息；逐个比对图像信息与预设模板的信息包括：形状比对、颜色比对、长和宽比对、亮暗比对灰度比对，若两者信息符合，则将芯片标记为待拾取芯片，并计算待拾取芯片的坐标(x，y)为待识取位置；当沿着x、y轴都识别完毕，获得芯片料盘图像内所有的待拾取芯片和待拾取芯片位置。7.如权利要求6所述的芯片识别方法，其特征在于：在获得料盘图像内所有的符合标准的待拾取芯片位置后，按照计算的待拾取位置坐标逐个拾取对应的芯片。8.如权利要求7所述的芯片识别方法，其特征在于：从料盘上拾取芯片的步骤为：移动吸嘴首先按照x坐标值从小到大的顺序依次拾取芯片；若y轴方向上有连续两个或以上芯片具有相同大小的x坐标值的待取芯片,则对x坐标值相同的芯片再按照y坐标值从小到大的顺序依次向上拾取,直至拾取到y轴方向上没有芯片，此时吸嘴会继续按照x坐标值从小到大顺序取片，但凡遇到y轴方向上有相同x坐标值待取芯片，都会朝y轴方向行进，从而进入循环。9.如权利要求7所述的芯片识别方法，其特征在于：移动吸嘴按照y坐标值从小到大的
顺序依次拾取芯片；若x轴方向上有连续两个或以上芯片具有相同大小的y坐标值的待取芯片,则对y坐标值大小相同的芯片再按照x坐标值从小到大的顺序依次拾取,直至拾取到x轴方向没有待拾取芯片或者直至x轴方向已到达料盘尽头，开始朝y轴方向行进，从而进入循环。10.实现权利要求1所述的芯片识别方法的拾取系统，其特征在于：包括摄像模块：用于对料盘的图像拍照，并将图像发送至计算机图像处理模块；识别模块：计算机识别摄像模块的图像，提取图像特征；分析对比模块：分析图像信息，计算图像特征，并进行与预设模板对比，分析相似度；拾取模块：将符合规格的芯片进行吸取。

技术总结
本发明公开了一种芯片识别方法及拾取系统，包括以下步骤：对料盘进行拍照，获取料盘上的芯片的图像；芯片模板自动选取，并将选取的模板作为预设模板；对图像的特征进行提取信息，将所有的芯片图像信息与系统自选取的预设模板图像进行对比，并判断两者是否相符合，如是，则将该芯片标定为待取芯片并记录其位置坐标。本发明的芯片识别方法主要是通过与预设的模板图像进行信息比照，其中模板图像也是芯片图像，通过选取常规的符合规格的芯片作为预设模板。通过此方式可以将料盘上的良好芯片筛选出来，在之后吸嘴可以只拾取良好的芯片，而忽略损毁的芯片，以此方式大大提高了芯片贴装效率。率。率。


技术研发人员：黄道平 何祥 刘少君 李艳
受保护的技术使用者：华南理工大学
技术研发日：2023.03.15
技术公布日：2023/7/18