基于信息熵卷积神经网络的芯片表面缺陷识别方法

1.本发明涉及图像处理技术，具体涉及一种基于信息熵卷积神经网络的芯片表面缺陷识别方法。


背景技术：

2.芯片表面缺陷识别对于控制其产能和其产品质量至关重要。利用卷积神经网络对芯片表面光学图像进行处理替代传统生产工艺中的芯片性能测试可以提高芯片表面缺陷识别的效率。
3.然而卷积神经网络的性能严重依赖样本质量。受工业成本和工艺精度的影响，芯片表面光学图像分辨率低，缺陷特征不明显，可供模型学习的特征信息少；难以采集大量的缺陷样本，无缺陷样本数目远多于缺陷样本数目，误导模型学习方向。目前的卷积神经网络模型尚没有针对性解决芯片样本特征带来的影响。因此，研究设计一个新的卷积神经网络模型成为了本领域亟待解决的问题。


技术实现要素：

4.为了解决现有技术的不足，本发明提供了一种基于信息熵卷积神经网络的芯片表面缺陷识别方法，具有识别精度高、速度快的优点，鲁棒性好，可用于芯片生产过程中识别表面具有缺陷的不合格芯片。
5.为了实现上述目的，本发明提出了一种基于信息熵卷积神经网络的芯片表面缺陷识别方法，其包括以下步骤：
6.(1)构建数据集：利用芯片生产工艺获得芯片所属的预设类别，利用可见光成像设备拍照采集芯片样本晶圆表面的光学图像，以构建数据集，划分训练集和测试集：
7.(2)构建卷积神经网络初始模型并训练：构建包括输入层、卷积层、下采样、激活层、全连接层和输出层的卷积神经网络初始模型，所述输入层、卷积层、下采样、激活层、全连接层和输出层依次设置，所述卷积层、下采样层和激活层均为多个，并且交替设置，将步骤(1)中构建的所属数据集的训练集的图像输入卷积神经网络初始模型中，以交叉熵损失函数作为优化目标进行训练，以获得卷积神经网络中间模型；
8.(3)构建信息熵卷积神经网络初始模型：在步骤(2)获得的卷积神经网络中间模型的基础上，增加以信息熵为指导的特征融合模块，以信息熵为指导的特征融合模块包括确定引入的边缘信息和纹理信息，使用特征熵一致性选择待融合的特征和使用全局注意力机制进行特征融合，特征熵一致性是特征图信息熵的方差，构建信息熵卷积神经网络的初始模型；
9.(4)训练信息熵卷积神经网络初始模型：将步骤(1)中构建的所属数据集中的训练集的图像输入步骤(3)构建的信息熵卷积神经网络初始模型中，以梯度加权的交叉熵损失函数为优化目标进行训练，以获得信息熵卷积神经网络最终模型；
10.(5)芯片表面缺陷识别：将步骤(1)中构建的所属数据集中的测试集的图像输入步
骤(4)获得的信息熵卷积神经网络最终模型中，经过卷积层、下采样层、激活层、特征融合模块和全连接层完成图像的特征提取，由输出层输出识别结果，以此方式完成芯片表面缺陷识别。
11.利用可见光成像设备拍照采集芯片样本晶圆表面的光学图像获得待识别的图像，将待识别的图像输入步骤(4)获得的信息熵卷积神经网络最终模型中，经过卷积层、下采样层、激活层、特征融合模块和全连接层完成图像的特征提取，由输出层输出识别结果，以此方式完成芯片表面缺陷识别。
12.作为进一步优选的，步骤(1)中所述的预设类别包括如下两类：正常芯片和缺陷芯片。
13.作为进一步优选的，步骤(2)中所述的交叉熵损失函数具体为：对于总共有2个类别的数据集中的每个样本，i是2个类别中的其中一个，i＝0表示正常芯片类别，i＝1表示缺陷芯片类别，j为该样本真实类别，y为该样本的标签描述，当样本标签的第i个分量yi是该样本的真实标签时，其值取1，否则其值取0，即：
[0014][0015]
样本输入模型得到特征描述符z，zi是特征描述符z的第i个分量，a是特征描述符z经过softmax函数后的结果，e是自然对数，a的第i个分量ai表示模型预测该样本属于i类别的类别置信度：
[0016][0017]
单个样本的交叉熵损失loss
ce
计算为：
[0018][0019]
作为进一步优选的，步骤(2)中所述将步骤(1)中构建的所属数据集中的训练集的图像输入卷积神经网络初始模型中，以交叉熵损失函数作为优化目标进行训练，以获得卷积神经网络中间模型具体为：
[0020]
将训练集中的图像随机排序，并按照预设的批数分成多批；
[0021]
将步骤(2)中构建的卷积神经网络初始模型的参数初始化，然后将训练集中的图像分批以此输入参数初始化后的卷积神经网络模型中，以交叉熵损失函数为优化目标进行迭代训练，迭代训练完毕后得到卷积神经网络最终模型。
[0022]
作为进一步优选的，步骤(3)中所述确定引入的边缘信息和纹理信息，具体为：采用拉普拉斯算子和局部二值模式算子分别提取输入图像的边缘信息fe和纹理信息f
t
作为引入的边缘信息和纹理信息。
[0023]
作为进一步优选的，步骤(3)中所述使用特征熵一致性选择待融合的特征，特征熵一致性是特征图信息熵的方差，具体为：
[0024]
首先构造边缘信息fe和纹理信息f
t
的l+1层特征金字塔，l是步骤(2)所述的卷积神经网络初始模型中的下采样层数，高斯核k在边缘信息fe和纹理信息f
t
卷积后经过l次下采样pool(
·
)，以获得fe和f
t
在特征金字塔中任意层l(0≤l≤l)的特征和计算式，pool
l
(
·
)表示连续进行l次下采样：
[0025][0026]
然后构建卷积神经网络特征列表list
cnn
和边缘与纹理信息的特征列表list
e，t
，卷积神经网络特征列表list
cnn
由所述步骤(2)中卷积神经网络中间模型的所有卷积层、下采样层和激活层共k层的层特征集合构成，即满足h
t
表示第t(0≤t≤k-1)层的通道个数，第t层的层特征集合由该层的h
t
个通道提取到的特征图组合而成，既满足合而成，既满足表示第t层的第h(0≤h≤h
t
)通道的特征图，第t层的特征图具有相同的尺寸边缘与纹理信息的特征列表list
e，t
由边缘信息fe和纹理信息f
t
的l+1层特征金字塔中的所有层的层特征集合构成，即满足的l+1层特征金字塔中的所有层的层特征集合构成，即满足第l层的边缘与纹理信息层特征集合由该层对应的边缘信息和纹理信息的特征图组合而成，既满足边缘信息和纹理信息具有相同的尺寸
[0027]
最后使用特征熵一致性从卷积神经网络特征列表list
cnn
和边缘与纹理信息的特征列表list
e，t
中获得具有最优特征熵一致性的特征集合组，图像x可取的所有像素值共有n个，像素值n(0≤n≤n-1)出现的概率为pn，图像x具有的信息熵en：
[0028][0029]
分别从神经网络特征列表list
cnn
和边缘与纹理信息的特征列表list
e，t
中选取具有相同特征图尺寸的特征集合和满足：
[0030][0031]
0≤t≤k-1
[0032]
0≤l≤l
[0033]
计算特征集合和中共h
t
+2个的特征图的信息熵和平均信息熵并计算这些特征图之间的特征熵一致性ec：
[0034][0035]
记录特征组及其对应的特征熵一致性，以获得具有最优(最小)特征熵一致性的特征集合组g
cnn
和g
e，t
，g
cnn
是具有最优特征熵一致性的卷积神经网络特征层特征集合，g
e，t
是对应的边缘信息和纹理信息层特征集合。
[0036]
进一步优选的，步骤(3)中所述使用全局注意力机制进行特征融合，具体为：对于所述步骤(6.3)中获得的具有最优特征熵一致性的特征组g
cnn
和g
e，t
，对g
cnn
进行全局池化globalpooling(
·
)和卷积conv(
·
)得到的结果与g
e，t
进行卷积conv(
·
)后的结果相乘，在加上g
cnn
得到特征融合结果y：
[0037]
y＝conv(globalpooling(g
cnn
))
×
conv(g
e，t
)+g
cnn
[0038]
以实现使用全局注意力机制进行特征融合。
[0039]
进一步优选的，步骤(4)中所述的梯度加权的交叉损失函数，具体为：提取步骤(2)中卷积神经网络中间模型，以交叉熵损失函数为优化目标提取该模型反向传播的梯度g
ce
：
[0040][0041]
将步骤(1)中所构数据集的训练集中所有样本在步骤(2)中卷积神经网络中间模型中进行推理，以交叉熵损失函数为优化目标进行反向传播时以获得梯度集合grad
ce
，将区间[0，1]划分为m个等长梯度子区间，统计梯度集合中梯度的绝对值|g
ce
|落在第g(1≤g≤m)个梯度子区间的梯度个数ug，计算每个梯度子区间内的梯度平均个数
[0042][0043]
单个样本s的梯度所在梯度子区间为gs，该区间的梯度个数为则样本s的梯度加权加权因子αs：
[0044][0045]
单个样本s的梯度加权的交叉熵损失loss
wce
计算为：
[0046][0047]
进一步优选的，步骤(4)中所述将步骤(1)中构建的所属数据集的训练集的图像输入步骤(3)构建的信息熵卷积神经网络初始模型中，以梯度加权的交叉熵损失函数为优化目标进行训练，以获得信息熵卷积神经网络最终模型具体为：
[0048]
将训练集中的图像的随机排序，并按照预设的批数分成多批；
[0049]
将步骤(3)中构建的信息熵卷积神经网络初始模型的参数初始化，然后将训练集中的图像分批以此输入参数初始化后的卷积神经网络模型中，以梯度加权的交叉熵损失函数为优化目标进行迭代训练，迭代训练完毕后得到卷积神经网络最终模型。
附图说明
[0050]
图1为本发明实施例提供的一种基于信息熵卷积神经网络的芯片表面缺陷识别方法流程图；
[0051]
图2为本发明实施例数据集的部分mini led芯片表面图像，(a)是部分正常芯片类别的mini led芯片表面图像，(b)是部分缺陷芯片类别的mini led芯片表面图像；
[0052]
图3为本发明实施例构建的mini-led-cnn结构示意图；
[0053]
图4为本发明实施例数据集的部分mini led芯片表面图像的边缘信息和纹理信息，(a)是部分正常芯片类别的mini led芯片表面图像的边缘信息和纹理信息，(b)是部分缺陷芯片类别的mini led芯片表面图像的边缘信息和纹理信息；
[0054]
图5为本发明实施例构建的mini-led-encnn结构示意图；
具体实施方式
[0055]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对于本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方法中所涉及到的技术特征只要彼此之间未构成冲突就可以相互结合。
[0056]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
[0057]
下面结合附图以及mini led芯片表面缺陷识别的实施例具体的说明本发明所提供的一种基于信息熵卷积神经网络的芯片缺陷识别方法的具体方案。
[0058]
请参阅图1，其示出了本发明一个实施例提供的一种基于信息熵卷积神经网络的芯片表面缺陷识别方法流程图，该方法包括以下步骤：
[0059]
(1)步骤s1，利用芯片生产工艺获得芯片所属预设类别，采集芯片样本表面的光学图像，以构建数据集，并划分为训练集和测试集。
[0060]
具体的，本实施例利用可见光成像设备拍照采集到的芯片表面光学图像共5000张，利用飞针测试获得芯片所属的类别，包含正常芯片和缺陷芯片，构成数据集mini-led-ds。芯片图像格式为png，芯片图像为单通道灰度图像，部分芯片图像如图2(a)-(b)所示，每张芯片图像进行大小归一化为同一像素尺寸32
×
32(单位：像素)。以4：1的比例从原数据集中随机选取图像组成训练集和测试级，如表1所示。每张芯片图像进行标签，分为正常芯片和缺陷芯片。正常芯片为第一类用0表示，期望输出为(1，0)；缺陷芯片为第二类用1表示，期望输出为(0，1)。
[0061]
表1数据集mini-led-ds
[0062]
类型训练集测试集总计正常芯片36809204600缺陷芯片32080400总计400010005000
[0063]
(2)步骤s2，构建卷积神经网络初始模型，并以训练集为输入，以交叉熵损失函数为优化目标进行训练，以获得卷积神经网络中间模型。
[0064]
具体的，在本实施例中构建卷积神经网络初始模型mini-led-cnn，其结构如图3所示,它包括1层输入层、4层学习层和1层输出层，输入层特征图大小为32
×
32，4层学习层为3层卷积层和1层全连接层，第1，2层卷积层之后均设有最大池化层和激活层。卷积层的卷积核大小均为3
×
3，特征图填充宽度均为1，步长均为1，第1卷积层的输出通道为h1＝6，第2卷积层的输出通道为h2＝12，第3卷积层的输出通道为h3＝24；最大池化层的池化窗口大小均为2
×
2，步长均为2；激活层均为线性整流函数；输出层的神经元个数为3。第1层卷积层的输出特征大小为32
×
32，；第1层最大池化层，第1层激活层，第2层卷积层的输出特征大小均为16
×
16；第2层最大池化层，第2激活层，第3卷积层的输出特征大小均为8
×
8。
[0065]
在pytorch环境中构建mini-led-cnn。将训练集中图像随机排序，按照64为1批，将训练集分为63批，最后一批中的图像数目为32。将训练图像分批依次输入mini-led-cnn模型中，初始化模型参数，当一批中所有样本计算完毕后，利用交叉熵损失函数计算损失值，利用反向传播机制，进行一次权值更新。所有批次更新完
毕，进行下一次迭代，训练样本最大迭代次数为200次，迭代完毕得到带参网络模型，命名为mini-led-cnn200model。输入测试集对训练完毕的模型进行测试，得到各类识别结果，结果列于表2。
[0066]
表2mini-led-cnn200model类识效果
[0067] 正常芯片缺陷芯片总计数量920801000识别数量87652928误识率8％35％7.2％
[0068]
(3)步骤s3，在卷积神经网络中间模型基础上，加入以信息熵为指导的特征融合模块，构建信息熵卷积神经网络的初始模型。
[0069]
具体的，首先利用拉普拉斯算子和局部二值模式算子分别得到所有训练集输入的边缘信息fe和纹理信息f
t
作为向模型引入的边缘信息和纹理信息，部分结果如图4所示。其次，利用公式：
[0070][0071]
构建边缘信息和纹理信息的3层特征金字塔，从下至上依次为第0层，第1层，第2层。第0层特征图大小为32
×
32，第1层特征图大小为16
×
16，第2层特征图大小为8
×
8。然后，将训练集输入到mini-led-cnn200model中，获取全部卷积层，最大池化层和激活层层特征图构建卷积神经网络特征列表，利用特征金字塔构建边缘与纹理信息的特征列表。最后，分别计算卷积神经网络特征列表中第1，2，3卷积层，第1，2最大池化层，第1，2激活层的特征图平均信息熵，利用分别计算特征金字塔第1-3层边缘特征和纹理特征的平均信息熵。根据特征图尺寸的关系，利用计算第1卷积层的6个特征和第0层边缘特征和纹理特征共8个特征之间的特征一致性；利用分别计算第1最大池化层、第1激活层、第2卷积层的12个特征和第1边缘特征和纹理特征共14个特征之间的特征一致性；利用分别计算第2最大池化层、第2激活层、第3卷积层的24个特征和第2层边缘特征和纹理特征共26个特征之间的特征一致性，结果见表3。
[0072]
表3特征一致性计算结果
[0073]
[0074][0075]
计算得到第2卷积层的特征图和第1层边缘特征和纹理特征之间具有最优的特征一致性。以此在本实施例中选用第2卷积层的特征图和特征金字塔第1层的边缘特征和纹理特征进行特征融合。
[0076]
在本实施例中构建信息熵卷积神经网络初始模型mini-led-encnn，其结构如图4所示，其在图3基础上加入了特征融合模块。在输入层之后进行分支，在分支网络部分利用拉普拉斯算子和局部二值模式算子在输入图像滑动卷积得到尺寸为32
×
32的第0层边缘特征和纹理特征，再经过高斯核和下采样层得到尺寸为16
×
16的第1层边缘特征和纹理特征，合并边缘特征和纹理特征成为一个2通道的16
×
16的第1特征组，对特征组经过第4卷积层得到12通道的16
×
16的第2特征组；在主支网络部分，在第2卷积层出进行分支，分支网络部分经过一个全局平均池化得到12通道的1
×
1的第2特征组，在经过第5卷积层得到12通道的1
×
1的第4特征组；第2特征组与第4特征组相乘得到12通道的16
×
16的第5特征组，第5特征组与第2卷积层特征进行相加得到最终的融合特征组并回到主网络，后面连接第2最大池化层。第4卷积层的卷积核尺寸为3
×
3，特征图填充宽度为1，步长为1；第5卷积层的卷积核尺寸为1
×
1，步长为1。
[0077]
(4)步骤s4以训练集为输入，以梯度加权的交叉熵损失函数为优化目标，训练信息熵卷积神经网络初始模型，以获得信息熵卷积神经网络最终模型。
[0078]
具体的，将训练集输入到模型中进行正向推理，获得所有训练集反向传播的梯度。将区间[0,1]划分为20个梯度子区间，统计每个梯度子区间内的样本个数，结果见表4。
[0079]
表4梯度子区间内的样本个数
[0080]
区间12345678910样本280374819068301410895区间11121414151617181920样本45668149122427
[0081]
梯度子区间平均样本为20，得到每个子区间的梯度加权值，结果见表5。
[0082]
表5梯度加权值
[0083]
区间12345678910α0.0100.0380.1430.3670.7181.2221.4941.6881.5842.115区间11121314151617181920α2.3212.1151.9471.9471.6881.2221.5841.3430.8470.777
[0084]
以此得到梯度加权的交叉熵损失函数中的各样本的梯度加权值αs。
[0085]
在pytorch环境中构建mini-led-encnn。将训练图像分批依次输入mini-led-encnn模型中，初始化特征融合模块的模型参数，其余参数导入mini-led-cnn200model中的模型参数。当一批中所有样本计算完毕后，利用梯度加权的交叉熵损失函数计算损失值，利用反向传播机制，进行一次权值更新。所有批次更新完毕，进行下一次迭代，训练样本最大迭代次数为200次，迭代完毕得到带参网络模型，命名为mini-led-encnn200model。
[0086]
(5)步骤s5，将测试集(或待识别的图像，本专利中将测试集作为待识别的图像)输入信息熵卷积神经网络的最终模型中提取特征，并输出识别结果，以此方式完成芯片缺陷识别。
[0087]
具体的，将测试级输入到mini-led-encnn200model中，得到各类识别结果，结果列于表。
[0088]
表mini-led-encnn200model识别效果
[0089] 正常芯片缺陷芯片总计数量920801000识别数量92078998误识率02.5％0.2％
[0090]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于信息熵卷积神经网络的芯片表面缺陷识别方法，其特征在于，该方法包括以下：(1)构建数据集：利用芯片生产工艺获得芯片所属的预设类别，利用可见光成像设备拍照采集芯片样本晶圆表面的光学图像，以构建数据集，划分训练集和测试集：(2)构建卷积神经网络初始模型并训练：构建包括输入层、卷积层、下采样、激活层、全连接层和输出层的卷积神经网络初始模型，所述输入层、卷积层、下采样、激活层、全连接层和输出层依次设置，所述卷积层、下采样层和激活层均为多个，并且交替设置，将步骤(1)中构建的所属数据集的训练集的图像输入卷积神经网络初始模型中，以交叉熵损失函数作为优化目标进行训练，以获得卷积神经网络中间模型；(3)构建信息熵卷积神经网络初始模型：在步骤(2)获得的卷积神经网络中间模型的基础上，增加以信息熵为指导的特征融合模块，以信息熵为指导的特征融合模块包括确定引入的边缘信息和纹理信息，使用特征熵一致性选择待融合的特征和使用全局注意力机制进行特征融合，特征熵一致性是特征图信息熵的方差，构建信息熵卷积神经网络的初始模型；(4)训练信息熵卷积神经网络初始模型：将步骤(1)中构建的所属数据集中的训练集的图像输入步骤(3)构建的信息熵卷积神经网络初始模型中，以梯度加权的交叉熵损失函数为优化目标进行训练，以获得信息熵卷积神经网络最终模型；(5)芯片表面缺陷识别：将步骤(1)中构建的所属数据集中的测试集的图像输入步骤(4)获得的信息熵卷积神经网络最终模型中，经过卷积层、下采样层、激活层、特征融合模块和全连接层完成图像的特征提取，由输出层输出识别结果，以此方式完成芯片表面缺陷识别。2.如权利要求1所述的基于信息熵卷积神经网络的芯片表面缺陷识别方法，其特征在于：步骤(1)中所述预设类别包括如下两类：正常芯片和缺陷芯片。3.如权利要求1所述的基于信息熵卷积神经网络的芯片表面缺陷识别方法，其特征在于：步骤(2)中所述交叉损失函数具体为：对于总共有2个类别的数据集中的每个样本，i是2个类别中的其中一个，i＝0表示正常芯片类别，i＝1表示缺陷芯片类别，j为该样本真实类别，y为该样本的标签描述，当样本标签的第i个分量y
i
是该样本的真实标签时,其值取1，否则其值取0，即：样本输入模型得到特征描述符z，z
i
是特征描述符z的第i个分量，a是特征描述符z经过softmax函数后的结果，e是自然对数，a的第i个分量a
i
表示模型预测该样本属于i类别的类别置信度：单个样本的交叉熵损失loss
ce
计算为：4.如权利要求1所述的基于信息熵卷积神经网络的芯片表面缺陷识别方法，其特征在于：步骤(2)中所述将步骤(1)中构建的所属数据集中的训练集图像输入卷积神经网络初始
模型中，以交叉熵损失函数作为优化目标进行训练，以获得卷积神经网络中间模型具体为：(4.1)将训练集中的图像随机排序，并按照预设的批数分成多批；(4.2)将步骤(2)中构建的卷积神经网络初始模型的参数初始化，然后将训练集中的图像分批以此输入参数初始化后的卷积神经网络模型中，以交叉熵损失函数为优化目标进行迭代训练，迭代训练完毕后得到卷积神经网络最终模型。5.权利要求1所述的基于信息熵卷积神经网络的芯片表面缺陷识别方法，其特征在于：步骤(3)中所述确定引入的边缘信息和纹理信息，具体为：采用拉普拉斯算子和局部二值模式算子分别提取输入图像的边缘信息f
e
和纹理信息f
t
作为引入的边缘信息和纹理信息。6.如权利要求1所述的基于信息熵卷积神经网络的芯片表面缺陷识别方法，其特征在于：步骤(3)中所述使用特征熵一致性选择待融合的特征，特征熵一致性是特征图信息熵的方差，具体为：(6.1)首先构造边缘信息f
e
和纹理信息f
t
的l+1层特征金字塔，l是步骤(2)所述的卷积神经网络初始模型中的下采样层数，高斯核k在边缘信息f
e
和纹理信息f
t
卷积后经过l次下采样pool(
·
)，以获得f
e
和f
t
在特征金字塔中任意层l(0≤l≤l)的特征和计算式，pool
l
(
·
)表示连续进行l次下采样:(6.2)然后构建卷积神经网络特征列表list
cnn
和边缘与纹理信息的特征列表list
e,t
，卷积神经网络特征列表list
cnn
由所述步骤(2)中卷积神经网络中间模型的所有卷积层、下采样层和激活层共k层的层特征集合构成，即满足h
t
表示第t(0≤t≤k-1)层的通道个数，第t层的层特征集合由该层的h
t
个通道提取到的特征图组合而成，既满足组合而成，既满足表示第t层的第h(0≤h≤h
t
)通道的特征图，第t层的特征图具有相同的尺寸边缘与纹理信息的特征列表list
e,t
由所述步骤(6.1)中构造的边缘信息f
e
和纹理信息f
t
的l+1层特征金字塔中的所有层的层特征集合构成，即满足第l层的边缘与纹理信息层特征集合由该层对应的边缘信息和纹理信息的特征图组合而成，既满足边缘信息和纹理信息具有相同的尺寸(6.3)最后使用特征熵一致性从卷积神经网络特征列表list
cnn
和边缘与纹理信息的特征列表list
e,t
中获得具有最优特征熵一致性的特征集合组，图像x可取的所有像素值共有n个，像素值n(0≤n≤n-1)出现的概率为p
n
，图像x具有的信息熵en：分别从神经网络特征列表list
cnn
和边缘与纹理信息的特征列表list
e,t
中选取具有相同特征图尺寸的特征集合和满足：0≤t≤k-1
0≤l≤l计算特征集合和中共h
t
+2个的特征图的信息熵和平均信息熵并计算这些特征图之间的特征熵一致性ec：记录特征组及其对应的特征熵一致性，以获得具有最优(最小)特征熵一致性的特征集合组g
cnn
和g
e,t
，g
cnn
是具有最优特征熵一致性的卷积神经网络特征层特征集合，g
e,t
是对应的边缘信息和纹理信息层特征集合。7.如权利要求6所述的基于信息熵卷积神经网络的芯片表面缺陷识别方法，其特征在于：步骤(3)中所述使用全局注意力机制进行特征融合，具体为：对于所述步骤(6.3)中获得的具有最优特征熵一致性的特征组g
cnn
和g
e,t
，对g
cnn
进行全局池化globalpooling(
·
)和卷积conv(
·
)得到的结果与g
e,t
进行卷积conv(
·
)后的结果相乘，在加上g
cnn
得到特征融合结果y：y＝conv(globalpooling(g
cnn
))
×
conv(g
e,t
)+g
cnn
以实现使用全局注意力机制进行特征融合。8.如权利要求6所述的基于信息熵卷积神经网络的芯片表面缺陷识别方法，其特征在于：步骤(4)中所述的梯度加权的交叉损失函数，具体为：提取步骤(2)中卷积神经网络中间模型，以交叉熵损失函数为优化目标提取该模型反向传播的梯度g
ce
：将步骤(1)中所构数据集的训练集中所有样本在步骤(2)中卷积神经网络中间模型中进行推理，以交叉熵损失函数为优化目标进行反向传播时以获得梯度集合grad
ce
，将区间[0,1]划分为m个等长梯度子区间，统计梯度集合中梯度的绝对值|g
ce
|落在第g(1≤g≤m)个梯度子区间的梯度个数u
g
，计算每个梯度子区间内的梯度平均个数，计算每个梯度子区间内的梯度平均个数单个样本s的梯度所在梯度子区间为g
s
，该区间的梯度个数为则样本s的梯度加权加权因子α
s
:单个样本s的梯度加权的交叉熵损失loss
wce
计算为：9.如权利要求1所述的基于信息熵卷积神经网络的芯片表面缺陷识别方法，其特征在于：步骤(4)中所述将步骤(1)中构建的所属数据集中的训练集的图像输入步骤(3)构建的信息熵卷积神经网络初始模型中，以梯度加权的交叉熵损失函数为优化目标进行训练，以获得信息熵卷积神经网络最终模型具体为：(9.1)将训练集中的图像的随机排序，并按照预设的批数分成多批；
(9.2)将步骤(3)中构建的信息熵卷积神经网络初始模型的参数初始化，然后将训练集中的图像分批以此输入参数初始化后的卷积神经网络模型中，以梯度加权的交叉熵损失函数为优化目标进行迭代训练，迭代训练完毕后得到卷积神经网络最终模型。

技术总结
本发明涉及图像处理技术，一种基于信息熵卷积神经网络的芯片表面缺陷识别方法，构建数据集：利用芯片生产工艺获得芯片所属的预设类别，利用可见光成像设备拍照采集芯片样本晶圆表面的光学图像，以构建数据集，划分训练集和测试集，构建卷积神经网络初始模型并训练：将训练集的图像输入卷积神经网络初始模型中，以交叉熵损失函数作为优化目标进行训练，以获得卷积神经网络中间模型，构建信息熵卷积神经网络初始模型，训练信息熵卷积神经网络初始模型，芯片表面缺陷识别：将所属数据集中的测试集的图像输入信息熵卷积神经网络最终模型中，由输出层输出识别结果，以此方式完成芯片表面缺陷识别。缺陷识别。缺陷识别。


技术研发人员：褚洁 王宇翔 张呈恺 温凯林 李天红 孔亮 张靖晨 蔡觉平
受保护的技术使用者：西安电子科技大学
技术研发日：2023.04.20
技术公布日：2023/7/20