一种芯片质量检测模型的构建方法及终端

1.本发明涉及芯片质量检测技术领域，尤其涉及一种芯片质量检测模型的构建方法及终端。


背景技术：

2.随着目前制造业的高质量发展，市场需要大力发展芯片产业，以提升芯片的应用适配能力。其中，芯片质量检测是芯片制造过程中非常重要的一环，决定了整个芯片是否能够达到和满足客户的使用要求。
3.芯片质量检测手段主要分为手动检测和自动检测两种，手动检测需要依靠人工凭借肉眼和经验对芯片进行察看，这种方式效率比较低且精度无法保证。自动检测则是通过机器和技术手段对芯片进行质量问题的识别，可以大大提升检测的效率和准确性。其中，图像识别是自动检测手段中常用方法，通过对芯片外观的图像进行短路、断线、划痕、缺损等质量问题的检测和判别。
4.目前基于图像识别的芯片质量检测方法已有很多研究成果，专利(专利公开号为cn115359022a)公开了一种电源芯片质量检测方法及系统，基于外观图像和特征信息对电源芯片的引脚进行质量检测，在图像分割之前并没有进行图像灰度化处理，能够比灰度化处理保留更多的细节信息，有效地提高了使用图像识别技术对电源管理芯片的引脚进行检测的准确性。专利(专利公开号为cn115601351a)公开了一种融合多模信息的键合缺陷识别方法、系统、设备及介质，通过将芯片里的像缺陷形态、污点边缘等缺陷参数输入缺陷识别模型进行判别，能够有效提高芯片缺陷识别的精度。专利(专利公开号为cn115239712a)公开了一种电路板表面缺陷检测方法、装置、电子设备及存储介质，通过将获取到的电路板图像输入预先训练好的cnn-transformer融合模型进行缺陷识别，模型在兼顾性能和推理速度的同时，不会增加额外的时间复杂度和空间复杂度，从而识别结果准确率和检测效率都取得不错的结果。
5.但是上述检测方法中所使用的模型的泛化性和鲁棒性不够强，且无法有效识别新类型的芯片缺陷或者未见过的相似芯片缺陷，导致模型整体的识别精度不高。


技术实现要素：

6.本发明所要解决的技术问题是：提供一种芯片质量检测模型的构建方法及终端，增强检测模型的泛化性和鲁棒性，有效识别新类型的芯片缺陷，提高芯片质量检测的准确率。
7.为了解决上述技术问题，本发明采用的技术方案为：
8.一种芯片质量检测模型的构建方法，包括步骤：
9.获取样本数据集，根据所述样本数据集获取对应的语义特征向量；
10.通过卷积神经网络和生成模型提取所述样本数据集的属性特征向量，并通过深度神经网络将所述属性特征向量映射至所述语义特征向量，得到芯片质量检测模型。
11.为了解决上述技术问题，本发明采用的另一种技术方案为：
12.一种芯片质量检测模型的构建终端，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
13.获取样本数据集，根据所述样本数据集获取对应的语义特征向量；
14.通过卷积神经网络和生成模型提取所述样本数据集的属性特征向量，并通过深度神经网络将所述属性特征向量映射至所述语义特征向量，得到芯片质量检测模型。
15.本发明的有益效果在于：通过样本数据集构建语义特性向量，从而实现对样本数据集识别和分类，同时将图像的属性特征向量与语义特征向量之间建立映射关系，则在遇到未学习过的芯片缺陷时能够进行识别和分类，实现零次学习，使得芯片质量检测模型能够识别从未出现过的芯片缺陷问题，提高芯片质量检测模型的准确率；最后，通过卷积神经网络和生成模型扩充图像的属性特征向量，扩大样本数据集，无需通过卷积神经网络多次提取图像的属性特征向量，在减少卷积神经网络计算量的同时有效增强模型的泛化性和鲁棒性。
附图说明
16.图1为本发明公开的一种芯片质量检测模型的构建方法的步骤流程图；
17.图2为本发明实施例提供的芯片质量检测模型的建模流程图；
18.图3为本发明实施例提供的卷积神经网络的结构示意图；
19.图4为本发明实施例提供的vae模型的结构示意图；
20.图5为本发明实施例提供的基于零次学习的芯片质量检测模型示意图；
21.图6为本发明公开的一种芯片质量检测模型的构建终端的结构示意图；
22.标号说明：
23.201、存储器；202、处理器。
具体实施方式
24.为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
25.请参照图1，本发明实施例提供了一种芯片质量检测模型的构建方法，其特征在于，包括步骤：
26.获取样本数据集，根据所述样本数据集获取对应的语义特征向量；
27.通过卷积神经网络和生成模型提取所述样本数据集的属性特征向量，并通过深度神经网络将所述属性特征向量映射至所述语义特征向量，得到芯片质量检测模型。
28.从上述描述可知，本发明的有益效果在于：通过样本数据集构建语义特性向量，从而实现对样本数据集识别和分类，同时将图像的属性特征向量与语义特征向量之间建立映射关系，则在遇到未学习过的芯片缺陷时能够进行识别和分类，实现零次学习，使得芯片质量检测模型能够识别从未出现过的芯片缺陷问题，提高芯片质量检测模型的准确率；最后，通过卷积神经网络和生成模型扩充图像的属性特征向量，扩大样本数据集，无需通过卷积神经网络多次提取图像的属性特征向量，在减少卷积神经网络计算量的同时有效增强模型的泛化性和鲁棒性。
29.进一步的，所述样本数据集包括训练样本集和测试样本集；所述测试样本集与所述训练样本集所包含的缺陷类型不完全相同；
30.所述获取样本数据集，根据所述样本数据集获取对应的语义特征向量具体为：
31.获取芯片的样本图像作为训练样本集和测试样本集，并分别标记所述训练样本集和测试样本集中的缺陷类型，得到训练标签和测试标签；
32.根据所述训练标签和测试标签分别构建对应的语义特征文本，根据对应的所述语义特征文本，通过词向量模型映射得到对应的语义特征向量。
33.由上述描述可知，通过训练样本集训练模型，使得模型能够对测试样本集中的缺陷问题进行分类，但是训练样本集与测试样本集之间的缺陷类型不完全相同，即训练样本集与测试样本集中的部分缺陷类型不存在交集，因此，通过对图像分别标记训练标签和测试标签对缺陷类型进行分类的同时，构建对应的语义特征文本，从而建立训练样本集与测试样本集之间的联系，使得模型分类识别有效。
34.进一步的，所述卷积神经网络包括第一卷积层、第二卷积层、第一采样层以及第二采样层；
35.所述通过卷积神经网络和生成模型提取所述样本数据集的属性特征向量具体为：
36.通过所述第一卷积层提取所述样本数据集的第一特征向量，通过所述第一采样层对所述第一特征向量进行数据采样，得到第二特征向量；
37.通过所述第二卷积层提取所述第二特征向量的第三特征向量，通过所述第二采样层对所述第三特征向量进行数据降维，得到初始特征向量；
38.将所述初始属性特征向量输入所述生成模型进行优化训练，得到相似特征向量；
39.将所述初始特征向量和相似特征向量的集合作为属性特征向量。
40.由上述描述可知，通过卷积神经网络提取图像中的初始特性向量，同时利用生成模型对每一类初始特性向量进行优化，生成更多相似特性向量，从而实现对属性特性向量的扩充，扩大模型训练数据的分布，有效增强模型的泛化性和鲁棒性。
41.进一步的，所述通过深度神经网络将所述属性特征向量映射至所述语义特征向量，得到芯片质量检测模型具体为：
42.通过深度神经网络的映射函数以及损失函数将所述属性特征向量映射至所述语义特征向量，得到芯片质量检测模型；
43.所述映射函数为：
44.s＝σ(w
sag
+bs)；
45.所述损失函数为：
46.loss＝min||w
sag-s||2+β||ws||2；
47.其中，σ为所述深度神经网络的激活函数；ws为卷积核；ag为属性特征向量；bs为偏置参数矩阵；s为语义特征向量；β为超参数；||ws||2为2范数约束，k为语义特征向量的个数。
48.由上述描述可知，通过将属性特征向量映射至语义特征向量，从而实现图像特征与缺陷类型的匹配，则通过属性特性向量能够实现不同缺陷类型的数据集之间的知识迁移，实现零次学习，使得芯片质量检测模型能够识别从未出现过的芯片缺陷问题，提高芯片质量检测模型的准确率。
49.进一步的，所述生成模型为vae模型；
50.所述将所述初始属性特征向量输入所述生成模型进行优化训练，得到相似特征向量具体为：
51.将所述初始属性特征向量输入所述vae模型的编码器，得到高斯分布函数；
52.对所述高斯分布函数进行采样，得到采样数据；
53.将所述采样数据输入所述vae模型的解码器，通过目标函数进行优化训练，生成相似特征向量；
54.所述目标函数为：
[0055][0056]
其中，e表示期望；a表示属性特征向量；z表示潜变量；p和q表示概率密度分布函数。
[0057]
由上述描述可知，在完成模型训练后，可通过生成模型的编码器生成更多相似的属性特征，从而得到优化和扩充后的属性特征向量，以此方式扩大模型训练数据的分布，因此能在减少计算量的同时有效增强模型的泛化性和鲁棒性。
[0058]
请参照图6，本发明另一实施例提供了一种芯片质量检测模型的构建终端，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0059]
获取样本数据集，根据所述样本数据集获取对应的语义特征向量；
[0060]
通过卷积神经网络和生成模型提取所述样本数据集的属性特征向量，并通过深度神经网络将所述属性特征向量映射至所述语义特征向量，得到芯片质量检测模型。
[0061]
从上述描述可知，本发明的有益效果在于：通过样本数据集构建语义特性向量，从而实现对样本数据集识别和分类，同时将图像的属性特征向量与语义特征向量之间建立映射关系，则在遇到未学习过的芯片缺陷时能够进行识别和分类，实现零次学习，使得芯片质量检测模型能够识别从未出现过的芯片缺陷问题，提高芯片质量检测模型的准确率；最后，通过卷积神经网络和生成模型扩充图像的属性特征向量，扩大样本数据集，无需通过卷积神经网络多次提取图像的属性特征向量，在减少卷积神经网络计算量的同时有效增强模型的泛化性和鲁棒性。
[0062]
进一步的，所述样本数据集包括训练样本集和测试样本集；所述测试样本集与所述训练样本集所包含的缺陷类型不完全相同；
[0063]
所述获取样本数据集，根据所述样本数据集获取对应的语义特征向量具体为：
[0064]
获取芯片的样本图像作为训练样本集和测试样本集，并分别标记所述训练样本集和测试样本集中的缺陷类型，得到训练标签和测试标签；
[0065]
根据所述训练标签和测试标签分别构建对应的语义特征文本，根据对应的所述语义特征文本，通过词向量模型映射得到对应的语义特征向量。
[0066]
由上述描述可知，通过训练样本集训练模型，使得模型能够对测试样本集中的缺陷问题进行分类，但是训练样本集与测试样本集之间的缺陷类型不完全相同，即训练样本集与测试样本集中的部分缺陷类型不存在交集，因此，通过对图像分别标记训练标签和测试标签对缺陷类型进行分类的同时，构建对应的语义特征文本，从而建立训练样本集与测
试样本集之间的联系，使得模型分类识别有效。
[0067]
进一步的，所述卷积神经网络包括第一卷积层、第二卷积层、第一采样层以及第二采样层；
[0068]
所述通过卷积神经网络和生成模型提取所述样本数据集的属性特征向量具体为：
[0069]
通过所述第一卷积层提取所述样本数据集的第一特征向量，通过所述第一采样层对所述第一特征向量进行数据采样，得到第二特征向量；
[0070]
通过所述第二卷积层提取所述第二特征向量的第三特征向量，通过所述第二采样层对所述第三特征向量进行数据降维，得到初始特征向量；
[0071]
将所述初始属性特征向量输入所述生成模型进行优化训练，得到相似特征向量；
[0072]
将所述初始特征向量和相似特征向量的集合作为属性特征向量。
[0073]
由上述描述可知，通过卷积神经网络提取图像中的初始特性向量，同时利用生成模型对每一类初始特性向量进行优化，生成更多相似特性向量，从而实现对属性特性向量的扩充，扩大模型训练数据的分布，有效增强模型的泛化性和鲁棒性。
[0074]
进一步的，所述通过深度神经网络将所述属性特征向量映射至所述语义特征向量，得到芯片质量检测模型具体为：
[0075]
通过深度神经网络的映射函数以及损失函数将所述属性特征向量映射至所述语义特征向量，得到芯片质量检测模型；
[0076]
所述映射函数为：
[0077]
s＝σ(w
sag
+bs)；
[0078]
所述损失函数为：
[0079]
loss＝min||w
sag-s||2+β||ws||2；
[0080]
其中，σ为所述深度神经网络的激活函数；ws为卷积核；ag为属性特征向量；bs为偏置参数矩阵；s为语义特征向量；β为超参数；||ws||2为2范数约束，k为语义特征向量的个数。
[0081]
由上述描述可知，通过将属性特征向量映射至语义特征向量，从而实现图像特征与缺陷类型的匹配，则通过属性特性向量能够实现不同缺陷类型的数据集之间的知识迁移，实现零次学习，使得芯片质量检测模型能够识别从未出现过的芯片缺陷问题，提高芯片质量检测模型的准确率。
[0082]
进一步的，所述生成模型为vae模型；
[0083]
所述将所述初始属性特征向量输入所述生成模型进行优化训练，得到相似特征向量具体为：
[0084]
将所述初始属性特征向量输入所述vae模型的编码器，得到高斯分布函数；
[0085]
对所述高斯分布函数进行采样，得到采样数据；
[0086]
将所述采样数据输入所述vae模型的解码器，通过目标函数进行优化训练，生成相似特征向量；
[0087]
所述目标函数为：
[0088][0089]
其中，e表示期望；a表示属性特征向量；z表示潜变量；p和q表示概率密度分布函
数。
[0090]
由上述描述可知，在完成模型训练后，可通过生成模型的编码器生成更多相似的属性特征，从而得到优化和扩充后的属性特征向量，以此方式扩大模型训练数据的分布，因此能在减少计算量的同时有效增强模型的泛化性和鲁棒性。
[0091]
本发明实施例提供的一种芯片质量检测模型的构建方法及终端，可应用于芯片生产制造流程中，实现芯片质量检测，提高检测效率以及准确率，以下通过具体实施例来说明：
[0092]
请参照图1至图5，本发明的实施例一为：
[0093]
一种芯片质量检测模型的构建方法，包括步骤：
[0094]
s1、获取样本数据集，根据所述样本数据集获取对应的语义特征向量。
[0095]
其中，所述样本数据集包括训练样本集和测试样本集；所述测试样本集与所述训练样本集所包含的缺陷类型不完全相同。
[0096]
需要说明的是，测试样本集包含一些不在训练样本集范围内的其他图像数据。
[0097]
所述s1具体为：
[0098]
s11、获取芯片的样本图像作为训练样本集和测试样本集，并分别标记所述训练样本集和测试样本集中的缺陷类型，得到训练标签和测试标签。
[0099]
需要说明的是，所述芯片的样本图像为存在缺陷的芯片图像；所述缺陷问题包括划痕、断线、短路、破损、污迹等。
[0100]
s12、根据所述训练标签和测试标签分别构建对应的语义特征文本，根据对应的所述语义特征文本，通过词向量模型映射得到对应的语义特征向量。
[0101]
在一些实施例中，获取训练样本集x和测试样本集x
t
，分别标记训练样本集x和测试样本集x
t
中的缺陷类型，得到训练标签y和测试标签y
t
，同时构建好每一种训练标签y和测试标签y
t
(即每一种缺陷类型)所对应的语义特征文本；例如，若测试标签y
t
(缺陷类型)为“断线”，则该测试标签y
t
所对应的语义特征文本包括导线、断裂、裂痕宽度等。同时将每一种训练标签y和测试标签y
t
(即每一种缺陷类型)所对应的语义特征文本通过自然语义处理领域的词向量模型得到对应的语义特征向量s＝[s1,s2,
…
,sn]以及s
t
＝[s
t1
,s
t2
,
…
,s
tn
]。
[0102]
s2、通过卷积神经网络和生成模型提取所述样本数据集的属性特征向量，并通过深度神经网络将所述属性特征向量映射至所述语义特征向量，得到芯片质量检测模型。
[0103]
其中，所述卷积神经网络包括第一卷积层、第二卷积层、第一采样层以及第二采样层。
[0104]
在一些实施例中，所述卷积神经网络为cnn算法模型。
[0105]
所述s2具体为：
[0106]
s21、通过所述第一卷积层提取所述样本数据集的第一特征向量，通过所述第一采样层对所述第一特征向量进行数据采样，得到第二特征向量。
[0107]
s22、通过所述第二卷积层提取所述第二特征向量的第三特征向量，通过所述第二采样层对所述第三特征向量进行数据降维，得到初始特征向量。
[0108]
在一些实施例中，如图3所示，将训练样本集输入模型后，第一卷积层通过5个卷积核提取粗略的第一特征向量a1，其表达式具体为：a1＝σ(w1+b1)。在经过第一卷积层后，第一采样层通过最大下采样法降低需要处理的数据量，即压缩训练样本集中的图像，其表达式
具体为：a2＝maxpool(a1)。而后，第二卷积层通过11个卷积核提取第二特征向量a2局部细致的第三特征向量a3，其表达式具体为：a3＝σ(w2a2+b2)。最后，通过第二采样层对第三特征向量a3进行数据降维后得到初始特征向量a。其中，上述σ表示卷积神经网络中的激活函数，此处采用relu函数；w1和w2表示卷积核，b1和b2表示偏置参数矩阵。
[0109]
s23、将所述初始属性特征向量输入所述生成模型进行优化训练，得到相似特征向量。
[0110]
在一种可选的实施方式中，所述生成模型为vae模型，则所述s23具体为：
[0111]
s231、将所述初始属性特征向量输入所述vae模型的编码器，得到高斯分布函数；
[0112]
s232、对所述高斯分布函数进行采样，得到采样数据；
[0113]
s233、将所述采样数据输入所述vae模型的解码器，通过目标函数进行优化训练，生成相似特征向量；
[0114]
所述目标函数为：
[0115][0116]
其中，e表示期望；a表示属性特征向量；z表示潜变量；p和q表示概率密度分布函数。
[0117]
s24、将所述初始特征向量和相似特征向量的集合作为属性特征向量。
[0118]
在一些实施例中，在获得初始特征向量后，为了在有限的样本数据集中尽可能识别到所有类似的缺陷问题，故进一步通过生成模型对每一类的初始特征向量a进行扩充和完善，以生成更多相似的属性特征向量。
[0119]
在一些实施例中，如图4所示，将初始特征向量a输入vae模型的编码器，编码器会将初始特征向量a映射为潜空间z中的一个高斯分布函数，从高斯分布函数中进行采样，得到采样数据z，然后将采样数据z输入解码器中进行优化训练，生成相似特征向量a’。将初始特征向量a和相似特征向量a’的集合作为属性特征向量ag。
[0120]
s25、通过深度神经网络的映射函数以及损失函数将所述属性特征向量映射至所述语义特征向量，得到芯片质量检测模型；
[0121]
所述映射函数为：
[0122]
s＝σ(w
sag
+bs)；
[0123]
所述损失函数为：
[0124]
loss＝min||w
sag-s||2+β||ws||2；
[0125]
其中，σ为所述深度神经网络的激活函数；ws为卷积核；ag为属性特征向量；bs为偏置参数矩阵；s为语义特征向量；β为超参数；||ws||2为2范数约束。
[0126]
需要说明的是，如图2所示，通过步骤s1-s2完成芯片质量检测模型的建模过程后，再通过训练样本集不断迭代训练该模型，同时采用测试样本集进行验证和优化模型，直至获得一个符合预期要求的芯片质量检测模型。
[0127]
在一些实施例中，通过包含芯片缺陷问题的训练样本集x和对应的训练样板标签y对模型进行训练，使得模型可以完成对测试样本集x
t
的识别和分类，由于训练样本集x与测试样本集x
t
所包含的缺陷类型不同，故模型需要通过语义特征文本实现二者之间的知识迁移与学习识别。例如，参照图5，在训练样本集x对模型进行训练的过程中，模型学习到训练
标签y1为“破损”所对应的语义特征文本包括“断裂”，即模型能够从图像中识别出“断裂”，并将其分类为“破损”问题；同时模型学习到训练标签y2为“短路”所对应的语义特征文本包括“导线”，即模型能够从图像中识别出“导线”，并将其分类为“短路”。在测试样本集x
t
对模型进行测试的过程中，对于未曾见过的测试标签y
t“断线”，模型可以从图像中识别到“断裂”和“导线”这两个特征，那么只需要将测试标签y
t“断线”所对应的语义特征文本与上述特征“断裂”和“导线”进行相关匹配，模型就可以有效识别“断线”这一缺陷。
[0128]
在进行芯片质量检测流程时，只需获取待测芯片的图像，并将所述图像输入所述芯片质量检测模型，即可完成待测芯片的质量检测。
[0129]
本发明主要通过零次学习方法让检测模型能够有效识别出未见过的芯片缺陷问题，同时利用生成模型提高零次学习过程中的样本特征学习效率。先准备芯片质量检测的图像构建训练样本集及其对应的训练标签、语义特征文本和语义特征向量，再通过卷积神经网络计算和提取图像的属性特性向量，并采用生成模型对每一类属性特性向量进行相似数据的模拟和生成，将扩充和优化后的属性特性向量映射到事前构建的缺陷问题所对应的语义特征向量上，实现对芯片缺陷问题的分类和识别决策，大大增强模型的泛化性和鲁棒性，有效提高质量检测的准确率。
[0130]
请参照图6，本发明的实施例二为：
[0131]
一种芯片质量检测模型的构建终端，包括存储器201、处理器202及存储在所述存储器201上并在所述处理器202上运行的计算机程序，所述处理器202执行所述计算机程序时实现实施例一所述一种芯片质量检测模型的构建方法中的各个步骤。
[0132]
综上所述，本发明提供的一种芯片质量检测模型的构建方法及终端，通过训练样本集训练模型，使得模型能够对测试样本集中的缺陷问题进行分类；同时获取缺陷类型与训练样本集不完全相同的测试样本集，通过在训练样本集和测试样本集之间构建训练标签和测试标签，并生成对应的语义特征文本以及语义特征向量，将图像的属性特征向量与语义特征向量之间建立映射关系，使得通过训练样本集训练得到的模型能够实现知识迁移，从而有效识别出训练样本集中从未出现过的芯片缺陷问题，并实现自动分类，达到零次学习的效果，提高检测模型的准确率。此外，本发明通过卷积神经网络提取图像的初始特征向量后，再次通过生成模型对初始特征向量进行优化和扩充，提取初始特征向量中的相似特征向量，扩大样本数据集的分布，提高零次学习过程中样本特征的学习效率，在减少卷积神经网络计算量的同时有效增强模型的泛化性和鲁棒性。
[0133]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种芯片质量检测模型的构建方法，其特征在于，包括步骤：获取样本数据集，根据所述样本数据集获取对应的语义特征向量；通过卷积神经网络和生成模型提取所述样本数据集的属性特征向量，并通过深度神经网络将所述属性特征向量映射至所述语义特征向量，得到芯片质量检测模型。2.根据权利要求1所述的一种芯片质量检测模型的构建方法，其特征在于，所述样本数据集包括训练样本集和测试样本集；所述测试样本集与所述训练样本集所包含的缺陷类型不完全相同；所述获取样本数据集，根据所述样本数据集获取对应的语义特征向量具体为：获取芯片的样本图像作为训练样本集和测试样本集，并分别标记所述训练样本集和测试样本集中的缺陷类型，得到训练标签和测试标签；根据所述训练标签和测试标签分别构建对应的语义特征文本，根据对应的所述语义特征文本，通过词向量模型映射得到对应的语义特征向量。3.根据权利要求1所述的一种芯片质量检测模型的构建方法，其特征在于，所述卷积神经网络包括第一卷积层、第二卷积层、第一采样层以及第二采样层；所述通过卷积神经网络和生成模型提取所述样本数据集的属性特征向量具体为：通过所述第一卷积层提取所述样本数据集的第一特征向量，通过所述第一采样层对所述第一特征向量进行数据采样，得到第二特征向量；通过所述第二卷积层提取所述第二特征向量的第三特征向量，通过所述第二采样层对所述第三特征向量进行数据降维，得到初始特征向量；将所述初始属性特征向量输入所述生成模型进行优化训练，得到相似特征向量；将所述初始特征向量和相似特征向量的集合作为属性特征向量。4.根据权利要求1所述的一种芯片质量检测模型的构建方法，其特征在于，所述通过深度神经网络将所述属性特征向量映射至所述语义特征向量，得到芯片质量检测模型具体为：通过深度神经网络的映射函数以及损失函数将所述属性特征向量映射至所述语义特征向量，得到芯片质量检测模型；所述映射函数为：s＝σ(w
s
a
g
+b
s
)；所述损失函数为：loss＝min||w
s
a
g-s||2+β||w
s
||2；其中，σ为所述深度神经网络的激活函数；w
s
为卷积核；a
g
为属性特征向量；b
s
为偏置参数矩阵；s为语义特征向量；β为超参数；||w
s
||2为2范数约束，k为语义特征向量的个数。5.根据权利要求3所述的一种芯片质量检测模型的构建方法，其特征在于，所述生成模型为vae模型；所述将所述初始属性特征向量输入所述生成模型进行优化训练，得到相似特征向量具体为：将所述初始属性特征向量输入所述vae模型的编码器，得到高斯分布函数；
对所述高斯分布函数进行采样，得到采样数据；将所述采样数据输入所述vae模型的解码器，通过目标函数进行优化训练，生成相似特征向量；所述目标函数为：其中，e表示期望；a表示属性特征向量；z表示潜变量；p和q表示概率密度分布函数。6.一种芯片质量检测模型的构建终端，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：获取样本数据集，根据所述样本数据集获取对应的语义特征向量；通过卷积神经网络和生成模型提取所述样本数据集的属性特征向量，并通过深度神经网络将所述属性特征向量映射至所述语义特征向量，得到芯片质量检测模型。7.根据权利要求6所述的一种芯片质量检测模型的构建终端，其特征在于，所述样本数据集包括训练样本集和测试样本集；所述测试样本集与所述训练样本集所包含的缺陷类型不完全相同；所述获取样本数据集，根据所述样本数据集获取对应的语义特征向量具体为：获取芯片的样本图像作为训练样本集和测试样本集，并分别标记所述训练样本集和测试样本集中的缺陷类型，得到训练标签和测试标签；根据所述训练标签和测试标签分别构建对应的语义特征文本，根据对应的所述语义特征文本，通过词向量模型映射得到对应的语义特征向量。8.根据权利要求6所述的一种芯片质量检测模型的构建终端，其特征在于，所述卷积神经网络包括第一卷积层、第二卷积层、第一采样层以及第二采样层；所述通过卷积神经网络和生成模型提取所述样本数据集的属性特征向量具体为：通过所述第一卷积层提取所述样本数据集的第一特征向量，通过所述第一采样层对所述第一特征向量进行数据采样，得到第二特征向量；通过所述第二卷积层提取所述第二特征向量的第三特征向量，通过所述第二采样层对所述第三特征向量进行数据降维，得到初始特征向量；将所述初始属性特征向量输入所述生成模型进行优化训练，得到相似特征向量；将所述初始特征向量和相似特征向量的集合作为属性特征向量。9.根据权利要求6所述的一种芯片质量检测模型的构建终端，其特征在于，所述通过深度神经网络将所述属性特征向量映射至所述语义特征向量，得到芯片质量检测模型具体为：通过深度神经网络的映射函数以及损失函数将所述属性特征向量映射至所述语义特征向量，得到芯片质量检测模型；所述映射函数为：s＝σ(w
s
a
g
+b
s
)；所述损失函数为：loss＝min||w
s
a
g-s||2+β||w
s
||2；
其中，σ为所述深度神经网络的激活函数；w
s
为卷积核；a
g
为属性特征向量；b
s
为偏置参数矩阵；s为语义特征向量；β为超参数；||w
s
||2为2范数约束。10.根据权利要求8所述的一种芯片质量检测模型的构建终端，其特征在于，所述生成模型为vae模型；所述将所述初始属性特征向量输入所述生成模型进行优化训练，得到相似特征向量具体为：将所述初始属性特征向量输入所述vae模型的编码器，得到高斯分布函数；对所述高斯分布函数进行采样，得到采样数据；将所述采样数据输入所述vae模型的解码器，通过目标函数进行优化训练，生成相似特征向量；所述目标函数为：其中，e表示期望；a表示属性特征向量；z表示潜变量；p和q表示概率密度分布函数。

技术总结
本发明提供的一种芯片质量检测模型的构建方法及终端，通过样本数据集构建语义特性向量，从而实现对样本数据集识别和分类，同时将图像的属性特征向量与语义特征向量之间建立映射关系，则在遇到未学习过的芯片缺陷时能够进行识别和分类，实现零次学习，使得芯片质量检测模型能够识别从未出现过的芯片缺陷问题，提高芯片质量检测模型的准确率；最后，通过卷积神经网络和生成模型扩充图像的属性特征向量，扩大样本数据集，无需通过卷积神经网络多次提取图像的属性特征向量，在减少卷积神经网络计算量的同时有效增强模型的泛化性和鲁棒性。性。性。


技术研发人员：宋轩 谢洪彬 郑少铭 张嘉晖
受保护的技术使用者：南方科技大学
技术研发日：2023.06.06
技术公布日：2023/10/15