自适应晶圆缺陷检测方法、装置、电子设备及存储介质

1.本发明涉及缺陷检测技术领域，具体而言，涉及一种自适应晶圆缺陷检测方法、装置、电子设备及存储介质。


背景技术：

2.半导体检测是半导体市场在如今的发展规模下的一种衍生的服务形态，其中涉及到的关键技术就是晶圆缺陷检测。随着半导体的研发投入越来越大，对于设计缺陷的容忍度几乎为零，因此需要对芯片进行严格的测试和验证，主要涉及到晶圆表面或电路结构中，检测是否存在污染、划伤、异质情况等对于芯片工艺有不良影响的缺陷。
3.传统的半导体产品质量检测工作还是以人工检测居多，即传统利用人眼进行检视，并进行人工主观判断的检测方式。人工质检的人力成本较高，且检测精度随着工作时长、工人的疲劳程度增长而逐步下降，存在速度较慢，可靠性较低的缺点。在半导体制造行业，动辄6σ(百万分之3.4)的失误率要求，几乎很难靠人工检测在待检测数量巨大的前提下达到如此高的可靠度。为了解决此类问题，自动光学检测技术(automated optical inspection)应运而生，其应用人工智能中的机器视觉技术，通过电子设备成像来弥补人眼的视力局限，再将人脑的质量判别转由计算机使用图像处理和人工智能技术进行分析判别，从而完成精密制造工作中对于产品质检精度以及速度的要求。
4.近年来，基于深度神经网络的人工智能算法的飞速发展，极大促进了aoi检测行业的发展。深度学习基于数据驱动的自动特征抽取具有更强的适应性以及鲁棒性，基于此研究的图像分类和目标检测等算法在aoi检测行业取得了广泛应用。
5.但是，目前基于深度学习的机器视觉检测算法需要依赖大量带真实值标注的数据进行学习，因此用于训练网络模型的数据规模以及标注质量直接影响算法的好坏，而在实际晶圆检测应用场景中，能够采集到的缺陷样本十分稀缺，即使能够采集到足够的缺陷样本，其也会带来大量的人工标注成本，对于算法的应用落地带来了极大的阻碍。


技术实现要素：

6.有鉴于此，本技术实施例的目的在于提供一种自适应晶圆缺陷检测方法、装置、电子设备及存储介质，能够改善当下基于机器视觉检测晶圆缺陷的方式，存在缺陷样本难采集、人力成本高昂、复杂环境下的缺陷检测鲁棒性不足的问题。
7.为实现上述技术目的，本技术采用的技术方案如下：
8.第一方面，本技术实施例提供了一种自适应晶圆缺陷检测方法，所述方法包括：
9.获取通过相机拍摄晶圆得到的相机图像；
10.对所述相机图像进行预处理，以得到待检图像；
11.将所述待检图像输入经过训练的预设缺陷检测模型，以得到表征所述晶圆是否存在缺陷的检测结果，其中，所述预设缺陷检测模型是基于无监督算法padim构建得到的；
12.当所述检测结果为所述晶圆存在缺陷时，通过预设图像分割策略，从所述相机图
像中分割出表征缺陷区域的图像，以作为图像分割结果。
13.结合第一方面，在一些可选的实施方式中，在获取通过相机拍摄晶圆得到的相机图像之前，所述方法还包括：
14.基于padim算法，以经过预训练的resnet18作为backbone，构建得到缺陷检测模型，以作为所述预设缺陷检测模型；
15.获取训练集，所述训练集包括所述晶圆在无缺陷的常规状态下的标准图像；
16.对所述训练集进行数据增强处理，得到经过数据增强处理的训练集；
17.通过所述经过数据增强处理的训练集对所述预设缺陷检测模型进行训练，得到所述经过训练的预设缺陷检测模型。
18.结合第一方面，在一些可选的实施方式中，通过所述经过数据增强处理的训练集对所述预设缺陷检测模型进行训练，得到所述经过训练的预设缺陷检测模型，包括：
19.通过所述经过预训练的resnet18提取所述标准图像的特征图，并通过半正交嵌入策略对所述特征图进行降维，以生成所述标准图像对应的特征向量；
20.根据所述特征向量，计算得到所述特征向量对应的多元高斯分布，以及，所述特征向量与所述多元高斯分布之间的马氏距离。
21.结合第一方面，在一些可选的实施方式中，根据所述特征向量，计算得到所述特征向量对应的多元高斯分布，以及，所述特征向量与所述多元高斯分布之间的马氏距离，包括：
22.计算得到n张所述标准图像在位置(i,j)处的特征向量集合：
23.计算得到n张所述标准图像在位置(i,j)处的多元高斯分布n(μ
ij
,∑
ij
)，其中，μ
ij
为样本均值，表示如下：
[0024][0025]
∑ij为样本协方差，表示如下：
[0026][0027]
式中，εi为正则化项；
[0028]
计算所述特征向量x
ij
与所述多元高斯分布n(μ
ij
,∑
ij
)之间的所述马氏距离m(x
ij
)：
[0029][0030]
确定所述马氏距离为所述标准图像的ood(out of distribution)得分。
[0031]
结合第一方面，在一些可选的实施方式中，对所述相机图像进行预处理，以得到待检图像，包括：
[0032]
将所述相机图像进行灰度化处理，得到灰度图像；
[0033]
对所述灰度图像进行图像分割，以得到二值图像；
[0034]
基于预设的模板图像对所述二值图像进行单晶粒图像分割，以得到晶粒图像；
[0035]
确定所述晶粒图像为所述待检图像。
[0036]
结合第一方面，在一些可选的实施方式中，将所述待检图像输入经过训练的预设缺陷检测模型，以得到表征所述晶圆是否存在缺陷的检测结果，包括：
[0037]
通过所述预设缺陷检测模型获取所述待检图像的ood得分；
[0038]
当所述ood得分大于预设缺陷阈值时，确定所述检测结果为，当前待检图像存在缺陷。
[0039]
结合第一方面，在一些可选的实施方式中，当所述检测结果为所述晶圆存在缺陷时，通过预设图像分割策略，从所述相机图像中分割出表征缺陷区域的图像，以作为图像分割结果，包括：
[0040]
根据所述ood得分，通过双线性插值上采样策略，得到所述待检图像中所诉ood得分对应位置的缺陷得分；
[0041]
基于掩码分割策略，将所述晶粒图像中所述缺陷得分小于等于所诉预设缺陷阈值的区域的掩码设置为0；
[0042]
将所述掩码为0的区域对应的图像像素值置位为0，以得到所述图像分割结果。
[0043]
第二方面，本技术实施例还提供一种自适应晶圆缺陷检测装置，所述装置包括：
[0044]
第一获取单元，用于获取通过相机拍摄晶圆得到的相机图像；
[0045]
图像预处理单元，用于对所述相机图像进行预处理，以得到待检图像；
[0046]
检测单元，用于将所述待检图像输入经过训练的预设缺陷检测模型，以得到表征所述晶圆是否存在缺陷的检测结果，其中，所述预设缺陷检测模型是基于无监督算法padim构建得到的；
[0047]
分割单元，用于当所述检测结果为所述晶圆存在缺陷时，通过预设图像分割策略，从所述相机图像中分割出表征缺陷区域的图像，以作为图像分割结果。所述装置包括：
[0048]
第三方面，本技术实施例还提供一种电子设备，所述电子设备包括相互耦合的处理器及存储器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行上述的方法。
[0049]
第四方面，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的方法。
[0050]
采用上述技术方案的发明，具有如下优点：
[0051]
在本技术提供的技术方案中，首先获取通过相机拍摄晶圆得到的相机图像，并对相机图像进行预处理，以得到待检图像，然后将待检图像输入经过训练的预设缺陷检测模型，以得到表征晶圆是否存在缺陷的检测结果，其中，预设缺陷检测模型是基于无监督算法padim构建得到的，当检测结果为晶圆存在缺陷时，通过预设图像分割策略，从相机图像中分割出表征缺陷区域的图像，以作为图像分割结果。如此，通过无监督检测模型实现晶圆的缺陷检测，改善当下晶圆缺陷检测存在缺陷样本难采集、人力成本高昂的问题，同时，基于无监督算法实现的缺陷检测能更好的应用于复杂环境，提高了检测模型的环境自适应能
力。
附图说明
[0052]
本技术可以通过附图给出的非限定性实施例进一步说明。应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0053]
图1为本技术实施例提供的自适应晶圆缺陷检测方法的流程示意图。
[0054]
图2为本技术实施例提供的自适应晶圆缺陷检测装置的框图。
[0055]
图标：200-自适应晶圆缺陷检测装置；210-第一获取单元；220-图像预处理单元；230-检测单元；240-分割单元。
具体实施方式
[0056]
以下将结合附图和具体实施例对本技术进行详细说明，需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号，附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0057]
本技术实施例提供一种电子设备可以包括处理模块及存储模块。存储模块内存储计算机程序，当计算机程序被所述处理模块执行时，使得电子设备能够执行下述自适应晶圆缺陷检测方法中的相应步骤。
[0058]
在本实施例中，电子设备可以是个人电脑、云服务器、笔记本电脑等，用于基于padim算法构建缺陷检测模型并对待检图像进行缺陷检测，以及，对存在缺陷的待检图像进行缺陷图像分割。
[0059]
请参照图1，本技术还提供一种自适应晶圆缺陷检测方法。可以应用于上述电子设备中，由电子设备执行或实现方法中的各步骤。其中，自适应晶圆缺陷检测方法可以包括如下步骤：
[0060]
步骤110，获取通过相机拍摄晶圆得到的相机图像；
[0061]
步骤120，对所述相机图像进行预处理，以得到待检图像；
[0062]
步骤130，将所述待检图像输入经过训练的预设缺陷检测模型，以得到表征所述晶圆是否存在缺陷的检测结果，其中，所述预设缺陷检测模型是基于无监督算法padim构建得到的；
[0063]
步骤140，当所述检测结果为所述晶圆存在缺陷时，通过预设图像分割策略，从所述相机图像中分割出表征缺陷区域的图像，以作为图像分割结果。
[0064]
在上述的实施方式中，首先获取通过相机拍摄晶圆得到的相机图像，并对相机图像进行预处理，以得到待检图像，然后将待检图像输入经过训练的预设缺陷检测模型，以得到表征晶圆是否存在缺陷的检测结果，其中，预设缺陷检测模型是基于无监督算法padim构建得到的，当检测结果为晶圆存在缺陷时，通过预设图像分割策略，从相机图像中分割出表征缺陷区域的图像，以作为图像分割结果。如此，通过无监督检测模型实现晶圆的缺陷检测，改善当下晶圆缺陷检测存在缺陷样本难采集、人力成本高昂的问题，同时，基于无监督算法实现的缺陷检测能更好的应用于复杂环境，提高了检测模型的环境自适应能力。
[0065]
下面将对自适应晶圆缺陷检测方法的各步骤进行详细阐述，如下：
[0066]
在步骤110之前，方法可以包括：
[0067]
步骤101，基于padim算法，以经过预训练的resnet18作为backbone，构建得到缺陷检测模型，以作为所述预设缺陷检测模型；
[0068]
步骤102，获取训练集，所述训练集包括所述晶圆在无缺陷的常规状态下的标准图像；
[0069]
步骤103，对所述训练集进行数据增强处理，得到经过数据增强处理的训练集；
[0070]
步骤104，通过所述经过数据增强处理的训练集对所述预设缺陷检测模型进行训练，得到所述经过训练的预设缺陷检测模型。
[0071]
可理解的，由于晶圆缺陷种类的不确定性和缺陷样本的稀疏性，有监督的深度学习方法很难被应用于晶圆缺陷检测之中，因此，通过采用无监督padim算法，由多张晶圆在无缺陷的常规状态下的标准图像构成训练集，减小训练样本的收集难度。
[0072]
另外，由于模型的训练通常需要大量的训练样本支撑模型在训练过程中的参数调优，而模型中初始的神经网络对于细微改变的图像类样本也会识别为独特的个体对象。因此，通过对现有的训练样本(即标准图像)进行微小的改变，比如旋转、翻转、比例缩放、裁剪、移位、添加高斯噪声等，并将改变后产生的新图像添加至训练集中，达到增加样本数据量和多样性、提高模型抗干扰能力、降低误报率并提高召回率的目的。
[0073]
在本实施例中，步骤104，通过所述经过数据增强处理的训练集对所述预设缺陷检测模型进行训练，得到所述经过训练的预设缺陷检测模型，包括：
[0074]
步骤1041，通过所述经过预训练的resnet18提取所述标准图像的特征图，并通过半正交嵌入策略对所述特征图进行降维，以生成所述标准图像对应的特征向量；
[0075]
步骤1042，根据所述特征向量，计算得到所述特征向量对应的多元高斯分布，以及，所述特征向量与所述多元高斯分布之间的马氏距离。
[0076]
在步骤1041中，将h
×w×
c的特征图，在通道维度上与c
×
k(k《c)的半正交矩阵相乘，以使特征图降维至h
×w×
k，并生成对应的特征向量。其中，h表示特征图的高，w表示特征图的宽，c表示特征图的通道数。
[0077]
在步骤1042中，根据所述特征向量，计算得到所述特征向量对应的多元高斯分布，以及，所述特征向量与所述多元高斯分布之间的马氏距离，包括：
[0078]
计算得到n张所述标准图像在位置(i,j)处的特征向量集合：
[0079]
计算得到n张所述标准图像在位置(i,j)处的多元高斯分布n(μ
ij
,∑ij)，其中，μ
ij
为样本均值，表示如下：
[0080][0081]
∑ij为样本协方差，表示如下：
[0082][0083]
式中，εi为正则化项；
[0084]
计算所述特征向量x
ij
与所述多元高斯分布n(μ
ij
,∑
ij
)之间的所述马氏距离m(x
ij
)：
[0085][0086]
确定所述马氏距离为所述标准图像的ood(out of distribution)得分。
[0087]
在本实施例中，ood得分可理解为表征标准图像异常情况的异常得分，且ood得分可以是表征标准图像异常情况的异常得分图，而非一个单一的数值。
[0088]
在步骤110中，由于相机分辨率的不同，一张完整的晶圆往往并不能完整、清晰的被一张相机图像承载，因此，为了保证构成晶圆的每颗芯片能被相机清晰、完整的记录在相机图像中，完整的晶圆可以被分为若干相机图像送入后续缺陷检测与分类流程。
[0089]
在步骤120中，对所述相机图像进行预处理，以得到待检图像，包括：
[0090]
将所述相机图像进行灰度化处理，得到灰度图像；
[0091]
对所述灰度图像进行图像分割，以得到二值图像；
[0092]
基于预设的模板图像对所述二值图像进行单晶粒图像分割，以得到晶粒图像；
[0093]
确定所述晶粒图像为所述待检图像。
[0094]
在本实施例中，可以采用自适应阈值法对灰度图像进行图像分割，得到图像呈现更清晰的二值图像。其中，自适应阈值可以根据目标像素的邻域块的像素分布来确定该目标像素的阈值(可以是邻域的均值、中值、高斯加权平均值等)，即亮度较高的图像区域通常阈值较高，亮度较低的图像区域的阈值则适应性变小，如此，对于亮度分布差异较大的图像，可以使图像的分割更为清晰。
[0095]
获得二值图像后，根据预设的单晶粒图像模板，遍历该二值图像，匹配二值图像中的单晶粒图像，如此，将表征晶圆外观的二值图像分割为若干晶粒图像，晶粒图像的集合即为待检图像。
[0096]
在步骤130中，将所述待检图像输入经过训练的预设缺陷检测模型，以得到表征所述晶圆是否存在缺陷的检测结果，包括：
[0097]
通过所述预设缺陷检测模型获取所述待检图像的ood得分；
[0098]
当所述ood得分大于预设缺陷阈值时，确定所述检测结果为，当前待检图像存在缺陷。
[0099]
在本实施例中，ood得分的计算方式在上述步骤1042中详细说明，此处不再赘述。预设缺陷阈值可以根据实际情况灵活设置，通常可以设置严格检测阈值和宽松检测阈值，用于针对不同的产品工艺需求。实际应用中，单批晶圆检测取严格检测阈值或宽松检测阈值之一即可。在本实施例中，严格检测阈值以9为例，宽松检测阈值以15为例。
[0100]
示例性的，通过图像预处理得到待检图像后，将待检图像输入预设缺陷检测模型中，得到表征待检图像异常(缺陷)情况的ood得分图，将每个区域的ood得分与预设缺陷阈
值(例如：9)进行对比，当任意区域的ood得分大于9时，确定检测结果为该待检图像及该待检图像对应的晶圆中存在缺陷。
[0101]
在步骤140中，当所述检测结果为所述晶圆存在缺陷时，通过预设图像分割策略，从所述相机图像中分割出表征缺陷区域的图像，以作为图像分割结果，包括：
[0102]
根据所述ood得分，通过双线性插值上采样策略，得到所述待检图像中所诉ood得分对应位置的缺陷得分；
[0103]
基于掩码分割策略，将所述晶粒图像中所述缺陷得分小于等于所诉预设缺陷阈值的区域的掩码设置为0；
[0104]
将所述掩码为0的区域对应的图像像素值置位为0，以得到所述图像分割结果。
[0105]
可理解的，通过上述方法计算得到的初始ood得分图通常表征经过下采样(即缩小后)的特征图异常情况。因此，确认待检图像中存在缺陷后，提取该缺陷所在位置的ood得分，并通过双线性差值上采样的方式，还原待检图像中与该ood得分对应的原始图像的缺陷得分。
[0106]
在本实施例中，通过掩码分割的方式，从待检图像中分割出表征缺陷区域的图像。首先，将晶粒图像中缺陷得分小于等于预设缺陷阈值(例如：9)的区域的掩码设置为0，将晶粒图像中缺陷得分大于9的区域的掩码设置为1，然后将掩码为0的区域对应的图像像素值置位为0，并保持掩码为0的区域对应的图像原像素值。如此，可理解为通过掩码分割的方式对缺陷区域进行“抠图”，使得原待检图像输出为一张背景为白色填充的缺陷图。
[0107]
请参照图2，本技术还提供一种自适应晶圆缺陷检测装置200，自适应晶圆缺陷检测装置200包括至少一个可以软件或固件(firmware)的形式存储于存储模块中或固化在电子设备的操作系统(operating system，os)中的软件功能模块。处理模块用于执行存储模块中存储的可执行模块，例如自适应晶圆缺陷检测装置200所包括的软件功能模块及计算机程序等。
[0108]
自适应晶圆缺陷检测装置200包括第一获取单元210、图像预处理单元220、检测单元230及分割单元240，各单元具有的功能可以如下：
[0109]
第一获取单元210，用于获取通过相机拍摄晶圆得到的相机图像；
[0110]
图像预处理单元220，用于对所述相机图像进行预处理，以得到待检图像；
[0111]
检测单元230，用于将所述待检图像输入经过训练的预设缺陷检测模型，以得到表征所述晶圆是否存在缺陷的检测结果，其中，所述预设缺陷检测模型是基于无监督算法padim构建得到的；
[0112]
分割单元240，用于当所述检测结果为所述晶圆存在缺陷时，通过预设图像分割策略，从所述相机图像中分割出表征缺陷区域的图像，以作为图像分割结果。
[0113]
可选的，自适应晶圆缺陷检测装置200还可以包括：
[0114]
构建单元，用于基于padim算法，以经过预训练的resnet18作为backbone，构建得到缺陷检测模型，以作为所述预设缺陷检测模型；
[0115]
第二获取单元，用于获取训练集，所述训练集包括所述晶圆在无缺陷的常规状态下的标准图像；
[0116]
数据增强单元，用于对所述训练集进行数据增强处理，得到经过数据增强处理的训练集；
[0117]
训练单元，用于通过所述经过数据增强处理的训练集对所述预设缺陷检测模型进行训练，得到所述经过训练的预设缺陷检测模型。
[0118]
可选的，训练单元还可以用于：
[0119]
通过所述经过预训练的resnet18提取所述标准图像的特征图，并通过半正交嵌入策略对所述特征图进行降维，以生成所述标准图像对应的特征向量；
[0120]
根据所述特征向量，计算得到所述特征向量对应的多元高斯分布，以及，所述特征向量与所述多元高斯分布之间的马氏距离。
[0121]
可选的，根据所述特征向量，计算得到所述特征向量对应的多元高斯分布，以及，所述特征向量与所述多元高斯分布之间的马氏距离，可以包括：
[0122]
计算得到n张所述标准图像在位置(i,j)处的特征向量集合：
[0123]
计算得到n张所述标准图像在位置(i,j)处的多元高斯分布n(μ
ij
,∑ij)，其中，μ
ij
为样本均值，表示如下：
[0124][0125]
∑ij为样本协方差，表示如下：
[0126][0127]
式中，εi为正则化项；
[0128]
计算所述特征向量x
ij
与所述多元高斯分布n(μ
ij
,∑ij)之间的所述马氏距离m(x
ij
)：
[0129][0130]
确定所述马氏距离为所述标准图像的ood得分。
[0131]
可选的，图像预处理单元220还可以用于：
[0132]
将所述相机图像进行灰度化处理，得到灰度图像；
[0133]
对所述灰度图像进行图像分割，以得到二值图像；
[0134]
基于预设的模板图像对所述二值图像进行单晶粒图像分割，以得到晶粒图像；
[0135]
确定所述晶粒图像为所述待检图像。
[0136]
可选的，检测单元230还可以用于：
[0137]
通过所述预设缺陷检测模型获取所述待检图像的ood得分；
[0138]
当所述ood得分大于预设缺陷阈值时，确定所述检测结果为，当前待检图像存在缺陷。
[0139]
可选的，分割单元240还可以用于：
[0140]
根据所述ood得分，通过双线性插值上采样策略，得到所述待检图像中所诉ood得
分对应位置的缺陷得分；
[0141]
基于掩码分割策略，将所述晶粒图像中所述缺陷得分小于等于所诉预设缺陷阈值的区域的掩码设置为0；
[0142]
将所述掩码为0的区域对应的图像像素值置位为0，以得到所述图像分割结果。
[0143]
在本实施例中，处理模块可以是一种集成电路芯片，具有信号的处理能力。上述处理模块可以是通用处理器。例如，该处理器可以是中央处理器(central processing unit，cpu)、数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。
[0144]
存储模块可以是，但不限于，随机存取存储器，只读存储器，可编程只读存储器，可擦除可编程只读存储器，电可擦除可编程只读存储器等。在本实施例中，存储模块可以用于存储相机图像、待检图像、预设缺陷检测模型、检测结果、预设图像分割策略、图像分割结果、训练集、ood得分、预设缺陷阈值、双线性插值上采样策略、掩码分割策略等。当然，存储模块还可以用于存储程序，处理模块在接收到执行指令后，执行该程序。
[0145]
需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备的具体工作过程，可以参考前述方法中的各步骤对应过程，在此不再过多赘述。
[0146]
本技术实施例还提供一种计算机可读存储介质。计算机可读存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行如上述实施例中所述的自适应晶圆缺陷检测方法。
[0147]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本技术可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本技术的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施场景所述的方法。
[0148]
综上所述，本技术实施例提供一种自适应晶圆缺陷检测方法、装置、电子设备及存储介质。在本技术方案中，首先获取通过相机拍摄晶圆得到的相机图像，并对相机图像进行预处理，以得到待检图像，然后将待检图像输入经过训练的预设缺陷检测模型，以得到表征晶圆是否存在缺陷的检测结果，其中，预设缺陷检测模型是基于无监督算法padim构建得到的，当检测结果为晶圆存在缺陷时，通过预设图像分割策略，从相机图像中分割出表征缺陷区域的图像，以作为图像分割结果。如此，通过无监督检测模型实现晶圆的缺陷检测，改善当下晶圆缺陷检测存在缺陷样本难采集、人力成本高昂的问题，同时，基于无监督算法实现的缺陷检测能更好的应用于复杂环境，提高了检测模型的环境自适应能力。
[0149]
在本技术所提供的实施例中，应该理解到，所揭露的装置、系统和方法，也可以通过其它的方式实现。以上所描述的装置、系统和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的
逻辑功能的可执行指令。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0150]
以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种自适应晶圆缺陷检测方法，其特征在于，所述方法包括：获取通过相机拍摄晶圆得到的相机图像；对所述相机图像进行预处理，以得到待检图像；将所述待检图像输入经过训练的预设缺陷检测模型，以得到表征所述晶圆是否存在缺陷的检测结果，其中，所述预设缺陷检测模型是基于无监督算法padim构建得到的；当所述检测结果为所述晶圆存在缺陷时，通过预设图像分割策略，从所述相机图像中分割出表征缺陷区域的图像，以作为图像分割结果。2.根据权利要求1所述的方法，其特征在于，在获取通过相机拍摄晶圆得到的相机图像之前，所述方法还包括：基于padim算法，以经过预训练的resnet18作为backbone，构建得到缺陷检测模型，以作为所述预设缺陷检测模型；获取训练集，所述训练集包括所述晶圆在无缺陷的常规状态下的标准图像；对所述训练集进行数据增强处理，得到经过数据增强处理的训练集；通过所述经过数据增强处理的训练集对所述预设缺陷检测模型进行训练，得到所述经过训练的预设缺陷检测模型。3.根据权利要求2所述的方法，其特征在于，通过所述经过数据增强处理的训练集对所述预设缺陷检测模型进行训练，得到所述经过训练的预设缺陷检测模型，包括：通过所述经过预训练的resnet18提取所述标准图像的特征图，并通过半正交嵌入策略对所述特征图进行降维，以生成所述标准图像对应的特征向量；根据所述特征向量，计算得到所述特征向量对应的多元高斯分布，以及，所述特征向量与所述多元高斯分布之间的马氏距离。4.根据权利要求3所述的方法，其特征在于，根据所述特征向量，计算得到所述特征向量对应的多元高斯分布，以及，所述特征向量与所述多元高斯分布之间的马氏距离，包括：计算得到n张所述标准图像在位置(i,j)处的特征向量集合：计算得到n张所述标准图像在位置(i,j)处的多元高斯分布n(μ
ij
,∑ij)，其中，μ
ij
为样本均值，表示如下：∑ij为样本协方差，表示如下：式中，εi为正则化项；计算所述特征向量x
ij
与所述多元高斯分布n(μ
ij
,∑ij)之间的所述马氏距离m(x
ij
)：
确定所述马氏距离为所述标准图像的ood得分。5.根据权利要求3所述的方法，其特征在于，对所述相机图像进行预处理，以得到待检图像，包括：将所述相机图像进行灰度化处理，得到灰度图像；对所述灰度图像进行图像分割，以得到二值图像；基于预设的模板图像对所述二值图像进行单晶粒图像分割，以得到晶粒图像；确定所述晶粒图像为所述待检图像。6.根据权利要求1所述的方法，其特征在于，将所述待检图像输入经过训练的预设缺陷检测模型，以得到表征所述晶圆是否存在缺陷的检测结果，包括：通过所述预设缺陷检测模型获取所述待检图像的ood得分；当所述ood得分大于预设缺陷阈值时，确定所述检测结果为，当前待检图像存在缺陷。7.根据权利要求6所述的方法，其特征在于，当所述检测结果为所述晶圆存在缺陷时，通过预设图像分割策略，从所述相机图像中分割出表征缺陷区域的图像，以作为图像分割结果，包括：根据所述ood得分，通过双线性插值上采样策略，得到所述待检图像中所诉ood得分对应位置的缺陷得分；基于掩码分割策略，将所述晶粒图像中所述缺陷得分小于等于所诉预设缺陷阈值的区域的掩码设置为0；将所述掩码为0的区域对应的图像像素值置位为0，以得到所述图像分割结果。8.一种自适应晶圆缺陷检测装置，其特征在于，所述装置包括：第一获取单元，用于获取通过相机拍摄晶圆得到的相机图像；图像预处理单元，用于对所述相机图像进行预处理，以得到待检图像；检测单元，用于将所述待检图像输入经过训练的预设缺陷检测模型，以得到表征所述晶圆是否存在缺陷的检测结果，其中，所述预设缺陷检测模型是基于无监督算法padim构建得到的；分割单元，用于当所述检测结果为所述晶圆存在缺陷时，通过预设图像分割策略，从所述相机图像中分割出表征缺陷区域的图像，以作为图像分割结果。9.一种电子设备，其特征在于，所述电子设备包括相互耦合的处理器及存储器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行如权利要求1-7中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1-7中任一项所述的方法。

技术总结
本申请提供一种自适应晶圆缺陷检测方法、装置、电子设备及存储介质，涉及缺陷检测技术领域。方法包括：获取通过相机拍摄晶圆得到的相机图像；对相机图像进行预处理，以得到待检图像；将待检图像输入经过训练的预设缺陷检测模型，以得到表征晶圆是否存在缺陷的检测结果，其中，预设缺陷检测模型是基于无监督算法PaDim构建得到的；当检测结果为晶圆存在缺陷时，通过预设图像分割策略，从相机图像中分割出表征缺陷区域的图像，以作为图像分割结果。如此，可以改善当下基于机器视觉检测晶圆缺陷的方式，存在缺陷样本难采集、人力成本高昂、复杂环境下的缺陷检测鲁棒性不足的问题。杂环境下的缺陷检测鲁棒性不足的问题。杂环境下的缺陷检测鲁棒性不足的问题。


技术研发人员：陈斌 王君逸 张元
受保护的技术使用者：哈尔滨工业大学（深圳）
技术研发日：2023.05.11
技术公布日：2023/7/26