半导体图像轮廓提取方法、装置、电子设备及存储介质与流程

1.本公开涉及半导体技术领域，具体而言，涉及一种半导体图像轮廓提取方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.在半导体产品制造过程中，通常利用扫描电子显微镜(scanning electron microscope，sem)对诸如光刻、刻蚀、灰化等半导体制造工艺前后进行扫描，从而得到半导体图像。之后，提取半导体图像的轮廓，可以根据轮廓来分析半导体产品是否符合要求，还可以根据轮廓来分析制造工艺是否满足设计要求以及设计图像是否合理。例如，通过有源区(active area，aa)图像来分析半导体结构的有源区是否符合要求，具体地，提取有源区图像的轮廓，并根据轮廓计算aa结构的头部的面积，aa结构的头部面积过大或过小都会导致aa结构接触面不足，从而引发aa结构导电性能变差，甚至出现失效单元(fail bit，fb)。因此，在半导体产品制造过程中对半导体图像轮廓的提取尤其重要。
3.相关技术中，通过图形处理算法提取半导体图像的轮廓，存在对像素梯度阈值敏感、鲁棒性差的问题，从而导致提取的轮廓精确度低，难以满足分析要求。
4.需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

5.本公开的目的在于提供一种半导体图像轮廓提取方法、装置、电子设备及存储介质，能够提高半导体图像轮廓提取的精确度和鲁棒性，从而能够实现根据提取的轮廓来分析半导体产品质量、制造工艺及设计图像是否符合要求的目的。
6.根据本公开的一个方面，提供了一种半导体图像轮廓提取方法，所述方法包括：获取待处理图像和设计图像，所述待处理图像由扫描电子显微镜扫描按照所述设计图像制作的半导体结构得到，所述设计图像包括至少一个多边图形，所述待处理图像包括与所述多边图形对应的待提取轮廓区域；基于预先训练的轮廓提取模型对所述待处理图像和所述多边图形进行处理，得到待处理图像的轮廓图像，所述轮廓图像包括与所述待提取轮廓区域对应的轮廓。
7.在本公开的一些示例性实施例中，基于预先训练的轮廓提取模型对所述待处理图像和所述多边图形进行处理，得到待处理图像的轮廓图像，包括：对所述待处理图像进行特征提取，得到图像特征；根据所述多边图形得到目标提示框；对所述目标提示框进行编码，得到提示框编码；对所述图像特征和所述提示框编码进行特征融合，得到特征融合图像；根据所述预先训练的轮廓提取模型对所述特征融合图像进行处理，得到待处理图像的轮廓图像。
8.在本公开的一些示例性实施例中，所述轮廓图像包括与所述待提取轮廓区域的轮廓对应的分类标识，所述分类标识用于区分不同的所述待提取轮廓区域对应的轮廓；轮廓
提取模型为双分支全卷积神经网络模型，所述双分支全卷积神经网络模型包括分类网络分支和分割分支；其中，根据所述预先训练的轮廓提取模型对所述特征融合图像进行处理，得到待处理图像的轮廓图像，包括：将所述特征融合图像输入所述分类网络分支，得到所述分类标识；将所述特征融合图像输入所述分割分支，得到像素分割结果；根据所述像素分割结果得到所述待提取轮廓区域对应的轮廓；根据所述分类标识和所述待提取轮廓区域对应的轮廓，得到待处理图像的轮廓图像。
9.在本公开的一些示例性实施例中，在所述基于预先训练的轮廓提取模型对所述待处理图像和所述多边图形进行处理，得到待处理图像的轮廓图像之后，所述方法还包括：计算所述轮廓图像和所述设计图像的交并比，得到第一计算结果；判断所述第一计算结果是否小于第一轮廓阈值；若小于，则删除所述轮廓图像。
10.在本公开的一些示例性实施例中，在所述基于预先训练的轮廓提取模型对所述待处理图像和所述多边图形进行处理，得到待处理图像的轮廓图像之后，所述方法还包括：计算所述待提取轮廓区域对应的轮廓和与待提取轮廓区域对应的所述多边图形的交并比，得到第二计算结果；判断所述第二计算结果是否小于第二轮廓阈值；若小于，则删除所述待提取轮廓区域对应的轮廓。
11.在本公开的一些示例性实施例中，所述方法还包括：获取训练数据集和初始轮廓提取模型，所述训练数据集包括待处理训练图像、训练设计图像和目标训练轮廓图像，所述目标训练轮廓图像包括目标分类标识；将所述待处理训练图像和训练设计图像输入到所述初始轮廓提取模型中进行前向计算，输出第一训练轮廓图像；计算所述第一训练轮廓图像与所述目标训练轮廓图像之间的误差，得到误差值；将所述误差值反向传播后调整所述初始轮廓提取模型的模型参数，直至误差值最小。
12.在本公开的一些示例性实施例中，对所述待处理图像进行特征提取，得到图像特征，包括：通过fcn对所述待处理图像进行特征提取，得到图像特征。
13.根据本公开的另一个方面，提供一种半导体图像轮廓提取装置，所述装置包括获取模块和轮廓提取模块；获取模块，用于获取待处理图像和设计图像，所述待处理图像由扫描电子显微镜扫描按照所述设计图像制作的半导体结构得到，所述设计图像包括至少一个多边图形，所述待处理图像包括与所述多边图形对应的待提取轮廓区域；轮廓提取模块，用于基于预先训练的轮廓提取模型对所述待处理图像和所述多边图形进行处理，得到待处理图像的轮廓图像，所述轮廓图像包括与所述待提取轮廓区域对应的轮廓。
14.根据本公开的再一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述的半导体图像轮廓提取方法。
15.根据本公开的再一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的半导体图像轮廓提取方法。
16.根据本公开的再一个方面，提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的半导体图像轮廓提取方法。
17.本公开实施例所提供的半导体图像轮廓提取方法、装置、电子设备及存储介质，轮廓提取模型经过大量训练数据集训练得到，对待处理图像的质量有更好的健壮性。此外，通过设计图像输入到轮廓提取模型中辅助对待处理图像进行分割，设计图像可以加强轮廓提
取模型的健壮性，从而能够提高半导体图像轮廓提取的精确度和鲁棒性，实现根据提取的轮廓来分析半导体产品质量、制造工艺及设计图像是否符合要求的目的。
18.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
19.图1示出了本公开实施例中基于设计图像对待处理图像进行轮廓提取的示意图。
20.图2示出了待处理图像示意图。
21.图3示出了人工提取的轮廓示意图。
22.图4示出了本公开一示例性实施例中提供的半导体图像轮廓提取系统的架构示意图。
23.图5示出了本公开一示例性实施例中轮廓图像的示意图。
24.图6示出了本公开一示例性实施例中的半导体图像轮廓提取方法流程图。
25.图7示出了本公开另一示例性实施例半导体图像轮廓提取方法流程图。
26.图8示出了本公开一示例性实施例中最小外接矩形的示意图。
27.图9示出了本公开再一示例性实施例半导体图像轮廓提取方法流程图。
28.图10示出了本公开实施例中特征融合图像分别输入到分类网络分支和分割分支中进行轮廓提取的过程示意图。
29.图11示出了本公开实施例中待处理图像对应的像素分割结果。
30.图12示出了本公开实施例中分割分支的示意图。
31.图13示出了本公开实施例中一轮廓图像的示意图。
32.图14示出了本公开实施例中另一轮廓图像的示意图。
33.图15示出了本公开实施例交并比示意图。
34.图16示出本公开实施例中一种半导体图像轮廓提取装置示意图。
35.图17示出了本公开实施例提供的一种电子设备的结构框图。
36.图18示出本公开实施例中一种计算机可读存储介质示意图。
具体实施方式
37.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
38.此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
39.应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公
开的范围在此方面不受限制。
40.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
41.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”，其中“多个”是指两个或两个以上。
42.为了便于理解，在介绍本公开实施例提供的技术方案之前，先对本公开实施例涉及的技术术语进行说明。
43.(1)图形数据流文件(graphic data stream，gds)，是以模块结构的形式组合而成，每个模块除了包含若干称之为图素的几何图形之外，也可以在该模块中插入多层次的模块参数。gds格式的目标层别图形数据在输出给光罩厂后，光罩厂可将gds格式的数据转换为生产级电子束曝光系统(manufacturing electron-beam exposure system，mebes)格式的数据，以用于掩膜版的制作生产。
44.(2)交并比(intersection over union，iou)，目标检测中使用的一个概念，是产生的候选框(candidate bound)与原标记框(ground truth bound)的交叠率，即它们的交集与并集的比值。
45.(3)全卷积神经网络(fully convolutional networks，fcn)，其为不含全连接层的全卷积网络，可适应任意尺寸输入；反卷积层增大图像尺寸，输出精细结果；可以结合不同深度层结果的跳级结构，确保鲁棒性和精确性。
46.(4)扫描电子显微镜(scanning electron microscope，sem)，其是一种介于透射电子显微镜和光学显微镜之间的一种观察手段。其利用聚焦的很窄的高能电子束来扫描样品(比如半导体结构)，通过光束与物质间的相互作用，来激发各种物理信息，对这些信息收集、放大、再成像以达到对物质微观形貌表征的目的。例如，通过sem对半导体结构进行扫描得到待处理图像。
47.在介绍了上述内容之后，接下来继续对半导体图像轮廓提取方案进行说明。
48.相关技术中，通过图形处理算法提取半导体图像的轮廓，存在对像素梯度阈值敏感、鲁棒性差的问题，从而导致提取的轮廓精确度低，难以满足分析要求。
49.发明人发现，相关技术中的图形处理算法对图像质量要求高，在图像质量低时难以获取较好效果，而根据大量数据训练得到的深度学习模型，则对图像质量有更好的健壮性。示例性地，相关技术中当遇到全图像素值范围变化大，通过图形处理算法来进行轮廓提取，难以获取较好的轮廓结果。发明人还发现，可以基于设计图像对待处理图像进行轮廓提取。如图1所示，图像11用于指示待处理图像，直线12用于指示设计图像中的图形的边界线，虚线13用于指示像素值提取位置，曲线14用于指示虚线13位置处像素值的梯度值。从图1中可以看出，在设计图形的左右一定范围内，分析像素值的梯度值决定轮廓的边位置。基于设计图形进行轮廓提取，对像素值的梯度阈值依赖大，且对局部位置的像素扰动非常敏感。
50.发明人还发现，还可以通过工作人员人眼观察来对待处理图像进行轮廓提取。如图2所示的待处理图像，其对比度较差，难以通过相关技术提取出精确的轮廓，但是通过人眼是可以大致划分出轮廓的，人工划分出来的轮廓如图3所示。人工划分轮廓费时费力，且存在个体主观判断的不确定性。
51.基于此，本公开实施例提供了一种半导体图像轮廓提取方法，可以应用于半导体制造场景中，示例性地，可以应用于半导体图像轮廓提取具体场景中。例如，应用于光刻、刻蚀、灰化等具体场景，还可以是其他通过sem扫描图像的场景中，对此不作具体限定。本公开通过设计图像输入到轮廓提取模型中辅助对待处理图像进行分割，设计图像可以加强轮廓提取模型的健壮性，从而能够提高半导体图像轮廓提取的精确度和鲁棒性，实现根据提取的轮廓来分析半导体产品质量、制造工艺及设计图像是否符合要求的目的。
52.下面结合附图及实施例对本示例实施方式进行详细说明。
53.为了便于整体理解本公开实施例提供的技术方案，接下来先对本公开实施例提供的半导体图像轮廓提取系统进行说明。
54.图4示出了本公开一示例性实施例中提供的半导体图像轮廓提取系统的架构示意图。如图4所示，半导体图像轮廓提取系统40可以包括图像采集装置41和控制器42。
55.图像采集装置41用于待处理图像的采集。图像采集装置41将采集到的待处理图像发送给控制器42。关于图像采集装置41具体为何，本公开不做限定。例如，图像采集装置41可以为扫描电子显微镜。
56.控制器42用于对待处理图像进行轮廓提取。控制器42基于预先训练的轮廓提取模型对待处理图像和多边图形进行处理，得到待处理图像的轮廓图像，轮廓图像包括与待提取轮廓区域对应的轮廓。控制器42可以为具备计算处理能力的电子设备。示例性地，图像采集装置41采集的待处理图像如图2所示，通过控制器42对待处理图像进行轮廓提取，得到如图5所示的轮廓图像。
57.本公开实施例中提供了一种半导体图像轮廓提取方法，该方法可以由任意具备计算处理能力的电子设备执行。示例性的，该方法可以由诸如自动化测试设备(automatic test equipment，ate)等半导体制造设备执行，也可以是半导体制造设备通信连接的其他处理设备执行，对此不作具体限制。
58.图6示出了本公开一示例性实施例中的半导体图像轮廓提取方法流程图，如图6所示，本公开实施例中提供的半导体图像轮廓提取方法可以包括如下s601和s602。
59.s601，获取待处理图像和设计图像，待处理图像由扫描电子显微镜扫描按照设计图像制作的半导体结构得到，设计图像包括至少一个多边图形，待处理图像包括与多边图形对应的待提取轮廓区域。
60.本公开实施例中，设计图像为工作人员为制造工艺预先设计的图像。关于设计图像具体为何，本公开不做限定。例如，设计图像可以为gds。
61.需要说明的是，待处理图像由扫描电子显微镜扫描按照设计图像制作的半导体结构得到，待处理图像中的待提取轮廓区域与设计图像中的多边图形(polygon)对应。
62.s602，基于预先训练的轮廓提取模型对待处理图像和多边图形进行处理，得到待处理图像的轮廓图像，轮廓图像包括与待提取轮廓区域对应的轮廓。
63.本公开实施例中，轮廓提取模型可以为深度学习模型，关于轮廓提取模型具体为何种深度学习模型，本公开不做限定，只要是能够实现上述功能的模型均可。例如，轮廓提取模型可以为神经网络模型、滑模自适应模型、模糊神经网络模型或机器学习模型等。
64.本公开实施例通过设计图像输入到轮廓提取模型中辅助对待处理图像进行分割，设计图像可以加强轮廓提取模型的健壮性。此外，轮廓提取模型是经过大量训练数据集训
练得到的，对待处理图像的质量有更好的健壮性，从而能够提高半导体图像轮廓提取的精确度和鲁棒性，实现根据提取的轮廓来分析半导体产品质量、制造工艺及设计图像是否符合要求的目的。
65.进一步地，本公开实施例通过轮廓提取模型和设计图像配合进行轮廓提取，对像素值的梯度阈值依赖性小，且对局部位置的像素扰动的敏感度低。
66.下面对如何得的待处理图像的轮廓图像进行说明。
67.在一示例性实施例中，如图7所示，基于预先训练的轮廓提取模型对所述待处理图像和所述多边图形进行处理，得到待处理图像的轮廓图像，可以包括如下s701至s705。
68.s701，对待处理图像进行特征提取，得到图像特征。
69.本公开实施例中，可以通过fcn对待处理图像进行特征提取，得到图像特征。由于fcn不含全连接层的全卷积网络，可适应任意尺寸输入，fcn的反卷积层增大图像尺寸，可以输出精细结果。此外，fcn结合不同深度层结果的跳级结构，可以确保鲁棒性和精确性。
70.本公开实施例通过fcn对待处理图像进行特征提取，可以进一步提高待处理图像轮廓提取的精度和鲁棒性。
71.s702，根据多边图形得到目标提示框。
72.关于目标提示框的形状具体为何种形状，本公开对此不做限定。例如，如图8所示，目标提示框可以为多边图形的最小外接矩形。81用于指示多边图形，82用于指示最小外接矩形。
73.目标提示框可以在轮廓提取模型对待处理图像进行轮廓提取时起到辅助提取的作用，从而使提取出的轮廓精度更高。
74.s703，对目标提示框进行编码，得到提示框编码。
75.本公开实施例中，提示框编码相当于是目标提示框的特征信息。可以通过编码器对目标提示框进行编码，本公开不限于此。
76.s704，对图像特征和提示框编码进行特征融合，得到特征融合图像。
77.s705，根据预先训练的轮廓提取模型对特征融合图像进行处理，得到待处理图像的轮廓图像。
78.本公开实施例中待处理图形的轮廓是根据设计图像制作出来的，所以待处理图形中哪些地方有轮廓，大致是可以和设计图像中的多边图形对应上的，可以使用设计图像作为提示，来提升模型的效果。
79.本公开实施例通过利用特征融合图像进行轮廓提取，对待处理图像的图片质量(比如图片的成像效果)和对比度要求低。可以实现对对比度低，成像较差的待处理图像进行轮廓提取。进而实现根据提取的轮廓来分析半导体产品质量、制造工艺及设计图像是否符合要求的目的。
80.在另一示例性实施例中，如图9所示，轮廓图像可以包括与待提取轮廓区域的轮廓对应的分类标识，分类标识用于区分不同的待提取轮廓区域对应的轮廓；轮廓提取模型为双分支全卷积神经网络模型，双分支全卷积神经网络模型包括分类网络分支和分割分支；其中，根据预先训练的轮廓提取模型对特征融合图像进行处理，得到待处理图像的轮廓图像，可以包括如下s7051至s7054。
81.s7051，将特征融合图像输入分类网络分支，得到分类标识。
82.s7052，将特征融合图像输入分割分支，得到像素分割结果。
83.本公开实施例中，双分支全卷积神经网络模型可以包括解码器(decoder)，解码器可以包括分类网络分支和分割分支，分类网络分支和分割分支分别对应若干卷积层。
84.关于分类标识具体为何，本公开不作限定，例如，分类标识可以为字母、文字、数字或符号等。例如，图10中，输出的轮廓图像包含5个轮廓，每个轮廓上的数字(1、2、3、4、5)为分类标识。需要说明的是，即使轮廓图像上包括2个相同的轮廓(2个轮廓在轮廓图像上的位置不同)，也可以用不同的分类标识。
85.示例性地，在图10中，根据待处理图像71和设计图像72得到的特征融合图像，将特征融合图像分别输入到分类网络分支和分割分支中，得到分类标识和像素分割结果。
86.s7053，根据像素分割结果得到待提取轮廓区域对应的轮廓。
87.像素分割结果可以为包含多个像素数字的图片，如图11所示，像素数字(identity，id)用来分辨每个像素是前景还是背景，可以用“0”和“1”两个值表示。
88.需要说明的是，分类标识(class_id)是把不同的轮廓区分开来，比如一个轮廓图像有3个轮廓，那么id都是1，但是class_id分别是1，2，3。
89.本公开实施例中，如图12所示，通过将特征融合图像121输入分割分支122可以得到像素分割结果，根据像素分割结果可以得到轮廓图像123中待提取轮廓区域对应的轮廓。关于如何根据像素分割结果可以得到待提取轮廓区域对应的轮廓，本公开不作限定。例如，通过计算机视觉领域的图像语义分割可以将像素分割结果中的轮廓提取出来。
90.s7054，根据分类标识和待提取轮廓区域对应的轮廓，得到待处理图像的轮廓图像。
91.本公开实施例中的轮廓图像可以用不同的颜色进行填充。例如，如图13和图14所示，轮廓图像中包括的轮廓可以用不同的颜色(图中用不同填充图案代表不同的颜色)填充，通过用不用的颜色填充可以增强轮廓的显示效果。
92.本公开实施例通过对待提取轮廓区域对应的轮廓用分类标识进行区分，便于在根据轮廓来分析半导体产品是否符合要求，根据轮廓来分析制造工艺是否满足设计要求以及设计图像是否合理过程中，确定问题所在的位置(比如，图层的位置，有问题半导体结构的位置)。方便工作人员对问题的解决。
93.下面对如何训练轮廓提取模型进行说明。
94.在示例性实施例中，半导体图像轮廓提取方法还可以包括：获取训练数据集和初始轮廓提取模型，训练数据集可以包括待处理训练图像、训练设计图像和目标训练轮廓图像，目标训练轮廓图像可以包括目标分类标识；将待处理训练图像和训练设计图像输入到初始轮廓提取模型中进行前向计算，输出第一训练轮廓图像；计算第一训练轮廓图像与目标训练轮廓图像之间的误差，得到误差值；将误差值反向传播后调整初始轮廓提取模型的模型参数，直至误差值最小。
95.本公开通过训练数据集对初始轮廓提取模型进行训练，从而得到预先训练的轮廓提取模型，通过预先训练的轮廓提取模型来对待处理图像进行轮廓提取。
96.需要说明的是，本公开中轮廓提取模型停止训练的条件除误差值最小停止训练外，还可以包括当误差值小于预设误差值后停止训练，还可以包括训练次数达到预设次数后停止训练，本公开不限于此。
97.本公开实施例通过大量训练数据集对初始轮廓提取模型进行训练，从而得到预先训练的轮廓提取模型，轮廓提取模型经过大量训练数据集训练得到，对待处理图像的质量有更好的健壮性，对待处理图像质量与对比度要求更低，轮廓提取结果更加精确与鲁棒，无需人工调节各种超参。并将gds信息(设计图像)作为提示(prompt)输入神经网络辅助分割算法获取参考信息，或者更加健壮精确的轮廓结果。
98.下面对判断轮廓图像是否可用进行说明。
99.在一示例性实施例中，在基于预先训练的轮廓提取模型对待处理图像和多边图形进行处理，得到待处理图像的轮廓图像之后，方法还可以包括：计算轮廓图像和设计图像的交并比，得到第一计算结果；判断第一计算结果是否小于第一轮廓阈值；若小于，则删除轮廓图像。
100.关于第一轮廓阈值具体为何，本公开不作限定，第一轮廓阈值可以根据实际应用场景和具体应用需要进行设定。例如，第一轮廓阈值可以为0.95、0.9、0.85、0.8、0.75和0.7中的任意值。
101.本公开实施例中，通过计算轮廓图像中所有轮廓面积之和与设计图像中所有的多边图形面积之和的交并比，得到第一计算结果。若第一计算结果小于第一轮廓阈值，说明按照设计图像制作的半导体结构与设计图像差别较大，可以视为轮廓提取失败，删除该轮廓图像。
102.若第一计算结果大于或等于第一轮廓阈值，则轮廓图像可用，轮廓提取成功。
103.需要说明的是，若轮廓提取失败，则说明工艺存在问题或设计存在问题，需要对工艺进行改善或者对设计图像进行改善。比如说本来设计在某个地方要做一个图形出来，但是因为设计尺寸或者工艺的原因没有做出来。
104.本公开通过计算轮廓图像中所有轮廓面积之和与设计图像中所有的多边图形面积之和的交并比，从而判断出提取轮廓是否成功，从而实现根据提取的轮廓来分析半导体产品质量、制造工艺及设计图像是否符合要求的目的。
105.在另一示例性实施例中，在基于预先训练的轮廓提取模型对待处理图像和多边图形进行处理，得到待处理图像的轮廓图像之后，方法还可以包括：计算待提取轮廓区域对应的轮廓和与待提取轮廓区域对应的多边图形的交并比，得到第二计算结果；判断第二计算结果是否小于第二轮廓阈值；若小于，则删除待提取轮廓区域对应的轮廓。
106.关于第二轮廓阈值具体为何，本公开不作限定，第二轮廓阈值可以根据实际应用场景和具体应用需要进行设定。例如，第二轮廓阈值可以为0.95、0.9、0.85、0.8、0.75和0.7中的任意值。示例性地，图形a为待提取轮廓区域对应的轮廓，图形b为待提取轮廓区域对应的多边图形，在图15中，151用于指示重叠面积(area of overlap)(又称交集)，152用于指示联合面积(area of union)(又称并集)，交集与并集的比值为交并比。
107.本公开实施例中，通过待提取轮廓区域对应的轮廓和与待提取轮廓区域对应的多边图形的交并比，得到第二计算结果。若第二计算结果小于第二轮廓阈值，说明按照设计图像制作的半导体结构与设计图像差别较大，可以视为轮廓提取失败，删除该轮廓图像。
108.若第二计算结果大于或等于第二轮廓阈值，则轮廓图像可用，轮廓提取成功。
109.需要说明的是，若轮廓提取失败，则说明工艺存在问题或设计存在问题，需要对工艺进行改善或者对设计图像进行改善。比如说本来设计在某个地方要做一个图形出来，但
是因为设计尺寸或者工艺的原因没有做出来。
110.本公开通过待提取轮廓区域对应的轮廓和与待提取轮廓区域对应的多边图形的交并比，从而判断出提取轮廓是否成功，从而实现根据提取的轮廓来分析半导体产品质量、制造工艺及设计图像是否符合要求的目的。
111.基于同一发明构思，本公开实施例中还提供了一种半导体图像轮廓提取装置，如下面的实施例。由于该装置实施例解决问题的原理与上述方法实施例相似，因此该装置实施例的实施可以参见上述方法实施例的实施，重复之处不再赘述。
112.图16示出本公开实施例中一种半导体图像轮廓提取装置示意图，如图16所示，装置包括获取模块161和轮廓提取模块162。获取模块161可以用于获取待处理图像和设计图像，待处理图像由扫描电子显微镜扫描按照设计图像制作的半导体结构得到，设计图像包括至少一个多边图形，待处理图像包括与多边图形对应的待提取轮廓区域；轮廓提取模块162可以用于基于预先训练的轮廓提取模型对待处理图像和多边图形进行处理，得到待处理图像的轮廓图像，轮廓图像包括与待提取轮廓区域对应的轮廓。
113.在一实施例中，轮廓提取模块162还可以用于对待处理图像进行特征提取，得到图像特征；根据多边图形得到目标提示框；对目标提示框进行编码，得到提示框编码；对图像特征和提示框编码进行特征融合，得到特征融合图像；根据预先训练的轮廓提取模型对特征融合图像进行处理，得到待处理图像的轮廓图像。
114.在一实施例中，轮廓图像包括与待提取轮廓区域的轮廓对应的分类标识，分类标识用于区分不同的待提取轮廓区域对应的轮廓；轮廓提取模型为双分支全卷积神经网络模型，双分支全卷积神经网络模型包括分类网络分支和分割分支。轮廓提取模块162还可以用于将特征融合图像输入分类网络分支，得到分类标识；将特征融合图像输入分割分支，得到像素分割结果；根据像素分割结果得到待提取轮廓区域对应的轮廓；根据分类标识和待提取轮廓区域对应的轮廓，得到待处理图像的轮廓图像。
115.在一实施例中，在基于预先训练的轮廓提取模型对待处理图像和多边图形进行处理，得到待处理图像的轮廓图像之后，轮廓提取模块162还可以用于计算轮廓图像和设计图像的交并比，得到第一计算结果；判断第一计算结果是否小于第一轮廓阈值；若小于，则删除轮廓图像。
116.在一实施例中，在基于预先训练的轮廓提取模型对待处理图像和多边图形进行处理，得到待处理图像的轮廓图像之后，轮廓提取模块162还可以用于计算待提取轮廓区域对应的轮廓和与待提取轮廓区域对应的多边图形的交并比，得到第二计算结果；判断第二计算结果是否小于第二轮廓阈值；若小于，则删除待提取轮廓区域对应的轮廓。
117.在一实施例中，获取模块161还可以用于获取训练数据集和初始轮廓提取模型，训练数据集包括待处理训练图像、训练设计图像和目标训练轮廓图像，目标训练轮廓图像包括目标分类标识；将待处理训练图像和训练设计图像输入到初始轮廓提取模型中进行前向计算，输出第一训练轮廓图像；计算第一训练轮廓图像与目标训练轮廓图像之间的误差，得到误差值；将误差值反向传播后调整初始轮廓提取模型的模型参数，直至误差值最小。
118.在一实施例中，轮廓提取模块162还可以用于通过fcn对待处理图像进行特征提取，得到图像特征。
119.本公开实施例中的半导体图像轮廓提取装置通过设计图像输入到轮廓提取模型
中辅助对待处理图像进行分割，设计图像可以加强轮廓提取模型的健壮性，从而能够提高半导体图像轮廓提取的精确度和鲁棒性，实现根据提取的轮廓来分析半导体产品质量、制造工艺及设计图像是否符合要求的目的。
120.所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
121.下面参照图17来描述根据本公开的这种实施方式的电子设备1700。图17显示的电子设备1700仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
122.如图17所示，电子设备1700以通用计算设备的形式表现。电子设备1700的组件可以包括但不限于：上述至少一个处理单元1710、上述至少一个存储单元1720、连接不同系统组件(包括存储单元1720和处理单元1710)的总线1730。
123.其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1710执行，使得所述处理单元1710执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
124.存储单元1720可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)17201和/或高速缓存存储单元17202，还可以进一步包括只读存储单元(rom)17203。
125.存储单元1720还可以包括具有一组(至少一个)程序模块17205的程序/实用工具17204，这样的程序模块17205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
126.总线1730可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
127.电子设备1700也可以与一个或多个外部设备1740(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1700交互的设备通信，和/或与使得该电子设备1700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口1750进行。
128.并且，电子设备1700还可以通过网络适配器1760与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。
129.如图17所示，网络适配器1760通过总线1730与电子设备1700的其它模块通信。
130.应当明白，尽管图中未示出，可以结合电子设备1700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
131.通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
132.在本公开的示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质可以是可读信号介质或者可读存储介质。图18示出本公开实施例中一种计算机可读存储介质示意图，如图18所示，该计算机可读存储介质1800上存储有能够实现本公开上述方法的程序产品。
133.在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
134.本公开中的计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
135.在本公开中，计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。
136.可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
137.在一些示例中，计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
138.在具体实施时，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
139.在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
140.本公开实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本公开任一实施例中的各种可选方式中提供的半导体图像轮廓提取方法。
141.应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
142.此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/
或者将一个步骤分解为多个步骤执行等。
143.通过以上实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。
144.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。
145.本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

技术特征：
1.一种半导体图像轮廓提取方法，其特征在于，所述方法包括：获取待处理图像和设计图像，所述待处理图像由扫描电子显微镜扫描按照所述设计图像制作的半导体结构得到，所述设计图像包括至少一个多边图形，所述待处理图像包括与所述多边图形对应的待提取轮廓区域；基于预先训练的轮廓提取模型对所述待处理图像和所述多边图形进行处理，得到待处理图像的轮廓图像，所述轮廓图像包括与所述待提取轮廓区域对应的轮廓。2.如权利要求1所述的方法，其特征在于，基于预先训练的轮廓提取模型对所述待处理图像和所述多边图形进行处理，得到待处理图像的轮廓图像，包括：对所述待处理图像进行特征提取，得到图像特征；根据所述多边图形得到目标提示框；对所述目标提示框进行编码，得到提示框编码；对所述图像特征和所述提示框编码进行特征融合，得到特征融合图像；根据所述预先训练的轮廓提取模型对所述特征融合图像进行处理，得到待处理图像的轮廓图像。3.如权利要求2所述的方法，其特征在于，所述轮廓图像包括与所述待提取轮廓区域的轮廓对应的分类标识，所述分类标识用于区分不同的所述待提取轮廓区域对应的轮廓；轮廓提取模型为双分支全卷积神经网络模型，所述双分支全卷积神经网络模型包括分类网络分支和分割分支；其中，根据所述预先训练的轮廓提取模型对所述特征融合图像进行处理，得到待处理图像的轮廓图像，包括：将所述特征融合图像输入所述分类网络分支，得到所述分类标识；将所述特征融合图像输入所述分割分支，得到像素分割结果；根据所述像素分割结果得到所述待提取轮廓区域对应的轮廓；根据所述分类标识和所述待提取轮廓区域对应的轮廓，得到待处理图像的轮廓图像。4.如权利要求1所述的方法，其特征在于，在所述基于预先训练的轮廓提取模型对所述待处理图像和所述多边图形进行处理，得到待处理图像的轮廓图像之后，所述方法还包括：计算所述轮廓图像和所述设计图像的交并比，得到第一计算结果；判断所述第一计算结果是否小于第一轮廓阈值；若小于，则删除所述轮廓图像。5.如权利要求1所述的方法，其特征在于，在所述基于预先训练的轮廓提取模型对所述待处理图像和所述多边图形进行处理，得到待处理图像的轮廓图像之后，所述方法还包括：计算所述待提取轮廓区域对应的轮廓和与待提取轮廓区域对应的所述多边图形的交并比，得到第二计算结果；判断所述第二计算结果是否小于第二轮廓阈值；若小于，则删除所述待提取轮廓区域对应的轮廓。6.如权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：获取训练数据集和初始轮廓提取模型，所述训练数据集包括待处理训练图像、训练设计图像和目标训练轮廓图像，所述目标训练轮廓图像包括目标分类标识；将所述待处理训练图像和训练设计图像输入到所述初始轮廓提取模型中进行前向计
算，输出第一训练轮廓图像；计算所述第一训练轮廓图像与所述目标训练轮廓图像之间的误差，得到误差值；将所述误差值反向传播后调整所述初始轮廓提取模型的模型参数，直至误差值最小。7.如权利要求2所述的方法，其特征在于，对所述待处理图像进行特征提取，得到图像特征，包括：通过fcn对所述待处理图像进行特征提取，得到图像特征。8.一种半导体图像轮廓提取装置，其特征在于，所述装置包括：获取模块，用于获取待处理图像和设计图像，所述待处理图像由扫描电子显微镜扫描按照所述设计图像制作的半导体结构得到，所述设计图像包括至少一个多边图形，所述待处理图像包括与所述多边图形对应的待提取轮廓区域；轮廓提取模块，用于基于预先训练的轮廓提取模型对所述待处理图像和所述多边图形进行处理，得到待处理图像的轮廓图像，所述轮廓图像包括与所述待提取轮廓区域对应的轮廓。9.一种电子设备，其特征在于，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7中任意一项所述的半导体图像轮廓提取方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任意一项所述的半导体图像轮廓提取方法。

技术总结
本公开提供一种半导体图像轮廓提取方法、装置、电子设备及存储介质，属于半导体技术领域。该方法包括：获取待处理图像和设计图像，设计图像包括至少一个多边图形，待处理图像包括与多边图形对应的待提取轮廓区域；基于预先训练的轮廓提取模型对待处理图像和多边图形进行处理，得到待处理图像的轮廓图像，轮廓图像包括与待提取轮廓区域对应的轮廓。本公开能够提高半导体图像轮廓提取的精确度和鲁棒性，实现根据提取的轮廓来分析半导体产品质量、制造工艺及设计图像是否符合要求的目的。工艺及设计图像是否符合要求的目的。工艺及设计图像是否符合要求的目的。


技术研发人员：贾若然 孙侠 刘忠明 杨益 王海睿 陈继华
受保护的技术使用者：长鑫存储技术有限公司
技术研发日：2023.07.07
技术公布日：2023/10/15