基于多层空洞卷积网络的半导体芯片焊点区域提取方法

1.本发明涉及一种基于多层空洞卷积网络的半导体芯片焊点区域提取方法，属于计算机视觉技术领域。


背景技术：

2.随着中国电子信息行业的快速发展，半导体芯片的应用日益广泛。如何更加高效、低成本地进行半导体芯片生产制造，成为越来越多企业面临的难点问题，而半导体芯片焊点区域的准确识别定位在整个生产中尤为重要。因此，半导体芯片焊点区域提取方法对提高芯片质量具有重要意义。
3.目前大部分企业对于半导体芯片焊点区域的识别仍然处于人工目测阶段，人工检测的手段存在着效率低下、成本高、反馈不及时等缺点，故而利用智能化算法，设计一种高效且自动化的半导体芯片焊点识别算法成为该领域的研究热点。
4.近年来，基于深度学习的语义分割算法得到了专家学者们的广泛关注。随着卷积神经网络的不断发展，陆续诞生了一些经典的基于卷积神经网络的语义分割方法，如fcn(fully convolutional networks)、u-net(convolutional networks for biomedical image segmentation)等。fcn网络是第一个端到端训练的全卷积网络，它将全连接层“卷积化”，从而实现了网络可以输入任意尺寸的图像数据；u-net是典型的编码器-解码器结构的神经网络，并采用跳跃连接，充分利用浅层特征，使其与深层特征融合，从而用于生物医学图像分割。但是，这些传统的神经网络，存在模型参数量较多、性能欠佳与准确性较低的问题。
5.上述问题是在基于多层空洞卷积网络的半导体芯片焊点区域提取过程中应当予以考虑并解决的问题。


技术实现要素：

6.本发明的目的是提供一种基于多层空洞卷积网络的半导体芯片焊点区域提取方法解决现有技术中存在的半导体芯片焊点区域提取的效率和准确性有待提高问题。
7.本发明的技术解决方案是：
8.一种基于多层空洞卷积网络的半导体芯片焊点区域提取方法，包括以下步骤，
9.s1、将原始半导体芯片焊点图像数据集随机均分为n个批次的半导体芯片焊点图像数据集；
10.s2、标注第一批次的半导体芯片焊点图像数据集；
11.s3、构建多层空洞卷积网络模型，利用步骤s2标注的第一批次的半导体芯片焊点图像数据集对构建的多层空洞卷积网络模型进行模型训练，并生成当前阶段的最优模型；
12.s4、利用当前阶段的最优模型推理下一批次未标注的半导体芯片焊点图像数据集，并保存推理结果；
13.s5、利用高斯滤波与线性插值算法将步骤s4保存的推理结果映射回标注软件，进
行微调后，生成该批次的标注好的半导体芯片焊点图像数据集；
14.s6、利用所有标注好的批次的半导体芯片焊点图像数据集，对当前阶段的最优模型进行模型训练后，获得训练优化后的模型作为当前阶段的最优模型；
15.s7、重复迭代步骤s4、步骤s5和步骤s6，直到处理过第n批次的半导体芯片焊点图像数据集，此时n个批次的半导体芯片焊点图像数据集均已全部标注，进入下一步骤s8；
16.s8、利用所有标注好的半导体焊点图像数据集进行最终的模型训练，得到最优提取模型，将最优提取模型进行模型部署，由得到的最优提取模型进行半导体芯片焊点区域提取。
17.进一步地，步骤s2中，标注第一批次半导体芯片焊点图像数据集，具体为，对第一批次的半导体芯片焊点图像数据集的半导体芯片焊点图像进行语义标注包括颜色类别和标签类别，对半导体芯片焊点图像上的不同区域对应标注颜色类别和标签类别。
18.进一步地，步骤s3中，多层空洞卷积网络模型包括第一卷积层、第一拼接层、第二卷积层、第一aesp-d模块、第一aesp-r模块、第二拼接层、第二aesp-d模块、第二aesp-r模块、第三卷积层、第三拼接层、第四卷积层、第一转置卷积层、第四拼接层、单aesp-r模块、第二转置卷积层、第五拼接层、第五卷积层和第三转置卷积层，其中，第一aesp-d模块和第二aesp-d模块均采用高效空洞下采样空间金字塔模块即aesp-d模块，单aesp-r模块采用单个高效空洞残差空间金字塔模块即aesp-r模块，第一aesp-r模块包括α个堆叠的aesp-r模块，第二aesp-r模块包括β个堆叠的aesp-r模块。
19.进一步地，步骤s3中，多层空洞卷积网络模型中，
20.第一卷积层：将高
×
宽
×
通道的原始焊点图像作为输入数据，经过卷积运算后，输出的第一卷积特征图作为第一卷积层的输出数据；
21.第一拼接层：用于将第一卷积特征图和分别缩小为一半的高与宽的原始焊点图像按通道进行拼接操作，获得第一拼接特征图；
22.第二卷积层：将第一拼接特征图进行卷积操作，提取经过拼接融合的特征，并获取输出第二卷积特征图；
23.第一aesp-d模块：对第一拼接特征图提取多尺度的特征信息，同时对输入的第一拼接特征图进行下采样，得到输出的第一特征图；
24.第一aesp-r模块：对第一特征图提取多尺度的特征信息，并应用残差连接，获取残差特征信息，最后得到与输入特征图尺寸相同的第二特征图；
25.第二拼接层：用于将第一特征图、第二特征图和分别缩小为四分之一的高与宽的原始焊点图像按通道进行拼接操作后，获得第二拼接特征图；
26.第三卷积层：将第二拼接特征图进行卷积操作，提取经过拼接融合的特征，并获取输出第三卷积特征图；
27.第二aesp-d模块：对第二拼接特征图提取多尺度的特征信息，同时对输入的第二拼接特征图进行下采样，得到输出的第三特征图；
28.第二aesp-r模块：对第三特征图提取多尺度的特征信息，并应用残差连接，获取残差特征信息，最后得到与输入特征图尺寸相同的第四特征图；
29.第三拼接层：将第三特征图与第四特征图按通道进行拼接操作后，获得第三拼接特征图；
30.第四卷积层：将第三拼接特征图进行卷积操作，提取经过拼接融合的特征，并获取输出第四卷积特征图；
31.第一转置卷积层：将输入的第四卷积特征图进行4倍上采样，获取输出的第一转置卷积特征图；
32.第四拼接层：用于将第三卷积特征图与第一转置卷积特征图按通道进行拼接操作后，获得第四拼接特征图；
33.单aesp-r模块：用于对第四拼接特征图提取多尺度的特征信息，并应用残差连接，获取残差特征信息，最后得到与输入特征图尺寸相同的第五特征图；
34.第二转置卷积层：用于对第五特征图进行4倍上采样，获取输出第二转置卷积特征图；
35.第五拼接层：用于将第二卷积特征图与第二转置卷积特征图按通道进行拼接操作后，获得第五拼接特征图；
36.第五卷积层：将第五拼接特征图进行卷积操作，提取经过拼接融合的特征，并获取输出第四卷积特征图；
37.第三转置卷积层：将输入的第四卷积特征图进行4倍上采样，获取输出特征图。
38.进一步地，aesp-d模块的表达式为：
39.z＝aespd(x)
ꢀꢀ
(1)
[0040][0041][0042][0043]
z＝concat(z1,z2,
…
,zk)
ꢀꢀ
(5)
[0044]
其中，z表示输入特征图x经过aesp-d模块后的特征图，公式(1)表示aesp-d模块总体计算公式，公式(1)可分解为公式(2)-公式(5)，表示输入特征图x经过卷积层conv后的特征图，y
l
表示经过空洞卷积层aconv后的特征图，k为空洞卷积分支数，z
l
表示分支特征图y
l
经多层级的特征融合层hff进行累加后的特征图，concat表示按通道拼接操作。
[0045]
进一步地，aesp-r模块的表达式为：
[0046]
zr＝aespr(x`)
ꢀꢀ
(6)
[0047][0048][0049][0050][0051][0052]
其中，zr表示输入特征图x`经过aesp-r模块后的特征图，公式(6)表示aesp-r模块的总体计算公式，公式(6)可拆分为公式(7)-公式(11)，表示输入特征图x`经过逐点卷积层pwconv后的特征图，y
l
`表示经过多分支空洞卷积层aconv后的分支l的输出特征图，k为空洞卷积分支数，z
l
`表示各分支输出特征图y
l
`经多层级的特征融合层hff进行累加add
后的特征图，表示z
l
`按通道拼接操作concat后的特征图。
[0053]
进一步地，步骤s5中，利用高斯滤波与线性插值算法将步骤s4保存的推理结果映射回标注软件，具体为，
[0054]
s51、利用高斯滤波算法去除模型预测图中的孤立点；
[0055]
s52、利用线性插值算法减弱模型推理结果映射回标注软件时所造成的图像边缘锯齿化现象。
[0056]
进一步地，步骤s52中，利用线性插值算法减弱模型推理结果映射回标注软件时所造成的图像边缘锯齿化现象，具体为，图像锯齿边缘在平面直角坐标系xoy上的函数关系表达式即未知函数f(x)，使用过未知函数f(x)上两个确定的随机的孤立点(x0,y0)和(x1,y1)的函数l(x)来近似未知函数f(x)，函数l(x)为这两个孤立点所形成的直线在平面直角坐标系xoy上的函数关系表达式，运用此原理来消除模型推理结果映射回标注软件时图像边缘锯齿化现象。
[0057]
本发明的有益效果是：该种基于多层空洞卷积网络的半导体芯片焊点区域提取方法，与现有技术相比，采用半导体芯片焊点图像作为网络输入，采用多层空洞卷积网络模型进行模型训练，与传统的卷积模块设计相比，能够在显著提升网络性能的同时减少模型参数量；同时采用分批次迭代的操作方式，能够保证数据集标注的高质量。该种基于多层空洞卷积网络的半导体芯片焊点区域提取方法，能够有效提升半导体芯片焊点区域提取的效率和准确性。
附图说明
[0058]
图1是本发明实施例基于多层空洞卷积网络的半导体芯片焊点区域提取方法的流程示意图；
[0059]
图2是实施例基于多层空洞卷积网络的半导体芯片焊点区域提取方法的说明示意图；
[0060]
图3是实施例中对第一批次的半导体芯片焊点图像数据集的半导体芯片焊点图像进行语义标注的说明示意表；
[0061]
图4是实施例中多层空洞卷积网络模型的说明示意图；
[0062]
图5是实施例中高效空洞下采样空间金字塔模块即aesp-d模块的说明示意图；
[0063]
图6是实施例中高效空洞残差空间金字塔模块即aesp-r模块的说明示意图；
[0064]
图7是实施例中线性插值标注的说明示意图；
[0065]
图8是实施例中线性插值标注前后对比效果示意图；
[0066]
其中，1-第一卷积层，2-第一拼接层，3-第二卷积层，4-第一aesp-d模块，5-第一aesp-r模块，6-第二拼接层，7-第三卷积层，8-第二aesp-d模块，9-第二aesp-r模块，10-第三拼接层，11-第四卷积层，12-第一转置卷积层，13-第四拼接层，14-单aesp-r模块，15-第二转置卷积层，16-第五拼接层，17-第五卷积层，18-第三转置卷积层。
具体实施方式
[0067]
下面结合附图详细说明本发明的优选实施例。
[0068]
一种基于多层空洞卷积网络的半导体芯片焊点区域提取方法，如图1和图2，包括
以下步骤，
[0069]
s1、将原始半导体芯片焊点图像数据集随机均分为n个批次的半导体芯片焊点图像数据集，其中n为可自定义的正整数；
[0070]
s2、标注第一批次的半导体芯片焊点图像数据集；具体为，对第一批次的半导体芯片焊点图像数据集的半导体芯片焊点图像进行语义标注包括颜色类别和标签类别，对半导体芯片焊点图像上的不同区域对应标注颜色类别和标签类别，如表4。
[0071]
s3、构建多层空洞卷积网络模型，利用步骤s2标注的第一批次的半导体芯片焊点图像数据集对构建的多层空洞卷积网络模型进行模型训练，并生成当前阶段的最优模型；
[0072]
步骤s3中，多层空洞卷积网络模型包括第一卷积层1、第一拼接层2、第二卷积层3、第一aesp-d模块4、第一aesp-r模块5、第二拼接层6、第二aesp-d模块7、第二aesp-r模块8、第三卷积层9、第三拼接层10、第四卷积层11、第一转置卷积层12、第四拼接层13、单aesp-r模块14、第二转置卷积层15、第五拼接层16、第五卷积层17和第三转置卷积层18，其中，第一aesp-d模块4和第二aesp-d模块7均采用高效空洞下采样空间金字塔模块即aesp-d模块，单aesp-r模块14采用单个高效空洞残差空间金字塔模块即aesp-r模块，第一aesp-r模块5包括α个堆叠的aesp-r模块，第二aesp-r模块9包括β个堆叠的aesp-r模块。如图3，多层空洞卷积网络模型的输入图像为半导体芯片焊点图像，其尺寸为128
×
128
×
3(高
×
宽
×
通道)，尺寸为64
×
64
×
3的灰色图像是原始图像的1/4，即其宽和高是原始图像的一半，尺寸为32
×
32
×
3的灰色图像又是尺寸为64
×
64
×
3灰色图像的1/4，左下角彩色图像是模型推理的结果，其尺寸和原始图像大小相同，为128
×
128
×
3。图3中给出的参数表示特征图的具体尺寸大小。
[0073]
第一卷积层1：将高
×
宽
×
通道的原始焊点图像作为输入数据，并将经过卷积的输出第一卷积特征图作为输出数据；假定原始焊点图像的长、宽和通道深度分别为128、128和3，第一卷积层1的卷积核大小为3，步长为2。输出数据为经过该卷积层的第一卷积特征图，其长、宽和通道深度分别为64、64和16。
[0074]
第一拼接层2：用于将第一卷积特征图和分别缩小为一半的高与宽的原始焊点图像数据即尺寸为64*64*3的原始图像数据按通道进行拼接操作，获得第一拼接特征图；
[0075]
第二卷积层3：将第一拼接特征图进行卷积操作，提取经过拼接融合的特征，并获取输出第二卷积特征图；第二卷积层3的卷积核大小为1，步长为1。
[0076]
第一aesp-d模块4：对第一拼接特征图提取多尺度的特征信息，同时对输入的第一拼接特征图进行下采样，得到输出的第一特征图；
[0077]
第一aesp-r模块5：对第一特征图提取多尺度的特征信息，并应用残差连接，获取残差特征信息，同时又能缓解梯度消失等问题，最后得到与输入特征图尺寸相同的第二特征图；
[0078]
第二拼接层6：用于将第一特征图、第二特征图和分别缩小为四分之一的高与宽的原始焊点图像数据即尺寸为32*32*3的原始图像数据按通道进行拼接操作后，获得第二拼接特征图；
[0079]
第三卷积层7：将第二拼接特征图进行卷积操作，提取经过拼接融合的特征，并获取输出第三卷积特征图；第三卷积层7的卷积核大小为1，步长为1。
[0080]
第二aesp-d模块8：对第二拼接特征图提取多尺度的特征信息，同时对输入的第二
拼接特征图进行下采样，得到输出的第三特征图；
[0081]
第二aesp-r模块9：对第三特征图提取多尺度的特征信息，并应用残差连接，获取残差特征信息，最后得到与输入特征图尺寸相同的第四特征图；
[0082]
第三拼接层10：将第三特征图与第四特征图按通道进行拼接操作后，获得第三拼接特征图；
[0083]
第四卷积层11：将第三拼接特征图进行卷积操作，提取经过拼接融合的特征，并获取输出第四卷积特征图；第四卷积层11的卷积核大小为1，步长为1。
[0084]
第一转置卷积层12：将输入的第四卷积特征图进行4倍上采样，获取输出的第一转置卷积特征图；第一转置卷积层12的卷积核大小为2，步长为2。
[0085]
第四拼接层13：用于将第三卷积特征图与第一转置卷积特征图按通道进行拼接操作后，获得第四拼接特征图；
[0086]
单aesp-r模块14：用于对第四拼接特征图提取多尺度的特征信息，并应用残差连接，获取残差特征信息，最后得到与输入特征图尺寸相同的第五特征图；
[0087]
第二转置卷积层15：将输入的第五特征图进行4倍上采样，获取输出第二转置卷积特征图；第二转置卷积层15的卷积核大小为2，步长为2。
[0088]
第五拼接层16：用于将第二卷积特征图与第二转置卷积特征图按通道进行拼接操作后，获得第五拼接特征图；
[0089]
第五卷积层17：将第五拼接特征图进行卷积操作，提取经过拼接融合的特征，并获取输出第四卷积特征图；第五卷积层17的卷积核大小为1，步长为1。
[0090]
第三转置卷积层18：将输入的第四卷积特征图进行4倍上采样，获取输出特征图。第三转置卷积层18的卷积核大小为2，步长为2。
[0091]
如图5，第一aesp-d模块4和第二aesp-d模块的表达式均为：
[0092]
z＝aespd(x)
ꢀꢀ
(1)
[0093][0094][0095][0096]
z＝concat(z1,z2,
…
,zk)
ꢀꢀ
(5)
[0097]
其中，z表示输入特征图x经过aesp-d模块4后的特征图，公式(1)表示aesp-d模块4总体计算公式，公式(1)可分解为公式(2)-公式(5)，表示输入特征图x经过卷积层conv后的特征图，y
l
表示经过空洞卷积层aconv后的特征图，k为空洞卷积分支数，z
l
表示分支特征图y
l
经多层级的特征融合层hff进行累加后的特征图，concat表示按通道拼接操作。
[0098]
多层空洞卷积网络模型的aesp-d模块4中，假设输入特征图尺寸为(n
in
,c
in
,h
in
,w
in
)，其中n
in
为输入特征图的个数，c
in
为通道数，h
in
、w
in
分别为特征图的高和宽；输入特征图首先会经过一个卷积核为3，步长为2的卷积层，可得到尺寸为(n
in
,d,h
in
/2,w
in
/2)的特征图，其中(d＝c
in
/k)，k为空洞卷积分支数；在经过k个空洞卷积分支之后，每个分支的输出特征图尺寸均为(n
in
,d,h
in
/2,w
in
/2)，继而利用多层级的特征融合层hff累加此分支之前的各分支特征图。具体来讲，从第二个分支开始，其输出特征图会与第一个分支的输出特征图相加(特征图中对应空间位置特征值相加)，其结果作为第二个分支的最终输出特征图。对于
第三个分支来讲，其输出特征图会与第二个分支的最终输出特征图相加，其结果作为第三个分支的最终输出特征图。以此类推，直至第k个分支；经过hff阶段后，再将每个分支的输出特征图按通道进行拼接，以得到通道深度为k
×
d＝c
in
的特征图，最终可得到尺寸为(n
in
,c
in
,h
in
/2,w
in
/2)的特征图。由此可知，任何经过aesp-d模块4的特征图，其尺寸的高宽将减半。
[0099]
如图6，aesp-r模块的表达式为：
[0100]
zr＝aespr(x`)
ꢀꢀ
(6)
[0101][0102][0103][0104][0105][0106]
其中，zr表示输入特征图x`经过aesp-r模块5后的特征图，公式(6)表示aesp-r模块5的总体计算公式，公式(6)可拆分为公式(7)-公式(11)，表示输入特征图x`经过逐点卷积层pwconv后的特征图，y
l
`表示经过多分支空洞卷积层aconv后的分支l的输出特征图，k为空洞卷积分支数，z
l
`表示各分支输出特征图y
l
`经多层级的特征融合层hff进行累加add后的特征图，表示z
l
`按通道拼接操作concat后的特征图。
[0107]
多层空洞卷积网络模型的aesp-r模块5中，假设输入特征图尺寸为(n
in
,c
in
,h
in
,w
in
)，其中n
in
为输入特征图的个数，c
in
为通道数，h
in
、w
in
分别为特征图的高和宽；输入特征图首先经过一个卷积核尺寸为1
×
1的point-wise卷积层，point-wise卷积层只改变输入特征图通道数，而不改变特征图大小，同时point-wise卷积核参数量相比于普通卷积要少，更易实现整体网络轻量化的目的；经过point-wise卷积层后，特征图尺寸变为(n
in
,d,h
in
,w
in
)，其中，d＝c
in
/k，k为空洞卷积分支的个数。以第一个空洞卷积分支为例，来说明图6中参数的具体含义，即(d,conv-3,rate＝1,d)表示(输入特征图的通道数为d，卷积核大小为3，空洞卷积膨胀系数为1，输出特征图通道数为d)。值得注意的是，为了使每个空洞卷积分支的输出特征图尺寸大小保持一致且与输入特征图尺寸相同，需要将空洞卷积中padding参数设置为padding＝rate；经过k个空洞卷积分支之后，每个分支的输出特征图尺寸均为(n
in
,d,h
in
,w
in
)，继而利用多层级的特征融合层hff即hff(hierarchical feature fusion)，累加此分支之前的各分支特征图。具体来讲，从第二个分支开始，其输出特征图会与第一个分支的输出特征图相加(特征图中对应空间位置特征值相加)，其结果作为第二个分支的最终输出特征图。对于第三个分支来讲，其输出特征图会与第二个分支的最终输出特征图相加，其结果作为第三个分支的最终输出特征图。以此类推，直至第k个分支；经过hff阶段后，再将每个分支的输出特征图按通道进行拼接，以得到通道深度为k
×
d＝c
in
的特征图；将按通道拼接所得的特征图与残差分支的特征图进行相加，最终可得到尺寸为(n
in
,c
in
,h
in
,w
in
)的特征图。由此可知，任何经过aesp-r模块5的特征图，其尺寸将保持不变。
[0108]
s4、利用当前阶段的最优模型推理下一批次未标注的半导体芯片焊点图像数据集，并保存推理结果；
[0109]
s5、利用高斯滤波与线性插值算法将步骤s4保存的推理结果映射回标注软件，进行微调后，生成该批次的标注好的半导体芯片焊点图像数据集；
[0110]
步骤s5中，利用高斯滤波与线性插值算法将步骤s4保存的推理结果映射回标注软件，具体为，
[0111]
s51、利用高斯滤波算法去除模型预测图中的孤立点；
[0112]
用一个卷积扫描图像中的每一个像素，用卷积确定的领域像素的加权平均灰度值来代替卷积中心图像像素点值，其中，靠近中心点的权重大，远离中心点的权重小，其核心公式如下：
[0113]
一维高斯分布：
[0114][0115]
二维高斯分布：
[0116][0117]
其中，g(x)为一维随机变量x所对应的高斯滤波核系数，g(x,y)为二维随机变量(x,y)所对应的高斯滤波核系数，σ为标准差，x为一维随机变量，y为二维随机变量。σ的取值决定了高斯核的大小，σ的值越大高斯函数的曲线越“平坦”，图像表现的越模糊。
[0118]
s52、利用线性插值算法减弱模型推理结果映射回标注软件时所造成的图像边缘锯齿化现象。如图7，具体为，图像锯齿边缘在平面直角坐标系xoy上的函数关系表达式即未知函数f(x)，使用过未知函数f(x)上两个确定的随机的孤立点(x0,y0)和(x1,y1)的函数l(x)来近似未知函数f(x)，函数l(x)为这两个孤立点所形成的直线在平面直角坐标系xoy上的函数关系表达式，运用此原理来消除模型推理结果映射回标注软件时图像边缘锯齿化现象，如图8。
[0119]
s6、利用所有标注好的批次的半导体芯片焊点图像数据集，对当前阶段的最优模型进行模型训练后，获得训练优化后的模型作为当前阶段的最优模型；
[0120]
s7、重复迭代步骤s4、步骤s5和步骤s6，直到处理过第n批次的半导体芯片焊点图像数据集，此时n个批次的半导体芯片焊点图像数据集均已全部标注，进入下一步骤s8；
[0121]
s8、利用所有标注好的半导体焊点图像数据集进行最终的模型训练，得到最优提取模型，将最优提取模型进行模型部署，由得到的最优提取模型进行半导体芯片焊点区域提取。
[0122]
该种基于多层空洞卷积网络的半导体芯片焊点区域提取方法，与现有技术相比，采用半导体芯片焊点图像作为网络输入，采用多层空洞卷积网络模型进行模型训练，与传统的卷积模块设计相比，能够在显著提升网络性能的同时减少模型参数量；同时采用分批次迭代的操作方式，能够保证数据集标注的高质量。该种基于多层空洞卷积网络的半导体芯片焊点区域提取方法，能够有效提升半导体芯片焊点区域提取的效率和准确性。
[0123]
该种基于多层空洞卷积网络的半导体芯片焊点区域提取方法，首先将数据集随机均分为n个批次，然后标注第一个批次的数据集，将标注好的数据集送入网络中训练并生成初始模型，利用该模型对第二批次数据集进行推理，再把推理结果重新映射回标注软件中进行微调，从而生成标注好的第二批数据集。随后将第一、二批次数据集同时送入网络中，
推理第三批次，在原来模型基础上再进行训练并生成更优的模型，循环所有批次，即可得到最优提取模型。
[0124]
该种基于多层空洞卷积网络的半导体芯片焊点区域提取方法，利用多层空洞卷积替代普通卷积，提取多尺度特征同时，降低经典空洞卷积所造成的网格伪影现象。同时，本发明采用半自动标注与增量学习的思想，可有效降低样本标注成本，并分阶段调参，能够得到最优提取模型，来提高提取的准确性。另外，可根据数据集大小，自定义数据集划分批次和增量学习迭代次数，故所提算法普适性较强。
[0125]
该种基于多层空洞卷积网络的半导体芯片焊点区域提取方法，通过分批次迭代进行模型训练、微调、推理下一批次半导体芯片焊点图片，最终利用全部数据集进行模型训练，得到最优模型。与其他方式相比，本发明所提供的技术方案不仅从数量和操作难度上，极大地降低了人工工作量。该方法利用增量迭代训练的思想，在得到最优模型的同时，能够减少人工标注的成本。
[0126]
该种基于多层空洞卷积网络的半导体芯片焊点区域提取方法，分批次迭代进行模型训练，采用嵌入式半自动的迭代增量学习方法，微调，推理下一批次半导体芯片焊点图片，其中，微调可采用人工微调。相较于传统语义分割流程，本发明中图像标注量极少，其次将原有的标注工作改为简单的微调，既提高了效率，又极大地降低了人工工作量，同时分批次迭代的操作方式，可保证数据集标注的高质量。
[0127]
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在该技术方案上所做的任何改动，均落入本发明保护范围之内。

技术特征：
1.一种基于多层空洞卷积网络的半导体芯片焊点区域提取方法，其特征在于：包括以下步骤，s1、将原始半导体芯片焊点图像数据集随机均分为n个批次的半导体芯片焊点图像数据集；s2、标注第一批次的半导体芯片焊点图像数据集；s3、构建多层空洞卷积网络模型，利用步骤s2标注的第一批次的半导体芯片焊点图像数据集对构建的多层空洞卷积网络模型进行模型训练，并生成当前阶段的最优模型；s4、利用当前阶段的最优模型推理下一批次未标注的半导体芯片焊点图像数据集，并保存推理结果；s5、利用高斯滤波与线性插值算法将步骤s4保存的推理结果映射回标注软件，进行微调后，生成该批次的标注好的半导体芯片焊点图像数据集；s6、利用所有标注好的批次的半导体芯片焊点图像数据集，对当前阶段的最优模型进行模型训练后，获得训练优化后的模型作为当前阶段的最优模型；s7、重复迭代步骤s4、步骤s5和步骤s6，直到处理过第n批次的半导体芯片焊点图像数据集，此时n个批次的半导体芯片焊点图像数据集均已全部标注，进入下一步骤s8；s8、利用所有标注好的半导体焊点图像数据集进行最终的模型训练，得到最优提取模型，将最优提取模型进行模型部署，由得到的最优提取模型进行半导体芯片焊点区域提取。2.如权利要求1所述的基于多层空洞卷积网络的半导体芯片焊点区域提取方法，其特征在于：步骤s2中，标注第一批次半导体芯片焊点图像数据集，具体为，对第一批次的半导体芯片焊点图像数据集的半导体芯片焊点图像进行语义标注包括颜色类别和标签类别，对半导体芯片焊点图像上的不同区域对应标注颜色类别和标签类别。3.如权利要求1所述的基于多层空洞卷积网络的半导体芯片焊点区域提取方法，其特征在于：步骤s3中，多层空洞卷积网络模型包括第一卷积层、第一拼接层、第二卷积层、第一aesp-d模块、第一aesp-r模块、第二拼接层、第二aesp-d模块、第二aesp-r模块、第三卷积层、第三拼接层、第四卷积层、第一转置卷积层、第四拼接层、单aesp-r模块、第二转置卷积层、第五拼接层、第五卷积层和第三转置卷积层，其中，第一aesp-d模块和第二aesp-d模块均采用高效空洞下采样空间金字塔模块即aesp-d模块，单aesp-r模块采用单个高效空洞残差空间金字塔模块即aesp-r模块，第一aesp-r模块包括α个堆叠的aesp-r模块，第二aesp-r模块包括β个堆叠的aesp-r模块。4.如权利要求3所述的基于多层空洞卷积网络的半导体芯片焊点区域提取方法，其特征在于：步骤s3中，多层空洞卷积网络模型中，第一卷积层：将高
×
宽
×
通道的原始焊点图像作为输入数据，经过卷积运算后，输出的第一卷积特征图作为第一卷积层的输出数据；第一拼接层：用于将第一卷积特征图和分别缩小为一半的高与宽的原始焊点图像按通道进行拼接操作，获得第一拼接特征图；第二卷积层：将第一拼接特征图进行卷积操作，提取经过拼接融合的特征，并获取输出第二卷积特征图；第一aesp-d模块：对第一拼接特征图提取多尺度的特征信息，同时对输入的第一拼接特征图进行下采样，得到输出的第一特征图；
第一aesp-r模块：对第一特征图提取多尺度的特征信息，并应用残差连接，获取残差特征信息，最后得到与输入特征图尺寸相同的第二特征图；第二拼接层：用于将第一特征图、第二特征图和分别缩小为四分之一的高与宽的原始焊点图像按通道进行拼接操作后，获得第二拼接特征图；第三卷积层：将第二拼接特征图进行卷积操作，提取经过拼接融合的特征，并获取输出第三卷积特征图；第二aesp-d模块：对第二拼接特征图提取多尺度的特征信息，同时对输入的第二拼接特征图进行下采样，得到输出的第三特征图；第二aesp-r模块：对第三特征图提取多尺度的特征信息，并应用残差连接，获取残差特征信息，最后得到与输入特征图尺寸相同的第四特征图；第三拼接层：将第三特征图与第四特征图按通道进行拼接操作后，获得第三拼接特征图；第四卷积层：将第三拼接特征图进行卷积操作，提取经过拼接融合的特征，并获取输出第四卷积特征图；第一转置卷积层：将输入的第四卷积特征图进行4倍上采样，获取输出的第一转置卷积特征图；第四拼接层：用于将第三卷积特征图与第一转置卷积特征图按通道进行拼接操作后，获得第四拼接特征图；单aesp-r模块：用于对第四拼接特征图提取多尺度的特征信息，并应用残差连接，获取残差特征信息，最后得到与输入特征图尺寸相同的第五特征图；第二转置卷积层：用于对第五特征图进行4倍上采样，获取输出第二转置卷积特征图；第五拼接层：用于将第二卷积特征图与第二转置卷积特征图按通道进行拼接操作后，获得第五拼接特征图；第五卷积层：将第五拼接特征图进行卷积操作，提取经过拼接融合的特征，并获取输出第四卷积特征图；第三转置卷积层：将输入的第四卷积特征图进行4倍上采样，获取输出特征图。5.如权利要求3所述的基于多层空洞卷积网络的半导体芯片焊点区域提取方法，其特征在于：aesp-d模块的表达式为：z＝aespd(x) (1)(1)(1)z＝concat(z1,z2,
…
,z
k
) (5)其中，z表示输入特征图x经过aesp-d模块后的特征图，公式(1)表示aesp-d模块总体计算公式，公式(1)可分解为公式(2)-公式(5)，表示输入特征图x经过卷积层conv后的特征图，y
l
表示经过空洞卷积层aconv后的特征图，k为空洞卷积分支数，z
l
表示各分支输出特征图y
l
经多层级的特征融合层hff进行累加add后的特征图，concat表示按通道拼接操作。6.如权利要求3所述的基于多层空洞卷积网络的半导体芯片焊点区域提取方法，其特
征在于：aesp-r模块的表达式为：z
r
＝aespr(x`) (6)(6)(6)(6)(6)其中，z
r
表示输入特征图x`经过aesp-r模块后的特征图，公式(6)表示aesp-r模块的总体计算公式，公式(6)可拆分为公式(7)-公式(11)，表示输入特征图x`经过逐点卷积层pwconv后的特征图，y
l
`表示经过多分支空洞卷积层aconv后的分支l的输出特征图，k为空洞卷积分支数，z
l
`表示各分支输出特征图y
l
`经多层级的特征融合层hff进行累加add后的特征图，表示z
l
`按通道拼接操作concat后的特征图。7.如权利要求1-6任一项所述的基于多层空洞卷积网络的半导体芯片焊点区域提取方法，其特征在于：步骤s5中，利用高斯滤波与线性插值算法将步骤s4保存的推理结果映射回标注软件，具体为，s51、利用高斯滤波算法去除模型预测图中的孤立点；s52、利用线性插值算法减弱模型推理结果映射回标注软件时所造成的图像边缘锯齿化现象。8.如权利要求7所述的基于多层空洞卷积网络的半导体芯片焊点区域提取方法，其特征在于：步骤s52中，利用线性插值算法减弱模型推理结果映射回标注软件时所造成的图像边缘锯齿化现象，具体为，图像锯齿边缘在平面直角坐标系xoy上的函数关系表达式即未知函数f(x)，使用过未知函数f(x)上两个确定的随机的孤立点(x0,y0)和(x1,y1)的函数l(x)来近似未知函数f(x)，函数l(x)为这两个孤立点所形成的直线在平面直角坐标系xoy上的函数关系表达式，运用此原理来消除模型推理结果映射回标注软件时图像边缘锯齿化现象。

技术总结
本发明提供一种基于多层空洞卷积网络的半导体芯片焊点区域提取方法，通过将原始半导体芯片焊点图像数据集随机均分为N个批次；标注第一批次的半导体芯片焊点图像数据集；利用所标注的第一批次的半导体芯片焊点图像数据集对构建的多层空洞卷积网络模型进行模型训练，并生成当前阶段的最优模型；推理下一批次未标注的半导体芯片焊点图像数据集；直到处理过第N批次的半导体芯片焊点图像数据集，利用所有标注好的半导体焊点图像数据集进行最终的模型训练，得到最优提取模型，进行半导体芯片焊点区域提取；该方法能够在显著提升网络性能的同时减少模型参数量，能够保证数据集标注的高质量，能够有效提升半导体芯片焊点区域提取的效率和准确性。取的效率和准确性。取的效率和准确性。


技术研发人员：倪康 邵思林 戴一冕 袁春阳 杨尚东 蒋永新 朱玉萍 刘洪涛
受保护的技术使用者：南京邮电大学
技术研发日：2023.04.28
技术公布日：2023/8/4