基于多尺度混合核和结构重参数化的表面缺陷识别方法

net作为最终构建好的m2rep-net。
12.在一些优选的实施方式中，所述mmk模块包括四个并行连接的卷积层、四个批量归一化层、一个求和层、一个relu函数层；
13.四个并行连接的卷积层的尺寸分别为：1
×
1、3
×
3、5
×
5和7
×
7，每个卷积层后边连接一个批量归一化层；
14.所述求和层，用于对四个批量归一化层的输出进行求和，并输入所述relu函数层。
15.在一些优选的实施方式中，所述amk模块包括依次连接的第一卷积层、第二卷积层、求和层、第一relu函数层、第三卷积层、批量归一化层、第二relu函数层；
16.所述第一卷积层、所述第三卷积层均为尺寸1
×
1的卷积层；
17.所述第二卷积层包括四个并行连接的卷积层，尺寸分为1
×
1、3
×
1、1
×
3和3
×
3，每个卷积层后连接一个批量归一化层；
18.所述求和层，用于对四个批量归一化层的输出进行求和。
19.在一些优选的实施方式中，对训练好后的初始m2rep-net进行结构重参数化，其方法为：
20.将所述初始m2rep-net中的卷积层与批量归一化层融合；
21.将所述mmk模块进行结构重参数化：
22.将所述mmk模块中尺寸为1
×
1、3
×
3、5
×
5的卷积层均补零扩充为7
×
7的卷积层，然后将四个7
×
7的卷积层叠加，作为新的卷积层；
23.将所述amk模块进行结构重参数化：
24.将所述第二卷积层中尺寸为1
×
1、3
×
1、1
×
3的卷积层均补零扩充为3
×
3的卷积层，然后将四个3
×
3的卷积层叠加，作为新的卷积层。
25.在一些优选的实施方式中，将所述初始m2rep-net中的卷积层与批量归一化层融合，融合后的层其计算方法为：
[0026][0027]
其中，k和b分别为卷积层的权重和偏置，γ和β分别为批量归一化层的缩放变量和平移变量，μ和σ为每一批量样本在训练过程中的均值和标准差，x表示融合后的层的输入，y
bn(conv)
表示融合后的层的输出。
[0028]
在一些优选的实施方式中，所述mmk模块中叠加后得到的新的卷积层，其输出特征图o
mmk
表示为：
[0029][0030][0031][0032]
其中，k
rep-mmk
表示mmk模块中叠加后得到的新的卷积层的权重，b
rep-mmk
表示mmk模块中叠加后得到的新的卷积层的偏置，padi×i()表示补零扩充为i
×
i的卷积层，i
mmk
为mmk模块中叠加后得到的新的卷积层的输入特征图，代表卷积运算，
表示所述初始m2rep-net中的卷积层与批量归一化层融合后的层的权重、偏置。
[0033]
在一些优选的实施方式中，所述第二卷积层其叠加后得到的新的卷积层，其输出特征图o
amk
表示为：
[0034][0035][0036][0037]
其中，k
′
、b
′
分别表示所述第一卷积层的权重和偏置，k
″
、b
″
分别表示所述第三卷积层的权重和偏置，i
amk
表示所述第二卷积层其叠加后得到的新的卷积层的输入特征图，k
rep-amk
、b
rep-amk
表示第二卷积层其叠加后得到的新的卷积层的权重、偏置。
[0038]
本发明的第二方面，提出了一种基于多尺度混合核和结构重参数化的表面缺陷识别系统，该系统包括：输入图像获取模块、表面缺陷识别模块；
[0039]
所述输入图像获取模块，配置为获取待表面缺陷识别的工业零部件图像，作为输入图像；
[0040]
所述表面缺陷识别模块，配置为通过m2rep-net获取所述输入图像对应的表面缺陷识别结果；
[0041]
其中，所述m2rep-net为基于多尺度混合核和结构重参数化的深度网络，其构建方法为：
[0042]
构建初始m2rep-net；所述初始m2rep-net基于依次连接的mmk模块、第一最大池化层、四个串联的amk模块、第二最大池化层、全连接层构建；所述mmk模块为基于多个尺寸的卷积层构建的模块；所述amk模块为基于非对称的卷积层构建的模块；
[0043]
构建训练数据集，基于所述训练数据集对所述初始m2rep-net进行训练；
[0044]
对训练好后的初始m2rep-net进行结构重参数化，将结构重参数化后的初始m2rep-net作为最终构建好的m2rep-net。
[0045]
本发明的第三方面，提出了一种电子设备，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于多尺度混合核和结构重参数化的表面缺陷识别方法。
[0046]
本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于多尺度混合核和结构重参数化的表面缺陷识别方法。
[0047]
本发明的有益效果：
[0048]
本发明能够对工业零部件图像中非加工缺陷进行识别，并实现了精度和速度之间的良好平衡。
[0049]
1)本发明提出了一种基于多尺度混合核和结构重参数化的深度网络m2rep-net，用于识别包括加工缺陷和非加工缺陷在内的工业表面缺陷，m2rep-net包括多尺寸混合卷
积核mmk、非对称混合卷积核amk，mmk以在网络的浅层提取并融合丰富而充分的多尺度特征信息，更好地表征具有大差异化尺寸的各种表面缺陷，amk通过方形、点、水平、垂直四种卷积核的混合，获得旋转鲁棒的中、深层特征信息，更好地表征具有不规则形状的各种表面缺陷；
[0050]
2)本发明引入结构重参数化策略，将m2rep-net进行训练与推理解耦，使模型在训练阶段基于多支路学习获得强表征能力，在推理阶段通过重参数化等价转化为单支路，使得m2rep-net在具备超高推理速度的同时，实现了轻量化的模型尺寸和令人满意的识别准确率，而且不会损失任何性能。实验结果表明，m2rep-net以仅仅5.23m的参数量获得了97.39％的识别精度和201.76帧/秒的超快推理速度，实现了精度和速度之间的良好平衡，能够满足工业表面缺陷识别任务的实际需求。
附图说明
[0051]
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本技术的其他特征、目的和优点将会变得更明显。
[0052]
图1是本发明一种实施例的基于多尺度混合核和结构重参数化的表面缺陷识别方法的流程示意图；
[0053]
图2为本发明一种实施例的基于多尺度混合核和结构重参数化的表面缺陷识别系统的框架示意图；
[0054]
图3为本发明一种实施例的工业表面典型缺陷示意图；
[0055]
图4为本发明一种实施例的m2rep-net架构构建过程的详细示意图；
[0056]
图5是本发明一种实施例的适于用来实现本技术实施例的电子设备的计算机系统的结构示意图。
具体实施方式
[0057]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0058]
下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
[0059]
本发明第一实施例的一种基于多尺度混合核和结构重参数化的表面缺陷识别方法，如图1所示，该方法包括：
[0060]
s100，获取待表面缺陷识别的工业零部件图像，作为输入图像；
[0061]
s200，通过m2rep-net获取所述输入图像对应的表面缺陷识别结果；
[0062]
其中，所述m2rep-net为基于多尺度混合核和结构重参数化的深度网络，其构建方法为：
[0063]
构建初始m2rep-net；所述初始m2rep-net基于依次连接的mmk模块、第一最大池化层、四个串联的amk模块、第二最大池化层、全连接层构建；所述mmk模块为基于多个尺寸的
卷积层构建的模块；所述amk模块为基于非对称的卷积层构建的模块；
[0064]
构建训练数据集，基于所述训练数据集对所述初始m2rep-net进行训练；
[0065]
对训练好后的初始m2rep-net进行结构重参数化，将结构重参数化后的初始m2rep-net作为最终构建好的m2rep-net。
[0066]
为了更清晰地对本发明一种基于多尺度混合核和结构重参数化的表面缺陷识别方法进行说明，下面结合附图，对本发明方法一种实施例中各步骤进行展开详述。
[0067]
在下述实施例中，先对m2rep-net的构建过程进行详述，在对通过基于多尺度混合核和结构重参数化的表面缺陷识别方法获取工业零部件图像对应的表面缺陷识别结果的过程进行详述。
[0068]
1、m2rep-net的构建过程
[0069]
本发明提出了一个基于多尺度混合核和结构重参数化的深度网络(multi-scale mixed kernels and structural re-parameterization based deep network,m2rep-net)，在具备超高推理速度的同时，实现了轻量化的模型尺寸和令人满意的识别准确率。具体地，本发明首先设计了多尺寸混合卷积核(multi-size mixed convolutional kernel,mmk)，即多个尺寸的卷积层，以在网络的浅层提取并融合丰富而充分的多尺度特征信息，更好地表征具有大差异化尺寸的各种表面缺陷；其次设计了非对称混合卷积核，(asymmetric mixed convolutional kernel,amk)，即非对称的卷积层，通过方形、点、水平、垂直四种卷积核的混合，获得旋转鲁棒的中、深层特征信息，更好地表征具有不规则形状的各种表面缺陷；最后引入结构重参数化策略，将m2rep-net的训练与推理解耦，使模型在训练阶段基于多支路学习获得强表征能力，在推理阶段通过重参数化等价转化为单支路，获得轻量化的结构和超高的推理速度。
[0070]
其中，m2rep-net的构建过程，具体如下：
[0071]
构建初始m2rep-net；所述初始m2rep-net基于依次连接的mmk模块、第一最大池化层(图4中尺寸为112
×
112的最大池化层(mp))、四个串联的amk模块、第二最大池化层(图4中尺寸为7
×
7的最大池化层)、全连接层(fc)构建；所述mmk模块为基于多个尺寸的卷积层构建的模块；所述amk模块为基于非对称的卷积层构建的模块；
[0072]
在本实施例中，如图4所示，mmk模块是基于多个尺寸的卷积层构建的模块，mmk模块包括四个并行连接的卷积层(conv)、四个批量归一化层、一个求和层、一个relu函数层；
[0073]
四个并行连接的卷积层的尺寸分别为：1
×
1、3
×
3、5
×
5和7
×
7，以充分捕获不同尺度的浅层特征，每个卷积层后边连接一个批量归一化层；即mmk模块利用不同尺寸的并行卷积扩展了网络，并丰富了m2rep-net输入端的感受野，以获取包含丰富原始缺陷信息的多尺度浅层特征。
[0074]
所述求和层，用于对四个批量归一化层的输出进行求和，并输入relu函数层。
[0075]
amk模块是基于非对称的卷积层构建的模块，通过将正方形、水平、垂直和点卷积以及一个恒等连接并行起来。如图4所示，amk模块包括依次连接的第一卷积层、第二卷积层、求和层、第一relu函数层、第三卷积层、批量归一化层、第二relu函数层；
[0076]
所述第一卷积层、所述第三卷积层均为尺寸1
×
1的卷积层；
[0077]
所述第二卷积层包括四个并行连接的卷积层，尺寸分为1
×
1、3
×
1、1
×
3和3
×
3，每个卷积层后连接一个批量归一化层；
[0078]
所述求和层，用于对四个批量归一化层的输出进行求和。
[0079]
即首先执行带步长2(即s＝2)的1
×
1卷积层(即第一卷积层)来降采样分辨率并控制维度。然后，分别执行四个卷积(分别为3
×
3、3
×
1、1
×
3、1
×
1)和一个恒等连接来提取多分支特征，这些特征通过随后的1
×
1卷积层(即第三卷积层)进行融合。在m2rep-net中，串联四个amk模块以挖掘具有旋转鲁棒性的中深层缺陷特征，可以更好地刻画不规则形状的缺陷。
[0080]
构建训练数据集，基于所述训练数据集对所述初始m2rep-net进行训练；
[0081]
在本实施例中，建立了一个包含8500张图像(224
×
224)的工业表面缺陷数据集，命名为od8500。如图3所示，od8500数据集包括7个类别，分别是：无缺陷(3088张)、划痕(731张)、破边(251张)、残痕(2102张)、指纹(1205张)、麻点(365张)和气泡(758张)。在实验中，使用od8500数据集的75％和25％的样本分别作为训练数据和测试数据。
[0082]
基于上述的训练数据及其对应的识别结果真值标签，构建训练数据集。
[0083]
将训练图像输入mmk模块中以提取多尺度浅层特征，然后经过一系列amk模块以获得具有旋转鲁棒性的中深层特征。最后，网络从包括划痕、气泡、麻点、破边、残痕、指纹和无缺陷在内的7个类别中输出预测结果(即表面缺陷识别结果)。
[0084]
基于预测结果、识别结果真值标签，计算损失值，更新初始m2rep-net的网络参数；
[0085]
迭代对初始m2rep-net训练，直至得到训练好的初始m2rep-net。其中，本发明学习率优选设置为0.0001，优化器算法为adam，动量项优选为(0.9,0.999)，总共迭代设置为350次。
[0086]
对训练好后的初始m2rep-net进行结构重参数化，将结构重参数化后的初始m2rep-net作为最终构建好的m2rep-net。
[0087]
在本实施例中，引入结构重参数化策略，将m2rep-net的推理阶段与训练阶段解耦，在训练完成后将mmk和amk的多支路的结构等价转化为单支路结构，在保留训练阶段所获强表征能力的同时，简化部署模型、提升推理速度。m2rep-net的结构重参数化可以分为：卷积与bn的融合、mmk的结构重参数化、amk的结构重参数化三部分。具体如下：
[0088]
1)将所述初始m2rep-net中的卷积层与批量归一化层融合；即将mmk模块、amk模块中的四个并行连接的卷积层以及其连接的批量归一化层进行融合：具体为：
[0089]
卷积层和bn层(批量归一化层)的运算如下所示：
[0090]yconv
＝k
·
x+b
ꢀꢀꢀ
(1)
[0091][0092]
其中，k和b分别为卷积层的权重和偏置，γ和β分别为批量归一化层的缩放变量和平移变量，μ和σ为每个batch(即每一批量样本)在训练过程中的均值和标准差，xi表示第i个bn层的输入，x表示卷积层的输入，也表示融合后的层(可等效表示为一个卷积层)的输入，y
conv
、y
bn
分别表示卷积层、bn层的输出。
[0093]
基于公式(1)、(2)，卷积层融合bn层，即融合后的层可等效表示为一个卷积层，具体图公式(3)所示：
[0094][0095]
其中，表示初始m2rep-net中的卷积层与批量归一化层融合后的层的权重、偏置，y
bn(conv)
表示融合后的层的输出，因此，通过上述变换，将bn层融入卷积层。
[0096]
2)将所述mmk模块进行结构重参数化，具体为：
[0097]
mmk模块包含1
×
1、3
×
3、5
×
5和7
×
7四个并行卷积层，其具有一致的输入和输出通道。首先将1
×
1、3
×
3、5
×
5卷积层分别补零扩充为7
×
7的参数矩阵，即其均等效于特殊的7
×
7卷积层(核中有很多零参)；其次，根据卷积的可加性，将四个7
×
7卷积层叠加为一个新的7
×
7卷积层，其权重和偏置为：
[0098][0099][0100]
其中，k
rep-mmk
表示mmk模块中叠加后得到的新的卷积层的权重，b
rep-mmk
表示mmk模块中叠加后得到的新的卷积层的偏置，padi×i()表示补零扩充为i
×
i的卷积层，表示尺寸为1
×
1的卷积层与连接的bn层融合后的层的权重、偏置，其余类似，此处不再一一举例解释。因此，通过结构重参数化，多支路的mmk等价转化为单支路结构。对于输入特征图i
mmk
，经重参数化mmk的后的输出特征图o
mmk
可表示为：
[0101][0102]
其中，代表卷积运算。
[0103]
3)将所述amk模块进行结构重参数化，具体为：
[0104]
amk模块中的第二卷积层包括3
×
3、1
×
3、3
×
1和1
×
1四个并行卷积层，具有一致的输入和输出通道。与重参数化mmk类似，将1
×
3、3
×
1和1
×
1卷积层分别补零扩充为3
×
3卷积层，然后将四个3
×
3卷积层叠加合并为一个新的3
×
3卷积层，其权重和偏置为：
[0105][0106][0107]
其中，k
rep-amk
、b
rep-amk
表示第二卷积层其叠加后得到的新的卷积层的权重、偏置。
[0108]
通过结构重参数化，amk的多支路混合卷积部分可等价转化为单个卷积，也即amk被重参数化为单支路结构。因此，对于输入特征图i
amk
，经重参数化amk后的输出特征图o
amk
可表示为：
[0109][0110]
其中，k
′
、b
′
分别表示所述第一卷积层的权重和偏置，k
″
、b
″
分别表示所述第三卷积层的权重和偏置。
[0111]
综上，通过重参数化，m2rep-net在保留训练阶段强表征能力(权重)的前提下，在
推理阶段具备了轻量化的单分支结构，因而可获得更低的显存占用和更高的实际推理速度。
[0112]
2、基于多尺度混合核和结构重参数化的表面缺陷识别方法
[0113]
s100，获取待表面缺陷识别的工业零部件图像，作为输入图像；
[0114]
在本实施例中，先获取待表面缺陷识别的工业零部件图像。
[0115]
s200，通过m2rep-net获取所述输入图像对应的表面缺陷识别结果。
[0116]
在本实施例中，将待表面缺陷识别的工业零部件图像输入上述构建好的m2rep-net(即图4中推理阶段(单分支)的m2rep-net)，得到工业零部件图像对应的表面缺陷识别结果。
[0117]
为了进一步验证本发明的有效性，将本发明提出的m2rep-net模型与mobilenet v2，shufflenet v2，squeezenet，resnet34/50/101，resnext，repvgg and convnext等著名分类网络在od8500数据集上进行了对比，结果如表1所示。在od8500数据集上达到了的平均准确率和的平均f1值，展示了优异的识别性能。在准确率方面，本发明提出的m2rep-net实现了最高的a
cc
准确率(97.389％)和f1值(97.386％)，比第二名convnext高5.768％和7.816％。在效率方面，m2rep-net实现了最快的推理速度。
[0118]
表1
[0119]
其中，准确率(accuracy)代表分类正确的样本数占总样本数的比例。精确率(precision)代表正确预测为正的数量占预测为正的所有样本数量的比例。召回率(recall)代表正确预测为正占实际为正的样本数量的比例。f1值为综合评价指标代表精确率和召回率的调和平均值。准确率、精确率、召回率、f1值越大代表模型性能越好。各指标计算公式为：
[0120][0121]
[0122][0123][0124]
其中，c
tp
、c
tn
、c
fp
和c
fn
分别为真阳、真阴、假阳和假阴，a
cc
、p、r分别表示准确率、精确率、召回率。此外，本发明还使用多分类混淆矩阵评价模型对各类缺陷的识别结果进行评价。综上所述，m2rep-net作为一种轻量级高效的isdc算法，可以满足工业领域瑕疵产品快速筛查的实际需求。
[0125]
本发明第二实施例的一种基于多尺度混合核和结构重参数化的表面缺陷识别系统，如图2所示，该系统包括：输入图像获取模块100、表面缺陷识别模块200；
[0126]
所述输入图像获取模块100，配置为获取待表面缺陷识别的工业零部件图像，作为输入图像；
[0127]
所述表面缺陷识别模块200，配置为通过m2rep-net获取所述输入图像对应的表面缺陷识别结果；
[0128]
其中，所述m2rep-net为基于多尺度混合核和结构重参数化的深度网络，其构建方法为：
[0129]
构建初始m2rep-net；所述初始m2rep-net基于依次连接的mmk模块、第一最大池化层、四个串联的amk模块、第二最大池化层、全连接层构建；所述mmk模块为基于多个尺寸的卷积层构建的模块；所述amk模块为基于非对称的卷积层构建的模块；
[0130]
构建训练数据集，基于所述训练数据集对所述初始m2rep-net进行训练；
[0131]
对训练好后的初始m2rep-net进行结构重参数化，将结构重参数化后的初始m2rep-net作为最终构建好的m2rep-net。
[0132]
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0133]
需要说明的是，上述实施例提供的基于多尺度混合核和结构重参数化的表面缺陷识别系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
[0134]
本发明第三实施例的一种电子设备，至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于多尺度混合核和结构重参数化的表面缺陷识别方法。
[0135]
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于多尺度混合核和结构重参数化的表面缺陷识别方法。
[0136]
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的
电子设备、计算机可读存储介质的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
[0137]
下面参考图5，其示出了适于用来实现本技术方法、装置实施例的服务器的计算机系统的结构示意图。图5示出的服务器仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
[0138]
如图5所示，计算机系统包括中央处理单元(cpu，central processing unit)501，其可以根据存储在只读存储器(rom，read only memory)502中的程序或者从存储部分508加载到随机访问存储器(ram，random access memory)503中的程序而执行各种适当的动作和处理。在ram 503中，还存储有系统操作所需的各种程序和数据。cpu501、rom 502以及ram503通过总线504彼此相连。输入/输出(i/o，input/output)接口505也连接至总线504。
[0139]
以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt，cathode ray tube)、液晶显示器(lcd，liquid crystal display)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan(局域网，local area network)卡、调制解调器等的网络接口卡的通讯部分509。通讯部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
[0140]
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通讯部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(cpu501执行时，执行本技术的方法中限定的上述功能。需要说明的是，本技术上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0141]
可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c+
+，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0142]
附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0143]
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
[0144]
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
[0145]
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

技术特征：
1.一种基于多尺度混合核和结构重参数化的表面缺陷识别方法，其特征在于，该方法包括：s100，获取待表面缺陷识别的工业零部件图像，作为输入图像；s200，通过m2rep-net获取所述输入图像对应的表面缺陷识别结果；其中，所述m2rep-net为基于多尺度混合核和结构重参数化的深度网络，其构建方法为：构建初始m2rep-net；所述初始m2rep-net基于依次连接的mmk模块、第一最大池化层、四个串联的amk模块、第二最大池化层、全连接层构建；所述mmk模块为基于多个尺寸的卷积层构建的模块；所述amk模块为基于非对称的卷积层构建的模块；构建训练数据集，基于所述训练数据集对所述初始m2rep-net进行训练；对训练好后的初始m2rep-net进行结构重参数化，将结构重参数化后的初始m2rep-net作为最终构建好的m2rep-net。2.根据权利要求1所述的基于多尺度混合核和结构重参数化的表面缺陷识别方法，其特征在于，所述mmk模块包括四个并行连接的卷积层、四个批量归一化层、一个求和层、一个relu函数层；四个并行连接的卷积层的尺寸分别为：1
×
1、3
×
3、5
×
5和7
×
7，每个卷积层后边连接一个批量归一化层；所述求和层，用于对四个批量归一化层的输出进行求和，并输入所述relu函数层。3.根据权利要求2所述的基于多尺度混合核和结构重参数化的表面缺陷识别方法，其特征在于，所述amk模块包括依次连接的第一卷积层、第二卷积层、求和层、第一relu函数层、第三卷积层、批量归一化层、第二relu函数层；所述第一卷积层、所述第三卷积层均为尺寸1
×
1的卷积层；所述第二卷积层包括四个并行连接的卷积层，尺寸分为1
×
1、3
×
1、1
×
3和3
×
3，每个卷积层后连接一个批量归一化层；所述求和层，用于对四个批量归一化层的输出进行求和。4.根据权利要求3所述的基于多尺度混合核和结构重参数化的表面缺陷识别方法，其特征在于，对训练好后的初始m2rep-net进行结构重参数化，其方法为：将所述初始m2rep-net中的卷积层与批量归一化层融合；将所述mmk模块进行结构重参数化：将所述mmk模块中尺寸为1
×
1、3
×
3、5
×
5的卷积层均补零扩充为7
×
7的卷积层，然后将四个7
×
7的卷积层叠加，作为新的卷积层；将所述amk模块进行结构重参数化：将所述第二卷积层中尺寸为1
×
1、3
×
1、1
×
3的卷积层均补零扩充为3
×
3的卷积层，然后将四个3
×
3的卷积层叠加，作为新的卷积层。5.根据权利要求4所述的基于多尺度混合核和结构重参数化的表面缺陷识别方法，其特征在于，将所述初始m2rep-net中的卷积层与批量归一化层融合，融合后的层其计算方法为：
其中，k和b分别为卷积层的权重和偏置，γ和β分别为批量归一化层的缩放变量和平移变量，μ和σ为每一批量样本在训练过程中的均值和标准差，x表示融合后的层的输入，y
bn(conv)
表示融合后的层的输出。6.根据权利要求5所述的基于多尺度混合核和结构重参数化的表面缺陷识别方法，其特征在于，所述mmk模块中叠加后得到的新的卷积层，其输出特征图o
mmk
表示为：表示为：表示为：其中，k
rep-mmk
表示mmk模块中叠加后得到的新的卷积层的权重，b
rep-mmk
表示mmk模块中叠加后得到的新的卷积层的偏置，pad
i
×
i
()表示补零扩充为i
×
i的卷积层，i
mmk
为mmk模块中叠加后得到的新的卷积层的输入特征图，代表卷积运算，代表卷积运算，表示所述初始m2rep-net中的卷积层与批量归一化层融合后的层的权重、偏置。7.根据权利要求6所述的基于多尺度混合核和结构重参数化的表面缺陷识别方法，其特征在于，所述第二卷积层其叠加后得到的新的卷积层，其输出特征图o
amk
表示为：表示为：表示为：其中，k
′
、b
′
分别表示所述第一卷积层的权重和偏置，k
″
、b
″
分别表示所述第三卷积层的权重和偏置，i
amk
表示所述第二卷积层其叠加后得到的新的卷积层的输入特征图，k
rep-amk
、b
rep-amk
表示第二卷积层其叠加后得到的新的卷积层的权重、偏置。8.一种基于多尺度混合核和结构重参数化的表面缺陷识别系统，其特征在于，该系统包括：输入图像获取模块、表面缺陷识别模块；所述输入图像获取模块，配置为获取待表面缺陷识别的工业零部件图像，作为输入图像；所述表面缺陷识别模块，配置为通过m2rep-net获取所述输入图像对应的表面缺陷识别结果；其中，所述m2rep-net为基于多尺度混合核和结构重参数化的深度网络，其构建方法为：构建初始m2rep-net；所述初始m2rep-net基于依次连接的mmk模块、第一最大池化层、四个串联的amk模块、第二最大池化层、全连接层构建；所述mmk模块为基于多个尺寸的卷积层构建的模块；所述amk模块为基于非对称的卷积层构建的模块；构建训练数据集，基于所述训练数据集对所述初始m2rep-net进行训练；对训练好后的初始m2rep-net进行结构重参数化，将结构重参数化后的初始m2rep-net作为最终构建好的m2rep-net。9.一种电子设备，其特征在于，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执
行以实现权利要求1-7任一项所述的基于多尺度混合核和结构重参数化的表面缺陷识别方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求1-7任一项所述的基于多尺度混合核和结构重参数化的表面缺陷识别方法。

技术总结
本发明属于缺陷识别技术领域，具体涉及一种基于多尺度混合核和结构重参数化的表面缺陷识别方法、系统、电子设备，旨在解决现有表面缺陷识别方法无法识别非加工缺陷，并且在识别时无法兼顾精度和速度，导致识别的鲁棒性较差的问题。本发明方法包括：获取待表面缺陷识别的工业零部件图像，作为输入图像；通过M2Rep-Net获取输入图像对应的表面缺陷识别结果；其中，M2Rep-Net为基于多尺度混合核和结构重参数化的深度网络。本发明能够对工业零部件图像中非加工缺陷进行识别，并实现了精度和速度之间的良好平衡。间的良好平衡。间的良好平衡。


技术研发人员：梁晓 甄汉岑 王雪玮 李杰 韩彦军 郭京波
受保护的技术使用者：石家庄铁道大学
技术研发日：2023.04.17
技术公布日：2023/7/12