基于双分支倒残差网络模型的钢化玻璃检测方法及系统

1.本发明属于图像识别技术的应用领域，涉及一种基于双分支倒残差网络模型的钢化玻璃检测方法及系统。


背景技术：

2.在我们日常生活中，玻璃窗、玻璃门和玻璃墙等随处可见，大多都是采用玻璃材质，由于玻璃是透明表面，对于玻璃在生产环节对其质量控制尤为重要，如202310172528.6一种玻璃的检测装置及检测方法，其是当玻璃在传送带上匀速前进，不同位置的摄像头从不同角度自动对玻璃进行缺陷扫描，将扫描结果传输到计算机设备内，通过操作人员对扫描结果画面的官产判断玻璃的四个边缘是否有破损。但是其主要是利用红外技术对其表面缺陷或破损进行照射后采集图像，该技术主要针对表面有较为严重或者明显的缺陷进行识别，容易出现漏检或者误检，检测结果无法精确保证。
3.随着深度学习理论与计算设备的更迭，图像识别作为计算机视觉的重要应用领域，其已经与人们的生活息息相关，其在在工业制造中用于分析制成品的图像。它可以比人工检查员更准确、更快速地识别缺陷和与质量标准的偏差。同样在医疗方面，它可以通过对x光、mri和其他医学图像进行识别，从而辅助医生进行诊断，实现早期发现和治疗。
4.深度学习从一开始的lenet到alexnet，再到后来的vgg、googlenet、resnet、densenet等等。随着这些典型模型的不断提出，图像识别的准确率也越来越高，应用越来越广泛。
5.但是当前对于玻璃检测技术中的图像处理还存在以下问题：(1)高性能的网络模型，参数庞大，计算设备要求较高，推理时间过长；(2)模型参数小的网络，便于移动部署，但准确率不足的问题。
6.因此，将深度学习网络模型应用于钢化玻璃检测的技术仍处于探索阶段，仍有需要应用缺陷。


技术实现要素：

7.针对现有玻璃生产质量检测技术所存在的缺陷，本发明提供一种基于轻量型双分支倒残差网络模型的钢化玻璃检测方法及对应的系统，其具有准确率高、参数量小、能够快速检测等优势。
8.为了实现上述目的，本发明采用的技术方案是：
9.一种基于轻量型双分支倒残差网络模型的钢化玻璃产品检测方法，其包括以下步骤：
10.1)构建轻量型双分支倒残差网络模型；
11.2)利用超声波对比非线性系数方法来测量玻璃内残余应力变化，获得钢化玻璃产品的内残余应力时域数据；
12.3)对玻璃应力的时域图像进行短时傅里叶变换得到时频域图像，建立数据集；
13.4)将步骤3)的数据集中的图像数据进行增强处理，得到原始矩阵p；
14.5)将步骤4)的原始矩阵p输入到轻量型双分支倒残差网络模型中训练，提取图像的特征，得到权重模型文件；
15.6)将步骤5)训练好的权重模型文件载入预测程序中，输入待检的钢化玻璃应力的时频域图像，按照步骤4)～5)的方法经过模型识别预测，得到钢化玻璃样本的检测结果。
16.进一步限定，步骤1)所述的轻量型双分支倒残差网络模型包括依次连接的预处理单元、特征提取第一单元、特征提取第二单元、特征提取第三单元、特征提取第四单元和分类单元；所述特征提取第一单元、特征提取第二单元、特征提取第三单元、特征提取第四单元均包含一个或多个双分支倒残差模块；
17.所述双分支倒残差模块包括并列的分支一和分支二；预处理后的数据在第一分支内经过3*3的深度卷积处理后，经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强，输出主要特征矩阵；在第二分支内经5*5的深度卷积处理后，经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强，输出大感受野矩阵；主要特征矩阵和大感受野矩阵在通道维度上合并，输出合并矩阵；同时将上述主要特征矩阵和大感受野矩阵进行求和得到求和矩阵；将合并矩阵与求和矩阵进行通道拼接，完成新型特征融合。
18.进一步限定，所述步骤2)具体为：
19.2.1)将超声波发射装置和超声波接受装置成对的安装在间距可调整的多个金属导轨上，相互平行的金属导轨之间构建成具有一定数量和间距排布的超声换能器矩阵；超声波发射装置和超声波接受装置分别由相应的伺服电机控制，可独自沿着x坐标、y坐标、z坐标三个方向运动；
20.2.2)判断超声波发射装置和超声波接受装置是否加载至钢化玻璃的待测点位，若否，则重新调整位置；若是，则进行下一步；
21.2.3)由超声图像处理单元产生周期性脉冲正弦信号输入到发射装置发出脉冲超声波，经过玻璃后由接受装置接受；
22.2.4)将接收到的超声波信号输入系统，根据相对非线性系数值与无应力的标准钢化玻璃应力成正比，进而得到钢化玻璃对应的相对非线性系数；
23.2.5)超声图像处理单元将步骤(2.4)所得的非线性系数与其对应的应力关联，绘制非线性系数随应力变化的曲线，得到钢化玻璃内残余应力变化图像，进而获得钢化玻璃产品的内残余应力时域数据。
24.进一步限定，所述步骤4)具体为：
25.将步骤3)所得的数据集按照8:1:1的比例分为训练集、验证集、测试集，将获取的数据依照重置大小、随机大小裁剪和标准化，进行增强处理。
26.进一步限定，所述步骤5)具体为：
27.5.1)将原始矩阵p输入预处理单元中，依次经5*5卷积、3*3池化的去噪后得到特征矩阵p0；
28.5.2)将特征矩阵p0输入特征提取第一单元，经过一个双分支倒残差模块进行特征提取，得到倒残差特征p1；
29.5.3)将倒残差特征p1输入特征提取第二单元，经过两个串联的双分支倒残差模块
进行特征提取，得到倒残差特征p2；
30.5.4)将倒残差特征p2输入特征提取第三单元，经过三个串联的双分支倒残差模块进行特征提取，得到倒残差特征p3；
31.5.5)将倒残差特征p3输入特征提取第四单元，经过两个串联的双分支倒残差模块特征提取，得到倒残差特征p4；
32.5.6)将倒残差特征p4输入自适应平均池化层中，之后输入全连接层，对提取的分布特征进行组合，形成一维特征向量，并对特征向量进行加权求和后输出权重模型文件；
33.上述步骤(5.2)、(5.3)、(5.4)、(5.5)双分支倒残差模块输出的特征为：
[0034][0035]
其中，pi(x)表示第i层所输出的特征，i＝1，2，3，4；i为iremulbnet网络，mish为激活函数，fi为中间隐层的卷积关系示意，p04和p05分别表示特征提取中对特征矩阵维度拼接和求和的结果。
[0036]
进一步限定，所述步骤5.2)具体训练过程为：
[0037]
5.2.1)将特征矩阵p0经过1*1第一卷积进行维度操作得到矩阵p01；
[0038]
5.2.2)矩阵p01分别输入第一分支、第二分支，在第一分支内经过3*3的深度卷积处理后，经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强，输出主要特征矩阵p02；在第二分支内经5*5的深度卷积处理后，经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强，输出大感受野矩阵p03；
[0039]
5.2.3)将步骤5.2.2)提取图像的主要特征矩阵p02、大感受野矩阵p03在通道维度上合并得到合并矩阵p04，同时将上述p02和p03求和得到求和矩阵p05，将合并矩阵p04与求和矩阵p05进行通道拼接，经1*1第二卷积逐点卷积，降低维度，得到双路信息矩阵p07；
[0040]
5.2.4)将步骤5.2.3)的双路信息矩阵p07与经过维度变换的特征矩阵p0求和，得到倒残差特征p1。
[0041]
进一步限定，所述步骤6)之后还包括步骤7)，所述步骤7)具体为：判断钢化玻璃样本的检测结果中当表面应力小于70mpa时，玻璃应力状况不合格，属于残次品；当表面应力为70～90mpa时，玻璃应力状况符合半钢化玻璃国家标准要求；当表面应力大于90mpa时，玻璃应力状况符合钢化玻璃国家标准要求，属于合格产品。
[0042]
本发明还提供一种基于轻量型双分支倒残差网络模型的钢化玻璃产品检测系统，其包括超声波检测装置和超声图像处理单元；
[0043]
超声波检测装置，设置在待测玻璃的两侧，包括超声波发射装置和超声波接收装置，超声波发射装置发出脉冲超声波信号，穿过玻璃后经超声波接收装置接收并将接收的信号传输给超声图像处理单元；
[0044]
超声图像处理单元，用于向超声波检测装置的超声波发射装置发出周期性的脉冲正弦信号，同时接收超声波检测装置的超声波接收装置的超声信号，利用权利要求1所述的轻量型双分支倒残差网络模型的钢化玻璃产品检测方法对信号进行处理，输出钢化玻璃的检测结果。
[0045]
进一步限定，所述超声图像处理单元包括中心处理模块、信号预处理模块、双分支倒残差信号处理模块；
[0046]
中心处理模块：用于发出周期性的脉冲正弦信号，并接收超声信号，将接收的超声信号传输给信号预处理模块，并接收双分支倒残差信号处理模块传输的玻璃应力值，输出；
[0047]
信号预处理模块：接收中心处理模块发送的超声信号，将时域数据进行短时傅里叶变换得到时频域图像，提取时频域图像的特征信息并将信息转发给双分支倒残差信号处理模块；
[0048]
双分支倒残差信号处理模块：对增强处理后的图像信息在双分支倒残差网络模型中训练，提取出权重模型文件，并将权重模型文件载入预测程序中，与待检的玻璃应力的信息进行比对，将比对得到的玻璃应力值传输给中心处理模块。
[0049]
进一步限定，所述轻量型双分支倒残差网络模型包括依次连接的预处理单元、特征提取第一单元、特征提取第二单元、特征提取第三单元、特征提取第四单元和分类单元；所述特征提取第一单元、特征提取第二单元、特征提取第三单元、特征提取第四单元均是由一个或多个双分支倒残差模块组成；
[0050]
所述双分支倒残差模块包括并列的分支一和分支二；预处理后的数据在第一分支内经过3*3的深度卷积处理后，经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强，输出主要特征矩阵；在第二分支内经5*5的深度卷积处理后，经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强，输出大感受野矩阵；主要特征矩阵和大感受野矩阵在通道维度上合并，输出合并矩阵；同时将上述主要特征矩阵和大感受野矩阵进行求和得到求和矩阵；将合并矩阵与求和矩阵进行通道拼接，完成新型特征融合。
[0051]
与现有技术相比，本发明的有益效果是：
[0052]
1、本发明的钢化玻璃质量检测采用的轻量型双分支倒残差网络模型重构了一个倒残差结构，其结合双路结构、倒残差结构和注意力机制等技术，在大幅度减少模型的参数量和计算量情况下，提升分类准确率，提高钢化玻璃检测的结果准确率以及检测效率。
[0053]
2、本发明钢化玻璃质量检测利用倒残差结构的输出减少通道数，同时在特征提取层卷积使用深度分离卷积，其中不同大小卷积的操作能增加特征的多样性，同时改变网络的宽度，有效减少了模型的参数量与计算量，大大提高钢化玻璃的检测效率。
[0054]
3、本发明钢化玻璃质量检测在特征提取阶段，使用特征融合，将两个分支中处理所得的特征信息进行拼接和求和操作，接下来对上述的两个结果进行通道维度上的拼接，其输出的特征矩阵中所含特征信息更加丰富且复杂，有效增强了特征提取能力，保证检测结果的准确性。
[0055]
4)本发明钢化玻璃质量检测能够实现上述的检测效率提升和检测结果准确的基础上，还能够保证检测手段的无损、连续检测，保证玻璃生产的安全、高效。
附图说明
[0056]
图1为超声波检测装置结构示意图。
[0057]
图2是轻量型双分支倒残差网络iretbnet结构示意图。
[0058]
图3是图2中双分支倒残差模块示意图。
[0059]
图4为玻璃应力在线检测流程图。
[0060]
图5a为玻璃应力的时域图像。
[0061]
图5b为玻璃应力的频域图像。
[0062]
图5c为玻璃应力的时频域图像。
[0063]
图6a为实验1各个网络模型的参数量对比图。
[0064]
图6b为实验1中各个网络模型的计算量对比图。
具体实施方式
[0065]
现结合附图以及实施例对发明做详细的说明。
[0066]
本发明实验环境是使用主频2.6ghz的intel(r)xeon(r)e5-2640 v3处理器，内存125.65gb的centos操作系统的服务器，其配备的显卡是显存24gb的geforcertx3090.程序环境为python版本为3.9.1，pytorch版本为1.10.0，cuda版本为11.3.
[0067]
本发明的技术思路是，建立轻量型双分支倒残差网络模型(以下简称iretbnet)对图像进行识别分类，重构的倒残差结构是由双路结构、注意力机制和倒残差模块等组成，其可以在大幅减小参数量和计算量的情况下既提升网络的性能又提高计算效率。
[0068]
本发明提供的轻量型双分支倒残差网络模型，参照图2，包括依次连接的预处理单元(预处理模块)、特征提取第一单元(di_block
×
1)、特征提取第二单元(di_block
×
2)、特征提取第三单元(di_block
×
3)、特征提取第四单元(di_block
×
2)和分类单元；所述特征提取单元是由一个或多个双分支倒残差模块组成。
[0069]
进一步的，双分支倒残差模块包括依次连接的1*1第一卷积层、双分支倒残差模块和1*1第二卷积层。
[0070]
进一步的，所述的轻量型双分支倒残差网络模型，其特征在于，所述双分支倒残差模块包括并列的分支一和分支二；所述1*1第一卷积层后同时连接分支一和分支二；对所诉两分支进行特征融合后与1*1第二卷积层连接。
[0071]
进一步的，所述的轻量型双分支倒残差网络模型，其特征在于，所述分支一包括依次连接的3*3的深度分离卷积，如步长为2时经过3*3的池化层，如步长为1时直接传递，接下来经过se注意力模块；分支二包括依次连接5*5的深度分离卷积，如步长为2时经过3*3的池化层，如步长为1时直接传递，接下来经过se注意力模块。
[0072]
进一步的，所述的轻量型双分支倒残差网络模型，其特征在于，所述预处理单元依次包括5*5卷积层和3*3池化层。
[0073]
进一步的，所述特征提取第一、二、三和四单元依次包括一、二、三、二个新型特征融合的双分支倒残差模块。
[0074]
进一步的，所述分类单元依次包括自适应平均池化层和全连接层。
[0075]
本发明设计一种以双分支结构、注意力机制和倒残差结构等为核心的轻量级cnn模型，即轻量型双分支倒残差网络模型iretbnet。在双路特征提取阶段，使用双路进行不同操作；增加特征的多样性，其中使用5*5的卷积层可以扩大感受视野；同时在卷积后使用se注意力机制，更好的将信息按照通道配置；为了降低模型参数量，将倒残差结构与深度分离卷积引入模型的设计中；在分类阶段，使用自适应平均池化层将输出的特征图尺寸进行压缩，保持具有不变性的特征信息，再设计出一个全连接层，对分布式特征进行组合、实现分类。
[0076]
进一步的，下面将从双路特征提取和特征融合方式两个方面进行详细介绍本发明
中对于双分支倒残差模块的重构。
[0077]
在特征提取阶段，即进行1*1的维度变换后得到的特征信息p0，对其使用双路结构进行处理。分支一，先使用3
×
3的深度分离卷积提取特征，然后如果步长为2时使用3
×
3的最大池化进行下采样，在保留数据主要特征的同时减少计算量，如果步长为1则将特征直接传递，接下来使用se注意力机制对所得特征矩阵进行赋权重；分支二与分支一不同之处为使用5
×
5的深度分离卷积，其余处理与分支一的处理步骤相同。
[0078]
其中深度可分离卷积对模型的参数量和计算量的减小起到重要作用。其是由深度卷积和逐点卷积组成，深度卷积为m通道的dk
×
dk的卷积，其每一个卷积核对应一个通道，逐点卷积则为1
×
1通道m的卷积。
[0079]
对于一个尺寸为df
×
df通道为m的输入特征图，尺寸为dg
×
dg通道为n的输出特征图。深度可分离卷积参数量与标准卷积参数量之比如公式(1)所示，其计算量之比如公式(2)所示。
[0080][0081][0082]
在iretbnet网络中，双分支双路特征提取中使用5*5和3*3大小的卷积核，即dk＝5和dk＝3时，相比于传统卷积过程，dsc的参数量可大幅减少，同时双分支倒残差模块的输出通道数大幅减少。因此本发明的iretbnet模型中使用的为双分支倒残差模块大幅缩减了模型的参数量。
[0083]
在特征融合上常见的方式有两种，其一是以inception结构为代表的特征矩阵在维度上的拼接，另一方法是在残差结构与倒残差结构中相同维度的特征数据的相加。而本发明中使用的特征融合方式是将两者合并，将两路中各自处理的结果out1和out2进行维度拼接得到h1，同时对三者的结果进行求和得到h2，最后将h1与h2进行拼接作为最终结果输入到下一层卷积中。
[0084]
本发明最大池化是指在感受野内的最大值在池化后被保存，自适应平均池化是指在感受野内全部数据的平均值在池化后被保存，这是本领域内公知的技术。
[0085]
具体地，将上述构建的轻量型双分支倒残差网络模型应用于钢化玻璃产品检测，形成一种基于轻量型双分支倒残差网络模型的钢化玻璃产品检测系统。
[0086]
该基于轻量型双分支倒残差网络模型的钢化玻璃产品检测系统，主要包括超声波检测装置和超声图像处理单元。
[0087]
超声波检测装置如图1所示，具体包括1为超声波发射装置；2为超声波接受装置；6为金属导轨；7为伺服电机；8为钢化玻璃。超声波发射装置和超声波接受装置安装在金属导轨上，经伺服电机驱动，沿着金属导轨6移动至设定位置，超声波发射装置发出脉冲超声波信号，穿过钢化玻璃后经超声波接受装置接收并将接收的信号传输给超声图像处理单元；具体地，将超声波发射装置1和超声波接受装置2成对的安装在间距可调整的多个金属导轨6上，相互平行的金属导轨6之间构成具有一定数量和间距排布的超声换能器矩阵；超声波发射装置和超声波接受装置分别由相应的伺服电机7控制，可独自沿着x坐标、y坐标、z坐标三个方向运动；通过伺服电机7驱动所有的超声波发射装置1和超声波接受装置2接触被检测钢化玻璃8，同时超声波接受装置2接收所对应的超声波信号，将接收到的超声波信号输
入超声图像处理单元4，经过处理后得到非线性变化值与无应力的标准钢化玻璃进行对比，绘制非线性系数随应力变化的曲线，将各测量点的坐标和应力相对值绘制钢化玻璃的应力分布图，获得钢化玻璃产品的内残余应力时域图像。
[0088]
可选的，所述超声波发射装置1的探头可以是单晶探头、双晶探头、水浸探头、复合探头、高温探头等中的一种或两种以上的组合。
[0089]
可选的，单个超声波发射装置1，频率为1～5mhz；单个超声波接受装置2，频率为2～10mhz，是对应超声波发射装置1的中心频率的2倍。
[0090]
超声图像处理单元，用于向超声波检测装置的超声波发射装置1发出周期性的脉冲正弦信号，同时接收超声波接受装置2的超声信号，利用轻量型双分支倒残差网络模型的钢化玻璃产品检测方法对信号进行处理，输出钢化玻璃的检测结果。
[0091]
进一步说明，该超声图像处理单元包括中心处理模块、信号预处理模块、双分支倒残差信号处理模块；
[0092]
中心处理模块：用于发出周期性的脉冲正弦信号，并接收超声信号，将接收的超声信号传输给信号预处理模块，并接收双分支倒残差信号处理模块传输的玻璃应力值，输出；
[0093]
信号预处理模块：接收中心处理模块发送的超声信号，将时域数据进行短时傅里叶变换得到时频域图像，提取时频域图像的特征信息并将信息转发给双分支倒残差信号处理模块；
[0094]
双分支倒残差信号处理模块：对增强处理后的图像信息在双分支倒残差网络模型中训练，提取出权重模型文件，并将权重模型文件载入预测程序中，与待检的玻璃应力的信息进行比对，将比对得到的玻璃应力值传输给中心处理模块。
[0095]
进一步说明，参见图2，所述轻量型双分支倒残差网络模型包括依次连接的预处理单元、特征提取第一单元、特征提取第二单元、特征提取第三单元、特征提取第四单元和分类单元；所述特征提取第一单元、特征提取第二单元、特征提取第三单元、特征提取第四单元均是由一个或多个双分支倒残差模块组成；
[0096]
所述双分支倒残差模块包括并列的分支一和分支二；参见图3，预处理后的数据在第一分支内经过3*3的深度卷积处理后，经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强，输出主要特征矩阵；在第二分支内经5*5的深度卷积处理后，经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强，输出大感受野矩阵；主要特征矩阵和大感受野矩阵在通道维度上合并，输出合并矩阵；同时将上述主要特征矩阵和大感受野矩阵进行求和得到求和矩阵；将合并矩阵与求和矩阵进行通道拼接，完成新型特征融合。
[0097]
实施例1
[0098]
基于轻量型双分支倒残差网络模型的钢化玻璃产品检测系统的钢化玻璃产品检测方法，包括以下步骤：
[0099]
1)构建轻量型双分支倒残差网络模型；
[0100]
该轻量型双分支倒残差网络模型如前述所述包括依次连接的预处理单元、特征提取第一单元、特征提取第二单元、特征提取第三单元、特征提取第四单元和分类单元；所述特征提取第一单元、特征提取第二单元、特征提取第三单元、特征提取第四单元均是由一个或多个双分支倒残差模块组成；
[0101]
所述双分支倒残差模块包括并列的分支一和分支二；预处理后的数据在第一分支内经过3*3的深度卷积处理后，经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强，输出主要特征矩阵；在第二分支内经5*5的深度卷积处理后，经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强，输出大感受野矩阵；主要特征矩阵和大感受野矩阵在通道维度上合并，输出合并矩阵；同时将上述主要特征矩阵和大感受野矩阵进行求和得到求和矩阵；将合并矩阵与求和矩阵进行通道拼接，完成新型特征融合，输出的特征为：
[0102][0103]
其中，pi(x)表示第i层所输出的特征，i＝1，2
……
；i为iremulbnet网络，mish为激活函数，fi为中间隐层的卷积关系示意，p04和p05分别表示特征提取中对特征矩阵维度拼接和求和的结果。
[0104]
2)利用超声波对比非线性系数方法来测量玻璃内残余应力变化，获得钢化玻璃产品的内残余应力时域图像；参见图4和图5，其中图5a为玻璃应力的时域图像，图5b为玻璃应力的频域图像，图5c为玻璃应力的时频域图像，具体为：
[0105]
2.1)将超声波发射装置1和超声波接受装置2成对的安装在间距可调整的多个金属导轨6上，相互平行的金属导轨6之间构建成具有一定数量和间距排布的超声换能器矩阵；超声波发射装置和超声波接受装置分别由相应的伺服电机7控制，可独自沿着x坐标、y坐标、z坐标三个方向运动；
[0106]
2.2)判断超声波发射装置1和超声波接受装置2是否加载至钢化玻璃的待测点位，若否，则重新调整位置；若是，则进行下一步；
[0107]
2.3)由超声图像处理单元4产生周期性脉冲正弦信号输入到发射装置1发出脉冲超声波，经过玻璃8后由接受装置2接受；
[0108]
2.4)将接收到的超声波信号输入系统4，根据相对非线性系数值与无应力的标准钢化玻璃应力成正比，进而得到钢化玻璃对应的相对非线性系数；
[0109]
2.5)超声图像处理单元4将步骤(2.4)所得的非线性系数与其对应的应力关联，绘制非线性系数随应力变化的曲线，得到钢化玻璃内残余应力变化图像，进而获得钢化玻璃产品的内残余应力时域数据。
[0110]
3)对玻璃应力的时域图像进行短时傅里叶变换(stft)得到时频域图像，建立数据集；
[0111]
4)将步骤3)的数据集中的图像数据进行增强处理，得到原始矩阵p；具体为：
[0112]
将步骤3)所得的数据集按照8:1:1的比例分为训练集、验证集、测试集，将获取的数据依照重置大小、随机大小裁剪和标准化，进行增强处理。
[0113]
5)将步骤4)的原始矩阵p输入到轻量型双分支倒残差网络模型中训练，提取图像的特征，得到权重模型文件；
[0114]
5.1)将原始矩阵p输入预处理单元中，依次经5*5卷积、3*3池化的去噪后得到特征矩阵p0；
[0115]
5.2)将特征矩阵p0输入特征提取第一单元(di_block
×
1)，经过一个双分支倒残差模块进行特征提取，得到倒残差特征p1；
[0116]
5.2.1)将特征矩阵p0经过1*1第一卷积进行维度操作得到矩阵p01；
[0117]
5.2.2)矩阵p01分别输入第一分支、第二分支，在第一分支内经过3*3的深度卷积处理后，经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强，输出主要特征矩阵p02；在第二分支内经5*5的深度卷积处理后，经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强，输出大感受野矩阵p03；
[0118]
5.2.3)将步骤5.2.2)提取图像的主要特征矩阵p02、大感受野矩阵p03在通道维度上合并得到合并矩阵p04，同时将上述p02和p03求和得到求和矩阵p05，将合并矩阵p04与求和矩阵p05进行通道拼接，经1*1第二卷积逐点卷积，降低维度，得到双路信息矩阵p07；
[0119]
5.2.4)将步骤5.2.3)的双路信息矩阵p07与经过维度变换的特征矩阵p0求和，得到倒残差特征p1。
[0120]
5.3)将倒残差特征p1输入特征提取第二单元(di_block
×
2)，经过两个串联的双分支倒残差模块进行特征提取，得到倒残差特征p2；
[0121]
5.4)将倒残差特征p2输入特征提取第三单元(di_block
×
3，经过三个串联的双分支倒残差模块进行特征提取，得到倒残差特征p3；
[0122]
5.5)将倒残差特征p3输入特征提取第四单元(di_block
×
2)，经过两个串联的双分支倒残差模块特征提取，得到倒残差特征p4；
[0123]
5.6)将倒残差特征p4输入自适应平均池化层中，之后输入全连接层，对提取的分布特征进行组合，形成一维特征向量，并对特征向量进行加权求和后输出权重模型文件。
[0124]
6)将步骤5)训练好的权重模型文件载入预测程序中，输入待检的钢化玻璃应力的时频域图像，按照步骤4)～5)的方法经过模型识别预测，得到钢化玻璃样本的检测结果。
[0125]
进一步说明，上述步骤(5.2)、(5.3)、(5.4)、(5.5)双分支倒残差模块输出的特征为：
[0126][0127]
其中，pi(x)表示第i层所输出的特征，i＝1，2，3，4；i为iremulbnet网络，mish为激活函数，fi为中间隐层的卷积关系示意，p04和p05分别表示特征提取中对特征矩阵维度拼接和求和的结果。
[0128]
实施例2
[0129]
本实施例在实施例1的基础上，在步骤6)之后还包括步骤7)，步骤7)具体为判断钢化玻璃样本的检测结果中当表面应力小于70mpa时，玻璃应力状况不合格，属于残次品；当表面应力为70～90mpa时，玻璃应力状况符合半钢化玻璃国家标准要求；当表面应力大于90mpa时，玻璃应力状况符合钢化玻璃国家标准要求，属于合格产品。
[0130]
将本发明的双分枝倒残差网络模型的优势进一步与现有常见的几种网络模型进行比对，结果如下：
[0131]
实验1模型轻量化分析
[0132]
对模型的参数量和计算量进行评估，将本发明的iretbnet模型中涉及的卷积、激活、归一化和全连接层等包含参数进行统计。
[0133]
采用四种网络模型与本发明的iretbnet进行参数量、计算量和训练时间方面的对比。其中四种网络模型分别为resnet50、moblenetv3、shufflenetv2和regnet模型。
[0134]
评估过程中，网络的输入采用3通道224*224的彩色图片，并使用性能分析工具
profile，对四种模型进行参数量和参数量进行分析模型尺度。结果如图6所示。
[0135]
从图6a中可以模型看出，本发明iretbnet的参数量为3.734mb，而经典的resnet50参数量为25.55m，同时轻量级的moblenetv3、shufflenetv2和regnet的参数量分别为5.483mb、2.279mb和2.685mb。iretbnet相比于resnet50模型，参数量降低了85.38％，在参数量上与regnet相差不大。
[0136]
在图6b中，以224*224大小的彩色图片作为输入，iretbnet的计算量为579.311mb,而resnet50、moblenetv3、shufflenetv2和regnet的计算量分别为4210.688mb、225.442mb、148.808mb和203.384mb。相比与resnet50模型，本发明的iretbnet在计算量上分别减少了86.24％。
[0137]
实验2
[0138]
本实验中玻璃的应力范围为30mpa-105mpa。依据国家钢化玻璃标准，数据集为3分类的图像共1855张，其中包括不合格钢化玻璃(应力值小于70mpa)的图像600张，符合半钢化玻璃(应力值大于70mpa，小于90mpa)的图像540张，符合钢化玻璃(应力值大于90mpa)的图像715张。
[0139]
本实验可以在线实时检测钢化玻璃生产情况，及时发现生产的玻璃是否合格。使用程序将玻璃的时频域图像数据按照8:1:1的比例分为训练集、验证集、测试集。将获取的数据依照重置大小、随机大小裁剪和标准化，进行预处理操作；然后采用本发明提供的iretbnet模型，将所得的图像信息输入到网络模型中完成分类，并记录模型的参数量，耗时以及准确率，结果如表1所示。
[0140]
同时采用四种经典的cnn分别为resnet50、moblenetv3、shufflenetv2和regnet模型，对不同应力玻璃的时频域图像进行识别，并记录模型的参数量、计算量和准确率进行对比，结果如表1所示。
[0141]
表1玻璃时频域图像的识别效果
[0142]
模型准确率计算量/mb参数量/mbresnet500.9734210.68825.557mobilenet v30.962225.4425.483shufflenet v20.908148.8082.279regnet0.903203.3842.685iretbnet0.978579.3113.734
[0143]
表1可知，本发明的iretbnet模型即使在数据间差距极小的情况下，也有较好的性能。其分类准确率最高是97.8％，其次是经典模型resnet50。但在参数量和计算量方面，本发明的iretbnet的计算量相比resnet50降低了86.24％，参数量相比resnet50降低了85.38％。在分类准确率上，其对比轻量化模型mobilenet v3、shufflenet v2和regnet分别高出1.6％、7.0％和7.5％。
[0144]
本发明提供的图像分类模型，证明了本模型重构的倒残差结构及其中的特征融合方式对于网络的性能有一定的影响，所设计的深度和宽度参数合理，使得模型既轻量又高效。本发明构建设计的iretbnet模型在钢化玻璃的检测方面发挥了极大的优势，保证在线检测的连续性、无损性、准确性以及高效性。
[0145]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定
本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

技术特征：
1.一种基于双分支倒残差网络模型的钢化玻璃检测方法，其特征在于，包括以下步骤：1)构建轻量型双分支倒残差网络模型；2)利用超声波对比非线性系数方法来测量玻璃内残余应力变化，获得钢化玻璃产品的内残余应力时域数据；3)对玻璃应力的时域图像进行短时傅里叶变换得到时频域图像，建立数据集；4)将步骤3)的数据集中的图像数据进行增强处理，得到原始矩阵p；5)将步骤4)的原始矩阵p输入到轻量型双分支倒残差网络模型中训练，提取图像的特征，得到权重模型文件；6)将步骤5)训练好的权重模型文件载入预测程序中，输入待检的钢化玻璃应力的时频域图像，按照步骤4)～5)的方法，得到钢化玻璃样本的检测结果。2.根据权利要求1所述的基于双分支倒残差网络模型的钢化玻璃检测方法，其特征在于，步骤1)所述的轻量型双分支倒残差网络模型包括依次连接的预处理单元、特征提取第一单元、特征提取第二单元、特征提取第三单元、特征提取第四单元和分类单元；所述特征提取第一单元、特征提取第二单元、特征提取第三单元、特征提取第四单元均包含由一个或多个双分支倒残差模块；所述双分支倒残差模块包括并列的分支一和分支二；预处理后的数据在第一分支内经过3*3的深度卷积处理后，经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强，输出主要特征矩阵；在第二分支内经5*5的深度卷积处理后，经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强，输出大感受野矩阵；主要特征矩阵和大感受野矩阵在通道维度上合并，输出合并矩阵；同时将上述主要特征矩阵和大感受野矩阵进行求和得到求和矩阵；将合并矩阵与求和矩阵进行通道拼接，完成新型特征融合。3.根据权利要求1所述的基于双分支倒残差网络模型的钢化玻璃检测方法，其特征在于，所述步骤2)具体为：2.1)将超声波发射装置和超声波接受装置成对的安装在间距可调整的多个金属导轨上，相互平行的金属导轨之间构建成具有一定数量和间距排布的超声换能器矩阵；超声波发射装置和超声波接受装置分别由相应的伺服电机控制，可独自沿着x坐标、y坐标、z坐标三个方向运动；2.2)判断超声波发射装置和超声波接受装置是否加载至钢化玻璃的待测点位，若否，则重新调整位置；若是，则进行下一步；2.3)由超声图像处理单元产生周期性脉冲正弦信号输入到超声波发射装置发出脉冲超声波，经过玻璃后由超声波接受装置接受；2.4)将接收到的超声波信号输入系统，根据非线性系数与无应力的标准钢化玻璃应力成正比，进而得到钢化玻璃对应的相对非线性系数；2.5)超声图像处理单元将步骤(2.4)所得的非线性系数与其对应的应力关联，绘制非线性系数随应力变化的曲线，得到钢化玻璃内残余应力变化图像，进而获得钢化玻璃产品的内残余应力时域数据。4.根据权利要求1所述的基于双分支倒残差网络模型的钢化玻璃检测方法，其特征在于，所述步骤4)具体为：
将步骤3)所得的数据集按照8:1:1的比例分为训练集、验证集、测试集，将获取的数据依照重置大小、随机大小裁剪和标准化，进行增强处理，得到原始矩阵p。5.根据权利要求1所述的基于轻量型双分支倒残差网络模型的钢化玻璃产品检测方法，其特征在于，所述步骤5)具体为：5.1)将原始矩阵p输入预处理单元中，依次经5*5卷积、3*3池化的去噪后得到特征矩阵p0；5.2)将特征矩阵p0输入特征提取第一单元，经过一个双分支倒残差模块进行特征提取，得到倒残差特征p1；5.3)将倒残差特征p1输入特征提取第二单元，经过两个串联的双分支倒残差模块进行特征提取，得到倒残差特征p2；5.4)将倒残差特征p2输入特征提取第三单元，经过三个串联的双分支倒残差模块进行特征提取，得到倒残差特征p3；5.5)将倒残差特征p3输入特征提取第四单元，经过两个串联的双分支倒残差模块特征提取，得到倒残差特征p4；5.6)将倒残差特征p4输入自适应平均池化层中，之后输入全连接层，对提取的分布特征进行组合，形成一维特征向量，并对特征向量进行加权求和后输出权重模型文件；上述步骤(5.2)、(5.3)、(5.4)、(5.5)双分支倒残差模块输出的特征为：其中，p
i
(x)表示第i层所输出的特征，i＝1，2，3，4；i为iremulbnet网络，mish为激活函数，f
i
为中间隐层的卷积关系示意，p04和p05分别表示特征提取中对特征矩阵维度拼接和求和的结果。6.根据权利要求5所述的基于双分支倒残差网络模型的钢化玻璃检测方法，其特征在于，所述步骤5.2)具体训练过程为：5.2.1)将特征矩阵p0经过1*1第一卷积进行维度操作得到矩阵p01；5.2.2)矩阵p01分别输入第一分支、第二分支，在第一分支内经过3*3的深度卷积处理后，经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强，输出主要特征矩阵p02；在第二分支内经5*5的深度卷积处理后，经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强，输出大感受野矩阵p03；5.2.3)将步骤5.2.2)提取图像的主要特征矩阵p02、大感受野矩阵p03在通道维度上合并得到合并矩阵p04，同时将上述主要特征矩阵p02和大感受野矩阵p03求和得到求和矩阵p05，将合并矩阵p04与求和矩阵p05进行通道拼接，经1*1第二卷积逐点卷积，降低维度，得到双路信息矩阵p07；5.2.4)将步骤5.2.3)的双路信息矩阵p07与经过维度变换的特征矩阵p01求和，得到倒残差特征p1。7.根据权利要求5所述的基于双分支倒残差网络模型的钢化玻璃检测方法，其特征在于，所述步骤6)之后还包括步骤7)，所述步骤7)具体为：判断钢化玻璃样本的检测结果中当表面应力小于70mpa时，玻璃应力状况不合格，属于残次品；当表面应力为70～90mpa时，玻
璃应力状况符合半钢化玻璃国家标准要求；当表面应力大于90mpa时，玻璃应力状况符合钢化玻璃国家标准要求，属于合格产品。8.一种基于双分支倒残差网络模型的钢化玻璃检测系统，其特征在于，包括超声波检测装置和超声图像处理单元；超声波检测装置，设置在待测玻璃的两侧，包括超声波发射装置和超声波接收装置，超声波发射装置发出脉冲超声波信号，穿过玻璃后经超声波接收装置接收并将接收的信号传输给超声图像处理单元；超声图像处理单元，用于向超声波检测装置的超声波发射装置发出周期性的脉冲正弦信号，同时接收超声波检测装置的超声波接收装置的超声信号，利用权利要求1所述的轻量型双分支倒残差网络模型的钢化玻璃产品检测方法对信号进行处理，输出钢化玻璃的检测结果。9.根据权利要求8所述的基于双分支倒残差网络模型的钢化玻璃检测系统，其特征在于，所述超声图像处理单元包括中心处理模块、信号预处理模块、双分支倒残差信号处理模块；中心处理模块：用于发出周期性的脉冲正弦信号，并接收超声信号，将接收的超声信号传输给信号预处理模块，并接收双分支倒残差信号处理模块传输的玻璃应力值，输出；信号预处理模块：接收中心处理模块发送的超声信号，将时域数据进行短时傅里叶变换得到时频域图像，提取时频域图像的特征信息并将信息转发给双分支倒残差信号处理模块；双分支倒残差信号处理模块：对增强处理后的图像信息在双分支倒残差网络模型中训练，提取出权重模型文件，并将权重模型文件载入预测程序中，与待检的玻璃应力的信息进行比对，将比对得到的玻璃应力值传输给中心处理模块。10.根据权利要求9所述的基于双分支倒残差网络模型的钢化玻璃检测系统，其特征在于，所述轻量型双分支倒残差网络模型包括依次连接的预处理单元、特征提取第一单元、特征提取第二单元、特征提取第三单元、特征提取第四单元和分类单元；所述特征提取第一单元、特征提取第二单元、特征提取第三单元、特征提取第四单元均是由一个或多个双分支倒残差模块组成；所述双分支倒残差模块包括并列的分支一和分支二；预处理后的数据在第一分支内经过3*3的深度卷积处理后，经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强，输出主要特征矩阵；在第二分支内经5*5的深度卷积处理后，经过3*3池化处理后传递至se注意力模块或者直接传递至se注意力模块进行通道特征加强，输出大感受野矩阵；主要特征矩阵和大感受野矩阵在通道维度上合并，输出合并矩阵；同时将上述主要特征矩阵和大感受野矩阵进行求和得到求和矩阵；将合并矩阵与求和矩阵进行通道拼接，完成新型特征融合。

技术总结
本发明属于图像分类技术领域，涉及一种基于双分支倒残差网络模型的钢化玻璃检测方法及系统，该双分支倒残差网络模型包括依次连接的预处理单元、特征提取第一单元、特征提取第二单元、特征提取第三单元、特征提取第四单元和分类单元，所述特征提取单元是由一个或多个双分支倒残差模块组成。本发明提供的模型具有准确率高、参数量、计算量小等优点，用于钢化玻璃质量检测，能够实现检测效率提升和检测结果准确，还能够保证检测手段的无损、连续检测，保证玻璃生产的安全、高效。高效。高效。


技术研发人员：张光斌 高钰奇 苏田田 史永然 张小凤
受保护的技术使用者：陕西师范大学
技术研发日：2023.06.16
技术公布日：2023/9/6