基于改进Transformer模型的轴承故障信号分类方法

基于改进transformer模型的轴承故障信号分类方法
技术领域
1.本发明涉及轴承故障检测技术领域，是一种基于改进transformer模型的轴承故障信号分类方法。


背景技术：

2.滚动轴承是旋转机械设备必不可少的部件，由于长期处于高压、高速的工作状态，滚动轴承极易发生故障。在各种机械设备故障类型中，滚动轴承故障比例占据较大一部分。而轴承摩擦力小，转速高，成本低等特点，又是各种旋转设备的关键部分。在生产过程中，滚动轴承故障会影响与之相连的其他部件，如：齿轮、轴等，从而引发整个机械设备的运行故障，不仅带来巨大的经济损失，更可能危机生命安全，因此寻找科学高效的故障检测技术，确保轴承处于安全、正常的运行状态十分重要。
3.故障检测技术是涉及概率统计、信号处理、机器学习等多门知识的交叉领域学科。目前经典的故障检测方法可以分为以下三类：1.基于数学模型的方法；2.基于经验知识的方法；3.基于数据驱动的方法。随着传感器技术、数据存储技术、深度学习等技术的不断发展，工业正朝着精密化、复杂化发展，传统的机理模型法以及经验知识法难以应对当前的检测任务，在当前的生产中具有很大的局限性；因此基于数据驱动技术成为目前故障检测任务的主要方案；
4.目前的数据驱动技术中，深度学习技术是当下研究热点，在传统的深度学习方法中，大多采用cnn作为主要框架用来做故障检测，但是cnn是基于图像任务提出，虽然具有强大的特征提取能力，但是不适合作为处理时序任务的主要方式，此外cnn架构需要加深网络模型来达到感受野的扩张；此外另一种架构循环神经网络虽然能够很好的处理时序任务，但是该网络模型无法难以并行计算；因此提出一种能够针对时序任务并且能够进行高效的训练算法具有重要意义。


技术实现要素：

5.为了解决上述问题，本发明提出一种基于改进transformer模型的轴承故障信号分类方法，在传统的transformer中，引入部分卷积操作进行特征提取，由于卷积操作更关注局部内容，而transformer具有长时注意力的能力，此外卷积中没有上采用与下采样的操作，并不会造成数据尺度变换，能够解决深度学习在轴承故障检测领域的不足。
6.为达到上述目的，本发明提供如下技术方案：
7.一种基于改进transformer模型的轴承故障信号分类方法，该方法包括以下步骤：
8.步骤s1：根据待检测轴承的相关参数信息，以及采样特征等，计算预设的特征维度；
9.步骤s2：以预设的特征维度为根据，在采集的原始数据信号上使用滑动窗口技术转换为样本-标签序列；
10.步骤s3：对处理后的窗口数据使用时频处理技术实现进一步的特征提取；
11.步骤s4：将时频技术处理后的数据-标签序列，划分为训练集、测试集；
12.步骤s5：搭建改进的transformer模型，使用改进的transformer模型完成对轴承故障信号的分类。
13.可选的，所述步骤s1包括：
14.根据待检测轴承的基本参数信息，包括损伤位置、转速以及损伤类型；采样特征包括采样频率、采样时长；并根据经验特征公式计算故障特征频率；从而筛选样本的特征维度即滑动窗口大小w；
15.可选的，所述步骤s2包括：
16.设原始一维振动信号为z＝{z1，z2，...zn}，其中z∈r1×n；设预处理间隔为interval；经过预处理后z
′
＝{z
′1，z
′2，...z
′n′
}，其中z
′
∈r1×n′
，滑动窗口大小为w，设滑动步长为s；经过滑动窗口后得到z
″
＝{z
″1，z
″2，...z
″n″
}，其中z
″
∈r
len
×w，并设定标签l＝{y1|y2|...y
len
}，l∈r
len
×1；
17.可选的，所述步骤s3包括：
18.由s2可得经过处理的数据z
″
＝{z
″1，z
″2，...z
″n″
}，z
″
∈r
len
×w；使用时频变换技术对z
″
进行处理，可选的时频技术有：快速傅里叶变换，小波变换，得到x＝{x1，x2，...xn}，其中x∈r
len
×w；
19.可选的，所述步骤s5中的transformer模块包括：
20.模块m1：构建tokenizer；
21.模块m2：设置位置编码；
22.模块m3：构建多头注意力模块；
23.模块m4：设置全连接层以及softmax分类；
24.可选的，所述模块m1中卷积操作包括：
25.一维卷积其公式为：
[0026][0027]
式中：——第1层卷积核的第j’个权值；
[0028]
x
1(j+j
′
)
——第1层中第j个被卷积的局部区域
[0029]
w——卷积核大小。
[0030]
每一层卷积的输出均经过归一化和relu激活函数处理，以加快网络训练的收敛速度；
[0031]
可选的，所述模块m2中位置编码包括：
[0032][0033]
其中，pos表示数据在输入一维序列中的位置；i表示数据特征在当前数组数据内的位置；d
input
表示输入数据特征的维度。
[0034]
可选的，所述模块m3中多头注意力模块包含多头注意力网络和前馈网络；
[0035]
所述的多头注意力网络包括：通过多头注意力所提取的输入序列的内部特征公式
如下：
[0036]
multihead(x)＝concat(head1，head2，...headh)w0[0037][0038][0039]
在式中：x表示输入的数据矩阵，其中x∈r
len
×w；concat是拼接函数；上述式中；concat是拼接函数；上述式中w矩阵作为可学习矩阵，其中hdv＝h
×dv
，d
model
是经过multihead后输出的维度；q表示查询矩阵，k表示被查询的信息与其他信息相关性矩阵；v表示被查询的信息矩阵；
[0040]
所述的前馈网络包括两层全连接网络，使用relu作为激活函数，有下述公式：
[0041]
ffn(x)＝max(0，xw1+b1)w2+b2[0042]
其中w1，w2表示可学习的参数矩阵，d
hidden
表示隐藏层维度，b1，b2表示偏差；
[0043]
可选的，所述的模块m4中：
[0044]
在全连接层使用dropout操作来防止过拟合；然后经过全连接的softmax函数进行最终分类。
[0045]
本发明的有益效果在于：本发明提出的方法精度高、可靠性强，他能准确的对故障信号进行分类，可以为transformer在故障检测领域的运用提供方法基础。
[0046]
本发明的其他优点在于：不需要人工进行设计特征，减少了人为干预以及带来的误差；利用transformer作为分类模型，相比rnn训练速度更快且精度更高，与完全基于cnn的架构相比，transformer更适合时序任务，同时利用cnn强大的特征提取能力，更有益于提高识别精度；
附图说明
[0047]
通过于都参考以下附图对非限制性实施例所作的详细描述，本发明的其他特征、目的以及有点将变得更加明显：
[0048]
图1为本发明的方法框架图；
[0049]
图2为本发明的网络架构；
[0050]
图3为自注意力机制的运算流程；
[0051]
图4为多头自注意力机制的运算流程；
具体实施方式
[0052]
下面结合附图与实施例对本发明做进一步说明。
[0053]
需要注意的是，这里所运用的属于仅是为了描述具体实施方法，而非具有对本发明进行限制意图。如所使用的，除非在上下文中有明确指出，否则单复数可以互相代表，此外，这里所运用的例如：包括、具有以及其他形式具有涵盖意思的词语的意图在于覆盖但是不排除其他的包含内容；例如，包括了一些了单元的模块、执行方式、设计构成不必限于清楚的列出全部的单元，而是包括没有清楚列出但对该模块、执行方式、设计构成所固有的单元。
[0054]
一种基于改进transformer模型的轴承故障信号分类方法，该方法包括以下步骤：
[0055]
步骤s1：根据待检测轴承的相关参数信息，以及采样特征等，计算预设的特征维度；
[0056]
步骤s2：以预设的特征维度为根据，在采集的原始数据信号上使用滑动窗口技术转换为样本-标签序列；
[0057]
步骤s3：对处理后的窗口数据使用时频处理技术实现进一步的特征提取；
[0058]
步骤s4：将时频技术处理后的数据-标签序列，划分为训练集、测试集；
[0059]
步骤s5：搭建改进的transformer模型，使用改进的transformer模型完成对轴承故障信号的分类。
[0060]
具体的，所述步骤s1包括：
[0061]
根据待检测轴承的基本参数信息，包括损伤位置、转速以及损伤类型；采样特征包括采样频率、采样时长；并根据经验特征公式计算故障特征频率；从而筛选样本的特征维度即滑动窗口大小w；
[0062]
具体的，所述步骤s2包括：
[0063]
设原始一维振动信号为z＝{z1，z2，...zn}，其中z∈r1×n；设预处理间隔为interval；经过预处理后z
′
＝{z
′1，z
′2，...z
′n′
}，其中z
′
∈r1×n′
，滑动窗口大小为w，设滑动步长为s；经过滑动窗口后得到z
″
＝{z
″1，z
″2，...z
″n″
}，其中z
″
∈r
len
×w，并设定标签l＝{y1|y2|...y
len
}，l∈r
len
×1[0064]
具体的，所述步骤s3包括：
[0065]
由s2可得经过处理的数据z
″
＝{z
″1，z
″2，...z
″n″
}，z
″
∈r
len
×w；使用时频变换技术对z
″
进行处理，可选的时频技术有：快速傅里叶变换，小波变换，得到x＝{x1，x2，...xn}，其中x∈r
len
×w；
[0066]
具体的，所述步骤s5中的transformer模块包含：
[0067]
模块m1：构建tokenizer；
[0068]
模块m2：设置位置编码；
[0069]
模块m3：构建多头注意力模块；
[0070]
模块m4：设置全连接层以及softmax分类；
[0071]
具体的，所述模块m1中卷积操作包括：
[0072]
一维卷积其公式为：
[0073][0074]
式中：——第l层卷积核的第j’个权值；
[0075]
x
1(j+j
′
)
——第1层中第j个被卷积的局部区域
[0076]
w——卷积核大小。
[0077]
每一层卷积的输出均经过归一化和relu激活函数处理，以加快网络训练的收敛速度；
[0078]
具体的，所述模块m2中位置编码包括：
[0079][0080]
其中，pos表示数据在输入一维序列中的位置；i表示数据特征在当前数组数据内的位置；d
input
表示输入数据特征的维度。
[0081]
具体的，所述模块m3中多头注意力模块包含多头注意力网络和前馈网络；
[0082]
所述的多头注意力网络包括：通过多头注意力所提取的输入序列的内部特征公式如下：
[0083]
multihead(x)＝concat(head1，head2，...headh)w0[0084][0085][0086]
在式中：x表示输入的数据矩阵，其中x∈r
len
×w；concat是拼接函数；上述式中；concat是拼接函数；上述式中w矩阵作为可学习矩阵，其中hdv＝h
×dv
，d
model
是经过multihead后输出的维度；q表示查询矩阵，k表示被查询的信息与其他信息相关性矩阵；v表示被查询的信息矩阵；
[0087]
所述的前馈网络包括两层全连接网络，使用relu作为激活函数，有下述公式：
[0088]
ffn(x)＝max(0，xw1+b1)w2+b2[0089]
其中w1，w2表示可学习的参数矩阵，d
hidden
表示隐藏层维度，b1，b2表示偏差；
[0090]
具体的，所述的模块m4中包括：
[0091]
在全连接层使用dropout操作来防止过拟合；然后经过全连接的softmax函数进行最终分类。
[0092]
以上仅为本发明的优选实例而已，并不用于限制本发明，对于本领域的技术人员来书，本发明可以有各种变化以及更改。凡在本发明的精神和原则之内，所作的任何修改、同等变化、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于改进transformer模型的轴承故障信号分类方法，其特征在于，包括：步骤s1：根据待检测轴承的相关参数信息，以及采样特征等，计算预设的特征维度；步骤s2：以预设的特征维度为根据，在采集的原始数据信号上使用滑动窗口技术转换为样本-标签序列；步骤s3：对处理后的窗口数据使用时频处理技术实现进一步的特征提取；步骤s4：将时频技术处理后的数据-标签序列，划分为训练集、测试集；步骤s5：搭建改进的transformer模型，使用改进的transformer模型完成对轴承故障信号的分类。2.根据权利要求1所述的基于改进transformer模型的轴承故障信号分类方法，其特征在于，所述的步骤s1包括：根据待检测轴承的基本参数信息，包括损伤位置、转速以及损伤类型；采样特征包括采样频率、采样时长；计算出的特征维度内应包含轴承的故障信号。3.根据权利要求1所述的基于改进transformer模型的轴承故障信号分类方法，其特征在于，所述的步骤s2中的滑动窗口技术包括：滑动窗口大小(以权力要求2中的特征维度为根据)以及相邻窗口之间会有一定数据重叠。4.根据权利要求1所述的基于改进transformer模型的轴承故障信号分类方法，其特征在于，所述的步骤s3中的时频处理技术包括：快速傅里叶变换，小波变换。5.根据权利要求1所述的基于改进transformer模型的轴承故障信号分类方法，其特征在于，所述的步骤s4包括：将权利要求4中处理后的数据制作成样本-标签序列，并且划分出训练集、测试集。6.根据权利要求1所述的基于改进transformer模型的轴承故障信号分类方法，其特征在于，所述的步骤s5中的改进transformer模型包括：位置编码、卷积embedding(tokenizer)、多头注意力函数、求和归一化函数、前向反馈函数、全连接层、softmax分类；改进transformer模型的分类过程包括：将训练集的样本-标签序列输入模型中进行训练，使用训练好的模型进行故障分类。

技术总结
本发明提供了一种基于改进Transformer模型的轴承故障信号分类方法，包括；步骤S1：根据待检测轴承的相关参数信息，以及采样特征等，计算预设的特征维度；步骤S2：以预设的特征维度为根据，在采集的原始数据信号上使用滑动窗口技术转换为样本-标签序列；步骤S3：对处理后的窗口数据使用时频处理技术实现进一步的特征提取；步骤S4：将时频技术处理后的数据转化为数据-标签序列，并划分为训练集、测试集；步骤S5：搭建改进的Transformer模型，使用改进的Transformer模型完成对轴承故障信号的分类。本发明基于深度学习算法，解决了时序模型无法并行训练带来的效率问题，并且能够提高模型的精度。精度。精度。


技术研发人员：魏鑫 沈洁 王大超 肖宇婧
受保护的技术使用者：河海大学
技术研发日：2022.03.01
技术公布日：2023/9/13