基于因果注意的时序卷积网络的故障诊断方法

1.本发明涉及故障诊断技术领域，具体是基于因果注意的时序卷积网络的故障诊断方法。


背景技术：

2.智能故障诊断的成功主要依靠足够的标记数据来训练基于机器学习的诊断模型。在收集标记数据过程中，由于外界环境的干扰，导致收集的数据中含有一定量的噪声，这些噪声会影响故障诊断的结果。因此，为了提高诊断结果的准确性，将数据中的噪声去除就显得至关重要。
3.目前出现了许多针对含噪故障信号抗噪声方面的研究，分别可以概括为两大类：基于源域与目标域相同的抗噪声研究，以及基于源域和目标域不同的抗噪声研究。由于源域和目标域相同的抗噪声研究都是针对于相同的源域和目标域，不适用于复杂多变的工业现场噪声环境。基于源域和目标域不同的抗噪声研究，通常采用迁移方法来解决这种领域泛化问题。使用迁移学习来解决诊断模型在不同域上不能直接工作的问题，即从同一台机器的其他运行状况下收集的历史数据作为当前运行状况，构建有效的故障识别模型，但是迁移学习过于依赖距离度量，且不适合处理离散数据，这就导致在抗噪的过程中，难以完全的将数据中的噪声分离，进而无法有效的提高故障诊断结果的准确性。


技术实现要素：

4.为了避免和克服现有技术中存在的技术问题，本发明提供了基于因果注意的时序卷积网络的故障诊断方法。本发明能够有效的分离噪声信号和故障信号，进而提高故障诊断的准确性。
5.为实现上述目的，本发明提供如下技术方案：
6.基于因果注意的时序卷积网络的故障诊断方法，包括以下步骤：
7.s1、将caam模块嵌入时间注意ta模块中，以构成ta-caam模块，l层ta-caam模块按深度和时间叠加形成因果卷积；
8.s2、构建神经网络，并将因果卷积作为神经网络的隐藏层；
9.s3、将训练集中的具有标签的故障样本输入神经网络中进行训练，以得到最优神经网络；
10.s4、将需要诊断故障类型的无标签故障样本输入到最优神经网络中，以预测出该数据的故障类型。
11.作为本发明再进一步的方案：时间注意ta模块具体表示如下：
12.给定时间序列使用三个线性变换f，g，h将映射到三个不同的向量：
[0013][0014]
其中，l表示神经网络的第l层；t表示第t个时刻，表示第l层t时刻的第1个时序信号输出；表示自注意力机制中的key；表示自注意力机制中的query；表示自注意力机制中的value；表示线性变换f将映射后的向量，表示线性变换g将映射后的向量，表示线性变换h将映射后的向量；
[0015]
权重矩阵为：
[0016][0017]
提取的下三角部分如下：
[0018][0019]
其中，表示将通过线性变换后的转置向量k中第i个元素和向量q中的第j个元素乘积的值；表示权值矩阵中的第i个元素，表示权值矩阵中的第j个元素；dk是维数，是的转置；表示的下三角权值。
[0020]
作为本发明再进一步的方案：将caam模块嵌入时间注意ta模块中后，通过利用softmax函数计算互补注意事项，以获得caam模块在时间注意ta模块中表述如下：
[0021][0022]
其中，c表示因果特征；s表示混淆特征，表示时间序列中的第i个元素。
[0023]
作为本发明再进一步的方案：ta-caam模块表示如下：
[0024][0025]
其中，c
j+1
表示第j+1层ta模块中的caam模块生成的因果特征，s
j+1
表示第j+1层ta模块中的caam模块生成的混淆特征。
[0026]
作为本发明再进一步的方案：选取数据集中的t个时间序列作为本发明再进一步的方案：选取数据集中的t个时间序列将时间序列输入到神经网络中，以得到新的时间序列即：
[0027][0028]
其中，表示第l+1层的因果卷积的输出，表示第l+1层的增强残差，l为层数。
[0029]
对于增强残差其表达形式可写为：
[0030][0031]
对于因果卷积输出其表达形式可写成：
[0032][0033]
其中，conv1d表示为一维卷积；对于其组成为：
[0034][0035]
其中，c
l+1
为表示第l+1层的因果特征，s
l+1
为表示第l+1层的混杂特征。
[0036]
作为本发明再进一步的方案：ta-caam模块中使用的损失函数为交叉熵损失、不变损失和对抗损失；
[0037]
交叉熵损失表示如下：
[0038][0039]
其中，是交叉熵损失；表示特征添加，f是线性分类器，是交叉熵损失函数；a和是互补注意模块。
[0040]
作为本发明再进一步的方案：不变损失表示如下：
[0041][0042]
其中，t为数据分割；g为鲁棒预测的线性分类器；w为虚拟分类器，用于计算跨分割的梯度惩罚；λ为权重。
[0043]
作为本发明再进一步的方案：通过最小化和最大化将a和分开，最小化公式如
下：
[0044][0045]
最大化公式如下：
[0046][0047]
其中，ti(θ)表示划分ti由θ∈rk×m决定，k为训练样本的总数，m为一个划分中的划分个数；θ
p，q
是属于q次分裂(tq∈ti)的p次样本的概率；θ表示决定下一步ti的划分，表示实数空间。
[0048]
作为本发明再进一步的方案：具有标签的故障样本包括噪声干扰、故障信号和故障类别；无标签故障样本包括噪声干扰和故障信号；输入最优神经网络的无标签故障样本依次经过输入层，隐藏层和全连接层，再经过softmax进行分类，最后输出各个故障类型的概率，其中概率最大的故障类型即为故障信号的故障类型。
[0049]
与现有技术相比，本发明的有益效果是：
[0050]
1、本发明设计了一种基于因果解耦的时序卷积算法，确定了其运行的过程，用于对含噪声故障信号进行故障诊断，能够实现同机器迁移问题中的不同噪声条件的故障诊断，能够有效的分离噪声信号和故障信号，进而提高故障诊断的准确性。
[0051]
2、本发明将基于因果注意的时间注意模块嵌入时序卷积网络来分离噪声信号和故障信号。因此，可以获得令人满意的轴承故障诊断性能。
附图说明
[0052]
图1为本发明故障诊断流程结构示意图。
[0053]
图2为本发明中结构因果模型的结构示意图。
[0054]
图3为本发明中含有分割操作的结构因果模型的结构示意图。
[0055]
图4为本发明中时间注意模块的结构示意图。
[0056]
图5为本发明中ta-caam模块的结构示意图。
[0057]
图6为本发明中系统网络的结构示意图。
[0058]
图7为本发明中噪声干扰为-4db的故障信号的结构示意图。
[0059]
图8为本发明中tcan和ta-caam模块对比结果示意图。
具体实施方式
[0060]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0061]
请参阅图1～4，本发明实施例中，基于因果注意的时序卷积网络的故障诊断方法，包括以下内容：
[0062]
1、解耦因果特征和混杂特征
[0063]
解耦因果特征和混杂特征，将加干扰噪声的故障样本中的噪声干扰s和故障信号m解耦，再进行故障类型的诊断。
[0064]
通过使用结构因果模型(scm)来介绍的因果关系。其中scm中的各个组件含义为：x是含干扰噪声的故障样本，m是故障信号，s是噪声干扰，y是故障类型。图2表示了结构因果模型，其中每个连接都代表了两个节点之间的关系。x
→
y表示从故障样本x到故障类型y的期望因果效应。x
←s→
y中，s
→
x表示不稳定的上下文噪声干扰s决定故障样本x表示什么；例如，噪声干扰s混淆了信号在采样时的幅值。s
→
y的存在是因为模型不可避免的使用上下文线索来识别故障类型y。在scm中，我们可以看到噪声干扰s怎样通过后门路径来实现x
←s→
y混淆故障样本x和故障类型y。x
→m→
y是稳健识别的有益因果效应，其中，故障信号m是在不同分布中不变的故障特征中介。
[0065]
数据分区是因果干预的有效实现。它首先将训练数据划分为一组硬拆分t＝{t1,
…
,t
l
}，每个硬拆分代表一个混杂因素层，从而允许在不同拆分上训练的模型不受混杂因素影响。我们展示了数据分区等价于众所周知的后门调整：
[0066][0067]
其中，p(y|x,t)表示在分裂t中训练的分类器的预测，p(t)＝1/m。如图3所示，do(x)切断了混杂路径x
←s→
y，只留下健壮的路径x
→
y和x
→m→
y。然而，现有的基于数据划分的方法只假设了一个较小的分割集合，这对于上式是远远不够的。
[0068]
由于传统的基于上下文的分割标注没有将混淆器和中介分离开来，因此不容易获得如上式所示的完美分割。因此，直接调整中介会损害特征学习。如果噪声干扰s和故障信号m不是关于故障样本x呈正交关系，那么每个分裂t都包含噪声干扰s和故障信号m，这表明不当的分裂t会切断x
→m→
y的健壮中介效应，如图3所示。
[0069]
故最重要的是分裂t进行一步步的分割为ti，实现将噪声干扰s和故障信号m的分离。
[0070]
2、时间注意力机制
[0071]
如图4所示，时间注意(time attention,ta)，可以被描述为一个将以前时间步的影响集成到当前时间步的过程。但是在时序卷积网络(tcn)中，我们只能处理过去的信息，因此我们对权值矩阵的处理进行了细化，以满足顺序性。给定输入特征信号使用三个线性变换f，g，h将映射到三个不同的向量：
[0072][0073]
权重矩阵为：
[0074][0075]
式中，i，j＝1，2，
…
，t。之后，我们提取w
(1)
的下三角部分如下：
[0076][0077]
式中，i，j＝1，2，
…
，t。这样可以屏蔽未来时间步的权重，从而达到不利用未来信息的目的。
[0078]
3、因果注意模块
[0079]
对于在时间注意ta模块中实现前文所提出的分割划分ti，本章将结果模型称为ta-caam模块，接下来，使用c＝a(x)表示因果特征，表示混淆特征。
[0080]
通过利用softmax函数计算互补注意事项，caam模块在ta中的总体表述如下：
[0081][0082]
图5为ta-caam模块，加权输出通过caam生成：
[0083][0084]
其中，表示输入序列信号的值，例如图中的
[0085]
给定对其应用因果卷积：
[0086][0087]
式中表示因果卷积的输出。
[0088]
对于得到涉及到了三个分量以及其中表示为增强残差：
[0089][0090]
对于给定的给定输入信号即第l层t时刻的时序信号输出；第l+1层模块通过应用caam注意生成因果特征和混淆特征如图5中的两个圆形图案所示；右侧的表示混淆特征左侧的表示因果特征然后生成因果和混淆特征，即c
j+1
和s
j+1
。因此，ta-caam模块可以表述为：
[0091]
[0092]
将l层ta-caam块按深度和时间叠加，形成一个完整的网络，称为因果卷积(网络中任意l层d＝1)。
[0093]
4、损失函数
[0094]
对于ta-caam模块中一步步的迭代更新需要借助于损失函数的确定。
[0095]
交叉熵损失：这种损失是为了确保因果特征a和混杂特征结合将从x
→
y中获得有偏差的总效应，而不管因果或混淆效应。
[0096][0097]
其中，表示特征添加，f是线性分类器，是交叉熵损失函数。
[0098]
不变损失：这个损失是由于学习a是由不完全混淆划分ti的因果干预造成的可分裂不变量：
[0099][0100]
其中，t为数据分割，g为鲁棒预测的线性分类器，w为虚拟分类器，用于计算跨分割的梯度惩罚，λ为权重。
[0101]
对抗损失：通过一个最小化和最大化将a和分开。
[0102]
最小化：将xe和il联合训练，再加上新的偏差分类器h，专门研究(x)引起的混淆效果：
[0103][0104]
最大化：一个好的分区更新应该捕获更强的非分割不变的混淆器：
[0105][0106]
其中，ti(θ)表示划分ti由θ∈rk×m决定，k为训练样本的总数，m为一个划分中的划分个数。θ
p，q
是属于q次分裂(tq∈ti)的p次样本的概率。一个好的数据分割t应该揭示尽可能多的虚假或变异特征，以帮助缩小不变特征。考虑到使用最小化联合训练，可以用提出的互补注意模块：
[0107][0108]
在当前的分割ti下解出因果特征c和混杂特征s。对于不断最小化最大化更新数据分区，当上式达到全局极小点时，此时得到的数据分区是最好的数据分区。在这种情况下，对输入的序列数据进行不断ta-caam操作，到达全局极小点时结束操作。
[0109]
5、系统模型
[0110]
最优神经网络模型即系统模型，如图6所示，包括输入层，隐藏层和输出层，灰色方块表示一部分的ta-caam模块。在系统模型开始时，由于输入序列是连续序列，故将输入序列x
1：t
＝x1，x2，
…
x
t
一一映射到序列其中，t表示序列的长度，0表示第0层，即第一隐藏层的输入。对于每次迭代，ta-caam模块中都包含有一个最小化和最大化处理损失函数的过程，用来实现分离故障信号与噪声信号。然后，将因果卷积的核大小作为一个跨l层的隐藏层。当l＝m时，说明时序卷积网络的层数为m层，可根据需要更改m的大小。最后通过全连接
层再经过softmax进行分类输出。
[0111]
6、实验数据
[0112]
使用试验台用于数据集收集，来验证所提出模型的可行性。以51200hz的采样频率收集振动信号，每种故障采集10s的数据，数据点个数为512000。每两个数据点等时间采样，时间间隔为1.95
×
10-5
s。
[0113]
读取故障数据文件中的时间和信号，在故障信号中加入高斯白噪声作为噪声干扰，对于加入高斯白噪声数据后的故障数据，对其进行处理，选取256个数据为一组输入数据，重复数据大小为128，那么一组故障数据的文件大小为3999。对如表1所示中的七种故障数据分别加入10种加性高斯白噪声，范围为[-5db,0)∪(0,5db]。处理划分为七个文件夹，其中每个文件夹中10*i+10*i+9，分别对应加了这10种不同信噪比的噪声信号，故上述加了高斯白噪声的故障样本总数为3999
×
10
×
7＝279930，均作为训练样本。
[0114]
表1轴承故障类型
[0115][0116]
对于相同故障分别添加10种不同信噪比的高斯白噪声，以正常轴承无故障数据信号为例，其中一种示意图如图7所示。
[0117]
对于上述七种不同状况的轴承数据集，实验中轴承转速统一设置1500rpm，其中的工况设置为0hp。由于在本节中，需要解决的是ood泛化问题，那在实验设置时应将训练样本和测试样本设置为不同的工作环境中。将上述七种不同轴承类别分别添加信噪比为0db的高斯白噪声作为测试样本。
[0118]
图8显示了在常规时间注意力模型的tcan以及本方法提出的因果注意力模型ta-caam中epoch为不同大小时每次保存的训练集的后测试的准确率的变化情况。从图8中可以看出，与常规时间注意力模型的tcan相比，本文的tacaam可以实现更准确的注意力机制。如图所示，可以看出传统的tcan对于分布外泛化的数据，并不能很好的关注于其中的故障信息，按照随机分类，对于七类轴承故障进行分类，一般可以得到14.28％的准确率，而tcan对于ood数据的故障诊断，精度上并未得到大幅度的提升。同时，从图中可以看出在本文的模型中，含噪故障信号诊断精度可以达到接近40％，相比于常规时间注意力模型的tcan有很大的提升。
[0119]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

技术特征：
1.基于因果注意的时序卷积网络的故障诊断方法，其特征在于，包括以下步骤：s1、将caam模块嵌入时间注意ta模块中，以构成ta-caam模块，l层ta-caam模块按深度和时间叠加形成因果卷积；s2、构建神经网络，并将因果卷积作为神经网络的隐藏层；s3、将训练集中的具有标签的故障样本输入神经网络中进行训练，以得到最优神经网络；s4、将需要诊断故障类型的无标签故障样本输入到最优神经网络中，以预测出该数据的故障类型。2.根据权利要求1所述的基于因果注意的时序卷积网络的故障诊断方法，其特征在于，时间注意ta模块具体表示如下：给定时间序列使用三个线性变换f，g，h将映射到三个不同的向量：其中，l表示神经网络的第l层；t表示第t个时刻，表示第l层t时刻的第1个时序信号输出；表示自注意力机制中的key；表示自注意力机制中的query；表示自注意力机制中的value；表示线性变换f将映射后的向量，表示线性变换g将映射后的向量，表示线性变换h将映射后的向量；权重矩阵为：提取的下三角部分如下：其中，表示将通过线性变换后的转置向量k中第i个元素和向量q中的第j个元素乘积的值；表示权值矩阵中的第i个元素，表示权值矩阵中的第j个元素；d
k
是维数，是的转置；表示的下三角权值。3.根据权利要求2所述的基于因果注意的时序卷积网络的故障诊断方法，其特征在于，将caam模块嵌入时间注意ta模块中后，通过利用softmax函数计算互补注意事项，以获得caam模块在时间注意ta模块中表述如下：
其中，c表示因果特征；s表示混淆特征，表示时间序列中的第i个元素。4.根据权利要求3所述的基于因果注意的时序卷积网络的故障诊断方法，其特征在于，ta-caam模块表示如下：其中，c
j+1
表示第j+1层ta模块中的caam模块生成的因果特征，s
j+1
表示第j+1层ta模块中的caam模块生成的混淆特征。5.根据权利要求4所述的基于因果注意的时序卷积网络的故障诊断方法，其特征在于，选取数据集中的t个时间序列将时间序列输入到神经网络中，以得到新的时间序列即：其中，表示第l+1层的因果卷积的输出，表示第l+1层的增强残差，l为层数。对于增强残差其表达形式可写为：对于因果卷积输出其表达形式可写成：其中，conv1d表示为一维卷积；对于其组成为：其中，c
l+1
为表示第l+1层的因果特征，s
l+1
为表示第l+1层的混杂特征。6.根据权利要求1-5中任一项所述的基于因果注意的时序卷积网络的故障诊断方法，其特征在于，ta-caam模块中使用的损失函数为交叉熵损失、不变损失和对抗损失；
交叉熵损失表示如下：其中，是交叉熵损失；是交叉熵损失；表示特征添加，f是线性分类器，是交叉熵损失函数；a和是互补注意模块。7.根据权利要求6所述的基于因果注意的时序卷积网络的故障诊断方法，其特征在于，不变损失表示如下：其中，t为数据分割；g为鲁棒预测的线性分类器；w为虚拟分类器，用于计算跨分割的梯度惩罚；λ为权重。8.根据权利要求7所述的基于因果注意的时序卷积网络的故障诊断方法，其特征在于，通过最小化和最大化将a和分开，最小化公式如下：最大化公式如下：其中，t
i
(θ)表示划分t
i
由θ∈r
k
×
m
决定，k为训练样本的总数，m为一个划分中的划分个数；θ
p,q
是属于q次分裂(t
q
∈t
i
)的p次样本的概率；θ表示决定下一步t
i
的划分，表示实数空间。9.根据权利要求8所述的基于因果注意的时序卷积网络的故障诊断方法，其特征在于，具有标签的故障样本包括噪声干扰、故障信号和故障类别；无标签故障样本包括噪声干扰和故障信号；输入最优神经网络的无标签故障样本依次经过输入层，隐藏层和全连接层，再经过softmax进行分类，最后输出各个故障类型的概率，其中概率最大的故障类型即为故障信号的故障类型。

技术总结
本发明涉及故障诊断技术领域，具体是基于因果注意的时序卷积网络的故障诊断方法，包括以下步骤：S1、将CaaM模块嵌入时间注意TA模块中，以构成TA-CaaM模块，l层TA-CaaM模块按深度和时间叠加形成的因果卷积；S2、构建神经网络，并将因果卷积作为神经网络的隐藏层；S3、将训练集中的具有标签的故障样本输入神经网络中进行训练，以得到最优神经网络；S4、将需要诊断故障类型的无标签故障样本输入到最优神经网络中，以预测出该数据的故障类型；本发明本发明能够有效的分离噪声信号和故障信号，进而提高故障诊断的准确性。高故障诊断的准确性。高故障诊断的准确性。


技术研发人员：王正成 胡立靖 胡冬成 王杨 丁煦 翟华
受保护的技术使用者：合肥工业大学
技术研发日：2023.07.06
技术公布日：2023/10/6