一种基于长短期记忆网络和上下限区间估计的剩余寿命区间预测方法

1.本发明涉及一种基于长短期记忆网络和上下限区间估计的剩余寿命区间预测方法。


背景技术：

2.重要机械零件的剩余寿命预测，特别是对航空航天、大型生产线、船舶、铁路公路运输等重要设备尤为重要。精准的剩余寿命预测为制定适当的预防性维修和更换策略提供保证，既能保证机械设备在高可靠性条件下运行，又能避免由于过频维护造成的浪费。因此机械零件的剩余寿命预测越来越得到学者关注。由于现实机械设备退化数据存在不确定性，只是进行点预测往往满足不了现实生产生活的需要，在实际工程中，研究寿命预测的置信区间对基于可靠性制定的维护策略更为重要。由于剩余使用寿命预测的传感器退化数据多为时间序列数据，使用常用的区间预测方法，如上下限区间估计(lower upper bound estimation,lube)会忽略退化数据间的时序信息，使用常用的时间序列预测网络，如长短期记忆网络(long short-term memory，lstm)不能得到区间结果。


技术实现要素：

3.针对现有技术中存在的问题，本发明的目的在于提供一种基于长短期记忆网络和上下限区间估计的剩余寿命区间预测方法，解决了剩余使用寿命区间预测的问题，且针对传感器多维数据训练时间较长的问题，使用卷积自编码器进行降维优化，有效降低训练时间。
4.为解决上述问题，本发明采用如下的技术方案。
5.一种基于长短期记忆网络和上下限区间估计的剩余寿命区间预测方法，包括以下步骤：
6.采集传感器的数据进行归一化处理，且使处理后的数据不改变传感器数据的退化特征；
7.选择卷积自编码网络作为结构的特征提取模块，通过卷积网络和反卷积网络进行编码解码，得到最终的特征；
8.构造损失函数，寻找可微的损失函数，然后求导进行梯度下降更新模型参数，优化模型，实现区间预测；
9.将特征测试集数据输入训练好的网络结构中，获得预测寿命的上限与下限及其区间。
10.使用标准化对各个传感器数据进行处理，具体公式如下：
11.12.在公式中，μi和σi分别为x中第i个特征信号xi的平均值和标准偏差，将归一化的数据通过滑动窗口策略按定长输入到卷积自编码网络，在选择传感器数据时，为了防止无关数据的干扰，减少训练时间，需要剔除在整个生命周期都保持不变的传感器数据，预处理后数据集如下：
[0013][0014]
其中s代表了可以反映退化状态的传感器数量，n是退化数据的长度。
[0015]
通过卷积网络和反卷积网络进行编码解码，得到最终的特征，具体优化公式如下：
[0016]hk
＝σ(x*wk+bk)
[0017][0018][0019]
公式为卷积自编码器的编码和解码计算过程。其中，k表示第k个卷积核，每个卷积核由参数wk和bk组成，hk表示由编码器提取的特征向量，表示解码重构后的输出值，最后，将输入的样本和最终利用特征重构得出来的结果进行欧几里得距离比较。
[0020]
具体的损失函数如下：
[0021][0022]
其中，yi为真实的轴承rul值，ui和li分别为预测区间的上下限，λ为比例系数，用来调节区间覆盖率和区间宽度的权重，d为区间偏离真实值的距离，μ是由置信区间决定的，当置信水平为95％时，μ为0.95，当预测结果达到置信水平时，损失函数主要优化为缩小区间宽度和使真实值更贴近区间中值，当预测结果未达到置信区间时，通对偏离程度进行指数型增长惩罚，使区间朝着覆盖率高的方向优化，
[0023]
将测试集数据输入训练好的网络结构中，获得预测寿命的上限与下限，具体的公式如下所示：
[0024][0025][0026]
其中，和是时间t时寿命预测的上界和下界，w
l
和wu是分别对应于上界和下界的权重矩阵，b
l
和bu是分别对应上下界的偏移矩阵。
[0027]
将预测的区间结果与真实值通过区间评价指标，得出模型区间预测的准确性。
[0028]
本发明的有益效果
[0029]
相比于现有技术，本发明的优点在于：
[0030]
(1)基于卷积自编码器的神经网络结构可以通过编码解码方式自适应的提取发动机的特征向量，并有效将输入的多维时间数据降维，减少训练时间。
[0031]
(2)基于lstm-lube的剩余寿命区间预测模型可以更加充分利用退化数据中的时序信息，通过构造可微的区间预测损失函数，梯度下降更新模型参数，提高预测准确性。
附图说明
[0032]
图1为本发明的流程图。
[0033]
图2为本发明的卷积自编码器网络结构示意图。
[0034]
图3为本发明的lstm-lube网络结构图。
[0035]
图4为本发明从训练集中提取的特征图。
[0036]
图5为本发明训练集的训练损失函数下降图
[0037]
图6为本发明fd001数据集rul预测区间与实际剩余寿命的比较图。
[0038]
图7为本发明fd003数据集rul预测区间与实际剩余寿命的比较图。
[0039]
图8为本发明不同发动机剩余寿命的实际值与预测区间的比较图。
具体实施方式
[0040]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]
本发明提供一种基于长短期记忆网络和上下限区间估计的剩余寿命区间预测方法，具体实施方式参阅图1-图8，以及如下文所述：
[0042]
1.数据集及预处理
[0043]
由于系统性能变量选取的多样性，传感器采集的数据量纲不统一，数据在输入模型前需要归一化处理，且使处理后的数据不改变传感器数据的退化特征。本文使用标准化对各个传感器数据进行处理。具体公式如下：
[0044][0045]
在公式中，μi和σi分别为x中第i个特征信号xi的平均值和标准偏差。将归一化的数据通过滑动窗口策略按定长输入到卷积自编码网络，在选择传感器数据时，为了防止无关数据的干扰，减少训练时间，需要剔除在整个生命周期都保持不变的传感器数据。预处理后数据集如下：
[0046]
[0047]
其中s代表了可以反映退化状态的传感器数量，n是退化数据的长度。
[0048]
2.特征提取与选择
[0049]
由于卷积自编码神经网络具有能够在不获得标签的情况下自行提取特征的优势，且不存在参数冗余的情况，所以我们选择卷积自编码网络作为结构的特征提取模块。特征提取模块的网络结构如图2所示。
[0050]
由于一般的机械部件的退化数据中存在大量噪声，直接使用卷积神经网络难以有效提取特征，卷积自编码神经网络具有能够在不获得标签的情况下自行提取特征的优势，且不存在参数冗余的情况，所以我们选择卷积自编码网络作为结构的特征提取模块，通过卷积网络和反卷积网络进行编码解码，得到最终的特征。具体优化公式如下：
[0051]hk
=σ(x*wk+bk)
[0052][0053][0054]
公式为卷积自编码器的编码和解码计算过程。其中，k表示第k个卷积核，每个卷积核由参数wk和bk组成，hk表示由编码器提取的特征向量。表示解码重构后的输出值。最后，将输入的样本和最终利用特征重构得出来的结果进行欧几里得距离比较，如上述优化公式所示，并优化网络参数，就可以得到一个完整的卷积自编码器。
[0055]
3.lstm+lube结构
[0056]
为了实现对数据集时间序列数据的充分利用，更为准确的进行区间预测，本文使用lstm与lube结合的框架进行剩余寿命区间预测。具体结构如图3所示。该结构使用长短期记忆神经网络(lstm)代替lube使用的网络，有效解决了传统lube网络无法分析时间序列内在时间依赖关系的缺陷，更适用于对轴承退化数据的区间预测分析。与一般的lube方法不同，lstm+lube的框架复杂，参数较多，无法使用启发式算法进行区间预测，因此，选择合适的损失函数，能够使用梯度下降算法优化区间预测模型是本结构的关键。
[0057]
4.损失函数构造
[0058]
传统的区间预测算法大都采用启发式算法，如粒子群算法，遗传算法等，结合svm、ann等模型，并使用picp，cwc等评价指标作为优化目标进行模型优化，实现区间预测。但大多数区间预测评价指标如picp，cwc等不可微，无法使用梯度下降算法优化模型。因此，我们要寻找可微的损失函数，然后求导进行梯度下降更新模型参数，优化模型，实现区间预测。
[0059]
构造损失函数应该满足可靠性和清晰度两方面的要求。可靠性是指实际的数值落入预测区间的一个整体概率值，覆盖率越高代表区间越可靠；清晰度用于度量预测区间平均宽度大小，预测区间越小则代表预测值的范围越清晰可判。值得说明的是，这两个指标往往是对立存在的，区间宽度越小越难保证覆盖率保持在一个良好水平，反之亦然。所以构造的损失函数应综合考虑两方面要求。此外，为使优化目标区间朝着目标值优化，还应加上目标值偏移区间程度的惩罚。具体的损失函数如下：
[0060][0061]
其中，yi为真实的轴承rul值，ui和li分别为预测区间的上下限，λ为比例系数，用来调节区间覆盖率和区间宽度的权重。d为区间偏离真实值的距离，μ是由置信区间决定的，当置信水平为95％时，μ为0.95。当预测结果达到置信水平时，损失函数主要优化为缩小区间宽度和使真实值更贴近区间中值。当预测结果未达到置信区间时，通对偏离程度进行指数型增长惩罚，使区间朝着覆盖率高的方向优化。
[0062]
5.输入测试集数据并输出评价指标
[0063]
将测试集数据输入训练好的网络结构中，获得预测寿命的上限与下限，具体的公式如下所示：
[0064][0065][0066]
其中，和是时间t时寿命预测的上界和下界，w
l
和wu是分别对应于上界和下界的权重矩阵，b
l
和bu是分别对应上下界的偏移矩阵。
[0067]
将预测的区间结果与真实值通过区间评价指标，如预测区间覆盖率(prediction interval coverage probabilty，picp)，预测区间平均宽度(prediction interval normalized average width，pinaw)，覆盖宽度准则(coverage width criterion，cwc)进行计算，得出模型区间预测的准确性。
[0068]
本文以涡扇发动机为研究对象，采用美国宇航局预测卓越中心(pcoe)提供的飞机发动机模拟状态监测公共数据集。它通过cmapss软件模拟不同的发动机运行环境，并输出退化过程中各个部件的状态监测数据。它被广泛用作设备剩余寿命预测研究领域的基准数据。数据集有4个子集。训练集和测试集选择21个传感器信号和三个操作参数。训练集包括涡轮发动机从初始状态到第一次故障的整个退化过程的监测数据。测试集记录从初始状态到故障发生前的某个时间段的监控数据。剩余寿命集给出了测试集引擎从运行到故障的剩余时间。
[0069]
由于发动机性能变量选取的多样性，传感器采集的数据量纲不统一，数据在输入模型前需要归一化处理，且使处理后的数据不改变传感器数据的退化特征。本文使用标准化对各个传感器数据进行处理。具体公式如下：
[0070][0071]
在公式中，μi和σi分布为x中第i个特征信号xi的平均值和标准偏差。
[0072]
将归一化的数据通过滑动窗口策略按定长输入到卷积自编码网络，在进行一系列调参后，发现窗口大小为30时训练效果较好，所以滑动窗口宽度设为30.在21种传感器数据
中，有一些数据在整个生命周期都保持不变，为了防止无关数据的干扰，减少训练时间，我们选取第2、3、4、7、9、11、12、13、14、15、17、20、21这14维传感器数据作为原始数据输入模型。
[0073]
由于卷积自编码神经网络具有能够在不获得标签的情况下自行提取特征的优势，且不存在参数冗余的情况，所以我们选择卷积自编码网络作为结构的特征提取模块。该模块的主要结构如图3所示，由三层卷积编码层和三层反卷积解码层构成。由于退化数据是一维数据，所以我们的卷积编码为一维卷积，具体网络结构参数如表3.1所示。
[0074]
表3.1cae网络结构参数
[0075][0076][0077]
经过训练好的卷积自编码网络输出的特征如图4所示，可以看出，在训练周期前期，特征变化不明显，只有在接近失效期时才急剧下降。这与我们认知的航空发动机特征退化趋势一致。也就可以说明，提取的特征向量可以作为剩余使用寿命预测的基本特征。
[0078]
我们使用上文提到的lstm-lube方法进行rul区间预测，该结构由三层lstm，四层全连接层构成，其中lstm输入为卷积编码器输出，输出向量大小设为64，四层全连接层神经元个数分别为32，16，8，2。其中为了均衡区间宽度和区间覆盖率，将比例系数设为0.5，使用随机梯度下降算法更新模型参数，权重更新批次batch设为64.图5为训练过程中的损失下降图，可以看出当迭代90次后，损失函数趋于稳定。因此，为了充分训练模型，我们设置总的迭代次数为120。
[0079]
本实验采用常用的区间评价指标picp，npiw和cwc作为评价指标来进行模型对比。相关评价指标公式如下：
[0080]
预测区间覆盖率(prediction interval coverage probabilty，picp)指标用于评估区间预测的可靠性程度，它反映了实际预测值落在预测区间范围内的整体概率水平。
[0081][0082]
其中，li和ui分别为第i个pi的下界和上界，picp是用预设的置信度来测量pi校准的指标。理论上认为picp≥(1-α)％时pi才可信。
[0083]
预测区间平均宽度(prediction interval normalized average width，pinaw)被用于评估预测区间的清晰度。区间宽度同样是评价区间好坏的重要指标。
[0084][0085]
其中n为样本个数，ui和li代表预测上下界，r为预测样本中的最大值与最小值之差，用于对指标进行归一化处理。
[0086]
覆盖宽度准则(coverage width criterion，cwc)是khosravi等[]提出的一种预测区间的评估指标，它将评估覆盖率的picp指标与评估区间宽度的pinaw指标相结合构造一种对预测区间的综合评估指标。
[0087][0088]
其中μ与η为超参数，μ为预先设置的区间预测名义置信水平pinc，η为惩罚参数，用于惩罚picp指标低于pinc的情况。
[0089]
实验中，我们选择fd001和fd003数据集进行寿命区间预测，为了保证实验的准确性，我们分别对每组数据集做5次实验并取预测结果的平均值。将2个子集的预测结果按照剩余使用寿命的大小排序，结果如图6和7所示。
[0090]
图8为fd001和fd003数据集中发动机单元的预测结果，(a)和(b)是fd001中24号和100号发动机的预测结果，(c)和(d)为fd003中24号和100号发动机的预测结果。从图中可以看出当循环周期较小时，区间预测的宽度较大，随着循环周期的增大，区间预测的覆盖率和区间宽度都朝着高可靠性和高清晰度的方向优化。
[0091]
下面根据上面三个指标和运行时间对模型进行评估和比较，为了计算结果的准确性，我们对每个数据集做5次实验，取各个指标的平均值。我们将置信水平μ设置为90％，将我们的方法同启发式lube算法和bootstrap方法在四个发动机数据集上分别进行对比，实验指标结果见表3.2：
[0092]
表3.2区间预测方法的比较
[0093]
[0094][0095]
由表中数据可知，我们的方法和使用启发式算法的lube方法相比，可靠性和清晰度都有较好的表现,picp平均在92.82％左右，有效保证了预测区间的可靠性，同时pinaw平均在20.14左右，也要优于传统的lube算法。与bootstrap相比，虽然bootstrap方法有着更小的pinaw，但其区间覆盖率(picp)却远小于我们的方法，预测区间的可靠性难以保障。对比综合评价指标cwc也可以看出，我们的方法的cwc指标更小，且波动更平稳，整体上优于对比的bootstrap和lube+css方法。
[0096]
结论：
[0097]
基于卷积自编码器的神经网络结构可以通过编码解码方式自适应的提取发动机的特征向量，并有效将输入的多维时间数据降维，减少训练时间；
[0098]
基于lstm-lube的剩余寿命区间预测模型可以更加充分利用退化数据中的时序信息，通过构造可微的区间预测损失函数，梯度下降更新模型参数，提高预测准确性；。
[0099]
基于lstm-lube的方法在cmapss数据集上进行测试，并与其他几种区间预测方法做对比，结果证实了提出方法的有效性；
[0100]
未来的研究工作可以进一步优化损失函数，对区间宽度优化时只计算实际值在区间内的区间宽度。并进一步在更多数据集中验证方法的有效性和泛用性。
[0101]
以上所述，仅为本发明较佳的具体实施方式；但本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。

技术特征：
1.一种基于长短期记忆网络和上下限区间估计的剩余寿命区间预测方法，包括以下步骤：采集传感器的数据进行归一化处理，且使处理后的数据不改变传感器数据的退化特征；选择卷积自编码网络作为结构的特征提取模块，通过卷积网络和反卷积网络进行编码解码，得到最终的特征；构造损失函数，寻找可微的损失函数，然后求导进行梯度下降更新模型参数，优化模型，实现区间预测；将特征测试集数据输入训练好的网络结构中，获得预测寿命的上限与下限及其区间。2.根据权利要求1所述的一种基于长短期记忆网络和上下限区间估计的剩余寿命区间预测方法，其特征在于：使用标准化对各个传感器数据进行处理，具体公式如下：在公式中，μ
i
和σ
i
分别为x中第i个特征信号x
i
的平均值和标准偏差，将归一化的数据通过滑动窗口策略按定长输入到卷积自编码网络，在选择传感器数据时，为了防止无关数据的干扰，减少训练时间，需要剔除在整个生命周期都保持不变的传感器数据，预处理后数据集如下：其中s代表了可以反映退化状态的传感器数量，n是退化数据的长度。3.根据权利要求1所述的一种基于长短期记忆网络和上下限区间估计的剩余寿命区间预测方法，其特征在于：通过卷积网络和反卷积网络进行编码解码，得到最终的特征，具体优化公式如下：h
k
=σ(x*w
k
+b
k
))公式为卷积自编码器的编码和解码计算过程。其中，k表示第k个卷积核，每个卷积核由参数w
k
和b
k
组成，h
k
表示由编码器提取的特征向量，表示解码重构后的输出值，最后，将输入的样本和最终利用特征重构得出来的结果进行欧几里得距离比较。4.根据权利要求1所述的一种基于长短期记忆网络和上下限区间估计的剩余寿命区间预测方法，其特征在于：具体的损失函数如下：
其中，y
i
为真实的轴承rul值，u
i
和l
i
分别为预测区间的上下限，λ为比例系数，用来调节区间覆盖率和区间宽度的权重，d为区间偏离真实值的距离，μ是由置信区间决定的，当置信水平为95％时，μ为0.95，当预测结果达到置信水平时，损失函数主要优化为缩小区间宽度和使真实值更贴近区间中值，当预测结果未达到置信区间时，通对偏离程度进行指数型增长惩罚，使区间朝着覆盖率高的方向优化，将测试集数据输入训练好的网络结构中，获得预测寿命的上限与下限，具体的公式如下所示：下所示：其中，和是时间t时寿命预测的上界和下界，w
l
和w
u
是分别对应于上界和下界的权重矩阵，b
l
和b
u
是分别对应上下界的偏移矩阵；将预测的区间结果与真实值通过区间评价指标，得出模型区间预测的准确性。

技术总结
本发明公开了一种基于长短期记忆网络和上下限区间估计的剩余寿命区间预测方法，包括以下步骤：采集传感器的数据进行归一化处理，且使处理后的数据不改变传感器数据的退化特征；选择卷积自编码网络作为结构的特征提取模块，通过卷积网络和反卷积网络进行编码解码，得到最终的特征；构造损失函数，寻找可微的损失函数，然后求导进行梯度下降更新模型参数，优化模型，实现区间预测；将特征测试集数据输入训练好的网络结构中，获得预测寿命的上限与下限及其区间，解决了剩余使用寿命区间预测的问题，且针对传感器多维数据训练时间较长的问题，使用卷积自编码器进行降维优化，有效降低训练时间。训练时间。训练时间。


技术研发人员：吕燚 张启晨
受保护的技术使用者：电子科技大学中山学院
技术研发日：2023.03.08
技术公布日：2023/7/19