存储故障分析系统及其方法与流程

未命名 08-26 阅读:141 评论:0


1.本技术涉及智能化分析技术领域,并且更具体地,涉及一种存储故障分析系统及其方法。


背景技术:

2.存储故障分析是一种检测和诊断存储系统中出现的故障的方法。进行存储故障分析可以帮助存储管理员快速定位和解决故障,提高存储系统的可靠性和性能,减少数据丢失和服务中断的风险。
3.现有的存储故障分析方案缺乏自动化的故障分析工具,导致存储管理员需要手动收集和分析大量的故障数据,耗时耗力,且容易出错。因此,期待一种优化的解决方案。


技术实现要素:

4.本技术要解决的技术问题为,提供一种存储故障分析系统及其方法,以提高存储故障分析的效率和准确性。
5.本技术的实施例提供了一种存储故障分析系统及其方法,其综合利用被诊断存储模块在预定时间段内多个预定时间点的运行状态数据(温度、电压、电流和传输速率)和被诊断存储模块的错误日志,并结合深度学习和人工智能技术自动地对存储系统中的故障进行识别和分类,以提高存储故障分析的效率和准确性。
6.第一方面,提供了一种存储故障分析系统,其包括:运行状态监控模块,用于获取被诊断存储模块在预定时间段内多个预定时间点的运行状态数据,其中,所述运行状态数据包括温度、电压、电流和传输速率;日志获取模块,用于获取所述被诊断存储模块的错误日志;运行数据排列模块,用于将所述多个预定时间点的运行状态数据按照时间维度和样本维度排列为运行状态数据时序输入矩阵;运行时序特征提取模块,用于将所述运行状态数据时序输入矩阵通过作为过滤器的卷积神经网络模型以得到运行状态时序关联特征向量;日志语义理解模块,用于对所述错误日志进行分词处理后通过包含词嵌入层的语义编码器以得到错误日志语义理解特征向量;封装语义匹配融合模块,用于融合所述运行状态时序关联特征向量和所述错误日志语义理解特征向量以得到分类特征向量;以及故障类型划分模块,用于将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示被诊断存储模块的故障类型标签。
7.在上述存储故障分析系统中,所述运行时序特征提取模块,用于:使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:对所述输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图;以及,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述
作为过滤器的卷积神经网络模型的最后一层的输出为所述运行状态时序关联特征向量,所述作为过滤器的卷积神经网络模型的第一层的输入为所述运行状态数据时序输入矩阵。
8.在上述存储故障分析系统中,所述日志语义理解模块,包括:分词单元,用于对所述错误日志进行分词处理以将所述错误日志转化为由多个词组成的词序列;嵌入编码单元,用于使用所述包含词嵌入层的语义编码器的词嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列;以及,上下文编码单元,用于使用所述包含词嵌入层的语义编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述错误日志语义理解特征向量。
9.在上述存储故障分析系统中,所述上下文编码单元,包括:向量构造子单元,用于将所述词向量的序列进行一维排列以得到全局词特征向量;自注意子单元,用于计算所述全局词特征向量与所述词向量的序列中各个词向量的转置向量之间的乘积以得到多个自注意力关联矩阵;标准化子单元,用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵;关注度计算子单元,用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过softmax分类函数以得到多个概率值;以及,注意力施加子单元,用于分别以所述多个概率值中各个概率值作为权重对所述词向量的序列中各个词向量进行加权以得到所述错误日志语义理解特征向量。
10.在上述存储故障分析系统中,所述封装语义匹配融合模块,用于:以如下优化公式融合所述运行状态时序关联特征向量和所述错误日志语义理解特征向量以得到分类特征向量;其中,所述优化公式为:其中,表示所述运行状态时序关联特征向量,表示所述错误日志语义理解特征向量,和分别表示向量的一范数和二范数,和分别为权重和偏置超参数,表示所述运行状态时序关联特征向量和所述错误日志语义理解特征向量之间的按位置距离矩阵,且为单位矩阵,表示按位置点乘,表示矩阵相乘,表示按位置加法,表示按位置减法,表示所述分类特征向量。
11.在上述存储故障分析系统中,所述故障类型划分模块,包括:全连接编码单元,用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;以及,分类单元,用于将所述编码分类特征向量通过所述分类器的softmax分类函数以得到所述分类结果。
12.在上述存储故障分析系统中,还包括:用于对所述作为过滤器的卷积神经网络模型、所述包含词嵌入层的语义编码器和所述分类器进行训练的训练模块;其中,所述训练模块,包括:训练运行状态监控单元,用于获取训练被诊断存储模块在预定时间段内多个预定时间点的训练运行状态数据;训练日志获取单元,用于获取所述训练被诊断存储模块的训练错误日志;训练运行数据排列单元,用于将所述多个预定时间点的训练运行状态数据按
照时间维度和样本维度排列为训练运行状态数据时序输入矩阵;训练运行时序特征提取单元,用于将所述训练运行状态数据时序输入矩阵通过所述作为过滤器的卷积神经网络模型以得到训练运行状态时序关联特征向量;训练日志语义理解单元,用于对所述训练错误日志进行分词处理后通过所述包含词嵌入层的语义编码器以得到训练错误日志语义理解特征向量;训练融合单元,用于融合所述训练运行状态时序关联特征向量和所述训练错误日志语义理解特征向量以得到训练分类特征向量;分类损失单元,用于将所述训练分类特征向量通过所述分类器以得到分类损失函数值;以及训练单元,用于基于所述分类损失函数值并以梯度下降的反向传播对所述作为过滤器的卷积神经网络模型、所述包含词嵌入层的语义编码器和所述分类器进行训练,其中,在所述训练的每一轮迭代中,对所述分类器的权重矩阵进行特征分布的跨域注意力转移优化。
13.在上述存储故障分析系统中,对所述分类器的权重矩阵进行特征分布的跨域注意力转移优化,包括:以如下转移优化公式对所述分类器的权重矩阵进行特征分布的跨域注意力转移优化以得到优化后的权重矩阵;其中,所述转移优化公式为:其中,是所述权重矩阵,的尺度为,、到是所述权重矩阵的各个行向量,表示特征向量的二范数,表示所述权重矩阵的第行第列的特征值,是对所述权重矩阵的每个行向量的求和值排列得到的行向量,表示矩阵的转置,表示矩阵相乘,和均表示单层卷积操作,是所述优化后的权重矩阵。
14.第二方面,提供了一种存储故障分析方法,其包括:获取被诊断存储模块在预定时间段内多个预定时间点的运行状态数据,其中,所述运行状态数据包括温度、电压、电流和传输速率;获取所述被诊断存储模块的错误日志;将所述多个预定时间点的运行状态数据按照时间维度和样本维度排列为运行状态数据时序输入矩阵;将所述运行状态数据时序输入矩阵通过作为过滤器的卷积神经网络模型以得到运行状态时序关联特征向量;对所述错误日志进行分词处理后通过包含词嵌入层的语义编码器以得到错误日志语义理解特征向量;融合所述运行状态时序关联特征向量和所述错误日志语义理解特征向量以得到分类特征向量;以及将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示被诊断存储模块的故障类型标签。
15.本技术的有益效果为,与现有技术相比,本技术提供的存储故障分析系统及其方
法,其综合利用被诊断存储模块在预定时间段内多个预定时间点的运行状态数据(温度、电压、电流和传输速率)和被诊断存储模块的错误日志,并结合深度学习和人工智能技术自动地对存储系统中的故障进行识别和分类,以提高存储故障分析的效率和准确性。
附图说明
16.为了更清楚地说明本技术实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
17.图1为根据本技术实施例的存储故障分析系统的应用场景图。
18.图2为根据本技术实施例的存储故障分析系统的框图。
19.图3为根据本技术实施例的存储故障分析系统中所述日志语义理解模块的框图。
20.图4为根据本技术实施例的存储故障分析系统中所述上下文编码单元的框图。
21.图5为根据本技术实施例的存储故障分析系统中所述故障类型划分模块的框图。
22.图6为根据本技术实施例的存储故障分析方法的流程图。
23.图7为根据本技术实施例的存储故障分析方法的系统架构的示意图。
具体实施方式
24.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
25.除非另有说明,本技术实施例所使用的所有技术和科学术语与本技术的技术领域的技术人员通常理解的含义相同。本技术中所使用的术语只是为了描述具体的实施例的目的,不是旨在限制本技术的范围。
26.在本技术实施例记载中,需要说明的是,除非另有说明和限定,术语“连接”应做广义理解,例如,可以是电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
27.需要说明的是,本技术实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换,以使这里描述的本技术的实施例可以除了在这里图示或描述的那些以外的顺序实施。
28.针对上述技术问题,本技术技术构思是综合利用被诊断存储模块在预定时间段内多个预定时间点的运行状态数据(温度、电压、电流和传输速率)和被诊断存储模块的错误日志,并结合深度学习和人工智能技术来自动地对存储系统中的故障进行识别和分类,提高存储故障分析的效率和准确性。
29.具体地,在本技术的技术方案中,首先,获取被诊断存储模块在预定时间段内多个预定时间点的运行状态数据,其中,所述运行状态数据包括温度、电压、电流和传输速率。同
时,获取所述被诊断存储模块的错误日志。这里,存储系统的运行状态数据是反映存储系统性能和健康状况的重要指标,可以用于监测和分析存储系统的工作情况,发现和预警存储系统的异常和故障。通过获取被诊断存储模块在预定时间段内多个预定时间点的运行状态数据,可以从多个维度和角度观察存储模块的运行特征,发现运行状态数据的变化趋势和规律,以及与故障类型的关联性。更具体地,温度、电压、电流和传输速率分别反映了存储模块的温度状况、电源状况、电路状况和数据传输状况,对于诊断存储模块的故障有重要的参考价值。此外,错误日志是存储系统中记录故障信息的重要数据源,可以反映出存储模块在运行过程中出现的异常情况,如硬件故障、软件错误、网络问题等。通过分析错误日志,可以了解存储模块的故障原因和影响范围。
30.接着,将所述多个预定时间点的运行状态数据按照时间维度和样本维度排列为运行状态数据时序输入矩阵。这样,运行状态数据时序输入矩阵可以保留存储模块的运行状态在时间上的变化趋势,反映出故障发生前后的状态差异。
31.如前所述,运行状态数据时序输入矩阵包含了被诊断存储模块在不同时间点的多个运行状态参数。这些参数之间可能存在复杂的时空相关性。在本技术的技术方案中,将所述运行状态数据时序输入矩阵通过作为过滤器的卷积神经网络模型以得到运行状态时序关联特征向量。这里,卷积神经网络模型能够有效地提取输入数据中的局部特征,从而实现对输入数据的高层次抽象和表示。具体而言,通过将卷积神经网络模型作为过滤器,可以对运行状态数据时序输入矩阵进行多层次的卷积操作,从而提取出运行状态数据中的关键特征,如异常波动、趋势变化、周期性规律等,这些特征可以反映出存储模块的运行状况和故障风险。
32.然后,对所述错误日志进行分词处理后通过包含词嵌入层的语义编码器以得到错误日志语义理解特征向量。其中,分词处理是将错误日志中的文本切分为有意义的最小单元,以便于后续的语义分析。分词处理可以提高错误日志的信息密度,去除无关的停用词,减少噪声和冗余。此外,词嵌入层是将分词后的多个词转换为数值向量的过程,以便于后续的模型运算。再者,语义编码器可以对错误日志进行上下文相关的语义理解,并提取错误日志的高层语义特征信息,提高错误日志的语义表示能力。
33.如前所述,运行状态时序关联特征向量反映了被诊断存储模块的动态变化情况,错误日志语义理解特征向量反映了被诊断存储模块的异常信息。这两种特征向量分别从不同的角度和维度描述了存储模块的故障特征,在本技术的技术方案中,融合所述运行状态时序关联特征向量和所述错误日志语义理解特征向量以得到一个信息表达更全面和丰富的分类特征向量,能够更好地区分不同类型的故障。
34.继而,将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示被诊断存储模块的故障类型标签。这里,分类器可以根据输入的特征向量,输出一个预测的类别标签。其中,故障类型标签可以是磁盘故障、控制器故障、电源故障、内存故障、散热问题、数据线故障、软件故障等。在后续应用中,可以根据实际情况对故障类型标签进行添加和删减。通过这样的方式自动地对存储系统中的故障进行识别和分类。
35.在本技术的技术方案中,考虑到所述运行状态时序关联特征向量表达运行状态数据的样本-时序交叉维度下的局部关联语义特征,而所述错误日志语义理解特征向量表达错误日志文本的文本语义编码特征,因此需要在所述运行状态时序关联特征向量和所述错
误日志语义理解特征向量的经由神经网络模型得到的深度特征空间内进行特征向量间的基于语义匹配的融合。
36.由此,本技术的申请人对所述运行状态时序关联特征向量,例如记为和所述错误日志语义理解特征向量,例如记为进行深层空间封装语义匹配融合,以得到所述分类特征向量,例如记为,其中,所述分类特征向量具体表示为:具体表示为:和分别表示向量的一范数和二范数,和分别为权重和偏置超参数,表示所述运行状态时序关联特征向量和所述错误日志语义理解特征向量之间的按位置距离矩阵,即,且为单位矩阵,表示所述分类特征向量。
37.这里,对于深度特征空间中的所述运行状态时序关联特征向量和所述错误日志语义理解特征向量,其语义表达被封装到了深层空间内,这使得特征向量的整体分布中的细粒度特征中同时包含低层级语义分布和高层级语义分布,由此,通过所述深层空间封装语义匹配融合,可以通过平衡低层级语义分布和高层级语义分布来进行分类模式层面的语义级别的匹配,以实现特征在特征空间内的语义受控的编译融合,从而获得所述运行状态时序关联特征向量和所述错误日志语义理解特征向量在特征融合空间内的语义协同,提升了所述分类特征向量对所述运行状态时序关联特征向量和所述错误日志语义理解特征向量的融合效果,也就提升了所述分类特征向量通过分类器得到的分类结果的准确性。
38.在本技术的技术方案中,考虑到所述运行状态时序关联特征向量表达运行状态数据的样本-时序交叉维度下的局部关联语义特征,而所述错误日志语义理解特征向量表达错误日志文本的文本语义编码特征,因此所述运行状态时序关联特征向量和所述错误日志语义理解特征向量的经由神经网络模型得到的深度特征空间内进行特征向量间的基于语义匹配的融合后,所述分类特征向量会具有多样化的特征表达。
39.这样,当所述分类特征向量通过分类器进行分类时,考虑到多样化的特征分布表达在分类的域转移过程中的分布可转移性差异,例如,当所述分类器的权重矩阵相对于某类特征表达进行适配时,其会具有比另一类特征表达更好的分布可转移性,反之亦然。因此,需要针对所述分类器的权重矩阵对于所述分类特征向量进行自适应优化,以便提升所述分类特征向量通过分类器进行分类训练的训练效果,即,提升分类速度和得到的分类结果的准确性。
40.因此,本技术的申请人在每次分类器的权重矩阵的迭代过程中,对于所述权重矩
阵进行特征分布的跨域注意力转移优化,具体表示为:其中,是所述权重矩阵,的尺度为,、到是所述权重矩阵的各个行向量,表示特征向量的二范数,表示所述权重矩阵的第行第列的特征值,是对所述权重矩阵的每个行向量的求和值排列得到的行向量,表示矩阵的转置,表示矩阵相乘,和均表示单层卷积操作,是所述优化后的权重矩阵。
41.这里,所述基于特征分布跨域注意力转移优化针对所述分类特征向量的特征分布在特征空间域和分类目标域内存在的不同表示,基于所述分类器的权重矩阵相对于待分类的分类特征向量展开后得到的所述粪便多尺度融合特征向量的跨域多样性特征表示,通过对所述权重矩阵的空间结构化特征分布通过卷积操作给予注意力,来增强多样化特征分布中的良好转移特征分布的跨域间隙的可转移性,同时抑制不良转移特征分布的消极转移(negative transfer),以基于所述权重矩阵自身相对于所述待分类的分类特征向量的分布结构来实现权重矩阵的无监督的域转移自适应优化,从而提升所述分类特征向量通过分类器进行分类训练的训练效果。
42.本技术具有如下几点技术效果:1、提供了一种自动化的存储故障分析方案。2、该方案能够自动地对存储系统中的故障进行识别和分类,从而帮助存储管理员及时发现和解决故障问题,保证存储系统的正常运行,避免数据丢失和服务中断。
43.图1为根据本技术实施例的存储故障分析系统的应用场景图。如图1所示,在该应用场景中,首先,获取被诊断存储模块在预定时间段内多个预定时间点的运行状态数据(例如,如图1中所示意的c1),以及,获取所述被诊断存储模块的错误日志(例如,如图1中所示意的c2);然后,将获取的运行状态数据和错误日志输入至部署有存储故障分析算法的服务器(例如,如图1中所示意的s)中,其中所述服务器能够基于存储故障分析算法对所述运行状态数据和所述错误日志频进行处理,以生成用于表示被诊断存储模块的故障类型标签的分类结果。
44.在介绍了本技术的基本原理之后,下面将参考附图来具体介绍本技术的各种非限制性实施例。
45.在本技术的一个实施例中,图2为根据本技术实施例的存储故障分析系统的框图。如图2所示,根据本技术实施例的存储故障分析系统100,包括:运行状态监控模块110,用于获取被诊断存储模块在预定时间段内多个预定时间点的运行状态数据,其中,所述运行状态数据包括温度、电压、电流和传输速率;日志获取模块120,用于获取所述被诊断存储模块的错误日志;运行数据排列模块130,用于将所述多个预定时间点的运行状态数据按照时间维度和样本维度排列为运行状态数据时序输入矩阵;运行时序特征提取模块140,用于将所
述运行状态数据时序输入矩阵通过作为过滤器的卷积神经网络模型以得到运行状态时序关联特征向量;日志语义理解模块150,用于对所述错误日志进行分词处理后通过包含词嵌入层的语义编码器以得到错误日志语义理解特征向量;封装语义匹配融合模块160,用于融合所述运行状态时序关联特征向量和所述错误日志语义理解特征向量以得到分类特征向量;以及,故障类型划分模块170,用于将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示被诊断存储模块的故障类型标签。
46.具体地,在本技术实施例中,所述运行状态监控模块110和所述日志获取模块120,用于获取被诊断存储模块在预定时间段内多个预定时间点的运行状态数据,其中,所述运行状态数据包括温度、电压、电流和传输速率;以及,用于获取所述被诊断存储模块的错误日志。
47.针对上述技术问题,本技术技术构思是综合利用被诊断存储模块在预定时间段内多个预定时间点的运行状态数据(温度、电压、电流和传输速率)和被诊断存储模块的错误日志,并结合深度学习和人工智能技术来自动地对存储系统中的故障进行识别和分类,提高存储故障分析的效率和准确性。
48.具体地,在本技术的技术方案中,首先,获取被诊断存储模块在预定时间段内多个预定时间点的运行状态数据,其中,所述运行状态数据包括温度、电压、电流和传输速率。同时,获取所述被诊断存储模块的错误日志。这里,存储系统的运行状态数据是反映存储系统性能和健康状况的重要指标,可以用于监测和分析存储系统的工作情况,发现和预警存储系统的异常和故障。通过获取被诊断存储模块在预定时间段内多个预定时间点的运行状态数据,可以从多个维度和角度观察存储模块的运行特征,发现运行状态数据的变化趋势和规律,以及与故障类型的关联性。
49.更具体地,温度、电压、电流和传输速率分别反映了存储模块的温度状况、电源状况、电路状况和数据传输状况,对于诊断存储模块的故障有重要的参考价值。此外,错误日志是存储系统中记录故障信息的重要数据源,可以反映出存储模块在运行过程中出现的异常情况,如硬件故障、软件错误、网络问题等。通过分析错误日志,可以了解存储模块的故障原因和影响范围。
50.具体地,在本技术实施例中,所述运行数据排列模块130,用于将所述多个预定时间点的运行状态数据按照时间维度和样本维度排列为运行状态数据时序输入矩阵。接着,将所述多个预定时间点的运行状态数据按照时间维度和样本维度排列为运行状态数据时序输入矩阵。这样,运行状态数据时序输入矩阵可以保留存储模块的运行状态在时间上的变化趋势,反映出故障发生前后的状态差异。
51.具体地,在本技术实施例中,所述运行时序特征提取模块140,用于将所述运行状态数据时序输入矩阵通过作为过滤器的卷积神经网络模型以得到运行状态时序关联特征向量。如前所述,运行状态数据时序输入矩阵包含了被诊断存储模块在不同时间点的多个运行状态参数。这些参数之间可能存在复杂的时空相关性。在本技术的技术方案中,将所述运行状态数据时序输入矩阵通过作为过滤器的卷积神经网络模型以得到运行状态时序关联特征向量。
52.这里,卷积神经网络模型能够有效地提取输入数据中的局部特征,从而实现对输入数据的高层次抽象和表示。具体而言,通过将卷积神经网络模型作为过滤器,可以对运行
状态数据时序输入矩阵进行多层次的卷积操作,从而提取出运行状态数据中的关键特征,如异常波动、趋势变化、周期性规律等,这些特征可以反映出存储模块的运行状况和故障风险。
53.其中,所述运行时序特征提取模块140,用于:使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:对所述输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图;以及,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述作为过滤器的卷积神经网络模型的最后一层的输出为所述运行状态时序关联特征向量,所述作为过滤器的卷积神经网络模型的第一层的输入为所述运行状态数据时序输入矩阵。
54.卷积神经网络(convolutional neural network,cnn)是一种人工神经网络,在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层,其中,隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等,上一层根据输入的数据进行相应的运算,将运算结果输出给下一层,输入的初始数据经过多层的运算之后得到一个最终的结果。
55.卷积神经网络模型利用卷积核作为特征过滤因子在图像局部特征提取方面具有非常优异的性能表现,且相较于传统的基于统计或者基于特征工程的图像特征提取算法,所述卷积神经网络模型具有更强的特征提取泛化能力和拟合能力。
56.具体地,在本技术实施例中,所述日志语义理解模块150,用于对所述错误日志进行分词处理后通过包含词嵌入层的语义编码器以得到错误日志语义理解特征向量。然后,对所述错误日志进行分词处理后通过包含词嵌入层的语义编码器以得到错误日志语义理解特征向量。其中,分词处理是将错误日志中的文本切分为有意义的最小单元,以便于后续的语义分析。分词处理可以提高错误日志的信息密度,去除无关的停用词,减少噪声和冗余。此外,词嵌入层是将分词后的多个词转换为数值向量的过程,以便于后续的模型运算。再者,语义编码器可以对错误日志进行上下文相关的语义理解,并提取错误日志的高层语义特征信息,提高错误日志的语义表示能力。
57.图3为根据本技术实施例的存储故障分析系统中所述日志语义理解模块的框图,如图3所示,所述日志语义理解模块150,包括:分词单元151,用于对所述错误日志进行分词处理以将所述错误日志转化为由多个词组成的词序列;嵌入编码单元152,用于使用所述包含词嵌入层的语义编码器的词嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列;以及,上下文编码单元153,用于使用所述包含词嵌入层的语义编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述错误日志语义理解特征向量。
58.其中,图4为根据本技术实施例的存储故障分析系统中所述上下文编码单元的框图,如图4所示,所述上下文编码单元153,包括:向量构造子单元1531,用于将所述词向量的序列进行一维排列以得到全局词特征向量;自注意子单元1532,用于计算所述全局词特征向量与所述词向量的序列中各个词向量的转置向量之间的乘积以得到多个自注意力关联矩阵;标准化子单元1533,用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵;关注度计算子单元1534,用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过softmax分
类函数以得到多个概率值;以及,注意力施加子单元1535,用于分别以所述多个概率值中各个概率值作为权重对所述词向量的序列中各个词向量进行加权以得到所述错误日志语义理解特征向量。
59.上下文编码器旨在挖掘得到词序列中上下文之间的隐藏模式,可选地,编码器包括:cnn(convolutional neural network,卷积神经网络)、recursive nn(recursiveneural network,递归神经网络)、语言模型(language model)等。基于cnn的方法对于局部特征有比较好的提取效果,但其对于句子中的长程依赖(long-term dependency)问题效果欠佳,因此基于bi-lstm(long short
‑ꢀ
term memory,长短期记忆网络)的编码器被广泛使用。recursive nn把句子当作树状结构而非序列进行处理,从理论上而言具有更强的表示能力,但其存在样本标注难度大、深层易梯度消失、难以并行计算等弱点,因此在实际应用中使用 较少。transformer是应用广泛的网络结构了,同时具有cnn和rnn的特性,对于全局特征有较好的提取效果,同时相较于rnn(recurrentneural network,循环神经网络)在并行计算上具有一定优势。
60.具体地,在本技术实施例中,所述封装语义匹配融合模块160,用于融合所述运行状态时序关联特征向量和所述错误日志语义理解特征向量以得到分类特征向量。如前所述,运行状态时序关联特征向量反映了被诊断存储模块的动态变化情况,错误日志语义理解特征向量反映了被诊断存储模块的异常信息。这两种特征向量分别从不同的角度和维度描述了存储模块的故障特征,在本技术的技术方案中,融合所述运行状态时序关联特征向量和所述错误日志语义理解特征向量以得到一个信息表达更全面和丰富的分类特征向量,能够更好地区分不同类型的故障。
61.在本技术的技术方案中,考虑到所述运行状态时序关联特征向量表达运行状态数据的样本-时序交叉维度下的局部关联语义特征,而所述错误日志语义理解特征向量表达错误日志文本的文本语义编码特征,因此需要在所述运行状态时序关联特征向量和所述错误日志语义理解特征向量的经由神经网络模型得到的深度特征空间内进行特征向量间的基于语义匹配的融合。
62.由此,本技术的申请人对所述运行状态时序关联特征向量,例如记为和所述错误日志语义理解特征向量,例如记为进行深层空间封装语义匹配融合,以得到所述分类特征向量,例如记为,其中,所述分类特征向量具体表示为:以如下优化公式融合所述运行状态时序关联特征向量和所述错误日志语义理解特征向量以得到分类特征向量;其中,所述优化公式为:其中,表示所述运行状态时序关联特征向量,表示所述错误日志语义理解特征向量,和分别表示向量的一范数和二范数,和分别为权重和偏置超参数,表示所述运行状态时序关联特征向量和所述错误日志语义理解特征向
量之间的按位置距离矩阵,且为单位矩阵,表示按位置点乘,表示矩阵相乘,表示按位置加法,表示按位置减法,表示所述分类特征向量。
63.这里,对于深度特征空间中的所述运行状态时序关联特征向量和所述错误日志语义理解特征向量,其语义表达被封装到了深层空间内,这使得特征向量的整体分布中的细粒度特征中同时包含低层级语义分布和高层级语义分布,由此,通过所述深层空间封装语义匹配融合,可以通过平衡低层级语义分布和高层级语义分布来进行分类模式层面的语义级别的匹配,以实现特征在特征空间内的语义受控的编译融合,从而获得所述运行状态时序关联特征向量和所述错误日志语义理解特征向量在特征融合空间内的语义协同,提升了所述分类特征向量对所述运行状态时序关联特征向量和所述错误日志语义理解特征向量的融合效果,也就提升了所述分类特征向量通过分类器得到的分类结果的准确性。
64.具体地,在本技术实施例中,所述故障类型划分模块170,用于将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示被诊断存储模块的故障类型标签。继而,将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示被诊断存储模块的故障类型标签。这里,分类器可以根据输入的特征向量,输出一个预测的类别标签。其中,故障类型标签可以是磁盘故障、控制器故障、电源故障、内存故障、散热问题、数据线故障、软件故障等。在后续应用中,可以根据实际情况对故障类型标签进行添加和删减。通过这样的方式自动地对存储系统中的故障进行识别和分类。
65.图5为根据本技术实施例的存储故障分析系统中所述故障类型划分模块的框图,如图5所示,所述故障类型划分模块170,包括:全连接编码单元171,用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;以及,分类单元172,用于将所述编码分类特征向量通过所述分类器的softmax分类函数以得到所述分类结果。
66.进一步地,所述存储故障分析系统还包括用于对所述作为过滤器的卷积神经网络模型、所述包含词嵌入层的语义编码器和所述分类器进行训练的训练模块;其中,所述训练模块,包括:训练运行状态监控单元,用于获取训练被诊断存储模块在预定时间段内多个预定时间点的训练运行状态数据;训练日志获取单元,用于获取所述训练被诊断存储模块的训练错误日志;训练运行数据排列单元,用于将所述多个预定时间点的训练运行状态数据按照时间维度和样本维度排列为训练运行状态数据时序输入矩阵;训练运行时序特征提取单元,用于将所述训练运行状态数据时序输入矩阵通过所述作为过滤器的卷积神经网络模型以得到训练运行状态时序关联特征向量;训练日志语义理解单元,用于对所述训练错误日志进行分词处理后通过所述包含词嵌入层的语义编码器以得到训练错误日志语义理解特征向量;训练融合单元,用于融合所述训练运行状态时序关联特征向量和所述训练错误日志语义理解特征向量以得到训练分类特征向量;分类损失单元,用于将所述训练分类特征向量通过所述分类器以得到分类损失函数值;以及,训练单元,用于基于所述分类损失函
数值并以梯度下降的反向传播对所述作为过滤器的卷积神经网络模型、所述包含词嵌入层的语义编码器和所述分类器进行训练,其中,在所述训练的每一轮迭代中,对所述分类器的权重矩阵进行特征分布的跨域注意力转移优化。
67.在本技术的技术方案中,考虑到所述运行状态时序关联特征向量表达运行状态数据的样本-时序交叉维度下的局部关联语义特征,而所述错误日志语义理解特征向量表达错误日志文本的文本语义编码特征,因此所述运行状态时序关联特征向量和所述错误日志语义理解特征向量的经由神经网络模型得到的深度特征空间内进行特征向量间的基于语义匹配的融合后,所述分类特征向量会具有多样化的特征表达。
68.这样,当所述分类特征向量通过分类器进行分类时,考虑到多样化的特征分布表达在分类的域转移过程中的分布可转移性差异,例如,当所述分类器的权重矩阵相对于某类特征表达进行适配时,其会具有比另一类特征表达更好的分布可转移性,反之亦然。因此,需要针对所述分类器的权重矩阵对于所述分类特征向量进行自适应优化,以便提升所述分类特征向量通过分类器进行分类训练的训练效果,即,提升分类速度和得到的分类结果的准确性。因此,本技术的申请人在每次分类器的权重矩阵的迭代过程中,对于所述权重矩阵进行特征分布的跨域注意力转移优化。
69.具体地,在本技术实施例中,对所述分类器的权重矩阵进行特征分布的跨域注意力转移优化,包括:以如下转移优化公式对所述分类器的权重矩阵进行特征分布的跨域注意力转移优化以得到优化后的权重矩阵;其中,所述转移优化公式为:其中,是所述权重矩阵,的尺度为,、到是所述权重矩阵的各个行向量,表示特征向量的二范数,表示所述权重矩阵的第行第列的特征值,是对所述权重矩阵的每个行向量的求和值排列得到的行向量,表示矩阵的转置,表示矩阵相乘,和均表示单层卷积操作,是所述优化后的权重矩阵。
70.这里,所述基于特征分布跨域注意力转移优化针对所述分类特征向量的特征分布在特征空间域和分类目标域内存在的不同表示,基于所述分类器的权重矩阵相对于待分类的分类特征向量展开后得到的所述粪便多尺度融合特征向量的跨域多样性特征表示,通过对所述权重矩阵的空间结构化特征分布通过卷积操作给予注意力,来增强多样化特征分布中的良好转移特征分布的跨域间隙的可转移性,同时抑制不良转移特征分布的消极转移(negative transfer),以基于所述权重矩阵自身相对于所述待分类的分类特征向量的分布结构来实现权重矩阵的无监督的域转移自适应优化,从而提升所述分类特征向量通过分类器进行分类训练的训练效果。
71.综上,基于本技术实施例的存储故障分析系统100被阐明,其综合利用被诊断存储
模块在预定时间段内多个预定时间点的运行状态数据(温度、电压、电流和传输速率)和被诊断存储模块的错误日志,并结合深度学习和人工智能技术自动地对存储系统中的故障进行识别和分类,以提高存储故障分析的效率和准确性。
72.如上所述,根据本技术实施例的存储故障分析系统100可以实现在各种终端设备中,例如用于存储故障分析的服务器等。在一个示例中,根据本技术实施例的存储故障分析系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该存储故障分析系统100可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该存储故障分析系统100同样可以是该终端设备的众多硬件模块之一。
73.替换地,在另一示例中,该存储故障分析系统100与该终端设备也可以是分立的设备,并且该存储故障分析系统100可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
74.在本技术的一个实施例中,图6为根据本技术实施例的存储故障分析方法的流程图。如图6所示,根据本技术实施例的存储故障分析方法,其包括:210,获取被诊断存储模块在预定时间段内多个预定时间点的运行状态数据,其中,所述运行状态数据包括温度、电压、电流和传输速率;220,获取所述被诊断存储模块的错误日志;230,将所述多个预定时间点的运行状态数据按照时间维度和样本维度排列为运行状态数据时序输入矩阵;240,将所述运行状态数据时序输入矩阵通过作为过滤器的卷积神经网络模型以得到运行状态时序关联特征向量;250,对所述错误日志进行分词处理后通过包含词嵌入层的语义编码器以得到错误日志语义理解特征向量;260,融合所述运行状态时序关联特征向量和所述错误日志语义理解特征向量以得到分类特征向量;以及,270,将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示被诊断存储模块的故障类型标签。
75.图7为根据本技术实施例的存储故障分析方法的系统架构的示意图。如图7所示,在所述存储故障分析方法的系统架构中,首先,获取被诊断存储模块在预定时间段内多个预定时间点的运行状态数据,其中,所述运行状态数据包括温度、电压、电流和传输速率;然后,获取所述被诊断存储模块的错误日志;接着,将所述多个预定时间点的运行状态数据按照时间维度和样本维度排列为运行状态数据时序输入矩阵;然后,将所述运行状态数据时序输入矩阵通过作为过滤器的卷积神经网络模型以得到运行状态时序关联特征向量;接着,对所述错误日志进行分词处理后通过包含词嵌入层的语义编码器以得到错误日志语义理解特征向量;然后,融合所述运行状态时序关联特征向量和所述错误日志语义理解特征向量以得到分类特征向量;以及,最后,将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示被诊断存储模块的故障类型标签。
76.在一个具体示例中,在上述存储故障分析方法中,将所述运行状态数据时序输入矩阵通过作为过滤器的卷积神经网络模型以得到运行状态时序关联特征向量,包括:使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:对所述输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图;以及,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述作为过滤器的卷积神经网络模型的最后一层的输出为所述运行状态时序关联特征向量,所述作为过滤器的卷积神经网络模型的第一层的输入为所述运行状态数据时序输
入矩阵。
77.在一个具体示例中,在上述存储故障分析方法中,对所述错误日志进行分词处理后通过包含词嵌入层的语义编码器以得到错误日志语义理解特征向,包括:对所述错误日志进行分词处理以将所述错误日志转化为由多个词组成的词序列;使用所述包含词嵌入层的语义编码器的词嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列;以及,使用所述包含词嵌入层的语义编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述错误日志语义理解特征向量。
78.在一个具体示例中,在上述存储故障分析方法中,使用所述包含词嵌入层的语义编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述错误日志语义理解特征向量,包括:将所述词向量的序列进行一维排列以得到全局词特征向量;计算所述全局词特征向量与所述词向量的序列中各个词向量的转置向量之间的乘积以得到多个自注意力关联矩阵;分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵;将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过softmax分类函数以得到多个概率值;以及,分别以所述多个概率值中各个概率值作为权重对所述词向量的序列中各个词向量进行加权以得到所述错误日志语义理解特征向量。
79.在一个具体示例中,在上述存储故障分析方法中,融合所述运行状态时序关联特征向量和所述错误日志语义理解特征向量以得到分类特征向量,包括:以如下优化公式融合所述运行状态时序关联特征向量和所述错误日志语义理解特征向量以得到分类特征向量;其中,所述优化公式为:其中,表示所述运行状态时序关联特征向量,表示所述错误日志语义理解特征向量,和分别表示向量的一范数和二范数,和分别为权重和偏置超参数,表示所述运行状态时序关联特征向量和所述错误日志语义理解特征向量之间的按位置距离矩阵,且为单位矩阵,表示按位置点乘,表示矩阵相乘,表示按位置加法,表示按位置减法,表示所述分类特征向量。
80.在一个具体示例中,在上述存储故障分析方法中,将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示被诊断存储模块的故障类型标签,包括:使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;以及,将所述编码分类特征向量通过所述分类器的softmax分类函数以得到所述分类结果。
81.在一个具体示例中,在上述存储故障分析方法中,还包括:用于对所述作为过滤器的卷积神经网络模型、所述包含词嵌入层的语义编码器和所述分类器进行训练的训练阶段;其中,所述训练阶段,包括:获取训练被诊断存储模块在预定时间段内多个预定时间点的训练运行状态数据;获取所述训练被诊断存储模块的训练错误日志;将所述多个预定时间点的训练运行状态数据按照时间维度和样本维度排列为训练运行状态数据时序输入矩
阵;将所述训练运行状态数据时序输入矩阵通过所述作为过滤器的卷积神经网络模型以得到训练运行状态时序关联特征向量;对所述训练错误日志进行分词处理后通过所述包含词嵌入层的语义编码器以得到训练错误日志语义理解特征向量;融合所述训练运行状态时序关联特征向量和所述训练错误日志语义理解特征向量以得到训练分类特征向量;将所述训练分类特征向量通过所述分类器以得到分类损失函数值;以及,基于所述分类损失函数值并以梯度下降的反向传播对所述作为过滤器的卷积神经网络模型、所述包含词嵌入层的语义编码器和所述分类器进行训练,其中,在所述训练的每一轮迭代中,对所述分类器的权重矩阵进行特征分布的跨域注意力转移优化。
82.在一个具体示例中,在上述存储故障分析方法中,对所述分类器的权重矩阵进行特征分布的跨域注意力转移优化,包括:以如下转移优化公式对所述分类器的权重矩阵进行特征分布的跨域注意力转移优化以得到优化后的权重矩阵;其中,所述转移优化公式为:其中,是所述权重矩阵,的尺度为,、到是所述权重矩阵的各个行向量,表示特征向量的二范数,表示所述权重矩阵的第行第列的特征值,是对所述权重矩阵的每个行向量的求和值排列得到的行向量,表示矩阵的转置,表示矩阵相乘,和均表示单层卷积操作,是所述优化后的权重矩阵。
83.本领域技术人员可以理解,上述存储故障分析方法中的各个步骤的具体操作已经在上面参考图1到图5的存储故障分析系统的描述中得到了详细介绍,并因此,将省略其重复描述。
84.本技术还提供了一种计算机程序产品,所述计算机程序产品包括指令,当所述指令被执行时,以使得装置执行对应于上述方法中的操作。
85.在本技术的一个实施例中,还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述所述方法的计算机程序。
86.应可以理解,本技术的实施例可提供为方法、系统、或计算机程序产品。因此,可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等) 上实施的计算机程序产品的形式。
87.本技术实施例的方法、系统、和计算机程序产品的流程图和/或框图来描述的。应理解可由计算机程序指令实现流程图和/或框图中的每一流程和/或方框、以及流程图和/或框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的装置。
88.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特
定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能。
89.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的步骤。
90.以上结合具体实施例描述了本技术的基本原理,但是,需要指出的是,在本技术中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本技术为必须采用上述具体的细节来实现。
91.本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
92.还需要指出的是,在本技术的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
93.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此,本技术不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
94.最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
95.为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

技术特征:
1.一种存储故障分析系统,其特征在于,包括:运行状态监控模块,用于获取被诊断存储模块在预定时间段内多个预定时间点的运行状态数据,其中,所述运行状态数据包括温度、电压、电流和传输速率;日志获取模块,用于获取所述被诊断存储模块的错误日志;运行数据排列模块,用于将所述多个预定时间点的运行状态数据按照时间维度和样本维度排列为运行状态数据时序输入矩阵;运行时序特征提取模块,用于将所述运行状态数据时序输入矩阵通过作为过滤器的卷积神经网络模型以得到运行状态时序关联特征向量;日志语义理解模块,用于对所述错误日志进行分词处理后通过包含词嵌入层的语义编码器以得到错误日志语义理解特征向量;封装语义匹配融合模块,用于融合所述运行状态时序关联特征向量和所述错误日志语义理解特征向量以得到分类特征向量;以及故障类型划分模块,用于将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示被诊断存储模块的故障类型标签;所述存储故障分析系统用于对所述作为过滤器的卷积神经网络模型、所述包含词嵌入层的语义编码器和所述分类器进行训练的训练模块;其中,所述训练模块,包括:训练运行状态监控单元,用于获取训练被诊断存储模块在预定时间段内多个预定时间点的训练运行状态数据;训练日志获取单元,用于获取所述训练被诊断存储模块的训练错误日志;训练运行数据排列单元,用于将所述多个预定时间点的训练运行状态数据按照时间维度和样本维度排列为训练运行状态数据时序输入矩阵;训练运行时序特征提取单元,用于将所述训练运行状态数据时序输入矩阵通过所述作为过滤器的卷积神经网络模型以得到训练运行状态时序关联特征向量;训练日志语义理解单元,用于对所述训练错误日志进行分词处理后通过所述包含词嵌入层的语义编码器以得到训练错误日志语义理解特征向量;训练融合单元,用于融合所述训练运行状态时序关联特征向量和所述训练错误日志语义理解特征向量以得到训练分类特征向量;分类损失单元,用于将所述训练分类特征向量通过所述分类器以得到分类损失函数值;以及训练单元,用于基于所述分类损失函数值并以梯度下降的反向传播对所述作为过滤器的卷积神经网络模型、所述包含词嵌入层的语义编码器和所述分类器进行训练,其中,在所述训练的每一轮迭代中,对所述分类器的权重矩阵进行特征分布的跨域注意力转移优化;其中,对所述分类器的权重矩阵进行特征分布的跨域注意力转移优化,包括:以如下转移优化公式对所述分类器的权重矩阵进行特征分布的跨域注意力转移优化以得到优化后的权重矩阵;其中,所述转移优化公式为:
其中,是所述权重矩阵,的尺度为,、到是所述权重矩阵的各个行向量,表示特征向量的二范数,表示所述权重矩阵的第行第列的特征值,是对所述权重矩阵的每个行向量的求和值排列得到的行向量,表示矩阵的转置,表示矩阵相乘,和均表示单层卷积操作,是所述优化后的权重矩阵。2.根据权利要求1所述的存储故障分析系统,其特征在于,所述运行时序特征提取模块,用于:使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:对所述输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图;以及对所述池化特征图进行非线性激活以得到激活特征图;其中,所述作为过滤器的卷积神经网络模型的最后一层的输出为所述运行状态时序关联特征向量,所述作为过滤器的卷积神经网络模型的第一层的输入为所述运行状态数据时序输入矩阵。3.根据权利要求2所述的存储故障分析系统,其特征在于,所述日志语义理解模块,包括:分词单元,用于对所述错误日志进行分词处理以将所述错误日志转化为由多个词组成的词序列;嵌入编码单元,用于使用所述包含词嵌入层的语义编码器的词嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列;以及上下文编码单元,用于使用所述包含词嵌入层的语义编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述错误日志语义理解特征向量。4.根据权利要求3所述的存储故障分析系统,其特征在于,所述上下文编码单元,包括:向量构造子单元,用于将所述词向量的序列进行一维排列以得到全局词特征向量;自注意子单元,用于计算所述全局词特征向量与所述词向量的序列中各个词向量的转置向量之间的乘积以得到多个自注意力关联矩阵;标准化子单元,用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵;关注度计算子单元,用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过softmax分类函数以得到多个概率值;以及注意力施加子单元,用于分别以所述多个概率值中各个概率值作为权重对所述词向量的序列中各个词向量进行加权以得到所述错误日志语义理解特征向量。5.根据权利要求4所述的存储故障分析系统,其特征在于,所述封装语义匹配融合模块,用于:以如下优化公式融合所述运行状态时序关联特征向量和所述错误日志语义理解
特征向量以得到分类特征向量;其中,所述优化公式为:其中,表示所述运行状态时序关联特征向量,表示所述错误日志语义理解特征向量,和分别表示向量的一范数和二范数,和分别为权重和偏置超参数,表示所述运行状态时序关联特征向量和所述错误日志语义理解特征向量之间的按位置距离矩阵,且为单位矩阵,表示按位置点乘,表示矩阵相乘,表示按位置加法,表示按位置减法,表示所述分类特征向量。6.根据权利要求5所述的存储故障分析系统,其特征在于,所述故障类型划分模块,包括:全连接编码单元,用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;以及分类单元,用于将所述编码分类特征向量通过所述分类器的softmax分类函数以得到所述分类结果。7.一种存储故障分析方法,其特征在于,包括:获取被诊断存储模块在预定时间段内多个预定时间点的运行状态数据,其中,所述运行状态数据包括温度、电压、电流和传输速率;获取所述被诊断存储模块的错误日志;将所述多个预定时间点的运行状态数据按照时间维度和样本维度排列为运行状态数据时序输入矩阵;将所述运行状态数据时序输入矩阵通过作为过滤器的卷积神经网络模型以得到运行状态时序关联特征向量;对所述错误日志进行分词处理后通过包含词嵌入层的语义编码器以得到错误日志语义理解特征向量;融合所述运行状态时序关联特征向量和所述错误日志语义理解特征向量以得到分类特征向量;以及将所述分类特征向量通过分类器以得到分类结果,所述分类结果用于表示被诊断存储模块的故障类型标签;所述存储故障分析系统用于对所述作为过滤器的卷积神经网络模型、所述包含词嵌入层的语义编码器和所述分类器进行训练的训练阶段;其中,所述训练阶段,包括:获取训练被诊断存储模块在预定时间段内多个预定时间点的训练运行状态数据;获取所述训练被诊断存储模块的训练错误日志;将所述多个预定时间点的训练运行状态数据按照时间维度和样本维度排列为训练运行状态数据时序输入矩阵;
将所述训练运行状态数据时序输入矩阵通过所述作为过滤器的卷积神经网络模型以得到训练运行状态时序关联特征向量;对所述训练错误日志进行分词处理后通过所述包含词嵌入层的语义编码器以得到训练错误日志语义理解特征向量;融合所述训练运行状态时序关联特征向量和所述训练错误日志语义理解特征向量以得到训练分类特征向量;将所述训练分类特征向量通过所述分类器以得到分类损失函数值;以及基于所述分类损失函数值并以梯度下降的反向传播对所述作为过滤器的卷积神经网络模型、所述包含词嵌入层的语义编码器和所述分类器进行训练,其中,在所述训练的每一轮迭代中,对所述分类器的权重矩阵进行特征分布的跨域注意力转移优化;其中,对所述分类器的权重矩阵进行特征分布的跨域注意力转移优化,包括:以如下转移优化公式对所述分类器的权重矩阵进行特征分布的跨域注意力转移优化以得到优化后的权重矩阵;其中,所述转移优化公式为:其中,是所述权重矩阵,的尺度为,、到是所述权重矩阵的各个行向量,表示特征向量的二范数,表示所述权重矩阵的第行第列的特征值,是对所述权重矩阵的每个行向量的求和值排列得到的行向量,表示矩阵的转置,表示矩阵相乘,和均表示单层卷积操作,是所述优化后的权重矩阵。8.根据权利要求7所述的存储故障分析方法,其特征在于,将所述运行状态数据时序输入矩阵通过作为过滤器的卷积神经网络模型以得到运行状态时序关联特征向量,包括:使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行:对所述输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图;以及对所述池化特征图进行非线性激活以得到激活特征图;其中,所述作为过滤器的卷积神经网络模型的最后一层的输出为所述运行状态时序关联特征向量,所述作为过滤器的卷积神经网络模型的第一层的输入为所述运行状态数据时序输入矩阵。

技术总结
本申请涉及智能化分析技术领域,更具体地,涉及一种存储故障分析系统及其方法,包括:运行状态监控模块,日志获取模块,运行数据排列模块,运行时序特征提取模块,日志语义理解模块,封装语义匹配融合模块,以及故障类型划分模块,其综合利用被诊断存储模块在预定时间段内多个预定时间点的运行状态数据(温度、电压、电流和传输速率)和被诊断存储模块的错误日志,并结合深度学习和人工智能技术自动地对存储系统中的故障进行识别和分类,以提高存储故障分析的效率和准确性。故障分析的效率和准确性。故障分析的效率和准确性。


技术研发人员:王建东 曾德
受保护的技术使用者:湖南惟储信息技术有限公司
技术研发日:2023.07.24
技术公布日:2023/8/24
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐