一种基于改进BERT-CNN的电力变压器故障识别方法及系统

一种基于改进bert-cnn的电力变压器故障识别方法及系统
技术领域
1.本发明涉及电力系统技术领域，尤其涉及一种基于改进bert-cnn的电力变压器故障识别方法及系统。


背景技术：

2.电力变压器是电力系统中的重要设备，具有型号多、分布广等特点，是电力系统实现电压变化、配电的重要设备。变压器的任何故障都将直接影响当地电力系统的正常运行，从而危及供电安全。及时识别变压器故障状态对维护电力系统稳定运行具有重要意义。
3.溶解气体分析是目前电力变压器故障诊断中应用最广泛的方法，它可以可靠、准确地识别变压器故障。但在长期的实践积累中，发现溶解气体分析方法不完善，不能包括各种变压器内部故障；对于一些正常的变压器，溶解气体分析往往会产生误判；同时，变压器本身的故障具有模糊性，不能通过溶解气体分析准确识别。


技术实现要素：

4.鉴于此，本发明的实施例提供了一种基于改进bert-cnn的电力变压器故障识别方法，以消除或改善现有技术中存在的一个或更多个缺陷。
5.本发明的一个方面提供了一种基于改进bert-cnn的电力变压器故障识别方法，所述方法的步骤包括：
6.接收运维文档数据，对所述运维文档数据进行分词处理，得到运维词语；
7.将每个所述运维词语数据均输入到预设的bert模型中，所述bert模型输出对应每个运维词语的词语向量；
8.将全部所述词语向量组合为初始词语矩阵，将所述初始词语矩阵分别输入到卷积神经网络模型的多个通道中，所述卷积神经网络模型中每个通道均设置有卷积层和池化层，由每个所述池化层输出更新词语矩阵；
9.将每个通道输出的所述更新词语矩阵进行组合，并输入到所述卷积神经网络模型中的全连接层，所述全连接层输出对应每种电力变压器故障的参数，以所述全连接层输出对应每种电力变压器故障的参数中最大的参数对应的电力变压器故障作为输出故障。
10.采用上述方案，本方法将bert模型和卷积神经网络模型(convolutional neural network，cnn)相结合，通过bert模型对词语进行编码，bert模型由多层双向transformer编码单元组成，编码单元包含自注意力层和前馈神经网络层，自注意力层可以计算不同字之间的关联，以此学整个句子的语法与语法联系，cnn模型通过不同尺度的卷积核，分别对bert模型输出的向量进行处理，利用池化进行特征选择，选取主要特征作为最后的输出特征，精准识别电力变压器故障。
11.在本发明的一些实施方式中，所述卷积神经网络模型中每个通道均设置有顺序连接的卷积层、激活函数层和池化层，各个通道的卷积层的卷积核大小不同。
12.在本发明的一些实施方式中，所述卷积神经网络模型设置有三个通道，第1通道的
卷积核尺寸为2
×
768，输出数量为256；第2通道的卷积核尺寸为3
×
768，输出数量为256；第3通道的卷积核尺寸为4
×
768，输出数量为256。
13.在本发明的一些实施方式中，所述卷积神经网络模型的包括全连接层和随机失活层，所述全连接层包括第一全连接层和第二全连接层，所述随机失活层设置在所述第一全连接层和第二全连接层之间，在将每个通道输出的所述更新词语矩阵进行组合，并输入到所述卷积神经网络模型中的全连接层的步骤中，所述更新词语矩阵输入到第一全连接层，经过随机失活层输入到第二全连接层，以所述第二全连接层进行输出。
14.在本发明的一些实施方式中，在将每个所述运维词语数据均输入到预设的bert模型中的步骤中，预设的所述bert模型为预训练的bert模型，在对bert模型进行预训练的步骤中，采用快速梯度下降算法进行对抗训练。
15.在本发明的一些实施方式中，在对bert模型进行预训练的步骤中，采用全局单词掩码算法进行掩码处理。
16.在本发明的一些实施方式中，所述将全部所述词语向量组合为初始词语矩阵，将所述初始词语矩阵分别输入到卷积神经网络模型的多个通道中的步骤包括：
17.将每个所述词语向量作为矩阵的一个行，将全部所述词语向量组合为一个矩阵，即初始词语矩阵；
18.将所述初始词语矩阵分别输入到卷积神经网络模型的每个通道中，每个通道均单独对所述初始词语矩阵进行处理。
19.在本发明的一些实施方式中，在将每个通道输出的所述更新词语矩阵进行组合，并输入到所述卷积神经网络模型中的全连接层的步骤中，将每个通道输出的所述更新词语矩阵作为一个维度，组合为多维矩阵，将所述多维矩阵输入到所述卷积神经网络模型中的全连接层。
20.在本发明的一些实施方式中，在所述全连接层输出对应每种电力变压器故障的参数的步骤中，所述电力变压器故障的类型包括套管顶部进水、放电、电气故障、放电且绕组变形、内部放电、受潮且放电、外绝缘闪络、绝缘受潮、油室密封渗漏、附件故障、渗漏油、其它-绕组变形、过热兼放电、过热、老化、受潮、绝缘故障、电动机构故障、机械故障与其他故障。
21.本发明的第二方面还提供一种基于改进bert-cnn的电力变压器故障识别系统，所述系统包括：
22.词语获取模块，用于接收运维文档数据，对所述运维文档数据进行分词处理，得到运维词语；
23.词语向量计算模块，用于将每个所述运维词语数据均输入到预设的bert模型中，所述bert模型输出对应每个运维词语的词语向量；
24.更新词语矩阵计算模块，将全部所述词语向量组合为初始词语矩阵，将所述初始词语矩阵分别输入到卷积神经网络模型的多个通道中，所述卷积神经网络模型中每个通道均设置有卷积层和池化层，由每个所述池化层输出更新词语矩阵；
25.故障识别模块，将每个通道输出的所述更新词语矩阵进行组合，并输入到所述卷积神经网络模型中的全连接层，所述全连接层输出对应每种电力变压器故障的参数，以所述全连接层输出对应每种电力变压器故障的参数中最大的参数对应的电力变压器故障作
为输出故障。
26.在本发明的一些实施方式中，所述卷积神经网络模型中每个通道均设置有顺序连接的卷积层、激活函数层和池化层，各个通道的卷积层的卷积核大小不同。
27.在本发明的一些实施方式中，所述卷积神经网络模型设置有三个通道，第1通道的卷积核尺寸为2
×
768，输出数量为256；第2通道的卷积核尺寸为3
×
768，输出数量为256；第3通道的卷积核尺寸为4
×
768，输出数量为256。
28.在本发明的一些实施方式中，所述卷积神经网络模型的包括全连接层和随机失活层，所述全连接层包括第一全连接层和第二全连接层，所述随机失活层设置在所述第一全连接层和第二全连接层之间，在将每个通道输出的所述更新词语矩阵进行组合，并输入到所述卷积神经网络模型中的全连接层的步骤中，所述更新词语矩阵输入到第一全连接层，经过随机失活层输入到第二全连接层，以所述第二全连接层进行输出。
29.在本发明的一些实施方式中，在将每个所述运维词语数据均输入到预设的bert模型中的步骤中，预设的所述bert模型为预训练的bert模型，在对bert模型进行预训练的步骤中，采用快速梯度下降算法进行对抗训练。
30.在本发明的一些实施方式中，在对bert模型进行预训练的步骤中，采用全局单词掩码算法进行掩码处理。
31.在本发明的一些实施方式中，所述将全部所述词语向量组合为初始词语矩阵，将所述初始词语矩阵分别输入到卷积神经网络模型的多个通道中的步骤包括：
32.将每个所述词语向量作为矩阵的一个行，将全部所述词语向量组合为一个矩阵，即初始词语矩阵；
33.将所述初始词语矩阵分别输入到卷积神经网络模型的每个通道中，每个通道均单独对所述初始词语矩阵进行处理。
34.在本发明的一些实施方式中，在将每个通道输出的所述更新词语矩阵进行组合，并输入到所述卷积神经网络模型中的全连接层的步骤中，将每个通道输出的所述更新词语矩阵作为一个维度，组合为多维矩阵，将所述多维矩阵输入到所述卷积神经网络模型中的全连接层。
35.在本发明的一些实施方式中，在所述全连接层输出对应每种电力变压器故障的参数的步骤中，所述电力变压器故障的类型包括套管顶部进水、放电、电气故障、放电且绕组变形、内部放电、受潮且放电、外绝缘闪络、绝缘受潮、油室密封渗漏、附件故障、渗漏油、其它-绕组变形、过热兼放电、过热、老化、受潮、绝缘故障、电动机构故障、机械故障与其他故障。
36.本发明的第三方面还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述基于改进bert-cnn的电力变压器故障识别方法所实现的步骤。
37.本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出并获得。
38.本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
39.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，并不构成对本发明的限定。
40.图1为本发明基于改进bert-cnn的电力变压器故障识别方法一种实施方式的示意图；
41.图2为本发明基于改进bert-cnn的电力变压器故障识别方法的结构示意图；
42.图3为多层双向transformer编码单元的结构示意图；
43.图4为本发明基于改进bert-cnn的电力变压器故障识别系统一种实施方式的示意图。
具体实施方式
44.现有技术介绍
45.油色谱数据是标准结构化数据，随着机器学习技术的发展，许多研究人员将机器学习算法与变压器故障诊断相结合，以提高变压器故障诊断的准确性。niu等人提出了一种基于支持向量机的电力变压器故障诊断方法。wu等人使用支持向量机(svm)分类器结合二叉树形式构建变压器故障诊断模型，并基于该模型提出了电力变压器诊断系统的结构。quan等人采用云模型方法，将样本数据转换为多个定性云概念，构建油色谱状态空间，并进行变压器故障诊断。naderian等人提出，油色谱数据本身无法对变压器系统进行完整评估，变压器的历史信息和其他数据也对评估产生了影响。通过将溶解气体分析(dga)等典型测试结果与维护历史和观察等各种参数相结合，对变压器进行评估。cheng等人通过融合配电变压器的运行数据和故障或缺陷文本，综合了主观初始指标权重、设备老化，并建立了变压器状态评估模型。zhang等人提出了一种具有贝叶斯优化的循环卷积神经网络，以构建变压器文本分类模型并对变压器故障文本数据进行分类。ma等人提出了一种使用深度受限boltzmann机对变压器图像和结构化数据进行综合分析的故障诊断方法。
46.为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
47.在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
48.为解决以上问题，如图1所示，本发明提出一种基于改进bert-cnn的电力变压器故障识别方法，所述方法步骤包括：
49.步骤s100，接收运维文档数据，对所述运维文档数据进行分词处理，得到运维词语；
50.在具体实施过程中，所述运维文档数据可以示例为：
[0051]“2016年11月21日，试化验班技术人员在对110kv栏杆变#1主变色谱分析时，发现主变油中含有痕量乙炔c2h2，含量为0.28μl/l。随后进行持续跟踪复测分析，c2h2成缓慢增长的态势，2016年11月25日c2h2含量达到最大值3.52μl/l”。
[0052]
在具体实施过程中，在对所述运维文档数据进行分词处理的步骤中，可以采用
jieba分词进行分词处理。
[0053]
步骤s200，将每个所述运维词语数据均输入到预设的bert模型中，所述bert模型输出对应每个运维词语的词语向量；
[0054]
在具体实施过程中，bert(bidirectional encoder representations from transformers)模型是一种基于transformer架构的预训练自然语言处理(nlp)模型。它在许多nlp任务中表现出色，如问答、文本分类、命名实体识别等。bert的主要特点是其双向性，即同时处理输入文本的上下文信息。bert的核心思想是使用无监督的预训练方法学习词汇表和句子表示。在预训练阶段，模型首先随机生成一个由多个单词组成的句子，然后将这个句子输入到transformer中进行编码。接下来，模型会解码器中预测下一个单词，并将这个过程反向传播回编码器，以便更新模型参数。重复这个过程n次，直到达到预定的停止条件。
[0055]
如图2和3所示，在具体实施过程中，bert模型由多层双向transformer编码单元组成，编码单元包含自注意力层和前馈神经网络层，自注意力层可以计算不同字之间的关联，以此学整个句子的语法与语法联系，自注意力层会随机初始化三个向量q、k和v，用自身q值与每一个字的k值做向量乘法；将得到的结果除以常数后，进行softmax操作，以此得到该字相对于在句字中位置的相关性大小；最后，将v值与上述结果相乘，就得到最终评分。
[0056]
多层双向transformer编码单元的结构如图3所示。
[0057]
bert采用multi-headattention的方法对每一个输入到序列的字进行多次自注意力机制操作。
[0058]
步骤s300，将全部所述词语向量组合为初始词语矩阵，将所述初始词语矩阵分别输入到卷积神经网络模型的多个通道中，所述卷积神经网络模型中每个通道均设置有卷积层和池化层，由每个所述池化层输出更新词语矩阵；
[0059]
在具体实施过程中，卷积神经网络模型(convolutional neural network，cnn)是一种深度学习模型，主要用于图像识别和分类任务。
[0060]
步骤s400，将每个通道输出的所述更新词语矩阵进行组合，并输入到所述卷积神经网络模型中的全连接层，所述全连接层输出对应每种电力变压器故障的参数，以所述全连接层输出对应每种电力变压器故障的参数中最大的参数对应的电力变压器故障作为输出故障。
[0061]
采用上述方案，本方法将bert模型和cnn模型相结合，通过bert模型对词语进行编码，bert模型由多层双向transformer编码单元组成，编码单元包含自注意力层和前馈神经网络层，自注意力层可以计算不同字之间的关联，以此学整个句子的语法与语法联系，cnn模型通过不同尺度的卷积核，分别对bert模型输出的向量进行处理，利用池化进行特征选择，选取主要特征作为最后的输出特征，精准识别电力变压器故障。
[0062]
在本发明的一些实施方式中，所述卷积神经网络模型中每个通道均设置有顺序连接的卷积层、激活函数层和池化层，各个通道的卷积层的卷积核大小不同。
[0063]
在具体实施过程中，所述激活函数采用relu激活函数，所述池化层采用最大池化处理。
[0064]
在本发明的一些实施方式中，所述卷积神经网络模型设置有三个通道，第1通道的卷积核尺寸为2
×
768，输出数量为256；第2通道的卷积核尺寸为3
×
768，输出数量为256；第
3通道的卷积核尺寸为4
×
768，输出数量为256。
[0065]
在本发明的一些实施方式中，所述cnn模型的包括全连接层和随机失活层，所述全连接层包括第一全连接层和第二全连接层，所述随机失活层设置在所述第一全连接层和第二全连接层之间，在将每个通道输出的所述更新词语矩阵进行组合，并输入到所述cnn模型中的全连接层的步骤中，所述更新词语矩阵输入到第一全连接层，经过随机失活层输入到第二全连接层，以所述第二全连接层进行输出。
[0066]
卷积神经网络(convolutional neural network,cnn)是前馈神经网络之一，cnn能够对文本的局部特征进行学习。本文通过设计不同大小的卷积核来提取不同特征。同时，为了解决深层卷积为神经网络带来的饱和问题，通过使用多个不同尺度的卷积核，可以提取不同尺度的特征，采用多尺度卷积核的方法，可以更好的提取隐藏特征和局部特征。
[0067]
采用上述方案，本方案本文设计了三个通道分别提取不同的关键语义特征。第1通道的卷积核尺寸为2
×
768，输出数量为256；第2通道的卷积核尺寸为3
×
768，输出数量为256；第3通道的卷积核尺寸为4
×
768，输出数量为256，之后模型利用最大池化方式进行特征选择,选取主要特征作为最后的输出特征。经最大池化层后，模型加入随机失活层来缓解过拟合的发生，在一定程度上达到正则化的效果。最后将所得到的所有向量输入到一个全连接层,全连接层的输出维度等于分类数目。
[0068]
在本发明的一些实施方式中，在将每个所述运维词语数据均输入到预设的bert模型中的步骤中，预设的所述bert模型为预训练的bert模型，在对bert模型进行预训练的步骤中，采用快速梯度下降算法进行对抗训练。
[0069]
快速梯度下降(fast gradient method，fgm)是一种基于梯度下降的优化算法，用于求解大规模非线性函数的最优化问题。
[0070]
在具体实施过程中，对抗训练是一种在训练过程中通过人为引入噪声的方式，以达到提升模型鲁棒性与泛化能力的目的。变压器数据部分故障样本相对一些常见故障种类，其故障数量较少，这就要求我们的模型有较好的泛化能力与鲁棒性。为此，我们采用了fgm(fast sign method)算法来进行对抗训练，其核心思想是在嵌入层人为加入干扰，通过这种方法得到的对抗样本再反馈给原始模型。其中扰动值r
adv
的计算公式如式。
[0071]radv
＝∈g/∥g∥2[0072]
其中，ε为缩放因子，g为损失函数关于x的偏导，即梯度。
[0073]
在具体实施过程中，fgm算法的执行过程为：
[0074]
1.计算自变量的前向loss、反向传播得到梯度；
[0075]
2.根据embedding矩阵的梯度计算出扰动值，并加到当前embedding上，相当于自变量+扰动值；
[0076]
3.计算自变量+扰动值的前向loss，反向传播得到对抗的梯度，累加到步骤1的梯度上；
[0077]
4.将embedding恢复为步骤1时的值；
[0078]
5.根据步骤3的梯度对参数进行更新；
[0079]
6.重复上述过程，直到训练结束。
[0080]
在本发明的一些实施方式中，在对bert模型进行预训练的步骤中，采用全局单词掩码算法进行掩码处理。
[0081]
在具体实施过程中，本方案将全局单词掩码(whole word masking，wwm)算法应用在了预训练过程中，原始bert模型会在对句子进行上下文预测过程中，掩盖掉其中15％的字，将被掩盖字所在的词全部掩盖，转为预测词。使用该方法提升了整体模型对于上下文的理解能力，同时获得蕴含这更多语义信息的字向量。
[0082]
在本发明的一些实施方式中，所述将全部所述词语向量组合为初始词语矩阵，将所述初始词语矩阵分别输入到卷积神经网络模型的多个通道中的步骤包括：
[0083]
将每个所述词语向量作为矩阵的一个行，将全部所述词语向量组合为一个矩阵，即初始词语矩阵；
[0084]
将所述初始词语矩阵分别输入到卷积神经网络模型的每个通道中，每个通道均单独对所述初始词语矩阵进行处理。
[0085]
在本发明的一些实施方式中，在将每个通道输出的所述更新词语矩阵进行组合，并输入到所述卷积神经网络模型中的全连接层的步骤中，将每个通道输出的所述更新词语矩阵作为一个维度，组合为多维矩阵，将所述多维矩阵输入到所述卷积神经网络模型中的全连接层。
[0086]
在本发明的一些实施方式中，在所述全连接层输出对应每种电力变压器故障的参数的步骤中，所述电力变压器故障的类型包括套管顶部进水、放电、电气故障、放电且绕组变形、内部放电、受潮且放电、外绝缘闪络、绝缘受潮、油室密封渗漏、附件故障、渗漏油、其它-绕组变形、过热兼放电、过热、老化、受潮、绝缘故障、电动机构故障、机械故障与其他故障。
[0087]
本方案算法的具体结构如图2所示。该方法在油色谱数据的基础上，融入变压器工况，制造商数据，运维数据等，通过有监督学习拟合中文bert中查询向量、键向量、值向量映射矩阵等关键参数，来提取各变压器故障的全局语义向量。同时为了获得不同层次蕴含的有效信息,设计了多尺度卷积模块,在不同尺度上提取关键语义特征。其次，考虑变压器故障描述样本种类多且数量不均衡特点，提出引入对抗学习的思想，在模型中使用fgm算法，来提升模型鲁棒性和泛化能力。结果证明该模型有效的实现了多种类变压器故障诊断的准确识别。
[0088]
图2中，x1、x2
……
xn表示运维词语，e1、e2
……
en表示运维词语在bert模型第一个transformer层转化的词向量，trm表示transformer编码单元，t1、t2
……
tn表示词语向量。
[0089]
采用上述方案，安全、经济、优质的电力运输是现代电力系统运行的基本要求。电力变压器是电力系统中的重要设备。它类型多样，型号多变，布局广泛。面对更多类型和更复杂的变压器故障，为了实现更全面和准确的变压器故障识别和分类，为了实现更全面、准确的变压器故障识别和分类，本方案提出的方案，能够实现变压器故障的准确识别，对各种变压器故障数据的实验表明，该模型能够有效地实现多类型变压器故障诊断的准确识别。
[0090]
实验例
[0091]
实验环境如下：cpu为intel(r)core(tm)i7-6850k cpu@3.60ghz,15mb l3，gpu为nvidia 1080ti，11gb，模型的训练与测试均在基于ubuntu16.04操作系统的深度学习服务器上进行，编程语言主要为python3.7，框架为pytorch1.1.0，使用numpy、matplotlib等常用的计算库和视觉库来进行结果可视化和辅助计算。
[0092]
本次实验的参数设置如下：bert隐藏层单元数为768,batch＿size为16，学习率设
置为0.0001,epoch为20，测试集与训练集划分采用sklearn的train_test_split函数，并按照8:2的比例进行切分。
[0093]
为论证本方案，收集322个变压站的部分变压器故障数据。其中变压器的等级有110kv、220kv、330kv、500kv、750kv和66kv等。选取常见的19种故障类型，包含：套管顶部进水、放电、电气故障、放电且绕组变形、内部放电、受潮且放电、外绝缘闪络、绝缘受潮、油室密封渗漏、附件故障、渗漏油、其它-绕组变形、过热兼放电、过热、老化、受潮、绝缘故障、电动机构故障、机械故障与其他故障。
[0094]
本实验采用分类领域常用的f1值作为模型评价指标。综合评价指标(f-measure)是准确率和召回率的调和平均值。precision(p)是检测出某类特征的数量与检测出的所有特征数量之间的比率，衡量的是模型的查准率。recall(r)是指检测出的某类特征的数量和数据集中所有的该类特征数量的比率，衡量的是检索系统的查全率。f1计算公式如式所示,这种方式可以部分消除多标签文本分类因为数据不平衡带来的影响。
[0095][0096]
表1显示了对于电力变压器数据集的不同算法的f1值的比较。结果表明，本文提出的算法有效的提高了故障诊断的识别效果和识别精度。相对于bert模型，bert-wwm的f1值提升了2％，引入cnn方法进行局部特征提取，使得模型f1值略有提升。加入fgm的识别模型，其f1值在bert-wwm-cnn模型基础上提升了1.2％，相对于原始bert模型提升了4.8％。综上所述，加入对抗训练的bert-wwm-cnn模型，即本方案能够提升在变压器故障文本上的故障诊断的准确性以及模型的稳定性。
[0097]
表1
[0098][0099][0100]
通过表1可知本方案的故障识别模型，解决了因电力变压器故障种类复杂，样本分布不均导致的机器学习效果不佳问题。
[0101]
如图4所示，本发明的第二方面还提供一种基于改进bert-cnn的电力变压器故障识别系统，所述系统包括：
[0102]
词语获取模块，用于接收运维文档数据，对所述运维文档数据进行分词处理，得到运维词语；
[0103]
词语向量计算模块，用于将每个所述运维词语数据均输入到预设的bert模型中，所述bert模型输出对应每个运维词语的词语向量；
[0104]
更新词语矩阵计算模块，将全部所述词语向量组合为初始词语矩阵，将所述初始词语矩阵分别输入到卷积神经网络模型的多个通道中，所述卷积神经网络模型中每个通道
均设置有卷积层和池化层，由每个所述池化层输出更新词语矩阵；
[0105]
故障识别模块，将每个通道输出的所述更新词语矩阵进行组合，并输入到所述卷积神经网络模型中的全连接层，所述全连接层输出对应每种电力变压器故障的参数，以所述全连接层输出对应每种电力变压器故障的参数中最大的参数对应的电力变压器故障作为输出故障。
[0106]
在本发明的一些实施方式中，所述卷积神经网络模型中每个通道均设置有顺序连接的卷积层、激活函数层和池化层，各个通道的卷积层的卷积核大小不同。
[0107]
在本发明的一些实施方式中，所述卷积神经网络模型设置有三个通道，第1通道的卷积核尺寸为2
×
768，输出数量为256；第2通道的卷积核尺寸为3
×
768，输出数量为256；第3通道的卷积核尺寸为4
×
768，输出数量为256。
[0108]
在本发明的一些实施方式中，所述卷积神经网络模型的包括全连接层和随机失活层，所述全连接层包括第一全连接层和第二全连接层，所述随机失活层设置在所述第一全连接层和第二全连接层之间，在将每个通道输出的所述更新词语矩阵进行组合，并输入到所述卷积神经网络模型中的全连接层的步骤中，所述更新词语矩阵输入到第一全连接层，经过随机失活层输入到第二全连接层，以所述第二全连接层进行输出。
[0109]
在本发明的一些实施方式中，在将每个所述运维词语数据均输入到预设的bert模型中的步骤中，预设的所述bert模型为预训练的bert模型，在对bert模型进行预训练的步骤中，采用快速梯度下降算法进行对抗训练。
[0110]
在本发明的一些实施方式中，在对bert模型进行预训练的步骤中，采用全局单词掩码算法进行掩码处理。
[0111]
在本发明的一些实施方式中，所述将全部所述词语向量组合为初始词语矩阵，将所述初始词语矩阵分别输入到卷积神经网络模型的多个通道中的步骤包括：
[0112]
将每个所述词语向量作为矩阵的一个行，将全部所述词语向量组合为一个矩阵，即初始词语矩阵；
[0113]
将所述初始词语矩阵分别输入到卷积神经网络模型的每个通道中，每个通道均单独对所述初始词语矩阵进行处理。
[0114]
在本发明的一些实施方式中，在将每个通道输出的所述更新词语矩阵进行组合，并输入到所述卷积神经网络模型中的全连接层的步骤中，将每个通道输出的所述更新词语矩阵作为一个维度，组合为多维矩阵，将所述多维矩阵输入到所述卷积神经网络模型中的全连接层。
[0115]
在本发明的一些实施方式中，在所述全连接层输出对应每种电力变压器故障的参数的步骤中，所述电力变压器故障的类型包括套管顶部进水、放电、电气故障、放电且绕组变形、内部放电、受潮且放电、外绝缘闪络、绝缘受潮、油室密封渗漏、附件故障、渗漏油、其它-绕组变形、过热兼放电、过热、老化、受潮、绝缘故障、电动机构故障、机械故障与其他故障。
[0116]
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述基于改进bert-cnn的电力变压器故障识别方法所实现的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、软盘、硬盘、可移动存储盘、cd-rom、
或技术领域内所公知的任意其它形式的存储介质。
[0117]
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
[0118]
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，做出各种改变、修改和添加，或者改变步骤之间的顺序。
[0119]
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
[0120]
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于改进bert-cnn的电力变压器故障识别方法，其特征在于，所述方法的步骤包括：接收运维文档数据，对所述运维文档数据进行分词处理，得到运维词语；将每个所述运维词语数据均输入到预设的bert模型中，所述bert模型输出对应每个运维词语的词语向量；将全部所述词语向量组合为初始词语矩阵，将所述初始词语矩阵分别输入到卷积神经网络模型的多个通道中，所述卷积神经网络模型中每个通道均设置有卷积层和池化层，由每个所述池化层输出更新词语矩阵；将每个通道输出的所述更新词语矩阵进行组合，并输入到所述卷积神经网络模型中的全连接层，所述全连接层输出对应每种电力变压器故障的参数，以所述全连接层输出对应每种电力变压器故障的参数中最大的参数对应的电力变压器故障作为输出故障。2.根据权利要求1所述的基于改进bert-cnn的电力变压器故障识别方法，其特征在于，所述卷积神经网络模型中每个通道均设置有顺序连接的卷积层、激活函数层和池化层，各个通道的卷积层的卷积核大小不同。3.根据权利要求2所述的基于改进bert-cnn的电力变压器故障识别方法，其特征在于，所述卷积神经网络模型设置有三个通道，第1通道的卷积核尺寸为2
×
768，输出数量为256；第2通道的卷积核尺寸为3
×
768，输出数量为256；第3通道的卷积核尺寸为4
×
768，输出数量为256。4.根据权利要求1-3任一项所述的基于改进bert-cnn的电力变压器故障识别方法，其特征在于，所述卷积神经网络模型的包括全连接层和随机失活层，所述全连接层包括第一全连接层和第二全连接层，所述随机失活层设置在所述第一全连接层和第二全连接层之间，在将每个通道输出的所述更新词语矩阵进行组合，并输入到所述卷积神经网络模型中的全连接层的步骤中，所述更新词语矩阵输入到第一全连接层，经过随机失活层输入到第二全连接层，以所述第二全连接层进行输出。5.根据权利要求1所述的基于改进bert-cnn的电力变压器故障识别方法，其特征在于，在将每个所述运维词语数据均输入到预设的bert模型中的步骤中，预设的所述bert模型为预训练的bert模型，在对bert模型进行预训练的步骤中，采用快速梯度下降算法进行对抗训练。6.根据权利要求1所述的基于改进bert-cnn的电力变压器故障识别方法，其特征在于，在对bert模型进行预训练的步骤中，采用全局单词掩码算法进行掩码处理。7.根据权利要求1所述的基于改进bert-cnn的电力变压器故障识别方法，其特征在于，所述将全部所述词语向量组合为初始词语矩阵，将所述初始词语矩阵分别输入到卷积神经网络模型的多个通道中的步骤包括：将每个所述词语向量作为矩阵的一个行，将全部所述词语向量组合为一个矩阵，即初始词语矩阵；将所述初始词语矩阵分别输入到卷积神经网络模型的每个通道中，每个通道均单独对所述初始词语矩阵进行处理。8.根据权利要求1所述的基于改进bert-cnn的电力变压器故障识别方法，其特征在于，在将每个通道输出的所述更新词语矩阵进行组合，并输入到所述卷积神经网络模型中的全
连接层的步骤中，将每个通道输出的所述更新词语矩阵作为一个维度，组合为多维矩阵，将所述多维矩阵输入到所述卷积神经网络模型中的全连接层。9.根据权利要求1所述的基于改进bert-cnn的电力变压器故障识别方法，其特征在于，在所述全连接层输出对应每种电力变压器故障的参数的步骤中，所述电力变压器故障的类型包括套管顶部进水、放电、电气故障、放电且绕组变形、内部放电、受潮且放电、外绝缘闪络、绝缘受潮、油室密封渗漏、附件故障、渗漏油、其它-绕组变形、过热兼放电、过热、老化、受潮、绝缘故障、电动机构故障、机械故障与其他故障。10.一种基于改进bert-cnn的电力变压器故障识别系统，其特征在于，所述系统包括：词语获取模块，用于接收运维文档数据，对所述运维文档数据进行分词处理，得到运维词语；词语向量计算模块，用于将每个所述运维词语数据均输入到预设的bert模型中，所述bert模型输出对应每个运维词语的词语向量；更新词语矩阵计算模块，将全部所述词语向量组合为初始词语矩阵，将所述初始词语矩阵分别输入到卷积神经网络模型的多个通道中，所述卷积神经网络模型中每个通道均设置有卷积层和池化层，由每个所述池化层输出更新词语矩阵；故障识别模块，将每个通道输出的所述更新词语矩阵进行组合，并输入到所述卷积神经网络模型中的全连接层，所述全连接层输出对应每种电力变压器故障的参数，以所述全连接层输出对应每种电力变压器故障的参数中最大的参数对应的电力变压器故障作为输出故障。11.根据权利要求10所述的基于改进bert-cnn的电力变压器故障识别系统，其特征在于，所述卷积神经网络模型中每个通道均设置有顺序连接的卷积层、激活函数层和池化层，各个通道的卷积层的卷积核大小不同。12.根据权利要求11所述的基于改进bert-cnn的电力变压器故障识别系统，其特征在于，所述卷积神经网络模型设置有三个通道，第1通道的卷积核尺寸为2
×
768，输出数量为256；第2通道的卷积核尺寸为3
×
768，输出数量为256；第3通道的卷积核尺寸为4
×
768，输出数量为256。13.根据权利要求10-12任一项所述的基于改进bert-cnn的电力变压器故障识别系统，其特征在于，所述卷积神经网络模型的包括全连接层和随机失活层，所述全连接层包括第一全连接层和第二全连接层，所述随机失活层设置在所述第一全连接层和第二全连接层之间，在将每个通道输出的所述更新词语矩阵进行组合，并输入到所述卷积神经网络模型中的全连接层的步骤中，所述更新词语矩阵输入到第一全连接层，经过随机失活层输入到第二全连接层，以所述第二全连接层进行输出。14.根据权利要求10所述的基于改进bert-cnn的电力变压器故障识别系统，其特征在于，在将每个所述运维词语数据均输入到预设的bert模型中的步骤中，预设的所述bert模型为预训练的bert模型，在对bert模型进行预训练的步骤中，采用快速梯度下降算法进行对抗训练。15.根据权利要求10所述的基于改进bert-cnn的电力变压器故障识别系统，其特征在于，在对bert模型进行预训练的步骤中，采用全局单词掩码算法进行掩码处理。16.根据权利要求10所述的基于改进bert-cnn的电力变压器故障识别系统，其特征在
于，所述将全部所述词语向量组合为初始词语矩阵，将所述初始词语矩阵分别输入到卷积神经网络模型的多个通道中的步骤包括：将每个所述词语向量作为矩阵的一个行，将全部所述词语向量组合为一个矩阵，即初始词语矩阵；将所述初始词语矩阵分别输入到卷积神经网络模型的每个通道中，每个通道均单独对所述初始词语矩阵进行处理。17.根据权利要求10所述的基于改进bert-cnn的电力变压器故障识别系统，其特征在于，在将每个通道输出的所述更新词语矩阵进行组合，并输入到所述卷积神经网络模型中的全连接层的步骤中，将每个通道输出的所述更新词语矩阵作为一个维度，组合为多维矩阵，将所述多维矩阵输入到所述卷积神经网络模型中的全连接层。18.根据权利要求10所述的基于改进bert-cnn的电力变压器故障识别系统，其特征在于，在所述全连接层输出对应每种电力变压器故障的参数的步骤中，所述电力变压器故障的类型包括套管顶部进水、放电、电气故障、放电且绕组变形、内部放电、受潮且放电、外绝缘闪络、绝缘受潮、油室密封渗漏、附件故障、渗漏油、其它-绕组变形、过热兼放电、过热、老化、受潮、绝缘故障、电动机构故障、机械故障与其他故障。

技术总结
本发明提供一种基于改进BERT-CNN的电力变压器故障识别方法及系统，所述方法的步骤包括：接收运维文档数据，对所述运维文档数据进行分词处理，得到运维词语；将每个所述运维词语数据均输入到预设的BERT模型中，所述BERT模型输出对应每个运维词语的词语向量；将全部所述词语向量组合为初始词语矩阵，将所述初始词语矩阵分别输入到CNN模型的多个通道中，所述CNN模型中每个通道均设置有卷积层和池化层，由每个所述池化层输出更新词语矩阵；将每个通道输出的所述更新词语矩阵进行组合，并输入到所述CNN模型中的全连接层，所述全连接层输出对应每种电力变压器故障的参数，以最大的参数对应的电力变压器故障作为输出故障。本方法能精准识别电力变压器故障。精准识别电力变压器故障。精准识别电力变压器故障。


技术研发人员：黄建业 雷龙武 郑州 刘冰倩 廖飞龙 武欣欣 林爽 谢炜 周晨曦 李书芳 邢彦元 侯雪峰
受保护的技术使用者：北京邮电大学
技术研发日：2023.06.06
技术公布日：2023/10/15