一种基于联邦学习的电力数据异常检测方法

1.本发明涉及数据识别技术、电力系统及其自动化领域，特别是一种基于联邦学习的电力数据异常检测方法。


背景技术：

2.电力系统实时运行数据具备反映电力系统当前运行状态与未来发展趋势的潜在能力。对于传统的电力异常侦测方法而言，其必须经由搜集电器的历史电力信息以建立参考电力信息样本。然而，为了建立准确的参考电力信息样本，传统的电力异常侦测方法所搜集的历史电力信息必须考虑季节、时间、温度对于各别电器的影响，致使电器的历史电力信息的搜集过程冗长且繁琐。
3.随着电力系统智能化的迅速发展，电力系统中嵌入各类传感器的规模不断扩大，这使得感知层采集的数据种类更加细化，待处理的数据急剧增加。据不完全统计，单个城市每天采集的电网业务数据就可达到pb级。总体上看，电力系统实时运行数据具备数据采集装置多、采集频率高﹑数据规模大﹑数据类型复杂等特点。其采集的数据为典型的时间序列数据。充分利用电力时序数据，采用适当的技术进行异常检测以及时发现电力系统中存在的故障，可以为电力系统高效、安全运行提供决策和辅助支持。
4.与本发明较为接近的现有技术包括申请号为20130416182.6的专利，该申请公开了《一种电力异常波动检测和预测计算方法》，其基于突变点分析和隐马尔可夫模型集成算法电力能耗进行实时检测，且能够预测计算未来时刻的电力能耗区间的合理区间范围；申请号为202110976109.9的专利公开了《一种基于电力扰动数据的配电网异常事件识别方法及系统》，其提取电力扰动数据四个及以上特征，通过特征之间的对比实现了对异常事件的快速识别、分类和溯源；申请号为201910604895.2的专利公开了《一种基于机器学习的大规模电力异常数据检测方法及系统》，其利用多层感知机神经网络模型，实现了对异常数据的有效检测。上述专利讨论了造成电力数据异常的原因，包括各类事件引起的电量波动、数据量急剧增加、数据传递和处理速度加快等，并针对电压电流、功率因数、开关信号等不同类型的数据提出了检测方法，但现有的故障检测方法都是直接利用获取的数据进行检测，未进行不同企业间的联合学习。
5.另外，无监督多维时间序列异常检测方法大致可以分为两类：基于重构的异常检测方法和基于预测的异常检测方法。基于重构的异常检测方法无法同时有效学习到指标度量间表示和时间依赖性，导致对于多维时序数据的重构不够充分，重构误差作为异常评分的效果不显著；基于预测的异常检测方法，由于复杂多维时间序列的不可预测性，导致其异常检测误报率偏高。
6.因此，亟需一种新的电力数据异常检测方法，以克服现有技术中存在的缺陷。


技术实现要素：

7.发明目的：本发明的目的是提供一种基于联邦学习的电力数据异常检测方法，通
过在时域卷积网络中引入自注意力机制同时捕获数据局部特征和全局特征，并构建信息融合模块对这俩种特征进行信息融合，客户端数据学习完后上传参数到服务器端，服务器端再分发模型到各个本地端，捕获更加充分的时序重构信息，从而实现更有效的多维时间序列异常检测。
8.技术方案：本发明所述的一种基于联邦学习的电力数据异常检测方法，包括以下步骤：
9.(1)故障检测数据预处理：建立多维时间序列客户端；数据预处理；构建时间窗口。
10.(1.1)建立多维时间序列客户端。
11.一个多维时间序列是等时间间隔采样多维时间变量形成的长度为t的时间戳序列，x＝(x1,x2,
…
,x
t
)；时间观测点x
t
是在时间戳t下获取的多维数据，x
t
∈rm,t∈{1,2,
…
,t}，m为数据的维度，所述多维数据都从不同层面反映了设备状态信息；在客户端中，给定一个时间序列x，需要给出对应的异常标签序列，至此，多维时间序列异常检测的客户端建立完成。
12.(1.2)数据预处理。
13.对于客户端的多维时间序列数据采用最大值最小值标准化，将数据映射到[0，1]之间，标准化函数如下：
[0014][0015]
其中，x
t
是t时刻的收集到的配电站的相关特征参数，x
max
是收集到的样本参数中的最大值，x
min
是是收集到的样本参数中的最小值，是t时刻收集到的配电站的相关特征参数标准化结果，α是为了避免分母为0而设置的一个很小的常向量。
[0016]
(1.3)构建时间窗口。
[0017]
考虑到时间观测点x
t
和历史时间点的依赖关系，构建一个长度为n的时间窗口：
[0018]wt
＝(x
t-n+1
,x
t-n+2
,...,x
t
)
ꢀꢀꢀ
(2)
[0019]
式中，x
t
是t时刻的收集到的配电站的相关特征参数，x
t-n+1
为该时间窗口的起始位置。
[0020]
为了避免短时序窗口对模型序列正常模式重构的影响，对于t《n的时间观测点x
t
，由于没有足够的信息判断其异常程度，将其视为正常时间点，将多维时间序列x转化为滑动窗口序列w为模型输入。
[0021]
(2)基于时域卷积神经网络、自注意力机制，建立本地模型：模型输入初始化；单层融合编码器运算；解码运算；构建模型损失函数；进行异常评分；更新局部模型参数。
[0022]
(2.1)模型输入初始化。
[0023]
多层融合编码器的堆积有利于学习到更深层次的潜在时间序列关联性；假定存在l层的融合编码器，输入长度为n的时间序列窗口w∈rm，对于第l层的计算过程以及模型初始输入用方程形式化如下：
[0024]
[0025]
式中，分别为融合编码器的2个输入，表示第l+1层融合编码器的输入，其中l∈{1,2,
…
,l}，d
model
表示特征空间向量的维，是经过融合编码器处理后的值，fusionencoder代表融合编码器，layernorm函数代表归一化，是融合编码器输入解码器前馈网络的值，convld代表卷积操作，feedforward代表前馈网络。
[0026]
(2.2)单层融合编码器运算。
[0027]
将时间滑动窗口w作为模型的2个相同输入z1、z2，此时，对于融合编码器而言分别存在2个输入和2个输出；通过时域卷积神经网络和自注意力机制进行矩阵乘法获取每个时间点相较于其他时间点的注意力权重；由公式(3)得到第l层编码器的输入，进而通过时域卷积网络和自注意力进行信息提取，并通过十字绣单元进行提取特征的信息融合；具体公式如(4)所示：
[0028][0029]
式中，q、k、v分别代表自注意力计算中的查询、键值以及值，由自注意力模块的输入z2和3个线性变换矩阵wq、wk、wv进行线性变换得到；m代表自注意力矩阵；softmax函数代表归一化处理，temporalblock函数代表时域卷积操作；i1是时域卷积在添加自注意力矩阵信息后的隐层表示，i2是时域卷积在添加自注意力模块处理后的隐层表示，o1和o2是z1和z2经过单层融合编码器的结果；γ
11
、γ
12
、γ
21
、γ
22
为权重参数。
[0030]
(2.3)解码运算。
[0031]
解码器由2个解码部分分别对第l层融合编码器最后输出的2个隐层特征进行解码；第1个解码部分为反时域卷积层，通过采用转置卷积替换时域卷积残差块中的膨胀因果卷积实现，第2个解码部分由单层的前馈神经网络层以及函数sigmoid组成；十字绣单元对侧重提取局部数据依赖和侧重提取全局数据关联的2种特征表示进行信息融合。
[0032]
(2.4)构建模型损失函数。
[0033]
重构误差损失，模型损失函数为：
[0034]
α
×
||w-c1||+β
×
||w-c2||
ꢀꢀꢀ
(5)
[0035]
式中，α和β为超参数，且α+β＝1，，c1和c2是解码器的最后输出结果。
[0036]
(2.5)进行异常评分。
[0037]
通过公式(5)计算异常评分，评分越高代表该时间点异常的可能性越大。
[0038]
(2.6)更新局部模型参数。
[0039]
由公式(5)能够得出第k个参与方的损失函数，进而根据adam优化器更新各局部模型的模型参数θ，具体如公式(6)所示，公式(7)为参数更新公式。
[0040][0041][0042]
式中，m为梯度的一阶矩估计即梯度的均值，v为梯度的二阶矩估计即梯度的有偏方差，g为梯度，t表示当前学习的迭代次数，
⊙
是一种同位元素相乘的乘法；γ1,γ2∈[0,1)是一组超参数和是修正后的梯度的均值和有偏方差；η为学习率；通过上述的过程更新局部模型参数之后，上传到终端服务器中，进行聚合生成全局模型。
[0043]
(3)服务器端采用联邦学习模型实现联合训练：构建模型损失函数；更新局部模型参数；通过上述的过程更新局部模型参数之后，上传到终端服务器中，进行聚合生成全局模型。
[0044]
(3.1)构建模型损失函数。
[0045]
重构误差损失，模型损失函数为：
[0046][0047]
式中，μ和为超参数，且在模型测试阶段，通过模型获取输入w的重构表示d1和d2。
[0048]
(3.2)更新局部模型参数。
[0049]
由公式(8)能够得出第k个参与方的损失函数，进而根据adam优化器更新各局部模型的模型参数θ，具体如公式(9)所示；公式(10)为参数更新公式。
[0050][0051][0052]
式中，m为梯度的一阶矩估计即梯度的均值，v为梯度的二阶矩估计即梯度的有偏方差，g为梯度，t表示当前学习的迭代次数，
⊙
是一种同位元素相乘的乘法；γ1,γ2∈[0,1)是一组超参数和是修正后的梯度的均值和有偏方差；η为学习率；通过上述的过程更新局部模型参数之后，上传到终端服务器中，进行聚合生成全局模型。
[0053]
(3.3)通过上述的过程更新局部模型参数之后，上传到终端服务器中，进行聚合生成全局模型。
[0054]
在可信的服务器端聚合上述步骤中生成的局部模型参数，将局部模型相关层的参
数作为特征，通过一个resnet残差神经网络来提取特征，进而自适应的生成全局模型对应层参数；resnet的输入层神经元个数与局部模型对应层的神经元个数一致，输出层的神经元个数为u，对应着全局模型相关层神经元个数，局部模型本地训练迭代次数为local
ep
，通信次数为r；局部模型利用本地数据充分训练之后客户端将模型参数上传至终端服务器，当各层的局部模型参数达到一定数量时开始训练resnet来提取特征从而生成全局模型，即如公式(11)所示：
[0055][0056]
其中resnet(
·
)表示resnet网络；为全局神经网络参数，l表示层数。
[0057]
一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的一种基于联邦学习的电力数据异常检测方法。
[0058]
一种计算机设备，包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种基于联邦学习的电力数据异常检测方法。
[0059]
有益效果：与现有技术相比，本发明具有如下优点：本发明能够同时考虑到数据局部依赖性和数据全局依赖性从而提高多维时间序列异常检测的有效性，联邦学习算法的引入既使用大数据提高了模型的预测效果又保护了数据隐私。
附图说明
[0060]
图1为时间窗口示意图；
[0061]
图2为本地模型示意图；
[0062]
图3为单层融合编码器示意图；
[0063]
图4为基于resnet的联邦学习框架示意图；
[0064]
图5为本发明所述方法的步骤流程图。
具体实施方式
[0065]
下面结合附图对本发明的技术方案作进一步说明。
[0066]
本发明基于现有的联邦学习、时域卷积神经网络、自注意力机制等人工智能技术，提出了一种基于联邦学习的电力数据异常检测方法，所述方法利用时域卷积网络和自注意力机制充分考虑时间序列局部数据依赖和全局数据关联，然后通过十字绣单元把时间序列模型参数对特征进行信息融合并得各时间戳的异常分数。通过异常分数的大小判断是否出现了异常数据。此外联邦学习有个前提：各参与方数据要有一定的相关性，这个相关性包括目标任务、用户id、特征变量等。根据数据的相关性要求，本实施例采用的参数也具有一定的相关性，所以能训练出一个泛化性能较好的模型。在联邦学习框架下，参与联合训练的本地客户端，能够很好的保护各个参与方的隐私。现有的联邦学习框架在服务器端用的联邦平均算法，而在本发明中，具体涉及的是resnet残差网络算法，resnet残差网络能够解决网络退化的能力以及由于网络的加深从而带来的一些梯度问题。
[0067]
如图5所示，一种基于联邦学习的电力数据异常检测方法，步骤如下：
[0068]
s1、故障预测数据预处理
[0069]
s1.1、建立多维时间序列客户端。一个多维时间序列可以视作是等时间间隔采样多维时间变量形成的长度为t的时间戳序列，x＝(x1,x2,
…
,x
t
)。一个时间观测点x
t
都是在时间戳t下获取的多维数据，x
t
∈rm,t∈{1,2,
…
,t}，m为总维度数。本文设置m等于21，所述多维数据都从不同层面反映了设备状态信息，比如x1为高压电压监测、x2为高压电流监测、x3为高压温度监测、x4为高压湿度监测、x5为高压烟雾监测、x6为高压通讯监测、x7为高压断路器监测、x8为高压搭接头监测、x9为高压螺丝位置监测、x
10
为高压保险丝监测；x
11
为低压电压检测、x
12
为低压电流监测、x
13
为低压温度监测、x
14
为低压湿度监测、x
15
为低压烟雾监测、x
16
为低压通讯监测、x
17
为低压通讯监测断路器监测、x
18
为低压电容监测、x
19
为低压螺丝位置监测、x
20
为低压刀闸位置监测等。多维时间序列异常检测用于确定一个时间观测点x
t
是否为异常，给定一个时间序列x，需要给出对应的异常标签序列y＝(y1,y2,
…
,y
t
),y
t
∈{0,1},y
t
为0表示时刻t下的时间点为正常，y
t
为1表示t时刻下的时间点为异常。
[0070]
s1.2、数据预处理。本发明收集数据在步骤s1.1划分数据集，一般而言，当输入端数据接近于“0”平均值时，深度学习算法的学习效率最佳。对于收集的数据采用最大值最小值标准化，将数据映射到[0，1]之间，标准化函数如下：
[0071][0072]
其中，x
t
是t时刻的收集到的配电站的相关特征参数，x
max
是收集到的样本参数中的最大值，x
min
是是收集到的样本参数中的最小值，是t时刻收集到的配电站的相关特征参数标准化结果，α是为了避免分母为0而设置的一个很小的常向量。
[0073]
s1.3、构建时间窗口。考虑到时间观测点x
t
和历史时间点的依赖关系，如图1所示构建一个长度为n的时间窗口：
[0074]wt
＝(x
t-n+1
,x
t-n+2
,...,x
t
) (2)
[0075]
为了避免短时序窗口对模型序列正常模式重构的影响，对于t《n的时间观测点x
t
，由于没有足够的信息判断其异常程度，将其视为正常时间点，将多维时间序列x转化为滑动窗口序列w为模型输入。当时间序列窗口过小时，输入时间序列无法很好表征局部的上下文信息，但是当时间序列窗口过大的时候，细微的局部异常更加容易隐藏在大量的正常时间点之中，反而使得异常检测效果下降，多次实验表明当时间序列窗口大小为100左右时模型在各个性能指标上都表现最优，
[0076]
s2、基于时域卷积神经网络、自注意力机制，建立本地模型。
[0077]
本地模型如图2所示。基于步骤s1数据预处理之后，在步骤s2中本发明需要对数据进行特征提取。对于电力系统实时运行数据，特征提取需要进行卷积操作，普通的卷积神经网络，感受野比较小，不适合本发明需要处理的参数，且无法同时捕获多维时间序列在局部性和全局性上的信息依赖，本实施例选择在时域卷积网络中加入自注意力机制。通过融合编码器的时域卷积模块以及自注意力模块分别捕获多维时间序列在局部性上以及全局性上的数据依赖，并采用十字绣单元进行提取特征的融合丰富。多层融合编码器的堆叠有利于学习到更深层次的潜在时间序列关联性。
[0078]
s2.1、模型输入初始化。
[0079]
多层融合编码器的堆积有利于学习到更深层次的潜在时间序列关联性。假定存在
l层的融合编码器，单层模型如图3所示，输入长度为n的时间序列窗口w∈rm，对于第l层的计算过程以及模型初始输入可以方程形式化如下：
[0080][0081]
分别为融合编码器的2个输入，表示第l+1层融合编码器的输入，其中l∈{1,2,
…
,l}，d
model
表示特征空间向量的维,是经过融合编码器处理后的值，fusionencoder代表融合编码器，layernorm函数代表归一化，是融合编码器输入解码器前馈网络的值，convld代表卷积操作，feedforward代表前馈网络。
[0082]
s2.2、单层融合编码器运算。深度学习注意力机制是受到认知科学中人类对信息处理机制的启发而产生，由于信息处理能力的局限，需要选择性的关注完整信息中的某一部分，同时忽略其他部分信息，此机制大大提高了人类对信息的处理能力效率。为了获取多维时间序列在局部性和全局性上的信息依赖，本发明将时间滑动窗口w作为模型的2个相同输入z1、z2，此时，对于融合编码器而言分别存在2个输入和2个输出。通过时域卷积神经网络和自注意力机制进行矩阵乘法获取每个时间点相较于其他时间点的注意力权重。由公式(3)得到第l层编码器的输入，进而通过时域卷积网络和自注意力进行信息提取，并通过十字绣单元进行提取特征的信息融合。具体公式如(4)所示。
[0083][0084]
其中q，k，v分别代表自注意力计算中的查询、键值以及值，由自注意力模块的输入z2和3个线性变换矩阵wq，wk，wv进行线性变换得到。m代表自注意力矩阵。softmax函数代表归一化处理，temporalblock函数代表时域卷积操作。i1是时域卷积在添加自注意力矩阵信息后的隐层表示，i2是时域卷积在添加自注意力模块处理后的隐层表示，o1和o2是z1和z2经过单层融合编码器的结果。γ
11
，γ
12
，γ
21
，γ
22
为权重参数。
[0085]
s2.3、解码运算。解码器由2个解码部分分别对第l层融合编
[0086]
码器最后输出的2个隐层特征进行解码。第1个解码部分为反时域卷积层，通过采用转置卷积替换时域卷积残差块中的膨胀因果卷积实现，第2个解码部分由单层的前馈神经网络层以及函数sigmoid组成。十字绣单元能够对侧重提取局部数据依赖和侧重提取全局数据关联的2种特征表示进行信息融合。
[0087]
s2.4、构建模型损失函数。重构误差损失，模型损失函数为
[0088]
α
×
||w-c1||+β
×
||w-c2||
ꢀꢀꢀ
(5)
[0089]
α和β为可以设置的超参数,且α+β＝1，此处将α和β分别设置为0.5和0.5，c1和c2是
解码器的最后输出结果
[0090]
s2.5、进行异常评分。通过(5)计算异常评分，评分越高代表该时间点异常的可能性越大。
[0091]
s2.6、更新局部模型参数。由公式(5)可以得出第k个参与方的损失函数，进而根据adam优化器更新各局部模型的模型参数θ，具体如公式(6)所示。公式(7)为参数更新公式。
[0092][0093][0094]
其中m为梯度的一阶矩估计即梯度的均值，v为梯度的二阶矩估计即梯度的有偏方差，g为梯度，t表示当前学习的迭代次数，
⊙
是一种同位元素相乘的乘法。γ1,γ2∈[0,1)是一组超参数和是修正后的梯度的均值和有偏方差。η为学习率。通过上述的过程更新局部模型参数之后，上传到终端服务器中，进行聚合生成全局模型。具体如步骤s2.2所示。
[0095]
s3、服务器端采用联邦学习模型实现联合训练。
[0096]
聚合全局模型。终端服务器聚合步骤s2.1中上传的各局部模型参数，不同于传统的联邦平均聚合算法，仅仅对局部模型参数进行平均化处理。本发明使用一种基于resnet残差网络的聚合模块，如图4所示，来聚合客户端模型参数生成全局模型，这种聚合模块能够自动化的聚合客户端参数，而不需要额外建立聚合规则。
[0097]
s3.1、构建模型损失函数。重构误差损失，模型损失函数为
[0098][0099]
μ和为超参数,且在模型测试阶段，通过模型获取输入w的重构表示d1和d2。
[0100]
s3.2、更新局部模型参数。由公式(8)可以得出第k个参与方的损失函数，进而根据adam优化器更新各局部模型的模型参数θ，具体如公式(9)所示。公式(10)为参数更新公式。
[0101][0102][0103]
其中m为梯度的一阶矩估计即梯度的均值，v为梯度的二阶矩估计即梯度的有偏方
差，g为梯度，t表示当前学习的迭代次数，
⊙
是一种同位元素相乘的乘法。γ1,γ2∈[0,1)是一组超参数和是修正后的梯度的均值和有偏方差。η为学习率。通过上述的过程更新局部模型参数之后，上传到终端服务器中，进行聚合生成全局模型。具体如步骤s2.2所示。
[0104]
s3.3、通过上述的过程更新局部模型参数之后，上传到终端服务器中，进行聚合生成全局模型。在可信的服务器端聚合上述步骤中生成的局部模型参数，将局部模型相关层的参数作为特征，通过一个resnet残差神经网络来提取特征，进而自适应的生成全局模型对应层参数，如图4所示。resnet的输入层神经元个数与局部模型对应层的神经元个数一致，输出层的神经元个数为u，对应着全局模型相关层神经元个数，局部模型本地训练迭代次数为local
ep
，通信次数为r。局部模型利用本地数据充分训练之后客户端将模型参数上传至终端服务器，当各层的局部模型参数达到一定数量时开始训练resnet来提取特征从而生成全局模型，即如公式(8)所示：
[0105][0106]
其中resnet(
·
)表示本发明中的resnet网络。为全局神经网络参数，l表示层数。通过实现本框架，能够同时考虑到数据局部依赖性和数据全局依赖性从而提高多维时间序列异常检测的有效性。
[0107]
本实例最终达到的效果，实验按照数据集的原始划分得到训练集和测试集，挑选训练集中的25％作为验证集。根据7种多维时间序列异常检测方法在4个多维时间序列数据集上的对比实验结果显示，该算法在4个数据集上的其余性能指标都优于目前最流行的多维时间序列异常检测方法，证明该算法帮助模型学习到了更好的时间依赖和度量间依赖以及数据局部和数据全局特征。

技术特征：
1.一种基于联邦学习的电力数据异常检测方法，其特征在于，包括以下步骤：(1)故障检测数据预处理：建立多维时间序列客户端；数据预处理；构建时间窗口；(2)基于时域卷积神经网络、自注意力机制，建立本地模型：模型输入初始化；单层融合编码器运算；解码运算；构建模型损失函数；进行异常评分；更新局部模型参数；(3)服务器端采用联邦学习模型实现联合训练：构建模型损失函数；更新局部模型参数；通过上述的过程更新局部模型参数之后，上传到终端服务器中，进行聚合生成全局模型。2.根据权利要求1所述的一种基于联邦学习的电力数据异常检测方法，其特征在于，所述步骤(1)具体为：(1.1)建立多维时间序列客户端；一个多维时间序列是等时间间隔采样多维时间变量形成的长度为t的时间戳序列，x＝(x1，x2，...，x
t
)；时间观测点x
t
是在时间戳t下获取的多维数据，x
t
∈r
m
，t∈{1，2，...，t}，m为数据的维度，所述多维数据都从不同层面反映了设备状态信息；在客户端中，给定一个时间序列x，需要给出对应的异常标签序列，至此，多维时间序列异常检测的客户端建立完成；(1.2)数据预处理；对于客户端的多维时间序列数据采用最大值最小值标准化，将数据映射到[0，1]之间，标准化函数如下：其中，x
t
是t时刻的收集到的配电站的相关特征参数，x
max
是收集到的样本参数中的最大值，x
min
是是收集到的样本参数中的最小值，是t时刻收集到的配电站的相关特征参数标准化结果，α是为了避免分母为0而设置的一个很小的常向量；(1.3)构建时间窗口；考虑到时间观测点x
t
和历史时间点的依赖关系，构建一个长度为n的时间窗口：w
t
＝(x
t-n+1
，x
t-n+2
，
…
，x
t
)
ꢀꢀꢀꢀ
(2)式中，x
t
是t时刻的收集到的配电站的相关特征参数，x
t-n+1
为该时间窗口的起始位置；为了避免短时序窗口对模型序列正常模式重构的影响，对于t＜n的时间观测点x
t
，由于没有足够的信息判断其异常程度，将其视为正常时间点，将多维时间序列x转化为滑动窗口序列w为模型输入。3.根据权利要求1所述的一种基于联邦学习的电力数据异常检测方法，其特征在于，所述步骤(2)具体为：(2.1)模型输入初始化；多层融合编码器的堆积有利于学习到更深层次的潜在时间序列关联性；假定存在l层的融合编码器，输入长度为n的时间序列窗口w∈r
m
，对于第l层的计算过程以及模型初始输入用方程形式化如下：
式中，分别为融合编码器的2个输入，表示第l+1层融合编码器的输入，其中l∈{1，2，
…
，l}，d
model
表示特征空间向量的维，是经过融合编码器处理后的值，fusionencoder代表融合编码器，layernorm函数代表归一化，是融合编码器输入解码器前馈网络的值，convld代表卷积操作，feedforward代表前馈网络；(2.2)单层融合编码器运算；将时间滑动窗口w作为模型的2个相同输入z1、z2，此时，对于融合编码器而言分别存在2个输入和2个输出；通过时域卷积神经网络和自注意力机制进行矩阵乘法获取每个时间点相较于其他时间点的注意力权重；由公式(3)得到第l层编码器的输入，进而通过时域卷积网络和自注意力进行信息提取，并通过十字绣单元进行提取特征的信息融合；具体公式如(4)所示：式中，q、k、v分别代表自注意力计算中的查询、键值以及值，由自注意力模块的输入z2和3个线性变换矩阵w
q
、w
k
、wv进行线性变换得到；m代表自注意力矩阵；softmax函数代表归一化处理，temporalblock函数代表时域卷积操作；i1是时域卷积在添加自注意力矩阵信息后的隐层表示，i2是时域卷积在添加自注意力模块处理后的隐层表示，o1和o2是z1和z2经过单层融合编码器的结果；γ
11
、γ
12
、γ
21
、γ
22
为权重参数；(2.3)解码运算；解码器由2个解码部分分别对第l层融合编码器最后输出的2个隐层特征进行解码；第1个解码部分为反时域卷积层，通过采用转置卷积替换时域卷积残差块中的膨胀因果卷积实现，第2个解码部分由单层的前馈神经网络层以及函数sigmoid组成；十字绣单元对侧重提取局部数据依赖和侧重提取全局数据关联的2种特征表示进行信息融合；(2.4)构建模型损失函数；重构误差损失，模型损失函数为：α
×
||w-c1||+β
×
||w-c2||
ꢀꢀꢀꢀ
(5)式中，α和β为超参数，且α+β＝1，，c1和c2是解码器的最后输出结果；(2.5)进行异常评分；通过公式(5)计算异常评分，评分越高代表该时间点异常的可能性越大；(2.6)更新局部模型参数；由公式(5)能够得出第k个参与方的损失函数，进而根据adam优化器更新各局部模型的模型参数θ，具体如公式(6)所示，公式(7)为参数更新公式；
式中，m为梯度的一阶矩估计即梯度的均值，v为梯度的二阶矩估计即梯度的有偏方差，g为梯度，t表示当前学习的迭代次数，
⊙
是一种同位元素相乘的乘法；γ1，γ2∈[0，1)是一组超参数和是修正后的梯度的均值和有偏方差；η为学习率；通过上述的过程更新局部模型参数之后，上传到终端服务器中，进行聚合生成全局模型。4.根据权利要求1所述的一种基于联邦学习的电力数据异常检测方法，其特征在于，所述步骤(3)具体为：(3.1)构建模型损失函数；重构误差损失，模型损失函数为：式中，μ和为超参数，且在模型测试阶段，通过模型获取输入w的重构表示d1和d2；(3.2)更新局部模型参数；由公式(8)能够得出第k个参与方的损失函数，进而根据adam优化器更新各局部模型的模型参数θ，具体如公式(9)所示；公式(10)为参数更新公式；模型参数θ，具体如公式(9)所示；公式(10)为参数更新公式；式中，m为梯度的一阶矩估计即梯度的均值，v为梯度的二阶矩估计即梯度的有偏方差，g为梯度，t表示当前学习的迭代次数，
⊙
是一种同位元素相乘的乘法；γ1，γ2∈[0，1)是一组超参数和是修正后的梯度的均值和有偏方差；η为学习率；通过上述的过程更新局部模型参数之后，上传到终端服务器中，进行聚合生成全局模型；(3.3)通过上述的过程更新局部模型参数之后，上传到终端服务器中，进行聚合生成全局模型；在可信的服务器端聚合上述步骤中生成的局部模型参数，将局部模型相关层的参数作为特征，通过一个resnet残差神经网络来提取特征，进而自适应的生成全局模型对应层参数；resnet的输入层神经元个数与局部模型对应层的神经元个数一致，输出层的神经元
个数为u，对应着全局模型相关层神经元个数，局部模型本地训练迭代次数为local
ep
，通信次数为r；局部模型利用本地数据充分训练之后客户端将模型参数上传至终端服务器，当各层的局部模型参数达到一定数量时开始训练resnet来提取特征从而生成全局模型，即如公式(11)所示：其中resnet(
·
)表示resnet网络；为全局神经网络参数，l表示层数。5.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-4中任一项所述的一种基于联邦学习的电力数据异常检测方法。6.一种计算机设备，包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4中任一项所述的一种基于联邦学习的电力数据异常检测方法。

技术总结
本发明公开了一种基于联邦学习的电力数据异常检测方法，步骤如下：(1)故障检测数据预处理：建立多维时间序列客户端；数据预处理；构建时间窗口；(2)基于时域卷积神经网络、自注意力机制，建立本地模型：模型输入初始化；单层融合编码器运算；解码运算；构建模型损失函数；进行异常评分；更新局部模型参数；(3)服务器端采用联邦学习模型实现联合训练：构建模型损失函数；更新局部模型参数；通过上述的过程更新局部模型参数之后，上传到终端服务器中，进行聚合生成全局模型。本发明能够同时考虑到数据局部依赖性和数据全局依赖性，能够更好的提取时间序列中的时序重构信息，从而提高多维时间序列异常检测的有效性。列异常检测的有效性。列异常检测的有效性。


技术研发人员：邓莹 胡凯 李姚根
受保护的技术使用者：南京信息工程大学
技术研发日：2023.04.10
技术公布日：2023/7/20