一种用于时间序列预测的频率分析方法及系统

1.本发明涉及数据挖掘领域，尤其涉及一种用于时间序列预测的频率分析方法及系统。


背景技术：

2.目前的时间序列预测方法从宏观角度可大致划分两类：基于时域的预测方法和基于频域的预测方法。基于时域的方法从序列本身的数值提取特征，对未来进行预测，最经典的方法包括：自回归模型(ar)、移动平均模型(ma)、移动平均自回归模型(arma)以及移动平均差分自回归模型(arima)。arima模型是具有代表性的方法，其核心思想为通过差分使得原始非平稳序列平稳之后对序列历史值进行加权求和，但arima一般只可用于短期预测，无法利用序列的复杂时间模式，并且无法处理多变量时间序列。基于深度学习方法的循环神经网络(rnn)从一定程度上可以解决arima的问题，但rnn的长距离依赖问题难以解决，并且由于rnn结构的限制，随着预测长度的不断增加误差累积不可避免，严重影响在长期预测中的效果。近期，基于transformer的深度学习架构在长期预测问题中取得了很好的效果，如autoformer、informer等，它们基于序列的时域特征，利用不同的自注意力方法提取序列的长距离依赖。
3.基于频域的方法利用离散傅里叶变换(dft)将原始序列转换为频率谱，再将频率谱作为特征来进行分析和预测。代表性的方法有stemgnn，stemgnn利用图神经网络(gnn)对多变量进行建模，之后使用dft将序列转换至频域后利用深度学习方法捕捉频域的变化模式。stemgnn在短期预测中拥有良好性能，而在长期预测的优势并不明显。基于频域的方法可以提取到序列更加宏观的信息，而如何利用好各个频率分量的信息是准确预测的重点，但目前缺乏有效的算法来利用频率信息进行中长期预测。
4.简而言之，目前常用的上述两类方法均存在不同的问题：
5.1.基于时域的方法容易受到噪声的影响而难以对序列的宏观特征进行建模，如序列的周期，而宏观特征对于长期预测的准确性至关重要。
6.2.目前基于频域的方法没有考虑不同频率分量的重要性，不同频率分量对预测结果的影响不同，短期预测受到高频分量的影响更大，而长期预测受到低频分量的影响更大，目前缺乏用于长期预测的、具有针对性的频域模型。


技术实现要素：

7.鉴于上述问题，提出了本发明以便提供克服上述问题或者至少部分地解决上述问题的一种用于时间序列预测的频率分析方法及系统。
8.根据本发明的一个方面，提供了一种用于时间序列预测的频率分析方法，所述分析方法包括：
9.采用离散傅里叶变换dft获取原始输入时间序列的频率特征；
10.提取序列频率特征的有效部分，通过自注意力机制对频率分量进行滤波，以实现
剔除频率分量中的干扰项的目的；
11.基于卷积神经网络的结构来实现模型的高度非线性表征能力，用以将输入的特征映射到输出特征。
12.可选的，所述采用离散傅里叶变换dft获取原始输入时间序列的频率特征具体包括：
13.原始的时间序列数据均为基于时域的时间点数据；
14.使用离散傅里叶变换dft对输入原始的所述时间序列数据进行预处理。
15.可选的，所述对输入原始的所述时间序列数据进行预处理具体包括：
16.编码器输入，设为n条输入序列的时域表示，时间长度为t，为输入序列的频域表示，由t组频率分量构成；
17.由于傅里叶变换结果的对称性，取单边频谱作为编码器的输入；
18.中的虚部与实部会被堆叠在最后一维作为整体传入模型；
19.解码器输入，由于时间序列具有时间动态性，越靠近预测点的时间段特征更加具有参考性，将输入序列的后一半提取，进行相似操作，来获得解码器的输入；
20.表示的后一半时域序列，为的频域表示，由t/2组频率分量构成，与编码器相同，取单边频谱作为解码器输入。
21.可选的，所述提取序列频率特征的有效部分，通过自注意力机制对频率分量进行滤波具体包括：
22.频率分解多头自注意力机制通过多个头分别处理不同频率段的特征，频率分解多头自注意力机制的目的是寻找不同频率分量之间的依赖关系；
23.将输入频谱按照由低频到高频分别划分为四个部分，四个部分的区间长度逐级递增；
24.每个频率区间分别输入到独立的自注意力层形成多头结构，每个独立的自注意力层的处理流程。
25.可选的，所述基于卷积神经网络的结构来实现模型的高度非线性表征能力，用以将输入的特征映射到输出特征具体包括：
26.卷积神经网络的结构包括堆叠的1层二维卷积构成，第一个卷积层采用深度可分离卷积，卷积核宽度随着频率区间的增大而增大，第二个卷积层为标准卷积，使用leaky relu作为激活函数；
27.各个频率区间的处理结果通过连接操作拼接在一起，拼接后的长度与原始输入w的长度相同；
28.使用卷积模块对输出做整体映射。
29.可选的，所述分析方法还包括：算法拟合过程，包括：使用layernorm对频率特征归一化消除过大方差对模型训练的影响；
30.layernorm的数学形式如下：
31.[0032][0033]
其中，a为输入的特征，μ为输入特征的均值，σ为输入数据的标准差，为归一化后的结果。
[0034]
本发明还提供了一种用于时间序列预测的频率分析系统，所述分析系统包括：
[0035]
预处理模块，用于采用离散傅里叶变换dft获取原始输入时间序列的频率特征；
[0036]
卷积模块，用于提取序列频率特征的有效部分，通过自注意力机制对频率分量进行滤波，以实现剔除频率分量中的干扰项的目的；
[0037]
频率分解多头自注意力机制模块，用于基于卷积神经网络的结构来实现模型的高度非线性表征能力，用以将输入的特征映射到输出特征。
[0038]
本发明提供的一种用于时间序列预测的频率分析方法及系统，所述分析方法包括：采用离散傅里叶变换dft获取原始输入时间序列的频率特征；提取序列频率特征的有效部分，通过自注意力机制对频率分量进行滤波，以实现剔除频率分量中的干扰项的目的；基于卷积神经网络的结构来实现模型的高度非线性表征能力，用以将输入的特征映射到输出特征。能够有效地利用数据中潜在的不同频率分量来提供十分准确的预测效果。
[0039]
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
[0040]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0041]
图1为本发明实施例提供的算法系统整体数据处理流程图；
[0042]
图2为本发明实施例提供的数据预处理的流程图；
[0043]
图3为本发明实施例提供的卷积算法流程图；
[0044]
图4为本发明实施例提供的频率分解多头自注意力机制算法流程图。
具体实施方式
[0045]
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0046]
本发明的说明书实施例和权利要求书及附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。
[0047]
下面结合附图和实施例，对本发明的技术方案做进一步的详细描述。
[0048]
如图1所示，一种用于时间序列预测的频率分析方法，所述分析方法包括：采用离散傅里叶变换dft获取原始输入时间序列的频率特征；提取序列频率特征的有效部分，通过
自注意力机制对频率分量进行滤波，以实现剔除频率分量中的干扰项的目的；基于卷积神经网络的结构来实现模型的高度非线性表征能力，用以将输入的特征映射到输出特征。
[0049]
如图2所示，(1)预处理模块
[0050]
原始的时间序列数据均为基于时域的时间点数据，而本发明的预测系统所关注的特征为频率分量，即频域特征，所以，为了获取输入序列的频域特征，首先需要使用离散傅里叶变换(dft)对输入序列进行预处理。
[0051]
编码器输入：如图2所示，设为n条输入序列的时域表示，时间长度为t，为输入序列的频域表示，由t组频率分量构成；
[0052]
由于傅里叶变换结果的对称性，取单边频谱作为编码器的输入；
[0053]
中的虚部与实部会被堆叠在最后一维作为整体传入模型；
[0054]
解码器输入，由于时间序列具有时间动态性，越靠近预测点的时间段特征更加具有参考性，将输入序列的后一半提取，进行相似操作，来获得解码器的输入；
[0055]
表示的后一半时域序列，为的频域表示，由t/2组频率分量构成，与编码器相同，取单边频谱作为解码器输入。
[0056]
(2)卷积模块，如图3所示；
[0057]
卷积模块由两个卷积神经网络层和一个激活函数层构成，用于达到非线性映射的目的，提高算法整体的表征能力。
[0058]
(3)频率分解多头自注意力机制模块，如图4所示；
[0059]
时间序列的不同频率分量中的低频部分构成了原始序列的趋势信息，而中高频部分包含了随机扰动以及细节信息针对不同频率段中信息含量不同的这一特点，设计了频率分解多头自注意力模块(frequency decomposition multi-head attention)。多头自注意力(multi-head attention)模块来源于原始transformer模型，用于自然语言处理中的机器翻译，本质上多头自注意力机制即为通过堆叠多个自注意力层对同一输入进行多次处理，使自注意力模块能够学习原始输入不同层面的信息。受到标准多头自注意力机制的启发，频率分解多头自注意力机制通过多个头分别处理不同频率段的特征，与多头自注意力机制不同的是，频率分解多头自注意力机制的目的是寻找不同频率分量之间的依赖关系。
[0060]
这一模块将输入频谱按照由低频到高频分别划分为四个部分，四个部分的区间长度逐级递增。这一设置的目的是在保证较低计算量的前提下使得低频部分特征干扰项更少。每个频率区间分别输入到独立的自注意力层形成多头结构，每个独立的自注意力层的处理流程如图3所示。其中卷积模块是贯穿全模块的线性映射层，由堆叠的1层二维卷积构成，为了降低模型计算量，第一个卷积层采用深度可分离卷积(depthwise separable convolution)，其卷积核宽度随着频率区间的增大而增大，第二个卷积层为标准卷积，使用leaky relu作为激活函数。各个频率区间的处理结果通过连接(concat)操作拼接在一起，值得注意的是，拼接后的长度与原始输入w的长度相同。最后，使用卷积模块对输出做整体映射。
[0061]
(4).算法系统整体结构
[0062]
卷积模块作为基本映射单元贯穿整个模型，其结构如(2)节所述。由于频率特征的特殊性，其不同频率分量的振幅差异大，导致频率特征内部方差较大，不利于算法拟合，因
此使用layernorm对频率特征归一化消除过大方差对模型训练的影响。layernorm的数学形式如下：
[0063][0064][0065]
受到informer输出结构的启发，本发明的算法在解码器前通过线性矩阵运算将解码器的输入频率特征长度扩张到所需的长度。在编码器中，使用了卷积模块替代了第一部分的注意力层，这一做法的原因是输入经过线性运算扩张长度后，新特征的各个频率分量聚合了所有原始频率分量的值，导致特征存在大量冗余，自注意力模块在这种情况下的效果并不显著。最终，解码器的输出特征经过卷积模块后做反傅里叶变换，得到算法系统最终预测结果。
[0066]
本发明与目前常用的时间序列预测系统进行了对比，使用了多组不同领域的时间序列作为输入，在相同的实验环境下，本发明实现了更优的长期预测能力。
[0067]
一种基于transformer的时间序列预测算法系统，针对不同的频率分量分别进行处理，本发明的主要组成模块有：预处理模块、频率分解多头自注意力机制模块和卷积模块，各模块的功能如下：
[0068]
1.预处理模块。主要通过离散傅里叶变换dft获取原始输入时间序列的频率特征。
[0069]
2.频率分解多头自注意力机制模块。该模块用于提取序列频率特征的有效部分，通过自注意力机制对频率分量进行滤波，以实现剔除频率分量中的干扰项的目的。
[0070]
3.卷积模块。基于卷积神经网络的结构来实现模型的高度非线性表征能力，用以将输入的特征映射到输出特征。
[0071]
输入的时间序列信号首先经过预处理模块提取频率分量，再经过多组频率多头自注意力机制模块进行频率分量滤波，再经过多组卷积模块进行非线性映射，使用梯度下降法进行训练，最终达到准确预测时间序列的目的。
[0072]
有益效果：提出一种频率分解多头自注意力模块，用来对不同频段的频率分量针对性地进行建模。通过对频率分量按低频到高频进行划分，利用自注意力机制的稀疏性筛选出重要的频率分量，以此充分利用序列频域中各个频率分量的特征。
[0073]
本发明以tranformer结构作为特征提取框架，利用编码器-解码器的组合结构来建模序列的频域模式。基于频率分解多头自注意力模块，设计了频率分解transformer(fd-transformer)模型结构。实验室的基础实验表明本发明的预测精度相较于目前大多算法系统有较大提升。有效地利用数据中潜在的不同频率分量来提供十分准确的预测效果。
[0074]
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种用于时间序列预测的频率分析方法，其特征在于，所述分析方法包括：采用离散傅里叶变换dft获取原始输入时间序列的频率特征；提取序列频率特征的有效部分，通过自注意力机制对频率分量进行滤波，以实现剔除频率分量中的干扰项的目的；基于卷积神经网络的结构来实现模型的高度非线性表征能力，用以将输入的特征映射到输出特征。2.根据权利要求1所述的一种用于时间序列预测的频率分析方法，其特征在于，所述采用离散傅里叶变换dft获取原始输入时间序列的频率特征具体包括：原始的时间序列数据均为基于时域的时间点数据；使用离散傅里叶变换dft对输入原始的所述时间序列数据进行预处理。3.根据权利要求2所述的一种用于时间序列预测的频率分析方法，其特征在于，所述对输入原始的所述时间序列数据进行预处理具体包括：编码器输入，设为n条输入序列的时域表示，时间长度为t，为输入序列的频域表示，由t组频率分量构成；由于傅里叶变换结果的对称性，取单边频谱作为编码器的输入；中的虚部与实部会被堆叠在最后一维作为整体传入模型；解码器输入，由于时间序列具有时间动态性，越靠近预测点的时间段特征更加具有参考性，将输入序列的后一半提取，进行相似操作，来获得解码器的输入；表示的后一半时域序列，为的频域表示，由t/2组频率分量构成，与编码器相同，取单边频谱作为解码器输入。4.根据权利要求1所述的一种用于时间序列预测的频率分析方法，其特征在于，所述提取序列频率特征的有效部分，通过自注意力机制对频率分量进行滤波具体包括：频率分解多头自注意力机制通过多个头分别处理不同频率段的特征，频率分解多头自注意力机制的目的是寻找不同频率分量之间的依赖关系；将输入频谱按照由低频到高频分别划分为四个部分，四个部分的区间长度逐级递增；每个频率区间分别输入到独立的自注意力层形成多头结构，每个独立的自注意力层的处理流程。5.根据权利要求1所述的一种用于时间序列预测的频率分析方法，其特征在于，所述基于卷积神经网络的结构来实现模型的高度非线性表征能力，用以将输入的特征映射到输出特征具体包括：卷积神经网络的结构包括堆叠的1层二维卷积构成，第一个卷积层采用深度可分离卷积，卷积核宽度随着频率区间的增大而增大，第二个卷积层为标准卷积，使用leaky relu作为激活函数；各个频率区间的处理结果通过连接操作拼接在一起，拼接后的长度与原始输入w的长度相同；使用卷积模块对输出做整体映射。6.根据权利要求5所述的一种用于时间序列预测的频率分析方法，其特征在于，所述分析方法还包括：算法拟合过程，包括：使用layernorm对频率特征归一化消除过大方差对模
型训练的影响；layernorm的数学形式如下：layernorm的数学形式如下：其中，a为输入的特征，μ为输入特征的均值，σ为输入数据的标准差，为归一化后的结果。7.一种用于时间序列预测的频率分析系统，其特征在于，所述分析系统包括：预处理模块，用于采用离散傅里叶变换dft获取原始输入时间序列的频率特征；卷积模块，用于提取序列频率特征的有效部分，通过自注意力机制对频率分量进行滤波，以实现剔除频率分量中的干扰项的目的；频率分解多头自注意力机制模块，用于基于卷积神经网络的结构来实现模型的高度非线性表征能力，用以将输入的特征映射到输出特征。

技术总结
本发明提供的一种用于时间序列预测的频率分析方法及系统，所述分析方法包括：采用离散傅里叶变换DFT获取原始输入时间序列的频率特征；提取序列频率特征的有效部分，通过自注意力机制对频率分量进行滤波，以实现剔除频率分量中的干扰项的目的；基于卷积神经网络的结构来实现模型的高度非线性表征能力，用以将输入的特征映射到输出特征。能够有效地利用数据中潜在的不同频率分量来提供十分准确的预测效果。效果。效果。


技术研发人员：张益农 付恩
受保护的技术使用者：北京联合大学
技术研发日：2023.04.06
技术公布日：2023/7/21