一种基于深度学习的超长期网络流量预测方法

1.本发明涉及网络流量预测技术领域，尤其涉及一种基于深度学习的超长期网络流量预测方法。


背景技术：

2.对于互联网应用来说，其服务器带宽费用通常按照月进行计费。因此，预测未来一个月的网络流量对于成本管理具有重要意义。
3.在网络流量预测领域，根据预测范围，目前的流量预测方法主要分为两类：
4.1、短期流量预测，该类方法聚焦于预测下一个时隙的流量，主要用于蜂窝网的实时网络能力估计。
5.2、长期流量预测，该方法面向小时级时间范围的流量预测。
6.现有的长期流量预测方法(c.zhang and p.patras,“long-term mobile traffic forecasting using deep spatio-temporal neural networks,”in proceedings of the nineteenth acm international symposium on mobile ad hoc networking and computing,mobihoc 2018,los angeles,ca,usa,june26-29,2018,2018,pp.231
–
240.)至多能准确预测数十个时隙(对应数十个小时)的流量。服务器的带宽费用通常按照当月的带宽均值或峰值进行计费，产生了对互联网应用的网络流量进行超长期预测的需求，即预测未来一个月长达720时隙(720小时)甚至更长时间的流量。通过超长期流量预测，互联网应用根据本月的预算动态调整应用流量，从而控制带宽成本使其小于预算，同时充分利用预算。
7.以往的长期流量预测主要聚焦于预测相对长的时间(小时级)，使用统计模型(如prophet)和循环神经网络等技术，然而，随着预测时长的增大，预测结果会逐渐失真，远无法满足对于流量数据的整月预测，难以准确预测超长期流量。分析原因，主要是由于流量具有包含日、周、月、年的多级周期性，难以使用短期的历史数据有效建模长期时序依赖关系。最新的基于transformer的长期时序预测方法informer(h.zhou,s.zhang,j.peng,s.zhang,j.li,h.xiong,and w.zhang,“informer:beyond efficient transformer for long sequence time-series forecasting,”in thirty-fifth aaai conference on artificial intelligence,aaai 2021,virtual event,february 2-9,2021,2021,pp.11 106
–
11 115.)和autoformer(h.wu,j.xu,j.wang,and m.long,“autoformer:decomposition transformers with auto-correlation for long-term series forecasting,”in 35th conference on neural information processing systems(neurips 2021),2021.)只采用了历史96个时隙作为输入，依然难以建模重要的年级别周期性。
8.因此，如何提高网络流量的超长期预测准确性是亟待解决的问题。


技术实现要素：

9.本发明针互联网应用的超长期流量预测问题，提出一种基于深度学习的超长期网络流量预测方法，使用短期历史数据和上一年度历史数据充分建模流量中的多级周期性，达到准确预测超长期流量的目的。
10.为了实现上述目的，本发明提供如下技术方案：
11.本发明提供一种基于深度学习的超长期网络流量预测方法，包括如下步骤：
12.s1、构建周期信息增强的带宽数据；
13.s2、将周期信息增强的带宽数据输入神经网络的编码器-解码器架构中，输出未来带宽的预测结果；
14.其中，编码器的输入为历史周期信息增强的带宽数据，输出为从历史周期信息增强的带宽数据中提取的周期性高维特征；解码器的输入为历史和未来时隙周期信息增强的带宽数据，并融合从历史周期信息增强的带宽数据中提取的周期性高维特征，输出为未来带宽的预测结果；
15.编码器中包含1)带宽序列嵌入模块，和2)m个依次连接的编码模块，其中每个编码模块包含：a)自相关子模块，b)第一个序列分解子模块，c)前馈子模块，和d)第二个序列分解子模块；
16.解码器中包含1)带宽序列嵌入模块，和2)n个依次连接的解码模块，其中每个解码模块包含：a)第一个自相关子模块，b)第一个序列分解子模块，c)第二个自相关子模块，d)第二个序列分解子模块，e)前馈子模块，和f)第三个序列分解子模块。
17.进一步地，步骤s1中，对于任意时隙τ∈[t-h,
…
,t+t-1]，按照如下步骤构建周期信息增强的带宽数据：
[0018]
s11、将某时隙的带宽d
τ
和上一年中与该时隙相同位置的时隙的带宽d
τ-y
加入带宽数据；
[0019]
s12、采用一个四维时间编码e
τ
增强所有级别的周期性信息，四维时间编码e
τ
包括时隙在当天的位置时隙日期在本周的位置时隙日期在本月的位置时隙日期在本年的位置得到时隙τ的周期信息增强的带宽数据
[0020]
进一步地，步骤s2中，每个编码模块定义如下：
[0021][0022][0023]
其中seriesdecomp表示序列分解子模块，auto-correlation表示自相关子模块，feedforward表示全连接子模块，表明第l个编码器的输入，表明第l个编码器中经过自相关子模块和第一个序列分解子模块的周期性输出，表明第l个编码器中经过全连接子模块和第二个序列分解子模块的周期性输出。
[0024]
进一步地，步骤s2中，每个解码模块定义如下：
[0025][0026][0027][0028][0029]
其中seriesdecomp表示序列分解子模块，auto-correlation表示自相关子模块，feedforward表示全连接子模块，w
l,1
,w
l,2
,w
l,3
为可学习参数；表明第l个解码器的输入，表明第l个解码器中经过第i个自相关子模块或全连接子模块和第i个序列分解子模块的周期性输出，表明第l个解码器中经过第i个自相关子模块或全连接子模块和第i个序列分解子模块的趋势性输出；表示聚合后的趋势性输出。
[0030]
进一步地，步骤s2中，带宽序列嵌入子模块使用一维卷积模块，每个卷积块的输入为f
cin
，f
cin
为自t-h起至t-1为止的周期信息增强的带宽数据，输出为：f
cout
＝wc*f
cin
+bc，其中wc和bc都是可学习参数，*表示卷积运算。
[0031]
进一步地，步骤s2中，序列分解子模块输入时序数据，输出从时序数据中分别提取的周期部分xs和趋势部分x
t
，采用填充以保证序列长度不变，并通过平均池化层进行移动平均计算以提取时序数据的趋势性。
[0032]
进一步地，对于长度为l的时序数据x∈r
l
×d，序列分解子模块输出的趋势部分x
t
表示为：x
t
＝avgpool(padding(x))，周期部分xs表示为：xs＝x-x
t
，avgpool表示平均池化层，padding表示填充。
[0033]
进一步地，步骤s2中，自相关子模块的定义为：
[0034][0035]
其中对序列进行了ti步的时间滞后，即返回序列返回序列返回序列分别表示查询序列和键序列；表示与的互相关系数；
[0036]
为自相关系数，表示为：
[0037][0038]
l为时序长度。
[0039]
进一步地，采用神经网络预测未来至多t个1小时时隙表示为：对于f
t
,t∈[t,t+t-1]，其未知的成员d
t
被填充为0，对于实际需要的预测长度t
′
《t的情况，则直接通过截断出前t
′
个预测值得到预测结果。
[0040]
与现有技术相比，本发明的有益效果为：
[0041]
本发明提出的基于深度学习的超长期网络流量预测方法，引入了融合历史数据和时间编码的嵌入层，能够对强相关性数据(年、日)和弱相关性数据(周、月)分别建模，实现了准确地对整月甚至更长时间的流量数据进行超长期预测，大幅度提升了超长期流量预测的准确性。
附图说明
[0042]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0043]
图1为本发明实施例提供的基于深度学习的超长期网络流量预测方法的模型架构图。
具体实施方式
[0044]
为了更好地理解本技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实例仅仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本技术所获得的所有其他实施例，都属于本发明保护的范围。
[0045]
本发明提出的基于深度学习的超长期网络流量预测方法，模型架构如图1所示，包括如下步骤：
[0046]
s1、构建周期信息增强的带宽数据。
[0047]
在流量预测问题中，使用d
t
表示时隙t的带宽值。在时隙t之前，需要预测t,
…
,t共t-t+1个时隙。为了利用带宽序列的自相关性，使用过去h个时隙的带宽预测未来t-t+1个时隙的带宽：
[0048][0049]
其中表示时隙t的带宽预测结果。
[0050]
具体地，在本发明中，对于任意时隙τ∈[t-h,
…
,t+t-1]，按照如下步骤构建周期信息增强的带宽数据：
[0051]
s11、为了捕获日级别和年级别的周期性，将某时隙的带宽d
τ
和上一年中与该时隙相同位置的时隙的带宽d
τ-y
加入带宽数据；
[0052]
s12、为了增强所有级别的周期性信息，采用一个四维时间编码e
τ
增强所有级别的周期性信息，四维时间编码e
τ
包括时隙在当天的位置时隙日期在本周的位置时隙日期在本月的位置时隙日期在本年的位置得到时隙τ的周期信息增强的带宽数据
[0053]
为了预测未来至多t个1小时时隙，本发明采用一个神经网络
[0054]
[0055]
对于f
t
,t∈[t,t+t-1]，其未知的成员d
t
被填充为0。对于实际需要的预测长度t
′
《t的情况，则直接通过截断出前t
′
个预测值得到预测结果。
[0056]
s2、将周期信息增强的带宽数据输入神经网络的编码器-解码器架构中，输出未来带宽的预测结果；
[0057]
其中，编码器的输入为历史周期信息增强的带宽数据[f
t-h
,
…
,f
t-1
]，输出为从历史周期信息增强的带宽数据中提取的周期性高维特征解码器的输入为历史和未来时隙周期信息增强的带宽数据[f
t-h/2
,
…
,f
t-1
,f
t
,
…
,f
t+t-1
]，并融合从历史周期信息增强的带宽数据中提取的周期性高维特征输出为未来带宽的预测结果
[0058]
编码器中包含1)带宽序列嵌入模块，和2)m个依次连接的编码模块，其中每个编码模块包含：a)自相关子模块，b)第一个序列分解子模块，c)前馈子模块，和d)第二个序列分解子模块；
[0059]
每个编码模块定义如下：
[0060][0061][0062]
其中seriesdecomp表示序列分解子模块，auto-correlation表示自相关子模块，feedforward表示全连接子模块，表明第l个编码器的输入，表明第l个编码器中经过自相关子模块和第一个序列分解子模块的周期性输出，表明第l个编码器中经过全连接子模块和第二个序列分解子模块的周期性输出。编码器可以从输入中提取出提示历史带宽数据的高维特征表示，它可以帮助解码器捕捉长时序的周期依赖性。
[0063]
解码器中包含1)带宽序列嵌入模块，和2)n个依次连接的解码模块，其中每个解码模块包含：a)第一个自相关子模块，b)第一个序列分解子模块，c)第二个自相关子模块，d)第二个序列分解子模块，e)前馈子模块，和f)第三个序列分解子模块。
[0064]
每个解码模块定义如下：
[0065][0066][0067][0068][0069]
其中seriesdecomp表示序列分解子模块，auto-correlation表示自相关子模块，feedforward表示全连接子模块，w
l,1
,w
l,2
,w
l,3
为可学习参数；表明第l个解码器的输入，表明第l个解码器中经过第i个自相关子模块或全连接子模块和第i个序列分解子模块的周期性输出，表明第l个解码器中经过第i个自相关子模块或全连接子模块和第i
个序列分解子模块的趋势性输出；表示聚合后的趋势性输出。解码器可以利用编码器中提取出的历史带宽数据的周期性高维特征，更好地捕捉长时序的周期依赖性。并同时预测周期性和趋势性，通过对两者的聚合，可以提高预测的准确性。
[0070]
带宽序列嵌入子模块，使用一维卷积模块，每个卷积块的输入为带宽序列嵌入子模块，使用一维卷积模块，每个卷积块的输入为为自t-h起至t-1为止的周期信息增强的带宽数据，输出为：其中wc和bc都是可学习参数，*表示卷积运算。通过一维卷积将自相关性较强的去年同期带宽数据与当前带宽数据融合并转换为高维特征。
[0071]
序列分解子模块，输入为时序数据，输出为从时序数据中分别提取的周期部分xs和趋势部分x
t
，序列分解模块能够将时序数据分解为趋势性和周期性两部分，这两部分分别反映了时序数据的变化趋势和变化周期。
[0072]
对于长度为l的时序数据x∈r
l
×d，序列分解子模块输出的趋势部分x
t
表示为：x
t
＝avgpool(padding(x))，周期部分xs表示为：xs＝x-x
t
，avgpool表示平均池化层，padding表示填充。该模块采用填充以保证序列长度不变，并通过平均池化层进行移动平均计算以提取时序数据的趋势性。
[0073]
为了增强不同时序位置的数据间的信息利用，本发明采用自相关子模块聚合时间滞后序列的信息。为了计算两个序列之间的相关性，本发明使用自相关系数：
[0074][0075]
其中l为时序长度。
[0076]
自相关子模块的定义为：
[0077][0078]
其中对序列进行了ti步的时间滞后，即返回序列返回序列返回序列分别表示查询序列和键序列；表示与的互相关系数。
[0079]
自相关子模块用时间滞后步长对应的自相关系数对具有不同时间滞后步长的序列进行加权，得到了融合各个时序位置信息的新序列。
[0080]
本发明提出的一种基于深度学习的超长期网络流量预测方法，引入了融合历史数据和时间编码的嵌入层，能够对强相关性数据(年、日)和弱相关性数据(周、月)分别建模，实现了准确地对整月甚至更长时间的流量数据进行超长期预测。本发明使用2年的网络流量数据进行实验，按时间顺序将数据的70％、10％和20％设置为训练集、验证集和测试集。对于实验涉及的预测模型，我们将历史数据时隙数量h设置为96，将被预测时隙数量t设置为720。实验结果显示，本发明的基于深度学习的超长期网络流量预测方法平均绝对误差(mae)为：0.2450，prophet的mae为：0.4111，autoformer的mae为：0.5411，informer的mae：0.4312。通过实验证明，本发明提出的基于深度学习的超长期网络流量预测方法，与prophet、autoformer、和informer相比，将平均绝对误差(mae)降低了40.4％,54.11％,和
43.11％，大幅度提升了超长期流量预测的准确性。
[0081]
以上所述仅是对本发明的优选实施例及原理进行了详细说明，并非用于限定本发明的保护范围。对本领域的普通技术人员而言，依据本发明提供的思想，凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应视为本发明的保护范围。

技术特征：
1.一种基于深度学习的超长期网络流量预测方法，其特征在于，包括如下步骤：s1、构建周期信息增强的带宽数据；s2、将周期信息增强的带宽数据输入神经网络的编码器-解码器架构中，输出未来带宽的预测结果；其中，编码器的输入为历史周期信息增强的带宽数据，输出为从历史周期信息增强的带宽数据中提取的周期性高维特征；解码器的输入为历史和未来时隙周期信息增强的带宽数据，并融合从历史周期信息增强的带宽数据中提取的周期性高维特征，输出为未来带宽的预测结果；编码器中包含1)带宽序列嵌入模块，和2)m个依次连接的编码模块，其中每个编码模块包含：a)自相关子模块，b)第一个序列分解子模块，c)前馈子模块，和d)第二个序列分解子模块；解码器中包含1)带宽序列嵌入模块，和2)n个依次连接的解码模块，其中每个解码模块包含：a)第一个自相关子模块，b)第一个序列分解子模块，c)第二个自相关子模块，d)第二个序列分解子模块，e)前馈子模块，和f)第三个序列分解子模块。2.根据权利要求1所述的基于深度学习的超长期网络流量预测方法，其特征在于，步骤s1中，对于任意时隙τ∈[t-h,
…
,t+t-1]，t为当前时隙，h为输入给模型的历史带宽数据长度，t为模型预测的未来带宽数据长度，按照如下步骤构建周期信息增强的带宽数据：s11、将某时隙的带宽d
τ
和上一年中与该时隙相同位置的时隙的带宽d
τ-y
加入带宽数据；s12、采用一个四维时间编码e
τ
增强所有级别的周期性信息，四维时间编码e
τ
包括时隙在当天的位置时隙日期在本周的位置时隙日期在本月的位置时隙日期在本年的位置得到时隙τ的周期信息增强的带宽数据3.根据权利要求1所述的基于深度学习的超长期网络流量预测方法，其特征在于，步骤s2中，每个编码模块定义如下：s2中，每个编码模块定义如下：其中seriesdecomp表示序列分解子模块，auto-correlation表示自相关子模块，feedforward表示全连接子模块，表明第l个编码器的输入，表明第l个编码器中经过自相关子模块和第一个序列分解子模块的周期性输出，表明第l个编码器中经过全连接子模块和第二个序列分解子模块的周期性输出。4.根据权利要求1所述的基于深度学习的超长期网络流量预测方法，其特征在于，步骤s2中，每个解码模块定义如下：s2中，每个解码模块定义如下：
其中seriesdecomp表示序列分解子模块，auto-correlation表示自相关子模块，feedforward表示全连接子模块，w
l,1
,w
l,2
,w
l,3
为可学习参数；表明第l个解码器的输入，表明第l个解码器中经过第i个自相关子模块或全连接子模块和第i个序列分解子模块的周期性输出，表明第l个解码器中经过第i个自相关子模块或全连接子模块和第i个序列分解子模块的趋势性输出；表示聚合后的趋势性输出。5.根据权利要求1所述的基于深度学习的超长期网络流量预测方法，其特征在于，步骤s2中，带宽序列嵌入子模块使用一维卷积模块，每个卷积块的输入为为自t-h起至t-1为止的周期信息增强的带宽数据，输出为：其中w
c
和b
c
都是可学习参数，*表示卷积运算。6.根据权利要求1所述的基于深度学习的超长期网络流量预测方法，其特征在于，步骤s2中，序列分解子模块输入时序数据，输出从时序数据中分别提取的周期部分x
s
和趋势部分x
t
，采用填充以保证序列长度不变，并通过平均池化层进行移动平均计算以提取时序数据的趋势性。7.根据权利要求6所述的基于深度学习的超长期网络流量预测方法，其特征在于，对于长度为l的时序数据x∈r
l
×
d
，序列分解子模块输出的趋势部分x
t
表示为：x
t
＝avgpool(padding(x))，周期部分x
s
表示为：x
s
＝x-x
t
，avgpool表示平均池化层，padding表示填充。8.根据权利要求1所述的基于深度学习的超长期网络流量预测方法，其特征在于，步骤s2中，自相关子模块的定义为：其中对序列进行了t
i
步的时间滞后，即返回序列返回序列返回序列分别表示查询序列和键序列；表示与的互相关系数；为自相关系数，表示为：l为时序长度。9.根据权利要求1所述的基于深度学习的超长期网络流量预测方法，其特征在于，采用神经网络预测未来至多t个1小时时隙表示为：对于f
t
,t∈[t,t+t-1]，其未知的成员d
t
被填充为0，对于实际需要的预测长度t
′
<t的情况，则直接通过截断出前t
′
个预测值得
到预测结果。

技术总结
本发明公开了一种基于深度学习的超长期网络流量预测方法，将周期信息增强的带宽数据输入神经网络的编码器-解码器架构中，输出未来带宽的预测结果；其中，编码器的输入为历史周期信息增强的带宽数据，输出为从历史周期信息增强的带宽数据中提取的周期性高维特征；解码器的输入为历史和未来时隙周期信息增强的带宽数据，并融合从历史周期信息增强的带宽数据中提取的周期性高维特征，输出为未来带宽的预测结果。本发明提出的基于深度学习的超长期网络流量预测方法，能够对强相关性数据(年、日)和弱相关性数据(周、月)分别建模，实现了准确地对整月甚至更长时间的流量数据进行超长期预测，大幅度提升了超长期流量预测的准确性。性。性。


技术研发人员：马华东 赵东 王义总 黄成豪 高腾
受保护的技术使用者：北京邮电大学
技术研发日：2023.06.13
技术公布日：2023/8/24