网络流量预测及模型训练方法、装置、设备和存储介质与流程
未命名
07-20
阅读:118
评论:0
1.本公开涉及人工智能技术领域,具体涉及深度学习、互联网等技术领域,尤其涉及一种网络流量预测及模型训练方法、装置、设备和存储介质。
背景技术:
2.随着互联网技术的发展,网络规模不断扩大,网络流量也有了大幅度的增长,网络中经常出现拥塞或过载的现象。对网络流量进行精准的预测可以有效的对网络进行管理,提高网络的综合性能。
技术实现要素:
3.本公开提供了一种网络流量预测及模型训练方法、装置、设备和存储介质。
4.根据本公开的一方面,提供了一种网络流量预测方法,包括:获取多个网络节点的历史流量数据;基于所述多个网络节点中两两节点间的关联关系,对所述历史流量数据进行处理,以获得融合特征;基于所述融合特征,确定所述多个网络节点的未来流量数据。
5.根据本公开的另一方面,提供了一种网络流量预测模型的训练方法,所述模型包括:图卷积网络,所述方法包括:获取多个网络节点的样本数据,所述样本数据包括:历史流量数据,以及真实未来流量数据;采用所述图卷积网络,基于所述多个网络节点中两两节点间的关联关系,对所述历史流量数据进行处理,以获得融合特征;基于所述融合特征,获得预测未来流量数据;基于所述真实未来流量数据和所述预测未来流量数据,构建损失函数;基于所述损失函数,调整模型参数直至满足预设条件,所述模型参数包括:所述图卷积网络的模型参数。
6.根据本公开的另一方面,提供了一种网络流量预测装置,包括:获取模块,用于获取多个网络节点的历史流量数据;融合模块,用于基于所述多个网络节点中两两节点间的关联关系,对所述历史流量数据进行处理,以获得融合特征;预测模块,用于基于所述融合特征,确定所述多个网络节点的未来流量数据。
7.根据本公开的另一方面,提供了一种网络流量预测模型的训练装置,所述模型包括:图卷积网络,所述装置包括:获取模块,用于获取多个网络节点的样本数据,所述样本数据包括:历史流量数据,以及真实未来流量数据;融合模块,用于采用所述图卷积网络,基于所述多个网络节点中两两节点间的关联关系,对所述历史流量数据进行处理,以获得融合特征;预测模块,用于基于所述融合特征,获得预测未来流量数据;构建模块,用于基于所述真实未来流量数据和所述预测未来流量数据,构建损失函数;调整模块,用于基于所述损失函数,调整模型参数直至满足预设条件,所述模型参数包括:所述图卷积网络的模型参数。
8.根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。
9.根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。
10.根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。
11.根据本公开的技术方案,可以提高网络流量预测的精准度。
12.应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
13.附图用于更好地理解本方案,不构成对本公开的限定。其中:
14.图1是根据本公开第一实施例的示意图;
15.图2是根据本公开实施例提供的微服务场景的示意图;
16.图3是根据本公开实施例提供的网络流量预测的整体架构的示意图;
17.图4是根据本公开第二实施例的示意图;
18.图5是根据本公开第三实施例的示意图;
19.图6是根据本公开第四实施例的示意图;
20.图7是根据本公开第五实施例的示意图;
21.图8是用来实现本公开实施例的网络流量预测方法或网络流量预测模型的训练方法的电子设备的示意图。
具体实施方式
22.以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
23.相关技术中,存在一些网络流量预测的方案,但精准度有待提升。
24.图1是根据本公开第一实施例的示意图,本实施例提供一种网络流量预测方法,该方法包括:
25.101、获取多个网络节点的历史流量数据。
26.102、基于所述多个网络节点中两两节点间的关联关系,对所述历史流量数据进行处理,以获得融合特征。
27.103、基于所述融合特征,确定所述多个网络节点的未来流量数据。
28.其中,多个网络节点是存在关联关系的节点,例如,存在调用关系的节点。
29.假设多个网络节点的数量为n(正整数),两两节点可以用第i个节点和第j个节点表示,i,j=[1,n],关联关系可以用a
ij
表示。
[0030]
其中,a
ij
是位于[0,1]之间的值,具体可以通过训练过程确定。
[0031]
其初始值可以为0或1,例如,第i个节点与第j个节点之间存在调用关系,则a
ij
=1,反之,若两者之间不存在调用关系,则a
ij
=0。
[0032]
融合特征,是基于历史流量数据获得的特征,且融合了多个网络节点的信息。
[0033]
获得融合特征后,可以基于融合特征预测网络流量。
[0034]
相关技术中,针对n个网络节点,可以采用n个模型预测各个节点的网络流量,由于是针对单个节点分别进行处理,并未考虑节点间的关联关系,但是,在一些场景下,多个节点间存在关联关系时,会影响网络流量,仅单独对单个节点的信息进行预测,存在预测精准度不足的问题。
[0035]
而本实施例中,通过基于关联关系获得融合特征,基于融合特征确定未来流量数据,可以在网络流量预测时考虑节点间的关联关系,基于融合信息进行流量预测,可以提高网络流量预测的精准度。
[0036]
为了更好地理解本公开实施例,下面对本公开实施例适用的应用场景进行说明。
[0037]
本实施例可以应用于微服务场景下。微服务(或微服务架构)是一种面向服务的体系架构,单个应用程序由许多松散耦合且可独立部署的较小服务组成,较小服务可以称为微服务。每个微服务围绕具体业务进行构建,并且能够独立地部署到生产环境、类生产环境中。
[0038]
如图2所示,客户端可以部署在用户终端201上,微服务可以部署在服务器202上,用户终端例如包括:个人电脑(personalcomputer)、笔记本电脑、移动设备(如手机)等。服务器可以为本地服务器或者云端服务器。用户终端与服务器可以通过有线网络和/或无线网络进行通信。
[0039]
其中,微服务通常为多个,图2中用微服务1~微服务n表示,每个微服务可以部署在对应的网络节点上,图2中用节点1~节点n表示,节点可以为服务器或者处理器等。
[0040]
微服务场景下,不同的网络节点间可能存在调用关系,例如,微服务包括:用户服务、商品服务和订单服务,订单服务用于生成订单,用户服务用于提供用户信息,商品服务用于提供商品信息,由于订单需要用户信息和商品信息,假设用户服务所属的网络节点为节点a,商品服务所属的网络节点为节点b,订单服务所属的网络节点为节点c,则节点c需要调用节点a和节点b,即,节点c与节点a存在调用关系(或称为关联关系),节点c与节点b存在调用关系。
[0041]
相关技术中,针对n个网络节点,可以采用n个模型分别进行网络流量预测,但是,微服务场景下,由于不同的网络节点间存在关联关系,各自采用一个模型进行网络流量预测的方式存在精准度不足的问题。
[0042]
为了提高网络流量预测的精准度,本公开实施例中将考虑不同网络节点间的关联信息。
[0043]
如图3所示,网络流量预测的整体架构主要包括:融合特征提取网络g和时间特征提取网络m,其中,融合特征提取网络用于基于网络节点间的关联关系提取融合特征,融合特征是指一个网络节点融合了其他网络节点的特征。融合特征提取网络可以为图卷积网络(graphconvolutional network),图3中的图卷积网络包括两个图卷积层。时间特征提取网络用于基于融合特征获得时间特征,时间特征提取网络可以为循环神经网络(recurrentneuralnetwork,rnn),图3中具体为长短期记忆网络lstm(longshort-termmemory,lstm)网络。
[0044]
另外,如图3所示,整体架构还可以包括两个全连接层,为了区分,分别用第一全连
接层和第二全连接层表示,其中,第一全连接层用于对n个节点的历史流量数据进行归一化处理,第二全连接层用于对时间特征进行处理,以获得n个节点的预测出的未来流量数据。
[0045]
网络流量预测模型具体包括上述的:第一全连接层、图卷积网络、lstm网络和第二全连接层。在训练阶段,可以训练出该模型,在推理阶段,可以采用该模型进行网络流量预测。
[0046]
结合上述的应用场景,本公开还提供一种网络流量预测方法。
[0047]
图4是根据本公开第二实施例的示意图,本实施例提供一种网络流量预测方法,该方法包括:
[0048]
401、获取多个网络节点的历史流量数据。
[0049]
其中,假设用n(正整数)表示网络节点的数量,则可以获得n个网络节点的历史流量数据。
[0050]
针对每个网络节点,其历史流量数据包括预设个数的连续时间点的流量数据,假设预设个数为t(正整数),则包括当前时刻(第t时刻)及其之前的(t-1)个时刻的流量数据。其中,通过以预设周期(如1分钟)进行采样,可以获得各个时刻的流量数据。
[0051]
假设历史流量数据用x0表示,则x0∈rn×
t
。即,输入数据x0为一个n行t列的矩阵,每行对应一个网络节点,每行数据为对应节点的t个时刻的历史流量数据。
[0052]
402、采用第一全连接层,对所述历史流量数据进行归一化处理,以获得归一化处理后的历史流量数据。
[0053]
其中,不同网络节点的历史流量数据可能差异较大,如10次或1万次,通过归一化处理可以将各个网络节点的历史流量数据都归一化到[0,1]这个范围内。
[0054]
结合图3,可以采用第一全连接层进行归一化处理。
[0055]
具体地,将初始的历史流量数据x0输入到第一全连接层中,第一全连接层对输入数据x0进行处理后,输出为归一化后的历史流量数据x。
[0056]
其中,第一全连接层的输出与输入是相同维度的,即,x∈rn×
t
。
[0057]
第一全连接层是通过训练获得的。
[0058]
本实施例中,通过对多个网络节点的历史流量数据进行归一化处理,可以将多个网络节点的历史流量数据归一化到设定区间内,避免数值差异过大,进而可以提高网络流量预测精准度。
[0059]
403、采用预先训练的图卷积网络,对所述归一化处理后的历史流量数据进行处理,以获得融合特征;其中,所述图卷积网络的参数包括:邻接矩阵,所述邻接矩阵用于表征所述多个网络节点中两两节点间的关联关系。
[0060]
其中,结合图3,图卷积网络包括两个图卷积层,每个图卷积层涉及的参数包括:邻接矩阵a和权重参数矩阵w。
[0061]
具体地,可以将归一化处理后的历史流量数据输入到图卷积网络中,图卷积网络对输入数据进行处理后,输出为融合特征。
[0062]
单个图卷积层的计算公式可以表示为:
[0063]hl+1
=σ(ah
lwl
)
[0064]
其中,h
l+1
为第l层的输出;h
l
是第l层的输入,初始值(即第一层的输入)为h1=x;w
l
是第l层的权重参数矩阵;σ()表示激活函数,具体可以为relu激活函数;a为邻接矩阵。
[0065]
其中,a∈rn×n,即维度为n
×
n的矩阵,针对其中的元素a
ij
,表示第i个网络节点与第j个网络节点之间的关联关系,i,j∈[1,n]。
[0066]
图卷积网络是通过训练获得的,即上述的a和w可以通过训练得到。
[0067]
图卷积网络的输出数据的维度与输入数据的维度是相同,即维度为n
×
t的矩阵。
[0068]
本实施例中,采用图卷积网络对历史流量数据进行处理,由于图卷积网络的参数包括邻接矩阵,邻接矩阵用于表征两两节点间的关联关系,因此,可以获得融合多个网络节点信息的融合特征,进而提升预测精准度。
[0069]
404、采用预先训练的时间特征提取网络,对所述融合特征进行处理,以获得时间特征。
[0070]
其中,结合图3,时间特征提取网络可以为lstm网络。
[0071]
具体地,可以将融合特征输入到lstm网络中,lstm网络对输入数据进行处理后,输出为时间特征。
[0072]
其中,lstm网络可以包括两层,每层的输出节点的数量可以用k(正整数)表示,k可以人为设定。因此,lstm网络的输出数据(时间特征)的维度为n
×
k的矩阵。
[0073]
本实施例中,通过采用时间特征提取网络对融合特征进行提取后获得时间特征,可以使得时间特征具有更丰富的信息,进而基于时间特征获得未来流量数据时,可以使用更丰富的信息进行网络流量预测,提升预测精准度。
[0074]
405、采用第二全连接层,对所述时间特征进行处理,以获得所述多个网络节点的未来流量数据。
[0075]
其中,针对每个网络节点,其未来流量数据可以具体为下一时刻的流量数据,假设当前时刻为第t时刻,则未来时刻为第(t+1)时刻,则预测第(t+1)时刻的流量数据。
[0076]
其中,可以同步获得n个网络节点的未来流量数据。
[0077]
因此,假设未来流量数据用y表示,则y∈rn×1。即,输出数据y为一个n维向量,每个维度对应一个网络节点,每个维度的数据为对应节点的第t+1时刻的历史流量数据。
[0078]
上述的预测过程可以是持续的,即用第1~t时刻的流量数据预测第(t+1)时刻的流量数据,用第2~(t+1)时刻的流量数据预测第(t+2)时刻的流量数据,依此类推。
[0079]
本实施例中,通过第二全连接层,可以较为简洁地将时间特征转换为对应的未来流量数据,提高网络流量预测的效率。
[0080]
进一步地,本实施例的网络流量预测模型是端到端的,输入是历史流量数据,输出是预测结果,即未来流量数据,不需要额外引入特别结构,可以简化操作,提升效率。上述的网络流量预测模型是多个网络节点统一使用的,可以同步预测n个网络节点的网络流量,不需要针对每个网络节点使用一个单独的模型,可以简化系统结构以及提高预测精准度。通过采用图卷积网络可以对多个网络节点的信息进行融合,基于融合信息进行预测,可以提高预测精准度。
[0081]
上述实施例中涉及了网络流量预测模型,下面对模型的训练过程进行说明。
[0082]
图5是根据本公开第三实施例的示意图,本实施例提供一种网络流量预测模型的训练方法,所述模型包括:图卷积网络,所述方法包括:
[0083]
501、获取多个网络节点的样本数据,所述样本数据包括:历史流量数据,以及真实未来流量数据。
[0084]
502、采用所述图卷积网络,基于所述多个网络节点中两两节点间的关联关系,对所述历史流量数据进行处理,以获得融合特征。
[0085]
503、基于所述融合特征,获得预测未来流量数据。
[0086]
504、基于所述真实未来流量数据和所述预测未来流量数据,构建损失函数。
[0087]
505、基于所述损失函数,调整模型参数直至满足预设条件,所述模型参数包括:所述图卷积网络的模型参数。
[0088]
本实施例中,通过采用图卷积网络获得融合特征,由于融合特征是基于多个网络节点中两两节点间的关联关系获得的,融合了多个网络节点信息,从而基于融合特征构建的模型融合了多个节点信息,可以提高模型的精准度,进而基于该模型进行网络流量预测可以提高预测精准度。
[0089]
一些实施例中,所述模型包括:特征提取网络,所述模型参数还包括:所述特征提取网络的模型参数,所述基于所述融合特征,获得预测未来流量数据,包括:采用所述特征提取网络,对所述融合特征进行处理,以获得时间特征;基于所述时间特征获得所述预测未来流量特征。
[0090]
本实施例中,通过采用时间特征提取网络对融合特征进行提取后获得时间特征,可以使得时间特征具有更丰富的信息,进而基于时间特征获得未来流量数据时,可以使用更丰富的信息进行网络流量预测,提升预测精准度。
[0091]
一些实施例中,所述模型还包括:第一全连接层,所述模型参数还包括:所述第一全连接层的模型参数,所述方法还包括:采用所述第一全连接层,对所述历史流量数据进行归一化处理,以获得归一化处理后的历史流量数据;相应地,所述采用所述图卷积网络,对所述历史流量数据进行处理,以获得融合特征,包括:采用所述图卷积网络,对所述归一化处理后的历史流量数据进行处理,以获得所述融合特征。
[0092]
本实施例中,通过对多个网络节点的历史流量数据进行归一化处理,可以将多个网络节点的历史流量数据归一化到设定区间内,避免数值差异过大,进而可以提高网络流量预测模型的精准度。
[0093]
一些实施例中,所述模型还包括:第二全连接层,所述模型参数还包括:所述第二全连接层的模型参数,所述基于所述时间特征获得所述预测未来流量特征,包括:采用所述第二全连接层,对所述时间特征进行处理,以获得所述预测未来流量数据。
[0094]
本实施例中,通过第二全连接层,可以较为简洁地将时间特征转换为对应的未来流量数据,提高网络流量预测的效率。
[0095]
一些实施例中,所述获取多个网络节点的样本数据,包括:
[0096]
获取多个网络节点的预设个数的时间点流量数据;
[0097]
将所述预设个数的时间点流量数据分为所述历史流量数据和真实未来流量数据;其中,所述真实未来流量数据为最后一个时间点流量数据,所述历史流量数据包括:除了所述最后一个时间点流量数据之外的其他时间点流量数据。
[0098]
其中,针对n个网络节点,每个网络节点可以获得(t+1)个连续时间点的流量数据,将第(t+1)个时间点的流量数据作为真实未来流量数据,将其余流量数据,即第1~t个时间点的流量数据作为历史流量数据。因此,历史流量数据的维度是n
×
t,真实未来流量数据的维度是n。
[0099]
本实施例中,通过对预设个数的时间点流量数据进行分组处理,可以简便快速地获得样本数据中的历史流量数据和真实未来流量数据。
[0100]
采用模型获得预测未来流量数据后,可以基于预测未来流量数据和真实未来流量数据构建损失函数,损失函数具体可以为均方误差(mean squareerror,mse)函数。
[0101]
获得损失函数后,可以基于损失函数调整模型参数,直至满足预设条件,得到最终模型。例如,可以采用反向传播(backpropagation,bp)算法调整模型参数。
[0102]
调整参数可以是:调整后的参数=调整前的参数-学习率*梯度值,其中梯度值可以是损失函数针对模型参数进行求导后获得,学习率是预设的超参数。各个参数的初始值可以是设置的,例如,可以针对各个参数进行随机化处理,随机获得各个参数的初始值。
[0103]
针对第一全连接层、时间特征提取网络、第二全连接层,其模型参数为权重参数矩阵w,w的初始值可以是随机生成的。
[0104]
针对图卷积网络,其模型参数包括权重参数矩阵w和邻接矩阵a,w的初始值可以是随机生成的,a的初始值可以根据网络节点间的调度关系确定,比如,针对其中的aij,若节点i与节点j存在调用关系,则aij=1,否则,aij=0。之后,a可以在训练过程中进行学习调整,最终的a中的元素aij为位于0~1之间的值。
[0105]
预设条件例如是迭代次数达到预设值或者满足预设的收敛条件,收敛条件例如为相邻的两次损失函数的差值绝对值小于预设值。满足预设条件的模型作为最终的网络流量预测模型,包括:第一全连接层、图卷积网络、时间特征提取网络和第二全连接层。最终的网络流量预测模型可以用于推理阶段的网络流量预测。
[0106]
本实施例中,通过上述训练过程可以获得一个端到端的模型,该模型可以用于推理阶段的网络流量预测,相比于额外设计或多个模型的方式,可以降低复杂度,提高推理速度,另外,训练过程中融合了多个网络节点的信息,可以提高模型精准度,进而提高推理精准度。
[0107]
图6是根据本公开第三实施例的示意图,本实施例提供一种网络流量预测装置,该装置600包括:获取模块601、融合模块602和预测模块603。
[0108]
获取模块601用于获取多个网络节点的历史流量数据;融合模块602用于基于所述多个网络节点中两两节点间的关联关系,对所述历史流量数据进行处理,以获得融合特征;预测模块603用于基于所述融合特征,确定所述多个网络节点的未来流量数据。
[0109]
本实施例中,通过基于关联关系获得融合特征,基于融合特征确定未来流量数据,可以在网络流量预测时考虑节点间的关联关系,基于融合信息进行流量预测,可以提高网络流量预测的精准度。
[0110]
一些实施例中,所述融合模块602进一步用于:采用预先训练的图卷积网络,对所述历史流量进行处理,以获得所述融合特征;其中,所述图卷积网络的参数包括:邻接矩阵,所述邻接矩阵用于表征所述两两节点间的关联关系。
[0111]
本实施例中,采用图卷积网络对历史流量数据进行处理,由于图卷积网络的参数包括邻接矩阵,邻接矩阵用于表征两两节点间的关联关系,因此,可以获得融合多个网络节点信息的融合特征,进而提升预测精准度。
[0112]
一些实施例中,所述预测模块603进一步用于:采用预先训练的时间特征提取网络,对所述融合特征进行处理,以获得时间特征;基于所述时间特征,获得所述未来流量数
据。
[0113]
本实施例中,通过采用时间特征提取网络对融合特征进行提取后获得时间特征,可以使得时间特征具有更丰富的信息,进而基于时间特征获得未来流量数据时,可以使用更丰富的信息进行网络流量预测,提升预测精准度。
[0114]
一些实施例中,所述装置600还包括:归一化模块。所述归一化模块用于采用预先训练的第一全连接层,对所述历史流量数据进行归一化处理,以获得归一化处理后的历史流量数据;相应地,所述融合模块602进一步用于:基于所述多个网络节点中两两节点间的关联关系,对所述归一化处理后的历史流量数据进行处理,以获得融合特征。
[0115]
本实施例中,通过对多个网络节点的历史流量数据进行归一化处理,可以将多个网络节点的历史流量数据归一化到设定区间内,避免数值差异过大,进而可以提高网络流量预测精准度。
[0116]
一些实施例中,所述预测模块603进一步用于:采用预先训练的第二全连接层,对所述时间特征进行处理,以获得所述未来流量数据。
[0117]
本实施例中,通过第二全连接层,可以较为简洁地将时间特征转换为对应的未来流量数据,提高网络流量预测的效率。
[0118]
图7是根据本公开第四实施例的示意图,本实施例提供一种网络流量预测模型的训练装置,所述模型包括:图卷积网络该装置700包括:获取模块701、融合模块702、预测模块703、构建模块704和调整模块705。
[0119]
获取模块701用于获取多个网络节点的样本数据,所述样本数据包括:历史流量数据,以及真实未来流量数据;融合模块702用于采用所述图卷积网络,基于所述多个网络节点中两两节点间的关联关系,对所述历史流量数据进行处理,以获得融合特征;预测模块703用于基于所述融合特征,获得预测未来流量数据;构建模块704用于基于所述真实未来流量数据和所述预测未来流量数据,构建损失函数;调整模块705用于基于所述损失函数,调整模型参数直至满足预设条件,所述模型参数包括:所述图卷积网络的模型参数。
[0120]
本实施例中,通过采用图卷积网络获得融合特征,由于融合特征是基于多个网络节点中两两节点间的关联关系获得的,融合了多个网络节点信息,从而基于融合特征构建的模型融合了多个节点信息,可以提高模型的精准度,进而基于该模型进行网络流量预测可以提高预测精准度。
[0121]
一些实施例中,所述模型包括:特征提取网络,所述模型参数还包括:所述特征提取网络的模型参数,所述预测模块703进一步用于:采用所述特征提取网络,对所述融合特征进行处理,以获得时间特征;基于所述时间特征获得所述预测未来流量特征。
[0122]
本实施例中,通过采用时间特征提取网络对融合特征进行提取后获得时间特征,可以使得时间特征具有更丰富的信息,进而基于时间特征获得未来流量数据时,可以使用更丰富的信息进行网络流量预测,提升预测精准度。
[0123]
一些实施例中,所述模型还包括:第一全连接层,所述模型参数还包括:所述第一全连接层的模型参数,所述装置还包括:归一化模块,用于采用所述第一全连接层,对所述历史流量数据进行归一化处理,以获得归一化处理后的历史流量数据;相应地,所述融合模块703进一步用于:采用所述图卷积网络,对所述归一化处理后的历史流量数据进行处理,以获得融合特征。
[0124]
本实施例中,通过对多个网络节点的历史流量数据进行归一化处理,可以将多个网络节点的历史流量数据归一化到设定区间内,避免数值差异过大,进而可以提高网络流量预测模型的精准度。
[0125]
一些实施例中,所述模型还包括:第二全连接层,所述模型参数还包括:所述第二全连接层的模型参数,所述预测模块703进一步用于:采用所述第二全连接层,对所述时间特征进行处理,以获得所述预测未来流量数据。
[0126]
本实施例中,通过第二全连接层,可以较为简洁地将时间特征转换为对应的未来流量数据,提高网络流量预测的效率。
[0127]
所述获取模块701进一步用于:获取多个网络节点的预设个数的时间点流量数据;将所述预设个数的时间点流量数据分为所述历史流量数据和真实未来流量数据;其中,所述真实未来流量数据为最后一个时间点流量数据,所述历史流量数据包括:除了所述最后一个时间点流量数据之外的其他时间点流量数据。
[0128]
本实施例中,通过对预设个数的时间点流量数据进行分组处理,可以简便快速地获得样本数据中的历史流量数据和真实未来流量数据。
[0129]
可以理解的是,本公开实施例中,不同实施例中的相同或相似内容可以相互参考。
[0130]
可以理解的是,本公开实施例中的“第一”、“第二”等只是用于区分,不表示重要程度高低、时序先后等。
[0131]
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
[0132]
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0133]
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备800旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备800还可以表示各种形式的移动装置,诸如,个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0134]
如图8所示,电子设备800包括计算单元801,其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序,来执行各种适当的动作和处理。在ram803中,还可存储电子设备800操作所需的各种程序和数据。计算单元801、rom802以及ram803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
[0135]
电子设备800中的多个部件连接至i/o接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0136]
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及
任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如网络流量预测方法或网络流量预测模型的训练方法。例如,在一些实施例中,网络流量预测方法或网络流量预测模型的训练方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由rom802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序加载到ram803并由计算单元801执行时,可以执行上文描述的网络流量预测方法或网络流量预测模型的训练方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行网络流量预测方法或网络流量预测模型的训练方法。
[0137]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0138]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程负载均衡装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0139]
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0140]
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0141]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界
面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)和互联网。
[0142]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与vps服务("virtualprivate server",或简称"vps")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
[0143]
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
[0144]
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
技术特征:
1.一种网络流量预测方法,包括:获取多个网络节点的历史流量数据;基于所述多个网络节点中两两节点间的关联关系,对所述历史流量数据进行处理,以获得融合特征;基于所述融合特征,确定所述多个网络节点的未来流量数据。2.根据权利要求1所述的方法,其中,所述基于所述多个网络节点中两两节点间的关联关系,对所述历史流量数据进行处理,以获得融合特征,包括:采用预先训练的图卷积网络,对所述历史流量进行处理,以获得所述融合特征;其中,所述图卷积网络的参数包括:邻接矩阵,所述邻接矩阵用于表征所述两两节点间的关联关系。3.根据权利要求1所述的方法,其中,所述基于所述融合特征,确定所述多个网络节点的未来流量数据,包括:采用预先训练的时间特征提取网络,对所述融合特征进行处理,以获得时间特征;基于所述时间特征,获得所述未来流量数据。4.根据权利要求1-3任一项所述的方法,还包括:采用预先训练的第一全连接层,对所述历史流量数据进行归一化处理,以获得归一化处理后的历史流量数据;相应地,所述基于所述多个网络节点中两两节点间的关联关系,对所述历史流量数据进行处理,以获得融合特征,包括:基于所述多个网络节点中两两节点间的关联关系,对所述归一化处理后的历史流量数据进行处理,以获得融合特征。5.根据权利要求3所述的方法,其中,所述基于所述时间特征,获得所述未来流量数据,包括:采用预先训练的第二全连接层,对所述时间特征进行处理,以获得所述未来流量数据。6.一种网络流量预测模型的训练方法,所述模型包括:图卷积网络,所述方法包括:获取多个网络节点的样本数据,所述样本数据包括:历史流量数据,以及真实未来流量数据;采用所述图卷积网络,基于所述多个网络节点中两两节点间的关联关系,对所述历史流量数据进行处理,以获得融合特征;基于所述融合特征,获得预测未来流量数据;基于所述真实未来流量数据和所述预测未来流量数据,构建损失函数;基于所述损失函数,调整模型参数直至满足预设条件,所述模型参数包括:所述图卷积网络的模型参数。7.根据权利要求6所述的方法,其中,所述模型包括:特征提取网络,所述模型参数还包括:所述特征提取网络的模型参数,所述基于所述融合特征,获得预测未来流量数据,包括:采用所述特征提取网络,对所述融合特征进行处理,以获得时间特征;基于所述时间特征获得所述预测未来流量特征。8.根据权利要求6所述的方法,其中,所述模型还包括:第一全连接层,所述模型参数还包括:所述第一全连接层的模型参数,所述方法还包括:
采用所述第一全连接层,对所述历史流量数据进行归一化处理,以获得归一化处理后的历史流量数据;相应地,所述采用所述图卷积网络,对所述历史流量数据进行处理,以获得融合特征,包括:采用所述图卷积网络,对所述归一化处理后的历史流量数据进行处理,以获得所述融合特征。9.根据权利要求7所述的方法,其中,所述模型还包括:第二全连接层,所述模型参数还包括:所述第二全连接层的模型参数,所述基于所述时间特征获得所述预测未来流量特征,包括:采用所述第二全连接层,对所述时间特征进行处理,以获得所述预测未来流量数据。10.根据权利要求6-9任一项所述的方法,其中,所述获取多个网络节点的样本数据,包括:获取多个网络节点的预设个数的时间点流量数据;将所述预设个数的时间点流量数据分为所述历史流量数据和真实未来流量数据;其中,所述真实未来流量数据为最后一个时间点流量数据,所述历史流量数据包括:除了所述最后一个时间点流量数据之外的其他时间点流量数据。11.一种网络流量预测装置,包括:获取模块,用于获取多个网络节点的历史流量数据;融合模块,用于基于所述多个网络节点中两两节点间的关联关系,对所述历史流量数据进行处理,以获得融合特征;预测模块,用于基于所述融合特征,确定所述多个网络节点的未来流量数据。12.根据权利要求11所述的装置,其中,所述融合模块进一步用于:采用预先训练的图卷积网络,对所述历史流量进行处理,以获得所述融合特征;其中,所述图卷积网络的参数包括:邻接矩阵,所述邻接矩阵用于表征所述两两节点间的关联关系。13.根据权利要求11所述的装置,其中,所述预测模块进一步用于:采用预先训练的时间特征提取网络,对所述融合特征进行处理,以获得时间特征;基于所述时间特征,获得所述未来流量数据。14.根据权利要求11-13任一项所述的装置,还包括:归一化模块,用于采用预先训练的第一全连接层,对所述历史流量数据进行归一化处理,以获得归一化处理后的历史流量数据;相应地,所述融合模块进一步用于:基于所述多个网络节点中两两节点间的关联关系,对所述归一化处理后的历史流量数据进行处理,以获得融合特征。15.根据权利要求13所述的装置,其中,所述预测模块进一步用于:采用预先训练的第二全连接层,对所述时间特征进行处理,以获得所述未来流量数据。16.一种网络流量预测模型的训练装置,所述模型包括:图卷积网络,所述装置包括:获取模块,用于获取多个网络节点的样本数据,所述样本数据包括:历史流量数据,以及真实未来流量数据;融合模块,用于采用所述图卷积网络,基于所述多个网络节点中两两节点间的关联关系,对所述历史流量数据进行处理,以获得融合特征;
预测模块,用于基于所述融合特征,获得预测未来流量数据;构建模块,用于基于所述真实未来流量数据和所述预测未来流量数据,构建损失函数;调整模块,用于基于所述损失函数,调整模型参数直至满足预设条件,所述模型参数包括:所述图卷积网络的模型参数。17.根据权利要求16所述的装置,其中,所述模型包括:特征提取网络,所述模型参数还包括:所述特征提取网络的模型参数,所述预测模块进一步用于:采用所述特征提取网络,对所述融合特征进行处理,以获得时间特征;基于所述时间特征获得所述预测未来流量特征。18.根据权利要求16所述的装置,其中,所述模型还包括:第一全连接层,所述模型参数还包括:所述第一全连接层的模型参数,所述装置还包括:归一化模块,用于采用所述第一全连接层,对所述历史流量数据进行归一化处理,以获得归一化处理后的历史流量数据;相应地,所述融合模块进一步用于:采用所述图卷积网络,对所述归一化处理后的历史流量数据进行处理,以获得融合特征。19.根据权利要求17所述的装置,其中,所述模型还包括:第二全连接层,所述模型参数还包括:所述第二全连接层的模型参数,所述预测模块进一步用于:采用所述第二全连接层,对所述时间特征进行处理,以获得所述预测未来流量数据。20.根据权利要求16-19任一项所述的装置,其中,所述获取模块进一步用于:获取多个网络节点的预设个数的时间点流量数据;将所述预设个数的时间点流量数据分为所述历史流量数据和真实未来流量数据;其中,所述真实未来流量数据为最后一个时间点流量数据,所述历史流量数据包括:除了所述最后一个时间点流量数据之外的其他时间点流量数据。21.一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。22.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。23.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。
技术总结
本公开提供了一种网络流量预测及模型训练方法、装置、设备和存储介质,涉及人工智能技术领域,具体涉及深度学习、互联网等技术领域。网络流量预测方法包括:获取多个网络节点的历史流量数据;基于所述多个网络节点中两两节点间的关联关系,对所述历史流量数据进行处理,以获得融合特征;基于所述融合特征,确定所述多个网络节点的未来流量数据。本公开可以提高驾驶网络流量预测的精准度。驾驶网络流量预测的精准度。驾驶网络流量预测的精准度。
技术研发人员:唐瑜
受保护的技术使用者:北京百度网讯科技有限公司
技术研发日:2023.03.03
技术公布日:2023/7/19
版权声明
本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
飞行汽车 https://www.autovtol.com/
