一种资源节点调整方法、系统、电子设备及可读存储介质与流程

未命名 08-17 阅读:116 评论:0


1.本技术涉及内容分发领域,尤其涉及一种资源节点调整方法、系统、电子设备及可读存储介质。


背景技术:

2.pcdn是一种p2p+cdn的内容分发网络技术,pcdn使用的资源比内容分发网络cdn廉价,其存储空间有限,提供带宽有限,因此,pcdn通常服务于热点内容,以保证通过较少的内容提供较为稳定的带宽。
3.pcdn的资源下发响应通常较慢,目前,通常是通过即时统计访问数据来确定资源节点数是否合适,根据统计结果调整pcdn整体资源节点分布来被动适应访问数据,而由于资源下发的响应较慢,容易造成pcdn带宽的浪费。


技术实现要素:

4.有鉴于此,本技术提供一种资源节点调整方法、系统、电子设备及可读存储介质,其具体方案如下:一种资源节点调整方法,包括:获得特定热点文件的第一统计数据及第二统计数据,所述第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,所述第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;将所述第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得所述序列处理模型的输出,所述序列处理模型的输出为所述特定热点文件在所述当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问数据与资源节点数量的对应关系确定与所述预测访问数据对应的预测资源节点数量;在所述当前访问周期结束时,基于所述预测资源节点数量调整用于访问所述特定热点文件的资源节点。
5.进一步的,所述基于预先设定的访问数据与资源节点数量的对应关系确定与所述预测访问数据对应的预测资源节点数量,包括:获得访问数据、资源节点数量与访问错误率之间的线性关系;基于所述线性关系确定在基于所述预测访问数据对所述特定热点文件进行访问时,所述访问错误率小于特定阈值时对应的资源节点数量,将所述访问错误率小于特定阈值时对应的资源节点数量确定为预测资源节点数量。
6.进一步的,所述基于所述预测资源节点数量调整用于访问所述特定热点文件的资源节点,包括:若确定所述预测资源节点数量小于当前访问周期内所述特定热点文件的资源节
点数量,则清理所述当前访问周期内的资源节点,以使清理后的资源节点数量与所述预测资源节点数量匹配;若确定所述预测资源节点数量大于当前访问周期内所述特定热点文件的资源节点数量,则分发用于访问所述特定热点文件的资源节点,以使分发资源节点后用于访问所述特定热点文件的资源节点数量与所述预测资源节点数量匹配。
7.进一步的,所述第一访问数据至少包括:特定热点文件在当前访问周期内的第一访问频数及第一访问频数分布;所述第二访问数据至少包括:特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个访问周期的第二访问频数及第二访问频数分布;所述基于所述预测资源节点数量调整用于访问所述特定热点文件的资源节点,包括:确定预测访问数据中的预测访问频数分布;基于所述预测资源节点数量及预测访问频数分布调整用于访问所述特定热点文件的资源节点的分布及数量。
8.进一步的,所述预设数量为大于所述序列处理模型中时序数据步长的数值。
9.进一步的,还包括:获得至少一个热点文件中每个热点文件的多组训练数据,每组训练数据至少包括:连续预设数量的历史访问周期内每个历史访问周期的第三访问数据及所述连续预设数量的历史访问周期结束后的下一历史访问周期的第四访问数据;将所述每个热点文件的多组训练数据中每组训练数据中的第三访问数据作为特征值,将所述第四访问数据作为标签值,进行模型训练,获得训练完成的序列处理模型。
10.进一步的,还包括:若第一热点文件的历史访问周期的数量小于所述预设数量,则从所述多组训练数据中删除与所述第一热点文件相关的数据。
11.一种资源节点调整系统,包括:获得单元,用于获得特定热点文件的第一统计数据及第二统计数据,所述第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,所述第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;输出单元,用于将所述第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得所述序列处理模型的输出,所述序列处理模型的输出为所述特定热点文件在所述当前访问周期结束后的下一访问周期的预测访问数据;确定单元,用于基于预先设定的访问数据与资源节点数量的对应关系确定与所述预测访问数据对应的预测资源节点数量;调整单元,用于在所述当前访问周期结束时,基于所述预测资源节点数量调整用于访问所述特定热点文件的资源节点。
12.一种电子设备,包括:处理器,用于获得特定热点文件的第一统计数据及第二统计数据,所述第一统计
数据至少包括特定热点文件在当前访问周期内的第一访问数据,所述第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;将所述第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得所述序列处理模型的输出,所述序列处理模型的输出为所述特定热点文件在所述当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问数据与资源节点数量的对应关系确定与所述预测访问数据对应的预测资源节点数量;在所述当前访问周期结束时,基于所述预测资源节点数量调整用于访问所述特定热点文件的资源节点;存储器,用于存储所述处理器执行上述处理过程的程序。
13.一种可读存储介质,所述可读存储介质用于至少存储一组指令集;所述指令集用于被调用并至少执行如上任一项所述的资源节点调整方法。
14.从上述技术方案可以看出,本技术公开的资源节点调整方法、系统、电子设备及可读存储介质,获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问频数与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;在当前访问周期结束时,基于预测资源节点数量调整用于访问特定热点文件的资源节点。本方案通过预先对下一访问周期的访问数据进行预测,保证了资源节点下发的响应速度,避免了对pcdn带宽的浪费。
附图说明
15.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
16.图1为本技术实施例公开的一种资源节点调整方法的流程图;图2为本技术实施例公开的又一种资源节点调整方法的流程图;图3为本技术实施例公开的另一种资源节点调整方法的流程图;图4为本技术实施例公开的再一种资源节点调整方法的流程图;图5为本技术实施例公开的一种资源节点调整系统的结构示意图;图6为本技术实施例公开的一种电子设备的结构示意图。
具体实施方式
17.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
18.本技术公开了一种资源节点调整方法,其流程图如图1所示,包括:步骤s11、获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;步骤s12、将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;步骤s13、基于预先设定的访问频数与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;步骤s14、在当前访问周期结束时,基于预测资源节点数量调整用于访问特定热点文件的资源节点。
19.pcdn内容分发网络的资源特性使得其只有服务于热点资源才能够有价值,而热点资源的热度是随时变化的,对于pcdn内容分发网络中资源节点在将来一段时间的访问量是欠缺还是富余是难以判定的;并且,常规的方法通过被动的即时统计访问数据来确定资源节点的数量是否合适,而资源节点的分发速度较慢,容易造成pcdn带宽的浪费。
20.基于此,本方案中在原有被动统计的基础上,增加主动预测的方式,以达到对未来一段时间内热点内容的访问数据的预测以及基于该预测对资源节点进行调整,避免造成pcdn带宽的浪费。
21.其中,热点资源及热点内容为:通过网络被大量访问的数据或内容;资源节点即pcdn网络中拥有某个数据或内容的节点。
22.当需要对某个特定的热点文件进行访问预测及资源节点调整时,需首先获得该特定热点文件的第一统计数据及第二统计数据,以便将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型中,获得模型的输出,并将模型的输出确定为预测的下一访问周期的预测访问数据。
23.其中,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据。
24.不同的热点文件可设置不同的访问周期,在对热点文件进行访问数据的预测时,需要基于当前访问周期及历史访问周期中的访问数据进行预测。
25.对于同一个热点文件,访问周期不同,其对应的访问数据就可能不同,访问周期可以以1天或几天为1个周期,也可以以1小时或几小时为1个周期,或者,以1周或几周为1个周期。访问周期可以基于访问数据进行调整,或者,访问周期预先设置好,无需进行调整。
26.第二统计数据中包括预设数量个历史访问周期内的访问数据,若预设数量为7,则第二统计数据中包括的是当前访问周期之前、与当前访问周期时间间隔最近的7个连续访问周期中的访问数据。
27.序列处理模型是预先基于历史训练数据训练完成的,能够对下一访问周期进行访问数据的预测的模型,该模型可以为长短期记忆递归神经网络lstm模型,也可以为门控循环单元gru模型。
28.其中,长短期记忆递归神经网络模型lstm通过保持部分长期信息结合更多的短期信息来工作,主要用于与序列相关的预测,例如:天气、股市、文字输入等;门控循环单元gru模型是lstm网络的一种变体。
29.当将第一统计数据及第二统计数据输入至训练完成的序列处理模型中后,可获得序列处理模型的输出,该输出即为该特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据,即通过模型预测得到的下一个访问周期的访问数据。
30.基于该预测访问数据确定是否需要对用于访问该特定热点文件的资源节点进行调整,若需要调整,则增加或减少用于访问该特定热点文件的资源节点;若不需要调整,则可直接结束本次预测。
31.若需要调整,则基于预先设定的访问数据与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量。只有预测的访问数据与资源节点数量满足上述对应关系时,pcdn内容分发网络中的资源或带宽才能够符合要求,避免带宽的浪费。
32.本实施例公开的资源节点调整方法,获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问频数与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;在当前访问周期结束时,基于预测资源节点数量调整用于访问特定热点文件的资源节点。本方案通过预先对下一访问周期的访问数据进行预测,保证了资源节点下发的响应速度,避免了对pcdn带宽的浪费。
33.本实施例公开了又一种资源节点调整方法,其流程图如图2所示,包括:步骤s21、获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;步骤s22、将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;步骤s23、获得访问数据、资源节点数量与访问错误率之间的线性关系;步骤s24、基于线性关系确定在基于预测访问数据对特定热点文件进行访问时,访问错误率小于特定阈值时对应的资源节点数量,将访问错误率小于特定阈值时对应的资源节点数量确定为预测资源节点数量;步骤s25、在当前访问周期结束时,基于预测资源节点数量调整用于访问特定热点文件的资源节点。
34.访问数据、资源节点数量与访问错误率之间的线性关系可以具体为线性方程,其中,该线性方程中的访问数据可具体为某个热点文件的访问频数,则该线性方程可以为:
35.其中,a、b、k为方程系数,x为访问频数,y为资源节点数量,e为访问错误率。
36.由于a、b、k为已确定的方程系数,则当预测访问数据确定时,将预测访问数据中的预测访问频数代入上述线性方程中,需要保证访问错误率e小于特定阈值,在保证访问错误率e小于特定阈值的情况下,利用上述线性方程及预测访问频数确定一个对应的资源节点数量,该资源节点数量即为预测资源节点数量。
37.在确定预测资源节点数量后,只需要按照该预测资源节点数量对pcdn网络中的资源节点进行调整即可。
38.进一步的,对资源节点进行调整,可以为:若确定预测资源节点数量小于当前访问周期内特定热点文件的资源节点数量,则清理当前访问周期内的资源节点,以使清理后的资源节点数量与预测资源节点数量匹配;若确定预测资源节点数量大于当前访问周期内特定热点文件的资源节点数量,则分发用于访问特定热点文件的资源节点,以使分发资源节点后用于访问特定热点文件的资源节点数量与预测资源节点数量匹配。
39.在进行下一访问周期的资源节点数量预测的过程中,需要获得当前访问周期内对于该特定热点文件的资源节点数量,即在当前访问周期内用于访问该特定热点文件的资源节点的数量是多少,以便于在预测出下一访问周期的预测资源节点数量后,能够基于预测资源节点数量对当前访问周期内用于访问该特定热点文件的资源节点数量进行调整。
40.具体的,如果预测出的资源节点数量小于当前访问周期内用于访问特定热点文件的资源节点数量,则需要在下一访问周期到来前,减少用于访问该特定热点文件的资源节点,即清理资源节点,以使用于访问该特定热点文件的资源节点数量减少,直至剩余的用于访问该特定热点文件的资源节点数量与预测资源节点数量一致,或,两者之间的差值小于某一预设阈值时停止清理资源节点。
41.如果预测出的资源节点数量大于当前访问周期内用于访问特定热点文件的资源节点数量,则需要在下一访问周期到来前,增加用于访问该特定热点文件的资源节点,即通过pcdn内容分发网络分发资源节点,以使用于访问该特定热点文件的资源节点数量增加,直至增加后所有的能够用于访问该特定热点文件的资源节点数量与预测资源节点数量一致,或,两者之间的差值小于某一预设阈值时停止分发资源节点。
42.本实施例公开的资源节点调整方法,获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问频数与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;在当前访问周期结束时,基于预测资源节点数量调整用于访问特定热点文件的资源节点。本方案通过预先对下一访问周期的访问数据进行预测,保证了资源节点下发的响应速度,避免了对pcdn带宽的浪费。
43.本实施例公开了另一种资源节点调整方法,其流程图如图3所示,包括:步骤s31、获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问频数及第一访问频数分布;第二统计数据
至少包括特定热点文件在当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问频数及第二访问频数分布;步骤s32、将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;步骤s33、基于预先设定的访问数据与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;步骤s34、在当前访问周期结束时,确定预测访问数据中的预测访问频数分布;步骤s35、基于预测资源节点数量及预测访问频数分布调整用于访问特定热点文件的资源节点的分布及数量。
44.特定热点文件的第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,而第一访问数据不仅包括特定热点文件在当前访问周期内的第一访问频数,还包括其在当前访问周期内的第一访问频数分布;相应的,特定热点文件的第二统计数据至少包括特定热点文件在当前访问周期之前连续预设数量的历史访问周期内每个访问周期的第二访问数据,而第二访问数据不仅包括特定热点文件在当前访问周期之前连续预设数量的历史访问周期内每个访问周期的第二访问频数,还包括第二访问频数分布。
45.访问频数分布是指访问频数对应的地域分布或供应商分布,如表1所示:表1表1用于表征在一个访问周期内针对某个热点文件的访问数据,其中,访问频数为总频数,即表1中的汇总项,则访问频数为121,而对于访问频数分布,则为访问该热点文件的地域及供应商数据,如:通过a省a运营商访问该热点文件的频数为22,通过b省b运营商访问该热点文件的频数为17。
46.无论是当前访问周期还是历史访问周期内的访问数据均可通过如表1所示的表格进行访问数据的统计。
47.当访问数据中不仅包括访问频数还包括访问频数分布时,在对下一访问周期的访问数据进行预测时,其预测出的访问数据中不仅需要包括预测访问频数,还需要包括预测访问频数分布,以便于基于预测出的访问频数分布对相应的地域及供应商的资源节点的数量进行调整。
48.例如:以表1中所示的数据为特定热点文件的第一访问数据为例,将第一访问数据及第二访问数据输入至序列处理模型,获得预测访问数据,若预测访问数据中的预测访问频数分布为:a省a运营商为30,b省b运营商为10,则增加a省a运营商对应的资源节点数量,以使增加资源节点数量后能够通过a省a运营商访问该特定热点文件的资源节点数量与预测的a省a运营商对应的资源节点数量对应;减少b省b运营商对应的资源节点数量,以使减少资源节点数量后能够通过b省b运营商访问该特定热点文件的资源节点数量与预测的b省b运营商对应的资源节点数量对应,从而避免带宽的浪费,也避免了由于资源节点数量较少而导致的访问效率降低的问题。
49.另外,需要说明的是,第一统计数据中除包括特定热点文件在当前访问周期内的第一访问数据外,还可以包括该特定热点文件在当前访问周期内的第一基础数据;相应的,第二统计数据中除包括特定热点文件在当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期中的第二访问数据外,还包括第二基础数据。
50.其中,基础数据可以包括:特定热点文件生成时刻与当前时刻之间的时间间隔、特定热点文件最后一次被访问的时刻与当前时刻之间的时间间隔、特定热点文件进入pcdn内容分发网络的时刻、特定热点文件的文件大小,还可以包括其他额外信息,其他额外信息如:特定热点文件的文件类型,若特定热点文件为视频文件,则视频码率等级、播放时长等信息。
51.本实施例公开的资源节点调整方法,获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问频数及第一访问频数分布,第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问频数及第二访问频数分布;将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问频数与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;在当前访问周期结束时,确定预测访问数据中的预测访问频数分布,基于预测资源节点数量及预测访问频数分布调整用于访问特定热点文件的资源节点的分布及数量。本方案通过预先对下一访问周期的访问数据进行预测,保证了资源节点下发的响应速度,避免了对pcdn带宽的浪费。
52.本实施例公开了再一种资源节点调整方法,其流程图如图4所示,包括:步骤s41、获得至少一个热点文件中每个热点文件的多组训练数据,每组训练数据至少包括:连续预设数量的历史访问周期内每个历史访问周期的第三访问数据及连续预设数量的历史访问周期结束后的下一历史访问周期的第四访问数据;步骤s42、将每个热点文件的多组训练数据中每组训练数据中的第三访问数据作为特征值,将第四访问数据作为标签值,进行模型训练,获得训练完成的序列处理模型;步骤s43、获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;步骤s44、将第一统计数据及第二统计数据输入至序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;步骤s45、基于预先设定的访问数据与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;步骤s46、在当前访问周期结束时,基于预测资源节点数量调整用于访问特定热点文件的资源节点。
53.在对序列处理模型进行模型训练时,是利用多个热点文件的多组训练数据进行的,每组训练数据中包括第一访问数据及第四访问数据,第三访问数据为连续预设数量的
历史访问周期内每个历史访问周期的访问数据,与第二访问数据对应,不同的是,第三访问数据用于模型训练,第二访问数据用于在模型训练完成后基于模型进行预测;第四访问数据为连续预设数量的历史访问周期结束后的下一历史访问周期内的访问数据,与第一访问数据对应,不同的是第四访问数据用于模型训练,第一访问数据用于在模型训练完成后基于模型进行预测。
54.在模型训练过程中,利用第三访问数据及第四访问数据作为一组训练数据,通过多组训练数据进行模型训练,其中,每组训练数据中的第三访问数据作为特征值,第四访问数据作为标签值,以基于rnn的序列处理模型进行模型训练,从而得到训练完成的序列处理模型。
55.在利用训练完成的序列处理模型进行预测时,也是需要将第二访问数据及第一访问数据同时输入至序列处理模型中,才能够得到模型的输出结果,将该结果作为当前访问周期之后的下一访问周期的预测访问数据。
56.在进行模型训练过程中,选取的多组训练数据是多个热点文件中每个热点文件对应的训练数据,而热点文件的选取则是将所有的文件按照总的访问频数进行排序,选择访问频数最高的特定数量的热点文件,将选择的这些热点文件对应的访问数据作为训练数据。
57.因此,在获取训练数据时,首先需要按照访问频数选择热点文件,之后确定每个热点文件的访问频数分布,并获取每个热点文件在每个访问周期内的基础信息,之后获得具有多个访问周期的热点文件的访问数据,进行整理后得到该热点文件对应的训练数据。
58.每个热点文件对应的训练数据,可基于访问周期进行统计,每个热点文件需要获得预设数量+1个访问周期的访问数据,并且,预设数量+1个访问周期为连续的访问周期,其中,预设数量个访问周期的访问数据作为第三访问数据,预设数量个访问周期之后的1个访问周期的访问数据作为第四访问数据。
59.那么,在对训练数据进行获取时,就需要从所有的热点文件中筛选出访问周期的数量大于预设数量+1的热点文件,而将访问周期的数量不满足上述条件的热点文件对应的访问数据则需要从训练数据中删除,该热点文件的访问数据不具备参考意义,不将其作为训练数据。
60.例如:预设数量为7,则在确定训练数据时,需要选择访问周期至少大于8的热点文件的访问数据作为训练数据。
61.其中,预设数量的确定可以为:大于序列处理模型中时序数据步长的数值,即基于序列处理模型中的时序数据步长确定预设数量,并且预设数量大于该时序数据步长。
62.依据访问周期的不同,时序数据步长不同,则预设数量不同。例如:以1天为1个访问周期,则时序数据步长为7,某个热点文件的访问周期只有5个,则其不具备参考意义,将该热点文件的访问数据从训练数据中删除。
63.例如:分别获得了a、b、c、d、e这5个文件的访问数据,其中,访问周期分别为10、5、20、4、7,时序数据步长为7,确定只有访问周期的数量大于9的文件的访问数据才能够作为训练数据,则只有文件a和文件c的访问数据能够作为训练数据。在获取文件a和文件c的训练数据时,对于文件a的访问数据,将第1-7个访问周期的访问数据作为第一组训练数据的特征值,将第8个访问周期的访问数据作为第一组训练数据的标签;将第2-8个访问周期的
访问数据作为第二组训练数据的特征值,将第9个访问周期的访问数据作为第二组训练数据的标签;将第3-9个访问周期的访问数据作为第三组训练数据的特征值,将第10个访问周期的访问数据作为第三组训练数据的标签,相应的,对于文件c的访问数据中训练数据的确定也采用同样的方式。当获得所有的训练数据后,再进行模型训练。
64.当通过上述方式进行模型训练得到训练完成的时序处理模型后,在通过时序处理模型进行预测时,输入至时序处理模型的数据同样以上述方式输入,即若特定热点文件的当前访问周期为第11个访问周期,则将当前访问周期的访问数据作为标签,将当前访问周期之前的第4-10个访问周期的访问数据作为特征值,输入至训练完成的时序处理模型中,以获得第12个访问周期的预测访问数据,以便基于预测访问数据调整用于访问特定热点文件的资源节点。
65.本实施例公开的资源节点调整方法,获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问频数与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;在当前访问周期结束时,基于预测资源节点数量调整用于访问特定热点文件的资源节点。本方案通过预先对下一访问周期的访问数据进行预测,保证了资源节点下发的响应速度,避免了对pcdn带宽的浪费。
66.本实施例公开了一种资源节点调整系统,其结构示意图5所示,包括:获得单元51,输出单元52,确定单元53及调整单元54。
67.其中,获得单元51用于获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;输出单元52用于将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;确定单元53用于基于预先设定的访问数据与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;调整单元54用于在当前访问周期结束时,基于预测资源节点数量调整用于访问特定热点文件的资源节点。
68.进一步的,确定单元用于:获得访问数据、资源节点数量与访问错误率之间的线性关系;基于线性关系确定在基于预测访问数据对特定热点文件进行访问时,访问错误率小于特定阈值时对应的资源节点数量,将访问错误率小于特定阈值时对应的资源节点数量确定为预测资源节点数量。
69.进一步的,调整单元用于:若确定预测资源节点数量小于当前访问周期内特定热点文件的资源节点数量,则清理当前访问周期内的资源节点,以使清理后的资源节点数量与预测资源节点数量匹配;
若确定预测资源节点数量大于当前访问周期内特定热点文件的资源节点数量,则分发用于访问特定热点文件的资源节点,以使分发资源节点后用于访问特定热点文件的资源节点数量与预测资源节点数量匹配。
70.进一步的,第一访问数据至少包括:特定热点文件在当前访问周期内的第一访问频数及第一访问频数分布;第二访问数据至少包括:特定热点文件在当前访问周期之前连续预设数量的历史访问周期内每个访问周期的第二访问频数及第二访问频数分布;进一步的,调整单元用于:确定预测访问数据中的预测访问频数分布;基于预测资源节点数量及预测访问频数分布调整用于访问特定热点文件的资源节点的分布及数量。
71.进一步的,预设数量为大于序列处理模型中时序数据步长的数值。
72.进一步的,本实施例公开的资源节点调整系统还可以包括:训练单元,用于获得至少一个热点文件中每个热点文件的多组训练数据,每组训练数据至少包括:连续预设数量的历史访问周期内每个历史访问周期的第三访问数据及连续预设数量的历史访问周期结束后的下一历史访问周期的第四访问数据;将每个热点文件的多组训练数据中每组训练数据中的第三访问数据作为特征值,将第四访问数据作为标签值,进行模型训练,获得训练完成的序列处理模型。
73.进一步的,本实施例公开的资源节点调整系统还可以包括:删除单元,用于在确定第一热点文件的历史访问周期的数量小于预设数量,则从多组训练数据中删除与第一热点文件相关的数据。
74.本实施例公开的资源节点调整系统是基于上述实施例公开的资源节点调整方法实现的,在此不再赘述。
75.本实施例公开的资源节点调整系统,获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问频数与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;在当前访问周期结束时,基于预测资源节点数量调整用于访问特定热点文件的资源节点。本方案通过预先对下一访问周期的访问数据进行预测,保证了资源节点下发的响应速度,避免了对pcdn带宽的浪费。
76.本实施例公开了一种电子设备,其结构示意图如图6所示,包括:处理器61及存储器62。
77.其中,处理器61用于获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问数据与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;在当前访问周期结束时,基于预测资源
节点数量调整用于访问特定热点文件的资源节点;存储器62用于存储处理器执行上述处理过程的程序。
78.本实施例公开的电子设备是基于上述实施例公开的资源节点调整方法实现的,在此不再赘述。
79.本实施例公开的电子设备,获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得序列处理模型的输出,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问频数与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;在当前访问周期结束时,基于预测资源节点数量调整用于访问特定热点文件的资源节点。本方案通过预先对下一访问周期的访问数据进行预测,保证了资源节点下发的响应速度,避免了对pcdn带宽的浪费。
80.本技术实施例还提供了一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器加载并执行,实现上述资源节点调整方法的各步骤,具体实现过程可以参照上述实施例相应部分的描述,本实施例不做赘述。
81.本技术还提出了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该电子设备执行上述资源节点调整方法方面或资源节点调整系统方面的各种可选实现方式中所提供方法,具体实现过程可以参照上述相应实施例的描述,不做赘述。
82.本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
83.专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
84.结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
85.对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下,在其它实施例中实现。因此,本技术将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一
致的最宽的范围。

技术特征:
1.一种资源节点调整方法,其特征在于,包括:获得特定热点文件的第一统计数据及第二统计数据,所述第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,所述第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;将所述第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得所述序列处理模型的输出,所述序列处理模型的输出为所述特定热点文件在所述当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问数据与资源节点数量的对应关系确定与所述预测访问数据对应的预测资源节点数量;在所述当前访问周期结束时,基于所述预测资源节点数量调整用于访问所述特定热点文件的资源节点。2.根据权利要求1所述的方法,其特征在于,所述基于预先设定的访问数据与资源节点数量的对应关系确定与所述预测访问数据对应的预测资源节点数量,包括:获得访问数据、资源节点数量与访问错误率之间的线性关系;基于所述线性关系确定在基于所述预测访问数据对所述特定热点文件进行访问时,所述访问错误率小于特定阈值时对应的资源节点数量,将所述访问错误率小于特定阈值时对应的资源节点数量确定为预测资源节点数量。3.根据权利要求1所述的方法,其特征在于,所述基于所述预测资源节点数量调整用于访问所述特定热点文件的资源节点,包括:若确定所述预测资源节点数量小于当前访问周期内所述特定热点文件的资源节点数量,则清理所述当前访问周期内的资源节点,以使清理后的资源节点数量与所述预测资源节点数量匹配;若确定所述预测资源节点数量大于当前访问周期内所述特定热点文件的资源节点数量,则分发用于访问所述特定热点文件的资源节点,以使分发资源节点后用于访问所述特定热点文件的资源节点数量与所述预测资源节点数量匹配。4.根据权利要求1所述的方法,其特征在于,所述第一访问数据至少包括:特定热点文件在当前访问周期内的第一访问频数及第一访问频数分布;所述第二访问数据至少包括:特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个访问周期的第二访问频数及第二访问频数分布;所述基于所述预测资源节点数量调整用于访问所述特定热点文件的资源节点,包括:确定预测访问数据中的预测访问频数分布;基于所述预测资源节点数量及预测访问频数分布调整用于访问所述特定热点文件的资源节点的分布及数量。5.根据权利要求1所述的方法,其特征在于,所述预设数量为大于所述序列处理模型中时序数据步长的数值。6.根据权利要求1所述的方法,其特征在于,还包括:获得至少一个热点文件中每个热点文件的多组训练数据,每组训练数据至少包括:连续预设数量的历史访问周期内每个历史访问周期的第三访问数据及所述连续预设数量的
历史访问周期结束后的下一历史访问周期的第四访问数据;将所述每个热点文件的多组训练数据中每组训练数据中的第三访问数据作为特征值,将所述第四访问数据作为标签值,进行模型训练,获得训练完成的序列处理模型。7.根据权利要求6所述的方法,其特征在于,还包括:若第一热点文件的历史访问周期的数量小于所述预设数量,则从所述多组训练数据中删除与所述第一热点文件相关的数据。8.一种资源节点调整系统,其特征在于,包括:获得单元,用于获得特定热点文件的第一统计数据及第二统计数据,所述第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,所述第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;输出单元,用于将所述第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得所述序列处理模型的输出,所述序列处理模型的输出为所述特定热点文件在所述当前访问周期结束后的下一访问周期的预测访问数据;确定单元,用于基于预先设定的访问数据与资源节点数量的对应关系确定与所述预测访问数据对应的预测资源节点数量;调整单元,用于在所述当前访问周期结束时,基于所述预测资源节点数量调整用于访问所述特定热点文件的资源节点。9.一种电子设备,其特征在于,包括:处理器,用于获得特定热点文件的第一统计数据及第二统计数据,所述第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,所述第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;将所述第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,以获得所述序列处理模型的输出,所述序列处理模型的输出为所述特定热点文件在所述当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问数据与资源节点数量的对应关系确定与所述预测访问数据对应的预测资源节点数量;在所述当前访问周期结束时,基于所述预测资源节点数量调整用于访问所述特定热点文件的资源节点;存储器,用于存储所述处理器执行上述处理过程的程序。10.一种可读存储介质,其特征在于,所述可读存储介质用于至少存储一组指令集;所述指令集用于被调用并至少执行如权利要求1-7中任一项所述的资源节点调整方法。

技术总结
本申请公开了一种资源节点调整方法、系统、电子设备及可读存储介质,获得特定热点文件的第一统计数据及第二统计数据,第一统计数据至少包括特定热点文件在当前访问周期内的第一访问数据,第二统计数据至少包括特定热点文件在所述当前访问周期之前连续预设数量的历史访问周期内每个历史访问周期的第二访问数据;将第一统计数据及第二统计数据输入至预先训练完成的序列处理模型,序列处理模型的输出为特定热点文件在当前访问周期结束后的下一访问周期的预测访问数据;基于预先设定的访问频数与资源节点数量的对应关系确定与预测访问数据对应的预测资源节点数量;在当前访问周期结束时,基于预测资源节点数量调整用于访问特定热点文件的资源节点。问特定热点文件的资源节点。问特定热点文件的资源节点。


技术研发人员:盛骥斌
受保护的技术使用者:湖南快乐阳光互动娱乐传媒有限公司
技术研发日:2023.07.18
技术公布日:2023/8/16
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐