一种存储空间扩容提示方法、装置、电子设备及存储介质与流程

未命名 07-15 阅读:103 评论:0


1.本发明涉及数据处理领域,特别是涉及一种存储空间扩容提示方法、装置、电子设备及存储介质。


背景技术:

2.当前,广泛使用存储器集群来存储数据,以获得更高的并发访问性能。影响并发访问性能的一个关键因素是集群的容量。容量预测是通过对系统存储空间历史数据进行时间序列进行算法建模,并对未来存储空间使趋势进行预测,方便运维采购工作提前进行准备。正常的存储器集群扩容,仅需要根据剩余容量和容量增长曲线就能提前预测需要扩容的时刻。但是往往当需要新增任务后,增长曲线会出现较大的波动,且若是新任务的存储空间需求量较大,还需要在任务接入前提前进行扩容,才能保证存储器集群正常运行。但由于需要先进行扩容才能进行新任务的接入,这无疑会降低新任务接入的效率。


技术实现要素:

3.针对上述技术问题,本发明采用的技术方案为:本发明实施例提供一种存储空间扩容提示方法,所述方法包括如下步骤:s110,获取目标存储器集群在目标时间窗口内对应的存储量信息集c={c1,c2,

,ci,

,cn},其中,目标时间窗口的结束时间为当前时间,目标时间窗口包括n个连续排布的时间段,目标时间窗口的长度为n
·
δt,δt为每一时间段的长度,ci为目标时间窗口中第i个时间段内目标存储器集群的最大实时存储量与总存储量的比值,i的取值为1到n;s120,按照时间先后顺序获取目标存储器集群距离当前时间最近的m个历史接入任务信息形成的历史接入信息集r={r1,r2,

,rj,

,rm},其中,第j个历史接入任务信息rj=(typej,numj,timej,spacej,tagj,qj),其中,typej为rj对应的历史任务的任务类型标识,numj为需要执行rj对应的历史任务的电子设备的数量,timej为rj对应的历史任务开始接入目标存储器集群的接入时间,spacej为rj对应的历史任务开始接入目标存储器集群时,目标存储器集群的当前存储量与当前总存储量之间的比值,tagj为rj对应的历史任务的扩容标识,qj为rj对应的历史任务的时间属性标识;其中,tagj用于表示所述目标存储器集群在rj对应的历史任务接入目标存储器集群前的设定时间窗口内是否进行过扩容,所述设定时间窗口的长度小于所述目标时间窗口的长度;如果tagj为第一设定扩容标识值,则表示所述目标存储器集群在rj对应的历史任务接入目标存储器集群前的设定时间窗口内进行过扩容,如果tagj为第二设定扩容标识值,则表示所述目标存储器集群在rj对应的历史任务接入目标存储器集群前的设定时间窗口内没有进行过扩容;qj用于表示timej是否位于目标时间窗口内,如果qj为第一时间属性标识值,则表示timej位于所述目标时间窗口内,如果qj为第二时间属性标识值,则表示timej不位于所述目标时间窗口内;并且,在rm对应的历史任务开始接入目标存储器集群的接入时间和当前时间之间的时间间隔内没有历史任务接入所述目标存储器集群,j的取值为1到m;
s130,获取所述目标存储器集群对应的目标特征向量f=(k1,k2,

,kj,

,km,c1,c2,

,ci,

,cn),其中,kj=α
·rj
,α为影响系数;s140,将f输入到目标扩容预测模型中,以得到所述目标存储器集群对应的扩容预测值y,如果y≥y0,则输出需要对所述目标存储器集群进行扩容的提示信息;y0为预设阈值;其中,y=f(b1
·
k1,b2
·
k2,

,bj
·
kj,

,bm
·km
,d1
·
c1, d2
·
c2,

,di
·ci


,dn
·cn
),f()为预设的扩充概率确定函数,b1,b2,

,bj,

,bm,d1,d2,

,di,

,dn为所述目标扩容预测模型在经过训练后得到的参数。
4.本发明另一实施例提供一种存储空间扩容提示装置,包括:第一数据获取模块,用于获取目标存储器集群在目标时间窗口内对应的存储量信息集c={c1,c2,

,ci,

,cn},其中,目标时间窗口的结束时间为当前时间,目标时间窗口包括n个连续排布的时间段,目标时间窗口的长度为n
·
δt,δt为每一时间段的长度,ci为第i个时间段内目标存储器集群的最大实时存储量与总存储量的比值,i的取值为1到n;第二数据获取模块,用于按照时间先后顺序获取目标存储器集群距离当前时间最近的m个历史接入任务信息形成的历史接入信息集r={r1,r2,

,rj,

,rm},其中,第j个历史接入任务信息rj=(typej,numj,timej,spacej,tagj,qj),其中,typej为rj对应的历史任务的任务类型标识,numj为需要执行rj对应的历史任务的电子设备的数量,timej为rj对应的历史任务开始接入目标存储器集群的接入时间,spacej为rj对应的历史任务开始接入目标存储器集群时,目标存储器集群的当前存储量与当前总存储量之间的比值,tagj为rj对应的历史任务的扩容标识,qj为rj对应的历史任务的时间属性标识;其中,tagj用于表示所述目标存储器集群在rj对应的历史任务接入目标存储器集群前的设定时间窗口内是否进行过扩容,所述设定时间窗口的长度小于所述目标时间窗口的长度;如果tagj为第一设定扩容标识值,则表示所述目标存储器集群在rj对应的历史任务接入目标存储器集群前的设定时间窗口内进行过扩容,如果tagj为第二设定扩容标识值,则表示所述目标存储器集群在rj对应的历史任务接入目标存储器集群前的设定时间窗口内没有进行过扩容;qj用于表示timej是否位于目标时间窗口内,如果qj为第一时间属性标识值,则表示timej位于所述目标时间窗口内,如果qj为第二时间属性标识值,则表示timej不位于所述目标时间窗口内;并且,在rm对应的历史任务开始接入目标存储器集群的接入时间和当前时间之间的时间间隔内没有历史任务接入所述目标存储器集群,j的取值为1到m;数据处理模块,用于基于所述第一数据获取模块和第二数据获取模块获取的信息获取所述目标存储器集群对应的目标特征向量f=(k1,k2,

,kj,

,km,c1,c2,

,ci,

,cn),其中,kj=α
·rj
,α为影响系数;扩容预测模块,用于将所述数据处理模块获取的f输入到目标扩容预测模型中,以得到所述目标存储器集群对应的扩容预测值y,如果y≥y0,则输出需要对所述目标存储器集群进行扩容的提示信息;y0为预设阈值;其中,y=f(b1
·
k1,b2
·
k2,

,bj
·
kj,

,bm
·km
,d1
·
c1, d2
·
c2,

,di
·ci


,dn
·cn
),f()为预设的扩充概率确定函数,b1,b2,

,bj,

,bm,d1,d2,

,di,

,dn为所述目标扩容预测模型在经过训练后得到的参数。
5.本发明实施例还提供一种非瞬时性计算机可读存储介质,所述存储介质中存储有
至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如前述方法。
6.本发明实施例还提供一种电子设备,包括处理器和前述的非瞬时性计算机可读存储介质。
7.本发明至少具有以下有益效果:本发明实施例提供的存储空间扩容提示方法,能够基于目标存储器集群的接入任务变化规律和存储量变化规律对当前目标存储器集群是否需要扩容进行预测,从而能够避免在未来出现新任务接入时而容量不够需先进行扩容再接入新任务的问题,能够提高新任务的接入效率。
附图说明
8.为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
9.图1为本发明实施例提供的存储空间扩容提示方法的流程图。
实施方式
10.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
11.本发明实施例提供一种存储空间扩容提示方法,如图1所示,所述方法可包括如下步骤:s110,获取目标存储器集群在目标时间窗口内对应的存储量信息集c={c1,c2,

,ci,

,cn},其中,目标时间窗口的结束时间为当前时间,目标时间窗口包括n个连续排布的时间段,目标时间窗口的长度为n
·
δt,δt为每一时间段的长度,ci为第i个时间段内目标存储器集群的最大实时存储量与总存储量的比值,i的取值为1到n。
12.在本发明实施例中,实时存储量为占用的存储空间。第i个时间段内目标存储器集群的最大实时存储量等于max(sc
i1
,sc
i2


,sc
ig


,sc
ip
),sc
ig
为目标存储器集群在第i个时间段内的第g个时刻的实时存储量,g的取值为1到p,p为每个时间段内的时刻数量。
13.本发明实施例中,通过c1,c2,

,ci,

,cn,可以知晓目标存储器集群的存储量变化规律。
14.在本发明实施例中,n和δt的取值可基于实际情况进行确定,只要能够明显反应出目标存储器集群的存储量变化规律即可。
15.s120,按照时间先后顺序获取目标存储器集群距离当前时间最近的m个历史接入任务信息形成的历史接入信息集r={r1,r2,

,rj,

,rm}。j的取值为1到m。
16.其中,第j个历史接入任务信息rj=(typej,numj,timej,spacej,tagj,qj)。其中,typej为rj对应的历史任务的任务类型标识,在本发明实施例中,接入到目标存储器集群中
的任务为会产生存储数据的任务,例如采样任务、监控任务等。任务类型标识可基于实际需要进行设置,例如,以不同的数值表示不同的任务类型。不同的任务类型所需要的存储量不同。numj为需要执行rj对应的历史任务的电子设备的数量,例如,某个采样任务需要对5个电子设备进行采样,某个监控任务需要对10个电子设备进行监控等。电子设备的数量不同会导致所需存储量不同。timej为rj对应的历史任务开始接入目标存储器集群的接入时间。spacej为rj对应的历史任务开始接入目标存储器集群时,目标存储器集群的当前存储量与当前总存储量之间的比值。tagj为rj对应的历史任务的扩容标识,qj为rj对应的历史任务的时间属性标识。
17.并且,在rm对应的历史任务开始接入目标存储器集群的接入时间和当前时间之间的时间间隔内没有历史任务接入所述目标存储器集群,即δt1>δt2>

>δtj>

>δtm,并且在δtm内没有历史任务接入所述目标存储器集群,δtj为第j个历史接入任务信息rj对应的历史任务开始接入目标存储器集群的接入时间和当前时间之间的时间间隔。本发明实施例中,通过r1,r2,

,rj,

,rm可以得到目标存储器集群的业务变化规律。
18.在本发明实施例中,扩容标识可包括第一扩容标识值和第二扩容标识值。其中,第一扩容标识值用于表示在对应的接入任务接入目标存储器集群前的设定时间窗口内,所述目标存储器集群进行过扩容,可使用例如1表示。第二扩容标识值用于表示在对应的任务接入目标存储器集群前的设定时间窗口内,所述目标存储器集群没有进行过扩容,可使用例如0表示。这样,第一历史任务的扩容标识为第一扩容标识值,第二历史任务的扩容标识为第二扩容标识值。
19.在本发明实施例中,时间属性标识可包括第一时间属性标识值和第二时间属性标识值,第一时间属性标识值用于表示对应的接入任务位于对应的时间窗口内,可使用例如1表示。第二时间属性标识值用于表示对应的接入任务没有位于对应的时间窗口内,可使用例如0表示。
20.具体地,tagj用于表示所述目标存储器集群在rj对应的历史任务接入目标存储器集群前的设定时间窗口内是否进行过扩容,所述设定时间窗口的长度小于所述目标时间窗口的长度;如果tagj为第一扩容标识值例如为1,则表示所述目标存储器集群在rj对应的历史任务接入目标存储器集群前的设定时间窗口内进行过扩容,如果tagj为第二扩容标识值例如为0,则表示所述目标存储器集群在rj对应的历史任务接入目标存储器集群前的设定时间窗口内没有进行过扩容。qj用于表示timej是否位于目标时间窗口内,如果qj为第一时间属性标识值例如1,则表示timej位于所述目标时间窗口内,如果qj为第二时间属性标识值例如0,则表示timej不位于所述目标时间窗口内。
21.s130,获取所述目标存储器集群对应的目标特征向量f=(k1,k2,

,kj,

,km,c1,c2,

,ci,

,cn),其中,第j个接入任务影响因素kj=α
·rj
,α为影响系数。
22.在本发明实施例中,α=u/m,u基于q1,q2,

,qj,

,qm确定或者基于tag1,tag2,

,tagj,

,tagm确定。
23.进一步地,在一个示意性实施例中,u基于q1,q2,

,qj,

,qm确定,具体可通过如下步骤确定:s121,设置j=m,var=0;s122,如果j≥1,执行s123;否则,执行s125;
s123,对于rj,如果qj为第一时间属性标识值,设置var=var+1,执行s124;如果qj为第二时间属性标识值,执行s124;s124,设置j=j-1,执行s122;s125,设置u=var,并退出当前控制程序。
24.s121至s125的技术效果在于,将u设置为m个历史任务中接入时间位于目标时间窗口内的任务数量,这样,如果属于目标时间窗口内的接人任务越多,则说明当前目标存储器集群需要扩容的概率越大,即r对当前目标存储器集群的扩容概率的影响越大。
25.进一步地,在另一个示意性实施例中,u基于tag1,tag2,

,tagj,

,tagm确定,具体可通过如下步骤确定:s1201,如果rm对应的扩容标识tagm为第一扩容标识值,设置u=0,说明r对当前目标存储器集群的扩容概率的影响为0,并退出当前控制程序,如果rm对应的扩容标识tagm为第二扩容标识值,执行s1202;s1202,设置r=m-1,var=1;s1203,如果r≥1,执行s1204;否则,执行s1206;s1204,对于rr,如果rr对应的扩容标识tagr为第二扩容标识值并且r
r+1
对应的扩容标识tag
r+1
为第二扩容标识值,设置var=var+1,执行s1205;如果rr对应的扩容标识tagr为第一扩容标识值,执行s1206;s1205,设置r=r-1,执行s1203;s1206,设置u=var,并退出当前控制程序。
26.s1201至s1206的技术效果在于,将u设置为从当前时间往前数,连续的接入前目标存储器集群没有进行扩容的任务的数量,这样,如果这类任务的数量越多,则说明当前目标存储器集群需要扩容的概率越大,即r对当前目标存储器集群的扩容概率的影响越大。
27.s140,将f输入到目标扩容预测模型中,以得到所述目标存储器集群对应的扩容预测值y,y的取值为0到1,如果y≥y0,则输出表示需要对所述目标存储器集群进行扩容的提示信息;否则,输出表示不需要对所述目标存储器集群进行扩容的提示信息。y0为预设阈值,在一个示例中,y0可为固定值,可经验值。
28.本领域技术人员知晓,输入到目标扩容预测模型中的f中的各向量的维度可以是相同的也可以是不同的,只要能够便于模型识别即可。
29.在本发明实施例中,y=f(b1
·
k1,b2
·
k2,

,bj
·
kj,

,bm
·km
,d1
·
c1, d2
·
c2,

,di
·ci


,dn
·cn
),f()为预设的扩充概率确定函数,b1,b2,

,bj,

,bm,d1,d2,

,di,

,dn为所述所述目标扩容预测模型在经过训练后得到的参数。
30.在本发明一示意性实施例中,f()为线性回归函数表达式。在另一个示意性实施例中,f()为逻辑回归函数表达式。
31.本发明实施例提供的存储空间扩容提示方法,能够基于目标存储器集群的接入任务变化规律和存储量变化规律对当前目标存储器集群是否需要扩容进行预测,从而能够避免在未来出现新任务接入时而容量不够需先进行扩容再接入新任务的问题,能够提高新任务的接入效率。
32.进一步地,在本发明实施例中,b1,b2,

,bj,

,bm,d1,d2,

,di,

,dn根据以下步骤获取得到:
s141,获取第一数据集d1={d11,d12,

,d1u,

,d1
p
},d1u为第u个第一历史任务对应的数据集,d1u={r1u,c1u},u的取值为1到p,p为第一历史任务的数量。所述第一历史任务为对应的扩容标识为第一扩容标识值的任务。
33.其中,r1u为按照时间先后顺序获取目标存储器集群距离第u个第一历史任务对应的扩容开始时间tseu最近的m个历史接入任务信息形成的历史接入信息集;r1u={r1
u1
,r1
u2


,r1
uj


,r1
um
},r1
uj
为第u个第一历史任务对应的第j个历史接入任务信息,并且,在r1
um
对应的历史任务开始接入目标存储器集群的接入时间和tseu之间的时间间隔内没有历史任务接入所述目标存储器集群,即δt1
u1
>δt1
u2


>δt1
uj


>δt1
um
,并且在δt1
um
内没有历史任务接入所述目标存储器集群;δt1
uj
为第u个第一历史任务对应的第j个历史接入任务信息r1
uj
对应的历史任务开始接入目标存储器集群的接入时间和第u个第一历史任务对应的扩容开始时间之间的时间间隔,j的取值为1到m。
34.进一步地,r1
uj
=(type1
uj
,num1
uj
,time1
uj
,space1
uj
,tag1
uj
,q1
uj
),其中,type1
uj
为r1
uj
对应的历史任务的任务类型标识,num1
uj
为r1
uj
对应的历史任务所使用的电子设备的数量,time1
uj
为r1
uj
对应的历史任务开始接入目标存储器集群的接入时间,space1
uj
为r1
uj
对应的历史任务开始接入目标存储器集群时,目标存储器集群的当前存储量与当前总存储量之间的比值,tag1
uj
为r1
uj
对应的历史任务的扩容标识,q1
uj
为r1
uj
对应的历史任务的时间属性标识。
35.进一步地,c1u为第u个第一历史任务对应的时间窗口tw1u内的存储量信息集c1u={c1
u1
,c1
u2


,c1
ui


,c1
un
},其中,tw1u的结束时间为第u个第一历史任务对应的扩容开始时间tseu,tw1u的长度与目标时间窗口的长度相同,c1
ui
为在tw1u内的第i个时间段内目标存储器集群的最大实时存储量与总存储量的比值。
36.s142,基于d1获取第一训练集f1={f11,f12,

,f1u,

,f1
p
},f1u为f1中的第u个特征向量,f1u=(k1
u1
,k1
u2


,k1
uj


,k1
um
,c1
u1
,c1
u2


,c1
ui


,c1
un
),k1
uj

·
r1
uj
;f1中的每个特征向量对应的扩容预测值为1。
37.本领域技术人员知晓,f1的获取方法与前述的f获取方法相类似。
38.s143,获取第二数据集d2={d21,d22,

,d2v,

,d2q},d2v为d2中的第v个第二历史任务,v的取值为1到q,q为第二历史任务的数量。第二历史任务与第一历史任务的任务类型相同,但对应的扩容标识为第二扩容标识值的任务。
39.其中,r2v为按照时间先后顺序获取目标存储器集群距离第v个第二历史任务开始接入目标存储器集群的接入时间tcv最近的m个历史接入任务信息形成的历史接入信息集, r2v={r2
v1
,r2
v2


,r2
vj


,r2
vm
},其中,r2
vj
为第v个第二历史任务对应的第j个历史接入任务信息,并且,在r2
vm
对应的历史任务开始接入目标存储器集群的接入时间和tcv之间的时间间隔内没有历史任务接入所述目标存储器集群,即δt2
v1
>δt2
v2


>δt2
vj


>δt2
vm
,并且在δt2
vm
内没有历史任务接入所述目标存储器集群;δt2
vj
为第v个第二历史任务对应的第j个历史接入任务信息r2
vj
对应的历史任务开始接入目标存储器集群的接入时间和tcv之间的时间间隔。
40.进一步地,r2
vj
=(type2
vj
,nvm2
vj
,time2
vj
,space2
vj
,tag2
vj
,q2
vj
),其中,type2
vj
为r2
vj
对应的历史任务的任务类型标识,nvm2
vj
为r2
vj
对应的历史任务所使用的电子设备的数量,time2
vj
为r2
vj
对应的历史任务开始接入目标存储器集群的接入时间,space2
vj
为r2
vj

应的历史任务开始接入目标存储器集群时,目标存储器集群的当前存储量与当前总存储量之间的比值,tag2
vj
为r2
vj
对应的历史任务的扩容标识,q2
vj
为r2
vj
对应的历史任务的时间属性标识。
41.其中,c2v为第v个第二历史任务对应的时间窗口tw2v内的存储量信息集c2v={c2
v1
,c2
v2


,c2
vi


,c2
vn
},其中,tw2v的结束时间为第v个第二历史任务开始接入目标存储器集群的接入时间tcv,tw2v的长度与目标时间窗口的长度相同,c2
vi
为在tw2v内的第i个时间段内目标存储器集群的最大实时存储量与总存储量的比值。
42.s144,基于d2获取第二训练集f2={f21,f22,

,f2v,

,f2q},f2v为f2中的第v个特征向量,f2v=(k2
v1
,k2
v2


,k2
vj


,k2
vm
,c2
v1
,c2
v2


,c2
vi


,c2
vn
),k2
vj

·
r2
vj
;f2中的每个特征向量对应的扩容预测值为0。
43.本领域技术人员知晓,f2的获取方法与前述的f获取方法相类似。
44.s145,根据f1和f2对初始扩容预测模型进行训练,以得到所述目标扩容预测模型。
45.本领域技术人员知晓,初始扩容预测模型可为现有的神经网络模型。此外,在模型训练过程中,可基于本领域的公知操作设置初始扩容模型的约束条件例如,设置b1+b2+

+bj+

+bm=rat1,设置d1+d2+

+di+

+dn=rat2,b1,b2,

,bj,

,bm,d1,d2,

,di,

,dn≠0,其中,rat1和rat2为预设的系数约束值,rat1+rat2=1。
46.此外,本领域技术人员知晓,对初始扩容预测模型进行训练的过程可为现有方法。
47.本发明实施例中,由于使用了在接入前的设定时间窗口内产生了扩容行为的任务以及在接入前的设定时间窗口内没有产生扩容行为的任务的相关信息作为训练集,能够提高模型的预测准确性。
48.进一步地,在本发明一示意性实施例中,m=max(y1,y2,

,ye1,

,yz1),ye1为设定历史时间段内的第e1个未扩容任务组对应的任务数量,e1的取值为1到z1,z1为未扩容任务组的数量,其中,第e1个未扩容任务组包括连续接入目标存储器集群的ye1个任务,并且ye1个任务中任一任务对应的扩容标识为第二扩容标识值即ye1个任务中任一任务在接入目标存储器集群时目标存储器集群均没有进行扩容。
49.在本发明实施例中,设定历史时间段可基于实际需要进行设置。本实施例中,将m设置为历史时间段内连续接入的任务在接入前均未进行扩容的任务数量的最大值,这样,由于u可被设置为从当前时间往前数,连续的接入前目标存储器集群没有进行扩容的任务的数量,这样,能够使得u=m,能够确保u设置更加准确,当α=1时,r对当前目标存储器集群的扩容概率的影响最大。
50.进一步地,在本发明另一示意性实施例中,m=max(x1,x2,

,xe2,

,xz2),xe2为设定历史时间段内的第e2个接入任务组对应的任务数量,e2的取值为1到z2,z2为接入任务组的数量,其中,每个接入任务组对应的任务为在目标时间窗口对应的时长内接入到目标存储器集群中的任务。
51.在本实施例中,将m设置为历史时间段内在目标时间窗口对应的时长内接入到目标存储器集群中的新任务的数量中的最大值,能够设置m的设置合理,使得m个任务的接入时间能够填满目标时间窗口,能够避免目标时间窗口内可能不存在接入任务而导致的采用补零的方法保持数据长度一致的问题,并且不会超出目标时间窗口太多,能够避免由于m设置过小而导致数据太少而影响模型预测精度,以及m设置过大而导致出现无用数据所导致
的处理速率慢的问题。
52.进一步地,在本发明实施例中,所述设定时间窗口的长度等于md
·
t
av
。其中,md为存储器增量集iq的众数,iq={iq1,iq2,

,iqh,

,iq
l
},iqh为在设定历史时间段内的第h次目标扩容时接入到当前目标存储器集群中的存储器数量,h的取值为1到l,l为目标扩容的次数,所述目标扩容为在当前目标存储器集群中接入新任务而进行的扩容;t
av
=(at1+at2+

+atb+

+atd)/(iq1+iq2+

+iqh+

+iq
l
),atb为iq对应的d个存储器中的第b个存储器接入到目标存储器集群所需要到的时间即成功接入到目标存储器集群中所需要的时间,b的取值为1到d。
53.在本发明实施例中,如果iq的众数为多个,则md为iq的众数中的最大值。
54.本发明实施例中,将设定时间窗口的长度设置为于md
·
t
av
,能够使得设定时间窗口的长度相对准确,进而能够准确找到为了接入新任务而进行的扩容,使得数据更加准确。
55.本发明另一实施例提供一种存储空间扩容提示装置,包括:第一数据获取模块,用于获取目标存储器集群在目标时间窗口内对应的存储量信息集c={c1,c2,

,ci,

,cn},其中,目标时间窗口的结束时间为当前时间,目标时间窗口包括n个连续排布的时间段,目标时间窗口的长度为n
·
δt,δt为每一时间段的长度,ci为第i个时间段内目标存储器集群的最大实时存储量与总存储量的比值,i的取值为1到n;第二数据获取模块,用于按照时间先后顺序获取目标存储器集群距离当前时间最近的m个历史接入任务信息形成的历史接入信息集r={r1,r2,

,rj,

,rm},其中,第j个历史接入任务信息rj=(typej,numj,timej,spacej,tagj,qj),其中,typej为rj对应的历史任务的任务类型标识,numj为需要执行rj对应的历史任务的电子设备的数量,timej为rj对应的历史任务开始接入目标存储器集群的接入时间,spacej为rj对应的历史任务开始接入目标存储器集群时,目标存储器集群的当前存储量与当前总存储量之间的比值,tagj为rj对应的历史任务的扩容标识,qj为rj对应的历史任务的时间属性标识;其中,tagj用于表示所述目标存储器集群在rj对应的历史任务接入目标存储器集群前的设定时间窗口内是否进行过扩容,所述设定时间窗口的长度小于所述目标时间窗口的长度;如果tagj为第一设定扩容标识值,则表示所述目标存储器集群在rj对应的历史任务接入目标存储器集群前的设定时间窗口内进行过扩容,如果tagj为第二设定扩容标识值,则表示所述目标存储器集群在rj对应的历史任务接入目标存储器集群前的设定时间窗口内没有进行过扩容;qj用于表示timej是否位于目标时间窗口内,如果qj为第一时间属性标识值,则表示timej位于所述目标时间窗口内,如果qj为第二时间属性标识值,则表示timej不位于所述目标时间窗口内;并且,在rm对应的历史任务开始接入目标存储器集群的接入时间和当前时间之间的时间间隔内没有历史任务接入所述目标存储器集群,j的取值为1到m;数据处理模块,用于基于所述第一数据获取模块和第二数据获取模块获取的信息获取所述目标存储器集群对应的目标特征向量f=(k1,k2,

,kj,

,km,c1,c2,

,ci,

,cn),其中,kj=α
·rj
,α为影响系数;扩容预测模块,用于将所述数据处理模块获取的f输入到目标扩容预测模型中,以得到所述目标存储器集群对应的扩容预测值y,如果y≥y0,则输出需要对所述目标存储器集群进行扩容的提示信息;y0为预设阈值;其中,y=f(b1
·
k1,b2
·
k2,

,bj
·
kj,

,bm
·km
,d1
·
c1, d2
·
c2,

,di
·ci



dn
·cn
),f()为预设的扩充概率确定函数,b1,b2,

,bj,

,bm,d1,d2,

,di,

,dn为所述目标扩容预测模型在经过训练后得到的参数。
56.本发明的实施例还提供了一种非瞬时性计算机可读存储介质,该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。
57.本发明的实施例还提供了一种电子设备,包括处理器和前述的非瞬时性计算机可读存储介质。
58.本发明的实施例还提供一种计算机程序产品,其包括程序代码,当所述程序产品在电子设备上运行时,所述程序代码用于使该电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的方法中的步骤。
59.虽然已经通过示例对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员还应理解,可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明公开的范围由所附权利要求来限定。

技术特征:
1.一种存储空间扩容提示方法,其特征在于,所述方法包括如下步骤:s110,获取目标存储器集群在目标时间窗口内对应的存储量信息集c={c1,c2,

,c
i


,c
n
},其中,目标时间窗口的结束时间为当前时间,目标时间窗口包括n个连续排布的时间段,目标时间窗口的长度为n
·
δt,δt为每一时间段的长度,c
i
为目标时间窗口中第i个时间段内目标存储器集群的最大实时存储量与总存储量的比值,i的取值为1到n;s120,按照时间先后顺序获取目标存储器集群距离当前时间最近的m个历史接入任务信息形成的历史接入信息集r={r1,r2,

,r
j


,r
m
},其中,第j个历史接入任务信息r
j
=(type
j
,num
j
,time
j
,space
j
,tag
j
,q
j
),其中,type
j
为r
j
对应的历史任务的任务类型标识,num
j
为需要执行r
j
对应的历史任务的电子设备的数量,time
j
为r
j
对应的历史任务开始接入目标存储器集群的接入时间,space
j
为r
j
对应的历史任务开始接入目标存储器集群时,目标存储器集群的当前存储量与当前总存储量之间的比值,tag
j
为r
j
对应的历史任务的扩容标识,q
j
为r
j
对应的历史任务的时间属性标识;其中,tag
j
用于表示所述目标存储器集群在r
j
对应的历史任务接入目标存储器集群前的设定时间窗口内是否进行过扩容,所述设定时间窗口的长度小于所述目标时间窗口的长度;如果tag
j
为第一设定扩容标识值,则表示所述目标存储器集群在r
j
对应的历史任务接入目标存储器集群前的设定时间窗口内进行过扩容,如果tag
j
为第二设定扩容标识值,则表示所述目标存储器集群在r
j
对应的历史任务接入目标存储器集群前的设定时间窗口内没有进行过扩容;q
j
用于表示time
j
是否位于目标时间窗口内,如果q
j
为第一时间属性标识值,则表示time
j
位于所述目标时间窗口内,如果q
j
为第二时间属性标识值,则表示time
j
不位于所述目标时间窗口内;并且,在r
m
对应的历史任务开始接入目标存储器集群的接入时间和当前时间之间的时间间隔内没有历史任务接入所述目标存储器集群,j的取值为1到m;s130,获取所述目标存储器集群对应的目标特征向量f=(k1,k2,

,k
j


,k
m
,c1,c2,

,c
i


,c
n
),其中,k
j

·
r
j
,α为影响系数;s140,将f输入到目标扩容预测模型中,以得到所述目标存储器集群对应的扩容预测值y,如果y≥y0,则输出需要对所述目标存储器集群进行扩容的提示信息;y0为预设阈值;其中,y=f(b1
·
k1,b2
·
k2,

,bj
·
k
j


,bm
·
k
m
,d1
·
c1, d2
·
c2,

,di
·
c
i


,dn
·
c
n
),f()为预设的扩充概率确定函数,b1,b2,

,bj,

,bm,d1,d2,

,di,

,dn为所述目标扩容预测模型在经过训练后得到的参数。2.根据权利要求1所述的方法,其特征在于,α=u/m,u基于q1,q2,

,q
j


,q
m
确定或者基于tag1,tag2,

,tag
j


,tag
m
确定。3.根据权利要求2所述的方法,其特征在于,u具体通过如下步骤确定:s121,设置j=m,var=0;s122,如果j≥1,执行s123;否则,执行s125;s123,对于r
j
,如果q
j
为第一时间属性标识值,设置var=var+1,执行s124;如果q
j
为第二时间属性标识值,执行s124;s124,设置j=j-1,执行s122;s125,设置u=var,并退出当前控制程序。4.根据权利要求2所述的方法,其特征在于,u具体通过如下步骤确定:s1201,如果r
m
对应的扩容标识tag
m
为第一扩容标识值,设置u=0,并退出当前控制程序,如果r
m
对应的扩容标识tag
m
为第二扩容标识值,执行s1202;
s1202,设置r=m-1,var=1;s1203,如果r≥1,执行s1204;否则,执行s1206;s1204,对于r
r
,如果r
r
对应的扩容标识tag
r
为第二扩容标识值并且r
r+1
对应的扩容标识tag
r+1
为第二扩容标识值,设置var=var+1,执行s1205;如果r
r
对应的扩容标识tag
r
为第一扩容标识值,执行s1206;s1205,设置r=r-1,执行s1203;s1206,设置u=var,并退出当前控制程序。5.根据权利要求1所述的方法,其特征在于,m=max(y1,y2,

,ye1,

,yz1),ye1为设定历史时间段内的第e1个未扩容任务组对应的任务数量,e1的取值为1到z1,z1为未扩容任务组的数量,其中,第e1个未扩容任务组包括连续接入目标存储器集群的ye1个任务,并且ye1个任务中任一任务对应的扩容标识为第二扩容标识值。6.根据权利要求1所述的方法,其特征在于,m=max(x1,x2,

,xe2,

,xz2),xe2为设定历史时间段内的第e2个接入任务组对应的任务数量,e2的取值为1到z2,z2为接入任务组的数量,其中,每个接入任务组对应的任务为在目标时间窗口对应的时长内接入到目标存储器集群中的任务。7.根据权利要求1所述的方法,其特征在于,所述设定时间窗口的长度等于md
·
t
av
,md为存储器增量集iq的众数,iq={iq1,iq2,

,iq
h


,iq
l
},iq
h
为在设定历史时间段内的第h次目标扩容时接入到目标存储器集群中的存储器数量,h的取值为1到l,l为目标扩容的次数,所述目标扩容为在当前目标存储器集群中接入新任务而进行的扩容;t
av
=(at1+at2+

+at
b
+

+at
d
)/(iq1+iq2+

+iq
h
+

+iq
l
),at
b
为iq对应的d个存储器中的第b个存储器接入到目标存储器集群所需要到的时间,b的取值为1到d。8.一种存储空间扩容提示装置,其特征在于,包括:第一数据获取模块,用于获取目标存储器集群在目标时间窗口内对应的存储量信息集c={c1,c2,

,c
i


,c
n
},其中,目标时间窗口的结束时间为当前时间,目标时间窗口包括n个连续排布的时间段,目标时间窗口的长度为n
·
δt,δt为每一时间段的长度,c
i
为第i个时间段内目标存储器集群的最大实时存储量与总存储量的比值,i的取值为1到n;第二数据获取模块,用于按照时间先后顺序获取目标存储器集群距离当前时间最近的m个历史接入任务信息形成的历史接入信息集r={r1,r2,

,r
j


,r
m
},其中,第j个历史接入任务信息r
j
=(type
j
,num
j
,time
j
,space
j
,tag
j
,q
j
),其中,type
j
为r
j
对应的历史任务的任务类型标识,num
j
为需要执行r
j
对应的历史任务的电子设备的数量,time
j
为r
j
对应的历史任务开始接入目标存储器集群的接入时间,space
j
为r
j
对应的历史任务开始接入目标存储器集群时,目标存储器集群的当前存储量与当前总存储量之间的比值,tag
j
为r
j
对应的历史任务的扩容标识,q
j
为r
j
对应的历史任务的时间属性标识;其中,tag
j
用于表示所述目标存储器集群在r
j
对应的历史任务接入目标存储器集群前的设定时间窗口内是否进行过扩容,所述设定时间窗口的长度小于所述目标时间窗口的长度;如果tag
j
为第一设定扩容标识值,则表示所述目标存储器集群在r
j
对应的历史任务接入目标存储器集群前的设定时间窗口内进行过扩容,如果tag
j
为第二设定扩容标识值,则表示所述目标存储器集群在r
j
对应的历史任务接入目标存储器集群前的设定时间窗口内没有进行过扩容;q
j
用于表示time
j
是否位于目标时间窗口内,如果q
j
为第一时间属性标识值,则表示time
j
位于所述目标时间窗口
内,如果q
j
为第二时间属性标识值,则表示time
j
不位于所述目标时间窗口内;并且,在r
m
对应的历史任务开始接入目标存储器集群的接入时间和当前时间之间的时间间隔内没有历史任务接入所述目标存储器集群,j的取值为1到m;数据处理模块,用于基于所述第一数据获取模块和第二数据获取模块获取的信息获取所述目标存储器集群对应的目标特征向量f=(k1,k2,

,k
j


,k
m
,c1,c2,

,c
i


,c
n
),其中,k
j

·
r
j
,α为影响系数;扩容预测模块,用于将所述数据处理模块获取的f输入到目标扩容预测模型中,以得到所述目标存储器集群对应的扩容预测值y,如果y≥y0,则输出需要对所述目标存储器集群进行扩容的提示信息;y0为预设阈值;其中,y=f(b1
·
k1,b2
·
k2,

,bj
·
k
j


,bm
·
k
m
,d1
·
c1, d2
·
c2,

,di
·
c
i


,dn
·
c
n
),f()为预设的扩充概率确定函数,b1,b2,

,bj,

,bm,d1,d2,

,di,

,dn为所述目标扩容预测模型在经过训练后得到的参数。9.一种非瞬时性计算机可读存储介质,所述存储介质中存储有至少一条指令或至少一段程序,其特征在于,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-7中任意一项的所述方法。10.一种电子设备,其特征在于,包括处理器和权利要求9所述的非瞬时性计算机可读存储介质。

技术总结
本发明提供了一种存储空间扩容提示方法、装置、电子设备及存储介质,属于数据处理领域,方法包括:获取目标存储器集群在目标时间窗口内对应的存储量信息集C;获取目标存储器集群的历史接入任务信息集R;获取所述目标存储器集群对应的目标特征向量F;将F输入到目标扩容预测模型中,以得到所述目标存储器集群对应的扩容预测值Y,如果Y≥Y0,则输出表示需要对所述目标存储器集群进行扩容的提示信息。本发明能够在新任务接入目标存储器集群前进行扩容,能够提高新任务接入效率。能够提高新任务接入效率。能够提高新任务接入效率。


技术研发人员:和希文 闫增修 梁胶东 张帅民 杨晓坤 史仲春 王绍密
受保护的技术使用者:山东溯源安全科技有限公司
技术研发日:2023.04.24
技术公布日:2023/7/12
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐