用电信息采集系统任务智能调度方法与流程

未命名 08-15 阅读:84 评论:0


1.本发明涉及电力通信技术领域,特别涉及用电信息采集系统任务智能调度方法。


背景技术:

2.用电信息采集系统任务调度是为了确保系统数据高效采集的一种手段。其主要目的在于使各类电力生产工作能有序开展,确保电力用户安全稳定用电。因为在电网系统中,存在较大的时变数据,各地电力用户的服务需求不同,其中还夹杂着时变的突发性需求,以至于各地电网系统中的采集前置集群在不同时段的实时利用率不同。以至于出现在某一时间段一些地方的采集前置集群空载,而一些地方的采集前置集群满载。
3.基于此种情况,用电信息采集系统任务调度系统就诞生了,其主要用于在各地调度系统任务,将繁忙的采集前置集群的部分任务或者全部任务迁出本地,迁至空闲的采集前置集群处理,然后接收处理完毕的加密数据报告。这样,就可以将全部的任务尽可能进行均分,使各个通信节点的采集前置集群负载达到均衡,从而在整体提升了各地通信节点的处理效率。
4.然而,现有的用电信息采集系统任务调度还存在以下问题:
5.首先是根据当前的通信节点的运行状态做的实时调度,那么在选定目标通信节点后执行任务调度,由于需要迁移的采集任务数量多,传输路径的选择具有一定的随机性,没缺少合理调控分配的情况下容易出现拥堵。
6.其次是根据当前的通信节点的运行状态做的实时调度,这样的调度容易出现资源挤兑,比如已经满载运行的通信节点,还要计算可迁出的主任务,主任务所包含的可拆分子任务等,此时处理数据的效率是低下的。
7.再次是由主任务拆分出来的子任务,往往由迁入的通信节点独立处理,如果嵌入的通信节点不适合处理某个子任务,对于迁入的通信节点而言其效率是低下的,在整体上拉低了处理效率。
8.因此,用电信息采集系统任务调度方法还存在优化空间,进一步提升处理效率。


技术实现要素:

9.本发明要解决的技术问题是如何整体提升用电信息采集系统任务调度处理效率,提供一种用电信息采集系统任务智能调度方法。
10.本发明的技术方案是用电信息采集系统任务智能调度方法,包括如下步骤:
11.步骤s1-1、配置有预设的任务迁移条件以识别需要进行任务迁移的采集前置集群;
12.步骤s1-2、获取采集前置集群的电力特征关键词,并根据特征关键词从预先构建的目标关联库中调取对应的目标函数;
13.步骤s1-3、通过预设的偏差算法计算采集前置集群的电力特征关键词相关对应值与目标函数相关对应值的目标偏差;
14.步骤s1-4、根据目标偏差确定需要进行迁移的采集任务;
15.步骤s2-1、根据电力特征关键词的匹配关系确定拟作为迁入的采集前置集群;
16.步骤s2-2、通过预设的迁移代价算法计算每一拟作为迁入的采集前置集群的迁移代价;
17.步骤s2-3、筛选迁移代价低于预设的迁入阈值的采集前置集群作为迁入的目标采集前置集群;
18.步骤s3-1、将采集任务拆分成若干采集子任务;
19.步骤s3-2、根据通信节点的拓扑关系分别计算每一传输路段的传输有效值,传输路径为传输路段的集合;
20.步骤s3-3、根据传输有效值为每一传输路段配置对应的传输随机范围,当任一传输路段被确定为某项采集子任务的传输路段时,对该传输路段对应的所有传输有效值做一次衰减运算,以再次配置对应的传输随机范围;
21.步骤s3-4、生成一传输随机数,并根据传输随机数落入的传输随机范围确定该项采集子任务的传输路段,返回步骤s3-3直至传输路径确定;
22.步骤s3-5、返回步骤s3-2直至所有采集子任务传输完成。
23.作为一种实施方式,在步骤s2-2中,迁移代价算法的计算公式为:
[0024][0025]
ex为迁移代价,p
x
为从目标关联库中调取的迁出的采集前置集群x发送采集任务所耗的时间长度,py为从目标关联库中调取的拟作为迁入的采集前置集群y接收采集任务所耗的时间长度,z为该组数据的平均数,zi为第i个样本,表示从迁出的采集前置集群x到迁入的采集前置集群y传输采集任务所耗的时间长度,n为样本的数量。
[0026]
ex为迁移代价,p
x
为从目标关联库中调取的迁出的采集前置集群x发送采集任务所耗的时间长度,py为从目标关联库中调取的拟作为迁入的采集前置集群y接收采集任务所耗的时间长度,cy为拟作为迁入的采集前置集群y的负载速度处理能力,z为该组数据的平均数,zi为第i个采集任务从迁出的采集前置集群x到迁入的采集前置集群y传输采集任务所耗的时间长度,n为采集任务的数量,β1为预设的迁出权重,β2为预设的迁入权重,β3为预设的能力权重,β4为预设的传输权重。
[0027]
作为一种实施方式,在步骤s3-2中,传输有效值的计算公式为:ef=θv
max
+θcc
[0028]
ef为传输有效值,v
max
为传输路段对应的最高传输速率,cc为传输路段对应的信道容量,θ为设定的最高传输速率的权重系数,θ为设定的信道容量的权重系数。
[0029]
作为一种实施方式,在步骤s1-1中,任务迁移条件设为采集前置集群的负载量大于预设值;
[0030]
在步骤s1-2中,电力特征关键词通过历史采集任务提取,并且目标函数设为以斜率大于零和截距大于零的一次函数,不同的目标函数对应的斜率和截距不同,目标函数为筛选参照值和任务迁移执行时段的时间变量的表达式;
[0031]
在步骤s1-3中,偏差算法包括
[0032]
步骤s1-3-1、采用时间序列的指数平滑法预测任务迁移执行时段的采集前置集群的负载量波形;
[0033]
步骤s1-3-2、根据对应的采集前置集群的算力计算该采集前置集群在将来的任务迁移执行时段、假设不迁移采集任务所对应的第一负载处理速度能力并生成处理速度能力波形;
[0034]
步骤s1-3-3、目标偏差设为目标函数和处理速度能力波形在同一任务迁移执行时段的差值的积分;
[0035]
在步骤s1-4中,根据目标偏差确定需要进行迁移的对应任务量的采集任务;
[0036]
所述用电信息采集系统任务智能调度方法还包括
[0037]
步骤s4-1、迁入的采集前置集群将接收到的若干采集子任务和自身特性做适应度筛选,同时满足任务量大于第一设定值、该采集前置集群对应的处理速度小于第二设定值的采集子任务为低适应度的采集子任务;
[0038]
步骤s4-2、迁入的采集前置集群将将筛选出的所有低适应度的采集子任务进行优筛,使优筛的所有采集子任务的任务量总量接近第三设定值,其中,第三设定值以迁出的采集前置集群的采集任务的任务量、迁出的采集前置集群的算力、迁入的采集前置集群的采集子任务的任务量总量、以及迁入的采集前置集群的算力作为计算要素,以迁出的采集前置集群假设接收回迁的采集子任务后所对应的第四负载处理速度能力,和迁入的采集前置集群假设回迁采集子任务后所对应的第五负载处理速度能力相等为计算目标计算得到。
[0039]
作为一种实施方式,在步骤s1-2中,所述目标函数的斜率的取值范围为(0,1]。
[0040]
作为一种实施方式,所述指数平滑法的计算公式为:
[0041]
l
t
=αx
t
+(1-α)l
t-1
[0042]
其中,l
t
为第t期的采集前置集群的负载量的预测值,α为取值范围为[0,1]的平滑常数,x
t
为第t期的采集前置集群的负载量的实际值,l
t-1
为第t-1期的采集前置集群的负载量的预测值。
[0043]
作为一种实施方式,所述采集前置集群的负载处理速度能力的计算公式为:
[0044]
c=l/cp(1)
[0045][0046]
c为采集前置集群的负载处理速度能力,l为采集前置集群的负载量,cp为采集前置集群的算力,in1为设定的gflops算力指标计算参数,in2为设定的tflops算力指标,in3为设定的ips算力指标计算参数,β、γ、δ分别为对应gflops算力指标计算参数、tflops算力指标计算参数、ips算力指标计算参数的设定的权值系数。
[0047]
作为一种实施方式,所述采集前置集群的算力从预先构建的共享数据库中调取。
[0048]
作为一种实施方式,所述采集前置集群的算力从预先保存的本地数据库中调取。
[0049]
作为一种实施方式,各个所述迁入的采集前置集群将自身处理除回迁的采集子任务以外的各项采集子任务所需时间,和该回迁的采集子任务打包发出;
[0050]
所述迁出的采集前置集群接收各个打包数据后,读取各个所述迁入的采集前置集群任务处理所需时间,并且按照各个所述迁入的采集前置集群任务处理所需时间的先后顺序对各个所述迁入的采集前置集群回迁的采集子任务赋予处理优先级。
[0051]
本发明相比于现有技术的有益效果是,
[0052]
第一方面,在采集前置集群本地出现拥挤前,预设任务迁移条件提前做预判,先筛
选出需要进行任务迁移的采集前置集群,也确定了需要进行迁移的对应任务量的采集任务,在采集任务来了以后,只要满足对应任务量的单项或者多项采集任务,就准备迁出,因此可以在本地采集前置集群处理上提高调度效率。
[0053]
第二方面,根据电力特征关键词的匹配关系筛选确定拟作为迁入的采集前置集群,优选了迁移代价小的采集前置集群作为迁入的目标采集前置集群,可以在目标采集前置集群的选择上提高调度效率。
[0054]
第三方面,选定目标采集前置集群,根据通信节点的拓扑关系、传输有效值、传输随机范围而自动选择了尽量避免拥挤的传输路径,可以在传输路径的选择上提高调度效率。
附图说明
[0055]
图1为本发明实施方式提供的用电信息采集系统任务智能调度方法的步骤流程图;
[0056]
图2为本发明实施方式提供的迁出的采集前置集群的负载处理速度能力和时间的关系曲线和目标函数在坐标系中的对比视图。
具体实施方式
[0057]
以下结合附图,对本发明上述的和另外的实施方式和优点进行清楚、完整地描述。显然,所描述的实施方式仅仅是本发明的部分实施方式,而不是全部实施方式。
[0058]
在一种实施方式中,如图1所示。
[0059]
本实施方式提供的用电信息采集系统任务智能调度方法,其包括如下步骤:步骤s1-1、配置有预设的任务迁移条件以识别需要进行任务迁移的采集前置集群;步骤s1-2、获取采集前置集群的电力特征关键词,并根据特征关键词从预先构建的目标关联库中调取对应的目标函数;步骤s1-3、通过预设的偏差算法计算采集前置集群的电力特征关键词相关对应值与目标函数相关对应值的目标偏差;步骤s1-4、根据目标偏差确定需要进行迁移的采集任务;步骤s2-1、根据电力特征关键词的匹配关系确定拟作为迁入的采集前置集群;步骤s2-2、通过预设的迁移代价算法计算每一拟作为迁入的采集前置集群的迁移代价;步骤s2-3、筛选迁移代价低于预设的迁入阈值的采集前置集群作为迁入的目标采集前置集群;步骤s3-1、将采集任务拆分成若干采集子任务;步骤s3-2、根据通信节点的拓扑关系分别计算每一传输路段的传输有效值,传输路径为传输路段的集合;步骤s3-3、根据传输有效值为每一传输路段配置对应的传输随机范围,当任一传输路段被确定为某项采集子任务的传输路段时,对该传输路段对应的所有传输有效值做一次衰减运算,以再次配置对应的传输随机范围;步骤s3-4、生成一传输随机数,并根据传输随机数落入的传输随机范围确定该项采集子任务的传输路段,返回步骤s3-3直至传输路径确定;步骤s3-5、返回步骤s3-2直至所有采集子任务传输完成。
[0060]
在本实施方式中,主要从三方面体现用电信息采集系统任务调度的优化,第一方面,在采集前置集群本地出现拥挤前,预设任务迁移条件提前做预判,先筛选出需要进行任务迁移的采集前置集群,也确定了需要进行迁移的对应任务量的采集任务,在采集任务来了以后,只要满足对应任务量的单项或者多项采集任务,就准备迁出,因此避免了本地采集
前置集群出现拥挤,可以在本地采集前置集群处理上提高调度效率。第二方面,根据电力特征关键词的匹配关系筛选确定拟作为迁入的采集前置集群,优选了迁移代价小的采集前置集群作为迁入的目标采集前置集群,可以在目标采集前置集群的选择上提高调度效率。第三方面,选定目标采集前置集群,根据通信节点的拓扑关系、传输有效值、传输随机范围而自动选择了尽量避免拥挤的传输路径,需要特别说明的是,因为通信节点存在拓扑关系,一项采集任务或者采集子任务在传输时,它的传输路径具有可选性,是非唯一的。而作为构成传输路径的位于两个通信节点之间的传输路段,自身具有许多关联与通信能力的传输有效值,一项采集任务或者采集子任务在传输时,选择一段通信能力最强的传输路段是提高通信效率的布局最优解,但是若干采集任务或者采集子任务在传输时,如果都做这样的选择,将不是全局最优解,并且容易出现严重的拥挤。因此当任一传输路段被确定为某项采集子任务的传输路段时,对该传输路段对应的所有传输有效值做一次衰减运算,以再次配置对应的传输随机范围,使得下一采集子任务在生成传输随机数再次落入经过再次配置的传输随机范围的概率减小,从而更容易选择其他传输路段,由此形成了一条动态的、可避免拥挤的传输路径,因此可以在传输路径的选择上提高调度效率。
[0061]
在一种实施方式中,在步骤s2-2中,迁移代价算法的计算公式为:ex为迁移代价,p
x
为从目标关联库中调取的迁出的采集前置集群x发送采集任务所耗的时间长度,py为从目标关联库中调取的拟作为迁入的采集前置集群y接收采集任务所耗的时间长度,cy为拟作为迁入的采集前置集群y的负载速度处理能力,z为该组数据的平均数,zi为第i个采集任务从迁出的采集前置集群x到迁入的采集前置集群y传输采集任务所耗的时间长度,n为采集任务的数量,β1为预设的迁出权重,β2为预设的迁入权重,β3为预设的能力权重,β4为预设的传输权重。
[0062]
在本实施方式中,提供了迁移代价算法的具体实施方案,p
x
为从目标关联库中调取的迁出的采集前置集群x发送采集任务所耗的时间长度,py为从目标关联库中调取的拟作为迁入的采集前置集群y接收采集任务所耗的时间长度,为方差公式,经过方差计算可以得到从迁出的采集前置集群x到迁入的采集前置集群y传输采集任务的稳定性。在本实施方式中,时间长度数值越大,方差越大,代表迁移代价越大。当然在其他的实施方式中,也可以选择从迁出的采集前置集群x到迁入的采集前置集群y传输采集任务所耗的时间长度直接作为参考指标。
[0063]
在一种实施方式中,在步骤s3-2中,传输有效值的计算公式为:ef=θv
max
+θcc;ef为传输有效值,v
max
为传输路段对应的最高传输速率,cc为传输路段对应的信道容量,θ为设定的最高传输速率的权重系数,θ为设定的信道容量的权重系数。
[0064]
在本实施方式中,提供了传输有效值算法的具体实施方案,以传输路段对应的最高传输速率和信道容量作为参考指标,传输路段对应的最高传输速率越大,信道容量越大,代表通信能力越强。当然在其他的实施方式中,也可以选择带宽、噪声等作为参考指标。
[0065]
在一种实施方式中,如图1-2所示。
[0066]
本实施方式提供的用电信息采集系统任务智能调度方法,在步骤s1-1中,任务迁移条件设为采集前置集群的负载量大于预设值;在步骤s1-2中,电力特征关键词设为采集
前置集群的负载处理速度能力,并且目标函数设为以斜率和截距均大于零的一次函数,目标函数为筛选参照值和任务迁移执行时段的时间变量的表达式。在步骤s1-3中,偏差算法包括步骤s1-3-1、采用时间序列的指数平滑法预测任务迁移执行时段的采集前置集群的负载量;步骤s1-3-2、以对应的采集前置集群的算力为参考,计算该采集前置集群在将来的任务迁移执行时段、假设不迁移采集任务所对应的第一负载处理速度能力;步骤s1-3-3、目标偏差设为第一负载处理速度能力的对应值和筛选参照值在同一任务迁移执行时段的差值积分;在步骤s1-4中,根据目标偏差确定需要进行迁移的对应任务量的采集任务,以使该采集前置集群在将来的任务迁移执行时段、迁移采集任务后的第二负载处理速度能力的对应值和任务迁移执行时段的时间变量的表达式趋于目标函数;在步骤s2-1中,匹配方法为以需要进行迁移的采集任务对应的任务量和其他采集前置集群的算力为计算要素,计算该采集前置集群假设迁入采集任务后的第三负载处理速度能力,筛选第三负载处理速度能力的对应值小于筛选参照值的若干采集前置集群以确定为拟作为迁入的采集前置集群;所述用电信息采集系统任务智能调度方法还包括步骤s4-1、迁入的采集前置集群将接收到的若干采集子任务和自身特性做适应度筛选,同时满足任务量大于第一设定值、该采集前置集群对应的处理速度小于第二设定值的采集子任务为低适应度的采集子任务;步骤s4-2、迁入的采集前置集群将将筛选出的所有低适应度的采集子任务进行优筛,使优筛的所有采集子任务的任务量总量接近第三设定值,其中,第三设定值以迁出的采集前置集群的采集任务的任务量、迁出的采集前置集群的算力、迁入的采集前置集群的采集子任务的任务量总量、以及迁入的采集前置集群的算力作为计算要素,以迁出的采集前置集群假设接收回迁的采集子任务后所对应的第四负载处理速度能力,和迁入的采集前置集群假设回迁采集子任务后所对应的第五负载处理速度能力相等为计算目标计算得到。
[0067]
上述的实施方式,除去步骤s2-2和步骤s2-3的经过迁移代价筛选目标采集前置集群,和步骤s3-1、步骤s3-2、步骤s3-3、步骤s3-4、以及步骤s3-5的动态传输以外,从中提炼的技术方案也可以表述为该用电信息采集系统任务智能调度方法包括如下步骤:
[0068]
构建迁移模型,确定各地作为通信节点的采集前置集群的负载情况,筛选出需要进行任务迁移的采集前置集群,预测任务迁移执行时段的采集前置集群的负载量,以对应的采集前置集群的算力为参考计算该采集前置集群的负载处理速度能力,以斜率和截距均大于零的一次函数为目标函数设置筛选参照值,根据负载处理速度能力数值和筛选参照值数值沿着时间坐标轴的差值,分配相应任务量的任务进行迁移,以将该采集前置集群在任务迁移执行时段内的实际负载处理速度能力和时间的表达式趋于目标函数;生成迁移路径,以将要分配进行迁移的任务的任务量和目标采集前置集群的算力为计算要素计算该目标采集前置集群的负载处理速度能力,选择负载处理速度能力低于迁出的采集前置集群的实际负载处理速度能力的目标采集前置集群作为迁移目标,生成迁移路径;拆分迁出的任务并且做适应度筛选,将分出的子任务和迁入的采集前置集群做适应度筛选,以各类子任务的任务量和迁入的采集前置集群历史处理各类子任务所对应的处理速度为计算要素,筛选出同时满足单个子任务的任务量大于第一设定值、对应的处理速度小于第二设定值、并且所有子任务的任务总量接近第三设定值的子任务集合;回迁低适应度的子任务,将子任务集合的子任务作为低适应度的子任务回迁至迁出的采集前置集群,其中,第三设定值以迁出的采集前置集群的采集任务的任务量、迁出的采集前置集群的算力、迁入的采集前置
集群的采集子任务的任务量总量、以及迁入的采集前置集群的算力作为计算要素,以迁出的采集前置集群假设接收回迁的采集子任务后所对应的第四负载处理速度能力,和迁入的采集前置集群假设回迁采集子任务后所对应的第五负载处理速度能力相等为计算目标计算得到。
[0069]
在本实施方式中,从四个步骤,三个方面体现了具体优化后的调度方法,此处不计除去的步骤s2-2和步骤s2-3,和步骤s3-1、步骤s3-2、步骤s3-3、步骤s3-4、以及步骤s3-5。四个步骤分别是,构建迁移模型,生成迁移路径,拆分迁出的任务并且做适应度筛选,回迁低适应度的子任务。其中拆分迁出的任务并且做适应度筛选和回迁低适应度的子任务可视为一个方面的两个步骤。
[0070]
第一方面,在采集前置集群出现拥挤前,可以根据以往的处理经验提前做预判,在各时间段各地的采集前置集群出现拥挤的情况会有较大概率的相似性,也有较小概率的突发性。因此在做预判之前,结合当前的具体运行情况而定,在高峰迎来前,会呈现出一定的趋势。那么根据各地作为通信节点的采集前置集群的负载情况,也就是趋势走势,先筛选出需要进行任务迁移的采集前置集群。当然在一个更具体的实施方式中,可以参照需要迁移的采集前置集群的历史数据,对其中个别的采集前置集群进行增减。筛选出需要进行任务迁移的采集前置集群后,预测任务迁移执行时段的采集前置集群的负载量,以对应的采集前置集群的算力为参考计算该采集前置集群的负载处理速度能力,其中,采用时间序列的指数平滑法预测任务迁移执行时段的采集前置集群的负载量波形,这样的算法具有较好的准确性,而采集前置集群的算力由决定算力性能的几项参数决定,是固定值,可以直接调取。这样确定了负载量和算力之后,可以计算采集前置集群的负载处理速度能力。即相对应的速度值,如图2所示,采集前置集群的负载量是波动的,所以采集前置集群的第一负载处理速度能力也随之波动,只不过是整体向下的不规则曲线,因为积压的任务量越多,作为将所有任务都处理完的能力的第一负载处理速度能力越低。对此,以斜率和截距均大于零的一次函数为目标函数设置筛选参照值,根据负载处理速度能力数值和筛选参照值数值沿着时间坐标轴的差值,分配相应任务量的任务进行迁移,以将该采集前置集群在任务迁移执行时段内的实际负载处理速度能力和时间的表达式趋于目标函数。因为当前预测的负载处理速度能力数值是确定的,即第一负载处理速度能力是确定的,筛选参照值数值也是确定的,即目标负载处理速度能力数值也是确定的,所以可以得到任务迁移执行时段内应当调度的任务量。之所以使该采集前置集群在任务迁移执行时段内的实际负载处理速度能力和时间的表达式趋于目标函数,使其实际负载处理速度能力有上升趋势,即第二负载处理速度能力有上升趋势,是为后面将要执行的工作留出余量。
[0071]
第二方面,在建立上述的迁移模型之后,要生成迁移路径。以将要分配进行迁移的任务的任务量和目标采集前置集群的算力为计算要素计算该目标采集前置集群的负载处理速度能力,选择负载处理速度能力低于迁出的采集前置集群的实际负载处理速度能力的目标采集前置集群作为迁移目标,生成迁移路径。当然不同于前面第一阶段做的提前预判,作为第二阶段的此阶段,发生在迁出的采集前置集群出现任务后,由于在出现任务前的第一阶段已经建立了迁移模型,所以有任务进来就迁移,及时防止了拥堵情况的出现,也避免将出现的资源挤兑现象。
[0072]
第三方面,在迁移后,拆分迁出的任务并且做适应度筛选,将分出的子任务和迁入
的采集前置集群做适应度筛选,以各类子任务的任务量和迁入的采集前置集群历史处理各类子任务所对应的处理速度为筛选要素,筛选出同时满足单个子任务的任务量大于第一设定值、对应的处理速度小于第二设定值、并且所有子任务的任务总量接近第三设定值的子任务集合。此时,需要筛选出的子任务和迁入的采集前置集群适应度低,主要体现在历史处理这类子任务所对应的处理速度上,同时该子任务的任务量(或称为任务长度)较大,足以响应采集前置集群的速度。同时还要满足所有子任务的任务总量接近第三设定值,因此将第一设定值设低,将第二设定值设高,筛选出足够多的子任务,那么根据任务总量的要求再取其中的一部分放入子任务集合。然后,回迁低适应度的子任务,将子任务集合的子任务作为低适应度的子任务回迁至迁出的采集前置集群,其中,第三设定值以迁出的采集前置集群的采集任务的任务量、迁出的采集前置集群的算力、迁入的采集前置集群的采集子任务的任务量总量、以及迁入的采集前置集群的算力作为计算要素,以迁出的采集前置集群假设接收回迁的采集子任务后所对应的第四负载处理速度能力,和迁入的采集前置集群假设回迁采集子任务后所对应的第五负载处理速度能力相等为计算目标计算得到。
[0073]
而迁出的采集前置集群的实时采集任务的任务量是已知的,可以根据算力和与目标函数数值接近的第二负载处理速度能力反推,迁出的采集前置集群的算力是可调取的,是已知的不变量。迁入的采集前置集群的实时采集任务的任务量,可由迁入的采集前置集群计算得到,是不变量。假设迁出的采集前置集群实时任务量为la,迁出的采集前置集群的算力为cpa,迁入的采集前置集群的任务量为lb,迁入的采集前置集群的算力为cpb,回迁的任务的任务量为变量ε,此处任务量即采集前置集群的负载量。那么迁出的采集前置集群的最终负载处理速度能力可表示为迁入的采集前置集群的最终负载处理速度能力可表示为在使的情况下求得第三设定值,使回迁的所有子任务的任务总量接近第三设定值。在第一步骤中,迁出的采集前置集群实际负载处理速度能力有上升趋势,是留出余量的,而迁入的采集前置集群在将子任务回迁后,原本更低处理速度能力得到一定回调,最终两者趋同。
[0074]
在本实施方式中,通过上述智能调度,使得系统中各参与的采集前置集群的利用率达到动态平衡,在整体上更好的做到负载均衡,进一步提升处理效率。
[0075]
在一种实施方式中,目标函数的表达式为y=kx+b,y为筛选参照值,k为大于零的斜率,b为大于零的截距,x为任务迁移执行时段内的时间变量。此外,k的取值范围为0~1。正如图2中所示的那样。
[0076]
在一种实施方式中,采用时间序列的指数平滑法预测任务迁移执行时段的采集前置集群的负载量。这种采用时间序列的指数平滑法进行预测也是常用的算法。并且它的基础公式为:l
t
=αx
t
+(1-α)l
t-1
。其中,l
t
为第t期的采集前置集群的负载量的预测值,α为取值范围为[0,1]的平滑常数,x
t
为第t期的采集前置集群的负载量的实际值,l
t-1
为第t-1期的采集前置集群的负载量的预测值。
[0077]
在一种实施方式中,采集前置集群的负载处理速度能力的计算公式为:
[0078]
c=l/cp(1)
[0079][0080]
c为采集前置集群的负载处理速度能力,l为采集前置集群的负载量也就是采集前置集群对应任务的任务量,或者任务长度,cp为采集前置集群的算力,in1为设定的gflops算力指标计算参数,in2为设定的tflops算力指标,in3为设定的ips算力指标计算参数,β、γ、δ分别为对应gflops算力指标计算参数、tflops算力指标计算参数、ips算力指标计算参数的设定的权值系数。
[0081]
在本实施方式中,gflops算力指标、tflops算力指标、ips算力指标是常用的算力指标,当然在其他的实施方式中也可以另设指标,采集前置集群的算力是事先计算好随时可以调取的。
[0082]
在一种实施方式中,该用电信息采集系统任务智能调度方法,将各迁入的采集前置集群处理剔除低适应度的子任务以外的子任务集合所耗时间和该低适应度的子任务集合共同回迁至迁出的采集前置集群,迁出的采集前置集群接收各打包数据进行解码后,读取数据中的处理所耗时间,并且按照时间顺序从先到后对其进行排序,并且按相同的排序编号赋予各回迁的子任务处理优先级。
[0083]
在本实施方式中,由于各迁入的采集前置集群处理剔除与之匹配性低(适应度低)的子任务以外的所有子任务所耗时间和该与之匹配性最低的子任务打包回迁至迁出的采集前置集群,那么迁出的采集前置集群,即本地采集前置集群,在接收到各项子任务,以排序编号作为优先级顺序对回迁的各项子任务进行处理。这样为将迁出的各项任务处理完毕发回时能够快速衔接从而完成一个完整任务的处理做了预备。例如,避免了某项迁出处理的任务已经发回,而原属于该项迁出的任务子项的回迁的子任务还未处理,这其中所产生的等待时间不仅占用资源,还存在低效的问题。那么经过上述的优先级排序,可以防止长时间等待的情况出现。即虽然两者的时间不能完全对应,但是也避免了最先发回的任务,其所等待的子任务在最后处理的此种长时间等待的情形。
[0084]
以上所述的具体实施方式,对本发明的发明目的、技术方案、以及有益效果进行了进一步的详细说明。应当理解,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围。特别指出,对于本领域技术人员而言,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

技术特征:
1.用电信息采集系统任务智能调度方法,其特征在于,包括如下步骤:步骤s1-1、配置有预设的任务迁移条件以识别需要进行任务迁移的采集前置集群;步骤s1-2、获取采集前置集群的电力特征关键词,并根据特征关键词从预先构建的目标关联库中调取对应的目标函数;步骤s1-3、通过预设的偏差算法计算采集前置集群的电力特征关键词相关对应值与目标函数相关对应值的目标偏差;步骤s1-4、根据目标偏差确定需要进行迁移的采集任务;步骤s2-1、根据电力特征关键词的匹配关系确定拟作为迁入的采集前置集群;步骤s2-2、通过预设的迁移代价算法计算每一拟作为迁入的采集前置集群的迁移代价;步骤s2-3、筛选迁移代价低于预设的迁入阈值的采集前置集群作为迁入的目标采集前置集群;步骤s3-1、将采集任务拆分成若干采集子任务;步骤s3-2、根据通信节点的拓扑关系分别计算每一传输路段的传输有效值,传输路径为传输路段的集合;步骤s3-3、根据传输有效值为每一传输路段配置对应的传输随机范围,当任一传输路段被确定为某项采集子任务的传输路段时,对该传输路段对应的所有传输有效值做一次衰减运算,以再次配置对应的传输随机范围;步骤s3-4、生成一传输随机数,并根据传输随机数落入的传输随机范围确定该项采集子任务的传输路段,返回步骤s3-3直至传输路径确定;步骤s3-5、返回步骤s3-2直至所有采集子任务传输完成。2.根据权利要求1所述的用电信息采集系统任务智能调度方法,其特征在于,在步骤s2-2中,迁移代价算法的计算公式为:ex为迁移代价,p
x
为从目标关联库中调取的迁出的采集前置集群x发送采集任务所耗的时间长度,p
y
为从目标关联库中调取的拟作为迁入的采集前置集群y接收采集任务所耗的时间长度,z为该组数据的平均数,z
i
为第i个样本,表示从迁出的采集前置集群x到迁入的采集前置集群y传输采集任务所耗的时间长度,n为样本的数量。ex为迁移代价,p
x
为从目标关联库中调取的迁出的采集前置集群x发送采集任务所耗的时间长度,p
y
为从目标关联库中调取的拟作为迁入的采集前置集群y接收采集任务所耗的时间长度,c
y
为拟作为迁入的采集前置集群y的负载速度处理能力,z为该组数据的平均数,z
i
为第i个采集任务从迁出的采集前置集群x到迁入的采集前置集群y传输采集任务所耗的时间长度,n为采集任务的数量,β1为预设的迁出权重,β2为预设的迁入权重,β3为预设的能力权重,β4为预设的传输权重。3.根据权利要求1所述的用电信息采集系统任务智能调度方法,其特征在于,在步骤s3-2中,传输有效值的计算公式为:ef为传输有效值,v
max
为传输路段对应的最高传输速率,cc为传输路段对应的信道容
量,θ为设定的最高传输速率的权重系数,为设定的信道容量的权重系数。4.根据权利要求2所述的用电信息采集系统任务智能调度方法,其特征在于,在步骤s1-1中,任务迁移条件设为采集前置集群的负载量大于预设值;在步骤s1-2中,电力特征关键词通过历史采集任务提取,并且目标函数设为以斜率大于零和截距大于零的一次函数,不同的目标函数对应的斜率和截距不同,目标函数为筛选参照值和任务迁移执行时段的时间变量的表达式;在步骤s1-3中,偏差算法包括步骤s1-3-1、采用时间序列的指数平滑法预测任务迁移执行时段的采集前置集群的负载量波形;步骤s1-3-2、根据对应的采集前置集群的算力计算该采集前置集群在将来的任务迁移执行时段、假设不迁移采集任务所对应的第一负载处理速度能力并生成处理速度能力波形;步骤s1-3-3、目标偏差设为目标函数和处理速度能力波形在同一任务迁移执行时段的差值的积分;在步骤s1-4中,根据目标偏差确定需要进行迁移的对应任务量的采集任务;所述用电信息采集系统任务智能调度方法还包括步骤s4-1、迁入的采集前置集群将接收到的若干采集子任务和自身特性做适应度筛选,同时满足任务量大于第一设定值、该采集前置集群对应的处理速度小于第二设定值的采集子任务为低适应度的采集子任务;步骤s4-2、迁入的采集前置集群将将筛选出的所有低适应度的采集子任务进行优筛,使优筛的所有采集子任务的任务量总量接近第三设定值,其中,第三设定值以迁出的采集前置集群的采集任务的任务量、迁出的采集前置集群的算力、迁入的采集前置集群的采集子任务的任务量总量、以及迁入的采集前置集群的算力作为计算要素,以迁出的采集前置集群假设接收回迁的采集子任务后所对应的第四负载处理速度能力,和迁入的采集前置集群假设回迁采集子任务后所对应的第五负载处理速度能力相等为计算目标计算得到。5.根据权利要求4所述的用电信息采集系统任务智能调度方法,其特征在于,在步骤s1-2中,所述目标函数的斜率的取值范围为(0,1]。6.根据权利要求4所述的用电信息采集系统任务智能调度方法,其特征在于,所述指数平滑法的计算公式为:l
t
=αx
t
+(1-α)l
t-1
其中,l
t
为第t期的采集前置集群的负载量的预测值,α为取值范围为[0,1]的平滑常数,x
t
为第t期的采集前置集群的负载量的实际值,l
t-1
为第t-1期的采集前置集群的负载量的预测值。7.根据权利要求4所述的用电信息采集系统任务智能调度方法,其特征在于,所述采集前置集群的负载处理速度能力的计算公式为:c=l/cp(1)c为采集前置集群的负载处理速度能力,l为采集前置集群的负载量,cp为采集前置集
群的算力,in1为设定的gflops算力指标计算参数,in2为设定的tflops算力指标,in3为设定的ips算力指标计算参数,β、γ、δ分别为对应gflops算力指标计算参数、tflops算力指标计算参数、ips算力指标计算参数的设定的权值系数。8.根据权利要求4所述的用电信息采集系统任务智能调度方法,其特征在于,所述采集前置集群的算力从预先构建的共享数据库中调取。9.根据权利要求4所述的用电信息采集系统任务智能调度方法,其特征在于,所述采集前置集群的算力从预先保存的本地数据库中调取。10.根据权利要求4所述的用电信息采集系统任务智能调度方法,其特征在于,各个所述迁入的采集前置集群将自身处理除回迁的采集子任务以外的各项采集子任务所需时间,和该回迁的采集子任务打包发出;所述迁出的采集前置集群接收各个打包数据后,读取各个所述迁入的采集前置集群任务处理所需时间,并且按照各个所述迁入的采集前置集群任务处理所需时间的先后顺序对各个所述迁入的采集前置集群回迁的采集子任务赋予处理优先级。

技术总结
本发明提供了用电信息采集系统任务智能调度方法,属于电力通信技术领域,其包括如下步骤:将采集任务拆分成若干采集子任务;根据通信节点的拓扑关系分别计算每一传输路段的传输有效值,传输路径为传输路段的集合;根据传输有效值为每一传输路段配置对应的传输随机范围,当任一传输路段被确定为某项采集子任务的传输路段时,对该传输路段对应的所有传输有效值做一次衰减运算,以再次配置对应的传输随机范围;生成一传输随机数,并根据传输随机数落入的传输随机范围确定该项采集子任务的传输路段,返回步骤S3-3直至传输路径确定;返回步骤S3-2直至所有采集子任务传输完成。2直至所有采集子任务传输完成。2直至所有采集子任务传输完成。


技术研发人员:鄢盛腾 夏桃芳 高琛 郑晓晖 林华 詹世安 丁忠安 林胤戎 王雅平 刘佳宁 陈伟寅 陈元珽 高华祥 欧伟强 施亚萍 郑航湘
受保护的技术使用者:国网信通亿力科技有限责任公司 国网信息通信产业集团有限公司 福建省供电服务有限责任公司
技术研发日:2023.06.20
技术公布日:2023/8/13
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐