集群资源预测的处理方法、装置、设备及可读存储介质与流程

未命名 07-23 阅读:77 评论:0


1.本技术涉及人工智能技术领域,尤其涉及一种集群资源预测的处理方法、装置、计算机设备及计算机可读存储介质。


背景技术:

2.随着数字化发展的逐渐深入,每个单位的在运设备逐渐增加,甚至在运设备能够增长10~100倍,运维也已经从手工运维转向工具运维或者平台运维,例如,对于银行、证券等金融公司,或者大型医院等医疗机构,由于涉及的在运设备较多,对于运维平台,一般使用基于容器技术的容器集群管理系统,其中,容器集合是独立的工作单元,即提供应用的单元,每个容器集合包含一个或多个容器,容器集合中的容器会作为一个整体被主节点master调度到一个节点node上运行。但在机房运维场景下,由于在运设备的增加,存在运维业务规模大、应用关系复杂且依赖层次多,导致排查问题困难,无法预测未来时间段内不同集群的容器集合与业务数据交互对网络及设备的负载大小引起的运维压力的情况,从而无法更好的进行运维处理,降低了运维的有效性,存在运维失效的风险。


技术实现要素:

3.本技术提供了一种集群资源预测的处理方法、装置、计算机设备及计算机可读存储介质,能够解决传统技术中对多个容器集群进行运维控制时效果较差的技术问题。
4.第一方面,本技术提供了一种集群资源预测的处理方法,包括:获取第一容器集群与其它容器集群之间的容器集合进行交互所对应的容器集合交互关联关系,其中,所述第一容器集群与所述其它容器集群分别包含各自的容器集合,所述容器集合交互关联关系包含交互的容器集合所对应的交互关联容器集合标识;获取所述第一容器集群与所述其它容器集群之间配置了业务关联关系的容器集合所对应的容器集合业务配置关联关系;根据所述容器集合交互关联关系与所述容器集合业务配置关联关系,确定所述第一容器集群与所述其它容器集群之间未进行交互但配置了业务关联关系的容器集合所对应的未交互关联容器集合标识;根据所述交互关联容器集合标识与所述未交互关联容器集合标识及其各自所对应的关联状态移动概率矩阵,确定目标交互关联容器集合标识。
5.第二方面,本技术提供了一种集群资源预测的处理装置,包括:第一获取单元,用于获取第一容器集群与其它容器集群之间的容器集合进行交互所对应的容器集合交互关联关系,其中,所述第一容器集群与所述其它容器集群分别包含各自的容器集合,所述容器集合交互关联关系包含交互的容器集合所对应的交互关联容器集合标识;第二获取单元,用于获取所述第一容器集群与所述其它容器集群之间配置了业务关联关系的容器集合所对应的容器集合业务配置关联关系;第三获取单元,用于根据所述容器集合交互关联关系与所述容器集合业务配置关联关系,确定所述第一容器集群与所述其它容器集群之间未进行交互但配置了业务关联关系的容器集合所对应的未交互关联容器集合标识;第四获取单元,用于根据所述交互关联容器集合标识与所述未交互关联容器集合标识及其各自所对应
的关联状态移动概率矩阵,确定目标交互关联容器集合标识。
6.第三方面,本技术提供了一种计算机设备,其包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现所述集群资源预测的处理方法的步骤。
7.第四方面,本技术提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器执行所述集群资源预测的处理方法的步骤。
8.本技术提供了一种集群资源预测的处理方法、装置、计算机设备及计算机可读存储介质,所述处理方法通过获取第一容器集群与其它容器集群之间的容器集合交互关联关系,容器集合交互关联关系包含交互关联容器集合标识,及获取第一容器集群与其它容器集群之间所对应的容器集合业务配置关联关系,根据容器集合交互关联关系与容器集合业务配置关联关系,确定第一容器集群与其它容器集群之间未进行交互的未交互关联容器集合标识,根据交互关联容器集合标识与未交互关联容器集合标识及其各自所对应的关联状态移动概率矩阵,确定目标交互关联容器集合标识,从而预测第一容器集群与其它容器集群在未来时间段内将会进行交互的容器集合,实现对容器集合跨容器集群的业务数据交互进行预测,进而可以预测不同容器集群各自与其它容器集群在未来时间段内将会进行交互的容器集合,并根据所有将会进行交互的容器集合来确定未来时间段内不同集群的容器集合与业务数据交互对网络及设备的负载大小引起的运维压力的情况,从而更好的实现基于人工智能方式进行运维处理,能够提高运维的有效性,避免运维失效的风险,例如,对于银行、证券等金融公司,或者大型医院等医疗机构,对于业务数据的安全性要求较高,采用上述方式实现在运设备的运维,能够提高运维的有效性,保证业务数据的安全性,避免运维失效的风险带来的损失。
附图说明
9.为了更清楚地说明本技术实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
10.图1为本技术实施例提供的集群资源预测的处理方法在一终端的流程示意图;
11.图2为本技术实施例提供的集群资源预测的处理方法的第一个子流程示意图;
12.图3为本技术实施例提供的集群资源预测的处理方法的第二个子流程示意图;
13.图4为本技术实施例提供的集群资源预测的处理方法的第三个子流程示意图;
14.图5为本技术实施例提供的集群资源预测的处理装置的示意性框图;
15.图6为本技术实施例提供的计算机设备的示意性框图。
具体实施方式
16.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
17.应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
18.本技术实施例提供了一种集群资源预测的处理方法,所述处理方法可以应用于台式机电脑或者服务器等计算机设备中,在机房运维场景下针对多个容器集群运维时使用,例如,对于银行、证券等金融公司,或者大型医院等医疗机构,对于业务数据的安全性要求较高,采用上述方式实现基于人工智能的在运设备的运维,能够提高运维的有效性,保证业务数据的安全,避免运维失效的风险带来的损失。
19.面对传统技术中对多个容器集群进行运维时效果较差的技术问题,发明人提出本技术实施例的集群资源预测的处理方法,本技术实施例的核心思想为:获取第一容器集群与其它容器集群之间的容器集合交互关联关系,容器集合交互关联关系包含交互关联容器集合标识,及获取第一容器集群与其它容器集群之间所对应的容器集合业务配置关联关系,根据容器集合交互关联关系与容器集合业务配置关联关系,确定第一容器集群与其它容器集群之间未进行交互的未交互关联容器集合标识,根据交互关联容器集合标识与未交互关联容器集合标识及其各自所对应的关联状态移动概率矩阵,确定目标交互关联容器集合标识,从而预测第一容器集群与其它容器集群在未来时间段内将会进行交互的容器集合,实现对容器集合跨容器集群的业务数据交互进行预测,进而可以预测不同容器集群各自与其它容器集群在未来时间段内将会进行交互的容器集合,并根据所有将会进行交互的容器集合来确定未来时间段内不同集群的容器集合与业务数据交互对网络及设备的负载大小引起的运维压力的情况,从而更好的实现基于人工智能方式进行运维处理,能够提高运维的有效性,避免运维失效的风险。
20.下面结合附图,对本技术的一些实施例作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
21.请参阅图1,图1为本技术实施例提供的集群资源预测的处理方法的流程示意图。如图1所示,所述方法的应用环境中包括多个容器集群,该方法包括以下步骤s11-s14:
22.s11、获取第一容器集群与其它容器集群之间的容器集合进行交互所对应的容器集合交互关联关系,其中,所述第一容器集群与所述其它容器集群分别包含各自的容器集合,所述容器集合交互关联关系包含交互的容器集合所对应的交互关联容器集合标识。
23.其中,容器集合描述容器的调度单元,容器集合交互关联关系描述第一容器集群的容器集合与其它容器集群的容器集合之间进行业务数据交互的关联关系,容器集合交互关联关系包含交互的容器集合所对应的交互关联容器集合标识,即容器集合交互关联关系包含第一容器集群与其它容器集群之间进行业务数据交互的容器集合所对应的交互关联容器集合标识。
24.具体地,实现平台运维时,一般包括多个容器集群,并由多个容器集群组成网络,即为组网,每个容器集群包括若干个容器集合,即第一容器集群与其它容器集群分别包含各自的若干个容器集合,每个容器集合包含若干个容器,不同容器集群的容器集合之间可以进行业务数据交互,以使不同的容器集群协作完成一定的业务,例如,对于银行、证券等金融公司,或者大型医院等医疗机构,由于在运设备较多,实现平台运维时,一般由多个容器集群组成网络,即为组网。
25.以第一容器集群与其它容器集群之间的交互为例,若第一容器集群的容器集合与其它容器集群的容器集合之间进行了业务数据的交互,第一容器集群的容器集合与其它容器集群的容器集合之间存在业务数据交互的关联关系,将第一容器集群的容器集合与其它容器集群的容器集合之间的对应关系描述为容器集合交互关联关系,将进行业务数据交互的第一容器集群的容器集合与其它容器集群的容器集合采用各自对应的容器集合标识描述,即交互关联容器集合标识,用于描述存在业务数据交互关联关系的不同容器集群之间的容器集合,其中,容器集合标识可以为容器集合名称、容器集合编号或者容器集合所对应的ip,得到容器集合交互关联关系,并可以将容器集合交互关联关系进行预先存储,进而后续可以获取第一容器集群与其它容器集群之间所预存的容器集合交互关联关系。例如,在一示例中,容器集合交互关联关系可以包括容器集合名称及对应端口号,具体可以如下所示:1)容器集合1 0/1/0,关联标识:容器集群1#容器集合1#1/1/6,容器集群2#容器集合3#2/1/3;2)容器集合1 0/1/1,关联标识:容器集群3#容器集合2#1/1/6;3)容器集合1 0/1/2,关联标识:无。
26.进一步地,所述获取第一容器集群与其它容器集群之间的容器集合交互关联关系,包括:
27.基于预设主节点配置文件,获取所述第一容器集群与所述其它容器集群之间所预存的容器集合交互关联关系。
28.其中,主节点配置文件描述中央调度集群所包含的主节点所对应的配置文件。
29.具体地,预先在组网内的中央集群管理服务器上创建中央调度集群,中央调度集群包括主节点及主节点配置文件,其中,主节点配置文件为主节点的配置文件,即预设主节点配置文件,得到容器集合交互关联关系后,将容器集合交互关联关系存储至主节点配置文件,然后从主节点配置文件中获取第一容器集群与其它容器集群之间所预存的容器集合交互关联关系。由于中央调度集群的主节点用于管理业务节点,即管理业务node,而业务node配置容器集群,可以很方便的基于主节点配置文件实现对各个容器集群的容器集合设备端口的控制。
30.s12、获取所述第一容器集群与所述其它容器集群之间配置了业务关联关系的容器集合所对应的容器集合业务配置关联关系。
31.其中,容器集合业务配置关联关系描述第一容器集群的容器集合与其它容器集群的容器集合之间配置的业务数据关联关系。
32.具体地,根据业务需要,预先配置第一容器集群的容器集合与其它容器集群的容器集合之间的业务数据关联关系,业务数据关联关系描述第一容器集群的容器集合与其它容器集群的容器集合能够进行业务数据交互,并将第一容器集群的容器集合与其它容器集群的容器集合采用各自的容器集合标识描述,容器集合标识可以为容器集合名称、容器集合编号或者容器集合所对应的ip,得到第一容器集群与其它容器集群之间所对应的容器集合业务配置关联关系,所述容器集合业务配置关联关系包含所述第一容器集群与所述其它容器集群之间配置了业务数据关联的容器集合所对应的配置容器集合标识。
33.例如,容器集合业务配置关联关系可以包括容器集群之间的容器集合业务数据关联及变更关系,可以包括容器集合名称、设备端口号、容器集合的ip、容器集群id、关联的容器集群id、关联的容器集群容器集合名称、关联的容器集群的ip等信息,并可将容器集合业
务配置关联关系基于拓扑结构存储于拓扑数据库,从而通过访问拓扑数据库,获取所述第一容器集群与所述其它容器集群之间所对应的容器集合业务配置关联关系。
34.s13、根据所述容器集合交互关联关系与所述容器集合业务配置关联关系,确定所述第一容器集群与所述其它容器集群之间未进行交互但配置了业务关联关系的容器集合所对应的未交互关联容器集合标识。
35.其中,未交互关联容器集合标识描述第一容器集群的容器集合与其它容器集群的容器集合之间配置了业务数据关联但未进行业务数据交互的容器集合所对应的标识。
36.具体地,由于容器集合业务配置关联关系描述第一容器集群的容器集合与其它容器集群的容器集合之间配置的业务数据关联关系,是一种预先配置,容器集合交互关联关系描述第一容器集群的容器集合与其它容器集群的容器集合之间实际进行了业务数据交互的关联关系,容器集合交互关联关系与容器集合业务配置关联关系不一致的部分,为第一容器集群的容器集合与其它容器集群的容器集合之间配置了业务数据关联但未实际进行业务数据交互的容器集合,即为未交互关联容器集合,未交互关联容器集合所对应的容器集合标识为未交互关联容器集合标识。例如,若容器集合业务配置关联关系包括关系1、关系2、关系3,容器集合交互关联关系包括关系1与关系3,可得未交互的关系为关系2,关系2所对应的容器集合的标识即为未交互关联容器集合标识。
37.s14、根据所述交互关联容器集合标识与所述未交互关联容器集合标识及其各自所对应的关联状态移动概率矩阵,确定目标交互关联容器集合标识。
38.其中,关联状态移动概率矩阵描述第一容器集群与其它容器集群之间的容器集合所对应的业务数据状态发生转移的概率所对应的矩阵,目标交互关联容器集合标识描述第一容器集群与其它容器集群之间的容器集合将进行业务数据交互的容器集合所对应的标识。
39.具体地,由于发生业务数据交互的容器集合之间与未发生业务数据交互的容器集合之间的业务数据状态会发生转移,即发生业务数据交互的容器集合之间可以继续保持发生业务数据交互,发生业务数据交互的容器集合之间也可以转变为不再发生业务数据交互,同样地,未发生业务数据交互的容器集合之间可以继续保持不发生业务数据交互,未发生业务数据交互的容器集合之间也可以转变为发生业务数据交互,亦即第一容器集群的容器集合与其它容器集群的容器集合之间配置了业务数据关联的容器集合之间的业务数据状态存在数据状态移动的概率,该概率采用关联状态移动概率矩阵描述,即关联状态移动概率矩阵描述第一容器集群与其它容器集群之间的容器集合所对应的业务数据状态发生转移的概率所对应的矩阵,关联状态移动概率矩阵可以采用第一容器集群与其它容器集群之间的容器集合所对应的业务数据状态转移历史数据训练预设容器集合交互关联预测模型得到,即将第一容器集群与其它容器集群之间的容器集合所对应的业务数据状态转移历史数据输入至预设容器集合交互关联预测模型,以训练预设容器集合交互关联预测模型,业务数据状态转移历史数据包括对应的两个容器集合及在预设时间段内两个容器集合的业务数据状态转移的概率,该概率通过计算两个容器集合的业务数据状态保持为业务数据交互的次数占业务数据交互与业务数据未交互所有次数的比例。
40.确定目标交互关联容器集合标识,可以采用马尔可夫链法来实现,马尔可夫链法,英文为markov chain method,亦称马尔可夫预测分析,从而实现基于数据分析确定目标交
互关联容器集合标识。马尔科夫转移概率矩阵模型公式如下:
41.x(k+1)=x(k)
×
p;
42.其中,x(k)表示第一容器集群与其它容器集群之间的容器集合在t=k时刻的业务数据关联状态向量,数据关联状态包括业务数据交互与业务数据未交互,p表示下一步的关联状态移动概率矩阵,x(k+1)表示第一容器集群与其它容器集群之间的容器集合在t=k+1时刻的状态向量。
43.根据交互关联容器集合标识及其所对应的关联状态移动概率矩阵,可得到交互关联容器集合标识中继续保持业务数据交互的容器集合标识,根据未交互关联容器集合标识及其所对应的关联状态移动概率矩阵,可得到未交互关联容器集合标识中转变为业务数据交互状态的容器集合标识,上述两类业务数据交互的容器集合标识,即为目标交互关联容器集合标识,目标交互关联容器集合标识所对应的容器集合为第一容器集群与其它容器集群之间将进行业务数据交互的容器集合。
44.本技术实施例,通过获取第一容器集群与其它容器集群之间的容器集合交互关联关系,容器集合交互关联关系包含交互关联容器集合标识,及获取第一容器集群与其它容器集群之间所对应的容器集合业务配置关联关系,根据容器集合交互关联关系与容器集合业务配置关联关系,确定第一容器集群与其它容器集群之间未进行交互的未交互关联容器集合标识,根据交互关联容器集合标识与未交互关联容器集合标识及其各自所对应的关联状态移动概率矩阵,确定目标交互关联容器集合标识,目标交互关联容器集合标识所对应的容器集合即为预测的第一容器集群与其它容器集群在未来时间段内将会进行交互的容器集合,从而实现对容器集合跨容器集群的业务数据交互进行预测,进而可以预测不同容器集群各自与其它容器集群在未来时间段内将会进行交互的容器集合,并进而可以根据所有将会进行交互的容器集合来确定未来时间段内不同集群的容器集合与业务数据交互对网络及设备的负载大小引起的运维压力的情况,从而更好的实现基于人工智能方式进行运维处理,能够提高运维的有效性,避免运维失效的风险,例如,对于银行、证券等金融公司,或者大型医院等医疗机构,对于业务数据的安全性要求较高,采用上述方式实现在运设备的运维,能够提高运维的有效性,保证业务数据的安全性,避免运维失效的风险带来的损失。其中,人工智能,英文为artificial intelligence,英文缩写为ai,是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
45.在一实施例中,请参阅图2,图2为本技术实施例提供的集群资源预测的处理方法的第一个子流程示意图。如图2所示,在该实施例中,所述获取第一容器集群与其它容器集群之间的容器集合进行交互所对应的容器集合交互关联关系,包括:
46.s21、获取第一日志文件包含的第一ip,所述第一ip为所述第一容器集群包含的容器集合的ip;
47.s22、获取所述其它容器集群包含的容器集合所对应的第二ip,并根据所述第二ip,获取第二日志文件;
48.s23、判断所述第二日志文件是否包含所述第一ip;
49.s24、若所述第二日志文件包含所述第一ip,将所述第一ip与所述第二ip进行关联,得到所述第一容器集群与所述其它容器集群之间的容器集合交互关联关系;
50.s25、若所述第二日志文件不包含所述第一ip,不将所述第一ip与所述第二ip进行关联。
51.具体地,首先,通过读取主节点master的主节点配置文件,遍历主节点配置文件,获取主节点配置文件包含的第一容器集群的容器集合所对应的ip,得到第一容器集群的所有容器集合所对应的ip,并通过部署在本地日志服务器程序执行linux系统自带的tail命令结合参数

f,查阅正在改变的第一日志文件,并根据第一容器集群的所有容器集合所对应的ip,获取第一日志文件包含的第一容器集群的容器集合所对应的ip,从而根据第一日志文件,确定第一容器集群的容器集合中发生业务数据交互的容器集合及其所对应的ip,实现基于第一容器集群所对应的第一日志文件,获取第一日志文件包含的第一容器集群的容器集合所对应的第一ip。
52.其次,采集其它容器集群的容器集合所对应的第二ip,并根据第二ip,获取第二ip所对应的第二日志文件,然后判断第二日志文件是否包含第一ip,若第二日志文件包含第一ip,即如果其它容器集群的数据库、中间件、服务器cpu、内存、磁盘、进程等服务的日志数据出现过第一日志文件包含的第一容器集群的容器集合所对应的第一ip,判定第一ip与第二ip有关联,将第一ip与第二ip进行关联,得到第一容器集群与其它容器集群之间进行业务数据交互的容器集合之间的容器集合交互关联关系,若第二日志文件不包含第一ip,判定第一ip与第二ip无关联,不将第一ip与第二ip进行关联。
53.进一步地,若第一ip与多个第二ip存在业务数据交互,即第一ip与多个第二ip之间存在交互关联,将第一ip与多个第二ip之间的交互关联关系用逗号间隔,来标记第一容器集群与其它容器集群之间的交互关联关系。例如,若第一容器集群的容器集合名称及对应端口号为容器集合1 0/1/0,容器集合1 0/1/0所对应的关联标识可以描述为:容器集群1#容器集合1#1/1/6,容器集群2#容器集合3#2/1/3,描述第一容器集群的容器集合1及其对应的端口号,与容器集群1的容器集合及其端口号之间的交互关联关系,及与容器集群2的容器集合及其端口号之间的交互关联关系。
54.进一步地,还可以通过预设控制程序将容器集合交互关联关系预存至中央调度集群所包含的主节点配置文件,从而后续从中央调度集群所包含的主节点配置文件,获取第一容器集群与其它容器集群之间所预存的容器集合交互关联关系,从而通过容器集群管理服务器部署的日志服务器收集及分析不同容器集群之间的服务及应用所对应的容器集合之间的交互关联关系,并通过管理服务器上的预设控制程序在容器集群的服务管理器的主节点配置文件中对第一容器集群内与对外有业务数据交互的容器集合进行关联容器集合的容器集合和端口标记,通过日志分析判定不同容器集群之间的容器集合的交互关联关系,生成容器集合交互关联标识并放入主节点配置文件,提高了容器集合调度的灵活性,为容器集合节点在跨容器集群拓扑数据互通、不同容器集群之间业务数据交互及容器集群资源消耗概率预测、灵活配置及容器集合调度提供便利及处理效率,从而对于银行、证券等金融公司,或者大型医院等医疗机构,由于对业务数据的安全性要求较高,采用上述方式实现在运设备的运维,能够提高运维的有效性,保证业务数据的安全性,避免运维失效的风险带来的损失。
55.在一实施例中,请参阅图3,图3为本技术实施例提供的集群资源预测的处理方法的第二个子流程示意图。如图3所示,在该实施例中,所述获取第一容器集群与其它容器集
群之间的容器集合进行交互所对应的容器集合交互关联关系,包括:
56.s31、获取所述第一容器集群与所述其它容器集群之间的初始容器集合交互关联关系;
57.s32、将所述初始容器集合交互关联关系进行拆分,且将所述初始容器集合交互关联关系中存在交互关联的容器集合进行一对一的关联,得到单个容器集合交互关联关系;
58.s33、将所有所述单个容器集合交互关联关系作为容器集合交互关联关系。
59.其中,初始容器集合交互关联关系描述第一容器集群的容器集合关联其它容器集群的多个容器集合。
60.具体地,对于第一容器集群的容器集合与其它容器集群的多个容器集合存在关联的情形,即第一容器集群与其它容器集群的容器集合之间关联关系为初始容器集合交互关联关系,初始容器集合交互关联关系描述第一容器集群的容器集合关联其它容器集群的多个容器集合。获取初始容器集合交互关联关系,并根据第一容器集群的容器集合与其它容器集群的容器集合之间的预设一一对应关系,将初始容器集合交互关联关系进行拆分,且将初始容器集合交互关联关系中存在交互关联的容器集合进行一对一的关联,从而将第一容器集群的容器集合与其它容器集群的一个容器集合进行一对一的对应并关联,即将第一容器集群的一个容器集合与其它容器集群的一个容器集合进行一一对应并关联,得到单个容器集合交互关联关系,然后将所有单个容器集合交互关联关系作为容器集合交互关联关系。例如,通过读取主节点配置文件里存储的第一容器集群的容器集合关联标记,即第一容器集群的初始容器集合交互关联关系,并进行拆分,从而将第一容器集群的容器集合与其它容器集群的容器集合名称和端口号进行关联,得到单个容器集合交互关联关系,便于后续确定目标交互关联容器集合标识,能够提高确定目标交互关联容器集合标识的效率。
61.在一实施例中,所述根据所述交互关联容器集合标识与所述未交互关联容器集合标识及其各自所对应的关联状态移动概率矩阵,确定目标交互关联容器集合标识,包括:
62.根据所述交互关联容器集合标识与所述未交互关联容器集合标识及其各自所对应的关联状态移动概率矩阵,基于马尔科夫链的预设容器集合交互关联预测模型,确定目标交互关联容器集合标识。
63.进一步地,请参阅图4,图4为本技术实施例提供的集群资源预测的处理方法的第三个子流程示意图。如图4所示,在该实施例中,所述根据所述交互关联容器集合标识与所述未交互关联容器集合标识及其各自所对应的关联状态移动概率矩阵,基于马尔科夫链的预设容器集合交互关联预测模型,确定目标交互关联容器集合标识,包括:
64.s41、根据所述交互关联容器集合标识与预设第一关联状态移动概率矩阵,基于马尔科夫链的预设第一容器集合交互关联预测模型,确定所述交互关联容器集合标识中继续保持业务数据交互的预期第一交互关联容器集合标识;
65.s42、根据所述未交互关联容器集合标识与预设第二关联状态移动概率矩阵,基于马尔科夫链的预设第二容器集合交互关联预测模型,确定所述未交互关联容器集合标识中将转换为业务数据交互的预期第二交互关联容器集合标识;
66.s43、将所述预期第一交互关联容器集合标识与所述预期第二交互关联容器集合标识作为目标交互关联容器集合标识。
67.其中,预设第一关联状态移动概率矩阵描述交互关联容器集合标识继续进行业务
数据交互的概率所对应的矩阵,预设第二关联状态移动概率矩阵描述未交互关联容器集合标识中将转换为业务数据交互的概率所对应的矩阵。
68.具体地,根据交互关联容器集合标识与预设第一关联状态移动概率矩阵,基于马尔科夫链的预设第一容器集合交互关联预测模型,确定交互关联容器集合标识中继续保持业务数据交互的预期第一交互关联容器集合标识,其中,预设第一关联状态移动概率矩阵描述交互关联容器集合标识继续进行业务数据交互的概率所对应的矩阵,根据未交互关联容器集合标识与预设第二关联状态移动概率矩阵,基于马尔科夫链的预设第二容器集合交互关联预测模型,确定未交互关联容器集合标识中将转换为业务数据交互的预期第二交互关联容器集合标识,其中,预设第二关联状态移动概率矩阵描述未交互关联容器集合标识中将转换为业务数据交互的概率所对应的矩阵,将预期第一交互关联容器集合标识与预期第二交互关联容器集合标识作为目标交互关联容器集合标识,从而实现基于马尔科夫链实现对第一容器集群与其它容器集群在未来时间段内将会进行交互的容器集合进行预测,能够提高预测的准确性,例如,对于银行、证券等金融公司,或者大型医院等医疗机构,对于业务数据的安全性要求较高,采用上述方式实现在运设备的运维,能够提高运维的有效性,保证业务数据的安全性,避免运维失效的风险带来的损失。
69.在一实施例中,所述确定目标交互关联容器集合标识之后,还包括:
70.将所有所述目标交互关联容器集合标识基于拓扑结构绘制成集群拓扑图。
71.具体地,根据第一容器集群与其它容器集群之间的容器集合将进行业务数据交互的关联关系,基于拓扑结构,将所有目标交互关联容器集合标识绘制成集群拓扑图,通过集群拓扑图能够更加直观地描述未来时间段内不同容器集群内外资源消耗情况,使容器集群的集群拓扑图更接近于未来时间段内的实际情况,从而确定未来时间段内不同集群的容器集合与业务数据交互对网络及设备的负载大小引起的运维压力的情况,从而更好的进行运维处理,能够提高运维的有效性,避免运维失效的风险,例如,对于银行、证券等金融公司,或者大型医院等医疗机构,对于业务数据的安全性要求较高,采用上述方式实现在运设备的运维,能够提高运维的有效性,保证业务数据的安全性,避免运维失效的风险带来的损失。
72.在一实施例中,所述确定目标交互关联容器集合标识之后,还包括:
73.暴露所述目标交互关联容器集合标识所对应的容器集合设备端口的访问权限。
74.具体地,确定第一容器集群与其它容器集群之间的容器集合将进行业务数据交互后,将进行业务数据交互的目标交互关联容器集合标识所对应的容器集合设备端口的访问权限进行暴露,可以通过预设控制程序将进行业务数据交互的目标交互关联容器集合标识所对应的容器集合设备端口的访问权限进行暴露,使其处于其它容器集合设备可访问的状态。同时,还可以通过预设控制程序将不进行业务数据交互的容器集合设备端口的访问权限进行隐藏,使其不处于其它容器集合设备可访问的状态。并且,可以通过k8s的api server向主节点master部署的主节点配置文件发送隐藏或者暴露本容器集群或者其它容器集群容器集合设备端口的访问权限,从而实现第一容器集群与其它容器集群之间的容器集合互通权限,能够提高容器集合调度的灵活性与效率。
75.需要说明的是,上述各个实施例所述的集群资源预测的处理方法,可以根据需要将不同实施例中包含的技术特征重新进行组合,以获取组合后的实施方案,但都在本技术
要求的保护范围之内。
76.请参阅图5,图5为本技术实施例提供的集群资源预测的处理装置的示意性框图。对应于上述的集群资源预测的处理方法,本技术实施例还提供一种集群资源预测的处理装置。如图5所示,该集群资源预测的处理装置包括用于执行上述的所述集群资源预测的处理方法的单元,该集群资源预测的处理装置可以被配置于计算机设备中。具体地,请参阅图5,所述集群资源预测的处理装置50包括第一获取单元51、第一获取单元52、第一获取单元53及第一获取单元54。
77.其中,第一获取单元51,用于获取第一容器集群与其它容器集群之间的容器集合进行交互所对应的容器集合交互关联关系,其中,所述第一容器集群与所述其它容器集群分别包含各自的容器集合,所述容器集合交互关联关系包含交互的容器集合所对应的交互关联容器集合标识;
78.第二获取单元52,用于获取所述第一容器集群与所述其它容器集群之间配置了业务关联关系的容器集合所对应的容器集合业务配置关联关系;
79.第三获取单元53,用于根据所述容器集合交互关联关系与所述容器集合业务配置关联关系,确定所述第一容器集群与所述其它容器集群之间未进行交互但配置了业务关联关系的容器集合所对应的未交互关联容器集合标识;
80.第四获取单元54,用于根据所述交互关联容器集合标识与所述未交互关联容器集合标识及其各自所对应的关联状态移动概率矩阵,确定目标交互关联容器集合标识。
81.在一实施例中,所述第一获取单元51,用于基于预设主节点配置文件,获取所述第一容器集群与所述其它容器集群之间所预存的容器集合交互关联关系。
82.在一实施例中,所述第一获取单元51包括:
83.第一获取子单元,用于获取第一日志文件包含的第一ip,所述第一ip为所述第一容器集群包含的容器集合的ip;
84.第二获取子单元,用于获取所述其它容器集群包含的容器集合所对应的第二ip,并根据所述第二ip,获取第二日志文件;
85.判断子单元,用于判断所述第二日志文件是否包含所述第一ip;
86.关联子单元,用于若所述第二日志文件包含所述第一ip,将所述第一ip与所述第二ip进行关联,得到所述第一容器集群与所述其它容器集群之间的容器集合交互关联关系。
87.在一实施例中,所述第一获取单元51包括:
88.第三获取子单元,用于获取所述第一容器集群与所述其它容器集群之间的初始容器集合交互关联关系;
89.拆分子单元,用于将所述初始容器集合交互关联关系进行拆分,且将所述初始容器集合交互关联关系中存在交互关联的容器集合进行一对一的关联,得到单个容器集合交互关联关系;
90.确定子单元,用于将所有所述单个容器集合交互关联关系作为容器集合交互关联关系。
91.在一实施例中,所述第四获取单元54,用于根据所述交互关联容器集合标识与所述未交互关联容器集合标识及其各自所对应的关联状态移动概率矩阵,基于马尔科夫链的
预设容器集合交互关联预测模型,确定目标交互关联容器集合标识。
92.在一实施例中,所述集群资源预测的处理装置50还包括:
93.绘制单元,用于将所有所述目标交互关联容器集合标识基于拓扑结构绘制成集群拓扑图。
94.在一实施例中,所述集群资源预测的处理装置50还包括:
95.暴露单元,用于暴露所述目标交互关联容器集合标识所对应的容器集合设备端口的访问权限。
96.需要说明的是,所属领域的技术人员可以清楚地了解到,上述集群资源预测的处理装置和各单元的具体实现过程,可以参考前述方法实施例中的相应描述,为了描述的方便和简洁,在此不再赘述。
97.同时,上述集群资源预测的处理装置中各个单元的划分和连接方式仅用于举例说明,在其他实施例中,可将集群资源预测的处理装置按照需要划分为不同的单元,也可将集群资源预测的处理装置中各单元采取不同的连接顺序和方式,以完成上述集群资源预测的处理装置的全部或部分功能。
98.上述集群资源预测的处理装置可以实现为一种计算机程序的形式,该计算机程序可以在如图6所示的计算机设备上运行。
99.请参阅图6,图6是本技术实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是台式机电脑或者服务器等计算机设备,也可以是其他设备中的组件或者部件。
100.参阅图6,该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括非易失性存储介质503和内存储器504,所述存储器也可以为易失性存储介质。
101.该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时,可使得处理器502执行一种上述集群资源预测的处理方法。
102.该处理器502用于提供计算和控制能力,以支撑整个计算机设备500的运行。
103.该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行一种上述集群资源预测的处理方法。
104.该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解,图6中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。例如,在一些实施例中,计算机设备可以仅包括存储器及处理器,在这样的实施例中,存储器及处理器的结构及功能与图6所示实施例一致,在此不再赘述。
105.其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现如上所描述的集群资源预测的处理方法。
106.应当理解,在本技术实施例中,处理器502可以是中央处理单元(central processing unit,cpu),该处理器502还可以是其他通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,
asic)、现成可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
107.本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来完成,该计算机程序可存储于一计算机可读存储介质。该计算机程序被该计算机系统中的至少一个处理器执行,以实现上述方法的实施例的流程步骤。
108.因此,本技术还提供一种计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质,也可以为易失性的计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时使处理器执行如下步骤:
109.一种计算机程序产品,当其在计算机上运行时,使得计算机执行以上各实施例中所描述的所述集群资源预测的处理方法的步骤。
110.所述计算机可读存储介质可以是前述设备的内部存储单元,例如设备的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备,例如所述设备上配备的插接式硬盘,智能存储卡(smart media card,smc),安全数字(secure digital,sd)卡,闪存卡(flash card)等。进一步地,所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。
111.所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的设备、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
112.所述存储介质为实体的、非瞬时性的存储介质,例如可以是u盘、移动硬盘、只读存储器(read-only memory,rom)、磁碟或者光盘等各种可以存储计算机程序的实体存储介质。
113.本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
114.在本技术所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的。例如,各个单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
115.本技术实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本技术实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。
116.该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人
计算机,终端,或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。
117.以上所述,仅为本技术的具体实施方式,但本技术明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以权利要求的保护范围为准。

技术特征:
1.一种集群资源预测的处理方法,其特征在于,包括:获取第一容器集群与其它容器集群之间的容器集合进行交互所对应的容器集合交互关联关系,其中,所述第一容器集群与所述其它容器集群分别包含各自的容器集合,所述容器集合交互关联关系包含交互的容器集合所对应的交互关联容器集合标识;获取所述第一容器集群与所述其它容器集群之间配置了业务关联关系的容器集合所对应的容器集合业务配置关联关系;根据所述容器集合交互关联关系与所述容器集合业务配置关联关系,确定所述第一容器集群与所述其它容器集群之间未进行交互但配置了业务关联关系的容器集合所对应的未交互关联容器集合标识;根据所述交互关联容器集合标识与所述未交互关联容器集合标识及其各自所对应的关联状态移动概率矩阵,确定目标交互关联容器集合标识。2.根据权利要求1所述集群资源预测的处理方法,其特征在于,所述获取第一容器集群与其它容器集群之间的容器集合进行交互所对应的容器集合交互关联关系,包括:基于预设主节点配置文件,获取所述第一容器集群与所述其它容器集群之间所预存的容器集合交互关联关系。3.根据权利要求1所述集群资源预测的处理方法,其特征在于,所述获取第一容器集群与其它容器集群之间的容器集合进行交互所对应的容器集合交互关联关系,包括:获取第一日志文件包含的第一ip,所述第一ip为所述第一容器集群包含的容器集合的ip;获取所述其它容器集群包含的容器集合所对应的第二ip,并根据所述第二ip,获取第二日志文件;判断所述第二日志文件是否包含所述第一ip;若所述第二日志文件包含所述第一ip,将所述第一ip与所述第二ip进行关联,得到所述第一容器集群与所述其它容器集群之间的容器集合交互关联关系。4.根据权利要求1所述集群资源预测的处理方法,其特征在于,所述获取第一容器集群与其它容器集群之间的容器集合进行交互所对应的容器集合交互关联关系,包括:获取所述第一容器集群与所述其它容器集群之间的初始容器集合交互关联关系;将所述初始容器集合交互关联关系进行拆分,且将所述初始容器集合交互关联关系中存在交互关联的容器集合进行一对一的关联,得到单个容器集合交互关联关系;将所有所述单个容器集合交互关联关系作为容器集合交互关联关系。5.根据权利要求1所述集群资源预测的处理方法,其特征在于,所述根据所述交互关联容器集合标识与所述未交互关联容器集合标识及其各自所对应的关联状态移动概率矩阵,确定目标交互关联容器集合标识,包括:根据所述交互关联容器集合标识与所述未交互关联容器集合标识及其各自所对应的关联状态移动概率矩阵,基于马尔科夫链的预设容器集合交互关联预测模型,确定目标交互关联容器集合标识。6.根据权利要求1所述集群资源预测的处理方法,其特征在于,所述确定目标交互关联容器集合标识之后,还包括:将所有所述目标交互关联容器集合标识基于拓扑结构绘制成集群拓扑图。
7.根据权利要求1所述集群资源预测的处理方法,其特征在于,所述确定目标交互关联容器集合标识之后,还包括:暴露所述目标交互关联容器集合标识所对应的容器集合设备端口的访问权限。8.一种集群资源预测的处理装置,其特征在于,包括:第一获取单元,用于获取第一容器集群与其它容器集群之间的容器集合进行交互所对应的容器集合交互关联关系,其中,所述第一容器集群与所述其它容器集群分别包含各自的容器集合,所述容器集合交互关联关系包含交互的容器集合所对应的交互关联容器集合标识;第二获取单元,用于获取所述第一容器集群与所述其它容器集群之间配置了业务关联关系的容器集合所对应的容器集合业务配置关联关系;第三获取单元,用于根据所述容器集合交互关联关系与所述容器集合业务配置关联关系,确定所述第一容器集群与所述其它容器集群之间未进行交互但配置了业务关联关系的容器集合所对应的未交互关联容器集合标识;第四获取单元,用于根据所述交互关联容器集合标识与所述未交互关联容器集合标识及其各自所对应的关联状态移动概率矩阵,确定目标交互关联容器集合标识。9.一种计算机设备,其特征在于,所述计算机设备包括存储器以及与所述存储器相连的处理器;所述存储器用于存储计算机程序;所述处理器用于运行所述计算机程序,以执行如权利要求1-7任一项所述方法的步骤。10.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时可实现如权利要求1-7中任一项所述方法的步骤。

技术总结
本申请属于人工智能技术领域,提供了一种集群资源预测的处理方法、装置、计算机设备及计算机可读存储介质,为了解决对多个容器集群进行运维控制时效果较差的问题,通过获取第一容器集群与其它容器集群之间的容器集合交互关联关系,容器集合交互关联关系包含交互关联容器集合标识,及获取第一容器集群与其它容器集群之间所对应的容器集合业务配置关联关系,根据容器集合交互关联关系与容器集合业务配置关联关系,确定第一容器集群与其它容器集群之间未进行交互的未交互关联容器集合标识,根据交互关联容器集合标识与未交互关联容器集合标识及其各自所对应的关联状态移动概率矩阵,确定目标交互关联容器集合标识,能够提高自动化运维的有效性。自动化运维的有效性。自动化运维的有效性。


技术研发人员:芦文峰 郭倜颖 刘伟超
受保护的技术使用者:平安科技(深圳)有限公司
技术研发日:2023.04.04
技术公布日:2023/7/21
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐