基于聚类分析的集群资源管理方法、装置、设备及介质与流程

1.本发明属于集群资源管理技术领域，具体涉及一种基于聚类分析的集群资源管理方法、装置、设备及介质。


背景技术：

2.随着数据中心的需要越来越多，采用大量服务器和存储搭建的大规模集群被用来作为资源管理和调度的载体，因此对集群中各种资源的管理和调度提出了更高的要求。集群管理调度系统是数据中心进行资源管理的重要组件，合理的资源调度管理方法能提高集群资源利用率，实现自动化部署以及集群资源的高可用，节约用户的投资。
3.集群资源是集群管理调度系统进行管理的单元，常见的大规模集群中涉及的集群资源众多，例如普通卷资源、精简卷资源、主机资源、卷与主机映射资源、ip资源、硬件卡资源、文件系统资源、共享资源、以及各种应用资源等，而且随着时间的推移，大规模集群中涉及的资源数量还会不断增加，而各种各样的资源在管理和调度上可能差别比较大，目前大规模集群管理的调度缺乏有效的方式，例如用户创建一个卷就生成一个集群资源，多个用户如果创建1万个卷，集群中可能有1万个卷资源；用户创建一个nfs共享就生成一个nfs共享资源，多个用户如果创建多个共享，集群中可能会对应多个共享资源。
4.已有集群管理中存在使用传统聚类分析进行管理和调度方式，但需要提前确定聚类个数及数据维度，但针对大规模集群，资源数量不确定，每种资源的维度也千差万别，因此已有集群管理中传统聚类分析方式无法匹配大规模集群的场景，如何应对大规模集群的调度管理是目前业界的一大难题。
5.因此，针对上述缺陷，提供一种基于聚类分析的集群资源管理方法、装置、设备及介质，是非常有必要的。


技术实现要素：

6.针对上述大规模集群资源数量多，缺乏有效的管理调度方式，已有集群管理中传统聚类分析方式无法匹配大规模集群的场景的缺陷，本发明提供一种基于聚类分析的集群资源管理方法、装置、设备及介质，以解决上述技术问题。
7.第一方面，本发明提供一种基于聚类分析的集群资源管理方法，包括如下步骤：
8.s1.预先指定集群资源集合的总数及各资源集合的中心，根据集群中各资源到每个资源集合中心的距离进行资源的集合划分，直至各资源到所属资源集合中心的距离满足距离阈值，输出资源聚合分类集；
9.s2.对资源聚合分类集进行资源属性抽象，生成每个资源集合的属性集合，并对各属性集合按照维度进行属性补齐，得到资源属性集合；
10.s3.对资源属性集合进行统一模型整合，根据不同前端调度策略生成不同资源模型；
11.s4.搭建分布式存储系统，创建分布式卷，并将各资源模型存储在分布式卷上，实
现集群资源的分布式管理调度。
12.进一步地，步骤s1具体步骤如下：
13.s11.初始化资源集合的总数，并指定各资源集合的中心；
14.s12.将集群中各资源划分到距离最近的资源集合，并当存在某资源到各资源中心距离偏差大于阈值时，重新进行资源集合划分；
15.s13.将完成资源划分的资源聚合分类集进行输出。
16.进一步地，步骤s12具体步骤如下：
17.s121.计算集群中每个资源到各资源集合中心的距离；
18.s122.定位每个资源，将定位资源划分到与中心距离最近的资源集合；
19.s123.判断定位资源到各资源集合中心的距离偏差的方差值是否大于阈值；
20.若是，进入步骤s124；
21.若否，进入步骤s125；
22.s124.为定位资源建立一个新资源集合，并令定位资源作为新资源集合的中心，更新资源集合总数，进入步骤s126；
23.s125.保留现有资源集合划分，重新计算每个资源集合的中心；
24.s126.判断是否存在中心变化的资源集合；
25.若是，返回步骤s121；
26.若否，进入步骤s127；
27.s127.输出资源集合及每个资源集合中心，生成资源聚合分类集。
28.进一步地，步骤s121具体包括如下步骤：
29.s1211.获取资源及各资源集合中心的维度n及坐标；
30.s1212.根据n维的资源坐标与资源集合中心坐标使用欧式距离公式计算资源到各资源集合中心的距离。
31.进一步地，步骤s2具体步骤如下：
32.s21.对资源聚合分类集中每个资源集合按照属性集合进行枚举，完成属性抽象；
33.s22.比较各资源集合中属性数量，查找出属性数量最多的资源集合，设定为标准资源集合；
34.s23.按照标准资源集合对各资源集合自动补齐剩余属性，完成属性维度统一，生成资源属性集合。
35.进一步地，步骤s3具体步骤如下：
36.s31.获取前端调度策略，判断生成模型类型；
37.当生成模型类型为数据库表类型，进入步骤s32；
38.当生成模型类型为xml类型，进入步骤s33；
39.当生成模型类型为json类型，进入步骤s34；
40.当生成模型类型为csv类型，进入步骤s35；
41.s32.将资源属性集合中各资源集合按照数据库表字段形式进行统一模型整合，生成资源模型，进入步骤s4；
42.s33.将资源属性集合中各资源集合按照xml格式形式进行统一模型整合，生成资源模型，进入步骤s4；
43.s34.将资源属性集合中各资源集合按照json格式形式进行统一模型整合，生成资源模型，进入步骤s4；
44.s35.将资源属性集合中各资源集合按照csv字段形式进行统一模型整合，生成资源模型。
45.进一步地，步骤s4具体步骤如下：
46.s41.在集群的各节点安装并配置可扩展的分布式文件系统；
47.s42.在集群的各节点设置一个单独分区，并在单独分区创建分布式卷；
48.s43.启动分布式卷，创建目录，并将分布式卷挂载到创建的目录；
49.s44.将生成的资源模型以文件形式保存到创建的目录。
50.第二方面，本发明提供一种基于聚类分析的集群资源管理装置，包括:
51.资源分析模块，用于预先指定集群资源集合的总数及各资源集合的中心，根据集群中各资源到每个资源集合中心的距离进行资源的集合划分，直至各资源到所属资源集合中心的距离满足距离阈值，输出资源聚合分类集；
52.资源抽象模块，用于对资源聚合分类集进行资源属性抽象，生成每个资源集合的属性集合，并对各属性集合按照维度进行属性补齐，得到资源属性集合；
53.资源模型生成模块，用于对资源属性集合进行统一模型整合，根据不同前端调度策略生成不同资源模型；
54.资源存储模块，用于搭建分布式存储系统，创建分布式卷，并将各资源模型存储在分布式卷上，实现集群资源的分布式管理调度。
55.进一步地，资源分析模块包括：
56.资源集合数量及中心初始化单元，用于初始化资源集合的总数，并指定各资源集合的中心；
57.资源集合划分单元，用于将集群中各资源划分到距离最近的资源集合，并当存在某资源到各资源中心距离偏差大于阈值时，重新进行资源集合划分；
58.资源聚合分类输出单元，将完成资源划分的资源聚合分类集进行输出。
59.进一步地，资源集合划分单元包括：
60.资源到中心距离计算子单元，用于计算集群中每个资源到各资源集合中心的距离；
61.资源划分子单元，用于定位每个资源，将定位资源划分到与中心距离最近的资源集合；
62.资源距离偏差判断子单元，用于判断定位资源到各资源集合中心的距离偏差的方差值是否大于阈值；
63.新资源集合建立子单元，用于在定位资源到各资源集合中心的距离偏差的方差值大于阈值时，为定位资源建立一个新资源集合，并令定位资源作为新资源集合的中心，更新资源集合总数；
64.资源划分后中心重计算子单元，用于在定位资源到各资源集合中心的距离偏差的方差值小于等于阈值时，保留现有资源集合划分，重新计算每个资源集合的中心；
65.资源集合中心变化判断子单元，用于判断是否存在中心变化的资源集合；
66.资源聚合分类输出子单元，用于不存在中心变化的资源集合时，输出资源集合及
每个资源集合中心，生成资源聚合分类集。
67.进一步地，资源抽象模块包括：
68.属性抽象单元，用于对资源聚合分类集中每个资源集合按照属性集合进行枚举，完成属性抽象；
69.标准资源集合设定单元，用于比较各资源集合中属性数量，查找出属性数量最多的资源集合，设定为标准资源集合；
70.属性补齐单元，用于按照标准资源集合对各资源集合自动补齐剩余属性，完成属性维度统一，生成资源属性集合。
71.进一步地，资源模型生成模块包括：
72.模型类型生成单元，用于获取前端调度策略，判断生成模型类型；
73.数据库表模型统一单元，用于当生成模型类型为数据库表类型，将资源属性集合中各资源集合按照数据库表字段形式进行统一模型整合，生成资源模型；
74.xml格式模型统一单元，用于当生成模型类型为xml类型，将资源属性集合中各资源集合按照xml格式形式进行统一模型整合，生成资源模型；
75.json格式模型统一单元，用于当生成模型类型为json类型，将资源属性集合中各资源集合按照json格式形式进行统一模型整合，生成资源模型；
76.csv格式模型统一单元，用于当生成模型类型为csv类型，将资源属性集合中各资源集合按照csv字段形式进行统一模型整合，生成资源模型。
77.进一步地，资源存储模块包括：
78.分布式文件系统配置单元，用于在集群的各节点安装并配置可扩展的分布式文件系统；
79.分布式卷创建单元，用于在集群的各节点设置一个单独分区，并在单独分区创建分布式卷；
80.分布式卷挂载单元，用于启动分布式卷，创建目录，并将分布式卷挂载到创建的目录；
81.资源模型分布式保存单元，用于将生成的资源模型以文件形式保存到创建的目录。
82.第三方面，本发明提供一种设备，包括处理器和存储器；
83.其中，该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得设备执行上述第一方面所述的方法。
84.第四方面，本发明提供了一种存储介质，
85.所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。
86.本发明的有益效果在于：
87.本发明提供的基于聚类分析的集群资源管理方法、装置、设备及介质，对大规模集群中的资源自动进行资源聚合形成资源集合，并根据不同资源集合进行模型抽象适配不同调度接口，极大的简化了资源管理流程，降低了集群的复杂度，减少多个资源管理调度对集群正常io业务的影响，并保证的资源高可用性。
88.此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
89.由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。
附图说明
90.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
91.图1是本发明的基于聚类分析的集群资源管理方法实施例1流程示意图。
92.图2是本发明的基于聚类分析的集群资源管理方法实施例2流程示意图。
93.图3是本发明的基于聚类分析的集群资源管理方法中资源集合划分流程示意图。
94.图4是本发明的基于聚类分析的集群资源管理装置示意图。
具体实施方式
95.为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
96.xml，是extensible markup language的简称，可扩展标记语言。
97.json，是javascript object notation的简称，js对象简谱，是一种轻量级的数据交换格式。
98.csv，是comma-separated values的简称，逗号分隔值文件格式。
99.实施例1：
100.如图1所示，本发明提供一种基于聚类分析的集群资源管理方法，包括如下步骤：
101.s1.预先指定集群资源集合的总数及各资源集合的中心，根据集群中各资源到每个资源集合中心的距离进行资源的集合划分，直至各资源到所属资源集合中心的距离满足距离阈值，输出资源聚合分类集；
102.s2.对资源聚合分类集进行资源属性抽象，生成每个资源集合的属性集合，并对各属性集合按照维度进行属性补齐，得到资源属性集合；
103.s3.对资源属性集合进行统一模型整合，根据不同前端调度策略生成不同资源模型；
104.s4.搭建分布式存储系统，创建分布式卷，并将各资源模型存储在分布式卷上，实现集群资源的分布式管理调度。
105.实施例2：
106.如图2所示，本发明提供一种基于聚类分析的集群资源管理方法，包括如下步骤：
107.s1.预先指定集群资源集合的总数及各资源集合的中心，根据集群中各资源到每个资源集合中心的距离进行资源的集合划分，直至各资源到所属资源集合中心的距离满足距离阈值，输出资源聚合分类集；步骤s1具体步骤如下：
108.s11.初始化资源集合的总数，并指定各资源集合的中心；
109.s12.将集群中各资源划分到距离最近的资源集合，并当存在某资源到各资源中心距离偏差大于阈值时，重新进行资源集合划分；
110.s13.将完成资源划分的资源聚合分类集进行输出；
111.s2.对资源聚合分类集进行资源属性抽象，生成每个资源集合的属性集合，并对各属性集合按照维度进行属性补齐，得到资源属性集合；步骤s2具体步骤如下：
112.s21.对资源聚合分类集中每个资源集合按照属性集合进行枚举，完成属性抽象；
113.s22.比较各资源集合中属性数量，查找出属性数量最多的资源集合，设定为标准资源集合；
114.s23.按照标准资源集合对各资源集合自动补齐剩余属性，完成属性维度统一，生成资源属性集合；
115.s3.对资源属性集合进行统一模型整合，根据不同前端调度策略生成不同资源模型；步骤s3具体步骤如下：
116.s31.获取前端调度策略，判断生成模型类型；
117.当生成模型类型为数据库表类型，进入步骤s32；
118.当生成模型类型为xml类型，进入步骤s33；
119.当生成模型类型为json类型，进入步骤s34；
120.当生成模型类型为csv类型，进入步骤s35；
121.s32.将资源属性集合中各资源集合按照数据库表字段形式进行统一模型整合，生成资源模型，进入步骤s4；
122.s33.将资源属性集合中各资源集合按照xml格式形式进行统一模型整合，生成资源模型，进入步骤s4；
123.s34.将资源属性集合中各资源集合按照json格式形式进行统一模型整合，生成资源模型，进入步骤s4；
124.s35.将资源属性集合中各资源集合按照csv字段形式进行统一模型整合，生成资源模型；
125.s4.搭建分布式存储系统，创建分布式卷，并将各资源模型存储在分布式卷上，实现集群资源的分布式管理调度；步骤s4具体步骤如下：
126.s41.在集群的各节点安装并配置可扩展的分布式文件系统；
127.s42.在集群的各节点设置一个单独分区，并在单独分区创建分布式卷；
128.s43.启动分布式卷，创建目录，并将分布式卷挂载到创建的目录；
129.s44.将生成的资源模型以文件形式保存到创建的目录。
130.实施例3：
131.如图2所示，本发明提供一种基于聚类分析的集群资源管理方法，包括如下步骤：
132.s1.预先指定集群资源集合的总数及各资源集合的中心，根据集群中各资源到每个资源集合中心的距离进行资源的集合划分，直至各资源到所属资源集合中心的距离满足距离阈值，输出资源聚合分类集；步骤s1具体步骤如下：
133.s11.初始化资源集合的总数，并指定各资源集合的中心；
134.s12.将集群中各资源划分到距离最近的资源集合，并当存在某资源到各资源中心距离偏差大于阈值时，重新进行资源集合划分；如图3所示，步骤s12具体步骤如下：
135.s121.计算集群中每个资源到各资源集合中心的距离；步骤s121具体包括如下步骤：
136.s1211.获取资源及各资源集合中心的维度n及坐标；
137.s1212.根据n维的资源坐标与资源集合中心坐标使用欧式距离公式计算资源到各资源集合中心的距离；
138.s122.定位每个资源，将定位资源划分到与中心距离最近的资源集合；
139.s123.判断定位资源到各资源集合中心的距离偏差的方差值是否大于阈值；
140.若是，进入步骤s124；
141.若否，进入步骤s125；
142.s124.为定位资源建立一个新资源集合，并令定位资源作为新资源集合的中心，更新资源集合总数，进入步骤s126；
143.s125.保留现有资源集合划分，重新计算每个资源集合的中心；
144.s126.判断是否存在中心变化的资源集合；
145.若是，返回步骤s121；
146.若否，进入步骤s127；
147.s127.输出资源集合及每个资源集合中心，生成资源聚合分类集；
148.例如假设目前集群中m个资源，对m个资源进行聚类的步骤具体如下：
149.先指定聚类的个数，即集群中资源集合总数k，并指定k个资源集的中心c1，c2
…
ck；
150.计算每个集群资源si点到k个中心的距离，并将该点归入最近的cj类中，其中，i∈(1，m)，j∈(1，k)；计算每个资源到中心距离，采用欧式距离；在欧几里德空间中，点x＝(x1，
…
，xm)和y＝(y1，
…
，ym)之间的欧氏距离为：
[0151][0152]
某些资源到k个集合的距离方差值》0.25，则更新集合总数k＝k+1，否则重新计算k个资源集合中心点，更新原有中心点位置c1，c2
…
ck；
[0153]
重复步骤计算聚类集合中心点及资源划分步骤，直到中心点位置不再变化或者变化幅度小于约定阈值，或者达到预定义的最大循环次数，停止计算和划分步骤；
[0154]
最终得到资源聚合分类结果；
[0155]
s13.将完成资源划分的资源聚合分类集进行输出；
[0156]
s2.对资源聚合分类集进行资源属性抽象，生成每个资源集合的属性集合，并对各属性集合按照维度进行属性补齐，得到资源属性集合；步骤s2具体步骤如下：
[0157]
s21.对资源聚合分类集中每个资源集合按照属性集合进行枚举，完成属性抽象；
[0158]
s22.比较各资源集合中属性数量，查找出属性数量最多的资源集合，设定为标准资源集合；
[0159]
s23.按照标准资源集合对各资源集合自动补齐剩余属性，完成属性维度统一，生成资源属性集合；
[0160]
s3.对资源属性集合进行统一模型整合，根据不同前端调度策略生成不同资源模型；步骤s3具体步骤如下：
[0161]
s31.获取前端调度策略，判断生成模型类型；
[0162]
当生成模型类型为数据库表类型，进入步骤s32；
[0163]
当生成模型类型为xml类型，进入步骤s33；
[0164]
当生成模型类型为json类型，进入步骤s34；
[0165]
当生成模型类型为csv类型，进入步骤s35；
[0166]
s32.将资源属性集合中各资源集合按照数据库表字段形式进行统一模型整合，生成资源模型，进入步骤s4；
[0167]
s33.将资源属性集合中各资源集合按照xml格式形式进行统一模型整合，生成资源模型，进入步骤s4；
[0168]
s34.将资源属性集合中各资源集合按照json格式形式进行统一模型整合，生成资源模型，进入步骤s4；
[0169]
s35.将资源属性集合中各资源集合按照csv字段形式进行统一模型整合，生成资源模型；
[0170]
s4.搭建分布式存储系统，创建分布式卷，并将各资源模型存储在分布式卷上，实现集群资源的分布式管理调度；步骤s4具体步骤如下：
[0171]
s41.在集群的各节点安装并配置可扩展的分布式文件系统；例如搭建使用glusterfs，但不局限于此文件系统；
[0172]
s42.在集群的各节点设置一个单独分区，并在单独分区创建分布式卷；：
[0173]
建立分布式卷dis-vol具体可通过如下代码实现：
[0174]
gluster volume create dis-vol vm1:/opt/gfs/vdb/dis vm2:/opt/gfs/vdb/dis vm3:/opt/gfs/vdb/dis vmx:/opt/gfs/vdb/dis；
[0175]
s43.启动分布式卷，创建目录，并将分布式卷挂载到创建的目录；
[0176]
启动分布式卷dis-vol通过如下代码实现：gluster volume start dis-vol；
[0177]
挂载分布式卷通过如下代码实现：mount
–
t glusterfs vmx:/dis-vol/gfs-dis；
[0178]
s44.将生成的资源模型以文件形式保存到创建的目录gfs-dis。
[0179]
实施例4：
[0180]
如图4所示，本发明提供一种基于聚类分析的集群资源管理装置，包括:
[0181]
资源分析模块，用于预先指定集群资源集合的总数及各资源集合的中心，根据集群中各资源到每个资源集合中心的距离进行资源的集合划分，直至各资源到所属资源集合中心的距离满足距离阈值，输出资源聚合分类集；
[0182]
资源抽象模块，用于对资源聚合分类集进行资源属性抽象，生成每个资源集合的属性集合，并对各属性集合按照维度进行属性补齐，得到资源属性集合；
[0183]
资源模型生成模块，用于对资源属性集合进行统一模型整合，根据不同前端调度策略生成不同资源模型；
[0184]
资源存储模块，用于搭建分布式存储系统，创建分布式卷，并将各资源模型存储在分布式卷上，实现集群资源的分布式管理调度。
[0185]
实施例5：
[0186]
如图4所示，本发明提供一种基于聚类分析的集群资源管理装置，包括:
[0187]
资源分析模块，用于预先指定集群资源集合的总数及各资源集合的中心，根据集
群中各资源到每个资源集合中心的距离进行资源的集合划分，直至各资源到所属资源集合中心的距离满足距离阈值，输出资源聚合分类集；资源分析模块包括：
[0188]
资源集合数量及中心初始化单元，用于初始化资源集合的总数，并指定各资源集合的中心；
[0189]
资源集合划分单元，用于将集群中各资源划分到距离最近的资源集合，并当存在某资源到各资源中心距离偏差大于阈值时，重新进行资源集合划分；
[0190]
资源聚合分类输出单元，将完成资源划分的资源聚合分类集进行输出；
[0191]
资源抽象模块，用于对资源聚合分类集进行资源属性抽象，生成每个资源集合的属性集合，并对各属性集合按照维度进行属性补齐，得到资源属性集合；资源抽象模块包括：
[0192]
属性抽象单元，用于对资源聚合分类集中每个资源集合按照属性集合进行枚举，完成属性抽象；
[0193]
标准资源集合设定单元，用于比较各资源集合中属性数量，查找出属性数量最多的资源集合，设定为标准资源集合；
[0194]
属性补齐单元，用于按照标准资源集合对各资源集合自动补齐剩余属性，完成属性维度统一，生成资源属性集合；
[0195]
资源模型生成模块，用于对资源属性集合进行统一模型整合，根据不同前端调度策略生成不同资源模型；资源模型生成模块包括：
[0196]
模型类型生成单元，用于获取前端调度策略，判断生成模型类型；
[0197]
数据库表模型统一单元，用于当生成模型类型为数据库表类型，将资源属性集合中各资源集合按照数据库表字段形式进行统一模型整合，生成资源模型；
[0198]
xml格式模型统一单元，用于当生成模型类型为xml类型，将资源属性集合中各资源集合按照xml格式形式进行统一模型整合，生成资源模型；
[0199]
json格式模型统一单元，用于当生成模型类型为json类型，将资源属性集合中各资源集合按照json格式形式进行统一模型整合，生成资源模型；
[0200]
csv格式模型统一单元，用于当生成模型类型为csv类型，将资源属性集合中各资源集合按照csv字段形式进行统一模型整合，生成资源模型；
[0201]
资源存储模块，用于搭建分布式存储系统，创建分布式卷，并将各资源模型存储在分布式卷上，实现集群资源的分布式管理调度；资源存储模块包括：
[0202]
分布式文件系统配置单元，用于在集群的各节点安装并配置可扩展的分布式文件系统；
[0203]
分布式卷创建单元，用于在集群的各节点设置一个单独分区，并在单独分区创建分布式卷；
[0204]
分布式卷挂载单元，用于启动分布式卷，创建目录，并将分布式卷挂载到创建的目录；
[0205]
资源模型分布式保存单元，用于将生成的资源模型以文件形式保存到创建的目录。
[0206]
实施例6：
[0207]
如图4所示，本发明提供一种基于聚类分析的集群资源管理装置，包括:
[0208]
资源分析模块，用于预先指定集群资源集合的总数及各资源集合的中心，根据集群中各资源到每个资源集合中心的距离进行资源的集合划分，直至各资源到所属资源集合中心的距离满足距离阈值，输出资源聚合分类集；资源分析模块包括：
[0209]
资源集合数量及中心初始化单元，用于初始化资源集合的总数，并指定各资源集合的中心；
[0210]
资源集合划分单元，用于将集群中各资源划分到距离最近的资源集合，并当存在某资源到各资源中心距离偏差大于阈值时，重新进行资源集合划分；资源集合划分单元包括：
[0211]
资源到中心距离计算子单元，用于计算集群中每个资源到各资源集合中心的距离；
[0212]
资源划分子单元，用于定位每个资源，将定位资源划分到与中心距离最近的资源集合；
[0213]
资源距离偏差判断子单元，用于判断定位资源到各资源集合中心的距离偏差的方差值是否大于阈值；
[0214]
新资源集合建立子单元，用于在定位资源到各资源集合中心的距离偏差的方差值大于阈值时，为定位资源建立一个新资源集合，并令定位资源作为新资源集合的中心，更新资源集合总数；
[0215]
资源划分后中心重计算子单元，用于在定位资源到各资源集合中心的距离偏差的方差值小于等于阈值时，保留现有资源集合划分，重新计算每个资源集合的中心；
[0216]
资源集合中心变化判断子单元，用于判断是否存在中心变化的资源集合；
[0217]
资源聚合分类输出子单元，用于不存在中心变化的资源集合时，输出资源集合及每个资源集合中心，生成资源聚合分类集；
[0218]
资源聚合分类输出单元，将完成资源划分的资源聚合分类集进行输出；
[0219]
资源抽象模块，用于对资源聚合分类集进行资源属性抽象，生成每个资源集合的属性集合，并对各属性集合按照维度进行属性补齐，得到资源属性集合；资源抽象模块包括：
[0220]
属性抽象单元，用于对资源聚合分类集中每个资源集合按照属性集合进行枚举，完成属性抽象；
[0221]
标准资源集合设定单元，用于比较各资源集合中属性数量，查找出属性数量最多的资源集合，设定为标准资源集合；
[0222]
属性补齐单元，用于按照标准资源集合对各资源集合自动补齐剩余属性，完成属性维度统一，生成资源属性集合；
[0223]
资源模型生成模块，用于对资源属性集合进行统一模型整合，根据不同前端调度策略生成不同资源模型；资源模型生成模块包括：
[0224]
模型类型生成单元，用于获取前端调度策略，判断生成模型类型；
[0225]
数据库表模型统一单元，用于当生成模型类型为数据库表类型，将资源属性集合中各资源集合按照数据库表字段形式进行统一模型整合，生成资源模型；
[0226]
xml格式模型统一单元，用于当生成模型类型为xml类型，将资源属性集合中各资源集合按照xml格式形式进行统一模型整合，生成资源模型；
[0227]
json格式模型统一单元，用于当生成模型类型为json类型，将资源属性集合中各资源集合按照json格式形式进行统一模型整合，生成资源模型；
[0228]
csv格式模型统一单元，用于当生成模型类型为csv类型，将资源属性集合中各资源集合按照csv字段形式进行统一模型整合，生成资源模型；
[0229]
资源存储模块，用于搭建分布式存储系统，创建分布式卷，并将各资源模型存储在分布式卷上，实现集群资源的分布式管理调度；资源存储模块包括：
[0230]
分布式文件系统配置单元，用于在集群的各节点安装并配置可扩展的分布式文件系统；
[0231]
分布式卷创建单元，用于在集群的各节点设置一个单独分区，并在单独分区创建分布式卷；
[0232]
分布式卷挂载单元，用于启动分布式卷，创建目录，并将分布式卷挂载到创建的目录；
[0233]
资源模型分布式保存单元，用于将生成的资源模型以文件形式保存到创建的目录。
[0234]
实施例7：
[0235]
本发明提供一种设备，包括处理器和存储器；
[0236]
其中，该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得设备执行实施例1、实施例2或实施例3所述的方法。
[0237]
实施例8：
[0238]
本发明提供一种存储介质，
[0239]
所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例1、实施例2或实施例3所述的方法。
[0240]
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种基于聚类分析的集群资源管理方法，其特征在于，包括如下步骤：s1.预先指定集群资源集合的总数及各资源集合的中心，根据集群中各资源到每个资源集合中心的距离进行资源的集合划分，直至各资源到所属资源集合中心的距离满足距离阈值，输出资源聚合分类集；s2.对资源聚合分类集进行资源属性抽象，生成每个资源集合的属性集合，并对各属性集合按照维度进行属性补齐，得到资源属性集合；s3.对资源属性集合进行统一模型整合，根据不同前端调度策略生成不同资源模型；s4.搭建分布式存储系统，创建分布式卷，并将各资源模型存储在分布式卷上，实现集群资源的分布式管理调度。2.如权利要求1所述的基于聚类分析的集群资源管理方法，其特征在于，步骤s1具体步骤如下：s11.初始化资源集合的总数，并指定各资源集合的中心；s12.将集群中各资源划分到距离最近的资源集合，并当存在某资源到各资源中心距离偏差大于阈值时，重新进行资源集合划分；s13.将完成资源划分的资源聚合分类集进行输出。3.如权利要求2所述的基于聚类分析的集群资源管理方法，其特征在于，步骤s12具体步骤如下：s121.计算集群中每个资源到各资源集合中心的距离；s122.定位每个资源，将定位资源划分到与中心距离最近的资源集合；s123.判断定位资源到各资源集合中心的距离偏差的方差值是否大于阈值；若是，进入步骤s124；若否，进入步骤s125；s124.为定位资源建立一个新资源集合，并令定位资源作为新资源集合的中心，更新资源集合总数，进入步骤s126；s125.保留现有资源集合划分，重新计算每个资源集合的中心；s126.判断是否存在中心变化的资源集合；若是，返回步骤s121；若否，进入步骤s127；s127.输出资源集合及每个资源集合中心，生成资源聚合分类集。4.如权利要求3所述的基于聚类分析的集群资源管理方法，其特征在于，步骤s121具体包括如下步骤：s1211.获取资源及各资源集合中心的维度n及坐标；s1212.根据n维的资源坐标与资源集合中心坐标使用欧式距离公式计算资源到各资源集合中心的距离。5.如权利要求1所述的基于聚类分析的集群资源管理方法，其特征在于，步骤s2具体步骤如下：s21.对资源聚合分类集中每个资源集合按照属性集合进行枚举，完成属性抽象；s22.比较各资源集合中属性数量，查找出属性数量最多的资源集合，设定为标准资源集合；
s23.按照标准资源集合对各资源集合自动补齐剩余属性，完成属性维度统一，生成资源属性集合。6.如权利要求1所述的基于聚类分析的集群资源管理方法，其特征在于，步骤s3具体步骤如下：s31.获取前端调度策略，判断生成模型类型；当生成模型类型为数据库表类型，进入步骤s32；当生成模型类型为可扩展标记语言类型，进入步骤s33；当生成模型类型为轻量级数据交换类型，进入步骤s34；当生成模型类型为逗号分隔值文件格式类型，进入步骤s35；s32.将资源属性集合中各资源集合按照数据库表字段形式进行统一模型整合，生成资源模型，进入步骤s4；s33.将资源属性集合中各资源集合按照可扩展标记语言格式形式进行统一模型整合，生成资源模型，进入步骤s4；s34.将资源属性集合中各资源集合按照轻量级数据交换格式形式进行统一模型整合，生成资源模型，进入步骤s4；s35.将资源属性集合中各资源集合按照逗号分隔值文件格式字段形式进行统一模型整合，生成资源模型。7.如权利要求1所述的基于聚类分析的集群资源管理方法，其特征在于，步骤s4具体步骤如下：s41.在集群的各节点安装并配置可扩展的分布式文件系统；s42.在集群的各节点设置一个单独分区，并在单独分区创建分布式卷；s43.启动分布式卷，创建目录，并将分布式卷挂载到创建的目录；s44.将生成的资源模型以文件形式保存到创建的目录。8.一种基于聚类分析的集群资源管理装置，其特征在于，包括:资源分析模块，用于预先指定集群资源集合的总数及各资源集合的中心，根据集群中各资源到每个资源集合中心的距离进行资源的集合划分，直至各资源到所属资源集合中心的距离满足距离阈值，输出资源聚合分类集；资源抽象模块，用于对资源聚合分类集进行资源属性抽象，生成每个资源集合的属性集合，并对各属性集合按照维度进行属性补齐，得到资源属性集合；资源模型生成模块，用于对资源属性集合进行统一模型整合，根据不同前端调度策略生成不同资源模型；资源存储模块，用于搭建分布式存储系统，创建分布式卷，并将各资源模型存储在分布式卷上，实现集群资源的分布式管理调度。9.一种设备，其特征在于，包括处理器和存储器；其中，该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得设备执行上述权利要求1-7任一项所述的方法。10.一种存储介质，其特征在于，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述权利要求1-7任一项所述的方法。

技术总结
本发明提供一种基于聚类分析的集群资源管理方法、装置、设备及介质，属于集群资源管理技术领域，所述方法步骤如下：预先指定资源集合的总数及中心，根据到各资源集合中心的距离进行资源集合划分，直至到所属资源集合中心的距离满足距离阈值，输出资源聚合分类集；对资源聚合分类集进行资源属性抽象，生成每个资源集合的属性集合，并对各属性集合按照维度进行补齐，得到资源属性集合；对资源属性集合进行统一模型整合，根据不同前端调度策略生成不同资源模型；搭建分布式存储系统，创建分布式卷，并将各资源模型存储在分布式卷上。本发明实现大规模集群中资源自动聚合，根据不同资源集合进行模型抽象适配不同调度接口。进行模型抽象适配不同调度接口。进行模型抽象适配不同调度接口。


技术研发人员：孟祥坤
受保护的技术使用者：苏州浪潮智能科技有限公司
技术研发日：2023.07.07
技术公布日：2023/10/15