一种集群实例调整方法、装置以及相关设备与流程
未命名
08-14
阅读:73
评论:0
1.本技术涉及计算机技术领域,特别是涉及一种集群实例调整方法、装置以及相关设备。
背景技术:
2.网络功能虚拟化(network functions virtualization,nfv)是通过使用通用的硬件设备以及虚拟化技术来承载传统网络中专用设备的功能的技术。利用nfv技术能够减少专用设备的硬件限制,降低硬件成本。基于nfv技术构建的集群包括一个或者多个虚拟化实例。虚拟化实例是指将实体资源经过虚拟化后形成的独立的、可执行计算存储或网络通讯功能的虚拟个体。虚拟化实例可简称为实例。实例具体可以表现为虚拟机、容器或其它形式。
3.集群包括的实例的数量能够基于弹性伸缩(auto scaling,as),也就是自动化地动态增加或减少实例数量的方法进行动态调整。但是弹性伸缩的速度较慢。在容灾场景中,集群可能需要承担发生故障的集群的业务量。这就导致集群承担的业务量有可能在较短的时间大量增加。如果在业务量突发的情况下再开始增加实例数量,会导致集群短时间内无法承担突发的业务量。为了应对容灾场景下的突发业务量,通常在集群中多配置一定数量的实例。但是,目前配置的实例的数量与容灾场景下处理业务的需求不匹配。可能会出现配置的实例数量较少,无法快速承担容灾场景下突发增加业务量的问题,或者出现配置的实例数量较多,浪费资源的问题。
技术实现要素:
4.有鉴于此,本技术提供了一种集群实例调整方法,应用于控制系统。控制系统能够基于第一区域的目标集群在容灾场景下需要承载的业务量确定为第一区域的目标集群分配实例的目标数量,目标数量与容灾场景下处理业务的需求较为匹配。本技术还提供了对应的装置、计算设备集群、计算机可读存储介质以及计算机程序产品。
5.第一方面,本技术提供了一种集群实例调整方法。该方法应用于控制系统。控制系统与目标集群连接,目标集群分布在多个区域。控制系统获取各个区域的目标集群的当前业务量,并根据各个区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量。第一区域为多个区域中的一个区域。目标业务量为第一区域的目标集群需要承载的业务量。控制系统利用目标业务量和第一区域的目标集群的实例承载业务量能够计算得到第一区域的目标集群的实例的目标数量,如果目标数量大于第一区域的目标集群的实例数量,根据目标数量为第一区域的目标集群分配实例。控制系统能够基于第一区域的目标集群在容灾场景下需要承载的业务量,也就是目标业务量,确定为第一区域的目标集群分配实例的目标数量。目标数量与容灾场景下处理业务的需求较为匹配。基于目标数量分配的第一区域的目标集群的实例能够满足容灾场景下处理业务的需求。本技术还提供了对应的装置、计算设备集群、计算机可读存储介质以及计算机程序产品。
6.在一种可能的实施方式中,根据第一区域的目标集群的当前业务量以及第二区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量,其中,第二区域为所述多个区域中除第一区域以外的区域。根据第二区域的目标集群的当前业务量,能够确定第二区域发生故障时,第一区域的目标集群需要承载的业务量。利用第一区域的目标集群的当前业务量,以及第二区域的目标集群的当前业务量,能够较为准确地确定第一区域的目标集群需要承载的业务量,进而能够确定与容灾场景下处理业务的需求较为匹配的实例的目标数量。
7.在一种可能的实施方式中,第二区域的数量为多个。将第一区域的目标集群的当前业务量与第一业务量的和确定为所述第一区域的目标集群的目标业务量。其中,第一业务量为各个第二区域的目标集群的当前业务量的最大值。如此能够实现基于目标数量调整实例后的第一区域的目标集群,在单独的第二区域出现故障时,能够承载出现故障的第二区域的目标集群的业务量。
8.在一种可能的实施方式中,第二区域的数量为多个。将第一区域的目标集群的当前业务量与第二业务量的和确定为所述第一区域的目标集群的目标业务量。第二业务量为各个第二区域的目标集群的当前业务量的最大值与承载参数的乘积。承载参数为所述第一区域的目标集群承载第二区域的目标集群的业务量的比例。利用承载参数确定的第二业务量,能够实现在正常运行的区域分担故障区域的集群的业务量的场景下,较为准确地确定第一区域的目标集群需要承担的业务量,进而能够确定与容灾场景下处理业务的需求较为匹配的实例的目标数量。
9.在一种可能的实施方式中,实例承载业务量为扩容承载业务量。扩容承载业务量为触发第一区域的目标集群实例扩容的实例的最小可承载业务量。利用扩容承载业务量确定的目标数量,能够保证在出现故障的情况下,第一区域的目标集群能够较为稳定地处理业务,提高容灾场景下处理业务的稳定性。
10.在一种可能的实施方式中,控制系统在确定目标数量大于第一区域的目标集群的实例数量后,为第一区域的目标集群分配新增实例。新增实例的数量为目标数量与实例数量的差值。如此,第一区域的目标集群较为稳定地承载本区域以及故障区域的业务量。
11.在一种可能的实施方式中,实例承载业务量为最大承载业务量。最大承载业务量为所述第一区域的目标集群的实例最大的可承载业务量。利用最大承载业务量确定的目标数量较小。如此能够节约资源,降低成本。
12.在一种可能的实施方式中,控制系统在确定目标数量大于第一区域的目标集群的实例数量后,为第一区域分配待配置实例。待配置实例的数量为目标数量与实例数量的差值。待配置实例用于所述第一区域的目标集群实例扩容。如此能够在第一区域的目标集群在容灾场景中需要扩容时,利用待配置实例实现快速扩容,降低资源成本,减少资源浪费。
13.第二方面,本技术提供了一种集群实例调整装置,所述装置应用于控制系统,所述控制系统与目标集群连接,所述目标集群分布在多个区域,所述装置包括:
14.获取模块,用于获取各个区域的目标集群的当前业务量;
15.确定模块,用于根据所述各个区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量,所述第一区域为所述多个区域中的一个区域,所述目标业务量为所述第一区域的目标集群需要承载的业务量;
16.计算模块,用于利用所述目标业务量和所述第一区域的目标集群的实例承载业务量计算得到目标数量;
17.分配模块,用于若所述目标数量大于所述第一区域的目标集群的实例数量,根据所述目标数量为所述第一区域的目标集群分配实例。
18.在一种可能的实施方式中,所述确定模块,具体用于根据第一区域的目标集群的当前业务量以及第二区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量,所述第二区域为所述多个区域中除所述第一区域以外的区域。
19.在一种可能的实施方式中,所述第二区域的数量为多个,所述确定模块,用于根据第一区域的目标集群的当前业务量以及第二区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量,包括:
20.所述确定模块,具体用于将第一区域的目标集群的当前业务量与第一业务量的和确定为所述第一区域的目标集群的目标业务量,所述第一业务量为各个第二区域的目标集群的当前业务量的最大值。
21.在一种可能的实施方式中,所述第二区域的数量为多个,所述确定模块,用于根据第一区域的目标集群的当前业务量以及第二区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量,包括:
22.所述确定模块,具体用于将第一区域的目标集群的当前业务量与第二业务量的和确定为所述第一区域的目标集群的目标业务量,所述第二业务量为各个第二区域的目标集群的当前业务量的最大值与承载参数的乘积,所述承载参数为所述第一区域的目标集群承载第二区域的目标集群的业务量的比例。
23.在一种可能的实施方式中,所述实例承载业务量为扩容承载业务量,所述扩容承载业务量为触发所述第一区域的目标集群实例扩容的实例的最小可承载业务量。
24.在一种可能的实施方式中,所述分配模块,用于根据所述目标数量为所述第一区域的目标集群分配实例,包括:
25.所述分配模块,具体用于为所述第一区域的目标集群分配新增实例,所述新增实例的数量为所述目标数量与所述实例数量的差值。
26.在一种可能的实施方式中,所述实例承载业务量为最大承载业务量,所述最大承载业务量为所述第一区域的目标集群的实例最大的可承载业务量。
27.在一种可能的实施方式中,所述分配模块,用于根据所述目标数量为所述第一区域的目标集群分配实例,包括:
28.所述分配模块,具体用于为所述第一区域分配待配置实例,所述待配置实例的数量为所述目标数量与所述实例数量的差值,所述待配置实例用于所述第一区域的目标集群实例扩容。
29.值得注意的是,第二方面提供的集群实例调整装置,对应于第一方面提供的集群实例调整方法,故第二方面以及第二方面中任一实施方式所具有的技术效果,可参见第一方面或者第一方面的相应实施方式所具有的技术效果。
30.第三方面,本技术提供一种计算设备集群,所述计算设备包括至少一个计算设备,所述至少一个计算设备包括至少一个处理器和至少一个存储器;所述至少一个存储器用于存储指令,所述至少一个处理器执行所述至少一个存储器存储的该指令,以使所述计算设
备集群执行上述第二方面或第二方面任一种可能实施方式中的集群实例调整方法。需要说明的是,该存储器可以集成于处理器中,也可以是独立于处理器之外。所述至少一个计算设备还可以包括总线。其中,处理器通过总线连接存储器。其中,存储器可以包括可读存储器以及随机存取存储器。
31.第四方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在至少一个计算设备上运行时,使得所述至少一个计算设备执行上述第一方面或第一方面的任一种实施方式所述的方法。
32.第五方面,本技术提供了一种包含指令的计算机程序产品,当其在至少一个计算设备上运行时,使得所述至少一个计算设备执行上述第一方面或第一方面的任一种实施方式所述的方法。
33.本技术在上述各方面提供的实施方式的基础上,还可以进行进一步组合以提供更多实施方式。
附图说明
34.图1为本技术实施例提供的一种网络系统的结构示意图;
35.图2为本技术实施例提供的一种集群实例调整方法的流程示意图;
36.图3为本技术实施例提供的一种发生故障时上游系统分配业务量的示意图;
37.图4为本技术实施例提供的一种集群实例调整过程的示意图;
38.图5为本技术实施例提供的另一种发生故障时上游系统分配业务量的示意图;
39.图6为本技术实施例提供的另一种集群实例调整过程的示意图;
40.图7为本技术实施例提供的一种集群实例调整装置的结构示意图;
41.图8为本技术实施例提供的一种计算设备的结构示意图;
42.图9为本技术实施例提供的一种计算设备集群的结构示意图。
具体实施方式
43.下面将结合本技术中的附图,对本技术提供的实施例中的方案进行描述。
44.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本技术的实施例中对相同属性的对象在描述时所采用的区分方式。
45.参见图1所示,该图为本技术实施例提供的一种网络系统的结构示意图。该网络系统包括上游系统,区域1包括的集群1和集群2,区域2包括的集群1、集群2和集群3,区域3包括的集群1和集群3,以及控制系统。
46.其中,上游系统为业务入口。上游系统能够基于负载均衡器将业务量分配至不同的提供服务的集群。上游系统对应的设备可以是虚拟机、容器、智能网卡、白盒交换机或其他可编程设备等。
47.集群是基于业务编组规则进行划分的,由多个实例组成的分组。其中,业务编组规则例如为通信协议、软件业务类型、客户类型或其他编组规则。实例是基于业务需要承载业务的实体。
48.区域是云上资源按照地理划分的不同的位置。区域例如可以是region、可用区或者是机架。为了提高跨区域的高可用能力,同一个集群能够分布在不同的区域。比如图1中分布在区域1、区域2和区域3的集群1,分布在区域1和区域2的集群2,分布在区域2和区域3的集群3。分布在不同的区域的集群均作为主用集群承载业务。
49.控制系统与集群连接,用于监控集群承担的业务量并且进行资源调度,为集群配置弹性伸缩策略,调整集群包括的实例的数量。
50.集群在运行的过程中,可能会出现区域性故障。以图1所示的系统为例,区域2出现故障,区域2包括的集群1、集群2和集群3不可用。上游系统在感知到区域2出现故障后,将原本由区域2的集群1、集群2和集群3承载的业务量分配至其他正常运行的区域,如此实现容灾的恢复。比如上游系统将区域2的集群1承载的业务量分配至区域1的集群1,将区域2的集群2承载的业务量分配至区域1的集群2,将区域2的集群3承载的业务量分配至区域3的集群3。区域1包括的集群1和集群2所承载的业务量增加。区域3包括的集群3所承载的业务量增加。
51.如果区域1的集群1、区域1的集群2和区域3的集群3包括的实例数量均是基于正常的业务量配置的,没有能够承载突发业务的实例,控制系统在检测到业务量增加后,基于弹性伸缩策略,为区域1的集群1、区域1的集群2和区域3的集群3分配新增的实例。但是建立实例的速度较慢,区域1的集群1、区域1的集群2和区域3的集群3分难以快速承担增加的业务量,影响业务的正常处理。
52.目前,为了应对突发的业务量增加的情况,通常在集群中配置能够支持处理突发的业务量的数量的实例。例如,区域1和区域2中的集群1包括的每个实例能够承载1gbps(吉比特每秒)的业务量。区域1的集群1通常承载的业务量是2gbps。控制系统为区域1的集群1配置4个实例。4个实例中包括2个多分配的用于承载突发的业务量的实例。如此在区域2出现故障的情况下,区域1的集群1能够基于多分配的2个实例承载突发的业务量。
53.但是,目前控制系统为集群分配的实例的数量是固定的,并且难以与容灾场景下的处理业务的需求相匹配。控制系统可能为集群分配较多数量的实例。在分配实例数量较多的情况下,虽然集群能够承载容灾场景下的突发的业务量,但是存在着没有充分利用实例处理业务所导致的资源浪费的问题。此外,控制系统可能为集群分配较少数量的实例。在分配实例数量较少的情况下,集群可能无法全部承担突发业务量,仍需要临时扩容,影响容灾场景下业务的正常处理。
54.基于此,本技术实施例提供一种集群实例调整方法。该集群实例调整方法能够由控制系统执行。控制系统与目标集群连接。目标集群分布在多个区域。具体的,控制系统获取各个区域的目标集群的当前业务量。控制系统根据各个区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量。目标业务量是第一区域的目标集群需要承载的业务量。控制系统再利用目标业务量和第一区域的目标集群的实例承载业务量计算得到目标数量。在目标数量大于第一区域的目标集群的实例数量的情况下,控制系统利用目标数量调整第一区域的目标集群的实例数量。如此,控制系统能够基于第一区域的目标集群在容灾场景下需要承载的业务量确定为第一区域的目标集群分配实例的目标数量。目标数量与容灾场景下处理业务的需求较为匹配,能够减少分配实例不足或者分配实例过多的情况。
55.接下来,对集群实例调整方法的各种非限定性的具体实施方式进行详细描述。
56.参见图2所示,该图为本技术实施例提供的一种集群实例调整方法的流程示意图。该方法能够应用于图1所示的应用场景中,或者也可以是应用于其它可适用的应用场景中。该方法包括s201-s204。
57.s201:获取各个区域的目标集群的当前业务量。
58.目标集群是分布在多个区域的集群。本技术实施例不限定目标集群分布的区域的数量。参见图1所示,目标集群例如为集群1、集群2或者集群3。各个区域的目标集群均为主用集群,承担业务量。
59.各个区域的目标集群的当前业务量为各个区域的目标集群已经承担的业务量。当前业务量能够采用业务流量表示。
60.本技术实施例不限定获取各个区域的目标集群的当前业务量的获取方式。作为一种示例,控制系统向各个区域的目标集群发送业务量的查询请求,获取各个区域的目标集群反馈的当前业务量。作为另一种示例,预先配置各个区域的目标集群主动向控制系统上报当前业务量。控制系统获取各个区域的目标集群发送的当前业务量。
61.在一种可能的实现方式中,预先配置控制系统采集当前业务量的采集周期。响应于到达采集周期,控制系统获取各个区域的目标集群的当前业务量。在另一种可能的实现方式中,控制系统实时获取各个区域的目标集群的业务量。利用各个区域的目标集群的实时的业务量计算得到各个区域的目标集群的当前业务量。比如,计算在特定时间段内获取的区域的目标集群的实时的业务量的平均值。将计算得到的平均值作为该区域的目标集群的当前业务量。例如,计算在十分钟内获取的区域的目标集群的实时的业务量的平均值,将计算得到的平均值作为该区域的目标集群的当前业务量。
62.s202:根据所述各个区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量。
63.在区域出现故障时,出现故障的区域的目标集群的当前业务量可能会分配至其他正常运行的区域的目标集群。基于各个区域的目标集群的当前业务量,能够对第一区域的目标集群需要承担的业务量进行估计,确定第一区域的目标集群的目标业务量。其中,第一区域是目标集群分布的多个区域中的一个。
64.本技术实施例不限定根据各个区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量的具体实现方式。需要说明的是,下面根据各个区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量的具体实现方式仅作为一些示例。
65.在一种可能的实现方式中,根据第一区域的目标集群的当前业务量和除第一区域以外的其他区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量。除第一区域以外的其他区域为第二区域。
66.第一区域的目标集群的当前业务量是确定的第一区域的目标集群需要承担的业务量。根据第二区域的目标集群的当前业务量能够确定在第二区域出现故障的情况下,第一区域的目标集群可能需要承担的业务量。如此能够对第一区域的目标集群需要承担的业务量进行较为准确地估计,进而确定与业务需要较为匹配的实例的数量。
67.在一些可能的实现方式中,目标业务量的确定方式与目标集群分布的区域的数量相关。
68.作为一种示例,目标集群分布在两个区域中,第二区域的数量为1个。例如,在图1
所示场景中,目标集群为集群2,分布在区域1和区域2中。在第二区域的数量为1个的情况下,当第二区域出现故障时,第二区域的目标集群承载的业务量需要分配至第一区域的目标集群。第一区域的目标集群的目标业务量为第一区域的目标集群的当前业务量和第二区域的目标集群的目标业务量的和。
69.作为另一种示例,目标集群分布在多个区域中,第二区域的数量为多个。例如,在图1所示场景中,目标集群为集群1,分布在区域1、区域2和区域3中。在第二区域的数量为多个的情况下,各个第二区域均可能出现故障。考虑到多个第二区域同时出现故障的概率较小,将各个第二区域的目标集群的当前业务量中的最大值作为第一业务量。将第一区域的目标集群的当前业务量与第一业务量的和作为第一区域的目标集群的目标业务量。确定的第一区域的目标集群的目标业务量能够满足单个第二区域出现故障的情况下,第一区域的目标集群需要承担的业务量。
70.作为又一种示例,在第二区域的数量为多个的情况下,在一个第二区域出现故障的情况下,上游系统能够向包括第一区域在内的,其他多个区域分配出现故障的第二区域的目标集群承担的业务量。也就是说,出现故障的第二区域的目标集群承担的业务量,能够由多个正常运行的区域的目标集群承担。第一区域的目标集群承担故障的第二区域的目标集群承担的业务量的比例为承载参数。将各个第二区域的目标集群的当前业务量的最大值与承载参数的乘积作为第二业务量。第一区域的目标集群的目标业务量为第一区域的目标集群的当前业务量与第二业务量的和。
71.s203:利用所述目标业务量和所述第一区域的目标集群的实例承载业务量计算得到目标数量。
72.在确定第一区域的目标集群需要承担的业务量,也就是目标业务量后,计算第一区域的目标集群需要配置的实例的目标数量。
73.第一区域的目标集群的实例承载业务量为第一区域的目标集群包括的单个实例能够承载的业务量。
74.本技术实施例不限定第一区域的目标集群的实例承载业务量的具体类型。
75.在一种可能的实现方式中,第一区域的目标集群的实例承载业务量为扩容承载业务量。扩容承载业务量为触发第一区域的目标集群实例扩容的实例的最小可承载业务量。为了保证集群提供服务的稳定性,实例实际承载的业务量需要小于实例理论上能够承载的最大的业务量。在一些可能的实现方式中,预先配置第一区域的目标集群的扩容承载业务量。扩容承载业务量是实例提供服务的性能较优时能够承载的业务量。在目标集群的实例承载的业务量达到扩容承载业务量时,控制系统对目标集群进行实例扩容,增加目标集群包括的实例的数量。利用扩容承载业务量确定的目标数量能够保证第一区域的目标集群提供较为稳定的服务。
76.在另一种可能的实现方式中,实例承载业务量为最大承载业务量。最大承载业务量为第一区域的目标集群的实例最大的可承载业务量。最大承载业务量是实例理论上能够承载的最大的业务量。利用最大承载业务量确定的目标能够节约实例资源,降低成本。
77.本技术实施例不限定利用目标业务量与第一区域的目标集群的实例承载业务量确定目标数量的具体实现方式。在一种可能的实现方式中,计算目标业务量与第一区域的目标集群的实例承载业务量的比值,得到目标数量。在目标业务量与第一区域的目标集群
的实例承载业务量的比值不为整数的情况下,在一种实现方式中,忽略比值的小数部分,将比值的整数部分作为目标数量;在另一种实现方式中,取比值的整数部分与1的和作为目标数量。在另一种可能的实现方式中,计算目标业务量与第一区域的目标集群的实例承载业务量的比值。再将得到的比值与预先设置的容错数量相加,得到目标数量。容错数量能够基于第一区域的目标集群包括的实例的数量确定。
78.s204:若所述目标数量大于所述第一区域的目标集群的实例数量,根据所述目标数量为所述第一区域的目标集群分配实例。
79.将确定的目标数量与第一区域的目标集群的实例数量进行比较。在目标数量大于第一区域的目标集群的实例数量的情况下,说明当前第一区域的目标集群的实例不足以承载容灾情况下需要承载的突发的业务量。基于目标数量为第一区域的目标集群分配实例。如此能够根据容灾场景下业务需求调整第一区域的目标集群的实例,使得第一区域的目标集群的实例与处理业务的需求相匹配。
80.本技术实施例不限定基于目标数量为第一区域的目标集群分配实例的具体实现方式。
81.在一种可能的实现方式中,计算目标数量与第一区域的目标集群的实例数量的差值,得到第一区域的目标集群新增实例的数量。为第一区域的目标集群分配该数量的新增实例。如此能够实现第一区域的目标集群的预先扩容,为可能出现的容灾情况进行准备,在出现故障时,容灾恢复的速度较快。
82.在另一种可能的实现方式中,计算目标数量与第一区域的目标集群的实例数量的差值,得到待配置实例的数量。待配置实例是用于实现第一区域的目标集群实例扩容的实例。待配置实例是尚未完全配置的实例。控制系统能够在第一区域内建立预热资源池,向预热资源池分配待配置实例。在第一区域的目标集群需要承载突发的业务量时,控制系统配置预热资源池中的待配置实例,并分配至第一区域的目标集群,实现第一区域的目标集群的快速扩容。需要说明的是,预热资源池包括的待配置实例不属于第一区域包括的具体的集群。预热资源池包括的待配置实例是待配置以及分配的实例。如此能够在出现故障时,目标集群能够快速扩容,目标集群所使用的资源较少,成本较低。
83.下面基于图1所示的应用场景,结合两个具体的实现场景对本技术实施例提供的集群实例调整方法进行说明。
84.第一种:容灾增强场景。
85.以图1所示的集群1为例,集群1分布在区域1、区域2和区域3。区域1的集群1的实例数量为3个。区域2的集群1的实例数量为5个。区域3的集群1的实例数量为7个。
86.集群1包括的实例的最大可承载业务量为2gbps。扩容承载业务量为最大可承载业务量的51%,也就是1.02gbps。上游系统在区域1的集群1分配2gbps业务量,在区域2的集群1分配1gbps业务量,在区域3的集群1分配5gbps业务量。
87.参见图3所示,图3为本技术实施例提供的一种发生故障时上游系统分配业务量的示意图。在区域1发生故障的情况下,上游系统向区域1的集群1分配0gbps业务量。上游系统向区域2的集群1分配最少1gbps业务量,最多3gbps业务量。上游系统向区域3的集群1分配最少5gbps业务量,最多7gbps业务量。在区域2发生故障的情况下,上游系统向区域1的集群1分配最少2gbps业务量,最多3gbps业务量。上游系统向区域2的集群1分配0gbps业务量。上
游系统向区域3的集群1分配最少5gbps业务量,最多6gbps业务量。在区域3发生故障的情况下,上游系统向区域1的集群1分配最少2gbps业务量,最多7gbps业务量。上游系统向区域2的集群1分配最少1gbps业务量,最多6gbps业务量。上游系统向区域3的集群1分配0gbps业务量。
88.根据各个区域的集群1的当前业务量,确定区域i的集群1的目标业务量。区域i的集群1的目标业务量的计算公式参见公式(1)所示。
[0089][0090]
其中,为区域i的集群1的当前业务量。a为承载参数。表示除区域i的其他区域的集群1的当前业务量的最大值。i的取值为1、2或者3。k的取值为1、2和3。
[0091]
以a的取值为1为例,区域1的集群1的目标业务量的计算公式参见公式(2)所示。
[0092][0093]
区域2的集群1的目标业务量的计算公式参见公式(3)所示。
[0094][0095]
区域3的集群1的目标业务量的计算公式参见公式(4)所示。
[0096][0097]
在确定目标业务量后,利用目标业务量和扩容承载业务量能够确定目标数量。参见图4所示,该图为本技术实施例提供的一种集群实例调整过程的示意图。
[0098]
计算7gbps与1.02gbps的比值,得到6.8。根据7gbps与1.02gbps的比值,确定区域1的集群1的目标数量为7个。目标数量7个大于区域1的集群1的实例数量3个。控制系统为区域1的集群1分配4个实例,参见图4所示的区域1的集群1包括的虚线的实例,使得区域1的集群1的实例扩容到7个。
[0099]
计算7gbps与1.02gbps的比值,得到5.8。根据7gbps与1.02gbps的比值,确定区域2的集群1的目标数量为6个。目标数量6个大于区域2的集群1的实例数量5个。控制系统为区域2的集群1分配1个实例,参见图4所示的区域1的集群1包括的虚线的实例,使得区域2的集群1的实例扩容到6个。
[0100]
计算7gbps与1.02gbps的比值,得到6.8。根据7gbps与1.02gbps的比值,确定区域3的集群1的目标数量为7个。目标数量7个等于区域3的集群1的实例数量7个。控制系统为不调整区域3的集群1包括的实例数量。
[0101]
第二种:成本优先场景。
[0102]
以图1所示的集群3为例,集群3分布在区域2和区域3。区域2的集群3的实例数量为2个。区域3的集群3的实例数量为5个。
[0103]
集群3包括的实例的最大可承载业务量为2gbps。扩容承载业务量为最大可承载业务量的51%,也就是1.02gbps。上游系统在区域2的集群3分配2gbps业务量,在区域3的集群3分配5gbps业务量。
[0104]
参见图5所示,图5为本技术实施例提供的另一种发生故障时上游系统分配业务量的示意图。区域2发生故障的情况下,上游系统向区域2的集群3分配0gbps业务量。上游系统向区域3的集群3分配7gbps业务量。在区域3发生故障的情况下,上游系统向区域2的集群3
分配7gbps业务量。上游系统向区域3的集群3分配0gbps业务量。
[0105]
根据各个区域的集群3的当前业务量,确定区域j的集群3的目标业务量。区域j的集群3的目标业务量的计算公式参见公式(5)所示。
[0106][0107]
区域2的集群3的目标业务量的计算公式参见公式(6)所示。
[0108][0109]
区域3的集群3的目标业务量的计算公式参见公式(7)所示。
[0110][0111]
在确定目标业务量后,利用目标业务量和最大承载业务量能够确定目标数量。参见图6所示,该图为本技术实施例提供的另一种集群实例调整过程的示意图。
[0112]
计算7gbps与2gbps的比值,得到3.5。根据7gbps与2gbps的比值,确定区域2的集群3的目标数量为4个。目标数量4个大于区域2的集群3的实例数量2个。控制系统为区域2的预热资源池中分配2个待配置实例,参见图6所示的区域2的预热资源池包括的虚线的实例,以便区域2的集群3在实例承载的业务量大于1.02gbps时,利用预热资源池中的待配置实例扩容。
[0113]
计算7gbps与2gbps的比值,得到3.5。根据7gbps与2gbps的比值,确定区域3的集群3的目标数量为4个。目标数量4个小于区域3的集群3的实例数量5个。控制系统不为区域3分配实例资源。
[0114]
基于本技术实施例提供的集群实例调整方法,参见图7所示,本技术实施例还提供一种集群实例调整装置700的结构示意图。该集群实例调整装置700能够实现图2所示的集群实例调整方法。该图为本技术实施例提供的一种集群实例调整装置的结构示意图。该集群实例调整装置应用于控制系统。控制系统与目标集群连接。目标集群分布在多个区域。该集群实例调整装置700包括获取模块701、确定模块702、计算模块703以及分配模块704。集群实例调整装置700中的各个模块的功能,具体可参见图2所示实施例的相关之处描述。获取模块701,用于实现图2所示实施例的s201;确定模块702,用于实现图2所示实施例的s202;计算模块703,用于实现图2所示实施例的s203;分配模块704,用于实现图2所示实施例的s204。
[0115]
具体的,获取模块701,用于获取各个区域的目标集群的当前业务量;
[0116]
确定模块702,用于根据所述各个区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量,所述第一区域为所述多个区域中的一个区域,所述目标业务量为所述第一区域的目标集群需要承载的业务量;
[0117]
计算模块703,用于利用所述目标业务量和所述第一区域的目标集群的实例承载业务量计算得到目标数量;
[0118]
分配模块704,用于若所述目标数量大于所述第一区域的目标集群的实例数量,根据所述目标数量为所述第一区域的目标集群分配实例。
[0119]
在一种可能的实现方式中,所述确定模块702,具体用于根据第一区域的目标集群的当前业务量以及第二区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量,所述第二区域为所述多个区域中除所述第一区域以外的区域。
[0120]
在一种可能的实现方式中,所述第二区域的数量为多个,所述确定模块702,用于根据第一区域的目标集群的当前业务量以及第二区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量,包括:
[0121]
所述确定模块702,具体用于将第一区域的目标集群的当前业务量与第一业务量的和确定为所述第一区域的目标集群的目标业务量,所述第一业务量为各个第二区域的目标集群的当前业务量的最大值。
[0122]
在一种可能的实现方式中,所述第二区域的数量为多个,所述确定模块702,用于根据第一区域的目标集群的当前业务量以及第二区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量,包括:
[0123]
所述确定模块702,具体用于将第一区域的目标集群的当前业务量与第二业务量的和确定为所述第一区域的目标集群的目标业务量,所述第二业务量为各个第二区域的目标集群的当前业务量的最大值与承载参数的乘积,所述承载参数为所述第一区域的目标集群承载第二区域的目标集群的业务量的比例。
[0124]
在一种可能的实现方式中,所述实例承载业务量为扩容承载业务量,所述扩容承载业务量为触发所述第一区域的目标集群实例扩容的实例的最小可承载业务量。
[0125]
在一种可能的实现方式中,所述分配模块704,用于根据所述目标数量为所述第一区域的目标集群分配实例,包括:
[0126]
所述分配模块704,具体用于为所述第一区域的目标集群分配新增实例,所述新增实例的数量为所述目标数量与所述实例数量的差值。
[0127]
在一种可能的实现方式中,所述实例承载业务量为最大承载业务量,所述最大承载业务量为所述第一区域的目标集群的实例最大的可承载业务量。
[0128]
在一种可能的实现方式中,所述分配模块704,用于根据所述目标数量为所述第一区域的目标集群分配实例,包括:
[0129]
所述分配模块704,具体用于为所述第一区域分配待配置实例,所述待配置实例的数量为所述目标数量与所述实例数量的差值,所述待配置实例用于所述第一区域的目标集群实例扩容。
[0130]
图8示出了一种计算设备的结构示意图,上述集群实例调整装置可以部署在该计算设备上,该计算设备可以是云环境中的计算设备(如服务器),或边缘环境中的计算设备,或终端设备等具体可以用于实现上述图7所示实施例中获取模块701、确定模块702、计算模块703以及分配模块704的功能。
[0131]
如图8所示,计算设备800包括处理器810、存储器820、通信接口830和总线840。处理器810、存储器820和通信接口830之间通过总线840通信。总线840可以是外设部件互连标准(peripheral component interconnect,pci)总线或扩展工业标准结构(extended industry standard architecture,eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口830用于与外部通信,例如获取各个区域的目标集群的当前业务量等。
[0132]
其中,处理器810可以为中央处理器(central processing unit,cpu)、专用集成电路(application specific integrated circuit,asic)、图形处理器(graphics processing unit,gpu)或者一个或多个集成电路。处理器810还可以是一种集成电路芯片,
具有信号的处理能力。在实现过程中,集群实例调整装置中各个模块的功能可以通过处理器810中的硬件的集成逻辑电路或者软件形式的指令完成。处理器810还可以是通用处理器、数据信号处理器(digital signal process,dsp)、现场可编程逻辑门阵列(field programmable gate array,fpga)或者其他可编程逻辑器件,分立门或者晶体管逻辑器件,分立硬件组件,可以实现或者执行本技术实施例中公开的方法、步骤及逻辑框图。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,结合本技术实施例所公开的方法可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器820,处理器810读取存储器820中的信息,结合其硬件完成集群实例调整装置中的部分或全部功能。
[0133]
存储器820可以包括易失性存储器(volatile memory),例如随机存取存储器(random access memory,ram)。存储器820还可以包括非易失性存储器(non-volatile memory),例如只读存储器(read-only memory,rom),快闪存储器,hdd或ssd。
[0134]
存储器820中存储有可执行代码,处理器810执行该可执行代码以执行前述集群实例调整装置所执行的方法。
[0135]
具体地,在实现图7所示实施例的情况下,且图7所示实施例中所描述的获取模块701、确定模块702、计算模块703以及分配模块704为通过软件实现的情况下,执行图7中的数据获取模块701、确定模块702、计算模块703以及分配模块704的功能所需的软件或程序代码存储在存储器820中,获取模块701与其它设备的交互通过通信接口830实现,处理器用于执行存储器820中的指令,实现集群实例调整装置所执行的方法。
[0136]
图9示出的一种计算设备集群的结构示意图。其中,图9所示的计算设备集群90包括多个计算设备,上述集群实例调整装置可以分布式地部署在该计算设备集群90中的多个计算设备上。如图9所示,计算设备集群90包括多个计算设备900,每个计算设备900包括存储器920、处理器910、通信接口930以及总线940,其中,存储器920、处理器910、通信接口930通过总线940实现彼此之间的通信连接。
[0137]
处理器910可以采用cpu、gpu、asic或者一个或多个集成电路。处理器910还可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,集群实例调整装置的部分功能可用通过处理器910中的硬件的集成逻辑电路或者软件形式的指令完成。处理器910还可以是dsp、fpga、通用处理器、其他可编程逻辑器件,分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本技术实施例中公开的部分方法、步骤及逻辑框图。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器920,在每个计算设备900中,处理器910读取存储器920中的信息,结合其硬件可以完成集群实例调整装置的部分功能。
[0138]
存储器920可以包括rom、ram、静态存储设备、动态存储设备、硬盘(例如ssd、hdd)等。存储器920可以存储程序代码,例如,用于实现获取模块701的部分或者全部程序代码、
用于实现确定模块702的部分或者全部程序代码、用于实现计算模块703的部分或者全部程序代码、用于实现分配模块704的部分或者全部程序代码等。针对每个计算设备900,当存储器920中存储的程序代码被处理器910执行时,处理器910基于通信接口930执行集群实例调整装置所执行的部分方法,如其中一部分计算设备900可以用于执行上述数据获取模块701和确定模块702所执行的方法,另一部分计算设备900用于执行上述计算模块703和分配模块704所执行的方法。存储器920还可以存储数据,例如:处理器910在执行过程中产生的中间数据或结果数据,例如,上述目标业务量以及目标数量等。
[0139]
每个计算设备900中的通信接口903用于与外部通信,例如与其它计算设备900进行交互等。
[0140]
总线940可以是外设部件互连标准总线或扩展工业标准结构总线等。为便于表示,图9中每个计算设备900内的总线940仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
[0141]
上述多个计算设备900之间通过通信网络建立通信通路,以实现集群实例调整装置的功能。任一计算设备可以是云环境中的计算设备(例如,服务器),或边缘环境中的计算设备,或终端设备。
[0142]
此外,本技术实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在一个或者多个计算设备上运行时,使得该一个或者多个计算设备执行上述实施例集群实例调整方法。
[0143]
此外,本技术实施例还提供了一种计算机程序产品,所述计算机程序产品被一个或者多个计算设备执行时,所述一个或者多个计算设备执行前述集群实例调整方法中的任一方法。该计算机程序产品可以为一个软件安装包,在需要使用前述集群实例调整方法的任一方法的情况下,可以下载该计算机程序产品并在计算机上执行该计算机程序产品。
[0144]
另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本技术提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。
[0145]
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用cpu、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本技术而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘、u盘、移动硬盘、rom、ram、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,训练设备,或者网络设备等)执行本技术各个实施例所述的方法。
[0146]
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实
现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
[0147]
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘(solid state disk,ssd))等。
技术特征:
1.一种集群实例调整方法,其特征在于,所述方法应用于控制系统,所述控制系统与目标集群连接,所述目标集群分布在多个区域,所述方法包括:获取各个区域的目标集群的当前业务量;根据所述各个区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量,所述第一区域为所述多个区域中的一个区域,所述目标业务量为所述第一区域的目标集群需要承载的业务量;利用所述目标业务量和所述第一区域的目标集群的实例承载业务量计算得到目标数量;若所述目标数量大于所述第一区域的目标集群的实例数量,根据所述目标数量为所述第一区域的目标集群分配实例。2.根据权利要求1所述的方法,其特征在于,所述根据所述各个区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量,包括:根据第一区域的目标集群的当前业务量以及第二区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量,所述第二区域为所述多个区域中除所述第一区域以外的区域。3.根据权利要求2所述的方法,其特征在于,所述第二区域的数量为多个,所述根据第一区域的目标集群的当前业务量以及第二区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量,包括:将第一区域的目标集群的当前业务量与第一业务量的和确定为所述第一区域的目标集群的目标业务量,所述第一业务量为各个第二区域的目标集群的当前业务量的最大值。4.根据权利要求2所述的方法,其特征在于,所述第二区域的数量为多个,所述根据第一区域的目标集群的当前业务量以及第二区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量,包括:将第一区域的目标集群的当前业务量与第二业务量的和确定为所述第一区域的目标集群的目标业务量,所述第二业务量为各个第二区域的目标集群的当前业务量的最大值与承载参数的乘积,所述承载参数为所述第一区域的目标集群承载第二区域的目标集群的业务量的比例。5.根据权利要求1所述的方法,其特征在于,所述实例承载业务量为扩容承载业务量,所述扩容承载业务量为触发所述第一区域的目标集群实例扩容的实例的最小可承载业务量。6.根据权利要求5所述的方法,其特征在于,所述根据所述目标数量为所述第一区域的目标集群分配实例,包括:为所述第一区域的目标集群分配新增实例,所述新增实例的数量为所述目标数量与所述实例数量的差值。7.根据权利要求1所述的方法,其特征在于,所述实例承载业务量为最大承载业务量,所述最大承载业务量为所述第一区域的目标集群的实例最大的可承载业务量。8.根据权利要求7所述的方法,其特征在于,所述根据所述目标数量为所述第一区域的目标集群分配实例,包括:为所述第一区域分配待配置实例,所述待配置实例的数量为所述目标数量与所述实例
数量的差值,所述待配置实例用于所述第一区域的目标集群实例扩容。9.一种集群实例调整装置,其特征在于,所述装置应用于控制系统,所述控制系统与目标集群连接,所述目标集群分布在多个区域,所述装置包括:获取模块,用于获取各个区域的目标集群的当前业务量;确定模块,用于根据所述各个区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量,所述第一区域为所述多个区域中的一个区域,所述目标业务量为所述第一区域的目标集群需要承载的业务量;计算模块,用于利用所述目标业务量和所述第一区域的目标集群的实例承载业务量计算得到目标数量;分配模块,用于若所述目标数量大于所述第一区域的目标集群的实例数量,根据所述目标数量为所述第一区域的目标集群分配实例。10.根据权利要求9所述的装置,其特征在于,所述确定模块,具体用于根据第一区域的目标集群的当前业务量以及第二区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量,所述第二区域为所述多个区域中除所述第一区域以外的区域。11.根据权利要求10所述的装置,其特征在于,所述第二区域的数量为多个,所述确定模块,用于根据第一区域的目标集群的当前业务量以及第二区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量,包括:所述确定模块,具体用于将第一区域的目标集群的当前业务量与第一业务量的和确定为所述第一区域的目标集群的目标业务量,所述第一业务量为各个第二区域的目标集群的当前业务量的最大值。12.根据权利要求10所述的装置,其特征在于,所述第二区域的数量为多个,所述确定模块,用于根据第一区域的目标集群的当前业务量以及第二区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量,包括:所述确定模块,具体用于将第一区域的目标集群的当前业务量与第二业务量的和确定为所述第一区域的目标集群的目标业务量,所述第二业务量为各个第二区域的目标集群的当前业务量的最大值与承载参数的乘积,所述承载参数为所述第一区域的目标集群承载第二区域的目标集群的业务量的比例。13.根据权利要求9所述的装置,其特征在于,所述实例承载业务量为扩容承载业务量,所述扩容承载业务量为触发所述第一区域的目标集群实例扩容的实例的最小可承载业务量。14.根据权利要求13所述的装置,其特征在于,所述分配模块,用于根据所述目标数量为所述第一区域的目标集群分配实例,包括:所述分配模块,具体用于为所述第一区域的目标集群分配新增实例,所述新增实例的数量为所述目标数量与所述实例数量的差值。15.根据权利要求9所述的装置,其特征在于,所述实例承载业务量为最大承载业务量,所述最大承载业务量为所述第一区域的目标集群的实例最大的可承载业务量。16.根据权利要求15所述的装置,其特征在于,所述分配模块,用于根据所述目标数量为所述第一区域的目标集群分配实例,包括:所述分配模块,具体用于为所述第一区域分配待配置实例,所述待配置实例的数量为
所述目标数量与所述实例数量的差值,所述待配置实例用于所述第一区域的目标集群实例扩容。17.一种计算设备集群,其特征在于,包括至少一个计算设备,每个计算设备包括处理器和存储器;所述处理器用于执行所述存储器中存储的指令,以使得所述计算设备集群执行权利要求1至8中任一项所述的方法。18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当其在至少一个计算设备上运行时,使得所述至少一个计算设备执行如权利要求1至8任一项所述的方法。19.一种包含指令的计算机程序产品,其特征在于,当其在至少一个计算设备上运行时,使得所述至少一个计算设备执行如权利要求1至8中任一项所述的方法。
技术总结
本申请公开了应用于计算机技术领域的一种集群实例调整方法、装置以及相关设备。控制系统获取各个区域的目标集群的当前业务量。控制系统根据各个区域的目标集群的当前业务量,确定第一区域的目标集群的目标业务量。目标业务量是第一区域的目标集群需要承载的业务量。控制系统再利用目标业务量和第一区域的目标集群的实例承载业务量计算得到目标数量。在目标数量大于第一区域的目标集群的实例数量的情况下,控制系统利用目标数量调整第一区域的目标集群的实例数量。如此,控制系统能够基于第一区域的目标集群在容灾场景下需要承载的业务量确定为第一区域的目标集群分配实例的目标数量,目标数量与容灾场景下处理业务的需求较为匹配。求较为匹配。求较为匹配。
技术研发人员:杨旭炜 贾峻苏 付萌 梁亦历
受保护的技术使用者:深圳华为云计算技术有限公司
技术研发日:2023.05.04
技术公布日:2023/8/13
版权声明
本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
飞行汽车 https://www.autovtol.com/
上一篇:转场控制方法、装置和电子设备与流程 下一篇:一种含V高强塑积冷轧双相钢及其生产方法
