集群服务限流管理方法、装置、设备和介质与流程

1.本发明实施例涉及网络通信技术领域，尤其涉及一种集群服务限流管理方法、装置、设备和介质。


背景技术：

2.服务集群的访问限流管理是通过令牌(token)服务中心管理服务集群中的服务请求消费节点(consumer)的令牌使用数量实现的。令牌服务中心会给服务集群每个consumer预分配一定数量的令牌，然后根据各consumer的令牌请求再次向各consumer分配固定数量的新令牌，直到一定数量的令牌被分配完毕。
3.但是，在实现本发明的过程中，发现现有技术中至少存在以下技术问题：由于不同的consumer的服务请求的消费能力不同，每次向各consumer分配固定数量的新令牌，会导致有的consumer令牌已经使用完毕不能再消费新的服务请求，有的consumer令牌还有剩余但没有新的服务请求，造成部分的令牌的浪费，访问限流管理不够精确。


技术实现要素：

4.本发明实施例提供了一种集群服务限流管理方法、装置、设备和介质，可以更加灵活的向集群服务节点分配令牌，使服务集群的限流管理更加精确。
5.第一方面，本发明实施例提供了一种集群服务限流管理方法，该方法包括：
6.根据至少两个预设令牌再分配粒度对经过预分配后的剩余待分配令牌进行分配规划，得到各队列内数据相同且数值与所述预设令牌再分配粒度对应的至少两个令牌再分配数量队列；
7.在获取到任一集群服务节点的令牌再分配求的情况下，读取所述令牌再分配数量队列中的未被读取的队列数据中数值最大的一个队列数据作为目标队列数据；
8.将所述目标队列数据对应的令牌数量的令牌分配给所述任一集群服务节点，直到所述令牌再分配数量队列中的队列数据均被读取完毕。
9.第二方面，本发明实施例还提供了一种集群服务限流管理装置，该装置包括：
10.令牌分配规划模块，用于根据至少两个预设令牌再分配粒度对经过预分配后的剩余待分配令牌进行分配规划，得到各队列内数据相同且数值与所述预设令牌再分配粒度对应的至少两个令牌再分配数量队列；
11.令牌分配请求获取模块，用于在获取到任一集群服务节点的令牌再分配求的情况下，读取所述令牌再分配数量队列中的未被读取的一个队列数据中数值最大的队列数据作为目标队列数据；
12.令牌分配模块，用于将所述目标队列数据对应的令牌数量的令牌分配给所述任一集群服务节点，直到所述令牌再分配数量队列中的队列数据均被读取完毕。
13.第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
14.一个或多个处理器；
15.存储器，用于存储一个或多个程序；
16.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的集群服务限流管理方法。
17.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的集群服务限流管理方法。
18.本实施例的技术方案，通过首先根据至少两个预设令牌再分配粒度对经过预分配后的剩余待分配令牌进行分配规划，得到各队列内数据相同且数值与预设令牌再分配粒度对应的至少两个令牌再分配数量队列；然后，在获取到任一集群服务节点的令牌再分配求的情况下，读取令牌再分配数量队列中的未被读取的队列数据中数值最大的一个队列数据作为目标队列数据；将目标队列数据对应的令牌数量的令牌分配给任一集群服务节点，直到令牌再分配数量队列中的队列数据均被读取完毕。即通过队列数据更加直接地管理令牌的分配，可以更加细粒度的令牌分配方式，来满足集群服务节点的令牌需求，减少过多的令牌在服务请求处理量较少的集群服务节点的浪费。本实施例的技术方案解决的在集群限流管理中限流精确度不高的问题，实现了更加细粒度的限流管理，减少了令牌的浪费，一定程度上提高了限流管理的精确度。
附图说明
19.图1为本发明实施例提供的一种集群服务限流管理方法的流程图；
20.图2为本发明实施例提供的一种集群服务限流管理实例示意图；
21.图3为本发明实施例提供的一种集群服务节点工作过程示意图；
22.图4为本发明实施例提供的一种集群服务限流管理方法的流程图；
23.图5为本发明实施例提供的一种集群服务限流管理方法的流程图；
24.图6为本发明实施例提供的一种集群服务限流管理装置的结构示意图；
25.图7为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
26.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
27.图1为本发明实施例提供的一种集群服务限流管理方法的流程图，本实施例可适用于在服务集群的并发服务过程中进行限流管理的场景。该方法可以由集群服务限流管理装置执行，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的计算机设备中。
28.如图1所示，本实施例的集群服务限流管理方法包括以下步骤：
29.s110、根据至少两个预设令牌再分配粒度对经过预分配后的剩余待分配令牌进行分配规划，得到各队列内数据相同且数值与所述预设令牌再分配粒度对应的至少两个令牌再分配数量队列。
30.其中，再分配是指令牌服务中心在对令牌预分配后，根据获取到的令牌再分配请求再一次向对应的集群服务节点进行令牌分配，包括预分配之后的每一次令牌分配。预设
令牌再分配粒度可以理解为令牌服务中心根据获取到的令牌再分配请求再次向集群服务节点分配令牌的粒度，也即在预分配之后，每一次向集群服务节点分配令牌的数量。至少两个预设令牌再分配粒度是指令牌服务中心向集群服务节点单次分配的令牌数量是不同的，包括至少两个不同的分配数量，也即在令牌的再分配阶段，包括不同程度的限流程度，单次分配粒度的大小对应限流程度的大小。
31.在各集群服务节点在预先分配的令牌使用完毕之后，向令牌服务中心再次请求新的令牌时，通常情况下，令牌服务中心只是按照预先设定好的固定的分配数量向各集群服务节点再次分令牌，即只有一种令牌再分配粒度，这就导致在服务请求处理能力不同的集群服务节点的令牌有不同的使用情况，一些节点令牌不够用，一些节点令牌有剩余，从并发任务的限流管理的整体上分析，限流管理不够精确，导致令牌没有被充分利用。
32.而在本技术中，会预先对待分配的令牌进行分配规划，特别是基于不同的预设令牌再分配粒度对经过预分配后的剩余待分配令牌进行分配规划，可以是令牌服务中心对集群限流管理更加的精细化，管理的精确度有所提升。
33.具体的，根据至少两个预设令牌再分配粒度对经过预分配后的剩余待分配令牌进行分配规划，包括如下步骤：
34.首先，建立预设令牌再分配粒度与对应的令牌再分配数量队列中队列数据的数量、剩余待分配令牌的数量的函数关系；然后，再解析该建立的函数关系，便可以得到各队列内数据相同且数值与所述预设令牌再分配粒度对应的至少两个令牌再分配数量队列。
35.其中，剩余待分配令牌的数量是预设可分配令牌总数减去预分配令牌的数量确定的数值。假设预设可分配令牌总数为400，每一个集群服务节点可预分配30个令牌，总共4个集群服务节点，那么剩余待分配令牌的数量就是400-30*4＝280。
36.其中，每个预设令牌再分配粒度对应一个令牌再分配数量队列，分别计算各预设令牌再分配粒度与对应的令牌再分配数量队列中队列数据的数量的乘积数值，即可以确定每一个令牌再分配数量队列对应的可分配令牌的数量，然后，在各所述乘积数值之和小于或等于所述剩余待分配令牌的数量，且令牌再分配数量队列中队列数据的数量为正整数，且预设令牌再分配粒度中的最小再分配粒度为1的约束下，解析确定各令牌再分配数量队列中队列数据的数量，从而得到各队列内数据相同且数值与预设令牌再分配粒度对应的至少两个令牌再分配数量队列，作为令牌预分配规划的结果。
37.s120、在获取到任一集群服务节点的令牌再分配求的情况下，读取所述令牌再分配数量队列中的未被读取的队列数据中数值最大的一个队列数据作为目标队列数据。
38.各个集群服务节点在预分配的令牌即将使用完或者再次请求获取的令牌即将使用完的时候，便会向令牌服务中心发送令牌再分配请求，以获取更多的令牌。令牌服务中心在获取到任一集群服务节点的令牌再分配求时，便会按照在上述步骤中规划好的令牌预分配策略进行令牌的分配。
39.具体的，在集群服务的运行过程中，通过管理令牌分配过程进行集群限流管理是一个递进的过程，先从各预设令牌再分配粒度中数值较大的分配粒度对应的令牌再分配数量队列中读取队列数据作为令牌再分配的数量；当一个令牌再分配数量队列中的队列数据全部读取完毕之后，在读取下一个预设令牌再分配粒度对应的令牌再分配数量队列中读取队列数据作为令牌再分配的数量。即随着并发业务的处理进程的推进，单次令牌分配的数
量会减少，直到全部剩余待分配令牌完成分配。在这一过程中，单次分配的令牌数量会减少，从而避免了较多数量的令牌分配到某一个集群服务节点而不能被使用，出现令牌浪费的情况。在一个优选的实施方式中，最小的预设令牌再分配粒度可设置为1，那么每一个令牌均会被合理的分配。
40.其中，令牌再分配数量队列中的未被读取的队列数据中数值最大的一个队列数据作为目标队列数据，即是当前可以分配的最大的令牌数量。
41.s130、将所述目标队列数据对应的令牌数量的令牌分配给所述任一集群服务节点，直到所述令牌再分配数量队列中的队列数据均被读取完毕。
42.在根据规划好的令牌分配策略确定了当前次分配令牌的数量之后，便可以直接将相应数量的令牌分配给对应的发出请求的集群服务节点。
43.针对每次获取到的令牌再分配请求，均可以从令牌再分配数量队列中确地可分配的令牌数量，直到所述令牌再分配数量队列中的队列数据均被读取完毕，即所有可分配令牌均完成分配。
44.本实施例的技术方案，通过首先根据至少两个预设令牌再分配粒度对经过预分配后的剩余待分配令牌进行分配规划，得到各队列内数据相同且数值与预设令牌再分配粒度对应的至少两个令牌再分配数量队列；然后，在获取到任一集群服务节点的令牌再分配求的情况下，读取令牌再分配数量队列中的未被读取的队列数据中数值最大的一个队列数据作为目标队列数据；将目标队列数据对应的令牌数量的令牌分配给任一集群服务节点，直到令牌再分配数量队列中的队列数据均被读取完毕。即通过队列数据更加直接地管理令牌的分配，可以更加细粒度的令牌分配方式，来满足集群服务节点的令牌需求，减少过多的令牌在服务请求处理量较少的集群服务节点的浪费。本实施例的技术方案解决的在集群限流管理中限流精确度不高的问题，实现了更加细粒度的限流管理，减少了令牌的浪费，一定程度上提高了限流管理的精确度。
45.在一个具体的集群限流管理场景中，预设有两个预设令牌再分配粒度，为20和1，对经过预分配后的剩余待分配令牌进行分配规划，得到各队列内数据相同且数值与所述预设令牌再分配粒度对应的两个令牌再分配数量队列，如图2所示。具体的，令牌(token)服务中心需要根据集群服务节点(consumer)的个数、限流的总阈值(全部可分配令牌的数量)、每一个consumer预分配的token个数、一批次拉取的token个数(即预设令牌再分配粒度)进行计算，得出两个令牌再分配数量队列。在第一令牌再分配数量队列存放的是较大粒度单次令牌分配数为20。第二令牌再分配数量队列存放的较小粒度的单次令牌分配数量，是每一批次就分配一个token。两个队列中队列数据的个数确定过程是根据如下公式确定的：20x+y+4*30《＝400、20x+4*30《400、y》＝1。其中，x表示第一令牌再分配数量队列中队列数据的个数，y表示第二令牌再分配数量队列中队列数据的个数，400是全部可分配令牌的数量，4表示集群服务节点数量，30为每个集群服务节点预分配令牌数量。经解析上述公式对应的函数关系，得出第一令牌再分配数量队列中队列数据的个数为13，第二令牌再分配数量队列中队列数据的个数为20。即令牌服务中心针对前13次获取到的令牌再分配请求，会分配20个新的令牌给对应的集群服务节点，针对13次之后的20次获取到的令牌再分配请求，会分配1个新的令牌给对应的集群服务节点。
46.假设如图3所示的各个集群服务节点在使用完各节点缓存的预分配30个令牌后，
开始向令牌服务中心请求令牌再分配以获取新的令牌。相应的，令牌服务中心会优先从第一令牌再分配数量队列中获取队列数据，作为响应获取到的令牌再分配请求，给相应的集群服务节点分配新的令牌的数量。如果第一令牌再分配数量队列中队列数据被消费完后，再响应后来的令牌再分配请求就从第二令牌再分配数量队列开中获取队列数据，作为响应获取到的令牌再分配请求，给相应的集群服务节点分配新的令牌的数量，如果两个队列的数据均被消费完，令牌服务中心便会拒绝相应的令牌再分配请求。消费能力相同的各个集群服务节点如果请求均匀分布，就能够有效充分的利用令牌，以达到提高集群限流的精确度。其中，图3中provider为分布式系统的一个集群，是向集群服务节点(consumer)提供服务的生产者。
47.图4为本发明实施例提供的一种集群服务限流管理方法的流程图，本实施例与上述实施例中的集群服务限流管理方法属于同一个发明构思，进一步的描述了针对服务请求量较小的集群服务节点进行令牌回收的过程。该方法可以由集群服务限流管理装置执行，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的计算机设备中。
48.如图4所示，本实施例的集群服务限流管理方法包括以下步骤：
49.s210、根据至少两个预设令牌再分配粒度对经过预分配后的剩余待分配令牌进行分配规划，得到各队列内数据相同且数值与所述预设令牌再分配粒度对应的至少两个令牌再分配数量队列。
50.s220、在获取到任一集群服务节点的令牌再分配求的情况下，读取所述令牌再分配数量队列中的未被读取的队列数据中数值最大的一个队列数据作为目标队列数据。
51.s230、将所述目标队列数据对应的令牌数量的令牌分配给所述任一集群服务节点，直到所述令牌再分配数量队列中的队列数据均被读取完毕。
52.s240、获取各集群服务节点的服务请求处理量数据，并根据所述服务请求处理量数据确定目标令牌数量调整集群服务节点。
53.令牌服务中心在对令牌的分配进行管理的过程中，还会通过预设的一个线程，获取各个集群服务节点的服务请求处理量数据，以判断集群服务节点的对用户的服务请求的处理能力。其中，服务请求处理量数据可以是每个集群服务节点的每秒查询率(query per second，qps)的毫秒级数据监测结果。qps是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准，可以衡量系统服务器的机器的性能。进而，可以将qps数值较小的集群服务节点作为目标令牌数量调整集群服务节点。
54.s250、在进入到预设限流再分配粒度对应的令牌再分配阶段的情况下，获取所述目标令牌数量调整集群服务节点的剩余待使用令牌，并根据所述剩余待使用令牌的数量更新所述令牌再分配数量队列的队列数据。
55.其中，预设限流再分配粒度是预设令牌再分配粒度中的一个数值较小的粒度数值。预设限流再分配粒度对应的令牌再分配阶段可以理解为响应集群服务节点的令牌再分配请求时，分配的令牌数量较少的阶段，如每次只分配1个令牌、3个令牌或是其他数量不多的令牌。在该阶段中，表明很快就到限流阈值时刻，即全部的令牌被分配完毕。
56.在进入到预设限流再分配粒度对应的令牌再分配阶段便可以启动对目标令牌数量调整集群服务节点进行令牌回收机制，以获取目标令牌数量调整集群服务节点剩余待使用的令牌，并根据剩余待使用令牌的数量更新令牌再分配数量队列的队列数据，以使其他
非目标令牌数量调整集群服务节点使用。
57.具体的，根据剩余待使用令牌的数量更新令牌再分配数量队列的队列数据时，可以根据令牌再分配数量队列中队列数据未完全被读取的队列对应的预设令牌再分配粒度的数值大小，将剩余待使用令牌的数量分配到对应的令牌再分配数量队列中，直到所述剩余待使用令牌的数量被分配完毕。例如，在图3所示的集群服务节点4中，获取到23个剩余待使用令牌。令牌再分配数量队列中队列数据未完全被读取的队列包括队列数据的数值为3和1的两个令牌再分配数量队列；那么，队列数据的数值为3的令牌再分配数量队列会增加7个队列数据，队列数据的数值为1的令牌再分配数量队列会增加2个队列数据。即以剩余待使用令牌的数量为被除数，令牌再分配数量队列中队列数据未完全被读取的队列中预设令牌再分配粒度相对较大的粒度数值为除数，得到的商为令牌再分配数量队列中队列数据未完全被读取的队列中预设令牌再分配粒度相对较大队列新增队列数据的数量，余数则被用于更新令牌再分配数量队列中队列数据未完全被读取的队列中预设令牌再分配粒度相对较小队列的队列数据。
58.在令牌再分配数量队列的队列数据被更新后，令牌服务中心在接收到令牌再分配请求时，便会从更新后的令牌再分配数量队列读取相应的队列数据，并依据读取到的队列数据进行令牌分配。通过上述步骤的剩余令牌再分配机制，可以使可分配使用的令牌充分被使用整体提高集群限流的精确度。
59.本实施例的技术方案，通过首先根据至少两个预设令牌再分配粒度对经过预分配后的剩余待分配令牌进行分配规划，得到各队列内数据相同且数值与预设令牌再分配粒度对应的至少两个令牌再分配数量队列；然后，在获取到任一集群服务节点的令牌再分配求的情况下，读取令牌再分配数量队列中的未被读取的队列数据中数值最大的一个队列数据作为目标队列数据；将目标队列数据对应的令牌数量的令牌分配给任一集群服务节点，直到令牌再分配数量队列中的队列数据均被读取完毕，在这一过程中，还可以对服务请求能力较弱的集群服务节点的未使用令牌进行再分配，从而提高限流的精确度。即通过队列数据更加直接地管理令牌的分配，可以更加细粒度的令牌分配方式，来满足集群服务节点的令牌需求，减少过多的令牌在服务请求处理量较少的集群服务节点的浪费。本实施例的技术方案解决的在集群限流管理中限流精确度不高的问题，实现了更加细粒度的限流管理，减少了令牌的浪费，一定程度上提高了限流管理的精确度。
60.图5为本发明实施例提供的一种集群服务限流管理方法的流程图，本实施例与上述实施例中的集群服务限流管理方法属于同一个发明构思，进一步的描述了在集群服务节点发生故障的情况下，动态调整集群服务限流阈值的情况。该方法可以由集群服务限流管理装置执行，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的计算机设备中。
61.如图5所示，本实施例的集群服务限流管理方法包括以下步骤：
62.s310、根据至少两个预设令牌再分配粒度对经过预分配后的剩余待分配令牌进行分配规划，得到各队列内数据相同且数值与所述预设令牌再分配粒度对应的至少两个令牌再分配数量队列。
63.s320、在获取到任一集群服务节点的令牌再分配求的情况下，读取所述令牌再分配数量队列中的未被读取的队列数据中数值最大的一个队列数据作为目标队列数据。
64.s330、将所述目标队列数据对应的令牌数量的令牌分配给所述任一集群服务节点，直到所述令牌再分配数量队列中的队列数据均被读取完毕。
65.s340、获取各集群服务节点的网络连接状态信息和cpu使用率信息，并基于所述网络连接状态信息和/或所述cpu使用率信息确定所述各集群服务节点的故障状态。
66.令牌服务中心在对令牌的分配进行管理的过程中，还会通过预设的一个线程获取各集群服务节点的工作状态，找到其中发生故障或者cpu使用率过高的节点。这是由于在集群服务节点中，如果某几台机器出现故障，比如cpu过高或者停止服务等情况，在限流总的阈值(可分配使用的总的令牌数量)不变的情况下，就会让其他机器正常运转的集群服务节点承担更大的流量，就有可能造成其他机器出现因扛不住大流量造成宕机，造成集群整体雪崩(塌陷)的情况，这时就需要调整总的限流阈值防止出现上述情况。
67.具体的，在集群服务节点的工作状态监督线程的工作过程中，会获取各服务集群服务节点确定连接状态的心跳信号和机器设备的cpu使用率等等反应节点工作状态的信息。相应的令牌服务中心的配置功能模块会根据获取到的各集群服务节点工作状态信息确定各集群服务节点的故障状态。其中，故障状态处于故障状态或处于非故障状态。其中，处于故障状态可以是集群服务节点的设备处于离线状态或者cpu使用率高于预设使用率阈值(如85％等预设数值)。
68.s350、基于处于故障状态的集群服务节点的数量调整当前剩余待分配令牌的数量。
69.在进行限流阈值调整的过程中，首先要确定处于故障状态的集群服务节点的数量占总集群服务节点数量的百分比；然后，并基于所述百分比确定当前剩余待分配令牌中需要进行缩减的令牌数量，即令牌削减数量；总的可分配的令牌数量减去所述令牌削减数据得到结果即为动态调整后的限流阈值。其中，令牌削减数量即为当前剩余待分配令牌的数量与所述百分比的乘积数值。
70.进一步的，令牌服务中心会根据调整后的限流阈值更新当前的令牌再分配数量队列。具体的，可以根据令牌再分配数量队列中队列数据未完全被读取的队列对应的预设令牌再分配粒度的数值大小，对应的减少队列数据未完全被读取的队列中的队列数据。从令牌再分配数量队列中队列数据未完全被读取的队列中预设令牌再分配粒度较大的队列开始，减少队列数据的个数，是各令牌再分配数量队列中队列数据减少的个数与对应的队列数据的数值的乘积之和等于相应的令牌削减数量即可。
71.此外，在部分或全部故障的集群服务节点恢复正常运行之后，还可以更新令牌再分配数量队列，部分或全部恢复令牌削减数量的令牌，实现限流阈值的动态调整。
72.本实施例的技术方案，通过首先根据至少两个预设令牌再分配粒度对经过预分配后的剩余待分配令牌进行分配规划，得到各队列内数据相同且数值与预设令牌再分配粒度对应的至少两个令牌再分配数量队列；然后，在获取到任一集群服务节点的令牌再分配求的情况下，读取令牌再分配数量队列中的未被读取的队列数据中数值最大的一个队列数据作为目标队列数据；将目标队列数据对应的令牌数量的令牌分配给任一集群服务节点，直到令牌再分配数量队列中的队列数据均被读取完毕，在这一过程中，还可以根据集群服务节点的工作状态动态调整限流阈值，确保未处于故障状态的集群服务节点的正常运转。即通过队列数据更加直接地管理令牌的分配，可以更加细粒度的令牌分配方式，来满足集群
服务节点的令牌需求，减少过多的令牌在服务请求处理量较少的集群服务节点的浪费。本实施例的技术方案解决的在集群限流管理中限流精确度不高的问题，实现了更加细粒度的限流管理，减少了令牌的浪费，一定程度上提高了限流管理的精确度。
73.图6为本发明实施例提供的一种集群服务限流管理装置的结构示意图，本实施例可适用于在服务集群的并发服务过程中进行限流管理的场景，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的计算机终端设备中。
74.如图6所示，集群服务限流管理装置包括：令牌分配规划模块410、令牌分配请求获取模块420和令牌分配模块430。
75.其中，令牌分配规划模块410，用于根据至少两个预设令牌再分配粒度对经过预分配后的剩余待分配令牌进行分配规划，得到各队列内数据相同且数值与所述预设令牌再分配粒度对应的至少两个令牌再分配数量队列；令牌分配请求获取模块420，用于在获取到任一集群服务节点的令牌再分配求的情况下，读取所述令牌再分配数量队列中的未被读取的一个队列数据中数值最大的队列数据作为目标队列数据；令牌分配模块430，用于将所述目标队列数据对应的令牌数量的令牌分配给所述任一集群服务节点，直到所述令牌再分配数量队列中的队列数据均被读取完毕。
76.本实施例的技术方案，通过首先根据至少两个预设令牌再分配粒度对经过预分配后的剩余待分配令牌进行分配规划，得到各队列内数据相同且数值与预设令牌再分配粒度对应的至少两个令牌再分配数量队列；然后，在获取到任一集群服务节点的令牌再分配求的情况下，读取令牌再分配数量队列中的未被读取的队列数据中数值最大的一个队列数据作为目标队列数据；将目标队列数据对应的令牌数量的令牌分配给任一集群服务节点，直到令牌再分配数量队列中的队列数据均被读取完毕。即通过队列数据更加直接地管理令牌的分配，可以更加细粒度的令牌分配方式，来满足集群服务节点的令牌需求，减少过多的令牌在服务请求处理量较少的集群服务节点的浪费。本实施例的技术方案解决的在集群限流管理中限流精确度不高的问题，实现了更加细粒度的限流管理，减少了令牌的浪费，一定程度上提高了限流管理的精确度。
77.可选的，所述令牌分配规划模块410具体用于：
78.建立所述预设令牌再分配粒度与对应的所述令牌再分配数量队列中队列数据的数量、所述剩余待分配令牌的数量的函数关系，并解析所述函数关系。
79.可选的，所述令牌分配规划模块410进一步用于：
80.分别计算各所述预设令牌再分配粒度与对应的令牌再分配数量队列中队列数据的数量的乘积数值；
81.在各所述乘积数值之和小于或等于所述剩余待分配令牌的数量，且所述令牌再分配数量队列中队列数据的数量为正整数，且所述预设令牌再分配粒度中的最小再分配粒度为1的约束下，确定各所述令牌再分配数量队列中队列数据的数量。
82.可选的，集群服务限流管理装置还包括：令牌分配调整模块，具体用于：
83.获取各集群服务节点的服务请求处理量数据，并根据所述服务请求处理量数据确定目标令牌数量调整集群服务节点；
84.在进入到预设限流再分配粒度对应的令牌再分配阶段的情况下，获取所述目标令牌数量调整集群服务节点的剩余待使用令牌，并根据所述剩余待使用令牌的数量更新所述
令牌再分配数量队列的队列数据。
85.可选的，所述令牌分配调整模块，进一步用于：
86.根据所述令牌再分配数量队列中队列数据未完全被读取的队列对应的预设令牌再分配粒度的数值大小，将所述剩余待使用令牌的数量分配到对应的令牌再分配数量队列中，直到所述剩余待使用令牌的数量被分配完毕。
87.可选的，所述令牌分配调整模块，还可用于：
88.获取各集群服务节点的网络连接状态信息和cpu使用率信息，并基于所述网络连接状态信息和/或所述cpu使用率信息确定所述各集群服务节点的故障状态；
89.基于处于故障状态的集群服务节点的数量调整当前剩余待分配令牌的数量。
90.可选的，所述令牌分配调整模块，还可进一步用于：
91.确定处于故障状态的集群服务节点的数量占总集群服务节点数量的百分比，并基于所述百分比确定所述当前剩余待分配令牌的令牌削减数量；
92.根据所述令牌削减数量和所述令牌再分配数量队列中队列数据未完全被读取的队列对应的预设令牌再分配粒度的数值大小，对应的减少队列数据未完全被读取的队列中的队列数据。
93.本发明实施例所提供的集群服务限流管理装置可执行本发明任意实施例所提供的集群服务限流管理方法，具备执行方法相应的功能模块和有益效果。
94.图7为本发明实施例提供的一种计算机设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图7显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。计算机设备12可以任意具有计算能力的终端设备，如智能控制器及服务器、手机等终端设备。
95.如图7所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
96.总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
97.计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
98.系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
99.具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
100.计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图7中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
101.处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发实施例所提供的集群服务限流管理方法，该方法包括：
102.根据至少两个预设令牌再分配粒度对经过预分配后的剩余待分配令牌进行分配规划，得到各队列内数据相同且数值与所述预设令牌再分配粒度对应的至少两个令牌再分配数量队列；
103.在获取到任一集群服务节点的令牌再分配求的情况下，读取所述令牌再分配数量队列中的未被读取的队列数据中数值最大的一个队列数据作为目标队列数据；
104.将所述目标队列数据对应的令牌数量的令牌分配给所述任一集群服务节点，直到所述令牌再分配数量队列中的队列数据均被读取完毕。
105.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的集群服务限流管理方法，该方法包括：
106.根据至少两个预设令牌再分配粒度对经过预分配后的剩余待分配令牌进行分配规划，得到各队列内数据相同且数值与所述预设令牌再分配粒度对应的至少两个令牌再分配数量队列；
107.在获取到任一集群服务节点的令牌再分配求的情况下，读取所述令牌再分配数量队列中的未被读取的队列数据中数值最大的一个队列数据作为目标队列数据；
108.将所述目标队列数据对应的令牌数量的令牌分配给所述任一集群服务节点，直到所述令牌再分配数量队列中的队列数据均被读取完毕。
109.本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可
以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
110.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
111.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
112.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c++，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
113.本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
114.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

技术特征：
1.一种集群服务限流管理方法，其特征在于，包括：根据至少两个预设令牌再分配粒度对经过预分配后的剩余待分配令牌进行分配规划，得到各队列内数据相同且数值与所述预设令牌再分配粒度对应的至少两个令牌再分配数量队列；在获取到任一集群服务节点的令牌再分配求的情况下，读取所述令牌再分配数量队列中的未被读取的队列数据中数值最大的一个队列数据作为目标队列数据；将所述目标队列数据对应的令牌数量的令牌分配给所述任一集群服务节点，直到所述令牌再分配数量队列中的队列数据均被读取完毕。2.根据权利要求1所述的方法，其特征在于，所述根据至少两个预设令牌再分配粒度对经过预分配后的剩余待分配令牌进行分配规划，包括：建立所述预设令牌再分配粒度与对应的所述令牌再分配数量队列中队列数据的数量、所述剩余待分配令牌的数量的函数关系，并解析所述函数关系。3.根据权利要求2所述的方法，其特征在于，所述建立所述预设令牌再分配粒度与对应的所述令牌再分配数量队列中队列数据的数量、所述剩余待分配令牌的数量的函数关系，并解析所述函数关系，包括：分别计算各所述预设令牌再分配粒度与对应的令牌再分配数量队列中队列数据的数量的乘积数值；在各所述乘积数值之和小于或等于所述剩余待分配令牌的数量，且所述令牌再分配数量队列中队列数据的数量为正整数，且所述预设令牌再分配粒度中的最小再分配粒度为1的约束下，确定各所述令牌再分配数量队列中队列数据的数量。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取各集群服务节点的服务请求处理量数据，并根据所述服务请求处理量数据确定目标令牌数量调整集群服务节点；在进入到预设限流再分配粒度对应的令牌再分配阶段的情况下，获取所述目标令牌数量调整集群服务节点的剩余待使用令牌，并根据所述剩余待使用令牌的数量更新所述令牌再分配数量队列的队列数据。5.根据权利要求4所述的方法，其特征在于，根据所述剩余待使用令牌的数量更新所述令牌再分配数量队列的队列数据，包括：根据所述令牌再分配数量队列中队列数据未完全被读取的队列对应的预设令牌再分配粒度的数值大小，将所述剩余待使用令牌的数量分配到对应的令牌再分配数量队列中，直到所述剩余待使用令牌的数量被分配完毕。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取各集群服务节点的网络连接状态信息和cpu使用率信息，并基于所述网络连接状态信息和/或所述cpu使用率信息确定所述各集群服务节点的故障状态；基于处于故障状态的集群服务节点的数量调整当前剩余待分配令牌的数量。7.根据权利要求6所述的方法，其特征在于，所述基于处于故障状态的集群服务节点的数量调整当前剩余待分配令牌的数量，包括：确定处于故障状态的集群服务节点的数量占总集群服务节点数量的百分比，并基于所述百分比确定所述当前剩余待分配令牌的令牌削减数量；
根据所述令牌削减数量和所述令牌再分配数量队列中队列数据未完全被读取的队列对应的预设令牌再分配粒度的数值大小，对应的减少队列数据未完全被读取的队列中的队列数据。8.一种集群服务限流管理装置，其特征在于，包括：令牌分配规划模块，用于根据至少两个预设令牌再分配粒度对经过预分配后的剩余待分配令牌进行分配规划，得到各队列内数据相同且数值与所述预设令牌再分配粒度对应的至少两个令牌再分配数量队列；令牌分配请求获取模块，用于在获取到任一集群服务节点的令牌再分配求的情况下，读取所述令牌再分配数量队列中的未被读取的一个队列数据中数值最大的队列数据作为目标队列数据；令牌分配模块，用于将所述目标队列数据对应的令牌数量的令牌分配给所述任一集群服务节点，直到所述令牌再分配数量队列中的队列数据均被读取完毕。9.一种计算机设备，其特征在于，所述计算机设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的集群服务限流管理方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的集群服务限流管理方法。

技术总结
本发明实施例公开了一种集群服务限流管理方法、装置、设备和介质，其中，集群服务限流管理方法包括：根据至少两个预设令牌再分配粒度对经过预分配后的剩余待分配令牌进行分配规划，得到各队列内数据相同且数值与所述预设令牌再分配粒度对应的至少两个令牌再分配数量队列；在获取到任一集群服务节点的令牌再分配求的情况下，读取所述令牌再分配数量队列中的未被读取的队列数据中数值最大的一个队列数据作为目标队列数据；将所述目标队列数据对应的令牌数量的令牌分配给所述任一集群服务节点，直到所述令牌再分配数量队列中的队列数据均被读取完毕。本实施例的技术方案，可以提高对服务集群的限流管理的精确度，提高令牌使用率。用率。用率。


技术研发人员：郭森
受保护的技术使用者：北京京东世纪贸易有限公司
技术研发日：2023.05.15
技术公布日：2023/8/9