节点管理方法及系统与流程
未命名
07-23
阅读:78
评论:0
1.本技术涉及计算机技术领域,特别涉及一种节点管理方法。本技术同时涉及一种节点管理系统,一种包构建系统,一种包构建方法,一种计算设备,以及一种计算机可读存储介质。
背景技术:
2.随着互联网技术的发展,企业大多都采用智能设备提供计算服务。而企业中所持有的智能设备的计算资源可能存在巨大差别。比如,一些智能设备的处理器是4核,而另外一些智能设备的处理器是16核。此外,可能一些智能设备的磁盘容量是2t,而另外一些智能设备的磁盘容量为500g。目前,为了使这些智能设备的计算资源得到合理的利用,通常由人工指定这些智能设备的用途,从而导致人力成本的增加,因此,亟需一种解决上述问题的技术方案。
技术实现要素:
3.有鉴于此,本技术实施例提供了一种节点管理方法,以解决现有技术中存在的技术缺陷。本技术实施例同时提供了一种节点管理系统,一种包构建系统,一种包构建方法,一种计算设备,以及一种计算机可读存储介质。
4.根据本技术实施例的第一方面,提供了一种节点管理方法,应用于设备管理节点,包括:
5.接收携带有节点属性信息的节点分配请求,其中,所述节点属性信息对应设备节点;
6.将所述节点属性信息与子服务集合对应的筛选条件进行匹配;
7.根据匹配结果在所述子服务集合中确定所述设备节点对应的目标子服务;
8.基于所述节点属性信息以及所述目标子服务的服务属性信息,建立所述设备节点和所述目标子服务之间的关联关系,并作为所述节点分配请求的响应。
9.根据本技术实施例的第二方面,提供了一种节点管理系统,包括:
10.注册节点和设备管理节点;
11.其中,所述注册节点,被配置为接收设备节点提交的节点属性信息,基于所述节点属性信息构建节点分配请求,将所述节点分配请求发送至所述设备管理节点;
12.所述设备管理节点,被配置为接收携带有节点属性信息的节点分配请求,将所述节点属性信息与子服务集合对应的筛选条件进行匹配;根据匹配结果在所述子服务集合中确定所述设备节点对应的目标子服务;基于所述节点属性信息以及所述目标子服务的服务属性信息,建立所述设备节点和所述目标子服务之间的关联关系,并作为所述节点分配请求的响应。
13.根据本技术实施例的第三方面,提供了一种包构建系统,包括:
14.目标任务调度节点、设备管理节点、目标任务处理节点以及目标任务聚合节点,
15.其中,所述目标任务调度节点,被配置为接收发布包构建任务,并将所述发布包构建任务拆分为构建子任务,并基于所述构建子任务构建任务调度请求,将所述任务调度请求发送至所述设备管理节点;
16.所述设备管理节点,被配置为响应于所述任务调度请求,确定所述构建子任务对应的目标任务处理节点,并将所述目标任务处理节点的处理节点标识信息发送至所述目标任务调度节点,其中,所述目标任务处理节点为在子服务集合中任务处理子服务关联的任务处理节点集合中确定的,所述任务处理子服务为根据所述目标任务处理节点的节点属性信息与所述子服务集合对应的筛选条件的匹配结果,在所述子服务集合中确定的;
17.所述目标任务调度节点,还被配置为基于所述处理节点标识信息,将所述发布包构建任务对应的构建子任务发送至所述目标任务处理节点;
18.所述目标任务处理节点,被配置为拉取所述构建子任务对应的子发布文件集合,将所述子发布文件集合推送至所述目标任务聚合节点;
19.所述目标任务聚合节点,被配置为基于接收的所述子发布文件集合构建所述发布包构建任务对应的目标发布包。
20.根据本技术实施例的第四方面,提供了一种包构建方法,包括:
21.接收发布包构建任务,将所述发布包构建任务拆分为构建子任务;
22.确定所述构建子任务对应的目标任务处理节点,并将所述构建子任务发送至所述目标任务处理节点,其中,所述目标任务处理节点为在子服务集合中任务处理子服务关联的任务处理节点集合中确定的,所述任务处理子服务为根据所述目标任务处理节点的节点属性信息与所述子服务集合对应的筛选条件的匹配结果,在所述子服务集合中确定的;
23.接收所述目标任务处理节点基于所述构建子任务返回的子发布文件集合;
24.基于所述子发布文件集合构建所述发布包构建任务对应的目标发布包。
25.根据本技术实施例的第五方面,提供了一种计算设备,包括:
26.存储器和处理器;
27.所述存储器用于存储计算机可执行指令,所述处理器执行所述计算机可执行指令时实现所述节点管理方法的步骤。
28.根据本技术实施例的第六方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现所述节点管理方法或包构建方法的步骤。
29.根据本技术实施例的第七方面,提供了一种芯片,其存储有计算机程序,该计算机程序被芯片执行时实现所述节点管理方法或包构建方法的步骤。
30.本技术提供的节点管理方法,为了使设备节点得到合理的利用,通过接收携带有节点属性信息的节点分配请求,其中,节点属性信息对应设备节点,将节点属性信息与子服务集合对应的筛选条件进行匹配,再根据匹配结果在所述子服务集合中确定所述设备节点对应的目标子服务,实现了根据设备节点自身的节点属性信息,为其匹配适合的目标子服务;并基于节点属性信息以及目标子服务的服务属性信息,建立设备节点和所述目标子服务之间的关联关系,并作为节点分配请求的响应,以便使用该设备节点提供目标子服务对应的服务功能,不仅保障了目标子服务和设备节点之间的适配性,还保障了目标子服务的处理效率。
附图说明
31.图1是本技术一实施例提供的一种节点管理方法的示意图;
32.图2是本技术一实施例提供的一种节点管理方法的流程图;
33.图3是本技术一实施例提供的一种节点管理系统的结构示意图;
34.图4是本技术一实施例提供的一种节点管理系统中发布包构建任务的系统架构图;
35.图5是本技术一实施例提供的一种包构建系统的结构示意图;
36.图6是本技术一实施例提供的一种包构建方法的流程图;
37.图7是本技术一实施例提供的一种计算设备的结构框图。
具体实施方式
38.在下面的描述中阐述了很多具体细节以便于充分理解本技术。但是本技术能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本技术内涵的情况下做类似推广,因此本技术不受下面公开的具体实施的限制。
39.在本技术一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本技术一个或多个实施例。在本技术一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本技术一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
40.应当理解,尽管在本技术一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本技术一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。
41.在本技术中,提供了一种节点管理方法。本技术同时涉及一种节点管理系统,一种包构建系统,一种包构建方法,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
42.参见图1,本说明书实施例,为了使设备节点得到合理的利用,通过接收携带有节点属性信息的节点分配请求,其中,节点属性信息对应设备节点,将节点属性信息与子服务集合对应的筛选条件进行匹配,再根据匹配结果在所述子服务集合中确定所述设备节点对应的目标子服务,实现了根据设备节点自身的节点属性信息,为其匹配适合的目标子服务;并基于节点属性信息以及目标子服务的服务属性信息,建立设备节点和所述目标子服务之间的关联关系,并作为节点分配请求的响应,以便使用该设备节点提供目标子服务对应的服务功能,不仅保障了目标子服务和设备节点之间的适配性,还保障了目标子服务的处理效率。
43.图2示出了根据本技术一实施例提供的一种节点管理方法的流程图,具体包括以下步骤:
44.步骤202:接收携带有节点属性信息的节点分配请求,其中,所述节点属性信息对应设备节点。
45.具体的,所述节点属性信息,是指用以描述设备节点的相关信息,比如设备标识信
息、操作系统信息(比如windows\mac\linux等),处理器信息、内存信息、磁盘信息等。相应的,设备节点,可以是笔记本电脑、台式机、平板电脑等智能设备。节点分配请求,是指用以将设备节点分配至子服务,使其提供某种服务的请求。比如将设备节点分配给子服务a,则表示使用该设备节点提供子服务a对应的服务功能。
46.实际应用中,由于企业中通常包含多台智能设备,这些智能设备可能是员工的工作电脑、也可能是机房的服务器,此外,还可以是其他闲置的智能设备。为了更好地利用这些设备资源,可以将智能设备作为设备节点,并基于设备节点的节点属性信息生成节点分配请求,发送至设备管理节点。其中,设备管理节点,是指对分布式的设备节点提供设备管理服务的智能设备。实际应用中,设备管理节点可以为一个也可以为多个,在此不做限制。
47.具体实施时,可以由设备节点直接提交节点分配请求,还可以通过注册节点向设备管理节点发送节点分配请求,该节点分配请求也可以理解为节点注册请求。其中,注册节点,是指用以将设备节点注册到设备管理节点的智能设备。注册节点接收设备节点提交的节点属性信息,并基于该节点属性信息构建节点分配请求,将该节点分配请求发送至设备管理节点,节点分配请求中携带设备节点的节点属性信息。之后设备管理节点接收携带节点属性信息的节点分配请求。
48.比如:接收设备节点server1的节点属性信息info,该节点属性信息info包括:设备名称server1,操作系统windows,处理器16核,磁盘容量4t。
49.步骤204:将所述节点属性信息与子服务集合对应的筛选条件进行匹配。
50.具体的,在上述接收节点分配请求的基础上,为了保障对设备节点分配的合理性,本说明书实施例中,将节点属性信息与子服务集合对应的筛选条件匹配,以便确定设备节点适配的子服务。
51.其中,子服务集合,是指与设备管理节点对应的任务关联的子服务组成的集合。假设任务为计算任务,子服务集合可以包括:计算拆分子服务、计算执行服务、计算结果子服务等。假设任务为发布包构建任务,子服务集合中可以包括:任务调度子服务、任务处理子服务、任务聚合子服务、任务回溯子服务、任务安全子服务等。筛选条件,是指子服务集合中子服务对应的筛选条件。比如任务处理子服务是用以进行任务处理的子服务,其对于处理器的要求较高,则任务处理子服务对应的筛选条件可以为处理器:大于8核。比如任务聚合子服务,是用以进行产物聚合的子服务,其对于磁盘容量的要求较高,则任务聚合子服务的筛选条件可以为磁盘容量:大于2t。
52.需要说明的是,子服务集合中可能包括至少两个子服务,因此,将节点属性信息与子服务集合对应的筛选条件进行匹配,需要将节点属性信息依次与各个子服务的筛选条件进行匹配。此外,子服务的筛选条件可以是多个,在筛选条件为多个的情况下,可以将节点属性信息依次与各个筛选条件进行匹配,并在节点属性信息匹配全部的筛选条件的情况下,确定设备节点与该子服务的匹配结果为匹配;若任意一个匹配结果为不匹配的情况下,确定设备节点与该子服务的匹配结果为不匹配。
53.进一步的,为了简化匹配过程,使匹配过程标准化,可以根据节点属性信息为设备节点进行打标处理,具体实施时,确定节点属性信息的属性类型对应的标签类型,并确定节点属性信息对应的标签类型对应的标签信息。再确定基于子服务集合中子服务的筛选条件对应的目标标签类型,并将目标标签类型对应的标签信息与筛选条件进行匹配。具体的,匹
配过程,可以理解为判断标签内容是否满足筛选条件,若满足,则表明节点属性信息与筛选节点匹配,若不满足,则表明节点属性信息与筛选节点不匹配。
54.沿用上例,基于设备节点server1的节点属性信息info,为该设备节点server1添加操作系统标签,该操作系统标签的标签信息为windows,为该设备节点server1添加处理器标签,该处理器标签的标签信息为16核,并为该设备节点server1添加磁盘容量标签,该磁盘容量标签的标签信息为500g。而子服务集合中任务处理子服务的筛选条件为处理器大于8核,该筛选条件对应的目标标签类型为处理器标签,则将处理器标签的标签信息与筛选条件进行匹配,由于16核大于8核,因此,确定节点属性信息info与任务处理子服务的筛选条件的匹配结果为匹配。
55.步骤206:根据匹配结果在所述子服务集合中确定所述设备节点对应的目标子服务。
56.具体的,在上述将节点属性信息与子服务集合对应的筛选条件的匹配的基础上,根据匹配结果,即可确定设备节点适配的子服务,即目标子服务。
57.具体实施时,将匹配结果为匹配的筛选条件对应的子服务确定为设备节点对应的目标子服务,并忽略匹配结果为不匹配的筛选条件即可。
58.沿用上例,确定节点属性信息info与任务处理子服务的筛选条件的匹配结果为匹配情况下,将任务处理子服务确定为设备节点server1对应的目标子服务。
59.实际应用中,在确定设备节点对应的目标子服务的基础上,考虑到该设备节点中可能并未安装或启动该目标子服务对应的服务程序,因此无法提供该目标子服务相应的服务功能,因此,本说明书实施例中,所述根据匹配结果在所述子服务集合中确定所述设备节点对应的目标子服务之后,还包括:
60.向所述设备节点发送所述目标子服务对应的服务启动脚本;
61.在接收到所述设备节点响应于所述服务启动脚本发送的启动成功信息的情况下,执行下述步骤208。
62.具体的,服务启动脚本,是指用以启动目标子服务对应的服务程序的脚本。实际应用中,若设备节点中已经安装目标子服务对应的服务程序,则该服务启动脚本则为启动该服务程序的脚本;若设备节点中未安装目标子服务对应的服务程序,则该服务启动脚本运行时,包括对应用程序的安装以及启动。
63.基于此,在确定设备节点对应的目标子服务的基础上,为了使设备节点具备提供该目标子服务的能力,向该设备节点发送目标子服务对应的服务启动脚本。设备节点接收该服务启动脚本,并通过运行该服务启动脚本,启动目标子服务对应的应用程序,并在该应用程序启动成功的情况下,表明设备节点已经具备提供目标子服务的能力,则执行下述步骤208。
64.沿用上例,在将任务处理子服务确定为设备节点server1对应的目标子服务的基础上,将任务处理子服务对应的服务启动脚本发送至设备节点server1,设备节点server1运行该服务启动脚本,并通过服务启动脚本完成目标子服务对应的应用程序的启动之后,向设备管理节点发送启动成功信息,设备管理节点接收到该启动成功信息的情况下,执行下述步骤208。
65.综上,通过向设备节点发送目标子服务的服务启动脚本,并在设备节点启动成功
的情况下,再进行设备节点的分配,保障了分配后的设备节点具有目标子服务的服务功能,并保障了服务运行的稳定性。
66.步骤208:基于所述节点属性信息以及所述目标子服务的服务属性信息,建立所述设备节点和所述目标子服务之间的关联关系,并作为所述节点分配请求的响应。
67.具体的,在上述确定设备节点对应的目标子服务的基础上,进一步建立设备节点和目标子服务之间的关联关系,以便设备管理节点基于该关联关系,为设备节点分配该目标子服务对应的相关任务。
68.其中,服务属性信息,是指目标子服务相关的信息。该服务属性信息可以是目标子服务的服务名称、服务编号等。进一步的,建立设备节点和目标子服务之间的关联关系,可以是将设备标识信息添加至服务标识信息的下级展示目录中。也可以是建立二者之间的对应关系表等,在此不做限制。
69.考虑到设备节点可能出现故障,为了避免影响目标子服务的正常运行,需要及时获知设备节点的节点状态,并避免异常的设备节点继续被分配其对应子服务相关的任务,本说明书实施例中,所述节点管理任务,还可以通过如下两种方式,实现对设备节点状态检测:
70.方式一:向所述设备节点发送状态检测指令,并接收所述状态检测指令对应的检测信息,在所述检测信息为异常检测信息的情况下,响应于所述异常检测信息删除所述关联关系。
71.具体的,状态检测指令,是指用以检测设备节点健康状态的指令,该状态检测指令,可以是ping命令,也可以是触发设备节点进行状态检测的指令等,在此不做限制。相应的,检测信息,是指执行状态检测指令的返回信息。异常检测信息,表明设备节点出现异常或故障的信息。若检测信息中存在报错信息或其他非正常信息的情况下,则将检测信息确定为异常检测信息。
72.基于此,完成设备节点的服务分配的基础上,为了保障服务的可持续性,可以按照预设的时间周期,向设备节点发送状态检测指令,以便周期性地获取设备节点的状态情况。并在检测信息为异常检测信息的情况下,删除设备节点和目标子服务之间的关联关系,即表明将该设备节点从目标子服务中移除,使其不再提供目标子服务对应的服务功能。
73.比如:向设备节点server1发送ping命令,并接收到该ping命令对应的超时信息,由于该超时信息表明设备节点server1出现网络故障,即该超时信息为异常检测信息,因此,删除设备节点server1和任务处理子服务之间的关联关系。
74.方式二:接收所述设备节点上报的异常上报信息,响应于所述异常上报信息删除所述关联关系。
75.具体的,异常上报信息,是指设备节点向设备管理节点发送的异常信息,实际应用中,在对设备节点完成分配后,将保持其与节点管理节点的长连接,以便处理来自双方的健康检查及异常反馈。
76.比如:接收设备节点server1上报的内存异常信息,则响应于该内存异常信息删除设备节点server1和任务处理子服务之间的关联关系。
77.综上,通过主动和/或被动的方式对设备节点进行状态监控,并在确定设备节点出现异常或故障的情况下,删除设备节点和目标子服务之间的关联关系,保障了目标子服务
的稳定性,并减少了子服务功能处理异常的情况。
78.在完成设备节点的分配的基础上,设备节点即可在任务执行过程中提供相应的子服务功能,本说明书实施例中,对于发布包构建任务的处理具体包括如下步骤:
79.步骤20802:接收发布包构建任务关联的调度节点请求,基于所述调度节点请求在所述子服务集合中任务调度子服务关联的任务调度节点集合中确定目标任务调度节点。
80.具体的,发布包构建任务,是指用以构建发布包的任务。其中,发布包,可以是应用程序的发布包(比如游戏程序的发布包、视频程序的发布包等)或资源的发布包(比如教育资源的发布包、演讲资源的发布包等)。相应的,调度节点请求,是指用以申请任务调度节点的请求。
81.任务调度子服务,是指用以对发布包构建任务进行拆分以及发起任务调度请求的子服务。相应的,任务调度节点集合,是指由至少一个任务调度节点组成的集合。其中,任务调度节点是指用以提供任务调度子服务的设备节点。目标任务调度节点,是指用以为该发布包构建任务提供任务调度子服务的设备节点。
82.步骤20804:将所述目标任务调度节点的调度节点标识信息发送至所述调度节点请求对应的任务请求节点。
83.调度节点标识信息,是指可以唯一标识目标任务调度节点的信息。比如该目标任务调度节点的服务名、ip地址等。任务请求节点,是指发起发布包构建任务的节点。
84.基于此,为了执行发布包构建任务,可以由外部系统中的任务请求节点提交发布包构建任务关联的调度节点请求,设备管理节点接收到该调度节点请求之后,则基于该调度节点请求在任务调度子服务关联的任务调度节点集合中确定目标任务调度节点。具体实施时,可以随机在任务调度节点中随机选取目标任务调度节点。也可以按照预设顺序或预设规则,选取目标任务调度节点,在此不做限制。并将目标任务调度节点的调度节点标识信息,发送至任务请求节点。
85.步骤20806:接收所述目标任务调度节点基于所述发布包构建任务发送的任务调度请求。
86.具体的,任务调度请求,是指申请对发布包构建任务进行处理的请求。
87.基于此,在任务请求节点接收到该调度节点标识信息之后,将发布包构建任务发送至目标任务调度节点。可以由目标任务调度节点对该发布包构建任务申请任务处理节点(即构建任务调度请求,并向设备管理节点发送任务调度请求)。
88.步骤20808:基于所述任务调度请求,在所述子服务集合中任务处理子服务关联的任务处理节点集合中确定目标任务处理节点,并将所述目标任务处理节点的处理节点标识信息发送至所述目标任务调度节点。
89.具体的,任务处理子服务,是指用以处理发布包构建任务的子服务。相应的,任务处理节点集合,是指由至少一个任务处理节点组成的集合。其中,任务处理节点,是指用以提供任务处理子服务的设备节点。目标任务处理节点,是指用以为发布包构建任务提供任务处理子服务的设备节点。该目标任务处理节点的数量可以是一个或多个,在此不做限制。
90.进一步的,为了提高发布包构建任务的构建效率,可以由任务调度节点,将发布包构建任务拆分为构建子任务,并基于构建子任务的子任务信息提交任务调度请求。因此,本说明书实施例中,所述基于所述任务调度请求,在所述子服务集合中任务处理子服务关联
的任务处理节点集合中确定目标任务处理节点,具体实现如下所示:
91.对所述任务调度请求进行解析,获得所述发布包构建任务对应的子任务信息;
92.基于所述子任务信息,在所述子服务集合中任务处理子服务关联的任务处理节点集合中确定目标任务处理节点。
93.具体的,子任务信息,是指与发布包构建任务对应的构建子任务关联的信息。该子任务信息,可以构建子任务的构建子任务数量,也可以为构建子任务的子任务标识信息。其中,构建子任务,是指将发布包任务进行拆分后获得的子任务。相应的,子任务标识信息,是指可以唯一标识构建子任务的信息,比如子任务名称或子任务编码等信息。
94.基于此,设备管理节点接收到该任务调度请求之后,即可基于任务调度请求,在子服务集合中任务处理子服务关联的任务处理节点集合中确定目标任务处理节点。具体实施时,可以在任务调度节点中随机选取目标任务调度节点,也可以按照预设顺序或预设规则,在任务处理节点中选取目标任务调度节点,在此不做限制。本说明书实施例中,对任务调度请求进行解析,确定发布包构建任务对应的构建子任务关联的子任务信息,并基于子任务信息在任务处理子服务关联的任务处理节点集合中确定对应的目标任务处理节点,将目标任务处理节点的处理节点标识信息发送至目标任务调度节点。
95.比如:设备管理节点对目标任务调度节点d_node发送的任务调度请求dq进行解析,获得的发布包构建任务a对应的子任务信息为:构建子任务数量2个,则确定的目标任务处理节点的数量为2个,并按照预设筛选规则在在子服务集合中任务处理子服务关联的任务处理节点集合中筛选2个目标任务处理节点,其中,每个目标任务处理节点用以处理一个构建子任务。并将这2个目标任务处理节点的处理节点标识信息发送至目标任务调度节点d_node。
96.综上,基于发布包构建任务对应的子任务信息,确定目标任务处理节点,实现了基于子任务确定所需要的目标任务处理节点,保障了确定目标任务处理节点的合理性,并提高了发布包构建任务的任务处理效率。
97.步骤20810:接收所述目标任务处理节点返回的处理结果信息,并基于所述处理结果信息确定所述发布包构建任务的任务中间结果。
98.具体的,处理节点标识信息,是指可以唯一标识目标任务处理节点的信息。处理结果信息,是指用以描述处理构建子任务的处理结果的信息,比如处理完成、处理成功、处理失败等。任务中间结果,是指发布包构建任务中包含的构建子任务的综合处理结果。比如任意一个目标任务处理节点返回的处理结果信息为处理失败的情况下,该任务中间结果为处理失败。
99.基于此,在存在多个目标任务处理节点的情况下,全部目标任务处理节点返回的处理结果信息均为处理成功的情况下,确定发布包构建任务的任务中间结果为处理成功;存在任意一个目标任务处理节点返回的处理结果信息为处理失败的情况下,确定发布包构建任务的任务中间结果为处理失败。
100.综上,通过设备管理节点、目标任务调度节点以及目标任务处理节点之间的配合,实现了发布包构建任务的自动处理,并且不仅保障了处理过程的稳定性,还提高了处理效率。
101.进一步的,考虑到如果随机选择目标任务处理节点,可能会出现选取的目标任务
处理节点太过繁忙,而导致构建子任务处理不及时的情况出现。因此,本说明书实施例中,基于所述子任务信息,在子服务集合中任务处理子服务关联的任务处理节点集合中确定目标任务处理节点,具体实现如下所示:
102.确定所述任务处理子服务关联的任务处理节点集合,并确定所述任务处理节点集合中的任务处理节点对应的子任务处理数量;
103.根据所述子任务处理数量,对所述任务处理节点集合中的任务处理节点进行排序,并根据排序结果在所述任务处理节点集合中筛选所述子任务信息关联的目标任务处理节点。
104.具体的,子任务处理数量,是指任务处理节点中当前未完成的子任务的数量。该子任务处理数量越多,表示任务处理节点越繁忙。实际应用中,可以在确定目标任务处理节点,并将目标任务处理节点的任务处理标识信息发送至目标任务调度节点后,将该子任务处理数量加一,以便实现对目标任务处理节点的子任务数量的记录。
105.基于此,为了实现资源分配的合理性,可以通过查找的方式,确定任务处理子服务对应的任务处理节点的集合(即任务处理节点集合),以便确定可以用以提供任务处理子服务的设备节点。再查找该任务处理节点集合中的任务处理节点的子任务处理数量,并按照子任务数量(比如从少到多的顺序或从多到少的顺序),对任务处理节点集合中的任务处理节点进行排序,并根据排序结果在任务处理节点集合中筛选子任务数量最少的任务处理节点作为子任务信息关联的目标任务处理节点。具体的,在子任务信息为构建子任务数量的情况下,则需要筛选与构建子任务数量相同数量的目标任务处理节点,在子任务信息为子任务标识信息的情况下,需要筛选各个子任务标识信息对应的目标任务处理节点。
106.比如:设备管理节点对目标任务调度节点d_node发送的任务调度请求dq进行解析,获得的发布包构建任务a对应的构建子任务st1的子任务标识信息id1,以及构建子任务st2的子任务标识信息id2的基础上,基于任务处理子服务的服务名称查找到和任务处理子服务存在对应关系的任务处理节点集合中包括5个任务处理节点,这5个任务处理节点分别为:h_node1,h_node2,h_node3,h_node4,h_node5。其中,任务处理节点h_node1对应的子任务数量为3,任务处理节点h_node2对应的子任务数量为5,任务处理节点h_node3对应的子任务数量为0,任务处理节点h_node4对应的子任务数量为1,任务处理节点h_node5对应的子任务数量为2。则按照子任务数量从少到多的顺序,对这5个任务处理节点进行排序的排序结果为:任务处理节点h_node3,任务处理节点h_node4,任务处理节点h_node5,任务处理节点h_node1,任务处理节点h_node2。再根据排序结果,从中筛选出排在前两位的任务处理节点h_node3,任务处理节点h_node4,并将任务处理节点h_node3作为子任务标识信息id1对应的目标任务处理节点,将任务处理节点h_node4作为子任务标识信息id2对应的目标任务处理节点。
107.综上,根据子任务处理数量,在任务处理节点集合中筛选各个子任务标识信息对应的目标任务处理节点,可以实现选取子任务处理数量少的任务处理节点作为目标任务处理节点,保障了计算资源的合理分配,从而充分利用算力资源,减少了由于资源抢占导致的任务处理时间延长的情况,大大加快包体构建速度。
108.实际应用中,可能存在目标任务处理节点本身出现故障,或目标任务处理节点在处理构建子任务的过程中出现异常,导致无法完成构建子任务的情况,为了使处理失败的
构建子任务得以被重新处理,本说明书实施例中,所述将所述目标任务处理节点的处理节点标识信息发送至所述目标任务调度节点之后,还包括:
109.将所述处理节点标识信息发送至所述子服务集合中任务回溯子服务关联的目标任务回溯节点;
110.在预设时长内未接收到任意一个目标任务处理节点返回的处理结果信息情况下,将任意一个目标任务处理节点作为失败目标任务处理节点,所述节点管理方法,还包括:
111.确定所述失败目标任务处理节点的目标处理节点标识信息;
112.基于所述目标处理节点标识信息构建子任务查询请求,并将所述子任务查询请求发送至所述目标任务回溯节点,并接收所述目标任务回溯节点返回的所述任务查询请求对应的目标构建子任务;
113.在所述任务处理子服务关联的任务处理节点集合中,确定所述目标构建子任务对应的更新任务处理节点,并将所述构建子任务发送至所述更新任务处理节点。
114.具体的,任务回溯子服务,是指提供任务回溯功能的子服务。相应的,目标任务回溯节点,是指用以为发布包构建任务提供任务回溯子服务的设备节点。实际应用中,在对发布包构建任务进行任务处理过程中任意一个设备节点的处理信息都可以以日志的形式发送至该目标任务回溯节点,以便在任意一个处理过程出错的情况下,可以基于该目标任务回溯节点中存储的处理信息进行任务回溯,从而重新执行出错的任务部分。此外,对系统处理过程中异常问题定位时,也可触发任务回溯,执行特定任务回溯来定位具体异常内容。
115.失败目标任务处理节点,是指未返回处理结果信息的目标任务处理节点。目标处理节点标识信息,是指失败目标任务处理节点对应的处理节点标识信息。子任务查询请求,是指用以查询目标任务处理节点所处理失败的构建子任务的查询请求。更新任务处理节点,是指用以针对处理失败的构建子任务进行重新处理的任务处理节点。目标构建子任务,是指处理失败的构建子任务,也即失败目标任务处理节点所处理的构建子任务。
116.基于此,为了便于对构建子任务的回溯,将目标任务处理节点的处理节点标识信息发送至目标任务调度节点之后,将所述目标任务处理节点的处理节点信息发送至目标任务回溯节点。并在预设时长内未接收到失败目标任务处理节点返回的处理结果信息情况下,基于失败目标任务处理节点的目标处理节点标识信息构建子任务查询请求,并将子任务查询请求发送至目标任务回溯节点;由目标任务回溯节点基于该子任务查询请求中的目标处理节点标识信息,查询失败目标任务处理节点对应的目标构建子任务,并将该目标构建子任务发送至设备管理节点,设备管理节点接收目标任务回溯节点返回的所述任务查询请求对应的目标构建子任务。在任务处理子服务关联的任务处理节点集合中,确定目标构建子任务对应的更新任务处理节点;并将目标构建子任务发送至所述更新任务处理节点,以便利用更新任务处理节点对该目标构建子任务进行任务处理。
117.比如:目标任务处理节点为h_node3以及目标任务处理节点h_node4的情况下,并将目标任务处理节点h_node3的处理节点标识信息h_node3001,目标任务处理节点h_node4的处理节点标识信息h_node4002发送任务回溯子任务关联的目标任务回溯节点r_node。目标任务回溯节点r_node接收这两个处理节点标识信息,并将这两个处理节点标识信息进行存储。在10分钟内未收到目标任务处理节点h_node3返回的处理结果信息,则将目标任务处理节点h_node3作为失败目标任务处理节点,并基于该失败目标任务处理节点h_node3的目
标处理节点标识信息h_node3001构建子任务查询请求sq,将该子任务查询请求sq发送至目标任务回溯节点r_node。目标任务回溯节点基于该子任务查询请求sq中的目标处理节点标识信息h_node3001进行查询,确定目标处理节点标识信息h_node3001对应的目标构建子任务为st1,并将该目标构建子任务为st1发送至设备管理节点,设备管理节点确定目标构建子任务st1对应的更新任务处理节点为:任务处理节点h_node5,则将该目标构建子任务st1发送至任务处理节点h_node5,以便由任务处理节点h_node5对该目标构建子任务携带的子任务文件列表进行文件拉取。
118.综上,通过对失败目标任务处理节点进行回溯处理,确定失败目标任务处理节点对应的目标构建子任务,并将目标构建子任务发送至更新任务处理节点重新处理,实现了对处理失败的目标构建子任务更换任务处理节点,保证了发布包构建任务的健壮性。
119.此外,为了避免该失败目标任务处理节点仍作为待调度任务处理节点,导致其他子任务的异常状况,本说明书实施例中,还包括:
120.删除所述失败目标任务处理节点和所述任务处理子服务之间的目标关联关系。
121.目标关联关系,是指失败目标任务处理节点和任务处理子服务之间关联关系。
122.比如:在目标任务处理节点h_node3为失败目标任务处理节点情况下,删除失败目标任务处理节点h_node3和任务处理子服务之间的对应关系。
123.综上,预设时长内未接收到目标任务处理节点返回的处理结果信息情况下,删除目标任务处理节点和任务处理子服务之间的目标关联关系,避免了在该目标任务处理节点异常的情况下,仍将该目标任务处理节点用以处理其他子任务,导致其他子任务也无法被顺利执行。
124.在目标任务处理节点为多个情况下,由于各个目标任务处理节点只处理了一部分任务,它们的处理结果都无法作为一个完整的发布包,因此,所述基于所述处理结果信息确定所述发布包构建任务的任务中间结果之后,还包括:
125.在所述任务中间结果为处理成功的情况下,在所述子服务集合中任务聚合子服务关联的任务聚合节点集合中确定所述发布包构建任务对应的目标任务聚合节点,并将所述目标任务聚合节点的聚合节点标识信息发送至各个目标任务处理节点;
126.接收所述目标任务聚合节点返回的聚合结果信息,并基于所述聚合结果信息确定所述发布包构建任务的任务构建结果。
127.具体的,任务聚合子服务,是指用以将目标任务处理节点生成的子任务产物进行聚合的子服务。相应的,任务聚合节点集合,是指由至少一个任务聚合节点组成的集合。目标任务聚合节点,是指用以为上述发布包构建任务提供任务聚合子服务的设备节点。聚合节点标识信息,是指可以唯一标识目标任务聚合节点的信息,该聚合节点标识信息可以是目标任务聚合节点服务名、或ip地址等,在此不做限制。聚合结果信息,是指目标任务聚合节点执行任务聚合子服务的执行结果信息,该聚合结果信息可以为聚合成功信息,聚合完成信息或聚合失败信息。相应的,任务构建结果,是指发布包构建任务对应的发布包的构建结果,该任务构建结果,可以为构建成功,或构建失败。
128.需要说明的是,在所述子服务集合中任务聚合子服务关联的任务聚合节点集合中确定所述发布包构建任务对应的目标任务聚合节点的具体实现方式,与上述在所述子服务集合中任务处理子服务关联的任务处理节点集合中确定目标任务处理节点的具体实现方
式类似,参考上述在所述子服务集合中任务处理子服务关联的任务处理节点集合中确定目标任务处理节点的具体实现方式即可,在此不做赘述。
129.基于此,在任务中间结果为处理成功的情况下,表明目标任务处理节点已经完成对应的构建子任务,并存在相应的任务中间产物(即子发布文件集合)。为了将分散在多个目标任务处理节点的子发布文件集合进行聚合,需要由设备管理节点在任务聚合子服务关联的任务聚合节点集合中确定所述发布包构建任务对应的目标任务聚合节点,并将目标任务聚合节点的聚合节点标识信息发送至各个目标任务处理节点。以便各个目标任务处理节点将子发布文件集合发送至目标任务聚合节点。目标任务聚合节点接收到各个目标任务处理节点发送的子发布文件集合,并基于这些子发布文件集合构建发布构建任务对应的目标分布包。并根据构建结果生成聚合结果信息,将聚合结果信息发送至设备管理节点,设备管理节点接收目标任务聚合节点返回的聚合结果信息,并基于所述聚合结果信息确定所述发布包构建任务的任务构建结果。
130.比如:在发布包构建任务a对应的任务中间结果为处理成功的情况下,在任务聚合子服务关联的任务聚合节点集合中确定发布包构建任务a对应的目标任务聚合节点t_node,并将目标任务聚合节点t_node的聚合节点标识信息t_node0034发送至目标任务处理节点h_node3以及目标任务处理节点h_node4,目标任务处理节点h_node3将其根据构建子任务携带的子任务文件列表ctl1,从预设资源管理节点res_node拉取的子任务文件列表ctl1对应的子发布文件集合w_col1发送至目标任务聚合节点t_node。目标任务处理节点h_node4将其根据构建子任务携带的子任务文件列表ctl2,从预设资源管理节点res_node拉取的子任务文件列表ctl2对应的子发布文件集合w_col2发送至目标任务聚合节点t_node。目标任务聚合节点t_node将接收的子发布文件集合w_col1和子发布文件集合w_col2进行聚合处理,获得目标发布包。并聚合成功的情况下,向设备管理节点发送聚合成功信息,设备管理节点基于聚合成功信息,确定发布包构建任务对应的任务构建结果为构建成功。
131.综上,通过设备管理节点选取的目标任务聚合节点对目标任务处理节点的处理结果进行聚合,并基于返回的聚合结果信息确定任务构建结果,保障了构建发布包构建任务对应的发布包的准确性。
132.本技术提供的节点管理方法,为了使设备节点得到合理的利用,通过接收携带有节点属性信息的节点分配请求,其中,节点属性信息对应设备节点,将节点属性信息与子服务集合对应的筛选条件进行匹配,再根据匹配结果在所述子服务集合中确定所述设备节点对应的目标子服务,实现了根据设备节点自身的节点属性信息,为其匹配适合的目标子服务;并基于节点属性信息以及目标子服务的服务属性信息,建立设备节点和所述目标子服务之间的关联关系,并作为节点分配请求的响应,以便使用该设备节点提供目标子服务对应的服务功能,不仅保障了子服务和设备节点之间的适配性,还保障了子服务的处理效率。
133.与上述方法实施例相对应,本技术还提供了节点管理系统实施例,图3示出了本技术一实施例提供的一种节点管理系统的结构示意图。如图3所示,该节点管理系统300包括:
134.注册节点302和设备管理节点304;
135.其中,所述注册节点302,被配置为接收设备节点提交的节点属性信息,基于所述节点属性信息构建节点分配请求,将所述节点分配请求发送至所述设备管理节点304;
136.所述设备管理节点304,被配置为接收携带有节点属性信息的节点分配请求,将所
述节点属性信息与子服务集合对应的筛选条件进行匹配;根据匹配结果在所述子服务集合中确定所述设备节点对应的目标子服务;基于所述节点属性信息以及所述目标子服务的服务属性信息,建立所述设备节点和所述目标子服务之间的关联关系,并作为所述节点分配请求的响应。
137.具体的,注册节点302,是指用以将设备节点注册到设备管理节点304的智能设备。设备管理节点304,是指对分布式的设备节点提供设备管理服务的智能设备。实际应用中,注册节点302和设备管理节点304都可以为一个也可以为多个,在此不做限制。
138.设备节点,是指笔记本电脑、台式机或平板电脑等类型的智能设备。相应的,节点属性信息,是指用以描述设备节点的相关信息,比如设备标识信息、操作系统信息(比如windows\mac\linux等),处理器信息、内存信息、磁盘信息等。节点分配请求,是指用以将设备节点分配至子服务,使其提供某种服务的请求。比如将设备节点分配给子服务a,则表示使用该设备节点提供子服务a对应的服务功能。
139.子服务集合,是指与设备管理节点304对应的任务关联的子服务组成的集合。假设任务为计算任务,子服务集合可以包括:计算拆分子服务、计算执行服务、计算结果子服务等。假设任务为发布包构建任务,子服务集合中可以包括:任务调度子服务、任务处理子服务、任务聚合子服务、任务回溯子服务、任务安全子服务等。筛选条件,是指子服务集合中子服务对应的筛选条件。比如任务处理子服务是用以进行任务处理的子服务,其对于处理器的要求较高,则任务处理子服务对应的筛选条件可以为处理器:大于8核。比如任务聚合子服务,是用以进行产物聚合的子服务,其对于磁盘容量的要求较高,则任务聚合子服务的筛选条件可以为磁盘容量:大于2t。
140.服务属性信息,是指目标子服务相关的信息。该服务属性信息可以是目标子服务的服务名称、服务编号等。进一步的,建立设备节点和目标子服务之间的关联关系,可以是将设备标识信息添加至服务标识信息的下级展示目录中。也可以是建立二者之间的对应关系表等,在此不做限制。
141.实际应用中,由于企业中通常包含多台智能设备,这些智能设备可能是员工的工作电脑、也可能是机房的服务器,此外,还可以是其他闲置的智能设备。为了更好地利用这些设备资源,可以将这些智能设备作为设备节点,并基于设备节点的节点属性信息生成节点分配请求,发送至设备管理节点304。
142.基于此,注册节点302接收设备节点提交的节点属性信息,并基于该节点属性信息构建节点分配请求,该节点分配请求也可以理解为节点注册请求。将该节点分配请求发送至设备管理节点304,节点分配请求中携带设备节点的节点属性信息。之后设备管理节点304接收携带节点属性信息的节点分配请求,并为了保障对设备节点分配的合理性,将节点属性信息与子服务集合对应的筛选条件匹配。根据匹配结果,即可确定设备节点适配的子服务,即目标子服务。再建立设备节点和目标子服务之间的关联关系,以便设备管理节点304基于该关联关系,将设备节点分配该目标子服务对应的相关任务。
143.比如:接收设备节点server1的节点属性信息info,该节点属性信息info包括:设备名称server1,操作系统windows,处理器16核,磁盘容量4t。基于设备节点server1的节点属性信息info,为该设备节点server1添加操作系统标签,该操作系统标签的标签信息为windows,为该设备节点server1添加处理器标签,该处理器标签的标签信息为16核,并为该
设备节点server1添加磁盘容量标签,该磁盘容量标签的标签信息为500g。而任务处理子服务的筛选条件为处理器大于8核,该筛选条件对应的目标标签类型为处理器标签,则将处理器标签的标签信息与筛选条件进行匹配,由于16核大于8核,因此,确定节点属性信息info与任务处理子服务的筛选条件的匹配结果为匹配。并在确定节点属性信息info与任务处理子服务的筛选条件的匹配结果为匹配情况下,将任务处理子服务确定为设备节点server1对应的目标子服务。
144.实际应用中,在完成设备节点的分配的基础上,设备节点即可在任务执行过程中提供相应的子服务功能,由于存在多种子服务,这些子服务管理的设备节点在发布包构建任务的执行过程中,即可彼此配合共同完成该发布包构建任务的相关任务处理。本说明书实施例,所述节点管理系统300,还包括:目标任务调度节点;
145.所述设备管理节点304,还被配置为接收发布包构建任务关联的调度节点请求,基于所述调度节点请求确定所述子服务集合中任务调度子服务关联的目标任务调度节点;并将所述目标任务调度节点的调度节点标识信息发送至所述调度节点请求对应的任务请求节点;
146.所述目标任务调度节点,被配置为接收所述任务请求节点提交的所述发布包构建任务,并基于所述发布包构建任务,构建任务调度请求,将所述任务调度请求发送至所述设备管理节点304;
147.所述设备管理节点304,还被配置为基于所述任务调度请求,在所述子服务集合中任务处理子服务关联的任务处理节点集合中确定目标任务处理节点,并将所述目标任务处理节点的处理节点标识信息发送至所述目标任务调度节点。
148.基于此,为了执行发布包构建任务,可以由外部系统中的任务请求节点提交发布包构建任务关联的调度节点请求,设备管理节点304接收到该调度节点请求之后,则基于该调度节点请求在任务调度子服务关联的任务调度节点集合中确定目标任务调度节点。具体实施时,可以随机在任务调度节点中随机选取目标任务调度节点。也可以按照预设顺序或预设规则,选取目标任务调度节点,在此不做限制。并将目标任务调度节点的调度节点标识信息,发送至任务请求节点。
149.在任务请求节点接收到该调度节点标识信息之后,将发布包构建任务发送至目标任务调度节点。由目标任务调度节点基于发布包构建任务申请目标任务处理节点(即构建任务调度请求,并向设备管理节点304发送任务调度请求)。具体实施时,目标任务调度节点基于发布包构建任务,构建任务调度请求的方式是多种多样的,比如目标任务调度节点可以根据发布包构建任务对应的发布包所需的存储容量,确定所需要申请的目标任务处理节点的节点数量;具体的,存储容量越大,申请的节点数量越多,并基于该节点数量构建任务调度请求。
150.设备管理节点304接收到该任务调度请求之后,即可基于任务调度请求,在子服务集合中任务处理子服务关联的任务处理节点集合中确定目标任务处理节点。具体实施时,可以在任务调度节点中随机选取目标任务调度节点,也可以按照预设顺序或预设规则,在任务处理节点中选取目标任务调度节点,在此不做限制。并将目标任务处理节点的处理节点标识信息发送至目标任务调度节点。
151.比如:设备管理节点304接收任务请求节点q_node提交的发布包构建任务a关联的
调度节点请求nq,基于该调度节点请求nq,在子服务集合中任务调度子服务关联的任务调度节点集合中确定目标任务调度节点d_node,并将目标任务调度节点d_node的调度节点标识信息:d_node0234发送至调度节点请求nq,调度节点请求nq接收到该调度节点标识信息:d_node0234,并将发布包构建任务a发送至该调度节点标识信息:d_node0234对应的目标任务调度节点d_node。目标任务调度节点d_node接收到发布包构建任务a后,基于发布包任务中携带的发布包类型:增量包,确定需要申请的目标任务处理节点的节点数量为2,则基于该节点数量2构建任务调度请求dq,将任务调度请求dq发送至设备管理节点304,设备管理节点304基于该任务调度请求dq中携带的节点数量2,按照预设筛选规则在在子服务集合中任务处理子服务关联的任务处理节点集合中筛选2个目标任务处理节点,并将这2个目标任务处理节点的处理节点标识信息发送至目标任务调度节点d_node。
152.综上,由设备管理节点304确定发布包构建任务对应的目标任务调度节点,并由目标任务调度节点基于发布包构建任务,构建任务调度请求,使设备管理节点304基于任务调度请求确定待调度的目标任务处理节点,并将目标任务处理节点的处理节点标识信息发送至目标任务调度节点,实现了对发布包构建任务所需的目标任务处理节点的调度。
153.具体的,为了保障目标任务处理节点的处理节点标识信息发送至所述目标任务调度节点所申请的目标任务处理节点的合理性,从而提升任务处理的效率,本说明书实施例中,所述节点管理系统,还包括:目标任务处理节点;
154.所述目标任务调度节点,进一步被配置为将所述发布包构建任务拆分为构建子任务,并基于所述发布包构建任务对应的构建子任务关联的子任务信息构建任务调度请求;
155.相应的,所述设备管理节点304,进一步被配置为对所述任务调度请求进行解析,获得所述发布包构建任务对应的子任务信息;基于所述子任务信息,在所述子服务集合中任务处理子服务关联的任务处理节点集合中确定目标任务处理节点;并将所述目标任务处理节点的处理节点标识信息发送至所述目标任务调度节点;
156.所述目标任务调度节点,还被配置为基于所述处理节点标识信息,将所述发布包构建任务对应的构建子任务发送至所述目标任务处理节点;
157.所述目标任务处理节点,被配置为根据所述构建子任务携带的子任务文件列表,从预设资源管理节点拉取所述子任务文件列表对应的子发布文件集合,并在拉取完成的情况下,向所述设备管理节点304发送处理结果信息;
158.所述设备管理节点304,还被配置为接收所述目标任务处理节点返回的处理结果信息,并基于所述处理结果信息确定所述发布包构建任务的任务中间结果。
159.具体的,子任务文件列表,是指构建子任务对应的任务文件列表,该子任务文件列表中包括构建子任务所需要拉取的文件的名称和/或位置等信息。预设资源管理节点,是指用以管理以及存储待发布资源的设备节点。子发布文件集合,是指由构建子任务对应的资源文件组成的集合。
160.基于此,为了提高发布包构建任务的构建效率,目标任务调度节点将发布包构建任务拆分为构建子任务,再基于发布包构建任务对应的构建子任务关联的子任务信息构建任务调度请求。具体的,子任务信息,是指与发布包构建任务对应的构建子任务关联的信息。该子任务信息,可以构建子任务的构建子任务数量,也可以为构建子任务的子任务标识信息。
161.设备管理节点304对任务调度请求进行解析,确定发布包构建任务对应的构建子任务关联的子任务信息,并基于子任务信息在任务处理子服务关联的任务处理节点集合中确定对应的目标任务处理节点,将目标任务处理节点的处理节点标识信息发送至目标任务调度节点。
162.目标任务调度节点接收到该处理节点标识信息之后,基于处理节点标识信息,将发布包构建任务对应的构建子任务发送至处理节点标识信息对应的目标任务处理节点。目标任务处理节点接收到构建子任务后,由于构建子任务携带的子任务文件列表。因此,目标任务处理节点可以根据构建子任务携带的子任务文件列表,从预设资源管理节点拉取子任务文件列表对应的子发布文件集合。并在拉取完成的情况下,向设备管理节点304发送处理结果信息。
163.比如:目标任务调度节点d_node接收到发布包构建任务a后,将发布包构建任务a拆分为2个构建子任务,并根据构建子任务的构建子任务数量构建任务调度请求dq。设备管理节点304对目标任务调度节点d_node发送的任务调度请求dq进行解析,获得的发布包构建任务a对应的构建子任务数量2个,则确定的目标任务处理节点的数量为2个,并按照预设筛选规则在在子服务集合中任务处理子服务关联的任务处理节点集合中筛选2个目标任务处理节点:h_node3以及h_node4,并将这2个目标任务处理节点的处理节点标识信息发送至目标任务调度节点d_node。目标任务调度节点d_node将2个构建子任务分别发送到这2个目标任务处理节点。目标任务处理节点h_node3将其根据构建子任务携带的子任务文件列表
164.ctl1,从预设资源管理节点res_node拉取的子任务文件列表ctl1对应的子发布文件集合
165.w_col1,目标任务处理节点h_node4将其根据构建子任务携带的子任务文件列表ctl2,从预设资源管理节点res_node拉取的子任务文件列表ctl2对应的子发布文件集合w_col2,并在拉取完成的情况下,向设备管理节点304发送处理结果信息。设备管理节点304接收目标任务处理节点h_node3以及h_node4返回的处理结果信息均为拉取成功,则确定发布包构建任务a的任务中间结果为处理成功。
166.综上,基于发布包构建任务对应的构建子任务的子任务信息,确定目标任务处理节点,实现了基于构建子任务确定所需要的目标任务处理节点,保障了确定目标任务处理节点的合理性,并提高了发布包构建任务的任务处理效率。
167.可选地,由于保障对发布包构建任务拆分的合理性,本说明书实施例中,需要先确定发布包构建任务对应的任务文件列表,再基于任务文件列表进行拆分,所述目标任务调度节点,进一步被配置为:获取所述发布包构建任务携带的发布包信息;基于所述发布包信息确定任务文件列表;按照预设拆分策略,将所述任务文件列表拆分为子任务文件列表,并基于各个子任务文件列表构建对应的构建子任务。
168.进一步的,所述目标任务调度节点,将发布包构建任务拆分为构建子任务,具体实现如下所示:
169.获取所述发布包构建任务携带的发布包信息;基于所述发布包信息确定任务文件列表;按照预设拆分策略,将所述任务文件列表拆分为子任务文件列表,并基于各个子任务文件列表构建对应的构建子任务。
170.具体的,发布包信息,可以理解为待构建的发布包的相关信息,比如发布包类型
(增量包类型,修复包类型,全量包类型和/或流式包类型等),或者发布包文件位置等信息。基于该发布包信息,即可确定发布包构建任务对应的任务文件列表,其中,任务文件列表,狮是指发布包构建任务所需要的资源文件的列表。该列表中可以包括资源文件的相关信息,比如文件名称、文件目录等信息。并对任务文件列表进行拆分获得子任务文件列表。
171.基于此,根据发布包信息,确定发布包任务对应的任务文件列表,再将任务文件列表拆分为子任务文件列表,具体的,对任务文件列表进行拆分,可以是按照文件目录进行拆分,也可以是资源文件数量进行拆分,此外,还可以按照文件大小进行拆分等,在此不做限制。进一步的,可以将拆分后的子任务文件列表添加相应的子任务标识信息,生成构建子任务。
172.比如:在发布包信息为发布包类型:增量包的情况下,需要进行版本对比,从而确定增量包对应的任务文件列表tl,再根据任务文件列表tl中文件的数量1000,以及预设的拆分数量:500,将发布包构建任务拆分为两个构建子任务:构建子任务st1以及构建子任务st2,每个构建子任务对应包含500个资源文件的子任务文件列表。
173.综上,基于发布包信息确定任务文件列表,保障了任务文件列表的准确性。再基于对任务文件列表的拆分实现对发布包构建任务的拆分,增加了拆分的灵活性以及合理性。
174.在目标任务处理节点为多个情况下,由于各个目标任务处理节点只处理了一部分任务,它们的处理结果都无法作为一个完整的发布包,本说明书实施例,所述节点管理系统300,还包括:目标任务聚合节点;
175.所述设备管理节点304,还被配置为在任务中间结果为处理成功的情况下,在所述子服务集合中任务聚合子服务关联的任务聚合节点集合中确定所述发布包构建任务对应的目标任务聚合节点,并将所述目标任务聚合节点的聚合节点标识信息发送至各个目标任务处理节点;
176.所述目标任务处理节点,进一步被配置为将所述子发布文件集合推送至所述聚合节点标识信息对应的所述目标任务聚合节点;
177.所述目标任务聚合节点,被配置为基于接收的所述子发布文件集合构建所述发布包构建任务对应的目标发布包,并根据构建结果生成聚合结果信息,将所述聚合结果信息发送至设备管理节点304;
178.所述设备管理节点304,还被配置为接收所述目标任务聚合节点返回的聚合结果信息,并基于所述聚合结果信息确定所述发布包构建任务的任务构建结果。
179.具体的,任务聚合子服务,是指用以将目标任务处理节点生成的子任务产物(即子发布文件集合)进行聚合的子服务。相应的,任务聚合节点集合,是指由至少一个任务聚合节点组成的集合。目标任务聚合节点,是指用以为上述发布包构建任务提供任务聚合子服务的设备节点。聚合节点标识信息,是指可以唯一标识目标任务聚合节点的信息,该聚合节点标识信息可以是目标任务聚合节点服务名、或ip地址等,在此不做限制。聚合结果信息,是指目标任务聚合节点执行任务聚合子服务的执行结果信息,该聚合结果信息可以为聚合成功信息,聚合完成信息或聚合失败信息。相应的,任务构建结果,是指发布包构建任务对应的发布包(即目标发布包)的构建结果,该任务构建结果,可以为构建成功,或构建失败。
180.基于此,在任务中间结果为处理成功的情况下,表明目标任务处理节点已经完成对应的构建子任务,并存在相应的子发布文件集合。为了将分散在多个目标任务处理节点
的子发布文件集合进行聚合,需要由设备管理节点304在任务聚合子服务关联的任务聚合节点集合中确定所述发布包构建任务对应的目标任务聚合节点,并将目标任务聚合节点的聚合节点标识信息发送至各个目标任务处理节点。以便各个目标任务处理节点将子发布文件集合发送至目标任务聚合节点。目标任务聚合节点接收到各个目标任务处理节点发送的子发布文件集合,并基于这些子发布文件集合以及发布的版本信息,发布程序等构建发布构建任务对应的目标分布包。并根据构建结果生成聚合结果信息,将聚合结果信息发送至设备管理节点304,设备管理节点304接收目标任务聚合节点返回的聚合结果信息,并基于所述聚合结果信息确定所述发布包构建任务的任务构建结果。
181.比如:在发布包构建任务a对应的任务中间结果为处理成功的情况下,在任务聚合子服务关联的任务聚合节点集合中确定发布包构建任务a对应的目标任务聚合节点t_node,并将目标任务聚合节点t_node的聚合节点标识信息t_node0034发送至目标任务处理节点h_node3以及目标任务处理节点h_node4,目标任务处理节点h_node3将其根据构建子任务携带的子任务文件列表ctl1,从预设资源管理节点res_node拉取的子任务文件列表ctl1对应的子发布文件集合w_col1发送至目标任务聚合节点t_node。目标任务处理节点h_node4将其根据构建子任务携带的子任务文件列表ctl2,从预设资源管理节点res_node拉取的子任务文件列表ctl2对应的子发布文件集合w_col2发送至目标任务聚合节点t_node。目标任务聚合节点t_node将接收的子发布文件集合w_col1和子发布文件集合w_col2进行聚合处理,获得目标发布包。并聚合成功的情况下,向设备管理节点304发送聚合成功信息,设备管理节点基于聚合成功信息,确定发布包构建任务对应的任务构建结果为构建成功。
182.综上,通过设备管理节点304选取的目标任务聚合节点对目标任务处理节点的处理结果进行聚合,并基于返回的聚合结果信息确定任务构建结果,保障了构建发布包构建任务的准确性。
183.实际应用中,可能存在目标任务处理节点本身出现故障,或目标任务处理节点在处理构建子任务的过程中出现异常,导致无法完成构建子任务的情况,为了使处理失败的构建子任务得以被重新处理,本说明书实施例中,所述节点管理系统300,还包括:目标任务回溯节点;
184.所述设备管理节点304,还被配置为将所述处理节点标识信息发送至所述子服务集合中任务回溯子服务关联的所述目标任务回溯节点;
185.所述目标任务调度节点,还被配置为将各个构建子任务以及各个构建子任务对应的处理节点标识信息发送至所述目标任务回溯节点;
186.在预设时长内未接收到任意一个目标任务处理节点返回的处理结果信息情况下,将任意一个目标任务处理节点作为失败目标任务处理节点,所述设备管理节点304,还被配置为确定所述失败目标任务处理节点的目标处理节点标识信息;基于所述目标处理节点标识信息构建子任务查询请求,并将所述子任务查询请求发送至所述目标任务回溯节点;
187.所述目标任务回溯节点,被配置为基于子任务查询请求中携带的目标处理节点标识信息,查询所述失败目标任务处理节点对应的目标构建子任务,并将所述目标构建子任务发送至设备管理节点304;
188.所述设备管理节点304,还被配置为接收所述目标任务回溯节点返回的所述子任务查询请求对应的目标构建子任务;在所述任务处理子服务关联的任务处理节点集合中,
确定所述目标构建子任务对应的更新任务处理节点,并将所述目标构建子任务发送至所述更新任务处理节点。
189.具体的,任务回溯子服务,是指提供任务回溯功能的子服务。相应的,目标任务回溯节点,是指用以为发布包构建任务提供任务回溯子服务的设备节点。实际应用中,在对发布包构建任务进行任务处理过程中任意一个设备节点的处理信息都可以以日志的形式发送至该目标任务回溯节点,以便在任意一个处理过程出错的情况下,可以基于该目标任务回溯节点中存储的处理信息进行任务回溯,从而重新执行出错的任务部分。此外,对系统处理过程中异常问题定位时,也可触发任务回溯,执行特定任务回溯来定位具体异常内容。
190.失败目标任务处理节点,是指未返回处理结果信息的目标任务处理节点。目标处理节点标识信息,是指失败目标任务处理节点对应的处理节点标识信息。子任务查询请求,是指用以查询目标任务处理节点所处理失败的构建子任务的查询请求。更新任务处理节点,是指用以针对处理失败的构建子任务进行重新处理的任务处理节点。目标构建子任务,是指处理失败的构建子任务,也即失败目标任务处理节点所处理的构建子任务。
191.基于此,为了便于对构建子任务的回溯,将目标任务处理节点的处理节点标识信息发送至目标任务调度节点之后,将所述目标任务处理节点的处理节点信息发送至目标任务回溯节点。并且,目标任务调度节点将各个构建子任务以及各个构建子任务对应的处理节点标识信息也发送至目标任务回溯节点;在预设时长内未接收到失败目标任务处理节点返回的处理结果信息情况下,基于失败目标任务处理节点的目标处理节点标识信息构建子任务查询请求,并将子任务查询请求发送至目标任务回溯节点。
192.由目标任务回溯节点基于该子任务查询请求中的目标处理节点标识信息,查询失败目标任务处理节点对应的目标构建子任务,并将该目标构建子任务发送至设备管理节点304,设备管理节点304接收目标任务回溯节点返回的所述任务查询请求对应的目标构建子任务。在任务处理子服务关联的任务处理节点集合中,确定目标构建子任务对应的更新任务处理节点;并将目标构建子任务发送至所述更新任务处理节点,以便利用更新任务处理节点对该目标构建子任务进行任务处理。
193.比如:目标任务处理节点为h_node3以及目标任务处理节点h_node4的情况下,并将目标任务处理节点h_node3的处理节点标识信息h_node3001,目标任务处理节点h_node4的处理节点标识信息h_node4002发送任务回溯子任务关联的目标任务回溯节点r_node。目标任务回溯节点r_node接收这两个处理节点标识信息,并将这两个处理节点标识信息进行存储。
194.此外,目标任务调度节点d_node将构建子任务st1以及构建子任务st1对应的处理节点标识信息h_node3001发送至目标任务回溯节点r_node,并将构建子任务st2以及构建子任务st2对应的处理节点标识信息h_node4002发送至目标任务回溯节点r_node。
195.设备管理节点在10分钟内未收到目标任务处理节点h_node3返回的处理结果信息,则将目标任务处理节点h_node3作为失败目标任务处理节点,并基于该失败目标任务处理节点h_node3的目标处理节点标识信息h_node3001构建子任务查询请求sq,将该子任务查询请求sq发送至目标任务回溯节点r_node。目标任务回溯节r_node点基于该子任务查询请求sq中的目标处理节点标识信息h_node3001进行查询,确定目标处理节点标识信息h_node3001对应的目标构建子任务为st1,并将该目标构建子任务st1发送至设备管理节点
304,设备管理节点304确定目标构建子任务st1对应的更新任务处理节点为:任务处理节点h_node5,则将该目标构建子任务st1发送至任务处理节点h_node5,以便由任务处理节点h_node5对该目标构建子任务st1携带的子任务文件列表进行文件拉取。
196.综上,通过对失败目标任务处理节点进行回溯处理,确定失败目标任务处理节点对应的目标构建子任务,并将目标构建子任务发送至更新任务处理节点重新处理,实现了对处理失败的目标构建子任务更换任务处理节点,保证了发布包构建任务的健壮性。
197.实际应用中,考虑到设备节点之间通信的安全性,子服务集合中还可以包括任务安全子服务,该任务安全子服务关联任务安全节点集合,所述节点管理系统300,还包括:任务安全节点;
198.所述任务安全节点,被配置为接收所述注册节点提交的所述节点属性信息;基于所述节点属性信息确定节点认证关联信息,并基于所述节点认证关联信息生成通讯令牌,将所述通讯令牌发送至所述设备节点,其中,所述通讯令牌用于在设备间通信过程中对所述设备节点进行安全认证。
199.具体的,任务安全节点,是指用以提供任务安全子服务的设备节点。其中任务安全子服务,是指提供节点间通信的安全认证的子服务。该任务安全节点可以进行如主机注册信息验证、签名验证、ip验证、游戏白名单验证等验证。节点认证关联信息,是指用以生成通讯令牌的信息,比如节点名称、ip地址等信息。通讯令牌,可以理解为任务安全节点为设备节点颁发的节点认证。
200.基于此,在注册节点接收到设备节点的节点属性信息之后,则可以将该节点属性信息发送至任务安全节点,任务安全节点可以在节点属性信息中直接提取节点认证关联信息,并对节点认证关联信息采用预设加密算法进行加密,生成通讯令牌,将通讯令牌发送至设备节点,设备节点在与其他设备节点进行通讯时,即可在通讯请求中携带该通讯令牌,以便通讯对端可以基于通讯令牌对其进行身份认证。
201.假设,设备节点server1的节点属性信息info中还包括ip地址以及服务名,任务安全节点s_node接收到该节点属性信息info之后,提取节点属性信息info中的ip地址以及服务名,并对二者采用哈希算法进行加密,生成通讯令牌token,并将该通讯令牌token发送至设备节点server1。
202.综上,通过任务安全节点将通讯令牌发送至设备节点,实现了设备节点之间的安全通讯,保障了发布包构建任务执行过程中的安全性。
203.可选地,所述设备管理节点304,还被配置为:
204.删除所述失败目标任务处理节点和所述任务处理子服务之间的目标关联关系。
205.可选地,所述设备管理节点304,还被配置为:
206.向所述设备节点发送所述目标子服务对应的服务启动脚本;在接收到所述设备节点响应于所述服务启动脚本发送的启动成功信息的情况下,执行所述基于所述节点属性信息以及所述目标子服务的服务属性信息,建立所述设备节点和所述目标子服务之间的关联关系,并作为所述节点分配请求的响应步骤。
207.可选地,所述设备管理节点304,还被配置为:
208.向所述设备节点发送状态检测指令,并接收所述状态检测指令对应的检测信息,在所述检测信息为异常检测信息的情况下,响应于所述异常检测信息删除所述关联关系;
和/或,
209.接收所述设备节点上报的异常上报信息,响应于所述异常上报信息删除所述关联关系。
210.可选地,所述设备管理节点304,进一步被配置为:
211.确定所述任务处理子服务关联的任务处理节点集合,并确定所述任务处理节点集合中的任务处理节点对应的子任务处理数量;
212.根据所述子任务处理数量,对所述任务处理节点集合中的任务处理节点进行排序,并根据排序结果在所述任务处理节点集合中筛选所述子任务信息关联的目标任务处理节点。
213.上述实施例中设备管理节点304的具体实现与上述方法实施例中设备管理节点的具体实现类似,参考上述方法实施例中的具体实现即可,在此不再赘述。
214.具体的,如图4所示的发布包构建任务的系统架构图所示,为了保障在发布包构建任务的执行过程的高效性以及稳定性,需要由注册服务、节点管理服务以及分布式资源管理服务之间相互配合共同完成发布包的构建。其中,注册服务提供将设备节点注册至设备管理节点的服务,该注册服务由上述注册节点提供相应的服务功能;节点管理服务提供对设备节点的注册(分配)、状态检查等服务功能,该节点管理服务由上述设备管理节点提供相应的服务功能;分布式资源管理服务提供对资源文件的存储、下发等服务功能,分布式资源管理服务该由上述预设资源管理节点提供相应的服务功能。
215.进一步的,节点管理服务中还包括5个子服务,这5个子服务分别为任务调度子服务、任务处理子服务、任务聚合子服务、任务回溯子服务以及任务安全子服务。其中,任务调度子服务提供对发布包构建任务的拆分以及发起任务调度请求等服务功能,该任务调度子服务由其关联的任务调度节点提供相应的服务功能;任务处理子服务提供对拆分后的构建子任务进行任务处理的服务功能,该任务处理子服务由其关联的任务处理节点提供相应的服务功能;任务聚合子服务提供对任务处理节点中生成的任务中间产物进行聚合的服务功能,该任务聚合子服务由其关联的任务聚合节点提供相应的服务功能;任务回溯子服务提供对其他服务以及子服务关联的处理过程进行回溯的服务功能,该任务回溯子服务由其关联的任务回溯节点提供相应的服务功能;任务安全子服务提供对其他服务以及子服务关联的设备节点进行通讯认证的服务功能,该任务安全子服务由其关联的任务安全节点提供相应的服务功能;需要说明的是上述各种服务以及子服务关联的设备节点(注册节点、设备管理节点、任务调度节点、任务处理节点、任务聚合节点、任务回溯节点、预设资源管理节点)的数量为至少一个。此外,发布包构建任务的实现还可以外部依赖资源同步,包管理等服务。其中资源同步用以将更新的资源文件同步至分布式管理服务关联的预设资源管理节点。包管理,用以对构建的发布包进行类型以及版本的管理。
216.本技术提供的节点管理系统300,为了使设备节点得到合理的利用,通过注册节点302和设备管理节点304相配合,其中,注册节点302,被配置为接收设备节点提交的节点属性信息,基于节点属性信息构建节点分配请求,将节点分配请求发送至设备管理节点304;实现对设备节点发起节点分配请求;设备管理节点304,被配置为接收携带有节点属性信息的节点分配请求,其中,节点属性信息对应设备节点,将节点属性信息与子服务集合对应的筛选条件进行匹配,再根据匹配结果在所述子服务集合中确定所述设备节点对应的目标子
服务,实现了根据设备节点自身的节点属性信息,为其匹配适合的目标子服务;并基于节点属性信息以及目标子服务的服务属性信息,建立设备节点和所述目标子服务之间的关联关系,并作为节点分配请求的响应,以便使用该设备节点提供目标子服务对应的服务功能。
217.本技术提供的节点管理系统,为了使设备节点得到合理的利用,通过所述注册节点302,接收设备节点提交的节点属性信息,基于所述节点属性信息构建节点分配请求,将所述节点分配请求发送至所述设备管理节点304;并通过设备管理节点304接收携带有节点属性信息的节点分配请求,将所述节点属性信息与子服务集合对应的筛选条件进行匹配;根据匹配结果在所述子服务集合中确定所述设备节点对应的目标子服务;基于所述节点属性信息以及所述目标子服务的服务属性信息,建立所述设备节点和所述目标子服务之间的关联关系,并作为所述节点分配请求的响应。实现了根据设备节点自身的节点属性信息,为其匹配适合的目标子服务,以便使用该设备节点提供目标子服务对应的服务功能,不仅保障了目标子服务和设备节点之间的适配性,还保障了目标子服务的处理效率。
218.上述为本实施例的一种节点管理系统的示意性方案。需要说明的是,该节点管理系统的技术方案与上述的节点管理方法的技术方案属于同一构思,节点管理系统的技术方案未详细描述的细节内容,均可以参见上述节点管理方法的技术方案的描述。
219.与上述方法实施例相对应,本技术还提供了包构建系统实施例,图5示出了本技术一实施例提供的一种包构建系统的结构示意图。如图5所示,该包构建系统500包括:
220.目标任务调度节点502、设备管理节点504、目标任务处理节点506以及目标任务聚合节点508,
221.其中,所述目标任务调度节点502,被配置为接收发布包构建任务,并将所述发布包构建任务拆分为构建子任务,并基于所述构建子任务构建任务调度请求,将所述任务调度请求发送至所述设备管理节点504;
222.所述设备管理节点504,被配置为响应于所述任务调度请求,确定所述构建子任务对应的目标任务处理节点506,并将所述目标任务处理节点506的处理节点标识信息发送至所述目标任务调度节点502,其中,所述目标任务处理节点506为在子服务集合中任务处理子服务关联的任务处理节点集合中确定的,所述任务处理子服务为根据所述目标任务处理节点506的节点属性信息与所述子服务集合对应的筛选条件的匹配结果,在所述子服务集合中确定的;
223.所述目标任务调度节点502,还被配置为基于所述处理节点标识信息,将所述发布包构建任务对应的构建子任务发送至所述目标任务处理节点506;
224.所述目标任务处理节点506,被配置为拉取所述构建子任务对应的子发布文件集合,将所述子发布文件集合推送至所述目标任务聚合节点508;
225.所述目标任务聚合节点508,被配置为基于接收的所述子发布文件集合构建所述发布包构建任务对应的目标发布包。
226.可选地,所述设备管理节点504,还被配置为接收发布包构建任务关联的调度节点请求,基于所述调度节点请求确定所述子服务集合中任务调度子服务关联的目标任务调度节点502;并将所述目标任务调度节点502的调度节点标识信息发送至所述调度节点请求对应的任务请求节点;
227.所述目标任务调度节点502,进一步被配置为接收所述任务请求节点提交的所述
发布包构建任务。
228.可选地,所述目标任务调度节点502,进一步被配置为基于所述发布包构建任务对应的构建子任务关联的子任务信息构建任务调度请求;
229.相应的,所述设备管理节点504,进一步被配置为对所述任务调度请求进行解析,获得所述发布包构建任务对应的子任务信息;基于所述子任务信息,在所述子服务集合中任务处理子服务关联的任务处理节点集合中确定目标任务处理节点506。
230.可选地,所述目标任务处理节点506,还被配置为并在拉取完成的情况下,向所述设备管理节点504发送处理结果信息;
231.所述设备管理节点504,还被配置为接收所述目标任务处理节点506返回的处理结果信息,并基于所述处理结果信息确定所述发布包构建任务的任务中间结果;在所述任务中间结果为处理成功的情况下,在所述子服务集合中任务聚合子服务关联的任务聚合节点集合中确定所述发布包构建任务对应的目标任务聚合节点508,并将所述目标任务聚合节点508的聚合节点标识信息发送至各个目标任务处理节点506。
232.可选地,所述目标任务调度节点502,进一步被配置为获取所述发布包构建任务携带的发布包信息;基于所述发布包信息确定任务文件列表;
233.按照预设拆分策略,将所述任务文件列表拆分为子任务文件列表,并基于各个子任务文件列表构建对应的构建子任务。
234.所述目标任务处理节点506,进一步被配置为根据所述构建子任务携带的子任务文件列表,从预设资源管理节点拉取所述子任务文件列表对应的子发布文件集合。
235.可选地,所述目标任务聚合节点508,进一步被配置为基于接收的所述子发布文件集合构建所述发布包构建任务对应的目标发布包,并根据构建结果生成聚合结果信息,将所述聚合结果信息发送至所述设备管理节点504;
236.所述设备管理节点504,还被配置为接收所述目标任务聚合节点508返回的聚合结果信息,并基于所述聚合结果信息确定所述发布包构建任务的任务构建结果。
237.可选地,所述包构建系统,还包括:目标任务回溯节点;
238.所述设备管理节点504,还被配置为将所述处理节点标识信息发送至所述子服务集合中任务回溯子服务关联的所述目标任务回溯节点;
239.所述目标任务调度节点502,还被配置为将各个构建子任务以及各个构建子任务对应的处理节点标识信息发送至所述目标任务回溯节点;
240.在预设时长内未接收到任意一个目标任务处理节点506返回的处理结果信息情况下,将任意一个目标任务处理节点506作为失败目标任务处理节点506,所述设备管理节点504,还被配置为确定所述失败目标任务处理节点506的目标处理节点标识信息;基于所述目标处理节点标识信息构建子任务查询请求,并将所述子任务查询请求发送至所述目标任务回溯节点;
241.所述目标任务回溯节点,被配置为基于子任务查询请求中携带的目标处理节点标识信息,查询所述失败目标任务处理节点506对应的目标构建子任务,并将所述目标构建子任务发送至设备管理节点504;
242.所述设备管理节点504,还被配置为接收所述目标任务回溯节点返回的所述子任务查询请求对应的目标构建子任务;在所述任务处理子服务关联的任务处理节点集合中,
确定所述目标构建子任务对应的更新任务处理节点,并将所述目标构建子任务发送至所述更新任务处理节点。
243.可选地,所述包构建系统,还包括:注册节点;
244.所述注册节点,被配置为接收目标任务处理节点506提交的节点属性信息,基于所述节点属性信息构建节点分配请求,将所述节点分配请求发送至所述设备管理节点504;
245.所述设备管理节点504,被配置为接收携带有节点属性信息的节点分配请求,将所述节点属性信息与子服务集合对应的筛选条件进行匹配;根据匹配结果在所述子服务集合中确定所述目标任务处理节点506对应的任务处理子服务;基于所述节点属性信息以及所述任务处理子服务的服务属性信息,建立所述目标任务处理节点506和所述任务处理子服务之间的关联关系,并作为所述节点分配请求的响应。
246.可选地,所述包构建系统,还包括:任务安全节点;
247.所述任务安全节点,被配置为接收所述注册节点提交的所述节点属性信息;基于所述节点属性信息确定节点认证关联信息,并基于所述节点认证关联信息生成通讯令牌,将所述通讯令牌发送至所述目标任务处理节点506,其中,所述通讯令牌用于在设备间通信过程中对所述目标任务处理节点506进行安全认证。
248.可选地,所述设备管理节点504,还被配置为删除所述失败目标任务处理节点506和所述任务处理子服务之间的目标关联关系。
249.可选地,所述设备管理节点504,还被配置为向所述目标任务处理节点506发送所述任务处理子服务对应的服务启动脚本;在接收到所述任务处理节点响应于所述服务启动脚本发送的启动成功信息的情况下,执行所述基于所述节点属性信息以及所述任务处理子服务的服务属性信息,建立所述目标任务处理节点506和所述任务处理子服务之间的关联关系,并作为所述节点分配请求的响应。
250.可选地,所述设备管理节点504,还被配置为向所述d节点发送状态检测指令,并接收所述状态检测指令对应的检测信息,在所述检测信息为异常检测信息的情况下,响应于所述异常检测信息删除所述关联关系;和/或,
251.接收所述目标任务处理节点506上报的异常上报信息,响应于所述异常上报信息删除所述目标任务处理节点506和所述任务处理子服务之间的关联关系。
252.可选地,所述设备管理节点504,进一步被配置为确定所述任务处理子服务关联的任务处理节点集合,并确定所述任务处理节点集合中的任务处理节点对应的子任务处理数量;
253.根据所述子任务处理数量,对所述任务处理节点集合中的任务处理节点进行排序,并根据排序结果在所述任务处理节点集合中筛选所述子任务信息关联的目标任务处理节点506。
254.综上,本说明书实施例提供的包构建系统,通过目标任务调度节点502、设备管理节点504、目标任务处理节点506以及目标任务聚合节点508进行配合,其中,所述目标任务调度节点502,被配置为接收发布包构建任务,并将发布包构建任务拆分为构建子任务,并基于构建子任务构建任务调度请求,将任务调度请求发送至设备管理节点504,实现了针对拆分后的构建子任务申请用以进行任务处理的目标任务处理节点;设备管理节点504,被配置为响应于任务调度请求,确定构建子任务对应的目标任务处理节点506,并将目标任务处
理节点506的处理节点标识信息发送至目标任务调度节点502,其中,目标任务处理节点506为在子服务集合中任务处理子服务关联的任务处理节点集合中确定的,任务处理子服务为根据目标任务处理节点506的节点属性信息与子服务集合对应的筛选条件的匹配结果,在子服务集合中确定的,保障了用以进行任务处理的目标任务处理节点的处理能力;目标任务调度节点502,还被配置为基于处理节点标识信息,将发布包构建任务对应的构建子任务发送至目标任务处理节点506;目标任务处理节点506,被配置为拉取构建子任务对应的子发布文件集合,将子发布文件集合推送目标任务聚合节点508;目标任务聚合节点508,被配置为基于接收的所述子发布文件集合构建发布包构建任务对应的目标发布包,实现了基于构建子任务进行任务处理,从而提高了任务处理效率。
255.上述为本实施例的一种包构建系统的示意性方案。需要说明的是,该包构建系统的技术方案与上述的节点管理系统的技术方案属于同一构思,包构建系统的技术方案未详细描述的细节内容,均可以参见上述节点管理系统的技术方案的描述。
256.与上述系统实施例相对应,本技术还提供了包构建方法实施例,图6示出了本技术一实施例提供的一种包构建方法的流程图,所述包构建方法,具体包括如下步骤:
257.步骤602:接收发布包构建任务,将所述发布包构建任务拆分为构建子任务;
258.步骤604:确定所述构建子任务对应的目标任务处理节点,并将所述构建子任务发送至所述目标任务处理节点,其中,所述目标任务处理节点为在子服务集合中任务处理子服务关联的任务处理节点集合中确定的,所述任务处理子服务为根据所述目标任务处理节点的节点属性信息与所述子服务集合对应的筛选条件的匹配结果,在所述子服务集合中确定的;
259.步骤606:接收所述目标任务处理节点基于所述构建子任务返回的子发布文件集合;
260.步骤608:基于所述子发布文件集合构建所述发布包构建任务对应的目标发布包。
261.可选地,所述确定所述构建子任务对应的目标任务处理节点,包括:
262.基于所述构建子任务对应的子任务信息,在所述子服务集合中任务处理子服务关联的任务处理节点集合中确定目标任务处理节点。
263.可选地,所述将所述发布包构建任务拆分为构建子任务,包括:
264.获取所述发布包构建任务携带的发布包信息;
265.基于所述发布包信息确定任务文件列表;
266.按照预设拆分策略,将所述任务文件列表拆分为子任务文件列表,并基于各个子任务文件列表构建对应的构建子任务。
267.可选地,所述确定所述构建子任务对应的目标任务处理节点之后,还包括:
268.将各个构建子任务以及各个构建子任务对应的处理节点标识信息发送至所述目标任务回溯节点;
269.所述将所述构建子任务发送至所述目标任务处理节点之后,还包括:
270.在预设时长内未接收到任意一个目标任务处理节点返回的处理结果信息情况下,将任意一个目标任务处理节点作为失败目标任务处理节点;
271.确定所述失败目标任务处理节点的目标处理节点标识信息;
272.基于所述目标处理节点标识信息构建子任务查询请求,并将所述子任务查询请求
发送至所述目标任务回溯节点;
273.接收所述目标任务回溯节点返回的所述子任务查询请求对应的目标构建子任务;
274.在所述任务处理子服务关联的任务处理节点集合中,确定所述目标构建子任务对应的更新任务处理节点,并将所述目标构建子任务发送至所述更新任务处理节点。
275.可选地,所述将任意一个目标任务处理节点作为失败目标任务处理节点之后,还包括:删除所述失败目标任务处理节点和所述任务处理子服务之间的目标关联关系。
276.可选地,所述包构建方法,还包括:
277.接收所述目标任务处理节点的节点属性信息;
278.基于所述节点属性信息确定节点认证关联信息,并基于所述节点认证关联信息生成通讯令牌,将所述通讯令牌发送至所述目标任务处理节点,其中,所述通讯令牌用于在设备间通信过程中对所述目标任务处理节点进行安全认证。
279.可选地,所述包构建方法,还包括:
280.接收携带有所述节点属性信息的节点分配请求,将所述节点属性信息与子服务集合对应的筛选条件进行匹配;
281.根据匹配结果在所述子服务集合中确定所述目标任务处理节点对应的任务处理子服务;
282.基于所述节点属性信息以及所述任务处理子服务的服务属性信息,建立所述目标任务处理节点和所述任务处理子服务之间的关联关系,并作为所述节点分配请求的响应。
283.可选地,所述根据匹配结果在所述子服务集合中确定所述目标任务处理节点对应的任务处理子服务之后,还包括:
284.向所述目标任务处理节点发送所述任务处理子服务对应的服务启动脚本;
285.在接收到所述任务处理节点响应于所述服务启动脚本发送的启动成功信息的情况下,执行所述基于所述节点属性信息以及所述任务处理子服务的服务属性信息,建立所述目标任务处理节点和所述任务处理子服务之间的关联关系,并作为所述节点分配请求的响应步骤。
286.可选地,所述包构建方法,还包括:
287.向所述目标任务处理节点发送状态检测指令,并接收所述状态检测指令对应的检测信息,在所述检测信息为异常检测信息的情况下,响应于所述异常检测信息删除所述关联关系;和/或,
288.接收所述目标任务处理节点上报的异常上报信息,响应于所述异常上报信息删除所述关联关系。
289.可选地,所述基于所述构建子任务对应的子任务信息,在所述子服务集合中任务处理子服务关联的任务处理节点集合中确定目标任务处理节点,包括:
290.确定所述任务处理子服务关联的任务处理节点集合,并确定所述任务处理节点集合中的任务处理节点对应的子任务处理数量;
291.根据所述子任务处理数量,对所述任务处理节点集合中的任务处理节点进行排序,并根据排序结果在所述任务处理节点集合中筛选所述子任务信息关联的目标任务处理节点。
292.综上,本说明书实施例提供的包构建方法,通过接收发布包构建任务,将发布包构
建任务拆分为构建子任务;确定构建子任务对应的目标任务处理节点,并将所述构建子任务发送至目标任务处理节点,实现了针对拆分后的构建子任务申请用以进行任务处理的目标任务处理节点,其中,目标任务处理节点为在子服务集合中任务处理子服务关联的任务处理节点集合中确定的,任务处理子服务为根据目标任务处理节点的节点属性信息与所述子服务集合对应的筛选条件的匹配结果,在子服务集合中确定的,保障了用以进行任务处理的目标任务处理节点的处理能力;并接收目标任务处理节点基于构建子任务返回的子发布文件集合,基于子发布文件集合构建发布包构建任务对应的目标发布包,实现了基于构建子任务进行任务处理,从而提高了任务处理效率。
293.上述为本实施例的一种包构建方法的示意性方案。需要说明的是,该包构建方法的技术方案与上述的节点管理系统的技术方案属于同一构思,包构建系统的技术方案未详细描述的细节内容,均可以参见上述节点管理系统的技术方案的描述。
294.图7示出了根据本技术一实施例提供的一种计算设备700的结构框图。该计算设备700的部件包括但不限于存储器710和处理器720。处理器720与存储器710通过总线730相连接,数据库750用于保存数据。
295.计算设备700还包括接入设备740,接入设备740使得计算设备700能够经由一个或多个网络760通信。这些网络的示例包括公用交换电话网(pstn,public switched telephone network)、局域网(lan,local area network)、广域网(wan,wide area network)、个域网(pan,personal area network)或诸如因特网的通信网络的组合。接入设备740可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(nic,network interface controller))中的一个或多个,诸如ieee802.11无线局域网(wlan,wireless local area network)无线接口、全球微波互联接入(wi-max,worldwide interoperability for microwave access)接口、以太网接口、通用串行总线(usb,universal serial bus)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc,near field communication)接口,等等。
296.在本技术的一个实施例中,计算设备700的上述部件以及图7中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图7所示的计算设备结构框图仅仅是出于示例的目的,而不是对本技术范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
297.计算设备700可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或个人计算机(pc,personal computer)的静止计算设备。计算设备700还可以是移动式或静止式的服务器。
298.其中,处理器720用于执行所述节点管理方法的计算机可执行指令。
299.上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的节点管理方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述节点管理方法的技术方案的描述。
300.本技术一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时以用于节点管理方法。
301.上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的节点管理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述节点管理方法的技术方案的描述。
302.所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
303.本技术一实施例还提供一种芯片,其存储有计算机程序,该计算机程序被芯片执行时实现所述节点管理方法的步骤。
304.需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本技术并不受所描述的动作顺序的限制,因为依据本技术,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本技术所必须的。
305.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
306.以上公开的本技术优选实施例只是用于帮助阐述本技术。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本技术的内容,可作很多的修改和变化。本技术选取并具体描述这些实施例,是为了更好地解释本技术的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本技术。本技术仅受权利要求书及其全部范围和等效物的限制。
技术特征:
1.一种节点管理方法,其特征在于,应用于设备管理节点,包括:接收携带有节点属性信息的节点分配请求,其中,所述节点属性信息对应设备节点;将所述节点属性信息与子服务集合对应的筛选条件进行匹配;根据匹配结果在所述子服务集合中确定所述设备节点对应的目标子服务;基于所述节点属性信息以及所述目标子服务的服务属性信息,建立所述设备节点和所述目标子服务之间的关联关系,并作为所述节点分配请求的响应。2.根据权利要求1所述的方法,其特征在于,所述根据匹配结果在所述子服务集合中确定所述设备节点对应的目标子服务之后,还包括:向所述设备节点发送所述目标子服务对应的服务启动脚本;在接收到所述设备节点响应于所述服务启动脚本发送的启动成功信息的情况下,执行所述基于所述节点属性信息以及所述目标子服务的服务属性信息,建立所述设备节点和所述目标子服务之间的关联关系,并作为所述节点分配请求的响应步骤。3.根据权利要求1所述的方法,其特征在于,还包括:向所述设备节点发送状态检测指令,并接收所述状态检测指令对应的检测信息,在所述检测信息为异常检测信息的情况下,响应于所述异常检测信息删除所述关联关系;和/或,接收所述设备节点上报的异常上报信息,响应于所述异常上报信息删除所述关联关系。4.根据权利要求1所述的方法,其特征在于,还包括:接收发布包构建任务关联的调度节点请求,基于所述调度节点请求在所述子服务集合中任务调度子服务关联的任务调度节点集合中确定目标任务调度节点;将所述目标任务调度节点的调度节点标识信息发送至所述调度节点请求对应的任务请求节点;接收所述目标任务调度节点基于所述发布包构建任务发送的任务调度请求;基于所述任务调度请求,在所述子服务集合中任务处理子服务关联的任务处理节点集合中确定目标任务处理节点,并将所述目标任务处理节点的处理节点标识信息发送至所述目标任务调度节点;接收所述目标任务处理节点返回的处理结果信息,并基于所述处理结果信息确定所述发布包构建任务的任务中间结果。5.根据权利要求4所述的方法,其特征在于,所述基于所述任务调度请求,在所述子服务集合中任务处理子服务关联的任务处理节点集合中确定目标任务处理节点,包括:对所述任务调度请求进行解析,获得所述发布包构建任务对应的子任务信息;基于所述子任务信息,在所述子服务集合中任务处理子服务关联的任务处理节点集合中确定目标任务处理节点。6.根据权利要求5所述的方法,其特征在于,所述将所述目标任务处理节点的处理节点标识信息发送至所述目标任务调度节点之后,还包括:将所述处理节点标识信息发送至所述子服务集合中任务回溯子服务关联的目标任务回溯节点;在预设时长内未接收到任意一个目标任务处理节点返回的处理结果信息情况下,将任
意一个目标任务处理节点作为失败目标任务处理节点,所述节点管理方法,还包括:确定所述失败目标任务处理节点的目标处理节点标识信息;基于所述目标处理节点标识信息构建子任务查询请求,并将所述子任务查询请求发送至所述目标任务回溯节点,并接收所述目标任务回溯节点返回的所述子任务查询请求对应的目标构建子任务;在所述任务处理子服务关联的任务处理节点集合中,确定所述目标构建子任务对应的更新任务处理节点,并将所述目标构建子任务发送至所述更新任务处理节点。7.根据权利要求6所述的方法,其特征在于,还包括:删除所述失败目标任务处理节点和所述任务处理子服务之间的目标关联关系。8.根据权利要求4所述的方法,其特征在于,在目标任务处理节点为多个的情况下,所述基于所述处理结果信息确定所述发布包构建任务的任务中间结果之后,还包括:在所述任务中间结果为处理成功的情况下,在所述子服务集合中任务聚合子服务关联的任务聚合节点集合中确定所述发布包构建任务对应的目标任务聚合节点,并将所述目标任务聚合节点的聚合节点标识信息发送至各个目标任务处理节点;接收所述目标任务聚合节点返回的聚合结果信息,并基于所述聚合结果信息确定所述发布包构建任务的任务构建结果。9.根据权利要求5所述的方法,其特征在于,所述基于所述子任务信息,在所述子服务集合中任务处理子服务关联的任务处理节点集合中确定目标任务处理节点,包括:确定所述任务处理子服务关联的任务处理节点集合,并确定所述任务处理节点集合中的任务处理节点对应的子任务处理数量;根据所述子任务处理数量,对所述任务处理节点集合中的任务处理节点进行排序,并根据排序结果在所述任务处理节点集合中筛选所述子任务信息关联的目标任务处理节点。10.一种节点管理系统,其特征在于,包括:注册节点和设备管理节点;其中,所述注册节点,被配置为接收设备节点提交的节点属性信息,基于所述节点属性信息构建节点分配请求,将所述节点分配请求发送至所述设备管理节点;所述设备管理节点,被配置为接收携带有节点属性信息的节点分配请求,将所述节点属性信息与子服务集合对应的筛选条件进行匹配;根据匹配结果在所述子服务集合中确定所述设备节点对应的目标子服务;基于所述节点属性信息以及所述目标子服务的服务属性信息,建立所述设备节点和所述目标子服务之间的关联关系,并作为所述节点分配请求的响应。11.一种包构建系统,其特征在于,包括:目标任务调度节点、设备管理节点、目标任务处理节点以及目标任务聚合节点,其中,所述目标任务调度节点,被配置为接收发布包构建任务,并将所述发布包构建任务拆分为构建子任务,并基于所述构建子任务构建任务调度请求,将所述任务调度请求发送至所述设备管理节点;所述设备管理节点,被配置为响应于所述任务调度请求,确定所述构建子任务对应的目标任务处理节点,并将所述目标任务处理节点的处理节点标识信息发送至所述目标任务调度节点,其中,所述目标任务处理节点为在子服务集合中任务处理子服务关联的任务处
理节点集合中确定的,所述任务处理子服务为根据所述目标任务处理节点的节点属性信息与所述子服务集合对应的筛选条件的匹配结果,在所述子服务集合中确定的;所述目标任务调度节点,还被配置为基于所述处理节点标识信息,将所述发布包构建任务对应的构建子任务发送至所述目标任务处理节点;所述目标任务处理节点,被配置为拉取所述构建子任务对应的子发布文件集合,将所述子发布文件集合推送至所述目标任务聚合节点;所述目标任务聚合节点,被配置为基于接收的所述子发布文件集合构建所述发布包构建任务对应的目标发布包。12.一种包构建方法,其特征在于,包括:接收发布包构建任务,将所述发布包构建任务拆分为构建子任务;确定所述构建子任务对应的目标任务处理节点,并将所述构建子任务发送至所述目标任务处理节点,其中,所述目标任务处理节点为在子服务集合中任务处理子服务关联的任务处理节点集合中确定的,所述任务处理子服务为根据所述目标任务处理节点的节点属性信息与所述子服务集合对应的筛选条件的匹配结果,在所述子服务集合中确定的;接收所述目标任务处理节点基于所述构建子任务返回的子发布文件集合;基于所述子发布文件集合构建所述发布包构建任务对应的目标发布包。13.一种计算设备,其特征在于,包括:存储器和处理器;所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令实现权利要求1至9任意一项所述节点管理方法或实现权利要求12所述包构建方法的步骤。14.一种计算机可读存储介质,其存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1至9任意一项所述节点管理方法或实现权利要求12所述包构建方法的步骤。
技术总结
本申请提供节点管理方法及系统,其中所述节点管理方法,应用于设备管理节点,包括:接收携带有节点属性信息的节点分配请求,其中,所述节点属性信息对应设备节点;将所述节点属性信息与子服务集合对应的筛选条件进行匹配;根据匹配结果在所述子服务集合中确定所述设备节点对应的目标子服务;基于所述节点属性信息以及所述目标子服务的服务属性信息,建立所述设备节点和所述目标子服务之间的关联关系,并作为所述节点分配请求的响应。实现了根据设备节点自身的节点属性信息,为其匹配适合的目标子服务,以便使用该设备节点提供目标子服务对应的服务功能,不仅保障了目标子服务和设备节点之间的适配性,还保障了目标子服务的处理效率。率。率。
技术研发人员:李荣华 刘明敏 陈钢 刘子豪 姚喆
受保护的技术使用者:珠海金山数字网络科技有限公司
技术研发日:2023.04.21
技术公布日:2023/7/22
版权声明
本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
飞行汽车 https://www.autovtol.com/
上一篇:一种集成前端盖总成的制作方法 下一篇:多硫化保温板及其制备方法与流程
