任务调度方法、装置、设备及存储介质与流程

1.本发明涉及计算机技术领域，尤其涉及一种任务调度方法、装置、设备及存储介质。


背景技术：

2.现代大数据系统往往需要利用专门的调度器进行任务调度，实现任务的调度、监控、依赖信息设置等功能。当前，绝大部分市面上开源(比如apache dolphinscheduler，apache oozie，azkaban)以及商业软件(比如dataworks)均只能实现定时调度的功能，无法进行即时调度。
3.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

4.本发明的主要目的在于提出一种任务调度方法、装置、设备及存储介质，旨在解决如何使任务的调度不再单纯依靠定时器，可以满足按需求进行即时调度的技术问题。
5.为实现上述目的，本发明提供一种任务调度方法，所述任务调度方法包括：
6.通过即时调度模块监听与任务调度相关的信息；
7.在通过所述即时调度模块接收到任务调度信息时，根据所述任务调度信息确定目标任务；
8.根据所述任务调度信息控制调度器对所述目标任务进行调度。
9.可选地，所述根据所述任务调度信息控制调度器对所述目标任务进行调度，包括：
10.控制所述即时调度模块将所述任务调度信息发送给调度器；
11.控制所述调度器根据所述任务调度信息对所述目标任务进行调度。
12.可选地，所述控制所述即时调度模块将所述任务调度信息发送给调度器，包括：
13.控制所述即时调度模块将所述任务调度信息保存到数据库中，并记录当前状态；
14.根据所述当前状态控制所述即时调度模块与调度器进行通信，以将所述任务调度信息发送给所述调度器。
15.可选地，所述根据所述当前状态控制所述即时调度模块与调度器进行通信，包括：
16.获取调度器对应的调度器信息；
17.根据所述调度器信息确定调度器接口信息；
18.根据所述调度器接口信息确定所述调度器对应的http接口；
19.控制所述即时调度模块通过所述http接口与所述调度器进行通信。
20.可选地，所述通过即时调度模块监听与任务调度相关的信息，包括：
21.通过即时调度模块的消息接收接口监听与任务调度相关的信息。
22.可选地，所述根据所述任务调度信息控制调度器对所述目标任务进行调度之后，还包括：
23.对所述调度器的任务调度过程进行异步监控；
24.通过异步监控过程中得到的异步监控信息检测所述目标任务是否已被成功调用；
25.在所述目标任务已被成功调用时，发送成功提交信息给所述即时调度模块。
26.可选地，所述在所述目标任务已被成功调用时，发送成功提交信息给所述即时调度模块之后，还包括：
27.控制所述即时调度模块将所述成功提交信息存储到数据库中；
28.对所述数据库中存储的成功提交信息进行遍历，并将遍历到的成功提交信息作为当前信息；
29.根据所述当前信息确定对应的当前任务；
30.检测所述当前任务中是否存在跨项目依赖的任务；
31.根据检测结果进行任务执行。
32.可选地，所述根据检测结果进行任务执行，包括：
33.根据所述当前任务生成有向无环图；
34.为所述有向无环图中的每个任务生成对应的任务编号；
35.在检测结果为存在跨项目依赖的任务时，在依赖项目和被依赖项目的依赖位置各增加一个目标节点；
36.根据所述目标节点进行任务执行。
37.可选地，所述目标节点包括：第一目标节点和第二目标节点；
38.所述在依赖项目和被依赖项目的依赖位置各增加一个目标节点，包括：
39.在依赖项目的依赖位置增加第一目标节点；
40.在被依赖项目的依赖位置增加第二目标节点。
41.可选地，所述根据所述目标节点进行任务执行，包括：
42.根据依赖项目确定依赖任务，并根据被依赖项目确定被依赖任务；
43.获取所述依赖任务对应的第一任务编号，以及所述被依赖任务对应的第二任务编号；
44.根据所述第一任务编号对所述第二目标节点进行配置，得到配置后的第二目标节点；
45.根据所述第二任务编号对所述第一目标节点进行配置，得到配置后的第一目标节点；
46.根据所述配置后的第一目标节点和所述配置后的第二目标节点进行任务执行。
47.可选地，所述根据配置后的第一目标节点和配置后的第二目标节点进行任务执行，包括：
48.当任务执行到所述配置后的第一目标节点时，检测所述数据库中是否存在所述配置后的第二目标节点的节点成功记录；
49.若所述数据库中存在所述配置后的第二目标节点的节点成功记录，则判定依赖关系任务执行完毕，继续向下游执行任务。
50.此外，为实现上述目的，本发明还提出一种任务调度装置，所述任务调度装置包括：
51.信息监听模块，用于通过即时调度模块监听与任务调度相关的信息；
52.任务检测模块，用于在通过所述即时调度模块接收到任务调度信息时，根据所述任务调度信息确定目标任务；
53.任务调度模块，用于根据所述任务调度信息控制调度器对所述目标任务进行调度。
54.可选地，所述任务调度模块，还用于控制所述即时调度模块将所述任务调度信息发送给调度器；控制所述调度器根据所述任务调度信息对所述目标任务进行调度。
55.可选地，所述任务调度模块，还用于控制所述即时调度模块将所述任务调度信息保存到数据库中，并记录当前状态；根据所述当前状态控制所述即时调度模块与调度器进行通信，以将所述任务调度信息发送给所述调度器。
56.可选地，所述任务调度模块，还用于获取调度器对应的调度器信息；根据所述调度器信息确定调度器接口信息；根据所述调度器接口信息确定所述调度器对应的http接口；控制所述即时调度模块通过所述http接口与所述调度器进行通信。
57.可选地，所述信息监听模块，还用于通过即时调度模块的消息接收接口监听与任务调度相关的信息。
58.可选地，所述任务调度装置，还包括：
59.异步监控模块，用于对所述调度器的任务调度过程进行异步监控；通过异步监控过程中得到的异步监控信息检测所述目标任务是否已被成功调用；在所述目标任务已被成功调用时，发送成功提交信息给所述即时调度模块。
60.可选地，所述任务调度装置，还包括：
61.任务执行模块，用于控制所述即时调度模块将所述成功提交信息存储到数据库中；对所述数据库中存储的成功提交信息进行遍历，并将遍历到的成功提交信息作为当前信息；根据所述当前信息确定对应的当前任务；检测所述当前任务中是否存在跨项目依赖的任务；根据检测结果进行任务执行。
62.此外，为实现上述目的，本发明还提出一种任务调度设备，所述任务调度设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的任务调度程序，所述任务调度程序被处理器执行时实现如上所述的任务调度方法。
63.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有任务调度程序，所述任务调度程序被处理器执行时实现如上所述的任务调度方法。
64.本发明提出的任务调度方法，通过即时调度模块监听与任务调度相关的信息；在通过所述即时调度模块接收到任务调度信息时，根据所述任务调度信息确定目标任务；根据所述任务调度信息控制调度器对所述目标任务进行调度。本方案可以通过增加即时调度模块来进行信息监听，通过即时调度模块接收任务调度信息并确定目标任务，可以即时地控制调度器调度目标任务，从而克服了现有技术中存在的缺陷，使任务的调度不再单纯依靠定时器，可以满足按需求进行即时调度。
附图说明
65.图1是本发明实施例方案涉及的硬件运行环境的任务调度设备结构示意图；
66.图2为本发明任务调度方法第一实施例的流程示意图；
67.图3为本发明任务调度方法第二实施例的流程示意图；
68.图4为本发明任务调度方法第三实施例的流程示意图；
69.图5为本发明任务调度方法第四实施例的流程示意图；
70.图6为本发明任务调度装置第一实施例的功能模块示意图。
71.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
72.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
73.参照图1，图1为本发明实施例方案涉及的硬件运行环境的任务调度设备结构示意图。
74.如图1所示，该任务调度设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如按键，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速随机存取存储器(random access memory，ram)，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
75.本领域技术人员可以理解，图1中示出的设备结构并不构成对任务调度设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
76.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及任务调度程序。
77.在图1所示的任务调度设备中，网络接口1004主要用于连接外网，与其他网络设备进行数据通信；用户接口1003主要用于连接用户设备，与所述用户设备进行数据通信；本发明设备通过处理器1001调用存储器1005中存储的任务调度程序，并执行本发明实施例提供的任务调度方法。
78.基于上述硬件结构，提出本发明任务调度方法实施例。
79.参照图2，图2为本发明任务调度方法第一实施例的流程示意图。
80.在第一实施例中，所述任务调度方法包括：
81.步骤s10，通过即时调度模块监听与任务调度相关的信息。
82.需要说明的是，本实施例的执行主体可为任务调度设备，该任务调度设备可为具有数据处理功能的计算机设备，还可为其他可实现相同或相似功能的设备，本实施例对此不作限制，在本实施例中，以计算机设备为例进行说明。
83.需要说明的是，常规的计算机设备上在进行任务调度时，只能通过调度器实现定时调度的功能，本方案对此进行了改进，增加了即时调度模块，使任务的调度不再单纯依靠定时器，可以满足按需调度，从而实现任务的即时调度。
84.需要说明的是，本方案中的调度器仍然采用开源软件，本实施例对此不作限制，在本实施例中以调度器为azkaban为例进行说明，将调度器称为scheduler。本方案增加一个java web模块作为即时调度模块，称其为message center，简称mc。其中，mc和scheduler之间可以进行单向通信。
85.应当理解的是，可以通过即时调度模块的消息接收接口监听与任务调度相关的信息。其中，与任务调度相关的信息可以包括但不限于调度任务需求信息，还可包括其他类型的与任务调度相关的信息，本实施例对此不作限制。
86.在具体实现中，所述消息接收接口具体可为即时调度模块的message receive api，mc可以对外暴露message receive api。其中，message receive api可以包括但不限于http api，apache kafka api，apache pulsar api，apache rabbitmq api等，本实施例对此不作限制。
87.可以理解的是，即时调度模块可以通过对外暴露的message receive api来获取与任务调度相关的信息。例如，如果当前存在调度需求，则可通过即时调度模块监听与该调度需求相关的任务调度信息。
88.步骤s20，在通过所述即时调度模块接收到任务调度信息时，根据所述任务调度信息确定目标任务。
89.应当理解的是，在通过即时调度模块进行信息监听的过程中，如果接收到了任务调度信息，则可对任务调度信息进行解析，以确定目标任务。
90.在具体实现中，如果需要存在任务调度需求，则会根据该任务调度需求产生对应的任务调度信息，而在任务调度需求中可以包含需要进行调度的一些任务的任务信息。因此，在接收到任务调度信息之后，可以通过对任务调度信息进行解析的方式来确定需要调度的任务对应的任务信息，进而根据任务信息来确定目标任务。
91.步骤s30，根据所述任务调度信息控制调度器对所述目标任务进行调度。
92.应当理解的是，在得到任务调度信息并确定目标任务之后，可以根据任务调度信息来控制调度器对目标任务进行调度。
93.可以理解的是，在通过即时调度模块接收到任务调度信息时，可以控制即时调度模块将任务调度信息发送给调度器，然后控制调度器根据任务调度信息对目标任务进行调度。
94.需要说明的是，可控制即时调度模块将任务信息保存到数据库中，并记录当前状态，根据当前状态控制即时调度模块与调度器进行通信，以将任务调度信息发送给调度器。
95.应当理解的是，为了达到较好的通信效果，可以获取调度器对应的调度器信息，根据调度器信息确定调度器接口信息，然后根据调度器接口信息确定调度器对应的http接口，进而控制即时调度模块通过http接口与调度器进行通信。
96.在具体实现中，mc收到消息后，可以按照以下顺序完成以下操作：1、将收到的消息保存到数据库，并记录下状态。2、和scheduler之间进行通信，将message对应的任务调度起来，并进行异步监控。3、异步返回成功提交消息给message client。
97.需要说明的是，由于现有的调度器不仅是只能实现定时调度的功能，而且也无法进行跨项目依赖，非常复杂的项目只能拆解成多个小项目，在某些特定的场合下无法满足需求。因此，本方案还可增加跨项目依赖节点，在不改变调度器任何代码的情况下满足跨项目调度需求。
98.需要说明的是，本实施例中的项目依赖节点可为一个依赖解决节点jar包(java archive包)，称其为check point，简称cp。cp为需要编码的一个程序，功能简单，只需要将一个成功信息写入到第三方存储中，一般选择数据库。我们会为在有向无环图中的每个任
务生成唯一的u任务编号，若存在跨项目依赖，在依赖和被依赖项目的依赖位置增加一个cp节点。被依赖节点处的cp配置上依赖任务的节点编号，依赖节点处的cp配置上被依赖任务的节点编号。当任一任务执行到依赖节点时，会去检查数据库中是否存在本批次的对应的cp节点成功记录，若无，则一直等待。若存在，则将对应的状态消息删除或更新。消息发生变动后，之前写入消息的任务能够捕获到更新操作，之后任务继续向下游执行。依赖关系执行完毕。
99.应当理解的是，在控制调度器对目标任务进行调度之后，可以对调度器的任务调度过程进行异步监控，通过异步监控过程中得到的异步监控信息检测目标任务是否已被成功调用，在目标任务已被成功调用时，发送成功提交信息给即时调度模块。然后可以控制即时调度模块将成功提交信息存储到数据库中，对数据库中存储的成功提交信息进行遍历，并将遍历到的成功提交信息作为当前信息，根据当前信息确定对应的当前任务，检测当前任务中是否存在跨项目依赖的任务，根据检测结果进行任务执行。
100.可以理解的是，通过上述方式，本方案增加即时调度模块，任务的调度不再单纯依靠定时器，可以满足按需调度。增加跨项目依赖节点，在不改变调度器任何代码的情况下满足跨项目调度需求。
101.可以理解的是，绝大多数中小型公司没有足够的人力去维护开源软件，往往有这些需求时，公司业务已经发展到一定程度，若是去修改调度器源代码，对现有业务的影响是需要谨慎评估的。本方案中的任务调度方法对调度器未产生任何修改，安全性最高，且使用的技术为成熟的java web方案，简单易上手。
102.在本实施例中，通过即时调度模块监听与任务调度相关的信息；在通过所述即时调度模块接收到任务调度信息时，根据所述任务调度信息确定目标任务；根据所述任务调度信息控制调度器对所述目标任务进行调度。本方案可以通过增加即时调度模块来进行信息监听，通过即时调度模块接收任务调度信息并确定目标任务，可以即时地控制调度器调度目标任务，从而克服了现有技术中存在的缺陷，使任务的调度不再单纯依靠定时器，可以满足按需求进行即时调度。
103.在一实施例中，如图3所示，基于第一实施例提出本发明任务调度方法第二实施例，所述步骤s30，包括：
104.步骤s301，控制所述即时调度模块将所述任务调度信息发送给调度器。
105.应当理解的是，由于任务调度信息是即时调度模块接收的，而任务调度需要由调度器来执行，因此，为了达到较好的数据传输效果和任务调度效果，可以通过mc和scheduler之间单向通信，控制即时调度模块将任务调度信息发送给调度器。
106.进一步地，为了提高数据传输的效率，并且为了避免数据丢失，保证数据的完整性和安全性，所述步骤s301，包括：
107.控制所述即时调度模块将所述任务调度信息保存到数据库中，并记录当前状态；根据所述当前状态控制所述即时调度模块与调度器进行通信，以将所述任务调度信息发送给所述调度器。
108.可以理解的是，在即时调度模块接收到任务调度信息时，可控制即时调度模块将任务调度信息保存到数据库中，并且记录下当前状态。通过当前状态来判断是否需要将任务调度信息发送给调度器，在需要将任务调度信息发送给调度器的情况下，可以控制即时
调度模块与调度器进行通信，然后通过即时调度模块与调度器之间的通信将任务调度信息发送给调度器，以使调度器根据接收到的任务调度信息来对目标任务进行调度。
109.进一步地，为使即时调度模块与调度器能够进行稳定的通信，所述根据所述当前状态控制所述即时调度模块与调度器进行通信，包括：
110.获取调度器对应的调度器信息；根据所述调度器信息确定调度器接口信息；根据所述调度器接口信息确定所述调度器对应的http接口；控制所述即时调度模块通过所述http接口与所述调度器进行通信。
111.应当理解的是，由于调度器可能具有多种类型的api接口，这些接口具有不同的作用，而本方案为了达到较好的通信效果，使即时调度模块与调度器之间能够极性稳定的通信，本方案控制即时调度模块与调度器之间进行单向通信，使即时调度模块通过调度器的http接口与调度器进行通信。
112.需要说明的是，本实施例中的调度器信息可以包括但不限于调度器接口信息，还可包括其他类型的与调度器相关的信息，本实施例对此不作限制。
113.可以理解的是，为了使即时调度模块准确地与调度器的http接口进行通信，可以获取计算机设备中运行的调度器对应的调度器信息，然后根据调度器信息确定调度器对应的调度器接口信息。进而可以对调度器接口信息进行解析，以确定调度器对应的http接口，然后可以控制即使调度模块通过该http接口与调度器进行通信，使调度将任务调度信息对应的目标任务调度起来。
114.步骤s302，控制所述调度器根据所述任务调度信息对所述目标任务进行调度。
115.应当理解的是，在通过上述方式，使即时调度模块与调度器进行通信之后，可控制即时调度模块将任务调度信息发送给调度器，进而可以控制调度器根据任务调度信息对目标任务进行调度。
116.在本实施例中，控制所述即时调度模块将所述任务调度信息发送给调度器，控制所述调度器根据所述任务调度信息对所述目标任务进行调度，从而可以通过即时调度模块与调度器之间进行单向通信，将任务调度信息对应的目标任务调度起来，实现即时任务调度。
117.在一实施例中，如图4所示，基于第一实施例或第二实施例提出本发明任务调度方法第三实施例，在本实施例中，基于第一实施例进行说明，所述步骤s30之后，还包括：
118.步骤s40，对所述调度器的任务调度过程进行异步监控。
119.应当理解的是，在调度器进行任务调度的过程中，可以对调度器的任务调度过程进行异步监控，通过异步监控来判断调度是否完成。
120.步骤s50，通过异步监控过程中得到的异步监控信息检测所述目标任务是否已被成功调用。
121.可以理解的是，在进行异步监控时，可以得到对应的异步监控信息，因此，可以通过异步监控过程中得到的异步监控信息来检测与目标任务相关的调度是否完成，从而判断目标任务是否已被成功调用。
122.可以理解的是，如果与目标任务相关的调度没有完成，则说明目标任务还没有被成功调用，如果与目标任务相关的调度已经完成，则说明目标任务已被成功调用。
123.步骤s60，在所述目标任务已被成功调用时，发送成功提交信息给所述即时调度模
块。
124.应当理解的是，为了方便记录各项任务的调用状态，可以在检测到目标任务已经被成功调用时，发送成功提交信息给即时调度模块，由即时调度模块对各项任务的调用状态进行记录。
125.在本实施例中，对所述调度器的任务调度过程进行异步监控，通过异步监控过程中得到的异步监控信息检测所述目标任务是否已被成功调用，在所述目标任务已被成功调用时，发送成功提交信息给所述即时调度模块，从而可以通过异步监控的方式来检测目标任务是否已被成功调用，并通过即时调度模块来对各项任务的调用状态进行记录，进一步提高了任务调度效果。
126.在一实施例中，如图5所示，基于第三实施例提出本发明任务调度方法第四实施例，所述步骤s60之后，还包括：
127.步骤s70，控制所述即时调度模块将所述成功提交信息存储到数据库中。
128.应当理解的是，在即时调度模块接收到成功提交信息时，可以将成功递交信息存储到对应的数据库中，以通过数据库来对成功递交信息进行记录。
129.步骤s80，对所述数据库中存储的成功提交信息进行遍历，并将遍历到的成功提交信息作为当前信息。
130.可以理解的是，本实施例可通过遍历的方式来检测数据库中记录的成功提交信息。可以对数据库中存储的成功提交信息进行遍历，然后基于遍历结果，将遍历到的成功提交信息作为当前信息。
131.步骤s90，根据所述当前信息确定对应的当前任务。
132.可以理解的是，由于每个成功提交信息都有对应的任务，因此，通过上述方式将遍历到的成功提交信息作为当前信息之后，还可根据当前信息来确定对应的当前任务。
133.步骤s100，检测所述当前任务中是否存在跨项目依赖的任务。
134.可以理解的是，由于有一些任务之间可能存在跨项目的依赖关系，现有的调用器无法进行跨项目依赖，非常复杂的项目只能拆解成多个小项目，在某些特定的场合下无法满足需求。本方案提出的新的调度补偿方法，还可以在实现即时调度的前提下，进行跨项目依赖调度。可以增加跨项目依赖节点，在不改变调度器任何代码的情况下满足跨项目调度需求。
135.应当理解的是，在本实施例中，可以先检测当前任务中是否存在跨项目依赖的任务，如果不存在跨项目依赖的任务，则不需要进行跨项目依赖调度，如果存在跨项目依赖的任务，则需要进行跨项目依赖调度。
136.步骤s110，根据检测结果进行任务执行。
137.需要说明的是，可增加一个依赖解决节点jar包(java archive包)，称其为check point，简称cp。cp为需要编码的一个程序，功能简单，只需要将一个成功信息写入到第三方存储中，一般选择数据库。我们会为在有向无环图中的每个任务生成唯一的u任务编号，若存在跨项目依赖，在依赖和被依赖项目的依赖位置增加一个cp节点。被依赖节点处的cp配置上依赖任务的节点编号，依赖节点处的cp配置上被依赖任务的节点编号。当任一任务执行到依赖节点时，会去检查数据库中是否存在本批次的对应的cp节点成功记录，若无，则一直等待。若存在，则将对应的状态消息删除或更新。消息发生变动后，之前写入消息的任务
能够捕获到更新操作，之后任务继续向下游执行。依赖关系执行完毕。
138.进一步地，为了提高跨项目任务调度的调度效果，可以根据当前任务生成有向无环图，将每个任务都作为有向无环图中的一个节点。并且，在生成有向无环图之后，还可为有向无环图中的每个任务生成对应的任务编号。在检测结果为存在跨项目依赖的任务时，在依赖项目和被依赖项目的依赖位置各增加一个目标节点，进而根据目标节点来进行任务执行。
139.需要说明的是，由于是在依赖项目和被依赖项目的依赖位置各增加一个目标节点，因此，为了便于说明，可以将目标节点区分为第一目标节点和第二目标节点这两种目标节点，其中，第一目标节点与依赖项目对应，第二目标节点与被依赖项目对应。
140.可以理解的是，可在依赖项目的依赖位置增加一个第一目标节点，在被依赖项目的依赖位置增加一个第二目标节点。
141.应当理解的是，还可根据依赖项目确定依赖任务，同时还可根据被依赖项目确定被依赖任务。而且，还可获取依赖任务对应的第一任务编号，以及第二依赖任务对应的第二任务编号。进而根据第一任务编号对第二目标任务进行配置，得到配置后的第二目标节点，同时还可根据第二任务编号对第一目标节点进行配置，得到配置后的第一目标节点，然后，可以根据配置后的第一目标节点和配置后的第二目标节点进行任务执行。
142.需要说明的是，本实施例中如果一个节点对应的任务执行完毕，那么就会生成对应的节点成功记录，并可将该节点成功记录存储在数据库中。
143.可以理解的是，在进行上述节点配置之后，当任务执行到配置后的第一目标节点时，可以检测数据库中是否存在配置后的第二目标节点的节点成功记录。如果数据库中不存在配置后的第二目标节点的节点成功记录，则继续进行等待，如果数据库中存在配置后的第二目标节点的节点成功记录，则可判定依赖关系任务执行完毕，将对应的状态消息删除或更新，继续向下游执行任务。
144.在本实施例中，控制所述即时调度模块将所述成功提交信息存储到数据库中；对所述数据库中存储的成功提交信息进行遍历，并将遍历到的成功提交信息作为当前信息；根据所述当前信息确定对应的当前任务；检测所述当前任务中是否存在跨项目依赖的任务；根据检测结果进行任务执行。从而通过上述检测方式，可以检测到存在跨项目调度需求的任务，可对这些存在跨项目依赖的任务进行跨项目依赖执行，在不改变调度器任何代码的情况下满足跨项目调度需求。
145.此外，本发明实施例还提出一种存储介质，所述存储介质上存储有任务调度程序，所述任务调度程序被处理器执行时实现如上文所述的任务调度方法的步骤。
146.由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
147.此外，参照图6，本发明实施例还提出一种任务调度装置，所述任务调度装置包括：
148.信息监听模块10，用于通过即时调度模块监听与任务调度相关的信息。
149.需要说明的是，常规的计算机设备上在进行任务调度时，只能通过调度器实现定时调度的功能，本方案对此进行了改进，增加了即时调度模块，使任务的调度不再单纯依靠定时器，可以满足按需调度，从而实现任务的即时调度。
150.需要说明的是，本方案中的调度器仍然采用开源软件，本实施例对此不作限制，在
本实施例中以调度器为azkaban为例进行说明，将调度器称为scheduler。本方案增加一个java web模块作为即时调度模块，称其为message center，简称mc。其中，mc和scheduler之间可以进行单向通信。
151.应当理解的是，可以通过即时调度模块的消息接收接口监听与任务调度相关的信息。其中，与任务调度相关的信息可以包括但不限于调度任务需求信息，还可包括其他类型的与任务调度相关的信息，本实施例对此不作限制。
152.在具体实现中，所述消息接收接口具体可为即时调度模块的message receive api，mc可以对外暴露message receive api。其中，message receive api可以包括但不限于http api，apache kafka api，apache pulsar api，apache rabbitmq api等，本实施例对此不作限制。
153.可以理解的是，即时调度模块可以通过对外暴露的message receive api来获取与任务调度相关的信息。例如，如果当前存在调度需求，则可通过即时调度模块监听与该调度需求相关的任务调度信息。
154.任务检测模块20，用于在通过所述即时调度模块接收到任务调度信息时，根据所述任务调度信息确定目标任务。
155.应当理解的是，在通过即时调度模块进行信息监听的过程中，如果接收到了任务调度信息，则可对任务调度信息进行解析，以确定目标任务。
156.在具体实现中，如果需要存在任务调度需求，则会根据该任务调度需求产生对应的任务调度信息，而在任务调度需求中可以包含需要进行调度的一些任务的任务信息。因此，在接收到任务调度信息之后，可以通过对任务调度信息进行解析的方式来确定需要调度的任务对应的任务信息，进而根据任务信息来确定目标任务。
157.任务调度模块30，用于根据所述任务调度信息控制调度器对所述目标任务进行调度。
158.应当理解的是，在得到任务调度信息并确定目标任务之后，可以根据任务调度信息来控制调度器对目标任务进行调度。
159.可以理解的是，在通过即时调度模块接收到任务调度信息时，可以控制即时调度模块将任务调度信息发送给调度器，然后控制调度器根据任务调度信息对目标任务进行调度。
160.需要说明的是，可控制即时调度模块将任务信息保存到数据库中，并记录当前状态，根据当前状态控制即时调度模块与调度器进行通信，以将任务调度信息发送给调度器。
161.应当理解的是，为了达到较好的通信效果，可以获取调度器对应的调度器信息，根据调度器信息确定调度器接口信息，然后根据调度器接口信息确定调度器对应的http接口，进而控制即时调度模块通过http接口与调度器进行通信。
162.在具体实现中，mc收到消息后，可以按照以下顺序完成以下操作：1、将收到的消息保存到数据库，并记录下状态。2、和scheduler之间进行通信，将message对应的任务调度起来，并进行异步监控。3、异步返回成功提交消息给message client。
163.需要说明的是，由于现有的调度器不仅是只能实现定时调度的功能，而且也无法进行跨项目依赖，非常复杂的项目只能拆解成多个小项目，在某些特定的场合下无法满足需求。因此，本方案还可增加跨项目依赖节点，在不改变调度器任何代码的情况下满足跨项
目调度需求。
164.需要说明的是，本实施例中的项目依赖节点可为一个依赖解决节点jar包(java archive包)，称其为check point，简称cp。cp为需要编码的一个程序，功能简单，只需要将一个成功信息写入到第三方存储中，一般选择数据库。我们会为在有向无环图中的每个任务生成唯一的u任务编号，若存在跨项目依赖，在依赖和被依赖项目的依赖位置增加一个cp节点。被依赖节点处的cp配置上依赖任务的节点编号，依赖节点处的cp配置上被依赖任务的节点编号。当任一任务执行到依赖节点时，会去检查数据库中是否存在本批次的对应的cp节点成功记录，若无，则一直等待。若存在，则将对应的状态消息删除或更新。消息发生变动后，之前写入消息的任务能够捕获到更新操作，之后任务继续向下游执行。依赖关系执行完毕。
165.应当理解的是，在控制调度器对目标任务进行调度之后，可以对调度器的任务调度过程进行异步监控，通过异步监控过程中得到的异步监控信息检测目标任务是否已被成功调用，在目标任务已被成功调用时，发送成功提交信息给即时调度模块。然后可以控制即时调度模块将成功提交信息存储到数据库中，对数据库中存储的成功提交信息进行遍历，并将遍历到的成功提交信息作为当前信息，根据当前信息确定对应的当前任务，检测当前任务中是否存在跨项目依赖的任务，根据检测结果进行任务执行。
166.可以理解的是，通过上述方式，本方案增加即时调度模块，任务的调度不再单纯依靠定时器，可以满足按需调度。增加跨项目依赖节点，在不改变调度器任何代码的情况下满足跨项目调度需求。
167.可以理解的是，绝大多数中小型公司没有足够的人力去维护开源软件，往往有这些需求时，公司业务已经发展到一定程度，若是去修改调度器源代码，对现有业务的影响是需要谨慎评估的。本方案中的任务调度方法对调度器未产生任何修改，安全性最高，且使用的技术为成熟的java web方案，简单易上手。
168.在本实施例中，通过即时调度模块监听与任务调度相关的信息；在通过所述即时调度模块接收到任务调度信息时，根据所述任务调度信息确定目标任务；根据所述任务调度信息控制调度器对所述目标任务进行调度。本方案可以通过增加即时调度模块来进行信息监听，通过即时调度模块接收任务调度信息并确定目标任务，可以即时地控制调度器调度目标任务，从而克服了现有技术中存在的缺陷，使任务的调度不再单纯依靠定时器，可以满足按需求进行即时调度。
169.在一实施例中，所述任务调度模块30，还用于控制所述即时调度模块将所述任务调度信息发送给调度器；控制所述调度器根据所述任务调度信息对所述目标任务进行调度。
170.在一实施例中，所述任务调度模块30，还用于控制所述即时调度模块将所述任务调度信息保存到数据库中，并记录当前状态；根据所述当前状态控制所述即时调度模块与调度器进行通信，以将所述任务调度信息发送给所述调度器。
171.在一实施例中，所述任务调度模块30，还用于获取调度器对应的调度器信息；根据所述调度器信息确定调度器接口信息；根据所述调度器接口信息确定所述调度器对应的http接口；控制所述即时调度模块通过所述http接口与所述调度器进行通信。
172.在一实施例中，所述信息监听模块10，还用于通过即时调度模块的消息接收接口
监听与任务调度相关的信息。
173.在一实施例中，所述任务调度装置，还包括异步监控模块，用于对所述调度器的任务调度过程进行异步监控；通过异步监控过程中得到的异步监控信息检测所述目标任务是否已被成功调用；在所述目标任务已被成功调用时，发送成功提交信息给所述即时调度模块。
174.在一实施例中，所述任务调度装置，还包括任务执行模块，用于控制所述即时调度模块将所述成功提交信息存储到数据库中；对所述数据库中存储的成功提交信息进行遍历，并将遍历到的成功提交信息作为当前信息；根据所述当前信息确定对应的当前任务；检测所述当前任务中是否存在跨项目依赖的任务；根据检测结果进行任务执行。
175.在一实施例中，所述任务执行模块，还用于根据所述当前任务生成有向无环图；为所述有向无环图中的每个任务生成对应的任务编号；在检测结果为存在跨项目依赖的任务时，在依赖项目和被依赖项目的依赖位置各增加一个目标节点；根据所述目标节点进行任务执行。
176.在一实施例中，所述目标节点包括：第一目标节点和第二目标节点；所述任务执行模块，还用于在依赖项目的依赖位置增加第一目标节点；在被依赖项目的依赖位置增加第二目标节点。
177.在一实施例中，所述任务执行模块，还用于根据依赖项目确定依赖任务，并根据被依赖项目确定被依赖任务；获取所述依赖任务对应的第一任务编号，以及所述被依赖任务对应的第二任务编号；根据所述第一任务编号对所述第二目标节点进行配置，得到配置后的第二目标节点；根据所述第二任务编号对所述第一目标节点进行配置，得到配置后的第一目标节点；根据所述配置后的第一目标节点和所述配置后的第二目标节点进行任务执行。
178.在一实施例中，所述任务执行模块，还用于当任务执行到所述配置后的第一目标节点时，检测所述数据库中是否存在所述配置后的第二目标节点的节点成功记录；若所述数据库中存在所述配置后的第二目标节点的节点成功记录，则判定依赖关系任务执行完毕，继续向下游执行任务。
179.在本发明所述任务调度装置的其他实施例或具体实现方法可参照上述各方法实施例，此处不再赘述。
180.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
181.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
182.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该估算机软件产品存储在如上所述的一个估算机可读存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台智能设备(可
以是手机，估算机，任务调度设备，或者网络任务调度设备等)执行本发明各个实施例所述的方法。
183.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
184.本发明公开了a1、一种任务调度方法，所述任务调度方法包括：
185.通过即时调度模块监听与任务调度相关的信息；
186.在通过所述即时调度模块接收到任务调度信息时，根据所述任务调度信息确定目标任务；
187.根据所述任务调度信息控制调度器对所述目标任务进行调度。
188.a2、如a1所述的任务调度方法，所述根据所述任务调度信息控制调度器对所述目标任务进行调度，包括：
189.控制所述即时调度模块将所述任务调度信息发送给调度器；
190.控制所述调度器根据所述任务调度信息对所述目标任务进行调度。
191.a3、如a2所述的任务调度方法，所述控制所述即时调度模块将所述任务调度信息发送给调度器，包括：
192.控制所述即时调度模块将所述任务调度信息保存到数据库中，并记录当前状态；
193.根据所述当前状态控制所述即时调度模块与调度器进行通信，以将所述任务调度信息发送给所述调度器。
194.a4、如a3所述的任务调度方法，所述根据所述当前状态控制所述即时调度模块与调度器进行通信，包括：
195.获取调度器对应的调度器信息；
196.根据所述调度器信息确定调度器接口信息；
197.根据所述调度器接口信息确定所述调度器对应的http接口；
198.控制所述即时调度模块通过所述http接口与所述调度器进行通信。
199.a5、如a1至a4中任一项所述的任务调度方法，所述通过即时调度模块监听与任务调度相关的信息，包括：
200.通过即时调度模块的消息接收接口监听与任务调度相关的信息。
201.a6、如a1至a4中任一项所述的任务调度方法，所述根据所述任务调度信息控制调度器对所述目标任务进行调度之后，还包括：
202.对所述调度器的任务调度过程进行异步监控；
203.通过异步监控过程中得到的异步监控信息检测所述目标任务是否已被成功调用；
204.在所述目标任务已被成功调用时，发送成功提交信息给所述即时调度模块。
205.a7、如a6所述的任务调度方法，所述在所述目标任务已被成功调用时，发送成功提交信息给所述即时调度模块之后，还包括：
206.控制所述即时调度模块将所述成功提交信息存储到数据库中；
207.对所述数据库中存储的成功提交信息进行遍历，并将遍历到的成功提交信息作为当前信息；
208.根据所述当前信息确定对应的当前任务；
209.检测所述当前任务中是否存在跨项目依赖的任务；
210.根据检测结果进行任务执行。
211.a8、如a7所述的任务调度方法，所述根据检测结果进行任务执行，包括：
212.根据所述当前任务生成有向无环图；
213.为所述有向无环图中的每个任务生成对应的任务编号；
214.在检测结果为存在跨项目依赖的任务时，在依赖项目和被依赖项目的依赖位置各增加一个目标节点；
215.根据所述目标节点进行任务执行。
216.a9、如a8所述的任务调度方法，所述目标节点包括：第一目标节点和第二目标节点；
217.所述在依赖项目和被依赖项目的依赖位置各增加一个目标节点，包括：
218.在依赖项目的依赖位置增加第一目标节点；
219.在被依赖项目的依赖位置增加第二目标节点。
220.a10、如a9所述的任务调度方法，所述根据所述目标节点进行任务执行，包括：
221.根据依赖项目确定依赖任务，并根据被依赖项目确定被依赖任务；
222.获取所述依赖任务对应的第一任务编号，以及所述被依赖任务对应的第二任务编号；
223.根据所述第一任务编号对所述第二目标节点进行配置，得到配置后的第二目标节点；
224.根据所述第二任务编号对所述第一目标节点进行配置，得到配置后的第一目标节点；
225.根据所述配置后的第一目标节点和所述配置后的第二目标节点进行任务执行。
226.a11、如a10所述的任务调度方法，所述根据配置后的第一目标节点和配置后的第二目标节点进行任务执行，包括：
227.当任务执行到所述配置后的第一目标节点时，检测所述数据库中是否存在所述配置后的第二目标节点的节点成功记录；
228.若所述数据库中存在所述配置后的第二目标节点的节点成功记录，则判定依赖关系任务执行完毕，继续向下游执行任务。
229.本发明还公开了b12、一种任务调度装置，所述任务调度装置包括：
230.信息监听模块，用于通过即时调度模块监听与任务调度相关的信息；
231.任务检测模块，用于在通过所述即时调度模块接收到任务调度信息时，根据所述任务调度信息确定目标任务；
232.任务调度模块，用于根据所述任务调度信息控制调度器对所述目标任务进行调度。
233.b13、如b12所述的任务调度装置，所述任务调度模块，还用于控制所述即时调度模块将所述任务调度信息发送给调度器；控制所述调度器根据所述任务调度信息对所述目标任务进行调度。
234.b14、如b13所述的任务调度装置，所述任务调度模块，还用于控制所述即时调度模块将所述任务调度信息保存到数据库中，并记录当前状态；根据所述当前状态控制所述即
时调度模块与调度器进行通信，以将所述任务调度信息发送给所述调度器。
235.b15、如b14所述的任务调度装置，所述任务调度模块，还用于获取调度器对应的调度器信息；根据所述调度器信息确定调度器接口信息；根据所述调度器接口信息确定所述调度器对应的http接口；控制所述即时调度模块通过所述http接口与所述调度器进行通信。
236.b16、如b12至b15中任一项所述的任务调度装置，所述信息监听模块，还用于通过即时调度模块的消息接收接口监听与任务调度相关的信息。
237.b17、如b12至b15中任一项所述的任务调度装置，所述任务调度装置，还包括：
238.异步监控模块，用于对所述调度器的任务调度过程进行异步监控；通过异步监控过程中得到的异步监控信息检测所述目标任务是否已被成功调用；在所述目标任务已被成功调用时，发送成功提交信息给所述即时调度模块。
239.b18、如b17所述的任务调度装置，所述任务调度装置，还包括：
240.任务执行模块，用于控制所述即时调度模块将所述成功提交信息存储到数据库中；对所述数据库中存储的成功提交信息进行遍历，并将遍历到的成功提交信息作为当前信息；根据所述当前信息确定对应的当前任务；检测所述当前任务中是否存在跨项目依赖的任务；根据检测结果进行任务执行。
241.本发明还公开了c19、一种任务调度设备，所述任务调度设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的任务调度程序，所述任务调度程序被处理器执行时实现如上所述的任务调度方法。
242.本发明还公开了d20、一种存储介质，所述存储介质上存储有任务调度程序，所述任务调度程序被处理器执行时实现如上所述的任务调度方法。

技术特征：
1.一种任务调度方法，其特征在于，所述任务调度方法包括：通过即时调度模块监听与任务调度相关的信息；在通过所述即时调度模块接收到任务调度信息时，根据所述任务调度信息确定目标任务；根据所述任务调度信息控制调度器对所述目标任务进行调度。2.如权利要求1所述的任务调度方法，其特征在于，所述根据所述任务调度信息控制调度器对所述目标任务进行调度，包括：控制所述即时调度模块将所述任务调度信息发送给调度器；控制所述调度器根据所述任务调度信息对所述目标任务进行调度。3.如权利要求2所述的任务调度方法，其特征在于，所述控制所述即时调度模块将所述任务调度信息发送给调度器，包括：控制所述即时调度模块将所述任务调度信息保存到数据库中，并记录当前状态；根据所述当前状态控制所述即时调度模块与调度器进行通信，以将所述任务调度信息发送给所述调度器。4.如权利要求3所述的任务调度方法，其特征在于，所述根据所述当前状态控制所述即时调度模块与调度器进行通信，包括：获取调度器对应的调度器信息；根据所述调度器信息确定调度器接口信息；根据所述调度器接口信息确定所述调度器对应的http接口；控制所述即时调度模块通过所述http接口与所述调度器进行通信。5.如权利要求1至4中任一项所述的任务调度方法，其特征在于，所述通过即时调度模块监听与任务调度相关的信息，包括：通过即时调度模块的消息接收接口监听与任务调度相关的信息。6.如权利要求1至4中任一项所述的任务调度方法，其特征在于，所述根据所述任务调度信息控制调度器对所述目标任务进行调度之后，还包括：对所述调度器的任务调度过程进行异步监控；通过异步监控过程中得到的异步监控信息检测所述目标任务是否已被成功调用；在所述目标任务已被成功调用时，发送成功提交信息给所述即时调度模块。7.如权利要求6所述的任务调度方法，其特征在于，所述在所述目标任务已被成功调用时，发送成功提交信息给所述即时调度模块之后，还包括：控制所述即时调度模块将所述成功提交信息存储到数据库中；对所述数据库中存储的成功提交信息进行遍历，并将遍历到的成功提交信息作为当前信息；根据所述当前信息确定对应的当前任务；检测所述当前任务中是否存在跨项目依赖的任务；根据检测结果进行任务执行。8.一种任务调度装置，其特征在于，所述任务调度装置包括：信息监听模块，用于通过即时调度模块监听与任务调度相关的信息；任务检测模块，用于在通过所述即时调度模块接收到任务调度信息时，根据所述任务
调度信息确定目标任务；任务调度模块，用于根据所述任务调度信息控制调度器对所述目标任务进行调度。9.一种任务调度设备，其特征在于，所述任务调度设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的任务调度程序，所述任务调度程序被处理器执行时实现如权利要求1至7中任一项所述的任务调度方法。10.一种存储介质，其特征在于，所述存储介质上存储有任务调度程序，所述任务调度程序被处理器执行时实现如权利要求1至7中任一项所述的任务调度方法。

技术总结
本发明公开了一种任务调度方法、装置、设备及存储介质，属于计算机技术领域，所述方法包括：通过即时调度模块监听与任务调度相关的信息；在通过所述即时调度模块接收到任务调度信息时，根据所述任务调度信息确定目标任务；根据所述任务调度信息控制调度器对所述目标任务进行调度。本方案可以通过增加即时调度模块来进行信息监听，通过即时调度模块接收任务调度信息并确定目标任务，可以即时地控制调度器调度目标任务，从而克服了现有技术中存在的缺陷，使任务的调度不再单纯依靠定时器，可以满足按需求进行即时调度。满足按需求进行即时调度。满足按需求进行即时调度。


技术研发人员：石城
受保护的技术使用者：三六零数字安全科技集团有限公司
技术研发日：2021.12.30
技术公布日：2023/7/13