任务处理方法、装置、计算机设备及存储介质与流程

未命名 10-19 阅读:128 评论:0


1.本技术涉及人工智能技术领域与金融科技领域,尤其涉及任务处理方法、装置、计算机设备及存储介质。


背景技术:

2.目前,没有任何一种复杂的监控系统,能够在不需要用户介入的情况下仍然正常稳定运行。
3.当下,跑批任务监控是金融科技企业(例如保险企业、银行等)的数据体系建设中及其重要的一个环节,传统的跑批监控任务是要通过提前配置监控规则,告警规则,定时去对产出的数据用提前配置好的规则取比对校验,当发生问题是处罚告警通知到相应的值班和开发人员,然后由对应的值班开发人员手动发邮件告知对应的下游任务,待数据修复后再发给相应的下游任务进行重新跑数计算。当跑批监控任务在运行过程中,数据发生了重大问题时,虽然会发出告警,但错误数据对应的下游任务会继续运行。由于下游任务的运行停止处理强依赖于人为手工操作,下游任务的处理时效无法得到保证,且如果此时不停止下游任务的运行则可能会出现数据安全问题。


技术实现要素:

4.本技术实施例的目的在于提出一种任务处理方法、装置、计算机设备及存储介质,以解决现有的当跑批监控任务在运行过程中,数据发生了重大问题时,虽然会发出告警,但错误数据对应的下游任务会继续运行。由于下游任务的运行停止处理强依赖于人为手工操作,下游任务的处理时效无法得到保证,且如果此时不停止下游任务的运行则可能会出现数据安全问题的技术问题。
5.为了解决上述技术问题,本技术实施例提供一种任务处理方法,采用了如下所述的技术方案:
6.基于字段血缘关系获取与指定指标对应的指定数据表;
7.生成与所述指定数据表对应的监控规则,并基于所述监控规则生成与所述指定数据表对应的监控任务;
8.获取与所述指定数据表对应的所有下游任务,并对所述监控任务与各所述下游任务建立依赖关系;
9.在当前时间到达预设的任务调动时间段时,运行所述监控任务与所述下游任务;
10.在所述监控任务与所述下游任务的运行过程中,基于所述监控规则对所述指定数据表内的表数据进行数据校验;
11.若数据校验未通过,则将所述监控任务的任务状态设置为异常状态,并基于所述依赖关系对所有所述下游任务执行停止运行处理。
12.进一步的,所述生成与所述指定数据表对应的监控规则的步骤,具体包括:
13.获取所述指定数据表的应用场景类型信息;
14.基于所述应用场景类型信息,从预设的规则数据库中获取与所述应用场景类型信息对应的第一监控规则;
15.将所述第一监控规则作为与所述指定数据表对应的监控规则。
16.进一步的,所述生成与所述指定数据表对应的监控规则的步骤,具体包括:
17.获取所述指定数据表的表信息;
18.基于所述表信息,构建与所述指定数据表对应的指定规则配置模板;
19.将所述指定规则配置模板发送至与所述指定标数据表对应的指定客户端;
20.接收所述指定客户端返回的与所述指定规则配置模板对应的规则配置信息;
21.基于所述规则配置信息与所述指定规则配置模板生成第二监控规则;
22.将所述第二监控规则作为与所述指定数据表对应的监控规则。
23.进一步的,所述基于所述规则配置信息与所述指定规则配置模板生成第二监控规则的步骤,具体包括:
24.获取预设的规则配置规范;
25.基于所述规则配置规范,检测所述规则配置信息是否符合预设的配置要求;
26.若符合所述配置要求,执行所述基于所述规则配置信息与所述指定规则配置模板生成第二监控规则的步骤。
27.进一步的,所述对所述监控任务与各所述下游任务建立依赖关系的步骤,具体包括:
28.对所有所述下游任务进行重要性检测,得到各所述下游任务的重要性结果;
29.基于所述重要性结果,从所有所述下游任务中筛选出重要性结果为重要性低的普通下游任务;
30.将所述普通下游任务从所有所述下游任务中剔除,得到剔除后的下游任务;
31.对所述监控任务与所述剔除后的下游任务建立依赖关系。
32.进一步的,,所述对所有所述下游任务进行重要性检测,得到各所述下游任务的重要性结果的步骤,具体包括:
33.获取指定下游任务的指定任务描述信息;其中,所述指定下游任务为所有所述下游任务中的任意一个;
34.将所述指定任务描述信息输入至预先训练好的任务分析模型内;
35.通过所述任务分析模型对所述指定任务描述信息进行重要性分析,生成与所述指定下游任务对应的指定重要性结果。
36.进一步的,在所述在当前时间到达预设的任务调动时间段时,运行所述监控任务与所述下游任务的步骤之前,还包括:
37.按照预设的长度划分值将一天的时间划分为多个处理时间段;
38.基于预设的空闲时间段表格从所有所述处理时间段筛选出第一处理时间段;其中,所述第一处理时间段的数量为多个;
39.基于预存储的历史资源数据记录表,分别统计在预设时间周期内各所述第一处理时间段的资源消耗数据;
40.从所有所述资源消耗数据中筛选出小于预设的消耗数值阈值的指定资源消耗数据;
41.从所有所述第一处理时间段中筛选出与所述指定资源消耗数据对应的第二处理时间段;
42.基于预设的时间区间范围对所述第二处理时间段进行筛选,得到第三处理时间段;
43.将所述第三处理时间段作为所述任务调动时间段。
44.为了解决上述技术问题,本技术实施例还提供一种任务处理装置,采用了如下所述的技术方案:
45.获取模块,用于基于字段血缘关系获取与指定指标对应的指定数据表;
46.生成模块,用于生成与所述指定数据表对应的监控规则,并基于所述监控规则生成与所述指定数据表对应的监控任务;
47.第一处理模块,用于获取与所述指定数据表对应的所有下游任务,并对所述监控任务与各所述下游任务建立依赖关系;
48.运行模块,用于在当前时间到达预设的任务调动时间段时,运行所述监控任务与所述下游任务;
49.校验模块,用于在所述监控任务与所述下游任务的运行过程中,基于所述监控规则对所述指定数据表内的表数据进行数据校验;
50.第二处理模块,用于若数据校验未通过,则将所述监控任务的任务状态设置为异常状态,并基于所述依赖关系对所有所述下游任务执行停止运行处理。
51.为了解决上述技术问题,本技术实施例还提供一种计算机设备,采用了如下所述的技术方案:
52.基于字段血缘关系获取与指定指标对应的指定数据表;
53.生成与所述指定数据表对应的监控规则,并基于所述监控规则生成与所述指定数据表对应的监控任务;
54.获取与所述指定数据表对应的所有下游任务,并对所述监控任务与各所述下游任务建立依赖关系;
55.在当前时间到达预设的任务调动时间段时,运行所述监控任务与所述下游任务;
56.在所述监控任务与所述下游任务的运行过程中,基于所述监控规则对所述指定数据表内的表数据进行数据校验;
57.若数据校验未通过,则将所述监控任务的任务状态设置为异常状态,并基于所述依赖关系对所有所述下游任务执行停止运行处理。
58.为了解决上述技术问题,本技术实施例还提供一种计算机可读存储介质,采用了如下所述的技术方案:
59.基于字段血缘关系获取与指定指标对应的指定数据表;
60.生成与所述指定数据表对应的监控规则,并基于所述监控规则生成与所述指定数据表对应的监控任务;
61.获取与所述指定数据表对应的所有下游任务,并对所述监控任务与各所述下游任务建立依赖关系;
62.在当前时间到达预设的任务调动时间段时,运行所述监控任务与所述下游任务;
63.在所述监控任务与所述下游任务的运行过程中,基于所述监控规则对所述指定数
据表内的表数据进行数据校验;
64.若数据校验未通过,则将所述监控任务的任务状态设置为异常状态,并基于所述依赖关系对所有所述下游任务执行停止运行处理。
65.与现有技术相比,本技术实施例主要有以下有益效果:
66.本技术实施例首先基于字段血缘关系获取与指定指标对应的指定数据表;然后生成与所述指定数据表对应的监控规则,并基于所述监控规则生成与所述指定数据表对应的监控任务;之后获取与所述指定数据表对应的所有下游任务,并对所述监控任务与各所述下游任务建立依赖关系;后续在当前时间到达预设的任务调动时间段时,运行所述监控任务与所述下游任务;在所述监控任务与所述下游任务的运行过程中,基于所述监控规则对所述指定数据表内的表数据进行数据校验;若数据校验未通过,则将所述监控任务的任务状态设置为异常状态,并基于所述依赖关系对所有所述下游任务执行停止运行处理。本技术在基于监控规则生成与所述指定数据表对应的监控任务后,会自动对所述监控任务与指定数据表对应的所有下游任务建立依赖关系,使得后续在监控任务的运行过程中,如果基于监控规则对所述指定数据表内的表数据进行数据校验得到的结果为数据校验未通过时,会智能地基于所述依赖关系自动快速地对所有所述下游任务执行停止运行处理,有效地提高了对于下游任务的停止运行的处理效率,有利于避免下游任务出现数据安全问题。
附图说明
67.为了更清楚地说明本技术中的方案,下面将对本技术实施例描述中所需要使用的附图作一个简单介绍,显而易见地,下面描述中的附图是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
68.图1是本技术可以应用于其中的示例性系统架构图;
69.图2根据本技术的任务处理方法的一个实施例的流程图;
70.图3是根据本技术的任务处理装置的一个实施例的结构示意图;
71.图4是根据本技术的计算机设备的一个实施例的结构示意图。
具体实施方式
72.除非另有定义,本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本技术;本技术的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本技术的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
73.在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
74.为了使本技术领域的人员更好地理解本技术方案,下面将结合附图,对本技术实施例中的技术方案进行清楚、完整地描述。
75.如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
76.用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
77.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、mp3播放器(moving picture experts group audio layer iii,动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
78.服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
79.需要说明的是,本技术实施例所提供的任务处理方法一般由服务器/终端设备执行,相应地,任务处理装置一般设置于服务器/终端设备中。
80.应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
81.继续参考图2,示出了根据本技术的任务处理方法的一个实施例的流程图。根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。本技术实施例提供的任务处理方法能够应用于任一种需要进行任务处理的场景中,则该方法能够应用于这些场景的产品中,例如,金融保险领域中的金融任务处理。所述的任务处理方法,包括以下步骤:
82.步骤s201,基于字段血缘关系获取与指定指标对应的指定数据表。
83.在本实施例中,任务处理方法运行于其上的电子设备(例如图1所示的服务器/终端设备),电子设备可内置监控系统,监控系统可作为任务处理方法的执行主体。可以通过有线连接方式或者无线连接方式获取指定数据表。需要指出的是,上述无线连接方式可以包括但不限于3g/4g/5g连接、wifi连接、蓝牙连接、wimax连接、zigbee连接、uwb(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。上述指定指标可为保险公司或银行的核心指标。由于字段血缘关系可以反映出相关数据之间的联系以及数据在处理过程中的链路,因此可以通过对指定指标进行血缘分析,以追溯出与指定指标在流转过程中涉及的关联数据表,得到上述指定数据表。上述指定数据表为涉及保险公司或银行的核心指标的数据表,或者涉及与核心指标对应的重要任务的数据表。其中,电子设备每天会根据字段血缘关系自动对新增加的任务/配置不正确的任务进行依赖修正。
84.步骤s202,生成与所述指定数据表对应的监控规则,并基于所述监控规则生成与所述指定数据表对应的监控任务。
85.在本实施例中,基于所述监控规则生成与所述指定数据表对应的监控任务是指,生成基于所述监控规则对所述指定数据表的内容进行监控的任务,所述监控任务用于在所述指定数据表中的表数据不符合所述监控规则时执行告警操作。另外,上述生成与所述指定数据表对应的监控规则的具体实施过程,本技术将在后续的具体实施例中对此进行进一步的细节描述,在此不作过多阐述。此外,电子设备会定期对指定数据表内的数据进行探
查,同时经过运算,对比历史规则后给出建议的规则,并发邮件给业务/开发进行确认,业务/开发确认修改后再进行监控规则的自动更新。
86.步骤s203,获取与所述指定数据表对应的所有下游任务,并对所述监控任务与各所述下游任务建立依赖关系。
87.在本实施例中,与指定数据表对应的下游任务包括但不限于电子设备获取、处理、发送指定数据表的数据内容的任务,数据仓库获取、处理、发送指定数据表对应的服务数据的任务,等等。其中,上述对所述监控任务与各所述下游任务建立依赖关系的具体实施过程,本技术将在后续的具体实施例中对此进行进一步的细节描述,在此不作过多阐述。另外,只需要将监控任务置为下线,电子设备会自动调整,所有下游任务会自动剔除该监控任务,夜间跑批不再依赖于该监控任务完成再启动。
88.步骤s204,在当前时间到达预设的任务调动时间段时,运行所述监控任务与所述下游任务。
89.在本实施例中,对于上述任务调动时间段的生成过程,本技术将在后续的具体实施例中对此进行进一步的细节描述,在此不作过多阐述。
90.步骤s205,在所述监控任务与所述下游任务的运行过程中,基于所述监控规则对所述指定数据表内的表数据进行数据校验。
91.在本实施例中,可先基于预设的配置接口为所述指定数据表配置所述监控规则,进而可以实现基于所述监控规则对所述指定数据表内的表数据进行数据校验。具体地,基于所述监控规则对所述指定数据表内的表数据进行数据校验是指,检测指定数据表内的表数据是否符合所述监控规则,若指定数据表内的表数据符合所述监控规则,则判定所述指定数据表内的表数据通过数据校验,而若指定数据表内的表数据不符合所述监控规则,则判定所述指定数据表内的表数据未通过数据校验。
92.步骤s206,若数据校验未通过,则将所述监控任务的任务状态设置为异常状态,并基于所述依赖关系对所有所述下游任务执行停止运行处理。
93.在本实施例中,基于所述依赖关系对所有所述下游任务执行停止运行处理可指对与上述监控任务具有依赖关系的下游任务进行任务阻塞。其中,如果对所述指定数据表内的表数据进行数据校验的数据校验结果为数据校验通过,则会继续保持监控任务与所有下游任务的运行。另外,如果对所述指定数据表内的表数据进行数据校验的数据校验结果为数据校验未通过,则可以发送指定数据表的监控结果至指定数据表对应的指定客户端,以供指定客户端能够上述监控结果基于进行预警感知和问题修正。具体地,当监控任务计算监控的指定数据表中的表数据和监控规则不一致时触发告警,打给相应的值班和开发人员,同时将自身任务状态进行翻转,置为异常,监控的指定数据表的所有下游任务由于提前自动依赖了监控任务,现监控任务发现数据异常,监控系统本身将监控任务置为异常,所有下游任务都会因监控任务异常而不进行继续跑数,进行等待。如业务/开发发现数据波动是正常时只需将监控任务状态翻转,或者值班/开发老师处理完出具异常后再进行手动翻转,所有下游任务将会继续运行计算。此外,电子设备会自动记录发生数据质量的表/字段,形成监控质量报告,定期反馈给业务方,形成反馈闭环。
94.本技术首先基于字段血缘关系获取与指定指标对应的指定数据表;然后生成与所述指定数据表对应的监控规则,并基于所述监控规则生成与所述指定数据表对应的监控任
务;之后获取与所述指定数据表对应的所有下游任务,并对所述监控任务与各所述下游任务建立依赖关系;后续在当前时间到达预设的任务调动时间段时,运行所述监控任务与所述下游任务;在所述监控任务与所述下游任务的运行过程中,基于所述监控规则对所述指定数据表内的表数据进行数据校验;若数据校验未通过,则将所述监控任务的任务状态设置为异常状态,并基于所述依赖关系对所有所述下游任务执行停止运行处理。本技术在基于监控规则生成与所述指定数据表对应的监控任务后,会自动对所述监控任务与指定数据表对应的所有下游任务建立依赖关系,使得后续在监控任务的运行过程中,如果基于监控规则对所述指定数据表内的表数据进行数据校验得到的结果为数据校验未通过时,会智能地基于所述依赖关系自动快速地对所有所述下游任务执行停止运行处理,有效地提高了对于下游任务的停止运行的处理效率,有利于避免下游任务出现数据安全问题。
95.在一些可选的实现方式中,步骤s202中的生成与所述指定数据表对应的监控规则,包括以下步骤:
96.获取所述指定数据表的应用场景类型信息。
97.在本实施例中,应用场景类型是指数据表对应的服务端所提供服务的场景信息。
98.基于所述应用场景类型信息,从预设的规则数据库中获取与所述应用场景类型信息对应的第一监控规则。
99.在本实施例中,上述规则数据库为根据实际的任务监控业务需求预先构建的存储有各种数据表的应用场景类型,以及与各种数据表的应用场景类型分别对应的通用监控规则。上述通用监控规则可以为必要且核心的监控规则。
100.将所述第一监控规则作为与所述指定数据表对应的监控规则。
101.本技术通过获取所述指定数据表的应用场景类型信息;然后基于所述应用场景类型信息,从预设的规则数据库中获取与所述应用场景类型信息对应的第一监控规则,并将所述第一监控规则作为与所述指定数据表对应的监控规则。本技术基于规则数据库的使用,可以自动快速地获取到与所述指定数据表对应的监控规则,提高了生成监控规则的处理效率。整个监控规则的生成过程可以有效降低用户的参与度,因此也降低了对规则配置服务的前后端开发量,实现轻量化的自动化通用监控规则的配置能力。
102.在本实施例的一些可选的实现方式中,步骤s202中的生成与所述指定数据表对应的监控规则,包括以下步骤:
103.获取所述指定数据表的表信息。
104.在本实施例中,上述表信息可包括指定数据表的表名信息。
105.基于所述表信息,构建与所述指定数据表对应的指定规则配置模板。
106.在本实施例中,根据实际的规则构建需求会预先创建有通用规则配置模板,可通过将指定数据表的表信息填充至通用规则配置模板内,以构建得到与所述指定数据表对应的指定规则配置模板。
107.将所述指定规则配置模板发送至与所述指定标数据表对应的指定客户端。
108.接收所述指定客户端返回的与所述指定规则配置模板对应的规则配置信息。
109.在本实施例中,上述规则配置信息可由指定客户端的持有用户根据实际的任务监控需求输入的规则配置信息。规则配置信息例如可包括任务名、任务依赖关系、任务处理优先级等信息。
110.基于所述规则配置信息与所述指定规则配置模板生成第二监控规则。
111.在本实施例中,对于上述第二监控规则的生成过程不作限定。可直接将所述规则配置信息与所述指定规则配置模板进行整合以生成第二监控规则。或者还可以先对所述规则配置信息进行校验,若校验通过再将所述规则配置信息与所述指定规则配置模板进行整合以生成第二监控规则。其中,上述对所述规则配置信息进行校验的具体实施过程,本技术将在后续的具体实施例中对此进行进一步的细节描述,在此不作过多阐述。
112.将所述第二监控规则作为与所述指定数据表对应的监控规则。
113.本技术通过获取所述指定数据表的表信息;然后基于所述表信息,构建与所述指定数据表对应的指定规则配置模板;并将所述指定规则配置模板发送至与所述指定标数据表对应的指定客户端;之后接收所述指定客户端返回的与所述指定规则配置模板对应的规则配置信息;后续基于所述规则配置信息与所述指定规则配置模板生成第二监控规则,并将所述第二监控规则作为与所述指定数据表对应的监控规则。本技术可以基于指定客户端返回的与所述指定规则配置模板对应的规则配置信息来智能地生成与所述指定数据表对应的监控规则,提高了指定数据表生成的个性化,提高了用户的使用体验。
114.在一些可选的实现方式中,所述基于所述规则配置信息与所述指定规则配置模板生成第二监控规则,包括以下步骤:
115.获取预设的规则配置规范。
116.在本实施例中,上述规则配置规范为预先定义应用于监控规则的配置规范,通过使用该规则配置规范来对用于生成规则的规则配置信息进行校验,可以确保规则配置信息的正确率,保证基于该规则配置信息生成的规则的可用性,从而避免对后续的任务监控处理产生影响。
117.基于所述规则配置规范,检测所述规则配置信息是否符合预设的配置要求。
118.在本实施例中,上述预设的配置要求是指规则配置规范中包括的配置要求。举例地,假如规则配置信息包括任务名,则通过与电子设备内预先存储的已存在的任务名进行搜索比对,以判断当前任务名是否为不重复的有效可用任务名,若当前任务名为不重复的有效可用任务名,则判定规则配置信息符合配置要求,否则判定规则配置信息不符合配置要求。
119.若符合所述配置要求,执行所述基于所述规则配置信息与所述指定规则配置模板生成第二监控规则的步骤。
120.在本实施例中,若测所述规则配置信息不符合预设的配置要求,则基于规则配置规范生成相应的规则配置告警信息,并将规则配置告警信息发送至与指定数据表对应的指定终端,以提醒与该指定终端对应的指定用户,根据该规则配置规范进行规则修改,以生成符合上述规则配置规范的监控规则。
121.本技术在执行基于所述规则配置信息与所述指定规则配置模板生成第二监控规则的处理过程之前,还会智能地获取预设的规则配置规范;然后基于所述规则配置规范,检测所述规则配置信息是否符合预设的配置要求;若符合所述配置要求,执行所述基于所述规则配置信息与所述指定规则配置模板生成第二监控规则的步骤。本技术通过基于规则配置规范对规则配置信息进行检测,只有在所述规则配置信息符合配置要求时,才会执行生成第二监控规则的处理流程,保证了基于该规则配置信息生成的指定数据表的监控规则的
可用性与合规性,从而避免对后续的任务监控处理产生不良影响。
122.在一些可选的实现方式中,步骤s203中的对所述监控任务与各所述下游任务建立依赖关系,包括以下步骤:
123.对所有所述下游任务进行重要性检测,得到各所述下游任务的重要性结果。
124.在本实施例中,上述对所有所述下游任务进行重要性检测,得到各所述下游任务的重要性结果的具体实施过程,本技术将在后续的具体实施例中对此进行进一步的细节描述,在此不作过多阐述。
125.基于所述重要性结果,从所有所述下游任务中筛选出重要性结果为重要性低的普通下游任务。
126.在本实施例中,上述重要性结果可包括重要性高、重要性中以及重要性低中的任意一种结果。重要性低的下游任务中数据出现异常不会导致严重的损失,为了成本考虑,可以不对这些下游任务进行质量监控。
127.将所述普通下游任务从所有所述下游任务中剔除,得到剔除后的下游任务。
128.在本实施例中,通过将所述普通下游任务从所有所述下游任务中剔除,以解除对于重要性低的普通下游任务的监控管理,可以有效降低电子设备的资源消耗,提高对于下游任务的监控的处理智能性。其中,以银行的业务任务为例进行说明,对于银行的任务场景,如果所有所述下游任务包括利息、信贷、抵押、股票、货币、投资、基金等任务,而普通下游任务包括货币、基金任务,则会在所述下游任务中剔除该货币、基金任务,从而最终得到的剔除后的下游任务包括:利息、信贷、抵押、股票、投资。
129.对所述监控任务与所述剔除后的下游任务建立依赖关系。
130.本技术通过对所有所述下游任务进行重要性检测,得到各所述下游任务的重要性结果;然后基于所述重要性结果,从所有所述下游任务中筛选出重要性结果为重要性低的普通下游任务;之后将所述普通下游任务从所有所述下游任务中剔除,得到剔除后的下游任务;后续对所述监控任务与所述剔除后的下游任务建立依赖关系。本技术通过将所述普通下游任务从所有所述下游任务中剔除,从而解除对于重要性低的普通下游任务的监控管理,可以有效降低电子设备的资源消耗,有利于提高对于下游任务的监控的处理智能性。
131.在本实施例的一些可选的实现方式中,所述对所有所述下游任务进行重要性检测,得到各所述下游任务的重要性结果,包括以下步骤:
132.获取指定下游任务的指定任务描述信息;其中,所述指定下游任务为所有所述下游任务中的任意一个。
133.在本实施例中,上述指定任务描述信息至少可包括指定下游任务的任务名称、任务内容、任务处理时效要求等信息。
134.将所述指定任务描述信息输入至预先训练好的任务分析模型内。
135.在本实施例中,上述任务分析模型为根据预先收集的任务描述样本信息对预设的神经网络模型进行训练生成的。具体地,任务分析模型的构建过程可包括:从历史时间周期内的任务数据中采集任务描述样本信息;其中,对于上述历史时间周期的取值不作具体限定,可根据实际的业务需求进行设置,例如可设为距离当前时间的前一个月内。对所述任务描述样本信息进行标签标注,得到目标任务描述样本信息;其中,可采用机器自动标注的方式对所述任务描述样本信息进行标签标注,即对任务描述样本信息中属于重要性高的任务
打上1的标签,对任务描述样本信息中属于重要性中的任务打上0的标签,对对任务描述样本信息中属于重要性低的任务打上-1的标签,以得到目标任务描述样本信息。通过采用自动打标签的方式来对目标任务描述样本信息进行标签标注,可以提高打标的处理效率。将所述目标任务描述样本信息划分为训练数据与测试数据;其中,可通过将目标任务描述样本信息中包含的每一个数据以及其标签的组合作为一个样本,并把所有样本进行打乱,再随机从所有样本中提取预设比例的第一样本作为训练数据,并将除所述第一样本外的其他第二样本作为测试数据。另外,对于预设比例的取值不作具体限定,可根据实际的业务使用需求进行设置。使用所述训练数据对所述神经网络模型进行训练,得到初始神经网络模型;其中,上述神经网络模型可采用bp神经网络,使用所述训练数据对所述神经网络模型进行训练的具体过程可参照现有的bp神经网络的训练过程。使用所述测试数据对所述初始神经网络模型进行测试,得到所述初始神经网络模型的模型评价指标;其中,上述模型评价指标可采用f1-socre指标。若所述模型评价指标满足预设要求,判定所述初始神经网络模型通过测试,并将所述初始神经网络模型模型作为所述任务分析模型。其中,对于上述预设要求不作具体限定,可根据实际的业务使用需求进行设置。另外,如果所述模型评价指标未满足预设要求,即初始神经网络模型未通过测试,则按照前述的训练流程对初始神经网络模型进行迭代训练,直至获得模型评价指标满足预设要求的任务分析模型。
136.通过所述任务分析模型对所述指定任务描述信息进行重要性分析,生成与所述指定下游任务对应的指定重要性结果。
137.本技术通过获取指定下游任务的指定任务描述信息;然后将所述指定任务描述信息输入至预先训练好的任务分析模型内;进而通过所述任务分析模型对所述指定任务描述信息进行重要性分析,生成与所述指定下游任务对应的指定重要性结果。本技术基于预先训练好的任务分析模型的使用,可以实现快速准确地生成与下游任务对应的重要性结果,提高了对于下游任务的重要性分析的处理效率,保证了生成的重要性结果的准确性。且有利于后续将重要性结果为重要性低的普通下游任务从所有下游任务中剔除,从而解除对于重要性低的普通下游任务的监控管理,可以有效降低电子设备的资源消耗,有利于提高对于下游任务的监控的处理智能性。
138.在本实施例的一些可选的实现方式中,在步骤s204之前,上述电子设备还可以执行以下步骤:
139.按照预设的长度划分值将一天的时间划分为多个处理时间段。
140.在本实施例中,对于上述处理时间段的划分方式不作具体限定,且划分得到的每个处理时间段包含的时间长度也可根据实际需求设定,例如可以使用4小时作为上述长度划分值,即一个处理时间段所包含的时间长度,则从0时开始可将一天(24小时)划分为6个处理时间段,即0:00-4:00,4:00-8:00,8:00-12:00,12:00-16:00,16:00-20:00,20:00-24:00。或者,还可以使用1小时为上述长度划分值来将一天的时间划分为24个处理时间段,等等。
141.基于预设的空闲时间段表格从所有所述处理时间段筛选出第一处理时间段。其中,所述第一处理时间段的数量为多个。
142.在本实施例中,上述空闲时间段表格可为根据实际的业务预期预先生成的包含有业务空闲时间段的表格,可从得到的所有处理时间段中筛选出与该业务空闲时间段匹配的
时间段,进而得到上述第一处理第一时间段。举例地,假如空闲时间段表格包含有20:00-24:00与0:00-4:00这两个处理时间段,则可筛选出第一处理时间段为20:00-24:00与0:00-4:00。通过利用空闲时间段表格对所有处理时间段进行初步筛选,使得后续只需对预设时间周期内各所述第一处理时间段的资源消耗数据进行统计,而不用对所有处理时间段的资源消耗数据进行统计,有效的减少了数据统计量,降低了电子设备的统计损耗,提高了电子设备的处理智能性。
143.基于预存储的历史资源数据记录表,分别统计在预设时间周期内各所述第一处理时间段的资源消耗数据。
144.在本实施例中,对于上述预设时间周期不作具体限定,可根据实际需求进行设置。举例地,上述预设时间周期可为与当前时间相邻的前一个月。
145.从所有所述资源消耗数据中筛选出小于预设的消耗数值阈值的指定资源消耗数据。
146.在本实施例中,对上述消耗数值阈值的取值不作具体限定,可根据实际需求进行设置。
147.从所有所述第一处理时间段中筛选出与所述指定资源消耗数据对应的第二处理时间段。
148.基于预设的时间区间范围对所述第二处理时间段进行筛选,得到第三处理时间段。
149.在本实施例中,上述时间区间范围可为根据实际的业务需求预先确定的区间范围,例如可为对应着0:00-6:00的夜间时间区间范围。可通过从第二处理时间段中筛选出处于该时间区间范围内的处理时间段以作为上述第三处理时间段。举例地,假如第二处理时间段包括22:00-24:00与0:00-2:00,则基于上述时间区间范围对第二处理时间段进行筛选后,可得到第三处理时间段为0:00-2:00。
150.将所述第三处理时间段作为所述任务调动时间段。
151.本技术通过在将一天的时间划分为多个处理时间段后,会先基于预设的空闲时间段表格从所有处理时间段筛选出第一处理时间段,再通过对预设时间周期内的各个第一处理时间段的资源消耗数据进行分析处理,并基于分析结果来智能地确定出电子设备的空闲时间段并作为上述任务调动时间段,有效地提高了生成的任务调动时间段的准确性。且后续会在该任务调动时间段内执行运行所述监控任务与所述下游任务的数据处理流程,而不会在电子设备的业务繁忙期间内进行任务运行处理,从而不会影响用户的正常使用,也不会对任务运行处理的正常运作造成影响,保证了系统资源的合理利用,有效地提高了任务运行处理的处理速度与处理效率。
152.需要强调的是,为进一步保证上述监控规则的私密和安全性,上述监控规则还可以存储于一区块链的节点中。
153.本技术所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
154.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
155.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
156.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机可读指令来指令相关的硬件来完成,该计算机可读指令可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory,rom)等非易失性存储介质,或随机存储记忆体(random access memory,ram)等。
157.应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
158.进一步参考图3,作为对上述图2所示方法的实现,本技术提供了一种任务处理装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
159.如图3所示,本实施例所述的任务处理装置300包括:获取模块301、生成模块302、第一处理模块303、运行模块304、校验模块305以及第二处理模块306。其中:
160.获取模块301,用于基于字段血缘关系获取与指定指标对应的指定数据表;
161.生成模块302,用于生成与所述指定数据表对应的监控规则,并基于所述监控规则生成与所述指定数据表对应的监控任务;
162.第一处理模块303,用于获取与所述指定数据表对应的所有下游任务,并对所述监控任务与各所述下游任务建立依赖关系;
163.运行模块304,用于在当前时间到达预设的任务调动时间段时,运行所述监控任务与所述下游任务;
164.校验模块305,用于在所述监控任务与所述下游任务的运行过程中,基于所述监控规则对所述指定数据表内的表数据进行数据校验;
165.第二处理模块306,用于若数据校验未通过,则将所述监控任务的任务状态设置为异常状态,并基于所述依赖关系对所有所述下游任务执行停止运行处理。
166.在本实施例中,上述模块或单元分别用于执行的操作与前述实施方式的任务处理方法的步骤一一对应,在此不再赘述。
167.在本实施例的一些可选的实现方式中,生成模块302包括:
168.第一获取子模块,用于获取所述指定数据表的应用场景类型信息;
169.第二获取子模块,用于基于所述应用场景类型信息,从预设的规则数据库中获取与所述应用场景类型信息对应的第一监控规则;
170.第一确定子模块,用于将所述第一监控规则作为与所述指定数据表对应的监控规则。
171.本实施例中,上述模块或单元分别用于执行的操作与前述实施方式的任务处理方法的步骤一一对应,在此不再赘述。
172.在本实施例的一些可选的实现方式中,生成模块302包括:
173.第三获取子模块,用于获取所述指定数据表的表信息;
174.构建子模块,用于基于所述表信息,构建与所述指定数据表对应的指定规则配置模板;
175.发送子模块,用于将所述指定规则配置模板发送至与所述指定标数据表对应的指定客户端;
176.接收子模块,用于接收所述指定客户端返回的与所述指定规则配置模板对应的规则配置信息;
177.生成子模块,用于基于所述规则配置信息与所述指定规则配置模板生成第二监控规则;
178.第二确定子模块,用于将所述第二监控规则作为与所述指定数据表对应的监控规则。
179.在本实施例中,上述模块或单元分别用于执行的操作与前述实施方式的任务处理方法的步骤一一对应,在此不再赘述。
180.在本实施例的一些可选的实现方式中,生成子模块包括:
181.第一获取单元,用于获取预设的规则配置规范;
182.检测单元,用于基于所述规则配置规范,检测所述规则配置信息是否符合预设的配置要求;
183.执行单元,用于若符合所述配置要求,执行所述基于所述规则配置信息与所述指定规则配置模板生成第二监控规则的步骤。
184.在本实施例中,上述模块或单元分别用于执行的操作与前述实施方式的任务处理方法的步骤一一对应,在此不再赘述。
185.在本实施例的一些可选的实现方式中,第一处理模块303包括:
186.检测子模块,用于对所有所述下游任务进行重要性检测,得到各所述下游任务的重要性结果;
187.筛选子模块,用于基于所述重要性结果,从所有所述下游任务中筛选出重要性结果为重要性低的普通下游任务;
188.剔除子模块,用于将所述普通下游任务从所有所述下游任务中剔除,得到剔除后的下游任务;
189.创建子模块,用于对所述监控任务与所述剔除后的下游任务建立依赖关系。
190.在本实施例中,上述模块或单元分别用于执行的操作与前述实施方式的任务处理方法的步骤一一对应,在此不再赘述。
191.在本实施例的一些可选的实现方式中,检测子模块包括:
192.第二获取单元,用于获取指定下游任务的指定任务描述信息;其中,所述指定下游任务为所有所述下游任务中的任意一个;
193.输入单元,用于将所述指定任务描述信息输入至预先训练好的任务分析模型内;
194.分析单元,用于通过所述任务分析模型对所述指定任务描述信息进行重要性分析,生成与所述指定下游任务对应的指定重要性结果。
195.在本实施例中,上述模块或单元分别用于执行的操作与前述实施方式的任务处理方法的步骤一一对应,在此不再赘述。
196.在本实施例的一些可选的实现方式中,任务处理装置还包括:
197.划分模块,用于按照预设的长度划分值将一天的时间划分为多个处理时间段;
198.第一筛选模块,用于基于预设的空闲时间段表格从所有所述处理时间段筛选出第一处理时间段;其中,所述第一处理时间段的数量为多个;
199.统计模块,用于基于预存储的历史资源数据记录表,分别统计在预设时间周期内各所述第一处理时间段的资源消耗数据;
200.第二筛选模块,用于从所有所述资源消耗数据中筛选出小于预设的消耗数值阈值的指定资源消耗数据;
201.第三筛选模块,用于从所有所述第一处理时间段中筛选出与所述指定资源消耗数据对应的第二处理时间段;
202.第四筛选模块,用于基于预设的时间区间范围对所述第二处理时间段进行筛选,得到第三处理时间段;
203.确定模块,用于将所述第三处理时间段作为所述任务调动时间段。
204.在本实施例中,上述模块或单元分别用于执行的操作与前述实施方式的任务处理方法的步骤一一对应,在此不再赘述。
205.为解决上述技术问题,本技术实施例还提供计算机设备。具体请参阅图4,图4为本实施例计算机设备基本结构框图。
206.所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是,图中仅示出了具有组件41-43的计算机设备4,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit,asic)、可编程门阵列(field-programmable gate array,fpga)、数字处理器(digital signal processor,dsp)、嵌入式设备等。
207.所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
208.所述存储器41至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器41可以是所述计算机设备4的内部存储单元,例如该计算机设备4的硬盘或内存。在另一些实施例中,所述存储器
41也可以是所述计算机设备4的外部存储设备,例如该计算机设备4上配备的插接式硬盘,智能存储卡(smart media card,smc),安全数字(secure digital,sd)卡,闪存卡(flash card)等。当然,所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中,所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件,例如任务处理方法的计算机可读指令等。此外,所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
209.所述处理器42在一些实施例中可以是中央处理器(central processing unit,cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中,所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据,例如运行所述任务处理方法的计算机可读指令。
210.所述网络接口43可包括无线网络接口或有线网络接口,该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
211.与现有技术相比,本技术实施例主要有以下有益效果:
212.本技术实施例中,首先基于字段血缘关系获取与指定指标对应的指定数据表;然后生成与指定数据表对应的监控规则,并基于监控规则生成与指定数据表对应的监控任务;之后获取与指定数据表对应的所有下游任务,并对监控任务与各下游任务建立依赖关系;后续在当前时间到达预设的任务调动时间段时,运行监控任务与下游任务;在监控任务与下游任务的运行过程中,基于监控规则对指定数据表内的表数据进行数据校验;若数据校验未通过,则将监控任务的任务状态设置为异常状态,并基于依赖关系对所有下游任务执行停止运行处理。本技术实施例在基于监控规则生成与指定数据表对应的监控任务后,会自动对监控任务与指定数据表对应的所有下游任务建立依赖关系,使得后续在监控任务的运行过程中,如果基于监控规则对指定数据表内的表数据进行数据校验得到的结果为数据校验未通过时,会智能地基于依赖关系自动快速地对所有下游任务执行停止运行处理,有效地提高了对于下游任务的停止运行的处理效率,有利于避免下游任务出现数据安全问题。
213.本技术还提供了另一种实施方式,即提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令可被至少一个处理器执行,以使所述至少一个处理器执行如上述的任务处理方法的步骤。
214.与现有技术相比,本技术实施例主要有以下有益效果:
215.本技术实施例在基于监控规则生成与指定数据表对应的监控任务后,会自动对监控任务与指定数据表对应的所有下游任务建立依赖关系,使得后续在监控任务的运行过程中,如果基于监控规则对指定数据表内的表数据进行数据校验得到的结果为数据校验未通过时,会智能地基于依赖关系自动快速地对所有下游任务执行停止运行处理,有效地提高了对于下游任务的停止运行的处理效率,有利于避免下游任务出现数据安全问题。
216.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服
务器,空调器,或者网络设备等)执行本技术各个实施例所述的方法。
217.显然,以上所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例,附图中给出了本技术的较佳实施例,但并不限制本技术的专利范围。本技术可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本技术的公开内容的理解更加透彻全面。尽管参照前述实施例对本技术进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本技术说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本技术专利保护范围之内。

技术特征:
1.一种任务处理方法,其特征在于,包括下述步骤:基于字段血缘关系获取与指定指标对应的指定数据表;生成与所述指定数据表对应的监控规则,并基于所述监控规则生成与所述指定数据表对应的监控任务;获取与所述指定数据表对应的所有下游任务,并对所述监控任务与各所述下游任务建立依赖关系;在当前时间到达预设的任务调动时间段时,运行所述监控任务与所述下游任务;在所述监控任务与所述下游任务的运行过程中,基于所述监控规则对所述指定数据表内的表数据进行数据校验;若数据校验未通过,则将所述监控任务的任务状态设置为异常状态,并基于所述依赖关系对所有所述下游任务执行停止运行处理。2.根据权利要求1所述的任务处理方法,其特征在于,所述生成与所述指定数据表对应的监控规则的步骤,具体包括:获取所述指定数据表的应用场景类型信息;基于所述应用场景类型信息,从预设的规则数据库中获取与所述应用场景类型信息对应的第一监控规则;将所述第一监控规则作为与所述指定数据表对应的监控规则。3.根据权利要求1所述的任务处理方法,其特征在于,所述生成与所述指定数据表对应的监控规则的步骤,具体包括:获取所述指定数据表的表信息;基于所述表信息,构建与所述指定数据表对应的指定规则配置模板;将所述指定规则配置模板发送至与所述指定标数据表对应的指定客户端;接收所述指定客户端返回的与所述指定规则配置模板对应的规则配置信息;基于所述规则配置信息与所述指定规则配置模板生成第二监控规则;将所述第二监控规则作为与所述指定数据表对应的监控规则。4.根据权利要求3所述的任务处理方法,其特征在于,所述基于所述规则配置信息与所述指定规则配置模板生成第二监控规则的步骤,具体包括:获取预设的规则配置规范;基于所述规则配置规范,检测所述规则配置信息是否符合预设的配置要求;若符合所述配置要求,执行所述基于所述规则配置信息与所述指定规则配置模板生成第二监控规则的步骤。5.根据权利要求1所述的任务处理方法,其特征在于,所述对所述监控任务与各所述下游任务建立依赖关系的步骤,具体包括:对所有所述下游任务进行重要性检测,得到各所述下游任务的重要性结果;基于所述重要性结果,从所有所述下游任务中筛选出重要性结果为重要性低的普通下游任务;将所述普通下游任务从所有所述下游任务中剔除,得到剔除后的下游任务;对所述监控任务与所述剔除后的下游任务建立依赖关系。6.根据权利要求5所述的任务处理方法,其特征在于,所述对所有所述下游任务进行重
要性检测,得到各所述下游任务的重要性结果的步骤,具体包括:获取指定下游任务的指定任务描述信息;其中,所述指定下游任务为所有所述下游任务中的任意一个;将所述指定任务描述信息输入至预先训练好的任务分析模型内;通过所述任务分析模型对所述指定任务描述信息进行重要性分析,生成与所述指定下游任务对应的指定重要性结果。7.根据权利要求1所述的任务处理方法,其特征在于,在所述在当前时间到达预设的任务调动时间段时,运行所述监控任务与所述下游任务的步骤之前,还包括:按照预设的长度划分值将一天的时间划分为多个处理时间段;基于预设的空闲时间段表格从所有所述处理时间段筛选出第一处理时间段;其中,所述第一处理时间段的数量为多个;基于预存储的历史资源数据记录表,分别统计在预设时间周期内各所述第一处理时间段的资源消耗数据;从所有所述资源消耗数据中筛选出小于预设的消耗数值阈值的指定资源消耗数据;从所有所述第一处理时间段中筛选出与所述指定资源消耗数据对应的第二处理时间段;基于预设的时间区间范围对所述第二处理时间段进行筛选,得到第三处理时间段;将所述第三处理时间段作为所述任务调动时间段。8.一种任务处理装置,其特征在于,包括:获取模块,用于基于字段血缘关系获取与指定指标对应的指定数据表;生成模块,用于生成与所述指定数据表对应的监控规则,并基于所述监控规则生成与所述指定数据表对应的监控任务;第一处理模块,用于获取与所述指定数据表对应的所有下游任务,并对所述监控任务与各所述下游任务建立依赖关系;运行模块,用于在当前时间到达预设的任务调动时间段时,运行所述监控任务与所述下游任务;校验模块,用于在所述监控任务与所述下游任务的运行过程中,基于所述监控规则对所述指定数据表内的表数据进行数据校验;第二处理模块,用于若数据校验未通过,则将所述监控任务的任务状态设置为异常状态,并基于所述依赖关系对所有所述下游任务执行停止运行处理。9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的任务处理方法的步骤。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的任务处理方法的步骤。

技术总结
本申请实施例属于人工智能领域与金融科技领域,涉及一种任务处理方法,包括:获取与指定指标对应的指定数据表;生成指定数据表的监控规则,并基于监控规则生成指定数据表的监控任务;获取指定数据表的下游任务,对监控任务与下游任务建立依赖关系;在当前时间到达任务调动时间段时,运行监控任务与下游任务,基于监控规则对指定数据表内的表数据进行数据校验;若数据校验未通过,基于依赖关系对所有下游任务执行停止运行处理。本申请还提供一种任务处理装置、计算机设备及存储介质。此外,上述监控规则可存储于区块链中。本申请可应用于金融领域的任务处理场景,能有效提高对于下游任务的停止运行的处理效率,避免下游任务出现数据安全问题。据安全问题。据安全问题。


技术研发人员:王晓林
受保护的技术使用者:平安科技(深圳)有限公司
技术研发日:2023.06.07
技术公布日:2023/9/23
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐