一种基于海豚调度的数据质量校验预警系统及方法与流程

1.本发明涉及数据质量校验技术领域，尤其是涉及一种基于海豚调度的数据质量校验预警系统及方法。


背景技术：

2.数据仓库的数据质量是数据开发人的第一生命线，数据质量出现问题需要第时间通知数据开发人员，数据开发人员是对数据准确性、完整性、一致性、及时性第一责任人。
3.目前数据仓库的数据质量出现问题无法第一时间通知数据开发负责人，数据开发负责人需要通过下游业务反馈或者第二天上班到海豚调度平台上查看才能发现数据有问题。这样直接导致数据仓库中的数据出现不准确、数据不能按规定时间出数据等问题。


技术实现要素：

4.本发明提供了一种基于海豚调度的数据质量校验预警系统及方法，以解决现有技术中数据仓库的数据质量出现问题无法及时通知开发人员的技术问题。
5.本发明的一个方面在于提供一种基于海豚调度的数据质量校验预警系统，所述数据质量校验预警系统包括：海豚调度平台和用户列表，
6.所述海豚调度平台包括数据质量模块、预警模块和元数据，所述数据质量模块，用于存储数据质量校验规则，并运行工作流和工作流下的任务，对待校验的数据按照数据质量校验规则进行数据质量校验；
7.所述预警模块，用于存储预警规则和多个通知规则，并将数据质量校验结果，按照预警规则和多个通知规则向用户发出预警通知；所述元数据，用于存储数据质量校验结果；
8.用户列表，用于按顺序配置多个用户负责人。
9.在一个优选的实施例中，所述数据质量校验规则为具体的校验sql逻辑。
10.在一个优选的实施例中，所述预警模块调取数据质量校验结果，按照如下预警规则进行预警：
11.当数据质量校验结果中，工作流和工作流下的任务未进行数据质量校验或工作流和工作流下的任务的校验不符合数据质量校验规则，则通过多个通知规则向用户发出预警通知。
12.在一个优选的实施例中，多个通知规包括，第一通知规则、第二通知规则、第三通知规则和第四通知规则，
13.所述第一通知规则为电话通知，按照如下方法发出预警通知：
14.s101、获取用户列表的多个用户负责人信息；
15.s102、每间隔一段时间向第一用户负责人发出电话通知，并循环发出n次电话通知；
16.s103、当数据质量校验结果未响应，则根据用户列表中多个用户负责人顺序，每间隔一段时间向下一个用户负责人发出电话通知，并循环发出n次电话通知；
17.s104、重复步骤s103，直至数据质量校验结果响应或遍历所有用户负责人。
18.在一个优选的实施例中，所述第二通知规则为短信通知，按照如下方法发出预警通知：
19.s201、获取用户列表的多个用户负责人信息；
20.s202、每间隔一段时间向第一用户负责人发出短信通知，并循环发出n次短信通知；
21.s203、当数据质量校验结果未响应，则根据用户列表中多个用户负责人顺序，每间隔一段时间向下一个用户负责人发出短信通知，并循环发出n次短信通知；
22.s204、重复步骤s203，直至数据质量校验结果响应或遍历所有用户负责人。
23.在一个优选的实施例中，所述第三通知规则为消息通知，按照如下方法发出预警通知：
24.s301、获取用户列表的多个用户负责人信息；
25.s302、每间隔一段时间向第一用户负责人发出消息通知，并循环发出n次消息通知；
26.s303、当数据质量校验结果未响应，则根据用户列表中多个用户负责人顺序，每间隔一段时间向下一个用户负责人发出消息通知，并循环发出n次消息通知；
27.s304、重复步骤s303，直至数据质量校验结果响应或遍历所有用户负责人。
28.在一个优选的实施例中，所述第四通知规则为邮件通知，按照如下方法发出预警通知：
29.获取用户列表的多个用户负责人信息，向所有用户负责人发出邮件通知。
30.本发明的另一个方面在于提供一种基于海豚调度的数据质量校验预警方法，所述数据质量校验预警方法包括如下方法步骤：
31.s1、创建用户信息；
32.在用户列表中，按顺序配置多个用户负责人；
33.s2、配置数据质量校验规则；
34.在海豚调度平台的数据质量模块中，配置数据质量校验规则；
35.s3、配置预警规则和多个通知规则；
36.在海豚调度平台的预警模块中，配置预警规则和多个通知规则；
37.s4、数据质量校验；
38.海豚调度平台的数据质量模块，并运行工作流和工作流下的任务，对待校验的数据按照数据质量校验规则进行数据质量校验；
39.s5、获取数据质量校验结果；
40.海豚调度平台的预警模块，获取元数据中的数据质量校验校验结果，根据预警规则和多个通知规则向用户发出预警通知。
41.在一个优选的实施例中，在步骤s5中，当数据质量校验结果中，工作流和工作流下的任务未进行数据质量校验或工作流和工作流下的任务的校验不符合数据质量校验规则，则通过多个通知规则向用户发出预警通知。
42.在一个优选的实施例中，多个通知规包括，第一通知规则、第二通知规则、第三通知规则和第四通知规则；
43.所述第一通知规则为电话通知，按照如下方法发出预警通知：
44.s101、获取用户列表的多个用户负责人信息；
45.s102、每间隔一段时间向第一用户负责人发出电话通知，并循环发出n次电话通知；
46.s103、当数据质量校验结果未响应，则根据用户列表中多个用户负责人顺序，每间隔一段时间向下一个用户负责人发出电话通知，并循环发出n次电话通知；
47.s104、重复步骤s103，直至数据质量校验结果响应或遍历所有用户负责人；
48.所述第二通知规则为短信通知，按照如下方法发出预警通知：
49.s201、获取用户列表的多个用户负责人信息；
50.s202、每间隔一段时间向第一用户负责人发出短信通知，并循环发出n次短信通知；
51.s203、当数据质量校验结果未响应，则根据用户列表中多个用户负责人顺序，每间隔一段时间向下一个用户负责人发出短信通知，并循环发出n次短信通知；
52.s204、重复步骤s203，直至数据质量校验结果响应或遍历所有用户负责人；
53.所述第三通知规则为消息通知，按照如下方法发出预警通知：
54.s301、获取用户列表的多个用户负责人信息；
55.s302、每间隔一段时间向第一用户负责人发出消息通知，并循环发出n次消息通知；
56.s303、当数据质量校验结果未响应，则根据用户列表中多个用户负责人顺序，每间隔一段时间向下一个用户负责人发出消息通知，并循环发出n次消息通知；
57.s304、重复步骤s303，直至数据质量校验结果响应或遍历所有用户负责人；
58.所述第四通知规则为邮件通知，按照如下方法发出预警通知：
59.获取用户列表的多个用户负责人信息，向所有用户负责人发出邮件通知。
60.与现有技术相比，本发明具有以下有益效果：
61.本发明提供的一种基于海豚调度的数据质量校验预警系统及方法，在数据质量校验出现问题时，能够第一时间通知开发人员，对出现问题的数据质量进行及时处理，保证数据仓库的核心数据准确性、完整性、一致性和及时性。
附图说明
62.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
63.图1是本发明一种基于海豚调度的数据质量校验预警系统的结构框图。
64.图2是本发明一种基于海豚调度的数据质量校验预警方法的流程图。
具体实施方式
65.为了使本发明的上述以及其他特征和优点更加清楚，下面结合附图进一步描述本发明。应当理解，本文给出的具体实施例是出于向本领域技术人员解释的目的，仅是示例性
的，而非限制性的。
66.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
67.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
68.如图1所示本发明一种基于海豚调度的数据质量校验预警系统的结构框图，根据本发明的实施例，提供一种基于海豚调度的数据质量校验预警系统，包括：海豚调度平台100和用户列表200。
69.海豚调度(dolphinscheduler)是apache(阿帕奇)开源的一个分布式易扩展的可视化dag工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。
70.本发明海豚调度平台100包括数据质量模块101、预警模块102和元数据103。
71.数据质量模块101，用于存储数据质量校验规则，并运行工作流和工作流下的任务，对待校验的数据按照数据质量校验规则进行数据质量校验。
72.数据质量模块101对来自不同数据库的数据按照存储的数据质量校验规则进行数据质量校验，保证数据的准确性、完整性、一致性和及时性。例如数据质量模块101对来自mysql数据库、hive\presto\sprak数据库、clickhouse数据库的数据进行数据质量校验。
73.根据本发明的实施例，数据质量校验规则为具体的校验sql(structured query language，结构化查询语言)逻辑，校验sql逻辑执行结果分为：维度字段、记录数字段和汇总字段。
74.海豚调度平台100下的工作流，是海豚调度中最小的可执行任务，一个工作流中可以包含多个shell任务。
75.例如，本发明中的shell任务是对待校验的数据进行数据质量校验，一个工作流包括多个待校验的数据进行数据质量校验的任务(多个shell任务)。
76.元数据103，用于存储数据质量校验结果。本发明数据质量模块101，运行工作流和工作流下的任务，对待校验的数据按照数据质量校验规则进行数据质量校验，将数据质量校验结果存储在元数据103。
77.预警模块102，用于存储预警规则和多个通知规则，并将数据质量校验结果，按照预警规则和多个通知规则向用户发出预警通知。
78.用户列表200，用于按顺序配置多个用户负责人。例如，用户在用户列表200中按照顺序配置第一用户负责人、第二用户负责人、
……
、第n用户负责人。
79.根据本发明的实施例，预警模块102存储的预警规则，通过调取元数据103中存储的数据质量校验结果，按照如下预警规则进行预警：
80.当数据质量校验结果中，工作流和工作流下的任务未进行数据质量校验或工作流
和工作流下的任务的校验不符合数据质量校验规则，则通过多个通知规则向用户发出预警通知。
81.举例来说，预警模块102调取元数据103中存储的数据质量校验结果，当数据质量校验结果中，某一个工作流和工作流下的任务(shell任务)未进行数据质量校验，并且持续一段时间(30分钟)该任务依然没有进行数据质量校验，则通过多个通知规则向用户发出预警通知。
82.又例如，预警模块102调取元数据103中存储的数据质量校验结果，当数据质量校验结果中，某一个工作流和工作流下的任务(shell任务)校验不符合数据质量校验规则，并且持续一段时间(30分钟)该任务校验依然不符合数据质量校验规则，则通过多个通知规则向用户发出预警通知。
83.本发明的实施例中，多个通知规包括，第一通知规则、第二通知规则、第三通知规则和第四通知规则。第一通知规则为电话通知，第二通知规则为短信通知，第三通知规则为消息通知，第四通知规则为邮件通知。
84.根据本发明的实施例，第一通知规则为电话通知，按照如下方法发出预警通知：
85.步骤s101、获取用户列表200的多个用户负责人信息。
86.预警模块102调取元数据103中存储的数据质量校验结果，当数据质量校验结果中，工作流和工作流下的任务未进行数据质量校验或工作流和工作流下的任务的校验不符合数据质量校验规则，预警模块102获取用户列表200的多个用户负责人信息。
87.例如，预警模块102获取第一用户负责人、第二用户负责人、
……
、第n用户负责人的信息。
88.步骤s102、每间隔一段时间向第一用户负责人发出电话通知，并循环发出n次电话通知。
89.预警模块102根据用于在用户列表200的配置的多个用户负责人的顺序，向排序在第一位置的第一用户负责人，每间隔一段时间(例如5分钟)发出电话通知(拨打电话)，并循环发出n次(例如3次)电话通知。
90.举例来说，预警模块102向第一用户负责人每隔5分钟拨打依次第一用户负责人的电话，重复拨打3次。
91.在步骤s102中，对每间隔一段时间发出电话通知，并循环发出n次电话通知后，数据质量校验结果未响应(出现问题的数据质量校验结果未处理)，则执行步骤s103。
92.步骤s103、当数据质量校验结果未响应，则根据用户列表中多个用户负责人顺序，每间隔一段时间向下一个用户负责人发出电话通知，并循环发出n次电话通知；
93.举例来说，当第一用户负责人未对出现问题的数据质量校验结果进行处理，则预警模块102根据用户在用户列表200的配置的多个用户负责人的顺序，向下一个用户负责人(第二用户负责人)每间隔一段时间(例如5分钟)发出电话通知，并循环发出n次(例如3次)电话通知。
94.步骤s104、重复步骤s103，直至数据质量校验结果响应(出现问题的数据质量校验结果得到处理)或遍历所有用户负责人。
95.根据本发明的实施例，第二通知规则为短信通知，按照如下方法发出预警通知：
96.步骤s201、获取用户列表的多个用户负责人信息。
97.预警模块102调取元数据103中存储的数据质量校验结果，当数据质量校验结果中，工作流和工作流下的任务未进行数据质量校验或工作流和工作流下的任务的校验不符合数据质量校验规则，预警模块102获取用户列表200的多个用户负责人信息。
98.步骤s202、每间隔一段时间向第一用户负责人发出短信通知，并循环发出n次短信通知。
99.预警模块102根据用于在用户列表200的配置的多个用户负责人的顺序，向排序在第一位置的第一用户负责人，每间隔一段时间(例如5分钟)发出短信通知(发送短信)，并循环发出n次(例如3次)短信通知。
100.在步骤s202中，对每间隔一段时间发出短信通知，并循环发出n次短信通知后，数据质量校验结果未响应(出现问题的数据质量校验结果未处理)，则执行步骤s203。
101.步骤s203、当数据质量校验结果未响应，则根据用户列表中多个用户负责人顺序，每间隔一段时间向下一个用户负责人发出短信通知，并循环发出n次短信通知。
102.举例来说，当第一用户负责人未对出现问题的数据质量校验结果进行处理，则预警模块102根据用户在用户列表200的配置的多个用户负责人的顺序，向下一个用户负责人(第二用户负责人)每间隔一段时间(例如5分钟)发出短信通知，并循环发出n次(例如3次)短信通知。
103.步骤s204、重复步骤s203，直至数据质量校验结果响应或遍历所有用户负责人。
104.根据本发明的实施例，第三通知规则为消息通知，按照如下方法发出预警通知：
105.步骤s301、获取用户列表的多个用户负责人信息。
106.预警模块102调取元数据103中存储的数据质量校验结果，当数据质量校验结果中，工作流和工作流下的任务未进行数据质量校验或工作流和工作流下的任务的校验不符合数据质量校验规则，预警模块102获取用户列表200的多个用户负责人信息。
107.步骤s302、每间隔一段时间向第一用户负责人发出消息通知，并循环发出n次消息通知。
108.预警模块102根据用于在用户列表200的配置的多个用户负责人的顺序，向排序在第一位置的第一用户负责人，每间隔一段时间(例如5分钟)发出消息通知(发送微信消息、钉钉消息、qq消息等)，并循环发出n次(例如3次)消息通知。
109.在步骤s302中，对每间隔一段时间发出消息通知，并循环发出n次消息通知后，数据质量校验结果未响应(出现问题的数据质量校验结果未处理)，则执行步骤s303。
110.步骤s303、当数据质量校验结果未响应，则根据用户列表中多个用户负责人顺序，每间隔一段时间向下一个用户负责人发出消息通知，并循环发出n次消息通知。
111.举例来说，当第一用户负责人未对出现问题的数据质量校验结果进行处理，则预警模块102根据用户在用户列表200的配置的多个用户负责人的顺序，向下一个用户负责人(第二用户负责人)每间隔一段时间(例如5分钟)发出消息通知，并循环发出n次(例如3次)消息通知。
112.步骤s304、重复步骤s303，直至数据质量校验结果响应或遍历所有用户负责人。
113.根据本发明的实施例，第四通知规则为邮件通知，按照如下方法发出预警通知：
114.获取用户列表的多个用户负责人信息，向所有用户负责人发出邮件通知(发送邮件)。
115.预警模块102调取元数据103中存储的数据质量校验结果，当数据质量校验结果中，工作流和工作流下的任务未进行数据质量校验或工作流和工作流下的任务的校验不符合数据质量校验规则，预警模块102获取用户列表200的多个用户负责人信息，向所有用户负责人(第一用户负责人、第二用户负责人、
……
、第n用户负责人)发出邮件通知。
116.如图2所示本发明一种基于海豚调度的数据质量校验预警方法的流程图，根据本发明的实施例，提供一种基于海豚调度的数据质量校验预警方法，包括如下方法步骤：
117.步骤s1、创建用户信息。
118.用户在用户列表200中，按顺序配置多个用户负责人；
119.步骤s2、配置数据质量校验规则。
120.在海豚调度平台100的数据质量模块101中，配置数据质量校验规则。
121.步骤s3、配置预警规则和多个通知规则。
122.在海豚调度平台100的预警模块102中，配置预警规则和多个通知规则。
123.步骤s4、数据质量校验。
124.海豚调度平台100的数据质量模块101，并运行工作流和工作流下的任务，对待校验的数据按照数据质量校验规则进行数据质量校验，将数据质量校验结果存储在元数据103中。
125.步骤s5、获取数据质量校验结果。
126.海豚调度平台100的预警模块102，获取元数据103中的数据质量校验校验结果，根据预警规则和多个通知规则向用户发出预警通知。
127.当数据质量校验结果中，工作流和工作流下的任务未进行数据质量校验或工作流和工作流下的任务的校验不符合数据质量校验规则，则通过多个通知规则向用户发出预警通知。
128.举例来说，预警模块102调取元数据103中存储的数据质量校验结果，当数据质量校验结果中，某一个工作流和工作流下的任务(shell任务)未进行数据质量校验，并且持续一段时间(30分钟)该任务依然没有进行数据质量校验，则通过多个通知规则向用户发出预警通知。
129.又例如，预警模块102调取元数据103中存储的数据质量校验结果，当数据质量校验结果中，某一个工作流和工作流下的任务(shell任务)校验不符合数据质量校验规则，并且持续一段时间(30分钟)该任务校验依然不符合数据质量校验规则，则通过多个通知规则向用户发出预警通知。
130.本发明的实施例中，多个通知规包括，第一通知规则、第二通知规则、第三通知规则和第四通知规则。第一通知规则为电话通知，第二通知规则为短信通知，第三通知规则为消息通知，第四通知规则为邮件通知。
131.根据本发明的实施例，第一通知规则为电话通知，按照如下方法发出预警通知：
132.步骤s101、获取用户列表200的多个用户负责人信息。
133.预警模块102调取元数据103中存储的数据质量校验结果，当数据质量校验结果中，工作流和工作流下的任务未进行数据质量校验或工作流和工作流下的任务的校验不符合数据质量校验规则，预警模块102获取用户列表200的多个用户负责人信息。
134.例如，预警模块102获取第一用户负责人、第二用户负责人、
……
、第n用户负责人
的信息。
135.步骤s102、每间隔一段时间向第一用户负责人发出电话通知，并循环发出n次电话通知。
136.预警模块102根据用于在用户列表200的配置的多个用户负责人的顺序，向排序在第一位置的第一用户负责人，每间隔一段时间(例如5分钟)发出电话通知(拨打电话)，并循环发出n次(例如3次)电话通知。
137.举例来说，预警模块102向第一用户负责人每隔5分钟拨打依次第一用户负责人的电话，重复拨打3次。
138.在步骤s102中，对每间隔一段时间发出电话通知，并循环发出n次电话通知后，数据质量校验结果未响应(出现问题的数据质量校验结果未处理)，则执行步骤s103。
139.步骤s103、当数据质量校验结果未响应，则根据用户列表中多个用户负责人顺序，每间隔一段时间向下一个用户负责人发出电话通知，并循环发出n次电话通知；
140.举例来说，当第一用户负责人未对出现问题的数据质量校验结果进行处理，则预警模块102根据用户在用户列表200的配置的多个用户负责人的顺序，向下一个用户负责人(第二用户负责人)每间隔一段时间(例如5分钟)发出电话通知，并循环发出n次(例如3次)电话通知。
141.步骤s104、重复步骤s103，直至数据质量校验结果响应(出现问题的数据质量校验结果得到处理)或遍历所有用户负责人。
142.根据本发明的实施例，第二通知规则为短信通知，按照如下方法发出预警通知：
143.步骤s201、获取用户列表的多个用户负责人信息。
144.预警模块102调取元数据103中存储的数据质量校验结果，当数据质量校验结果中，工作流和工作流下的任务未进行数据质量校验或工作流和工作流下的任务的校验不符合数据质量校验规则，预警模块102获取用户列表200的多个用户负责人信息。
145.步骤s202、每间隔一段时间向第一用户负责人发出短信通知，并循环发出n次短信通知。
146.预警模块102根据用于在用户列表200的配置的多个用户负责人的顺序，向排序在第一位置的第一用户负责人，每间隔一段时间(例如5分钟)发出短信通知(发送短信)，并循环发出n次(例如3次)短信通知。
147.在步骤s202中，对每间隔一段时间发出短信通知，并循环发出n次短信通知后，数据质量校验结果未响应(出现问题的数据质量校验结果未处理)，则执行步骤s203。
148.步骤s203、当数据质量校验结果未响应，则根据用户列表中多个用户负责人顺序，每间隔一段时间向下一个用户负责人发出短信通知，并循环发出n次短信通知。
149.举例来说，当第一用户负责人未对出现问题的数据质量校验结果进行处理，则预警模块102根据用户在用户列表200的配置的多个用户负责人的顺序，向下一个用户负责人(第二用户负责人)每间隔一段时间(例如5分钟)发出短信通知，并循环发出n次(例如3次)短信通知。
150.步骤s204、重复步骤s203，直至数据质量校验结果响应或遍历所有用户负责人。
151.根据本发明的实施例，第三通知规则为消息通知，按照如下方法发出预警通知：
152.步骤s301、获取用户列表的多个用户负责人信息。
153.预警模块102调取元数据103中存储的数据质量校验结果，当数据质量校验结果中，工作流和工作流下的任务未进行数据质量校验或工作流和工作流下的任务的校验不符合数据质量校验规则，预警模块102获取用户列表200的多个用户负责人信息。
154.步骤s302、每间隔一段时间向第一用户负责人发出消息通知，并循环发出n次消息通知。
155.预警模块102根据用于在用户列表200的配置的多个用户负责人的顺序，向排序在第一位置的第一用户负责人，每间隔一段时间(例如5分钟)发出消息通知(发送微信消息、钉钉消息、qq消息等)，并循环发出n次(例如3次)消息通知。
156.在步骤s302中，对每间隔一段时间发出消息通知，并循环发出n次消息通知后，数据质量校验结果未响应(出现问题的数据质量校验结果未处理)，则执行步骤s303。
157.步骤s303、当数据质量校验结果未响应，则根据用户列表中多个用户负责人顺序，每间隔一段时间向下一个用户负责人发出消息通知，并循环发出n次消息通知。
158.举例来说，当第一用户负责人未对出现问题的数据质量校验结果进行处理，则预警模块102根据用户在用户列表200的配置的多个用户负责人的顺序，向下一个用户负责人(第二用户负责人)每间隔一段时间(例如5分钟)发出消息通知，并循环发出n次(例如3次)消息通知。
159.步骤s304、重复步骤s303，直至数据质量校验结果响应或遍历所有用户负责人。
160.根据本发明的实施例，第四通知规则为邮件通知，按照如下方法发出预警通知：
161.获取用户列表的多个用户负责人信息，向所有用户负责人发出邮件通知(发送邮件)。
162.预警模块102调取元数据103中存储的数据质量校验结果，当数据质量校验结果中，工作流和工作流下的任务未进行数据质量校验或工作流和工作流下的任务的校验不符合数据质量校验规则，预警模块102获取用户列表200的多个用户负责人信息，向所有用户负责人(第一用户负责人、第二用户负责人、
……
、第n用户负责人)发出邮件通知。
163.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种基于海豚调度的数据质量校验预警系统，其特征在于，所述数据质量校验预警系统包括：海豚调度平台和用户列表，所述海豚调度平台包括数据质量模块、预警模块和元数据，所述数据质量模块，用于存储数据质量校验规则，并运行工作流和工作流下的任务，对待校验的数据按照数据质量校验规则进行数据质量校验；所述预警模块，用于存储预警规则和多个通知规则，并将数据质量校验结果，按照预警规则和多个通知规则向用户发出预警通知；所述元数据，用于存储数据质量校验结果；用户列表，用于按顺序配置多个用户负责人。2.根据权利要求1所述的数据质量校验预警系统，其特征在于，所述数据质量校验规则为具体的校验sql逻辑。3.根据权利要求1所述的数据质量校验预警系统，其特征在于，所述预警模块调取数据质量校验结果，按照如下预警规则进行预警：当数据质量校验结果中，工作流和工作流下的任务未进行数据质量校验或工作流和工作流下的任务的校验不符合数据质量校验规则，则通过多个通知规则向用户发出预警通知。4.根据权利要求3所述的数据质量校验预警系统，其特征在于，多个通知规包括，第一通知规则、第二通知规则、第三通知规则和第四通知规则，所述第一通知规则为电话通知，按照如下方法发出预警通知：s101、获取用户列表的多个用户负责人信息；s102、每间隔一段时间向第一用户负责人发出电话通知，并循环发出n次电话通知；s103、当数据质量校验结果未响应，则根据用户列表中多个用户负责人顺序，每间隔一段时间向下一个用户负责人发出电话通知，并循环发出n次电话通知；s104、重复步骤s103，直至数据质量校验结果响应或遍历所有用户负责人。5.根据权利要求4所述的数据质量校验预警系统，其特征在于，所述第二通知规则为短信通知，按照如下方法发出预警通知：s201、获取用户列表的多个用户负责人信息；s202、每间隔一段时间向第一用户负责人发出短信通知，并循环发出n次短信通知；s203、当数据质量校验结果未响应，则根据用户列表中多个用户负责人顺序，每间隔一段时间向下一个用户负责人发出短信通知，并循环发出n次短信通知；s204、重复步骤s203，直至数据质量校验结果响应或遍历所有用户负责人。6.根据权利要求4所述的数据质量校验预警系统，其特征在于，所述第三通知规则为消息通知，按照如下方法发出预警通知：s301、获取用户列表的多个用户负责人信息；s302、每间隔一段时间向第一用户负责人发出消息通知，并循环发出n次消息通知；s303、当数据质量校验结果未响应，则根据用户列表中多个用户负责人顺序，每间隔一段时间向下一个用户负责人发出消息通知，并循环发出n次消息通知；s304、重复步骤s303，直至数据质量校验结果响应或遍历所有用户负责人。7.根据权利要求4所述的数据质量校验预警系统，其特征在于，所述第四通知规则为邮件通知，按照如下方法发出预警通知：
获取用户列表的多个用户负责人信息，向所有用户负责人发出邮件通知。8.一种基于海豚调度的数据质量校验预警方法，其特征在于，所述数据质量校验预警方法包括如下方法步骤：s1、创建用户信息；在用户列表中，按顺序配置多个用户负责人；s2、配置数据质量校验规则；在海豚调度平台的数据质量模块中，配置数据质量校验规则；s3、配置预警规则和多个通知规则；在海豚调度平台的预警模块中，配置预警规则和多个通知规则；s4、数据质量校验；海豚调度平台的数据质量模块，并运行工作流和工作流下的任务，对待校验的数据按照数据质量校验规则进行数据质量校验；s5、获取数据质量校验结果；海豚调度平台的预警模块，获取元数据中的数据质量校验校验结果，根据预警规则和多个通知规则向用户发出预警通知。9.根据权利要求8所述的数据质量校验预警方法，其特征在于，在步骤s5中，当数据质量校验结果中，工作流和工作流下的任务未进行数据质量校验或工作流和工作流下的任务的校验不符合数据质量校验规则，则通过多个通知规则向用户发出预警通知。10.根据权利要求9所述的数据质量校验预警方法，其特征在于，多个通知规包括，第一通知规则、第二通知规则、第三通知规则和第四通知规则；所述第一通知规则为电话通知，按照如下方法发出预警通知：s101、获取用户列表的多个用户负责人信息；s102、每间隔一段时间向第一用户负责人发出电话通知，并循环发出n次电话通知；s103、当数据质量校验结果未响应，则根据用户列表中多个用户负责人顺序，每间隔一段时间向下一个用户负责人发出电话通知，并循环发出n次电话通知；s104、重复步骤s103，直至数据质量校验结果响应或遍历所有用户负责人；所述第二通知规则为短信通知，按照如下方法发出预警通知：s201、获取用户列表的多个用户负责人信息；s202、每间隔一段时间向第一用户负责人发出短信通知，并循环发出n次短信通知；s203、当数据质量校验结果未响应，则根据用户列表中多个用户负责人顺序，每间隔一段时间向下一个用户负责人发出短信通知，并循环发出n次短信通知；s204、重复步骤s203，直至数据质量校验结果响应或遍历所有用户负责人；所述第三通知规则为消息通知，按照如下方法发出预警通知：s301、获取用户列表的多个用户负责人信息；s302、每间隔一段时间向第一用户负责人发出消息通知，并循环发出n次消息通知；s303、当数据质量校验结果未响应，则根据用户列表中多个用户负责人顺序，每间隔一段时间向下一个用户负责人发出消息通知，并循环发出n次消息通知；s304、重复步骤s303，直至数据质量校验结果响应或遍历所有用户负责人；所述第四通知规则为邮件通知，按照如下方法发出预警通知：
获取用户列表的多个用户负责人信息，向所有用户负责人发出邮件通知。

技术总结
本发明提供了一种基于海豚调度的数据质量校验预警系统及方法，系统包括：海豚调度平台和用户列表，海豚调度平台包括数据质量模块、预警模块和元数据，数据质量模块，用于存储数据质量校验规则，并运行工作流和工作流下的任务，对待校验的数据按照数据质量校验规则进行数据质量校验；预警模块，用于存储预警规则和多个通知规则，并将数据质量校验结果，按照预警规则和多个通知规则向用户发出预警通知；元数据，用于存储数据质量校验结果；用户列表，用于按顺序配置多个用户负责人。本发明在数据质量校验出现问题时，能够第一时间通知开发人员，保证数据仓库的核心数据准确性、完整性、一致性和及时性。致性和及时性。致性和及时性。


技术研发人员：康珊伟
受保护的技术使用者：上海二三四五网络科技有限公司
技术研发日：2023.05.06
技术公布日：2023/10/7