一种城市交通大数据平台的数仓监测系统的制作方法

1.本发明涉及数仓监测技术领域，具体为一种城市交通大数据平台的数仓监测系统。


背景技术：

2.城市交通是指在城市道路系统中进行的公众出行和客货输送等，在人类把车辆作为交通工具之前，城市公众出行以步行为主，或以骑牲畜、乘轿等代步，货物转移多靠肩挑或利用简单的运送工具运输，为了方便对城市交通状况进行实时监测，都会建设以城市交通大数据为基础的终端平台，而这些数据都会储存在平台内的数据仓库中，为了保证这些数据的质量，且保证数据不会出现错误，我们提出一种城市交通大数据平台的数仓监测系统。


技术实现要素：

3.本发明的目的在于提供一种城市交通大数据平台的数仓监测系统，以解决上述背景技术中提出的问题。
4.为实现上述目的，本发明提供如下技术方案：包括数据采集系统、数据剖析系统、交通数据总控平台、预期质量导入系统、数据分类评估系统、数据质量验证系统和质量问题分析系统，所述数据采集系统输出端与数据剖析系统电性连接，所述数据剖析系统输出端与交通数据总控平台电性连接，所述预期质量导入系统输出端与交通数据总控平台电性连接，所述交通数据总控平台输出端与数据分类评估系统电性连接，所述数据分类评估系统输出端与数据质量验证系统电性连接，所述数据质量验证系统输出端与质量问题分析系统电性连接；
5.所述数据采集系统用于对城市交通的大数据进行多源采集；
6.所述数据剖析系统用于对数据采集系统得到的数据进行以属性为基础的剖析；
7.所述交通数据总控平台用于对整个系统进行控制和中转；
8.所述预期质量导入系统用于将预期的数据质量导入至交通数据总控平台；
9.所述数据分类评估系统用于对数据进行分析和初步评估，并将数据分为重要数据和非重要数据；
10.所述数据质量验证系统用于对分类后的数据进行各种质量分类的验证；
11.所述质量问题分析系统用于对有质量问题的数据进行其存在的问题进行分析。
12.作为本发明的一种优选方案：所述交通数据总控平台输出端电性连接有监测结果处理系统，所述质量问题分析系统输出端电性连接有监测结果反馈系统，所述监测结果反馈系统输出端与监测结果处理系统电性连接，所述监测结果处理系统输出端电性连接有终端展示系统；
13.所述监测结果反馈系统用于对数据的质量问题和问题分析的结果进行反馈；
14.所述监测结果处理系统用于对数据的监测结果进行处理，并生成对应的便于观察
的列表和图表；
15.所述终端展示系统用于对监测结果处理系统生成的列表和图表进行展示。
16.作为本发明的一种优选方案：所述质量问题分析系统包括源系统问题分析模块、etl问题分析模块、调度系统问题分析模块和业务需求问题分析模块。
17.作为本发明的一种优选方案：所述源系统问题分析模块用于对源数据系统中的结构变更、业务流程变更、数据录入、数据演变和数据震荡中存在的问题进行分析；
18.所述etl问题分析模块用对etl系统中的数据需求、映射规则、程序错误和数据及时性中存在的问题进行分析；
19.所述调度系统问题分析模块用于对定时调度系统中对调度系统因数据延迟问题和自身故障问题进行分析；
20.所述业务需求问题分析模块用于根据数据需求的变化和系统与业务之间的冲突问题进行分析。
21.作为本发明的一种优选方案：所述数据质量验证系统包括完整性验证模块、一致性验证模块、完备性验证模块、有效性验证模块和及时性验证模块。
22.作为本发明的一种优选方案：所述完整性验证模块用于对数据关系规则的符合程度进行验证；
23.所述一致性验证模块用于对数据集之间数据变更和变异的程度进行验证；
24.所述完备性验证模块用于对数据存在、属性和数量是否完备进行验证；
25.所述有效性验证模块用于数据对一组业务规则的符合程度进行验证；
26.所述及时性验证模块用于数据处理的及时程度进行验证。
27.作为本发明的一种优选方案：所述数据剖析系统包括列属性剖析模块和结构属性剖析模块。
28.作为本发明的一种优选方案：所述列属性剖析模块用于对数据的列类型、列格式、列长度、高频值列、低频值列、日期列、列有效性、列值域、列默认值、列模式、列空值和重复记录进行剖析；
29.所述结构属性剖析模块用于对数据的参考完整性、列之间的依赖关系、数据粒度、数据精度、数据层次结构和业务规则进行剖析。
30.作为本发明的一种优选方案：所述数据采集系统包括元数据采集模块和仓库数据采集模块。
31.作为本发明的一种优选方案：所述元数据采集模块用于对交通数据中的基础元数据进行采集和获取；
32.所述仓库数据采集模块用于对数据仓库中的储存数据进行采集和获取。
33.与现有技术相比，本发明的有益效果是：通过加入数据采集系统可以对流经交通大数据平台的元数据和数据仓库中的储存数据进行获取，全方位的对交通数据进行监控；通过加入数据剖析系统可以对交通数据进行基础属性的剖析，从而获得对数据和环境的了解，并对数据的状况进行描述；通过加入数据质量验证系统对数据进行完整性、一致性、完备性、有效性和及时性的质量问题进行验证，发现交通数据存在的问题；通过加入质量问题分析系统可以根据数据的质量问题，对问题的根源进行发现，方便进行后续的数据处理；实现对交通数据的全方位监测，并发现数据问题的源头，方便做出对应的处理措施。
附图说明
34.图1为本发明的系统框图；
35.图2为本发明的数据采集系统系统框图；
36.图3为本发明的数据剖析系统系统框图；
37.图4为本发明的数据质量验证系统系统框图；
38.图5为本发明的质量问题分析系统系统框图。
具体实施方式
39.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
40.请参阅图1、图2、图3、图4和图5，本发明提供一种技术方案：包括数据采集系统、数据剖析系统、交通数据总控平台、预期质量导入系统、数据分类评估系统、数据质量验证系统和质量问题分析系统，所述数据采集系统输出端与数据剖析系统电性连接，所述数据剖析系统输出端与交通数据总控平台电性连接，所述预期质量导入系统输出端与交通数据总控平台电性连接，所述交通数据总控平台输出端与数据分类评估系统电性连接，所述数据分类评估系统输出端与数据质量验证系统电性连接，所述数据质量验证系统输出端与质量问题分析系统电性连接；
41.所述数据采集系统用于对城市交通的大数据进行多源采集；
42.所述数据剖析系统用于对数据采集系统得到的数据进行以属性为基础的剖析；
43.所述交通数据总控平台用于对整个系统进行控制和中转；
44.所述预期质量导入系统用于将预期的数据质量导入至交通数据总控平台；
45.所述数据分类评估系统用于对数据进行分析和初步评估，并将数据分为重要数据和非重要数据；
46.所述数据质量验证系统用于对分类后的数据进行各种质量分类的验证；
47.所述质量问题分析系统用于对有质量问题的数据进行其存在的问题进行分析。
48.其中，所述交通数据总控平台输出端电性连接有监测结果处理系统，所述质量问题分析系统输出端电性连接有监测结果反馈系统，所述监测结果反馈系统输出端与监测结果处理系统电性连接，所述监测结果处理系统输出端电性连接有终端展示系统；
49.所述监测结果反馈系统用于对数据的质量问题和问题分析的结果进行反馈；
50.所述监测结果处理系统用于对数据的监测结果进行处理，并生成对应的便于观察的列表和图表；
51.所述终端展示系统用于对监测结果处理系统生成的列表和图表进行展示。
52.其中，所述质量问题分析系统包括源系统问题分析模块、etl问题分析模块、调度系统问题分析模块和业务需求问题分析模块。
53.其中，所述源系统问题分析模块用于对源数据系统中的结构变更、业务流程变更、数据录入、数据演变和数据震荡中存在的问题进行分析；
54.所述etl问题分析模块用对etl系统中的数据需求、映射规则、程序错误和数据及
时性中存在的问题进行分析；
55.所述调度系统问题分析模块用于对定时调度系统中对调度系统因数据延迟问题和自身故障问题进行分析；
56.所述业务需求问题分析模块用于根据数据需求的变化和系统与业务之间的冲突问题进行分析。
57.其中，所述数据质量验证系统包括完整性验证模块、一致性验证模块、完备性验证模块、有效性验证模块和及时性验证模块。
58.其中，所述完整性验证模块用于对数据关系规则的符合程度进行验证；
59.所述一致性验证模块用于对数据集之间数据变更和变异的程度进行验证；
60.所述完备性验证模块用于对数据存在、属性和数量是否完备进行验证；
61.所述有效性验证模块用于数据对一组业务规则的符合程度进行验证；
62.所述及时性验证模块用于数据处理的及时程度进行验证。
63.其中，所述数据剖析系统包括列属性剖析模块和结构属性剖析模块。
64.其中，所述列属性剖析模块用于对数据的列类型、列格式、列长度、高频值列、低频值列、日期列、列有效性、列值域、列默认值、列模式、列空值和重复记录进行剖析；
65.所述结构属性剖析模块用于对数据的参考完整性、列之间的依赖关系、数据粒度、数据精度、数据层次结构和业务规则进行剖析。
66.其中，所述数据采集系统包括元数据采集模块和仓库数据采集模块。
67.其中，所述元数据采集模块用于对交通数据中的基础元数据进行采集和获取；
68.所述仓库数据采集模块用于对数据仓库中的储存数据进行采集和获取。
69.具体的，在使用时，先通过数据采集系统对全方位的交通数据进行采集，再由数据剖析系统对采集到的交通数据进行属性的剖析，从而获得对数据和环境的了解，并对数据的状况进行描述，之后通过数据分类评估系统将数据分为重要数据和不重要数据，在根据数据的状况通过数据质量验证系统对数据进行完整性、一致性、完备性、有效性和及时性进行质量验证，当发现质量问题时，将质量问题和出现问题的数据传输至质量问题分析系统，由质量问题分析系统分析出数据质量问题的源头进行分析，再将处理结构反馈至监测结构处理系统，最终在终端展示系统上展示出出现问题的数据和数据的源头问题，方便工作人员做出针对性的处理。
70.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种城市交通大数据平台的数仓监测系统，包括数据采集系统、数据剖析系统、交通数据总控平台、预期质量导入系统、数据分类评估系统、数据质量验证系统和质量问题分析系统，其特征在于，所述数据采集系统输出端与数据剖析系统电性连接，所述数据剖析系统输出端与交通数据总控平台电性连接，所述预期质量导入系统输出端与交通数据总控平台电性连接，所述交通数据总控平台输出端与数据分类评估系统电性连接，所述数据分类评估系统输出端与数据质量验证系统电性连接，所述数据质量验证系统输出端与质量问题分析系统电性连接；所述数据采集系统用于对城市交通的大数据进行多源采集；所述数据剖析系统用于对数据采集系统得到的数据进行以属性为基础的剖析；所述交通数据总控平台用于对整个系统进行控制和中转；所述预期质量导入系统用于将预期的数据质量导入至交通数据总控平台；所述数据分类评估系统用于对数据进行分析和初步评估，并将数据分为重要数据和非重要数据；所述数据质量验证系统用于对分类后的数据进行各种质量分类的验证；所述质量问题分析系统用于对有质量问题的数据进行其存在的问题进行分析。2.根据权利要求1所述的一种城市交通大数据平台的数仓监测系统，其特征在于：所述交通数据总控平台输出端电性连接有监测结果处理系统，所述质量问题分析系统输出端电性连接有监测结果反馈系统，所述监测结果反馈系统输出端与监测结果处理系统电性连接，所述监测结果处理系统输出端电性连接有终端展示系统；所述监测结果反馈系统用于对数据的质量问题和问题分析的结果进行反馈；所述监测结果处理系统用于对数据的监测结果进行处理，并生成对应的便于观察的列表和图表；所述终端展示系统用于对监测结果处理系统生成的列表和图表进行展示。3.根据权利要求2所述的一种城市交通大数据平台的数仓监测系统，其特征在于：所述质量问题分析系统包括源系统问题分析模块、etl问题分析模块、调度系统问题分析模块和业务需求问题分析模块。4.根据权利要求3所述的一种城市交通大数据平台的数仓监测系统，其特征在于：所述源系统问题分析模块用于对源数据系统中的结构变更、业务流程变更、数据录入、数据演变和数据震荡中存在的问题进行分析；所述etl问题分析模块用对etl系统中的数据需求、映射规则、程序错误和数据及时性中存在的问题进行分析；所述调度系统问题分析模块用于对定时调度系统中对调度系统因数据延迟问题和自身故障问题进行分析；所述业务需求问题分析模块用于根据数据需求的变化和系统与业务之间的冲突问题进行分析。5.根据权利要求4所述的一种城市交通大数据平台的数仓监测系统，其特征在于：所述数据质量验证系统包括完整性验证模块、一致性验证模块、完备性验证模块、有效性验证模块和及时性验证模块。6.根据权利要求5所述的一种城市交通大数据平台的数仓监测系统，其特征在于：所述
完整性验证模块用于对数据关系规则的符合程度进行验证；所述一致性验证模块用于对数据集之间数据变更和变异的程度进行验证；所述完备性验证模块用于对数据存在、属性和数量是否完备进行验证；所述有效性验证模块用于数据对一组业务规则的符合程度进行验证；所述及时性验证模块用于数据处理的及时程度进行验证。7.根据权利要求6所述的一种城市交通大数据平台的数仓监测系统，其特征在于：所述数据剖析系统包括列属性剖析模块和结构属性剖析模块。8.根据权利要求7所述的一种城市交通大数据平台的数仓监测系统，其特征在于：所述列属性剖析模块用于对数据的列类型、列格式、列长度、高频值列、低频值列、日期列、列有效性、列值域、列默认值、列模式、列空值和重复记录进行剖析；所述结构属性剖析模块用于对数据的参考完整性、列之间的依赖关系、数据粒度、数据精度、数据层次结构和业务规则进行剖析。9.根据权利要求8所述的一种城市交通大数据平台的数仓监测系统，其特征在于：所述数据采集系统包括元数据采集模块和仓库数据采集模块。10.根据权利要求9所述的一种城市交通大数据平台的数仓监测系统，其特征在于：所述元数据采集模块用于对交通数据中的基础元数据进行采集和获取；所述仓库数据采集模块用于对数据仓库中的储存数据进行采集和获取。

技术总结
本发明公开了一种城市交通大数据平台的数仓监测系统，包括数据采集系统、数据剖析系统、交通数据总控平台、预期质量导入系统、数据分类评估系统、数据质量验证系统和质量问题分析系统，本发明的有益效果是：通过加入数据剖析系统可以对交通数据进行基础属性的剖析，从而获得对数据和环境的了解，并对数据的状况进行描述；通过加入数据质量验证系统对数据进行完整性、一致性、完备性、有效性和及时性的质量问题进行验证，发现交通数据存在的问题；通过加入质量问题分析系统可以根据数据的质量问题，对问题的根源进行发现，方便进行后续的数据处理；实现对交通数据的全方位监测，并发现数据问题的源头，方便做出对应的处理措施。方便做出对应的处理措施。方便做出对应的处理措施。


技术研发人员：赵先明 林昀
受保护的技术使用者：北京红山信息科技研究院有限公司
技术研发日：2023.03.01
技术公布日：2023/5/16