交通行业一种基于大数据技术的数据治理系统及方法与流程

1.本技术涉及数据处理技术领域，尤其涉及交通行业一种基于大数据技术的数据治理系统及方法。


背景技术：

2.数据是重要的资产，合理地使用数据能为企业带来巨大的价值。
3.目前，数据治理方面主要存在以下缺陷：
4.(1)由于数据治理的侧重点和视角不同，国内外相关行业对数据治理项目的整体架构方式也不尽相同，目前并没有交通行业数据的个性化数据治理解决方案；
5.(2)当数据质量出现问题，不能及时地警报通知，只能先发现后治理再进行任务返工，影响数据产出和决策；
6.(3)数据的泄露会对企业造成很大的风险，在数据安全方面的考虑欠缺，导致系统无法满足数据安全需求。


技术实现要素：

7.本技术实施例的主要目的在于提出交通行业一种基于大数据技术的数据治理系统及方法，考虑到交通行业多运营商、有数据隔离安全需求的情况，在数据安全、数据集成、数据治理、数据开发、数据服务、分析建模、运维监控和数据应用方面给出对交通行业的针对性数据治理方案，能够对交通行业数据进行有效治理，提高数据处理效率、保障数据安全和质量，降低治理成本。
8.为实现上述目的，本技术实施例的第一方面提出了一种交通行业数据治理系统，所述系统包括：
9.数据安全模块、数据集成模块、数据治理模块、数据开发模块、数据服务模块、分析建模模块、运维监控模块和数据应用模块，各个模块根据不同用户需求可独立或者任意组合使用；
10.所述数据安全模块用于根据用户需求进行模块部署管理、用户层级管理、各个层级权限管理及项目管理，所述项目管理包括对项目基本信息、项目配置人员、项目角色和项目数据权限进行管理；
11.所述数据集成模块用于通过数据接入、数据同步和调度配置将交通行业数据源集成到一起，以支持数据安全访问；
12.所述数据治理模块用于对交通行业数据进行元数据管理、数据资产管理、数据指标管理和数据质量管理；
13.所述数据开发模块用于通过离线开发和实时计算开发的方式根据项目需求进行交通行业数据开发；
14.所述数据服务模块用于配置不同项目下的接口集和所述接口集下的接口及对所述接口进行应用授权管理；
15.所述分析建模模块用于对所述交通行业数据进行模型开发、模型部署和模型评价；
16.所述运维监控模块用于监控当前系统任务的运行情况和实例运行概况；
17.所述数据应用模块用于对所述交通行业数据进行商业智能分析和算法应用。
18.在一些实施例，所述用户层级管理包括：
19.构建用户层级，所述用户层级包括超级管理员、系统管理员、项目管理员和普通用户；
20.设置并管理各个用户层级对应的权限。
21.在一些实施例，元数据包括业务元数据和技术元数据，所述元数据管理包括：
22.对所述业务元数据和技术元数据的基本信息、字段信息、血缘关系、ddl变更进行管理，所述基本信息包括数据表信息、业务信息和存储信息，所述字段信息包括字段名称、字段类型、字段大小、是否为空、精确位数、字段注释、计算方式、是否索引和分区字段，所述血缘关系包括系统接入数据节点之间的上下游生成关系，其中，数据节点包含上游节点、中间节点和下游节点，所述ddl变更包括对数据表的操作信息。
23.在一些实施例，所述数据资产管理包括：
24.通过搜索系统应用程序接口或者接入协同的数据表或者实时数据topic的方式查询交通行业中的各类离线数据和实时数据。
25.在一些实施例，数据指标包括行业运营指标、能耗指标和商业运营指标，所述数据指标管理包括：
26.对所述行业运营指标、能耗指标和商业运营指标进行原子指标、派生指标、时间周期和修饰词管理，其中，所述派生指标通过所述原子指标、时间周期和修饰词的方式自动单个或者批量生成。
27.在一些实施例，所述数据质量管理包括质量规则管理和质量监控管理；
28.所述质量规则管理用于对所述交通行业数据进行质量规则设置，所述质量规则包括唯一性校验、字段长度校验、正则表达式、枚举值校验、表行数校验、空值校验、多表准确性校验、自定义sql、及时性校验和两表值对比；
29.所述质量监控管理用于当所述交通行业数据中的待校验数据触发预设的阈值条件时，发出质量告警。
30.在一些实施例，所述数据服务模块包括接口管理和应用管理；
31.所述接口管理用于配置不同项目下的接口集和所述接口集下的接口，包括：
32.创建系统应用程序的接口集；
33.在选定所述接口集下，创建选定的所述接口集中的接口，并配置基础信息，所述基础信息包括接口名称、接口所属集合、接口路径、版本号和接口描述；
34.确定数据来源信息，所述数据来源信息包括接口数据生成方式、数据源类型、数据源名称、数据库名称和表名称；
35.配置接口参数，所述接口参数包括入参定义、返回参数、请求参数和排序参数；
36.当所述接口参数配置完成之后，发布所述接口，以使得所述接口被授权应用；
37.所述应用管理用于对发布各个所述接口进行应用授权管理，包括：
38.新增接口授权应用和编辑应用信息，所述应用信息包括应用名称，应用归属项目
和应用描述；
39.查询各个应用关联的所有接口，和所有接口对应的授权信息。
40.在一些实施例，所述接口管理还用于执行以下操作：
41.当需要新增的接口归属的目标接口集已存在，选中所述目标接口集，在所述目标接口集下新增接口；
42.当需要新增的接口归属的目标接口集不存在，新建所述目标接口集，并在新建后的所述目标接口集下新增接口。
43.在一些实施例，所述系统还包括：
44.数据存储模块，用于将所述交通行业数据按照需要存储于相应的数据库。
45.为实现上述目的，本技术实施例的第二方面提出了一种交通行业数据治理方法，包括：
46.采集得到交通行业数据源；
47.通过数据集成模块基于数据接入、数据同步和调度配置将所述交通行业数据源集成到一起，以支持数据安全访问；
48.通过数据安全模块根据用户需求进行模块部署管理、用户层级管理、各个层级权限管理及项目管理，所述项目管理包括对项目基本信息、项目配置人员、项目角色和项目数据权限进行管理；
49.通过数据治理模块对交通行业数据进行元数据管理、数据资产管理、数据指标管理和数据质量管理；
50.通过数据开发模块基于离线开发和实时计算开发的方式根据项目需求进行交通行业数据开发；
51.通过分析建模模块对所述交通行业数据进行模型开发、模型部署和模型评价；
52.通过数据服务模块配置不同项目下的接口集和所述接口集下的接口及对所述接口进行应用授权管理；
53.通过运维监控模块监控当前系统任务的运行情况和实例运行概况；
54.通过数据应用模块对所述交通行业数据进行商业智能分析和算法应用。
55.本技术提出的交通行业一种基于大数据技术的数据治理系统及方法，该系统包括数据安全模块、数据集成模块、数据治理模块、数据开发模块、数据服务模块、分析建模模块、运维监控模块和数据应用模块，各个模块根据不同用户需求可独立或者任意组合使用；该系统考虑了交通行业多运营商、有数据隔离安全需求的情况，在数据安全、数据集成、数据治理、数据开发、数据服务、分析建模、运维监控和数据应用方面给出对交通行业的针对性数据治理方案，能够对交通行业数据进行有效治理，提高数据处理效率、保障数据安全和质量，降低治理成本。
附图说明
56.图1是本技术实施例中提供的交通行业数据治理系统的架构图；
57.图2是本技术实施例提供的用户层级管理的示例图；
58.图3是本技术实施例提供的项目成员信息的示例图；
59.图4是本技术实施例提供的基本信息示例图；
60.图5是本技术实施例提供的血缘关系示例图；
61.图6是本技术实施例提供的ddl变更示例图；
62.图7是本技术实施例提供的搜api的展示页面示例图；
63.图8是本技术实施例提供的单个新增派生指标的示例图；
64.图9是本技术实施例提供的批量新增派生指标的示例图；
65.图10为本技术实施例提供的能耗指标表的示例图；
66.图11是本技术实施例提供的包含数据质量管理的前端界面示例图；
67.图12是本技术实施例提供的接口管理展示界面示例图；
68.图13是本技术实施例提供的新增接口集的展示界面示例图；
69.图14是本技术实施例提供的查询新增接口集展示界面示例图；
70.图15是本技术实施例提供的基本信息展示界面示例图；
71.图16是本技术实施例提供的数据来源展示界面示例图；
72.图17是本技术实施例提供的入参定义展示界面示例图；
73.图18是本技术实施例提供的返回参数展示界面示例图；
74.图19是本技术实施例提供的请求参数展示界面示例图；
75.图20是本技术实施例提供的请求参数展示界面示例图；
76.图21是本技术实施例提供的接口授权展示界面示例图；
77.图22是本技术实施例提供的新增应用展示界面示例图；
78.图23是本技术实施例提供的查看授权展示界面示例图；
79.图24是本技术实施例提供的bi分析的其中一个界面展示示例图；
80.图25是本技术实施例提供的运营侧权益定价算法界面示例图；
81.图26是本技术实施例提供的交通行业数据治理方法的流程图。
具体实施方式
82.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
83.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
84.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
85.互联网数据中心(i dc)正式发布的《中国数据治理市场份额2021》报告中显示，中国数据治理平台市场2021年规模达23.9亿元，越来越多的行业和领域开始认识到数据治理的价值和必要性。数据治理的市场将迎来高速增长期。
86.由此可见，数据治理行业已经得到广泛接受和认可，同时，中国数据治理市场经过几十年的发展，市场需求已经发生了重大转变，企业内部的数据架构越来越复杂，对数据治
理工作的方式方法提出了更高的要求。
87.在数据治理项目中，制定数据治理架构是最核心的任务，好的数据治理架构可以确保数据治理的整体性，实现彻底、完善的数据治理，更好地达到数据治理的预期效果。
88.但由于数据治理的侧重点和视角不同，国内外相关行业对数据治理项目的整体架构方式也不尽相同。目前，还没有交通行业数据的个性化数据治理的解决方案。
89.基于此，本技术实施例提出一种交通行业数据治理系统，能够适配交通行业需求，在数据安全、数据集成、数据治理、数据开发、数据服务、分析建模、运维监控和数据应用方面给出对交通行业的针对性数据治理方案，能够对交通行业数据进行有效治理，提高数据处理效率、保障数据安全和质量，降低治理成本。
90.数据治理(data governance)是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行，关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。
91.数据管理能力成熟度评估模型(dcmm)规定了数据治理八大核心能力领域：数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标准和数据生存周期。
92.从技术实施角度看，数据治理包含“理”“采”“存”“管”“用”这五个步骤，即业务和数据资源梳理、数据采集清洗、数据库设计和存储、数据管理、数据使用。
93.参照图1，本技术实施例依据dcmm规定的数据治理标准的八个核心能力领域，提出了一种交通行业数据治理系统，考虑了交通行业多运营商、有数据隔离安全需求等要素，给出了对交通行业的针对性数据治理方案。由图1所示，数据治理系统主要包括：数据安全模块、数据集成模块、数据治理模块、数据开发模块、数据服务模块、分析建模模块、运维监控模块和数据应用模块8个模块，各个模块根据不同用户需求可独立或者任意组合使用，打通数据治理各个环节，快速满足不同运营商各类不同的数据治理场景。该治理系统的超级管理员可针对不同运营商的需求，选择不同模块部署。在部署过程中，可根据运营商要求，对各自的交通数据进行隔离或共享，支持多样化的部署形式。
94.接下来，将对系统的各个模块进行详细说明。
95.数据安全模块：
96.用于根据用户需求进行模块部署管理、用户层级管理及各个层级权限管理，具体地，用户层级管理包括构建用户层级，用户层级包括超级管理员、系统管理员、项目管理员和普通用户；设置并管理各个用户层级对应的权限。数据安全模块还用于项目管理，包括对项目基本信息、项目配置人员、项目角色和项目数据权限进行管理。
97.数据安全主要体现在以下2个方面：
98.(1)模块部署方面：在部署过程中可将不同运营商对应的交通数据进行隔离，即不同运营商之间的数据不会互相公开，可提高数据安全性。
99.(2)通过用户层级管理及各个层级权限管理，实现运营商企业内部的数据隔离和各个层级管理的功能隔离。即根据用户所属层级及其对应的权限，用户只能查看、管理和编辑所属层级对应的数据内容，同样能够提高数据安全性。
100.参照图2，图2是本技术实施例提供的用户层级管理的示例图。由图2所示，用户分为四种层级，分别是超级管理员、系统管理员、项目管理员和普通用户，各角色对应权限如表1所示。
101.表1不同角色对应的权限内容对照表
[0102][0103]
本技术实施例，项目管理中，支持新增项目、查询及管理项目，其中，查询及管理项目是可在项目中查看及管理项目基本信息、配置项目成员、项目角色和项目数据权限。比如对项目成员进行解绑等。其中，项目成员可以来源于由图2所示的系统用户列表的任一用户，用户和项目之间为多对多关系。参照图3，图3是本技术实施例提供的项目成员信息的示例图。
[0104]
数据集成模块：
[0105]
用于通过数据接入、数据同步和调度配置将交通行业数据源集成到一起，从而支持数据安全访问。
[0106]
本技术实施例中，数据集成模块支持数据接入、数据同步和调度配置。其中数据接入支持交通行业常见数据源类型接入。比如关系型数据库、消息队列和半结构化存储等。其中，关系型数据库支持mysq l数据库、dor i s数据库和orac le数据库等；消息队列支持kafka、rocketmq等；半结构化存储支持sftp数据采集等。数据同步是可采用datax同步离线数据，并可采用f l ink cdc方式同步实时数据。
[0107]
数据治理模块：
[0108]
数据治理模块包括元数据管理、数据资产管理、数据指标管理和数据质量管理。
[0109]
其中，元数据管理主要是对接入系统的元数据信息进行管理，元数据主要包括业务元数据和技术元数据。元数据管理主要包含基本信息、字段信息、血缘关系、ddl变更方面的管理。其中，如图4所示，图4是本技术实施例提供的基本信息示例图。基本信息展示系统接入库表的数据库表信息、业务信息、存储信息。字段信息中展示有字段名称、字段类型、字段大小、是否为空、精确位数、字段注释、计算方式、是否索引、分区字段等。参照图5，图5是本技术实施例提供的血缘关系示例图。如图5所示，血缘关系中展示系统接入数据节点之间的上下游生成关系，节点包含上游节点、中间节点和下游节点。参照图6，图6是本技术实施例提供的ddl变更示例图。如图6所示，ddl变更中可以查看近三个月对表的操作。变更类型包含新建表、删除表、表重命名、表结构替换、修改表备注、新增列、修改列、修改分区值、删除分区和其他变更。
[0110]
其中，数据资产管理主要基于数据地图实现，数据地图支持搜索接入协同的数据表、实时数据topic以及系统中所有api。以此方式可以查看及管理交通行业中的各类离线
和实时数据。参照图7，图7是本技术实施例提供的搜api的展示页面示例图。
[0111]
其中，数据指标管理包含原子指标、派生指标、时间周期、修饰词管理。数据指标包含行业运营指标、能耗指标和商业运营指标三类。其中，派生指标可以通过原子指标加时间周期加修饰词的方式自动生成，目前支持单个新增和批量新增的方式。如图8所示，图8是本技术实施例提供的单个新增派生指标的示例图。批量新增需要分别选择原子指标、修饰词、时间周期和关联维度，如图9所示，图9是本技术实施例提供的批量新增派生指标的示例图。通过对数据指标的管理，能够将统计口径收敛在一起统一管理，提高指标真确性；同时，对数据安全和权限的把控将会更加精细化，资源的管理也更加规范，在一定程度上还可降低数据开发的成本。
[0112]
示例性地，参照表2，表2为行业运营指标表。表2中示出了行业运营中部分指标的分类、指标定义、单位和计算方法。本技术实施例针对交通行业数据特性和运营目的等，制定出相对应的行业运营指标，能够在运营商改变运营策略、增加企业效益等方面起到一定的指导效果。比如根据表2所示的“乘客满意度”这一指标，能够一定程度上了解企业服务质量和水平，从而可根据这一指标呈现的结果，指导是否继续维持当前服务水平或者指导是否需要制定相应制度来规范和加强服务水平等。
[0113]
表2行业运营指标表
[0114][0115][0116]
需要说明的是，表2中只是示例性地示出了行业运营指标中的部分指标，行业运营指标还包括线网密度、万人线网拥有率、站点密度、站点覆盖率、万人车站拥有率、城市轨道交通客运分担率等等，本技术实施例在此不作枚举。
[0117]
示例性地，参照图10，图10为本技术实施例提供的能耗指标表的示例图。如图10所示，能耗指标表中展示了城市轨道交通的部分指标及各项指标所对应的类别及单位。本技术实施例针对交通行业数据特性和运营目的等，制定出相对应的能耗指标，能够规范数据的同时，还能够通过能耗指标了解能耗情况，并可根据能耗情况进行能耗缩减策略升级改进及在能耗高时指导原因排查等。
[0118]
需要说明的是，图10中只是示例性地示出了能耗指标中的部分指标，能耗指标还可包括其他能耗，本技术实施例在此不作枚举。
[0119]
示例性地，参照表3，表3为商业运营指标表。如表3所示，商业运营指标表中展示了交通数据标签分类、数据字段、字段定义及取值要求的内容。示例性地，本技术实施例针对交通行业数据特性和运营目的等，制定出相对应的商业运营指标，能够通过商业运营指标了解乘客的出行信息，基于乘客出行信息能够进行客流预测并可协助相关制度的调整等。
[0120]
需要说明的是，表3中只是示例性地示出了商业运营指标中的部分指标，商业运营指标还可包括7日非乘车支付金额、30日支付方式分布、30日使用平台自发出行权益次数等等，本技术实施例在此不作枚举。
[0121]
表3商业运营指标表
[0122]
[0123][0124]
其中，数据质量管理主要基于do l ph inschedu ler实现。交通行业数据质量关注数据准确性、唯一性、完整性、一致性、及时性和有效性几方面。参照图11，图11是本技术实施例提供的包含数据质量管理的前端界面示例图。由图11所示，数据质量包括质量规则、质量任务、任务监控和质量看板4个模块，其中，质量规则包括唯一性校验、字段长度校验、正则表达式、枚举值校验、表行数校验、空值校验、多表准确性校验、自定义sql、及时性校验、两表值对比等。规则类型包含单表检测、多表检测、两表值对比和自定义sql校验等。数据质量管理主要是通过质量规则管理对交通行业数据进行质量规则设置，当交通行业数据中的待校验数据触发预设的阈值条件时，通过质量监控管理发出质量告警。
[0125]
示例性地，在质量规则设置中，选择需要校验的数据源，选择校验规则，设定期望值、运算方式和阈值之后，系统会自动根据选择的校验规则选择相应sql计算实际值，再将实际值和期望值以设定的运算方式进行对比，对比结果如果触发阈值比较条件，则会在质量监控中，对原调度任务进行质量告警。告警规则分为强规则和弱规则两种。强规则会停止原调度任务，不再定时计算；弱规则会告警但是不停止之前的任务。
[0126]
数据开发模块：
[0127]
用于通过离线开发和实时计算开发的方式根据项目需求进行交通行业数据开发。其中，离线开发支持多种语言环境开发，包含python、java、sql等常用开发语言。离线开发层级包含项目和工作流，工作流中支持配置任务节点和dag调度，支持查看任务执行日志和设置告警。一个运营商下对应多个项目，一个项目下可以包含多条工作流。运营商与运营商之间数据完全隔离，系统用户可以加入不同的开发项目，不同项目可以接入相同的数据源。满足地铁站点、线路、线网多层数据权限范围不同的需求。比如线网需要看到所有线路的数据权限，即可以对各个线路建立项目，项目下建立各个数据开发任务，对应多条工作流。系统管理员可以查看不同项目，即线网管理员可以对应系统管理员角色，查看不同线路的开发任务情况。
[0128]
数据服务模块：
[0129]
数据服务模块包含接口管理和应用管理。其中，接口管理支持配置不同项目下的接口集和集合下的接口。接口配置好后，在应用管理中，支持给不同接口授权不同应用。在接口授权时，支持设置接口调用开始和截止时间、接口调用频次、接口调用的行权限和列权限。数据服务模块提供将接入系统的数据库表作为数据资产，快速生成api,并且可以通过界面配置入参、返回参数、排序参数等。
[0130]
具体地，以向导模式为例，对接口管理的使用流程进行说明。接口管理的使用流程包括：
[0131]
(1)创建api集合；
[0132]
(2)在选定集合下创建api，配置基本信息：包括api名称、api集合、接口路径、版本号和api描述；
[0133]
(3)选择数据来源，包括生成方式、数据源类型、数据源名称、数据库名称、表名称；
[0134]
(4)配置api参数，包括入参、返回参数、请求参数、排序参数；
[0135]
(5)在api参数配置完成后，在api管理列表中点击“发布”，以发布api；
[0136]
(6)绑定应用：处于发布状态的api才可授权应用，发布后api不可编辑，须下线后才能编辑。
[0137]
(7)解绑应用：如需api与应用解绑，点击api名称，找到已经绑定的应用列表，单个解绑。
[0138]
示例性地，参照图12，图12是本技术实施例提供的接口管理展示界面示例图。如图12所示，接口管理展示界面包括接口名称、请求路径、集合名称、发布状态、更新时间、创建时间等内容。
[0139]
本技术实施例中，当需要新增接口时，如果需要新增的接口归属的接口集已存在，则选中该接口集，在接口集下新增接口；如果需要新增的接口归属的接口集不存在，则点击“新增接口集”进行新增。参照图13，图13是本技术实施例提供的新增接口集的展示界面示例图。如图13所示，新增接口集时，需要填写接口集名称、接口集path、归属项目和接口集描述等。参照图14，图14是本技术实施例提供的查询新增接口集展示界面示例图。如图14所示，新增接口集后，选中接口集名称，可以查看接口集下的所有接口。
[0140]
本技术实施例中，通过“新增接口”可以新增接口集下的接口，新增接口包括基本信息、数据来源、入参定义、返回参数、请求参数、排序参数信息的填写。
[0141]
其中，参照图15，图15是本技术实施例提供的基本信息展示界面示例图，如图15所
示，基本信息需要填写api名称、api所属集合、接口路径、版本号和api描述。
[0142]
参照图16，图16是本技术实施例提供的数据来源展示界面示例图，如图15所示，数据来源需要填写api生成方式(向导模式、sq l模式)、数据源类型、数据源名称、数据库名称和表名称。具体地，数据来源中，可以选择接口数据生成方式(向导模型/sql模式)、数据源类型(mysql数据库、dor i s数据库)、数据源名称(接入系统的数据源具体名称，如用户标签数据)、数据库名称(选择数据源下的具体库名)、表名称(选择数据库下的数据表)。
[0143]
参照图17，图17是本技术实施例提供的入参定义展示界面示例图，如图17所示，入参定义需要填写参数名称、参数类型、选择是否必填，以及给出参数默认值。入参定义后，有结果缓存和apitoken鉴权两个开关。其中，数据结果缓存开关打开后，api查询结果会默认缓存5分钟。api支持apitoken和应用两种鉴权方式。如果打开apitoken鉴权开关，可通过apitoken调用api，只需要在header中添加字段apitoken、appkey和vers ion即可(此类鉴权方式适用于数据报表、数据大屏等安全性要求不高的api使用场景)。
[0144]
参照图18，图18是本技术实施例提供的返回参数展示界面示例图。如图18所示，返回参数支持在接口配置的数据源-数据库-表范围内选择需要作为返回参数的字段，相当于sq l语句查询的结果。
[0145]
参照图19，图19是本技术实施例提供的请求参数展示界面示例图。如图19所示，请求参数支持在接口配置的数据源-数据库-表范围内选择需要作为请求参数的字段，请求参数中可展示参数名称、绑定字段、参数类型、操作符、描述和操作等内容。
[0146]
参照图20，图20是本技术实施例提供的请求参数展示界面示例图。如图20所示，排序参数支持在接口配置的数据源-数据库-表范围内选择需要作为排序参数的字段，相当于sq l语句中的order by后加的字段。
[0147]
本技术实施例中，保存接口后，可以在列表中发布接口。接口发布后，可以授权给具体的应用使用。参照图21，图21是本技术实施例提供的接口授权展示界面示例图，由图21所示，接口调用截止时间可以设置永久和一定时间范围；接口调用次数可以设置每天调用次数限制；行权限是在接口返回参数范围内，选择接口返回行数范围控制，支持选择等于、不等于、小于等于、大于等于、大于、小于当前返回字段；列权限实在接口返回参数范围内，选择接口返回参数的列范围控制，可以仅返回部分字段。
[0148]
本技术实施例中，参照图22，图22是本技术实施例提供的新增应用展示界面示例图。如图22所示，通过应用管理可以新增和编辑应用信息，新增时需要填写应用名称、应用归属项目和应用描述。新增应用后，会生成appkey和appsecret用于接口调用的鉴权。
[0149]
参照图23，图23是本技术实施例提供的查看授权展示界面示例图，如图23所示，一个应用可以关联多个api，点击“查看授权”可以看到当前应用关联的所有api。
[0150]
本技术实施例中，通过应用管理还可实现应用信息的编辑和应用删除等操作。
[0151]
分析建模模块：
[0152]
分析建模部模块包含算法模型的模型开发、模型部署和模型评价。算法支持客流预测、停车费用估计算法等，这些算法在交通行业有广泛的应用场景。
[0153]
分析建模模块提供丰富的算法组件库和便捷的操作框架，覆盖开发搭建数据处理、特征工程、模型训练、模型预测的全开发流程。
[0154]
数据源类型包含：读写本地文件、分布式文件系统(hdfs，oss)，同时支持hive、
mysq l、derby、sq l ite四种数据库，因为是基于f l ink算法平台，支持f l ink tab le作为输入输出。同时在进行流式计算时，支持读写kafka的消息队列。
[0155]
运维监控模块：
[0156]
参照表4，运维监控模块可以监控当前系统的调度任务数、总任务数、计划执行任务数、未完成任务数、完成率、完成时间、平均完成时间、计划执行实例数、失败实例数、失败实例、失败实例未处理数。同时，能够查看当前系统任务的实例运行概况并生成相应概况图。
[0157]
表4当前系统任务运行情况表
[0158][0159][0160]
数据应用模块：
[0161]
数据应用模块支持bi分析及算法应用。
[0162]
参照图24，图24是本技术实施例提供的bi分析的其中一个界面展示示例图，由图24所示，bi分析可以自定义选择需要的行列和数据筛选范围，支持查询和导出数据，减少重复开发报表。
[0163]
算法应用包含算法参数输入界面，主要支撑运营侧和行业侧的算法参数测算。参照图25，图25是本技术实施例提供的运营侧权益定价算法界面示例图，由图25所示，权益配置包括输入权益场景、目标体系、卡券特征、用户因素、票价因素等。
[0164]
本技术实施例中，如图1所示，系统还包括数据存储模块，数据存储模块用于将交通行业数据按照需要存储到相应的数据库中。
[0165]
参照图25，本技术实施例还提出一种交通行业数据治理方法，包括但不限于步骤s2601至步骤s2609。
[0166]
步骤s2601，采集得到交通行业数据源；
[0167]
步骤s2602，通过数据集成模块基于数据接入、数据同步和调度配置将交通行业数据源集成到一起，以支持数据安全访问；
[0168]
步骤s2603，通过数据安全模块根据用户需求进行模块部署管理、用户层级管理、各个层级权限管理及项目管理，项目管理包括对项目基本信息、项目配置人员、项目角色和项目数据权限进行管理；
[0169]
步骤s2604，通过数据治理模块对交通行业数据进行元数据管理、数据资产管理、数据指标管理和数据质量管理；
[0170]
步骤s2605，通过数据开发模块基于离线开发和实时计算开发的方式根据项目需求进行交通行业数据开发；
[0171]
步骤s2606，通过分析建模模块对交通行业数据进行模型开发、模型部署和模型评价；
[0172]
步骤s2607，通过数据服务模块配置不同项目下的接口集合和接口集合下的接口及对接口进行应用授权管理；
[0173]
步骤s2608，通过运维监控模块监控当前系统任务的运行情况和实例运行概况；
[0174]
步骤s2609，通过数据应用模块对交通行业数据进行商业智能分析和算法应用。
[0175]
本技术实施例中，采集得到交通行业数据源之后，通过图1所示的数据治理系统可对交通行业数据进行有效治理，能够提高数据处理效率、保障数据安全和质量，降低治理成本。
[0176]
以上参照附图说明了本技术实施例的优选实施例，并非因此局限本技术实施例的权利范围。本领域技术人员不脱离本技术实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本技术实施例的权利范围之内。

技术特征：
1.一种交通行业数据治理系统，其特征在于，所述系统包括：数据安全模块、数据集成模块、数据治理模块、数据开发模块、分析建模模块、数据服务模块、运维监控模块和数据应用模块，各个模块根据不同用户需求可独立或者任意组合使用；所述数据安全模块用于根据用户需求进行模块部署管理、用户层级管理、各个层级权限管理及项目管理，所述项目管理包括对项目基本信息、项目配置人员、项目角色和项目数据权限进行管理；所述数据集成模块用于通过数据接入、数据同步和调度配置将交通行业数据源集成到一起，以支持数据安全访问；所述数据治理模块用于对交通行业数据进行元数据管理、数据资产管理、数据指标管理和数据质量管理；所述数据开发模块用于通过离线开发和实时计算开发的方式根据项目需求进行交通行业数据开发；所述数据服务模块用于配置不同项目下的接口集和所述接口集下的接口及对所述接口进行应用授权管理；所述分析建模模块用于对所述交通行业数据进行模型开发、模型部署和模型评价；所述运维监控模块用于监控当前系统任务的运行情况和实例运行概况；所述数据应用模块用于对所述交通行业数据进行商业智能分析和算法应用。2.根据权利要求1所述的系统，其特征在于，所述用户层级管理包括：构建用户层级，所述用户层级包括超级管理员、系统管理员、项目管理员和普通用户；设置并管理各个用户层级对应的权限。3.根据权利要求1所述的系统，其特征在于，元数据包括业务元数据和技术元数据，所述元数据管理包括：对所述业务元数据和技术元数据的基本信息、字段信息、血缘关系、ddl变更进行管理，所述基本信息包括数据表信息、业务信息和存储信息，所述字段信息包括字段名称、字段类型、字段大小、是否为空、精确位数、字段注释、计算方式、是否索引和分区字段，所述血缘关系包括系统接入数据节点之间的上下游生成关系，其中，数据节点包含上游节点、中间节点和下游节点，所述ddl变更包括对数据表的操作信息。4.根据权利要求1所述的系统，其特征在于，所述数据资产管理包括：通过搜索系统应用程序接口或者接入协同的数据表或者实时数据topic的方式查询交通行业中的各类离线数据和实时数据。5.根据权利要求1所述的系统，其特征在于，数据指标包括行业运营指标、能耗指标和商业运营指标，所述数据指标管理包括：对所述行业运营指标、能耗指标和商业运营指标进行原子指标、派生指标、时间周期和修饰词管理，其中，所述派生指标通过所述原子指标、时间周期和修饰词的方式自动单个或者批量生成。6.根据权利要求1所述的系统，其特征在于，所述数据质量管理包括质量规则管理和质量监控管理；所述质量规则管理用于对所述交通行业数据进行质量规则设置，所述质量规则包括唯一性校验、字段长度校验、正则表达式、枚举值校验、表行数校验、空值校验、多表准确性校
验、自定义sql、及时性校验和两表值对比；所述质量监控管理用于当所述交通行业数据中的待校验数据触发预设的阈值条件时，发出质量告警。7.根据权利要求1所述的系统，其特征在于，所述数据服务模块包括接口管理和应用管理；所述接口管理用于配置不同项目下的接口集和所述接口集下的接口，包括：创建系统应用程序的接口集；在选定所述接口集下，创建选定的所述接口集中的接口，并配置基础信息，所述基础信息包括接口名称、接口所属集合、接口路径、版本号和接口描述；确定数据来源信息，所述数据来源信息包括接口数据生成方式、数据源类型、数据源名称、数据库名称和表名称；配置接口参数，所述接口参数包括入参定义、返回参数、请求参数和排序参数；当所述接口参数配置完成之后，发布所述接口，以使得所述接口被授权应用；所述应用管理用于对发布的各个所述接口进行应用授权管理，包括：新增接口授权应用和编辑应用信息，所述应用信息包括应用名称，应用归属项目和应用描述；查询各个应用关联的所有接口，和所有接口对应的授权信息。8.根据权利要求7所述的系统，其特征在于，所述接口管理还用于执行以下操作：当需要新增的接口归属的目标接口集已存在，选中所述目标接口集，在所述目标接口集下新增接口；当需要新增的接口归属的目标接口集不存在，新建所述目标接口集，并在新建后的所述目标接口集下新增接口。9.根据权利要求1所述的系统，其特征在于，所述系统还包括：数据存储模块，用于将所述交通行业数据按照需要存储于相应的数据库。10.一种交通行业数据治理方法，其特征在于，包括：采集得到交通行业数据源；通过数据集成模块基于数据接入、数据同步和调度配置将所述交通行业数据源集成到一起，以支持数据安全访问；通过数据安全模块根据用户需求进行模块部署管理、用户层级管理、各个层级权限管理及项目管理，所述项目管理包括对项目基本信息、项目配置人员、项目角色和项目数据权限进行管理；通过数据治理模块对交通行业数据进行元数据管理、数据资产管理、数据指标管理和数据质量管理；通过数据开发模块基于离线开发和实时计算开发的方式根据项目需求进行交通行业数据开发；通过分析建模模块对所述交通行业数据进行模型开发、模型部署和模型评价；通过数据服务模块配置不同项目下的接口集和所述接口集下的接口及对所述接口进行应用授权管理；通过运维监控模块监控当前系统任务的运行情况和实例运行概况；
通过数据应用模块对所述交通行业数据进行商业智能分析和算法应用。

技术总结
本申请提出交通行业一种基于大数据技术的数据治理系统及方法，该系统包括数据安全模块、数据集成模块、数据治理模块、数据开发模块、数据服务模块、分析建模模块、运维监控模块和数据应用模块，各个模块根据不同用户需求可独立或者任意组合使用；该系统考虑了交通行业多运营商、有数据隔离安全需求的情况，在数据安全、数据集成、数据治理、数据开发、数据服务、分析建模、运维监控和数据应用方面给出对交通行业的针对性数据治理方案，能够对交通行业数据进行有效治理，提高数据处理效率、保障数据安全和质量，降低治理成本。降低治理成本。降低治理成本。


技术研发人员：杨宏旭 雷永峰 沈奕辰 周韦玮 方超
受保护的技术使用者：八维通科技有限公司
技术研发日：2023.01.18
技术公布日：2023/5/24