基于大数据平台的数据资产可视化管理方法与流程

1.本发明涉及可视化管理方法技术领域，具体为基于大数据平台的数据资产可视化管理方法。


背景技术：

2.大数据体系是数据平台、数据采集、数据仓库、数据处理、数据分析、数据挖掘、数据应用、数据可视化、深度学习和机器学习。大数据是随着无处不在的传感器、无处不在的数据埋点，获取数据变得越来越容易、量越来越大、内容越来越多样化，于是原来传统的数据领域不得不思考重新换一个平台可以处理和使用逐渐庞大数据量的新平台；
3.而数据资产是指由个人或企业拥有或者控制的，能够为企业带来未来经济利益的，以物理或电子的方式记录的数据资源，数据资产是拥有数据权属(勘探权、使用权、所有权)、有价值、可计量、可读取的网络空间中的数据集；
4.数据可视化，是关于数据视觉表现形式的科学技术研究，其中，这种数据的视觉表现形式被定义为，一种以某种概要形式抽提出来的信息，包括相应信息单位的各种属性和变量，它是一个处于不断演变之中的概念，其边界在不断地扩大，主要指的是技术上较为高级的技术方法，而这些技术方法允许利用图形、图像处理、计算机视觉以及用户界面，通过表达、建模以及对立体、表面、属性以及动画的显示，对数据加以可视化解释，与立体建模之类的特殊技术方法相比，数据可视化所涵盖的技术方法要广泛得多。
5.而传统的，企业在对物理或电子的方式记录的数据资源进行数据点的管理时，往往具备缺陷，不仅难以达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯，还无法根据应用需求以可视化的方式展示源端数据系统模型与信息,由此很难实现源端数据相关的信息展示，数据库资产管理的条理性差、效率低,同时难以对数据进行收集整理展示,难以保证数据的完整性和真实性，无法摆脱由各个模块的控制功能直接控制的限制，数据的处理效率低下，而通过单一的可视化系统进行建立资源视图，因无法获取大数据体系以及数据资产的各项信息，因此在建表建模时无法展现出其灵活、自动、可靠的优势，不方便为企业提供合理直观的数据管理以及管理方案的制定。


技术实现要素：

6.本发明的目的在于提供基于大数据平台的数据资产可视化管理方法，以解决上述背景技术中提出的企业在对物理或电子的方式记录的数据资源进行数据点的管理时，往往具备缺陷，不仅难以达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯，还无法根据应用需求以可视化的方式展示源端数据系统模型与信息,由此很难实现源端数据相关的信息展示，数据库资产管理的条理性差、效率低,同时难以对数据进行收集整理展示,难以保证数据的完整性和真实性，无法摆脱由各个模块的控制功能直接控制的限制，数据的处理效率低下，而通过单一的可视化系统进行建立资源视图，因无法获取大数据体系以及数据资产的各项信息，因此在建表建模时无法展现出其灵活、自动、可靠的优势，
不方便为企业提供合理直观的数据管理以及管理方案的制定的问题。
7.为实现上述目的，本发明提供如下技术方案：
8.基于大数据平台的数据资产可视化管理方法，包括以下步骤：
9.s1.建立大数据体系系统、数据资产管理系统以及数据可视化系统，使数据可视化系统通过大数据体系系统以及数据资产管理系统获取数据信息；
10.s2.在大数据体系系统内设置源端数据单元，使源端数据单元内包括数据湖模块、主体库模块以及集市库模块，通过数据湖模块获取数据湖数据，通过主体库模块获取主体库数据，通过集市库模块获取集市库数据；
11.s3.在数据资产管理系统内分别设置元数据执行单元以及功能体系单元，使数据资产管理系统通过元数据执行单元获取元数据相关数据，使数据资产管理系统通过功能体系单元获取功能体系数据；
12.s4.在元数据执行单元内设置业务员数据模块、管理元数据模块以及技术元数据模块，使元数据执行单元通过业务员数据模块获取业务员数据，使元数据执行单元通过管理元数据模块获取管理元数据，使元数据执行单元通过技术元数据模块获取技术元数据；
13.s5.在功能体系单元内设置数据地图模块、数据资产管理模块、数据资产概览模块、数据资产评估模块以及数据规划模块，使功能体系单元通过数据地图模块获取数据地图，使功能体系单元通过数据资产管理模块获取数据资产管理信息，使功能体系单元通过数据资产概览模块获取数据资产概览信息，使功能体系单元通过数据资产评估模块获取数据资产评估信息，使功能体系单元通过数据规划模块获取数据规划信息；
14.s6.根据步骤s2-步骤s3获得的各项数据建立数据模型，并通过数据可视化系统分析操作、处理操作以及展示操作。
15.作为优选，步骤s2中数据湖模块有原始层以及标准化层构成，所述数据湖模块通过原始层存储原始源端数据，所述数据湖模块通过标准化层对新增数据进行数据模型的修剪和运算，并提供候选数据模型。
16.作为优选，步骤s2中主体库模块通过主体标签库进行基于大数据的各类资产数据的监管，并提供日常监管、精准监管、风险监管以及重点监管多种监管模式。
17.作为优选，步骤s2中集市库模块通过集市应用进行数据资产相关集市的数据采集，并将各项与数据资产相关的市集运用信息进行获取和展示。
18.作为优选，所述步骤s5中的数据地图模块内设有数据智搜模块、资产目录模块以及表详情模块，并通过数据智搜模块进行数据智搜操作，通过资产目录模块进行资产目录信息的获取，通过表详情模块获取表详情。
19.作为优选，所述步骤s5中数据资产管理模块内设有资产目录管理模块、访问权限管理模块以及我的数据模块，并通过资产目录管理模块获取资产目录管理信息，通过访问权限管理模块获取访问权限管理信息，通过我的数据模块获取本地的公司数据资产相关信息。
20.作为优选，所述步骤s5中数据资产概览模块内设置数据资产全景图模块以及数据资产总览模块，并通过数据资产全景图模块获取数据资产全景图，通过数据资产总览模块获取数据资产总览信息。
21.作为优选，所述步骤s5中数据资产评估模块内设置冗余性评估模块、重要性评估
模块以及增长性评估模块，并通过冗余性评估模块对数据资产进行冗余性评估，通过重要性评估模块对数据资产进行重要性评估，通过增长性评估模块对数据资产进行增长性评估。
22.作为优选，所述步骤s5中数据规划模块内设置计算引擎管理模块、数仓规划模块以及数据建模模块，并通过计算引擎管理模块进行计算引擎管理操作，通过数仓规划模块进行数仓规划，通过数据建模模块进行数据建模。
23.与现有技术相比，本发明的有益效果是：本技术通过建立大数据体系系统、数据资产管理系统以及数据可视化系统，使数据可视化系统通过大数据体系系统以及数据资产管理系统获取数据信息，从而达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯，在大数据体系系统内设置源端数据单元，使源端数据单元内包括数据湖模块、主体库模块以及集市库模块，通过数据湖模块获取数据湖数据，通过主体库模块获取主体库数据，通过集市库模块获取集市库数据，与数据可视化系统建立数据交互通道，通过调用模型文件,获取与数据可视化系统对应的源端数据系统模型与信息,根据应用需求以可视化的方式展示源端数据系统模型与信息,由此实现源端数据相关的信息展示，在数据资产管理系统内分别设置元数据执行单元以及功能体系单元，使数据资产管理系统通过元数据执行单元获取元数据相关数据，使数据资产管理系统通过功能体系单元获取功能体系数据，从而提高数据库资产管理的条理性和效率,能够对数据进行收集整理展示,增加了数据的完整性和真实性，在元数据执行单元内设置业务员数据模块、管理元数据模块以及技术元数据模块，使元数据执行单元通过业务员数据模块获取业务员数据，使元数据执行单元通过管理元数据模块获取管理元数据，使元数据执行单元通过技术元数据模块获取技术元数据，提供可视化控制的方法，将元数据上传到数据可视化系统执行，同时可以通过数据可视化系统进行联动控制，摆脱了由各个模块的控制功能直接控制的限制，提高数据的处理效率，在功能体系单元内设置数据地图模块、数据资产管理模块、数据资产概览模块、数据资产评估模块以及数据规划模块，使功能体系单元通过数据地图模块获取数据地图，使功能体系单元通过数据资产管理模块获取数据资产管理信息，使功能体系单元通过数据资产概览模块获取数据资产概览信息，使功能体系单元通过数据资产评估模块获取数据资产评估信息，使功能体系单元通过数据规划模块获取数据规划信息，联动数据可视化系统进行建立资源视图，实现灵活、自动、可靠的建模体系，更加方便的为企业提供合理直观的数据管理以及管理方案的制定。
附图说明
24.图1为本发明的数据可视化系统图；
25.图2为本发明的大数据体系系统图；
26.图3为本发明的功能体系单元图。
具体实施方式
27.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。
28.请参阅图1-图3，本发明提供一种技术方案：
29.基于大数据平台的数据资产可视化管理方法，包括以下步骤：
30.s1.建立大数据体系系统、数据资产管理系统以及数据可视化系统，使数据可视化系统通过大数据体系系统以及数据资产管理系统获取数据信息，从而达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯；
31.s2.在大数据体系系统内设置源端数据单元，使源端数据单元内包括数据湖模块、主体库模块以及集市库模块，通过数据湖模块获取数据湖数据，通过主体库模块获取主体库数据，通过集市库模块获取集市库数据，与数据可视化系统建立数据交互通道，通过调用模型文件,获取与数据可视化系统对应的源端数据系统模型与信息,根据应用需求以可视化的方式展示源端数据系统模型与信息,由此实现源端数据相关的信息展示；
32.s3.在数据资产管理系统内分别设置元数据执行单元以及功能体系单元，使数据资产管理系统通过元数据执行单元获取元数据相关数据，使数据资产管理系统通过功能体系单元获取功能体系数据，从而提高数据库资产管理的条理性和效率,能够对数据进行收集整理展示,增加了数据的完整性和真实性；
33.s4.在元数据执行单元内设置业务员数据模块、管理元数据模块以及技术元数据模块，使元数据执行单元通过业务员数据模块获取业务员数据，使元数据执行单元通过管理元数据模块获取管理元数据，使元数据执行单元通过技术元数据模块获取技术元数据，提供可视化控制的方法，将元数据上传到数据可视化系统执行，同时可以通过数据可视化系统进行联动控制，摆脱了由各个模块的控制功能直接控制的限制，提高数据的处理效率；
34.s5.在功能体系单元内设置数据地图模块、数据资产管理模块、数据资产概览模块、数据资产评估模块以及数据规划模块，使功能体系单元通过数据地图模块获取数据地图，使功能体系单元通过数据资产管理模块获取数据资产管理信息，使功能体系单元通过数据资产概览模块获取数据资产概览信息，使功能体系单元通过数据资产评估模块获取数据资产评估信息，使功能体系单元通过数据规划模块获取数据规划信息，联动数据可视化系统进行建立资源视图，实现灵活、自动、可靠的建模体系；
35.s6.根据步骤s2-步骤s3获得的各项数据建立数据模型，并通过数据可视化系统分析操作、处理操作以及展示操作。
36.进一步的，步骤s2中数据湖模块有原始层以及标准化层构成，所述数据湖模块通过原始层存储原始源端数据，所述数据湖模块通过标准化层对新增数据进行数据模型的修剪和运算，并提供候选数据模型。
37.进一步的，步骤s2中主体库模块通过主体标签库进行基于大数据的各类资产数据的监管，并提供日常监管、精准监管、风险监管以及重点监管多种监管模式。
38.进一步的，步骤s2中集市库模块通过集市应用进行数据资产相关集市的数据采集，并将各项与数据资产相关的市集运用信息进行获取和展示。
39.进一步的，所述步骤s5中的数据地图模块内设有数据智搜模块、资产目录模块以及表详情模块，并通过数据智搜模块进行数据智搜操作，通过资产目录模块进行资产目录信息的获取，通过表详情模块获取表详情。
40.进一步的，所述步骤s5中数据资产管理模块内设有资产目录管理模块、访问权限
管理模块以及我的数据模块，并通过资产目录管理模块获取资产目录管理信息，通过访问权限管理模块获取访问权限管理信息，通过我的数据模块获取本地的公司数据资产相关信息。
41.进一步的，所述步骤s5中数据资产概览模块内设置数据资产全景图模块以及数据资产总览模块，并通过数据资产全景图模块获取数据资产全景图，通过数据资产总览模块获取数据资产总览信息。
42.进一步的，所述步骤s5中数据资产评估模块内设置冗余性评估模块、重要性评估模块以及增长性评估模块，并通过冗余性评估模块对数据资产进行冗余性评估，通过重要性评估模块对数据资产进行重要性评估，通过增长性评估模块对数据资产进行增长性评估。
43.进一步的，所述步骤s5中数据规划模块内设置计算引擎管理模块、数仓规划模块以及数据建模模块，并通过计算引擎管理模块进行计算引擎管理操作，通过数仓规划模块进行数仓规划，通过数据建模模块进行数据建模。
44.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.基于大数据平台的数据资产可视化管理方法，其特征在于，包括以下步骤：s1.建立大数据体系系统、数据资产管理系统以及数据可视化系统，使数据可视化系统通过大数据体系系统以及数据资产管理系统获取数据信息；s2.在大数据体系系统内设置源端数据单元，使源端数据单元内包括数据湖模块、主体库模块以及集市库模块，通过数据湖模块获取数据湖数据，通过主体库模块获取主体库数据，通过集市库模块获取集市库数据；s3.在数据资产管理系统内分别设置元数据执行单元以及功能体系单元，使数据资产管理系统通过元数据执行单元获取元数据相关数据，使数据资产管理系统通过功能体系单元获取功能体系数据；s4.在元数据执行单元内设置业务员数据模块、管理元数据模块以及技术元数据模块，使元数据执行单元通过业务员数据模块获取业务员数据，使元数据执行单元通过管理元数据模块获取管理元数据，使元数据执行单元通过技术元数据模块获取技术元数据；s5.在功能体系单元内设置数据地图模块、数据资产管理模块、数据资产概览模块、数据资产评估模块以及数据规划模块，使功能体系单元通过数据地图模块获取数据地图，使功能体系单元通过数据资产管理模块获取数据资产管理信息，使功能体系单元通过数据资产概览模块获取数据资产概览信息，使功能体系单元通过数据资产评估模块获取数据资产评估信息，使功能体系单元通过数据规划模块获取数据规划信息；s6.根据步骤s2-步骤s3获得的各项数据建立数据模型，并通过数据可视化系统分析操作、处理操作以及展示操作。2.根据权利要求1所述的基于大数据平台的数据资产可视化管理方法，其特征在于：步骤s2中数据湖模块有原始层以及标准化层构成，所述数据湖模块通过原始层存储原始源端数据，所述数据湖模块通过标准化层对新增数据进行数据模型的修剪和运算，并提供候选数据模型。3.根据权利要求1所述的基于大数据平台的数据资产可视化管理方法，其特征在于：步骤s2中主体库模块通过主体标签库进行基于大数据的各类资产数据的监管，并提供日常监管、精准监管、风险监管以及重点监管多种监管模式。4.根据权利要求1所述的基于大数据平台的数据资产可视化管理方法，其特征在于：步骤s2中集市库模块通过集市应用进行数据资产相关集市的数据采集，并将各项与数据资产相关的市集运用信息进行获取和展示。5.根据权利要求1所述的基于大数据平台的数据资产可视化管理方法，其特征在于：所述步骤s5中的数据地图模块内设有数据智搜模块、资产目录模块以及表详情模块，并通过数据智搜模块进行数据智搜操作，通过资产目录模块进行资产目录信息的获取，通过表详情模块获取表详情。6.根据权利要求1所述的基于大数据平台的数据资产可视化管理方法，其特征在于：所述步骤s5中数据资产管理模块内设有资产目录管理模块、访问权限管理模块以及我的数据模块，并通过资产目录管理模块获取资产目录管理信息，通过访问权限管理模块获取访问权限管理信息，通过我的数据模块获取本地的公司数据资产相关信息。7.根据权利要求1所述的基于大数据平台的数据资产可视化管理方法，其特征在于：所述步骤s5中数据资产概览模块内设置数据资产全景图模块以及数据资产总览模块，并通过
数据资产全景图模块获取数据资产全景图，通过数据资产总览模块获取数据资产总览信息。8.根据权利要求1所述的基于大数据平台的数据资产可视化管理方法，其特征在于：所述步骤s5中数据资产评估模块内设置冗余性评估模块、重要性评估模块以及增长性评估模块，并通过冗余性评估模块对数据资产进行冗余性评估，通过重要性评估模块对数据资产进行重要性评估，通过增长性评估模块对数据资产进行增长性评估。9.根据权利要求1所述的基于大数据平台的数据资产可视化管理方法，其特征在于：所述步骤s5中数据规划模块内设置计算引擎管理模块、数仓规划模块以及数据建模模块，并通过计算引擎管理模块进行计算引擎管理操作，通过数仓规划模块进行数仓规划，通过数据建模模块进行数据建模。

技术总结
本发明公开了基于大数据平台的数据资产可视化管理方法，包括以下步骤：S1.建立大数据体系系统、数据资产管理系统以及数据可视化系统，使数据可视化系统通过大数据体系系统以及数据资产管理系统获取数据信息，从而达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯，本申请提高数据库资产管理的条理性和效率,能够对数据进行收集整理展示,增加了数据的完整性和真实性，摆脱了由各个模块的控制功能直接控制的限制，提高数据的处理效率，联动数据可视化系统进行建立资源视图，实现灵活、自动、可靠的建模体系，更加方便的为企业提供合理直观的数据管理以及管理方案的制定。制定。制定。


技术研发人员：赵先明 林昀
受保护的技术使用者：北京红山信息科技研究院有限公司
技术研发日：2023.03.27
技术公布日：2023/7/7