一种基于大数据平台的厂区信息管理系统的制作方法

1.本发明涉及数据处理技术领域，更具体地说，特别涉及一种基于大数据平台的厂区信息管理系统。


背景技术：

2.安全生产历来是保障各项工作有序开展的前提，也是考核各级领导干部的否决指标。网络及信息安全运维体系是各类企业安全生产工作的重要组成部分。保障网络高效稳定地运行，是企业一切市场经营活动和正常运作的基础。
3.随着各类企业信息系统的建设和完善，有效的提高了劳动生产率，降低了运营成本。一旦企业各业务系统出现安全事件、或发生故障、或形成性能瓶颈，不能及时发现、及时处理、及时恢复，势必直接导致承载在其上所有业务的运行，影响企业的正常运营秩序，企业业务不能正常开展。
4.目前，某电厂已建设广义控制系统（广义dcs）、厂级监控信息系统（sis）、管理信息系统（mis）和视频监控系统（vms）。
5.1、广义控制系统（广义dcs）是电厂生产过程的数据采集和直接控制，包括单元机组dcs、deh、ncs、脱硫、水处理、输煤、除灰等主辅设备的控制系统。该系统直接与生产设备关联，随设备直接集成，主要提供设备的运行实时数据信息，是其他系统的基础。
6.2、厂级监控信息系统（sis）基于生产过程信息实时/历史数据库，以通讯方式采集电厂生产过程dcs、plc等自动化系统的过程参数。主要提供实时数据信息和关系数据信息。
7.3、管理信息系统（mis）是按照电厂的生产建设周期，分为基建期和生产期部分。基建期的重点是实现工程项目安全质量目标和进度的优化平衡；生产期以安全、经济运行管理为重点。各应用子系统主要提供结构化和半结构化的数据信息。
8.4、视频监控系统（vms）是采用嵌入式的“网络视频服务器”，实现从监控点前端、监控中心、监控工作站的数字化处理。主要提供视频图像、图片及音频等非结构化数据。
9.尽管上述技术体系已初步形成，但是信息安全运维管理体系需要进一步健全提高和完善。


技术实现要素：

10.本发明的目的在于提供一种基于大数据平台的厂区信息管理系统。
11.为了达到上述目的，本发明采用的技术方案如下：一种基于大数据平台的厂区信息管理系统，包括信息管理平台相互连接的数据平台，所述数据平台包括采集配置中心、权限认证中心和运维监控中心，所述采集配置中心用于节点管理、数据源管理和配置模板管理，所述权限认证中心用于登录和权限管理，所述运维监控中心用于通过仪表盘对整个采集环境中各组织采集配置的运行情况和数据进行直观展示；所述信息管理平台包括客服模块、元数据管理模块、安全运维管理模块、采集终端模块和分布式存储模块；
所述客服模块用于为企业用户提供安全运维管理服务，其与运维管理模块相连接，在客服模块的客户端上具备访问企业的安全运维管理模块的权限；所述元数据管理模块用于处理业务、技术和管理三个方面的业务，通过元数据定版功能，发布元数据基线，存异的或错误的元数据进行追溯、检查和恢复；所述安全运维管理模块，与采集终端相连接，将采集终端上报的数据进行分析，深度挖掘安全风险和故障隐患，并上报给客服模块；所述采集终端模块，其对接企业数据库，并将预处理的结果上报给安全运维管理模块，对于实时数据，梳理需采集测点后，加入现有采集接口中，使用从pi数据库中取数，消费到kafka中，然后经过flink/spark存入hbase；所述分布式存储模块，分别与安全运维管理模块和客服模块相连接，存储安全运维历史信息，供全文检索、数据挖掘和大数据分析。
12.优选地，所述客服模块包括门户集成模块，所述门户集成模块采用数据平台统一的登录页面，并通过网关管理进行ip、客户端、用户对接口、测点的权限管理，能够对其在前端进行权限设置和分配，满足统一数据平台页面权限管理、统一的认证授权中心及权限严格管理等需求。
13.优选地，所述安全运维管理模块，包括安全管理子模块、运维管理子模块、通用功能子模块和客户端模块；所述安全管理子模块，是协助用户实现安全策略管理、安全组织管理、安全运作管理和安全技术框架的中心枢纽，它的职能分成管理层面的职能和技术层面的职能，能够有效地将企业的策略管理、安全组织管理、安全运作管理和安全技术框架结合在一起，保持一致性；所述运维管理子模块，从网络和应用的不同层次，收集与业务和服务相关的各种信息：网络设备信息、全网流量信息、服务器内存、i/o的使用情况，甚至应用系统对资源的占用情况；同时，内置的关联分析对收集到的信息进行综合关联分析；不同于设备厂商提供的专用管理工具，为企业提供透明化的全面管理视图。
14.优选地，所述采集终端模块，包括数据采集子模块和预处理子模块；所述数据采集子模块，根据要求采集被管理资源，包括各种安全设备、网络和主机设备的原始信息，并存储在本地数据库中；所述预处理子模块，将数据采集的所管理资源参数按照一定格式进行处理，同时要求遵循标准的通信协议进行输出或被访问，输出到安全运维管理平台系统。
15.优选地，所述运维管理子模块，包括拓扑发现管理、线路状态分析、环境管理、数据流监视与分析、应用服务管理、智能巡检、网络接入管理、面板管理、告警管理、故障相关性分析、设备管理和设备健康分析；所述拓扑发现管理，采用多种算法、迅速搜索整个网络内的所有节点、支持多厂商的设备组成的“混合”网络，智能分析网络拓扑结构，自动勾画出整个网络的真实物理拓扑图，真实反映整个网络的运行状态，拓扑图直观地反映设备的分布情况、负载状况和设备属性，以及线路的实时流量；通过颜色显示负载和流量的压力，主动告诉用户关注点应在哪里，动态告诉用户故障隐患；所述线路状态分析，以丰富的图、文报表的方式，分析线路收发流量、流速趋势分
析，设备端口流量、趋势分析，线路间流量对比分析；支持线路流量的阈值设定，对过载实施预警；所述环境管理，为用户提供所见即所得的机房拓扑图，直观展示机房物理或逻辑部署状态，用户根据机房设备的真实物理排列，或个人对设备的分类和关注程度，设定一个或多个机柜，将不同设备放置在机柜中；机柜的高度根据设备的多少灵活调整，设备在机柜中的位置上下拖动调整。
16.优选地，所述元数据模块包括规则库管理模块、数据质量规则管理模块和质检管理模块；所述规则库管理模块用于维护在数据资产管理中的规则信息，包括空值检查、值域检查、规范检查、逻辑检查、重复数据检查、及时性检查、缺失记录检查、引用完整性检查、数据集检查；所述数据质量规则管理模块用于针对元数据中的表，进行规则的映射，为了快速对规则进行分类，采用左侧为规则库列表，右侧为使用到该规则的所有表和字段等信息；所述质检管理模块用于用来制定方案，选择调度执行频率和需要执行的规则，规则在数据质量规则管理的规则管理中获取，且可用来查询方案，查看调度执行频率和需要执行的规则，规则在数据质量规则管理的规则管理中获取作业定时调度。
17.优选地，所述采集终端模块在已有采集组件中采用快照表 + 触发器的方式将新接入业务同步至大数据平台。
18.优选地，所述采集配置中心采用“同步表”策略，保证数据平台数据库的相关元数据与业务应用系统的数据库元数据保持一致。
19.优选地，所述采集配置中心还可已扩容硬件，添加regionserver至原有数据平台，实现时序数据库的扩容，同时可通过数据平台建立对应的存储点码，通过数据监测功能检查数据是否已接入。
20.优选地，所述采集终端模块包括接口服务模块，接口服务模块提供快速创建api接口访问数据库，其具备可视化界面，将入参自动封装到可执行的脚本上，支持所有关系性数据库sql执行语句，非关系型mongodb查询语句.欢迎扩展，并完全基于springboot2.x 作为springboot项目的stater方式集成,无侵入性，新老项目都能快速集成。
21.与现有技术相比，本发明的优点在于：能够为各类企业提供专业的和高效率的信息安全运维管理服务，配置管理设计理念，构建行业领域模型更快捷，让系统管理数据更灵活；统一数据格式、统一设备模型体系、统一数据计算框架体系等整体设计体系，使系统从数据接入到数据计算再到数据存储更规范、更高效。
附图说明
22.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1是本发明一种基于大数据平台的厂区信息管理系统的界面图；
图2是本发明一种基于大数据平台的厂区信息管理系统的架构图。
具体实施方式
24.下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
25.参阅图1和图2所示，本发明提供一种基于大数据平台的厂区信息管理系统，其特点在于:包括信息管理平台相互连接的数据平台，所述数据平台包括采集配置中心、权限认证中心和运维监控中心，其功能如下：（1）服务开放：通过服务发布、服务发现和服务申请的功能，将数据服务发布出去；（2）服务管理：对构建好的服务进行服务封装、服务注册和服务分类，统一管理服务；（3）服务构建：利用数据接入、数据加工和数据交换的能力快速进行服务构建；（4）数据访问：通过自带功能以非代码侵入的方式建立与数据平台实时数据、关系数据和业务系统数据库的访问；（5）服务运营：提供多维度管理、监控和数据分析的功能来进行已发布数据服务的运营；（6）服务安全：提供多种插件和自带功能来维护数据服务访问的安全；所述采集配置中心用于节点管理、数据源管理和配置模板管理，所述权限认证中心用于登录和权限管理，所述运维监控中心用于通过仪表盘对整个采集环境中各组织采集配置的运行情况和数据进行直观展示；所述信息管理平台包括客服模块、元数据管理模块、安全运维管理模块、采集终端模块和分布式存储模块；所述客服模块用于为企业用户提供安全运维管理服务，其与运维管理模块相连接，在客服模块的客户端上具备访问企业的安全运维管理模块的权限；所述元数据管理模块用于处理业务、技术和管理三个方面的业务，通过元数据定版功能，发布元数据基线，存异的或错误的元数据进行追溯、检查和恢复；具体为：面向业务人员，用业务语言从业务术语、指标、规则等几个方面描述数据。
26.面向技术人员，用技术语言从数据库、数据表、字段、关系等几个方面描述数据。
27.面向管理人员，用数据运维管理的视角，在数据处理、质量、安全三方面进行描述功能有元数据台账、元数据采集、数据地图、版本管理等功能，可以实现数据地图、数据溯源等应用；所述安全运维管理模块，与采集终端相连接，将采集终端上报的数据进行分析，深度挖掘安全风险和故障隐患，并上报给客服模块；所述采集终端模块，其对接企业数据库，并将预处理的结果上报给安全运维管理模块，对于实时数据，梳理需采集测点后，加入现有采集接口中，使用从pi数据库中取数，消费到kafka中，然后经过flink/spark存入hbase；所述分布式存储模块，分别与安全运维管理模块和客服模块相连接，存储安全运维历史信息，供全文检索、数据挖掘和大数据分析。
28.本实施例中，所述客服模块包括门户集成模块，所述门户集成模块采用数据平台
统一的登录页面，并通过网关管理进行ip、客户端、用户对接口、测点的权限管理，能够对其在前端进行权限设置和分配，满足统一数据平台页面权限管理、统一的认证授权中心及权限严格管理等需求。
29.本实施例中，所述安全运维管理模块，包括安全管理子模块、运维管理子模块、通用功能子模块和客户端模块；所述安全管理子模块，是协助用户实现安全策略管理、安全组织管理、安全运作管理和安全技术框架的中心枢纽，它的职能分成管理层面的职能和技术层面的职能，能够有效地将企业的策略管理、安全组织管理、安全运作管理和安全技术框架结合在一起，保持一致性；所述运维管理子模块，从网络和应用的不同层次，收集与业务和服务相关的各种信息：网络设备信息、全网流量信息、服务器内存、i/o的使用情况，甚至应用系统对资源的占用情况；同时，内置的关联分析对收集到的信息进行综合关联分析；不同于设备厂商提供的专用管理工具，为企业提供透明化的全面管理视图。
30.本实施例中，所述采集终端模块，包括数据采集子模块和预处理子模块；所述数据采集子模块，根据要求采集被管理资源，包括各种安全设备、网络和主机设备的原始信息，并存储在本地数据库中；所述预处理子模块，将数据采集的所管理资源参数按照一定格式进行处理，同时要求遵循标准的通信协议进行输出或被访问，输出到安全运维管理平台系统。
31.本实施例中，所述运维管理子模块，包括拓扑发现管理、线路状态分析、环境管理、数据流监视与分析、应用服务管理、智能巡检、网络接入管理、面板管理、告警管理、故障相关性分析、设备管理和设备健康分析；所述拓扑发现管理，采用多种算法、迅速搜索整个网络内的所有节点、支持多厂商的设备组成的“混合”网络，智能分析网络拓扑结构，自动勾画出整个网络的真实物理拓扑图，真实反映整个网络的运行状态，拓扑图直观地反映设备的分布情况、负载状况和设备属性，以及线路的实时流量；通过颜色显示负载和流量的压力，主动告诉用户关注点应在哪里，动态告诉用户故障隐患；所述线路状态分析，以丰富的图、文报表的方式，分析线路收发流量、流速趋势分析，设备端口流量、趋势分析，线路间流量对比分析；支持线路流量的阈值设定，对过载实施预警；所述环境管理，为用户提供所见即所得的机房拓扑图，直观展示机房物理或逻辑部署状态，用户根据机房设备的真实物理排列，或个人对设备的分类和关注程度，设定一个或多个机柜，将不同设备放置在机柜中；机柜的高度根据设备的多少灵活调整，设备在机柜中的位置上下拖动调整。
32.本实施例中，所述元数据模块包括规则库管理模块、数据质量规则管理模块和质检管理模块；所述规则库管理模块用于维护在数据资产管理中的规则信息，包括空值检查、值域检查、规范检查、逻辑检查、重复数据检查、及时性检查、缺失记录检查、引用完整性检查、数据集检查；所述数据质量规则管理模块用于针对元数据中的表，进行规则的映射，为了快速
对规则进行分类，采用左侧为规则库列表，右侧为使用到该规则的所有表和字段等信息；所述质检管理模块用于用来制定方案，选择调度执行频率和需要执行的规则，规则在数据质量规则管理的规则管理中获取，且可用来查询方案，查看调度执行频率和需要执行的规则，规则在数据质量规则管理的规则管理中获取作业定时调度。
33.本实施例中，所述采集终端模块在已有采集组件中采用快照表 + 触发器的方式将新接入业务同步至大数据平台。
34.进一步的，对于结构化数据，综合考虑数字化电厂建设其他项目结构化数据的技术选型、考虑数据量和查询速度的要求，底层基于mysql进行结构化的存储，mysql具有很强大查询优化器，可以支持很复杂的查询处理。管理简单，兼容靠性和稳定性好，在保护数据方面很擅长，同时实施和使用也简单；对于视频、音频等给结构化数据，底层基于mongodb进行非结构化数据的存储和管理。mongodb是为快速开发互联网web应用而设计的数据库系统。mongodb的设计目标是极简、灵活、作为web应用栈的一部分。
35.mongodb的数据模型是面向文档的，所谓文档是一种类似于json的结构，简单理解mongodb这个数据库中存的是各种各样的json。
36.本实施例中，所述采集配置中心采用“同步表”策略，保证数据平台数据库的相关元数据与业务应用系统的数据库元数据保持一致。
37.本实施例中，所述采集配置中心还可已扩容硬件，添加regionserver至原有数据平台，实现时序数据库的扩容，同时可通过数据平台建立对应的存储点码，通过数据监测功能检查数据是否已接入。
38.本实施例中，所述采集终端模块包括接口服务模块，接口服务模块提供快速创建api接口访问数据库，其具备可视化界面，将入参自动封装到可执行的脚本上，支持所有关系性数据库sql执行语句，非关系型mongodb查询语句.欢迎扩展，并完全基于springboot2.x 作为springboot项目的stater方式集成,无侵入性，新老项目都能快速集成。
39.虽然结合附图描述了本发明的实施方式，但是专利所有者可以在所附权利要求的范围之内做出各种变形或修改，只要不超过本发明的权利要求所描述的保护范围，都应当在本发明的保护范围之内。

技术特征：
1.一种基于大数据平台的厂区信息管理系统，其特点在于:包括信息管理平台相互连接的数据平台，所述数据平台包括采集配置中心、权限认证中心和运维监控中心，所述采集配置中心用于节点管理、数据源管理和配置模板管理，所述权限认证中心用于登录和权限管理，所述运维监控中心用于通过仪表盘对整个采集环境中各组织采集配置的运行情况和数据进行直观展示；所述信息管理平台包括客服模块、元数据管理模块、安全运维管理模块、采集终端模块和分布式存储模块；所述客服模块用于为企业用户提供安全运维管理服务，其与运维管理模块相连接，在客服模块的客户端上具备访问企业的安全运维管理模块的权限；所述元数据管理模块用于处理业务、技术和管理三个方面的业务，通过元数据定版功能，发布元数据基线，存异的或错误的元数据进行追溯、检查和恢复；所述安全运维管理模块，与采集终端相连接，将采集终端上报的数据进行分析，深度挖掘安全风险和故障隐患，并上报给客服模块；所述采集终端模块，其对接企业数据库，并将预处理的结果上报给安全运维管理模块，对于实时数据，梳理需采集测点后，加入现有采集接口中，使用从pi数据库中取数，消费到kafka中，然后经过flink/spark存入hbase；所述分布式存储模块，分别与安全运维管理模块和客服模块相连接，存储安全运维历史信息，供全文检索、数据挖掘和大数据分析。2.根据权利要求1所述的一种基于大数据平台的厂区信息管理系统，其特点在于:所述客服模块包括门户集成模块，所述门户集成模块采用数据平台统一的登录页面，并通过网关管理进行ip、客户端、用户对接口、测点的权限管理，能够对其在前端进行权限设置和分配，满足统一数据平台页面权限管理、统一的认证授权中心及权限严格管理等需求。3.根据权利要求1所述的一种基于大数据平台的厂区信息管理系统，其特点在于:所述安全运维管理模块，包括安全管理子模块、运维管理子模块、通用功能子模块和客户端模块；所述安全管理子模块，是协助用户实现安全策略管理、安全组织管理、安全运作管理和安全技术框架的中心枢纽，它的职能分成管理层面的职能和技术层面的职能，能够有效地将企业的策略管理、安全组织管理、安全运作管理和安全技术框架结合在一起，保持一致性；所述运维管理子模块，从网络和应用的不同层次，收集与业务和服务相关的各种信息：网络设备信息、全网流量信息、服务器内存、i/o的使用情况，甚至应用系统对资源的占用情况；同时，内置的关联分析对收集到的信息进行综合关联分析；不同于设备厂商提供的专用管理工具，为企业提供透明化的全面管理视图。4.根据权利要求1所述的一种基于大数据平台的厂区信息管理系统，其特点在于:所述采集终端模块，包括数据采集子模块和预处理子模块；所述数据采集子模块，根据要求采集被管理资源，包括各种安全设备、网络和主机设备的原始信息，并存储在本地数据库中；所述预处理子模块，将数据采集的所管理资源参数按照一定格式进行处理，同时要求
遵循标准的通信协议进行输出或被访问，输出到安全运维管理平台系统。5.根据权利要求1所述的一种基于大数据平台的厂区信息管理系统，其特点在于:所述运维管理子模块，包括拓扑发现管理、线路状态分析、环境管理、数据流监视与分析、应用服务管理、智能巡检、网络接入管理、面板管理、告警管理、故障相关性分析、设备管理和设备健康分析；所述拓扑发现管理，采用多种算法、迅速搜索整个网络内的所有节点、支持多厂商的设备组成的“混合”网络，智能分析网络拓扑结构，自动勾画出整个网络的真实物理拓扑图，真实反映整个网络的运行状态，拓扑图直观地反映设备的分布情况、负载状况和设备属性，以及线路的实时流量；通过颜色显示负载和流量的压力，主动告诉用户关注点应在哪里，动态告诉用户故障隐患；所述线路状态分析，以丰富的图、文报表的方式，分析线路收发流量、流速趋势分析，设备端口流量、趋势分析，线路间流量对比分析；支持线路流量的阈值设定，对过载实施预警；所述环境管理，为用户提供所见即所得的机房拓扑图，直观展示机房物理或逻辑部署状态，用户根据机房设备的真实物理排列，或个人对设备的分类和关注程度，设定一个或多个机柜，将不同设备放置在机柜中；机柜的高度根据设备的多少灵活调整，设备在机柜中的位置上下拖动调整。6.根据权利要求1所述的一种基于大数据平台的厂区信息管理系统，其特点在于:所述元数据模块包括规则库管理模块、数据质量规则管理模块和质检管理模块；所述规则库管理模块用于维护在数据资产管理中的规则信息，包括空值检查、值域检查、规范检查、逻辑检查、重复数据检查、及时性检查、缺失记录检查、引用完整性检查、数据集检查；所述数据质量规则管理模块用于针对元数据中的表，进行规则的映射，为了快速对规则进行分类，采用左侧为规则库列表，右侧为使用到该规则的所有表和字段等信息；所述质检管理模块用于用来制定方案，选择调度执行频率和需要执行的规则，规则在数据质量规则管理的规则管理中获取，且可用来查询方案，查看调度执行频率和需要执行的规则，规则在数据质量规则管理的规则管理中获取作业定时调度。7.根据权利要求4所述的一种基于大数据平台的厂区信息管理系统，其特点在于:所述采集终端模块在已有采集组件中采用快照表 + 触发器的方式将新接入业务同步至大数据平台。8.根据权利要求7所述的一种基于大数据平台的厂区信息管理系统，其特点在于:所述采集配置中心采用“同步表”策略，保证数据平台数据库的相关元数据与业务应用系统的数据库元数据保持一致。9.根据权利要求8所述的一种基于大数据平台的厂区信息管理系统，其特点在于:所述采集配置中心还可已扩容硬件，添加regionserver至原有数据平台，实现时序数据库的扩容，同时可通过数据平台建立对应的存储点码，通过数据监测功能检查数据是否已接入。10.根据权利要求9所述的一种基于大数据平台的厂区信息管理系统，其特点在于:所述采集终端模块包括接口服务模块，接口服务模块提供快速创建api接口访问数据库，其具备可视化界面，将入参自动封装到可执行的脚本上，支持所有关系性数据库sql执行语句，非关系型mongodb查询语句.欢迎扩展，并完全基于springboot2.x 作为springboot项目的
stater方式集成,无侵入性，新老项目都能快速集成。

技术总结
本发明公开了一种基于大数据平台的厂区信息管理系统，包括信息管理平台相互连接的数据平台，数据平台包括采集配置中心、权限认证中心和运维监控中心；所述信息管理平台包括客服模块、元数据管理模块、安全运维管理模块、采集终端模块和分布式存储模块；能够为各类企业提供专业的和高效率的信息安全运维管理服务，配置管理设计理念，构建行业领域模型更快捷，让系统管理数据更灵活；统一数据格式、统一设备模型体系、统一数据计算框架体系等整体设计体系，使系统从数据接入到数据计算再到数据存储更规范、更高效。更高效。更高效。


技术研发人员：曹善勇 马记 王刚 王荣昌 孙志宇 尹洪飞 郝高伟 许炳先 朱锋 顾小虎 唐守伟 张传昀
受保护的技术使用者：华电莱州发电有限公司
技术研发日：2023.05.26
技术公布日：2023/8/13