基于大数据平台重点建设的数据转换方法与流程

1.本发明涉及平台数据管控技术领域，具体为基于大数据平台重点建设的数据转换方法。


背景技术：

2.随着智能配用电网建设的不断深入，采集终端数量的急剧增长，采集频度的大幅增强，配用电数据量由tb级向pb级发展，面临着多源异构海量数据的有效集成、高效存储和高可扩展性的挑战。因此需要专门的大数据平台进行全面管理，针对大数据平台管理时需要对数据进行转换处理。
3.而在现有技术中，未进行设置完善的体系进行数据转换，使得每一次转换的数据过程和结果未进行及时记录，不方便后续不断改进，影响正常转换工作效率，同时不方便工作人员进行智能化管理，无法满足正常使用所需，因此本发明需要设计基于大数据平台重点建设的数据转换方法来解决上述出现的问题。


技术实现要素：

4.本发明的目的就在于为了解决上述问题而提供基于大数据平台重点建设的数据转换方法，解决了背景技术中提到未进行设置完善的体系进行数据转换，使得每一次转换的数据过程和结果未进行及时记录，不方便后续不断改进，影响正常转换工作效率，同时不方便工作人员进行智能化管理，无法满足正常使用所需的问题。
5.为了解决上述问题，本发明提供了一种技术方案：
6.基于大数据平台重点建设的数据转换方法，包括以下具体步骤：
7.s1、生成建设数据转换系统，对大数据平台建设的数据进行全面管理和实时监管；
8.s2、对采集的所述建设数据进行缓存区整理和数据格式分类；
9.s3、对申请访问的工作人员进行身份认证、访问查询，授予对应的权限，对完成格式分类的数据进行编码加密处理；
10.s4、生成检索库，在所述检索库内部进行对应搜索是否存在已转换数据结果，根据需求进行对应数据格式转换处理，进行同步备份处理。
11.作为优选，所述步骤s1中的全面管理包括数据管理、平台认证、平台建设和平台监管。
12.作为优选，所述步骤s3中在进行编码时的编码方式包括单极性码、极性码、双极性码、归零码和双相码。
13.作为优选，所述步骤s4中在完成所述检索库内部进行对应搜索是否存在已转换数据结果，当存在时进行直接提取对应数据至下一环节，进行加速转换，当不存在时进行发送数据至下一环节，进行正常转换。
14.作为优选，所述步骤s4中的数据格式包括显式数据格式转换和隐式数据格式转换，所述显式数据格式转换用于执行工作人员所需转换格式的指令，所述隐式数据格式转
换用于自主转换所述系统内部所需转换的格式。
15.作为优选，所述建设数据转换系统包括建设数据采集单元、数据编码访问库、数据检索转换单元和平台建设数据监管单元，所述平台建设数据监管单元的输出端与建设数据采集单元的输入端通讯连接，所述建设数据采集单元的输出端与数据编码访问库的输入端通讯连接，所述数据编码访问库的输出端与数据检索转换单元的输入端通讯连接。
16.作为优选，所述建设数据采集单元包括建设数据采集模块、数据组缓存区和数据格式分类模块，所述建设数据采集模块的输出端与数据组缓存区的输入端通讯连接，所述数据组缓存区的输出端与数据编码访问库的输入端通讯连接；
17.所述建设数据采集模块用于接收所述平台建设数据监管单元发送的重点建设数据，所述建设数据采集模块还用于将重点建设数据发送至所述数据组缓存区内部，进行缓存；
18.所述数据组缓存区用于接收所述建设数据采集模块发送的平台建设数据，进行储存至缓存区内部，所述数据组缓存区同时用于将经过处理的数据组信息发送至所述数据编码访问库内部，进行编码处理；
19.所述数据格式分类模块集成于所述数据组缓存区内部，所述数据格式分类模块用于对缓冲区的数据进行格式分类。
20.作为优选，所述数据编码访问库包括数据编码模块、访问服务与权限模块和加密模块，所述数据编码模块的输出端与数据检索转换单元的输入端通讯连接，所述访问服务与权限模块与数据编码模块双向通讯连接；
21.所述数据编码模块用于接收所述建设数据采集单元发送的完成格式分类处理的数据，进行编码，所述数据编码模块同时用于将完成编码的数据发送至所述数据检索转换单元内部，进行数据转换；
22.所述访问服务与权限模块用于对申请访问的工作人员进行身份认证、访问查询，授予对应的权限；
23.所述加密模块集成于所述数据编码模块内部，所述加密模块用于对完成编码的数据进行加密处理。
24.作为优选，所述数据检索转换单元包括检索对比模块、数据转换模块和备份模块，所述检索对比模块的输出端与数据转换模块的输入端通讯连接；
25.所述检索对比模块用于接收所述数据编码访问库发送的完成编码的数据，在检索库内部进行对应搜索是否存在已转换数据结果，当存在时进行直接提取对应数据至所述数据转换模块内部，进行加速转换，当不存在时进行发送数据至所述数据转换模块内部，进行正常转换；
26.所述数据转换模块用于接收所述检索对比模块发送的检索结果，根据需求进行对应数据格式转换处理；
27.所述备份模块集成于所述检索对比模块内部，所述备份模块用于对接收的数据进行同步备份。
28.作为优选，所述平台建设数据监管单元包括建设数据监管模块、平台管理模块和建设数据输送模块，所述建设数据监管模块和平台管理模块均与建设数据输送模块双向通讯连接，所述建设数据输送模块的输出端与建设数据采集单元的输入端通讯连接；
29.所述建设数据监管模块用于对大数据平台内部运行状况进行实时监管；
30.所述平台管理模块用于对大数据平台进行综合管理；
31.所述建设数据输送模块用于提取所述平台建设数据监管单元内部的重点建设数据，所述建设数据输送模块同时用于将重点建设数据发送至所述建设数据采集单元内部，进行采集。
32.本发明的有益效果是：本发明通过在进行使用时生成建设数据转换系统，对大数据平台建设的数据进行全面管理和实时监管，对采集的所述建设数据进行缓存区整理和数据格式分类，对申请访问的工作人员进行身份认证、访问查询，授予对应的权限，对完成格式分类的数据进行编码加密处理，生成检索库，在所述检索库内部进行对应搜索是否存在已转换数据结果，根据需求进行对应数据格式转换处理，进行同步备份处理，通过安装有平台管理模块对大数据平台进行综合管理，通过安装有访问服务与权限模块对申请访问的工作人员进行身份认证、访问查询，授予对应的权限，缩短了整体的流程周期，同时对数据转换结果及相应的分析结果进行管理、可视化和存储，有助于通过互联网云管控实现数据转换管理，提高数据转换管理的智能化水平。
附图说明：
33.为了易于说明，本发明由下述的具体实施及附图作以详细描述。
34.图1是本发明基于大数据平台重点建设的数据转换方法整体流程框图；
35.图2是本发明基于大数据平台重点建设的数据转换方法的建设数据转换系统拓扑图。
具体实施方式：
36.如图1和图2所示，本具体实施方式采用以下技术方案：
37.基于大数据平台重点建设的数据转换方法，包括以下具体步骤：
38.s1、生成建设数据转换系统，对大数据平台建设的数据进行全面管理和实时监管；全面管理包括数据管理、平台认证、平台建设和平台监管；
39.s2、对采集的所述建设数据进行缓存区整理和数据格式分类；
40.s3、对申请访问的工作人员进行身份认证、访问查询，授予对应的权限，对完成格式分类的数据进行编码加密处理；在进行编码时的编码方式包括单极性码、极性码、双极性码、归零码和双相码；
41.s4、生成检索库，在所述检索库内部进行对应搜索是否存在已转换数据结果，根据需求进行对应数据格式转换处理，进行同步备份处理，数据格式包括显式数据格式转换和隐式数据格式转换，所述显式数据格式转换用于执行工作人员所需转换格式的指令，所述隐式数据格式转换用于自主转换所述系统内部所需转换的格式，在完成所述检索库内部进行对应搜索是否存在已转换数据结果，当存在时进行直接提取对应数据至下一环节，进行加速转换，当不存在时进行发送数据至下一环节，进行正常转换。
42.进一步的，所述建设数据转换系统包括建设数据采集单元、数据编码访问库、数据检索转换单元和平台建设数据监管单元，所述平台建设数据监管单元的输出端与建设数据采集单元的输入端通讯连接，所述建设数据采集单元的输出端与数据编码访问库的输入端
通讯连接，所述数据编码访问库的输出端与数据检索转换单元的输入端通讯连接。
43.进一步的，所述建设数据采集单元包括建设数据采集模块、数据组缓存区和数据格式分类模块，所述建设数据采集模块的输出端与数据组缓存区的输入端通讯连接，所述数据组缓存区的输出端与数据编码访问库的输入端通讯连接；所述建设数据采集模块用于接收所述平台建设数据监管单元发送的重点建设数据，所述建设数据采集模块还用于将重点建设数据发送至所述数据组缓存区内部，进行缓存；所述数据组缓存区用于接收所述建设数据采集模块发送的平台建设数据，进行储存至缓存区内部，所述数据组缓存区同时用于将经过处理的数据组信息发送至所述数据编码访问库内部，进行编码处理；所述数据格式分类模块集成于所述数据组缓存区内部，所述数据格式分类模块用于对缓冲区的数据进行格式分类。
44.进一步的，所述数据编码访问库包括数据编码模块、访问服务与权限模块和加密模块，所述数据编码模块的输出端与数据检索转换单元的输入端通讯连接，所述访问服务与权限模块与数据编码模块双向通讯连接；所述数据编码模块用于接收所述建设数据采集单元发送的完成格式分类处理的数据，进行编码，所述数据编码模块同时用于将完成编码的数据发送至所述数据检索转换单元内部，进行数据转换；所述访问服务与权限模块用于对申请访问的工作人员进行身份认证、访问查询，授予对应的权限；所述加密模块集成于所述数据编码模块内部，所述加密模块用于对完成编码的数据进行加密处理。
45.进一步的，所述数据检索转换单元包括检索对比模块、数据转换模块和备份模块，所述检索对比模块的输出端与数据转换模块的输入端通讯连接；所述检索对比模块用于接收所述数据编码访问库发送的完成编码的数据，在检索库内部进行对应搜索是否存在已转换数据结果，当存在时进行直接提取对应数据至所述数据转换模块内部，进行加速转换，当不存在时进行发送数据至所述数据转换模块内部，进行正常转换；所述数据转换模块用于接收所述检索对比模块发送的检索结果，根据需求进行对应数据格式转换处理；所述备份模块集成于所述检索对比模块内部，所述备份模块用于对接收的数据进行同步备份。
46.进一步的，所述平台建设数据监管单元包括建设数据监管模块、平台管理模块和建设数据输送模块，所述建设数据监管模块和平台管理模块均与建设数据输送模块双向通讯连接，所述建设数据输送模块的输出端与建设数据采集单元的输入端通讯连接；所述建设数据监管模块用于对大数据平台内部运行状况进行实时监管；所述平台管理模块用于对大数据平台进行综合管理；所述建设数据输送模块用于提取所述平台建设数据监管单元内部的重点建设数据，所述建设数据输送模块同时用于将重点建设数据发送至所述建设数据采集单元内部，进行采集。
47.实施例1
48.当数据转换方法连接到大数据平台重点建设时：
49.s1、生成建设数据转换系统，对大数据平台建设的数据进行全面管理和实时监管，全面管理包括数据管理、平台认证、平台建设和平台监管，通过建设数据监管模块对大数据平台内部运行状况进行实时监管，通过平台管理模块用于对大数据平台进行综合管理，通过建设数据输送模块提取重点建设数据；
50.s2、对采集的所述建设数据进行缓存区整理和数据格式分类，通过建设数据采集模块用于重点建设数据，通过数据组缓存区进行储存至缓存区内部，通过数据格式分类模
块对缓冲区的数据进行格式分类；
51.s3、通过访问服务与权限模块对申请访问的工作人员进行身份认证、访问查询，授予对应的权限，通过数据编码模块和加密模块对完成格式分类的数据进行编码加密处理；在进行编码时的编码方式包括单极性码、极性码、双极性码、归零码和双相码；
52.s4、生成检索库，通过检索对比模块在检索库内部进行对应搜索是否存在已转换数据结果，根据需求进行对应数据格式转换处理，进行同步备份处理，数据格式包括显式数据格式转换和隐式数据格式转换，显式数据格式转换用于执行工作人员所需转换格式的指令，隐式数据格式转换用于自主转换所述系统内部所需转换的格式，在完成检索库内部进行对应搜索是否存在已转换数据结果，当存在时进行直接提取对应数据至下一环节，进行加速转换，当不存在时进行发送数据至下一环节，进行正常转换，通过数据转换模块根据需求进行对应数据格式转换处理。
53.实施例2
54.当数据转换方法连接到工厂管理中：
55.s1、生成建设数据转换系统，对工厂平台建设的数据进行全面管理和实时监管，通过建设数据监管模块对工厂平台内部运行状况进行实时监管，通过平台管理模块用于对工厂平台进行综合管理，通过建设数据输送模块提取重点建设数据；
56.s2、对采集的所述建设数据进行缓存区整理和数据格式分类，通过建设数据采集模块用于重点建设数据，通过数据组缓存区进行储存至缓存区内部，通过数据格式分类模块对缓冲区的数据进行格式分类；
57.s3、通过访问服务与权限模块对申请访问的工厂工作人员进行身份认证、访问查询，授予对应的权限，通过数据编码模块和加密模块对完成格式分类的数据进行编码加密处理；
58.s4、生成工厂检索库，通过检索对比模块在检索库内部进行对应搜索是否存在已转换数据结果，根据需求进行对应数据格式转换处理，进行同步备份处理，显式数据格式转换用于执行工厂工作人员所需转换格式的指令，隐式数据格式转换用于自主转换所述系统内部所需转换的格式，在完成检索库内部进行对应搜索是否存在已转换数据结果，当存在时进行直接提取对应数据至下一环节，进行加速转换，当不存在时进行发送数据至下一环节，进行正常转换，通过数据转换模块根据需求进行对应数据格式转换处理。
59.具体的：在实际的应用中，具有多个建设数据采集单元，多个建设数据采集单元分别位于不同的地理位置，生成建设数据转换系统，对大数据平台建设的数据进行全面管理和实时监管，全面管理包括数据管理、平台认证、平台建设和平台监管，通过建设数据监管模块对大数据平台内部运行状况进行实时监管，通过平台管理模块用于对大数据平台进行综合管理，通过建设数据输送模块提取重点建设数据；对采集的所述建设数据进行缓存区整理和数据格式分类，通过建设数据采集模块用于重点建设数据，通过数据组缓存区进行储存至缓存区内部，通过数据格式分类模块对缓冲区的数据进行格式分类；通过访问服务与权限模块对申请访问的工作人员进行身份认证、访问查询，授予对应的权限，通过数据编码模块和加密模块对完成格式分类的数据进行编码加密处理；在进行编码时的编码方式包括单极性码、极性码、双极性码、归零码和双相码；生成检索库，通过检索对比模块在检索库内部进行对应搜索是否存在已转换数据结果，根据需求进行对应数据格式转换处理，进行
同步备份处理，数据格式包括显式数据格式转换和隐式数据格式转换，显式数据格式转换用于执行工作人员所需转换格式的指令，隐式数据格式转换用于自主转换所述系统内部所需转换的格式，在完成检索库内部进行对应搜索是否存在已转换数据结果，当存在时进行直接提取对应数据至下一环节，进行加速转换，当不存在时进行发送数据至下一环节，进行正常转换，通过数据转换模块根据需求进行对应数据格式转换处理，本发明通过在进行使用时生成建设数据转换系统，对大数据平台建设的数据进行全面管理和实时监管，对采集的所述建设数据进行缓存区整理和数据格式分类，对申请访问的工作人员进行身份认证、访问查询，授予对应的权限，对完成格式分类的数据进行编码加密处理，生成检索库，在所述检索库内部进行对应搜索是否存在已转换数据结果，根据需求进行对应数据格式转换处理，进行同步备份处理，通过安装有平台管理模块对大数据平台进行综合管理，通过安装有访问服务与权限模块对申请访问的工作人员进行身份认证、访问查询，授予对应的权限，缩短了整体的流程周期，同时对数据转换结果及相应的分析结果进行管理、可视化和存储，有助于通过互联网云管控实现数据转换管理，提高数据转换管理的智能化水平。
60.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.基于大数据平台重点建设的数据转换方法，其特征在于，包括以下具体步骤：s1、生成建设数据转换系统，对大数据平台建设的数据进行全面管理和实时监管；s2、对采集的所述建设数据进行缓存区整理和数据格式分类；s3、对申请访问的工作人员进行身份认证、访问查询，授予对应的权限，对完成格式分类的数据进行编码加密处理；s4、生成检索库，在所述检索库内部进行对应搜索是否存在已转换数据结果，根据需求进行对应数据格式转换处理，进行同步备份处理。2.根据权利要求1所述的基于大数据平台重点建设的数据转换方法，其特征在于：所述步骤s1中的全面管理包括数据管理、平台认证、平台建设和平台监管。3.根据权利要求1所述的基于大数据平台重点建设的数据转换方法，其特征在于：所述步骤s3中在进行编码时的编码方式包括单极性码、极性码、双极性码、归零码和双相码。4.根据权利要求1所述的基于大数据平台重点建设的数据转换方法，其特征在于：所述步骤s4中在完成所述检索库内部进行对应搜索是否存在已转换数据结果，当存在时进行直接提取对应数据至下一环节，进行加速转换，当不存在时进行发送数据至下一环节，进行正常转换。5.根据权利要求1所述的基于大数据平台重点建设的数据转换方法，其特征在于：所述步骤s4中的数据格式包括显式数据格式转换和隐式数据格式转换，所述显式数据格式转换用于执行工作人员所需转换格式的指令，所述隐式数据格式转换用于自主转换所述系统内部所需转换的格式。6.根据权利要求1所述的基于大数据平台重点建设的数据转换方法，其特征在于：所述建设数据转换系统包括建设数据采集单元、数据编码访问库、数据检索转换单元和平台建设数据监管单元，所述平台建设数据监管单元的输出端与建设数据采集单元的输入端通讯连接，所述建设数据采集单元的输出端与数据编码访问库的输入端通讯连接，所述数据编码访问库的输出端与数据检索转换单元的输入端通讯连接。7.根据权利要求6所述的基于大数据平台重点建设的数据转换方法，其特征在于：所述建设数据采集单元包括建设数据采集模块、数据组缓存区和数据格式分类模块，所述建设数据采集模块的输出端与数据组缓存区的输入端通讯连接，所述数据组缓存区的输出端与数据编码访问库的输入端通讯连接；所述建设数据采集模块用于接收所述平台建设数据监管单元发送的重点建设数据，所述建设数据采集模块还用于将重点建设数据发送至所述数据组缓存区内部，进行缓存；所述数据组缓存区用于接收所述建设数据采集模块发送的平台建设数据，进行储存至缓存区内部，所述数据组缓存区同时用于将经过处理的数据组信息发送至所述数据编码访问库内部，进行编码处理；所述数据格式分类模块集成于所述数据组缓存区内部，所述数据格式分类模块用于对缓冲区的数据进行格式分类。8.根据权利要求6所述的基于大数据平台重点建设的数据转换方法，其特征在于：所述数据编码访问库包括数据编码模块、访问服务与权限模块和加密模块，所述数据编码模块的输出端与数据检索转换单元的输入端通讯连接，所述访问服务与权限模块与数据编码模块双向通讯连接；
所述数据编码模块用于接收所述建设数据采集单元发送的完成格式分类处理的数据，进行编码，所述数据编码模块同时用于将完成编码的数据发送至所述数据检索转换单元内部，进行数据转换；所述访问服务与权限模块用于对申请访问的工作人员进行身份认证、访问查询，授予对应的权限；所述加密模块集成于所述数据编码模块内部，所述加密模块用于对完成编码的数据进行加密处理。9.根据权利要求6所述的基于大数据平台重点建设的数据转换方法，其特征在于：所述数据检索转换单元包括检索对比模块、数据转换模块和备份模块，所述检索对比模块的输出端与数据转换模块的输入端通讯连接；所述检索对比模块用于接收所述数据编码访问库发送的完成编码的数据，在检索库内部进行对应搜索是否存在已转换数据结果，当存在时进行直接提取对应数据至所述数据转换模块内部，进行加速转换，当不存在时进行发送数据至所述数据转换模块内部，进行正常转换；所述数据转换模块用于接收所述检索对比模块发送的检索结果，根据需求进行对应数据格式转换处理；所述备份模块集成于所述检索对比模块内部，所述备份模块用于对接收的数据进行同步备份。10.根据权利要求6所述的基于大数据平台重点建设的数据转换方法，其特征在于：所述平台建设数据监管单元包括建设数据监管模块、平台管理模块和建设数据输送模块，所述建设数据监管模块和平台管理模块均与建设数据输送模块双向通讯连接，所述建设数据输送模块的输出端与建设数据采集单元的输入端通讯连接；所述建设数据监管模块用于对大数据平台内部运行状况进行实时监管；所述平台管理模块用于对大数据平台进行综合管理；所述建设数据输送模块用于提取所述平台建设数据监管单元内部的重点建设数据，所述建设数据输送模块同时用于将重点建设数据发送至所述建设数据采集单元内部，进行采集。

技术总结
本发明公开了基于大数据平台重点建设的数据转换方法，涉及平台数据管控技术领域，生成建设数据转换系统，对大数据平台建设的数据进行全面管理和实时监管，本发明通过在进行使用时生成建设数据转换系统，对大数据平台建设的数据进行全面管理和实时监管，对采集的所述建设数据进行缓存区整理和数据格式分类，对申请访问的工作人员进行身份认证、访问查询，授予对应的权限，对完成格式分类的数据进行编码加密处理，通过安装有访问服务与权限模块对申请访问的工作人员进行身份认证、访问查询，同时对数据转换结果及相应的分析结果进行管理、可视化和存储，有助于通过互联网云管控实现数据转换管理，提高数据转换管理的智能化水平。提高数据转换管理的智能化水平。提高数据转换管理的智能化水平。


技术研发人员：赵先明 林昀
受保护的技术使用者：北京红山信息科技研究院有限公司
技术研发日：2023.03.27
技术公布日：2023/8/5