一种基于能源管理平台的数据传输系统及方法与流程

1.本发明涉及能源管理技术领域，尤其是涉及一种基于能源管理平台的数据传输系统及方法。


背景技术：

2.能源管理平台利用现代信息技术、云计算、物联网、通信大数据等现代化信息手段对能源的相关信息数据进行在线监测，保证海量的能源数据能够得到有效处理，从而提升企业的能源管理能力。
3.为了更好地了解不断变化的能源状态，需要对观测数据进行实时的处理以及高速实时的传输，特别是部分监测设备获得的重要数据信息需要实时传回处理等实时性要求高的应用场景。目前能源数据庞大，考虑数据的及时性和稳定性，能够快速地提交、存储、处理、发送数据，减少信息的滞留，提高数据传输的实时性尤为重要。
4.因此，为了满足能源数据的实时性，提高企业的能源管理能力，应当着重于数据的传输系统，提高数据传输的能力。


技术实现要素：

5.本发明的目的是提供一种基于能源管理平台的数据传输系统及方法，该系统具备可靠性和可拓展性，能够快速对数据进行预处理，对数据的信息进行快速的分类与压缩。
6.为实现上述目的，本发明提供了一种基于能源管理平台的数据传输系统，包括数据采集模块、数据预处理模块、数据压缩模块、数据传输模块、数据接收模块及数据提交模块。
7.本发明还提供了一种基于能源管理平台的数据传输方法，包括以下步骤：
8.s1、数据采集模块用于连接各种能源设备，并提供数据采集功能，通过flume采集框架与kafka消息队列相结合对能源数据进行实时采集；
9.s2、数据预处理模块将数据采集模块中所采集到的能源数据进行预处理；包括数据清洗、数据集成、数据变换以及数据规约；
10.s3、数据压缩模块将数据进行压缩，提高数据传输效率与频带利用率，节省存储空间，使用huffman编码对数据进行无损压缩，利用数据的统计冗余进行压缩；
11.s4、数据传输模块中将压缩后的数据进行传输至节点，等待下一步对数据的处理；
12.s5、数据接收模块将节点处所接收到的压缩数据进行处理；
13.s6、数据提交模块将恢复的数据提交给能源管理平台，对提交的数据进行分类处理，根据不同的设备类型存储到不同的数据表中，为能源管理平台提供数据进行展示。
14.优选的，步骤s1中，能源采集的具体步骤如下：
15.s11、数据采集模块通过flume采集框架监听各个能源设备的数据信息，实时检测数据采集设备中的数据变换，对能源使用产生的数据进行实时采集
16.s12、将采集到的数据进入kafka消息队列进行数据的缓冲接着将数据存储到分布
式文件系统hbase上进行备份，防止传输途径中数据的丢失。
17.优选的，步骤s2中，对采集到的数据进行数据清洗、数据集成、数据变换、数据规约的具体步骤如下：
18.s21、数据清洗
19.利用技术数理统计、数据挖掘或预定义的清理规则将脏数据转化为满足数据质量要求的数据，
20.当出现不完整数据时，缺失的值必须手工填入；
21.当出现错误值或异常值时，使用不同属性间的约束、外部的数据来检测和清理数据；
22.当出现重复记录的数据时，通过判断记录间的属性值是否相等来检测记录是否相等，相等的记录合并为一条记录；
23.当数据源内部于数据源之间出现不一致性时，通过数据迁移工具允许指定简单的转换规则；
24.s22、数据集成
25.将多个数据源合并放到一个数据存储中，将两个数据框以关键字为依据，按升序排列；
26.s23、数据变化
27.使用简单函数变换将不具有正态分布的数据变成有正态分布的数据；将数据规范化，剔除掉变量量纲上的影响；将连续属性变量转化成分类属性，来满足数据压缩和传输的要求；
28.s24、数据规约
29.根据数据的有用特征，缩减数据规模。
30.优选的，步骤s3中，数据压缩模块进行数据压缩的具体步骤如下：
31.s31、将预处理后的数据进行取样，进行时间轴上的离散化；
32.s32、将幅度轴上的模拟信号离散化，得到离散化后的数字；
33.s33、使用huffman编码将离散化后的数字用二进制码表示。
34.优选的，步骤s5中，压缩数据处理的具体步骤如下：
35.s51、将接收到的数据使用huffman编码进行解压，得到解压后的数据，将接收到的数据还原成原始数据；
36.s52、将解压后的数据进行检查，是否有数据缺失以及丢失的情况，若出现数据的缺失，则按数据在分布式文件系统hbase的备份中匹配所丢失的数据信息进行补发，恢复数据的完整性。
37.因此，本发明采用上述一种基于能源管理平台的数据传输系统及方法，其技术效果如下：
38.(1)提高了对观测数据的实时处理能力，特别是对实时性数据要求高的应用场景；
39.(2)数据传输的及时性和稳定性的提高；
40.(3)具备待传数据的缓存能力，以应对网络故障；
41.(4)实时监控本地存储，获取本地数据文件的更新消息；
42.(5)在不同规模大小的企业中能够满足24小时的运行要求，并支持新增结点的快
速联网部署。
43.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
44.图1为本发明一种基于能源管理平台的数据传输的系统流程图。
具体实施方式
45.以下通过附图和实施例对本发明的技术方案作进一步说明。
46.除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
47.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的主旨或基本特征的情况下，能够以其它的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
48.此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其它实施方式。这些其它实施方式也涵盖在本发明的保护范围内。
49.还应当理解，以上所述的具体实施例仅用于解释本发明，本发明的保护范围并不限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明/发明的保护范围之内。
50.对于相关领域普通技术人员已知的技术、方法和设备可能不作为详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
51.本发明说明书中引用的现有技术文献所公开的内容整体均通过引用并入本发明中，并且因此是本发明公开内容的一部分。
52.实施例一
53.一种基于能源管理平台的数据传输系统，包括数据采集模块、数据预处理模块、数据压缩模块、数据传输模块、数据接收模块及数据提交模块。
54.数据采集模块，用于采集一个能源设备的原始数据；
55.数据预处理模块，用于对采集到的数据进行传输前的处理，将不合格和不能使用的数据进行处理和删除；
56.数据压缩模块，用于对处理后的数据进行压缩，提高后续数据传输的效率；
57.数据传输模块，用于将压缩后的数据进行传输，传输至下一个节点；
58.数据接收模块，用于接收上一个节点所传输过来的压缩数据，对数据进行解压和恢复；
59.数据提交模块，用于将恢复的数据提交给能源管理平台。
60.一种基于能源管理平台的数据传输方法，包括以下步骤：
61.一、数据采集模块用于连接各种能源设备，并提供数据采集功能，通过flume采集
框架与kafka消息队列相结合对能源数据进行实时能源的采集。
62.(1)数据采集模块通过flume采集框架监听各个能源设备的数据信息，实时检测数据采集设备中的数据变换，对能源使用产生的数据进行实时采集
63.(2)将采集到的数据进入kafka消息队列进行数据的缓冲接着将数据存储到分布式文件系统hbase上进行备份，防止传输途径中数据的丢失。
64.二、数据预处理模块将数据采集模块中所采集到的大量数据进行预处理；包括数据清洗、数据集成、数据变换以及数据规约。
65.(1)数据清洗
66.利用技术数理统计、数据挖掘或预定义的清理规则将脏数据转化为满足数据质量要求的数据，
67.当出现不完整数据时，缺失的值必须手工填入；当然，某些缺失值可以从数据源或其他数据源推导出来，这时就可以用平均值、最大值、最小值等代替缺失的值，从而达到清理的目的。
68.当出现错误值或异常值时，使用不同属性间的约束、外部的数据来检测和清理数据；
69.当出现重复记录的数据时，通过判断记录间的属性值是否相等来检测记录是否相等，相等的记录合并为一条记录；
70.当数据源内部于数据源之间出现不一致性时，通过数据迁移工具允许指定简单的转换规则；通过数据清洗工具使用领域特有的知识对数据作清洗，采取语法分析和模糊匹配技术完成对多数据源数据的清理；通过数据审计工具扫描数据发现规律和联系。
71.(2)数据集成
72.将多个数据源合并放到一个数据存储中，将两个数据框以关键字为依据，按升序排列。
73.数据集成往往造成数据冗余，可能是同一属性多次出现，也可能是属性名字不一致导致的重复，对于重复属性一个先做相关分析检测，如果有再将其删除。
74.(3)数据变化
75.使用简单函数变换将不具有正态分布的数据变成有正态分布的数据；将数据规范化，剔除掉变量量纲上的影响；将连续属性变量转化成分类属性，来满足数据压缩和传输的要求。
76.(4)数据规约
77.根据数据的有用特征，缩减数据规模。从而在尽可能保持数据原貌的前提下，最大限度地精简数据量。
78.三、数据压缩模块将数据进行压缩，提高数据传输效率与频带利用率，节省存储空间，使用huffman编码对数据进行无损压缩，利用数据的统计冗余进行压缩。
79.数据压缩模块进行数据压缩的具体步骤如下：
80.(1)将预处理后的数据进行取样，进行时间轴上的离散化；
81.(2)将幅度轴上的模拟信号离散化，得到离散化后的数字；
82.(3)使用huffman编码将离散化后的数字用二进制码表示。
83.四、数据传输模块中将压缩后的数据进行传输至节点，等待下一步对数据的处理。
84.采用多线程的socket通信模式，通过链路管理部分管理多个数据发送与接收线程。一旦系统启动，端口监听线程即刻开启，等待其他节点的接入。当有节点接入时，链路将空闲的数据接收线程与之绑定，并启动数据接收。
85.五、数据接收模块将节点处所接收到的压缩数据进行处理。
86.压缩数据处理的具体步骤如下：
87.(1)将接收到的数据使用huffman编码进行解压，得到解压后的数据，将接收到的数据还原成原始数据；
88.(2)将解压后的数据进行检查，是否有数据缺失以及丢失的情况，若出现数据的缺失，则按数据在分布式文件系统hbase的备份中匹配所丢失的数据信息进行补发，恢复数据的完整性。
89.六、数据提交模块将恢复的数据提交给平台，对提交的数据进行分类处理，根据不同的设备类型存储到不同的数据表中，为能源管理平台提供数据进行展示。
90.因此，本发明采用上述一种基于能源管理平台的数据传输系统及方法，提高对观测数据的实时处理能力，特别是对实时性数据要求高的应用场景；数据传输的及时性和稳定性的提高；具备待传数据的缓存能力，以应对网络故障；实时监控本地存储，获取本地数据文件的更新消息；在不同规模大小的企业中能够满足24小时的运行要求，并支持新增结点的快速联网部署。
91.最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

技术特征：
1.一种基于能源管理平台的数据传输系统，其特征在于：包括数据采集模块、数据预处理模块、数据压缩模块、数据传输模块、数据接收模块及数据提交模块。2.一种基于能源管理平台的数据传输方法，其特征在于：包括以下步骤：s1、数据采集模块用于连接各种能源设备，并提供数据采集功能，通过flume采集框架与kafka消息队列相结合对能源数据进行实时采集；s2、数据预处理模块将数据采集模块中所采集到的能源数据进行预处理；包括数据清洗、数据集成、数据变换以及数据规约；s3、数据压缩模块将数据进行压缩，提高数据传输效率与频带利用率，节省存储空间，使用huffman编码对数据进行无损压缩，利用数据的统计冗余进行压缩；s4、数据传输模块中将压缩后的数据进行传输至节点，等待下一步对数据的处理；s5、数据接收模块将节点处所接收到的压缩数据进行处理；s6、数据提交模块将恢复的数据提交给能源管理平台，对提交的数据进行分类处理，根据不同的设备类型存储到不同的数据表中，为能源管理平台提供数据进行展示。3.如权利要求2所述的一种基于能源管理平台的数据传输方法，其特征在于：步骤s1中，能源采集的具体步骤如下：s11、数据采集模块通过flume采集框架监听各个能源设备的数据信息，实时检测数据采集设备中的数据变换，对能源使用产生的数据进行实时采集s12、将采集到的数据进入kafka消息队列进行数据的缓冲接着将数据存储到分布式文件系统hbase上进行备份，防止传输途径中数据的丢失。4.如权利要求2所述的一种基于能源管理平台的数据传输方法，其特征在于：步骤s2中，对采集到的数据进行数据清洗、数据集成、数据变换、数据规约的具体步骤如下：s21、数据清洗利用技术数理统计、数据挖掘或预定义的清理规则将脏数据转化为满足数据质量要求的数据，当出现不完整数据时，缺失的值必须手工填入；当出现错误值或异常值时，使用不同属性间的约束、外部的数据来检测和清理数据；当出现重复记录的数据时，通过判断记录间的属性值是否相等来检测记录是否相等，相等的记录合并为一条记录；当数据源内部于数据源之间出现不一致性时，通过数据迁移工具允许指定简单的转换规则；s22、数据集成将多个数据源合并放到一个数据存储中，将两个数据框以关键字为依据，按升序排列；s23、数据变化使用简单函数变换将不具有正态分布的数据变成有正态分布的数据；将数据规范化，剔除掉变量量纲上的影响；将连续属性变量转化成分类属性，来满足数据压缩和传输的要求；s24、数据规约根据数据的有用特征，缩减数据规模。5.如权利要求2所述的一种基于能源管理平台的数据传输方法，其特征在于：步骤s3
中，数据压缩模块进行数据压缩的具体步骤如下：s31、将预处理后的数据进行取样，进行时间轴上的离散化；s32、将幅度轴上的模拟信号离散化，得到离散化后的数字；s33、使用huffman编码将离散化后的数字用二进制码表示。6.如权利要求2所述的一种基于能源管理平台的数据传输方法，其特征在于：步骤s5中，压缩数据处理的具体步骤如下：s51、将接收到的数据使用huffman编码进行解压，得到解压后的数据，将接收到的数据还原成原始数据；s52、将解压后的数据进行检查，是否有数据缺失以及丢失的情况，若出现数据的缺失，则按数据在分布式文件系统hbase的备份中匹配所丢失的数据信息进行补发，恢复数据的完整性。

技术总结
本发明公开了一种基于能源管理平台的数据传输系统，包括数据采集模块、数据预处理模块、数据压缩模块、数据传输模块、数据接收模块及数据提交模块。本发明还提供了一种基于能源管理平台额数据传输方法，包括以下步骤：S1、通过Flume采集框架与Kafka消息队列相结合对能源数据进行实时能源的采集；S2、数据预处理模块将数据采集模块中所采集到的大量数据进行预处理；S3、数据压缩模块将数据进行压缩，提高数据传输效率与频带利用率，节省存储空间，使用Huffman编码对数据进行无损压缩，利用数据的统计冗余进行压缩。本发明采用上述的一种基于能源管理平台的数据传输系统及方法，能够快速对数据进行预处理，对数据的信息进行快速的分类与压缩。分类与压缩。分类与压缩。


技术研发人员：李启龙 马越 黄晶晶 褚治广 范颖晨 冮明颖
受保护的技术使用者：启升（辽宁）工业集团有限公司
技术研发日：2023.05.22
技术公布日：2023/10/11