基于云边协同的电力物联数据的处理方法及系统与流程

1.本发明涉及电力物联网技术领域，尤其涉及一种基于云边协同的电力物联数据的处理方法及系统。


背景技术：

2.随着智慧物联建设的不断推进，物联终端接入的数量不断增加。
3.目前大部分物联终端均采用无线公网的接入点名称(access point name，apn)专线通道经安全网关认证后接入内网管理信息大区，其主要采用json格式。该格式简单、易用、自描述能力强，便于异构系统间数据交互。
4.目前在规模化应用中经常需要高频传输海量的实时数据，如果对这类数据没有实现有效压缩，可能导致存在云边信息传输效率低、带宽资源浪费严重以及流量费用较高等问题。


技术实现要素：

5.本发明提供了一种基于云边协同的电力物联数据的处理方法及系统，以解决现有技术中存在的上述问题，通过云边协同的压缩和解压处理，在保障业务交互简单易用的前提下，有效提升数据传输效率，减少带宽资源浪费，降低生产成本。
6.根据本发明的一方面，提供了一种基于云边协同的电力数据的处理方法，包括：
7.通过云端处理层，采用标准物模型形成压缩字典，并将所述压缩字典同步至边端处理层；
8.通过边端处理层，根据所述压缩字典对获取到的设备数据进行压缩处理得到压缩数据，将所述压缩数据发送到所述云端处理层；
9.通过云端处理层，对所述压缩数据进行解压处理得到解压数据。
10.进一步的，所述云端处理层，包括：压缩字典生成模块和字典同步模块；通过云端处理层，采用标准物模型形成压缩字典，并将所述压缩字典同步至边端处理层，包括：
11.通过所述压缩字典生成模块，基于所述标准物模型提取到的云边交互数据生成压缩字典；
12.通过所述字典同步模块，将所述压缩字典同步至边端处理层。
13.进一步的，所述压缩字典生成模块包括：数据提取单元和字典生成单元；通过所述压缩字典生成模块，基于所述标准物模型提取到的云边交互数据生成压缩字典，包括：
14.通过所述数据提取单元，基于所述标准物模型提取电力物联网的云边交互数据的关键字段；
15.通过所述字典生成单元，根据所述云边交互数据的关键字段和标准字典文件形成压缩字典。
16.进一步的，所述方法还包括：通过所述云端处理层的物模型管理模块，对所述标准物模型进行管理。
17.进一步的，所述方法还包括：
18.通过所述云端处理层的数据共享模块，将所述解压数据共享至各业务系统。
19.进一步的，所述边端处理层，包括：数据集中模块和对外交互模块；通过边端处理层，根据所述压缩字典对获取到的设备数据进行压缩处理得到压缩数据，将所述压缩数据发送到所述云端处理层，包括：
20.通过所述对外交互模块，从设备管理平台获取电力物联网的设备数据；
21.通过所述数据集中模块，根据所述压缩字典对所述设备数据进行压缩处理得到压缩数据；
22.通过所述对外交互模块将所述压缩数据发送到所述云端处理层。
23.进一步的，所述数据集中模块包括：协议解析单元、字典同步单元和数据压缩单元数据压缩单元；通过所述数据集中模块，根据所述压缩字典对所述设备数据进行压缩处理得到压缩数据，包括：
24.通过所述协议解析单元，对所述电力物联网的设备数据进行协议解析得到解析数据；
25.通过所述字典同步单元，接收所述云端处理层发送的压缩字典；
26.通过所述数据压缩单元数据压缩单元，根据所述压缩字典对所述解析数据进行压缩处理得到压缩数据。
27.根据本发明的另一方面，提供了一种基于云边协同的电力数据的处理系统，其特征在于，包括：云端处理层和边端处理层；
28.所述云端处理层，用于采用标准物模型形成压缩字典，并将所述压缩字典同步至边端处理层；
29.所述边端处理层，用于根据所述压缩字典对获取到的设备数据进行压缩处理得到压缩数据，将所述压缩数据发送到所述云端处理层；
30.所述云端处理层，还用于对所述压缩数据进行解压处理得到解压数据。
31.进一步的，所述云端处理层和所述边端处理层之间采用消息队列遥测传输协议进行数据传输。
32.进一步的，所述云端处理层，包括：压缩字典生成模块和字典同步模块；
33.所述压缩字典生成模块，用于基于所述标准物模型提取到的云边交互数据生成压缩字典；
34.所述字典同步模块，用于将所述压缩字典同步至边端处理层。
35.本发明实施例提供一种基于云边协同的电力数据的处理方法和系统，该方法包括：通过云端处理层，采用标准物模型形成压缩字典，并将压缩字典同步至边端处理层；通过边端处理层，根据压缩字典对获取到的设备数据进行压缩处理得到压缩数据，将压缩数据发送到云端处理层；通过云端处理层，对压缩数据进行解压处理得到解压数据。通过云边协同，实现将边端产生的设备数据压缩处理后上传到云端，并在云端进行解析还原，在保障业务交互简单易用的前提下，有效提升了数据传输效率，减少了带宽资源浪费，降低了生产成本。
36.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
37.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1是本发明实施例一提供的一种基于云边协同的电力数据的处理方法的流程图；
39.图2是本发明实施例二提供的一种基于云边协同的电力数据的处理系统的结构示意图；
40.图3是本发明实施例二提供的一种基于云边协同的电力数据的处理方法的流程图；
41.图4是本发明实施例二提供的一种基于云边协同的电力数据的处理系统的结构示意图；
42.图5是本发明实施例二提供的一种基于云边协同的电力数据的处理系统中的云端处理层中压缩字典生成模块的结构示意图；
43.图6是本发明实施例二提供的一种基于云边协同的电力数据的处理系统中的边端处理层中数据集中模块的结构示意图。
具体实施方式
44.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
45.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
46.实施例一
47.图1为本发明实施例一提供了一种基于云边协同的电力数据的处理方法的流程图，本实施例可适用于基于云边协同，对电力数据进行压缩传输和解压的情况，该方法可以由基于云边协同的电力数据的处理系统来执行，该处理系统可以采用硬件和/或软件的形式实现。图2为本发明实施例提供的一种基于云边协同的电力数据的处理系统的结构示意图。如图1和图2所示，云边协同的电力数据的处理系统包括：云端处理层10和边端处理层20；该方法包括：
48.s110、通过云端处理层10，采用标准物模型形成压缩字典，并将压缩字典同步至边端处理层20。
49.其中，云端处理层10是指设置在云端的数据处理层，云端可以包括若干数量的云端服务器。边端处理层20是指设置在边端的数据处理层，边端可以包括若干数量的边缘设
备。压缩字典可以理解为在对设备数据压缩处理时可供参考的字典文件。
50.标准物模型是由不同品牌不同品类的产品功能抽象归纳得到的物模型所构成，便于各方用统一的语言描述、控制、理解产品功能。物模型是产品数字化的描述，定义了产品的功能。物模型可以由若干条“参数”组成，参数按描述的功能类型不同，又分为属性、方法和事件。不同的平台可能有各自的物模型规范，各平台之间在抽象归纳的层级上有所差异，但实际使用时差别不大，都能实现统一物模型的目的，本发明实施例对标准物模型的模型参数和模型的生成方法不作限定。
51.具体的，在云端处理层10中，获取预先形成的标准物模型，根据标准无模型所包含的参数生成压缩字典，通过云端处理层10和边端处理层20之间的通信协议将压缩字典发送到边端处理层20，以使边端处理层20可以根据压缩字典对设备数据进行压缩处理。
52.s120、通过边端处理层20，根据压缩字典对获取到的设备数据进行压缩处理得到压缩数据，将压缩数据发送到云端处理层10。
53.其中，设备数据是采集得到的电力物联网中的终端设备的数据。本发明实施例对设备数据的类型不作限定。不同设备管理平台所采集的设备数据的类型可能不同，因此，还可以对获取的设备数据进行解析和数据格式转换为统一的数据格式，便于规范化的压缩处理。
54.具体的，设备管理平台41用于采集所管理的设备42的设备数据。在边端处理层20中获取设备管理平台41采集的设备数据，根据云端处理层10下发的压缩字典对设备数据进行压缩处理得到压缩数据，通过云端处理层10和边端处理层20之间的通信协议将压缩字典发送到边端处理层20。向边端处理层20传输压缩数据，相对传输未压缩的设备数据，有效提升了数据传输效率，减少了带宽资源浪费，降低了生产成本，尤其针对高频传输海量实时数据的应用场景，具有更好的效果。
55.s130、通过云端处理层10，对压缩数据进行解压处理得到解压数据。
56.具体的，在云端处理层10中，接收到边端处理层20发送的压缩数据后，对压缩数据进行解压处理得到解压数据，从而使云端处理层10能够识别和处理解压还原后的设备数据，保障业务交互。
57.本发明实施例的技术方案，通过云端处理层，采用标准物模型形成压缩字典，并将压缩字典同步至边端处理层；通过边端处理层，根据压缩字典对获取到的设备数据进行压缩处理得到压缩数据，将压缩数据发送到云端处理层；通过云端处理层，对压缩数据进行解压处理得到解压数据。通过云边协同，实现将边端产生的设备数据压缩处理后上传到云端，并在云端进行解析还原，在保障业务交互简单易用的前提下，有效提升了数据传输效率，减少了带宽资源浪费，降低了生产成本。
58.实施例二
59.图3为本发明实施例二提供的一种基于云边协同的电力数据的处理方法的流程图，本实施例对上述实施例进一步细化。图4为本发明实施例二提供的一种基于云边协同的电力数据的处理系统的结构示意图。
60.如图3和图4所示，该方法包括：
61.s210、通过云端处理层10的压缩字典生成模块11，基于标准物模型提取到的云边交互数据生成压缩字典。
62.具体的，在云端处理层10中，通过压缩字典生成模块11，基于标准物提取电力物联网的云边交互数据，根据云边交互数据生成压缩字典。
63.图5是本发明实施例二提供的一种基于云边协同的电力数据的处理系统中的云端处理层中压缩字典生成模块的结构示意图。在一个可选的实施例中，如图5所示，所述压缩字典生成模块11包括：数据提取单元111和字典生成单元112；步骤s210、通过所述压缩字典生成模块11，基于所述标准物模型提取到的云边交互数据生成压缩字典，包括：
64.s211、通过所述数据提取单元111，基于所述标准物模型提取电力物联网的云边交互数据的关键字段。
65.示例性的，电力物联网的云边交互数据一般以json格式描述，包括数据项的字段名和数据类型等。例如，某温度传感器，设备id为20210808，物模型中定义了“温度”和“采集时间”两个数据项，以及设备id和消息id两个基本属性项，其中设备id的字段名为“devid”，数据类型为字符串；消息id的字段名为“mid”，数据类型为整型数字；“温度”的字段名为”temp”，数据类型为浮点类型；“采集时间”的字段名为“time”，数据类型为long型，具体格式如下：
66.{
67."devid":"20210808",
68."mid":20008006,
69."temp":26.7,
70."time":1617846605
71.}
72.通过云端处理层10的压缩字典生成模块11中的数据提取单元111，基于标准物模型提取到的关键字段为设备id、消息id、温度和采集时间。
73.s212、通过所述字典生成单元112，根据所述云边交互数据的关键字段和标准字典文件形成压缩字典。
74.其中，标准字典文件可以包含字段编码规则和数据类型对应的存储方式等预设压缩规则的文件。
75.具体的，通过云端处理层10的压缩字典生成模块11中的字典生成单元112，根据标准字典文件中所规范的字段编码规则和数据类型对应的存储方式，确定提取到的关键字段对应的压缩规则得到压缩字典。
76.可选的，所述方法还包括：通过所述云端处理层10的模型管理模块，对所述标准物模型进行管理。
77.具体得，在云端处理层10中设置有模型管理模块，用于对标准物模型进行管理，管理的内容可以包括删除、增加、修改和更新等，通过对标准物模型进行管理，实现对压缩字典的自适应更新。
78.s220、通过云端处理层10的字典同步模块12，将压缩字典同步至边端处理层20。
79.其中，字典同步模块12是用于对压缩字典进行同步的模块，在字典同步模块12可以设置有云端处理层10和边端处理层20之间实时传输压缩字典的协议，例如可以采用消息队列遥测传输协议(message queuing telemetry transport，mqtt)。
80.具体的，采用云端处理层10的字典同步模块12预置的传输协议，将压缩字典同步
至边端处理层20，以实现压缩字典的实时同步，保证压缩字典的一致性。
81.s230、通过边端处理层20的对外交互模块21，从设备管理平台41获取电力物联网的设备数据。
82.其中，对外交互模块21是指负责边端处理层20与外部系统之间的交互的模块，外部系统可以包括：云端处理层10和设备管理平台41。
83.示例性的，部署在边端设置上的设备管理平台41，实现获取电力物联网中的终端设备采集的设备数据，设备数据可以包括电压、电流、有功等电气量数据以及温度、湿度和六氟化硫sf6气体含量等非电气量数据。
84.s240、通过边端处理层20的数据集中模块22，根据压缩字典对设备数据进行压缩处理得到压缩数据。
85.图6是本发明实施例二提供的一种基于云边协同的电力数据的处理系统中的边端处理层中数据集中模块的结构示意图。在一个可选的实施例中，如图6所示，所述数据集中模块22包括：协议解析单元221、字典同步单元222和数据压缩单元223；步骤s240、通过所述数据集中模块22，根据所述压缩字典对所述设备数据进行压缩处理得到压缩数据，包括：
86.s241、通过所述协议解析单元221，对所述电力物联网的设备数据进行协议解析得到解析数据。
87.可选的，所述解析数据的数据传输格式为消息队列遥测传输协议。
88.示例性的，通过协议解析单元221，将采集的原始数据进行协议转换，转换成mqtt协议标准化的json数据格式，便于传输至边端处理层20。
89.s242、通过所述字典同步单元222，接收所述云端处理层10发送的压缩字典。
90.具体的，在边端处理层20的数据集中模块22中设置有字典同步单元222，和云端处理层10中的字典同步模块12建立通信。通过字典同步单元222接收云端处理层10的字典同步模块12发送的压缩字典，实现压缩字典的同步。
91.s243、通过所述数据压缩单元223，根据所述压缩字典对所述解析数据进行压缩处理得到压缩数据。
92.示例性的，通过数据压缩单元223，对json对象的关键字段keyword与字段值value进行分离，关键字段keyword根据压缩字典进行压缩，字段值value保留不处理。
93.s250、通过边端处理层20的对外交互模块21，将压缩数据发送到云端处理层10。
94.具体的，在完成对设备数据的压缩得到压缩数据后，可以通过边端处理层20的对外交互模块21，将压缩数据发送到云端处理层10，以使云端处理层10接收到压缩后的设备数据。
95.s260、通过云端处理层10的解压模块15对压缩数据进行解压处理得到解压数据。
96.具体的，在云端处理层10中还设置有解压模块15。云端处理层10在接收到边端处理层20发送的压缩数据后，通过解压模块15对压缩数据进行解压处理得到解压数据，从而使云端处理层10能够识别和处理解压还原后的设备数据，保障业务交互。
97.s270、通过云端处理层10的数据共享模块14，将解压数据共享至各业务系统13。
98.具体的，云端处理层10中还包括数据共享模块14，通过数据共享模块14根据各业务系统13的数据需求，将解压数据共享至各业务系统13，实现全环节业务系统13无感知实现数据共享。该方式既保障了系统交互过程中采用json格式的简单、灵活性，又提升了数据
传输效率，大幅降低网络传输成本。
99.本发明实施例的技术方案，通过云端处理层的压缩字典生成模块压缩字典生成模块11，基于标准物模型提取到的云边交互数据生成压缩字典；通过云端处理层的字典同步模块字典同步模块12，将压缩字典同步至边端处理层；通过边端处理层的对外交互模块，从设备管理平台获取电力物联网的设备数据；通过边端处理层的数据集中模块，根据压缩字典对设备数据进行压缩处理得到压缩数据；通过边端处理层的对外交互模块，将压缩数据发送到云端处理层；通过云端处理层的解压模块对压缩数据进行解压处理得到解压数据。通过云边协同，实现将边端产生的设备数据压缩处理后上传到云端，并在云端进行解析还原，在保障业务交互简单易用的前提下，有效提升了数据传输效率，减少了带宽资源浪费，降低了生产成本。
100.实施例三
101.图2为本发明提供的一种基于云边协同的电力数据的处理系统的结构示意图。如图2所示，该系统包括：云端处理层10和边端处理层20；
102.所述云端处理层10，用于采用标准物模型形成压缩字典，并将所述压缩字典同步至边端处理层；
103.所述边端处理层20，用于根据所述压缩字典对获取到的设备数据进行压缩处理得到压缩数据，将所述压缩数据发送到所述云端处理层；
104.所述云端处理层10，还用于对所述压缩数据进行解压处理得到解压数据。
105.可选的，所述云端处理层10，包括：压缩字典生成模块11和字典同步模块12；
106.所述压缩字典生成模块11，用于基于所述标准物模型提取到的云边交互数据生成压缩字典；
107.所述字典同步模块12，用于将所述压缩字典同步至边端处理层20。
108.可选的，所述压缩字典生成模块11包括：数据提取单元111和字典生成单元112；
109.所述数据提取单元111，用于基于所述标准物模型提取电力物联网的云边交互数据的关键字段；
110.所述字典生成单元112，用于根据所述云边交互数据的关键字段和标准字典文件形成压缩字典。
111.可选的，所述云端处理层10，还包括：物模型管理模块13，用于对所述标准物模型进行管理。
112.可选的，所述云端处理层10包括：数据共享模块14，用于将所述解压数据共享至各业务系统13。
113.可选的，所述边端处理层20，包括：对外交互模块21和数据集中模块22；
114.所述对外交互模块21，用于从设备管理平台41获取电力物联网的设备数据；
115.所述数据集中模块22，用于根据所述压缩字典对所述设备数据进行压缩处理得到压缩数据；
116.所述对外交互模块21，还用于将所述压缩数据发送到所述云端处理层10。
117.可选的，所述数据集中模块22包括：协议解析单元221、字典同步单元222和数据压缩单元223；
118.所述协议解析单元221，用于对所述电力物联网的设备数据进行协议解析得到解
析数据；
119.所述字典同步单元222，用于接收所述云端处理层10发送的压缩字典；
120.所述数据压缩单元223，用于根据所述压缩字典对所述解析数据进行压缩处理得到压缩数据。
121.可选的，所述云端处理层10和所述边端处理层20之间采用消息队列遥测传输协议进行数据传输。
122.本发明实施例所提供的基于云边协同的电力数据的处理系统可执行本发明任意实施例所提供的基于云边协同的电力数据的处理方法，具备执行方法相应的功能模块和有益效果。
123.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
124.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：
1.一种基于云边协同的电力数据的处理方法，其特征在于，包括：通过云端处理层，采用标准物模型形成压缩字典，并将所述压缩字典同步至边端处理层；通过边端处理层，根据所述压缩字典对获取到的设备数据进行压缩处理得到压缩数据，将所述压缩数据发送到所述云端处理层；通过云端处理层，对所述压缩数据进行解压处理得到解压数据。2.根据权利要求1所述的方法，其特征在于，所述云端处理层，包括：压缩字典生成模块和字典同步模块；通过云端处理层，采用标准物模型形成压缩字典，并将所述压缩字典同步至边端处理层，包括：通过所述压缩字典生成模块，基于所述标准物模型提取到的云边交互数据生成压缩字典；通过所述字典同步模块，将所述压缩字典同步至边端处理层。3.根据权利要求2所述的方法，其特征在于，所述压缩字典生成模块包括：数据提取单元和字典生成单元；通过所述压缩字典生成模块，基于所述标准物模型提取到的云边交互数据生成压缩字典，包括：通过所述数据提取单元，基于所述标准物模型提取电力物联网的云边交互数据的关键字段；通过所述字典生成单元，根据所述云边交互数据的关键字段和标准字典文件形成压缩字典。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过所述云端处理层的物模型管理模块，对所述标准物模型进行管理。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过所述云端处理层的数据共享模块，将所述解压数据共享至各业务系统。6.根据权利要求1所述的方法，其特征在于，所述边端处理层，包括：数据集中模块和对外交互模块；通过边端处理层，根据所述压缩字典对获取到的设备数据进行压缩处理得到压缩数据，将所述压缩数据发送到所述云端处理层，包括：通过所述对外交互模块，从设备管理平台获取电力物联网的设备数据；通过所述数据集中模块，根据所述压缩字典对所述设备数据进行压缩处理得到压缩数据；通过所述对外交互模块将所述压缩数据发送到所述云端处理层。7.根据权利要求6所述的方法，其特征在于，所述数据集中模块包括：协议解析单元、字典同步单元和数据压缩单元；通过所述数据集中模块，根据所述压缩字典对所述设备数据进行压缩处理得到压缩数据，包括：通过所述协议解析单元，对所述电力物联网的设备数据进行协议解析得到解析数据；通过所述字典同步单元，接收所述云端处理层发送的压缩字典；通过所述数据压缩单元，根据所述压缩字典对所述解析数据进行压缩处理得到压缩数据。8.一种基于云边协同的电力数据的处理系统，其特征在于，包括：云端处理层和边端处理层；
所述云端处理层，用于采用标准物模型形成压缩字典，并将所述压缩字典同步至边端处理层；所述边端处理层，用于根据所述压缩字典对获取到的设备数据进行压缩处理得到压缩数据，将所述压缩数据发送到所述云端处理层；所述云端处理层，还用于对所述压缩数据进行解压处理得到解压数据。9.根据权利要求8所述的系统，其特征在于，所述云端处理层和所述边端处理层之间采用消息队列遥测传输协议进行数据传输。10.根据权利要求9所述的系统，其特征在于，所述云端处理层，包括：压缩字典生成模块和字典同步模块；所述压缩字典生成模块，用于基于所述标准物模型提取到的云边交互数据生成压缩字典；所述字典同步模块，用于将所述压缩字典同步至边端处理层。

技术总结
本发明公开了一种基于云边协同的电力数据的处理方法和系统，该方法包括：通过云端处理层，采用标准物模型形成压缩字典，并将所述压缩字典同步至边端处理层；通过边端处理层，根据所述压缩字典对获取到的设备数据进行压缩处理得到压缩数据，将所述压缩数据发送到所述云端处理层；通过云端处理层，对所述压缩数据进行解压处理得到解压数据。通过云边协同的压缩和解压处理，在保障业务交互简单易用的前提下有效提升了数据传输效率，减少了带宽资源浪费，降低了生产成本。降低了生产成本。降低了生产成本。


技术研发人员：李世豪 缪巍巍 曾锃 侯继鑫 周成 夏元轶 商林江 邱文元 刘庆
受保护的技术使用者：国电南瑞南京控制系统有限公司
技术研发日：2023.04.21
技术公布日：2023/7/21