一种基于模拟量数据转换的低成本物联网系统的制作方法

1.本发明涉及物联网数据采集领域，尤其涉及一种基于模拟量数据转换的低成本物联网系统。


背景技术：

2.工业企业中，许多企业都需要数据采集进行生产监控等，比如钢铁行业的烟气处理，都会将烟气治理过程的数据采集显示在组态上。但是组态展示数据存只可以看到最新的数据，没有办法查看历史数据以及数据分析使用，因此就需要引入物联网平台。物联网平台集成了数据接入、数据存储、设备管理等能力。市面上已有的物联网平台存在以下问题：1、数据采集都是基于设备建模的，引入物联网平台的前提条件是已经有设备建模，但是例如钢铁行业的数字化能力相对落后，要么还没设备建模，要么设备建模还在频繁改动，一时间很难达到设备已建模的前提；2、在数据出现异常后，无法快速高效判断出是应该数采部门、数据治理部门还是数据使用部门跟踪解决这个问题；3、如果客户预算有限，仅仅想要组态大屏展示和历史数据查看功能，无法轻量级、低成本部署实现；4、无法快速、低成本的实现与客户已有软件系统的打通；5、现有的物联网平台主要针对云场景使用，私有化部署成本高。


技术实现要素：

3.本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于模拟量数据转换的低成本物联网系统。
5.与现有技术相比，本发明的有益效果为：1、将数据采集和数据建模(设备建模)分离，将建模环节从iothub(物联网平台)中剥离，交由数据应用环节(客户系统)建模，这样数据模型的调整更新、多模型共存等情况都不需要改动iothub；2、在统一数据环节通过查询原始数据库更新相关数据最新采集时间和数值，这样数采人员可以通过查看该数据快速判定数据是否已经接入到平台；3、iothub包含了对数据基础操作的api，这些api可以满足数据轻度使用要求，无需再次开发，从而低成本地快速响应客户需求；4、iothub有独立的鉴权、认证系统，在需要与企业已有系统打通时，只需要进行配置即可，不需要再次开发；5、iothub不会调用其他服务，不需要部署其他捆绑平台，没有复杂的建模功能，因此它的私有化部署成本低；6、可靠性方面，在统一数据格式后存入消息队列服务器，保证了数据的可靠性；并且消息队列后续的服务、数据库等更新迭代、宕机都不会造成数据的丢失；
7、由原始数据库、队列数据库和最终数据库将各类数据分级存储，当出现数据异常时便于查询异常所处的位置，快速定位异常并处理；8、将原始数据和清洗后的数据分开存储，原始数据可以为清洗算法不合理兜底。
附图说明
图1为本发明的一种基于模拟量数据转换的低成本物联网系统的工作流程图。
具体实施方式
6.为使对本发明的目的、构造、特征、及其功能有进一步的了解，兹配合实施例详细说明如下。
7.本发明一实施例的一种基于模拟量数据转换的低成本物联网系统，包括以下步骤：s1，数据采集人员通过从dcs、故障检测一体机采集得到数采数据，生成数采数据表格，统一传到网关；原始数据包括电流、电压、振动、烟气含氧量、含硫化物、氮氧化物等；s2，数据经过网闸发送到mqtt服务器；s3,在iothub(物联网平台)将数采数据表格维护进去；如名称、编码、对应网关、项目名称、数据类型等；原始数据的维护方式包括但不限于excel表格的导入；s4，mqtt服务器接收网关上传的数采数据，统一数据格式后得到原始数据；s5，将原始数据传入mq服务器，得到队列数据；s6，将队列数据传至数据清洗服务器进行数据清洗，得到最终数据；s7，最终数据传入mq服务器中通过安全认证后，传至应用服务器；s8，应用服务器通过api调用将最终数据传至app、web等客户界面并显示；s4-1，将原始数据存入原始数据库中，并将原始数据库与api服务器互联；s5-1，队列数据经过数据存储服务器后存入队列数据库，并通过api服务将队列数据暴露到外部应用；s6-1，最终数据经过数据存储服务器后存入最终数据库，并通过api服务将最终数据暴露到外部应用；s9，应用服务器通过api调用并通过安全认证后通过api服务访问各数据库的内容。
8.iothub为一个独立的平台，不会调用其他服务，也不需要部署其他捆绑平台，没有复杂的建模功能，可以直接和客户的系统连通，无需再次开发，因此降低了企业的私有化部署成本。
9.优选地，数据异常时的判断及处理流程如下：步骤1：工作人员首先查询原始数据库；步骤1-1：若原始数据库内数据有误，则判断数采环节出错，立即联系数采部门跟踪解决该异常；步骤1-2：若原始数据库内的数据无误，则判断数采环节工作正常，执行步骤2；
步骤2：工作人员查询队列数据库；步骤2-1：若队列数据库内数据有误，则判断数据队列环节出错，立即联系数据治理部门跟踪解决该异常；步骤2-2：若队列数据库内数据无误，则判断数据队列环节正常，执行步骤3；步骤3：工作人员查询最终数据库；步骤3-1：若最终数据库内数据有误，则判断数据清洗环节出错，立即联系数据治理部门跟踪解决该异常；步骤3-2：若最终数据库内数据无误，则判断数据应用环节出错，联系客户协同排查客户应用系统。
10.以上步骤可以快速定位数据异常的位置，并联系该位置相关部门处理异常，提高处理异常数据的速度、解决问题的效率。
11.优选地，步骤s5中的mq服务器和步骤s7中的mq服务器作用不同：前者为用于暂存数据，由于数据采集过程是持续不断的，当数据存储服务器或队列数据库需要检修维护、更新迭代、宕机时，mq服务器也可暂存采集来的数据，不会造成数据的丢失；后者用于将数据汇总，并可以最低延迟地被外部应用感知。
12.优选地，步骤s7中的mq服务器在通过安全认证后，通过jms(java消息服务应用程序接口)与应用服务器相连，实现客户对物联网平台的数据订阅。
13.优选地，数据清洗服务器可以配置数据的清洗规则，包括以下子步骤：优选地，api服务可以设置报警规则，消息的推送方式等，可以快速地将异常数据反馈给应用服务器，并显示在app、web等上发出报警信息。
14.优选地，所述数据清洗的方式包括卡尔曼滤波、时间序列以及正则算法；所述卡尔曼滤波是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法；所述时间序列是按照时间排序的一组随机变量，它通常是在相等间隔的时间段内依照给定的采样率对某种潜在过程进行观测的结果；所述正则算法通常被用来检索、替换那些符合某个模式的文本；优选地，api服务和s7中的mq服务器均通过外部应用将消息推送给客户端，包括短信、钉钉、服务器等。
15.以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。


技术特征：
1.一种基于模拟量数据转换的低成本物联网系统，其特征在于：包括以下步骤：s1，数据采集人员通过从dcs、故障检测一体机采集得到数采数据，生成数采数据表格，统一传到网关；原始数据包括电流、电压、振动、烟气含氧量、含硫化物、氮氧化物等；s2，数据经过网闸发送到mqtt服务器；s3,在iothub（物联网平台）将数采数据表格维护进去；如名称、编码、对应网关、项目名称、数据类型等；原始数据的维护方式包括但不限于excel表格的导入；s4，mqtt服务器接收网关上传的数采数据，统一数据格式后得到原始数据；s5，将原始数据传入mq服务器，得到队列数据；s6，将队列数据传至数据清洗服务器进行数据清洗，得到最终数据；s7，最终数据传入mq服务器中通过安全认证后，传至应用服务器。2.如权利要求1所述的基于模拟量数据转换的低成本物联网系统，其特征在于：步骤s4还包括子步骤s4-1：将原始数据存入原始数据库中，并将原始数据库与api服务器互联。3.如权利要求2所述的基于模拟量数据转换的低成本物联网系统，其特征在于：步骤s5还包括子步骤s5-1：队列数据经过数据存储服务器后存入队列数据库，并通过api服务将队列数据暴露到外部应用。4.如权利要求3所述的基于模拟量数据转换的低成本物联网系统，其特征在于：步骤s5还包括子步骤s5-1：最终数据经过数据存储服务器后存入最终数据库，并通过api服务将最终数据暴露到外部应用。5.如权利要求2所述的基于模拟量数据转换的低成本物联网系统，其特征在于：还包括对异常数据的判断方法，包括：步骤1：工作人员首先查询原始数据库；步骤1-1：若原始数据库内数据有误，则判断数采环节出错，立即联系数采部门跟踪解决该异常；步骤1-2：若原始数据库内的数据无误，则判断数采环节工作正常，执行步骤2；步骤2：工作人员查询队列数据库；步骤2-1：若队列数据库内数据有误，则判断数据队列环节出错，立即联系数据治理部门跟踪解决该异常；步骤2-2：若队列数据库内数据无误，则判断数据队列环节正常，执行步骤3；步骤3：工作人员查询最终数据库；步骤3-1：若最终数据库内数据有误，则判断数据清洗环节出错，立即联系数据治理部门跟踪解决该异常；步骤3-2：若最终数据库内数据无误，则判断数据应用环节出错，联系客户协同排查客户应用系统。6.如权利要求1所述的基于模拟量数据转换的低成本物联网系统，其特征在于：步骤s7中的mq服务器在通过安全认证后，通过jms（java消息服务应用程序接口）与应用服务器相连，实现客户对物联网平台的数据订阅。7.如权利要求1所述的基于模拟量数据转换的低成本物联网系统，其特征在于还包括：
s8，应用服务器通过api调用将最终数据传至app、web等客户界面并显示；s9，应用服务器通过api调用并通过安全认证后通过api服务访问各数据库的内容。

技术总结
一种基于模拟量数据转换的低成本物联网系统，包括以下步骤：S1，数据采集人员通过从DCS、PLC、CEMS数采仪、故障检测一体机采集得到数采数据，生成数采数据表格，统一传到网关；S2，数据经过网闸发送到MQTT服务器；S3,在IOTHUB（物联网平台）将数采数据表格维护进去；S4，MQTT服务器接收网关上传的数采数据，统一数据格式后得到原始数据；S5，将原始数据传入MQ服务器，得到队列数据；S6，将队列数据传至数据清洗服务器进行数据清洗，得到最终数据；S7，最终数据传入MQ服务器中通过安全认证后，传至应用服务器。应用服务器。


技术研发人员：刘怀平 陈祥 陈效良 辅小红
受保护的技术使用者：江苏昆仑互联科技有限公司
技术研发日：2022.12.26
技术公布日：2023/8/23