物联网数据监控方法、装置、电子设备及可读存储介质与流程
未命名
10-18
阅读:127
评论:0
1.本技术涉及物联网技术领域,特别是涉及一种物联网数据监控方法、装置、电子设备及计算机可读存储介质。
背景技术:
2.随着业务发展,物联网平台支持业务规模越来越大,连接的物联网设备越来越多,数据上报指数级增长,物联网平台需要处理的数据量也越来越大,由于物联网数据涉及业务分析、客户体验、生产决策,需要具备有效的监控和保护机制,及时响应解决问题能力,以预防设备无法连接平台、数据丢失、解析存储异常、无法提供服务等风险;这就对物联网平台的性能和稳定性提出了更高的要求。而现有的物联网平台监控方法只单独针对网关、实时解析平台、数据存储的服务器指标或者数据消息队列是否积压进行监控,出现问题无法及时发现,问题响应时间长,严重甚至到业务需要使用数据时候才发现部分数据丢失,对生产造成不可估量的损失。
3.而现有技术中,通过蓝鲸运维平台、普罗米修斯等开源监控运维平台,监控物联网链路中的网络质量、tcp连接数、kafka是否积压、服务器cpu、内存,磁盘等指标。但是,监控数据的采集和分析依赖于人工或第三方工具,效率低下,时效性差,同时,在出现数据异常时,经常需要排查所有链路环节来推断问题,大大增加了运维难度和解决问题时间,无法实现全链路实时监控。
技术实现要素:
4.本技术的目的在于提供一种物联网数据监控方法、装置、电子设备及计算机可读存储介质,通过对不同维度的数据进行采集实现全链路实时监控,能够及时发现问题,并推送给开发和运维人员,提高了数据监控效率,有助于降低运维难度,缩短问题解决所需时间。
5.为达到上述目的:
6.第一方面,本技术实施例提供了一种物联网数据监控方法,所述方法包括以下步骤:
7.响应于物联网中的终端发出信息流,采集所述物联网中各目标节点对所述信息流进行处理时产生的数据处理信息,所述目标节点为所述信息流需要遍历的节点;
8.根据各所述目标节点对所述信息流进行处理的时间顺序,将各所述目标节点产生的所述数据处理信息存入时序数据库;
9.通过第三方平台对所述时序数据库中存储的数据进行监控。
10.可选的,所述数据处理信息包括以下至少一种:对所述信息流进行监控预处理后产生的网关指标数据、对所述信息流中业务数据进行处理时的解析处理状况信息、对所述业务数据进行存储后的物联网磁盘对应的占用状况信息。
11.可选的,所述目标节点包括网关;所述采集所述物联网中各目标节点对所述信息
流进行处理时产生的数据处理信息,包括:
12.将物联网的所述网关和所述终端建立连接,以使所述网关获取来自所述终端的信息流,并对所述信息流中的网关指标数据根据统计维度进行分类处理;
13.采集所述网关处理后的网关指标数据。
14.可选的,所述目标节点包括实时解析引擎;所述采集所述物联网中各目标节点对所述信息流进行处理时产生的数据处理信息,包括:
15.获取所述信息流中的业务数据;
16.通过实时解析引擎对所述业务数据进行解析,并采集所述实时解析引擎对所述业务数据进行解析时的解析处理状况信息。
17.可选的,所述目标节点包括物联网磁盘;所述采集所述物联网中各目标节点对所述信息流进行处理时产生的数据处理信息,包括:
18.对解析后的业务数据进行流式处理,以将所述业务数据按照具体的数据类型在物联网磁盘中进行存储;
19.采集所述物联网磁盘存储所述业务数据后对应的占用状况信息。
20.可选的,所述通过第三方平台对所述时序数据库中存储的数据进行监控之前,还包括:
21.通过设置的模拟终端向网关发出信息流;
22.在所述物联网中对所述信息流进行查询,并计算所述查询的间隔时间;
23.根据所述间隔时间计算数据传输链路的数据延时,并根据所述数据延时设置数据监控的报警阈值,以使所述第三方平台基于报警阈值进行监控。
24.第二方面,本技术实施例提供了一种物联网数据监控装置,所述装置包括:
25.数据采集模块,用于响应于物联网中的终端发出信息流,采集所述物联网中各目标节点对所述信息流进行处理时产生的数据处理信息,所述目标节点为所述信息流需要遍历的节点;
26.存储模块,用于根据各所述目标节点对所述信息流进行处理的时间顺序,将各所述目标节点产生的所述数据处理信息存入时序数据库;
27.监控模块,用于通过第三方平台对所述时序数据库中存储的数据进行监控。
28.可选的,所述数据处理信息包括以下至少一种:对所述信息流进行监控预处理后产生的网关指标数据、对所述信息流中业务数据进行处理时的解析处理状况信息、对所述业务数据进行存储后的物联网磁盘对应的占用状况信息。
29.可选的,所述采集模块,具体用于:
30.将物联网的所述网关和所述终端建立连接,以使所述网关获取来自所述终端的信息流,并对所述信息流中的网关指标数据根据统计维度进行分类处理;
31.采集所述网关处理后的网关指标数据。
32.可选的,所述采集模块,具体用于:
33.获取所述信息流中的业务数据;
34.通过实时解析引擎对所述业务数据进行解析,并采集所述实时解析引擎对所述业务数据进行解析时的解析处理状况信息。
35.可选的,所述采集模块,具体用于:
36.对解析后的业务数据进行流式处理,以将所述业务数据按照具体的数据类型在物联网磁盘中进行存储;
37.采集所述物联网磁盘存储所述业务数据后对应的占用状况信息。
38.可选的,所述监控模块,具体用于:
39.在通过第三方平台对所述时序数据库中存储的数据进行监控之前,通过设置的模拟终端向网关发出信息流;
40.在所述物联网中对所述信息流进行查询,并计算所述查询的间隔时间;
41.根据所述间隔时间计算数据传输链路的数据延时,并根据所述数据延时设置数据监控的报警阈值,以使所述第三方平台基于报警阈值进行监控。
42.第三方面,本技术实施例公开了一种电子设备,包括:存储有可执行程序代码的存储器;与所述存储器耦合的处理器;所述处理器调用所述存储器中存储的所述可执行程序代码,用于执行如第一方面所述的物联网数据监控方法。
43.第四方面,本技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够实现如第一方面所述的物联网数据监控方法。
44.本技术实施例提供的物联网数据监控方法、装置、电子设备及计算机可读存储介质,所述方法包括以下步骤:响应于物联网中的终端发出信息流,采集所述物联网中各目标节点对所述信息流进行处理时产生的数据处理信息,所述目标节点为所述信息流需要遍历的节点;根据各所述目标节点对所述信息流进行处理的时间顺序,将各所述目标节点产生的所述数据处理信息存入时序数据库;通过第三方平台对所述时序数据库中存储的数据进行监控。如此,通过对不同维度的数据进行采集实现全链路实时监控,能够及时发现问题,并推送给开发和运维人员,提高了数据监控效率,有助于降低运维难度,缩短问题解决所需时间。
附图说明
45.图1为本发明一个较佳实施例提供的一种物联网数据监控方法的流程示意图;
46.图2为本发明一个较佳实施例提供的一种物联网数据监控方法的具体流程示意图;
47.图3为本发明一个较佳实施例提供的一种物联网数据监控装置的结构示意图;
48.图4为本发明另一个较佳实施例提供的一种物联网数据监控装置的结构示意图。
具体实施方式
49.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
50.应当理解,此处所描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
51.在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本技术的说明,其本身没有特定的意义。因此,“模块”、“部件”或者“单元”可以
混合地使用。
52.参阅图1,为本技术实施例提供的一种物联网数据监控方法,该物联网数据监控方法可以由本技术实施例提供的一种物联网数据监控装置来执行,该物联网数据监控装置可以采用软件和/或硬件的方式来实现,本实施例中以物联网数据监控方法应用于服务器为例,本实施例提供的物联网数据监控方法包括以下步骤:
53.步骤s101:响应于物联网中的终端发出信息流,采集所述物联网中各目标节点对所述信息流进行处理时产生的数据处理信息,所述目标节点为所述信息流需要遍历的节点。
54.其中,服务器可控制所述物联网中的终端通过tcp连接与物联网中的网关进行通信,对应的,所述物联网中的网关可获取所述终端发出信息流。这里,目标节点对所述信息流进行处理,包括对所述信息流中的业务数据进行解析、处理和存储等。其中,所述终端发出信息流可以为生产决策数据、工作流程数据、环境侦测数据、资产管理数据、业务分析数据、客户体验数据等。
55.在一实施方式中,所述数据处理信息包括以下至少一种:对所述信息流进行监控预处理后产生的网关指标数据、对所述信息流中业务数据进行处理时的解析处理状况信息、对所述业务数据进行存储后的物联网磁盘对应的占用状况信息。
56.其中,所述对所述信息流进行监控预处理后产生的网关指标数据可以是终端上报的产品数据、通信协议、命令等。所述对所述信息流中业务数据进行处理时的解析处理状况信息可以是数据解析时的解析速率、解析时间、实时接收总数、实时解析处理总数、是否出现积压和延时的情况等。所述对所述业务数据进行存储后的物联网磁盘对应的占用状况信息可以是所述业务数据在所述物联网磁盘存储的占用情况、磁盘剩余容量大小、磁盘使用的增长情况等。
57.具体地,所述采集数据处理信息可以是以下任意一种:采集对所述信息流进行监控预处理后产生的网关指标数据;采集对所述信息流中业务数据进行处理时的解析处理状况信息;采集对所述业务数据进行存储后的物联网磁盘对应的占用状况信息;采集对所述信息流进行监控预处理后产生的网关指标数据和对所述信息流中业务数据进行处理时的解析处理状况信息;采集对所述信息流中业务数据进行处理时的解析处理状况信息和对所述业务数据进行存储后的物联网磁盘对应的占用状况信息;采集对所述信息流进行监控预处理后产生的网关指标数据和对所述业务数据进行存储后的物联网磁盘对应的占用状况信息;采集对所述信息流进行监控预处理后产生的网关指标数据、对所述信息流中业务数据进行处理时的解析处理状况信息和对所述业务数据进行存储后的物联网磁盘对应的占用状况信息。
58.在一实施方式中,所述目标节点包括网关;所述采集所述物联网中各目标节点对所述信息流进行处理时产生的数据处理信息,包括:
59.将物联网的所述网关和所述终端建立连接,以使所述网关获取来自所述终端的信息流,并对所述信息流中的网关指标数据根据统计维度进行分类处理;
60.采集所述网关处理后的网关指标数据。
61.其中,所述网关指标数据为对所述信息流中的网关指标数据按照统计维度进行分类处理后的数据信息,所述统计维度包括产品、数据类型等。这里,所述在网关处采集网关
指标数据可以按照产品类型、通信协议或者具体命令进行采集。
62.在一实施方式中,所述目标节点包括实时解析引擎;所述采集所述物联网中各目标节点对所述信息流进行处理时产生的数据处理信息,包括:
63.获取所述信息流中的业务数据;
64.通过实时解析引擎对所述业务数据进行解析,并采集所述实时解析引擎对所述业务数据进行解析时的解析处理状况信息。
65.具体地,根据预设的发送间隔,将所述业务数据发送到所述物联网的消息组件;以使所述消息组件对所述业务数据进行流式数据处理,并将处理后的所述业务数据发送到实时解析引擎,对应的,所述实时解析引擎获取所述业务数据,并将所述业务数据解析为明文数据,这里,采集通过所述实时解析引擎对所述业务数据进行处理时的解析处理状况信息。
66.具体地,根据数据类型设置对应的数据发送规则,以根据所述发送间隔将业务数据发送到所述物联网的消息组件如kafka,如:设置1分钟一次的发送间隔向所述消息组件发送网关的实时统计信息,包括:网关类型、网关实例地址、网关启动/关闭时间、当前在线终端、登录次数、上/下行消息数等;设置一天一次的发送间隔向所述消息组件发送网关的统计信息,包括:网关类型、网关实例地址、网关启动/关闭时间、累计登录次数、累计上/下行消息数等。通过所述消息组件对所述业务信息进行流式数据处理以对所述业务数据进行解析,这里,所述,消息组件中的业务数据是私有协议密文数据。通过所述消息组件将处理后的所述业务数据发送到实时解析引擎,以通过所述实时解析引擎实时解析引擎根据私有协议规范定义将所述消息组件的密文数据解析成明文数据存储,这里,所述实时解析引擎包括数据流(stream)、数据流生成者(spout)和运算单元(bolt),通过所述数据流生成者获取业务数据并依据不同的数据类型通过数据流委托到不同类型的组件,以通过各个组件的运算单元对所述业务数据进行解析处理。这里,通过所述实时解析引擎自带接口,实时采集所述业务数据进行处理时的解析处理状况信息,确定所述实时解析引擎在进行数据解析时的具体解析状况,以及不同业务信息的不同解析速率。
67.在一实施方式中,所述目标节点包括物联网磁盘;所述采集所述物联网中各目标节点对所述信息流进行处理时产生的数据处理信息,包括:
68.对解析后的业务数据进行流式处理,以将所述业务数据按照具体的数据类型在物联网磁盘中进行存储;
69.采集所述物联网磁盘存储所述业务数据后对应的占用状况信息。
70.具体地,将解析后的业务数据进行流式处理,通过所述流式处理将所述业务数据按照不同的数据类型写入物联网分布式数据库中如hbase,所述数据类型可以是根据解析后业务数据的数据格式进行分类,以及根据不同业务数据的数据类型进行分类等,这里,可以设置特定的数据采集时间,以根据所述采集时间采集对所述业务数据进行存储后的物联网磁盘中所述业务数据具体占用状况。如设置每天零点采集一次磁盘的存储文件大小数据,对比当前存储的文件大小和前一天的存储文件大小计算磁盘的存储增量,采集所述磁盘的存储增量信息,通过定时采集,以实时确定磁盘业务信息对应占用状况,和磁盘的存储增量。需要说明的是,所述业务数据可以是多个业务数据,所述采集对所述业务数据进行存储后的物联网磁盘中所述业务数据具体占用状况可以是采集物联网磁盘中各个业务数据的占用情况,和各个业务数据中各种数据类型的占用情况。
71.步骤s102:根据各所述目标节点对所述信息流进行处理的时间顺序,将各所述目标节点产生的所述数据处理信息存入时序数据库。
72.具体地,可设置一监控服务运维管理平台,并通过所述监控服务运维管理平台接收、存储、管理来自各组件采集的数据处理信息,通过消费网关上报的消息组件将所述数据处理信息根据各个节点产生的所述数据处理信息的时间信息写入到时序数据库中,以通过所述时序数据库将所述大量带有时序特征的监控物联网数据以表格的形式进行存储,有助于时序数据高效读写,并能快速查找、获取数据信息。
73.步骤s103:通过第三方平台对所述时序数据库中存储的数据进行监控。
74.具体地,通过所述时序数据库提供出查询接口,并基于所述时序数据库提供的查询语法查询存储的数据,所述查询语法包括结构化查询语言或者流式查询方式。将所述时序数据库通过所述查询接口接入第三方平台,对所述时序数据库中存储的数据处理信息进行调用,以通过所述第三方平台进行对所述数据处理信息的监控,其中,所述第三方平台可以是web端、自研监控平台或者其他第三方监控运维平台。
75.在一实施方式中,所述通过第三方平台对所述时序数据库中存储的数据进行监控之前,还包括:
76.通过设置的模拟终端向网关发出信息流;
77.在所述物联网中对所述信息流进行查询,并计算所述查询的间隔时间;
78.根据所述间隔时间计算数据传输链路的数据延时,并根据所述数据延时设置数据监控的报警阈值,以使所述第三方平台基于报警阈值进行监控。
79.具体地,设置模拟终端模拟真实终端与网关建立连接,并按照一定时间间隔向网关发出信息流,同时,查询所述数据流,并计算两次查询到所述数据流相隔的时间,将所述时间存储到时序数据库中,并通过所述间隔时间计算所述物联网全链路进行数据处理的数据延时,根据所述数据延时设置数据监控的报警阈值。这里,在第三方平台接入所述时序数据库时,获取所述报警阈值,并根据所述报警阈值对所述时序数据库中存储的数据进行监控,检测所述时序数据库中存储的数据是否超过所述报警阈值,以判断所述数据是否异常。这里,若判断所述数据异常时,通过所述第三方平台向用户发送告警信息进行提醒,所述告警信息包括告警提示、具体告警对象、业务数据、异常时间、告警维度等。
80.综上,上述实施例提供的物联网数据监控方法中,通过对不同维度的数据进行采集实现全链路实时监控,并比对不同时间维度监控,有助于及时发现异常问题并推送给开发和运维人员,提高了数据监控效率,有助于降低运维难度,缩短问题解决所需时间。同时,通过接入第三方平台对所述数据处理信息进行监控,有助于用户为物联网系统的优化和改进提供有效的支持和指导。
81.基于前述实施例相同的发明构思,下面通过一具体示例对前述实施例提供的方法进行详细说明。
82.如图2所示,假设以数据流为社交软件的聊天记录数据为例,通过网关获取所述社交软件的所有聊天记录数据,将所述所有聊天记录数据根据用户对象进行分类处理,并将确定的用户对象的指标数据上报给监控平台;通过实时解析引擎获取所述聊天记录数据,并将所述聊天记录数据解析为明文数据,将所述实时解析引擎进行数据解析的处理情况发送给监控平台;对所述解析后的数据信息进行分类,并在物联网磁盘中进行存储,将所述数
据信息在所述磁盘中的数据占用情况发送给监控平台。相应的,所述监控平台接收所述聊天记录数据、所述数据解析的处理情况和所述磁盘中的数据占用情况,并将所述聊天记录数据、所述数据解析的处理情况和所述磁盘中的数据占用情况按照数据产生的时序统一写入到时序数据库中,以通过所述时序数据库接入第三方平台通过报表数据的形式向用户进行可视化显示,并根据设置的报警阈值对所述时序数据库中的数据进行监控,并及时向用户进行反馈。
83.参阅图3,为本技术实施例提供的物联网数据监控装置,所述物联网数据监控装置包括数据采集模块、存储模块和监控模块,其中,
84.数据采集模块,用于响应于物联网中的终端发出信息流,采集所述物联网中各目标节点对所述信息流进行处理时产生的数据处理信息,所述目标节点为所述信息流需要遍历的节点;
85.存储模块,用于根据各所述目标节点对所述信息流进行处理的时间顺序,将各所述目标节点产生的所述数据处理信息存入时序数据库;
86.监控模块,用于通过第三方平台对所述时序数据库中存储的数据进行监控。
87.在一实施方式中,所述数据处理信息包括以下至少一种:对所述信息流进行监控预处理后产生的网关指标数据、对所述信息流中业务数据进行处理时的解析处理状况信息、对所述业务数据进行存储后的物联网磁盘对应的占用状况信息。
88.其中,所述对所述信息流进行监控预处理后产生的网关指标数据可以是终端上报的产品数据、通信协议、命令等。所述对所述信息流中业务数据进行处理时的解析处理状况信息可以是数据解析时的解析速率、解析时间、实时接收总数、实时解析处理总数、是否出现积压和延时的情况等。所述对所述业务数据进行存储后的物联网磁盘对应的占用状况信息可以是所述业务数据在所述物联网磁盘存储的占用情况、磁盘剩余容量大小、磁盘使用的增长情况等。
89.具体地,所述采集数据处理信息可以是以下任意一种:采集对所述信息流进行监控预处理后产生的网关指标数据;采集对所述信息流中业务数据进行处理时的解析处理状况信息;采集对所述业务数据进行存储后的物联网磁盘对应的占用状况信息;采集对所述信息流进行监控预处理后产生的网关指标数据和对所述信息流中业务数据进行处理时的解析处理状况信息;采集对所述信息流中业务数据进行处理时的解析处理状况信息和对所述业务数据进行存储后的物联网磁盘对应的占用状况信息;采集对所述信息流进行监控预处理后产生的网关指标数据和对所述业务数据进行存储后的物联网磁盘对应的占用状况信息;采集对所述信息流进行监控预处理后产生的网关指标数据、对所述信息流中业务数据进行处理时的解析处理状况信息和对所述业务数据进行存储后的物联网磁盘对应的占用状况信息。
90.在一实施方式中,所述采集模块,具体用于:
91.将物联网的所述网关和所述终端建立连接,以使所述网关获取来自所述终端的信息流,并对所述信息流中的网关指标数据根据统计维度进行分类处理;
92.采集所述网关处理后的网关指标数据。
93.其中,在网关处采集网关指标数据,所述网关指标数据为对所述信息流中网关指标数据按照统计维度进行分类处理后的数据信息,所述统计维度包括产品、数据类型等。这
里,所述在网关处采集网关指标数据可以按照产品类型、通信协议或者具体命令进行采集。
94.在一实施方式中,可选的,所述采集模块,具体用于:
95.获取所述信息流中的业务数据;
96.通过实时解析引擎对所述业务数据进行解析,并采集所述实时解析引擎对所述业务数据进行解析时的解析处理状况信息。
97.具体地,根据预设的发送间隔,将所述业务数据发送到所述物联网的消息组件;以使所述消息组件对所述业务数据进行流式数据处理,并将处理后的所述业务数据发送到实时解析引擎,对应的,所述实时解析引擎获取所述业务数据,并将所述业务数据解析为明文数据,这里,采集通过所述实时解析引擎对所述业务数据进行处理时的解析处理状况信息。
98.具体地,根据数据类型设置对应的数据发送规则,以根据所述发送间隔将业务数据发送到所述物联网的消息组件如kafka,如:设置1分钟一次的发送间隔向所述消息组件发送网关的实时统计信息,包括:网关类型、网关实例地址、网关启动/关闭时间、当前在线终端、登录次数、上/下行消息数等;设置一天一次的发送间隔向所述消息组件发送网关的统计信息,包括:网关类型、网关实例地址、网关启动/关闭时间、累计登录次数、累计上/下行消息数等。通过所述消息组件对所述业务信息进行流式数据处理以对所述业务数据进行解析,这里,所述,消息组件中的业务数据是私有协议密文数据。通过所述消息组件将处理后的所述业务数据发送到实时解析引擎,以通过所述实时解析引擎实时解析引擎根据私有协议规范定义将所述消息组件的密文数据解析成明文数据存储,这里,所述实时解析引擎包括数据流(stream)、数据流生成者(spout)和运算单元(bolt),通过所述数据流生成者获取业务数据并依据不同的数据类型通过数据流委托到不同类型的组件,以通过各个组件的运算单元对所述业务数据进行解析处理。这里,通过所述实时解析引擎自带接口,实时采集所述业务数据进行处理时的解析处理状况信息。
99.在一实施方式中,所述采集模块,具体用于:
100.对解析后的业务数据进行流式处理,以将所述业务数据按照具体的数据类型在物联网磁盘中进行存储;
101.采集所述物联网磁盘存储所述业务数据后对应的占用状况信息。
102.具体地,将解析后的业务数据进行流式处理,通过所述流式处理将所述业务数据按照不同的数据类型写入物联网分布式数据库中如hbase,所述数据类型可以是根据解析后业务数据的数据格式进行分类,以及根据不同业务数据的数据类型进行分类等,这里,可以设置特定的数据采集时间,以根据所述采集时间采集对所述业务数据进行存储后的物联网磁盘中所述业务数据具体占用状况。如设置每天零点采集一次磁盘的存储文件大小数据,对比当前存储的文件大小和前一天的存储文件大小计算磁盘的存储增量,采集所述磁盘的存储增量信息。需要说明的是,所述业务数据可以是多个业务数据,所述采集对所述业务数据进行存储后的物联网磁盘中所述业务数据具体占用状况可以是采集物联网磁盘中各个业务数据的占用情况,和各个业务数据中各种数据类型的占用情况。
103.在一实施方式中,所述存储模块,具体用于:设置监控服务运维管理平台,并通过所述监控服务运维管理平台接收、存储、管理来自各组件采集的数据处理信息,通过消费网关上报的消息组件将所述数据处理信息根据各个节点产生的所述数据处理信息的时间信息写入到时序数据库中,以通过所述时序数据库将所述大量带有时序特征的监控物联网数
据以表格的形式进行存储,有助于时序数据高效读写,并能快速查找、获取数据信息。
104.在一实施方式中,所述监控模块,具体用于:
105.在通过第三方平台对所述时序数据库中存储的数据进行监控之前,通过设置的模拟终端向网关发出信息流;
106.在所述物联网中对所述信息流进行查询,并计算所述查询的间隔时间;
107.根据所述间隔时间计算数据传输链路的数据延时,并根据所述数据延时设置数据监控的报警阈值,以使所述第三方平台基于报警阈值进行监控。
108.具体地,设置模拟终端模拟真实终端与网关建立连接,并按照一定时间间隔向网关发出信息流,同时,查询所述数据流,并计算两次查询到所述数据流相隔的时间,将所述时间存储到时序数据库中,并通过所述间隔时间计算所述物联网全链路进行数据处理的数据延时,根据所述数据延时设置数据监控的报警阈值。这里,在第三方平台接入所述时序数据库时,获取所述报警阈值,并根据所述报警阈值对所述时序数据库中存储的数据进行监控,检测所述时序数据库中存储的数据是否超过所述报警阈值,以判断所述数据是否异常。这里,若判断所述数据异常时,通过所述第三方平台向用户发送告警信息进行提醒,所述告警信息包括告警提示、具体告警对象、业务数据、异常时间、告警维度等。
109.综上,上述物联网数据监控装置中,通过数据采集模块采集全链路数据处理信息,通过数据存储模块将所述数据处理信息统一写入时序数据库,通过监控模块将时序数据库与第三方平台连接,实现所述数据处理信息的监控,如此,通过对不同维度的数据进行采集实现全链路实时监控,能够及时发现问题,并推送给开发和运维人员,提高了数据监控效率,有助于降低运维难度,缩短问题解决所需时间。实现了物联网全链路实时监控,有助于及时发现问题,并通过对用户的可视化和交互,有助于满足用户的个性化需求。
110.基于前述实施例相同的发明构思,本发明实施例提供了一种物联网数据监控装置,如图4所示,该装置包括:处理器210和存储有计算机程序的存储器211;其中,图4中示意的处理器210并非用于指代处理器210的个数为一个,而是仅用于指代处理器210相对其他器件的位置关系,在实际应用中,处理器210的个数可以为一个或多个;同样,图4中示意的存储器211也是同样的含义,即仅用于指代存储器211相对其他器件的位置关系,在实际应用中,存储器211的个数可以为一个或多个。在所述处理器210运行所述计算机程序时,实现应用于上述装置的所述物联网数据监控方法。
111.该装置还可包括:至少一个网络接口212。该装置中的各个组件通过总线系统213耦合在一起。可理解,总线系统213用于实现这些组件之间的连接通信。总线系统213除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图4中将各种总线都标为总线系统213。
112.其中,存储器211可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(rom,read only memory)、可编程只读存储器(prom,programmable read-only memory)、可擦除可编程只读存储器(eprom,erasable programmable read-only memory)、电可擦除可编程只读存储器(eeprom,electrically erasable programmable read-only memory)、磁性随机存取存储器(fram,ferromagnetic random access memory)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(cd-rom,compact disc read-only memory);磁表面存储器可以是
磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram,random access memory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的ram可用,例如静态随机存取存储器(sram,static random access memory)、同步静态随机存取存储器(ssram,synchronous static random access memory)、动态随机存取存储器(dram,dynamic random access memory)、同步动态随机存取存储器(sdram,synchronous dynamic random access memory)、双倍数据速率同步动态随机存取存储器(ddrsdram,double data rate synchronous dynamic random access memory)、增强型同步动态随机存取存储器(esdram,enhanced synchronous dynamic random access memory)、同步连接动态随机存取存储器(sldram,synclink dynamic random access memory)、直接内存总线随机存取存储器(drram,direct rambus random access memory)。本发明实施例描述的存储器211旨在包括但不限于这些和任意其它适合类型的存储器。
113.本发明实施例中的存储器211用于存储各种类型的数据以支持该装置的操作。这些数据的示例包括:用于在该装置上操作的任何计算机程序,如操作系统和应用程序;联系人数据;电话簿数据;消息;图片;视频等。其中,操作系统包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序,例如媒体播放器(media player)、浏览器(browser)等,用于实现各种应用业务。这里,实现本发明实施例方法的程序可以包含在应用程序中。
114.基于前述实施例相同的发明构思,本实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,计算机可读存储介质可以是磁性随机存取存储器(fram,ferromagnetic random access memory)、只读存储器(rom,read only memory)、可编程只读存储器(prom,programmable read-only memory)、可擦除可编程只读存储器(eprom,erasable programmable read-only memory)、电可擦除可编程只读存储器(eeprom,electrically erasable programmable read-only memory)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(cd-rom,compact disc read-only memory)等存储器;也可以是包括上述存储器之一或任意组合的各种设备,如移动电话、计算机、平板设备、个人数字助理等。所述计算机可读存储介质中存储的计算机程序被处理器运行时,实现应用于上述装置的所述物联网数据监控方法。所述计算机程序被处理器执行时实现的具体步骤流程请参考图1所示实施例的描述,在此不再赘述。
115.以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
116.在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,除了包含所列的那些要素,而且还可包含没有明确列出的其他要素。
117.以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
技术特征:
1.一种物联网数据监控方法,其特征在于,所述方法包括以下步骤:响应于物联网中的终端发出信息流,采集所述物联网中各目标节点对所述信息流进行处理时产生的数据处理信息,所述目标节点为所述信息流需要遍历的节点;根据各所述目标节点对所述信息流进行处理的时间顺序,将各所述目标节点产生的所述数据处理信息存入时序数据库;通过第三方平台对所述时序数据库中存储的数据进行监控。2.根据权利要求1所述的方法,其特征在于,所述数据处理信息包括以下至少一种:对所述信息流进行监控预处理后产生的网关指标数据、对所述信息流中业务数据进行处理时的解析处理状况信息、对所述业务数据进行存储后的物联网磁盘对应的占用状况信息。3.根据权利要求2所述的方法,其特征在于,所述目标节点包括网关;所述采集所述物联网中各目标节点对所述信息流进行处理时产生的数据处理信息,包括:将物联网的所述网关和所述终端建立连接,以使所述网关获取来自所述终端的信息流,并对所述信息流中的网关指标数据根据统计维度进行分类处理;采集所述网关处理后的网关指标数据。4.根据权利要求2所述的方法,其特征在于,所述目标节点包括实时解析引擎;所述采集所述物联网中各目标节点对所述信息流进行处理时产生的数据处理信息,包括:获取所述信息流中的业务数据;通过实时解析引擎对所述业务数据进行解析,并采集所述实时解析引擎对所述业务数据进行解析时的解析处理状况信息。5.根据权利要求2所述的方法,其特征在于,所述目标节点包括物联网磁盘;所述采集所述物联网中各目标节点对所述信息流进行处理时产生的数据处理信息,包括:对解析后的业务数据进行流式处理,以将所述业务数据按照具体的数据类型在物联网磁盘中进行存储;采集所述物联网磁盘存储所述业务数据后对应的占用状况信息。6.根据权利要求1所述的方法,其特征在于,所述通过第三方平台对所述时序数据库中存储的数据进行监控之前,还包括:通过设置的模拟终端向网关发出信息流;在所述物联网中对所述信息流进行查询,并计算所述查询的间隔时间;根据所述间隔时间计算数据传输链路的数据延时,并根据所述数据延时设置数据监控的报警阈值,以使所述第三方平台基于报警阈值进行监控。7.一种物联网数据监控装置,其特征在于,所述装置包括:数据采集模块,用于响应于物联网中的终端发出信息流,采集所述物联网中各目标节点对所述信息流进行处理时产生的数据处理信息,所述目标节点为所述信息流需要遍历的节点;存储模块,用于根据各所述目标节点对所述信息流进行处理的时间顺序,将各所述目标节点产生的所述数据处理信息存入时序数据库;监控模块,用于通过第三方平台对所述时序数据库中存储的数据进行监控。8.根据权利要求7所述的装置,其特征在于,所述数据处理信息包括以下至少一种:对所述信息流进行监控预处理后产生的网关指标数据、对所述信息流中业务数据进行处理时
的解析处理状况信息、对所述业务数据进行存储后的物联网磁盘对应的占用状况信息。9.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序用于由所述处理器加载并执行如权利要求1~6中任意一项的物联网数据监控方法。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有指令,所述指令用于由处理器加载并执行如权利要求1~6中任意一项的物联网数据监控方法。
技术总结
本申请公开了一种物联网数据监控方法、装置、电子设备及计算机可读存储介质,包括以下步骤:响应于物联网中的终端发出信息流,采集所述物联网中各目标节点对所述信息流进行处理时产生的数据处理信息,所述目标节点为所述信息流需要遍历的节点;根据各所述目标节点对所述信息流进行处理的时间顺序,将各所述目标节点产生的所述数据处理信息存入时序数据库;通过第三方平台对所述时序数据库中存储的数据进行监控。如此,通过对不同维度的数据进行采集实现全链路实时监控,能够及时发现问题,并推送给开发和运维人员,提高了数据监控效率,有助于降低运维难度,缩短问题解决所需时间。间。间。
技术研发人员:文村 龙舟 阳凯 王荣 严鹏
受保护的技术使用者:中科云谷科技有限公司
技术研发日:2023.06.29
技术公布日:2023/10/11
版权声明
本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
飞行汽车 https://www.autovtol.com/
