一种时序数据库的流计算方法与流程

1.本发明涉及数据库技术领域，尤其涉及一种时序数据库的流计算方法。


背景技术：

2.时序数据是指时间序列数据。是按时间顺序记录的数据列，在同一数据列中的各个数据必须是同口径的，要求具有可比性。时序数据可以是时期数，也可以时点数。
3.时序数据管理主要通过对时序数据的采集、处理和分析帮助企业实时监控企业的生产与经营过程。
4.时序数据在应用上特点也很明显，比如数据往往只保留一定时长，需要做降频采样、插值、实时计算、聚合等操作，关心的是一段时间的趋势，而不是某一特定时间的值等。
5.工业企业为了监测设备、生产线以及整个系统的运行状态，在各个关键点都配有传感器、采集各种数据。这些数据是周期或准周期产生的，有的采集频率高，有的采集频率低，这些采集的数据一般会发送至服务器，进行汇总并实时处理，对系统的运行做出实时监测或预警。
6.随着工业物联网、数字能源、交通车联网、智慧产业等行业的核心业务场景下对时序数据采集、处理、计算、分析、应用的综合业务需求的不断增加，对于时序大数据的存储和处理，如果仍采用关系型数据库的方式进行处理，则无法满足高吞吐写入数据的同时快速获取查询结果的要求。


技术实现要素：

7.为了解决以上技术问题，本发明提供了一种时序数据库的流计算方法，能够在高吞吐的数据写入情况下，提供快速的计算结果查询，帮助用户快速的得到想要的查询结果，为用户节省了大量的查询时间。
8.本发明的技术方案是：
9.一种时序数据库的流计算方法，根据时间窗口创建相应的流计算定时任务，对实时的时序数据按照指定时间窗口进行计算，最终将计算结果存储在目标表中。
10.进一步的，
11.通过sql定义实时数据流的计算规则，从而在时序数据库中保存相应的元数据信息，并创建相关的目标表，同时启动相应时间窗口的定时任务；当数据写入数据库的源表后，数据会被定时任务以指定的时间窗口进行自动计算，最终将结果自动地写入目标表。
12.再进一步的，
13.根据用户输入的sql语句产生相关的流计算的元数据信息，并进行持久化。
14.根据流计算的元数据信息创建目标表，用于存储流计算结果。
15.根据流计算的元数据信息创建流计算的定时任务，对实时数据进行计算，并将计算结果存储在目标表中。
16.再进一步的，
17.用户输入的sql包含了流计算的时间窗口和计算规则。
18.所述的流计算的元数据信息包含流计算的时间窗口、计算规则和由计算规则产生的物理计划。
19.所述的流计算定时任务会对指定时间窗口的实时数据进行指定计算，并将计算结果写入到目标表中。
20.本发明的有益效果是
21.替换复杂流式处理系统的轻量级解决方案，能够在高吞吐的数据写入情况下，提供快速的计算结果查询，帮助用户快速的得到想要的查询结果，为用户节省了大量的查询时间。
附图说明
22.图1是创建流计算的执行流程示意图；
23.图2是流计算定时任务的执行流程示意图。
具体实施方式
24.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.本发明的目的在于提出一种时序数据库的流计算方法。用户通过sql定义实时数据流的计算规则，从而在时序数据库中保存相应的元数据信息，并创建相关的目标表，同时启动相应时间窗口的定时任务。当数据写入数据库的源表后，数据会被定时任务以指定的时间窗口进行自动计算，最终将结果自动地写入目标表。该方法能够在高吞吐的时序数据写入情况下，提供快速的计算结果查询，为用户节省了大量的查询时间。
26.如附图1所示的创建流计算的执行流程，
27.1)数据库系统首先将用户的sql语句进行解析，获取到流计算名、时间窗口和计算规则；
28.2)根据计算规则生成物理计划；
29.3)根据流计算名、时间窗口、计算规则和物理计划生成相关的元数据信息，并进行持久化；
30.4)根据计算规则生成目标表元数据，并创建目标表；
31.5)根据元数据信息创建流计算定时任务。
32.如附图2所示的流计算定时任务的执行流程，
33.1)数据库系统根据时间窗口定时地启动流计算定时任务；
34.2)定时任务读取相应的物理计划进行执行；
35.3)最终，定时任务将计算结果保存在目标表中。
36.以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。


技术特征：
1.一种时序数据库的流计算方法，其特征在于，根据时间窗口创建相应的流计算定时任务，对实时的时序数据按照指定时间窗口进行计算，最终将计算结果存储在目标表中。2.根据权利要求1所述的方法，其特征在于，通过sql定义实时数据流的计算规则，从而在时序数据库中保存相应的元数据信息，并创建相关的目标表，同时启动相应时间窗口的定时任务；当数据写入数据库的源表后，数据会被定时任务以指定的时间窗口进行自动计算，最终将结果自动地写入目标表。3.根据权利要求2所述的方法，其特征在于，根据用户输入的sql语句产生相关的流计算的元数据信息，并进行持久化。4.根据权利要求3所述的方法，其特征在于，根据流计算的元数据信息创建目标表，用于存储流计算结果。5.根据权利要求4所述的方法，其特征在于，根据流计算的元数据信息创建流计算的定时任务，对实时数据进行计算，并将计算结果存储在目标表中。6.根据权利要求5所述的方法，其特征在于，用户输入的sql包含了流计算的时间窗口和计算规则。7.根据权利要求5所述的方法，其特征在于，所述的流计算的元数据信息包含流计算的时间窗口、计算规则和由计算规则产生的物理计划。8.根据权利要求5所述的方法，其特征在于，所述的流计算定时任务会对指定时间窗口的实时数据进行指定计算，并将计算结果写入到目标表中。

技术总结
本发明提供一种时序数据库的流计算方法，属于数据库技术领域，本发明通过SQL定义实时数据流的计算规则，从而在数据库中保存相应的元数据信息，并创建相关的目标表，同时启动相应窗口的定时任务。当数据写入数据库的源表后，数据会被定时任务以指定的时间窗口进行自动计算，最终将结果自动地写入目标表。能够在高吞吐的数据写入情况下，提供快速的计算结果查询，帮助用户快速的得到想要的查询结果，为用户节省了大量的查询时间。用户节省了大量的查询时间。用户节省了大量的查询时间。


技术研发人员：张彦光
受保护的技术使用者：上海浪潮云计算服务有限公司
技术研发日：2023.04.24
技术公布日：2023/7/25