一种分布式时序数据库的制作方法

1.本发明涉及数据库技术领域，具体为一种分布式时序数据库。


背景技术：

2.分布式时序数据库是用于管理处理时间序列数据，它支持高效存储和查询时间序列数据，并具有聚合和分组时间序列数据的能力，在申请号为202211563814.7的中国专利，公开了“一种分布式时序数据库数据处理系统、方法及查询方法，该处理系统包括多个节点单元、集成中间单元；其中，多个所述节点单元构成数据同步队列；集成中间单元用于添加每一所述节点单元的管理项，并对多个所述节点单元中的目标节点单元的运行状态进行监测；若监测到目标节点单元运行正常，则进行数据同步；若监测到目标节点单元运行崩溃，则将目标节点单元暂时踢出，并在恢复运行正常后进行容灾处理；即使目标节点单元崩溃，也不会影响到其他节点单元，避免了因某一节点单元崩溃导致的数据雪崩。”3.该对比文件仅仅解决了若监测到目标节点单元运行崩溃，则将目标节点单元暂时踢出，并在恢复运行正常后进行容灾处理，即使目标节点单元崩溃，也不会影响到其他节点单元，避免了因某一节点单元崩溃导致的数据雪崩的问题，但是没有为分布式时序数据库确定合适的通信协议，没有确定合适的通信协议，可能会出现数据传输效率低下的情况，导致数据传输时延长或网络拥堵，从而降低系统的处理性能和进度，在分布式环境中，系统的数据备份、复制、数据同步等机制需要通过通信协议进行良好的协调和管理，如果没有确定合适的通信协议，可能会导致数据不同步、数据冲突等问题，从而影响系统的稳定性和可靠性。


技术实现要素：

4.本发明的目的在于提供一种分布式时序数据库，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种分布式时序数据库，包括数据模型设计单元、数据存储处理单元、通信协议确定单元、分布式架构单元、查询语言设计单元、测试与优化单元和数据可视化单元；
6.所述数据模型设计单元通过确定存储的数据类型、结构和格式，为不同的数据类型定义字段，来实现时间序列数据模型的定义，并将定义完成的时间序列数据模型传输至数据存储处理单元；
7.所述数据存储处理单元对数据模型设计单元发出的时间序列数据模型进行接收，根据接收的数据模型确定存储策略和处理策略，包括数据分区、数据备份、数据恢复和数据冗余，并选择合适的存储结构和索引方式减少节点故障和数据丢失情况，制定数据的备份和恢复策略，并将完成的数据存储方式传输至通信协议确定单元；
8.所述通信协议确定单元对数据存储处理单元发出的数据存储方式进行接收，并根据接收的数据存储方式采用通信协议实现节点之间的通信和协调，设计时定义数据交换协
议、分布式事务协议和心跳协议，并通过链路控制算法定义链路控制协议，将确定的通信协议传输至分布式架构单元，链路控制算法具体为：
[0009][0010][0011]
其中，ρ为节点的分布密度，r为节点的最大发射半径，r为最小发射半径，t
x
为节点发送数据的长度.ec为冲突期望，b为离链路中心最大距离，λ边缘链路量占总链路量的比例平均。
[0012]
优选的，所述分布式架构单元对通信协议确定单元发出的通信协议进行接收，并根据接收的通信协议定义不同的分布式架构，包括哈希分区架构、副本复制架构和一致性哈希，通过设计多节点分布式架构实现系统的扩展性和可用性，并将定义完成的分布式架构传输至查询语言设计单元，所述查询语言设计单元对分布式架构单元发出的分布式架构进行接收，并根据接收的分布式架构定义一套针对时序数据的查询语言，定义的查询语言支持聚合和筛选操作，将设计完成的查询语言分别传输至测试与优化单元和数据可视化单元。
[0013]
优选的，所述测试与优化单元对查询语言设计单元发出的查询语言进行接收，并在完成分布式时序数据库的设计后，对进行性能测试和优化，通过接收的查询语言对数据存储、查询和处理性能进行测试，并根据测试结果对系统进行优化，所述数据可视化单元对查询语言设计单元发出的查询语言进行接收，并根据查询语言查询所需要的数据，将查询到的数据进行可视化，通过图表和表格界面展示数据，使得用户能够交互和分析数据。
[0014]
优选的，所述数据模型设计单元包括数据类型识别模块、测量对象定义模块、标签定义模块和时间戳确定模块，所述数据类型识别模块明确所需存储的数据类型，包括通过时间排序的测量值，测量值可以是任何数据类型，包括数字、布尔值和字符串，所述测量对象定义模块确定测量对象，存储时间序列数据的实体或设备，例如传感器、服务器或应用程序，以及存储实体或设备所监测的测量值的标识符，所述标签定义模块对每一个数据定义一些标签来描述测量值来自的位置或属性，标签可以是字符串或数字类型的键值对，例如传感器位置、数据来源等，所述时间戳确定模块为每一个数据进入数据库确定一个时间，用于确定所测量的时间。
[0015]
优选的，所述数据存储处理单元包括数据分区模块和数据备份模块，所述数据分区模块分配节点存储数据的方式，采用哈希分区、区间分区和随机分区方法，根据数据的类型、大小、分布等特征来进行划分，以便支持数据的分散存储和高效查询，所述数据备份模块为系统提供容错保护的方式，采用分布式备份策略，利用副本策略和冗余节点技术，通过
选择多个副本和多个备份策略，实现增加数据的容错性和可用性。
[0016]
优选的，所述数据存储处理单元还包括数据恢复模块、数据冗余模块和存储方式与索引选择模块，所述数据恢复模块在节点故障或数据丢失的情况下，需要采取数据恢复措施，以保障系统的运行和稳定性，采用基于备份的数据恢复策略，实现数据的快速恢复，所述数据冗余模块采用数据冗余措施，包括数据压缩、数据分级存储和数据加密，以最大程度地保障数据的安全性，避免数据丢失和泄漏，所述存储方式与索引选择模块采用常见的存储结构和索引方式包括红黑树和b+树，选择合适的方式来支持时序数据的高效存储和查询。
[0017]
优选的，所述通信协议确定单元包括协议类型确定模块、协议交互设计模块、规则确定模块和协议测试与验证模块，所述协议类型确定模块确定通信协议的类型、数据格式和数据传输方式，包括基于文本、二进制、http、tcp或udp，所述协议交互设计模块设计协议交互过程中的请求和响应、错误处理、认证和授权方面的内容，所述规则确定模块确定通信协议的标准和规范，以满足不同的通信需求和技术标准，促进数据交换的流程和方法的统一，常见的标准和规范包括xml、json和restapi，所述协议测试与验证模块在协议设计完成后，进行全面的测试和检验，确保协议能够满足各种任务和场景的要求，包括安全、性能、稳定性和可扩展性等方面的测试和验证。
[0018]
优选的，所述分布式架构单元包括分布式架构设计模块、架构选型模块、负载均衡模块和安全管理模块，所述分布式架构设计模块分析业务需求和应用场景，确定所需的分布式架构，包括数据分布方式、节点数、备份策略和复制机制，支持大规模时序数据的高效处理和存储，采用主从或多主架构，所述架构选型模块根据实际需求和业务场景，选择适合的分布式技术和系统，包括hbase和cassandra，并选出合适的分布式时序数据库管理系统，所述负载均衡模块定义数据分片规则和数据节点，保证数据分散存储和负载均衡，同时在数据访问中，也需要关注请求路由和节点选择，实现分布式系统的高效可用和负载均衡，所述安全管理模块针对分布式系统架构的安全问题，制定合适的安全管理措施，以提高数据安全性，包括身份认证、传输加密、数据授权和访问控制方面的安全管理措施。
[0019]
与现有技术相比，本发明的有益效果是：
[0020]
本发明通过数据模型设计单元设计数据模型，通过数据存储方式处理单元确定存储策略和处理策略，通过通信协议确定单元确定通信协议，从而实现了通过基于文本、二进制、http、tcp或udp等的通信协议传输时序数据，可以大幅提高数据传输效率和解析速度，降低数据传输延迟和网络负载，并且基于协议交互的通信方式，采用数据压缩、数据分级存储、数据复制和备份等机制，提高系统的可用性和容错性，通过数据备份和冗余节点等措施，保证数据稳定性和持续性。
附图说明
[0021]
图1为本发明实施例提供的整体的系统流程图；
[0022]
图2为本发明实施例提供的数据模型设计单元的内部模块框图；
[0023]
图3为本发明实施例提供的数据存储处理单元的内部模块框图；
[0024]
图4为本发明实施例提供的通信协议确定单元的内部模块框图；
[0025]
图5为本发明实施例提供的分布式架构单元的内部模块框图。
[0026]
图中：1、数据模型设计单元；101、数据类型识别模块；102、测量对象定义模块；103、标签定义模块；104、时间戳确定模块；2、数据存储处理单元；201、数据分区模块；202、数据备份模块；203、数据恢复模块；204、数据冗余模块；205、存储方式与索引选择模块；3、通信协议确定单元；301、协议类型确定模块；302、协议交互设计模块；303、规则确定模块；304、协议测试与验证模块；4、分布式架构单元；401、分布式架构设计模块；402、架构选型模块；403、负载均衡模块；404、安全管理模块；5、查询语言设计单元；6、测试与优化单元；7、数据可视化单元。
具体实施方式
[0027]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0028]
请参阅图1-5，本发明提供一种技术方案：一种分布式时序数据库，包括数据模型设计单元1、数据存储处理单元2、通信协议确定单元3、分布式架构单元4、查询语言设计单元5、测试与优化单元6和数据可视化单元7；
[0029]
数据模型设计单元1通过确定存储的数据类型、结构和格式，为不同的数据类型定义字段，来实现时间序列数据模型的定义，并将定义完成的时间序列数据模型传输至数据存储处理单元2；
[0030]
数据存储处理单元2对数据模型设计单元1发出的时间序列数据模型进行接收，根据接收的数据模型确定存储策略和处理策略，包括数据分区、数据备份、数据恢复和数据冗余，并选择合适的存储结构和索引方式减少节点故障和数据丢失情况，制定数据的备份和恢复策略，并将完成的数据存储方式传输至通信协议确定单元3；
[0031]
通信协议确定单元3对数据存储处理单元2发出的数据存储方式进行接收，并根据接收的数据存储方式采用通信协议实现节点之间的通信和协调，设计时定义数据交换协议、分布式事务协议和心跳协议，并通过链路控制算法定义链路控制协议，将确定的通信协议传输至分布式架构单元4，链路控制算法具体为：
[0032][0033][0034]
其中，ρ为节点的分布密度，r为节点的最大发射半径，r为最小发射半径，t
x
为节点发送数据的长度.ec为冲突期望，b为离链路中心最大距离，λ边缘链路量占总链路量的比例
平均。
[0035]
分布式架构单元4对通信协议确定单元3发出的通信协议进行接收，并根据接收的通信协议定义不同的分布式架构，包括哈希分区架构、副本复制架构和一致性哈希，通过设计多节点分布式架构实现系统的扩展性和可用性，并将定义完成的分布式架构传输至查询语言设计单元5，查询语言设计单元5对分布式架构单元4发出的分布式架构进行接收，并根据接收的分布式架构定义一套针对时序数据的查询语言，定义的查询语言支持聚合和筛选操作，将设计完成的查询语言分别传输至测试与优化单元6和数据可视化单元7，通过分布式架构单元4定义不同的分布式架构；
[0036]
测试与优化单元6对查询语言设计单元5发出的查询语言进行接收，并在完成分布式时序数据库的设计后，进行性能测试和优化，通过接收的查询语言对数据存储、查询和处理性能进行测试，并根据测试结果对系统进行优化，数据可视化单元7对查询语言设计单元5发出的查询语言进行接收，并根据查询语言查询所需要的数据，将查询到的数据进行可视化，通过图表和表格界面展示数据，使得用户能够交互和分析数据，通过测试与优化单元6进行性能测试和优化；
[0037]
数据模型设计单元1包括数据类型识别模块101、测量对象定义模块102、标签定义模块103和时间戳确定模块104，数据类型识别模块101明确所需存储的数据类型，包括通过时间排序的测量值，测量值可以是任何数据类型，包括数字、布尔值和字符串，测量对象定义模块102确定测量对象，存储时间序列数据的实体或设备，例如传感器、服务器或应用程序，以及存储实体或设备所监测的测量值的标识符，标签定义模块103对每一个数据定义一些标签来描述测量值来自的位置或属性，标签可以是字符串或数字类型的键值对，例如传感器位置、数据来源等，时间戳确定模块104为每一个数据进入数据库确定一个时间，用于确定所测量的时间，通过数据模型设计单元1设计数据模型；
[0038]
数据存储处理单元2包括数据分区模块201和数据备份模块202，数据分区模块201分配节点存储数据的方式，采用哈希分区、区间分区和随机分区方法，根据数据的类型、大小、分布等特征来进行划分，以便支持数据的分散存储和高效查询，数据备份模块202为系统提供容错保护的方式，采用分布式备份策略，利用副本策略和冗余节点技术，通过选择多个副本和多个备份策略，实现增加数据的容错性和可用性，通过数据存储处理单元2设计存储方式；
[0039]
数据存储处理单元2还包括数据恢复模块203、数据冗余模块204和存储方式与索引选择模块205，数据恢复模块203在节点故障或数据丢失的情况下，需要采取数据恢复措施，以保障系统的运行和稳定性，采用基于备份的数据恢复策略，实现数据的快速恢复，数据冗余模块204采用数据冗余措施，包括数据压缩、数据分级存储和数据加密，以最大程度地保障数据的安全性，避免数据丢失和泄漏，存储方式与索引选择模块205采用常见的存储结构和索引方式包括红黑树和b+树，选择合适的方式来支持时序数据的高效存储和查询，通过数据冗余模块204最大程度地保障数据的安全性；
[0040]
通信协议确定单元3包括协议类型确定模块301、协议交互设计模块302、规则确定模块303和协议测试与验证模块304，协议类型确定模块301确定通信协议的类型、数据格式和数据传输方式，包括基于文本、二进制、http、tcp或udp，协议交互设计模块302设计协议交互过程中的请求和响应、错误处理、认证和授权方面的内容，规则确定模块303确定通信
协议的标准和规范，以满足不同的通信需求和技术标准，促进数据交换的流程和方法的统一，常见的标准和规范包括xml、json和restapi，协议测试与验证模块304在协议设计完成后，进行全面的测试和检验，确保协议能够满足各种任务和场景的要求，包括安全、性能、稳定性和可扩展性等方面的测试和验证，通过通信协议确定单元3确定通信协议；
[0041]
分布式架构单元4包括分布式架构设计模块401、架构选型模块402、负载均衡模块403和安全管理模块404，分布式架构设计模块401分析业务需求和应用场景，确定所需的分布式架构，包括数据分布方式、节点数、备份策略和复制机制，支持大规模时序数据的高效处理和存储，采用主从或多主架构，架构选型模块402根据实际需求和业务场景，选择适合的分布式技术和系统，包括hbase和cassandra，并选出合适的分布式时序数据库管理系统，负载均衡模块403定义数据分片规则和数据节点，保证数据分散存储和负载均衡，同时在数据访问中，也需要关注请求路由和节点选择，实现分布式系统的高效可用和负载均衡，安全管理模块404针对分布式系统架构的安全问题，制定合适的安全管理措施，以提高数据安全性，包括身份认证、传输加密、数据授权和访问控制方面的安全管理措施，通过分布式架构设计模块401确定所需的分布式架构。
[0042]
工作原理：本发明通过数据模型设计单元1通过确定存储的数据类型、结构和格式，为不同的数据类型定义字段，来实现时间序列数据模型的定义，并将定义完成的时间序列数据模型传输至数据存储处理单元2，通过数据存储处理单元2根据接收的数据模型确定存储策略和处理策略，包括数据分区、数据备份、数据恢复和数据冗余，并选择合适的存储结构和索引方式减少节点故障和数据丢失情况，制定数据的备份和恢复策略，并将完成的数据存储方式传输至通信协议确定单元3，通过通信协议确定单元3根据接收的数据存储方式采用通信协议实现节点之间的通信和协调，设计时定义数据交换协议、分布式事务协议和心跳协议，并通过链路控制算法定义链路控制协议，将确定的通信协议传输至分布式架构单元4；
[0043]
同时通过分布式架构单元4根据接收的通信协议定义不同的分布式架构，包括哈希分区架构、副本复制架构和一致性哈希，通过设计多节点分布式架构实现系统的扩展性和可用性，并将定义完成的分布式架构传输至查询语言设计单元5，通过查询语言设计单元5根据接收的分布式架构定义一套针对时序数据的查询语言，定义的查询语言支持聚合和筛选操作，将设计完成的查询语言分别传输至测试与优化单元6和数据可视化单元7，通过测试与优化单元6在完成分布式时序数据库的设计后，对进行性能测试和优化，通过接收的查询语言对数据存储、查询和处理性能进行测试，并根据测试结果对系统进行优化，通过数据可视化单元7根据查询语言查询所需要的数据，将查询到的数据进行可视化，通过图表和表格界面展示数据，使得用户能够交互和分析数据。
[0044]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0045]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以
理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种分布式时序数据库，其特征在于包括数据模型设计单元(1)、数据存储处理单元(2)、通信协议确定单元(3)、分布式架构单元(4)、查询语言设计单元(5)、测试与优化单元(6)和数据可视化单元(7)；所述数据模型设计单元(1)通过确定存储的数据类型、结构和格式，为不同的数据类型定义字段，来实现时间序列数据模型的定义，并将定义完成的时间序列数据模型传输至数据存储处理单元(2)；所述数据存储处理单元(2)对数据模型设计单元(1)发出的时间序列数据模型进行接收，根据接收的数据模型确定存储策略和处理策略，包括数据分区、数据备份、数据恢复和数据冗余，并选择合适的存储结构和索引方式减少节点故障和数据丢失情况，制定数据的备份和恢复策略，并将完成的数据存储方式传输至通信协议确定单元(3)；所述通信协议确定单元(3)对数据存储处理单元(2)发出的数据存储方式进行接收，并根据接收的数据存储方式采用通信协议实现节点之间的通信和协调，设计时定义数据交换协议、分布式事务协议和心跳协议，并通过链路控制算法定义链路控制协议，将确定的通信协议传输至分布式架构单元(4)。2.根据权利要求1所述的一种分布式时序数据库，其特征在于：所述分布式架构单元(4)对通信协议确定单元(3)发出的通信协议进行接收，并根据接收的通信协议定义不同的分布式架构，并将定义完成的分布式架构传输至查询语言设计单元(5)，所述查询语言设计单元(5)对分布式架构单元(4)发出的分布式架构进行接收，并根据接收的分布式架构定义一套针对时序数据的查询语言，定义的查询语言支持聚合和筛选操作，将设计完成的查询语言分别传输至测试与优化单元(6)和数据可视化单元(7)。3.根据权利要求1所述的一种分布式时序数据库，其特征在于：所述测试与优化单元(6)对查询语言设计单元(5)发出的查询语言进行接收，并在完成分布式时序数据库的设计后，对进行性能测试和优化，通过接收的查询语言对数据存储、查询和处理性能进行测试，并根据测试结果对系统进行优化，所述数据可视化单元(7)对查询语言设计单元(5)发出的查询语言进行接收，并根据查询语言查询所需要的数据，将查询到的数据进行可视化，通过图表和表格界面展示数据，使得用户能够交互和分析数据。4.根据权利要求1所述的一种分布式时序数据库，其特征在于：所述数据模型设计单元(1)包括数据类型识别模块(101)、测量对象定义模块(102)、标签定义模块(103)和时间戳确定模块(104)，所述数据类型识别模块(101)明确所需存储的数据类型，包括通过时间排序的测量值，测量值可以是任何数据类型，包括数字、布尔值和字符串，所述测量对象定义模块(102)确定测量对象，存储时间序列数据的实体或设备，所述标签定义模块(103)对每一个数据定义一些标签来描述测量值来自的位置或属性，标签可以是字符串或数字类型的键值对，所述时间戳确定模块(104)为每一个数据进入数据库确定一个时间，用于确定所测量的时间。5.根据权利要求1所述的一种分布式时序数据库，其特征在于：所述数据存储处理单元(2)包括数据分区模块(201)和数据备份模块(202)，所述数据分区模块(201)分配节点存储数据的方式，所述数据备份模块(202)为系统提供容错保护的方式，采用分布式备份策略，利用副本策略和冗余节点技术，通过选择多个副本和多个备份策略。6.根据权利要求1所述的一种分布式时序数据库，其特征在于：所述数据存储处理单元
(2)还包括数据恢复模块(203)、数据冗余模块(204)和存储方式与索引选择模块(205)，所述数据恢复模块(203)在节点故障或数据丢失的情况下，需要采取数据恢复措施，以保障系统的运行和稳定性，采用基于备份的数据恢复策略，实现数据的快速恢复，所述数据冗余模块(204)采用数据冗余措施，包括数据压缩、数据分级存储和数据加密，所述存储方式与索引选择模块(205)采用常见的存储结构和索引方式包括红黑树和b+树，选择合适的方式来支持时序数据的高效存储和查询。7.根据权利要求1所述的一种分布式时序数据库，其特征在于：所述通信协议确定单元(3)包括协议类型确定模块(301)、协议交互设计模块(302)、规则确定模块(303)和协议测试与验证模块(304)，所述协议类型确定模块(301)确定通信协议的类型、数据格式和数据传输方式，所述协议交互设计模块(302)设计协议交互过程中的请求和响应、错误处理、认证和授权方面的内容，所述规则确定模块(303)确定通信协议的标准和规范，以满足不同的通信需求和技术标准，促进数据交换的流程和方法的统一，所述协议测试与验证模块(304)在协议设计完成后，进行全面的测试和检验，确保协议能够满足各种任务和场景的要求。8.根据权利要求1所述的一种分布式时序数据库，其特征在于：所述分布式架构单元(4)包括分布式架构设计模块(401)、架构选型模块(402)、负载均衡模块(403)和安全管理模块(404)，所述分布式架构设计模块(401)分析业务需求和应用场景，确定所需的分布式架构，包括数据分布方式、节点数、备份策略和复制机制，支持大规模时序数据的高效处理和存储，采用主从或多主架构，所述架构选型模块(402)根据实际需求和业务场景，选择适合的分布式技术和系统，并选出合适的分布式时序数据库管理系统，所述负载均衡模块(403)定义数据分片规则和数据节点，保证数据分散存储和负载均衡，同时在数据访问中，也需要关注请求路由和节点选择，实现分布式系统的高效可用和负载均衡，所述安全管理模块(404)针对分布式系统架构的安全问题，制定合适的安全管理措施。

技术总结
本发明公开了一种分布式时序数据库，涉及数据库技术领域，包括数据模型设计单元和通信协议确定单元，所述数据模型设计单元通过确定存储的数据类型、结构和格式，为不同的数据类型定义字段，来实现时间序列数据模型的定义，所述通信协议确定单元对数据存储处理单元发出的数据存储方式进行接收，并根据接收的数据存储方式采用通信协议实现节点之间的通信和协调，设计时定义数据交换协议、分布式事务协议和心跳协议，并通过链路控制算法定义链路控制协议。本发明通过数据模型设计单元设计数据模型，通过数据存储方式处理单元确定存储策略和处理策略，通过通信协议确定单元确定通信协议。议。议。


技术研发人员：付强 金文光
受保护的技术使用者：无锡数科云软件有限公司
技术研发日：2023.06.09
技术公布日：2023/9/23