一种时序数据同步方法、装置、设备及存储介质与流程

1.本发明涉及时序数据处理技术领域，尤其涉及一种时序数据同步方法、装置、设备及存储介质。


背景技术：

2.随着社会不断发展，传统的单机时序数据库越来越难以满足日益增长的数据计算、存储需求，为解决单机的计算、存储瓶颈限制，需要将单机时序数据库设计为分布式的，而为了保证计算节点的性能，每个计算节点都需要一份包含所有测点属性数据的副本，进而引入数据同步的问题。
3.为了解决这一问题，可以通过基于操作日志恢复或是基于比较数据块的默克尔树并只同步有变更的数据块来完成数据同步。
4.无论是基于操作日志恢复还是基于比较数据块的默克尔树，效率都很低，且计算数据量大，当需要同步的数据量过多时，每次同步所需要传输的数据量也随之变大，传输负担沉重。


技术实现要素：

5.本发明提供了一种时序数据同步方法、装置、设备及存储介质，以解决同步数据时带来的过多计算量和效率低的问题。
6.根据本发明的一方面，提供了一种时序数据同步方法，包括：
7.基于预设存储空间中的原始测点数据的版本号生成至少一颗棵原始多叉默克尔树，并计算各原始多叉默克尔树的原始总哈希值；
8.当原始总哈希值与目标数据库中与各原始多叉默克尔树关联的至少一颗棵更新参考多叉默克尔树的参考总哈希值不相同时，确定目标原始多叉默克尔树，并逐层比较目标原始多叉默克尔树的中间节点与对应的更新参考多叉默克尔树的中间节点的哈希值，直到确定目标更新测点段；
9.将目标数据库中的目标更新测点段的测点数据同步到预设存储空间中，并更新预设存储空间中的目标更新测点段中被更新数据的版本号。
10.根据本发明的另一方面，提供了一种时序数据同步装置，包括：
11.原始数据管理模块，用于基于预设存储空间中的原始测点数据的版本号生成至少一棵原始多叉默克尔树，并计算各原始多叉默克尔树的原始总哈希值；
12.待同步数据确定模块，用于当原始总哈希值与目标数据库中与各原始多叉默克尔树关联的至少一棵更新参考多叉默克尔树的参考总哈希值不相同时，确定目标原始多叉默克尔树，并逐层比较目标原始多叉默克尔树的中间节点与对应的更新参考多叉默克尔树的中间节点的哈希值，直到确定目标更新测点段；
13.数据同步模块，用于将目标数据库中的目标更新测点段的测点数据同步到预设存储空间中，并更新预设存储空间中的目标更新测点段中被更新数据的版本号。
14.根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
15.至少一个处理器；以及
16.与所述至少一个处理器通信连接的存储器；其中，
17.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的时序数据同步方法。
18.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的时序数据同步方法。
19.本发明实施例的技术方案，通过基于预设存储空间中的原始测点数据的版本号生成至少一颗棵原始多叉默克尔树，并计算各原始多叉默克尔树的原始总哈希值，通过生成多叉默克尔树，可以有效地减少默克尔树的层数，进而减少检索时的计算量，当原始总哈希值与目标数据库中与各原始多叉默克尔树关联的至少一颗棵更新参考多叉默克尔树的参考总哈希值不相同时，确定目标原始多叉默克尔树，并逐层比较目标原始多叉默克尔树的中间节点与对应的更新参考多叉默克尔树的中间节点的哈希值，直到确定目标更新测点段，通过对比哈希值，可以高效的找出需要同步的数据，将目标数据库中的目标更新测点段的测点数据同步到预设存储空间中，并更新预设存储空间中的目标更新测点段中被更新数据的版本号，将更新后的数据同步存储在存储空间中，使得后续计算时数据不需要二次请求，减少了请求的次数，提高了计算的效率，本发明实施例的技术方案，解决了同步数据时计算量大、传输效率低的问题，实现了为数据生成多叉默克尔树，减少默克尔树层数，在同步数据时，通过对比对应节点上的哈希值，无需进行多次检索，即可找出需要同步的数据，进而同步数据，避免了因多次检索而带来的过多计算量，提高了数据同步的效率。
20.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
21.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1为本发明实施例一提供的一种时序数据同步方法的流程图；
23.图2为本发明实施例二提供的另一种时序数据同步方法的流程图
24.图3是根据本发明实施例二所适用的64叉满叉默克尔树结构图；
25.图4是根据本发明实施例二所适用的测点数据的同步流程图；
26.图5是根据本发明实施例三提供的一种时序数据同步装置的结构示意图；
27.图6是实现本发明实施例的时序数据同步方法的电子设备的结构示意图。
具体实施方式
28.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的
附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
29.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
30.实施例一
31.图1为本发明实施例一提供的一种时序数据同步方法的流程图，本实施例可适用于更新本地缓存数据的情况，该方法可以由时序数据同步装置来执行，该时序数据同步装置可以采用硬件和/或软件的形式实现，该时序数据同步装置可配置于计算机或智能计算设备中。如图1所示，该方法包括：
32.s110、基于预设存储空间中的原始测点数据的版本号生成至少一棵原始多叉默克尔树，并计算各原始多叉默克尔树的原始总哈希值。
33.其中，测点数据可以是指使用测量仪器经过测试后发出的数据，原始测点数据可以是存储在本地缓存中的测点数据，可以用来做分类记录和分析。
34.哈希值是把任意长度的数值通过特定算法变换成固定长度的整数的值，可以提高存储空间的利用率和数据的查询效率，也可以保障数据传递的安全性。
35.版本号可以是一串用来记录测点数据是否启用以及是否发生修改的无符号整形数据，示例性的，版本号可以是32位无符号整形数据，未启使用的值为0，已启用的默认值为1，启用后有修改则版本号加1。
36.通常，默克尔树为存储哈希值的二叉树，通常用来校验数据的完整性和快速比较大量的数据，在本实施例中，采用了多叉默克尔树进行测点数据的管理。多叉默克尔树相对于默克尔树减少了层级，减少了检索数据时所需要的计算量。原始多叉默克尔树可以是存储在本地缓存中的、拥有多叉树结构的默克尔树，是基于本地的原始测点数据的版本号生成的，其中，最顶层的节点为根节点。原始总哈希值为本地缓存中所有原始多叉默克尔树的根节点经过计算得到的哈希值。
37.具体的，根据预设存储空间中的原始测点数据的版本号，为预设数量的测点数据生成原始多叉默克尔树，将原始测点数据的版本号存放在对应的原始多叉默克尔树的最底层节点，其余的节点经过计算生成哈希值，计算所有默克尔树的根节点的总哈希值。
38.示例性的，时序数据同步装置可以为多个分布式计算节点中一个计算节点，计算节点根据本地缓存的原始测点属性数据的版本号生成对应的原始64叉默克尔树，将所有的原始64叉默克尔树的根节点进行计算得到原始总哈希值。
39.可选的，基于预设存储空间中的原始测点数据的版本号生成至少一棵原始多叉默克尔树，包括：
40.根据原始测点数据的测点号进行测点数据分段，得到多个测点段的原始测点数据。
41.基于每个测点段的原始测点数据生成预设分叉数的多叉默克尔树，得到多棵原始多叉默克尔树，其中，各原始多叉默克尔树的叶子节点中存放对应原始测点数据的版本号。
42.其中，测点号可以是每个测点的唯一标识，测点段为根据原始测点数据的测点号进行测点数据分段得到的一段测点数据。叶子节点为默克尔树中最底层的节点。
43.具体的，将原始测点数据根据测点号进行测点数据分段，可以得到多个测点段的原始测点数据，基于测点段的原始测点数据的版本号生成预设分叉数的默克尔树，将原始测点数据的版本号存放在对应默克尔树的叶子节点上，避免了叶子节点上的哈希计算，节省了计算量。示例性的，预设分叉数可以为64。其中，对应的规则是原始多叉默克尔树和更新参考多叉默克尔树有着相同测点段的测点数据的版本号。
44.示例性的，每个测点段大小可以为256k，生成一个对应的64叉满叉默克尔树，其层数为4层。可以有效的减少默克尔树的深度。
45.s120、当原始总哈希值与目标数据库中与各原始多叉默克尔树关联的至少一棵更新参考多叉默克尔树的参考总哈希值不相同时，确定目标原始多叉默克尔树，并逐层比较目标原始多叉默克尔树的中间节点与对应的更新参考多叉默克尔树的中间节点的哈希值，直到确定目标更新测点段。
46.其中，目标数据库可以为数据同步过程中数据发送方的数据库，更新参考多叉默克尔树为和原始多叉默克尔树有相同测点段的测点数据版本号的多叉默克尔树。
47.具体的，通过比较原始总哈希值与目标数据库中与各原始多叉默克尔树关联的至少一棵更新参考多叉默克尔树的参考总哈希值，根据哈希值是否相同可以确定测点数据是否有更新，当有哈希值不同的时候，逐层确定所有不同哈希值的节点，最后得到需要更新的测点段。
48.其中，目标原始多叉默克尔树是通过各原始多叉默克尔树与对应的更新参考多叉默克尔树经过对比后得到的，存在相同节点位置上哈希值不同的原始多叉默克尔树。
49.可选的，确定目标原始多叉默克尔树的过程可以是通过比较各原始多叉默克尔树的根节点的哈希值与对应的更新参考多叉默克尔树的根节点的哈希值，将哈希值比较结果为不相同的根节点对应的原始多叉默克尔树确定为目标原始多叉默克尔树。
50.其中，目标原始多叉默克尔树为存在需要同步数据的对应的多叉默克尔树。具体的，比较各原始多叉默克尔树的根节点的哈希值与对应的更新参考多叉默克尔树的根节点的哈希值，当哈希值相同时，代表数据不需要更新；当哈希值不同的时，代表更新参考多叉默克尔树下有需要更新的数据。
51.示例性的，当计算节点中的某棵多叉默克尔树根节点哈希值与同一测点段对应的更新参考多叉默克尔树的哈希值不同的时，确定更新参考多叉默克尔树的索引号。
52.s130、将目标数据库中的目标更新测点段的测点数据同步到预设存储空间中，并更新预设存储空间中的目标更新测点段中被更新数据的版本号。
53.其中，目标更新测点段为经过默克尔树各层节点哈希值的对比后，需要更新的一段测点数据。
54.具体的，根据目标更新测点段更新测点数据的版本号，将更新的测点数据和对应
更新的测点数据的版本号存储在本地缓存中。只更新原始多叉默克尔树中发生变化的叶子节点的父节点下所有的叶子节点对应的测点数据，提高了数据同步的效率。
55.本发明实施例的技术方案，基于预设存储空间中的原始测点数据的版本号生成至少一颗棵原始多叉默克尔树，并计算各原始多叉默克尔树的原始总哈希值，当原始总哈希值与目标数据库中与各原始多叉默克尔树关联的至少一颗棵更新参考多叉默克尔树的参考总哈希值不相同时，确定目标原始多叉默克尔树，并逐层比较目标原始多叉默克尔树的中间节点与对应的更新参考多叉默克尔树的中间节点的哈希值，直到确定目标更新测点段，将目标数据库中的目标更新测点段的测点数据同步到预设存储空间中，并更新预设存储空间中的目标更新测点段中被更新数据的版本号，实现了为数据生成多叉默克尔树，减少默克尔树层数，在同步数据时，通过对比对应节点上的哈希值，无需进行多次检索，即可找出需要同步的数据，进而同步数据，避免了因多次检索而带来的过多计算量，提高了数据同步的效率。
56.进一步的，当原始总哈希值与目标数据库中与各原始多叉默克尔树关联的至少一棵更新参考多叉默克尔树的参考总哈希值不相同时，可以判断各原始默克尔树的根节点的哈希值数量与各更新参考多叉默克尔树的根节点的哈希值数量是否一致；当各原始默克尔树的根节点的哈希值数量少于各更新参考多叉默克尔树的根节点的哈希值数量时，确定各更新参考多叉默克尔树中新增更新参考多叉默克尔树对应的新增测点号。其中，原始多叉默克尔树和更新参考多叉默克尔树可以为64叉满叉默克尔树。
57.实施例二
58.图2为本发明实施例二提供的一种时序数据同步方法的流程图，本实施例与上述实施例的基础上，对时序数据同步策略的调整过程进行了进一步的描述。具体实施方式可以参见本实施例的说明。其中，与前述实施例相同或相似的技术特征在此不再赘述。
59.如图2所示，该方法包括：
60.s210、基于预设存储空间中的原始测点数据的版本号生成至少一颗棵原始多叉默克尔树，并计算各原始多叉默克尔树的原始总哈希值。
61.s220、当原始总哈希值与目标数据库中与各原始多叉默克尔树关联的至少一颗棵更新参考多叉默克尔树的参考总哈希值不相同时，确定目标原始多叉默克尔树。
62.s230、从与根节点相邻层级的子节点开始确定当前层级，比较所述目标原始多叉默克尔树中当前层级中各子节点的哈希值与对应的更新参考多叉默克尔树中对应层级各子节点的哈希值，确定与当前层级相邻的下一层级子节点中的目标更新次级子节点，重复该步骤直到找到所述目标原始多叉默克尔树的叶子节点的上一层级子节点中目标更新子节点，确定目标更新测点段。
63.其中，目标更新次级子节点为目标原始多叉默克尔树中，哈希值相较于更新参考多叉默克尔树中对应层级各子节点的哈希值有变化的节点的全部子节点。
64.具体的，时序数据同步装置请求分布式时序数据库中所有的参考更新默克尔树总的哈希值以及所有的参考更新默克尔树根节点的哈希值，和本地缓存中原始多叉默克尔树总的哈希值以及所有的原始多叉默克尔树根节点的哈希值做比较，当总的哈希值一样的时候表明所有的测点属性没有变化，当总的哈希值有变化时，先判断参考更新默克尔树根节点的哈希值数量和原始多叉默克尔树根节点的哈希值是否一致，当计算节点的原始多叉默
克尔树根节点的哈希值数量少于同步到的就统计这些缺少的原始多叉默克尔树对应的测点段的测点号范围，再按测点段依次比较原始多叉默克尔树根节点的哈希值和同步到的参考更新默克尔树根节点的哈希值有哪个不一样，当某个测点段的原始多叉默克尔树根节点的哈希值和同步到的参考更新默克尔树根节点的哈希值不一样，则统计对应的测点段段号，根据统计到的所有测点段段号和对应第一层所有子节点的哈希值，并比较本地缓存的这些原始多叉默克尔树节点的哈希值和同步到的参考更新默克尔树节点的哈希值是否一样，对于不一样的则统计对应的测点段段号和第二层节点的索引号，重复操作直至叶子节点的父节点，获取叶子节点的父节点中哈希值发生变化的索引和测点段号。
65.可选的，找到目标原始多叉默克尔树的叶子节点的上一层级子节点中目标更新子节点，确定目标更新测点段，包括：
66.将目标更新子节点对应的全部叶子节点的测点号范围，确定为目标更新测点段。
67.具体的，当目标原始多叉默克尔树的叶子节点的上一层级子节点的哈希值与更新参考多叉默克尔树对应节点的哈希值不同时，获取目标更新子节点对应的全部叶子节点的测点号范围，无需定位到具体哪个叶子节点的版本号有变化，节省了同步数据的成本，提高了同步数据的效率。
68.示例性的，以64叉满叉默克尔树为例，当发现第三层节点的哈希值有不同时，统计对应的测点段段号和第三层节点的索引号，再将这些测点段段号和第三层节点的索引号转化为需要同步的测点号范围。
69.s240、将目标数据库中的目标更新测点段的测点数据同步到预设存储空间中，并更新预设存储空间中的目标更新测点段中被更新数据的版本号。
70.本发明实施例的技术方案，基于预设存储空间中的原始测点数据的版本号生成至少一颗棵原始多叉默克尔树，并计算各原始多叉默克尔树的原始总哈希值，当原始总哈希值与目标数据库中与各原始多叉默克尔树关联的至少一颗棵更新参考多叉默克尔树的参考总哈希值不相同时，确定目标原始多叉默克尔树，并从与根节点相邻层级的子节点开始确定当前层级，比较所述目标原始多叉默克尔树中当前层级中各子节点的哈希值与对应的更新参考多叉默克尔树中对应层级各子节点的哈希值，确定与当前层级相邻的下一层级子节点中的目标更新次级子节点，重复该步骤直到找到所述目标原始多叉默克尔树的叶子节点的上一层级子节点中目标更新子节点，确定目标更新测点段，将目标数据库中的目标更新测点段的测点数据同步到预设存储空间中，并更新预设存储空间中的目标更新测点段中被更新数据的版本号。通过逐层比较相同测点段默克尔树的对应节点上的哈希值，可以快速定位需要更新测点数据的测点号和版本号，从而减少检索和对比的时间，提高数据同步的效率。实现了为数据生成多叉默克尔树，减少默克尔树层数，在同步数据时，通过对比对应节点上的哈希值，无需进行多次检索，即可找出需要同步的数据，进而同步数据，避免了因多次检索而带来的过多计算量，提高了数据同步的效率。
71.在一个具体的应用实例中，应用本发明提供的时序数据同步方法进行数据同步的过程如下：
72.首先按照分布式时序数据库的测点数据有一个数据类型为64位无符号整形的测点号，其中，测点号是测点数据的唯一标识，每次新增测点数据时就将该测点数据对应的的测点号加1。将分布式时序数据库中现有的测点数据根据测点号分为不同的测点段，每个测
点段大小为256k，其中，1k为1024，256k为262144，按256k分段的话一千万个测点数据需要39棵默克尔树，一亿个测点数据需要382棵默克尔树。然后为每个测点段生成对应的64叉满叉默克尔树，64叉满叉默克尔树的叶子节点存储对应测点数据的版本号，倘若叶子节点对应的测点数据未启用，则版本号为0；有256k个叶子节点的64叉满叉默克尔树结构如图3所示。这样有256k个叶子节点的64叉满叉默克尔树仅有四层，而为了快速判断这些64叉满叉默克尔树是否有更新，又根据所有64叉满叉默克尔树根节点的哈希值通过计算生成一个总的哈希值。
73.当所有的64叉满叉默克尔树和总的哈希值都生成好后，就可以响应计算节点的测点数据的同步请求了，计算节点的测点数据的同步流程图如图4所示。
74.根据计算节点根据本地缓存的测点数据按测点段生成对应的64叉满叉默克尔树和总的哈希值；
75.如图4所示的同步请求一，计算节点请求分布式时序数据库中对应计算节点本地缓存的64叉满叉默克尔树总的哈希值和所有的64叉满叉默克尔树根节点的哈希值，当总的哈希值一样的时候表明本地缓存所有的测点数据没有变化，就可以结束当前的同步，等待进入下一次同步。当总的哈希值有变化时，先判断本地缓存测点有没有增加，即判断64叉满叉默克尔树根节点的哈希值数量是否一致，当计算节点的64叉满叉默克尔树根节点的哈希值数量少于同步到的64叉满叉默克尔树根节点的哈希值数量，统计这些缺少的64叉满叉默克尔树根节点的哈希值对应的测点段的测点号范围，再按测点段依次比较计算节点本地缓存的64叉满叉默克尔树根节点的哈希值和同步到的异同。
76.当某个测点段的64叉满叉默克尔树根节点的哈希值和同步到的64叉满叉默克尔树根节点的哈希值不一样，则统计对应的测点段段号。
77.如图4所示的同步请求二，请求统计到的所有测点段段号和对应第一层所有子节点的哈希值，并比较本地的这些节点的哈希值和同步到的对应的节点的哈希值是否一样，对于不一样的则统计对应的测点段段号和第二层节点的索引号。
78.如图4所示的同步请求三，请求统计到的所有测点段段号和对应第二层有差异的节点的所有子节点的哈希值，并比较本地缓存中的这些节点的哈希值和同步到的对应的节点的哈希值是否一样，对于不一样的统计对应的测点段段号和第三层节点的索引号，再将这些测点段段号和第三层节点的索引号转化为需要同步的测点号范围。
79.可选的，综合考虑同步的效率和成本，第三层节点的哈希值有变化时则直接获取这个节点对应的64个测点数据的版本号，而不用具体定位到是哪个测点数据的版本号有变化。
80.如图4所示的同步请求四，请求分布式时序数据库所有需要同步的测点号范围内的测点数据，更新到计算节点的本地缓存中，并依据获取到的测点数据的测点号和版本号更新对应64叉满叉默克尔树，完成当前的同步，等待进入下一次同步。
81.综上所述，最多只需要请求三次就可以获取到所有有变化的测点数据所在的测点号范围，然后根据这个测点号范围再请求对应的测点数据就可以完成一次所有的测点属性同步，即最多请求四次即可以完成一次所有的测点数据同步。
82.示例性的，在分布式时序数据库有一亿个测点时，无论有多少个测点属性有变化，请求三次最多仅需要传输三十几兆字节就可以获取到所有有变化的测点数据所在的测点
号范围，提高了分布式时序数据库大规模测点属性同步的效率。
83.综上所述，本发明实施例的技术方案，综合考虑数据同步中数据比对与数据获取的效率和次数，设计出一种无论测点规模有多大、测点属性差异有多大，最多仅需请求四次即可以高效、快速完成一次所有的测点数据同步的方法。
84.实施例三
85.图5为本发明实施例三提供的一种时序数据同步装置的结构示意图。如图5所示，该装置包括：原始数据管理模块510、待同步数据确定模块520、数据同步模块530。
86.其中，原始数据管理模块510，用于基于预设存储空间中的原始测点数据的版本号生成至少一棵原始多叉默克尔树，并计算各原始多叉默克尔树的原始总哈希值，待同步数据确定模块520，用于当原始总哈希值与目标数据库中与各原始多叉默克尔树关联的至少一棵更新参考多叉默克尔树的参考总哈希值不相同时，确定目标原始多叉默克尔树，并逐层比较目标原始多叉默克尔树的中间节点与对应的更新参考多叉默克尔树的中间节点的哈希值，直到确定目标更新测点段，数据同步模块530，用于将目标数据库中的目标更新测点段的测点数据同步到预设存储空间中，并更新预设存储空间中的目标更新测点段中被更新数据的版本号。
87.本发明实施例的技术方案，通过基于预设存储空间中的原始测点数据的版本号生成至少一颗棵原始多叉默克尔树，并计算各原始多叉默克尔树的原始总哈希值，通过生成多叉默克尔树，可以有效地减少默克尔树的层数，进而减少检索时的计算量，当原始总哈希值与目标数据库中与各原始多叉默克尔树关联的至少一颗棵更新参考多叉默克尔树的参考总哈希值不相同时，确定目标原始多叉默克尔树，并逐层比较目标原始多叉默克尔树的中间节点与对应的更新参考多叉默克尔树的中间节点的哈希值，直到确定目标更新测点段，通过对比哈希值，可以高效的找出需要同步的数据，将目标数据库中的目标更新测点段的测点数据同步到预设存储空间中，并更新预设存储空间中的目标更新测点段中被更新数据的版本号，将更新后的数据同步存储在存储空间中，使得后续计算时数据不需要二次请求，减少了请求的次数，提高了计算的效率，本发明实施例的技术方案，通过各模块之间的配合，解决了同步数据时计算量大、传输效率低的问题，为数据生成多叉默克尔树，实现了减少默克尔树的层数，在同步数据时，通过对比对应节点上的哈希值，无需进行多次检索，即可找出需要同步的数据，进而同步数据，避免了因多次检索而带来的过多计算量，提高了数据同步的效率。
88.在上述各技术方案的基础上，可选的，原始数据管理模块510，包括：测点数据分段单元和默克尔树生成单元，
89.其中，测点数据分段单元，用于根据原始测点数据的测点号进行测点数据分段，得到多个测点段的原始测点数据；
90.默克尔树生成单元，用于基于每个测点段的原始测点数据生成预设分叉数的多叉默克尔树，得到多颗棵原始多叉默克尔树，其中，各原始多叉默克尔树的叶子节点中存放对应原始测点数据的版本号。
91.在上述各技术方案的基础上，可选的，待同步数据确定模块520，用于：
92.比较各原始多叉默克尔树的根节点的哈希值与对应的更新参考多叉默克尔树的根节点的哈希值，将哈希值比较结果为不相同的根节点对应的原始多叉默克尔树确定为目
标原始多叉默克尔树。
93.在上述各技术方案的基础上，可选的，待同步数据确定模块520，用于：
94.从与根节点相邻层级的子节点开始确定当前层级，比较目标原始多叉默克尔树中当前层级中各子节点的哈希值与对应的更新参考多叉默克尔树中对应层级各子节点的哈希值，确定与当前层级相邻的下一层级子节点中的目标更新次级子节点，重复该步骤直到找到目标原始多叉默克尔树的叶子节点的上一层级子节点中目标更新子节点，确定目标更新测点段。
95.在上述各技术方案的基础上，可选的，找到目标原始多叉默克尔树的叶子节点的上一层级子节点中目标更新子节点，确定目标更新测点段，用于：
96.将目标更新子节点对应的全部叶子节点的测点号范围，确定为目标更新测点段。
97.在上述各技术方案的基础上，可选的，待同步数据确定模块520，还可用于：
98.判断各原始默克尔树的根节点的哈希值数量与各更新参考多叉默克尔树的根节点的哈希值数量是否一致。
99.当各原始默克尔树的根节点的哈希值数量少于各更新参考多叉默克尔树的根节点的哈希值数量时，确定各更新参考多叉默克尔树中新增更新参考多叉默克尔树对应的新增测点号。
100.在上述各技术方案的基础上，可选的，原始多叉默克尔树和更新参考多叉默克尔树为64叉满叉默克尔树。
101.本发明实施例所提供的时序数据同步装置可执行本发明任意实施例所提供的时序数据同步方法，具备执行方法相应的功能模块和有益效果。
102.实施例四
103.图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
104.如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
105.电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
106.处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能
(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如时序数据同步方法。
107.在一些实施例中，时序数据同步方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的时序数据同步方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行时序数据同步方法。
108.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
109.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
110.在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
111.为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
112.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界
面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
113.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
114.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
115.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：
1.一种时序数据同步方法，其特征在于，包括：基于预设存储空间中的原始测点数据的版本号生成至少一棵原始多叉默克尔树，并计算各所述原始多叉默克尔树的原始总哈希值；当所述原始总哈希值与目标数据库中与各所述原始多叉默克尔树关联的至少一棵更新参考多叉默克尔树的参考总哈希值不相同时，确定目标原始多叉默克尔树，并逐层比较所述目标原始多叉默克尔树的中间节点与对应的更新参考多叉默克尔树的中间节点的哈希值，直到确定目标更新测点段；将所述目标数据库中的目标更新测点段的测点数据同步到所述预设存储空间中，并更新所述预设存储空间中的所述目标更新测点段中被更新数据的版本号。2.根据权利要求1所述的方法，其特征在于，所述基于预设存储空间中的原始测点数据的版本号生成至少一棵原始多叉默克尔树，包括：根据所述原始测点数据的测点号进行测点数据分段，得到多个测点段的原始测点数据；基于每个所述测点段的原始测点数据生成预设分叉数的多叉默克尔树，得到多棵原始多叉默克尔树，其中，各所述原始多叉默克尔树的叶子节点中存放对应原始测点数据的版本号。3.根据权利要求1所述的方法，其特征在于，所述确定目标原始多叉默克尔树，包括：比较各所述原始多叉默克尔树的根节点的哈希值与对应的更新参考多叉默克尔树的根节点的哈希值，将哈希值比较结果为不相同的根节点对应的原始多叉默克尔树确定为目标原始多叉默克尔树。4.根据权利要求1所述的方法，其特征在于，逐层比较所述目标原始多叉默克尔树的中间节点与对应的更新参考多叉默克尔树的中间节点的哈希值，直到确定目标更新测点段，包括：从与根节点相邻层级的子节点开始确定当前层级，比较所述目标原始多叉默克尔树中当前层级中各子节点的哈希值与对应的更新参考多叉默克尔树中对应层级各子节点的哈希值，确定与当前层级相邻的下一层级子节点中的目标更新次级子节点，重复该步骤直到找到所述目标原始多叉默克尔树的叶子节点的上一层级子节点中目标更新子节点，确定目标更新测点段。5.根据权利要求4所述的方法，其特征在于，找到所述目标原始多叉默克尔树的叶子节点的上一层级子节点中目标更新子节点，确定目标更新测点段，包括：将所述目标更新子节点对应的全部叶子节点的测点号范围，确定为目标更新测点段。6.根据权利要求1-5中任一所述的方法，其特征在于，当所述原始总哈希值与目标数据库中与各所述原始多叉默克尔树关联的至少一棵更新参考多叉默克尔树的参考总哈希值不相同时，所述方法还包括：判断各所述原始默克尔树的根节点的哈希值数量与各所述更新参考多叉默克尔树的根节点的哈希值数量是否一致；当各所述原始默克尔树的根节点的哈希值数量少于各所述更新参考多叉默克尔树的根节点的哈希值数量时，确定各所述更新参考多叉默克尔树中新增更新参考多叉默克尔树对应的新增测点号。
7.根据权利要求6所述的方法，其特征在于，所述原始多叉默克尔树和所述更新参考多叉默克尔树为64叉满叉默克尔树。8.一种时序数据同步装置，其特征在于，包括：原始数据管理模块，用于基于预设存储空间中的原始测点数据的版本号生成至少一棵原始多叉默克尔树，并计算各所述原始多叉默克尔树的原始总哈希值；待同步数据确定模块，用于当所述原始总哈希值与目标数据库中与各所述原始多叉默克尔树关联的至少一棵更新参考多叉默克尔树的参考总哈希值不相同时，确定目标原始多叉默克尔树，并逐层比较所述目标原始多叉默克尔树的中间节点与对应的更新参考多叉默克尔树的中间节点的哈希值，直到确定目标更新测点段；数据同步模块，用于将所述目标数据库中的目标更新测点段的测点数据同步到所述预设存储空间中，并更新所述预设存储空间中的所述目标更新测点段中被更新数据的版本号。9.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的时序数据同步方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的时序数据同步方法。

技术总结
本发明公开了一种时序数据同步方法、装置、设备及存储介质。其中，方法，包括：基于预设存储空间中的原始测点数据的版本号生成至少一颗棵原始多叉默克尔树，计算各原始多叉默克尔树的原始总哈希值，当原始总哈希值与目标数据库中与各原始多叉默克尔树关联的至少一颗棵更新参考多叉默克尔树的参考总哈希值不相同时，确定目标原始多叉默克尔树，逐层比较目标原始多叉默克尔树中间节点与对应的更新参考多叉默克尔树中间节点的哈希值，直到确定目标更新测点段，将目标数据库中的目标更新测点段的测点数据同步到预设存储空间中，更新预设存储空间中的目标更新测点段中被更新数据的版本号。避免了多次检索带来的过多计算量，提高了数据同步的效率。高了数据同步的效率。高了数据同步的效率。


技术研发人员：曾锡池 陈国栋 敖鹏亮
受保护的技术使用者：南方电网数字平台科技（广东）有限公司
技术研发日：2023.05.18
技术公布日：2023/8/13