数据同步方法、数据处理方法及相关装置与流程

1.本技术实施例涉及云平台领域，尤其涉及数据同步方法、数据处理方法及相关装置。


背景技术：

2.随着科学技术的不断发展，云平台技术页逐渐成熟，云平台能够给人们带来越来越多的便利。目前，云平台通过提供对外接口，事件目标通过周期性轮询接口的方式定时获取最新数据，以实现数据同步。
3.然而，周期性轮询以云平台为代表的事件源的接口，导致数据的更新同步是周期性的，最新数据只能等待下一周期同步，数据的更新同步响应速度较慢，效率较低，大大降低了用户的体验。


技术实现要素：

4.本技术实施例提供了一种数据同步方法、数据处理方法及相关装置。
5.一种数据同步方法，包括：
6.服务器接收用户发送的订阅请求，所述订阅请求包括回调地址和目标事件的事件类型；
7.所述服务器根据所述事件类型确定所述目标事件的目标事件主题；
8.所述服务器向与所述目标事件主题对应的事件源发送数据请求，以接收所述事件源发送的目标数据；
9.所述服务器将所述目标数据同步至与所述回调地址对应的事件目标。
10.可选的，所述所述服务器根据所述事件类型确定所述目标事件的事件主题之前，所述方法还包括：
11.预先设置多个备选事件主题；
12.所述服务器根据所述事件类型确定所述目标事件的目标事件主题，包括：
13.所述服务器根据所述事件类型从所述多个备选事件主题中确定所述目标事件的目标事件主题。
14.可选的，所述所述服务器向与所述目标事件主题对应的事件源发送数据请求，以接收所述事件源发送的目标数据之后，所述方法还包括：
15.所述服务器将所述目标数据存储至本地；
16.所述服务器将所述目标数据同步至与所述回调地址对应的事件目标，包括：
17.所述服务器读取存储至本地的所述目标数据，以将所述目标数据同步至与所述回调地址对应的所述事件目标。
18.可选的，所述目标数据采用云事件数据结构。
19.一种数据处理方法，包括：
20.事件源接收服务器发送的数据请求，所述数据请求包括目标事件的目标事件主题
与所述服务器中的目标分布式应用运行时模块的映射关系；
21.与所述目标事件主题对应的所述事件源根据所述数据请求向所述目标分布式应用运行时模块推送目标数据。
22.一种数据同步装置，包括：
23.第一接收单元，用于接收用户发送的订阅请求，所述订阅请求包括回调地址和目标事件的事件类型；
24.确定单元，用于根据所述事件类型确定所述目标事件的目标事件主题；
25.处理单元，用于向与所述目标事件主题对应的事件源发送数据请求，以接收所述事件源发送的目标数据；
26.同步单元，用于将所述目标数据同步至与所述回调地址对应的事件目标。
27.一种数据处理装置，包括：
28.第二接收单元，用于接收服务器发送的数据请求，所述数据请求包括目标事件的目标事件主题与所述服务器中的目标分布式应用运行时模块的映射关系；
29.推送单元，用于根据所述数据请求向所述目标分布式应用运行时模块推送目标数据。
30.一种数据同步装置，包括：
31.中央处理器，存储器以及输入输出接口；
32.所述存储器为短暂存储存储器或持久存储存储器；
33.所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行前述的方法。
34.一种数据处理装置，包括：
35.中央处理器，存储器以及输入输出接口；
36.所述存储器为短暂存储存储器或持久存储存储器；
37.所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行前述的方法。
38.一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行前述的方法。
39.从以上技术方案可以看出，本技术实施例具有以下优点：
40.服务器接收用户发送的订阅请求，接着根据事件类型确定目标事件的目标事件主题，再向对应的事件源发送数据请求，以接收目标数据，最后将目标数据同步至与回调地址对应的事件目标。通过服务器主动实时将目标数据同步至事件目标，能够提升数据更新同步的响应速度，效率较高，给用户带来较好的体验。
附图说明
41.图1为本技术的总体架构图；
42.图2为本技术的数据同步方法一个实施例示意图；
43.图3为本技术的数据处理方法一个实施例示意图；
44.图4为本技术的另一实施例示意图；
45.图5为本技术的数据同步过程示意图；
46.图6为本技术的数据同步装置一个实施例示意图；
47.图7为本技术的数据同步装置另一实施例示意图；
48.图8为本技术的数据处理装置一个实施例示意图；
49.图9为本技术的数据处理装置另一实施例示意图。
具体实施方式
50.本技术实施例提供了一种数据同步方法、数据处理方法及相关装置。
51.现有的方案中，是通过周期性轮询接口来实现数据的更新同步，然而最新数据只能等待下一周期更新，响应速度慢，效率低。为了解决上述问题，本技术提供了一种数据同步方法、数据处理方法及相关装置，以主动实时进行数据更新同步，效率高，给用户带来较好的体验。
52.请参阅图1，为本技术的总体架构图，其中包括事件源(event source)、服务器中的事件总线(event bridge)和事件目标(event target)，还可以包括事件提供方(event provider)，事件提供方可按需求选择使用或不用，具体此处不做限定。事件总线具体情况请见表1：
53.[0054][0055]
表1
[0056]
下面基于上述架构，对本技术的数据同步方法和数据处理方法进行描述，请参阅图2，本技术的数据同步方法一个实施例包括：
[0057]
201、服务器接收用户发送的订阅请求；
[0058]
用户发送订阅请求至服务器，服务器接收该订阅请求，其中，订阅请求包括回调地址和目标事件的事件类型。具体的，由服务器中事件总线的portal模块负责接收订阅请求，并得到订阅请求中的回调地址和事件类型。
[0059]
202、服务器根据事件类型确定目标事件的目标事件主题；
[0060]
服务器中的portal模块根据事件类型确定目标事件的目标事件主题。具体的，开发人员预选设置多个主题，每一个主题对应一个事件源和一个存储队列。事件类型与事件源对应，也与相应的主题对应，故可从多个主题中确定出目标事件主题。其中，事件源包括云平台、xaas应用等。
[0061]
203、服务器向与目标事件主题对应的事件源发送数据请求，以接收事件源发送的目标数据；
[0062]
服务器向与目标事件主题对应的事件源发送数据请求，其中，数据请求包括目标事件主题与目标分布式应用运行时daprd模块的映射关系，映射关系是由portal根据每一个daprd模块的负载情况确定的，一般挑选当前负载最小的daprd模块与目标事件主题进行关联。事件源通过grvaity组件对mysql、mongo等进行数据监听，事件源接收到数据请求后，根据数据请求中的映射关系将目标数据发送至服务器的目标daprd模块。
[0063]
204、服务器将目标数据同步至与回调地址对应的事件目标。
[0064]
服务器将目标数据同步至与回调地址对应的事件目标。具体的，服务器的daprd模块会将目标数据存储至与目标事件主题对应的存储队列，接着会主动生成消费者，消费者主动将目标事件主题对应的存储队列的目标数据发送至与回调地址对应的事件目标。其中，事件目标包括http消息、消息队列或函数计算等。
[0065]
本技术实施例中，服务器接收用户发送的订阅请求，接着根据事件类型确定目标事件的目标事件主题，再向对应的事件源发送数据请求，以接收目标数据，最后将目标数据同步至与回调地址对应的事件目标。通过服务器主动实时将目标数据同步至事件目标，能够提升数据更新同步的响应速度，效率较高，给用户带来较好的体验。
[0066]
请参阅图3，本技术的数据处理方法一个实施例包括：
[0067]
301、事件源接收服务器发送的数据请求；
[0068]
事件源接收服务器发送的数据请求，其中，数据请求包括目标事件的目标事件主题与服务器中的目标分布式应用运行时daprd模块的映射关系，目标daprd模块为服务器当前负载最小的daprd模块，先选出daprd模块，再确定与目标事件主题的映射关系，放至数据请求中发送给事件源。
[0069]
302、与目标事件主题对应的事件源根据数据请求向目标分布式应用运行时模块推送目标数据。
[0070]
与目标事件主题对应的事件源根据数据请求中的映射关系向目标daprd模块推送目标数据。已知目标事件主题与目标daprd模块的对应关系，即可由事件源将目标数据推送至对应的目标daprd模块。
[0071]
本实施例中，事件源接收服务器发送的数据请求后，再根据数据请求中的映射关系向目标daprd模块发送目标数据。通过包括目标事件主题与目标daprd模块的映射关系的数据请求，能够使得指定事件源将目标数据发送至指定的daprd模块，提高了传输的效率，减轻服务器的压力。
[0072]
请参阅图4，本技术的另一实施例包括：
[0073]
401、预先设置多个备选事件主题；
[0074]
预先设置多个备选事件主题。可根据实际需求设置多个备选事件主题，每个主题
都有各自对应的事件源和存储队列。
[0075]
402、服务器接收用户发送的订阅请求；
[0076]
服务器接收用户发送的订阅请求，其中，订阅请求包括回调地址和目标事件的事件类型。具体的，由服务器中事件总线的portal模块负责接收订阅请求，并得到订阅请求中的回调地址和事件类型。
[0077]
403、服务器根据事件类型从多个备选事件主题中确定目标事件的目标事件主题；
[0078]
服务器中的daprd模块根据事件类型从多个备选事件主题中确定目标事件的目标事件主题。事件类型与事件源相对应，而每个事件源有对应的事件主题，故能够根据事件类型确定目标事件的目标事件主题。
[0079]
404、事件源接收服务器发送的数据请求；
[0080]
事件源接收服务器发送的数据请求，其中，数据请求包括目标事件的目标事件主题与服务器中的目标分布式应用运行时daprd模块的映射关系，目标daprd模块为服务器当前负载最小的daprd模块，先选出daprd模块，再确定与目标事件主题的映射关系，放至数据请求中发送给事件源。
[0081]
405、与目标事件主题对应的事件源根据数据请求向目标分布式应用运行时模块推送目标数据；
[0082]
与目标事件主题对应的事件源根据数据请求中的映射关系向目标daprd模块推送目标数据。已知目标事件主题与目标daprd模块的对应关系，即可由事件源将目标数据推送至对应的目标daprd模块。
[0083]
406、服务器将目标数据存储至本地；
[0084]
服务器的目标daprd模块接收到目标数据后，将目标数据存储至本地。具体的，存储至服务器的store模块中的目标存储队列，store模块包括kafka、redis、rabbitmq等，具体此处不做限定。
[0085]
407、服务器读取存储至本地的目标数据，以将目标数据同步至与回调地址对应的事件目标。
[0086]
服务器读取存储至本地的目标数据，以将目标数据同步至与回调地址对应的事件目标。具体的，服务器中的daprd模块主动生成消费者，消费者主动读取存储至store模块中存储队列的目标数据，并获取订阅请求中的回调地址，将目标数据发送至与回调地址对应的事件目标。
[0087]
其中，目标数据采用云事件数据结构，云事件数据结构是一种规范，用于以通用格式描述事件数据，以提供跨服务、平台和系统的交互能力。事件格式指定了如何使用某些编码格式来序列化云事件数据结构。支持这些编码的兼容云事件数据结构实现必须遵循在相应的事件格式中指定的编码规则。所有实现都必须支持json格式。
[0088]
基本规范：云事件数据结构属性名称必须由ascii字符集的小写字母(“a”到“z”)或数字(“0”到“9”)组成，并且必须以小写字母开头。属性名称应具有描述性和简洁性，长度不应超过20个字符。例如下表2：
[0089][0090]
表2
[0091]
图5为本技术的数据同步过程示意图。用户发送订阅请求至portal模块，portal模块挑选负载最小的daprd模块作为目标daprd模块，构建目标事件主题与目标daprd模块之间的关系，发送数据请求给事件源，事件源返回目标数据至目标daprd模块，daprd模块将目标数据存储至redis stream的存储队列中，daprd模块生成消费者主动读取目标数据，将目标数据发送至事件目标。
[0092]
本实施例中，服务器接收用户发送的订阅请求，接着根据事件类型确定目标事件的目标事件主题，再向对应的事件源发送数据请求，以接收目标数据，最后将目标数据同步至与回调地址对应的事件目标。通过服务器主动实时将目标数据同步至事件目标，能够提升数据更新同步的响应速度，效率较高。新增应用接入成本低，后续云平台集成新的服务需要同步数据，只需要提供需要订阅的目标数据和回调函数即可。被动模式转为主动调用模式，事件总线是基于应用方提供的回调接口通过http的方式进行返回数据。用户可以编写应用程序或者使用流计算引擎来处理写入到事件总线的类流式数据的数据，比如实时web访问日志、应用日志、各种事件等，并产出各种实时的数据处理结果比如实时图表、报警信息、实时统计等，提高了效率。
[0093]
下面对本技术的数据同步装置和数据处理装置进行描述。请参阅图6，本技术的数据同步装置一个实施例包括：
[0094]
第一接收单元601，用于接收用户发送的订阅请求，所述订阅请求包括回调地址和目标事件的事件类型；
[0095]
确定单元602，用于根据所述事件类型确定所述目标事件的目标事件主题；
[0096]
处理单元603，用于向与所述目标事件主题对应的事件源发送数据请求，以接收所
述事件源发送的目标数据；
[0097]
同步单元604，用于将所述目标数据同步至与所述回调地址对应的事件目标。
[0098]
本技术实施例中，第一接收单元601接收用户发送的订阅请求，接着确定单元602根据事件类型确定目标事件的目标事件主题，处理单元603再向对应的事件源发送数据请求，以接收目标数据，最后同步单元604将目标数据同步至与回调地址对应的事件目标。通过服务器主动实时将目标数据同步至事件目标，能够提升数据更新同步的响应速度，效率较高，给用户带来较好的体验。
[0099]
本实施例数据同步装置中各单元所执行的功能以及流程与前述图2、图4和图5中数据同步装置所执行的功能和流程类似，此处不再赘述。
[0100]
图7是本技术实施例提供的一种数据同步装置结构示意图，该数据同步装置700可以包括一个或一个以上中央处理器(central processing units，cpu)701和存储器705，该存储器705中存储有一个或一个以上的应用程序或数据。
[0101]
其中，存储器705可以是易失性存储或持久存储。存储在存储器705的程序可以包括一个或一个以上模块，每个模块可以包括对数据同步装置中的一系列指令操作。更进一步地，中央处理器701可以设置为与存储器705通信，在数据同步装置700上执行存储器705中的一系列指令操作。
[0102]
数据同步装置700还可以包括一个或一个以上电源702，一个或一个以上有线或无线网络接口703，一个或一个以上输入输出接口704，和/或，一个或一个以上操作系统，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm等。
[0103]
该中央处理器701可以执行前述图2、图4和图5所示实施例中数据同步装置所执行的操作，具体此处不再赘述。
[0104]
请参阅图8，本技术的数据处理装置一个实施例包括：
[0105]
第二接收单元801，用于接收服务器发送的数据请求，所述数据请求包括目标事件的目标事件主题与所述服务器中的目标分布式应用运行时模块的映射关系；
[0106]
推送单元802，用于根据所述数据请求向所述目标分布式应用运行时模块推送目标数据。
[0107]
本实施例中，第二接收单元801接收服务器发送的数据请求后，推送单元802再根据数据请求中的映射关系向目标daprd模块发送目标数据。通过包括目标事件主题与目标daprd模块的映射关系的数据请求，能够使得指定事件源将目标数据发送至指定的daprd模块，提高了传输的效率，减轻服务器的压力。
[0108]
本实施例数据处理装置中各单元所执行的功能以及流程与前述图3、图4和图5中数据处理装置所执行的功能和流程类似，此处不再赘述。
[0109]
图9是本技术实施例提供的一种数据处理装置结构示意图，该数据处理装置900可以包括一个或一个以上中央处理器(central processing units，cpu)901和存储器905，该存储器905中存储有一个或一个以上的应用程序或数据。
[0110]
其中，存储器905可以是易失性存储或持久存储。存储在存储器905的程序可以包括一个或一个以上模块，每个模块可以包括对数据处理装置中的一系列指令操作。更进一步地，中央处理器901可以设置为与存储器905通信，在数据处理装置900上执行存储器905中的一系列指令操作。
[0111]
数据处理装置900还可以包括一个或一个以上电源902，一个或一个以上有线或无线网络接口903，一个或一个以上输入输出接口904，和/或，一个或一个以上操作系统，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm等。
[0112]
该中央处理器901可以执行前述图3、图4和图5所示实施例中数据处理装置所执行的操作，具体此处不再赘述。
[0113]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0114]
需要说明的是，虽然各实施例所涉及的流程图中各个步骤按照箭头的指示依次绘制，但除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0115]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0116]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0117]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0118]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

技术特征：
1.一种数据同步方法，其特征在于，包括：服务器接收用户发送的订阅请求，所述订阅请求包括回调地址和目标事件的事件类型；所述服务器根据所述事件类型确定所述目标事件的目标事件主题；所述服务器向与所述目标事件主题对应的事件源发送数据请求，以接收所述事件源发送的目标数据；所述服务器将所述目标数据同步至与所述回调地址对应的事件目标。2.根据权利要求1所述的数据同步方法，其特征在于，所述所述服务器根据所述事件类型确定所述目标事件的事件主题之前，所述方法还包括：预先设置多个备选事件主题；所述服务器根据所述事件类型确定所述目标事件的目标事件主题，包括：所述服务器根据所述事件类型从所述多个备选事件主题中确定所述目标事件的目标事件主题。3.根据权利要求1所述的数据同步方法，其特征在于，所述所述服务器向与所述目标事件主题对应的事件源发送数据请求，以接收所述事件源发送的目标数据之后，所述方法还包括：所述服务器将所述目标数据存储至本地；所述服务器将所述目标数据同步至与所述回调地址对应的事件目标，包括：所述服务器读取存储至本地的所述目标数据，以将所述目标数据同步至与所述回调地址对应的所述事件目标。4.根据权利要求1所述的数据同步方法，其特征在于，所述目标数据采用云事件数据结构。5.一种数据处理方法，其特征在于，包括：事件源接收服务器发送的数据请求，所述数据请求包括目标事件的目标事件主题与所述服务器中的目标分布式应用运行时模块的映射关系；与所述目标事件主题对应的所述事件源根据所述数据请求向所述目标分布式应用运行时模块推送目标数据。6.一种数据同步装置，其特征在于，包括：第一接收单元，用于接收用户发送的订阅请求，所述订阅请求包括回调地址和目标事件的事件类型；确定单元，用于根据所述事件类型确定所述目标事件的目标事件主题；处理单元，用于向与所述目标事件主题对应的事件源发送数据请求，以接收所述事件源发送的目标数据；同步单元，用于将所述目标数据同步至与所述回调地址对应的事件目标。7.一种数据处理装置，其特征在于，包括：第二接收单元，用于接收服务器发送的数据请求，所述数据请求包括目标事件的目标事件主题与所述服务器中的目标分布式应用运行时模块的映射关系；推送单元，用于根据所述数据请求向所述目标分布式应用运行时模块推送目标数据。8.一种数据同步装置，其特征在于，包括：
中央处理器，存储器以及输入输出接口；所述存储器为短暂存储存储器或持久存储存储器；所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行权利要求1至4任一项所述的方法。9.一种数据处理装置，其特征在于，包括：中央处理器，存储器以及输入输出接口；所述存储器为短暂存储存储器或持久存储存储器；所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行权利要求5所述的方法。10.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至5任一项所述的方法。

技术总结
本申请实施例公开了一种数据同步方法、数据处理方法及相关装置。数据同步方法包括：服务器接收用户发送的订阅请求，所述订阅请求包括回调地址和目标事件的事件类型；所述服务器根据所述事件类型确定所述目标事件的目标事件主题；所述服务器向与所述目标事件主题对应的事件源发送数据请求，以接收所述事件源发送的目标数据；所述服务器将所述目标数据同步至与所述回调地址对应的事件目标。与所述回调地址对应的事件目标。与所述回调地址对应的事件目标。


技术研发人员：徐冲 谢宏峰 杨旭荣
受保护的技术使用者：深信服科技股份有限公司
技术研发日：2023.05.17
技术公布日：2023/8/14