数据管理方法、装置、计算机设备、存储介质和程序产品与流程

未命名 08-15 阅读:95 评论:0


1.本技术涉及计算机技术领域,特别是涉及一种数据管理方法、装置、计算机设备、存储介质和程序产品。


背景技术:

2.在数字化转型大背景下,越来越多的企业将原有的系统部署到云端。而在企业将原有系统部署到云端的过程中,需要采用云平台对原有系统中的数据进行数据管理。这里,数据管理可以包括对原有系统中的数据进行数据复制或数据备份、数据恢复等管理操作。
3.云平台一般包括主节点和从节点。传统技术在进行数据管理时,云平台可以将主节点中的数据备份至从节点中。从而,在主节点出现故障的情况下,就可以基于从节点中所备份的数据,对主节点进行数据恢复。
4.然而,传统的数据管理方法,在主节点出现故障的情况下,由于基于从节点中所备份的数据对主节点进行数据恢复的过程需要花费一定的时间,因此,在这段时间内主节点就无法对外提供服务。进而,传统的数据管理方法,存在服务可靠性较低的问题。


技术实现要素:

5.基于此,有必要针对上述技术问题,提供一种能够提高服务可靠性的数据管理方法、装置、计算机设备、存储介质和程序产品。
6.第一方面,本技术提供了一种数据管理方法。应用于云平台,所述云平台包括至少两个生产仓库;所述方法包括:在通过所述生产仓库获取待处理数据的过程中,监测所述至少两个生产仓库中正在进行数据处理的第一生产仓库是否发生故障;在所述第一生产仓库发生故障的情况下,切换至所述云平台中的第二生产仓库对所述待处理数据进行处理。
7.在其中一个实施例中,所述方法还包括:确定各所述生产仓库的状态;根据各所述生产仓库的状态,通过所述生产仓库从本地数据库中获取所述待处理数据。
8.在其中一个实施例中,根据各所述生产仓库的状态,通过所述生产仓库从本地数据库中获取所述待处理数据,包括:若所述第一生产仓库和所述第二生产仓库的状态均为正常状态,则通过所述第一生产仓库从所述本地数据库中获取消息队列;所述消息队列包括所述待处理数据;通过所述第一生产仓库将所述消息队列同步至所述第二生产仓库。
9.在其中一个实施例中,所述根据各所述生产仓库的状态,通过所述生产仓库从本地数据库中获取所述待处理数据,包括:若所述第一生产仓库的状态为故障状态、且所述第二生产仓库的状态为正常状
态,则通过所述第二生产仓库从所述本地数据库中获取消息队列;所述消息队列包括所述待处理数据。
10.在其中一个实施例中,所述根据各所述生产仓库的状态,通过所述生产仓库从本地数据库中获取所述待处理数据,包括:若所述第二生产仓库的状态为故障状态、且所述第一生产仓库的状态为正常状态,则通过所述第一生产仓库从所述本地数据库中获取消息队列;所述消息队列包括所述待处理数据。
11.在其中一个实施例中,所述云平台还包括至少两个备份仓库;所述方法还包括:通过所述至少两个备份仓库对所述待处理数据进行备份,得到备份数据。
12.在其中一个实施例中,所述至少两个备份仓库包括本地备份仓库及远程备份仓库;所述备份数据包括第一备份数据及第二备份数据;所述通过所述至少两个备份仓库对所述待处理数据进行备份,得到备份数据,包括:通过所述本地备份仓库对目标生产仓库中的所述待处理数据进行镜像复制,得到所述第一备份数据;所述目标生产仓库包括处于正常状态的生产仓库;通过所述远程备份仓库对所述本地备份仓库中的所述第一备份数据进行远程复制,得到所述第二备份数据。
13.在其中一个实施例中,所述方法还包括:在所述第一生产仓库发生故障的情况下,通过所述至少两个备份仓库中的所述备份数据对所述第一生产仓库进行数据恢复。
14.在其中一个实施例中,所述通过所述至少两个备份仓库中的所述备份数据对所述第一生产仓库进行数据恢复,包括:通过所述本地备份仓库中的所述第一备份数据或所述远程备份仓库中的所述第二备份数据对所述第一生产仓库进行数据恢复。
15.在其中一个实施例中,所述方法还包括:若接收到数据删除请求,则响应于所述数据删除请求,获取与所述数据删除请求对应的所述生产仓库中的待删除数据;通过所述至少两个备份仓库中的任意一个备份仓库,对所述待删除数据进行备份,得到第三备份数据;对与所述数据删除请求对应的所述生产仓库中的待删除数据进行删除。
16.第二方面,本技术还提供了一种数据管理装置。应用于云平台,所述云平台包括至少两个生产仓库;所述装置包括:监测模块,用于在通过所述生产仓库获取待处理数据的过程中,监测所述至少两个生产仓库中正在进行数据处理的第一生产仓库是否发生故障;处理模块,用于在所述第一生产仓库发生故障的情况下,切换至所述云平台中的第二生产仓库对所述待处理数据进行处理。
17.第三方面,本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面中任一项实施例中的方法的步骤。
18.第四方面,本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质,
其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面中任一项实施例中的方法的步骤。
19.第五方面,本技术还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述第一方面中任一项实施例中的方法的步骤。
20.上述数据管理方法、装置、计算机设备、存储介质和程序产品,在通过生产仓库获取待处理数据的过程中,监测至少两个生产仓库中正在进行数据处理的第一生产仓库是否发生故障;在第一生产仓库发生故障的情况下,切换至云平台中的第二生产仓库对待处理数据进行处理。本技术能够在通过生产仓库获取待处理数据的过程中,监测至少两个生产仓库中正在进行数据处理的第一生产仓库是否发生故障,就能够准确地确定出第一生产仓库是否发生故障。由于云平台包括至少两个生产仓库,之后,在第一生产仓库发生故障的情况下,能够自动地从云平台中的第一生产仓库切换至云平台中的第二生产仓库,从而能够通过第二生产仓库对待处理数据进行数据处理。因此,本技术通过秒级切换生产仓库的方式,能够保证在正在进行数据处理的生产仓库发生故障的情况下,也能够正常提供对外服务,从而能够提高云平台的稳定性、可靠性、安全性,进而,能够提高对外服务的可靠性。
附图说明
21.图1为一个实施例中传统的云平台的结构示意图;图2为一个实施例中数据管理方法的应用环境图;图3为一个实施例中数据管理方法的流程示意图;图4为另一个实施例中待处理数据获取步骤的流程示意图;图5为一个实施例中数据同步步骤的流程示意图;图6为一个实施例中数据备份步骤的流程示意图;图7为一个实施例中云平台中的数据管理仓库的结构示意图;图8为一个实施例中数据删除步骤的流程示意图;图9为一个可选的实施例中数据管理方法的流程示意图;图10为一个实施例中数据管理方法的整体流程示意图;图11为一个实施例中数据管理装置的结构框图;图12为一个实施例中计算机设备的内部结构图。
具体实施方式
22.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
23.在数字化转型大背景下,越来越多的企业将原有的系统部署到云端。而在企业将原有系统部署到云端的过程中,需要开发一体化运维平台,例如devops平台,并采用云平台或云计算平台对原有系统中的数据进行数据管理。这里,数据管理可以包括对原有系统中的数据进行数据复制或数据备份、数据恢复等管理操作。在devops平台中可以采用gitlab组件进行数据管理。
24.如图1所示,图1为一个实施例中传统的云平台的结构示意图。传统的云平台包括流水线编排模块102、代码管理模块104、应用构建模块106、应用打包模块108、应用部署模块110以及流水线执行模块112。传统的云平台一般还包括主节点120和从节点140。传统技术在进行数据管理时,云平台中的代码管理模块104可以将主节点120中的数据备份至从节点140中。其中,可以是实时地进行数据备份,也可以是周期性地进行数据备份。从而,在主节点120出现故障的情况下,就可以将从节点140中所备份的数据复制至主节点120,以对主节点120进行数据恢复,从而维持传统的云平台上服务的正常运行。
25.然而,传统的数据管理方法,在主节点出现故障的情况下,由于基于从节点中所备份的数据对主节点进行数据恢复的过程需要花费一定的时间,因此,在这段时间内主节点就无法对外提供服务。且在主节点和从节点均停止运行的情况下,无法对外提供云平台上的服务。因此,传统的云平台的稳定性、可靠性、安全性较低,进而,传统的数据管理方法,存在服务可靠性较低的问题。
26.本技术实施例提供的数据管理方法,可以应用于如图2所示的应用环境中。其中,数据存储系统可以存储云平台200需要处理的数据。数据存储系统可以集成在云平台200上,也可以放在云上或其他网络服务器上。在通过生产仓库获取待处理数据的过程中,云平台200监测至少两个生产仓库中正在进行数据处理的第一生产仓库是否发生故障;在第一生产仓库发生故障的情况下,云平台200切换至云平台中的第二生产仓库对待处理数据进行处理。其中,云平台200可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
27.在一个实施例中,如图3所示,提供了一种数据管理方法,以该方法应用于图1中的云平台200为例进行说明,云平台200包括至少两个生产仓库;数据管理方法包括以下步骤:s320,在通过生产仓库获取待处理数据的过程中,监测至少两个生产仓库中正在进行数据处理的第一生产仓库是否发生故障。
28.其中,云平台是指基于硬件资源(例如服务器、交换机、计算机等)和软件资源(例如应用软件和集成开发环境等),用于提供计算、网络和存储能力的服务平台。生产仓库是指可以用于执行流水线部署过程的代码仓库。代码仓库是用于存储代码、并进行代码管理的数据结构。需要说明的是,在本技术实施例中,云平台包括至少两个生产仓库。待处理数据是指需要进行数据管理的数据。数据管理过程可以包括对待处理数据进行数据复制或数据备份、数据恢复等管理操作。第一生产仓库是指云平台的至少两个生产仓库中正在进行数据处理(即正在执行流水线部署过程)的生产仓库。数据处理过程包括流水线编排、代码管理、应用构建、应用打包、应用部署以及流水线执行等操作步骤。
29.可选地,云平台200可以直接通过至少两个生产仓库中的任意一个生产仓库获取待处理数据;或者,云平台200也可以根据各生产仓库的状态,从至少两个生产仓库中确定出用于获取待处理数据的生产仓库,从而,云平台200可以通过该生产仓库获取待处理数据。此外,云平台200还可以通过第一生产仓库对待处理数据进行数据处理。在通过生产仓库获取待处理数据的过程中,云平台200可以实时地或者周期性地监测至少两个生产仓库中正在进行数据处理的第一生产仓库是否发生故障。
30.s340,在第一生产仓库发生故障的情况下,切换至云平台中的第二生产仓库对待处理数据进行处理。
31.可选地,若云平台200监测到第一生产仓库发生故障,即在第一生产仓库发生故障的情况下,云平台200可以将进行数据处理的生产仓库从第一生产仓库切换为第二生产仓库,即云平台200可以通过云平台中的第二生产仓库对待处理数据进行数据处理。其中,第二生产仓库是指至少两个生产仓库中未进行数据处理的任意一个生产仓库。
32.上述数据管理方法中,在通过生产仓库获取待处理数据的过程中,监测至少两个生产仓库中正在进行数据处理的第一生产仓库是否发生故障;在第一生产仓库发生故障的情况下,切换至云平台中的第二生产仓库对待处理数据进行处理。本技术能够在通过生产仓库获取待处理数据的过程中,监测至少两个生产仓库中正在进行数据处理的第一生产仓库是否发生故障,就能够准确地确定出第一生产仓库是否发生故障。由于云平台包括至少两个生产仓库,由于云平台包括至少两个生产仓库,之后,在第一生产仓库发生故障的情况下,能够自动地从云平台中的第一生产仓库切换至云平台中的第二生产仓库,从而能够通过第二生产仓库对待处理数据进行数据处理。因此,本技术通过秒级切换生产仓库的方式,能够保证在正在进行数据处理的生产仓库发生故障的情况下,也能够正常提供对外服务,从而能够提高云平台的稳定性、可靠性、安全性,进而,能够提高对外服务的可靠性。
33.在上面的实施例中,涉及到了在通过生产仓库获取待处理数据的过程中,监测至少两个生产仓库中正在进行数据处理的第一生产仓库是否发生故障,下面就对通过生产仓库获取待处理数据的具体方法进行介绍。在一个实施例中,如图4所示,上述数据管理方法还包括:s420,确定各生产仓库的状态。
34.可选地,云平台200可以实时地或者周期性地监测各生产仓库在历史时间段内是否发生故障,生成各生产仓库的监测结果。从而,云平台200可以根据各生产仓库的监测结果,确定至少两个生产仓库中各生产仓库的状态。其中,生产仓库的状态包括正常状态以及故障状态。示例性的,当生产仓库的监测结果为生产仓库在历史时间段内未发生故障时,该生产仓库的状态为正常状态;当生产仓库的监测结果为生产仓库在历史时间段内发生故障时,该生产仓库的状态为故障状态。
35.s440,根据各生产仓库的状态,通过生产仓库从本地数据库中获取待处理数据。
36.可选地,云平台200可以根据各生产仓库的状态,从至少两个生产仓库中确定出未发生故障的生产仓库,从而,云平台200可以通过未发生故障的生产仓库从本地数据库中获取待处理数据。其中,本地数据库是指驻留于本地系统上的数据库,本地数据库位于本地磁盘或局域网上。
37.本实施例中,可以预先确定各生产仓库的状态,从而,根据各生产仓库的状态,通过生产仓库从本地数据库中获取待处理数据,就能够通过未发生故障的生产仓库较准确地获取待处理数据。
38.在上面的实施例中,涉及到了根据各生产仓库的状态,通过生产仓库从本地数据库中获取待处理数据,下面就对其具体方法进行介绍。在一个实施例中,如图5所示,s440包括:s520,若第一生产仓库和第二生产仓库的状态均为正常状态,则通过第一生产仓库从本地数据库中获取消息队列;消息队列包括待处理数据。
39.可选地,若第一生产仓库和第二生产仓库的状态均为正常状态,则云平台200可以
采用第一生产仓库进行代码托管。此时,本地数据库可以提交(commit)待处理数据,并记录待处理数据的标识和推送状态。之后,本地数据库可以通过推送消息队列的方式,向云平台200中的第一生产仓库推送(push)待处理数据。从而,云平台200可以通过第一生产仓库从本地数据库中获取消息队列,并更新待处理数据的推送状态。其中,消息队列中包括待处理数据。待处理数据的推送状态包括已推送状态和未推送状态。
40.s540,通过第一生产仓库将消息队列同步至第二生产仓库。
41.可选地,云平台200可以触发第一生产仓库中的同步钩子或钩子函数,通过第一生产仓库将消息队列同步至第二生产仓库,并更新待处理数据的同步状态。其中,待处理数据的同步状态包括已同步状态和未同步状态。此外,当待处理数据的同步状态均为已同步状态时,表示待处理数据已经完整地同步至第二生产仓库中。此时,云平台200可以通过第二生产仓库进行数据处理。
42.本实施例中,若第一生产仓库和第二生产仓库的状态均为正常状态,则能够通过第一生产仓库从本地数据库中获取包括待处理数据的消息队列,并通过第一生产仓库将消息队列同步至第二生产仓库,从而能够保证处于正常状态的第一生产仓库和第二生产仓库均能够较准确地获取待处理数据。
43.在上面的实施例中,涉及到了根据各生产仓库的状态,通过生产仓库从本地数据库中获取待处理数据,下面就对其具体方法进行介绍。在一个实施例中,s440包括:若第一生产仓库的状态为故障状态、且第二生产仓库的状态为正常状态,则通过第二生产仓库从本地数据库中获取消息队列;消息队列包括待处理数据。
44.可选地,若第一生产仓库的状态为故障状态、且第二生产仓库的状态为正常状态,即第一生产仓库发生故障、且第二生产仓库处于正常状态,则本地数据库可以通过推送消息队列的方式,向云平台200中的第二生产仓库推送(push)待处理数据。从而,云平台200可以通过第二生产仓库从本地数据库中获取消息队列。其中,消息队列包括待处理数据。此时,云平台200可以通过第二生产仓库进行数据处理。
45.此外,当第一生产仓库的状态恢复为正常状态时,云平台200可以重新通过第一生产仓库进行数据获取和数据管理,并接收第一生产仓库发生故障时间段内的待处理数据。
46.本实施例中,若第一生产仓库的状态为故障状态、且第二生产仓库的状态为正常状态,则通过第二生产仓库从本地数据库中获取包括待处理数据的消息队列,就能够通过未发生故障的第二生产仓库较准确地获取待处理数据。
47.在上面的实施例中,涉及到了根据各生产仓库的状态,通过生产仓库从本地数据库中获取待处理数据,下面就对其具体方法进行介绍。在一个实施例中,s440包括:若第二生产仓库的状态为故障状态、且第一生产仓库的状态为正常状态,则通过第一生产仓库从本地数据库中获取消息队列;消息队列包括待处理数据。
48.可选地,若第二生产仓库的状态为故障状态、且第一生产仓库的状态为正常状态,即第二生产仓库发生故障、且第一生产仓库处于正常状态,则本地数据库可以通过推送消息队列的方式,向云平台200中的第一生产仓库推送(push)待处理数据。从而,云平台200可以通过第一生产仓库从本地数据库中获取消息队列。其中,消息队列包括待处理数据。此时,云平台200可以通过第一生产仓库进行数据处理,以保证能够正常对外提供服务。
49.本实施例中,若第二生产仓库的状态为故障状态、且第一生产仓库的状态为正常
状态,则通过第一生产仓库从本地数据库中获取包括待处理数据的消息队列,就能够通过未发生故障的第一生产仓库较准确地获取待处理数据,并能够通过未发生故障的第一生产仓库进行数据处理,从而保证了能够正常对外提供服务。
50.在上面的实施例中,涉及到了在第一生产仓库发生故障的情况下,切换至云平台中的第二生产仓库对待处理数据进行处理,下面对另一种数据管理方法进行介绍。在一个实施例中,云平台还包括至少两个备份仓库;上述数据管理方法还包括:通过至少两个备份仓库对待处理数据进行备份,得到备份数据。
51.可选地,云平台200可以通过至少两个备份仓库同时对待处理数据进行备份,得到备份数据;或者,云平台200也可以通过至少两个备份仓库中的一个备份仓库先对待处理数据进行备份,得到中间备份数据;云平台200可以通过至少两个备份仓库中的其他备份仓库对中间备份数据再次进行备份,得到备份数据。当然,本技术实施例对于得到备份数据的具体方式不做限定。其中,云平台还包括至少两个备份仓库。备份数据是指备份的待处理数据。
52.本实施例中,通过至少两个备份仓库对待处理数据进行备份,得到备份数据,就能够通过至少两个备份仓库对至少两个生产仓库中获取的待处理数据进行备份,从而能够保证在至少两个生产仓库均发生故障的情况下,可以从至少两个备份仓库中获取待处理数据对应的备份数据。
53.在上面的实施例中,涉及到了通过至少两个备份仓库对待处理数据进行备份,得到备份数据,下面就对其具体方法进行介绍。在一个实施例中,如图6所示,至少两个备份仓库包括本地备份仓库及远程备份仓库;备份数据包括第一备份数据及第二备份数据;通过至少两个备份仓库对待处理数据进行备份,得到备份数据,包括:s620,通过本地备份仓库对目标生产仓库中的待处理数据进行镜像复制,得到第一备份数据;目标生产仓库包括处于正常状态的生产仓库。
54.其中,至少两个备份仓库可以包括至少一个本地备份仓库及至少一个远程备份仓库,本地备份仓库是指用于进行本地备份的仓库,远程备份仓库是指用于进行异地备份的仓库。备份数据包括第一备份数据及第二备份数据,第一备份数据是指通过至少一个本地备份仓库进行备份所得到的备份数据,第二备份数据是指通过至少一个远程备份仓库进行备份所得到的备份数据。目标生产仓库包括处于正常状态的生产仓库。
55.可选地,云平台200可以通过本地备份仓库对处于正常状态的目标生产仓库中的待处理数据进行镜像复制,得到第一备份数据。示例性的,当第一生产仓库处于正常状态时,云平台200可以通过本地备份仓库对第一生产仓库中的待处理数据进行准实时地镜像复制,得到第一备份数据。或者,当第一生产仓库处于故障状态、且第二生产仓库处于正常状态时,云平台200可以通过本地备份仓库对第二生产仓库中的待处理数据进行准实时地镜像复制,得到第一备份数据。其中,可以是将待处理数据在预设时间段内的增量数据镜像复制至本地备份仓库,也可以是将待处理数据在预设时间段内的全量数据镜像复制至本地备份仓库。当然,本技术实施例对于镜像复制的具体方式不做限定。
56.s640,通过远程备份仓库对本地备份仓库中的第一备份数据进行远程复制,得到第二备份数据。
57.可选地,云平台200还可以定时地采用gitlab组件中的备份指令,通过远程备份仓
库对本地备份仓库中的第一备份数据进行远程复制,得到第二备份数据。且在进行远程复制的过程中,需要暂停s620中镜像复制的过程。其中,可以是将第一备份数据在预设时间段内的增量数据远程复制至远程备份仓库,也可以是将第一备份数据在预设时间段内的全量数据远程复制至远程备份仓库。当然,本技术实施例对于远程复制的具体方式不做限定。
58.本实施例中,通过本地备份仓库对处于正常状态的目标生产仓库中的待处理数据进行镜像复制,得到第一备份数据,就能够保证在至少一个生产仓库发生故障的情况下,能够在本地备份仓库中备份待处理数据。之后,通过远程备份仓库对本地备份仓库中的第一备份数据进行远程复制,得到第二备份数据,就能够在远程备份仓库中再次备份待处理数据。从而能够保证本地备份仓库和远程备份仓库中均存储有待处理数据对应的备份数据。
59.在上面的实施例中,涉及到了通过至少两个备份仓库对待处理数据进行备份,得到备份数据,下面对另一种数据管理方法进行介绍。在一个实施例中,上述数据管理方法还包括:在第一生产仓库发生故障的情况下,通过至少两个备份仓库中的备份数据对第一生产仓库进行数据恢复。
60.可选地,由于至少两个备份仓库中均备份有待处理数据对应的全量备份数据,因此,在第一生产仓库发生故障的情况下,云平台200可以通过至少两个备份仓库中的备份数据对第一生产仓库进行数据恢复。可选地,云平台200可以通过至少两个备份仓库中任意一个备份仓库中的备份数据对第一生产仓库进行数据恢复;或者,云平台200也可以先通过远程备份仓库中的备份数据对第一生产仓库进行数据恢复。若远程备份仓库无法使用,则云平台200可以通过本地备份仓库的备份数据对第一生产仓库进行数据恢复。当然,本技术实施例对于数据恢复的具体方式不做限定。
61.在其中一个可选的实施例中,通过至少两个备份仓库中的备份数据对第一生产仓库进行数据恢复,包括:通过本地备份仓库中的第一备份数据或远程备份仓库中的第二备份数据对第一生产仓库进行数据恢复。
62.可选地,云平台200可以通过本地备份仓库中的第一备份数据或远程备份仓库中的第二备份数据对第一生产仓库进行数据恢复;或者,云平台200也可以先通过远程备份仓库中的第二备份数据对第一生产仓库进行数据恢复。若远程备份仓库无法使用,则云平台200可以通过本地备份仓库的第一备份数据对第一生产仓库进行数据恢复。
63.如图7所示,图7为一个实施例中云平台中的数据管理仓库的结构示意图。云平台中的数据管理仓库包括第一生产仓库702、第二生产仓库704、本地备份仓库706和远程备份仓库708。第一生产仓库702可以获取本地数据库提交并推送的待处理数据,并将待处理数据同步至第二生产仓库704,以使第二生产仓库704对待处理数据进行数据处理。此外,还可以将第二生产仓库704中的数据镜像复制至本地备份仓库706中,并将本地备份仓库706中的数据远程复制至远程备份仓库708中。如此,当第二生产仓库704发生故障时,可以优先通过远程备份仓库708中的备份数据进行数据恢复。若远程备份仓库708无法使用,则可以通过本地备份仓库706中的备份数据进行数据恢复。当第二生产仓库704发生故障时,还可以将第一生产仓库702中的数据备份至本地备份仓库706中。另外,还可以使用挂载nfs(网络文件系统,network file system)对待处理数据进行共享存储。
64.本实施例中,在第一生产仓库发生故障的情况下,可以通过至少两个备份仓库中的备份数据对第一生产仓库进行数据恢复,以保证至少两个备份仓库可以较快速且准确地对第一生产仓库中的数据进行数据恢复。
65.在上面的实施例中,涉及到了通过至少两个备份仓库对待处理数据进行备份,得到备份数据,下面就对另一种数据管理方法进行介绍。在一个实施例中,如图8所示,上述数据管理方法还包括:s820,若接收到数据删除请求,则响应于数据删除请求,获取与数据删除请求对应的生产仓库中的待删除数据。
66.可选地,若云平台200接收到数据删除请求,则云平台200可以响应于数据删除请求,确定与数据删除请求对应的生产仓库,从而获取与数据删除请求对应的预设生产仓库中的待删除数据。其中,数据删除请求是指用于指示删除预设生产仓库中的待删除数据的请求。预设生产仓库是指与数据删除请求对应的生产仓库,即需要删除数据的生产仓库。待删除数据是指预设生产仓库中需要进行删除的数据。
67.s840,通过至少两个备份仓库中的任意一个备份仓库,对待删除数据进行备份,得到第三备份数据。
68.可选地,云平台200可以通过至少两个备份仓库中的任意一个备份仓库,对待删除数据进行备份,得到第三备份数据;或者,云平台200也可以优先通过本地备份仓库对待删除数据进行备份,得到第三备份数据。若本地备份仓库无法使用,则云平台200可以通过远程备份仓库对待删除数据进行备份,得到第三备份数据。当然,本技术实施例对于得到第三备份数据的具体方式不做限定。
69.s860,对与数据删除请求对应的生产仓库中的待删除数据进行删除。
70.可选地,在得到第三备份数据之后,即待删除数据备份完成之后,云平台200可以对与数据删除请求对应的生产仓库中的待删除数据进行删除。如此,就能够保证已经对需要删除的数据完成了备份。
71.本实施例中,若接收到数据删除请求,则响应于数据删除请求,获取与数据删除请求对应的生产仓库中的待删除数据。通过至少两个备份仓库中的任意一个备份仓库,对待删除数据进行备份,得到第三备份数据,就能够对待删除数据预先进行备份。之后,对与数据删除请求对应的生产仓库中的待删除数据进行删除,能够保证删除的数据是已经备份完成的数据,从而能够避免由于误删数据而导致的数据丢失问题。
72.在一个可选的实施例中,如图9所示,提供了一种数据管理方法,应用于云平台200,云平台包括至少两个生产仓库以及至少两个备份仓库;上述数据管理方法包括:s902,确定各生产仓库的状态;s904,若第一生产仓库和第二生产仓库的状态均为正常状态,则通过第一生产仓库从本地数据库中获取消息队列;消息队列包括待处理数据;s906,通过第一生产仓库将消息队列同步至第二生产仓库;s908,若第一生产仓库的状态为故障状态、且第二生产仓库的状态为正常状态,则通过第二生产仓库从本地数据库中获取消息队列;消息队列包括待处理数据;s910,若第二生产仓库的状态为故障状态、且第一生产仓库的状态为正常状态,则通过第一生产仓库从本地数据库中获取消息队列;消息队列包括待处理数据;
s912,在通过生产仓库获取待处理数据的过程中,监测至少两个生产仓库中正在进行数据处理的第一生产仓库是否发生故障;s914,在第一生产仓库发生故障的情况下,切换至云平台中的第二生产仓库对待处理数据进行处理;s916,通过本地备份仓库对目标生产仓库中的待处理数据进行镜像复制,得到第一备份数据;目标生产仓库包括处于正常状态的生产仓库;s918,通过远程备份仓库对本地备份仓库中的第一备份数据进行远程复制,得到第二备份数据;s920,在第一生产仓库发生故障的情况下,通过本地备份仓库中的第一备份数据或远程备份仓库中的第二备份数据对第一生产仓库进行数据恢复;s922,若接收到数据删除请求,则响应于数据删除请求,获取与数据删除请求对应的生产仓库中的待删除数据;s924,通过至少两个备份仓库中的任意一个备份仓库,对待删除数据进行备份,得到第三备份数据;s926,对与数据删除请求对应的生产仓库中的待删除数据进行删除。
73.可选地,如图10所示,图10为一个实施例中数据管理方法的整体流程示意图。云平台200中的数据管理仓库包括第一生产仓库702、第二生产仓库704、本地备份仓库706和远程备份仓库708。当第一生产仓库702和第二生产仓库704均处于正常状态时,云平台200可以通过本地数据库采用包括待处理数据的消息队列,向第一生产仓库702提交并推送待处理数据,且云平台200可以通过本地数据库在推送前后分别记录待处理数据的推送状态。由于云平台包括至少两个生产仓库,之后,云平台200可以通过第一生产仓库702获取待处理数据,并采用包括待处理数据的消息队列将待处理数据同步至第二生产仓库704,从而,云平台200可以拉取第二生产仓库704中待处理数据中的代码,并对待处理数据进行数据处理。其中,数据处理过程包括但不局限于编排流水线、构建应用、打包应用、部署应用和执行流水线等步骤。此外,云平台200还可以通过第一生产仓库702在同步前后分别记录待处理数据的同步状态。当第一生产仓库702发生故障时,云平台200可以通过本地数据库采用包括待处理数据的消息队列,直接向第二生产仓库704提交并推送待处理数据。
74.结合图10所示,云平台200可以将第二生产仓库704中的数据准实时地镜像复制至本地备份仓库706中,并将本地备份仓库706中的数据定时地远程复制至远程备份仓库708中。如此,当第二生产仓库704发生故障时,云平台200可以优先将远程备份仓库708中的备份数据全量导入至第二生产仓库704中,从而通过远程备份仓库708中的备份数据进行数据恢复。若远程备份仓库708无法使用,则可以将本地备份仓库706中的备份数据全量导入至第二生产仓库704中,从而通过本地备份仓库706中的备份数据进行数据恢复。当第二生产仓库704发生故障时,还可以将第一生产仓库702中的数据备份至本地备份仓库706中。此外,当需要删除第二生产仓库704中的数据时,可以提前将第二生产仓库704中的数据全量备份至本地备份仓库706中。另外,还可以使用挂载nfs(网络文件系统,network file system)对待处理数据进行共享存储(代码为:/data/backup)。
75.上述数据管理方法中,能够在通过生产仓库获取待处理数据的过程中,监测至少两个生产仓库中正在进行数据处理的第一生产仓库是否发生故障,就能够准确地确定出第
一生产仓库是否发生故障。之后,在第一生产仓库发生故障的情况下,能够自动地从云平台中的第一生产仓库切换至云平台中的第二生产仓库,从而能够通过第二生产仓库对待处理数据进行数据处理。因此,本技术通过秒级切换生产仓库的方式,能够保证在正在进行数据处理的生产仓库发生故障的情况下,也能够正常提供对外服务,从而能够提高云平台的稳定性、可靠性、安全性,进而,能够提高对外服务的可靠性。
76.因此,本技术的云平台采用三级架构(三级代码库+远程备份仓库)的模式,第一,使用第一生产仓库和第二生产仓库同时为用户提供服务,当大量用户访问服务时能够减轻生产仓库的压力,且当任意一个代码库出现故障或者宕机时,均能够实现秒级切换,使用其他处于正常状态的生产仓库为用户提供连续的、稳定的服务。第二,三级代码库中的第一生产仓库和第二生产仓库能够通过消息队列实现数据同步,三级代码库中的本地备份仓库能够通过镜像复制的方式备份第二生产仓库。且若第二生产仓库发送了删除数据的指令,可以提前在本地备份仓库中对需要删除的数据进行全量备份,因此,本地备份仓库中存储有全量数据。第三,可以将本地备份仓库中的数据通过远程复制的方式备份至远程备份仓库中,能够在第一生产仓库或第二生产仓库发生故障或者宕机的情况下,通过本地备份仓库或者远程备份仓库进行全量数据恢复,能够确保数据的完整性、可靠性、安全性。因此,本技术不仅能够解决数据备份的问题,而且能够解决生产仓库异地容灾的问题,从而,能够提高平台的可用性、稳定性、可靠性、连续性和安全性,进而,能够提高对外服务的可靠性。
77.应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
78.基于同样的发明构思,本技术实施例还提供了一种用于实现上述所涉及的数据管理方法的数据管理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个数据管理装置实施例中的具体限定可以参见上文中对于数据管理方法的限定,在此不再赘述。
79.在一个实施例中,如图11所示,提供了一种数据管理装置1100,包括:监测模块1120和处理模块1140,其中:监测模块1120,用于在通过生产仓库获取待处理数据的过程中,监测至少两个生产仓库中正在进行数据处理的第一生产仓库是否发生故障。
80.处理模块1140,用于在第一生产仓库发生故障的情况下,切换至云平台中的第二生产仓库对待处理数据进行处理。
81.在一个实施例中,数据管理装置1100还包括:状态确定模块,用于确定各生产仓库的状态;获取模块,用于根据各生产仓库的状态,通过生产仓库从本地数据库中获取待处理数据。
82.在一个实施例中,获取模块包括:
第一消息队列获取单元,用于在第一生产仓库和第二生产仓库的状态均为正常状态的情况下,通过第一生产仓库从本地数据库中获取消息队列;消息队列包括待处理数据;同步单元,用于通过第一生产仓库将消息队列同步至第二生产仓库。
83.在一个实施例中,获取模块包括:第二消息队列获取单元,用于在第一生产仓库的状态为故障状态、且第二生产仓库的状态为正常状态的情况下,通过第二生产仓库从本地数据库中获取消息队列;消息队列包括待处理数据。
84.在一个实施例中,获取模块包括:第三消息队列获取单元,用于在第二生产仓库的状态为故障状态、且第一生产仓库的状态为正常状态的情况下,通过第一生产仓库从本地数据库中获取消息队列;消息队列包括待处理数据。
85.在一个实施例中,云平台还包括至少两个备份仓库;数据管理装置1100还包括:备份模块,用于通过至少两个备份仓库对待处理数据进行备份,得到备份数据。
86.在一个实施例中,至少两个备份仓库包括本地备份仓库及远程备份仓库;备份数据包括第一备份数据及第二备份数据;备份模块包括:第一备份数据获取单元,用于通过本地备份仓库对目标生产仓库中的待处理数据进行镜像复制,得到第一备份数据;目标生产仓库包括处于正常状态的生产仓库;第二备份数据获取单元,用于通过远程备份仓库对本地备份仓库中的第一备份数据进行远程复制,得到第二备份数据。
87.在一个实施例中,数据管理装置1100还包括:数据恢复模块,用于在第一生产仓库发生故障的情况下,通过至少两个备份仓库中的备份数据对第一生产仓库进行数据恢复。
88.在一个实施例中,数据恢复模块包括:数据恢复模块单元,用于通过本地备份仓库中的第一备份数据或远程备份仓库中的第二备份数据对第一生产仓库进行数据恢复。
89.在一个实施例中,数据管理装置1100还包括:待删除数据获取模块,用于在接收到数据删除请求的情况下,响应于数据删除请求,获取与数据删除请求对应的生产仓库中的待删除数据;第三备份数据获取模块,用于通过至少两个备份仓库中的任意一个备份仓库,对待删除数据进行备份,得到第三备份数据;删除模块,用于对与数据删除请求对应的生产仓库中的待删除数据进行删除。
90.上述数据管理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
91.在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出接口(input/output,简称i/o)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储
有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据管理数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据管理方法。
92.本领域技术人员可以理解,图12中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
93.在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:在通过生产仓库获取待处理数据的过程中,监测至少两个生产仓库中正在进行数据处理的第一生产仓库是否发生故障;在第一生产仓库发生故障的情况下,切换至云平台中的第二生产仓库对待处理数据进行处理。
94.在一个实施例中,处理器执行计算机程序时还实现以下步骤:确定各生产仓库的状态;根据各生产仓库的状态,通过生产仓库从本地数据库中获取待处理数据。
95.在一个实施例中,根据各生产仓库的状态,通过生产仓库从本地数据库中获取待处理数据,处理器执行计算机程序时还实现以下步骤:若第一生产仓库和第二生产仓库的状态均为正常状态,则通过第一生产仓库从本地数据库中获取消息队列;消息队列包括待处理数据;通过第一生产仓库将消息队列同步至第二生产仓库。
96.在一个实施例中,根据各生产仓库的状态,通过生产仓库从本地数据库中获取待处理数据,处理器执行计算机程序时还实现以下步骤:若第一生产仓库的状态为故障状态、且第二生产仓库的状态为正常状态,则通过第二生产仓库从本地数据库中获取消息队列;消息队列包括待处理数据。
97.在一个实施例中,根据各生产仓库的状态,通过生产仓库从本地数据库中获取待处理数据,处理器执行计算机程序时还实现以下步骤:若第二生产仓库的状态为故障状态、且第一生产仓库的状态为正常状态,则通过第一生产仓库从本地数据库中获取消息队列;消息队列包括待处理数据。
98.在一个实施例中,云平台还包括至少两个备份仓库;处理器执行计算机程序时还实现以下步骤:通过至少两个备份仓库对待处理数据进行备份,得到备份数据。
99.在一个实施例中,至少两个备份仓库包括本地备份仓库及远程备份仓库;备份数据包括第一备份数据及第二备份数据;通过至少两个备份仓库对待处理数据进行备份,得到备份数据,处理器执行计算机程序时还实现以下步骤:通过本地备份仓库对目标生产仓库中的待处理数据进行镜像复制,得到第一备份数据;目标生产仓库包括处于正常状态的生产仓库;通过远程备份仓库对本地备份仓库中的第一备份数据进行远程复制,得到第二备份数据。
100.在一个实施例中,处理器执行计算机程序时还实现以下步骤:在第一生产仓库发生故障的情况下,通过至少两个备份仓库中的备份数据对第一生产仓库进行数据恢复。
101.在一个实施例中,通过至少两个备份仓库中的备份数据对第一生产仓库进行数据恢复,处理器执行计算机程序时还实现以下步骤:通过本地备份仓库中的第一备份数据或远程备份仓库中的第二备份数据对第一生产仓库进行数据恢复。
102.在一个实施例中,处理器执行计算机程序时还实现以下步骤:若接收到数据删除请求,则响应于数据删除请求,获取与数据删除请求对应的生产仓库中的待删除数据;通过至少两个备份仓库中的任意一个备份仓库,对待删除数据进行备份,得到第三备份数据;对与数据删除请求对应的生产仓库中的待删除数据进行删除。
103.在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:在通过生产仓库获取待处理数据的过程中,监测至少两个生产仓库中正在进行数据处理的第一生产仓库是否发生故障;在第一生产仓库发生故障的情况下,切换至云平台中的第二生产仓库对待处理数据进行处理。
104.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:确定各生产仓库的状态;根据各生产仓库的状态,通过生产仓库从本地数据库中获取待处理数据。
105.在一个实施例中,根据各生产仓库的状态,通过生产仓库从本地数据库中获取待处理数据,计算机程序被处理器执行时还实现以下步骤:若第一生产仓库和第二生产仓库的状态均为正常状态,则通过第一生产仓库从本地数据库中获取消息队列;消息队列包括待处理数据;通过第一生产仓库将消息队列同步至第二生产仓库。
106.在一个实施例中,根据各生产仓库的状态,通过生产仓库从本地数据库中获取待处理数据,计算机程序被处理器执行时还实现以下步骤:若第一生产仓库的状态为故障状态、且第二生产仓库的状态为正常状态,则通过第二生产仓库从本地数据库中获取消息队列;消息队列包括待处理数据。
107.在一个实施例中,根据各生产仓库的状态,通过生产仓库从本地数据库中获取待处理数据,计算机程序被处理器执行时还实现以下步骤:若第二生产仓库的状态为故障状态、且第一生产仓库的状态为正常状态,则通过第一生产仓库从本地数据库中获取消息队列;消息队列包括待处理数据。
108.在一个实施例中,云平台还包括至少两个备份仓库;计算机程序被处理器执行时还实现以下步骤:通过至少两个备份仓库对待处理数据进行备份,得到备份数据。
109.在一个实施例中,至少两个备份仓库包括本地备份仓库及远程备份仓库;备份数
据包括第一备份数据及第二备份数据;通过至少两个备份仓库对待处理数据进行备份,得到备份数据,计算机程序被处理器执行时还实现以下步骤:通过本地备份仓库对目标生产仓库中的待处理数据进行镜像复制,得到第一备份数据;目标生产仓库包括处于正常状态的生产仓库;通过远程备份仓库对本地备份仓库中的第一备份数据进行远程复制,得到第二备份数据。
110.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:在第一生产仓库发生故障的情况下,通过至少两个备份仓库中的备份数据对第一生产仓库进行数据恢复。
111.在一个实施例中,通过至少两个备份仓库中的备份数据对第一生产仓库进行数据恢复,计算机程序被处理器执行时还实现以下步骤:通过本地备份仓库中的第一备份数据或远程备份仓库中的第二备份数据对第一生产仓库进行数据恢复。
112.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:若接收到数据删除请求,则响应于数据删除请求,获取与数据删除请求对应的生产仓库中的待删除数据;通过至少两个备份仓库中的任意一个备份仓库,对待删除数据进行备份,得到第三备份数据;对与数据删除请求对应的生产仓库中的待删除数据进行删除。
113.在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:在通过生产仓库获取待处理数据的过程中,监测至少两个生产仓库中正在进行数据处理的第一生产仓库是否发生故障;在第一生产仓库发生故障的情况下,切换至云平台中的第二生产仓库对待处理数据进行处理。
114.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:确定各生产仓库的状态;根据各生产仓库的状态,通过生产仓库从本地数据库中获取待处理数据。
115.在一个实施例中,根据各生产仓库的状态,通过生产仓库从本地数据库中获取待处理数据,计算机程序被处理器执行时还实现以下步骤:若第一生产仓库和第二生产仓库的状态均为正常状态,则通过第一生产仓库从本地数据库中获取消息队列;消息队列包括待处理数据;通过第一生产仓库将消息队列同步至第二生产仓库。
116.在一个实施例中,根据各生产仓库的状态,通过生产仓库从本地数据库中获取待处理数据,计算机程序被处理器执行时还实现以下步骤:若第一生产仓库的状态为故障状态、且第二生产仓库的状态为正常状态,则通过第二生产仓库从本地数据库中获取消息队列;消息队列包括待处理数据。
117.在一个实施例中,根据各生产仓库的状态,通过生产仓库从本地数据库中获取待处理数据,计算机程序被处理器执行时还实现以下步骤:
若第二生产仓库的状态为故障状态、且第一生产仓库的状态为正常状态,则通过第一生产仓库从本地数据库中获取消息队列;消息队列包括待处理数据。
118.在一个实施例中,云平台还包括至少两个备份仓库;计算机程序被处理器执行时还实现以下步骤:通过至少两个备份仓库对待处理数据进行备份,得到备份数据。
119.在一个实施例中,至少两个备份仓库包括本地备份仓库及远程备份仓库;备份数据包括第一备份数据及第二备份数据;通过至少两个备份仓库对待处理数据进行备份,得到备份数据,计算机程序被处理器执行时还实现以下步骤:通过本地备份仓库对目标生产仓库中的待处理数据进行镜像复制,得到第一备份数据;目标生产仓库包括处于正常状态的生产仓库;通过远程备份仓库对本地备份仓库中的第一备份数据进行远程复制,得到第二备份数据。
120.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:在第一生产仓库发生故障的情况下,通过至少两个备份仓库中的备份数据对第一生产仓库进行数据恢复。
121.在一个实施例中,通过至少两个备份仓库中的备份数据对第一生产仓库进行数据恢复,计算机程序被处理器执行时还实现以下步骤:通过本地备份仓库中的第一备份数据或远程备份仓库中的第二备份数据对第一生产仓库进行数据恢复。
122.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:若接收到数据删除请求,则响应于数据删除请求,获取与数据删除请求对应的生产仓库中的待删除数据;通过至少两个备份仓库中的任意一个备份仓库,对待删除数据进行备份,得到第三备份数据;对与数据删除请求对应的生产仓库中的待删除数据进行删除。
123.需要说明的是,本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
124.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory,rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory,mram)、铁电存储器(ferroelectric random access memory,fram)、相变存储器(phase change memory,pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory,ram)或外部高速缓冲存储器等。作为说明而非局限,ram可以是多种形式,比如静态随机存
取存储器(static random accessmemory,sram)或动态随机存取存储器(dynamic random access memory,dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
125.以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
126.以上实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本技术专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术的保护范围应以所附权利要求为准。

技术特征:
1.一种数据管理方法,其特征在于,应用于云平台,所述云平台包括至少两个生产仓库;所述方法包括:在通过所述生产仓库获取待处理数据的过程中,监测所述至少两个生产仓库中正在进行数据处理的第一生产仓库是否发生故障;在所述第一生产仓库发生故障的情况下,切换至所述云平台中的第二生产仓库对所述待处理数据进行处理。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:确定各所述生产仓库的状态;根据各所述生产仓库的状态,通过所述生产仓库从本地数据库中获取所述待处理数据。3.根据权利要求2所述的方法,其特征在于,根据各所述生产仓库的状态,通过所述生产仓库从本地数据库中获取所述待处理数据,包括:若所述第一生产仓库和所述第二生产仓库的状态均为正常状态,则通过所述第一生产仓库从所述本地数据库中获取消息队列;所述消息队列包括所述待处理数据;通过所述第一生产仓库将所述消息队列同步至所述第二生产仓库。4.根据权利要求2所述的方法,其特征在于,所述根据各所述生产仓库的状态,通过所述生产仓库从本地数据库中获取所述待处理数据,包括:若所述第一生产仓库的状态为故障状态、且所述第二生产仓库的状态为正常状态,则通过所述第二生产仓库从所述本地数据库中获取消息队列;所述消息队列包括所述待处理数据。5.根据权利要求2所述的方法,其特征在于,所述根据各所述生产仓库的状态,通过所述生产仓库从本地数据库中获取所述待处理数据,包括:若所述第二生产仓库的状态为故障状态、且所述第一生产仓库的状态为正常状态,则通过所述第一生产仓库从所述本地数据库中获取消息队列;所述消息队列包括所述待处理数据。6.根据权利要求1-5任一项所述的方法,其特征在于,所述云平台还包括至少两个备份仓库;所述方法还包括:通过所述至少两个备份仓库对所述待处理数据进行备份,得到备份数据。7.根据权利要求6所述的方法,其特征在于,所述至少两个备份仓库包括本地备份仓库及远程备份仓库;所述备份数据包括第一备份数据及第二备份数据;所述通过所述至少两个备份仓库对所述待处理数据进行备份,得到备份数据,包括:通过所述本地备份仓库对目标生产仓库中的所述待处理数据进行镜像复制,得到所述第一备份数据;所述目标生产仓库包括处于正常状态的生产仓库;通过所述远程备份仓库对所述本地备份仓库中的所述第一备份数据进行远程复制,得到所述第二备份数据。8.根据权利要求7所述的方法,其特征在于,所述方法还包括:在所述第一生产仓库发生故障的情况下,通过所述至少两个备份仓库中的所述备份数据对所述第一生产仓库进行数据恢复。9.根据权利要求8所述的方法,其特征在于,所述通过所述至少两个备份仓库中的所述
备份数据对所述第一生产仓库进行数据恢复,包括:通过所述本地备份仓库中的所述第一备份数据或所述远程备份仓库中的所述第二备份数据对所述第一生产仓库进行数据恢复。10.根据权利要求6所述的方法,其特征在于,所述方法还包括:若接收到数据删除请求,则响应于所述数据删除请求,获取与所述数据删除请求对应的所述生产仓库中的待删除数据;通过所述至少两个备份仓库中的任意一个备份仓库,对所述待删除数据进行备份,得到第三备份数据;对与所述数据删除请求对应的所述生产仓库中的待删除数据进行删除。11.一种数据管理装置,其特征在于,应用于云平台,所述云平台包括至少两个生产仓库;所述装置包括:监测模块,用于在通过所述生产仓库获取待处理数据的过程中,监测所述至少两个生产仓库中正在进行数据处理的第一生产仓库是否发生故障;处理模块,用于在所述第一生产仓库发生故障的情况下,切换至所述云平台中的第二生产仓库对所述待处理数据进行处理。12.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。14.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。

技术总结
本申请涉及一种数据管理方法、装置、计算机设备、存储介质和程序产品。上述方法包括:在通过生产仓库获取待处理数据的过程中,监测至少两个生产仓库中正在进行数据处理的第一生产仓库是否发生故障;在第一生产仓库发生故障的情况下,切换至云平台中的第二生产仓库对待处理数据进行处理。采用本方法能够提高服务的可靠性。可靠性。可靠性。


技术研发人员:陈梦夏
受保护的技术使用者:中国电信股份有限公司
技术研发日:2023.07.07
技术公布日:2023/8/13
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐