一种数据管理方法、装置、电子设备及存储介质与流程

未命名 07-22 阅读:139 评论:0


1.本发明涉及通信网络技术领域,尤其涉及一种数据管理方法、装置、电子设备及存储介质。


背景技术:

2.现如今,随着分布式建设工程的完成,以及互联网业务的飞速发展,企业的业务系统基本形成了“逻辑统一,物理分散”的架构模式。
3.在现有技术中,相关企业通常会在存储体系的分布式建设中,在分部独立设置机房,并且将采集单元或是采集模块下放至分部,以减轻总部对应中心数据库的数据采集压力,最后通过实时同步,将中心数据库与分部数据库进行关联,在用户需要对数据进行调用的情况下,需要通过中心数据库来获取包含各个分部的第一目标数据。
4.可见,现有技术中存在对不同业务需求下数据管理的效果较差。


技术实现要素:

5.本发明实施例提供了一种数据管理方法、装置、电子设备及存储介质,以解决现有技术中在对不同业务需求下数据管理效果较差的问题。
6.第一方面,本发明实施例提供了一种数据管理方法,包括:
7.第一服务器向第二服务器发送应用建设的源码,以供所述第二服务器创建第一目标应用,所述第一目标应用用于向用户提供访问服务,其中,所述第一服务器为业务系统总部一侧的服务器,所述第二服务器为业务系统分部一侧的服务器;
8.所述第一服务器获取来自用户通过第二目标应用发送的第一请求,所述第一请求用于请求调用第一目标数据,所述第二目标应用位于所述第一服务器,所述第一目标数据为分部数据库同步至总部数据库的数据,所述分部数据库为所述业务系统分部一侧的数据库,所述总部数据库为所述业务系统总部一侧的数据库;
9.所述第一服务器对所述第一服务器一侧进行检测,以得到检测结果,所述检测结果用于表示总部一侧的数据处理性能;
10.在所述检测结果表示总部一侧的数据处理性能不满足数据处理要求的情况下,所述第一服务器反馈重选指令至所述第二目标应用,所述重选指令用于提示用户选择访问所述第一目标应用,以供用户通过所述第一目标应用调用所述分部数据库中的所述第一目标数据。
11.可选地,所述第一服务器配置向第二服务器发送应用建设的源码,包括:
12.所述第一服务器配置远程发布仓库,所述远程发布仓库存储用于构建所述第一目标应用的源码;
13.所述第一服务器利用所述远程发布仓库向所述第二服务器发送用于所述第一目标应用建设的源码,以供所述第二服务器创建所述第一目标应用。
14.可选地,所述第一服务器对所述第一服务器一侧进行检测,以得到检测结果,包
括:
15.所述第一服务器获取对应所述第一服务器一侧的负载指数或网络状态指数;
16.在所述负载指数或所述网络状态指数至少有一项在预设范围值之外的情况下,所述第一服务器生成第一检测结果,所述第一检测结果表示所述第一服务器一侧对应的数据处理性能不满足数据处理要求。
17.可选地,在所述第一服务器对所述第一服务器一侧进行检测,以得到检测结果之后,所述方法还包括:
18.在所述负载指数或所述网络状态指数均在所述预设范围之内的情况下,所述第一服务器生成第二检测结果,所述第二检测结果表示所述第一服务器一侧对应的数据处理性能满足数据处理要求;
19.所述第一服务器依据所述第一检测结果发送撤回指令至所述第二服务器,所述撤回指令用于对所述第一目标应用进行撤回处理,以供所述第一服务器一侧的算力回收。
20.可选地,在所述第一服务器反馈重选指令至所述第二目标应用之后,所述方法还包括:
21.所述第一服务器获取所述第二服务器对应的网元数量或告警采集数量;
22.在所述网元数量或所述告警采集数量超过预设数量的情况下,所述第一服务器发送第一指令至所述第二服务器,所述第一指令表示命令所述第二服务器对第二目标数据进行采集和管理,所述第二目标数据为输入所述业务系统的数据;
23.所述第一服务器利用所述总部数据库接收所述第二服务器中所述分部数据库发送的所述第二目标数据,以更新所述总部数据库。
24.可选地,在所述第一服务器
25.反馈重选指令至所述第二目标应用之后,所述方法还包括:
26.所述第一服务器获取对应所述第一服务器一侧的负载指数或网络状态指数;
27.在所述负载指数或所述网络状态指数至少有一项在预设范围值之外的情况下,所述第一服务器向所述第二服务器发送设备调用请求,所述设备调用请求表示对分部一侧的目标设备进行调用;
28.所述第一服务器获取所述第二服务器依据所述设备调用请求生成的注册请求,所述注册请求用于将分部一侧的设备注册至总部一侧对应的所述第一服务器;
29.所述第一服务器依据所述注册请求完成对所述目标设备的接入。
30.可选地,在所述第一服务器反馈重选指令至所述第二目标应用之后,所述方法还包括:
31.所述第一服务器将所述总部数据库中的增量同步信息或缓存同步信息同步至所述分部数据库,以供用户在访问所述第一目标应用时的数据一致性;
32.其中,所述增量同步信息包括如下至少一项:遥信性能数据、遥测性能数据;所述缓存同步信息包括如下至少一项:采集器缓存、站址缓存、采集任务缓存、采集周期缓存、设备缓存、信号量缓存、系统字典表缓存、运行商接口信息配置缓存和告警派单规则缓存。
33.第二方面,本发明实施例提供了一种数据管理装置,包括:
34.第一发送模块,用于向第二服务器发送应用建设的源码,以供所述第二服务器创建第一目标应用,所述第一目标应用用于向用户提供访问服务,其中,所述第二服务器为业
务系统分部一侧的服务器;
35.第一获取模块,用于获取来自用户通过第二目标应用发送的第一请求,所述第一请求用于请求调用第一目标数据,所述第二目标应用位于所述数据管理装置,所述第一目标数据为分部数据库同步至总部数据库的数据,所述分部数据库为所述业务系统分部一侧的数据库,所述总部数据库为所述业务系统总部一侧的数据库;
36.检测模块,用于对第一服务器一侧进行检测,以得到检测结果,所述检测结果用于表示总部一侧的数据处理性能;
37.反馈模块,用于在所述检测结果表示总部一侧的数据处理性能不满足数据处理要求的情况下,反馈重选指令至所述第二目标应用,所述重选指令用于提示用户选择访问所述第一目标应用,以供用户通过所述第一目标应用调用所述分部数据库中的所述第一目标数据。
38.可选地,所述第一发送模块包括:
39.配置单元,用于配置远程发布仓库,所述远程发布仓库存储用于构建所述第一目标应用的源码;
40.发送单元,用于利用所述远程发布仓库向所述第二服务器发送用于所述第一目标应用建设的源码,以供所述第二服务器创建所述第一目标应用。
41.可选地,所述检测模块包括:
42.获取单元,用于获取对应所述第一服务器一侧的负载指数或网络状态指数;
43.生成单元,用于在所述负载指数或所述网络状态指数至少有一项在预设范围值之外的情况下,生成第一检测结果,所述第一检测结果表示所述第一服务器一侧对应的数据处理性能不满足数据处理要求。
44.可选地,所述数据管理装置还包括:
45.生成模块,用于在所述负载指数或所述网络状态指数均在所述预设范围之内的情况下,生成第二检测结果,所述第二检测结果表示所述第一服务器一侧对应的数据处理性能满足数据处理要求;
46.撤回模块,用于依据所述第一检测结果发送撤回指令至所述第二服务器,所述撤回指令用于对所述第一目标应用进行撤回处理,以供所述第一服务器一侧的算力回收。
47.可选地,所述数据管理装置还包括:
48.第二获取模块,用于获取所述第二服务器对应的网元数量或告警采集数量;
49.第二发送模块,用于在所述网元数量或所述告警采集数量超过预设数量的情况下,发送第一指令至所述第二服务器,所述第一指令表示命令所述第二服务器对第二目标数据进行采集和管理,所述第二目标数据为输入所述业务系统的数据;
50.接收模块,用于利用所述总部数据库接收所述第二服务器中所述分部数据库发送的所述第二目标数据,以更新所述总部数据库。
51.可选地,所述数据管理装置还包括:
52.第三获取模块,用于获取对应所述第一服务器一侧的负载指数或网络状态指数;
53.第三发送模块,用于在所述负载指数或所述网络状态指数至少有一项在预设范围值之外的情况下,向所述第二服务器发送设备调用请求,所述设备调用请求表示对分部一侧的目标设备进行调用;
54.第四获取模块,用于获取所述第二服务器依据所述设备调用请求生成的注册请求,所述注册请求用于将分部一侧的设备注册至总部一侧对应的所述数据管理装置;
55.接入模块,用于依据所述注册请求完成对所述目标设备的接入。
56.可选地,所述数据管理装置还包括:
57.同步模块,用于将所述总部数据库中的增量同步信息或缓存同步信息同步至所述分部数据库,以供用户在访问所述第一目标应用时的数据一致性;
58.其中,所述增量同步信息包括如下至少一项:遥信性能数据、遥测性能数据;所述缓存同步信息包括如下至少一项:采集器缓存、站址缓存、采集任务缓存、采集周期缓存、设备缓存、信号量缓存、系统字典表缓存、运行商接口信息配置缓存和告警派单规则缓存。
59.第三方面,本发明实施例提供了一种电子设备,包括:
60.至少一个处理器;以及
61.与所述至少一个处理器通信连接的存储器;其中,
62.所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行第一方面所述的数据管理方法。
63.第四方面,本发明实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质,包括:
64.所述计算机指令用于使所述计算机执行根据第一方面所述的数据管理方法。
65.本发明实施例中,第一服务器首先向第二服务器发送源码,依据此源码可以创建第一目标应用,第一目标应用可以向用户提供访问服务,接着,第一服务器接收用户通过第二目标应用发送的第一请求,第一服务器根据第一请求对总部数据库进行检测,以得到总部一侧的数据处理性能能否满足数据处理的要求,在总部一侧的数据处理性能不满足数据处理要求的情况下,第一服务器向用户反馈重选指令,用于提示用户选择第一目标应用去调用分部数据库中的第一目标数据,通过该方法,可以根据总部一侧的数据处理性能进行弹性的调整,从而达到优化资源组合的服务能力,进而保障业务系统的稳定性和高可用性,提高了数据管理的效果。
66.应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
67.为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
68.图1是本发明实施例提供的一种数据管理方法的流程示意图;
69.图2是相关技术中分布式存储架构的结构示意图;
70.图3是本发明实施例提供的一种分布式存储架构的结构示意图;
71.图4是本发明实施例提供的一种数据管理方法对应的技术架构示意图;
72.图5是本发明实施例提供的一种数据管理方法对应的功能架构示意图;
73.图6是本发明实施例提供的一种数据管理方法的业务架构示意图;
74.图7是本发明实施例提供的一种数据管理装置的结构示意图;
75.图8是用来实现本发明实施例的数据管理方法的电子设备的框图。
具体实施方式
76.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
77.本发明实施例中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
78.请参见图1,图1是本发明实施例提供的一种数据管理方法的流程示意图,如图1所示,包括以下步骤:
79.步骤101、第一服务器向第二服务器发送应用建设的源码,以供所述第二服务器创建第一目标应用,所述第一目标应用用于向用户提供访问服务,其中,所述第一服务器为业务系统总部一侧的服务器,所述第二服务器为业务系统分部一侧的服务器;
80.步骤102、所述第一服务器获取来自用户通过第二目标应用发送的第一请求,所述第一请求用于请求调用第一目标数据,所述第二目标应用位于所述第一服务器,所述第一目标数据为分部数据库同步至总部数据库的数据,所述分部数据库为所述业务系统分部一侧的数据库,所述总部数据库为所述业务系统总部一侧的数据库;
81.步骤103、所述第一服务器对所述第一服务器一侧进行检测,以得到检测结果,所述检测结果用于表示总部一侧的数据处理性能;
82.步骤104、在所述检测结果表示总部一侧的数据处理性能不满足数据处理要求的情况下,所述第一服务器反馈重选指令至所述第二目标应用,所述重选指令用于提示用户选择访问所述第一目标应用,以供用户通过所述第一目标应用调用所述分部数据库中的所述第一目标数据。
83.其中,上述数据管理方法所包括的步骤101、步骤102、步骤103和步骤104可以是由电子计算机或是虚拟机等设备执行,对此本发明实施例不作限定。
84.需要说明的是,本发明实施例可以是基于分布式存储架构,请参见图2,图2是相关技术中分布式存储架构的结构示意图,如图2所示,存储体系的分布式建设下,在下沉省独立建设有机房,即在分部一侧建设机房,并且将采集器(采集单元)下发到下沉省,从而减轻中心数据库的压力,即减轻总部一侧的数据库压力。
85.另外,通过实时同步可以将中心数据库(总部数据库)与下沉省数据库(分部数据库)进行关联,并且保持逻辑上的统一,分布式存储架构支持并行计算,从而有效地提升整体算力。
86.请继续参见图2,集团采集器(总部一侧的采集器)可以根据各省份(分部一侧)网元数量和告警采集数量,进行弹性下沉,各省节点(分部节点)实现自维管理,并且各省份网
元注册在线和注册离线可以是定时从下沉省数据库(分部数据库)同步至中心数据库(总部数据库),从而减小对中心数据库的压力。
87.在步骤101中,上述第一服务器可以理解为分布式存储架构中总部一侧的服务器,同样地,上述第二服务器可以理解为分布式存储架构中分部一侧的服务器,应理解,在分布式存储架构中可以是包括有多个分部,上述第二服务器是可以理解为多个分部服务器中的其中一个。
88.另外,上述第一目标应用可以是基于上述第一服务器发送的源码在上述第二服务器中创建,上述第一目标应用帮助用户访问上述第二服务器,其中,用于建设上述第一目标应用的源码可以存储在总部一侧的数据库内,或是在总部一侧创建一个远程发布仓库,用于将建设上述第一目标应用的源码进行存储。
89.需要说明的是,上述第一目标应用可以是web应用程序,即用户可以通过web访问的应用程序,从而减小用户访问的难度,用户只需要通过浏览器即可完成访问。
90.在步骤102中,上述第一服务器可以是接收来自用户通过上述第二目标应用发送的上述第一请求,上述第二目标应用为业务系统在总部一侧的应用程序,在业务系统对应的架构中,当用户需要对相关数据进行调用或是查询时,都需需要通过访问上述第二目标应用或是上述第一目标应用来完成对应操作。
91.需要说明的是,上述第二目标应用可以是web应用程序,即用户可以通过web访问的应用程序,从而减小用户访问的难度,用户只需要通过浏览器即可完成访问。
92.其中,上述第一目标数据可以理解为上述分部数据库同步至上述总部数据库的数据,那么用户即可以访问总部一侧对应的上述第二目标应用对上述第一目标数据进行调用,也可以是访问分部一侧对应的上述第一目标应用对上述第一目标数据进行调用。
93.在步骤103中,上述第一服务器可以根据上述检测结果来对总部一侧的数据处理性能进行判断,其中,可以对总部一侧的网络状态或是服务器负载等元素进行检测,以得到上述检测结果,其中,上述第一服务器所检测的对象可以是服务器、总部数据库或是上述第一服务器对应的整体环境。
94.在一些可选的实施方式中,用户可以在上述第一服务器中对各个检测元素设置一个预设范围,当检测元素通过检测后对应的值在预设范围之内,则表示上述检测结果对应总部一侧的数据处理性能正常,同样地,当检测元素通过检测后对应的值未在预设范围之内,则表示上述检测结果对应总部一侧的数据处理性能较差。
95.上述检测元素除了为上述总部数据库的相关元素之外,还可以是上述第一服务器对应的网络状态、服务器负载等元素,对此本发明实施例不作限定。
96.在步骤104中,在上述检测结果表示总部一侧的数据处理性能不满足数据处理要求的情况下,上述第一服务器可以是上述反馈重选指令至上述第二目标应用,用户基于上述重选指令可以重选选择应用,即用户选择上述第一目标应用对上述第二服务器进行访问,从而达到调用上述第一目标数据的目的。
97.需要说明的是,总部一侧的数据处理性能也可以理解为业务系统在总部一侧的繁忙情况,用户可以将总部一侧设置为业务繁忙状态,从而提示用户直接访问预先创建的上述第一目标应用,无需先访问上述第二目标应用。
98.在该实施方案中,第一服务器首先向第二服务器发送源码,依据此源码可以创建
第一目标应用,第一目标应用可以向用户提供访问服务,接着,第一服务器接收用户通过第二目标应用发送的第一请求,第一服务器根据第一请求对总部数据库进行检测,以得到总部一侧的数据处理性能能否满足数据处理的要求,在总部一侧的数据处理性能不满足数据处理要求的情况下,第一服务器向用户反馈重选指令,用于提示用户选择第一目标应用去调用分部数据库中的第一目标数据,通过该方法,可以根据总部一侧的数据处理性能进行弹性的调整,从而达到优化资源组合的服务能力,进而保障业务系统的稳定性和高可用性,提高了数据管理的效果。
99.应理解,在本发明实施例中,用户对应的应用可以处于多个网络区域,即用户可以选择访问上述第一目标应用,用户也可以选择访问上述第二目标应用从而提高了业务系统的可靠性。
100.需要说明的是,上述第一服务器可以对算力进行下放的同时,也可以对算力进行回收,例如:上述第一服务器发送撤销上述第一目标应用的指令至上述第二服务器,从而使得上述第二服务器对上述第一目标应用进行撤销,从而完成算力回收,进而避免了对计算资源的局部浪费。
101.请参见图3,图3是本发明实施例提供的一种分布式存储架构的结构示意图,如图3所示,在下沉省独立建设有机房,即在分部一侧建设机房,并且将采集器(采集单元)下发到下沉省,从而减轻中心数据库的压力,即减轻总部一侧的数据库压力。
102.另外,通过实时同步可以将中心数据库(总部数据库)与下沉省数据库(分部数据库)进行关联,并且保持逻辑上的统一,分布式存储架构支持并行计算,从而有效地提升整体算力。
103.请继续参见图3,集团采集器(总部一侧的采集器)可以根据各省份(分部一侧)网元数量和告警采集数量,进行弹性下沉,各省节点(分部节点)实现自维管理,并且各省份网元注册在线和注册离线可以是定时从下沉省数据库(分部数据库)同步至中心数据库(总部数据库),从而减小对中心数据库的压力。
104.除此之外,在用户访问集团web应用,可以理解为第二目标应用,并且集团一侧(总部一侧)的数据处理性能不满足当前用户需求,那么用户可以直接访问在边缘侧(分部一侧)的边缘web应用,可以理解为第一目标应用,从而完成对第一目标数据的调用。
105.边缘web应用(第一目标应用)的创建可以理解为基于来自集团侧(总部一侧)源码的配置,进行的前端漂移,边缘web应用(第一目标应用)与下沉省数据库(分部数据库)之间可以实现完整漂移。
106.还需要说明的是,上述第一服务器按照职能可以分为漂移服务器和应用服务器,其中,算力漂移服务器主要包括了测试服务、源码服务、应用服务、大数据服务、中间件服务、管理与监控服务、计算服务、存储服务、网络服务、数据库服务,这些服务根据资源的情况,可单独部署,也可以分组合并部署;应用服务器主要包括了采集区服务、前端呈现服务、关系数据库服务等。
107.请参见图4,图4是本发明实施例提供的一种数据管理方法对应的技术架构示意图,如图4所示,技术架构示意图中包括有消息中间件、分布式缓存、云化数据库、docker容器和服务框架,其中,该技术构架还支持四层与七层的负载均衡,为容器和非容器应用提供负载接入能力,另外,消息中间件为分布式消息中间件,能够提供高性能、高实时、可扩展的
分布式消息中间件能力,具备消息有序、不重、不丢失,高堆积低损耗的特性。分布式缓存可以提供兼容redis协议的高性能、高可靠、可扩展的nosql内存数据库。云化数据库可以提供兼容mysql协议语法,可自动水平拆分的高性能、高可靠分布式关系型数据库。docker容器可以提供一站式镜像与容器服务,全生命周期容器应用管理能力。服务框架可以是分布式服务框架,其可以为应用开发人员提供快速构建分布式系统的常见模式工具,如服务发现,服务路由,配置管理等,支持快速服务与应用程序开发。
108.请参见图5,图5是本发明实施例提供的一种数据管理方法对应的功能架构示意图,如图5所示,功能架构示意图包括有应用层、控制平台层和基础设施层,其中,应用层主要用于应用发布、算力漂移等各项功能通过平台页面进行统一调度和管理,具备可视、可控、可管的特性。其中,基于内置的随需切换策略,可以根据当前的网络、负载状况等各种因素自动或手工进行相对应的漂移。控制平台层主要可以提供了一系列的基础服务,例如:容器化、配置管理、远程发布、随需切换、实时监控和用户管理等。基础设施层主要提供了底层的数据存储和网络传输服务,是各项上层应用能有效运行的基础保障,分部一侧(下沉省)和总部一侧(集团侧)在物理上是分散的,在弹性控制平台的调控下,物理资源仍然可以统一整合,视为整体。
109.可选地,所述第一服务器配置向第二服务器发送应用建设的源码,包括:
110.所述第一服务器配置远程发布仓库,所述远程发布仓库存储用于构建所述第一目标应用的源码;
111.所述第一服务器利用所述远程发布仓库向所述第二服务器发送用于所述第一目标应用建设的源码,以供所述第二服务器创建所述第一目标应用。
112.在该实施方案中,在上述第一服务器配置有上述远程发布仓库,在上述远程发布仓库中可以是存储有用于配置上述第一目标应用的源码,上述第一服务器可以定时向上述第二服务器发送源码,上述第二服务器接收源码后创建上述第一目标应用,通过该方法,可以达到算力弹性下放的目的。
113.请参见图6,图6是本发明实施例提供的一种数据管理方法的业务架构示意图,如图6所示,集团控制平台(总部一侧)和省控制平台(分部一侧)通过传输链路进行信息传输,并且集团控制平台(总部一侧)可以将上述第一目标应用的源码发送至省控制平台(分部一侧),从而实现应用漂移。
114.另外,除了对上述第一目标应用进行创建之外,还可以对创建的上述第一目标应用进行撤销处理,从而实现算力弹性下放以及算力回收,通过对伸缩策略的配置,总部一侧可以自动调整其弹性计算资源的管理服务,达到优化资源组合的服务能力。在业务量上升时增加计算能力,当业务量下降时减小计算能力,以此保障业务系统的稳定性和高可用性,同时节约计算资源成本。
115.可选地,所述第一服务器对所述第一服务器一侧进行检测,以得到检测结果,包括:
116.所述第一服务器获取对应所述第一服务器一侧的负载指数或网络状态指数;
117.在所述负载指数或所述网络状态指数至少有一项在预设范围值之外的情况下,所述第一服务器生成第一检测结果,所述第一检测结果表示所述第一服务器一侧对应的数据处理性能不满足数据处理要求。
118.在该实施方案中,上述第一服务器可以是先获取对应总部一侧的负载指数或网络状态指数等元素,若上述负载指数在上述预设范围值之外或者是上述网络状态指数在上述预设范围值之外的情况下,上述第一服务器则生成表示上述总部数据库对应的数据处理性能不满足数据处理要求的上述第一检测结果,通过该方法,能够实时根据业务系统的数据处理能力进行算力的下放,在业务量上升时增加计算能力,以此来保证业务系统的稳定性和高可用性。
119.另外,用户还可以是设置一个警告值,当上述负载指数或是上述网络状态指数超过警告值时,同样可以生成上述第一检测结果,而对于上述预设范围值和上述警告值的具体数值,用户可以根据业务系统的实际情况进行设定,对此本发明实施例不作限定。
120.需要说明的是,除了获取上述负载指数或上述网络状态指数之外,还可以是获取总部一侧的业务数据量,当业务数据量超过一定数量时,也可以是生成上述第一检测结果,以此进行算力的下放,维持业务系统的稳定性和对数据处理的高效性。
121.可选地,在所述第一服务器对所述第一服务器一侧进行检测,以得到检测结果之后,所述方法还包括:
122.在所述负载指数或所述网络状态指数均在所述预设范围之内的情况下,所述第一服务器生成第二检测结果,所述第二检测结果表示所述第一服务器一侧对应的数据处理性能满足数据处理要求;
123.所述第一服务器依据所述第一检测结果发送撤回指令至所述第二服务器,所述撤回指令用于对所述第一目标应用进行撤回处理,以供所述第一服务器一侧的算力回收。
124.在该实施方案中,在上述第一服务器获取对应总部一侧的负载指数或网络状态指数等元素之后,若上述负载指数在上述预设范围值之外或者是上述网络状态指数在上述预设范围值之内的情况下,上述第一服务器则生成表示上述总部数据库对应的数据处理性能满足数据处理要求的上述第二检测结果,上述第一服务器基于上述第二检测结果可以向上述第二服务器发送将上述第一目标应用撤回的撤回指令,通过该方法,能够实时根据业务系统的数据处理能力进行算力的回收,在业务量上升时增加计算能力,以此来保证业务系统的稳定性和高可用性。
125.另外,用户还可以是设置一个警告值,当上述负载指数或是上述网络状态指数未超过警告值时,同样可以生成上述第二检测结果,而对于上述预设范围值和上述警告值的具体数值,用户可以根据业务系统的实际情况进行设定,对此本发明实施例不作限定。
126.需要说明的是,除了获取上述负载指数或上述网络状态指数之外,还可以是获取总部一侧的业务数据量,当业务数据量未超过设定数量时,也可以是生成上述第二检测结果,以此进行算力的回收,维持业务系统的稳定性和对数据处理的高效性。
127.可选地,在所述第一服务器反馈重选指令至所述第二目标应用之后,所述方法还包括:
128.所述第一服务器获取所述第二服务器对应的网元数量或告警采集数量;
129.在所述网元数量或所述告警采集数量超过预设数量的情况下,所述第一服务器发送第一指令至所述第二服务器,所述第一指令表示命令所述第二服务器对第二目标数据进行采集和管理,所述第二目标数据为输入所述业务系统的数据;
130.所述第一服务器利用所述总部数据库接收所述第二服务器中所述分部数据库发
送的所述第二目标数据,以更新所述总部数据库。
131.在该实施方案中,总部一侧的采集器可以根据各个分部的网元数量以及告警采集数量进行弹性下沉,从而在各个分部节点实现自维管理,并且在该实施方案中,各个分部的网元注册在线和注册离线无需再实时记录到总部一侧的总部数据库,只需要定时从分部数据库同步至总部数据库即可,从而减轻总部数据库的压力,通过该方法,减少了各个分部与总部质检的数据同步性能要求,进而降低了总部数据库的压力,提高了业务系统的数据处理性能和数据管理效果。
132.可选地,在所述第一服务器反馈重选指令至所述第二目标应用之后,所述方法还包括:
133.所述第一服务器获取对应所述第一服务器一侧的负载指数或网络状态指数;
134.在所述负载指数或所述网络状态指数至少有一项在预设范围值之外的情况下,所述第一服务器向所述第二服务器发送设备调用请求,所述设备调用请求表示对分部一侧的目标设备进行调用;
135.所述第一服务器获取所述第二服务器依据所述设备调用请求生成的注册请求,所述注册请求用于将分部一侧的设备注册至总部一侧对应的所述第一服务器;
136.所述第一服务器依据所述注册请求完成对所述目标设备的接入。
137.在该实施方案中,上述第一服务器可以再次获取上述总部数据库的负载指数或网络状态指数,并且在上述负载指数或上述网络状态指数至少有一项在预设范围值之外的情况下,上述第一服务器可以向上述第二服务器申请设备调用,即发送上述设备调用请求,在上述目标设备在上述第一服务器完成注册后,即上述第一服务器完成对上述目标设备的接入,通过该方法,不仅可以大幅度减轻上述总部数据库的压力,也因为复用了服务器资源降低了成本,并且可以通过统一调配,在业务逻辑层面,总部一侧和分部一侧仍然可以保持整体的一致性。
138.可选地,分部一侧的设备可以根据业务需求,向上一级分部一侧的机房或是服务器进行注册,也可以是直接向总部一侧的机房或是服务器进行注册,对于上述目标设备的数量,用户可以根据业务处理的实际情况进行设定,以此满足数据处理以及数据管理的需求,对此本发明实施例不作限定。
139.可选地,在所述第一服务器反馈重选指令至所述第二目标应用之后,所述方法还包括:
140.所述第一服务器将所述总部数据库中的增量同步信息或缓存同步信息同步至所述分部数据库,以供用户在访问所述第一目标应用时的数据一致性;
141.其中,所述增量同步信息包括如下至少一项:遥信性能数据、遥测性能数据;所述缓存同步信息包括如下至少一项:采集器缓存、站址缓存、采集任务缓存、采集周期缓存、设备缓存、信号量缓存、系统字典表缓存、运行商接口信息配置缓存和告警派单规则缓存。
142.该实施方案可以在算力随需切换的过程中,保证数据的一致性,通过对数据库大数据服务的遥信、遥测性能数据的增量同步机制,以及对采集器缓存、站址缓存、采集任务缓存、采集周期缓存、设备缓存、信号量缓存、系统字典表缓存、运行商接口信息配置缓存和告警派单规则缓存的缓存同步机制的实现,达到总部一侧与分部一侧数据一致性的目的。
143.请参见图7,图7是本发明实施例提供的一种数据管理装置的结构示意图,如图7所
示,数据管理装置700包括:
144.第一发送模块701,用于向第二服务器发送应用建设的源码,以供所述第二服务器创建第一目标应用,所述第一目标应用用于向用户提供访问服务,其中,所述第二服务器为业务系统分部一侧的服务器;
145.第一获取模块702,用于获取来自用户通过第二目标应用发送的第一请求,所述第一请求用于请求调用第一目标数据,所述第二目标应用位于所述数据管理装置,所述第一目标数据为分部数据库同步至总部数据库的数据,所述分部数据库为所述业务系统分部一侧的数据库,所述总部数据库为所述业务系统总部一侧的数据库;
146.检测模块703,用于对第一服务器一侧进行检测,以得到检测结果,所述检测结果用于表示总部一侧的数据处理性能;
147.反馈模块704,用于在所述检测结果表示总部一侧的数据处理性能不满足数据处理要求的情况下,反馈重选指令至所述第二目标应用,所述重选指令用于提示用户选择访问所述第一目标应用,以供用户通过所述第一目标应用调用所述分部数据库中的所述第一目标数据。
148.可选地,第一发送模块701包括:
149.配置单元,用于配置远程发布仓库,所述远程发布仓库存储用于构建所述第一目标应用的源码;
150.发送单元,用于利用所述远程发布仓库向所述第二服务器发送用于所述第一目标应用建设的源码,以供所述第二服务器创建所述第一目标应用。
151.可选地,所述检测模块包括:
152.获取单元,用于获取对应所述第一服务器一侧的负载指数或网络状态指数;
153.生成单元,用于在所述负载指数或所述网络状态指数至少有一项在预设范围值之外的情况下,生成第一检测结果,所述第一检测结果表示所述第一服务器一侧对应的数据处理性能不满足数据处理要求。
154.可选地,数据管理装置700还包括:
155.生成模块,用于在所述负载指数或所述网络状态指数均在所述预设范围之内的情况下,生成第二检测结果,所述第二检测结果表示所述第一服务器一侧对应的数据处理性能满足数据处理要求;
156.撤回模块,用于依据所述第一检测结果发送撤回指令至所述第二服务器,所述撤回指令用于对所述第一目标应用进行撤回处理,以供所述第一服务器一侧的算力回收。
157.可选地,数据管理装置700还包括:
158.第二获取模块,用于获取所述第二服务器对应的网元数量或告警采集数量;
159.第二发送模块,用于在所述网元数量或所述告警采集数量超过预设数量的情况下,发送第一指令至所述第二服务器,所述第一指令表示命令所述第二服务器对第二目标数据进行采集和管理,所述第二目标数据为输入所述业务系统的数据;
160.接收模块,用于利用所述总部数据库接收所述第二服务器中所述分部数据库发送的所述第二目标数据,以更新所述总部数据库。
161.可选地,数据管理装置700还包括:
162.第三获取模块,用于获取对应所述第一服务器一侧的负载指数或网络状态指数;
163.第三发送模块,用于在所述负载指数或所述网络状态指数至少有一项在预设范围值之外的情况下,向所述第二服务器发送设备调用请求,所述设备调用请求表示对分部一侧的目标设备进行调用;
164.第四获取模块,用于获取所述第二服务器依据所述设备调用请求生成的注册请求,所述注册请求用于将分部一侧的设备注册至总部一侧对应的所述数据管理装置;
165.接入模块,用于依据所述注册请求完成对所述目标设备的接入。
166.可选地,数据管理装置700还包括:
167.同步模块,用于将所述总部数据库中的增量同步信息或缓存同步信息同步至所述分部数据库,以供用户在访问所述第一目标应用时的数据一致性;
168.其中,所述增量同步信息包括如下至少一项:遥信性能数据、遥测性能数据;所述缓存同步信息包括如下至少一项:采集器缓存、站址缓存、采集任务缓存、采集周期缓存、设备缓存、信号量缓存、系统字典表缓存、运行商接口信息配置缓存和告警派单规则缓存。
169.根据本发明的实施例,本发明还提供了一种电子设备、一种可读存储介质。
170.图8示出了可以用来实施本发明实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
171.如图8所示,设备800包括计算单元801,其可以根据存储在只读存储器(read-only memory,rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(random access memory,ram)803中的计算机程序,来执行各种适当的动作和处理。在ram 803中,还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(input/output,i/o)接口805也连接至总线804。
172.设备800中的多个部件连接至i/o接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
173.计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(central processing unit,cpu)、图形处理单元(graphics processing unit,gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如数据管理方法。
174.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(field programmable gate array,fpga)、专用集成电路(application specific integrated circuit,asic)、专用标准产品(application specific standard parts,assp)、芯片上系统(system on chip,soc)、复杂可编程逻辑设备(complex programmable logic device,cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多
个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
175.用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
176.在本发明的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(计算机存储器(erasable programmable read-only memory,eprom)或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
177.为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置;以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
178.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网、广域网和互联网。
179.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
180.应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
181.上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明
的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

技术特征:
1.一种数据管理方法,其特征在于,包括:第一服务器向第二服务器发送应用建设的源码,以供所述第二服务器创建第一目标应用,所述第一目标应用用于向用户提供访问服务,其中,所述第一服务器为业务系统总部一侧的服务器,所述第二服务器为业务系统分部一侧的服务器;所述第一服务器获取来自用户通过第二目标应用发送的第一请求,所述第一请求用于请求调用第一目标数据,所述第二目标应用位于所述第一服务器,所述第一目标数据为分部数据库同步至总部数据库的数据,所述分部数据库为所述业务系统分部一侧的数据库,所述总部数据库为所述业务系统总部一侧的数据库;所述第一服务器对所述第一服务器一侧进行检测,以得到检测结果,所述检测结果用于表示总部一侧的数据处理性能;在所述检测结果表示总部一侧的数据处理性能不满足数据处理要求的情况下,所述第一服务器反馈重选指令至所述第二目标应用,所述重选指令用于提示用户选择访问所述第一目标应用,以供用户通过所述第一目标应用调用所述分部数据库中的所述第一目标数据。2.根据权利要求1所述的数据管理方法,其特征在于,所述第一服务器配置向第二服务器发送应用建设的源码,包括:所述第一服务器配置远程发布仓库,所述远程发布仓库存储用于构建所述第一目标应用的源码;所述第一服务器利用所述远程发布仓库向所述第二服务器发送用于所述第一目标应用建设的源码,以供所述第二服务器创建所述第一目标应用。3.根据权利要求2所述的数据管理方法,其特征在于,所述第一服务器对所述第一服务器一侧进行检测,以得到检测结果,包括:所述第一服务器获取对应所述第一服务器一侧的负载指数或网络状态指数;在所述负载指数或所述网络状态指数至少有一项在预设范围值之外的情况下,所述第一服务器生成第一检测结果,所述第一检测结果表示所述第一服务器一侧对应的数据处理性能不满足数据处理要求。4.根据权利要求3所述的数据管理方法,其特征在于,在所述第一服务器对所述第一服务器一侧进行检测,以得到检测结果之后,所述方法还包括:在所述负载指数或所述网络状态指数均在所述预设范围之内的情况下,所述第一服务器生成第二检测结果,所述第二检测结果表示所述第一服务器一侧对应的数据处理性能满足数据处理要求;所述第一服务器依据所述第一检测结果发送撤回指令至所述第二服务器,所述撤回指令用于对所述第一目标应用进行撤回处理,以供所述第一服务器一侧的算力回收。5.根据权利要求4所述的数据管理方法,其特征在于,在所述第一服务器反馈重选指令至所述第二目标应用之后,所述方法还包括:所述第一服务器获取所述第二服务器对应的网元数量或告警采集数量;在所述网元数量或所述告警采集数量超过预设数量的情况下,所述第一服务器发送第一指令至所述第二服务器,所述第一指令表示命令所述第二服务器对第二目标数据进行采集和管理,所述第二目标数据为输入所述业务系统的数据;
所述第一服务器利用所述总部数据库接收所述第二服务器中所述分部数据库发送的所述第二目标数据,以更新所述总部数据库。6.根据权利要求1所述的数据管理方法,其特征在于,在所述第一服务器反馈重选指令至所述第二目标应用之后,所述方法还包括:所述第一服务器获取对应所述第一服务器一侧的负载指数或网络状态指数;在所述负载指数或所述网络状态指数至少有一项在预设范围值之外的情况下,所述第一服务器向所述第二服务器发送设备调用请求,所述设备调用请求表示对分部一侧的目标设备进行调用;所述第一服务器获取所述第二服务器依据所述设备调用请求生成的注册请求,所述注册请求用于将分部一侧的设备注册至总部一侧对应的所述第一服务器;所述第一服务器依据所述注册请求完成对所述目标设备的接入。7.根据权利要求1所述的数据管理方法,其特征在于,在所述第一服务器反馈重选指令至所述第二目标应用之后,所述方法还包括:所述第一服务器将所述总部数据库中的增量同步信息或缓存同步信息同步至所述分部数据库,以供用户在访问所述第一目标应用时的数据一致性;其中,所述增量同步信息包括如下至少一项:遥信性能数据、遥测性能数据;所述缓存同步信息包括如下至少一项:采集器缓存、站址缓存、采集任务缓存、采集周期缓存、设备缓存、信号量缓存、系统字典表缓存、运行商接口信息配置缓存和告警派单规则缓存。8.一种数据管理装置,其特征在于,包括:发送模块,用于向第二服务器发送应用建设的源码,以供所述第二服务器创建第一目标应用,所述第一目标应用用于向用户提供访问服务,其中,所述第二服务器为业务系统分部一侧的服务器;获取模块,用于获取来自用户通过第二目标应用发送的第一请求,所述第一请求用于请求调用第一目标数据,所述第二目标应用位于所述数据管理装置,所述第一目标数据为分部数据库同步至总部数据库的数据,所述分部数据库为所述业务系统分部一侧的数据库,所述总部数据库为所述业务系统总部一侧的数据库;检测模块,用于对第一服务器一侧进行检测,以得到检测结果,所述检测结果用于表示总部一侧的数据处理性能;反馈模块,用于在所述检测结果表示总部一侧的数据处理性能不满足数据处理要求的情况下,反馈重选指令至所述第二目标应用,所述重选指令用于提示用户选择访问所述第一目标应用,以供用户通过所述第一目标应用调用所述分部数据库中的所述第一目标数据。9.一种电子设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至7中任一项所述的数据管理方法。10.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指
令用于使所述计算机执行根据权利要求1至7中任一项所述的数据管理方法。

技术总结
本发明一种数据管理方法、装置、电子设备及存储介质,包括:第一服务器向第二服务器发送应用建设的源码,以供第二服务器创建第一目标应用,第一目标应用用于向用户提供访问服务;第一服务器获取来自用户通过第二目标应用发送的第一请求;第一服务器对总部数据库进行检测,以得到检测结果,检测结果用于表示总部一侧的数据处理性能;在检测结果表示总部一侧的数据处理性能不满足数据处理要求的情况下,第一服务器反馈重选指令至第二目标应用,重选指令用于提示用户选择访问第一目标应用,以供用户通过第一目标应用调用分部数据库中的第一目标数据。本发明可以提高在对不同业务需求下的数据管理效果。下的数据管理效果。下的数据管理效果。


技术研发人员:钱惠君 顾雨鑫 张琎
受保护的技术使用者:中国铁塔股份有限公司
技术研发日:2023.04.23
技术公布日:2023/7/20
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐