一种微服务模式下的数据导入方法、装置、设备及介质与流程

1.本说明书涉及计算机技术领域，尤其涉及一种微服务模式下的数据导入方法、装置、设备及介质。


背景技术：

2.随着用户实际业务量的增长，为更好的满足用户信息化，保障系统稳定运行和抗风险能力，越来越多的应用系统采用拆微服务的方式部署运行，提升了系统的并发支撑能力，进一步提高了容灾能力，保障了系统的高可用性。为保证系统的各个微服务拥有的独立演进能力，各个微服务有自己独立的应用程序和数据库，这保证了各微服务直接的解耦，但是随之而来的是系统的运维升级复杂度进一步加大，由于各个微服务之间存在调用依赖关系，当一个微服务升级时，存在非常大的可能性，需要对其依赖的基础数据微服务及公共服务微服务进行协同升级。在升级系统微服务时，应用程序部分可以根据文件的位置直接覆盖或者以镜像的形式打包完成升级。
3.现有技术中，升级相匹配的数据库时，大都采用手工升级方式，由于系统进行一次升级，变更项往往较多，一旦缺失某个变更项，就可能引起服务的异常甚至整个系统的崩溃，造成不可挽回的损失。同时，随着业务量的增长，系统下微服务的数量可能达到十几个甚至数十个，如果手工逐个升级，必将耗费很长时间，影响业务的正常运行。


技术实现要素：

4.本说明书一个或多个实施例提供了一种微服务模式下的数据导入方法、装置、设备及介质，用于解决背景技术提出的技术问题。
5.本说明书一个或多个实施例采用下述技术方案：
6.本说明书一个或多个实施例提供的一种微服务模式下的数据导入方法，包括：
7.在指定数据导入时，对所述指定数据进行解析，得到所述指定数据对应的指定变更集；
8.根据所述指定变更集所属的变更集模块，确定所述指定数据对应的指定变更集模块；
9.根据预先设定的各微服务的变更集模块，确定所述指定变更集模块对应的指定微服务；
10.根据预先设定所述各微服务的数据源，确定所述指定微服务对应的指定数据源，以便通过所述指定数据源完成所述指定数据的导入。
11.可选的，若所述指定数据进行跨微服务导入时，所述通过所述指定数据源完成所述指定数据的导入，包括：
12.在所述指定数据源中查找对应的指定数据库，将当前的数据库切换至所述指定数据库进行所述指定数据的导入。
13.可选的，所述方法还包括：
14.在所述指定微服务升级时，将所述指定微服务对应的应用程序和数据库进行变更，得到变更信息；
15.根据所述变更信息确定所述指定微服务对应的变更集；
16.将所述指定微服务对应的变更集与所述指定变更集模块进行关联。
17.可选的，所述方法还包括：
18.确定变更集模块之间的依赖关系，以通过所述依赖关系对各个微服务之间的协同更新。
19.可选的，所述对所述指定数据进行解析，得到所述指定数据对应的指定变更集，包括：
20.通过dbo与data数据存储结构描述所述指定数据，得到dbo文件与data文件，dbo数据存储结构用以描述数据库表操作，data数据存储结构用于描述所述指定数据对应的指定变更集；
21.对所述dbo文件与所述data文件进行解析，得到所述指定数据对应的指定变更集。
22.可选的，在当前数据库更新时，所述方法还包括：
23.对所述当前数据库的变更集模块对应的范围和版本进行检查；
24.若所述变更集模块对应的范围不符合，不安装所述当前数据库对应的变更集；
25.当所述变更集模块对应的版本低于指定版本时，跳过安装所述当前数据库对应的变更集。
26.本说明书一个或多个实施例提供的一种微服务模式下的数据导入装置，所述装置包括：
27.解析单元，在指定数据导入时，对所述指定数据进行解析，得到所述指定数据对应的指定变更集；
28.模块确定单元，根据所述指定变更集所属的变更集模块，确定所述指定数据对应的指定变更集模块；
29.微服务确定单元，根据预先设定的各微服务的变更集模块，确定所述指定变更集模块对应的指定微服务；
30.导入单元，根据预先设定所述各微服务的数据源，确定所述指定微服务对应的指定数据源，以便通过所述指定数据源完成所述指定数据的导入。
31.可选的，若所述指定数据进行跨微服务导入时，所述导入单元执行所述通过所述指定数据源完成所述指定数据的导入，包括：
32.在所述指定数据源中查找对应的指定数据库，将当前的数据库切换至所述指定数据库进行所述指定数据的导入。
33.本说明书一个或多个实施例提供的一种微服务模式下的数据导入设备，包括：
34.至少一个处理器；以及，
35.与所述至少一个处理器通信连接的存储器；其中，
36.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
37.在指定数据导入时，对所述指定数据进行解析，得到所述指定数据对应的指定变更集；
38.根据所述指定变更集所属的变更集模块，确定所述指定数据对应的指定变更集模块；
39.根据预先设定的各微服务的变更集模块，确定所述指定变更集模块对应的指定微服务；
40.根据预先设定所述各微服务的数据源，确定所述指定微服务对应的指定数据源，以便通过所述指定数据源完成所述指定数据的导入。
41.本说明书一个或多个实施例提供的一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令被计算机执行时能够实现：
42.在指定数据导入时，对所述指定数据进行解析，得到所述指定数据对应的指定变更集；
43.根据所述指定变更集所属的变更集模块，确定所述指定数据对应的指定变更集模块；
44.根据预先设定的各微服务的变更集模块，确定所述指定变更集模块对应的指定微服务；
45.根据预先设定所述各微服务的数据源，确定所述指定微服务对应的指定数据源，以便通过所述指定数据源完成所述指定数据的导入。
46.本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
47.本说明书实施例通过数据源管理和数据去向标记对数据最终执行的数据库进行确认，并配以数据执行器，实现数据的导入，进而完成一个系统下多个微服务的协同部署和运维升级。
附图说明
48.为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
49.图1为本说明书一个或多个实施例提供的一种微服务模式下的数据导入方法的流程示意图；
50.图2为本说明书一个或多个实施例提供的一种微服务模式下的数据导入装置的结构示意图；
51.图3为本说明书一个或多个实施例提供的一种微服务模式下的数据导入设备的结构示意图。
具体实施方式
52.本说明书实施例提供一种微服务模式下的数据导入方法、装置、设备及介质。
53.为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说
明书保护的范围。
54.图1为本说明书一个或多个实施例提供的一种微服务模式下的数据导入方法的流程示意图，该流程可以由微服务模式下的数据导入系统执行。流程中的某些输入参数或者中间结果允许人工干预调节，以帮助提高准确性。
55.本说明书实施例的方法流程步骤如下：
56.s102，在指定数据导入时，对所述指定数据进行解析，得到所述指定数据对应的指定变更集。
57.在本说明书实施例中，可以应用于系统拆分微服务后，数据库随之拆分成多个，在进行系统更新的时候，存在指定数据的跨库导入的情况，为了实现功能的整体更新，可以对指定数据进行解析，得到指定数据对应的指定变更集。
58.需要说明的是，在所述指定微服务升级时，可以将所述指定微服务对应的应用程序和数据库进行变更，得到变更信息；再根据所述变更信息确定所述指定微服务对应的变更集；并且，每个变更集皆有明确的归属模块，为此，可以将所述指定微服务对应的变更集与所述指定变更集模块进行关联。
59.同时，变更集模块之间预先设置有依赖关系，用以实现各个微服务之间的协同更新。每个具体业务的微服务，在业务逻辑上都依赖基础数据微服务，自然的，在设计变更集模块的时候，需要将业务变更集模块依赖到基础数据变更集上。在实施过程中，可以确定变更集模块之间的依赖关系，以通过所述依赖关系对各个微服务之间的协同更新。
60.在本说明书实施例中，对所述指定数据进行解析，得到所述指定数据对应的指定变更集时，可以通过dbo与data数据存储结构描述所述指定数据，得到dbo文件与data文件，dbo数据存储结构用以描述数据库表操作，data数据存储结构用于描述所述指定数据对应的指定变更集；对所述dbo文件与所述data文件进行解析，得到所述指定数据对应的指定变更集。
61.其中dbo可以用以描述数据库表操作，data用于描述数据库表内的数据操作。
62.关于dbo所属微服务
63.针对一个业务场景，数据库表是固定的，每个微服务都有自己的专属数据库表，故此，表不存在跨微服务分发的情况。只需要将dbo所属微服务设定为微服务变更集模块，即可在部署dbo的时候，将表创建到所属微服务的数据库中。特别的，当dbo没有指定所属变更集模块时，默认部署到主数据源(拆微服务部署模式下，多个数据源中存在一个主数据源)中。
64.关于data所属微服务
65.当基础数据服务和业务服务拆分到两个微服务时，往往存在以下场景：升级业务服务，业务服务的部分变更需要将基础数据服务一并升级，即：部分业务服务的数据，属于基础数据微服务的变更集。此时，需要将数据变更集分成两部分：归属于业务服务微服务的、归属于基础数据微服务的。每一条数据变更，都有data与之对应，故此，需要在data的描述属性中指明此条数据的微服务变更集模块归属，在执行数据导入的时候，工具会自动切换到对应的数据源，完成数据的导入。
66.s104，根据所述指定变更集所属的变更集模块，确定所述指定数据对应的指定变更集模块。
67.s106，根据预先设定的各微服务的变更集模块，确定所述指定变更集模块对应的指定微服务。
68.s108，根据预先设定所述各微服务的数据源，确定所述指定微服务对应的指定数据源，以便通过所述指定数据源完成所述指定数据的导入。
69.在本说明书实施例中，若所述指定数据进行跨微服务导入时，可以在所述指定数据源中查找对应的指定数据库，将当前的数据库切换至所述指定数据库进行所述指定数据的导入。
70.在本说明书实施例中，当前数据库更新时，可以对所述当前数据库的变更集模块对应的范围和版本进行检查；若所述变更集模块对应的范围不符合，不安装所述当前数据库对应的变更集；当所述变更集模块对应的版本低于指定版本时，跳过安装所述当前数据库对应的变更集。
71.需要说明的是，本说明书实施例可以提供一种系统拆分微服务之后数据库运维更新的方案，实现各微服务的数据库同步更新。系统拆分微服务后，数据库随之拆分成多个，在进行系统更新的时候，存在数据的跨库导入以顺利实现功能的整体更新。微服务是一个或多个业务相对独立，功能相对完整的最小服务单元(msu)组成的服务集合，每个微服务中记录了包含的最小服务单元(msu)。本说明书实施例引入dbo、data等数据存储结构用以描述数据库表数据，并在此技术上指明数据的目标数据源；在执行数据库更新的时候，根据上述信息，在服务注册中查找到对应的数据源信息，进而获取到数据的最终去向，然后通过dbo、data等文件配套的执行器执行数据的导入，完成多个关联数据源的协同更新。
72.需要说明的是，本说明书实施例涉及微服务拆分部署下的系统服务变更，部署升级领域，通过数据源管理和数据去向标记对数据最终执行的数据库进行确认，并配以数据执行器，实现数据的导入，进而完成一个系统下多个微服务的协同部署和运维升级。
73.需要说明的是，本说明书实施例可以保证拆微服务部署的系统能够快速、精确的对微服务进行协同升级，保障各微服务之间服务一致性并独立演进的能力。
74.进一步的，本说明书实施例可以通过下述具体方案：
75.1)数据源管理：
76.a)当系统采用微服务部署方式运行时，每个微服务都有自己的应用程序和数据库，各个微服务的数据库之间彼此完全解耦(不在一台数据库服务器，甚至可能不是同一种数据库)，一个微服务是不允许直接连接其他微服务的数据库的，一个系统在拆分微服务后，存在多个微服务数据库。
77.b)当微服务更新时，对于存在业务逻辑依赖的其他微服务，可能会产生协同更新，故此，在升级微服务数据库时，获取所有的微服务数据库链接，是有必要的。当出现跨微服务数据库进行数据分发时，可以直接在获取到的数据源中查找到对应的数据库，直接切换数据库执行数据导入即可。
78.2)微服务数据库版本管理：
79.a)微服务的每一次升级更新，都视为一次变更集(包括文件和数据)的安装，在应用程序和数据库中均对该变更及进行记录，产生一个版本号。在每次微服务更新时，要求数据库中变更集的安装版本，不低于应用程序中的版本。(特别的：如果数据库无法兼容老版本应用程序运行，则数据库和应用程序的版本需严格保持一致)
80.b)每个变更集都有明确的归属模块，即：该变更集包含哪些功能的变更。当安装变更集时，应用程序和数据库分别记录安装过的变更集所属模块，产生变更集模块记录。同样的，数据库的变更集模块范围须不小于应用程序的变更集模块范围。
81.c)变更集所属模块之间设计依赖关系，用以实现各个微服务之间的协同更新。每个具体业务的微服务，在业务逻辑上都依赖基础数据微服务，自然的，在设计变更集模块的时候，需要将业务变更集模块依赖到基础数据变更集上。
82.d)基于a、b两个前提设计，当数据库更新时，需要先对数据库变更集模块范围和版本进行检查：当变更集所属模块不在数据库变更集模块范围内时，不安装该变更集；当变更集版本低于当前数据库变更集版本时，默认已经安装过该变更集，自动跳过安装该变更集。
83.3)数据流向标记
84.本说明书实施例引入dbo和data的概念用以描述数据库变更操作，其中dbo可以用以描述数据库表操作，data可以用于描述数据库表内的数据操作。
85.a)dbo所属微服务
86.针对一个业务场景，数据库表是固定的，每个微服务都有自己的专属数据库表，故此，表不存在跨微服务分发的情况。只需要将dbo所属微服务设定为微服务变更集模块，即可在部署dbo的时候，将表创建到所属微服务的数据库中。特别的，当dbo没有指定所属变更集模块时，默认部署到主数据源(拆微服务部署模式下，多个数据源中存在一个主数据源)中。
87.b)data所属微服务
88.当基础数据服务和业务服务拆分到两个微服务时，往往存在以下场景：升级业务服务，业务服务的部分变更需要将基础数据服务一并升级，即：部分业务服务的数据，属于基础数据微服务的变更集。此时，需要将数据变更集分成两部分：归属于业务服务微服务的、归属于基础数据微服务的。每一条数据变更，都有data与之对应，故此，需要在data的描述属性中指明此条数据的微服务变更集模块归属，在执行数据导入的时候，工具会自动切换到对应的数据源，完成数据的导入。
89.4)数据导入工具
90.在启动数据导入工具后，工具会第一时间获取各个微服务的数据源，并查询得到各个微服务的变更集模块；之后进行dbo和data文件的解析，获取数据归属的变更集范围并转换成对应的数据库变更集，根据数据所属变更集范围匹配对应的微服务，实现数据的正确分发导入。
91.需要说明的是，本说明书实施例可以对应用和数据库的变更集版本进行校验，保证了版本的一致性，避免手工升级引发的变更集缺失或者冗余引发的系统崩溃。同时，本说明书实施例可以对变更集进行规范，使得交付物具备普适性，不仅仅局限于一种数据库或一种产品。此外，本说明书实施例还可以提高了升级效率，经过实际技术验证，同等条件下升级耗时减少90％，对业务的影响大幅降低。
92.图2为本说明书一个或多个实施例提供的一种微服务模式下的数据导入装置的结构示意图，所述装置包括：解析单元202、模块确定单元204、微服务确定单元206与导入单元208。
93.解析单元202，在指定数据导入时，对所述指定数据进行解析，得到所述指定数据
对应的指定变更集；
94.模块确定单元204，根据所述指定变更集所属的变更集模块，确定所述指定数据对应的指定变更集模块；
95.微服务确定单元206，根据预先设定的各微服务的变更集模块，确定所述指定变更集模块对应的指定微服务；
96.导入单元208，根据预先设定所述各微服务的数据源，确定所述指定微服务对应的指定数据源，以便通过所述指定数据源完成所述指定数据的导入。
97.可选的，若所述指定数据进行跨微服务导入时，所述导入单元208执行所述通过所述指定数据源完成所述指定数据的导入，包括：
98.在所述指定数据源中查找对应的指定数据库，将当前的数据库切换至所述指定数据库进行所述指定数据的导入。
99.图3为本说明书一个或多个实施例提供的一种微服务模式下的数据导入设备的结构示意图，包括：
100.至少一个处理器；以及，
101.与所述至少一个处理器通信连接的存储器；其中，
102.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
103.在指定数据导入时，对所述指定数据进行解析，得到所述指定数据对应的指定变更集；
104.根据所述指定变更集所属的变更集模块，确定所述指定数据对应的指定变更集模块；
105.根据预先设定的各微服务的变更集模块，确定所述指定变更集模块对应的指定微服务；
106.根据预先设定所述各微服务的数据源，确定所述指定微服务对应的指定数据源，以便通过所述指定数据源完成所述指定数据的导入。
107.本说明书一个或多个实施例提供的一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令被计算机执行时能够实现：
108.在指定数据导入时，对所述指定数据进行解析，得到所述指定数据对应的指定变更集；
109.根据所述指定变更集所属的变更集模块，确定所述指定数据对应的指定变更集模块；
110.根据预先设定的各微服务的变更集模块，确定所述指定变更集模块对应的指定微服务；
111.根据预先设定所述各微服务的数据源，确定所述指定微服务对应的指定数据源，以便通过所述指定数据源完成所述指定数据的导入。
112.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
113.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
114.以上所述仅为本说明书的一个或多个实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

技术特征：
1.一种微服务模式下的数据导入方法，其特征在于，所述方法包括：在指定数据导入时，对所述指定数据进行解析，得到所述指定数据对应的指定变更集；根据所述指定变更集所属的变更集模块，确定所述指定数据对应的指定变更集模块；根据预先设定的各微服务的变更集模块，确定所述指定变更集模块对应的指定微服务；根据预先设定所述各微服务的数据源，确定所述指定微服务对应的指定数据源，以便通过所述指定数据源完成所述指定数据的导入。2.根据权利要求1所述的方法，其特征在于，若所述指定数据进行跨微服务导入时，所述通过所述指定数据源完成所述指定数据的导入，包括：在所述指定数据源中查找对应的指定数据库，将当前的数据库切换至所述指定数据库进行所述指定数据的导入。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述指定微服务升级时，将所述指定微服务对应的应用程序和数据库进行变更，得到变更信息；根据所述变更信息确定所述指定微服务对应的变更集；将所述指定微服务对应的变更集与所述指定变更集模块进行关联。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：确定变更集模块之间的依赖关系，以通过所述依赖关系对各个微服务之间的协同更新。5.根据权利要求1所述的方法，其特征在于，所述对所述指定数据进行解析，得到所述指定数据对应的指定变更集，包括：通过dbo与data数据存储结构描述所述指定数据，得到dbo文件与data文件，dbo数据存储结构用以描述数据库表操作，data数据存储结构用于描述所述指定数据对应的指定变更集；对所述dbo文件与所述data文件进行解析，得到所述指定数据对应的指定变更集。6.根据权利要求1所述的方法，其特征在于，在当前数据库更新时，所述方法还包括：对所述当前数据库的变更集模块对应的范围和版本进行检查；若所述变更集模块对应的范围不符合，不安装所述当前数据库对应的变更集；当所述变更集模块对应的版本低于指定版本时，跳过安装所述当前数据库对应的变更集。7.一种微服务模式下的数据导入装置，其特征在于，所述装置包括：解析单元，在指定数据导入时，对所述指定数据进行解析，得到所述指定数据对应的指定变更集；模块确定单元，根据所述指定变更集所属的变更集模块，确定所述指定数据对应的指定变更集模块；微服务确定单元，根据预先设定的各微服务的变更集模块，确定所述指定变更集模块对应的指定微服务；导入单元，根据预先设定所述各微服务的数据源，确定所述指定微服务对应的指定数据源，以便通过所述指定数据源完成所述指定数据的导入。
8.根据权利要求7所述的装置，其特征在于，若所述指定数据进行跨微服务导入时，所述导入单元执行所述通过所述指定数据源完成所述指定数据的导入，包括：在所述指定数据源中查找对应的指定数据库，将当前的数据库切换至所述指定数据库进行所述指定数据的导入。9.一种微服务模式下的数据导入设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：在指定数据导入时，对所述指定数据进行解析，得到所述指定数据对应的指定变更集；根据所述指定变更集所属的变更集模块，确定所述指定数据对应的指定变更集模块；根据预先设定的各微服务的变更集模块，确定所述指定变更集模块对应的指定微服务；根据预先设定所述各微服务的数据源，确定所述指定微服务对应的指定数据源，以便通过所述指定数据源完成所述指定数据的导入。10.一种非易失性计算机存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令被计算机执行时能够实现：在指定数据导入时，对所述指定数据进行解析，得到所述指定数据对应的指定变更集；根据所述指定变更集所属的变更集模块，确定所述指定数据对应的指定变更集模块；根据预先设定的各微服务的变更集模块，确定所述指定变更集模块对应的指定微服务；根据预先设定所述各微服务的数据源，确定所述指定微服务对应的指定数据源，以便通过所述指定数据源完成所述指定数据的导入。

技术总结
本说明书实施例公开了一种微服务模式下的数据导入方法、装置、设备及介质，包括：在指定数据导入时，对所述指定数据进行解析，得到所述指定数据对应的指定变更集；根据所述指定变更集所属的变更集模块，确定所述指定数据对应的指定变更集模块；根据预先设定的各微服务的变更集模块，确定所述指定变更集模块对应的指定微服务；根据预先设定所述各微服务的数据源，确定所述指定微服务对应的指定数据源，以便通过所述指定数据源完成所述指定数据的导入。本说明书实施例通过数据源管理和数据去向标记对数据最终执行的数据库进行确认，并配以数据执行器，实现数据的导入，进而完成一个系统下多个微服务的协同部署和运维升级。统下多个微服务的协同部署和运维升级。统下多个微服务的协同部署和运维升级。


技术研发人员：陈贵文
受保护的技术使用者：浪潮通用软件有限公司
技术研发日：2023.04.18
技术公布日：2023/7/18