数据校验方法、装置、设备及存储介质与流程

1.本发明涉及数据校验技术领域，尤其涉及一种数据校验方法、装置、设备及存储介质。


背景技术：

2.相关技术中，针对银行业务服务，在由旧服务系统向新服务系统切换时，通常采用人工测试对新服务数据库的服务数据进行校验，效率较低。


技术实现要素：

3.本发明的主要目的在于：提供一种数据校验方法、装置、设备及存储介质，旨在解决现有新旧服务切换时，通过人工测试对新服务数据库的服务数据进行校验，效率较低的技术问题。
4.为实现上述目的，本发明采用如下技术方案：
5.第一方面，本发明提供一种数据校验方法，方法包括：
6.获取旧服务数据库中针对目标服务的旧服务数据和新服务数据库中针对目标服务的新服务数据；
7.将旧服务数据存入第一离线大数据hive表，得到旧服务数据hive表，并将新服务数据存入第二hive表，得到新服务数据hive表；
8.利用差异查询语言hql，将旧服务数据hive表和新服务数据hive表进行比对，得到新服务数据的全量数据校验结果。
9.可选地，利用差异查询语言hql，将旧服务数据hive表和新服务数据hive表进行比对，得到全量数据校验结果，包括：
10.利用差异查询语言hql，将旧服务数据hive表和新服务数据hive表进行比对，得到全量旧服务差异数据和全量新服务差异数据；
11.将全量旧服务差异数据存入第三hive表，得到全量旧服务差异数据hive表，并将全量新服务差异数据存入第四hive表，得到全量新服务差异数据hive表；
12.根据全量旧服务差异数据hive表和全量新服务差异数据hive表，获得全量数据校验结果。
13.可选地，获取旧服务数据库中针对目标服务的旧服务数据和新服务数据库中针对目标服务的新服务数据之前，方法还包括：
14.接收实时服务请求，并将实时服务请求发送到旧服务数据库和新服务数据库；
15.接收旧服务数据库返回的第一返回结果和新服务数据库返回的第二返回结果；第一返回结果为旧服务数据库执行实时服务请求获得，第二返回结果为新服务数据库执行实时服务请求获得；
16.将第一返回结果和第二返回结果进行比对，得到实时服务校验结果。
17.可选地，接收旧服务数据库返回的第一返回结果和新服务数据库返回的第二返回
结果之后，方法还包括：
18.基于服务网关，将第一返回结果返回用户端，以使旧服务数据库为用户端提供服务。
19.可选地，将第一返回结果和第二返回结果进行比对，得到实时服务校验结果之前，方法还包括：
20.基于消息队列kafka，对第一返回结果进行数据处理，得到处理后的第一返回结果，并对第二返回结果进行数据处理，得到处理后的第二返回结果；
21.将第一返回结果和第二返回结果进行比对，得到实时服务校验结果，包括：
22.将处理后的第一返回结果和处理后的第二返回结果进行比对，得到实时服务校验结果。
23.可选地，将第一返回结果和第二返回结果进行比对，得到实时服务校验结果，包括：
24.将第一返回结果和第二返回结果进行比对，得到实时差异数据；
25.基于预设允许差异条件，对实时差异数据进行过滤处理，获得异常实时差异数据，得到实时服务校验结果。
26.可选地，基于预设允许差异条件，对实时差异数据进行过滤处理，获得异常实时差异数据，得到实时服务校验结果之后，方法还包括：
27.基于异常实时差异数据，生成异常预警提示。
28.第二方面，本发明还提供一种数据校验装置，装置包括：
29.数据获取模块，用于获取旧服务数据库中针对目标服务的旧服务数据和新服务数据库中针对目标服务的新服务数据；
30.数据存储模块，用于将旧服务数据存入第一hive表，得到旧服务数据hive表，并将新服务数据存入第二hive表，得到新服务数据hive表；
31.全量比对模块，用于利用差异查询语言hql，将旧服务数据hive表和新服务数据hive表进行比对，得到全量数据校验结果。
32.第三方面，本发明还提供一种数据校验设备，设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的数据校验程序，通过数据校验程序配置为实现如上述任一项数据校验方法的步骤。
33.第四方面，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述任一项的数据校验方法的步骤。
34.本发明提供一种数据校验方法、装置、设备及存储介质，通过获取旧服务数据库和新服务数据库中针对目标服务的服务数据，分别存入旧服务数据hive表和新服务数据hive表，通过差异查询语言hql对比两个hive表中全量旧服务数据和全量新服务数据，得到新服务数据库中新服务数据的全量数据校验结果。
35.由此，本发明分别基于旧服务数据库中针对目标服务的旧服务数据和新服务数据库中针对目标服务的新服务数据，构建离线大数据hive表，通过差异查询语言hql自动比对两个hive表的数据差异，在由旧服务系统向新服务系统切换时，自动对新服务数据库中新服务数据完成全量数据校验，相较于通过人工测试进行数据校验，提高了数据校验的效率。
附图说明
36.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
37.图1为本发明数据校验设备的结构示意图；
38.图2为本发明数据校验方法第一实施例的流程示意图；
39.图3为本发明数据校验方法第二实施例的流程示意图；
40.图4为一示例性的实时异常明细图；
41.图5为本发明数据校验装置第一实施例的模块示意图。
42.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
43.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
45.在本发明中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的装置或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种装置或者系统所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括该要素的装置或者系统中还存在另外的相同要素。
46.鉴于现有新旧服务切换时，通过人工测试对新服务数据库的服务数据进行校验，效率较低的技术问题，本发明提供了一种数据校验方法，总体思路如下：
47.方法包括：获取旧服务数据库中针对目标服务的旧服务数据和新服务数据库中针对目标服务的新服务数据；将旧服务数据存入第一离线大数据hive表，得到旧服务数据hive表，并将新服务数据存入第二hive表，得到新服务数据hive表；利用差异查询语言hql，将旧服务数据hive表和新服务数据hive表进行比对，得到新服务数据的全量数据校验结果。
48.本发明提供一种数据校验方法，分别基于旧服务数据库中针对目标服务的旧服务数据和新服务数据库中针对目标服务的新服务数据，构建离线大数据hive表，通过差异查询语言hql自动比对两个hive表的数据差异，在由旧服务系统向新服务系统切换时，自动对新服务数据库中新服务数据完成全量数据校验，相较于通过人工测试进行数据校验，提高了数据校验的效率。
49.下面对本发明技术实现中应用到的数据校验方法、装置、设备及存储介质进行详细说明：
50.参照图1，图1为本技术实施例方案涉及的硬件运行环境的数据校验设备的结构示意图。
51.如图1所示，该设备可以包括：处理器1001，例如cpu，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括智能手机、平板设备和掌上电脑(pdas，personal digital assistants)等类型的电子设备，可选所述用户接口1003还可以是显示屏(display)、输入单元比如键盘(keyboard)等。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
52.可以理解的是，所述设备还可以包括网络接口1004，网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。可选地，设备还可以包括rf(radio frequency，射频)电路，传感器、音频电路、wifi模块等等。
53.本领域技术人员可以理解，图1中示出的设备结构并不构成对该设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
54.下面结合附图和具体实施方式对本发明的数据校验方法、装置、设备及存储介质进行详细描述。
55.基于上述硬件结构但不限于上述硬件结构，参照图2，图2为本发明数据校验方法第一实施例的流程示意图。
56.本实施例提供一种数据校验方法，方法可以包括：
57.步骤s400：获取旧服务数据库中针对目标服务的旧服务数据和新服务数据库中针对目标服务的新服务数据。
58.本实施例中，执行主体可以为如图1所示的数据校验设备，该数据校验设备可以为包括一独立主机的物理服务器，或可以为主机集群承载的虚拟服务器。
59.可以理解，目标服务可以为根据实际银行业务需求确定的业务服务，旧服务数据为旧服务数据库中针对目标服务的全量服务数据，新服务数据为新服务数据库中针对目标服务的全量服务数据。旧服务数据库中旧服务数据可以为用户端提供目标服务对应的业务服务。在实际新旧服务系统切换时，首先将旧服务数据库中目标服务对应的旧服务数据迁移到新服务数据库，再切换到由新服务数据库中新服务数据为用户端提供对应的业务服务。因此，在实际由旧服务数据库切换到新服务数据库为用户端提供业务服务前，需要先对新服务数据库中新服务数据进行校验，校验新服务数据库中新服务数据是否能为用户端提供目标服务对应的业务服务。
60.步骤s500：将旧服务数据存入第一离线大数据hive表，得到旧服务数据hive表，并将新服务数据存入第二hive表，得到新服务数据hive表。
61.本实施例中，新服务数据库和旧服务数据库的存储底层往往会有所不同，因此，为了提供具有良好共性的数据比对方式，可以通过大数据离线分析技术，利用hive组件分别将不同数据存储底层的旧服务数据和新服务数据，抽取到hive表中进行数据比对，从而对新服务数据库中新服务数据进行校验。
62.步骤s600：利用差异查询语言hql，将旧服务数据hive表和新服务数据hive表进行比对，得到新服务数据的全量数据校验结果。
63.本实施例中，hive组件可以利用差异查询语言hql可以对比两个hive表，得到全量差异数据，通过hive组件基于全量差异数据，分析得到新服务数据的全量数据校验结果。全量差异数据可以为旧服务数据与新服务数据之间的差异数据。
64.作为一具体实施方式，步骤s600可以包括：利用差异查询语言hql，将旧服务数据hive表和新服务数据hive表进行比对，得到全量旧服务差异数据和全量新服务差异数据；将全量旧服务差异数据存入第三hive表，得到全量旧服务差异数据hive表，并将全量新服务差异数据存入第四hive表，得到全量新服务差异数据hive表；根据全量旧服务差异数据hive表和全量新服务差异数据hive表，获得全量数据校验结果。
65.本实施例中，全量差异数据包括全量旧服务差异数据和全量新服务差异数据，分别存入一个hive表。通过大数据离线分析技术提供的hive导出到mysql功能，可以将对比得到的全量差异数据存储到大数据离线分析技术提工的数据存储组件，通过大数据离线分析技术提供的数据分析组件可以对全量旧服务差异数据hive表和全量新服务差异数据hive表进行检查分析，获得全量数据校验结果。数据存储组件和数据分析组件可以根据实际实用需求选择。其中，数据存储组件可以包括hdfs组件、hbase组件和cassandra组件，数据分析组件可以包括flink组件、spark组件和mahout组件。其中，全量数据校验结果还可以通过可视化界面向用户端展示。
66.本实施例提供一种数据校验方法，分别基于旧服务数据库中针对目标服务的旧服务数据和新服务数据库中针对目标服务的新服务数据，构建离线大数据hive表，通过差异查询语言hql自动比对两个hive表的数据差异，在由旧服务系统向新服务系统切换时，自动对新服务数据库中新服务数据完成全量数据校验，相较于通过人工测试进行数据校验，提高了数据校验的效率。
67.进一步地，参照图3和图4，图3为本发明数据校验方法第二实施例的流程示意图，图4为一示例性的实时异常明细图。
68.基于上述实施例一，本实施例提供一种数据校验方法，步骤s400之前，方法还可以包括：
69.步骤s100：接收实时服务请求，并将实时服务请求发送到旧服务数据库和新服务数据库。
70.本实施例中，在新旧服务切换过程中，还可以基于用户端发送的实时服务请求进行实时数据校验。
71.步骤s200：接收旧服务数据库返回的第一返回结果和新服务数据库返回的第二返回结果。
72.其中，第一返回结果为旧服务数据库执行实时服务请求获得，第二返回结果为新服务数据库执行实时服务请求获得。
73.本实施例中，实时数据校验基于旧服务数据库和新服务数据库执行实时服务请求返回的返回数据实现。返回结果可以包括实时返回数据和/或实时结果标识。其中，实时返回数据可以为查询数据，实时结果标识可以为业务逻辑执行结果标识。
74.作为一具体实施方式，步骤s200之后，方法还可以包括：基于服务网关，将第一返回结果返回用户端，以使旧服务数据库为用户端提供服务。
75.本实施例中，为了不影响用户端的业务需求，在新旧服务切换过程中，可以利用旧服务数据库为用户端提供业务服务，在新旧服务切换后，利用新服务数据库为用户端提供业务服务。本实施例可以基于网关gateway技术，配置网关路由，基于对应的网关路由，根据实际新旧服务切换情况，灵活向旧服务数据库和/或新服务数据库转发实时服务请求，实现
新旧服务切换过程不影响用户端的业务需求。
76.具体使用时，在服务数据迁移前，基于旧服务数据库对应的网关路由，仅将实时服务请求转发到旧服务数据库，利用旧服务数据库为用户端提供业务服务；在服务数据迁移到新服务数据库后，分别通过对应的网关路由将实时服务请求转发到旧服务数据库和新服务数据库，比对旧服务数据库和新服务数据库的返回数据，进行实时数据校验，并通过旧服务器对应的网关路由，向用户端返回旧服务数据库的返回数据，利用旧服务数据库为用户端提供业务服务；在新旧服务切换后，通过新服务数据库对应的网关路由将用户实时需求发送到新服务数据库，利用新服务数据库为用户端提供业务服务。从而实现不影响业务交易，用户无感过渡的新旧服务切换。
77.步骤s300：将第一返回结果和第二返回结果进行比对，得到实时服务校验结果。
78.本实施例中，若第一返回结果和第二返回结果无差异，表示新服务数据库的实时服务校验结果正常，若第一返回结果和第二返回结果存在差异，表示新服务数据库的实时服务校验结果异常。其中，实时服务校验结果可以包括实时数据校验和实时业务逻辑校验，通过比对返回结果中实时返回数据，可以实现对新服务数据库中新服务数据的实时数据校验；通过比对返回结果中实时结果标识，可以实现对新服务系统的业务逻辑的实时业务逻辑校验。
79.例如，若实时服务请求为转账交易请求，该转账交易请求需要一系列业务处理(包括判断转账用户金额是否充足，被转让用户是否正确等)，此时，新旧服务系统的返回结果可以为转账结果标识，比对新旧服务对相同转账交易请求的返回结果是否一致，可以判断新旧服务针对该转账交易的业务逻辑是否相同，对新服务数据库的服务业务逻辑进行校验。
80.作为一实施方式，步骤s300之前，方法还可以包括：基于消息队列kafka，对第一返回结果进行数据处理，得到处理后的第一返回结果，并对第二返回结果进行数据处理，得到处理后的第二返回结果；步骤s300可以包括：将所述处理后的第一返回结果和所述处理后的第二返回结果进行比对，得到所述实时服务校验结果。
81.本实施例中，消息队列kafka接收到第一返回结果和第二返回结果后，可以对第一返回结果和第二返回结果进行解耦处理和消峰处理。
82.作为一具体实施方式，步骤s300还可以包括：
83.步骤s310：将第一返回结果和第二返回结果进行比对，得到实时差异数据。
84.步骤s320：基于预设允许差异条件，对实时差异数据进行过滤处理，获得异常实时差异数据，得到实时服务校验结果。
85.本实施例中，可以基于flink技术搭建的数据实时比对服务，利用流式计算能力，快速比对旧服务数据库和新服务数据库联机返回的第一返回结果和第二返回结果，得到第一返回结果中实时返回数据与第二返回结果中实时返回数据之间的实时差异数据。
86.预设允许差异条件可以根据实际目标服务确定。通过预设允许差异条件过滤后，若实时差异数据中存在异常实时差异数据，表示新服务数据库的实时数据校验结果异常。
87.作为一实施方式，步骤s320之后，方法还可以包括：基于异常实时差异数据，生成异常预警提示。
88.本实施例中，可以直接将异常实时差异数据推送到用户端，生成多样的异常预警
提示，向测试人员进行异常预警。还可以将异常实时差异数据存储到搜索服务引擎elasticsearch，通过elasticsearch基于异常实时差异数据生成实时异常明细，在用户端接收到异常预警提示后，测试人员可以在用户端根据实时服务请求的唯一标识(例如，业务交易参考号)，获得实时异常明细进行异常分析。如图4所示，实时异常明细可以包括版本对比、差异总数、总对比数量和差异列表等。
89.可以理解，旧服务数据库可以包括多种业务服务对应的服务数据或旧服务数据库可以为不同业务服务对应的服务数据库，新服务数据库也可以包多种业务服务对应的服务数据或新服务数据库也可以为不同业务服务对应的服务数据库。因此，可以根据业务需求分批次对不同业务服务的服务数据进行迁移和全量数据校验。也可以在服务数据迁移后，新服务数据库的服务测试阶段按照预设周期定时进行全量数据校验。其中，预设周期可以根据实际需求设置。较佳地，可以每天日终批量业务处理后，进行一次全量数据校验。从而每天在实时服务校验的基础上结合全量数据校验，进行新服务数据库的服务质量校验。
90.第一方面，本实施例提供一种数据校验方法，通过配置网关路由在新旧服务切换过程中，灵活切换旧服务数据库和新服务数据库为用户端提供服务，实现外围用户端无感知，不影响用户端业务交易的新旧服务切换。
91.第二方面，本实施例在新旧服务切换过程中将旧服务数据库和新服务数据库联机，通过flink技术进行实时服务校验，基于实际业务需求，通过比对返回结果中实时返回数据进行新服务数据库的实时数据校验，通过比对返回结果中实时结果标识进行实时业务逻辑校验，从而全方位进行实时服务校验，结合全量数据校验可以多方位的确保新服务数据库的服务质量。
92.第三方面，在进行实时数据校验时，设置预设允许差异条件作为人性化的差异忽略机制，定制化忽略新旧服务合理性差异，忽略可接收差异，减少了重复分析成本。
93.第四方面，在进行实时数据校验后，基于异常实时差异数据进行异常告警，并生成异常差异明细，对实时服务校验结果进行展示，使得测试人员可以快速发现异常问题，并根据异常差异明细快速分析和解决异常问题。
94.基于同一发明构思，参照图5，图5为本发明数据校验装置第一实施例的模块示意图。
95.本实施例提供了一种数据校验装置，装置可以包括：
96.数据获取模块10，用于获取旧服务数据库中针对目标服务的旧服务数据和新服务数据库中针对目标服务的新服务数据；
97.数据存储模块20，用于将旧服务数据存入第一hive表，得到旧服务数据hive表，并将新服务数据存入第二hive表，得到新服务数据hive表；
98.全量比对模块30，用于利用差异查询语言hql，将旧服务数据hive表和新服务数据hive表进行比对，得到全量数据校验结果。
99.上述数据校验装置的具体实施方式中更多实施细节可参见上述实施例一或二中数据校验方法的具体实施方式的描述，为了说明书的简洁，此处不再重复赘述。
100.此外，本发明实施例还提出一种计算机存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上文的数据校验方法的步骤。因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本技术所涉及的计算机
可读存储介质实施例中未披露的技术细节，请参照本技术方法实施例的描述。确定为示例，程序指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
101.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种数据校验方法，其特征在于，所述方法包括：获取旧服务数据库中针对目标服务的旧服务数据和新服务数据库中针对所述目标服务的新服务数据；将所述旧服务数据存入第一离线大数据hive表，得到旧服务数据hive表，并将所述新服务数据存入第二hive表，得到新服务数据hive表；利用差异查询语言hql，将所述旧服务数据hive表和所述新服务数据hive表进行比对，得到所述新服务数据的全量数据校验结果。2.如权利要求1所述的方法，其特征在于，所述利用差异查询语言hql，将所述旧服务数据hive表和所述新服务数据hive表进行比对，得到全量数据校验结果，包括：利用所述差异查询语言hql，将所述旧服务数据hive表和所述新服务数据hive表进行比对，得到全量旧服务差异数据和全量新服务差异数据；将所述全量旧服务差异数据存入第三hive表，得到全量旧服务差异数据hive表，并将所述全量新服务差异数据存入第四hive表，得到全量新服务差异数据hive表；根据所述全量旧服务差异数据hive表和所述全量新服务差异数据hive表，获得所述全量数据校验结果。3.如权利要求1所述的方法，其特征在于，所述获取旧服务数据库中针对目标服务的旧服务数据和新服务数据库中针对所述目标服务的新服务数据之前，所述方法还包括：接收实时服务请求，并将所述实时服务请求发送到所述旧服务数据库和所述新服务数据库；接收所述旧服务数据库返回的第一返回结果和所述新服务数据库返回的第二返回结果；所述第一返回结果为所述旧服务数据库执行所述实时服务请求获得，所述第二返回结果为所述新服务数据库执行所述实时服务请求获得；将所述第一返回结果和所述第二返回结果进行比对，得到实时服务校验结果。4.如权利要求3所述的方法，其特征在于，所述接收所述旧服务数据库返回的第一返回结果和所述新服务数据库返回的第二返回结果之后，所述方法还包括：基于服务网关，将所述第一返回结果返回用户端，以使所述旧服务数据库为所述用户端提供服务。5.如权利要求3所述的方法，其特征在于，所述将所述第一返回结果和所述第二返回结果进行比对，得到实时服务校验结果之前，所述方法还包括：基于消息队列kafka，对所述第一返回结果进行数据处理，得到处理后的第一返回结果，并对所述第二返回结果进行数据处理，得到处理后的第二返回结果；所述将所述第一返回结果和所述第二返回结果进行比对，得到实时服务校验结果，包括：将所述处理后的第一返回结果和所述处理后的第二返回结果进行比对，得到所述实时服务校验结果。6.如权利要求3所述的方法，其特征在于，所述将所述第一返回结果和所述第二返回结果进行比对，得到实时服务校验结果，包括：将所述第一返回结果和所述第二返回结果进行比对，得到实时差异数据；基于预设允许差异条件，对所述实时差异数据进行过滤处理，获得异常实时差异数据，
得到所述实时服务校验结果。7.如权利要求6所述的方法，其特征在于，所述基于预设允许差异条件，对所述实时差异数据进行过滤处理，获得异常实时差异数据，得到所述实时服务校验结果之后，所述方法还包括：基于所述异常实时差异数据，生成异常预警提示。8.一种数据校验装置，其特征在于，所述装置包括：数据获取模块，用于获取旧服务数据库中针对目标服务的旧服务数据和新服务数据库中针对所述目标服务的新服务数据；数据存储模块，用于将所述旧服务数据存入第一hive表，得到旧服务数据hive表，并将所述新服务数据存入第二hive表，得到新服务数据hive表；全量比对模块，用于利用差异查询语言hql，将所述旧服务数据hive表和所述新服务数据hive表进行比对，得到全量数据校验结果。9.一种数据校验设备，其特征在于，所述设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的数据校验程序，通过数据校验程序配置为实现如权利要求1至7中任一项所述的数据校验方法的步骤。10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据校验方法的步骤。

技术总结
本发明公开一种数据校验方法、装置、设备及存储介质，涉及数据校验技术领域，方法包括：获取旧服务数据库中针对目标服务的旧服务数据和新服务数据库中针对目标服务的新服务数据；将旧服务数据存入第一离线大数据hive表，得到旧服务数据hive表，并将新服务数据存入第二hive表，得到新服务数据hive表；利用差异查询语言hql，将旧服务数据hive表和新服务数据hive表进行比对，得到新服务数据的全量数据校验结果。本发明自动对新服务数据库中新服务数据完成全量数据校验，解决了现有新旧服务切换时，通过人工测试对新服务数据库的服务数据进行校验，效率较低的技术问题，提高了数据校验的效率。的效率。的效率。


技术研发人员：张皓
受保护的技术使用者：招商银行股份有限公司
技术研发日：2023.07.31
技术公布日：2023/10/11