基于后线产品的数据比对方法、装置及存储介质与流程

1.本发明涉及计算机领域，尤其涉及一种基于后线产品的数据比对方法、装置及存储介质。


背景技术：

2.后线系统指的是不直接对客或对外提供服务，为其他对外或对客业务系统提供数据存储和加工的系统，其具有提供监管报送、业务分析、风险分析等功能。
3.现有技术中，后线产品通过客户端连接数据库执行操作，测试人员需要人工对数据进行裁剪、排序、组合、比对，操作步骤较为繁琐，有时修改一列的内容还需要同步核实其他的数据，重复工作较多，导致数据对比操作失误较多，正确率较低，从而降低了数据对比的效率。


技术实现要素：

4.本发明提供一种基于后线产品的数据比对方法、装置及存储介质，用以解决现有技术中数据比对效率低的缺陷。
5.本发明提供一种基于后线产品的数据比对方法，包括：
6.获取第一数据；所述第一数据为从数据库中导出的待比对数据；
7.基于所述第一数据确定第二数据；所述第二数据为从数据字典中导出的与所述第一数据关联的数据；
8.将所述第一数据和所述第二数据进行比对。
9.可选地，基于所述第一数据确定第二数据，包括：
10.根据所述第一数据，确定所述第一数据在数据字典中对应的数据表的索引范围；
11.基于所述索引范围确定所述第二数据。
12.可选地，所述索引范围包括以下至少一项：
13.数据表英文名；
14.数据项英文名；
15.数据类型；
16.数据最大长度；
17.小数位长度；
18.是否主键。
19.可选地，将所述第一数据和所述第二数据进行比对，包括：
20.将所述第一数据写入第一数据表，并将所述第二数据写入第二数据表；
21.将所述第一数据表与所述第二数据表合并，生成第三数据表；
22.对所述第三数据表中的数据进行比对。
23.可选地，对所述第三数据表中的数据进行比对，包括：
24.对所述第三数据表中的第一数据和第二数据的数据结构进行比对。
25.可选地，对所述第三数据表中的数据进行比对，包括：
26.对所述第三数据表中的第一数据和第二数据的数据条数进行比对。
27.可选地，对所述第三数据表中的数据进行比对，包括：
28.对所述第三数据表中的第一数据和第二数据的数据内容进行比对。
29.本发明还提供一种基于后线产品的数据比对装置，包括：
30.获取模块，用于获取第一数据；所述第一数据为从数据库中导出的待比对数据；
31.确定模块，用于基于所述第一数据确定第二数据；所述第二数据为从数据字典中导出的与所述第一数据关联的数据；
32.比对模块，用于将所述第一数据和所述第二数据进行比对。
33.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于后线产品的数据比对方法。
34.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于后线产品的数据比对方法。
35.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种基于后线产品的数据比对方法。
36.本发明提供的基于后线产品的数据比对方法、装置及存储介质，通过产品特性构建一个参数化、自动化和可扩展化的数据对比流程，不再需要测试人员进行繁琐的手工操作，降低了数据对比的失误率，提升了正确率，从而提高了数据对比的效率。
附图说明
37.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1是本发明提供的基于后线产品的数据比对方法的流程示意图；
39.图2是本发明提供的同一数据表名的数据字典示意表；
40.图3是本发明提供的基于后线产品的数据比对装置的结构示意图；
41.图4是本发明提供的电子设备的结构示意图。
具体实施方式
42.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.图1是本发明提供的基于后线产品的数据比对方法的流程示意图，如图1所示，本发明提供的基于后线产品的数据比对方法，可以包括：
44.步骤101、获取第一数据；所述第一数据为从数据库中导出的待比对数据。
45.具体地，首先在数据库中查询第一数据。
46.其中，第一数据指的是从数据库中导出的待对比数据。
47.在一些实施例中，系统通过python脚本定义系统界面菜单，可以理解为定义各个函数模块，例如，数据库连接模块、数据库导出模块、数据字典导出模块、合并模块、数据结构比对模块、数据条数比对模块和数据内容比对模块。该系统将所需数据内容以全部以excel、txt格式保存至本地或程序进程当中，通过传参调用进程：识别、定义、解析，通过数据的再合并、再汇总、再展示等方式提取，得到所需对比结果。其中，系统界面菜单指的是由若干个下拉菜单组成，每个下拉菜单包含一组菜单执行命令。执行不同的单元，菜单的内容也随着调用语句发生变化，所以也被称为“动态菜单”。
48.其中，在数据库连接模块中可以在数据库中查询第一数据。
49.步骤102、基于所述第一数据确定第二数据；所述第二数据为从数据字典中导出的与所述第一数据关联的数据。
50.具体地，查询到数据库中第一数据后，将第一数据导出，单独形成一个数据表格，根据第一数据，在数据字典中导出第二数据，并将第二数据也单独形成一个数据表格。
51.其中，第二数据指的是从数据字典中导出的与所述第一数据关联的数据。
52.在一些实施例中，在数据库导出模块可以导出第一数据，并写入一个新的excel表格，在数据字典导出模块可以导出第二数据，并写入另一个excel表格，生成两个单独有效的数据表格。
53.步骤103、将所述第一数据和所述第二数据进行比对。
54.具体地，将第一数据的数据表格和第二数据的数据表格合并成一个数据表格，再对第一数据和第二数据的数据结构、数据条数和数据内容进行比对。
55.在一些实施例中，合并模块可以将第一数据的数据表格和第二数据的数据表格合并成一个sheet表格，其中，表格合并的先后顺序直接影响最后数据比对的差异性。
56.本发明提供的基于后线产品的数据比对方法，通过产品特性构建一个参数化、自动化和可扩展化的数据对比流程，不再需要测试人员进行繁琐的手工操作，降低了数据对比的失误率，提升了正确率，从而提高了数据对比的效率。
57.可选地，基于所述第一数据确定第二数据，包括：
58.根据所述第一数据，确定所述第一数据在数据字典中对应的数据表的索引范围；
59.基于所述索引范围确定所述第二数据。
60.具体地，确定完第一数据后，在数据字典中框定对应第一数据的数据表的索引范围，根据该索引范围，确定第二数据。
61.在一些实施例中，上游系统会提供一张全量数据表格，该表格中可以包含很多数据字典，例如，有十个数据字典，可以提取其中的一个数据字典表格，读取该表格中的内容，在自动化系统中输入表名，可以自动筛选出对应的字段内容。
62.图2是本发明提供的同一数据表名的数据字典示意表，如图2所示，每一列表示一个字段，根据一个表名筛选出一个数据字典，例如，根据源系统提供的订阅清单中的数据表名，可以是账号余额信息表，可以筛选出一个数据字典。
63.本发明提供的基于后线产品的数据比对方法，通过产品特性构建一个参数化、自动化和可扩展化的数据对比流程，不再需要测试人员进行繁琐的手工操作，降低了数据对比的失误率，提升了正确率，从而提高了数据对比的效率。
64.可选地，所述索引范围包括以下至少一项：
65.数据表英文名；
66.数据项英文名；
67.数据类型；
68.数据最大长度；
69.小数位长度；
70.是否主键。
71.具体地，在数据字典中框定对应第一数据的数据表的索引范围，可以有数据表英文名、数据项英文名、数据类型、数据最大长度、小数位长度、是否主键。
72.本发明提供的基于后线产品的数据比对方法，通过产品特性构建一个参数化、自动化和可扩展化的数据对比流程，不再需要测试人员进行繁琐的手工操作，降低了数据对比的失误率，提升了正确率，从而提高了数据对比的效率。
73.可选地，将所述第一数据和所述第二数据进行比对，包括：
74.将所述第一数据写入第一数据表，并将所述第二数据写入第二数据表；
75.将所述第一数据表与所述第二数据表合并，生成第三数据表；
76.对所述第三数据表中的数据进行比对。
77.具体地，将第一数据写入新的excel表格中，将第二数据写入另一份excel表格中，再将两个excel表格合并成一个sheet表格，对该sheet表格中的第一数据和第二数据进行数据比对。
78.在一些实施例中，由于建库时里面的字段内容与源系统中的内容有差异，例如，字段长度不一致，可以将该数据库中的数据导出与源系统提供的数据字典中的数据进行比对。
79.本发明提供的基于后线产品的数据比对方法，通过产品特性构建一个参数化、自动化和可扩展化的数据对比流程，不再需要测试人员进行繁琐的手工操作，降低了数据对比的失误率，提升了正确率，从而提高了数据对比的效率。
80.可选地，对所述第三数据表中的数据进行比对，包括：
81.对所述第三数据表中的第一数据和第二数据的数据结构进行比对。
82.具体地，将两个数据表格的数据合并成一个数据表格后，在最新的数据表格中，对数据的数据结构进行比对。
83.在一些实施例中，数据结构比对模块可以对第一数据和第二数据的数据结构进行比对。
84.其中，数据结构比对可以是名称、字段类型、数据长度等比对，数据长度可以是精度、标度，其可以通过逐一分析、字符转换、关联条件等获取对比结果。
85.本发明提供的基于后线产品的数据比对方法，通过产品特性构建一个参数化、自动化和可扩展化的数据对比流程，不再需要测试人员进行繁琐的手工操作，降低了数据对比的失误率，提升了正确率，从而提高了数据对比的效率。
86.可选地，对所述第三数据表中的数据进行比对，包括：
87.对所述第三数据表中的第一数据和第二数据的数据条数进行比对。
88.具体地，将两个数据表格的数据合并成一个数据表格后，在最新的数据表格中，对
数据的数据条数进行比对。
89.在一些实施例中，数据条数比对模块可以对第一数据和第二数据的数据条数进行比对。例如，上游系统通过前端界面输入十条数据内容给数据库，此时数据库应当接收该十条内容，但有些特殊情况，当上游系统输入之后，到数据库中只有九条内容，那么与源系统中的数据内容会有差异性。
90.其中，后线系统是通过上游系统接收数据的，上游系统可以是p6(primavera 6.0)、数据共享的控制系统(data sharing control system，dcds)，两种方式加载的文件格式不相同。
91.本发明提供的基于后线产品的数据比对方法，通过产品特性构建一个参数化、自动化和可扩展化的数据对比流程，不再需要测试人员进行繁琐的手工操作，降低了数据对比的失误率，提升了正确率，从而提高了数据对比的效率。
92.可选地，对所述第三数据表中的数据进行比对，包括：
93.对所述第三数据表中的第一数据和第二数据的数据内容进行比对。
94.具体地，将两个数据表格的数据合并成一个数据表格后，在最新的数据表格中，对数据的数据内容进行比对。
95.在一些实施例中，数据内容比对模块可以对第一数据和第二数据的数据内容进行比对。例如，身份证号是否一致。
96.在一些实施例中，数据库接收了上游系统加载后的数据文本，生产.html格式的比对结果，通过函数difflib.htmldiff将结果的差异显示出来。
97.本发明提供的基于后线产品的数据比对方法，通过产品特性构建一个参数化、自动化和可扩展化的数据对比流程，不再需要测试人员进行繁琐的手工操作，降低了数据对比的失误率，提升了正确率，从而提高了数据对比的效率。
98.图3是本发明提供的基于后线产品的数据比对装置的结构示意图，如图3所示，该装置包括：
99.获取模块310，用于获取第一数据；所述第一数据为从数据库中导出的待比对数据；
100.确定模块320，用于基于所述第一数据确定第二数据；所述第二数据为从数据字典中导出的与所述第一数据关联的数据；
101.比对模块330，用于将所述第一数据和所述第二数据进行比对。
102.可选地，所述确定模块包括第一确定子模块和第二确定子模块：
103.所述第一确定子模块，用于根据所述第一数据，确定所述第一数据在数据字典中对应的数据表的索引范围；
104.所述第二确定子模块，用于基于所述索引范围确定所述第二数据。
105.可选地，所述索引范围包括以下至少一项：
106.数据表英文名；
107.数据项英文名；
108.数据类型；
109.数据最大长度；
110.小数位长度；
111.是否主键。
112.可选地，所述比对模块包括写入子模块、合并子模块和比对子模块：
113.所述写入子模块，用于将所述第一数据写入第一数据表，并将所述第二数据写入第二数据表；
114.所述合并子模块，用于将所述第一数据表与所述第二数据表合并，生成第三数据表；
115.所述比对子模块，用于对所述第三数据表中的数据进行比对。
116.可选地，所述比对子模块包括第一比对单元：
117.所述第一比对单元，用于对所述第三数据表中的第一数据和第二数据的数据结构进行比对。
118.可选地，所述比对子模块包括第二比对单元：
119.所述第二比对单元，用于对所述第三数据表中的第一数据和第二数据的数据条数进行比对。
120.可选地，所述比对子模块包括第三比对单元：
121.所述第三比对单元，用于对所述第三数据表中的第一数据和第二数据的数据内容进行比对。
122.具体地，本技术实施例提供的上述基于后线产品的数据比对装置，能够实现上述基于后线产品的数据比对方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
123.图4是本发明提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(communications interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行基于后线产品的数据比对方法，该方法包括：
124.获取第一数据；所述第一数据为从数据库中导出的待比对数据；
125.基于所述第一数据确定第二数据；所述第二数据为从数据字典中导出的与所述第一数据关联的数据；
126.将所述第一数据和所述第二数据进行比对。
127.此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
128.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于后线产品的数据比对方法，该方法包括：
129.获取第一数据；所述第一数据为从数据库中导出的待比对数据；
130.基于所述第一数据确定第二数据；所述第二数据为从数据字典中导出的与所述第一数据关联的数据；
131.将所述第一数据和所述第二数据进行比对。
132.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于后线产品的数据比对方法，该方法包括：
133.获取第一数据；所述第一数据为从数据库中导出的待比对数据；
134.基于所述第一数据确定第二数据；所述第二数据为从数据字典中导出的与所述第一数据关联的数据；
135.将所述第一数据和所述第二数据进行比对。
136.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
137.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
138.另外需要说明的是：本技术实施例中术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
139.本技术实施例中的“基于a确定b”表示确定b时要考虑a这个因素。并不限于“只基于a就可以确定出b”，还应包括：“基于a和c确定b”、“基于a、c和e确定b”、基于“a确定c，基于c进一步确定b”等。另外还可以包括将a作为确定b的条件，例如，“当a满足第一条件时，使用第一方法确定b”；再例如，“当a满足第二条件时，确定b”等；再例如，“当a满足第三条件时，基于第一参数确定b”等。当然也可以是将a作为确定b的因素的条件，例如，“当a满足第一条件时，使用第一方法确定c，并进一步基于c确定b”等。
140.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种基于后线产品的数据比对方法，其特征在于，包括：获取第一数据；所述第一数据为从数据库中导出的待比对数据；基于所述第一数据确定第二数据；所述第二数据为从数据字典中导出的与所述第一数据关联的数据；将所述第一数据和所述第二数据进行比对。2.根据权利要求1所述的基于后线产品的数据比对方法，其特征在于，基于所述第一数据确定第二数据，包括：根据所述第一数据，确定所述第一数据在数据字典中对应的数据表的索引范围；基于所述索引范围确定所述第二数据。3.根据权利要求2所述的基于后线产品的数据比对方法，其特征在于，所述索引范围包括以下至少一项：数据表英文名；数据项英文名；数据类型；数据最大长度；小数位长度；是否主键。4.根据权利要求1所述的基于后线产品的数据比对方法，其特征在于，将所述第一数据和所述第二数据进行比对，包括：将所述第一数据写入第一数据表，并将所述第二数据写入第二数据表；将所述第一数据表与所述第二数据表合并，生成第三数据表；对所述第三数据表中的数据进行比对。5.根据权利要求4所述的基于后线产品的数据比对方法，其特征在于，对所述第三数据表中的数据进行比对，包括：对所述第三数据表中的第一数据和第二数据的数据结构进行比对。6.根据权利要求4所述的基于后线产品的数据比对方法，其特征在于，对所述第三数据表中的数据进行比对，包括：对所述第三数据表中的第一数据和第二数据的数据条数进行比对。7.根据权利要求4所述的基于后线产品的数据比对方法，其特征在于，对所述第三数据表中的数据进行比对，包括：对所述第三数据表中的第一数据和第二数据的数据内容进行比对。8.一种基于后线产品的数据比对装置，其特征在于，包括：获取模块，用于获取第一数据；所述第一数据为从数据库中导出的待比对数据；确定模块，用于基于所述第一数据确定第二数据；所述第二数据为从数据字典中导出的与所述第一数据关联的数据；比对模块，用于将所述第一数据和所述第二数据进行比对。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的基于后线产品的数据比对方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于后线产品的数据比对方法。

技术总结
本发明提供一种基于后线产品的数据比对方法、装置及存储介质，属于计算机领域，该方法包括：获取第一数据；所述第一数据为从数据库中导出的待比对数据；基于所述第一数据确定第二数据；所述第二数据为从数据字典中导出的与所述第一数据关联的数据；将所述第一数据和所述第二数据进行比对。本发明通过产品特性构建一个参数化、自动化和可扩展化的数据对比流程，不再需要测试人员进行繁琐的手工操作，降低了数据对比的失误率，提升了正确率，从而提高了数据对比的效率。高了数据对比的效率。高了数据对比的效率。


技术研发人员：赵跃
受保护的技术使用者：中银金融科技有限公司
技术研发日：2023.03.13
技术公布日：2023/7/22