一种基于私有链的数据处理方法、装置、设备及存储介质与流程

未命名 10-19 阅读:88 评论:0


1.本技术涉及金融数据处理领域,特别是涉及一种基于私有链的数据处理方法、装置、设备及存储介质。


背景技术:

2.为响应国家对金融机构的强监管要求,多数银行会利用行内的数据管理系统对来源于不同部门的金融数据进行统计、分析,最终生成不同类型的目标数据报文;而后按照监管机构的要求,定期将目标数据报文上报监管机构。监管机构在收到目标数据报文后,会对目标数据报文进行监管校验。对于无法通过监管校验的目标数据报文中的报错数据,监管机构会要求各银行进行数据修正;如果上报的数据报文中存在较多的报错数据,会引发监管问责。因此,如何在将目标数据报文上报监管机构前,提前降低目标数据报文中报错数据的数量,提高目标数据报文的质量,成为亟待解决的问题。


技术实现要素:

3.基于上述问题,本技术提供了一种基于私有链的数据处理方法、装置、设备及存储介质,用于在将目标数据报文上传监管机构前,提前降低目标数据报文中报错数据的数量,提高目标数据报文的质量。
4.第一方面,本技术实施例提供了一种基于私有链的数据处理方法,包括:
5.获取私有链生成的目标数据报文;
6.通过数据校验表对所述目标数据报文进行校验,获得所述目标数据报文中的报错数据;所述数据校验表与监管机构规定的校验规则有关;
7.基于所述报错数据在所述私有链中的流转过程,获取所述私有链中生成所述报错数据的初始数据;
8.获取所述私有链外与所述初始数据对应的实际交易数据;
9.判断所述初始数据与所述实际交易数据是否一致,如果所述初始数据与所述实际交易数据一致,则利用所述校验规则修正所述数据校验表;
10.如果所述初始数据与所述实际交易数据不一致,则利用所述实际交易数据修正所述初始数据。
11.可选地,在所述获取私有链生成的目标数据报文之前,所述方法还包括搭建所述私有链,具体步骤为:
12.获取所述监管机构要求上报的数据报文的类型;所述数据报文的类型包括利率数据报文、存款数据报文和资产负债数据报文;
13.分别确定每种不同类型的所述数据报文对应的多个银行业务部门;所述银行业务部门参与对应类型的所述数据报文的生成;
14.以所述数据报文的类型、所述每种不同类型的所述数据报文对应的多个银行业务部门和所述监管机构为主体,搭建所述私有链。
15.可选地,所述基于所述报错数据在所述私有链中的流转过程,获取所述私有链中生成所述报错数据的初始数据,包括:
16.获取所述报错数据的数据字段,所述报错数据的数据字段包括字段名称、字段类型和唯一标识;
17.利用所述数据字段追踪所述报错数据在所述私有链中的流转过程,获取与所述报错数据有映射关系的多个关联数据;
18.从多个所述关联数据中确定逻辑链条中最底层的数据作为所述报错数据的初始数据。
19.可选地,所述获取所述私有链外与所述初始数据对应的实际交易数据,包括:
20.基于所述初始数据的业务类型,确定将所述初始数据写入所述私有链中的银行业务部门;所述业务类型包括负债业务、资产业务和中间业务;
21.基于所述银行业务部门的工作记录,获取所述私有链外与所述初始数据对应的实际交易数据。
22.可选地,当所述数据校验表包括银行内部的第一数据校验表和监管机构的第二数据校验表时,所述通过数据校验表对所述目标数据报文进行校验,获得所述目标数据报文中的报错数据,包括:
23.基于所述监管机构规定的所述校验规则,生成与所述校验规则对应的银行内部的第一数据校验表;
24.利用所述银行内部的第一数据校验表校验所述目标数据报文,将所述目标数据报文中无法通过所述银行内部的第一数据校验表校验的数据作为第一类型的报错数据;
25.利用监管机构的第二数据校验表校验所述目标数据报文,将所述目标数据报文中无法通过所述监管机构的第二数据校验表校验的数据作为第二类型的报错数据;
26.清洗所述第一类型的报错数据和所述第二类型的报错数据中的重复数据后,生成所述报错数据。
27.第二方面,本技术实施例提供了一种基于私有链的数据处理装置,包括:
28.报文获取模块,用于获取私有链生成的目标数据报文;
29.数据校验模块,用于通过数据校验表对所述目标数据报文进行校验,获得所述目标数据报文中的报错数据;所述数据校验表与监管机构规定的校验规则有关;
30.第一数据获取模块,用于基于所述报错数据在所述私有链中的流转过程,获取所述私有链中生成所述报错数据的初始数据;
31.第二数据获取模块,用于获取所述私有链外与所述初始数据对应的实际交易数据;
32.校验表修正模块,用于判断所述初始数据与所述实际交易数据是否一致,如果所述初始数据与所述实际交易数据一致,则利用所述校验规则修正所述数据校验表;
33.第一数据修正模块,用于如果所述初始数据与所述实际交易数据不一致,则利用所述实际交易数据修正所述初始数据。
34.可选地,所述装置还包括私有链生成装置,所述私有链生成装置包括:
35.报文类型获取单元,用于获取所述监管机构要求上报的数据报文的类型;所述数据报文的类型包括利率数据报文、存款数据报文和资产负债数据报文;
36.业务部门确定单元,用于分别确定每种不同类型的所述数据报文对应的多个银行业务部门;所述银行业务部门参与对应类型的所述数据报文的生成;
37.私有链生成单元,用于以所述数据报文的类型、所述每种不同类型的所述数据报文对应的多个银行业务部门和所述监管机构为主体,搭建所述私有链。
38.可选地,所述第一数据获取模块,包括:
39.数据字段获取单元,用于获取所述报错数据的数据字段,所述报错数据的数据字段包括字段名称、字段类型和唯一标识;
40.关联数据获取单元,用于利用所述数据字段追踪所述报错数据在所述私有链中的流转过程,获取与所述报错数据有映射关系的多个关联数据;
41.第一数据获取单元,用于从多个所述关联数据中确定逻辑链条中最底层的数据作为所述报错数据的初始数据。
42.第三方面,本技术实施例提供了一种电子设备,包括:存储器和处理器,其中,存储器用于存储计算机程序;处理器用于执行所述计算机程序,以实现上述第一方面提供的任一实现方式的基于私有链的数据处理方法。
43.第四方面,本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行上述第一方面提供的任一实现方式的基于私有链的数据处理方法。
44.从以上技术方案可以看出,本技术具有以下有益效果:
45.本技术实施例在获取报错数据的初始数据后,通过判断初始数据与实际交易数据是否一致,确定目标数据报文中出现报错数据的原因。如果初始数据与实际交易数据一致,则目标数据报文中出现报错数据是由于数据校验表存在错误导致的,所以用监管规则修正数据校验表,使得数据校验表不会将正确的数据当成报错数据,亦不会将错误的数据误认为正确的数据;如果初始数据与实际交易数据不一致,则目标数据报文中出现报错数据是由于初始数据录入错误导致的,则利用实际工作中产生的与初始数据对应的实际交易数据修正初始数据,从而更正目标数据报文中的报错数据。最终解决了上报监管机构的目标数据报文中存在大量报错数据的问题,降低了目标数据报文中报错数据的数量,提高了目标数据报文的质量。
附图说明
46.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
47.图1a为本技术实施例提供的一种基于私有链的数据处理方法的流程图;
48.图1b为本技术实施例提供的一种修正私有链中报错数据的示意图;
49.图2为本技术实施例提供的一种构建私有链的流程图;
50.图3为本技术实施例提供的一种参与私有链构建的银行业务部门的示意图;
51.图4为本技术实施例提供的一种基于私有链的数据处理装置的结构示意图。
具体实施方式
52.目前,监管机构在收到银行上报的目标数据报文后,会对目标数据报文进行监管校验。对于无法通过监管校验的目标数据报文中的报错数据,监管机构会要求各银行进行数据修正;如果上报的目标数据报文中存在较多的报错数据,银行工作人员需要在短期内修正大量的报错数据,扰乱银行员工正常的工作任务安排;如果多次上报的目标数据报文中始终存在大量的报错数据,则会引发监管问责。如何在将目标数据报文上报监管机构前,提前降低目标数据报文中报错数据的数量,提高目标数据报文的质量,成为亟待解决的问题。
53.为解决上述技术问题,本技术实施例在获取报错数据的初始数据后,通过判断初始数据与实际交易数据是否一致,判断目标数据报文中出现报错数据的原因。如果初始数据与实际交易数据一致,则目标数据报文中出现报错数据是由于数据校验表存在错误导致的,所以用监管规则修正数据校验表,使得数据校验表不会将正确的数据当成报错数据,亦不会将错误的数据误认为正确的数据;如果初始数据与实际交易数据不一致,则目标数据报文中出现报错数据是由于初始数据录入错误导致的,则利用实际工作中产生的与初始数据对应的实际交易数据修正初始数据,从而更正目标数据报文中的报错数据。最终解决了上报监管机构的目标数据报文中存在大量报错数据的问题,降低了目标数据报文中报错数据的数量,提高了目标数据报文的质量。
54.需要说明的是,本发明提供的一种基于私有链的数据处理方法、装置、设备及存储介质可用大数据领域或金融领域。上述仅为示例,并不对本发明提供的基于私有链的数据处理方法、装置、设备及存储介质的应用领域进行限定。
55.为了使本技术领域的人员更好地理解本技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
56.图1a为本技术实施例提供的一种基于私有链的数据处理方法的流程图。结合图1a所示,本技术实施例提供的基于私有链的数据处理方法,可以包括:
57.s101,获取私有链生成的目标数据报文。
58.目标数据报文是即将上报监管机构的数据报文。目标数据报文可以为财务数据报文、利率数据报文或征信数据报文之中的任一种类型的数据报文。
59.获取目标数据报文后,银行可以在将目标数据报文上报监管机构前,提前使用行内自行开发的数据校验表校验目标数据报文,从而得到目标数据报文中的报错数据;基于报错数据在私有链中的流转过程,确定私有链中生成报错数据的初始数据。所以,获取目标数据报文是本技术实施例中提前修正目标数据报文中报错数据,减少目标数据报文中报错数据的数量,提高目标数据报文质量的必要步骤。本技术实施例中获取的目标数据报文是由私有链生成的。本技术实施例中的后续部分将详细介绍私有链的生成过程。
60.s102,通过数据校验表对所述目标数据报文进行校验,获得所述目标数据报文中的报错数据。
61.从前文可知,当前银行一般是将获取的目标数据报文直接上报监管机构,没有对目标数据报文进行前期校验检查,导致目标数据报文中存在大量的报错数据。为降低目标
数据报文中报错数据的数量,提升目标数据报文的质量,本技术中引入银行自行研发的数据检验表,并利用数据校验表对目标数据报文进行校验,提前确定目标数据报文中的报错数据。
62.本步骤中使用的数据校验表是由银行内部的工作人员根据监管机构的校验规则开发生成的。数据校验表与监管机构规定的校验规则有关。例如,可以依据监管机构规定的校验规则来构建数据校验表。随着校验规则的更改,数据校验表也可随之发生相应的调整与更新。
63.在一种可能的情况下,银行柜员、客户经理或信用卡营销人员等一线银行业务人员详细梳理监管机构提供的校验规则文档,生成与自己的实际工作经验所能接触到的业务数据对应的监管规则;再将上述梳理得到的监管规则发送给系统开发人员,由系统开发人员基于内部梳理的监管规则开发与银行自身的业务数据对应的数据校验表。
64.由于监管机构规定的校验规则具有普适性,银行一线业务人员是所有工作人员中最能充分接触本行原始交易数据的工作人员,所以,由银行一线业务人员梳理监管机构规定的校验规则,将其细化为与本行的实际情况、原始交易数据类型对应的银行内部校验规则,是获取数据校验表的效果最好的方法之一。当然,本技术中只是示例性的给出根据监管机构规定的校验规则生成数据校验表的一种可能实现方式,本技术中并不限定基于监管机构的校验规则生成数据校验表的其他可能方法。
65.在实际工作过程中,当利用数据校验表校验出目标数据报文中的报错数据后,可以将获得的报错数据存储于错误数据报表中。表1示意性的给出了本技术实施例中使用的一种错误数据报表的基本样式。
66.表1错误数据报表
67.字段字段说明提取说明rpt_dt报文日期yyyy-mm-dd格式rpt_id报文id,如m411字符型rpt_name报文中文名称字符型item_en字段英文名字符型item_cn字段中文名字符型err_id校验错误编码字符型rule详细校验规则字符型
68.从表1中可知,错误数据报表可以包括字段、字段说明和提取说明。字段说明中可以包括报错数据的报文日期、报文id、报文中文名称、字段英文名、字段中文名,以及校验错误编码和详细校验规则等内容。每一类报错数据有唯一的校验错误编码,可以根据校验错误编码汇总同类型的报错数据。
69.需要说明的是,表1中的详细校验规则记载了校验出错误数据的校验规则的具体内容。以银行利率数据报文为例,表1中的详细校验规则可能是数值类字段的值必须为数值格式,不能为文本格式或其他格式;可能是所有字段的值不能超过该字段的长度设置;可能是所有报文数据中的核心信息的字段不能为空;也可能是内部机构号应该在金融机构分支信息表的内部机构号中存在。本步骤中,数据校验表校验出的报错数据存储于错误数据报表后,后续工作中可以利用错误数据报表中存储的报错数据信息,追溯得到报错数据的初
始数据。
70.s103,基于所述报错数据在所述私有链中的流转过程,获取所述私有链中生成所述报错数据的初始数据。
71.目标数据报文中可以包括多种数据。以财务数据报文为例,财务数据报文可以包括总资产数据、净利润数据、主营业务收入数据等数据。这些体现在目标数据报文中的数据是通过一系列初始数据逐步计算生成的。例如,净利润数据是利用总的营业收入减去总的营业支出得到;而总的营业收入可能包括现金营业收入和理财营业收入等数据;总的营业支出可能包括人员工资和生产物料支出(水费、电费、纸张费用)等数据。一系列原始数据通过逐步运算最终生成了目标报文数据中的多种数据。
72.在一种可能的情况下,基于报错数据在私有链中的流转过程,获取私有链中生成所述报错数据的初始数据,包括:
73.首先,获取报错数据的数据字段,报错数据的数据字段包括字段名称、字段类型和唯一标识,例如表1中所示的字段中文名、英文名或校验规则编码等等。然后,利用数据字段追踪报错数据在私有链中的流转过程,获取与报错数据有映射关系的多个关联数据。在一种可能的情况下,可以用血缘分析方法分析数据字段信息,从而获取与报错数据的唯一标识有关联关系的上下游的其它数据。由于血缘分析方法是较为成熟的数据追踪方法,所以,使用血缘分析方法分析数据字段的信息而获得与报错数据有映射关系的多个关联数据的详细内容在本技术中不做过多介绍。
74.最后,从多个关联数据中确定逻辑链条中最底层的数据作为所述报错数据的初始数据。
75.逻辑链条最底层的数据是指生成报错数据的最原始数据,是私有链中具有“写权限”的业务人员写入到私有链对应位置的数据。私有链中各节点数据都是基于逻辑链条最底层的数据计算得到的。在实际工作中,逻辑链条最底层的数据与实际交易数据不一致,是导致目标数据报文出现报错数据最主要的原因,所以需要获取逻辑链条最底层的数据,判断其与实际交易数据是否一致,即判断具有“写权限”的业务人员是否将错误的初始数据写入到私有链中。
76.需要说明的是,由于本技术实施例中的数据在私有链中都是采用数据表、数据字段等形式存储的,所以,在确定报错数据的初始数据后,要获取初始数据的源表信息,以及初始数据的数据字段信息。后续工作中,根据报初始数据的源表信息,以及初始数据的字段信息可以获取与初始数据对应的实际交易数据。表2是报错数据的初始数据的源表。
77.表2报错数据的初始数据的源表
78.字段字段说明提取说明sys_name源系统字符型from_list_en源表英文名字符型from_list_cn源表中文名字符型from_item_en源字段英文名字符型from_item_cn源字段中文名字符型key_data主键值脱敏处理:加密开发人员不可见chack_data检验字段值脱敏处理:加密开发人员不可见
respond_dtl源系统联系人信息字符型
79.表2中的数据信息是利用表1中的数据字段和血缘分析方法得到的。如表2所示,初始数据的源表中可以包括字段和字段说明等相关信息。值得注意的是,从初始数据的源表中可以获取源系统联系人信息。
80.s104,获取私有链外与初始数据对应的实际交易数据。
81.在一种可能的情况下,从表2中获取源系统联系人信息后,可以利用下述方法,获得初始数据对应的实际交易数据,包括:
82.基于所述初始数据的业务类型,确定将所述初始数据写入所述私有链中的银行业务部门;所述业务类型包括负债业务、资产业务和中间业务;
83.基于所述银行业务部门的工作记录,获取所述私有链外与所述初始数据对应的实际交易数据。
84.具体而言,确定初始数据的业务类型后;根据初始数据的业务数据类型,源系统联系人可以找到初始数据所在的业务部门的详细信息。即,如果初始数据是负债业务数据,则源系统联系人找到负债业务部门的详细信息;如果初始数据是资产业务,则源系统联系人找到资产业务部门的详细信息。表3示意性的给出了源系统中记载的业务部门的详细信息。
85.表3源系统中记载的业务部门的详细信息
86.字段字段说明提取说明rgn_no区域号脱敏处理:加密开发人员不可见org_no机构号脱敏处理:加密开发人员不可见org_name机构名称脱敏处理:加密开发人员不可见channal_no交易柜员号脱敏处理:加密开发人员不可见data_detail交易详细字段信息脱敏处理:加密开发人员不可见
87.如表3所示,源系统中记载的业务部门的详细系信息可能包括区域号、机构号、机构名称、交易柜员号等信息,在确定初始数据的业务类型后,源系统联系人调取初始数据所在的源系统的业务部门的详细信息,可以查询到负责将初始数据写入到私有链中的具体工作部门的信息。
88.在确定具体的工作部门后,由部门的具体工作人员根据原始数据的录入时间、数据关键字等信息,获取与原始数据对应的实际交易数据。
89.s105,判断所述初始数据与所述实际数据是否一致。
90.s106,如果所述初始数据与所述实际交易数据一致,则利用所述校验规则修正所述数据校验表。
91.如果初始数据和实际交易数据一致,则认为工作人员没有将错误的初始数据写入到私有链中,则证明数据校验表存在问题。此时,利用数据校验规则修正数据校验表,使得数据校验表与校验规则一致。
92.s107,如果所述初始数据与所述实际交易数据不一致,则利用所述实际交易数据修正所述初始数据。
93.图1b为本技术实施例提供的一种修正私有链中初始数据的示意图。下面,结合图1b中所示的内容,介绍当初始数据与实际交易数据不一致时,利用实际交易数据修正初始数据的过程。
94.图1b中包括五种类型的数据,分别是报错数据01、错误的初始数据02、实际交易数据03、正确的初始数据04和正确数据05。当目标数据报文中存在报错数据01时,利用步骤s103中记载的方法,追溯得到报错数据01的错误的初始数据02;利用步骤s104中记载的方法,追溯得到与错误的初始数据02对应的实际交易数据03;利用实际交易数据03更新修正错误的初始数据02,得到正确的初始数据04,此时正确的初始数据04和实际交易数据03相同;正确的初始数据04生成正确数据05。此时,私有链中报错数据01自动被正确数据05取代。
95.综上所述,在确定目标数据报文中的报错数据后,利用血缘分析方法或其他数据分析方法,追溯报错数据在私有链中的流转过程,获得报错数据的初始数据;再利用初始数据的源系统中记载的部门信息,获取与初始数据对应的实际交易数据。比较初始数据和实际交易数据是否一致,如果一致,则利用校验规则修正数据校验表;如果不一致,则利用实际交易数据修正初始数据。最终在目标数据上传到监管机构前,提前降低了目标数据报文中报错数据的数量,提高了目标报文数据的质量。
96.图2为本技术实施例提供的一种构建私有链的流程图。
97.从宏观层面来说,每种业务数据报文至少都会涉及到业务参与方、开发参与方、各分行参与方和源系统参与方等四方面的人员参与。其中,业务参与方是指业务拓展人员;开发参与方是指利用初始数据以及源系统数据,开发生成目标数据报文私有链的系统开发人员;源系统开发参与方是指源系统的开发人员,构建的私有链过程中会使用到银行中已经存在的部分系统,这些系统称为源系统;各分行参与方主要指分行的一线柜台人员。
98.图3为本技术实施例提供的一种参与私有链构建的银行业务部门的结构示意图。从图3中可知,各分行参与方可以包括分行柜员a1、分行柜员b1和分行柜员n1;源系统参与方可以包括系统开发人员a2、系统开发人员b2和系统开发人员n2;开发参与方可以包括开发人员a3、开发人员b3和开发人员n3;业务参与方可以包括业务员a4、业务员b4和业务员n4等诸多银行工作人员。
99.需要说明的是,图3中只是示意性的给出了可能参与私有链构建的银行业务部门,也只是示意性的给出了每个业务部门中可能参与私有链构建的部门工作人员的人数。在实际工作中,针对具体的目标数据报文,要结合目标数据报文的类型,重新确定参与目标数据报文的银行业务部门以及各部门中的工作人员数量。
100.针对每一种具体的目标数据报文而言,可以采用下述方法,确定参与目标数据报文的多个银行业务部门,并以确定的多个银行业务部门和监管机构为主体,建立生成目标数据报文的私有链。
101.s201,获取所述监管机构要求上报的数据报文的类型。
102.不同类型的目标数据报文包括的具体金融数据不同。如果目标数据报文是财务数据报文,则目标数据报文中可能包括总资产数据、净利润数据、主营业务收入数据、不良贷款率等数据;如果目标数据报文是征信数据报文,则目标数据报文中可能包括个人征信数据和企业征信数据等数据;如果目标数据报文是反洗钱数据报文,则目标数据报文中可能包括大额交易数据和可疑交易数据等数据。所以,在构建私有链之前,要确定目标数据报文的类型。
103.s202,分别确定每种不同类型的所述数据报文对应的多个银行业务部门。
104.不同类型的目标数据报文包括的具体金融数据由银行对应的业务部门提供。例如,财务数据报文中的营业数据由各分行柜台提供;征信数据报文中的征信数据由银行征信中心提供;反洗钱数据报文中的交易数据由银行内控合规部门提供。所以,要针对具体的目标数据报文,结合业务实际运营情况,确定具体的目标数据报文对应的多个银行业务部门。
105.s203,以所述数据报文的类型、所述每种不同类型的所述数据报文对应的多个银行业务部门和所述监管机构为主体,搭建所述私有链。
106.以步骤s201和步骤s202中所确定的参与目标数据报文生成的多个银行业务部门以及监管机构为主体,搭建私有链。其中,本技术实施例中的私有链指的是由银行自行开发的,只允许部分业务部门参与并查看所有数据、允许部门业务部门具有“读写”权限的私有区块链,其特点是提供安全可追溯不可篡改自动执行的运算平台。
107.在一种可能的情况下,上文中介绍的数据校验表包括银行内部的第一数据校验表和监管机构的第二数据校验表时,所述通过数据校验表对所述目标数据报文进行校验,获得所述目标数据报文中的报错数据,包括:
108.基于监管机构规定的校验规则,生成与校验规则对应的银行内部的第一数据校验表;利用所述银行内部的第一数据校验表校验所述目标数据报文,将所述目标数据报文中无法通过所述银行内部的第一数据校验表校验的数据作为第一类型的报错数据。
109.此部分内容与本技术实施例中步骤102所记载的内容相同,在此不再赘述。
110.利用监管机构的第二数据校验表校验所述目标数据报文,将所述目标数据报文中无法通过所述监管机构的第二数据校验表校验的数据作为第二类型的报错数据。
111.即将目标数据报文上报监管机构,利用构建管机构的校验规则校验目标数据报文,将目标数据报文中无法通过监管机构校验表校验的数据作为第二类型的报错数据。
112.清洗所述第一类型的报错数据和所述第二类型的报错数据中的重复数据后,生成所述报错数据。
113.采用此种方法生成的报错数据,由于增加了监管机构校验出的报错数据,相对于前文实施例中获取的报错数据更加全面。针对此报错数据进行报错数据的初始数据修正或第一数据校验表修正,将进一步减少后续目标报文数据中报错数据的数量,进一步提高后续目标报文数据的质量。
114.基于上述实施例提供的基于私有链的数据处理方法,本技术实施例还可以给出基于私有链的数据处理方法的装置。下面结合实施例和附图,对该基于私有链的数据处理方法的装置进行描述。
115.图4为本技术实施例提供的一种基于私有链的数据处理装置的结构示意图。结合图4所示,本技术实施例提供的基于私有链的数据处理装置400,包括:
116.报文获取模块401,用于获取私有链生成的目标数据报文;
117.数据校验模块402,用于通过数据校验表对所述目标数据报文进行校验,获得所述目标数据报文中的报错数据;所述数据校验表与监管机构规定的校验规则有关;
118.第一数据获取模块403,用于基于所述报错数据在所述私有链中的流转过程,获取所述私有链中生成所述报错数据的初始数据;
119.第二数据获取模块404,用于获取所述私有链外与所述初始数据对应的实际交易
数据;
120.数据比较模块405,用于判断所述初始数据与所述实际交易数据是否一致;
121.校验表修正模块406,用于如果所述初始数据与所述实际交易数据一致,则利用所述校验规则修正所述数据校验表;
122.第一数据修正模块407,用于如果所述初始数据与所述实际交易数据不一致,则利用所述实际交易数据修正所述初始数据。
123.可选地,本技术的基于私有链的数据处理装置400,还可以包括私有链生成装置,包括:
124.报文类型获取单元,用于获取所述监管机构要求上报的数据报文的类型;所述数据报文的类型包括利率数据报文、存款数据报文和资产负债数据报文;
125.业务部门确定单元,用于分别确定每种不同类型的所述数据报文对应的多个银行业务部门;所述银行业务部门参与对应类型的所述数据报文的生成;
126.私有链生成单元,用于以所述数据报文的类型、所述每种不同类型的所述数据报文对应的多个银行业务部门和所述监管机构为主体,搭建所述私有链。
127.可选地,第一数据获取模块,包括:
128.数据字段获取单元,用于获取所述报错数据的数据字段,所述报错数据的数据字段包括字段名称、字段类型和唯一标识;
129.关联数据获取单元,用于利用所述数据字段追踪所述报错数据在所述私有链中的流转过程,获取与所述报错数据有映射关系的多个关联数据;
130.第一数据获取单元,用于从多个所述关联数据中确定逻辑链条中最底层的数据作为所述报错数据的初始数据。
131.可选地,第二数据获取模块,包括:
132.业务部门确定单元,用于基于所述初始数据的业务类型,确定将所述初始数据写入所述私有链中的银行业务部门;所述业务类型包括负债业务、资产业务和中间业务;
133.第二数据获取单元,用于基于所述银行业务部门的工作记录,获取所述私有链外与所述初始数据对应的实际交易数据。
134.可选地,当数据校验表包括银行内部的第一数据校验表和监管机构的第二数据校验表时通过数据校验表对所述目标数据报文进行校验,数据校验模块402,可以包括:
135.第一校验表生成单元,用于基于所述监管机构规定的所述校验规则,生成与所述校验规则对应的银行内部的第一数据校验表;
136.第一报错数据获取单元,用于利用所述银行内部的第一数据校验表校验所述目标数据报文,将所述目标数据报文中无法通过所述银行内部的第一数据校验表校验的数据作为第一类型的报错数据;
137.第二报错数据获取单元,用于利用监管机构的第二数据校验表校验所述目标数据报文,将所述目标数据报文中无法通过所述监管机构的第二数据校验表校验的数据作为第二类型的报错数据;
138.第三报错数据获取单元,用于清洗所述第一类型的报错数据和所述第二类型的报错数据中的重复数据后,生成所述报错数据。
139.进一步地,本技术实施例还提供了一种电子设备,包括存储器和处理器,其中,存
储器用于存储计算机程序;处理器,用于执行所述计算机程序,以实现上述方法实施例中的基于私有链的数据处理方法。
140.进一步地,本技术实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,以实现上述方法实施例中的基于私有链的数据处理方法。
141.需要说明的是,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元提示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
142.以上所述,仅为本技术的一种具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应该以权利要求的保护范围为准。

技术特征:
1.一种基于私有链的数据处理方法,其特征在于,所述方法包括:获取私有链生成的目标数据报文;通过数据校验表对所述目标数据报文进行校验,获得所述目标数据报文中的报错数据;所述数据校验表与监管机构规定的校验规则有关;基于所述报错数据在所述私有链中的流转过程,获取所述私有链中生成所述报错数据的初始数据;获取所述私有链外与所述初始数据对应的实际交易数据;判断所述初始数据与所述实际交易数据是否一致;如果所述初始数据与所述实际交易数据一致,则利用所述校验规则修正所述数据校验表;如果所述初始数据与所述实际交易数据不一致,则利用所述实际交易数据修正所述初始数据。2.根据权利要求1所述的方法,其特征在于,在所述获取私有链生成的目标数据报文之前,所述方法还包括搭建所述私有链,具体步骤为:获取所述监管机构要求上报的数据报文的类型;所述数据报文的类型包括利率数据报文、存款数据报文和资产负债数据报文;分别确定每种不同类型的所述数据报文对应的多个银行业务部门;所述银行业务部门参与对应类型的所述数据报文的生成;以所述数据报文的类型、所述每种不同类型的所述数据报文对应的多个银行业务部门和所述监管机构为主体,搭建所述私有链。3.根据权利要求1所述的方法,其特征在于,所述基于所述报错数据在所述私有链中的流转过程,获取所述私有链中生成所述报错数据的初始数据,包括:获取所述报错数据的数据字段,所述报错数据的数据字段包括字段名称、字段类型和唯一标识;利用所述数据字段追踪所述报错数据在所述私有链中的流转过程,获取与所述报错数据有映射关系的多个关联数据;从多个所述关联数据中确定逻辑链条中最底层的数据作为所述报错数据的初始数据。4.根据权利要求1所述的方法,其特征在于,所述获取所述私有链外与所述初始数据对应的实际交易数据,包括:基于所述初始数据的业务类型,确定将所述初始数据写入所述私有链中的银行业务部门;所述业务类型包括负债业务、资产业务和中间业务;基于所述银行业务部门的工作记录,获取所述私有链外与所述初始数据对应的实际交易数据。5.根据权利要求1所述的方法,其特征在于,当所述数据校验表包括银行内部的第一数据校验表和监管机构的第二数据校验表时,所述通过数据校验表对所述目标数据报文进行校验,获得所述目标数据报文中的报错数据,包括:基于所述监管机构规定的所述校验规则,生成与所述校验规则对应的银行内部的第一数据校验表;利用所述银行内部的第一数据校验表校验所述目标数据报文,将所述目标数据报文中
无法通过所述银行内部的第一数据校验表校验的数据作为第一类型的报错数据;利用监管机构的第二数据校验表校验所述目标数据报文,将所述目标数据报文中无法通过所述监管机构的第二数据校验表校验的数据作为第二类型的报错数据;清洗所述第一类型的报错数据和所述第二类型的报错数据中的重复数据后,生成所述报错数据。6.一种基于私有链的数据处理装置,其特征在于,所述装置包括:报文获取模块,用于获取私有链生成的目标数据报文;数据校验模块,用于通过数据校验表对所述目标数据报文进行校验,获得所述目标数据报文中的报错数据;所述数据校验表与监管机构规定的校验规则有关;第一数据获取模块,用于基于所述报错数据在所述私有链中的流转过程,获取所述私有链中生成所述报错数据的初始数据;第二数据获取模块,用于获取所述私有链外与所述初始数据对应的实际交易数据;数据比较模块,用于判断所述初始数据与所述实际交易数据是否一致;校验表修正模块,用于如果所述初始数据与所述实际交易数据一致,则利用所述校验规则修正所述数据校验表;第一数据修正模块,用于如果所述初始数据与所述实际交易数据不一致,则利用所述实际交易数据修正所述初始数据。7.根据权利要求6所述的装置,其特征在于,所述装置还包括私有链生成装置,所述私有链生成装置,包括:报文类型获取单元,用于获取所述监管机构要求上报的数据报文的类型;所述数据报文的类型包括利率数据报文、存款数据报文和资产负债数据报文;业务部门确定单元,用于分别确定每种不同类型的所述数据报文对应的多个银行业务部门;所述银行业务部门参与对应类型的所述数据报文的生成;私有链生成单元,用于以所述数据报文的类型、所述每种不同类型的所述数据报文对应的多个银行业务部门和所述监管机构为主体,搭建所述私有链。8.根据权利要求6所述的装置,其特征在于,所述第一数据获取模块,包括:数据字段获取单元,用于获取所述报错数据的数据字段,所述报错数据的数据字段包括字段名称、字段类型和唯一标识;关联数据获取单元,用于利用所述数据字段追踪所述报错数据在所述私有链中的流转过程,获取与所述报错数据有映射关系的多个关联数据;第一数据获取单元,用于从多个所述关联数据中确定逻辑链条中最底层的数据作为所述报错数据的初始数据。9.一种基于私有链的数据处理设备,其特征在于,包括:存储器,用于存储计算机程序;处理器,用于执行所述计算机程序,以实现如权利要求1-5任一项所述基于私有链的数据处理方法。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,实现如权利要求1-5任一项所述的基于私有链的数据处理方法。

技术总结
本申请公开了一种基于私有链的数据处理方法、装置、设备及存储介质,可应用于大数据领域或金融领域。该方法包括:获取私有链生成的目标数据报文;通过数据校验表对目标数据报文进行校验,获得目标数据报文中的报错数据;获取私有链中生成报错数据的初始数据;获取私有链外与初始数据对应的实际交易数据;判断初始数据与实际交易数据是否一致;如果初始数据与实际交易数据一致,则利用校验规则修正数据校验表;如果初始数据与实际交易数据不一致,则利用实际交易数据修正初始数据。最终,本申请解决了上报监管机构的目标数据报文有大量报错数据的问题,减少了目标数据报文中报错数据的数量,提高了目标数据报文的质量。提高了目标数据报文的质量。提高了目标数据报文的质量。


技术研发人员:敖倩 何永明 孙海鑫 黄钊港 陈灿然
受保护的技术使用者:中国银行股份有限公司
技术研发日:2023.07.20
技术公布日:2023/10/15
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐