数据报送方法、系统以及装置与流程

未命名 09-07 阅读:159 评论:0


1.本说明书实施例涉及计算机技术领域,特别涉及一种数据报送方法。本说明书一个或者多个实施例同时涉及一种数据报送系统,一种数据报送装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序。


背景技术:

2.随着互联网技术的迅速发展,企业或个人用户产生的数量呈爆炸式增长。如何对海量的数据进行检测、治理,已经成为具有重要意义的问题。检查分析系统(east,examinationandanalysissystemtechnology)是银保监会开发的旨在顺应大数据发展趋势需求,并帮助监管部门提高检查效能的系统。
3.目前,各企业可以根据检查要求直接向检查分析系统报送数据,由检查分析系统基于报送的数据生成数据文件,企业利用购买的检查分析系统中的质量检核工具对数据文件进行检查。然而,上述方案中,随着各企业数据量的增加,在生成数据文件之后进行校验,出现问题时,需要重新生成文件二次校验,导致数据校验效率极低,因此,亟需一种高效的数据报送方案。


技术实现要素:

4.有鉴于此,本说明书实施例提供了一种数据报送方法。本说明书一个或者多个实施例同时涉及一种数据报送系统,一种数据报送装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
5.根据本说明书实施例的第一方面,提供了一种数据报送方法,包括:
6.获取目标业务对应的原始报送数据;
7.利用预设校验策略对原始报送数据进行校验,获得校验结果,其中,预设校验策略为配置方根据目标业务对应的质检规则配置得到;
8.在校验结果不符合预设校验策略的情况下,确定原始报送数据的调整策略;
9.根据调整策略对原始报送数据进行调整,获得目标报送数据,并报送目标报送数据,其中,目标报送数据符合预设校验策略。
10.根据本说明书实施例的第二方面,提供了一种数据报送系统,包括数据报送平台、质检平台和至少一个业务平台;
11.业务平台,用于存储目标业务对应的原始报送数据;
12.数据报送平台,用于获取原始报送数据;利用预设校验策略对原始报送数据进行校验,获得校验结果,其中,预设校验策略为配置方根据目标业务对应的质检规则配置得到;在校验结果不符合预设校验策略的情况下,确定原始报送数据的调整策略;根据调整策略对原始报送数据进行调整,获得目标报送数据,并向质检平台报送目标报送数据,其中,目标报送数据符合预设校验策略;
13.质检平台,用于生成目标报送数据对应的目标质检文件。
14.根据本说明书实施例的第三方面,提供了一种数据报送装置,包括:
15.获取模块,被配置为获取目标业务对应的原始报送数据;
16.校验模块,被配置为利用预设校验策略对原始报送数据进行校验,获得校验结果,其中,预设校验策略为配置方根据目标业务对应的质检规则配置得到;
17.确定模块,被配置为在校验结果不符合预设校验策略的情况下,确定原始报送数据的调整策略;
18.调整模块,被配置为根据调整策略对原始报送数据进行调整,获得目标报送数据,并报送目标报送数据,其中,目标报送数据符合预设校验策略。
19.根据本说明书实施例的第四方面,提供了一种计算设备,包括:
20.存储器和处理器;
21.所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述数据报送方法的步骤。
22.根据本说明书实施例的第五方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述数据报送方法的步骤。
23.根据本说明书实施例的第六方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述数据报送方法的步骤。
24.本说明书一个实施例提供的数据报送方法,获取目标业务对应的原始报送数据;利用预设校验策略对原始报送数据进行校验,获得校验结果,其中,预设校验策略为配置方根据目标业务对应的质检规则配置得到;在校验结果不符合预设校验策略的情况下,确定原始报送数据的调整策略;根据调整策略对原始报送数据进行调整,获得目标报送数据,并报送目标报送数据,其中,目标报送数据符合预设校验策略。由于预设校验策略为配置方根据目标业务对应的质检规则配置得到的,从而可以基于实际业务需求定义预设校验策略,使得数据报送更加灵活。在数据报送之前利用预设校验策略校验原始报送数据,在校验结果不符合预设校验策略的情况下,可以及时修改原始报送数据,缩短了数据修复的链路。并且,由于报送的是符合预设校验策略的目标报送数据,从而可以一次性生成符合质检规则的数据文件,大大缩短了数据报送花费的时间,提高了数据报送效率。
附图说明
25.图1是本说明书一个实施例提供的一种数据报送系统的架构图;
26.图2是本说明书一个实施例提供的一种数据报送方法的流程图;
27.图3是本说明书一个实施例提供的一种数据报送方法的处理过程流程图;
28.图4是本说明书一个实施例提供的另一种数据报送方法的处理过程流程图;
29.图5是本说明书一个实施例提供的一种数据报送装置的结构示意图;
30.图6是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
31.在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
32.在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
33.应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
34.此外,需要说明的是,本说明书一个或多个实施例所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
35.首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
36.检查分析系统:检查分析系统又称east(examinationandanalysissystem technology)系统,是银保监会开发的旨在顺应大数据发展趋势需求,并帮助监管部门提高检查效能的系统。银行及保险类的金融机构需要按照监管要求报送数据。数据范围包括客户、保单、产品、理赔等各类明细、汇总数据,基本涵盖了公司所有业务。银保监会对于日常报送数据的质量和时效性提出了很高的要求。
37.随着互联网技术的迅速发展,企业或个人用户产生的数量呈爆炸式增长。如何对海量的数据进行检测、治理,已经成为具有重要意义的问题。目前,各企业可以根据检查要求直接向检查分析系统报送数据,由检查分析系统基于报送的数据生成数据文件,企业利用购买的检查分析系统中的质量检核工具对数据文件进行检查。
38.然而,上述方案中,随着各企业数据量的增加,在生成数据文件之后进行校验,出现问题时,需要重新生成文件二次校验,导致数据报送困难,校验效率极低。
39.为了解决上述问题,本说明书实施例提供了一种数据报送方法,对报送数据经过自动清洗、加工并进行自动校验,对校验不通过的数据进行修复,在校验通过后,生成符合规范的数据文件。具体地,获取目标业务对应的原始报送数据;利用预设校验策略对原始报送数据进行校验,获得校验结果,其中,预设校验策略为配置方根据目标业务对应的质检规则配置得到;在校验结果不符合预设校验策略的情况下,确定原始报送数据的调整策略;根据调整策略对原始报送数据进行调整,获得目标报送数据,并报送目标报送数据,其中,目标报送数据符合预设校验策略。
40.在本说明书中,提供了一种数据报送方法,本说明书同时涉及一种数据报送系统,一种数据报送装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,在下面的实施例中逐一进行详细说明。
41.参见图1,图1示出了本说明书一个实施例提供的一种数据报送系统的架构图,数据报送系统,包括数据报送平台100、质检平台200和至少一个业务平台300;
42.业务平台300,用于存储目标业务对应的原始报送数据;
43.数据报送平台100,用于获取原始报送数据;利用预设校验策略对原始报送数据进行校验,获得校验结果,其中,预设校验策略为配置方根据目标业务对应的质检规则配置得到;在校验结果不符合预设校验策略的情况下,确定原始报送数据的调整策略;根据调整策略对原始报送数据进行调整,获得目标报送数据,并向质检平台200报送目标报送数据,其中,目标报送数据符合预设校验策略;
44.质检平台200,用于生成目标报送数据对应的目标质检文件。
45.应用本说明书实施例的方案,由于预设校验策略为配置方根据目标业务对应的质检规则配置得到的,从而可以基于实际业务需求定义预设校验策略,使得数据报送更加灵活。在数据报送之前利用预设校验策略校验原始报送数据,在校验结果不符合预设校验策略的情况下,可以及时修改原始报送数据,缩短了数据修复的链路。并且,由于报送的是符合预设校验策略的目标报送数据,从而可以一次性生成符合质检规则的数据文件,也即目标报送数据,大大缩短了数据报送花费的时间,提高了数据报送效率。
46.实际应用中,数据报送系统可以包括多个业务平台300以及数据报送平台100,在数据报送场景中,数据报送平台100即用来在多个业务平台300之间提供数据报送服务。数据报送平台100可以根据报送数据的数据量构建得到,因此,本说明书实施例提供的数据报送平台可以支持tb级数据处理,能够满足互联网业务的发展需要。其中,业务平台300和数据报送平台100、数据报送平台100和质检平台200之间通过网络建立连接。网络为业务平台300和数据报送平台100、数据报送平台100和质检平台200之间提供了通信链路的介质。网络可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。数据报送平台100所传输的数据可能需要经过编码、转码、压缩等处理之后才发布至质检平台200。
47.业务平台300可以为浏览器、app(application,应用程序)、或网页应用如h5(hypertextmarkuplanguage5,超文本标记语言第5版)应用、或轻应用(也被称为小程序,一种轻量级应用程序)或云应用等。业务平台300可以部署在电子设备中,需要依赖设备运行或者设备中的某些app而运行等。电子设备例如可以具有显示屏并支持信息浏览等,如可以是个人移动终端如手机、平板电脑、个人计算机等。在电子设备中通常还可以配置各种其它类应用,例如人机对话类应用、模型训练类应用、文本处理类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱平台、社交平台软件等。
48.数据报送平台100可以包括提供各种服务的服务器,例如对业务平台300发送的数据进行处理的服务器等。需要说明的是,数据报送平台100可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。服务器也可以是云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(cdn,contentdeliverynetwork)以及大数据和人工智能平台等基础云计算服务的云服务器,或者是带人工智能技术的智能云计算服务器或智能云主机。
49.参见图2,图2示出了本说明书一个实施例提供的一种数据报送方法的流程图,具体包括以下步骤:
50.步骤202:获取目标业务对应的原始报送数据。
51.本说明书一个或多个实施例中,数据报送开始时,可以获取目标业务对应的原始
报送数据。
52.具体地,目标业务是指有报送需求的业务。目标业务可以是不同领域的业务,不同领域包括但不限于制造业领域、金融领域、文娱领域等等。目标业务可以是保险、基金、股票等等。原始报送数据是指目标业务执行过程中产生的需要上报的数据,如保险公司产生的财务数据、理赔数据。
53.实际应用中,获取目标业务对应的原始报送数据的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不做任何限定。
54.本说明书一种可能的实现方式中,可以接收业务方导入的目标业务对应的原始报送数据。例如,业务人员可以将原始报送数据通过电子表格导入数据报送平台中的数据仓库。
55.本说明书另一种可能的实现方式中,可以直接从目标业务对应的目标业务平台中抽取目标业务对应的原始报送数据,也即,上述获取目标业务对应的原始报送数据,可以包括以下步骤:
56.确定目标业务对应的至少一个目标业务平台;
57.从至少一个目标业务平台中采集目标业务对应的原始报送数据。
58.需要说明的是,确定目标业务对应的至少一个目标业务平台的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不做任何限定。
59.本说明书一种可能的实现方式中,可以获取目标业务的业务属性信息,从目标业务的业务属性信息中查找目标业务对应的至少一个目标业务平台的平台标识,进一步根据目标业务平台的平台标识,确定目标业务对应的至少一个目标业务平台,其中,目标业务的业务属性信息包括目标业务的业务编号、业务来源等等。
60.本说明书另一种可能的实现方式中,可以根据目标业务的业务属性信息,确定目标业务对应的目标业务类型,进一步将目标业务类型对应的业务平台作为目标业务对应的目标业务平台。
61.实际应用中,从至少一个目标业务平台中采集目标业务对应的原始报送数据的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不做任何限定。本说明书一种可能的实现方式中,可以直接将目标业务平台中的数据作为目标业务对应的原始报送数据。
62.本说明书另一种可能的实现方式中,可以获取数据定义标准,根据数据定义标准从目标业务平台中采集目标业务对应的原始报送数据,其中,数据定义标准可以表征质检平台对报送数据的定义要求,例如,质检数据为财务数据,数据定义标准为反映企业财务状况与经营成果的内容的数据。根据数据定义标准从目标业务平台中采集与数据定义标准相同的原始报送数据,原始报送数据包括原始报送数据a、原始报送数据b和原始报送数据c。
63.应用本说明书实施例的方案,确定目标业务对应的至少一个目标业务平台;从至少一个目标业务平台中采集目标业务对应的原始报送数据。从而可以准确获得目标业务对应的原始报送数据,为后续数据校验奠定了基础。
64.本说明书一种可选的实施例中,由于质检平台需要的质检数据可能不能直接获得,因此,在获取目标业务对应的原始报送数据之后,可以对原始报送数据进行加工,获得更新后的原始报送数据,也即,上述获取目标业务对应的原始报送数据之后,还可以包括以
下步骤:
65.获取数据采集标准;
66.在原始报送数据不符合数据采集标准的情况下,根据数据加工策略对原始报送数据进行加工,获得更新后的原始报送数据。
67.具体地,数据采集标准表征质检平台对报送数据的接收要求。例如,数据采集标准可以是“采集2022年平均收益率”、“数据a为空,数据b为1”、“对数据进行数学运算”等等。数据加工策略为配置方根据目标业务对应的数据采集标准配置得到。
68.实际应用中,获取数据采集标准的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不做任何限定。本说明书一种可能的实现方式中,可以直接从质检平台获取数据采集标准。本说明书另一种可能的实现方式中,可以接收配置方基于自身理解配置的数据采集标准。
69.需要说明的是,若原始报送数据符合数据采集标准,说明此时的原始报送数据可以被质检平台接收处理,进一步,可以利用预设校验策略对原始报送数据进行校验;若原始报送数据不符合数据采集标准,说明此时的原始报送数据不可以被质检平台接收处理,进一步,可以对原始报送数据进行加工,得到符合数据采集标准的更新后的原始报送数据,利用预设校验策略对更新后的原始报送数据进行校验。
70.示例性地,假设原始报送数据包括原始报送数据a、原始报送数据b和原始报送数据c,数据采集标准为采集原始报送数据d。对比原始报送数据和数据采集标准,确定原始报送数据不符合数据采集标准,此时,获取数据加工策略“对原始报送数据a、原始报送数据b和原始报送数据c求和获得原始报送数据d”,根据数据加工策略对原始报送数据进行加工,获得更新后的原始报送数据为“原始报送数据d”。
71.应用本说明书实施例的方案,获取数据采集标准;在原始报送数据不符合数据采集标准的情况下,根据数据加工策略对原始报送数据进行加工,获得更新后的原始报送数据,保证原始报送数据可以成功报送,避免因质检平台无法接收处理报送的数据,导致数据报送失败的问题,从而保证了数据报送的稳定性。
72.步骤204:利用预设校验策略对原始报送数据进行校验,获得校验结果,其中,预设校验策略为配置方根据目标业务对应的质检规则配置得到。
73.本说明书一个或多个实施例中,获取目标业务对应的原始报送数据之后,进一步地,可以利用预设校验策略对原始报送数据进行校验,获得校验结果。
74.具体地,预设校验策略用于校验是否报送原始报送数据,是配置方基于对目标业务对应的质检规则理解配置的。目标业务对应的质检规则可以是来自监管机构设置的质检规则,还可以是配置方自己设置的质检规则,目标业务对应的质检规则的来源具体根据实际情况进行选择,本说明书实施例对此不做任何限定。
75.示例性地,假设目标业务是保险业务,目标业务对应的质检规则可以包括以下三类:第一类是《保险业监管数据标准化规范》中列举的质检规则,第二类是地方银保监会自己定制的质检规则,第三类是配置方定制的质检规则。
76.需要说明的是,利用预设校验策略对原始报送数据进行校验时,可以对比原始报送数据和预设校验策略,获得原始报送数据是否符合数据校验策略的校验结果。
77.本说明书一种可能的实现方式中,若原始报送数据不符合预设校验策略,说明原
始报送数据校验失败,此时,可以确定数据报送失败,或者对原始报送数据进行调整,使得调整后的原始报送数据符合预设校验策略。
78.本说明书另一种可能的实现方式中,若原始报送数据符合预设校验策略,说明原始报送数据校验成功,原始报送数据也符合质检规则,可以直接报送原始报送数据,也即,上述利用预设校验策略对原始报送数据进行校验,获得校验结果之后,还可以包括以下步骤:
79.在校验结果符合预设校验策略的情况下,将原始报送数据作为目标报送数据,并报送目标报送数据。
80.应用本说明书实施例的方案,在校验结果符合预设校验策略的情况下,将原始报送数据作为目标报送数据,并报送目标报送数据,使得质检平台可以接收处理目标报送数据,并且目标报送数据也符合质检规则,质检平台可以直接生成目标报送数据对应的目标质检文件。
81.步骤206:在校验结果不符合预设校验策略的情况下,确定原始报送数据的调整策略。
82.本说明书一个或多个实施例中,获取目标业务对应的原始报送数据,利用预设校验策略对原始报送数据进行校验,获得校验结果之后,进一步地,在校验结果不符合预设校验策略的情况下,确定原始报送数据的调整策略。
83.具体地,调整策略可以包括业务平台调整策略和/或数据加工调整策略,业务系统调整策略用于调整原始报送数据的数据来源,如业务平台;数据加工调整策略用于调整原始报送数据对应的数据加工策略,也即,调整策略用于调整原始报送数据的数据来源和/或数据加工策略。进一步地,调整策略还可以包括针对原始报送数据的其他调整策略,具体根据实际情况进行选择,本说明书实施例对此不做任何限定。
84.实际应用中,确定原始报送数据的调整策略的方式有多种具体根据实际情况进行选择,本说明书实施例对此不做任何限定。
85.本说明书一种可能的实现方式中,可以从调整策略中选择至少一个策略作为原始报送数据的调整策略。
86.本说明书另一种可能的实现方式中,可以根据调整策略判断条件确定原始报送数据的调整策略,也即,上述确定原始报送数据的调整策略,可以包括以下步骤:
87.获取调整策略判断条件;
88.根据预设校验策略和调整策略判断条件,对原始报送数据进行校验,获得校验日志;
89.根据校验日志,确定原始报送数据的调整策略。
90.具体地,调整策略判断条件用于定位原始报送数据的错误原因。预设校验策略和调整策略判断条件可以是结构化查询语言(sql,structuredquery language)。校验日志包括原始报送数据的运行信息,通过原始报送数据的运行信息,可以确定原始报送数据的错误原因。
91.实际应用中,获取调整策略判断条件的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不做任何限定。本说明书一种可能的实现方式中,可以接收配置方输入的调整策略判断条件。本说明书另一种可能的实现方式中,数据库或其他数据读取设备
中获取调整策略判断条件。
92.需要说明的是,获取调整策略判断条件后,可以根据预设校验策略和调整策略判断条件对原始报送数据进行二次校验,获得校验日志,进一步对校验日志进行分析,确定原始报送数据的错误原因,根据错误原因确定原始报送数据的调整策略。
93.应用本说明书实施例的方案,获取调整策略判断条件;根据预设校验策略和调整策略判断条件,对原始报送数据进行校验,获得校验日志;根据校验日志,确定原始报送数据的调整策略。通过利用调整策略判断策略对原始报送数据进行二次校验,确定原始报送数据的调整策略,使得调整策略和原始报送数据更加匹配,减少了对原始报送数据进行调整的时间,提高了数据报送效率。
94.本说明书一种可选的实施例中,获得校验日志之后,可以判断校验日志是否符合质检规则,进一步根据判断结果确定原始报送数据的调整策略,也即,上述根据校验日志,确定原始报送数据的调整策略,可以包括以下步骤:
95.在校验日志符合质检规则的情况下,确定调整策略为业务平台调整策略;
96.在校验日志不符合质检规则的情况下,确定调整策略为数据加工调整策略。
97.需要说明的是,若校验日志不符合质检规则,说明针对原始报送数据的数据加工策略可能因配置方的理解误差导致与质检规则不符,原始报送数据的错误原因为加工口径问题,因此,可以确定调整策略为数据加工调整策略;若校验日志符合质检规则,说明针对原始报送数据的数据加工策略符合质检规则,错误原因可能是上游业务平台错误,因此,可以确定调整策略为业务平台调整策略。
98.应用本说明书实施例的方案,将校验日志和质检规则进行匹配,在校验日志符合质检规则的情况下,确定调整策略为业务平台调整策略;在校验日志不符合质检规则的情况下,确定调整策略为数据加工调整策略。通过将调整策略分为业务平台调整策略和数据加工调整策略,使得原始报送数据对应的调整策略更加精细,减少了对原始报送数据进行调整的时间,提高了数据报送效率。
99.本说明书另一种可选的实施例中,在校验日志不符合质检规则的情况下,确定原始报送数据的错误原因为加工口径问题,而加工口径问题可以分为加工入参问题和加工逻辑问题,质检规则包括加工入参质检规则和加工逻辑质检规则,数据加工调整策略包括加工入参调整策略和/或加工逻辑调整策略;上述确定调整策略为数据加工调整策略,可以包括以下步骤:
100.从校验日志中提取原始报送数据对应的数据加工策略,其中,数据加工策略包括加工入参和加工逻辑;
101.在加工入参不符合加工入参质检规则的情况下,确定调整策略为加工入参调整策略;
102.在加工逻辑不符合加工逻辑质检规则的情况下,确定调整策略为加工逻辑调整策略。
103.具体地,加工入参是指加工原始报送数据的参数,例如权重。加工逻辑是指加工原始报送数据的运算逻辑,如加、减、乘、除。加工入参调整策略用于调整原始报送数据的加工入参;加工逻辑调整策略用于调整原始报送数据的加工逻辑。加工入参调整策略基于加工入参质检规则配置得到;加工逻辑调整策略基于加工入参调整策略配置得到。
104.需要说明的是,若加工入参不符合加工入参质检规则,说明原始报送数据的错误原因为加工入参问题,因此,可以确定调整策略为加工入参调整策略;若加工逻辑不符合加工逻辑质检规则,说明原始报送数据的错误原因为加工逻辑问题,因此,可以确定调整策略为加工逻辑调整策略。
105.实际应用中,从校验日志中提取原始报送数据对应的数据加工策略的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不做任何限定。本说明书一种可能的实现方式中,可以利用关键词识别、数据加工策略模板等方式从校验日志中提取原始报送数据对应的数据加工策略。本说明书另一种可能的实现方式中,可以利用信息抽取模型从校验日志中提取原始报送数据对应的数据加工策略,其中,信息抽取模型为机器学习模型,机器学习模型可以理解为经过训练的程序,可以在数据中发现模式并进行预测。这些模型表示为一个数学函数,它以输入数据的形式接收请求,对输入数据进行预测,然后提供输出作为响应。
106.应用本说明书实施例的方案,从校验日志中提取原始报送数据对应的数据加工策略,在加工入参不符合加工入参质检规则的情况下,确定调整策略为加工入参调整策略;在加工逻辑不符合加工逻辑质检规则的情况下,确定调整策略为加工逻辑调整策略。通过将数据加工调整策略分为加工入参调整策略和加工逻辑调整策略,使得原始报送数据对应的数据加工调整策略更加精细,减少了对原始报送数据进行调整的时间,提高了数据报送效率。
107.步骤208:根据调整策略对原始报送数据进行调整,获得目标报送数据,并报送目标报送数据,其中,目标报送数据符合预设校验策略。
108.本说明书一个或多个实施例中,获取目标业务对应的原始报送数据,利用预设校验策略对原始报送数据进行校验,获得校验结果,在校验结果不符合预设校验策略的情况下,确定原始报送数据的调整策略之后,进一步地,根据调整策略对原始报送数据进行调整,获得目标报送数据,并报送目标报送数据。
109.实际应用中,报送目标报送数据的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不做任何限定,可以直接报送目标报送数据,还可以对目标报送数据进行拆分,分别报送拆分后的目标报送数据。
110.应用本说明书实施例的方案,由于预设校验策略为配置方根据目标业务对应的质检规则配置得到的,从而可以基于实际业务需求定义预设校验策略,使得数据报送更加灵活。在数据报送之前利用预设校验策略校验原始报送数据,在校验结果不符合预设校验策略的情况下,可以及时修改原始报送数据,缩短了数据修复的链路。并且,由于报送的是符合预设校验策略的目标报送数据,从而可以一次性生成符合质检规则的数据文件,大大缩短了数据报送花费的时间,提高了数据报送效率。
111.本说明书一种可选的实施例中,根据调整策略对原始报送数据进行调整后,调整后的原始报送数据可能符合预设校验策略,也可能不符合预设校验策略,因此,对原始报送数据调整后,可以利用预设校验策略对调整后的原始报送数据再次校验,直至获得符合预设校验数据的目标报送数据,也即,上述根据调整策略对原始报送数据进行调整,获得目标报送数据,可以包括以下步骤:
112.根据调整策略对原始报送数据进行调整,并返回执行利用预设校验策略对原始报
送数据进行校验,获得校验结果的步骤,直至校验结果符合预设校验策略,获得目标报送数据。
113.应用本说明书实施例的方案,通过不断对原始报送数据进行调整,直至将原始报送数据调整为符合预设校验策略的目标报送数据,保证报送的数据符合预设校验策略,从而可以根据目标报送数据一次性生成符合质检规则的数据文件,大大缩短了数据报送花费的时间,提高了数据报送效率。
114.下述结合附图3,以本说明书提供的数据报送方法在保险领域的应用为例,对所述数据报送方法进行进一步说明。其中,图3示出了本说明书一个实施例提供的一种数据报送方法的处理过程流程图,具体包括以下步骤:
115.步骤302:确定目标业务对应的至少一个目标业务平台;从至少一个目标业务平台中采集目标业务对应的原始报送数据。
116.步骤304:在原始报送数据不符合数据采集标准的情况下,根据数据加工策略对原始报送数据进行加工,获得更新后的原始报送数据。
117.步骤306:利用预设校验策略对原始报送数据进行校验,获得校验结果,其中,预设校验策略为配置方根据目标业务对应的质检规则配置得到。
118.步骤308:在校验结果符合预设校验策略的情况下,将原始报送数据作为目标报送数据。
119.步骤310:在校验结果不符合预设校验策略的情况下,获取调整策略判断条件;根据预设校验策略和调整策略判断条件,对原始报送数据进行校验,获得校验日志;根据校验日志,确定原始报送数据的调整策略。
120.步骤312:根据调整策略对原始报送数据进行调整,并返回执行利用预设校验策略对原始报送数据进行校验,获得校验结果的步骤,直至校验结果符合预设校验策略,获得目标报送数据。
121.步骤314:报送目标报送数据。
122.需要说明的是,步骤302至步骤314的实现方式与上述步骤202至步骤208的实现方式相同,本说明书实施例便不再进行赘述。
123.应用本说明书实施例的方案,由于预设校验策略为配置方根据目标业务对应的质检规则配置得到的,从而可以基于实际业务需求定义预设校验策略,使得数据报送更加灵活。在数据报送之前利用预设校验策略校验原始报送数据,在校验结果不符合预设校验策略的情况下,可以及时修改原始报送数据,缩短了数据修复的链路。并且,由于报送的是符合预设校验策略的目标报送数据,从而可以一次性生成符合质检规则的数据文件,大大缩短了数据报送花费的时间,提高了数据报送效率。
124.参见图4,图4示出了本说明书一个实施例提供的另一种数据报送方法的处理过程流程图,数据报送方法应用于数据报送平台,数据报送平台包括数据仓库、校验引擎、调整单元和报送接口层;
125.数据仓库,用于获取目标业务对应的原始报送数据;
126.具体地,数据仓库可以利用平台抽数的方式,从财务平台、理赔平台、承保平台、再保平台等业务平台直接抽取财务、理赔等业务平台数据作为原始报送数据。对于没有业务平台的业务,业务方可以通过手工导入的方式(如电子表格导入)导入目标业务对应的机构
数据、账户数据等手工数据,数据仓库可以将业务方导入的手工数据作为原始报送数据。数据仓库获取目标业务对应的原始报送数据之后,可以按照数据采集标准加工原始报送数据,将加工好的原始报送数据存在报送接口层的表中,其中,报送接口层中的表结构可以与质检平台要求的数据结构顺序、字段名称完全一致;对于额外添加的字段,可以添加到质检平台要求的数据结构字段之后。
127.校验引擎,用于利用预设校验策略对原始报送数据进行校验,获得校验结果,其中,预设校验策略为配置方根据目标业务对应的质检规则配置得到,质检规则可以包括银保监会质检规则、地方局质检规则,自定义质检规则;在校验结果不符合预设校验策略的情况下,确定原始报送数据的调整策略;
128.具体地,校验引擎可以利用预设校验策略对数据仓库数据加工完成之后的原始报送数据进行校验,并将各类校验结果写入校验结果表。获得校验结果之后,判断校验结果是否通过,若是,将校验通过的结果发送至报送接口层;若否,查找不通过的明细数据,定位错误原因,根据错误原因确定原始报送数据的调整策略,由调整单元进行源数据修复。如果是上游业务平台问题,确定调整策略为业务系统调整策略;如果是加工口径问题,确定调整策略为数据加工调整策略。
129.调整单元,用于根据调整策略对原始报送数据进行调整,获得调整后的原始报送数据;
130.具体地,如果是上游业务平台问题,调整单元可以通过调整策略调整原始报送数据,或者通知对应人员修复原始报送数据,待原始报送数据调整后重新抽数、加工和校验;如果是加工口径问题,调整单元可以通过数据加工调整策略调整原始报送数据的加工逻辑和/或加工入参,待原始报送数据调整后重新加工和校验,直到校验通过后结束调整。
131.报送接口层,用于按照质检规则生成符合要求的数据文件,进行数据报送。
132.具体地,数据文件也即目标报送数据。
133.应用本说明书实施例的方案,由于数据报送平台可以根据报送数据的数据量进行扩建,因此,可以支持tb级数据处理,满足互联网业务的发展需要,同时,数据报送平台可以代替质量检核工具,直连数据仓库的数据源进行数据校验,降低了数据报送成本。并且,由于预设校验策略为配置方根据目标业务对应的质检规则配置得到的,从而可以基于实际业务需求定义预设校验策略,使得数据报送更加灵活。此外,在数据报送之前,原始报送数据经过自动清洗、加工,并进行自动校验,在校验结果不符合预设校验策略的情况下,可以及时修改原始报送数据,缩短了数据修复的链路。并且,由于报送的是符合预设校验策略的目标报送数据,从而可以一次性生成符合质检规则的数据文件,大大缩短了数据报送花费的时间,提高了数据报送效率。
134.与上述方法实施例相对应,本说明书还提供了数据报送装置实施例,图5示出了本说明书一个实施例提供的一种数据报送装置的结构示意图。如图5所示,该装置包括:
135.获取模块502,被配置为获取目标业务对应的原始报送数据;
136.校验模块504,被配置为利用预设校验策略对原始报送数据进行校验,获得校验结果,其中,预设校验策略为配置方根据目标业务对应的质检规则配置得到;
137.确定模块506,被配置为在校验结果不符合预设校验策略的情况下,确定原始报送数据的调整策略;
138.调整模块508,被配置为根据调整策略对原始报送数据进行调整,获得目标报送数据,并报送目标报送数据,其中,目标报送数据符合预设校验策略。
139.可选地,确定模块506,进一步被配置为获取调整策略判断条件;根据预设校验策略和调整策略判断条件,对原始报送数据进行校验,获得校验日志;根据校验日志,确定原始报送数据的调整策略。
140.可选地,确定模块506,进一步被配置为在校验日志符合质检规则的情况下,确定调整策略为业务平台调整策略;在校验日志不符合质检规则的情况下,确定调整策略为数据加工调整策略。
141.可选地,质检规则包括加工入参质检规则和加工逻辑质检规则,数据加工调整策略包括加工入参调整策略和/或加工逻辑调整策略;确定模块506,进一步被配置为从校验日志中提取原始报送数据对应的数据加工策略,其中,数据加工策略包括加工入参和加工逻辑;在加工入参不符合加工入参质检规则的情况下,确定调整策略为加工入参调整策略;在加工逻辑不符合加工逻辑质检规则的情况下,确定调整策略为加工逻辑调整策略。
142.可选地,该装置还包括:加工模块,被配置为获取数据采集标准;在原始报送数据不符合数据采集标准的情况下,根据数据加工策略对原始报送数据进行加工,获得更新后的原始报送数据。
143.可选地,调整模块508,进一步被配置为根据调整策略对原始报送数据进行调整,并返回执行利用预设校验策略对原始报送数据进行校验,获得校验结果的步骤,直至校验结果符合预设校验策略,获得目标报送数据。
144.可选地,获取模块502,进一步被配置为确定目标业务对应的至少一个目标业务平台;从至少一个目标业务平台中采集目标业务对应的原始报送数据。
145.可选地,该装置还包括:报送模块,被配置为在校验结果符合预设校验策略的情况下,将原始报送数据作为目标报送数据,并报送目标报送数据。
146.应用本说明书实施例的方案,由于预设校验策略为配置方根据目标业务对应的质检规则配置得到的,从而可以基于实际业务需求定义预设校验策略,使得数据报送更加灵活。在数据报送之前利用预设校验策略校验原始报送数据,在校验结果不符合预设校验策略的情况下,可以及时修改原始报送数据,缩短了数据修复的链路。并且,由于报送的是符合预设校验策略的目标报送数据,从而可以一次性生成符合质检规则的数据文件,大大缩短了数据报送花费的时间,提高了数据报送效率。
147.上述为本实施例的一种数据报送装置的示意性方案。需要说明的是,该数据报送装置的技术方案与上述的数据报送方法的技术方案属于同一构思,数据报送装置的技术方案未详细描述的细节内容,均可以参见上述数据报送方法的技术方案的描述。
148.图6示出了本说明书一个实施例提供的一种计算设备的结构框图。该计算设备600的部件包括但不限于存储器610和处理器620。处理器620与存储器610通过总线630相连接,数据库650用于保存数据。
149.计算设备600还包括接入设备640,接入设备640使得计算设备600能够经由一个或多个网络660通信。这些网络的示例包括公用交换电话网(pstn,public switchedtelephonenetwork)、局域网(lan,localareanetwork)、广域网(wan,wideareanetwork)、个域网(pan,personalareanetwork)或诸如因特网的通信网络的组合。
接入设备640可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(nic,networkinterfacecard))中的一个或多个,诸如ieee802.11无线局域网(wlan,wirelesslocalareanetworks)无线接口、全球微波互联接入(wi-max,worldinteroperabilityformicrowave access)接口、以太网接口、通用串行总线(usb,universalserialbus)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc,nearfieldcommunication)接口,等等。
150.在本说明书的一个实施例中,计算设备600的上述部件以及图6中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图6所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
151.计算设备600可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或个人计算机(pc,personalcomputer)的静止计算设备。计算设备600还可以是移动式或静止式的服务器。
152.其中,处理器620用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述数据报送方法的步骤。
153.上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的数据报送方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述数据报送方法的技术方案的描述。
154.本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述数据报送方法的步骤。
155.上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的数据报送方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述数据报送方法的技术方案的描述。
156.本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述数据报送方法的步骤。
157.上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的数据报送方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述数据报送方法的技术方案的描述。
158.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
159.所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。
160.需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
161.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
162.以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

技术特征:
1.一种数据报送方法,其特征在于,包括:获取目标业务对应的原始报送数据;利用预设校验策略对所述原始报送数据进行校验,获得校验结果,其中,所述预设校验策略为配置方根据所述目标业务对应的质检规则配置得到;在所述校验结果不符合所述预设校验策略的情况下,确定所述原始报送数据的调整策略;根据所述调整策略对所述原始报送数据进行调整,获得目标报送数据,并报送所述目标报送数据,其中,所述目标报送数据符合所述预设校验策略。2.根据权利要求1所述的方法,其特征在于,所述确定所述原始报送数据的调整策略,包括:获取调整策略判断条件;根据所述预设校验策略和所述调整策略判断条件,对所述原始报送数据进行校验,获得校验日志;根据所述校验日志,确定所述原始报送数据的调整策略。3.根据权利要求2所述的方法,其特征在于,所述根据所述校验日志,确定所述原始报送数据的调整策略,包括:在所述校验日志符合所述质检规则的情况下,确定所述调整策略为业务平台调整策略;在所述校验日志不符合所述质检规则的情况下,确定所述调整策略为数据加工调整策略。4.根据权利要求3所述的方法,其特征在于,所述质检规则包括加工入参质检规则和加工逻辑质检规则,所述数据加工调整策略包括加工入参调整策略和/或加工逻辑调整策略;所述确定所述调整策略为数据加工调整策略,包括:从所述校验日志中提取所述原始报送数据对应的数据加工策略,其中,所述数据加工策略包括加工入参和加工逻辑;在所述加工入参不符合所述加工入参质检规则的情况下,确定所述调整策略为加工入参调整策略;在所述加工逻辑不符合所述加工逻辑质检规则的情况下,确定所述调整策略为加工逻辑调整策略。5.根据权利要求1至4任一项所述的方法,其特征在于,所述获取目标业务对应的原始报送数据之后,还包括:获取数据采集标准;在所述原始报送数据不符合所述数据采集标准的情况下,根据数据加工策略对所述原始报送数据进行加工,获得更新后的原始报送数据。6.根据权利要求1至4任一项所述的方法,其特征在于,所述根据所述调整策略对所述原始报送数据进行调整,获得目标报送数据,包括:根据所述调整策略对所述原始报送数据进行调整,并返回执行所述利用预设校验策略对所述原始报送数据进行校验,获得校验结果的步骤,直至所述校验结果符合所述预设校验策略,获得目标报送数据。
7.根据权利要求1至4任一项所述的方法,其特征在于,所述获取目标业务对应的原始报送数据,包括:确定所述目标业务对应的至少一个目标业务平台;从所述至少一个目标业务平台中采集所述目标业务对应的原始报送数据。8.根据权利要求1至4任一项所述的方法,其特征在于,所述利用预设校验策略对所述原始报送数据进行校验,获得校验结果之后,还包括:在所述校验结果符合所述预设校验策略的情况下,将所述原始报送数据作为目标报送数据,并报送所述目标报送数据。9.一种数据报送系统,其特征在于,包括数据报送平台、质检平台和至少一个业务平台;所述业务平台,用于存储目标业务对应的原始报送数据;所述数据报送平台,用于获取所述原始报送数据;利用预设校验策略对所述原始报送数据进行校验,获得校验结果,其中,所述预设校验策略为配置方根据所述目标业务对应的质检规则配置得到;在所述校验结果不符合所述预设校验策略的情况下,确定所述原始报送数据的调整策略;根据所述调整策略对所述原始报送数据进行调整,获得目标报送数据,并向所述质检平台报送所述目标报送数据,其中,所述目标报送数据符合所述预设校验策略;所述质检平台,用于生成所述目标报送数据对应的目标质检文件。10.一种数据报送装置,其特征在于,包括:获取模块,被配置为获取目标业务对应的原始报送数据;校验模块,被配置为利用预设校验策略对所述原始报送数据进行校验,获得校验结果,其中,所述预设校验策略为配置方根据所述目标业务对应的质检规则配置得到;确定模块,被配置为在所述校验结果不符合所述预设校验策略的情况下,确定所述原始报送数据的调整策略;调整模块,被配置为根据所述调整策略对所述原始报送数据进行调整,获得目标报送数据,并报送所述目标报送数据,其中,所述目标报送数据符合所述预设校验策略。11.一种计算设备,其特征在于,包括:存储器和处理器;所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至8任意一项所述方法的步骤。12.一种计算机可读存储介质,其特征在于,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至8任意一项所述方法的步骤。

技术总结
本说明书实施例提供数据报送方法、系统以及装置,其中所述数据报送方法包括:获取目标业务对应的原始报送数据;利用预设校验策略对原始报送数据进行校验,获得校验结果,其中,预设校验策略为配置方根据目标业务对应的质检规则配置得到;在校验结果不符合预设校验策略的情况下,确定原始报送数据的调整策略;根据调整策略对原始报送数据进行调整,获得目标报送数据,并报送目标报送数据,其中,目标报送数据符合预设校验策略。在校验结果不符合预设校验策略的情况下,及时修改原始报送数据,缩短了数据修复的链路,并且报送的是符合预设校验策略的目标报送数据,可以一次性生成符合质检规则的数据文件,提高了数据报送效率。提高了数据报送效率。提高了数据报送效率。


技术研发人员:明鹏飞 刘祥斌 杨宝龙
受保护的技术使用者:国泰财产保险有限责任公司
技术研发日:2023.06.09
技术公布日:2023/9/6
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐