数据累计处理方法、装置、设备及存储介质与流程

未命名 07-14 阅读:99 评论:0


1.本技术涉及金融科技技术领域,尤其涉及数据处理技术领域,提供一种数据累计处理方法、装置、设备及存储介质。


背景技术:

2.随着计算机技术的不断发展,基于大数据技术计算月累计数据的手段也得到了广泛的应用。目前,常采用实时与离线月累计结合的方式进行月累计数据计算。但是该方法无法适用于数据去重、聚合、更新的场景。常需要增加包括引入流数据处理技术的窗口计算过程,导致现有的月累计数据处理过程较复杂,存在月累计数据处理效率低下的问题。


技术实现要素:

3.有鉴于此,本技术实施例提供了一种数据累计处理方法、装置、设备及存储介质,旨在提高数据累计计算的效率。
4.本技术实施例第一方面提供了一种数据累计处理方法,所述方法包括:
5.基于实时任务获取源数据的实时明细数据;
6.根据所述实时任务的执行时间对所述实时明细数据进行排序,得到实时明细数据表;
7.将所述实时明细数据表中与历史明细数据进行匹配,得到与所述实时明细数据表中的各明细数据相匹配的历史明细数据;
8.对所述历史明细数据和所述实时明细数据基于预设合并逻辑进行合并处理,得到累计结果数据。
9.本技术实施例第二方面提供了一种数据累计处理装置,所述装置包括:
10.获取模块,用于基于实时任务获取源数据的实时明细数据;
11.排序模块,用于根据所述实时任务的执行时间对所述实时明细数据进行排序,得到实时明细数据表;
12.匹配模块,用于将所述实时明细数据表中与历史明细数据进行匹配,得到与所述实时明细数据表中的各明细数据相匹配的历史明细数据;
13.处理模块,用于对所述历史明细数据和所述实时明细数据基于预设合并逻辑进行合并处理,得到累计结果数据。
14.本技术实施例第三方面提供一种数据累计处理设备,包括存储器、处理器以及存储在所述存储器中并可在所述数据累计处理设备上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面提供的数据累计处理方法的步骤。
15.本技术实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现第一方面提供的数据累计处理方法的步骤。
16.本技术实施例提供的一种数据累计处理方法,与现有技术相比,首先基于实时任
务获取源数据的实时明细数据;再根据所述实时任务的执行时间对所述实时明细数据进行排序,得到实时明细数据表;进一步将所述实时明细数据表中的各实时明细数据与历史明细数据进行匹配,得到与所述实时明细数据表中的各实时明细数据相匹配的历史明细数据后,对所述历史明细数据和所述实时明细数据基于预设合并逻辑进行合并处理,得到累计结果数据。通过实时任务的执行时间对基于所述实时任务获取的源数据的实时明细数据进行排序,得到实时明细数据表后,根据实时明细数据表和历史明细数据得到累计结果数据,以提高数据累计处理的效率。
17.本技术实施例第二方面至第四方面提供的有益效果与本技术实施例第一方面提供的有益效果相同,在此不再赘述。
附图说明
18.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
19.图1是本技术实施例提供的数据累计处理方法的实现流程图;
20.图2是本技术实施例提供的数据累计处理方法的应用场景示意图;
21.图3是本技术实施例提供的数据累计处理装置的结构框图;
22.图4是本技术实施例提供的数据累计处理设备的结构框图。
具体实施方式
23.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
24.本技术实施例所涉及的数据累计处理方法,可以由数据累计处理设备执行实现。所述数据累计处理设备包括但不限于终端或者服务器。其中,所述服务器可以是单个服务器或者云服务器集群等,所述终端可以是个人数字设备、笔记本、台式电脑、智能可穿戴设备或者机器人等。在此不做具体限定。
25.本技术实施例所涉及的数据累计处理方法,首先基于实时任务获取源数据的实时明细数据;再根据所述实时任务的执行时间对所述实时明细数据进行排序,得到实时明细数据表;进一步将所述实时明细数据表中的各实时明细数据与历史明细数据进行匹配,得到与所述实时明细数据表中的各实时明细数据相匹配的历史明细数据后,对所述历史明细数据和所述实时明细数据基于预设合并逻辑进行合并处理,得到累计结果数据。通过实时任务的执行时间对基于所述实时任务获取的源数据的实时明细数据进行排序,得到实时明细数据表后,根据实时明细数据表和历史明细数据得到累计结果数据,以提高数据累计处理的效率。
26.下面具体结合附图,对本技术实施例提供的数据累计处理方法进行示例性的说明。
27.请参阅图1所示,图1是本技术一实施例提供的数据累计处理方法的实现流程图。
本技术实施例提供的数据累计处理方法可由终端或者服务器执行实现。或者,本技术实施例提供的数据累计处理方法可以由终端和服务器协同处理实现。
28.示例性地,如图2所示,图2是本技术一实施例提供的数据累计处理方法的应用场景示意图。由图2可知,在本实施例中,由终端接收数据累计处理请求,将数据累计处理请求发送至服务器,服务器响应于该数据累计处理请求,基于实时任务获取源数据的实时明细数据;再根据所述实时任务的执行时间对所述实时明细数据进行排序,得到实时明细数据表;进一步将所述实时明细数据表中的各实时明细数据与历史明细数据进行匹配,得到与所述实时明细数据表中的各实时明细数据相匹配的历史明细数据后,对所述历史明细数据和所述实时明细数据基于预设合并逻辑进行合并处理,得到累计结果数据。进一步地,服务器在得到累计结果数据后,可以将得到累计结果数据发送至终端,以使终端通过预设界面显示该得到累计结果数据。
29.应理解,在该应用场景下,对应终端的计算能力有限,为了提高数据累计处理的效率,终端在接收到数据累计处理请求后,将数据累计处理请求发送至服务器,由服务器进行数据累计处理,得到累计结果数据。
30.在一些应用场景下,当终端的计算能力较强时,可以由终端直接完成数据累计处理的过程。也就是说,对数据累计处理的过程可以由终端直接完成,也可以由服务器直接完成,或者还可以由服务器与终端交互完成。具体在此不做任何限定
31.由图1可知,本实施例提供的数据累计处理方法包括步骤s101至s104。
32.详述如下:
33.s101,基于实时任务获取源数据的实时明细数据。
34.具体地,在本技术的实施例中,源数据可以预先存储在分布式消息队列中。其中,分布式消息队列可以支持主键值更新和数据去重。通过将源数据存储在分布式消息队列中,可以实现根据分布式并行程序对源数据的实时明细数据的主键按照实时任务执行时间进行获取,提高源数据的实时明细数据获取效率。
35.在一实施例中,所述实时任务包括实时月累计任务和明细任务;所述基于实时任务获取源数据的实时明细数据,包括:基于所述实时月累计任务从分布式消息队列中获取各业务系统的源数据;基于所述明细任务解析所述源数据,得到所述源数据的实时明细数据;所述分布式消息队列中预先存储有各业务系统的源数据。
36.通过将源数据利用实时月累计任务从分布式消息队列中获取,并基于明细任务抽取出明细数据,具体地,在抽取明细数据时采用源数据中各明细数据的关键字作为标识信息,在分布式消息队列中,基于各实时月累计任务的执行时间信息,抽取对应的明细数据。应理解,由于不同明细数据具有不同的关键字,因此,基于明细数据的关键字作为标识信息进行明细数据抽取时,可以实现对明细数据去重的功能。提高实时明细数据的获取效率。
37.s102,根据所述实时任务的执行时间对所述实时明细数据进行排序,得到实时明细数据表。
38.在一实施例中,所述根据所述实时任务的执行时间对所述实时明细数据进行排序,得到实时明细数据表,包括:对所述实时明细数据进行粒度解析,得到所述实时明细数据的明细粒度;根据所述实时任务的执行时间对所述实时明细粒度进行排序,得到实时粒度表。
39.其中,实时明细数据包括当前业务场景下对应所选时间段内的日数据;实时明细粒度包括对日数据的细化程度,具体是指对日数据以不同的粒度进行描述的数据,如日数据为寿险理赔数据,该寿险理赔数据对应的实时明细粒度包括金额粒度、日期粒度、单数粒度、合规粒度等。应理解,可以预先设置对日数据的细化程度,随着细化程度的不同,对应的实时粒度也不同。
40.应理解,在所述基于所述实时任务从分布式消息队列中获取所述实时明细数据之前,还包括:在所述分布式消息队列中,分别生成各所述业务系统的源数据的索引;所述基于所述实时月累计任务从分布式消息队列中获取各业务系统的源数据,包括:基于所述实时月累计任务从分布式消息队列中,根据各所述业务系统的源数据的索引,获取各业务系统的源数据。
41.其中,所述业务系统的源数据的索引可以是一个索引,也可以是多个索引。也就是说,可以将源数据存储在一个索引下,也可以存储在多个索引下,具体地,取决于业务相似度。也就是说,所述业务系统的源数据对应的业务相似度大于或等于预设相似度阈值,则确定将所述业务系统下的源数据存储在一个索引下;若则所述业务系统的源数据对应的业务相似度小于预设相似度阈值,则确定将所述业务系统下的源数据存储在不同的索引下。
42.s103,将所述实时明细数据表中的各实时明细数据与历史明细数据进行匹配,得到与所述实时明细数据表中的各实时明细数据相匹配的历史明细数据。
43.在一本技术的一实施例中,所述将所述实时明细数据表中的各实时明细数据与历史明细数据进行匹配,得到与所述实时明细数据表中的各实时明细数据相匹配的历史明细数据,包括:确定所述历史明细数据对应的各历史粒度;将所述实时粒度表中的各实时粒度与所述历史粒度进行匹配,得到与所述各实时粒度相匹配的历史粒度;获取相匹配的所述历史粒度对应的所述历史明细数据。
44.在本技术的另一实施例中,所述将所述实时明细数据表中与历史明细数据进行匹配,得到与所述实时明细数据表中的各明细数据相匹配的历史明细数据,包括:确定所述实时明细数据表中各明细数据的主键值和对应产生的第一时间;根据所述第一时间,获取第二时间的所述历史明细数据;基于所述主键值遍历所述历史明细数据,得到与所述实时明细数据表中的各明细数据相匹配的历史明细数据。
45.s104,对所述历史明细数据和所述实时明细数据基于预设合并逻辑进行合并处理,得到累计结果数据。
46.在一实施例中,所述对所述历史明细数据和所述实时明细数据基于预设合并逻辑进行合并处理,得到累计结果数据,包括:分别确定各所述实时明细数据的第一关键字以及各所述历史明细数据的第二关键字;确定所述第一关键字和所述第二关键字的交集,将所述交集中各关键字对应的明细数据作为所述累计结果数据。
47.通过上述分析可知,本技术实施例提供的数据累计处理方法,首先基于实时任务获取源数据的实时明细数据;再根据所述实时任务的执行时间对所述实时明细数据进行排序,得到实时明细数据表;进一步将所述实时明细数据表中的各实时明细数据与历史明细数据进行匹配,得到与所述实时明细数据表中的各实时明细数据相匹配的历史明细数据后,对所述历史明细数据和所述实时明细数据基于预设合并逻辑进行合并处理,得到累计结果数据。通过实时任务的执行时间对基于所述实时任务获取的源数据的实时明细数据进
行排序,得到实时明细数据表后,根据实时明细数据表和历史明细数据得到累计结果数据,以提高数据累计处理的效率。
48.上述实施例,对本技术提供的数据累计处理方法进行了示例性地说明。下面将结合图3和图4对本技术实施例提供的数据累计处理方法适用的装置和设备进行示例性地说明。
49.请参阅图3所示,图3是本技术实施例提供的数据累计处理装置的结构框图。本实施例中的数据累计处理装置包括的各模块可以集成在数据累计处理设备中,用于执行上述数据累计处理方法实施例中的各步骤。具体请图1所对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分。参见图3,数据累计处理装置300包括:
50.获取模块301,用于基于实时任务获取源数据的实时明细数据;
51.排序模块302,用于根据所述实时任务的执行时间对所述实时明细数据进行排序,得到实时明细数据表;
52.匹配模块303,用于将所述实时明细数据表中与历史明细数据进行匹配,得到与所述实时明细数据表中的各明细数据相匹配的历史明细数据;
53.处理模块304,用于对所述历史明细数据和所述实时明细数据基于预设合并逻辑进行合并处理,得到累计结果数据。
54.在一实施例中,所述排序模块302,包括:
55.第一解析单元,用于对所述实时明细数据进行粒度解析,得到所述实时明细数据的明细粒度;
56.排序单元,用于根据所述实时任务的执行时间对所述实时明细粒度进行排序,得到实时粒度表。
57.在一实施例中,所述匹配模块303,包括:
58.第一确定单元,用于确定所述历史明细数据对应的各历史粒度;
59.匹配单元,用于将所述实时粒度表中的各实时粒度与所述历史粒度进行匹配,得到与所述各实时粒度相匹配的历史粒度;
60.第一获取单元,用于获取相匹配的所述历史粒度对应的所述历史明细数据。
61.在一实施例中,所述处理模块304,包括:
62.第二确定单元,用于分别确定各所述实时明细数据的第一关键字以及各所述历史明细数据的第二关键字;
63.第三确定单元,用于确定所述第一关键字和所述第二关键字的交集,将所述交集中各关键字对应的明细数据作为所述累计结果数据。
64.在一实施例中,所述实时任务包括实时月累计任务和明细任务;所述获取模块301,包括:
65.第二获取单元,用于基于所述实时月累计任务从分布式消息队列中获取各业务系统的源数据;
66.第二解析单元,用于基于所述明细任务解析所述源数据,得到所述源数据的实时明细数据;所述分布式消息队列中预先存储有各业务系统的源数据。
67.在一实施例中,所述装置300,还包括:
68.生成模块,用于在所述分布式消息队列中,分别生成各所述业务系统的源数据的
索引;
69.所述获取模块,还用于:
70.基于所述实时月累计任务从分布式消息队列中,根据各所述业务系统的源数据的索引,获取各业务系统的源数据。
71.在一实施例中,所述匹配模块,包括:
72.第四确定单元,用于确定所述实时明细数据表中各明细数据的主键值和对应产生的第一时间;
73.第三获取单元,用于根据所述第一时间,获取第二时间的所述历史明细数据;
74.得到单元,用于基于所述主键值遍历所述历史明细数据,得到与所述实时明细数据表中的各明细数据相匹配的历史明细数据。
75.应当理解的是,图3示出的数据累计处理装置300的结构框图中,各模块可以集成在数据累计处理设备中,用于执行图1对应的实施例中的各步骤,而对于图1对应的实施例中的各步骤已在上述实施例中进行详细解释,具体请参阅图1所对应的实施例中的相关描述,此处不再赘述。
76.下面对能够集成数据累计处理装置300的数据累计处理设备进行示例性说明。
77.请参阅图4所示,图4是本技术实施例提供的数据累计处理设备的结构框图。如图4所示,该实施例的数据累计处理设备400包括:处理器410、存储器420以及存储在所述存储器420中并可在所述处理器410上运行的计算机程序430,例如数据累计处理程序。处理器410执行所述计算机程序430时实现上述各个数据累计处理方法各实施例中的步骤,例如图1所示的步骤。或者,所述处理器410执行所述计算机程序430时实现上述图3对应的实施例中各模块或单元的功能,例如,图3所示的模块301至304的功能,具体请参阅图3对应的实施例中的相关描述,此处不赘述。
78.示例性的,所述计算机程序430可以被分割成一个或多个单元,所述一个或者多个单元被存储在所述存储器420中,并由所述处理器410执行,以完成本技术。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序430在所述数据累计处理设备400中的执行过程。例如,所述计算机程序430可以被分割成包括:获取模块、排序模块、匹配模块以及处理模块;各模块具体功能如图3所述。
79.所述数据累计处理设备400可包括,但不仅限于,处理器410、存储器420。本领域技术人员可以理解,图4仅仅是数据累计处理设备400的示例,并不构成对数据累计处理设备400的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述数据累计处理设备400还可以包括输入输出设备、网络接入设备、总线等。
80.所称处理器410可以是中央处理单元(central processing unit,cpu),还可以是其他通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现成可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
81.其中,在一个实施例中,所述处理器用于运行存储在存储器中的计算机程序,以实现如下步骤:
82.基于实时任务获取源数据的实时明细数据;
83.根据所述实时任务的执行时间对所述实时明细数据进行排序,得到实时明细数据表;
84.将所述实时明细数据表中的各实时明细数据与历史明细数据进行匹配,得到与所述实时明细数据表中的各实时明细数据相匹配的历史明细数据;
85.对所述历史明细数据和所述实时明细数据基于预设合并逻辑进行合并处理,得到累计结果数据。
86.在一实施例中,所述根据所述实时任务的执行时间对所述实时明细数据进行排序,得到实时明细数据表,包括:
87.对所述实时明细数据进行粒度解析,得到所述实时明细数据的明细粒度;
88.根据所述实时任务的执行时间对所述实时明细粒度进行排序,得到实时粒度表。
89.在一实施例中,所述将所述实时明细数据表中的各实时明细数据与历史明细数据进行匹配,得到与所述实时明细数据表中的各实时明细数据相匹配的历史明细数据,包括:
90.确定所述历史明细数据对应的各历史粒度;
91.将所述实时粒度表中的各实时粒度与所述历史粒度进行匹配,得到与所述各实时粒度相匹配的历史粒度;
92.获取相匹配的所述历史粒度对应的所述历史明细数据。
93.在一实施例中,所述对所述历史明细数据和所述实时明细数据基于预设合并逻辑进行合并处理,得到累计结果数据,包括:
94.分别确定各所述实时明细数据的第一关键字以及各所述历史明细数据的第二关键字;
95.确定所述第一关键字和所述第二关键字的交集,将所述交集中各关键字对应的明细数据作为所述累计结果数据。
96.在一实施例中,所述实时任务包括实时月累计任务和明细任务;所述基于实时任务获取源数据的实时明细数据,包括:
97.基于所述实时月累计任务从分布式消息队列中获取各业务系统的源数据;
98.基于所述明细任务解析所述源数据,得到所述源数据的实时明细数据;所述分布式消息队列中预先存储有各业务系统的源数据。
99.在一实施例中,在所述基于所述实时任务从分布式消息队列中获取所述实时明细数据之前,还包括:
100.在所述分布式消息队列中,分别生成各所述业务系统的源数据的索引;
101.所述基于所述实时月累计任务从分布式消息队列中获取各业务系统的源数据,包括:
102.基于所述实时月累计任务从分布式消息队列中,根据各所述业务系统的源数据的索引,获取各业务系统的源数据。
103.在一实施例中,所述将所述实时明细数据表中与历史明细数据进行匹配,得到与所述实时明细数据表中的各明细数据相匹配的历史明细数据,包括:
104.确定所述实时明细数据表中各明细数据的主键值和对应产生的第一时间;
105.根据所述第一时间,获取第二时间的所述历史明细数据;
106.基于所述主键值遍历所述历史明细数据,得到与所述实时明细数据表中的各明细数据相匹配的历史明细数据。
107.所述存储器420可以是所述数据累计处理设备400的内部存储单元,例如数据累计处理设备400的硬盘或内存。所述存储器420也可以是所述数据累计处理设备400的外部存储设备,例如所述数据累计处理设备400上配备的插接式硬盘,智能存储卡(smart media card,smc),安全数字(secure digital,sd)卡,闪存卡(flash card)等。进一步地,所述存储器420还可以既包括所述数据累计处理设备400的内部存储单元也包括外部存储设备。所述存储器420用于存储所述计算机程序以及所述数据累计处理设备400所需的其他程序和数据。所述存储器420还可以用于暂时地存储已经输出或者将要输出的数据。
108.本技术的实施例中还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序中包括程序指令,所述处理器执行所述程序指令,实现本技术上述各实施例提供的数据累计处理方法的步骤。
109.其中,所述计算机可读存储介质可以是前述实施例所述的数据累计处理设备的内部存储单元,例如所述数据累计处理设备的硬盘或内存。所述计算机可读存储介质也可以是所述数据累计处理设备的外部存储设备,例如所述数据累计处理设备上配备的插接式硬盘,智能存储卡(smart media card,smc),安全数字(secure digital,sd)卡,闪存卡(flash card)等。
110.以上所述实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修正,或者对其中部分技术特征进行等同替换;而这些修正或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围,均应包含在本技术的保护范围之内。

技术特征:
1.一种数据累计处理方法,其特征在于,所述方法包括:基于实时任务获取源数据的实时明细数据;根据所述实时任务的执行时间对所述实时明细数据进行排序,得到实时明细数据表;将所述实时明细数据表中的各实时明细数据与历史明细数据进行匹配,得到与所述实时明细数据表中的各实时明细数据相匹配的历史明细数据;对所述历史明细数据和所述实时明细数据基于预设合并逻辑进行合并处理,得到累计结果数据。2.如权利要求1所述的方法,其特征在于,所述根据所述实时任务的执行时间对所述实时明细数据进行排序,得到实时明细数据表,包括:对所述实时明细数据进行粒度解析,得到所述实时明细数据的明细粒度;根据所述实时任务的执行时间对所述实时明细粒度进行排序,得到实时粒度表。3.如权利要求2所述的方法,其特征在于,所述将所述实时明细数据表中的各实时明细数据与历史明细数据进行匹配,得到与所述实时明细数据表中的各实时明细数据相匹配的历史明细数据,包括:确定所述历史明细数据对应的各历史粒度;将所述实时粒度表中的各实时粒度与所述历史粒度进行匹配,得到与所述各实时粒度相匹配的历史粒度;获取相匹配的所述历史粒度对应的所述历史明细数据。4.如权利要求1所述的方法,其特征在于,所述对所述历史明细数据和所述实时明细数据基于预设合并逻辑进行合并处理,得到累计结果数据,包括:分别确定各所述实时明细数据的第一关键字以及各所述历史明细数据的第二关键字;确定所述第一关键字和所述第二关键字的交集,将所述交集中各关键字对应的明细数据作为所述累计结果数据。5.如权利要求1所述的方法,其特征在于,所述实时任务包括实时月累计任务和明细任务;所述基于实时任务获取源数据的实时明细数据,包括:基于所述实时月累计任务从分布式消息队列中获取各业务系统的源数据;基于所述明细任务解析所述源数据,得到所述源数据的实时明细数据;所述分布式消息队列中预先存储有各业务系统的源数据。6.如权利要求5所述的方法,其特征在于,在所述基于所述实时任务从分布式消息队列中获取所述实时明细数据之前,还包括:在所述分布式消息队列中,分别生成各所述业务系统的源数据的索引;所述基于所述实时月累计任务从分布式消息队列中获取各业务系统的源数据,包括:基于所述实时月累计任务从分布式消息队列中,根据各所述业务系统的源数据的索引,获取各业务系统的源数据。7.如权利要求1所述的方法,其特征在于,所述将所述实时明细数据表中与历史明细数据进行匹配,得到与所述实时明细数据表中的各明细数据相匹配的历史明细数据,包括:确定所述实时明细数据表中各明细数据的主键值和对应产生的第一时间;根据所述第一时间,获取第二时间的所述历史明细数据;基于所述主键值遍历所述历史明细数据,得到与所述实时明细数据表中的各明细数据
相匹配的历史明细数据。8.一种数据累计处理装置,其特征在于,所述装置包括:获取模块,用于基于实时任务获取源数据的实时明细数据;排序模块,用于根据所述实时任务的执行时间对所述实时明细数据进行排序,得到实时明细数据表;匹配模块,用于将所述实时明细数据表中与历史明细数据进行匹配,得到与所述实时明细数据表中的各明细数据相匹配的历史明细数据;处理模块,用于对所述历史明细数据和所述实时明细数据基于预设合并逻辑进行合并处理,得到累计结果数据。9.一种数据累计处理设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的数据累计处理方法的步骤。10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据累计处理方法的步骤。

技术总结
本申请涉及金融科技技术领域,尤其涉及数据处理技术领域,提供一种数据累计处理方法、装置、设备及存储介质,该方法包括:基于实时任务获取源数据的实时明细数据;根据所述实时任务的执行时间对所述实时明细数据进行排序,得到实时明细数据表;将所述实时明细数据表中的各实时明细数据与历史明细数据进行匹配,得到与所述实时明细数据表中的各实时明细数据相匹配的历史明细数据;对所述历史明细数据和所述实时明细数据基于预设合并逻辑进行合并处理,得到累计结果数据。旨在提高数据累计处理的效率。的效率。的效率。


技术研发人员:许靖
受保护的技术使用者:平安科技(深圳)有限公司
技术研发日:2023.04.07
技术公布日:2023/7/13
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐