基于后端埋点的数据整合方法、装置、设备和存储介质与流程

1.本发明涉及大数据领域，特别地，涉及一种基于后端埋点的数据整合方法、装置、设备和存储介质。


背景技术：

2.现有技术中大多通过前端埋点来获取使用者的操作行为，整合使用者的行为数据。但现在越来越多的业务具有跨界面、跨时间、跨使用者的特征，例如用户在银行办理贷款业务时，需要提交贷款申请，贷款申请提交后业务人员进行贷款审核，审核后将审核结果反馈给用户，这个过程中涉及用户的操作行为和工作人员的操作行为，且时间跨度较长，这种情况下若通过前端埋点不容易整合所有的数据进行整体的分析和统计。除此之外，对于跨界面、跨时间、跨使用者的业务来说，最终记录入库的数据中可能会缺少中间过程的数据，导致后续无法对业务全流程进行精准把控，同时中间过程的数据中可能存在一些重要信息，也会导致后续无法对这部分重要信息进行整合分析。
3.因此现在亟需一种基于后端埋点的数据整合方法，能够通过后端埋点对跨界面、跨时间、跨使用者的业务中包括中间数据在内所涉及的相关数据进行整合和分析，提高数据整合的效率和效果。


技术实现要素：

4.本文实施例的目的在于提供一种基于后端埋点的数据整合方法、装置、设备和存储介质，以对相关数据进行整合和分析，提高数据整合的效率和效果。
5.为达到上述目的，一方面，本文实施例提供了一种基于后端埋点的数据整合方法，包括：
6.在后端数据出入端口处埋点，获取输入至后端以及由后端输出的多组业务数据，其中每组业务数据均包括入库数据和中间数据；
7.根据所述输入至后端以及由后端输出的多组业务数据，生成多个明细表，其中所述明细表通过不同维度记录所述业务数据；
8.根据需求确定至少一个关键维度，以及所述关键维度对应的关键数据，生成配置表；
9.提取包含所述配置表中关键维度下关键数据的明细表，得到多个目标明细表；
10.整合所有目标明细表，得到整合后的所需业务数据。
11.优选的，所述获取输入至后端以及由后端输出的多组业务数据进一步包括：
12.将一次会话中输入至后端以及由后端输出的业务数据作为一组业务数据；
13.获取指定时段内多次会话对应的多组业务数据。
14.优选的，所述关键维度包括：业务场景维度和/或出入参数维度。
15.优选的，所述整合所有目标明细表，得到整合后的所需业务数据进一步包括：
16.整合所有目标明细表，得到数据宽表，其中所述数据宽表在所述业务场景维度和/
或所述出入参数维度所对应的业务数据仅为所述关键数据。
17.优选的，所述整合所有目标明细表，得到数据宽表之后还包括：
18.设置至少一个统计维度以及相应统计维度下的统计规则；
19.根据所述统计规则在所述统计维度下对所述数据宽表进行数据加工，得到统计结果。
20.优选的，所述根据所述输入至后端以及由后端输出的多组业务数据，生成多个明细表之前还包括：
21.对所述输入至后端以及由后端输出的多组业务数据进行数据清理。
22.优选的，所述对所述输入至后端以及由后端输出的多组业务数据进行数据清理进一步包括：
23.查询每组业务数据中每个业务数据是否存在问题字典中记录的问题；
24.若是，则剔除该业务数据；
25.若否，则不进行剔除。
26.另一方面，本文实施例提供了一种基于后端埋点的数据整合装置，所述装置包括：
27.获取模块，用于在后端数据出入端口处埋点，获取输入至后端以及由后端输出的多组业务数据，其中每组业务数据均包括入库数据和中间数据；
28.记录模块，用于根据所述输入至后端以及由后端输出的多组业务数据，生成多个明细表，其中所述明细表通过不同维度记录所述业务数据；
29.配置模块，用于根据需求确定至少一个关键维度，以及所述关键维度对应的关键数据，生成配置表；
30.提取模块，用于提取包含所述配置表中关键维度下关键数据的明细表，得到多个目标明细表；
31.整合模块，用于整合所有目标明细表，得到整合后的所需业务数据。
32.又一方面，本文实施例还提供了一种计算机设备，包括存储器、处理器、以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时，执行上述任意一项所述方法的指令。
33.又一方面，本文实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被计算机设备的处理器运行时，执行上述任意一项所述方法的指令。
34.又一方面，本文实施例还提供了一种计算机程序产品，所述计算机程序产品被计算机设备的处理器运行时，执行上述任意一项所述方法的指令。
35.由以上本文实施例提供的技术方案可见，通过本文实施例的方法，在后端数据出入口端口处埋点，能够获取到除了入库数据外的中间数据，进而将包括中间数据和入库数据的业务数据生成明细表，根据实际的整合需求可以确定至少一个关键维度以及关键维度对应的关键数据，生成配置表，其目的是整合含有该关键维度下对应关键数据的多组业务数据，据此对跨界面、跨时间、跨使用者的业务中所涉及的业务数据进行整合分析，提高数据整合的效率和效果。
36.为让本文的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
37.为了更清楚地说明本文实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本文的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1示出了本文实施例提供的一种基于后端埋点的数据整合方法的流程示意图；
39.图2示出了本文实施例提供的用于获取输入至后端以及由后端输出的多组业务数据的流程示意图；
40.图3示出了本文实施例提供的在整合所有目标明细表，得到数据宽表之后的流程示意图；
41.图4示出了本文实施例提供的对输入至后端以及由后端输出的多组业务数据进行数据清理的流程示意图；
42.图5示出了本文实施例提供的一种基于后端埋点的数据整合装置的模块结构示意图；
43.图6示出了本文实施例提供的计算机设备的结构示意图。
44.附图符号说明：
45.100、获取模块；
46.200、记录模块；
47.300、配置模块；
48.400、提取模块；
49.500、整合模块；
50.602、计算机设备；
51.604、处理器；
52.606、存储器；
53.608、驱动机构；
54.610、输入/输出模块；
55.612、输入设备；
56.614、输出设备；
57.616、呈现设备；
58.618、图形用户接口；
59.620、网络接口；
60.622、通信链路；
61.624、通信总线。
具体实施方式
62.下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。
63.现有技术中大多通过前端埋点来获取使用者的操作行为，整合使用者的行为数据。但现在越来越多的业务具有跨界面、跨时间、跨使用者的特征，例如用户在银行办理贷款业务时，需要提交贷款申请，贷款申请提交后业务人员进行贷款审核，审核后将审核结果反馈给用户，这个过程中涉及用户的操作行为和工作人员的操作行为，且时间跨度较长，这种情况下若通过前端埋点不容易整合所有的数据进行整体的分析和统计。除此之外，对于跨界面、跨时间、跨使用者的业务来说，最终记录入库的数据中可能会缺少中间过程的数据，导致后续无法对业务全流程进行精准把控，同时中间过程的数据中可能存在一些重要信息，也会导致后续无法对这部分重要信息进行整合分析。
64.为了解决上述问题，本文实施例提供了一种基于后端埋点的数据整合方法。图1是本文实施例提供的一种基于后端埋点的数据整合方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或装置产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行。
65.需要说明的是，本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
66.参照图1，本文提供了一种基于后端埋点的数据整合方法，包括：
67.s101：在后端数据出入端口处埋点，获取输入至后端以及由后端输出的多组业务数据，其中每组业务数据均包括入库数据和中间数据；
68.s102：根据所述输入至后端以及由后端输出的多组业务数据，生成多个明细表，其中所述明细表通过不同维度记录所述业务数据；
69.s103：根据需求确定至少一个关键维度，以及所述关键维度对应的关键数据，生成配置表；
70.s104：提取包含所述配置表中关键维度下关键数据的明细表，得到多个目标明细表；
71.s105：整合所有目标明细表，得到整合后的所需业务数据。
72.一般来说，埋点体系作为数字化运营的基础，针对业务数据做到应埋尽埋，为后续多视角统计分析各维度指标提供技术支撑，通过统计指标及时发现业务办理卡点、堵点以及可优化点，可以提升业务办理效率和业务转化率，进一步提高用户的服务体验感。
73.后端也可以称之为服务端，一般来说，前端向后端发起业务请求，后端给予前端响应，其中前端可以包括多种不同类型的界面，由于业务请求具有跨界面、跨时间、跨使用者的特征，使得前端与后端之间进行多次交互。
74.以用户办理贷款为例，用户通过前端用户界面向后端提交贷款申请，后端反馈请求提交成功的信息至前端用户界面，后端将用户的贷款申请发送至贷款业务处理人员的前
端处理界面，业务处理人员通过前端处理界面向后端反馈确收信息，贷款业务处理人员审核用户的贷款申请后通过前端处理界面向后端发送审核通过的结果，后端反馈确收的信息至前端处理界面，用户通过前端用户界面向后端发送审核结果查询的请求，后端向前端用户界面反馈审核通过的结果。
75.上述业务请求处理过程中前端包括用户界面和处理界面，用户界面是为用户提供的前端界面，用于用户进行申请提交和查询，处理界面是为业务处理人员提供的前端界面，用于业务处理人员获取待处理的业务并进行业务处理。
76.在本文实施例中，参照图2，所述获取输入至后端以及由后端输出的多组业务数据进一步包括：
77.s201：将一次会话中输入至后端以及由后端输出的业务数据作为一组业务数据；
78.s202：获取指定时段内多次会话对应的多组业务数据。
79.一次会话是指前端与后端进行一次通信交互的过程，这个过程中包括前端向后端发送业务数据，即业务数据输入至后端，也包括后端向前端发送业务数据，即后端输出业务数据。将一次会话中输入至后端以及由后端输出的业务数据作为一组业务数据，一组业务数据中包含多个业务数据，多次会话即对应多组业务数据。例如一组业务数据中包括第一业务数据：贷款申请，第二业务数据：2023年4月1日8点，第三业务数据：张某。
80.在需要进行数据整合时，可以在后端数据出入端口处埋点，如此可以获取输入至后端以及由后端输出的多组业务数据，对于每组业务数据来说，均包括入库数据和中间数据。其中入库数据指的是最终能够存入数据库的数据，中间数据指的是最终不会存入数据库的数据，还是以用户办理贷款为例，数据库中一般会记录用户的编号、用户办理的业务类型、用户提交贷款申请的材料以及贷款审核结果等业务数据，这些数据统称为入库数据，但是对于用户提交贷款申请的时间、贷款业务处理人员审核的时间以及用户提交贷款时的ip地址等业务数据可能不会存入数据库，这些数据统称为中间数据。
81.对于中间数据来说，其中可能包含有一些重要信息或需要关注的信息，由于这部分中间数据不会入库，因此需要通过后端埋点的方式进行获取。获取输入至后端以及由后端输出的多组业务数据后写入日志文件，而为了保证原有的业务流程不受影响，埋点的业务数据获取、写入日志文件与业务流程解耦，可以另起一个线程，异步完成埋点的业务数据写入日志文件的步骤。
82.对于多组业务数据来说，可以生成多个明细表，每个明细表通过不同维度记录对应的一组业务数据，例如包括时间维度、地域维度、事实维度、业务场景维度以及出入参数维度等等。其中时间维度对应的业务数据包括请求发起时间以及后端响应时间等等，地域维度包括请求发起时的ip地址等，事实维度包括请求或响应的具体内容等。
83.根据需求确定至少一个关键维度以及关键维度对应的关键数据，其中关键维度包括：业务场景维度和/或出入参数维度，一般来说业务场景维度对应的业务数据包括业务场景编号和/或业务场景名称，用于确定具体的业务场景，出入参数维度对应的业务数据包括请求人编号、所请求的申请编号以及申请类型编号等等，用于确定具体是谁发起了什么申请。例如关键维度为业务场景维度和出入参数维度，业务场景维度对应的关键数据是业务场景编号为abc，出入参数维度对应的关键数据是请求人编号为123，根据业务场景维度、出入参数维度以及业务场景维度、出入参数维度分别对应的业务场景编号abc、请求人编号
123，生成配置表。
84.进一步的，提取明细表中业务场景维度对应的业务场景编号为abc且请求人编号为123的所有明细表，提取得到的明细表即为目标明细表。
85.在本文实施例中，所述整合所有目标明细表，得到整合后的所需业务数据进一步包括：
86.整合所有目标明细表，得到数据宽表，其中所述数据宽表在所述业务场景维度和/或所述出入参数维度所对应的业务数据仅为所述关键数据。
87.数据宽表可以作为后续处理的依据，指定时段内业务场景编号为abc且请求人编号为123对应的所有业务数据均记录在数据宽表内。
88.参照图3，在进行后续处理时，所述整合所有目标明细表，得到数据宽表之后还包括：
89.s301：设置至少一个统计维度以及相应统计维度下的统计规则；
90.s302：根据所述统计规则在所述统计维度下对所述数据宽表进行数据加工，得到统计结果。
91.例如统计维度为时间维度，相应的统计规则为统计从业务开始时间至业务结束时间之差，得到请求人编号为123的人员办理业务场景编号为abc的业务所经历的办理时间，通过这个统计维度和统计规则，可以统计指定时间内所有请求人办理业务场景编号为abc的办理时间，进一步得到该业务的平均办理时效。平均办理时效进一步可以作为后续工作的指导依据，也可以作为业务处理人员的工作评价指标。
92.上述过程即为对数据宽表进行数据加工的过程，根据需求可以设置不同的统计规则和统计维度，当然也可以设置多个不同的统计规则和多种不同的统计维度，进行数据的加工得到所需的统计结果。
93.在本文实施例中，所述根据所述输入至后端以及由后端输出的多组业务数据，生成多个明细表之前还包括：
94.对所述输入至后端以及由后端输出的多组业务数据进行数据清理。
95.具体的，参照图4，所述对所述输入至后端以及由后端输出的多组业务数据进行数据清理进一步包括：
96.s401：查询每组业务数据中每个业务数据是否存在问题字典中记录的问题；
97.s402：若是，则剔除该业务数据；
98.s403：若否，则不进行剔除。
99.问题字典中记录有各类问题，例如记录的问题为时间维度对应的业务数据记录有大于24:00:00的时间，则代表该业务数据存在问题，需要进行剔除。如此可以将有问题的业务数据事先筛除掉，避免后续进行数据整合和统计时产生不必要的问题。
100.通过本文实施例的方法，在后端数据出入口端口处埋点，能够获取到除了入库数据外的中间数据，进而将包括中间数据和入库数据的业务数据生成明细表，根据实际的整合需求可以确定至少一个关键维度以及关键维度对应的关键数据，生成配置表，其目的是整合含有该关键维度下对应关键数据的多组业务数据，据此对跨界面、跨时间、跨使用者的业务中所涉及的业务数据进行整合分析，提高数据整合的效率和效果。
101.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人
信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。且本技术实施例描述的技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
102.基于上述所述的一种基于后端埋点的数据整合方法，本文实施例还对应提供一种基于后端埋点的数据整合装置。所述的装置可以包括使用了本文实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本文实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本文实施例具体的装置的实施可以参见前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
103.具体地，图5是本文实施例提供的一种基于后端埋点的数据整合装置一个实施例的模块结构示意图，参照图5所示，本文实施例提供的一种基于后端埋点的数据整合装置包括：获取模块100、记录模块200、配置模块300、提取模块400、整合模块500。
104.获取模块100，用于在后端数据出入端口处埋点，获取输入至后端以及由后端输出的多组业务数据，其中每组业务数据均包括入库数据和中间数据；
105.记录模块200，用于根据所述输入至后端以及由后端输出的多组业务数据，生成多个明细表，其中所述明细表通过不同维度记录所述业务数据；
106.配置模块300，用于根据需求确定至少一个关键维度，以及所述关键维度对应的关键数据，生成配置表；
107.提取模块400，用于提取包含所述配置表中关键维度下关键数据的明细表，得到多个目标明细表；
108.整合模块500，用于整合所有目标明细表，得到整合后的所需业务数据。
109.参照图6所示，基于上述所述的一种基于后端埋点的数据整合方法，本文一实施例中还提供一种计算机设备602，其中上述方法运行在计算机设备602上。计算机设备602可以包括一个或多个处理器604，诸如一个或多个中央处理单元(cpu)或图形处理器(gpu)，每个处理单元可以实现一个或多个硬件线程。计算机设备602还可以包括任何存储器606，其用于存储诸如代码、设置、数据等之类的任何种类的信息，一具体实施方式中，存储器606上并可在处理器604上运行的计算机程序，所述计算机程序被所述处理器604运行时，可以执行根据上述方法的指令。非限制性的，比如，存储器606可以包括以下任一项或多种组合：任何类型的ram，任何类型的rom，闪存设备，硬盘，光盘等。更一般地，任何存储器都可以使用任何技术来存储信息。进一步地，任何存储器可以提供信息的易失性或非易失性保留。进一步地，任何存储器可以表示计算机设备602的固定或可移除部件。在一种情况下，当处理器604执行被存储在任何存储器或存储器的组合中的相关联的指令时，计算机设备602可以执行相关联指令的任一操作。计算机设备602还包括用于与任何存储器交互的一个或多个驱动机构608，诸如硬盘驱动机构、光盘驱动机构等。
110.计算机设备602还可以包括输入/输出模块610(i/o)，其用于接收各种输入(经由输入设备612)和用于提供各种输出(经由输出设备614)。一个具体输出机构可以包括呈现设备616和相关联的图形用户接口618(gui)。在其他实施例中，还可以不包括输入/输出模
块610(i/o)、输入设备612以及输出设备614，仅作为网络中的一台计算机设备。计算机设备602还可以包括一个或多个网络接口620，其用于经由一个或多个通信链路622与其他设备交换数据。一个或多个通信总线624将上文所描述的部件耦合在一起。
111.通信链路622可以以任何方式实现，例如，通过局域网、广域网(例如，因特网)、点对点连接等、或其任何组合。通信链路622可以包括由任何协议或协议组合支配的硬连线链路、无线链路、路由器、网关功能、名称服务器等的任何组合。
112.对应于图1-图4中的方法，本文实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。
113.本文实施例还提供了一种计算机程序产品，该计算机程序产品被计算机设备的处理器运行时，执行根据如图1至图4所示的方法。
114.本文实施例还提供一种计算机可读指令，其中当处理器执行所述指令时，其中的程序使得处理器执行如图1至图4所示的方法。
115.应理解，在本文的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本文实施例的实施过程构成任何限定。
116.还应理解，在本文实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
117.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本文的范围。
118.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
119.在本文所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
120.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本文实施例方案的目的。
121.另外，在本文各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单
元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
122.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本文的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本文各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
123.本文中应用了具体实施例对本文的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本文的方法及其核心思想；同时，对于本领域的一般技术人员，依据本文的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本文的限制。

技术特征：
1.一种基于后端埋点的数据整合方法，其特征在于，包括：在后端数据出入端口处埋点，获取输入至后端以及由后端输出的多组业务数据，其中每组业务数据均包括入库数据和中间数据；根据所述输入至后端以及由后端输出的多组业务数据，生成多个明细表，其中所述明细表通过不同维度记录所述业务数据；根据需求确定至少一个关键维度，以及所述关键维度对应的关键数据，生成配置表；提取包含所述配置表中关键维度下关键数据的明细表，得到多个目标明细表；整合所有目标明细表，得到整合后的所需业务数据。2.根据权利要求1所述的基于后端埋点的数据整合方法，其特征在于，所述获取输入至后端以及由后端输出的多组业务数据进一步包括：将一次会话中输入至后端以及由后端输出的业务数据作为一组业务数据；获取指定时段内多次会话对应的多组业务数据。3.根据权利要求1所述的基于后端埋点的数据整合方法，其特征在于，所述关键维度包括：业务场景维度和/或出入参数维度。4.根据权利要求3所述的基于后端埋点的数据整合方法，其特征在于，所述整合所有目标明细表，得到整合后的所需业务数据进一步包括：整合所有目标明细表，得到数据宽表，其中所述数据宽表在所述业务场景维度和/或所述出入参数维度所对应的业务数据仅为所述关键数据。5.根据权利要求4所述的基于后端埋点的数据整合方法，其特征在于，所述整合所有目标明细表，得到数据宽表之后还包括：设置至少一个统计维度以及相应统计维度下的统计规则；根据所述统计规则在所述统计维度下对所述数据宽表进行数据加工，得到统计结果。6.根据权利要求1所述的基于后端埋点的数据整合方法，其特征在于，所述根据所述输入至后端以及由后端输出的多组业务数据，生成多个明细表之前还包括：对所述输入至后端以及由后端输出的多组业务数据进行数据清理。7.根据权利要求6所述的基于后端埋点的数据整合方法，其特征在于，所述对所述输入至后端以及由后端输出的多组业务数据进行数据清理进一步包括：查询每组业务数据中每个业务数据是否存在问题字典中记录的问题；若是，则剔除该业务数据；若否，则不进行剔除。8.一种基于后端埋点的数据整合装置，其特征在于，所述装置包括：获取模块，用于在后端数据出入端口处埋点，获取输入至后端以及由后端输出的多组业务数据，其中每组业务数据均包括入库数据和中间数据；记录模块，用于根据所述输入至后端以及由后端输出的多组业务数据，生成多个明细表，其中所述明细表通过不同维度记录所述业务数据；配置模块，用于根据需求确定至少一个关键维度，以及所述关键维度对应的关键数据，生成配置表；提取模块，用于提取包含所述配置表中关键维度下关键数据的明细表，得到多个目标明细表；
整合模块，用于整合所有目标明细表，得到整合后的所需业务数据。9.一种计算机设备，包括存储器、处理器、以及存储在所述存储器上的计算机程序，其特征在于，所述计算机程序被所述处理器运行时，执行根据权利要求1-7任意一项所述方法的指令。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机设备的处理器运行时，执行根据权利要求1-7任意一项所述方法的指令。11.一种计算机程序产品，其特征在于，所述计算机程序产品被计算机设备的处理器运行时，执行根据权利要求1-7任意一项所述方法的指令。

技术总结
本文提供了一种基于后端埋点的数据整合方法、装置、设备和存储介质，其中方法包括：在后端数据出入端口处埋点，获取输入至后端以及由后端输出的多组业务数据，其中每组业务数据均包括入库数据和中间数据；根据所述输入至后端以及由后端输出的多组业务数据，生成多个明细表，其中所述明细表通过不同维度记录所述业务数据；根据需求确定至少一个关键维度，以及所述关键维度对应的关键数据，生成配置表；提取包含所述配置表中关键维度下关键数据的明细表，得到多个目标明细表；整合所有目标明细表，得到整合后的所需业务数据。本文能够对相关数据进行整合和分析，提高数据整合的效率和效果。效果。效果。


技术研发人员：赵培吟 黄艳 叶玮灿 钟凯
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：2023.04.28
技术公布日：2023/7/7