一种基于增量的多源数据采集方法、系统及设备与流程

1.本发明涉及数据采集技术领域，特别是涉及一种基于增量的多源数据采集方法、系统及设备。


背景技术：

2.伴随着大数据时代来临，越来越多样化的数据进入视野，要想使这些海量数据被更好的使用，数据分析是其中不可避免的一个环节，然而数据分析和数据生产之间还存在更为重要的一个流程，那就是数据采集(extract-transform-load，etl)。etl用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。对于中大型企业尤其是互联网企业和金融企业，当其面对庞大的底层数据和不同数据源的数据时，首先需要保证贴源层数据和原系统数据的一致性，其次在保证一致性的前提下通过技术手段或者数据处理方式以保障数据采集的效率和服务器间的稳定性。目前现有的技术方案，主要是通过以下两种方式进行数据采集：
3.一是大数据平台向外部提供一套标准化的jdbc或odbc等接口，其中jdbc表示java数据库连接，是一种应用程序编程接口，即api；odbc是开放式数据库连接，与jdbc一样，odbc也是一个api接口，充当客户端应用程序和服务器端数据库之间的接口。大数据平台可通过上述api接口完成实时或非实时的数据采集与存储工作。对于大数据平台提供统一api接口进行数据采集的方式，存在以下缺点：一是任何数据源都需要基于标准api接口进行开发；二是接口开发所消耗人力和物力资源较大；三是可延展性较差，对于新开发的业务，需对之前开发的接口进行改造；四是对于海量数据采集的性能较低。
4.二是系统日志采集方式，通过读取数据库日志信息或监控数据源上数据变化以实现数据采集，但通过读取数据库日志的方式实现数据采集时需通过配置表的方式，将数据源端属性信息与大数据平台进行关联。通过读取数据库逻辑日志的数据采集方式，存在以下缺点：一是实时监控数据源庞大数据量变化难度较大；二是容易产生日志丢失情况，相对稳定性较差；三是通过系统日志的采集方式效率较低；四是日志存储对于内存占用较大，长时间使用易产生较多内存碎片；此方式人工运维成本较高，对于新增数据源、表和字段都需调整数据采集平台配置信息。


技术实现要素：

5.本发明的目的是提供一种基于增量的多源数据采集方法、系统及设备，对多种数据源的海量数据实现高效采集。
6.为实现上述目的，本发明提供了如下方案：
7.第一方面，本发明提供一种基于增量的多源数据采集方法，包括：
8.基于预设数据库的逻辑日志，确定增量数据包；所述预设数据库中存储有多平台的保险业务源数据；
9.将所述增量数据包存储至ftp服务器，并生成数据包获取日志；
10.对所述数据包获取日志进行轮询，并当轮询结果表示所述数据包获取日志已更新时，根据所述数据包获取日志确定待处理新增数据包集合；
11.将所述待处理新增数据包集合中的增量数据包分拆至不同ftp服务器，同时将所述增量数据包从所述ftp服务器解压至etl服务器，以得到对应的业务数据文件和sql文件；
12.执行所述sql文件，以将所述业务数据文件挂载在ods缓存的增量层；
13.将挂载在ods缓存的增量层的所述业务数据文件与所述ods缓存的target数据库中的历史业务数据合并，以得到当前采集业务数据。
14.可选地，所述数据包获取日志以proclog表的形式存储。
15.可选地，对所述数据包获取日志进行轮询，具体包括：
16.采用celery调度，按照预设间隔时间对所述数据包获取日志进行扫描。
17.可选地，执行所述sql文件的步骤之前，方法还包括：
18.将所述sql文件中的回车、换行符、空格、特殊字符和null值剔除，并将所述sql文件中的语句调整为适合pg库创建外部表的sql语句。
19.可选地，根据所述数据包获取日志确定待处理新增数据包集合，具体包括：
20.获取数据仓库中保险业务源数据的本地存储日志；
21.对比所述本地存储日志与所述数据包获取日志，以确定待处理新增数据包集合。
22.可选地，将挂载在ods缓存的增量层的所述业务数据文件与所述ods缓存的target数据库中的历史业务数据合并，以得到当前采集业务数据，具体包括：
23.将所述ods缓存的target数据库中的历史业务数据并发卸载为历史数据文件；
24.依据相同表名，将所述历史数据文件与挂载在ods缓存的增量层的所述业务数据文件合并，以得到初始合并文件；
25.对所述初始合并文件进行数据清洗，以得到当前采集业务数据。
26.可选地，方法还包括：
27.将所述当前采集业务数据转载至所述数据仓库，并更新所述本地存储日志。
28.第二方面，本发明提供一种基于增量的多源数据采集系统，包括：
29.增量数据获取模块，用于基于预设数据库的逻辑日志，确定增量数据包；所述预设数据库中存储有多平台的保险业务源数据；
30.日志生成模块，用于将所述增量数据包存储至ftp服务器，并生成数据包获取日志；
31.待处理数据包确定模块，用于对所述数据包获取日志进行轮询，并当轮询结果表示所述数据包获取日志已更新时，根据所述数据包获取日志确定待处理新增数据包集合；
32.数据并行处理模块，用于将所述待处理新增数据包集合中的增量数据包分拆至不同ftp服务器，同时将所述增量数据包从所述ftp服务器解压至etl服务器，以得到对应的业务数据文件和sql文件；
33.业务数据挂载模块，用于执行所述sql文件，以将所述业务数据文件挂载在ods缓存的增量层；
34.当前采集业务数据确定模块，用于将挂载在ods缓存的增量层的所述业务数据文件与所述ods缓存的target数据库中的历史业务数据合并，以得到当前采集业务数据。
35.第三方面，本发明提供一种电子设备，所述电子设备包括存储器和处理器；
36.所述存储器用于存储计算机程序，所述处理器用于运行所述计算机程序以执行基于增量的多源数据采集方法。
37.根据本发明提供的具体实施例，本发明公开了以下技术效果：
38.本发明公开一种基于增量的多源数据采集方法、系统及设备，基于预设数据库的逻辑日志确定增量数据包，其中预设数据库中存储有多平台的保险业务源数据，可知增量数据包为从多数据源中获取得到增量数据。将增量数据包存储至ftp服务器并生成数据包获取日志，对数据包获取日志进行轮询，并当轮询结果表示数据包获取日志已更新时，确定待处理新增数据包集合；然后将待处理新增数据包集合中的增量数据包分拆至不同ftp服务器，以实现并发抽取数据；同时将增量数据包从ftp服务器解压至etl服务器得到对应的业务数据文件和sql文件，进而实现多进程的高并发数据解压；然后执行sql文件以将业务数据文件挂载在ods缓存的增量层，从而得到实际的新增业务数据，即增量数据；将挂载在ods缓存的增量层的业务数据文件与ods缓存的target数据库中的历史业务数据合并以得到当前采集业务数据。本发明将多源业务数据拆分至不同ftp服务器以及etl服务器，降低单一服务器处理数据的压力；同时通过多线程包括多进程的高并发数据抽取、解压处理以及最后的数据合并处理，实现对于海量数据的高效采集。
附图说明
39.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
40.图1为本发明基于增量的多源数据采集方法的流程示意图；
41.图2为本发明基于增量的多源数据采集方法的具体实例示意图；
42.图3为本发明基于增量的多源数据采集方法的结构示意图。
具体实施方式
43.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.本发明提供一种基于增量的多源数据采集方法、系统及设备，具备高性能，高扩展等特性，可以为超大规模数据采集提供通用处理能力。
45.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
46.实施例一
47.如图1所示，本发明提出一种基于增量的多源数据采集方法，包括：
48.步骤100，基于预设数据库的逻辑日志，确定增量数据包；所述预设数据库中存储有多平台的保险业务源数据。所述保险业务源数据包括保险业业务系统数据以及系统内部相关系统业务数据；所述保险业业务系统数据包括对应的承保、理赔、车险、非车险、农险、
普惠金融等业务保单数据；所述系统内部相关系统业务数据包括对应的产品信息、员工信息、客户信息等。
49.具体地，通过iie数据采集工具实时监控数据库逻辑日志，每30分钟将iie数据采集工具处理后得到的增量数据，按机构和实例打包，得到tar增量数据包。其中，机构指保险业务源数据的采集平台，可按所处省、市进行划分；实例指业务系统数据库中具体的表，可按具体保险业务源(如承保、理赔、收付费、财务等)和表名进行拆分。
50.步骤200，将所述增量数据包存储至ftp服务器，并生成数据包获取日志。具体地，将tar增量数据包放至ftp服务器，同时依据iie数据采集工具处理增量数据采集时的文件数量、文件名称以及数据采集时间等基础信息，生成或更新数据包获取日志。
51.在一个具体实例中，所述数据包获取日志以proclog表的形式存储。
52.步骤300，对所述数据包获取日志进行轮询，并当轮询结果表示所述数据包获取日志已更新时，根据所述数据包获取日志确定待处理新增数据包集合；
53.其中，对所述数据包获取日志进行轮询，具体包括：数据仓库采用celery调度，按照预设间隔时间对所述数据包获取日志进行扫描。在一个具体实际应用中，所述预设间隔时间为5分钟。
54.其中，根据所述数据包获取日志确定待处理新增数据包集合，具体包括：1)获取数据仓库中保险业务源数据的本地存储日志；2)对比所述本地存储日志与所述数据包获取日志，以确定待处理新增数据包集合；所述待处理新增数据包集合中包括有本地存储日志中所没有记载的新增数据包。
55.步骤400，将所述待处理新增数据包集合中的增量数据包分拆至不同ftp服务器，同时将所述增量数据包从所述ftp服务器解压至etl服务器，以得到对应的业务数据文件和sql文件。
56.在一个具体实际应用中，将待处理新增数据包集合中的增量数据包依据不同表名、通过celery调度拆分到多个ftp服务器上；每个ftp服务器每天可支持15张表同时进行数据抽取。其中，不同表名是指增量数据包中存储有保险业务源数据的数据表的名称。而将增量数据包拆分至不同的多个ftp服务器能够实现多线程处理任务。同时，根据多家省级机构多进程地对多个增量数据包，分别从对应的ftp服务器解压至etl服务器，对应得到1个数据文件和1个sql(structuredquerylanguage，结构化查询语言)文件，从而实现多线程包含多进程的高并发数据抽取、解压过程。
57.执行步骤500的步骤之前，方法还包括：清洗sql文件。具体地，将所述sql文件中的回车、换行符、空格、特殊字符和null值剔除，并将所述sql文件中的语句调整为适合pg库(postgrel数据库)创建外部表的sql语句。
58.步骤500，执行所述sql文件，以将所述业务数据文件挂载在ods(operationaldatastore，临时存储数据运营层)缓存的增量层。具体地，执行经过清洗后的sql语句，至此，所有业务数据文件已挂载在ods缓存的增量层。
59.步骤600，将挂载在ods缓存的增量层的所述业务数据文件与所述ods缓存的target数据库中的历史业务数据合并，以得到当前采集业务数据。
60.步骤600，具体包括：1)将所述ods缓存的target数据库中的历史业务数据并发卸载为历史数据文件；2)依据相同表名，将所述历史数据文件与挂载在ods缓存的增量层的所
述业务数据文件合并，以得到初始合并文件；3)对所述初始合并文件进行数据清洗，以得到当前采集业务数据。
61.在一个具体实际应用中，在每天的固定时间(比如凌晨1点或凌晨2点)，将前一天存储在ods缓存的target数据库中的历史业务数据，按照机构和表名并发卸载为历史数据文件；在etl服务器上将表名相同的历史数据文件与业务数据文件合并，在合并的过程中进行数据清洗，剔除掉回车和换行符。
62.优选地，方法还包括：将所述当前采集业务数据转载至所述数据仓库，并更新所述本地存储日志。
63.在一个具体实际应用中，本发明应用分布式架构，基于rpc(remote procedurecall)远程调用，通过celery将数据抽取任务分发到不同服务器上以并发抽取数据，从而达到系统模块拆分的目的；使用接口通信，降低系统模块之间的耦合度。本发明基于上述架构，将采集到的不同业务对应的表拆分到不同etl服务器，降低单一服务器处理数据的压力。
64.上文中的分布式主要是高并发抽取数据，采用二级并发的方式，同时抽取多张表，每张表同时并发抽取所有机构的数据，来提升数据采集的抽取效率。其中，高并发说的是以表为单位，再通过省级机构来拆分数据文件进行抽取，多进程包含多线程。
65.本发明采用分层思想，将数据采集、清洗、装载、转换、以及对多集群数据推送，拆分成独立模块，通过修改配置，来实现多个集群的对接，以及指定表的推送。
66.本发明中设置多台etl服务器备份，当某台etl服务器异常，通过修改配置，可随时切换至其他etl服务器继续工作，保证数据推送的及时性。
67.本发明还可通过业务主键比对、计算金额比对以及多渠道验证，保证数据的准确性。另外，本发明全部为线性逻辑，可通过修改配置横向扩展，对接多集群。本发明通过ftp并行将数据文件装载至不同集群的数据表中。
68.优选地，本发明提供个性化数据采集流程，针对不同数据库和采集工具采取不同的数据采集逻辑以确保数据采集效率。
69.在一个具体实例中，如图2所示，基于增量的多源数据采集方法具体包括以下步骤：
70.1)iie软件通过分析逻辑日志，提取增量数据，每0.5个小时形成tar包。
71.2)iie软件将tar包放到ftp服务器上，并将tar包信息插到proclog表。
72.3)etl系统每5分钟轮询proclog表，获得最新信息，分发任务到ftp服务器的工作队列，将最新tar包取到etl服务器中。
73.4)etl系统将tar包解压，将数据通过外部文件的形式挂载到ods缓存的增量层。
74.5)etl服务器将增量层数据合并到target数据库，并对每条数据打上序列号。
75.6)每日t+1时，etl系统读取主驱动表，分发任务到工作队列，去ods缓存的target数据库，将各个表的增量数据卸下至etl服务器。
76.7)etl系统将数据加载至ods层sdata库中，以实现基于增量的多源数据采集。
77.实施例二
78.如图3所示，为了实现实施例一中的技术方案，本实施例提供一种基于增量的多源数据采集系统，包括：
79.增量数据获取模块101，用于基于预设数据库的逻辑日志，确定增量数据包；所述预设数据库中存储有多平台的保险业务源数据。
80.日志生成模块201，用于将所述增量数据包存储至ftp服务器，并生成数据包获取日志。
81.待处理数据包确定模块301，用于对所述数据包获取日志进行轮询，并当轮询结果表示所述数据包获取日志已更新时，根据所述数据包获取日志确定待处理新增数据包集合。
82.数据并行处理模块401，用于将所述待处理新增数据包集合中的增量数据包分拆至不同ftp服务器，同时将所述增量数据包从所述ftp服务器解压至etl服务器，以得到对应的业务数据文件和sql文件。
83.业务数据挂载模块501，用于执行所述sql文件，以将所述业务数据文件挂载在ods缓存的增量层。
84.当前采集业务数据确定模块601，用于将挂载在ods缓存的增量层的所述业务数据文件与所述ods缓存的target数据库中的历史业务数据合并，以得到当前采集业务数据。
85.实施例三
86.本实施例提供一种电子设备，所述电子设备包括存储器和处理器；所述存储器用于存储计算机程序，所述处理器用于运行所述计算机程序以执行实施例一所述的基于增量的多源数据采集方法。
87.可选地，所述电子设备为服务器。
88.另外，本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序；所述计算机程序被处理器执行时实现实施例一所述的基于增量的多源数据采集方法的步骤。
89.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
90.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种基于增量的多源数据采集方法，其特征在于，方法包括：基于预设数据库的逻辑日志，确定增量数据包；所述预设数据库中存储有多平台的保险业务源数据；将所述增量数据包存储至ftp服务器，并生成数据包获取日志；对所述数据包获取日志进行轮询，并当轮询结果表示所述数据包获取日志已更新时，根据所述数据包获取日志确定待处理新增数据包集合；将所述待处理新增数据包集合中的增量数据包分拆至不同ftp服务器，同时将所述增量数据包从所述ftp服务器解压至etl服务器，以得到对应的业务数据文件和sql文件；执行所述sql文件，以将所述业务数据文件挂载在ods缓存的增量层；将挂载在ods缓存的增量层的所述业务数据文件与所述ods缓存的target数据库中的历史业务数据合并，以得到当前采集业务数据。2.根据权利要求1所述的基于增量的多源数据采集方法，其特征在于，所述数据包获取日志以proclog表的形式存储。3.根据权利要求2所述的基于增量的多源数据采集方法，其特征在于，对所述数据包获取日志进行轮询，具体包括：采用celery调度，按照预设间隔时间对所述数据包获取日志进行扫描。4.根据权利要求1所述的基于增量的多源数据采集方法，其特征在于，执行所述sql文件的步骤之前，方法还包括：将所述sql文件中的回车、换行符、空格、特殊字符和null值剔除，并将所述sql文件中的语句调整为适合pg库创建外部表的sql语句。5.根据权利要求1所述的基于增量的多源数据采集方法，其特征在于，根据所述数据包获取日志确定待处理新增数据包集合，具体包括：获取数据仓库中保险业务源数据的本地存储日志；对比所述本地存储日志与所述数据包获取日志，以确定待处理新增数据包集合。6.根据权利要求1所述的基于增量的多源数据采集方法，其特征在于，将挂载在ods缓存的增量层的所述业务数据文件与所述ods缓存的target数据库中的历史业务数据合并，以得到当前采集业务数据，具体包括：将所述ods缓存的target数据库中的历史业务数据并发卸载为历史数据文件；依据相同表名，将所述历史数据文件与挂载在ods缓存的增量层的所述业务数据文件合并，以得到初始合并文件；对所述初始合并文件进行数据清洗，以得到当前采集业务数据。7.根据权利要求5所述的基于增量的多源数据采集方法，其特征在于，方法还包括：将所述当前采集业务数据转载至所述数据仓库，并更新所述本地存储日志。8.一种基于增量的多源数据采集系统，其特征在于，系统包括：增量数据获取模块，用于基于预设数据库的逻辑日志，确定增量数据包；所述预设数据库中存储有多平台的保险业务源数据；日志生成模块，用于将所述增量数据包存储至ftp服务器，并生成数据包获取日志；待处理数据包确定模块，用于对所述数据包获取日志进行轮询，并当轮询结果表示所述数据包获取日志已更新时，根据所述数据包获取日志确定待处理新增数据包集合；
数据并行处理模块，用于将所述待处理新增数据包集合中的增量数据包分拆至不同ftp服务器，同时将所述增量数据包从所述ftp服务器解压至etl服务器，以得到对应的业务数据文件和sql文件；业务数据挂载模块，用于执行所述sql文件，以将所述业务数据文件挂载在ods缓存的增量层；当前采集业务数据确定模块，用于将挂载在ods缓存的增量层的所述业务数据文件与所述ods缓存的target数据库中的历史业务数据合并，以得到当前采集业务数据。9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器；所述存储器用于存储计算机程序，所述处理器用于运行所述计算机程序以执行权利要求1-7任一项所述的基于增量的多源数据采集方法。

技术总结
本发明公开一种基于增量的多源数据采集方法、系统及设备，涉及数据采集技术领域，方法包括：基于预设数据库的逻辑日志确定增量数据包；将增量数据包存储至FTP服务器并生成数据包获取日志；对数据包获取日志进行轮询，并当轮询结果表示数据包获取日志已更新时，确定待处理新增数据包集合；将待处理新增数据包集合中的增量数据包分拆至不同FTP服务器，同时将增量数据包从FTP服务器解压至ETL服务器以得到对应的业务数据文件和SQL文件；执行SQL文件以将业务数据文件挂载在ODS缓存的增量层；将业务数据文件与ODS缓存的Target数据库中的历史业务数据合并以得到当前采集业务数据。本发明能够高效采集海量数据。明能够高效采集海量数据。明能够高效采集海量数据。


技术研发人员：宋泽涵 吕景耀
受保护的技术使用者：中国人民财产保险股份有限公司
技术研发日：2023.02.13
技术公布日：2023/7/13