一种大数据量的业务数据加工方法、装置及电子设备与流程

1.本发明涉及数据处理技术领域，尤其涉及一种大数据量的业务数据加工方法、装置及电子设备。


背景技术：

2.大数据或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
3.对于大数据量的数据加工，进而用于商业智能，是现代信息化最常见的数据处理方式之一，往往不同企业、不同场景下的业务千差万别，要做到数据加工，具有较强的专业性，需要专门做技术开发才能做到，且并不能保证数据的实时、快速的特性，数据加工环节较为固化，会造成技术开发时耗费大量的人力物力，因此，如何能实时、快速地，且灵活的配置方式来对业务数据进行加工设计，并快速进行数据加工是需要解决的技术问题。


技术实现要素：

4.本发明提供了一种大数据量的业务数据加工方法、装置及电子设备，用以解决大量数据的数据加工困难、数据实时性较差的问题。
5.本说明书实施例提供一种大数据量的业务数据处理方法，包括：获取与大数据量的业务数据所关联的业务关系型数据库表；基于业务关系型数据库连接各所述业务关系型数据库表，生成业务处理任务，基于所述业务处理任务创建业务任务指令，并将所述业务任务指令提交到业务大数据计算平台；将所述业务任务指令加工过程中涉及到的业务关系型数据库表、业务加工规则以元数据的方式记录，并将所述元数据转化成业务大数据计算平台的业务加工任务；将预设业务加工规则加入所述业务加工任务中，以大数据量业务数据作为输入执行所述业务加工任务中的预设业务加工规则，得到业务数据加工结果。
6.优选的，所述方法还包括：以单表的形式将所述业务数据加工结果存储到业务数据库。
7.优选的，所述业务处理任务包括业务流任务、业务批处理任务；所述基于业务关系型数据库连接各所述业务关系型数据库表，生成业务处理任务，包括：利用业务关系型数据库，结合预设指令转换函数将所述业务关系型数据库表转化为业务流任务和/或业务批处理任务。
8.优选的，所述方法还包括：采用预设监听机制监听执行所述业务加工任务时业务处理任务的变化量，得到预设时间段内的新增和/或删减业务数据。
9.优选的，所述方法还包括：
同步检查业务加工结果的数据量与业务数据库的数据量，结合监听到的执行所述业务加工任务时业务处理任务的变化量确定所述业务处理任务中批处理业务任务的完成状态。
10.本说明书实施例还提供一种大数据量的业务数据加工装置，包括：表名获取模块，用于获取与大数据量的业务数据所关联的业务关系型数据库表；表名转化模块，用于基于业务关系型数据库连接各所述业务关系型数据库表，生成业务处理任务，基于所述业务处理任务创建业务任务指令，并将所述业务任务指令提交到业务大数据计算平台；数据转化模块，用于将所述业务任务指令加工过程中涉及到的业务关系型数据库表、业务加工规则以元数据的方式记录，并将所述元数据转化成业务大数据计算平台的业务加工任务；任务执行模块，用于将预设业务加工规则加入所述业务加工任务中，以大数据量业务数据作为输入执行所述业务加工任务中的预设业务加工规则，得到业务数据加工结果。
11.优选的，所述装置还包括：业务数据存储模块，用于以单表的形式将所述业务数据加工结果存储到业务数据库。
12.优选的，所述业务处理任务包括业务流任务、业务批处理任务；所述表名转化模块，包括：表名转化单元，用于利用业务关系型数据库，结合预设指令转换函数将所述业务关系型数据库表转化为业务流任务和/或业务批处理任务。。
13.优选的，所述装置还包括：任务监听模块，用于采用预设监听机制监听执行所述业务加工任务时业务处理任务的变化量，得到预设时间段内的新增和/或删减业务数据。
14.优选的，所述装置还包括：状态确定模块，用于同步检查业务加工结果的数据量与业务数据库的数据量，结合监听到的执行所述业务加工任务时业务处理任务的变化量确定所述业务处理任务中批处理业务任务的完成状态。
15.一种电子设备，其中，该电子设备包括：处理器以及存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述任一项所述的方法。
16.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个指令，所述一个或多个指令当被处理器执行时，实现上述任一项所述的方法。
17.本发明可以采用灵活的配置方式来对业务数据进行加工设计，并通过关系型数据库表名与业务数据关联的方式实现实时、快速的进行业务数据加工。
附图说明
18.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
图1为本说明书实施例提供的一种大数据量的业务数据加工方法的原理示意图；图2为本说明书实施例提供的一种大数据量的业务数据加工装置的结构示意图。
具体实施方式
19.现在将参考附图更全面地描述本发明的示例性实施例。然而，示例性实施例能够以多种形式实施，且不应被理解为本发明仅限于在此阐述的实施例。相反，提供这些示例性实施例能够使得本发明更加全面和完整，更加便于将发明构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的元件、组件或部分，因而将省略对它们的重复描述。
20.参照图1为本说明书实施例提供的一种大数据量的业务数据处理方法的原理示意图，包括：本说明书实施例提供一种大数据量的业务数据处理方法，包括：s101：获取与大数据量的业务数据所关联的业务关系型数据库表；s102：基于业务关系型数据库连接各所述业务关系型数据库表，生成业务处理任务，基于所述业务处理任务创建业务任务指令，并将所述业务任务指令提交到业务大数据计算平台；进一步地，所述业务处理任务包括业务流任务、业务批处理任务；所述基于业务关系型数据库连接各所述业务关系型数据库表，生成业务处理任务，包括：利用业务关系型数据库，结合预设指令转换函数将所述业务关系型数据库表转化为业务流任务和/或业务批处理任务。
21.在本实施例中，以业务加工任务涉及到的业务关系型数据库表以sql（structured query language，结构化查询语言）方式直接将其通过自研的指令转换函数将业务关系型数据库表转化为flink job（开源流处理框架任务），以创建表、flink cdc（change data capture，变更数据捕获）流任务的flink sql（符合sql语义的开发语言）任务指令，以生成的flinksql任务指令提交到业务大数据计算平台，执行计算任务，实现将业务关系型数据库表同步到业务大数据计算平台；其中，业务处理任务包括flink cdc流任务或flink jdbc（java database connectivity,java数据库连接）批处理任务，业务大数据计算平台为hadoop + flink为基础的计算框架；由于flink服务的管理能力包括：任务生成、启动、数据备份、基于备份数据恢复、服务取消、服务停止加备份、iceberg数据的hdfs（hadoop distributed file system，hadoop分布式文件系统）文件删除操作能力等，因此，通过利用将数据转化成flink能够进行任务处理的方式，可以提高数据使用效率，记录数据备份、数据丢失等数据，便于查看历史数据。
22.业务关系型数据库表转化过程包括：将一个或多个业务关系型数据库表作为输入，将业务关系型数据库表和/或业务数据进行关联、合并、汇总、筛选过滤以及对各字段进行关联公式计算操作作为加工定义进行转化，得到业务流任务和/或业务批处理任务。
23.s103：将所述业务任务指令加工过程中涉及到的业务关系型数据库表、业务加工规则以元数据的方式记录，并将所述元数据转化成业务大数据计算平台的业务加工任务；s104：将预设业务加工规则加入所述业务加工任务中，以大数据量业务数据作为
输入执行所述业务加工任务中的预设业务加工规则，得到业务数据加工结果。
24.在本实施例中，将业务数据加工过程中涉及到的业务关系型数据库表、业务加工规则以元数据的方式记录，并按同步规则、预设时间规则将元数据实时或定时的同步到业务大数据计算平台，将元数据转化成业务大数据计算平台的业务加工任务，在业务大数据计算平台下制定业务加工规则加入业务加工任务已实现业务加工任务按照预设的业务加工规则执行，实现对业务数据进行加工设计灵活配置，在业务大数据计算平台下，以大数据量业务数据作为输入执行业务加工任务中的预设业务加工规则实现对大数据量业务数据的加工处理，迅速得到业务数据加工结果。
25.进一步地，所述方法还包括：以单表的形式将所述业务数据加工结果存储到业务数据库。
26.在本实施例中，通过采用单表的形式将业务数据加工结果存储到业务数据库，便于后续对加工后的业务数据的提取，查询等，提升业务数据库的响应速度。
27.进一步地，所述方法还包括：采用预设监听机制监听执行所述业务加工任务时业务处理任务的变化量，得到预设时间段内的新增和/或删减业务数据。
28.在本实施例中，采用独立的且预设监听机制的监听器去监听执行所述业务加工任务时业务处理任务的变化量，能够检测业务处理任务在指定时间开始到当前时刻的业务数据新增与业务数据删除量，及时反馈得出业务数据。
29.进一步地，所述方法还包括：同步检查业务加工结果的数据量与业务数据库的数据量，结合监听到的执行所述业务加工任务时业务处理任务的变化量确定所述业务处理任务中批处理业务任务的完成状态。
30.基于flink的调度服务，针对批处理类任务，得出批处理类任务的结束状态，然后计算业务加工任务的执行，所述针对流处理类任务，检查流处理类任务执行状态，同步检查业务加工结果的数据量与业务数据库的数据量，再结合监听到的执行业务加工任务时业务处理任务的cdc变化量，得出flink cdc部分的完成状态。
31.本发明可以采用灵活的配置方式来对业务数据进行加工设计，并通过关系型数据库表名与业务数据关联的方式实现实时、快速的进行业务数据加工。
32.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
33.图2为本说明书实施例提供的一种红外信号的身份与运动轨迹的互动装置的结构示意图，包括：表名获取模块201，用于获取与大数据量的业务数据所关联的业务关系型数据库表；表名转化模块202，用于基于业务关系型数据库连接各所述业务关系型数据库表，
生成业务处理任务，基于所述业务处理任务创建业务任务指令，并将所述业务任务指令提交到业务大数据计算平台；数据转化模块203，用于将所述业务任务指令加工过程中涉及到的业务关系型数据库表、业务加工规则以元数据的方式记录，并将所述元数据转化成业务大数据计算平台的业务加工任务；任务执行模块204，用于将预设业务加工规则加入所述业务加工任务中，以大数据量业务数据作为输入执行所述业务加工任务中的预设业务加工规则，得到业务数据加工结果。
34.进一步地，所述装置还包括：业务数据存储模块，用于以单表的形式将所述业务数据加工结果存储到业务数据库。
35.进一步地，所述业务处理任务包括业务流任务、业务批处理任务；所述表名转化模块202，包括：表名转化单元，用于利用业务关系型数据库，结合预设指令转换函数将所述业务关系型数据库表转化为业务流任务和/或业务批处理任务。。
36.进一步地，所述装置还包括：任务监听模块，用于采用预设监听机制监听执行所述业务加工任务时业务处理任务的变化量，得到预设时间段内的新增和/或删减业务数据。
37.进一步地，所述装置还包括：状态确定模块，用于同步检查业务加工结果的数据量与业务数据库的数据量，结合监听到的执行所述业务加工任务时业务处理任务的变化量确定所述业务处理任务中批处理业务任务的完成状态。
38.本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机指令，其中，该计算机指令被设置为运行时执行上述任一项方法实施例中的步骤。
39.可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机指令：s101：获取与大数据量的业务数据所关联的业务关系型数据库表；s102：基于业务关系型数据库连接各所述业务关系型数据库表，生成业务处理任务，基于所述业务处理任务创建业务任务指令，并将所述业务任务指令提交到业务大数据计算平台；s103：将所述业务任务指令加工过程中涉及到的业务关系型数据库表、业务加工规则以元数据的方式记录，并将所述元数据转化成业务大数据计算平台的业务加工任务；s104：将预设业务加工规则加入所述业务加工任务中，以大数据量业务数据作为输入执行所述业务加工任务中的预设业务加工规则，得到业务数据加工结果。
40.可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(read-only memory，简称为rom)、随机存取存储器(random access memory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
41.本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机指令，该处理器被设置为运行计算机指令以执行上述任一项方法实施例中的步
骤。
42.进一步地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
43.进一步地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：s101：获取与大数据量的业务数据所关联的业务关系型数据库表；s102：基于业务关系型数据库连接各所述业务关系型数据库表，生成业务处理任务，基于所述业务处理任务创建业务任务指令，并将所述业务任务指令提交到业务大数据计算平台；s103：将所述业务任务指令加工过程中涉及到的业务关系型数据库表、业务加工规则以元数据的方式记录，并将所述元数据转化成业务大数据计算平台的业务加工任务；s104：将预设业务加工规则加入所述业务加工任务中，以大数据量业务数据作为输入执行所述业务加工任务中的预设业务加工规则，得到业务数据加工结果。
44.进一步地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
45.显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
46.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种大数据量的业务数据加工方法，其特征在于，包括：获取与大数据量的业务数据所关联的业务关系型数据库表；基于业务关系型数据库连接各所述业务关系型数据库表，生成业务处理任务，基于所述业务处理任务创建业务任务指令，并将所述业务任务指令提交到业务大数据计算平台；将所述业务任务指令加工过程中涉及到的业务关系型数据库表、业务加工规则以元数据的方式记录，并将所述元数据转化成业务大数据计算平台的业务加工任务；将预设业务加工规则加入所述业务加工任务中，以大数据量业务数据作为输入执行所述业务加工任务中的预设业务加工规则，得到业务数据加工结果。2.如权利要求1所述的一种大数据量的业务数据加工方法，其特征在于，所述方法还包括：以单表的形式将所述业务数据加工结果存储到业务数据库。3.如权利要求1所述的一种大数据量的业务数据加工方法，其特征在于，所述业务处理任务包括业务流任务、业务批处理任务；所述基于业务关系型数据库连接各所述业务关系型数据库表，生成业务处理任务，包括：利用业务关系型数据库，结合预设指令转换函数将所述业务关系型数据库表转化为业务流任务和/或业务批处理任务。4.如权利要求1所述的一种大数据量的业务数据加工方法，其特征在于，所述方法还包括：采用预设监听机制监听执行所述业务加工任务时业务处理任务的变化量，得到预设时间段内的新增和/或删减业务数据。5.如权利要求4所述的一种大数据量的业务数据加工方法，其特征在于，所述方法还包括：同步检查业务加工结果的数据量与业务数据库的数据量，结合监听到的执行所述业务加工任务时业务处理任务的变化量确定所述业务处理任务中批处理业务任务的完成状态。6.一种大数据量的业务数据加工装置，其特征在于，包括：表名获取模块，用于获取与大数据量的业务数据所关联的业务关系型数据库表；表名转化模块，用于基于业务关系型数据库连接各所述业务关系型数据库表，生成业务处理任务，基于所述业务处理任务创建业务任务指令，并将所述业务任务指令提交到业务大数据计算平台；数据转化模块，用于将所述业务任务指令加工过程中涉及到的业务关系型数据库表、业务加工规则以元数据的方式记录，并将所述元数据转化成业务大数据计算平台的业务加工任务；任务执行模块，用于将预设业务加工规则加入所述业务加工任务中，以大数据量业务数据作为输入执行所述业务加工任务中的预设业务加工规则，得到业务数据加工结果。7.一种电子设备，其中，该电子设备包括：处理器以及存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1-5中任一项所述的方法。8.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个指令，所
述一个或多个指令当被处理器执行时，实现权利要求1-5中任一项所述的方法。

技术总结
本发明涉及数据处理技术领域，具体涉及一种大数据量的业务数据加工方法、装置及电子设备，包括：获取业务关系型数据库表；基于业务关系型数据库连接各业务关系型数据库表，生成业务处理任务，基于业务处理任务创建业务任务指令，并将业务任务指令提交到业务大数据计算平台；将业务任务指令加工过程中涉及到的业务关系型数据库表、业务加工规则以元数据的方式记录，并将元数据转化成业务大数据计算平台的业务加工任务；以大数据量业务数据作为输入执行业务加工任务中的预设业务加工规则，得到业务数据加工结果。本发明采用灵活的配置方式来对业务数据进行加工设计，通过关系型数据库表名与业务数据关联的方式实现实时、快速的进行业务数据加工。务数据加工。务数据加工。


技术研发人员：曹晓 田振 袁圆
受保护的技术使用者：合肥青谷信息科技有限公司
技术研发日：2023.06.09
技术公布日：2023/7/18