数据处理方法、装置、存储介质及电子设备与流程
未命名
10-19
阅读:117
评论:0
1.本技术涉及人工智能领域,具体而言,涉及一种数据处理方法、装置、存储介质及电子设备。
背景技术:
2.相关技术中,随着信息技术的进步,数据资源累积的越来越多,公司的业务人员在处理日常业务时存在有诸多频繁、个性化的获取数据的需求,由于业务人员不具备数据的处理技能,每次获取数据以需求的方式将数据获取需求提交给技术人员,技术人员针对数据获取需求对数据源进行定制化的开发,用来生成业务人员需要的数据。例如业务人员a的数据获取需求是表中的a、b、c列的组合,业务人员b的数据获取需求是表中的b、c、d列的组合,业务人员c的数据获取需求是表中的a、b、c、d列的组合,技术人员定制化开发生成业务人员需要的数据时,数据获取的内容无法灵活组合。
3.针对相关技术中从多个数据源查询数据时的效率低的问题,目前尚未提出有效的解决方案。
技术实现要素:
4.本技术的主要目的在于提供一种数据处理方法、装置、存储介质及电子设备,以解决相关技术中从多个数据源查询数据时的效率低的问题。
5.为了实现上述目的,根据本技术的一个方面,提供了一种数据处理方法。该方法包括:接收业务人员的数据查询请求,从数据查询请求中提取出待查询数据应用的业务类型,确定业务人员的职位类型;将业务类型和职位类型输入目标模型,得到一组数据标签,其中,目标模型由多组训练样本训练得到,每组训练样本包括历史业务类型、历史职位类型和一组历史数据标签;确定一组数据标签中的每个数据标签关联的数据源,得到至少一个目标数据源,其中,每个数据源包含多个数据表,每个数据表包含多个数据标签;基于一组数据标签从每个目标数据源的目标数据表中获取待查询数据,并展示待查询数据。
6.可选地,基于一组数据标签从每个目标数据源的目标数据表中获取待查询数据包括:确定目标数据源关联的目标数据标签,确定每个目标数据标签在目标数据源中所属的目标数据表;从目标数据表中提取目标数据标签对应的初始数据;对初始数据进行数据筛选处理,得到待查询数据。
7.可选地,对初始数据进行数据筛选处理,得到待查询数据包括:从数据查询请求中提取出查询条件和筛选条件,其中,查询条件或筛选条件至少包括以下之一:时间范围、数据类型和交易渠道;从每个目标数据源中提取出满足查询条件的数据,得到目标数据;将所有目标数据源的目标数据进行组合,得到目标数据集合;基于筛选条件从目标数据集合中剔除预设数据,得到待查询数据,其中,预设数据是不满足业务类型的数据需求的数据。
8.可选地,数据标签由以下方式得到:确定至少一个数据源,其中,每个数据源包含多个数据表;基于每个数据表中第n列的所有数据的相同数据特征生成一个第一数据标签,
其中,n为正整数;基于每个数据表中第m行的所有数据的相同数据特征生成一个第二数据标签,其中,m为正整数;将第一数据标签和第二数据标签组合为数据表的数据标签。
9.可选地,目标模型通过以下方式得到:获取历史数据查询记录,并从历史数据查询记录中提取每次数据查询记录的查询人员的历史职位类型、数据应用的历史业务类型和查询到的历史数据关联的一组历史数据标签;将每次数据查询记录的历史业务类型、历史职位类型和一组历史数据标签确定为一组训练样本,得到多组训练样本;通过多组训练样本训练神经网络模型,得到训练后的目标模型。
10.可选地,在展示待查询数据之后,该方法还包括:从数据查询请求中提取出数据应用需求,判断待查询数据是否满足数据应用需求;在待查询数据不满足业务人员的数据应用需求的情况下,基于数据应用需求更新数据源关联的数据标签。
11.可选地,展示待查询数据包括:从数据查询请求中提取出数据展示类型,其中,数据展示类型至少包括以下之一:图表和报告;按照数据展示类型展示待查询数据。
12.为了实现上述目的,根据本技术的另一方面,提供了一种数据处理装置。该装置包括:接收单元,用于接收业务人员的数据查询请求,从数据查询请求中提取出待查询数据应用的业务类型,确定业务人员的职位类型;输入单元,用于将业务类型和职位类型输入目标模型,得到一组数据标签,其中,目标模型由多组训练样本训练得到,每组训练样本包括历史业务类型、历史职位类型和一组历史数据标签;第一确定单元,用于确定一组数据标签中的每个数据标签关联的数据源,得到至少一个目标数据源,其中,每个数据源包含多个数据表,每个数据表包含多个数据标签;获取单元,用于基于一组数据标签从每个目标数据源的目标数据表中获取待查询数据,并展示待查询数据。
13.通过本技术,采用以下步骤:接收业务人员的数据查询请求,从数据查询请求中提取出待查询数据应用的业务类型,确定业务人员的职位类型;将业务类型和职位类型输入目标模型,得到一组数据标签,其中,目标模型由多组训练样本训练得到,每组训练样本包括历史业务类型、历史职位类型和一组历史数据标签;确定一组数据标签中的每个数据标签关联的数据源,得到至少一个目标数据源,其中,每个数据源包含多个数据表,每个数据表包含多个数据标签;基于一组数据标签从每个目标数据源的目标数据表中获取待查询数据,并展示待查询数据,解决了相关技术中从多个数据源查询数据时的效率低的问题。通过对所有数据源建立数据标签,基于业务人员的职位类型和业务类型输入目标模型自动得到一组数据标签,通过一组数据标签获取各个数据源中的待查询数据,进而达到了提高从多个数据源获取数据时的效率和灵活性的效果。
附图说明
14.构成本技术的一部分的附图用来提供对本技术的进一步理解,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。在附图中:
15.图1是根据本技术实施例提供的数据处理方法的流程图;
16.图2是根据本技术实施例提供的可选的数据处理系统的示意图;
17.图3是根据本技术实施例提供的数据处理装置的示意图;
18.图4是根据本技术实施例提供的电子设备的示意图。
具体实施方式
19.需要说明的是,在不冲突的情况下,本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
20.为了使本技术领域的人员更好地理解本技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分的实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本技术保护的范围。
21.需要说明的是,本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
22.需要说明的是,本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
23.下面结合优选的实施步骤对本发明进行说明,图1是根据本技术实施例提供的数据处理方法的流程图,如图1所示,该方法包括如下步骤:
24.步骤s101,接收业务人员的数据查询请求,从数据查询请求中提取出待查询数据应用的业务类型,确定业务人员的职位类型。
25.具体地,业务人员可以为金融机构的工作人员,在业务人员的日常业务需求中,需要获取金融机构的各个数据源中的数据来完成业务。待查询数据应用的业务类型是指业务人员将查询到的数据应用到的业务的业务类型,在业务人员处理业务时,向金融机构的业务系统发起数据查询请求,用来查询业务人员需要的待查询数据,业务系统接收到数据查询请求后,从数据查询请求中提取出业务人员需要将待查询数据应用到的业务的业务类型,不同业务类型所使用的数据不同,因此可以基于业务类型向业务人员推荐与数据查询请求中的业务类型相匹配的待查询数据。此外,还可以基于业务人员的职位类型向业务人员推荐与该职位类型相关的数据。
26.步骤s102,将业务类型和职位类型输入目标模型,得到一组数据标签,其中,目标模型由多组训练样本训练得到,每组训练样本包括历史业务类型、历史职位类型和一组历史数据标签。
27.具体地,通过将获取到的业务人员的职位类型和将查询到的数据应用到的业务的业务类型输入目标模型,得到基于目标模型向业务人员推荐的与业务类型和职位类型相匹配的一组数据标签。目标模型可以为通过机器学习聚类算法训练出的模型。例如a业务人员的历史职位类型是普通职员,数据应用的历史业务类型为x业务,基于普通职员和x业务经常需要用到的数据生成对应的一组历史数据标签。
28.需要说明的是,数据标签标注的对象可以是数据库的某一列内容,也可以是通过聚合语句(sql语句)对数据表操作后输出的结果内容,也可以是es(elasticsearch,全文搜
索分析引擎)里根据某个条件查询出的结果。本技术实施例中的数据标签具有跨库性,灵活组合性、方便扩展性等诸多优势。
29.步骤s103,确定一组数据标签中的每个数据标签关联的数据源,得到至少一个目标数据源,其中,每个数据源包含多个数据表,每个数据表包含多个数据标签。
30.具体地,一组数据标签中不同的数据标签可以是同一个数据源的标签,也可以是不同数据源的标签,数据源例如金融机构的数据库和全文搜索分析引擎等。得到目标模型输出的一组数据标签后,为了获得待查询数据,需要先确定每个数据标签关联的目标数据源,然后通过目标数据源中数据标签所属的目标数据表提取待查询数据。
31.步骤s104,基于一组数据标签从每个目标数据源的目标数据表中获取待查询数据,并展示待查询数据。
32.具体地,每个目标数据源中包含多个数据表,数据标签属于多个数据表中的目标数据表,确定目标数据源后,从目标数据表中提取出数据标签关联的数据,将所有目标数据源的目标数据表中的数据均提取出来后,对提取出的数据进行处理,得到待查询数据,并汇总为图表或者报告的形式展示待查询数据,供业务人员使用。
33.本技术实施例提供的数据处理方法,通过接收业务人员的数据查询请求,从数据查询请求中提取出待查询数据应用的业务类型,确定业务人员的职位类型;将业务类型和职位类型输入目标模型,得到一组数据标签,其中,目标模型由多组训练样本训练得到,每组训练样本包括历史业务类型、历史职位类型和一组历史数据标签;确定一组数据标签中的每个数据标签关联的数据源,得到至少一个目标数据源,其中,每个数据源包含多个数据表,每个数据表包含多个数据标签;基于一组数据标签从每个目标数据源的目标数据表中获取待查询数据,并展示待查询数据,解决了相关技术中从多个数据源查询数据时的效率低的问题。通过对所有数据源建立数据标签,基于业务人员的职位类型和业务类型输入目标模型自动得到一组数据标签,通过一组数据标签获取各个数据源中的待查询数据,进而达到了提高从多个数据源获取数据时的效率和灵活性的效果。
34.从目标数据源中提取出的数据需要经过筛选处理,才可以得到待查询数据,可选地,在本技术实施例提供的数据处理方法中,基于一组数据标签从每个目标数据源的目标数据表中获取待查询数据包括:确定目标数据源关联的目标数据标签,确定每个目标数据标签在目标数据源中所属的目标数据表;从目标数据表中提取目标数据标签对应的初始数据;对初始数据进行数据筛选处理,得到待查询数据。
35.具体地,目标数据标签也即一组数据标签中来源于目标数据源的数据标签,每个目标数据源中包含多个数据表,每个数据表也包含多个数据标签,因此基于一组数据标签从每个目标数据源的目标数据表中获取待查询数据时需要逐一确定每个目标数据标签在目标数据源中的目标数据表,然后从目标数据表中提取出目标数据标签对应的的初始数据,对初始数据经过筛选处理后才可以得到待查询数据,基于数据标签获取待查询数据可以帮助业务人员更快速地查询和处理大量数据,在业务分析场景及基础运维场景中,方便非技术人员以简单的方式获取满足业务需求的定制化数据。
36.例如,一组数据标签中包含m标签、n标签和s标签,m标签和n标签来源于c数据库,s标签来源于o数据库,m标签在c数据库的c数据表中的第m列,n标签在c数据库的c数据表中的第n列,s标签在o数据库的o数据表中的第s列。通过提取c数据库的c数据表中的第m列、第
n列的数据,以及o数据库的o数据表中的第s列的数据,得到初始数据,对这些初始数据进行筛选处理后,得到待查询数据。
37.获取初始数据后,通过查询条件和筛选条件对初始数据进行筛选处理,可选地,在本技术实施例提供的数据处理方法中,对初始数据进行数据筛选处理,得到待查询数据包括:从数据查询请求中提取出查询条件和筛选条件,其中,查询条件或筛选条件至少包括以下之一:时间范围、数据类型和交易渠道;从每个目标数据源中提取出满足查询条件的数据,得到目标数据;将所有目标数据源的目标数据进行组合,得到目标数据集合;基于筛选条件从目标数据集合中剔除预设数据,得到待查询数据,其中,预设数据是不满足业务类型的数据需求的数据。
38.具体地,为了方便业务人员查询需要的数据,业务系统还包括一个标签查询和过滤模块,用于根据数据标签对数据进行查询和过滤,业务人员可以通过多个标签的组合进行高级查询和筛选。查询条件可以为通过数据标签限定的查询条件、或者基于时间范围、数据类型和交易渠道等进行查询的条件,例如,目标数据标签为交易量,通过目标数据标签提取出与交易量相关的初始数据,通过制定时间范围,交易类型、交易渠道
……
等诸多查询条件,查找出满足查询条件的目标数据,查询条件越多,获取到的待查询数据的精确度越高。将每个目标数据源中查询出来的目标数据进行组合,得到目标数据集合。业务人员也可以基于筛选条件从目标数据集合中筛除不需要的预设数据,筛选条件也可以为通过数据标签限定的筛选条件、或者基于时间范围、数据类型和交易渠道等进行筛选的条件。剔除预收数据后,即可得到业务人员最终需要的待查询数据。通过对初始数据进行数据筛选处理,使得业务人员获得的待查询数据的精确度更高。
39.例如,目标数据标签为交易量,查询条件为过去一个月内的通过线上交易的k类货物的交易量,通过查询条件将目标数据源的目标数据表中提取出的交易量相关的一列初始数据进行查询,得到目标数据,筛选条件为对过去一周内的交易量数据进行剔除,对交易量小于等于交易量阈值的交易量数据进行剔除,对目标数据踢除上述满足筛选条件的预设数据后,得到待查询数据。
40.需要说明的是,业务人员可以根据业务需求填写查询条件或筛选条件,不需要填写所有条件便能提取出合适范围条件的待查询数据。如果该目标数据标签没有满足业务人员的查询条件或筛选条件,技术人员只需优化该目标数据标签,增加该目标数据标签的搜索条件即可。
41.需要说明的是,以下是代码示例,以数据库为例,查询的字段(chg_value as交易量)就是标签,《if》里边的内容就是标签的帅选条件。后续技术人员可以通过扩展查询逻辑和条件来丰富该标签的适用场景。
[0042][0043]
数据标签由数据表中的每行或者每列的数据特质生成的,可选地,在本技术实施例提供的数据处理方法中,数据标签由以下方式得到:确定至少一个数据源,其中,每个数据源包含多个数据表;基于每个数据表中第n列的所有数据的相同数据特征生成一个第一数据标签,其中,n为正整数;基于每个数据表中第m行的所有数据的相同数据特征生成一个第二数据标签,其中,m为正整数;将第一数据标签和第二数据标签组合为数据表的数据标签。
[0044]
具体地,业务系统提供自动化的标签生成和管理功能,减少了手动标记数据的工作。通过标签生成分类模块,负责根据数据源中各个数据表的内容和特征自动生成分类,对标签进行预分类管理。例如,c数据源的c数据表记录了l机构与p机构之间的交易数据,这些交易数据在c数据表中第一行记录了交易对象,第二行记录了交易时间,第三行记录了交易频次,第一列记录了交易量,第二列记录了交易方式。则基于数据表中各行各列的数据特征生成数据标签,c数据表中第一列的数据生成第一数据标签交易量,c数据表中第二列的数据生成第一数据标签交易方式,c数据表中第一行的数据生成第二数据标签交易对象,c数据表中第二行的数据生成第二数据标签交易时间,c数据表中第三行的数据生成第二数据标签交易频次。以上第一数据标签和第二数据标签共同构成c数据表的数据标签。通过自动化标签生成和管理可以降低手动标注数据的错误率,还可以提高数据管理的效率和准确性。
[0045]
在获取一组数据标签之前需要训练出目标模型,可选地,在本技术实施例提供的数据处理方法中,目标模型通过以下方式得到:获取历史数据查询记录,并从历史数据查询记录中提取每次数据查询记录的查询人员的历史职位类型、数据应用的历史业务类型和查询到的历史数据关联的一组历史数据标签;将每次数据查询记录的历史业务类型、历史职位类型和一组历史数据标签确定为一组训练样本,得到多组训练样本;通过多组训练样本训练神经网络模型,得到训练后的目标模型。
[0046]
具体地,历史数据查询记录可以为业务系统中记录的业务人员查询数据的记录,神经网络模型可以为bp(backpropagation)神经网络模型或者卷积神经网络模型。训练样本例如部门经理查询m业务的相关数据,则历史业务类型为m业务、历史职位类型为部门经理,历史数据标签为查询到的相关数据关联的标签。通过多组训练样本训练神经网络模型,也即根据查询人员的职位类型,查询到的数据的标签的组合情况,业务的适用场景(业务类型)等通过神经网络模型训练,得到目标模型,目标模型通过训练出的推荐算法推荐向业务人员推荐组合标签,也即一组数据标签,辅助业务人员高效获取精准的数据报表。
[0047]
数据标签还可以基于业务人员的反馈进行优化,可选地,在本技术实施例提供的数据处理方法中,在展示待查询数据之后,该方法还包括:从数据查询请求中提取出数据应用需求,判断待查询数据是否满足数据应用需求;在待查询数据不满足业务人员的数据应用需求的情况下,基于数据应用需求更新数据源关联的数据标签。
[0048]
具体地,业务人员发起数据查询请求时还可以添加数据应用需求,也即查询到的待查询数据需要在应用到业务中时需要满足的条件,通过一组数据标签从各个数据源获取到待查询数据后,判断待查询数据是否能够服务业务人员的数据应用需求,若待查询数据中存在满足数据应用需求的数据,则生成业务人员需要的数据报告或图表,若待查询数据中不存在满足数据应用需求的数据,则通过研发人员对数据标签进行更新,添加符合数据应用需求的数据的数据标签。通过优化数据标签,为业务人员提供更精确的数据,提供业务效率。
[0049]
例如,数据应用需求设置为待查询数据需要在q软件的w版本上能够兼容。若通过一组数据标签从多个数据源中查到的待查询数据全部无法在q软件的w版本上兼容,则对数据标签进行优化,添加能够在q软件的w版本上兼容的类型的数据标签,以使得下一次查询数据时能够查询到满足数据应用需求的数据。
[0050]
业务系统还提供对待查询数据进行图表或报告等多样化的展示方式,可选地,在本技术实施例提供的数据处理方法中,展示待查询数据包括:从数据查询请求中提取出数据展示类型,其中,数据展示类型至少包括以下之一:图表和报告;按照数据展示类型展示待查询数据。
[0051]
具体地,业务系统还具有一个数据可视化和分析模块,用于将待查询数据呈现为图表或报告,以帮助业务人员更好地理解和分析数据。数据可视化和分析功能还可以提高业务人员对数据的理解和分析能力,进一步提高数据处理的质量和效率。
[0052]
根据本技术的另一实施例,还提供了一种数据处理系统,图2是根据本技术实施例提供的可选的数据处理系统的示意图。如图2所示,该系统包括:
[0053]
标签生成分类模块201,用于根据标签涉及的数据表的内容和特征自动生成分类,对标签进行预分类管理;
[0054]
例如,c数据源的c数据表记录了l机构与p机构之间的交易数据,这些交易数据在c数据表中第一行记录了交易对象,第二行记录了交易时间,第三行记录了交易频次,第一列记录了交易量,第二列记录了交易方式。则基于数据表中各行各列的数据特征生成标签,c数据表中第一列的数据生成第一标签交易量,c数据表中第二列的数据生成第一标签交易方式,c数据表中第一行的数据生成第二标签交易对象,c数据表中第二行的数据生成第二标签交易时间,c数据表中第三行的数据生成第二标签交易频次。以上第一标签和第二标签共同构成c数据表的标签。
[0055]
标签查询和过滤模块202,用于根据标签对数据进行查询和过滤,用户可以通过多个标签的组合进行高级查询;
[0056]
具体地,用户可以通过多个标签的组合进行高级查询和过滤。查询条件可以为通过数据标签限定的查询条件、或者基于时间范围、数据类型和交易渠道等进行查询的条件,例如,目标数据标签为交易量,通过目标数据标签提取出与交易量相关的初始数据,通过制定时间范围,交易类型、交易渠道
……
等诸多查询条件,查找出满足查询条件的目标数据,查询条件越多,获取到的待查询数据的精确度越高。将每个目标数据源中查询出来的目标数据进行组合,得到目标数据集合。用户也可以基于筛选条件从目标数据集合中过滤不需要的预设数据,筛选条件也可以为通过数据标签限定的筛选条件、或者基于时间范围、数据类型和交易渠道等进行筛选的条件。剔除预收数据后,即可得到用户最终需要的待查询数据。
[0057]
数据可视化和分析模块203,用于将数据呈现为图表或报告,以帮助用户更好地理解和分析数据。
[0058]
具体地,通过将查询到的数据进行自动分析处理,按照用户的需求生成图表或报告。
[0059]
通过本技术实施例提供的数据处理系统,帮助用户更轻松地查询和处理大量数据。该系统利用标签来组织数据,用户可以根据自定义的标签进行查询和过滤。比如可以将a、b、c、d分别以标签的形式进行展示,满足业务人员的个性化组合最终生成自己想要的取数报表。
[0060]
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
[0061]
本技术实施例还提供了一种数据处理装置,需要说明的是,本技术实施例的数据处理装置可以用于执行本技术实施例所提供的用于数据处理方法。以下对本技术实施例提供的数据处理装置进行介绍。
[0062]
图3是根据本技术实施例提供的数据处理装置的示意图。如图3所示,该装置包括:
[0063]
接收单元10,用于接收业务人员的数据查询请求,从数据查询请求中提取出待查询数据应用的业务类型,确定业务人员的职位类型;
[0064]
输入单元20,用于将业务类型和职位类型输入目标模型,得到一组数据标签,其中,目标模型由多组训练样本训练得到,每组训练样本包括历史业务类型、历史职位类型和一组历史数据标签;
[0065]
第一确定单元30,用于确定一组数据标签中的每个数据标签关联的数据源,得到
至少一个目标数据源,其中,每个数据源包含多个数据表,每个数据表包含多个数据标签;
[0066]
获取单元40,用于基于一组数据标签从每个目标数据源的目标数据表中获取待查询数据,并展示待查询数据。
[0067]
本技术实施例提供的数据处理装置,通过接收单元10,接收业务人员的数据查询请求,从数据查询请求中提取出待查询数据应用的业务类型,确定业务人员的职位类型;输入单元20,将业务类型和职位类型输入目标模型,得到一组数据标签,其中,目标模型由多组训练样本训练得到,每组训练样本包括历史业务类型、历史职位类型和一组历史数据标签;第一确定单元30,确定一组数据标签中的每个数据标签关联的数据源,得到至少一个目标数据源,其中,每个数据源包含多个数据表,每个数据表包含多个数据标签;获取单元40,基于一组数据标签从每个目标数据源的目标数据表中获取待查询数据,并展示待查询数据,解决了相关技术中从多个数据源查询数据时的效率低的问题,通过对所有数据源建立数据标签,基于业务人员的职位类型和业务类型输入目标模型自动得到一组数据标签,通过一组数据标签获取各个数据源中的待查询数据,进而达到了提高从多个数据源获取数据时的效率和灵活性的效果。
[0068]
可选地,在本技术实施例提供的数据处理装置中,获取单元40包括:第一确定模块,用于确定目标数据源关联的目标数据标签,确定每个目标数据标签在目标数据源中所属的目标数据表;第一提取模块,用于从目标数据表中提取目标数据标签对应的初始数据;处理模块,用于对初始数据进行数据筛选处理,得到待查询数据。
[0069]
可选地,在本技术实施例提供的数据处理装置中,处理模块包括:第一提取子模块,用于从数据查询请求中提取出查询条件和筛选条件,其中,查询条件或筛选条件至少包括以下之一:时间范围、数据类型和交易渠道;第二提取子模块,用于从每个目标数据源中提取出满足查询条件的数据,得到目标数据;组合子模块,用于将所有目标数据源的目标数据进行组合,得到目标数据集合;剔除子模块,用于基于筛选条件从目标数据集合中剔除预设数据,得到待查询数据,其中,预设数据是不满足业务类型的数据需求的数据。
[0070]
可选地,在本技术实施例提供的数据处理装置中,数据标签由以下方式得到:确定至少一个数据源,其中,每个数据源包含多个数据表;基于每个数据表中第n列的所有数据的相同数据特征生成一个第一数据标签,其中,n为正整数;基于每个数据表中第m行的所有数据的相同数据特征生成一个第二数据标签,其中,m为正整数;将第一数据标签和第二数据标签组合为数据表的数据标签。
[0071]
可选地,在本技术实施例提供的数据处理装置中,目标模型通过以下方式得到:获取历史数据查询记录,并从历史数据查询记录中提取每次数据查询记录的查询人员的历史职位类型、数据应用的历史业务类型和查询到的历史数据关联的一组历史数据标签;将每次数据查询记录的历史业务类型、历史职位类型和一组历史数据标签确定为一组训练样本,得到多组训练样本;通过多组训练样本训练神经网络模型,得到训练后的目标模型。
[0072]
可选地,在本技术实施例提供的数据处理装置中,该装置还包括:提取单元,用于从数据查询请求中提取出数据应用需求,判断待查询数据是否满足数据应用需求;更新单元,用于在待查询数据不满足业务人员的数据应用需求的情况下,基于数据应用需求更新数据源关联的数据标签。
[0073]
可选地,在本技术实施例提供的数据处理装置中,获取单元40包括:第二提取模
块,用于从数据查询请求中提取出数据展示类型,其中,数据展示类型至少包括以下之一:图表和报告;展示模块,用于按照数据展示类型展示待查询数据。
[0074]
数据处理装置包括处理器和存储器,上述接收单元10、输入单元20、第一确定单元30和获取单元40等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
[0075]
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来提高从多个数据源获取数据时的效率和灵活性。
[0076]
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flash ram),存储器包括至少一个存储芯片。
[0077]
本发明实施例提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现数据处理方法。
[0078]
本发明实施例提供了一种处理器,处理器用于运行程序,其中,程序运行时执行数据处理方法。
[0079]
图4是根据本技术实施例提供的电子设备的示意图。如图4所示,电子设备401包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:接收业务人员的数据查询请求,从数据查询请求中提取出待查询数据应用的业务类型,确定业务人员的职位类型;将业务类型和职位类型输入目标模型,得到一组数据标签,其中,目标模型由多组训练样本训练得到,每组训练样本包括历史业务类型、历史职位类型和一组历史数据标签;确定一组数据标签中的每个数据标签关联的数据源,得到至少一个目标数据源,其中,每个数据源包含多个数据表,每个数据表包含多个数据标签;基于一组数据标签从每个目标数据源的目标数据表中获取待查询数据,并展示待查询数据。本文中的设备可以是服务器、pc、pad、手机等。
[0080]
本技术还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:接收业务人员的数据查询请求,从数据查询请求中提取出待查询数据应用的业务类型,确定业务人员的职位类型;将业务类型和职位类型输入目标模型,得到一组数据标签,其中,目标模型由多组训练样本训练得到,每组训练样本包括历史业务类型、历史职位类型和一组历史数据标签;确定一组数据标签中的每个数据标签关联的数据源,得到至少一个目标数据源,其中,每个数据源包含多个数据表,每个数据表包含多个数据标签;基于一组数据标签从每个目标数据源的目标数据表中获取待查询数据,并展示待查询数据。
[0081]
本领域内的技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0082]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0083]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0084]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0085]
在一个典型的配置中,计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0086]
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
[0087]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
[0088]
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0089]
本领域技术人员应明白,本技术的实施例可提供为方法、系统或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0090]
以上仅为本技术的实施例而已,并不用于限制本技术。对于本领域技术人员来说,本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本技术的权利要求范围之内。
技术特征:
1.一种数据处理方法,其特征在于,包括:接收业务人员的数据查询请求,从所述数据查询请求中提取出待查询数据应用的业务类型,确定所述业务人员的职位类型;将所述业务类型和所述职位类型输入目标模型,得到一组数据标签,其中,所述目标模型由多组训练样本训练得到,每组训练样本包括历史业务类型、历史职位类型和一组历史数据标签;确定所述一组数据标签中的每个数据标签关联的数据源,得到至少一个目标数据源,其中,每个数据源包含多个数据表,每个数据表包含多个数据标签;基于所述一组数据标签从每个目标数据源的目标数据表中获取所述待查询数据,并展示所述待查询数据。2.根据权利要求1所述的方法,其特征在于,基于所述一组数据标签从每个目标数据源的目标数据表中获取所述待查询数据包括:确定所述目标数据源关联的目标数据标签,确定每个目标数据标签在所述目标数据源中所属的目标数据表;从所述目标数据表中提取所述目标数据标签对应的初始数据;对所述初始数据进行数据筛选处理,得到所述待查询数据。3.根据权利要求2所述的方法,其特征在于,对所述初始数据进行数据筛选处理,得到所述待查询数据包括:从所述数据查询请求中提取出查询条件和筛选条件,其中,所述查询条件或所述筛选条件至少包括以下之一:时间范围、数据类型和交易渠道;从每个目标数据源中提取出满足所述查询条件的数据,得到目标数据;将所有目标数据源的目标数据进行组合,得到目标数据集合;基于所述筛选条件从所述目标数据集合中剔除预设数据,得到所述待查询数据,其中,所述预设数据是不满足所述业务类型的数据需求的数据。4.根据权利要求1所述的方法,其特征在于,所述数据标签由以下方式得到:确定至少一个数据源,其中,每个数据源包含多个数据表;基于每个数据表中第n列的所有数据的相同数据特征生成一个第一数据标签,其中,n为正整数;基于每个数据表中第m行的所有数据的相同数据特征生成一个第二数据标签,其中,m为正整数;将所述第一数据标签和所述第二数据标签组合为所述数据表的数据标签。5.根据权利要求1所述的方法,其特征在于,所述目标模型通过以下方式得到:获取历史数据查询记录,并从所述历史数据查询记录中提取每次数据查询记录的查询人员的历史职位类型、数据应用的历史业务类型和查询到的历史数据关联的一组历史数据标签;将每次数据查询记录的所述历史业务类型、所述历史职位类型和所述一组历史数据标签确定为一组训练样本,得到所述多组训练样本;通过所述多组训练样本训练神经网络模型,得到训练后的所述目标模型。6.根据权利要求1所述的方法,其特征在于,在展示所述待查询数据之后,所述方法还
包括:从所述数据查询请求中提取出数据应用需求,判断所述待查询数据是否满足所述数据应用需求;在所述待查询数据不满足所述业务人员的数据应用需求的情况下,基于所述数据应用需求更新所述数据源关联的数据标签。7.根据权利要求1所述的方法,其特征在于,展示所述待查询数据包括:从所述数据查询请求中提取出数据展示类型,其中,所述数据展示类型至少包括以下之一:图表和报告;按照所述数据展示类型展示所述待查询数据。8.一种数据处理装置,其特征在于,包括:接收单元,用于接收业务人员的数据查询请求,从所述数据查询请求中提取出待查询数据应用的业务类型,确定所述业务人员的职位类型;输入单元,用于将所述业务类型和所述职位类型输入目标模型,得到一组数据标签,其中,所述目标模型由多组训练样本训练得到,每组训练样本包括历史业务类型、历史职位类型和一组历史数据标签;第一确定单元,用于确定所述一组数据标签中的每个数据标签关联的数据源,得到至少一个目标数据源,其中,每个数据源包含多个数据表,每个数据表包含多个数据标签;获取单元,用于基于所述一组数据标签从每个目标数据源的目标数据表中获取所述待查询数据,并展示所述待查询数据。9.一种非易失性存储介质,其特征在于,所述非易失性存储介质包括存储的程序,其中,所述程序运行时控制所述非易失性存储介质所在的设备执行权利要求1至7中任意一项所述的数据处理方法。10.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至7中任意一项所述的数据处理方法。
技术总结
本申请公开了一种数据处理方法、装置、存储介质及电子设备。涉及人工智能领域,该方法包括:接收业务人员的数据查询请求,从数据查询请求中提取出待查询数据应用的业务类型,确定业务人员的职位类型;将业务类型和职位类型输入目标模型,得到一组数据标签,其中,目标模型由多组训练样本训练得到,每组训练样本包括历史业务类型、历史职位类型和一组历史数据标签;确定一组数据标签中的每个数据标签关联的数据源,得到至少一个目标数据源;基于一组数据标签从每个目标数据源的目标数据表中获取待查询数据,并展示待查询数据。通过本申请,解决了相关技术中从多个数据源查询数据时的效率低的问题。率低的问题。率低的问题。
技术研发人员:霍南风 张耀静
受保护的技术使用者:中国工商银行股份有限公司
技术研发日:2023.06.07
技术公布日:2023/10/15
版权声明
本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
飞行汽车 https://www.autovtol.com/
上一篇:入境钢材优选抽样方法及装置与流程 下一篇:一种风电桨叶控制方法及系统与流程
