基于联邦学习的模型训练方法、金融行为预测方法及装置与流程

1.本公开涉及人工智能技术领域，更具体地，涉及一种基于联邦学习的模型训练方法、金融行为预测方法、装置、计算机系统和计算机可读存储介质。


背景技术：

2.在联邦学习中，理论上涉及诸如：数据处理、特征工程、模型训练、模型评估、在线推理等诸多环节。在实际应用时，仅有通过id撞库的方式对数据求交产生的样本交集才会用来进行模型训练，输出模型结果。特别是在金融场景的纵向联邦学习业务中，由于金融侧数据的使用监管较严，一般在建模时无法采用自有特征，而判断正负样本的标签就成为了金融侧最有价值的建模数据。除此之外以金融场景的营销转化业务为例，样本交集中的“正样本”数量非常有限，往往会出现“正样本”规模远远小于“负样本”规模的情况，相关技术中的解决方案大多选择“负样本”欠采样方案，以此均衡正负样本再进行建模；但由于入模“正样本”小，导致整体数据规模有限，从而导致训练完成的联邦学习模型存在对于用户的金融行为的预测准确率较低的技术问题。


技术实现要素：

3.有鉴于此，本公开提供了一种基于联邦学习的模型训练方法、基于联邦学习的模型训练装置、金融行为预测方法、金融行为预测装置、计算机系统和计算机可读存储介质。
4.本公开的一个方面提供了一种基于联邦学习的模型训练方法，包括：
5.根据标签数据集和金融属性特征数据集生成第一数据集和第二数据集，其中，上述标签数据集存储于金融系统中，上述金融属性特征数据集存储于与上述金融系统相关联的合作方系统中，上述第一数据集包括上述金融属性特征数据集和上述标签数据集的共有数据，上述第二数据集包括上述金融属性特征数据集和上述标签数据集的非共有数据；
6.将上述第二数据集输入标签预测模型，输出第三数据集，其中，上述第三数据集中的数据携带有预测标签信息；
7.根据上述第三数据集和上述第一数据集生成样本数据集；以及
8.利用上述样本数据集训练得到联邦学习模型。
9.根据本公开的实施例，上述预测标签信息具有置信度；
10.上述根据上述第三数据集和上述第一数据集生成样本数据集包括：
11.对上述第三数据集进行同态加密处理，生成第四数据集；
12.基于上述置信度对上述第四数据集中的数据进行筛选处理，生成第五数据集；
13.将上述第五数据集和上述第一数据集合并，生成上述样本数据集。
14.根据本公开的实施例，上述将上述第二数据集输入标签预测模型，输出第三数据集包括：
15.获取上述第一数据集中的数据量；
16.根据上述数据量对上述第二数据集进行筛选处理，生成第六数据集，其中，上述第
六数据集中的数据量与上述第一数据集中的数据量相匹配；
17.将上述第六数据集输入上述标签预测模型，输出第三数据集。
18.根据本公开的实施例，上述联邦学习模型包括与上述合作方系统对应的第一联邦学习子模型和与上述金融系统对应的第二联邦学习子模型；
19.上述利用上述样本数据集训练得到联邦学习模型包括：
20.利用上述样本数据集分别训练上述第一联邦学习子模型和上述第二联邦学习子模型，生成与上述第一联邦学习子模型对应的第一梯度结果和与上述第二联邦学习子模型对应的第二梯度结果；
21.对上述第一梯度结果和上述第二梯度结果进行同态加密处理，生成待验证结果；
22.基于上述待验证结果确定上述联邦学习模型是否收敛；
23.在上述联邦学习模型未收敛的情况下，迭代的调整上述联邦学习模型和上述标签预测模型的网络参数，直至上述待验证结果表征上述联邦学习模型收敛。
24.根据本公开的实施例，上述金融属性特征数据集和上述标签数据集中的数据具有标识信息；
25.上述根据存储标签数据集和金融属性特征数据集生成第一数据集和第二数据集包括：
26.对上述特征数据和上述标签数据集求交集，生成共现标识信息集；
27.根据上述标识信息集，从上述金融属性特征数据集和上述标签数据集中获取与上述标识信息集对应的数据，生成上述第一数据集；
28.根据上述金融属性特征数据集中除上述第一数据集中的数据以外的数据生成上述第二数据集。
29.本公开的另一个方面提供了一种金融行为预测方法，包括：
30.获取待预测用户的金融属性信息；以及
31.将上述金融属性信息输入联邦学习模型，输出预测结果，其中，上述预测结果表征上述待预测用户产生金融行为的概率，上述联邦学习模型是由如上上述的基于联邦学习的模型训练方法训练生成的。
32.本公开的另一个方面提供了一种基于联邦学习的模型训练装置，包括：
33.第一生成模块，用于根据标签数据集和金融属性特征数据集生成第一数据集和第二数据集，其中，上述标签数据集存储于金融系统中，上述金融属性特征数据集存储于与上述金融系统相关联的合作方系统中，上述第一数据集包括上述金融属性特征数据集和上述标签数据集的共有数据，上述第二数据集包括上述金融属性特征数据集和上述标签数据集的非共有数据；
34.第一输出模块，用于将上述第二数据集输入标签预测模型，输出第三数据集，其中，上述第三数据集中的数据携带有预测标签信息；
35.第二生成模块，用于根据上述第三数据集和上述第一数据集生成样本数据集；以及
36.训练模块，用于利用上述样本数据集训练待训练得到联邦学习模型。
37.本公开的另一个方面提供了一种金融行为预测装置，包括：
38.第一获取模块，用于获取待预测用户的金融属性信息；以及
39.预测模块，用于将上述金融属性信息输入联邦学习模型，输出预测结果，其中，上述预测结果表征上述待预测用户产生金融行为的概率，上述联邦学习模型是由如上上述的的基于联邦学习的模型训练方法训练生成的。
40.本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被执行时用于实现本公开实施例上述的方法。
41.本公开的另一方面提供了一种计算机程序产品，上述计算机程序产品包括计算机可执行指令，上述计算机可执行指令在被执行时用于实现如上上述的方法。
42.公开的另一方面提供了一种计算机系统，包括：
43.一个或多个处理器；
44.存储器，用于存储一个或多个程序，
45.其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如上上述的方法。
46.根据本公开的实施例，因为采用了基于金融属性特征数据集和标签数据集生成第一数据集和第二数据集，其中，第一数据集包括金融属性特征数据集和标签数据集的共有数据，第二数据集包括金融属性特征数据集和标签数据集的非共有数据，然后利用标签预测模型对非样本交集中的数据的标签进行预测，生成第三数据集，然后利用基于第一数据集和第三数据集生成的样本数据集训练得到联邦学习模型的技术手段，所以至少部分地克服了相关技术中由于仅利用样本交集进行联邦学习模型训练而导致的联邦学习模型存在的对于用户的金融行为的预测准确率较低的技术问题，进而达到了提高训练完成的联邦学习模型对于用户的金融行为的预测准确率的技术效果。
附图说明
47.通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
48.图1示意性示出了根据本公开实施例的可以应用基于联邦学习的模型训练方法、基于联邦学习的模型训练装置、金融行为预测方法、金融行为预测装置的示例性系统架构；
49.图2示意性示出了根据本公开实施例的基于联邦学习的模型训练方法的流程图；
50.图3示意性示出了根据本公开实施例的根据第三数据集和第一数据集生成样本数据集的流程图；
51.图4示意性示出了根据本公开实施例的将第二数据集输入标签预测模型，输出第三数据集的流程图；
52.图5示意性示出了根据本公开实施例的利用样本数据集训练得到联邦学习模型的流程图；
53.图6示意性示出了根据本公开实施例的根据标签数据集和金融属性特征数据集生成第一数据集和第二数据集的流程图；
54.图7示意性示出了根据本公开实施例的根据标签数据集和金融属性特征数据集生成第一数据集和第二数据集的示意图；
55.图8示意性示出了根据本公开实施例的基于联邦学习的模型训练方法的示意图；
56.图9示意性示出了根据本公开实施例的金融行为预测方法的流程图；
57.图10示意性示出了根据本公开的实施例的基于联邦学习的模型训练装置的框图；
58.图11示意性示出了根据本公开的实施例的金融行为预测装置的框图；以及
59.图12示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的框图。
具体实施方式
60.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
61.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
62.在本公开的实施例中，术语可以包括：
63.联邦学习：联邦学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和相关法规的要求下，进行数据使用和机器学习建模。
64.撞库：允许参与各方私域内的样本集合共同计算求得交集，且参与各方只能获取正确的交集，不会得到交集之外的合作方数据集信息。
65.同态加密(homomorphic encryption，he)：同态加密是基于数学难题的计算复杂性理论的密码学技术。对经过同态加密的数据进行处理得到一个输出，将这一输出进行解密，其结果与用同一方法处理未加密的原始数据得到的输出结果是一样的。本质上，同态加密是指一种加密函数，对明文进行环上的加法和乘法运算再加密，与加密后对密文进行相应的运算，结果是等价的。由于这个良好的性质，人们可以委托第三方对数据进行处理而不泄露信息。
66.smote算法(synthetic minority oversampling technique)：smote算法的基本思想就是对少数类别样本进行分析和模拟，并将人工模拟的新样本添加到数据集中，进而使原始数据中的类别不再严重失衡。
67.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
68.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。
69.本公开提供了一种基于联邦学习的模型训练方法，可以应用于人工智能技术领域。该方法包括：根据存储于金融系统中的标签数据集和存储于与金融系统相关联的合作方系统中的金融属性特征数据集分别生成第一数据集和第二数据集；将所述第二数据集输入标签预测模型，输出第三数据集，其中，所述第三数据集中的数据携带有预测标签信息；
根据所述第三数据集和所述第一数据集生成样本数据集；以及利用所述样本数据集训练待训练的联邦学习模型，生成训练完成的联邦学习模型。本公开还提供了一种基于联邦学习的模型训练装置、金融行为预测方法、金融行为预测装置、计算机系统和计算机可读存储介质。
70.图1示意性示出了根据本公开实施例的可以应用基于联邦学习的模型训练方法、基于联邦学习的模型训练装置、金融行为预测方法、金融行为预测装置的示例性系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
71.如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
72.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
73.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
74.服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
75.需要说明的是，本公开实施例所提供的基于联邦学习的模型训练方法、金融行为预测方法可以由终端设备101、102、或103执行，或者也可以由不同于终端设备101、102、或103的其他终端设备执行。相应地，本公开实施例所提供的基于联邦学习的模型训练装置、金融行为预测装置也可以设置于终端设备101、102、或103中，或设置于不同于终端设备101、102、或103的其他终端设备中。
76.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
77.图2示意性示出了根据本公开实施例的基于联邦学习的模型训练方法的流程图。
78.如图2所示，该方法包括操作s201～s204。
79.在操作s201，根据标签数据集和金融属性特征数据集生成第一数据集和第二数据集，其中，标签数据集存储于金融系统中，金融属性特征数据集存储于与金融系统相关联的合作方系统中，第一数据集包括金融属性特征数据集和标签数据集的共有数据，第二数据集包括金融属性特征数据集和标签数据集的非共有数据。
80.根据本公开的实施例，金融属性特征数据集中可以包括与合作方系统具有关联关系的用户的金融属性特征数据，例如金融产品购买特征数据、业务办理特征数据等。
81.根据本公开的实施例，可以通过将合作方系统的数据库中存储的金融属性特征数据集和金融系统的数据库中存储的标签数据集进行撞库的方式，生成第一数据集和第二数据集。
82.根据本公开的实施例，由于涉及数据安全问题，在联邦学习中合作方系统和金融系统进行联合建模的过程中，仅能使第一数据集中的数据在合作方系统的本地模型和金融系统的本地模型之间共享，而由于第二数据集中的数据是合作方系统和金融系统非共有的数据，因而不能将第二数据集中的数据在合作方系统的本地模型和金融系统的本地模型之间共享，因此，相关技术中通常直接舍弃第二数据集，即合作方系统和金融系统的非共有数据集。
83.在操作s202，将第二数据集输入标签预测模型，输出第三数据集，其中，第三数据集中的数据携带有预测标签信息。
84.根据本公开的实施例，标签预测模型可以是基于合成少数类过采样算法(synthetic minority oversampling technique，smote)构建生成的。
85.在本公开的实施例中，创新性的将第二数据集中的非共有数据输入标签预测模型，对第二数据集中的数据进行标签预测，以使第二数据集也可以参与到联邦学习模型的训练过程中。
86.在操作s203，根据第三数据集和第一数据集生成样本数据集。
87.根据本公开的实施例，第一数据集中包括正样本数据和负样本数据，其中，正样本数据可以表征在历史预测过程中对用户的金融行为准确预测的数据，负样本数据可以表征在历史预测过程中对用户的金融行为未准确预测的数据。
88.根据本公开的实施例，通常第一数据集中的正样本数据的数据量小于负样本数据的数据量。
89.根据本公开的实施例，可以将第三数据集中的数据，即标签预测模型输出的数据，均认为是正样本数据。
90.根据本公开的实施例，由于第三数据集中的数据均为正样本数据，从而根据第三数据集和第一数据集生成的样本数据集中的正样本数据的数据量和负样本数据量较为接近，从而可以一定程度上增加联邦学习模型的训练样本的数量，提高联邦学习模型的训练质量，实现增强训练完成的联邦学习模型的泛化能力和表征能力的技术效果。
91.在操作s204，利用样本数据集训练得到联邦学习模型。
92.在本公开的实施例中，因为采用了基于金融属性特征数据集和标签数据集生成第一数据集和第二数据集，其中，第一数据集包括金融属性特征数据集和标签数据集的共有数据，第二数据集包括金融属性特征数据集和标签数据集的非共有数据，然后利用标签预测模型对非样本交集中的数据的标签进行预测，生成第三数据集，然后利用基于第一数据集和第三数据集生成的样本数据集训练待训练的联邦学习模型的技术手段，所以至少部分地克服了相关技术中由于仅利用样本交集进行联邦学习模型训练而导致的联邦学习模型存在的对于用户的金融行为的预测准确率较低的技术问题，进而达到了提高训练完成的联邦学习模型对于用户的金融行为的预测准确率的技术效果。
93.下面参考图3～图7，结合具体实施例对图2所示的方法做进一步说明。
94.图3示意性示出了根据本公开实施例的根据第三数据集和第一数据集生成样本数据集的流程图。
95.根据本公开的实施例，预测标签信息具有置信度。
96.如图3所示，该方法包括操作s301～s303。
97.在操作s301，对第三数据集进行同态加密处理，生成第四数据集。
98.根据本公开的实施例，由于第三数据集是根据第二数据集中的合作方系统和金融系统的非共有数据而生成的，所以第三数据集中的数据由于数据安全问题也不便于在合作方系统和金融系统之间共享。
99.根据本公开的实施例，通过对第三数据集进行同态加密处理，使生成的第四数据集为经过加密处理的非共有数据，实现了保证数据安全的技术效果。
100.在操作s302，基于置信度对第四数据集中的数据进行筛选处理，生成第五数据集。
101.根据本公开的实施例，可以根据置信度与预设阈值的大小关系对第四数据集中的数据进行筛选处理，生成第五数据集，例如，可以将置信度小于预设阈值的预测标签信息以及与该标签信息对应的数据从第四数据集中删除，从而生成第五数据集；但不限于此，例如还可以将置信度大于预设阈值的预测标签信息以及与该标签信息对应的数据从第四数据集中删除，从而生成第五数据集。
102.根据本公开的实施例，预设阈值可以由本领域技术人员灵活设置，本公开实施例不对预设阈值的具体取值做限定。
103.在操作s303，将第五数据集和第一数据集合并，生成样本数据集。
104.图4示意性示出了根据本公开实施例的将第二数据集输入标签预测模型，输出第三数据集的流程图。
105.如图4所示，该方法包括操作s401～s403。
106.在操作s401，获取第一数据集中的数据量。
107.在操作s402，根据数据量对第二数据集进行筛选处理，生成第六数据集，其中，第六数据集中的数据量与第一数据集中的数据量相匹配。
108.根据本公开的实施例，通常第一数据集中的数据量大于第二数据集中的数据量，从而可以基于第一数据集中的数据量，对第二数据集中的数据进行删除，生成第六数据集。
109.在操作s403，将第六数据集输入标签预测模型，输出第三数据集。
110.根据本公开的实施例，通过根据第一数据集中的数据量确定生成的第六数据集中的数据量，然后将第六数据集输入标签预测模型，输出第三数据集，从而第三数据集中的数据量，即正样本数据的数据量与第一数据集中的数据量相对均衡，从而可以提高联邦学习模型的训练效率和训练质量。
111.图5示意性示出了根据本公开实施例的利用样本数据集训练得到联邦学习模型的流程图。
112.根据本公开的实施例，联邦学习模型包括与合作方系统对应的第一联邦学习子模型和与金融系统对应的第二联邦学习子模型。
113.如图5所示，该方法包括操作s501～s504。
114.在操作s501，利用样本数据集分别训练第一联邦学习子模型和第二联邦学习子模型，生成与第一联邦学习子模型对应的第一梯度结果和与第二联邦学习子模型对应的第二梯度结果。
115.根据本公开的实施例，第一联邦学习子模型可以在合作方系统的本地侧进行训练，第二联邦学习子模型可以在金融系统的本地的进行训练。但不限于此，第一联邦学习子模型可以在与合作方系统通信连接的可以保证数据安全的第一服务器中进行训练，第二联
邦学习子模型可以在与金融系统通信连接的可以保证数据安全的第二服务器中进行训练。
116.在操作s502，对第一梯度结果和第二梯度结果进行同态加密处理，生成待验证结果。
117.根据本公开的实施例，通过在对第三数据集进行同态加密处理的基础上，在梯度结果上传的过程中也对梯度结果进行同态加密处理，从而可以进一步保证数据安全。
118.在操作s503，基于待验证结果确定联邦学习模型是否收敛。
119.根据本公开的实施例，可以基于待验证结果进行模型重建，还原得到第一联邦学习子模型和第二联邦学习子模型，然后利用预先生成的测试数据集对第一联邦学习子模型和第二联邦学习子模型进行测试，生成测试结果，其中，测试结果可以表征第一联邦学习子模型针对测试集的预测准确率以及第二联邦学习子模型针对测试集的预测准确率。在第一预测准确率和第二预测准确率均大于预设准确率阈值的情况下，可以确定联邦学习模型收敛，否则，确定联邦学习模型未收敛，需要继续进行迭代训练。
120.根据本公开的另一实施例，还可以将待验证结果与预先生成的梯度收敛条件进行比对，在待验证结果与梯度收敛条件相匹配的情况下，确定联邦学习模型收敛，否则确定联邦学习模型未收敛，需要继续进行迭代训练。
121.在操作s504，在联邦学习模型未收敛的情况下，迭代的调整联邦学习模型和标签预测模型的网络参数，直至待验证结果表征联邦学习模型收敛。
122.图6示意性示出了根据本公开实施例的根据标签数据集和金融属性特征数据集生成第一数据集和第二数据集的流程图。
123.根据本公开的实施例，金融属性特征数据集和标签数据集中的数据具有标识信息。
124.如图6所示，该方法包括操作s601～s603。
125.在操作s601，对特征数据和标签数据集求交集，生成共现标识信息集。
126.在操作s602，根据标识信息集，从金融属性特征数据集和标签数据集中获取与标识信息集对应的数据，生成第一数据集。
127.在操作s603，根据金融属性特征数据集中除第一数据集中的数据以外的数据生成第二数据集。
128.图7示意性示出了根据本公开实施例的根据标签数据集和金融属性特征数据集生成第一数据集和第二数据集的示意图。
129.在图7中，701可以表示合作方系统，702可以表示金融系统。
130.如图7所示，首先可以由金融属性特征数据集和标签数据集求交集，生成共现标识信息集703，然后基于共现标识信息集703中的标签数据的标识信息回溯标签数据集，获取与标识信息对应的标签数据，基于共现标识信息集703中的特征数据的标识信息回溯金融属性特征数据集，获取与标识信息对应的特征数据，将获取到的标签数据和特征数据合并生成第一数据集704。
131.根据本公开的实施例，还可以由金融属性特征数据集和标签数据集求交集，生成非共现标识信息集705，然后基于非共现标识信息集705中的特征数据的标识信息回溯金融属性特征数据集，生成第二数据集706。
132.图8示意性示出了根据本公开实施例的基于联邦学习的模型训练方法的示意图。
133.根据本公开的实施例，在生成第二数据集802后，可以将第二数据集802输入标签预测模型803；然后标签预测模型803输出的第三数据集经过同态加密后，与第一数据集801生成样本数据集804。生成样本数据集804后，可以利用样本数据集804训练待训练的联邦学习模型805，在同态加密环境下，将联邦学习模型805的训练梯度上传至联邦学习结果评估平台806，以便联邦学习结果评估平台806根据接收到的训练梯度判断联邦学习模型805是否收敛；在联邦学习模型805收敛的情况下，输出训练完成的联邦学习模型，在联邦学习模型未收敛的情况下，迭代地调整标签预测模型803和联邦学习模型805的模型参数，直至联邦学习结果评估平台806输出待验证结果表征联邦学习模型收敛。
134.图9示意性示出了根据本公开实施例的金融行为预测方法的流程图。
135.如图9所示，该方法包括操作s901～s902。
136.在操作s901，获取待预测用户的金融属性信息。
137.根据本公开的实施例，金融属性信息可以包括银行卡账号、身份标识、银行开户信息、消费信息等。
138.在操作s902，将金融属性信息输入联邦学习模型，输出预测结果，其中，预测结果表征待预测用户产生金融行为的概率，联邦学习模型是由本公开实施例提供的基于联邦学习的模型训练方法训练生成的。
139.图10示意性示出了根据本公开的实施例的基于联邦学习的模型训练装置的框图。
140.如图10所示，基于联邦学习的模型训练装置1000可以包括第一生成模块1001、第一输出模块1002、第二生成模块1003和训练模块1004。
141.第一生成模块1001，用于根据标签数据集和金融属性特征数据集生成第一数据集和第二数据集，其中，标签数据集存储于金融系统中，金融属性特征数据集存储于与金融系统相关联的合作方系统中，第一数据集包括金融属性特征数据集和标签数据集的共有数据，第二数据集包括金融属性特征数据集和标签数据集的非共有数据。
142.第一输出模块1002，用于将第二数据集输入标签预测模型，输出第三数据集，其中，第三数据集中的数据携带有预测标签信息。
143.第二生成模块1003，用于根据第三数据集和第一数据集生成样本数据集。
144.训练模块1004，用于利用样本数据集训练得到联邦学习模型。
145.根据本公开的实施例，预测标签信息具有置信度。
146.根据本公开的实施例，第二生成模块1003包括第一生成单元、第二生成单元和第三生成单元。
147.第一生成单元，用于对第三数据集进行同态加密处理，生成第四数据集；
148.第二生成单元，用于基于置信度对第四数据集中的数据进行筛选处理，生成第五数据集；
149.第三生成单元，用于将第五数据集和第一数据集合并，生成样本数据集。
150.根据本公开的实施例，第一输出模块1002包括第一获取单元、第四生成单元和第一输入单元。
151.第一获取单元，用于获取第一数据集中的数据量；
152.第四生成单元，用于根据数据量对第二数据集进行筛选处理，生成第六数据集，其中，第六数据集中的数据量与第一数据集中的数据量相匹配；
153.第一输入单元，用于将第六数据集输入标签预测模型，输出第三数据集。
154.根据本公开的实施例，联邦学习模型包括与合作方系统对应的第一联邦学习子模型和与金融系统对应的第二联邦学习子模型。
155.根据本公开的实施例，训练模块1004包括第一训练单元、加密单元、确定单元和调整单元。
156.第一训练单元，用于利用样本数据集分别训练第一联邦学习子模型和第二联邦学习子模型，生成与第一联邦学习子模型对应的第一梯度结果和与第二联邦学习子模型对应的第二梯度结果；
157.加密单元，用于对第一梯度结果和第二梯度结果进行同态加密处理，生成待验证结果；
158.确定单元，用于基于待验证结果确定联邦学习模型是否收敛；
159.调整单元，用于在联邦学习模型未收敛的情况下，迭代的调整联邦学习模型和标签预测模型的网络参数，直至待验证结果表征联邦学习模型收敛。
160.根据本公开的实施例，金融属性特征数据集和标签数据集中的数据具有标识信息。
161.根据本公开的实施例，第一生成模块1001包括第五生成单元、第六生成单元和第七生成单元。
162.第五生成单元，用于对特征数据和标签数据集求交集，生成共现标识信息集；
163.第六生成单元，用于根据标识信息集，从金融属性特征数据集和标签数据集中获取与标识信息集对应的数据，生成第一数据集；
164.第七生成单元，用于根据金融属性特征数据集中除第一数据集中的数据以外的数据生成第二数据集。
165.图11示意性示出了根据本公开的实施例的金融行为预测装置的框图。
166.如图11所示，金融行为预测装置1100可以包括第一获取模块1101和预测模块1102。
167.第一获取模块1101，用于获取待预测用户的金融属性信息；以及
168.预测模块1102，用于将金融属性信息输入联邦学习模型，输出预测结果，其中，预测结果表征待预测用户产生金融行为的概率，联邦学习模型是由本公开实施例提供的基于联邦学习的模型训练方法训练生成的。
169.需要说明的是，本公开装置部分的实施例与本公开方法部分的实施例对应相同或类似，本公开在此不再赘述。
170.根据本公开的实施例的模块、单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机
程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
171.例如，第一生成模块1001、第一输出模块1002、第二生成模块1003、训练模块1004、第一获取模块1101和预测模块1102中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，第一生成模块1001、第一输出模块1002、第二生成模块1003、训练模块1004、第一获取模块1101和预测模块1102中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一生成模块1001、第一输出模块1002、第二生成模块1003、训练模块1004、第一获取模块1101和预测模块1102中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
172.图12示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的框图。图12示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
173.如图12所示，根据本公开实施例的计算机系统1200包括处理器1201，其可以根据存储在只读存储器(rom)1202中的程序或者从存储部分1208加载到随机访问存储器(ram)1203中的程序而执行各种适当的动作和处理。处理器1201例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器1201还可以包括用于缓存用途的板载存储器。处理器1201可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
174.在ram 1203中，存储有电子设备1200操作所需的各种程序和数据。处理器1201、rom 1202以及ram 1203通过总线1204彼此相连。处理器1201通过执行rom 1202和/或ram 1203中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom 1202和ram 1203以外的一个或多个存储器中。处理器1201也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
175.根据本公开的实施例，电子设备1200还可以包括输入/输出(i/o)接口1205，输入/输出(i/o)接口1205也连接至总线1204。系统1200还可以包括连接至i/o接口1205的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分1207；包括硬盘等的存储部分1208；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至i/o接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入存储部分1208。
176.根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施
例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被处理器1201执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
177.本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
178.根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
179.例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom 1202和/或ram 1203和/或rom 1202和ram 1203以外的一个或多个存储器。
180.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
181.本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
182.以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

技术特征：
1.一种基于联邦学习的模型训练方法，包括：根据标签数据集和金融属性特征数据集生成第一数据集和第二数据集，其中，所述标签数据集存储于金融系统中，所述金融属性特征数据集存储于与所述金融系统相关联的合作方系统中，所述第一数据集包括所述金融属性特征数据集和所述标签数据集的共有数据，所述第二数据集包括所述金融属性特征数据集和所述标签数据集的非共有数据；将所述第二数据集输入标签预测模型，输出第三数据集，其中，所述第三数据集中的数据携带有预测标签信息；根据所述第三数据集和所述第一数据集生成样本数据集；以及利用所述样本数据集训练得到联邦学习模型。2.根据权利要求1所述的方法，其中，所述预测标签信息具有置信度；所述根据所述第三数据集和所述第一数据集生成样本数据集包括：对所述第三数据集进行同态加密处理，生成第四数据集；基于所述置信度对所述第四数据集中的数据进行筛选处理，生成第五数据集；将所述第五数据集和所述第一数据集合并，生成所述样本数据集。3.根据权利要求1所述的方法，所述将所述第二数据集输入标签预测模型，输出第三数据集包括：获取所述第一数据集中的数据量；根据所述数据量对所述第二数据集进行筛选处理，生成第六数据集，其中，所述第六数据集中的数据量与所述第一数据集中的数据量相匹配；将所述第六数据集输入所述标签预测模型，输出第三数据集。4.根据权利要求1所述的方法，其中，所述联邦学习模型包括与所述合作方系统对应的第一联邦学习子模型和与所述金融系统对应的第二联邦学习子模型；所述利用所述样本数据集训练得到联邦学习模型包括：利用所述样本数据集分别训练所述第一联邦学习子模型和所述第二联邦学习子模型，生成与所述第一联邦学习子模型对应的第一梯度结果和与所述第二联邦学习子模型对应的第二梯度结果；对所述第一梯度结果和所述第二梯度结果进行同态加密处理，生成待验证结果；基于所述待验证结果确定所述联邦学习模型是否收敛；在所述联邦学习模型未收敛的情况下，迭代的调整所述联邦学习模型和所述标签预测模型的网络参数，直至所述待验证结果表征所述联邦学习模型收敛。5.根据权利要求1所述的方法，其中，所述金融属性特征数据集和所述标签数据集中的数据具有标识信息；所述根据标签数据集和金融属性特征数据集生成第一数据集和第二数据集包括：对所述特征数据和所述标签数据集求交集，生成共现标识信息集；根据所述标识信息集，从所述金融属性特征数据集和所述标签数据集中获取与所述标识信息集对应的数据，生成所述第一数据集；根据所述金融属性特征数据集中除所述第一数据集中的数据以外的数据生成所述第二数据集。6.一种金融行为预测方法，包括：
获取待预测用户的金融属性信息；以及将所述金融属性信息输入联邦学习模型，输出预测结果，其中，所述预测结果表征所述待预测用户产生金融行为的概率，所述联邦学习模型是由权利要求1至5任一项所述的基于联邦学习的模型训练方法训练生成的。7.一种基于联邦学习的模型训练装置，包括：第一生成模块，用于根据标签数据集和金融属性特征数据集生成第一数据集和第二数据集，其中，所述标签数据集存储于金融系统中，所述金融属性特征数据集存储于与所述金融系统相关联的合作方系统中，所述第一数据集包括所述金融属性特征数据集和所述标签数据集的共有数据，所述第二数据集包括所述金融属性特征数据集和所述标签数据集的非共有数据；第一输出模块，用于将所述第二数据集输入标签预测模型，输出第三数据集，其中，所述第三数据集中的数据携带有预测标签信息；第二生成模块，用于根据所述第三数据集和所述第一数据集生成样本数据集；以及训练模块，用于利用所述样本数据集训练得到联邦学习模型。8.一种金融行为预测装置，包括：第一获取模块，用于获取待预测用户的金融属性信息；以及预测模块，用于将所述金融属性信息输入联邦学习模型，输出预测结果，其中，所述预测结果表征所述待预测用户产生金融行为的概率，所述联邦学习模型是由权利要求1至5任一项所述的基于联邦学习的模型训练方法训练生成的。9.一种计算机系统，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至6中任一项所述的方法。10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1至6中任一项所述的方法。

技术总结
本公开提供了一种基于联邦学习的模型训练方法，可以应用于人工智能技术领域。该方法包括：根据标签数据集和金融属性特征数据集生成第一数据集和第二数据集；将第二数据集输入标签预测模型，输出第三数据集；根据第三数据集和第一数据集生成样本数据集；以及利用样本数据集训练得到联邦学习模型。本公开还提供了一种基于联邦学习的模型训练装置、金融行为预测方法、金融行为预测装置、计算机系统和计算机可读存储介质。机可读存储介质。机可读存储介质。


技术研发人员：袁梓焜 王科 刘博
受保护的技术使用者：北京京东世纪贸易有限公司
技术研发日：2022.01.29
技术公布日：2023/8/16