一种考虑多服务器竞争的联邦学习激励机制方法

1.本发明涉及计算机领域，特别涉及一种考虑多服务器竞争的联邦学习激励机制方法。


背景技术：

2.近年来，随着移动边缘计算(mec)技术的兴起，移动设备可以配备强大的计算和存储能力，实现本地计算和模型训练。mec还推动了联邦学习的研究，它允许一个具有计算能力的节点社区在不损害用户隐私的情况下协作构建一个全局学习模型。具体来说，联邦学习是一种分布式学习框架，其中所有节点都基于全局模型对本地数据进行独立训练，仅将模型更新提交到参数服务器进行聚合。通过这种方式，实现分布式模型更新，保护隐私的同时提高全局模型质量。
3.上述联邦学习系统在很大程度上依赖于用户端本地模型更新的质量。然而，它们都基于一个共同的假设，即联邦学习有足够的用户参与。如果没有足够的补偿，用户可能不愿意参与并分享他们的模型更新。实际上，参与联邦学习任务会产生系统成本。例如，当用户参与联邦学习任务时，不可避免地会消耗其设备的资源，包括计算、通信和电池电量。此外，联邦学习框架也面临着安全性问题。例如，研究者表明通过中间梯度可以推断出训练数据的重要信息。此外，一个好奇的参数服务器可以通过生成对抗网络了解用户训练数据的私有信息。因此，用户更不愿意参与联邦学习任务，除非他们能获得足够的回报。综上所述，对于联邦学习系统设计一个有效的激励机制是非常重要的。
4.目前，联邦学习激励机制的研究主要集中在单个参数服务器如何选择用户进行训练的场景。然而，实际上联邦学习的应用场景更加丰富。尽管目前商业化的联邦学习软件较少，但谷歌和苹果公司已经将联邦学习应用于其产品中。未来，随着联邦学习系统的发展和成熟，更多的联邦学习应用将会涌现出来。这将使得用户很难确定自己的数据集适合哪个发布联邦学习的公司，可能导致自己的数据集价值被低估，利益降低。同时，这些公司也面临着如何获取更适合自己的用户数据集的难题。因此，为了更好地方便用户和联邦学习公司，推出一个平台供各公司和用户加入并进行管理是非常必要的。这样，联邦学习公司就可以更合理地选择用户，而用户也可以最大化自己的利益。基于双方的利益，建立这样的平台将成为未来的趋势。
5.因此，需要提供一种考虑多服务器竞争的联邦学习激励机制系统，为用户和联邦学习服务器自适应地设置价格，最大化其效益。


技术实现要素：

6.为了克服现有技术的上述缺点与不足，本发明的目的在于提供一种考虑多服务器竞争的联邦学习激励机制方法。
7.本发明的目的通过以下技术方案实现：
8.一种考虑多服务器竞争的联邦学习激励机制方法，包括：
9.对所有参数服务器进行初始化，建立联邦学习的全局模型，并定义网络结构，参数服务器宣布拍卖规则，并向用户发布联邦学习的训练任务；
10.用户根据自身的条件，针对各个服务器发布的联邦学习训练任务提交自己的报价；
11.参数服务器收到用户的报价后，根据自适应多物品拍卖算法，决定获胜集和参与训练的用户所需支付的报酬；
12.按照联邦学习步骤进行训练，参数服务器向获胜集中的用户分发全局模型，用户进行本地训练并将参数更新上传给参数服务器；
13.在训练结束后，参数服务器会对用户上传的参数进行模型聚合，以更新全局模型的参数，参数服务器会向参与训练的用户支付相应的报酬，以表彰他们的努力和贡献。
14.进一步，所述网络结构采用lenet。
15.进一步，采用同步联邦学习策略，具体是参数服务器的训练是同步的。
16.进一步，用户的报价具体为：使用用户数据样本大小计算其参与各个参数服务器训练任务所产生的能量消耗，将能量消耗作为用户拍卖的低价。
17.进一步，所述自适应多物品拍卖算法，具体为：
18.首先服务器进行初始化，每个服务器对于每个用户都有一个评价指标，即用户累积训练质量其次用户初始化，每个用户上报自己的初始价格，初始价格为他们的训练消耗能量每个用户有一个当前价格用户的初始收益胜者服务器wn为空；
19.对于每一个用户，对于每个服务器，当该服务器不是该用户的胜者服务器时，计算他们如果招募该用户会带来的收益进行排序，如果进行排序，如果则依次对用户出价，出价为用户的初始价格加上一个增量∈，即直到预算耗尽。
20.每个用户计算他们的收益选择收益最高的服务器作为暂时的胜者并公布该用户的收益以供后续拍卖中服务器竞拍。
21.循环上述流程，直到达到终止条件。
22.终止条件：当前后两轮中所有用户的胜者服务器不变，即没有用户再被加价，则终止算法；
23.用户为他们的胜者服务器进行联邦学习训练任务。
24.进一步，参数服务器还包括测试数据集，所述参数服务器会在模型聚合之前，对每个用户上传的本地模型参数进行测试，使用的测试集是随机从整个测试数据集抽取出的一小部分数据，记录测试过程产生的loss；
25.在模型聚合之后，对全局模型在整个测试数据集进行测试，记录测试过程产生的loss。
26.进一步，定义用户训练质量指标，具体为：
27.假设在ts时刻，参数服务器m的全局模型在测试集上的loss值为lossm(ts)，每个用户的模型参数使用随机分配的测试数据集进行测试产生的loss值为loss
n,m
(t
test
)，我们将用户训练质量定义为
28.[0029][0030]
其中和v是权重参数；
[0031]
则与历史用户训练质量相对应的权重为其中0＜ρ≤1是遗忘因子；
[0032]
在t
k+1
次的用户训练质量的估计值为：
[0033][0034]
根据估计值，确定用户所需支付的报酬。
[0035]
进一步，还包括，假设用户的计算能力有限，每一轮只能同时参与一个参数服务器的联邦学习训练任务。
[0036]
进一步，采用指数遗忘函数来分配权重。
[0037]
与现有技术相比，本发明具有以下优点和有益效果：
[0038]
(1)本发明对联邦学习多服务器场景设计激励机制，解决了多服务器之间竞争用户的问题。
[0039]
(2)本发明与其他激励机制相比，使得在保护用户隐私的情况下，可以对用户自适应地设置价格，从而使得用户和服务器效益最大化。
[0040]
(3)本发明方法在联邦学习激励机制中具有广泛的使用空间，操作简单、适应性强，具有广阔的应用前景。
附图说明
[0041]
图1是本发明的结构图；
[0042]
图2是本发明的拍卖算法流程图。
具体实施方式
[0043]
下面结合实施例，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
[0044]
实施例
[0045]
如图1及图2所示，一种考虑多服务器竞争的联邦学习激励机制方法，包括：
[0046]
s1对所有参数服务器进行初始化，建立联邦学习的全局模型，并定义网络结构，参数服务器宣布拍卖规则，并向用户发布联邦学习的训练任务；
[0047]
考虑m个参数服务器，记为考虑n个用户，记为本文采用同步联邦学习策略，即参数服务器的训练是同步的。在每一轮训练中，每个参数服务器拥有一定的预算bm，雇佣用户的总价格不能超过预算。参数服务器向用户发布联邦学习任务，雇佣用户进行训练。用户拥有参数服务器所需要的样本，记为代表用户n携带参数服务器m所需要的样本大小。参数服务器将宣布拍卖规则，并向用户发布联邦学习的训练任务。
[0048]
进一步：所述全局模型是聚合所有用户上传的本地模型之后的模型。
[0049]
进一步，本实施例中网络结构优选为lenet。
[0050]
s2用户根据自身的条件，针对各个服务器发布的联邦学习训练任务提交自己的报价。
[0051]
所述自身的条件包括计算资源、数据资源和能量消耗等。
[0052]
针对各个服务器发布的联邦学习训练任务提交自己的报价，这样可以确保用户根据自己的资源和能力参与到训练中：
[0053]
进一步，使用用户数据样本大小计算其参与各个参数服务器训练任务所产生的能量消耗将能量消耗作为用户拍卖的低价。
[0054]
s3参数服务器收到用户的报价后，根据自适应多物品拍卖算法，决定获胜集和参与训练的用户所需支付的报酬；
[0055]
我们假设用户的计算能力是有限的，每一轮只能同时参与一个参数服务器的联邦学习训练任务。通过这种方式，我们可以保证参与训练的用户有足够的动力和资源，同时确保训练的效率和数据隐私的保护。
[0056]
本实施例中在用户数据集的基础上增加了一个测试数据集，并在每轮训练完成后，用户将其模型参数更新上传给参数服务器。此时，参数服务器会在聚合所有模型更新参数之前，对所有用户上传的模型参数单独进行一次测试，即为每个用户分配一定大小的测试数据集，并确保该测试数据集涵盖所有标签，尽管这样增加了开销，但是这种小幅的成本增加是可以接受的。这样，我们得到的用户训练质量指标更具有可比性，因为它们基于相同的数据集进行了评估。假设在ts时刻，参数服务器m的全局模型在测试集上的loss值为lossm(ts)，每个用户的模型参数使用随机分配的测试数据集进行测试产生的loss值为loss
n,m
(t
test
)。我们将用户训练质量定义为
[0057][0058][0059]
其中和v是权重参数。
[0060]
我们使用指数遗忘函数来分配权重，它为最近的模型质量记录提供了更大的权重，为旧的模型质量提供了更小的权重。最新模型质量的权重为1，其他模型质量的权重由其与最新模型质量的相对位置决定。与历史用户训练质量相对应的权重为其中0＜ρ≤1是遗忘因子。所以我们对于在t
k+1
次的用户训练质量的估计值为：
[0061][0062]
根据图2中拍卖算法的步骤，我们会得到每个服务器的胜者用户集和奖励列表奖励列表对应着每个用户完成联邦学习任务后获得的奖励。
[0063]
进一步，所述自适应多物品拍卖算法具体过程如下：
[0064]
首先服务器进行初始化，每个服务器对于每个用户都有一个评价指标，即用户累积训练质量其次用户初始化，每个用户上报自己的初始价格，初始价格为他们的训练消耗能量每个用户有一个当前价格用户的初始收益胜者服
务器wn为空；
[0065]
对于每一个用户，对于每个服务器，当该服务器不是该用户的胜者服务器时，计算他们如果招募该用户会带来的收益进行排序，如果进行排序，如果则依次对用户出价，出价为用户的初始价格加上一个增量∈，即直到预算耗尽。
[0066]
每个用户计算他们的收益选择收益最高的服务器作为暂时的胜者并公布该用户的收益以供后续拍卖中服务器竞拍。
[0067]
循环上述流程，直到达到终止条件。
[0068]
终止条件：当前后两轮中所有用户的胜者服务器不变，即没有用户再被加价，则终止算法；
[0069]
用户为他们的胜者服务器进行联邦学习训练任务。
[0070]
s4按照联邦学习步骤进行训练，参数服务器向获胜集中的用户分发全局模型，用户进行本地训练并将参数更新上传给参数服务器：
[0071]
(1)系统初始化和设备选择：在联邦学习中，服务器首先对其将要训练的任务设置学习参数，例如学习率和通信轮数。然后，服务器根据上述步骤中决定的胜者服务器，用户参与上述步骤中决定的其胜者服务器的联邦学习。
[0072]
(2)分布式本地训练与更新:在完成训练配置后，服务器将初始化一个新的模型wg并将其传输给用户，开始分布式训练。每个用户n都将使用自己的数据集dn来训练本地模型，并通过最小化损失函数f(wn)来计算更新wn：
[0073][0074]
在不同的联邦学习算法中，损失函数的定义是不同的。例如，在使用线性回归联邦学习模型时，对于输入输出对损失函数f可以定义为：
[0075]
接着，每个用户n将其计算的更新wn上传到服务器进行聚合。
[0076]
(3)模型聚合和下载：在从所有本地客户端收集模型更新后，服务器将对它们进行聚合，并计算出全局模型的新版本，新的模型参数向量被视为全局模型的一个新版本。这通常是通过对所有客户端的模型参数进行平均或加权平均来实现的：
[0077][0078]
s5在训练结束后，参数服务器会对用户上传的参数进行模型聚合，以更新全局模型的参数，参数服务器会向参与训练的用户支付相应的报酬(由s3中的拍卖算法决定)，以表彰他们的努力和贡献。
[0079]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

技术特征：
1.一种考虑多服务器竞争的联邦学习激励机制方法，其特征在于，包括：对所有参数服务器进行初始化，建立联邦学习的全局模型，并定义网络结构，参数服务器宣布拍卖规则，并向用户发布联邦学习的训练任务；用户根据自身的条件，针对各个服务器发布的联邦学习训练任务提交自己的报价；参数服务器收到用户的报价后，根据自适应多物品拍卖算法，决定获胜集和参与训练的用户所需支付的报酬；按照联邦学习步骤进行训练，参数服务器向获胜集中的用户分发全局模型，用户进行本地训练并将参数更新上传给参数服务器；在训练结束后，参数服务器会对用户上传的参数进行模型聚合，以更新全局模型的参数，参数服务器会向参与训练的用户支付相应的报酬，以表彰他们的努力和贡献。2.根据权利要求1所述的联邦学习激励机制方法，其特征在于，所述网络结构采用lenet。3.根据权利要求1所述的联邦学习激励机制方法，其特征在于，采用同步联邦学习策略，具体是参数服务器的训练是同步的。4.根据权利要求1所述的联邦学习激励机制方法，其特征在于，用户的报价具体为：使用用户数据样本大小计算其参与各个参数服务器训练任务所产生的能量消耗，将能量消耗作为用户拍卖的低价。5.根据权利要求1-4任一项所述的联邦学习激励机制方法，其特征在于，所述自适应多物品拍卖算法，具体为：首先服务器进行初始化，每个服务器对于每个用户都有一个评价指标，即用户累积训练质量其次用户初始化，每个用户上报自己的初始价格，初始价格为他们的训练消耗能量每个用户有一个当前价格用户的初始收益胜者服务器w
n
为空；对于每一个用户，对于每个服务器，当该服务器不是该用户的胜者服务器时，计算他们如果招募该用户会带来的收益进行排序，如果进行排序，如果则依次对用户出价，出价为用户的初始价格加上一个增量∈，即直到预算耗尽；每个用户计算他们的收益选择收益最高的服务器作为暂时的胜者并公布该用户的收益以供后续拍卖中服务器竞拍；循环上述流程，直到达到终止条件；终止条件：当前后两轮中所有用户的胜者服务器不变，即没有用户再被加价，则终止算法；用户为他们的胜者服务器进行联邦学习训练任务。6.根据权利要求5所述的联邦学习激励机制方法，其特征在于，参数服务器还包括测试数据集，所述参数服务器会在模型聚合之前，对每个用户上传的本地模型参数进行测试，使用的测试集是随机从整个测试数据集抽取出的一小部分数据，记录测试过程产生的loss；在模型聚合之后，对全局模型在整个测试数据集进行测试，记录测试过程产生的loss。7.根据权利要求6所述的联邦学习激励机制方法，其特征在于，定义用户训练质量指标，具体为：
假设在t
s
时刻，参数服务器m的全局模型在测试集上的loss值为loss
m
(t
s
)，每个用户的模型参数使用随机分配的测试数据集进行测试产生的loss值为loss
n,m
(t
test
)，我们将用户训练质量定义为定义为其中和v是权重参数；则与历史用户训练质量相对应的权重为其中0＜ρ≤1是遗忘因子；在t
k+1
次的用户训练质量的估计值为：根据估计值，确定用户所需支付的报酬。8.根据权利要求1所述的联邦学习激励机制方法，其特征在于，还包括，假设用户的计算能力有限，每一轮只能同时参与一个参数服务器的联邦学习训练任务。9.根据权利要求6所述的联邦学习激励机制方法，其特征在于，采用指数遗忘函数来分配权重。

技术总结
本发明公开了一种考虑多服务器竞争的联邦学习激励机制方法，包括：对所有参数服务器进行初始化，建立联邦学习的全局模型，并向用户发布联邦学习的训练任务；用户根据自身的条件，针对各个服务器发布的联邦学习训练任务提交自己的报价；参数服务器根据自适应多物品拍卖算法，决定获胜集和参与训练的用户所需支付的报酬；按照联邦学习步骤进行训练，参数服务器向获胜集中的用户分发全局模型，用户进行本地训练并将参数更新上传给参数服务器；在训练结束后，参数服务器会对用户上传的参数进行模型聚合，更新全局模型的参数。本方法参与者无需考虑其他参与者的信息，只需上传自身的信息就能实现参与者效益最大化的优点。就能实现参与者效益最大化的优点。就能实现参与者效益最大化的优点。


技术研发人员：王贤为 张幸林
受保护的技术使用者：华南理工大学
技术研发日：2023.03.29
技术公布日：2023/7/13