高速车联网场景下的分层联邦学习聚合频率优化方法

1.本公开实施例涉及数据处理技术领域，尤其涉及一种高速车联网场景下的分层联邦学习聚合频率优化方法。


背景技术：

2.由于5g技术的推广应用和物联网技术的成熟，中国车联网市场规模快速增长，消费者对于汽车驾驶体验和产品安全性方面的要求也随之提高，因此智能驾驶辅助、智能安全控制和智能软件服务正在逐渐成为研究热点。目前，越来越多的厂商将机器学习和深度学习等智能技术应用于车载软件开发中，以实现对于消费者的承诺。然而，由于一辆汽车产生的数据量总是有限且有偏，导致机器学习模型不太可能获得期望的精度。一个直觉的解决方案是通过大量的通信设备和接口将车辆收集到的数据传输到中央服务器进行训练，但这会大幅度增加车辆的数据安全和通信安全隐患，尤其是个人信息的非法使用与泄露。目前，联邦学习正是提升机器学习模型精度与解决数据隐私问题的关键技术。
3.目前，联邦学习技术已经得到了广泛的应用，例如医疗保健领域和金融安全领域。基于联邦学习的分布式训练方法，通过在本地设备训练机器学习模型来保护个人数据隐私，并通过云端聚合机器学习模型的方式来组合参与方的数据，实现了用户隐私保护和机器学习模型的性能提升。虽然该方法在许多领域中已经取得了较大的成功，然而直接将传统的联邦学习技术应用于高速车联网场景中存在着不能忽略的技术问题：
4.由于传统的联邦学习需要频繁的通信且单次通信负载大，所以该项技术对于通信质量的要求很高且具有较大的通信负载，不太适用于通信资源有限的移动设备场景下。同时，由于车辆与基站之间的通信距离实时变化和车辆需要频繁的切换基站，所以车辆通信中存在着信号不稳定和网络延迟大的问题，这进一步限制了高速车联网场景下的通信资源。这严重影响了联邦学习方法在高速车联网场景下的应用。
5.可见，亟需一种能节约通信资源和优化通信次数的高速车联网场景下的分层联邦学习聚合频率优化方法。


技术实现要素：

6.有鉴于此，本公开实施例提供一种高速车联网场景下的分层联邦学习聚合频率优化方法，至少部分解决现有技术中存在适应性和效率较差的问题。
7.第一方面，本公开实施例提供了一种高速车联网场景下的分层联邦学习聚合频率优化方法方法，包括：
8.步骤1，云端服务器初始化全局机器学习模型权重并初始化云端服务器训练时间re；
9.步骤2，每个边缘端服务器从云端服务器下载全局机器学习模型权重ω
global
,并获取云端服务器训练时间re；
10.步骤3，每个边缘端通过数字孪生技术获取区域内车辆客户端的状态信息，并通过
边缘端聚合频率优化算法选择最优聚合频率τ
*
；
11.步骤4，每个车辆客户端从边缘端服务器下载机器学习模型的权重ω
edge
,并获取最优聚合频率τ
*
；
12.步骤5，在训练时间内，客户端的机器学习模型根据最优聚合频率向边缘端服务器聚合，若达到训练时间re，则进行步骤6，否则将边缘端机器学习模型传输至移动设备以替代旧机器学习模型，并重复步骤4至步骤5；
13.步骤6，云端服务器通过fedavg算法聚合成全局机器学习模型权重ω
global
，若达到目标精度，则停止联邦学习过程，否则转到步骤7；
14.步骤7，通过ddpg模型计算其对应的函数μ
θ
(s)并输出最优动作a，a代表本轮云端联邦学习的训练时间re，然后返回步骤2进入下一轮云端联邦学习。
15.根据本公开实施例的一种具体实现方式，所述步骤3具体包括：
16.步骤3.1，建立边缘端聚合频率优化模型和时间消耗约束；
17.步骤3.2，通过三阶段法找到边缘端聚合频率优化模型与约束之间的联系，并简化边缘端聚合频率优化模型；
18.步骤3.3，根据简化后的边缘端聚合频率优化模型计算最优聚合频率。
19.根据本公开实施例的一种具体实现方式，所述边缘端聚合频率优化模型的表达式为
[0020][0021]
其中，wq和w
q-1
是第q轮次和第q-1轮次的云端全局联邦学习的参数，在第q轮次的全局联邦学习过程中参数w
q-1
是一个固定值，f(
·
)代表在该参数下的损失值。
[0022]
根据本公开实施例的一种具体实现方式，所述时间消耗约束的表达式为
[0023][0024]
其中，表示车辆客户端机器学习模型训练所花费的时间，代表车辆客户端机器学习模型参数通信所花费的时间，re表示训练时间，k
·
τ代表更新频率的策略。
[0025]
根据本公开实施例的一种具体实现方式，所述步骤3.2具体包括：
[0026]
步骤3.2.1，规定f(wq)函数的性质，并找到边缘端联邦学习的参数向量w(t)和集中式梯度下降的参数向量v
[k]
(t)之间的差距，其中，k∈{1,2,
…
,k}；
[0027]
步骤3.2.2，计算v
[k]
(t)的收敛界，并结合第一阶段的结果，得到w(t)的收敛界；
[0028]
步骤3.2.3，基于步骤3.2.1和步骤3.2.2的结果转换边缘端聚合频率优化模型，并进一步简化边缘端聚合频率优化模型。
[0029]
根据本公开实施例的一种具体实现方式，所述简化后的边缘端聚合频率优化模型的表达式为
[0030][0031]
其中，η表示学习率，ρ为f(w)的lipschitz常数，其中，η表示学习率，ρ为f(w)的lipschitz常数，β为f(w)的smooth常数。
[0032]
根据本公开实施例的一种具体实现方式，所述步骤3.3具体包括：
[0033]
对{1，2，
…
,k}内的所有整数进行线性搜索，找到使等式ψ(τ)取得最小值的聚合频率作为最优聚合频率。
[0034]
根据本公开实施例的一种具体实现方式，最优聚合频率的表达式为
[0035][0036]
根据本公开实施例的一种具体实现方式，所述在训练时间内，客户端的机器学习模型根据最优聚合频率向边缘端服务器聚合的步骤，包括：
[0037]
每个车辆客户端的机器学习模型训练τ
*
轮后，得到训练后机器学习模型的权重并将机器学习模型传输给对应的边缘端服务器；
[0038]
每个边缘端服务器通过fedavg算法聚合成边缘端机器学习模型权重{ω
l
,l∈[1,
…
,l]}。
[0039]
本公开实施例中的高速车联网场景下的分层联邦学习聚合频率优化方案，包括：步骤1，云端服务器初始化全局机器学习模型权重并初始化云端服务器训练时间re；步骤2，每个边缘端服务器从云端服务器下载全局机器学习模型权重ω
global
,并获取云端服务器训练时间re；步骤3，每个边缘端通过数字孪生技术获取区域内车辆客户端的状态信息，并通过边缘端聚合频率优化算法选择最优聚合频率τ
*
；步骤4，每个车辆客户端从边缘端服务器下载机器学习模型的权重ω
edge
,并获取最优聚合频率τ
*
；步骤5，在训练时间内，客户端的机器学习模型根据最优聚合频率向边缘端服务器聚合，若达到训练时间re，则进行步骤6，否则将边缘端机器学习模型传输至移动设备以替代旧机器学习模型，并重复步骤4至步骤5；步骤6，云端服务器通过fedavg算法聚合成全局机器学习模型权重ω
global
，若达到目标精度，则停止联邦学习过程，否则转到步骤7；步骤7，通过ddpg模型计算其对应的函数μ
θ
(s)并输出最优动作a，a代表本轮云端联邦学习的训练时间re，然后返回步骤2进入下一轮云端联邦学习。
[0040]
本公开实施例的有益效果为：通过本公开的方案，通过由车辆客户端-边缘服务器-云端服务器组成的分层联邦学习框架减少通信距离，通过使用基于数字孪生和强化学习的云端联邦学习训练时间选择算法减少云端服务器的聚合次数，通过使用基于数字孪生技术为辅助的边缘端聚合频率优化算法进一步减少边缘端服务器的聚合频率，优化了通信次数和节约通信资源。
附图说明
[0041]
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0042]
图1为本公开实施例提供的一种高速车联网场景下的分层联邦学习聚合频率优化方法的流程示意图；
[0043]
图2为本公开实施例提供的一种基于三层联邦学习和数字孪生的车联网框架图；
[0044]
图3为本公开实施例提供的一种高速车联网场景下的分层联邦学习聚合频率优化方法的部分流程示意图。
具体实施方式
[0045]
下面结合附图对本公开实施例进行详细描述。
[0046]
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0047]
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
[0048]
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0049]
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
[0050]
本公开实施例提供一种高速车联网场景下的分层联邦学习聚合频率优化方法，所
述方法可以应用于汽车驾驶场景的数据保护过程中。
[0051]
参见图1，为本公开实施例提供的一种高速车联网场景下的分层联邦学习聚合频率优化方法的流程示意图。如图1所示，所述方法主要包括以下步骤：
[0052]
步骤1，云端服务器初始化全局机器学习模型权重并初始化云端服务器训练时间re；
[0053]
具体实施时，本发明构建如图2所示的一个基于三层联邦学习和数字孪生的车联网框架，所属框架包括一个云端服务器、若干边缘端服务器和若干车辆客户端。当三层联邦学习运用至该高速移动车联网中的时候，会对车联网通信的速度和成本都提出了极高的要求。在高速移动车联网场景下，通过智能传感器收集车辆客户端的实时数据并将其上传至边缘端服务器，并构建车辆客户端的数字孪生体保存在边缘端服务器中，进一步收集边缘端服务器的实时状态并将其上传至云端服务器，构建边缘端服务器的数字孪生体并将其保存在云端服务器中，形成一个三层的联邦学习框架。在本发明中使用re表示云端联邦学习的训练时间，t表示车辆客户端机器学习模型训练总轮次，用k表示边缘端机器学习模型聚合的总数，τ表示每隔τ轮车辆客户端机器学习模型向边缘端聚合一次，则有我们规定在每个车辆客户端上，数据量除上计算能力等于训练时间，并且忽略计算机器学习模型损失函数和梯度的时间。
[0054]
首先，在云端服务器上有一个目标精度为ω的联邦学习任务。每轮通过使用ddpg强化学习算法选择本轮云端联邦学习训练时间re，ddpg由两层全连接层神经网络组成。接下来，我们将描述ddpg模型的状态空间、动作空间和奖励函数。
[0055]
状态空间：在第j轮云端联邦学习过程中，状态空间就是每个边缘端数字孪生体的状态，可以表示为其中其中代表了第l个边缘服务器全局机器学习模型的损失函数，代表了第l个边缘服务器中的平均数据质量，代表了第l个边缘服务器中的平均数据数量，第l个边缘服务器中的平均cpu性能。e
j-1
代表了第j-1轮联邦学习训练时间。
[0056]
动作空间：ddpg将要执行的动作是一个连续的值，它选择最优的训练时间，以最大化函数的期望收益。
[0057]
奖励函数：在第j轮结束时，奖励t＝1,2,
…
,t.当λ》1,∧是一个正常数，确保奖励随着测试精度呈指数增长，ω是目标精度，ωj是云端全局机器学习模型第j轮测试精度。将激励ddpg选择最优的联邦学习时间，以获得更高的机器学习模型精度。当达到目标精度时，联邦学习将会停止。因此，累计奖励可以写成：习模型精度。当达到目标精度时，联邦学习将会停止。因此，累计奖励可以写成：
[0058]
然后可以通过云端服务器初始化全局机器学习模型权重并初始化云端服务器训练时间re。
[0059]
步骤2，每个边缘端服务器从云端服务器下载全局机器学习模型权重ω
global
,并获取云端服务器训练时间re；
[0060]
具体实施时，可以由每个边缘端服务器从云端服务器下载全局机器学习模型权重ω
global
,并获取云端服务器训练时间re，以便进行后续操作流程。
[0061]
步骤3，每个边缘端通过数字孪生技术获取区域内车辆客户端的状态信息，并通过边缘端聚合频率优化算法选择最优聚合频率τ
*
；
[0062]
在上述实施例的基础上，所述步骤3具体包括：
[0063]
步骤3.1，建立边缘端聚合频率优化模型和时间消耗约束；
[0064]
步骤3.2，通过三阶段法找到边缘端聚合频率优化模型与约束之间的联系，并简化边缘端聚合频率优化模型；
[0065]
步骤3.3，根据简化后的边缘端聚合频率优化模型计算最优聚合频率。
[0066]
进一步的，所述边缘端聚合频率优化模型的表达式为
[0067][0068]
其中，wq和w
q-1
是第q轮次和第q-1轮次的云端全局联邦学习的参数，在第q轮次的全局联邦学习过程中参数w
q-1
是一个固定值，f(
·
)代表在该参数下的损失值。
[0069]
进一步的，所述时间消耗约束的表达式为
[0070][0071]
其中，表示车辆客户端机器学习模型训练所花费的时间，代表车辆客户端机器学习模型参数通信所花费的时间，re表示训练时间，k
·
τ代表更新频率的策略。
[0072]
进一步的，所述步骤3.2具体包括：
[0073]
步骤3.2.1，规定f(wq)函数的性质，并找到边缘端联邦学习的参数向量w(t)和集中式梯度下降的参数向量v
[k]
(t)之间的差距，其中，k∈{1,2,
…
,k}；
[0074]
步骤3.2.2，计算v
[k]
(t)的收敛界，并结合第一阶段的结果，得到w(t)的收敛界；
[0075]
步骤3.2.3，基于步骤3.2.1和步骤3.2.2的结果转换边缘端聚合频率优化模型，并进一步简化边缘端聚合频率优化模型。
[0076]
进一步的，所述简化后的边缘端聚合频率优化模型的表达式为
[0077][0078]
其中，η表示学习率，ρ为f(w)的lipschitz常数，其中，η表示学习率，ρ为f(w)的lipschitz常数，β为f(w)的smooth常数。
[0079]
进一步的，所述步骤3.3具体包括：
[0080]
对{1，2，
…
,k}内的所有整数进行线性搜索，找到使等式ψ(τ)取得最小值的聚合频率作为最优聚合频率。
[0081]
进一步的，最优聚合频率的表达式为
[0082][0083]
具体实施时，如图3所示，在云端联邦学习训练时间的re基础上，通过基于数字孪生技术为辅助的边缘端聚合频率优化算法来确定边缘端服务器的聚合频率。我们的目标是在给定时间限制下最高效的训练机器学习模型，使损失函数最小化，具体步骤如下：
[0084]
第一步，边缘服务器通过数字孪生技术获取每一个客户端的实时信息。理论上，数字孪生技术可以获取每个客户端所有的状态数据，本文只考虑能够影响边缘端聚合频率的数据，例如车辆客户端机器学习模型的训练时间、传输时间和聚合时间等。
[0085]
第二步，从云端服务器下载全局机器学习模型权重ω
global
，并获取由云端ddpg所提供的云端训练时间re。
[0086]
第三步，建立边缘端聚合频率优化模型和时间消耗约束。
[0087]
边缘端聚合频率优化模型为：
[0088][0089]
其中，wq和w
q-1
是第q轮次和第q-1轮次的云端全局联邦学习的参数，在第q轮次的全局联邦学习过程中参数w
q-1
是一个固定值。f(
·
)代表在该参数下的损失值。
[0090]
我们规定边缘端服务器中有足够的计算资源，且只需要进行快速的机器学习模型聚合即可，那么对总体时间消耗的影响很小，因此本发明只考虑机器学习模型的训练时间和传输时间。
[0091]
对于机器学习模型训练时间，将数字孪生系统中车辆客户端的cpu计算能力和所持数据量视为影响车辆客户端计算时间成本的主要因素，具体公式为
[0092][0093]
其中，是车辆客户端c的cpu的计算时间成本；kc是处理一个batchsize数据所需的cpu周期数，这与机器学习模型的参数、批次大小密切相关；dc是车辆客户端c数据集中的batchsize数量；是车辆客户端c的cpu时钟频率。
[0094]
对于机器学习模型传输时间，我们规定车辆客户端共享基于正交频分多址(ofdma)的f个上行子信道，因此智能设备c的通信时间成本为：
[0095][0096]
其中，m是传输机器学习模型的参数量，fc是车辆客户端c的信道带宽，pc是车辆客户端的上传功率，是噪声功率，是第τ轮中车辆客户端c的信息增益。
[0097]
所以，总体的时间消耗约束为：
[0098][0099]
表示车辆客户端机器学习模型训练所花费的时间，kψ
ccom
代表车辆客户端机器学习模型参数通信所花费的时间。k
·
τ代表更新频率的策略。
[0100]
第四步，通过三阶段法找到边缘端聚合频率优化模型与约束之间的联系，并简化边缘端聚合频率优化模型。第一阶段，规定f(wq)函数的性质，并找到w(t)和v
[k]
(t)之间的差距，k∈{1,2,
…
,k}，w(t)是边缘端联邦学习的参数向量，v
[k]
(t)表示集中式梯度下降的参数向量；第二阶段，计算v
[k]
(t)的收敛界，并结合第一阶段的结果，得到w(t)的收敛界。第三阶段，基于前两阶段的结果转换边缘端聚合频率优化模型，并进一步简化边缘端聚合频率优化模型。
[0101]
第一阶段，规定f(wq)函数的性质，求得w(kτ)和v
[k]
(kt)之间差距的上界。
[0102]
因为该问题的求解与f(wq)的收敛性有关，所以我们规定：δi为的发散上界，fi(w)是β-smooth。fi(w)是ρ-lipschitz连续。
[0103]
根据上述的规定，我们求得w(kτ)和v
[k]
(kt)之间差距的上界。
[0104]
f(wt))-f(v
[k]
(t))≤ρ||w(t)-v
[k]
(t)||≤ρh(t-(k-1)τ)
ꢀꢀꢀ
(5)
[0105]
其中，η是学习率。
[0106]
第二阶段，计算v
[k]
(t)的收敛界限，并得到w(t)的收敛界。
[0107]
f[v
[k]
(t)]≥f[v
[k]
(kτ)]≥f[w
*
]-ε
ꢀꢀ
(6)
[0108][0109]
其中，
[0110]
因此，w(t)的收敛界为：
[0111][0112]
第三阶段，进一步将等式(1)转换为以下优化问题：
[0113][0114][0115]
因为t、k、τ只能是整数，所以对于任意的τ，最优的k值总是因为t、k、τ只能是整数，所以对于任意的τ，最优的k值总是代表舍入到整数。进一步化简优化边缘端聚合频率优化模型：
[0116][0117]
第五步，根据化简后的边缘端聚合频率优化模型，将最优τ
*
定义如下：
[0118][0119]
虽然理论上通过最小化等式ψ(τ)来选择最优τ。但是，由于ψ(τ)形式复杂，很难求解方程。因为τ
*
只能是正整数，所以对{1，2，
…
,k}内的所有整数进行线性搜索，找到最优τ
*
使ψ(τ)取得最小值。
[0120]
步骤4，每个车辆客户端从边缘端服务器下载机器学习模型的权重ω
edge
,并获取最优聚合频率τ
*
；
[0121]
具体实施时，在边缘端计算得到最优聚合频率后，每个车辆客户端可以从边缘端服务器下载机器学习模型的权重ω
edge
,并获取最优聚合频率τ
*
，以便进行后续操作流程。
[0122]
步骤5，在训练时间内，客户端的机器学习模型根据最优聚合频率向边缘端服务器聚合，若达到训练时间re，则进行步骤6，否则将边缘端机器学习模型传输至移动设备以替代旧机器学习模型，并重复步骤4至步骤5；
[0123]
在上述实施例的基础上，所述在训练时间内，客户端的机器学习模型根据最优聚合频率向边缘端服务器聚合的步骤，包括：
[0124]
每个车辆客户端的机器学习模型训练τ
*
轮后，得到训练后机器学习模型的权重
并将机器学习模型传输给对应的边缘端服务器；
[0125]
每个每个边缘服务器通过fedavg算法聚合成边缘端机器学习模型权重{ω
l
,l∈[1,
…
,l]}。
[0126]
具体实施时，在每个车辆客户端的机器学习模型训练τ
*
轮后，得到训练后机器学习模型的权重并将机器学习模型传输给对应的边缘端服务器，然后每个边缘服务器通过fedavg算法聚合成边缘端机器学习模型权重{ω
l
,l∈[1,
…
,l]}，再判断是否达到云端服务器训练时间re，若达到训练时间re，则进行步骤6，否则将边缘端机器学习模型传输至移动设备以替代旧机器学习模型，并重复步骤4至步骤5继续完成聚合。
[0127]
步骤6，云端服务器通过fedavg算法聚合成全局机器学习模型权重ω
global
，若达到目标精度，则停止联邦学习过程，否则转到步骤7；
[0128]
具体实施时，当没有达到训练时间时，云端服务器通过fedavg算法聚合成全局机器学习模型ω
global
，若达到目标精度，则停止联邦学习过程，否则进行下一步骤继续进行联邦学习。
[0129]
步骤7，通过ddpg模型计算其对应的函数μ
θ
(s)并输出最优动作a，a代表本轮云端联邦学习的训练时间re，然后返回步骤2进入下一轮云端联邦学习。
[0130]
具体实施时，当全局机器学习模型权重ω
global
没有达到目标精度时，则通过ddpg模型计算其对应的函数μ
θ
(s)并输出最优动作a，a代表本轮云端联邦学习的训练时间re，然后返回步骤2进入下一轮云端联邦学习。
[0131]
本实施例提供的高速车联网场景下的分层联邦学习聚合频率优化方法，通过ddpg强化学习算法数字孪生体的不断交互，使ddpg能够做出最优的云端联邦学习训练时间决策，减少了云端服务器的聚合次数；设计了一种基于数字孪生技术为辅助的边缘端聚合频率优化算法，通过数字孪生技术实时将车辆客户端的cpu信息和拥有的数据集等信息反馈到边缘服务器的数字孪生体中，从云端服务器下载全局机器学习模型权重和获取最优云端联邦学习训练时间，并利用这些信息建立以损失函数最小化为目标的边缘端聚合频率优化模型，通过三阶段法化简边缘端聚合频率优化模型，最后利用迭代法求解出最优的边缘端服务器聚合频率，优化了通信次数和节约通信资源。
[0132]
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。
[0133]
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。
[0134]
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种高速车联网场景下的分层联邦学习聚合频率优化方法，其特征在于，包括：步骤1，云端服务器初始化全局机器学习模型权重并初始化云端服务器训练时间re；步骤2，每个边缘端服务器从云端服务器下载全局机器学习模型权重ω
global
,并获取云端服务器训练时间re；步骤3，每个边缘端通过数字孪生技术获取区域内车辆客户端的状态信息，并通过边缘端聚合频率优化算法选择最优聚合频率τ
*
；步骤4，每个车辆客户端从边缘端服务器下载机器学习模型的权重ω
edge
,并获取最优聚合频率τ
*
；步骤5，在训练时间内，客户端的机器学习模型根据最优聚合频率向边缘端服务器聚合，若达到训练时间re，则进行步骤6，否则将边缘端机器学习模型传输至移动设备以替代旧机器学习模型，并重复步骤4至步骤5；步骤6，云端服务器通过fedavg算法聚合成全局机器学习模型权重ω
global
，若达到目标精度，则停止联邦学习过程，否则转到步骤7；步骤7，通过ddpg模型计算其对应的函数μ
θ
(s)并输出最优动作a，a代表本轮云端联邦学习的训练时间re，然后返回步骤2进入下一轮云端联邦学习。2.根据权利要求1所述的方法，其特征在于,所述步骤3具体包括：步骤3.1，建立边缘端聚合频率优化模型和时间消耗约束；步骤3.2，通过三阶段法找到边缘端聚合频率优化模型与约束之间的联系，并简化边缘端聚合频率优化模型；步骤3.3，根据简化后的边缘端聚合频率优化模型计算最优聚合频率。3.根据权利要求2所述的方法，其特征在于,所述边缘端聚合频率优化模型的表达式为其中，w
q
和w
q-1
是第q轮次和第q-1轮次的云端全局联邦学习的参数，在第q轮次的全局联邦学习过程中参数w
q-1
是一个固定值，f(
·
)代表在该参数下的损失值。4.根据权利要求3所述的方法，其特征在于,所述时间消耗约束的表达式为其中，表示车辆客户端机器学习模型训练所花费的时间，代表车辆客户端机器学习模型参数通信所花费的时间，re表示训练时间，k
·
τ代表更新频率的策略。5.根据权利要求4所述的方法，其特征在于,所述步骤3.2具体包括：步骤3.2.1，规定f(w)函数的性质，并找到边缘端联邦学习的参数向量w(t)和集中式梯度下降的参数向量v
[k]
(t)之间的差距，其中，k∈{1,2,
…
,k}；步骤3.2.2，计算v
[k]
(t)的收敛界，并结合第一阶段的结果，得到w(t)的收敛界；步骤3.2.3，基于步骤3.2.1和步骤3.2.2的结果转换边缘端聚合频率优化模型，并进一步简化边缘端聚合频率优化模型。6.根据权利要求5所述的方法，其特征在于,所述简化后的边缘端聚合频率优化模型的
表达式为其中，η表示学习率，ρ为f(w)的lipschitz常数，其中，η表示学习率，ρ为f(w)的lipschitz常数，β为f(w)的smooth常数。7.根据权利要求6所述的方法，其特征在于,所述步骤3.3具体包括：对{1，2，
…
,k}内的所有整数进行线性搜索，找到使等式ψ(τ)取得最小值的聚合频率作为最优聚合频率。8.根据权利要求7所述的方法，其特征在于,最优聚合频率的表达式为9.根据权利要求8所述的方法，其特征在于,所述在训练时间内，客户端的机器学习模型根据最优聚合频率向边缘端服务器聚合的步骤，包括：每个车辆客户端的机器学习模型训练τ
*
轮后，得到训练后机器学习模型的权重并将机器学习模型传输给对应的边缘端服务器；每个边缘端服务器通过fedavg算法聚合成边缘端机器学习模型权重{ω
l
,l∈[1,
…
,l]}。

技术总结
本公开实施例中提供了一种高速车联网场景下的分层联邦学习聚合频率优化方法，属于数据处理技术领域，具体包括：初始化全局机器学习模型权重，并初始化云端服务器训练时间；下载全局机器学习模型权重,并获取云端服务器训练时间；每个边缘端通过数字孪生技术获取区域内车辆客户端的状态信息，并通过边缘端聚合频率优化算法选择最优聚合频率；每个车辆客户端从边缘端服务器下载机器学习模型的权重,并获取最优聚合频率；在训练时间内，客户端的机器学习模型根据最优聚合频率向边缘端服务器聚合；聚合成全局机器学习模型权重；通过DDPG模型计算其对应的函数并输出最优动作。通过本公开的方案，优化了通信次数和节约通信资源。优化了通信次数和节约通信资源。优化了通信次数和节约通信资源。


技术研发人员：梁伟 郑旭哲 周晓康 黄素珍 崔雪松
受保护的技术使用者：湖南工商大学
技术研发日：2023.07.10
技术公布日：2023/10/6