基于自适应联邦学习的协同目标跟踪方法、装置和设备

1.本技术涉及视觉监控技术领域，特别是涉及一种基于自适应联邦学习的协同目标跟踪方法、装置和设备。


背景技术：

2.移动目标跟踪是许多应用领域的基本任务，如野生动物保护、区域监视、战场侦察、灾害救援等。随着物联网中传感器、网络和电子设备的快速发展，移动目标的跟踪主要是通过部署多个边缘设备，从不同角度和视野收集目标区域的图像或视频。主要的跟踪技术是基于神经网络如深度学习，它必须用大量的数据来训练模型。然而，这些边缘设备可能会因为隐私问题而不愿意共享它们的本地数据。因此，迫切需要一种安全有效的协同目标跟踪方案。
3.目前，主流的协同目标跟踪技术有两种，包括集中式策略和分布式策略。集中式策略使用来自其他设备的数据在单个节点上训练模型，中心节点可以自行选择数据源和传输路径，节省带宽和能源。然而，这种策略仍然存在中心故障风险和较高的传输成本。而分布式策略则是利用边缘设备的本地数据，按顺序循环地训练预定义模型。最终，将生成一个聚合模型，但是该训练过程不能并行化，导致收敛速度较慢。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种基于自适应联邦学习的协同目标跟踪方法、装置和设备。
5.一种自适应联邦学习的协同目标跟踪方法，所述方法包括：
6.根据部署在目标区域内的多个边缘设备，确定追随者节点列表，所述追随者节点列表包括多个追随者节点。
7.对每一个所述追随者节点的本地训练信息和声誉值的词典进行初始化。
8.在每个所述追随者节点上加载初始目标跟踪模型。
9.设置任期term；其中term为大于0小于任期阈值的整数。
10.在第一任期训练时term＝1，设置当前任期的全局模型的准确度为初始目标跟踪模型的准确度。
11.根据所述追随者节点列表、所述词典以及所述当前任期的全局模型的准确度，采用基于声誉机制的自适应候选节点选择方法，得到候选节点列表。
12.如果term＝1，则设置当前任期聚合节点为候选节点列表的第一个候选节点。
13.根据所述当前任期聚合节点和所述候选节点列表，采用聚合节点选择和模型聚合方法，得到当前任期的全局模型和下一任期聚合节点。
14.将所述初始目标跟踪模型更新为所述当前任期的全局模型，将所述当前任期的全局模型的准确度更新为当前任期的全局模型的准确度，将所述当前任期聚合节点跟新为下一任期聚合节点，term增加1，进入下一任期，直到term大于任期阈值，停止迭代训练，得到
最终协同目标跟踪模型。
15.采用所述最终协同目标跟踪模型对目标区域内的待跟踪目标进行跟踪，得到协同目标跟踪结果。
16.在其中一个实施例中，根据所述追随者节点列表、所述词典以及所述当前全局模型的准确度，采用基于声誉机制的自适应候选节点选择方法，得到候选节点列表；中所述基于声誉机制的自适应候选节点选择方法具体步骤包括：
17.初始化一个候选节点的列表。
18.判断所述追随者节点列表中的每一个追随者节点是否可以被选择为候选节点，如果一个节点从未被选择为候选节点，则将该追随者节点作为一个候选节点加入到候选者节点列表中；否则如果一个节点没有被选的次数少于3次，则将该追随者节点作为一个候选节点加入到所述候选者节点列表中；如果一个节点超过3次没有被选择为候选节点，则将追随者节点从群组中剔除。
19.根据所述候选者节点列表、所述词典、所述全局模型的准确度以及训练轮数，确定所述候选者节点列表中每个候选者节点的声誉值。
20.采用得到的声誉值更新所述词典中的声誉值属性。
21.在其中一个实施例中，根据所述候选者节点列表、所述词典、所述全局模型的准确度以及训练轮数，确定所述候选者节点列表中每个候选者节点的声誉值，包括：
22.根据所述候选者节点列表、所述词典、所述全局模型的准确度以及训练轮数，确定所述候选者节点列表中每个候选者节点的声誉值为：
[0023][0024]
其中，为第t轮训练中候选节点i的声誉值，为第(t-1)轮训练中候选节点i的声誉值，和avg
t
分别是候选节点i的本地模型的精确度和第t轮训练中所有候选节点的平均精确度；是全局模型在第(t-1)轮训练中的准确性，α、w1为全局参数。
[0025]
在其中一个实施例中，根据所述当前任期聚合节点和所述候选节点列表，采用聚合节点选择和模型聚合方法，得到当前任期的全局模型和下一任期聚合节点，步骤中聚合节点选择和模型聚合方法的具体步骤包括：
[0026]
根据所述候选节点列表中每个所述候选节点的剩余计算力和所述候选节点作为聚合节点时的通信延迟，得到每个所述候选节点的聚合能力值。
[0027]
计算所述当前任期聚合节点的聚合能力值。
[0028]
根据每个所述候选节点的聚合能力值和所述当前任期聚合节点的聚合能力值，选择聚合能力值最大的节点对应的候选节点为当前聚合节点。
[0029]
在每个所述候选节点采用本地数据对初始目标跟踪模型进行训练，得到每个候选节点的本地模型，
[0030]
将所有候选节点的本地模型在当前聚合节点进行聚合，得到第一轮全局训练的全局模型。
[0031]
将第一轮全局训练的全局模型加载到候选者节点列表中的每个候选节点中，继续进行下一轮全局训练，得到第二轮全局训练的全局模型，依此类推，直到全局训练轮数达到
预设阈值为止，得到当前任期的全局模型。
[0032]
在其中一个实施例中，根据所述候选节点列表中每个所述候选节点的剩余计算力和所述候选节点作为聚合节点时的通信延迟，得到每个所述候选节点的聚合能力值，包括：
[0033]
根据所述候选节点列表中每个所述候选节点的剩余计算力和所述候选节点作为聚合节点时的通信延迟，得到每个所述候选节点的聚合能力值为：
[0034]
capi＝w2*powi+(1-w2)*delayi[0035]
其中，powi为候选节点i剩余可用计算能力，delayi为当候选节点i为聚合节点时的通信延迟，w2为全局参数。
[0036]
在其中一个实施例中，候选节点i剩余可用计算能力为：
[0037]
powi＝routei*(1-cpui)
[0038]
其中routei是线程数，cpui是cpu的使用量。
[0039]
在其中一个实施例中，当候选节点i为聚合节点时的通信延迟为：
[0040]
delayi＝max(d
ij
*x/v)
[0041]
其中，d
ij
为节点i与节点j之间的距离，x为模型尺寸，v为网络传输速率。
[0042]
在其中一个实施例中，将所有候选节点的本地模型在当前聚合节点进行聚合，得到第一轮全局训练的全局模型，包括：
[0043]
设置全局聚合学习率。
[0044]
计算每个候选节点的本地模型的权重。
[0045]
根据全局聚合学习率、候选节点的本地模型的权重以及候选节点的本地模型的聚合权重，对上一轮的全局模型进行更新，得到第一轮全局训练的全局模型，其中，全局模型的更新公式为：
[0046]wepoch
＝w
epoch-1
+w_acc[c]*w[c]*γ
[0047]
其中，w
epoch
为当前轮全局训练的全局模型，w
epoch-1
为前一轮全局训练的全局模型，γ为全局聚合学习率，w[c]为第c个候选节点的本地模型的权重；w_acc[c]为第c个候选节点的聚合权重。
[0048]
一种自适应联邦学习的协同目标跟踪装置，所述装置包括：
[0049]
追随者节点列表确定模块，用于根据部署在目标区域内的多个边缘设备，确定追随者节点列表，所述追随者节点列表包括多个追随者节点。
[0050]
初始化模块，用于对每一个所述追随者节点的本地训练信息和声誉值的词典进行初始化；在每个所述追随者节点上加载初始目标跟踪模型；设置任期term；其中term为大于0小于任期阈值的整数；在第一任期训练时term＝1，设置当前全局模型的准确度为初始目标跟踪模型的准确度。
[0051]
候选节点列表选择模块，用于根据所述追随者节点列表、所述词典以及所述当前全局模型的准确度，采用基于声誉机制的自适应候选节点选择方法，得到候选节点列表。
[0052]
聚合节点选择及模型聚合模块，用于如果term＝1，则设置当前任期聚合节点为候选节点列表的第一个候选节点；根据所述当前任期聚合节点和所述候选节点列表，采用聚合节点选择和模型聚合方法，得到当前任期的全局模型和下一任期聚合节点；将初始目标跟踪模型更新为当前任期的全局模型，将当前全局模型的准确度更新为当前任期的全局模型的准确度，将所述当前任期聚合节点跟新为下一任期聚合节点，term增加1，进入下一任
期，直到term大于任期阈值，停止迭代训练，得到最终协同目标跟踪模型。
[0053]
协同目标跟踪模块，用于采用所述最终协同目标跟踪模型对目标区域内的待跟踪目标进行跟踪，得到协同目标跟踪结果。
[0054]
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一所述方法的步骤。
[0055]
上述基于自适应联邦学习的协同目标跟踪方法、装置和设备，所述方法将联邦学习引入该领域，根据边缘设备确定追随者节点，采用基于声誉机制的自适应候选节点选择方法从追随者节点中选择参与训练的候选节点，从候选节点中选择聚合节点，然后将模型分配到候选节点中进行本地局部训练，将每个候选节点更新后的参数将传输到聚合节点进行聚合，经过若干个任期训练后，得到最终协同目标跟踪模型，采用最终协同目标跟踪模型对目标区域内的待跟踪目标进行跟踪，得到协同目标跟踪结果。与最先进的现有方法相比，本方法具有相当甚至更好的精度，同时需要更少的数据传输成本和更少的时间消耗。
附图说明
[0056]
图1为一个实施例中自适应联邦学习的协同目标跟踪方法的流程示意图；
[0057]
图2为一个实施例中自适应联邦学习的协同目标跟踪方法的总体架构；
[0058]
图3为一个实施例中追随者节点、候选节点和聚合节点如何相互转换图；
[0059]
图4为一个实施例中自适应联邦学习的协同目标跟踪装置的结构框图；
[0060]
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
[0061]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0062]
本发明通过将联邦学习引入该领域，联邦学习(fl)框架可以完全匹配边缘协同目标跟踪的要求。一方面，fl大大减少了传输的数据量，同时提供了隐私保护。另一方面，fl可以实现训练过程的并行化，具有较高的收敛速度。
[0063]
本发明设计了一种自适应联邦学习的协同目标跟踪方法，称为fedtrack。该方法实现了在不传输原始数据的情况下对边缘设备的大量数据的协同训练。fedtrack的核心是提出了一种声誉机制，即仔细选择学习参与者，使无能力或恶意的客户不会参与学习进度。通过提高输入数据的可靠性和质量，fedtrack保证了模型的准确性，同时加快了训练过程。
[0064]
fedtrack方法中定义了三种类型的节点，即追随者节点、候选节点和聚合节点。追随者节点是愿意参与协同训练的数据所有者。候选节点是参与协同训练并充当进行本地训练的客户端。聚合节点执行模型聚合，并充当服务器。
[0065]
在一个实施例中，如图1、图2所示，提供了一种自适应联邦学习的协同目标跟踪方法，该方法包括以下步骤：
[0066]
步骤100：根据部署在目标区域内的多个边缘设备，确定追随者节点列表，追随者节点列表包括多个追随者节点。
[0067]
具体的，部署在目标区域内的多个边缘设备可以为但不限于移动设备、无人机、摄
像头、传感器和其他边缘设备。
[0068]
边缘设备中愿意并能够协作训练跟踪模型的设备将成为追随者节点。如图2所示，该相机不是一个追随者节点，因为它不能计算和存储。此外，将只选择具有足够声誉值的追随者节点作为允许参与训练的候选节点，通过评估候选节点的计算力和传输能力，从候选节点中选择聚合节点。通过联合考虑其本地模型的测试准确性和对全局模型的贡献来量化每个追随者的声誉。例如，图2中，将无人机作为聚合节点，完成模型的聚合和分布。
[0069]
步骤102：对每一个追随者节点的本地训练信息和声誉值的词典进行初始化；在每个追随者节点上加载初始目标跟踪模型；设置任期term；其中term为大于0小于任期阈值的整数。
[0070]
具体的，追随者节点、候选节点和聚合节点这些角色会定期更新。定义任期来描述一个节点可以充当当前角色的时间。为了简单起见，定义n轮全局训练是一个任期，其中n是一个整数。
[0071]
作为优选，加载的初始目标跟踪模型为初始的mdnet模型。给追随者节点加载初始的mdnet模型，但是并没有直接在跟随者节点进行本地训练，而是在对跟随者节点进行筛选后的候选节点上进行本地训练，得到本地模型。
[0072]
步骤104：在第一任期训练时term＝1，设置当前任期的全局模型的准确度为初始目标跟踪模型的准确度。
[0073]
步骤106：根据追随者节点列表、词典以及当前任期的全局模型的准确度，采用基于声誉机制的自适应候选节点选择方法，得到候选节点列表。
[0074]
具体的，在边缘环境中，节点是高度异构的，这意味着部分数据源可能不可靠或质量较低。因此，选择候选节点作为客户端是很重要的。这样做会带来两个好处。一方面，对恶意节点和低性能节点的修剪避免了它们对全局模型的负面影响。另一方面，由于聚合的本地模型较少，通信开销和训练时间都减少了。
[0075]
基于声誉机制的自适应候选节点选择方法用于根据追随者节点列表和词典中的关于节点的属性值，从追随者节点列表中进行选择，确定候选者节点列表，并计算更新每个候选节点的声誉值。
[0076]
步骤108：如果term＝1，则设置当前任期聚合节点为候选节点列表的第一个候选节点。
[0077]
步骤110：根据当前任期聚合节点和候选节点列表，采用聚合节点选择和模型聚合方法，得到当前任期的全局模型和下一任期聚合节点。
[0078]
具体的，聚合节点是从候选节点中选择的。聚合节点应该能够有效和经济地聚合本地模型。例如，在图2中，无人机作为聚合器节点来完成模型的聚合和分发。
[0079]
聚合节点选择和模型聚合方法用于通过计算所有候选节点的聚合能力值，从候选节点列表中选择聚合能力值最大的候选节点作为聚合节点，然后候选者节点列表中的所有候选节点中分别采用本地数据对初始目标跟踪模型进行本地训练，得到每个候选节点的本地模块，将所有本地模型在聚合节点中进行聚合，得到一轮全局训练的全局模型，将该轮全局训练的全局模型加载到候选节点列表中的所有候选节点中，继续进行本地训练，当全局训练的轮数达到预设值时停止训练，得到当前任期的全局模型。
[0080]
步骤112：将初始目标跟踪模型更新为当前任期的全局模型，将当前任期的全局模
型的准确度更新为当前任期的全局模型的准确度，将当前任期聚合节点跟新为下一任期聚合节点，term增加1，进入下一任期，直到term大于任期阈值，停止迭代训练，得到最终协同目标跟踪模型。
[0081]
具体的，如算法1所示，在每个任期内各个节点的角色不发生变化，但是当一个任期结束时，聚合节点和候选节点都将重新当选。因此，在新的任期中，聚合节点可能会退化为候选节点，而不合格的候选节点将被调整为追随者节点。通过这种方式，本方法能够修剪恶意和低端节点，并使用最合适的聚合节点聚合本地模型。算法1的伪代码如下所示。
[0082][0083][0084]
图3描述了追随者节点、候选节点和聚合节点如何相互转换。当一个追随者节点的声誉足够高时，就会被选为候选节点；通过评估其计算和传输的能力，将其升级为聚合节点。
[0085]
步骤114：采用最终协同目标跟踪模型对目标区域内的待跟踪目标进行跟踪，得到协同目标跟踪结果。
[0086]
上述自适应联邦学习的协同目标跟踪方法中，所述方法将联邦学习引入该领域，根据边缘设备确定追随者节点，采用基于声誉机制的自适应候选节点选择方法从追随者节点中选择参与训练的候选节点，从候选节点中选择聚合节点，然后将模型分配到候选节点中进行本地局部训练，将每个候选节点更新后的参数将传输到聚合节点进行聚合，经过若干个任期训练后，得到最终协同目标跟踪模型，采用最终协同目标跟踪模型对目标区域内的待跟踪目标进行跟踪，得到协同目标跟踪结果。与最先进的现有方法相比，本方法具有相
当甚至更好的精度，同时需要更少的数据传输成本和更少的时间消耗。
[0087]
在其中一个实施例中，步骤106中基于声誉机制的自适应候选节点选择方法具体步骤包括：
[0088]
步骤200：初始化一个候选节点的列表。
[0089]
步骤202：判断追随者节点列表中的每一个追随者节点是否可以被选择为候选节点，如果一个节点从未被选择为候选节点，则将该追随者节点作为一个候选节点加入到候选者节点列表中；否则如果一个节点没有被选的次数少于3次，则将该追随者节点作为一个候选节点加入到候选者节点列表中；如果一个节点超过3次没有被选择为候选节点，则将追随者节点从群组中剔除。
[0090]
步骤204：根据候选者节点列表、词典、全局模型的准确度以及训练轮数，确定候选者节点列表中每个候选者节点的声誉值。
[0091]
步骤206：采用得到的声誉值更新词典中的声誉值属性。
[0092]
在其中一个实施例中，步骤204包括：根据候选者节点列表、词典、全局模型的准确度以及训练轮数，确定候选者节点列表中每个候选者节点的声誉值为：
[0093][0094]
其中，为第t轮训练中候选节点i的声誉值，为第(t-1)轮训练中候选节点i的声誉值，和avg
t
分别是候选节点i的本地模型的精确度和第t轮训练中所有候选节点的平均精确度；是全局模型在第(t-1)轮训练中的准确性，α、w1为全局参数。式(1)中表示在本轮训练中节点i的本地模型的测试精度和所有节点的平均测试精度之间的差距；表示通过这轮的训练节点i能提高多少精度，也会受到其在上一轮训练中的声誉的影响。通过将上述权重不同的部分相加，最终可以得到的值。
[0095]
在一个具体的实施例中，根据声誉的定义，算法2详细说明了候选节点选择策略。该算法的第一部分将创建并维护一个候选节点的列表。如第2-10行所示，如果从未选择一个追随者节点，则它将直接变为一个候选节点。相反，一旦追随者节点没有被选中三次，它将被踢出群组。第二部分是节点是否被选中的依据，对应第11-14行通过计算其信誉。如果节点的信誉值达到聚合器的60％，则认为性能良好，可以参与训练。否则，它不会被选为候选人。
[0096][0097][0098]
在其中一个实施例中，步骤110中聚合节点选择和模型聚合方法的具体步骤包括：
[0099]
步骤300：根据候选节点列表中每个候选节点的剩余计算力和候选节点作为聚合节点时的通信延迟，得到每个候选节点的聚合能力值。
[0100]
步骤302：计算当前任期聚合节点的聚合能力值。
[0101]
步骤304：根据每个候选节点的聚合能力值和当前任期聚合节点的聚合能力值，选择聚合能力值最大的节点对应的候选节点为当前聚合节点。
[0102]
步骤306：在每个候选节点采用本地数据对初始目标跟踪模型进行训练，得到每个候选节点的本地模型，
[0103]
步骤308：将所有候选节点的本地模型在当前聚合节点进行聚合，得到第一轮全局训练的全局模型。
[0104]
步骤310：将第一轮全局训练的全局模型加载到候选者节点列表中的每个候选节点中，继续进行下一轮全局训练，得到第二轮全局训练的全局模型，依此类推，直到全局训练轮数达到预设阈值为止，得到当前任期的全局模型。
[0105]
全局聚合机制的伪代码如下所示。全局聚合机制主要由两部分组成。其中一部分是选择聚合器节点，对应于行2-7。基于公式2，每个候选节点都会计算聚合能力值。算法3指定了我们的全局聚合机制。它主要由两部分组成。其中一部分是选择聚合器节点，对应于行2-7。基于公式2，每个候选节点计算聚合能力值，用其信誉值构造一个令牌，然后聚合能力值广播它。每个节点将接收到的令牌与存储的令牌进行比较和迭代，保留具有最高聚合能力值的令牌，并维护信誉值的全局列表。该节点将签名并广播最终存储的令牌。如果超过一半的选举结果选择了相同的令牌，则主节点为与该令牌对应的节点，则选举即完成。另一部分是完整的完整过程，主要反映在第8-15行。根据公式1，声誉值与候选节点对全局模型的贡献相关联。因此，在每一轮全局聚合中，根据聚合器节点维护的声誉值列表，将聚合权重分配给其他参与节点。
[0106][0107][0108]
在其中一个实施例中，步骤300包括：根据候选节点列表中每个候选节点的剩余计
算力和候选节点作为聚合节点时的通信延迟，得到每个候选节点的聚合能力值为：
[0109]
capi＝w2*powi+(1-w2)*delayiꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0110]
其中，powi为候选节点i剩余可用计算能力，delayi为当候选节点i为聚合节点时的通信延迟，w2为全局参数。
[0111]
在其中一个实施例中，候选节点i剩余可用计算能力为：
[0112]
powi＝routei*(1-cpui)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0113]
其中routei是线程数，cpui是cpu的使用量。
[0114]
在其中一个实施例中，当候选节点i为聚合节点时的通信延迟为：
[0115]
delayi＝max(d
ij
*x/v)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0116]
其中，d
ij
为节点i与节点j之间的距离，x为模型尺寸，v为网络传输速率。
[0117]
在其中一个实施例中，步骤308包括：设置全局聚合学习率；计算每个候选节点的本地模型的权重；根据全局聚合学习率、候选节点的本地模型的权重以及候选节点的本地模型的聚合权重，对上一轮的全局模型进行更新，得到第一轮全局训练的全局模型，其中，全局模型的更新公式为：
[0118]wepoch
＝w
epoch-1
+w_acc[c]*w[c]*γ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0119]
其中，w
epoch
为当前轮全局训练的全局模型，w
epoch-1
为前一轮全局训练的全局模型，γ为全局聚合学习率，w[c]为第c个候选节点的本地模型的权重；w_acc[c]为第c个候选节点的聚合权重。
[0120]
具体的，为协作培训的参与者提供合理的奖励，有利于激励体系的持续稳定运行。对于这三个不同的节点，系统有不同的激励措施。其中，追随者节点对系统没有实际的贡献，而是通过局部训练消耗自己的计算能力。对于这样的节点，只需要补偿计算功耗，它们贡献的数据也应该得到奖励。对于支持全局模型的候选节点，奖励应根据声誉值归一化后的结果(即每个声誉值除以它们之和)进行分配。对于聚合节点，除本地训练外，还承担全局聚合工作，应获得额外的奖励。奖励将在每一轮全局训练结束时进行分配。
[0121]
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0122]
在一个实施例中，如图4所示，提供了一种自适应联邦学习的协同目标跟踪装置，包括：追随者节点列表确定模块、b模块和c模块，其中：
[0123]
追随者节点列表确定模块，用于根据部署在目标区域内的多个边缘设备，确定追随者节点列表，追随者节点列表包括多个追随者节点。
[0124]
初始化模块，用于对每一个追随者节点的本地训练信息和声誉值的词典进行初始化；在每个追随者节点上加载初始目标跟踪模型；设置任期term；其中term为大于0小于任期阈值的整数；在第一任期训练时term＝1，设置当前全局模型的准确度为初始目标跟踪模型的准确度。
[0125]
候选节点列表选择模块，用于根据追随者节点列表、词典以及当前全局模型的准
确度，采用基于声誉机制的自适应候选节点选择方法，得到候选节点列表。
[0126]
聚合节点选择及模型聚合模块，用于如果term＝1，则设置当前任期聚合节点为候选节点列表的第一个候选节点；根据当前任期聚合节点和候选节点列表，采用聚合节点选择和模型聚合方法，得到当前任期的全局模型和下一任期聚合节点；将初始目标跟踪模型更新为当前任期的全局模型，将当前全局模型的准确度更新为当前任期的全局模型的准确度，将当前任期聚合节点跟新为下一任期聚合节点，term增加1，进入下一任期，直到term大于任期阈值，停止迭代训练，得到最终协同目标跟踪模型。
[0127]
协同目标跟踪模块，用于采用最终协同目标跟踪模型对目标区域内的待跟踪目标进行跟踪，得到协同目标跟踪结果。
[0128]
在其中一个实施例中，候选节点列表选择模块中基于声誉机制的自适应候选节点选择方法，用于初始化一个候选节点的列表；判断追随者节点列表中的每一个追随者节点是否可以被选择为候选节点，如果一个节点从未被选择为候选节点，则将该追随者节点作为一个候选节点加入到候选者节点列表中；否则如果一个节点没有被选的次数少于3次，则将该追随者节点作为一个候选节点加入到候选者节点列表中；如果一个节点超过3次没有被选择为候选节点，则将该追随者节点从群组中剔除；根据候选者节点列表、词典、全局模型的准确度以及训练轮数，确定候选者节点列表中每个候选者节点的声誉值；采用得到的声誉值更新词典中的声誉值属性。
[0129]
在其中一个实施例中，候选节点列表选择模块，还用于根据候选者节点列表、词典、全局模型的准确度以及训练轮数，确定候选者节点列表中每个候选者节点的声誉值的表达式如式(1)所示。
[0130]
在其中一个实施例中，聚合节点选择及模型聚合模块中聚合节点选择和模型聚合方法用于根据候选节点列表中每个候选节点的剩余计算力和候选节点作为聚合节点时的通信延迟，得到每个候选节点的聚合能力值；计算当前任期聚合节点的聚合能力值；根据每个候选节点的聚合能力值和当前任期聚合节点的聚合能力值，选择聚合能力值最大的节点对应的候选节点为当前聚合节点；在每个候选节点采用本地数据对初始目标跟踪模型进行训练，得到每个候选节点的本地模型；将所有候选节点的本地模型在当前聚合节点进行聚合，得到第一轮全局训练的全局模型；将第一轮全局训练的全局模型加载到候选者节点列表中的每个候选节点中，继续进行下一轮全局训练，得到第二轮全局训练的全局模型，依此类推，直到全局训练轮数达到预设阈值为止，得到当前任期的全局模型。
[0131]
在其中一个实施例中，聚合节点选择及模型聚合模块，还用于根据候选节点列表中每个候选节点的剩余计算力和候选节点作为聚合节点时的通信延迟，得到每个候选节点的聚合能力值的表达式如式(2)所示。
[0132]
在其中一个实施例中，聚合节点选择及模型聚合模块中候选节点i剩余可用计算能力的表达式如式(3)所示。
[0133]
在其中一个实施例中，聚合节点选择及模型聚合模块中当候选节点i为聚合节点时的通信延迟的表达式如式(4)所示。
[0134]
在其中一个实施例中，聚合节点选择及模型聚合模块，还用于设置全局聚合学习率；计算每个候选节点的本地模型的权重；根据全局聚合学习率、候选节点的本地模型的权重以及候选节点的本地模型的聚合权重，对上一轮的全局模型进行更新，得到第一轮全局
训练的全局模型，其中，全局模型的更新公式如式(5)所示。
[0135]
关于自适应联邦学习的协同目标跟踪装置的具体限定可以参见上文中对于自适应联邦学习的协同目标跟踪方法的限定，在此不再赘述。上述自适应联邦学习的协同目标跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0136]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种自适应联邦学习的协同目标跟踪方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0137]
本领域技术人员可以理解，图5中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0138]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
[0139]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0140]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0141]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。

技术特征：
1.一种自适应联邦学习的协同目标跟踪方法，其特征在于，所述方法包括：根据部署在目标区域内的多个边缘设备，确定追随者节点列表，所述追随者节点列表包括多个追随者节点；对每一个所述追随者节点的本地训练信息和声誉值的词典进行初始化；在每个所述追随者节点上加载初始目标跟踪模型；设置任期term；其中term为大于0小于任期阈值的整数；在第一任期训练时term＝1，设置当前任期的全局模型的准确度为初始目标跟踪模型的准确度；根据所述追随者节点列表、所述词典以及所述当前任期的全局模型的准确度，采用基于声誉机制的自适应候选节点选择方法，得到候选节点列表；如果term＝1，则设置当前任期聚合节点为候选节点列表的第一个候选节点；根据所述当前任期聚合节点和所述候选节点列表，采用聚合节点选择和模型聚合方法，得到当前任期的全局模型和下一任期聚合节点；将所述初始目标跟踪模型更新为所述当前任期的全局模型，将所述当前任期的全局模型的准确度更新为当前任期的全局模型的准确度，将所述当前任期聚合节点跟新为下一任期聚合节点，term增加1，进入下一任期，直到term大于任期阈值，停止迭代训练，得到最终协同目标跟踪模型；采用所述最终协同目标跟踪模型对目标区域内的待跟踪目标进行跟踪，得到协同目标跟踪结果。2.根据权利要求1所述的方法，其特征在于，根据所述追随者节点列表、所述词典以及所述当前全局模型的准确度，采用基于声誉机制的自适应候选节点选择方法，得到候选节点列表；中所述基于声誉机制的自适应候选节点选择方法具体步骤包括：初始化一个候选节点的列表；判断所述追随者节点列表中的每一个追随者节点是否可以被选择为候选节点，如果一个节点从未被选择为候选节点，则将该追随者节点作为一个候选节点加入到候选者节点列表中；否则如果一个节点没有被选的次数少于3次，则将该追随者节点作为一个候选节点加入到所述候选者节点列表中；如果一个节点超过3次没有被选择为候选节点，则将该追随者节点从群组中剔除；根据所述候选者节点列表、所述词典、所述全局模型的准确度以及训练轮数，确定所述候选者节点列表中每个候选者节点的声誉值；采用得到的声誉值更新所述词典中的声誉值属性。3.根据权利要求2所述的方法，其特征在于，根据所述候选者节点列表、所述词典、所述全局模型的准确度以及训练轮数，确定所述候选者节点列表中每个候选者节点的声誉值，包括：根据所述候选者节点列表、所述词典、所述全局模型的准确度以及训练轮数，确定所述候选者节点列表中每个候选者节点的声誉值为：其中，为第t轮训练中候选节点i的声誉值，为第(t-1)轮训练中候选节点i
的声誉值，和avg
t
分别是候选节点i的本地模型的精确度和第t轮训练中所有候选节点的平均精确度；是全局模型在第(t-1)轮训练中的准确性，α、w1为全局参数。4.根据权利要求1所述的方法，其特征在于，根据所述当前任期聚合节点和所述候选节点列表，采用聚合节点选择和模型聚合方法，得到当前任期的全局模型和下一任期聚合节点，步骤中聚合节点选择和模型聚合方法的具体步骤包括：根据所述候选节点列表中每个所述候选节点的剩余计算力和所述候选节点作为聚合节点时的通信延迟，得到每个所述候选节点的聚合能力值；计算所述当前任期聚合节点的聚合能力值；根据每个所述候选节点的聚合能力值和所述当前任期聚合节点的聚合能力值，选择聚合能力值最大的节点对应的候选节点为当前聚合节点；在每个所述候选节点采用本地数据对初始目标跟踪模型进行训练，得到每个候选节点的本地模型，将所有候选节点的本地模型在当前聚合节点进行聚合，得到第一轮全局训练的全局模型；将第一轮全局训练的全局模型加载到候选者节点列表中的每个候选节点中，继续进行下一轮全局训练，得到第二轮全局训练的全局模型，依此类推，直到全局训练轮数达到预设阈值为止，得到当前任期的全局模型。5.根据权利要求4所述的方法，其特征在于，根据所述候选节点列表中每个所述候选节点的剩余计算力和所述候选节点作为聚合节点时的通信延迟，得到每个所述候选节点的聚合能力值，包括：根据所述候选节点列表中每个所述候选节点的剩余计算力和所述候选节点作为聚合节点时的通信延迟，得到每个所述候选节点的聚合能力值为：cap
i
＝w2*pow
i
+(1-w2)*delay
i
其中，pow
i
为候选节点i剩余可用计算能力，delay
i
为当候选节点i为聚合节点时的通信延迟，w2为全局参数。6.根据权利要求5所述的方法，其特征在于，候选节点i剩余可用计算能力为：pow
i
＝route
i
*(1-cpu
i
)其中route
i
是线程数，cpu
i
是cpu的使用量。7.根据权利要求5所述的方法，其特征在于，当候选节点i为聚合节点时的通信延迟为：delay
i
＝max(d
ij
*x/v)其中，d
ij
为节点i与节点j之间的距离，x为模型尺寸，v为网络传输速率。8.根据权利要求4所述的方法，其特征在于，将所有候选节点的本地模型在当前聚合节点进行聚合，得到第一轮全局训练的全局模型，包括：设置全局聚合学习率；计算每个候选节点的本地模型的权重；根据全局聚合学习率、候选节点的本地模型的权重以及候选节点的本地模型的聚合权重，对上一轮的全局模型进行更新，得到第一轮全局训练的全局模型，其中，全局模型的更新公式为：
w
epoch
＝w
epoch-1
+w_acc[c]*w[c]*γ其中，w
epoch
为当前轮全局训练的全局模型，w
epoch-1
为前一轮全局训练的全局模型，γ为全局聚合学习率，w[c]为第c个候选节点的本地模型的权重；w_acc[c]为第c个候选节点的聚合权重。9.一种自适应联邦学习的协同目标跟踪装置，其特征在于，所述装置包括：追随者节点列表确定模块，用于根据部署在目标区域内的多个边缘设备，确定追随者节点列表，所述追随者节点列表包括多个追随者节点；初始化模块，用于对每一个所述追随者节点的本地训练信息和声誉值的词典进行初始化；在每个所述追随者节点上加载初始目标跟踪模型；设置任期term；其中term为大于0小于任期阈值的整数；在第一任期训练时term＝1，设置当前全局模型的准确度为初始目标跟踪模型的准确度；候选节点列表选择模块，用于根据所述追随者节点列表、所述词典以及所述当前全局模型的准确度，采用基于声誉机制的自适应候选节点选择方法，得到候选节点列表；聚合节点选择及模型聚合模块，用于如果term＝1，则设置当前任期聚合节点为候选节点列表的第一个候选节点；根据所述当前任期聚合节点和所述候选节点列表，采用聚合节点选择和模型聚合方法，得到当前任期的全局模型和下一任期聚合节点；将初始目标跟踪模型更新为当前任期的全局模型，将当前全局模型的准确度更新为当前任期的全局模型的准确度，将所述当前任期聚合节点跟新为下一任期聚合节点，term增加1，进入下一任期，直到term大于任期阈值，停止迭代训练，得到最终协同目标跟踪模型；协同目标跟踪模块，用于采用所述最终协同目标跟踪模型对目标区域内的待跟踪目标进行跟踪，得到协同目标跟踪结果。10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法。

技术总结
本申请涉及视觉监控技术领域的一种基于自适应联邦学习的协同目标跟踪方法、装置和设备，所述方法将联邦学习引入该领域，根据边缘设备确定追随者节点，采用基于声誉机制的自适应候选节点选择方法从追随者节点中选择参与训练的候选节点，从候选节点中选择聚合节点，然后将模型分配到候选节点中进行本地局部训练，将每个候选节点更新后的参数将传输到聚合节点进行聚合，经过若干个任期训练后，得到最终协同目标跟踪模型，采用最终协同目标跟踪模型对目标区域内的待跟踪目标进行跟踪，得到协同目标跟踪结果。与最先进的现有方法相比，本方法具有相当甚至更好的精度，同时需要更少的数据传输成本和更少的时间消耗。数据传输成本和更少的时间消耗。数据传输成本和更少的时间消耗。


技术研发人员：罗来龙 潘永淇 刘毅 程子文 朱承 武德峰
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：2023.04.14
技术公布日：2023/7/12