联邦训练方法、数据分析方法及装置、介质以及电子设备与流程

1.本公开涉及计算机技术领域，具体而言，涉及一种联邦训练方法、数据分析方法、联邦训练装置、数据分析装置、计算机可读存储介质及电子设备。


背景技术：

2.随着通信业务的快速发展，通常需要对用户数据进行分析，以便提供更好的服务。
3.在相关技术中，在需要执行数据分析任务时，可以从终端设备中采集数据分析任务对应的用户数据，并将该些用户数据上传至数据分析网元，在数据分析网元中进行模型训练的过程，可以在用户数据不出本地的前提下通过多个终端设备实现模型训练。
4.然而，相关技术中的方案，参与模型训练的终端之间差别通常较大。例如从地域分布的角度而言，一些终端位于城市，另一些终端位置农村。在终端之间的差别较大时，可能导致联邦学习的收敛速度较慢，或者，训练得到的模型的整体性较差，进而使得训练得到的模型在进行数据分析时的效果较差。
5.需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

6.本公开的目的在于提供一种联邦训练方法及联邦训练装置、计算机可读存储介质及电子设备，可以解决现有技术中联邦训练得到的模型的整体性较差的问题。
7.本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
8.根据本公开的第一方面，提供了一种联邦训练方法，包括：获取多个联邦训练终端的终端特征信息，根据终端特征信息将多个联邦训练终端划分为多个联邦训练组；根据终端特征信息以及多个联邦训练组得到待训练模型；其中，待训练模型中包括骨干网络以及多个联邦训练组对应的头部网络；将骨干网络和各联邦训练终端对应的头部网络下发至各联邦训练终端，以使各联邦训练终端根据联邦训练终端的终端数据对骨干网络和各联邦训练终端对应的头部网络进行训练，得到各联邦训练终端的模型训练参数；接收多个联邦训练终端返回的模型训练参数，对多个模型训练参数进行聚合得到更新后的待训练模型；向各联邦训练终端下发更新后的待训练模型；重复上述步骤，直至待训练模型的训练过程满足收敛条件，将最后一次聚合得到的待训练模型确定为执行数据分析任务的数据分析模型。
9.在本公开的一种示例性实施例中，基于前述方案，模型训练参数中包括骨干网络的模型训练参数以及各联邦训练组对应的头部网络的模型训练参数，对多个模型训练参数进行聚合得到更新后的待训练模型，包括：对骨干网络的模型训练参数，以及各联邦训练组对应的头部网络的模型训练参数进行聚合得到更新后的待训练模型。
10.在本公开的一种示例性实施例中，基于前述方案，获取联邦训练的全局训练轮次；
在联邦训练的全局训练轮次满足预设条件时，向各联邦训练终端下发更新后各联邦训练终端对应的头部网络，以使各联邦训练终端根据联邦训练终端的终端数据对各联邦训练终端对应的头部网络进行训练，得到各联邦训练终端的模型训练参数。
11.在本公开的一种示例性实施例中，基于前述方案，对多个模型训练参数进行聚合得到更新后的待训练模型，包括：对各联邦训练组对应的头部网络的模型训练参数进行聚合得到更新后的头部网络；根据固定后的骨干网络以及更新后的头部网络确定更新后的待训练模型。
12.在本公开的一种示例性实施例中，基于前述方案，在联邦训练的全局训练轮次满足预设条件时，向各联邦训练终端下发更新后各联邦训练终端对应的头部网络，包括：确定待训练模型对应的骨干网络固定轮次；在联邦训练的全局训练轮次大于骨干网络固定轮次时，向各联邦训练终端下发更新后各联邦训练终端对应的头部网络。
13.根据本公开的第二方面，提供了一种数据分析方法，包括：接收终端设备发送的数据分析请求，确定终端设备所属的联邦训练组；其中，数据分析请求包括所要进行分析的目标数据；将目标数据输入数据分析模型，通过数据分析模型中的骨干网络以及联邦训练组对应的头部网络对目标数据进行分析得到数据分析结果；其中，数据分析模型是通过如上述任意一项的联邦训练方法训练得到的。
14.根据本公开的第三方面，提供了一种联邦训练装置，包括：联邦训练组划分模块，用于获取多个联邦训练终端的终端特征信息，根据终端特征信息将多个联邦训练终端划分为多个联邦训练组；待训练模型生成模块，用于根据终端特征信息以及多个联邦训练组得到待训练模型；其中，待训练模型中包括骨干网络以及多个联邦训练组对应的头部网络；网络下发模块，用于将骨干网络和各联邦训练终端对应的头部网络下发至各联邦训练终端，以使各联邦训练终端根据联邦训练终端的终端数据对骨干网络和各联邦训练终端对应的头部网络进行训练，得到各联邦训练终端的模型训练参数；模型聚合模块，用于接收多个联邦训练终端返回的模型训练参数，对多个模型训练参数进行聚合得到更新后的待训练模型；下发模块，用于向各联邦训练终端下发更新后的待训练模型；模型训练模块，用于重复上述步骤，直至待训练模型的训练过程满足收敛条件，将最后一次聚合得到的待训练模型确定为执行数据分析任务的数据分析模型。
15.根据本公开的第四方面，提供了一种数据分析模型分析装置，包括：分析请求接收模块，用于接收终端设备发送的数据分析请求，确定终端设备所属的联邦训练组；其中，数据分析请求包括所要进行分析的目标数据；数据分析模块，用于将目标数据输入数据分析模型，通过数据分析模型中的骨干网络以及联邦训练组对应的头部网络对目标数据进行分析得到数据分析结果；其中，数据分析模型是通过如上述任意一项的联邦训练方法训练得到的。
16.根据本公开的第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现如上述实施例中第一方面的联邦训练方法或第二方面的数据分析方法。
17.根据本公开的第六方面，提供了一种电子设备，包括：
18.一个或多个处理器；以及
19.存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执
行时，使得一个或多个处理器实现如上述实施例中第一方面的联邦训练方法或第二方面的数据分析方法。
20.本公开实施例提供的技术方案可以包括以下有益效果：
21.本公开的一种实施例提供的联邦训练方法或数据分析方法中，可以获取多个联邦训练终端的终端特征信息，根据终端特征信息将多个联邦训练终端划分为多个联邦训练组，根据终端特征信息以及多个联邦训练组得到待训练模型，将骨干网络和各联邦训练终端对应的头部网络下发至各联邦训练终端，以使各联邦训练终端根据联邦训练终端的终端数据对骨干网络和各联邦训练终端对应的头部网络进行训练，得到各联邦训练终端的模型训练参数，接收多个联邦训练终端返回的模型训练参数，对多个模型训练参数进行聚合得到更新后的待训练模型，向各联邦训练终端下发更新后的待训练模型，重复上述步骤，直至待训练模型的训练过程满足收敛条件，将最后一次聚合得到的待训练模型确定为执行数据分析任务的数据分析模型。
22.通过本公开的方案，可以将不同的终端划分到不同的联邦训练组中，针对各联邦训练组分别配置不同的头部网络，在进行训练时，针对头部网络以及骨干网络共同训练。一方面，避免了多个参与训练的终端的差别较大的问题，将终端划分为多个组，通过组内的多个终端训练骨干网络以及各组对应的头部网络，提升了学习的收敛速度，并提升了模型的整体性；另一方面，通过此种方式训练得到的数据分析模型，在进行数据分析任务时的结果更为准确。
23.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
24.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
25.图1示意性示出了可以应用本公开实施例中联邦训练方法的流程图；
26.图2示意性示出本公开示例性实施例中在联邦训练的全局训练轮次满足预设条件时，向各联邦训练终端下发更新后各联邦训练终端对应的头部网络的流程图；
27.图3示意性示出本公开示例性实施例中根据固定后的骨干网络以及更新后的头部网络确定更新后的待训练模型的流程图；
28.图4示意性示出本公开示例性实施例中向各联邦训练终端下发更新后各联邦训练终端对应的头部网络的流程图；
29.图5示意性示出本公开示例性实施例中通过数据分析模型中的骨干网络以及联邦训练组对应的头部网络对目标数据进行分析得到数据分析结果的流程图；
30.图6示意性示出本公开示例性实施例中数据分析模型的示意图；
31.图7示意性示出本公开示例性实施例中另一种联邦训练方法；
32.图8示意性示出本公开示例性实施例中一种联邦训练装置的组成示意图；
33.图9示意性示出本公开示例性实施例中一种数据分析装置的组成示意图；
34.图10示意性示出了适于用来实现本公开示例性实施例的电子设备的计算机系统的结构示意图。
具体实施方式
35.现在将参照附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本公开的各方面。
36.附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
37.随着通信业务的快速发展，通常需要对用户数据进行分析，以便提供更好的服务。
38.在相关技术中，在需要执行数据分析任务时，可以从终端设备中采集数据分析任务对应的用户数据，并将该些用户数据上传至数据分析网元，在数据分析网元中进行模型训练的过程，可以在用户数据不出本地的前提下通过多个终端设备实现模型训练。
39.然而，相关技术中的方案，参与模型训练的终端之间差别通常较大。例如从地域分布的角度而言，一些终端位于城市，另一些终端位置农村。在终端之间的差别较大时，可能导致联邦学习的收敛速度较慢，或者，训练得到的模型的整体性较差，进而使得训练得到的模型在进行数据分析时的效果较差。
40.根据本示例性实施例中所提供的联邦训练方法中，可以获取多个联邦训练终端的终端特征信息，根据终端特征信息将多个联邦训练终端划分为多个联邦训练组；根据终端特征信息以及多个联邦训练组得到待训练模型；其中，待训练模型中包括骨干网络以及多个联邦训练组对应的头部网络；将骨干网络和各联邦训练终端对应的头部网络下发至各联邦训练终端，以使各联邦训练终端根据联邦训练终端的终端数据对骨干网络和各联邦训练终端对应的头部网络进行训练；接收多个联邦训练终端返回的模型训练参数，对多个模型训练参数进行聚合得到更新后的待训练模型；向各联邦训练终端下发更新后的待训练模型；重复上述步骤，直至待训练模型的训练过程满足收敛条件，将最后一次聚合得到的待训练模型确定为执行数据分析任务的数据分析模型。如图1所示，该联邦训练方法可以包括以下步骤：
41.步骤s110，获取多个联邦训练终端的终端特征信息，根据终端特征信息将多个联邦训练终端划分为多个联邦训练组；
42.步骤s120，根据终端特征信息以及多个联邦训练组得到待训练模型；其中，待训练模型中包括骨干网络以及多个联邦训练组对应的头部网络；
43.步骤s130，将骨干网络和各联邦训练终端对应的头部网络下发至各联邦训练终端，以使各联邦训练终端根据联邦训练终端的终端数据对骨干网络和各联邦训练终端对应的头部网络进行训练，得到各联邦训练终端的模型训练参数；其中，模型训练参数包括更新后的骨干网络以及更新后的各联邦训练组对应的头部网络；
44.步骤s140，接收多个联邦训练终端返回的模型训练参数，对多个模型训练参数进行聚合得到更新后的待训练模型；
45.步骤s150，向各联邦训练终端下发更新后的待训练模型；
46.步骤s160，重复上述步骤，直至待训练模型的训练过程满足收敛条件，将最后一次聚合得到的待训练模型确定为执行数据分析任务的数据分析模型。
47.通过本公开的方案，可以将不同的终端划分到不同的联邦训练组中，针对各联邦训练组分别配置不同的头部网络，在进行训练时，针对头部网络以及骨干网络共同训练。一方面，避免了多个参与训练的终端的差别较大的问题，将终端划分为多个组，通过组内的多个终端训练骨干网络以及各组对应的头部网络，提升了学习的收敛速度，并提升了模型的整体性；另一方面，通过此种方式训练得到的数据分析模型，在进行数据分析任务时的结果更为准确。
48.本公开的方案，可以应用于5g(5th generation mobile networks，第五代移动通信网络)网络中多个ai(artificial intelligence，人工智能)网元之间的联邦学习场景，例如多个nwdaf(network data analytics function，网络数据分析功能)之间进行联邦学习；本公开的方案，还可以应用于无线网络中的联邦学习场景；本公开的方案，还可以6g网络中，各个ai网元之间协同进行联邦训练的场景。
49.需要说明的是，本公开对于应用场景并不做特殊限定。
50.下面，将结合附图及实施例对本示例性实施例中的联邦训练方法的步骤s110～s160进行更详细的说明。
51.步骤s110，获取多个联邦训练终端的终端特征信息，根据终端特征信息将多个联邦训练终端划分为多个联邦训练组；
52.在本公开的一种示例实施例中，可以获取多个联邦训练终端的终端特征信息。具体的，联邦训练终端可以包括多种类型的本地终端，例如，命令行界面终端、图形化用户界面终端、远程终端以及web终端等。需要说明的是，本公开对于联邦训练终端的具体类型并不做特殊限定。
53.在本公开的一种示例实施例中，可以获取联邦训练终端的终端特征信息。具体的，联邦训练终端的终端特征信息可以用于指示该联邦训练终端的相关信息。
54.举例而言，联邦训练终端的终端特征信息可以包括位置信息、繁忙时间信息、空闲时间信息、数据量信息、数据类型信息、本地算力信息等。
55.需要说明的是，本公开对于联邦训练终端的终端特征信息的具体类型并不做特殊限定。
56.在本公开的一种示例实施例中，在通过上述步骤得到多个联邦训练终端的终端特征信息之后，可以根据终端特征信息将多个联邦训练终端划分为多个联邦训练组。具体的，可以根据一种类型的终端特征信息将多个联邦训练终端划分为多个联邦训练组，或者，还可以根据多种类型的终端特征信息将多个联邦训练终端划分为多个联邦训练组。
57.举例而言，终端特征信息为位置信息，即终端特征信息可以用于指示联邦训练终端所处的位置，可以根据该位置信息将多个联邦训练终端划分为多个联邦训练组。例如，可以将属于同一地区的联邦训练终端划分到同一个联邦训练组中。
58.需要说明的是，本公开对于根据终端特征信息将多个联邦训练终端划分为多个联邦训练组的具体方式并不做特殊限定。
59.步骤s120，根据终端特征信息以及多个联邦训练组得到待训练模型；
60.在本公开的一种示例实施例中，在通过上述步骤将多个联邦训练终端划分为多个联邦训练组之后，可以根据终端特征信息以及多个联邦训练组得到待训练模型。具体的，骨干网络是指各联邦训练终端在训练过程中所共用的网络部分，各联邦训练组对应的头部网络是指各联邦训练终端在训练过程中单独应用的网络部分。
61.在本公开的一种示例实施例中，在确定多个联邦训练组之后，可以根据终端特征信息以及多个联邦训练组生成待训练模型，具体而言，待训练模型中的各联邦训练组对应的头部网络的生成方式与各联邦训练组以及各联邦训练组中的联邦训练终端的终端特征信息相关。
62.进一步的，可以根据终端特征信息以及多个联邦训练组确定待训练模型的头部网络的个数、各个头部网络的具体拓扑结构、骨干网络的拓扑结构、联邦学习超参数等。具体而言，每个联邦训练组对应一个头部网络，头部网络的个数与联邦训练组的分组数一致。头部网络的具体拓扑结构包括网络层数、网络层与层的连接方式、参数个数等，可以根据联邦训练组的特征确定头部网络的结构。骨干网络的拓扑结构包括网络层数、层与层的连接方式、参数个数等。联邦学习超参数包括学习率、数据批量大小、丢弃率、本地训练轮次等等。
63.例如，联邦训练组对应的数据与时间相关性较大，可以考虑时间敏感的模型结构；联邦训练组所包括的联邦训练终端的算力较低或数据量较小，可以考虑减小头模型的大小等。
64.步骤s130，将骨干网络和各联邦训练终端对应的头部网络下发至各联邦训练终端，以使各联邦训练终端根据联邦训练终端的终端数据对骨干网络和各联邦训练终端对应的头部网络进行训练，得到各联邦训练终端的模型训练参数；
65.在本公开的一种示例实施例中，在通过上述步骤得到待训练模型之后，可以将骨干网络和各联邦训练终端对应的头部网络下发至各联邦训练终端。其中，联邦训练终端对应的头部网络是指，该联邦训练终端对应一联邦训练组，联邦训练组对应有一头部网络，可以将该联邦训练组对应的头部网络作为联邦训练终端对应的头部网络。
66.具体而言，在判断本次对联邦训练终端下发骨干网络和各联邦训练终端对应的头部网络，还是仅向联邦训练终端下发各联邦训练终端对应的头部网络时，可以根据骨干网络固定轮次进行确定。
67.需要说明的是，本公开对于对联邦训练终端下发骨干网络和各联邦训练终端对应的头部网络，还是仅向联邦训练终端下发各联邦训练终端对应的头部网络的确定方式并不做特殊限定。
68.在本公开的一种示例实施例中，在通过上述步骤将骨干网络和各联邦训练终端对应的头部网络下发至各联邦训练终端之后，各联邦训练终端根据联邦训练终端的终端数据对骨干网络和各联邦训练终端对应的头部网络进行训练，得到各联邦训练终端的模型训练
参数。具体的，联邦训练终端根据联邦训练终端的终端数据对骨干网络和联邦训练终端对应的头部网络进行训练，此时，可以对骨干网络以及联邦训练终端对应的头部网络进行训练，得到联邦训练终端的模型训练参数(包括骨干网络的模型训练参数以及联邦训练终端对应的头部网络的模型训练参数)。
69.进一步的，可以在多个候选联邦训练终端中确定联邦训练终端，并将骨干网络和各联邦训练终端对应的头部网络下发至各联邦训练终端。
70.步骤s140，接收多个联邦训练终端返回的模型训练参数，对多个模型训练参数进行聚合得到更新后的待训练模型；
71.在本公开的一种示例实施例中，在通过上述步骤得到各联邦训练终端的模型训练参数之后，可以接收多个联邦训练终端返回的模型训练参数，对多个模型训练参数进行聚合得到更新后的待训练模型。其中，更新后的待训练模型可以包括更新后的骨干网络以及更新后的各联邦训练组对应的头部网络。具体的，对多个模型训练参数进行聚合是指对这些模型训练参数进行预设方式的运算，以生成新的、经过更新的模型训练参数。
72.举例而言，对多个模型训练参数进行聚合可以包括以下多种方式进行聚合：简单平均、带权重平均、聚合函数等。
73.步骤s150，向各联邦训练终端下发更新后的待训练模型；
74.在本公开的一种示例实施例中，在通过上述步骤得到更新后的待训练模型之后，可以向各联邦训练终端下发更新后的待训练模型。具体的，可以向各联邦训练终端下发更新后的待训练模型，以使得各联邦训练终端根据各联邦训练终端的终端数据对更新后的骨干网络和各联邦训练终端对应的更新后的头部网络进行训练。
75.需要说明的是，本公开对于向各联邦训练终端下发更新后的待训练模型的具体方式并不做特殊限定。
76.步骤s160，重复上述步骤，直至待训练模型的训练过程满足收敛条件，将最后一次聚合得到的待训练模型确定为执行数据分析任务的数据分析模型。
77.在本公开的一种示例实施例中，可以重复进行上述步骤，即接收多个联邦训练终端返回的模型训练参数，对多个模型训练参数进行聚合得到更新后的待训练模型(包括更新后的待训练模型包括更新后的骨干网络以及更新后的各联邦训练组对应的头部网络)，并继续向各联邦训练终端是下发骨干网络以及各联邦训练终端对应的头部网络，各联邦训练终端得到骨干网络以及各联邦训练终端对应的头部网络之后，各联邦训练终端根据联邦训练终端的终端数据对骨干网络和各联邦训练终端对应的头部网络进行训练，得到各联邦训练终端的模型训练参数，各联邦训练终端再将联邦训练终端的模型训练参数上传，在接收到多个联邦训练终端返回的模型训练参数之后，继续进行聚合得到更新之后的待训练模型，以此类推，直至待训练模型的训练过程满足收敛条件，此时可以得到用于执行数据分析任务的数据分析模型。
78.在本公开的一种示例实施例中，收敛条件是指是指待训练模型的迭代过程达到一定的条件，使得待训练模型的性能趋于稳定或最优解时停止迭代，得到数据分析模型。例如，收敛条件可以为当训练误差或验证误差开始上升时停止训练，或当验证集误差不再下降时停止训练。
79.在本公开的一种示例实施例中，可以对骨干网络的模型训练参数以及各联邦训练
组对应的头部网络的模型训练参数进行聚合得到更新后的待训练模型。其中，模型训练参数中包括骨干网络的模型训练参数以及各联邦训练组对应的头部网络的模型训练参数。具体的，在对联邦训练组对应的头部网络的模型训练参数进行聚合时，是根据同一联邦训练组中的多个联邦训练终端返回的头部网络的模型训练参数聚合得到的。
80.具体而言，在对骨干网络的模型训练参数进行聚合时，可以采用以下公式进行聚合：
[0081][0082]
其中，w为聚合之后得到的骨干网络，k为本轮次参与训练的联邦训练终端的数量，n为k个联邦训练终端的总数据量，nk为第k个联邦训练终端的数据量。
[0083]
具体而言，在对头部网络的模型训练参数进行聚合时，可以采用以下公式进行聚合：
[0084][0085]
其中，hm为第m联邦训练组聚合之后得到的头部网络，m为参与本轮参与训练且属于第m联邦训练组的联邦训练终端的数量，n为m个联邦训练终端的总数据量，nk为第k个联邦训练终端的数据量。
[0086]
需要说明的是，本公开对于对骨干网络的模型训练参数，以及各联邦训练组对应的头部网络的模型训练参数进行聚合得到更新后的待训练模型的具体方式并不做特殊限定。
[0087]
在本公开的一种示例实施例中，可以取联邦训练的全局训练轮次，在联邦训练的全局训练轮次满足预设条件时，向各联邦训练终端下发更新后各联邦训练终端对应的头部网络，以使各联邦训练终端根据联邦训练终端的终端数据对各联邦训练终端对应的头部网络进行训练，得到各联邦训练终端的模型训练参数。参照图2所示，在联邦训练的全局训练轮次满足预设条件时，向各联邦训练终端下发更新后各联邦训练终端对应的头部网络，可以包括以下步骤s210～s220：
[0088]
步骤s210，获取联邦训练的全局训练轮次；
[0089]
在本公开的一种示例实施例中，可以获取联邦训练的全局训练轮次。具体的，联邦训练的全局训练轮次是指联邦学习到从开始训练到当前训练的总训练轮次，即与联邦训练终端之间进行通信和对模型训练参数进行传输的次数。
[0090]
步骤s220，在联邦训练的全局训练轮次满足预设条件时，向各联邦训练终端下发更新后各联邦训练终端对应的头部网络，以使各联邦训练终端根据联邦训练终端的终端数据对各联邦训练终端对应的头部网络进行训练，得到各联邦训练终端的模型训练参数，得到各联邦训练终端的模型训练参数。
[0091]
在本公开的一种示例实施例中，在联邦训练的全局训练轮次满足预设条件时，向各联邦训练终端下发更新后各联邦训练终端对应的头部网络以及固定后的骨干网络。具体的，可以判断联邦训练的全局训练轮次是否满足预设条件，在全局训练轮次不满足预设条件时，表示骨干网络还未训练完成，在联邦训练终端进行训练时，需要对骨干网络以及头部网络同时进行训练，即需要向各联邦训练终端下发更新后的骨干网络以及各联邦训练终端
对应的头部网络；在全局训练轮次满足预设条件时，表示骨干网络已经训练完成，在联邦训练终端进行训练时，只需要对头部网络进行训练，即只需要向各联邦训练终端下发更新后的各联邦训练终端对应的头部网络，以使得各联邦训练终端根据联邦训练终端的终端数据对各联邦训练终端对应的头部网络进行训练，得到各联邦训练终端的模型训练参数，训练得到的模型训练参数包括固定后的骨干网络以及更新后的各联邦训练组对应的头部网络。
[0092]
具体的，若上述步骤中，是将骨干网络和联邦训练终端对应的头部网络下发至联邦训练终端，则联邦训练终端根据联邦训练终端的终端数据对骨干网络和联邦训练终端对应的头部网络进行训练，此时，可以对骨干网络以及联邦训练终端对应的头部网络进行训练，得到联邦训练终端的模型训练参数(包括更新后的骨干网络的模型训练参数以及联邦训练终端对应的头部网络的模型训练参数)；若上述步骤中，是将各联邦训练终端对应的头部网络下发至联邦训练终端，此时，骨干网络中的模型训练参数固定，仅对联邦训练终端对应的头部网络进行训练，得到联邦训练终端的模型训练参数(包括更新后的联邦训练终端对应的头部网络的模型训练参数以及固定后的骨干网络)。
[0093]
进一步的，在骨干网络未固定时，可以选择较多的联邦训练终端；在骨干网络固定之后，可以选择较少的联邦训练终端。
[0094]
通过上述步骤s210～s220，可以获取联邦训练的全局训练轮次，在联邦训练的全局训练轮次满足预设条件时，向各联邦训练终端下发更新后各联邦训练终端对应的头部网络，以使各联邦训练终端根据联邦训练终端的终端数据对各联邦训练终端对应的头部网络进行训练，得到各联邦训练终端的模型训练参数。
[0095]
在本公开的一种示例实施例中，可以对各联邦训练组对应的头部网络的模型训练参数进行聚合得到更新后的头部网络，根据固定后的骨干网络以及更新后的头部网络确定更新后的待训练模型。参照图3所示，根据固定后的骨干网络以及更新后的头部网络确定更新后的待训练模型，可以包括以下步骤s310～s320：
[0096]
步骤s310，对各联邦训练组对应的头部网络的模型训练参数进行聚合得到更新后的头部网络；
[0097]
在本公开的一种示例实施例中，在通过上述步骤得到各联邦训练终端的模型训练参数之后，可以接收多个联邦训练终端返回的模型训练参数，其中，更新后的待训练模型可以包括固定后的骨干网络以及更新后的各联邦训练组对应的头部网络。具体的，可以仅对各联邦训练组对应的头部网络的模型训练参数进行聚合得到更新后的头部网络，对多个模型训练参数进行聚合是指对这些模型训练参数进行预设方式的运算，以生成新的、经过更新的模型训练参数。
[0098]
举例而言，对多个模型训练参数进行聚合可以包括以下多种方式进行聚合：简单平均、带权重平均、聚合函数等。
[0099]
需要说明的是，本公开对于对各联邦训练组对应的头部网络的模型训练参数进行聚合得到更新后的头部网络的具体方式并不做特殊限定。
[0100]
步骤s320，根据固定后的骨干网络以及更新后的头部网络确定更新后的待训练模型。
[0101]
在本公开的一种示例实施例中，在通过上述步骤得到更新后的头部网络之后，可以根据固定后的骨干网络以及更新后的头部网络确定更新后的待训练模型。具体的，由于
骨干网络已经固定，即骨干网络的模型训练参数已经固定，此时，可以直接将骨干网络与更新后的头部网络合并得到更新后的待训练模型。
[0102]
需要说明的是，本公开对于根据固定后的骨干网络以及更新后的头部网络确定更新后的待训练模型的具体方式并不做特殊限定。
[0103]
通过上述步骤s310～s320，可以对各联邦训练组对应的头部网络的模型训练参数进行聚合得到更新后的头部网络，根据固定后的骨干网络以及更新后的头部网络确定更新后的待训练模型。
[0104]
在本公开的一种示例实施例中，可以确定待训练模型对应的骨干网络固定轮次，在联邦训练的全局训练轮次大于骨干网络固定轮次时，向各联邦训练终端下发更新后各联邦训练终端对应的头部网络。参照图4所示，向各联邦训练终端下发更新后各联邦训练终端对应的头部网络，可以包括以下步骤s410～s420：
[0105]
步骤s410，确定待训练模型对应的骨干网络固定轮次；
[0106]
在本公开的一种示例实施例中，可以确定待训练模型对应的骨干网络固定轮次。具体的，骨干网络固定轮次是指，在联邦训练进行了骨干网络固定轮次之后，即停止对骨干网络进行更新(即骨干网络固定)，在骨干网络固定轮次后的联邦训练过程中，仅对头部网络进行更新。
[0107]
需要说明的是，本公开对于确定待训练模型对应的骨干网络固定轮次的具体方式并不做特殊限定，可根据业务场景进行调整。
[0108]
步骤s420，在联邦训练的全局训练轮次大于骨干网络固定轮次时，向各联邦训练终端下发更新后各联邦训练终端对应的头部网络。
[0109]
在本公开的一种示例实施例中，可以将全局训练轮次与骨干网络固定轮次进行比较，得到联邦训练的全局训练轮次与骨干网络固定轮次的大小关系，在联邦训练的全局训练轮次大于骨干网络固定轮次时，向各联邦训练终端下发更新后各联邦训练终端对应的头部网络。具体的，在全局训练轮次小于或等于骨干网络固定轮次时，表示骨干网络还未训练完成，在联邦训练终端进行训练时，需要对骨干网络以及头部网络同时进行训练，即需要向各联邦训练终端下发更新后的骨干网络以及各联邦训练终端对应的头部网络；在全局训练轮次大于骨干网络固定轮次时，表示骨干网络已经训练完成，在联邦训练终端进行训练时，只需要对头部网络进行训练，即需要向各联邦训练终端下发更新后的各联邦训练终端对应的头部网络。
[0110]
在本公开的一种示例实施例中，可以重复进行上述步骤，即接收多个联邦训练终端返回的模型训练参数，对多个模型训练参数进行聚合得到更新后的待训练模型(包括更新后的各联邦训练组对应的头部网络以及固定后的骨干网络)，再向各联邦训练终端下发更新后各联邦训练终端对应的头部网络，各联邦训练终端得到各联邦训练终端对应的头部网络之后，各联邦训练终端根据联邦训练终端的终端数据对各联邦训练终端对应的头部网络进行训练，得到各联邦训练终端的模型训练参数，各联邦训练终端再将联邦训练终端的模型训练参数上传，在接收到多个联邦训练终端返回的模型训练参数之后，继续进行聚合得到更新之后的待训练模型，以此类推，直至待训练模型的训练过程满足收敛条件，此时可以得到用于执行数据分析任务的数据分析模型。
[0111]
进一步的，在联邦训练终端对应的全局训练轮次大于骨干网络固定轮次时，分为
两种情况，一种是该联邦训练终端已经接收过固定后的骨干网络，即向联邦训练终端下发过更新后的骨干网络，此时，可以根据联邦训练终端的终端数据对联邦训练终端对应的头部网络进行训练，仅需要向联邦训练终端下发联邦训练终端对应的头部网络；另一种是该联邦训练终端未接收过固定后的骨干网络，即向联邦训练终端未下发过固定后的骨干网络，但此时骨干网络已经训练完成，此时，可以根据联邦训练终端的终端数据对联邦训练终端对应的头部网络进行训练，即需要向联邦训练终端下发固定后的骨干网络以及联邦训练终端对应的头部网络。
[0112]
通过上述步骤s410～s420，可以确定待训练模型对应的骨干网络固定轮次，在联邦训练的全局训练轮次大于骨干网络固定轮次时，向各联邦训练终端下发更新后各联邦训练终端对应的头部网络。
[0113]
在本公开的一种示例实施例中，接收终端设备发送的数据分析请求，确定终端设备所属的联邦训练组，将目标数据输入数据分析模型，通过数据分析模型中的骨干网络以及联邦训练组对应的头部网络对目标数据进行分析得到数据分析结果。参照图5所示，通过数据分析模型中的骨干网络以及联邦训练组对应的头部网络对目标数据进行分析得到数据分析结果，可以包括以下步骤s510～s520：
[0114]
步骤s510，接收终端设备发送的数据分析请求，确定终端设备所属的联邦训练组；其中，数据分析请求包括所要进行分析的目标数据；
[0115]
步骤s520，将目标数据输入数据分析模型，通过数据分析模型中的骨干网络以及联邦训练组对应的头部网络对目标数据进行分析得到数据分析结果。
[0116]
在本公开的一种示例实施例中，可以接收终端设备发送的数据分析请求。具体的，数据分析请求中包括所要进行分析的目标数据，数据分析请求用于对该目标数据进行分析。
[0117]
进一步的，数据分析任务可以由其它网元或者服务器发送，由数据分析网元接收。举例而言，可以通过应用层网元发送数据分析任务，由数据分析网元接收；或者，可以通过会话管理网元发送数据分析任务，由数据分析网元接收；或者，可以通过网元数据仓库网元发送数据分析任务，由数据分析网元接收。
[0118]
需要说明的是，本公开对于发送数据分析任务的主体以及数据分析任务的具体类型并不做特殊限定。
[0119]
在本公开的一种示例实施例中，可以，确定终端设备所属的联邦训练组。具体的，可以获取终端设备的终端特征信息，并根据终端设备的终端特征信息确定该终端设备所属的联邦训练组。
[0120]
在本公开的一种示例实施例中，在通过上述步骤得到目标数据以及终端设备所属的联邦训练组之后，可以将目标数据输入数据分析模型，通过数据分析模型中的骨干网络以及联邦训练组对应的头部网络对目标数据进行分析得到数据分析结果。其中，数据分析模型是通过如上述任一实施例中的联邦训练方法得到的。具体的，目标数据先经过数据分析模型的骨干网络，再经过联邦训练组对应的头部网络得到数据分析结果。
[0121]
通过上述步骤s510～s520，可以接收终端设备发送的数据分析请求，确定终端设备所属的联邦训练组，将目标数据输入数据分析模型，通过数据分析模型中的骨干网络以及联邦训练组对应的头部网络对目标数据进行分析得到数据分析结果。
[0122]
在本公开的一种示例实施例中，如图6所示，为一种数据分析模型的示意图，在得到目标数据以及终端设备所属的联邦训练组之后，可以将目标数据输入编码单元，在编码单元中对目标数据进行编码，再将编码完成后的数据输入骨干网络，在多个头部网络中确定终端设备所属的联邦训练组，再将骨干网络的输出输入联邦训练组对应的头部网络，并将该头部网络的输出输入解码单元，解码得到的即为数据分析结果。
[0123]
在本公开的一种示例实施例中，如图7所示，为另一种联邦训练方法，包括以下步骤s701～s708：
[0124]
步骤s701，联邦训练终端可以将终端特征信息发送至数据分析节点；
[0125]
步骤s702，在数据分析节点中，根据终端特征信息将多个联邦训练终端划分为多个联邦训练组，根据终端特征信息以及多个联邦训练组得到待训练模型；
[0126]
步骤s703，数据分析节点将生成的待训练模型发送至模型聚合节点；
[0127]
步骤s704，模型聚合节点选择本次训练参与的联邦训练终端；
[0128]
步骤s705，模型聚合节点将待训练模型下发至联邦训练终端；
[0129]
步骤s706，联邦训练终端根据联邦训练终端的终端数据对骨干网络和各联邦训练终端对应的头部网络(骨干网络未固定阶段，联邦训练的全局训练轮次小于或等于骨干网络固定轮次时)/各联邦训练终端对应的头部网络进行训练(骨干网络固定阶段，即联邦训练的全局训练轮次大于骨干网络固定轮次时)，得到各联邦训练终端的模型训练参数；
[0130]
步骤s707，联邦训练终端将训练得到的模型训练参数上传至模型聚合节点；
[0131]
步骤s708，模型聚合节点对多个模型训练参数进行聚合得到更新后的待训练模型。
[0132]
本公开的一种实施例提供的联邦训练方法或数据分析方法中，可以获取多个联邦训练终端的终端特征信息，根据终端特征信息将多个联邦训练终端划分为多个联邦训练组，根据终端特征信息以及多个联邦训练组得到待训练模型，将骨干网络和各联邦训练终端对应的头部网络下发至各联邦训练终端，以使各联邦训练终端根据联邦训练终端的终端数据对骨干网络和各联邦训练终端对应的头部网络进行训练，得到各联邦训练终端的模型训练参数，接收多个联邦训练终端返回的模型训练参数，对多个模型训练参数进行聚合得到更新后的待训练模型，向各联邦训练终端下发更新后的待训练模型，重复上述步骤，直至待训练模型的训练过程满足收敛条件，将最后一次聚合得到的待训练模型确定为执行数据分析任务的数据分析模型。
[0133]
通过本公开的方案，可以将不同的终端划分到不同的联邦训练组中，针对各联邦训练组分别配置不同的头部网络，在进行训练时，针对头部网络以及骨干网络共同训练。一方面，避免了多个参与训练的终端的差别较大的问题，将终端划分为多个组，通过组内的多个终端训练骨干网络以及各组对应的头部网络，提升了学习的收敛速度，并提升了模型的整体性；另一方面，通过此种方式训练得到的数据分析模型，在进行数据分析任务时的结果更为准确。
[0134]
需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
[0135]
此外，在本公开的示例性实施方式中，还提供了一种联邦训练装置。参照图8所示，
一种联邦训练装置800包括：联邦训练组划分模块810、待训练模型生成模块820、网络下发模块830、模型聚合模块840、下发模块850、模型训练模块860。
[0136]
其中，联邦训练组划分模块，用于获取多个联邦训练终端的终端特征信息，根据终端特征信息将多个联邦训练终端划分为多个联邦训练组；待训练模型生成模块，用于根据终端特征信息以及多个联邦训练组得到待训练模型；其中，待训练模型中包括骨干网络以及多个联邦训练组对应的头部网络；网络下发模块，用于将骨干网络和各联邦训练终端对应的头部网络下发至各联邦训练终端，以使各联邦训练终端根据联邦训练终端的终端数据对骨干网络和各联邦训练终端对应的头部网络进行训练，得到各联邦训练终端的模型训练参数；模型聚合模块，用于接收多个联邦训练终端返回的模型训练参数，对多个模型训练参数进行聚合得到更新后的待训练模型；下发模块，用于向各联邦训练终端下发更新后的待训练模型；模型训练模块，用于重复上述步骤，直至待训练模型的训练过程满足收敛条件，将最后一次聚合得到的待训练模型确定为执行数据分析任务的数据分析模型。
[0137]
在本公开的一种示例性实施例中，基于前述方案，模型训练参数中包括骨干网络的模型训练参数以及各联邦训练组对应的头部网络的模型训练参数，对多个模型训练参数进行聚合得到更新后的待训练模型，装置还包括：第一聚合单元，用于对骨干网络的模型训练参数，以及各联邦训练组对应的头部网络的模型训练参数进行聚合得到更新后的待训练模型。
[0138]
在本公开的一种示例性实施例中，基于前述方案，在接收多个联邦训练终端返回的模型训练参数之前，装置还包括：全局训练轮次获取单元，用于获取联邦训练的全局训练轮次；下发单元，用于在联邦训练的全局训练轮次满足预设条件时，向各联邦训练终端下发更新后各联邦训练终端对应的头部网络，以使各联邦训练终端根据联邦训练终端的终端数据对各联邦训练终端对应的头部网络进行训练，得到各联邦训练终端的模型训练参数。
[0139]
在本公开的一种示例性实施例中，基于前述方案，对多个模型训练参数进行聚合得到更新后的待训练模型，装置还包括：第二聚合单元，用于对各联邦训练组对应的头部网络的模型训练参数进行聚合得到更新后的头部网络；待训练模型更新单元，用于根据固定后的骨干网络以及更新后的头部网络确定更新后的待训练模型。
[0140]
在本公开的一种示例性实施例中，基于前述方案，在联邦训练的全局训练轮次满足预设条件时，向各联邦训练终端下发更新后各联邦训练终端对应的头部网络，装置还包括：骨干网络固定轮次确定单元，用于确定待训练模型对应的骨干网络固定轮次；头部网络下发单元，用于在联邦训练的全局训练轮次大于骨干网络固定轮次时，向各联邦训练终端下发更新后各联邦训练终端对应的头部网络。
[0141]
由于本公开的示例实施例的联邦训练装置的各个功能模块与上述联邦训练方法的示例实施例的步骤对应，因此对于本公开装置实施例中未披露的细节，请参照本公开上述的联邦训练方法的实施例。
[0142]
此外，在本公开的示例性实施方式中，还提供了一种数据分析装置。参照图9所示，一种数据分析装置900包括：分析请求接收模块910以及数据分析模块920。
[0143]
其中，分析请求接收模块，用于接收终端设备发送的数据分析请求，确定终端设备所属的联邦训练组；其中，数据分析请求包括所要进行分析的目标数据；数据分析模块，用于将目标数据输入数据分析模型，通过数据分析模型中的骨干网络以及联邦训练组对应的
头部网络对目标数据进行分析得到数据分析结果；其中，数据分析模型是通过如上述任意一项的联邦训练方法训练得到的。
[0144]
由于本公开的示例实施例的数据分析装置的各个功能模块与上述数据分析方法的示例实施例的步骤对应，因此对于本公开装置实施例中未披露的细节，请参照本公开上述的数据分析方法的实施例。
[0145]
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
[0146]
此外，在本公开的示例性实施例中，还提供了一种能够实现上述联邦训练方法以及数据分析方法的电子设备。
[0147]
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。
[0148]
下面参照图10来描述根据本公开的这种实施例的电子设备1000。图10显示的电子设备1000仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0149]
如图10所示，电子设备1000以通用计算设备的形式表现。电子设备1000的组件可以包括但不限于：上述至少一个处理单元1010、上述至少一个存储单元1020、连接不同系统组件(包括存储单元1020和处理单元1010)的总线1030、显示单元1040。
[0150]
其中，存储单元存储有程序代码，程序代码可以被处理单元1010执行，使得处理单元1010执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。例如，处理单元1010可以执行如图1中所示的步骤s110，获取多个联邦训练终端的终端特征信息，根据终端特征信息将多个联邦训练终端划分为多个联邦训练组；步骤s120，根据终端特征信息以及多个联邦训练组得到待训练模型；其中，待训练模型中包括骨干网络以及多个联邦训练组对应的头部网络；步骤s130，将骨干网络和各联邦训练终端对应的头部网络下发至各联邦训练终端，以使各联邦训练终端根据联邦训练终端的终端数据对骨干网络和各联邦训练终端对应的头部网络进行训练，得到各联邦训练终端的模型训练参数；其中，模型训练参数包括更新后的骨干网络以及更新后的各联邦训练组对应的头部网络；步骤s140，接收多个联邦训练终端返回的模型训练参数，对多个模型训练参数进行聚合得到更新后的待训练模型；步骤s150，向各联邦训练终端下发更新后的待训练模型；步骤s160，重复上述步骤，直至待训练模型的训练过程满足收敛条件，将最后一次聚合得到的待训练模型确定为执行数据分析任务的数据分析模型。
[0151]
或者，处理单元1010可以执行如图5中所示的步骤s510，接收终端设备发送的数据分析请求，确定终端设备所属的联邦训练组；其中，数据分析请求包括所要进行分析的目标数据；步骤s520，将目标数据输入数据分析模型，通过数据分析模型中的骨干网络以及联邦训练组对应的头部网络对目标数据进行分析得到数据分析结果；其中，数据分析模型是通过如上述任一实施例中的联邦训练方法得到的。
[0152]
又如，电子设备可以实现如图1或图5所示的各个步骤。
[0153]
存储单元1020可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)1021和/或高速缓存存储单元1022，还可以进一步包括只读存储单元(rom)1023。
[0154]
存储单元1020还可以包括具有一组(至少一个)程序模块1025的程序/实用工具1024，这样的程序模块1025包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0155]
总线1030可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
[0156]
电子设备1000也可以与一个或多个外部设备1070(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1000交互的设备通信，和/或与使得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口1050进行。并且，电子设备1000还可以通过网络适配器1060与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器1060通过总线1030与电子设备1000的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1000使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0157]
通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。
[0158]
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。
[0159]
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0160]
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0161]
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计
算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0162]
此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
[0163]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

技术特征：
1.一种联邦训练方法，其特征在于，所述方法包括：获取多个联邦训练终端的终端特征信息，根据所述终端特征信息将所述多个联邦训练终端划分为多个联邦训练组；根据所述终端特征信息以及所述多个联邦训练组得到待训练模型；其中，所述待训练模型中包括骨干网络以及多个联邦训练组对应的头部网络；将所述骨干网络和各所述联邦训练终端对应的头部网络下发至各所述联邦训练终端，以使各所述联邦训练终端根据所述联邦训练终端的终端数据对所述骨干网络和各所述联邦训练终端对应的头部网络进行训练，得到各所述联邦训练终端的模型训练参数；接收多个所述联邦训练终端返回的模型训练参数，对多个所述模型训练参数进行聚合得到更新后的待训练模型；向各所述联邦训练终端下发更新后的待训练模型；重复上述步骤，直至所述待训练模型的训练过程满足收敛条件，将最后一次聚合得到的待训练模型确定为执行数据分析任务的数据分析模型。2.根据权利要求1所述的方法，其特征在于，所述模型训练参数中包括骨干网络的模型训练参数以及各所述联邦训练组对应的头部网络的模型训练参数，所述对多个所述模型训练参数进行聚合得到更新后的待训练模型，包括：对所述骨干网络的模型训练参数，以及所述各所述联邦训练组对应的头部网络的模型训练参数进行聚合得到更新后的待训练模型。3.根据权利要求1所述的方法，其特征在于，在所述接收多个所述联邦训练终端返回的模型训练参数之前，所述方法还包括：获取所述联邦训练的全局训练轮次；在所述联邦训练的全局训练轮次满足预设条件时，向各所述联邦训练终端下发更新后各所述联邦训练终端对应的头部网络，以使各所述联邦训练终端根据所述联邦训练终端的终端数据对各所述联邦训练终端对应的头部网络进行训练，得到各所述联邦训练终端的模型训练参数。4.根据权利要求3所述的方法，其特征在于，所述对多个所述模型训练参数进行聚合得到更新后的待训练模型，包括：对所述各所述联邦训练组对应的头部网络的模型训练参数进行聚合得到更新后的头部网络；根据所述固定后的骨干网络以及所述更新后的头部网络确定更新后的待训练模型。5.根据权利要求3所述的方法，其特征在于，所述在所述联邦训练的全局训练轮次满足预设条件时，向各所述联邦训练终端下发更新后各所述联邦训练终端对应的头部网络，包括：确定所述待训练模型对应的骨干网络固定轮次；在所述联邦训练的全局训练轮次大于所述骨干网络固定轮次时，向各所述联邦训练终端下发更新后各所述联邦训练终端对应的头部网络。6.一种数据分析方法，其特征在于，所述方法包括：接收终端设备发送的数据分析请求，确定所述终端设备所属的联邦训练组；其中，所述数据分析请求包括所要进行分析的目标数据；
将所述目标数据输入所述数据分析模型，通过所述数据分析模型中的骨干网络以及所述联邦训练组对应的头部网络对所述目标数据进行分析得到数据分析结果；其中，所述数据分析模型是通过如权利要求1-5中任意一项所述的联邦训练方法训练得到的。7.一种联邦训练装置，其特征在于，所述装置包括：联邦训练组划分模块，用于获取多个联邦训练终端的终端特征信息，根据所述终端特征信息将所述多个联邦训练终端划分为多个联邦训练组；待训练模型生成模块，用于根据所述终端特征信息以及所述多个联邦训练组得到待训练模型；其中，所述待训练模型中包括骨干网络以及多个联邦训练组对应的头部网络；网络下发模块，用于将所述骨干网络和各所述联邦训练终端对应的头部网络下发至各所述联邦训练终端，以使各所述联邦训练终端根据所述联邦训练终端的终端数据对所述骨干网络和各所述联邦训练终端对应的头部网络进行训练，得到各所述联邦训练终端的模型训练参数；模型聚合模块，用于接收多个所述联邦训练终端返回的模型训练参数，对多个所述模型训练参数进行聚合得到更新后的待训练模型；下发模块，用于向各所述联邦训练终端下发更新后的待训练模型；模型训练模块，用于重复上述步骤，直至所述待训练模型的训练过程满足收敛条件，将最后一次聚合得到的待训练模型确定为执行数据分析任务的数据分析模型。8.一种数据分析模型分析装置，其特征在于，所述装置包括：分析请求接收模块，用于接收终端设备发送的数据分析请求，确定所述终端设备所属的联邦训练组；其中，所述数据分析请求包括所要进行分析的目标数据；数据分析模块，用于将所述目标数据输入所述数据分析模型，通过所述数据分析模型中的骨干网络以及所述联邦训练组对应的头部网络对所述目标数据进行分析得到数据分析结果；其中，所述数据分析模型是通过如权利要求1-5中任意一项所述的联邦训练方法训练得到的。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～6中任一项所述的方法。10.一种电子设备，其特征在于，包括：一个或多个处理器；以及存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1～6中任一项所述的方法。

技术总结
本公开涉及计算机技术领域，具体涉及一种联邦训练方法、数据分析方法、联邦训练装置、数据分析装置、介质及设备，上述方法包括：将多个联邦训练终端划分为多个联邦训练组；根据终端特征信息以及多个联邦训练组得到待训练模型；将骨干网络和各联邦训练终端对应的头部网络下发至各联邦训练终端；接收多个联邦训练终端返回的模型训练参数，对多个模型训练参数进行聚合得到更新后的待训练模型；向各联邦训练终端下发更新后的待训练模型；重复上述步骤，直至待训练模型的训练过程满足收敛条件。通过本公开实施例的技术方案，可以解决现有技术中联邦训练得到的模型的整体性较差的问题。邦训练得到的模型的整体性较差的问题。邦训练得到的模型的整体性较差的问题。


技术研发人员：于梦晗 熊雄 李振 张伟
受保护的技术使用者：中国电信股份有限公司
技术研发日：2023.07.14
技术公布日：2023/10/15