基于联邦学习的多模态高速公路拥堵识别方法及系统与流程

1.本发明属于高速智能路网技术领域，具体涉及一种基于联邦学习和深度学习的多模态高速公路拥堵识别方法及系统。


背景技术：

2.随着城市化和经济的快速发展，高速公路已成为人们生活和经济发展中不可或缺的一部分。然而，随着车辆数量的不断增加，高速公路拥堵问题也日益突出，导致交通效率低下、能源浪费严重以及环境污染等问题。因此，研究高速公路拥堵识别技术对于优化交通管理、提高交通效率具有重要意义。高速公路是重要的交通干线，车辆数量众多，交通拥堵问题越来越突出，如何及时准确地识别高速公路的拥堵情况，对于保障道路交通安全、提高道路运行效率具有重要意义。
3.目前高速公路拥堵识别的人工智能模型主要基于高速区域自持有的少量数据来训练，训练数据往往不足以得到一个高准确率的模型，又考虑到各方利益以及隐私数据保护等因素，每个高速数据持有实体还存在难以进行跨区域数据聚合的问题。传统的高速公路拥堵识别在前期构建模型时难以保证跨区域数据的安全共享，各种高速路网领域内的隐私数据无法得到安全性上的保障，隐私数据一旦泄露将对人们或区域造成影响。以上种种原因都说明了电力物联网领域数据利用的难度，因此有必要引入联邦迁移学习，从而在解决数据量问题的同时保护数据的安全共享。另外，现有的高速公路拥堵识别方法通常基于单一传感器数据或单一模态数据进行分析，难以满足复杂多变的实际交通状况，因此也需要一种基于多模态数据的高速公路拥堵识别技术。


技术实现要素：

4.本发明的目的在于提供一种多模态高速公路拥堵识别方法及系统，该方法及系统可以提高高速公路拥堵识别的速度和准确性，并保证数据共享的安全性。
5.为实现上述目的，本发明采用的技术方案是：一种多模态高速公路拥堵识别方法，包括以下步骤：
6.步骤a、本地客户端c＝{ci,i＝1,2,
…
,n}对收集的高速公路多模态数据进行预处理，得到n个客户端预处理后的数据d＝{di,i＝1,2,
…
,n}，其中c为所有独立持有数据的高速路网区域客户端的集合，d为所有客户端持有数据的集合；
7.步骤b、基于预处理后的多模态数据，本地客户端对每一种模态数据构造训练模型；对于每一个独立的训练模型，n个本地客户端和可信的中央服务器进行协同训练，利用联邦学习和同态加密技术迭代训练模型以实现高速路网隐私数据的安全共享，训练完成后产生输出模型，m＝{mz,z＝1,2,
…
,q}，其中mz为第z种模态数据训练出的模型；
8.步骤c、基于步骤b得到的输出模型，进行多模态数据的后端融合，即对不同模态数据分别训练好的分类器输出进行决策级融合，得到模型输出的平均拥堵程度ji；
9.步骤d、基于步骤c得到的平均拥堵程度ji，对模型的拥堵计算区间进行优化和更
新，实现高速路网拥堵识别的算法参数的自适应修正。
10.进一步地，所述步骤a具体包括以下步骤：
11.步骤a1、对本地客户端ci收集的包括图像、文本的多模态数据进行清洗、分类；对于文本数据，去除重复值、空值及异常值；完成预处理步骤后得到该本地客户端对应的数据di；
12.步骤a2、基于步骤a1处理后的数据，对于每一个需要拥堵识别区域中的高速公路，对于划分出的决策区间[t
k-1
,tk)，有为决策区间内高速公路摄像头拍摄的路况媒体切帧图像数据或路网门架文本数据，其中k为当前正在决策的时间点，i表示第i个客户端，l为数据的总数。
[0013]
进一步地，所述步骤b具体包括以下步骤：
[0014]
步骤b1、对于一种模态数据的训练，构建可信的本地客户端cserver；
[0015]
步骤b2、对于该种模态数据，初始化对应的深度学习模型model；
[0016]
步骤b3、本地客户端在进行一轮训练后对中间数据进行加密；
[0017]
步骤b4、中央服务器接收到来自本地客户端的加密数据后执行聚合和更新操作，然后将新的参数下发至本地客户端进行下一轮训练；
[0018]
步骤b5、独立的本地客户端获取中央服务器下发的新一轮训练参数，使用私钥解密后得到真实数据；
[0019]
步骤b6、中央服务器主导协同训练，持续迭代更新本地模型参数，直到达到终止条件后完成基于联邦学习的模型训练。
[0020]
进一步地，当使用联邦学习得到模型与不使用联邦学习得到模型之间的准确率误差小于一个极小正数时，认为模型符合预期，可用于后续步骤，否则重新进行训练：
[0021]
e＝|acc
fl-acc
all
|＜ε
[0022]
其中，ε为设定的极小正数，acc
fl
和acc
all
分别为使用联邦学习和不使用联邦学习得到模型的准确率，e为两种模型的准确率之差的绝对值；于是，对于持续迭代的优化目标，主要着眼于减少引入安全策略后对于准确率的损失，其目标函数为：
[0023]
mine,(e＜ε)。
[0024]
进一步地，步骤b1中，中央服务器初始化配置参数p，下发至本地客户端；
[0025]
步骤b2中，本地客户端将配置参数p加入各自模型中完成本地模型的初始化操作；
[0026]
步骤b3中，本地客户端对中间数据的加密方式为：
[0027][0028]
其中t为训练的轮次，为第i个本地客户端加密后的参数，为第i个客户端在本轮的产生的中间数据，pk为生成的公钥，e(
·
)为加密函数；
[0029]
步骤b4中，中央服务器执行的参数更新方式为：
[0030][0031]
其中，为下一轮的参数，t为训练的轮次，pi为第i个客户端上的样本数，p
all
为本轮参与客户端上样本的总数，n为客户端总数；在若干轮训练中，每一轮选择1到n个客户端参与，中央服务器将收集来的数据用加权平均的方式进行聚合；
[0032]
步骤b5中，本地客户端使用私钥解密后得到真实数据的方式为：
[0033][0034]
其中，为解密后的从中央服务器得到的最新一轮下发参数，d(
·
)为解密函数，sk为私钥，本地客户端根据这一轮的得到的数据进行本地模型中参数的更新。
[0035]
进一步地，步骤c中，基于步骤b中对多模态数据分别训练好的分类器m＝{mz,z＝1,2,
…
,q}，将步骤a中的区间数据输入每个模型，得到模型的输出结果：
[0036][0037]
其中，getj()为计算模型的预测值，为在决策时刻k模型mz输出的预测值；
[0038]
然后对模型mz输出的预测值进行决策级融合，得到模型输出的平均拥堵程度的ji的方法为：
[0039][0040]
其中，ji为第i个本地客户端模型融合后的平均拥堵程度，wz为第z个模型的权重，q为模型总数，为第z个模型输出的拥堵程度预测值。
[0041]
进一步地，所述步骤d具体包括以下步骤：
[0042]
步骤d1、基于步骤c得到的平均拥堵程度j，对应第i个区域的第j条高速公路，其在决策时刻tk具有的平均拥堵程度定义为对应决策区间[t
k-1
,tk)其优化参考值为目标函数为：
[0043][0044]
其中，为本决策时刻的附加影响因子，为决策时刻的优化参考值；
[0045]
步骤d2、基于步骤d1中的目标函数，定义附加影响因子与本决策时刻的优化参考值：
[0046][0047][0048][0049]
其中，c为附加影响因子的个数，δ为可控制的优化参数。
[0050]
本发明还提供了一种多模态高速公路拥堵识别系统，包括本地客户端、网络和中央服务器，所述本地客户端和中央服务器均包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-7任一项所述的方法步骤。
[0051]
进一步地，所述多模态高速公路拥堵识别系统包括：
[0052]
高速路网多模态数据准备模块，用于准备训练模型所需要的多模态高速路网数据，包括数据采集子模块和数据预处理子模块；数据采集子模块在本地域内将高速路网多
模态隐私数据进行统一收集，例如监控视频数据和高速门架数据等；数据预处理子模块对数据进行筛选、分类以及清洗，生成可以用于训练的标准数据；
[0053]
高安全性协同训练模块，用于进行多个独立数据的安全共享和模型的分布式训练，包括本地模型训练子模块和协同共享子模块；本地模型训练子模块接收从中央服务器下发的参数，独立地进行本地训练；协同共享子模块将本地模型产生的独立中间数据利用同态加密进行安全共享，中央协作服务器聚合后下发新一轮训练的参数；同态加密的使用可以使中央写作服务器在不需要解密的情况下进行聚合操；
[0054]
综合决策优化模块，用于进行决策级的融合和输出优化，包括决策级融合子模块和输出优化子模块；决策级融合子模块利用多模态数据训练出来的模型进行预测分析，然后加权融合出平均拥堵程度；输出优化子模块分析一个可变区间内的车流情况，由弹性可变的算法对输出阈值进行计算，优化拥堵程度的计算算法，得到更符合实际车况的输出。
[0055]
进一步地，所述高速路网多模态数据准备模块还对收集的图像、文本多模态数据进行清洗、分类，然后将特定数据去除重复值、空值及异常值；对于特定区域中的高速公路，对于划分出的决策区间[t
k-1
,tk)，有为决策区间内高速公路摄像头拍摄的路况媒体切帧图像数据或路网门架文本数据；
[0056]
所述高安全性协同训练模块基于预处理后的多模态数据进行协同训练，利用联邦学习和同态加密技术迭代训练模型，对数据进行安全共享，完成分布式训练后产生输出模型m；
[0057]
所述综合决策优化模块基于高安全性协同训练模块产生的输出模型m和区间优化算法进行多模态数据的决策级融合和输出优化，产生拥堵程度输出。
[0058]
与现有技术相比，本发明具有以下有益效果：提供了一种基于联邦学习和深度学习的多模态高速公路拥堵识别方法及系统，该方法及系统充分利用多个独立区域的高速路网隐私数据，结合多模态和联邦学习克服了特殊领域数据量少的难题，同时可以利用迁移学习，有效缩短模型训练时间，进而减少成本开销。本发明相比现有高速公路拥堵识别常用的单一模态和单一区域训练模型，使用了结合同态加密的联邦学习技术，在解决跨域数据共享问题的同时，保证了电力物联网隐私数据的安全。综合各区域的数据被使用在模型训练中，使模型更具综合性，可以在一定程度上帮助顶层决策。本发明系统可用于高速路网隐私数据预处理、跨域协同训练和数据共享、综合决策以及输出优化，保证独立区域的数据安全共享，为专业人员提供决策便利。
附图说明
[0059]
图1是本发明实施例的方法及系统的应用场景示意图。
[0060]
图2是本发明实施例的系统结构示意图。
[0061]
图3是本发明实施例的模型训练流程图。
[0062]
图4是本发明实施例的方法实现流程图。
具体实施方式
[0063]
下面结合附图及实施例对本发明做进一步说明。
[0064]
应该指出，以下详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另
有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
[0065]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0066]
本发明提供的基于联邦学习和深度学习的多模态高速公路拥堵识别方法及系统是基于服务器，也就是本发明的中央服务器来执行。
[0067]
如图1所示，系统架构可以包括多个本地客户端、网络和服务器。网络是用以在本地客户端和服务器之间提供通信链路的介质。网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0068]
应该理解，图1中的本地客户端、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的本地客户端、网络和服务器。比如服务器可以是多个服务器组成的服务器集群等。可以使用本地客户端通过网络与服务器交互，以接收或发送消息等。
[0069]
图2示出了适于用来实现本公开实施方式的基于联邦学习和深度学习的多模态高速公路拥堵识别系统的结构示意图。
[0070]
基于联邦学习和深度学习的多模态高速公路拥堵识别系统中涉及的服务器可以包括中央处理单元，其可以根据存储在只读存储器中的程序或者从储存部分加载到随机访问存储器(ram，random access memory)中的程序而执行各种适当的动作和处理。在ram中，还存储有系统操作所需的各种程序和数据。cpu、rom以及ram通过总线彼此相连。输入/输出(i/o)接口也连接至总线。
[0071]
服务器还可以涉及包括键盘、鼠标、液晶显示器、扬声器以及包括诸如lan(local area network，局域网)卡、调制解调器等的网络接口卡的通信部分。
[0072]
现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明实施例的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。
[0073]
系统包括高速路网多模态数据准备模块、高安全性协同训练模块以及综合决策优化模块；
[0074]
所述高速路网多模态数据准备模块，用于准备训练模型所需要的多模态高速路网数据，包括数据采集子模块和数据预处理子模块；数据采集子模块在本地域内将高速路网多模态隐私数据进行统一收集，例如监控视频数据和高速门架数据等。数据预处理子模块对数据进行筛选、分类以及清洗，生成可以用于训练的标准数据。
[0075]
所述高安全性协同训练模块，用于进行多个独立数据的安全共享和模型的分布式训练，包括本地模型训练子模块和协同共享子模块；本地模型训练子模块接收从中央服务器下发的参数，独立地进行本地训练。协同共享子模块将本地模型产生的独立中间数据利用同态加密进行安全共享，中央协作服务器聚合后下发新一轮训练的参数。同态加密的使用可以使中央写作服务器在不需要解密的情况下进行聚合操。
[0076]
所述综合决策优化模块，用于进行决策级的融合和输出优化，包括决策级融合子模块和输出优化子模块。决策级融合子模块利用多模态数据训练出来的模型进行预测分
析，然后加权融合出平均拥堵程度。输出优化子模块分析一个可变区间内的车流情况，由弹性可变的算法对输出阈值进行计算，优化拥堵程度的计算算法，得到更符合实际车况的输出。
[0077]
以下将给出一种可能的实施例对其具体的实施方案进行非限制性阐述。
[0078]
高速路网多模态数据准备模块还对收集的图像、文本多模态数据进行清洗、分类，然后将特定数据去除重复值、空值及异常值。对于特定区域中的高速公路，对于划分出的决策区间[t
k-1
,tk)，有为决策区间内高速公路摄像头拍摄的路况媒体切帧图像数据或路网门架文本数据。
[0079]
高安全性协同训练模块基于预处理后的多模态数据进行协同训练，利用联邦学习和同态加密技术迭代训练模型，对数据进行安全共享，完成分布式训练后产生输出模型m。
[0080]
综合决策优化模块基于高安全性协同训练模块产生的输出模型m和区间优化算法进行多模态数据的决策级融合和输出优化，产生拥堵程度输出。
[0081]
本发明充分利用多个独立区域的高速路网隐私数据，利用多模态、联邦学习等手段在一定程度上克服了特殊领域数据量少的难题，同时可以利用迁移学习，有效缩短模型训练时间，进而减少成本开销。
[0082]
相比现有高速公路拥堵识别常用的单一模态和单一区域训练模型，使用了结合同态加密的联邦学习技术，在解决跨域数据共享问题的同保证了电力物联网隐私数据的安全。综合各区域的数据被使用在模型训练中，使模型更具综合性，为专业人员提供决策便利。
[0083]
本实施例还提供了基于上述多模态高速公路拥堵识别系统的多模态高速公路拥堵识别方法，如图3和图4所示，包括以下步骤：
[0084]
步骤a、本地客户端c＝{ci,i＝1,2,
…
,n}对收集的高速公路多模态数据进行预处理，可以得到n个客户端预处理后的数据d＝{di,i＝1,2,
…
,n}，其中c为所有独立持有数据的高速路网区域客户端的集合，d为所有客户端持有数据的集合。
[0085]
步骤b、基于预处理后的多模态数据，本地客户端对每一种模态数据构造训练模型；对于每一个独立的训练模型，n个本地客户端和可信的中央服务器进行协同训练，利用联邦学习和同态加密技术迭代训练模型以实现高速路网隐私数据的安全共享，训练完成后产生输出模型，m＝{mz,z＝1,2,
…
,q}，其中mz为第z种模态数据训练出的模型。
[0086]
步骤c、基于步骤b得到的输出模型，进行多模态数据的后端融合，即对不同模态数据分别训练好的分类器输出进行决策级融合，得到模型输出的平均拥堵程度ji。
[0087]
步骤d、基于步骤c得到的平均拥堵程度ji，对模型的拥堵计算区间进行优化和更新，实现高速路网拥堵识别的算法参数的自适应修正。
[0088]
在本实施例中，所述步骤a具体包括以下步骤：
[0089]
步骤a1、对本地客户端ci收集的图像、文本等多模态数据进行清洗、分类。特别的，对于文本数据，去除重复值、空值及异常值。完成预处理步骤后得到该本地客户端对应的数据di。
[0090]
步骤a2、基于步骤a1处理后的数据，对于每一个需要拥堵识别区域中的高速公路，对于划分出的决策区间[t
k-1
,tk)，有为决策区间内高速公路摄像头拍摄的路况媒体切帧图像数据或路网门架文本数据，其中k为当前正在决策(交通拥堵识
别)的时间点，i表示第i个客户端，l为数据的总数。
[0091]
在本实施例中，所述步骤b具体包括以下步骤：
[0092]
步骤b1、对于一种模态数据的训练，构建可信的本地客户端cserver。
[0093]
步骤b2、对于该种模态数据，初始化对应的深度学习模型model。
[0094]
步骤b3、本地客户端在进行一轮训练后对中间数据进行加密。
[0095]
步骤b4、中央服务器接收到来自本地客户端的加密数据后执行聚合和更新操作，然后将新的参数下发至本地客户端进行下一轮训练。
[0096]
步骤b5、独立的本地客户端获取中央服务器下发的新一轮训练参数，使用私钥解密后得到真实数据。
[0097]
步骤b6、中央服务器主导协同训练，持续迭代更新本地模型参数，直到达到终止条件后完成基于联邦学习的模型训练。
[0098]
当使用联邦学习得到模型与不使用联邦学习得到模型之间的准确率误差小于一个极小正数时，认为模型符合预期，可用于后续步骤，否则重新进行训练：
[0099]
e＝|acc
fl-acc
all
|＜ε
[0100]
其中，ε为设定的极小正数，acc
fl
和acc
all
分别为使用联邦学习和不使用联邦学习得到模型的准确率，e为两种模型的准确率之差的绝对值；于是，对于持续迭代的优化目标，主要着眼于减少引入安全策略后对于准确率的损失，其目标函数为：
[0101]
mine,(e＜ε)
[0102]
步骤b1中，中央服务器初始化配置参数p，下发至本地客户端。
[0103]
步骤b2中，本地客户端将步骤b1中的配置参数p加入各自模型中完成本地模型的初始化操作。
[0104]
步骤b3中，本地客户端对中间数据的加密方式为：
[0105][0106]
其中t为训练的轮次，为第i个本地客户端加密后的参数，为第i个客户端在本轮的产生的中间数据，pk为生成的公钥，e(
·
)为加密函数。
[0107]
步骤b4中，中央服务器执行的参数更新方式为：
[0108][0109]
其中，为下一轮的参数，t为训练的轮次，pi为第i个客户端上的样本数，p
all
为本轮参与客户端上样本的总数，n为客户端总数；在若干轮训练中，每一轮选择1到n个客户端参与，中央服务器将收集来的数据用加权平均的方式进行聚合。
[0110]
步骤b5中，本地客户端使用私钥解密后得到真实数据的方式为：
[0111][0112]
其中，为解密后的从中央服务器得到的最新一轮下发参数，d(
·
)为解密函数，sk为私钥，本地客户端根据这一轮的得到的数据进行本地模型中参数的更新。
[0113]
步骤c中，基于步骤b中对多模态数据分别训练好的分类器m＝{mz,z＝1,2,
…
,q}，将步骤a中的区间数据输入每个模型，得到模型的输出结果：
[0114][0115]
其中，getj()为计算模型的预测值，为在决策时刻k模型mz输出的预测值。
[0116]
然后对模型mz输出的预测值进行决策级融合，得到模型输出的平均拥堵程度的ji的方法为：
[0117][0118]
其中，ji为第i个本地客户端模型融合后的平均拥堵程度，wz为第z个模型的权重，q为模型总数，为第z个模型输出的拥堵程度预测值。
[0119]
在本实施例中，所述步骤d具体包括以下步骤：
[0120]
步骤d1、基于步骤c得到的平均拥堵程度j，对应第i个区域的第j条高速公路，其在决策时刻tk具有的平均拥堵程度定义为对应决策区间[t
k-1
,tk)其优化参考值为目标函数为：
[0121][0122]
其中，为本决策时刻的附加影响因子，为决策时刻的优化参考值。
[0123]
步骤d2、基于步骤d1中的目标函数，定义附加影响因子与本决策时刻的优化参考值：
[0124][0125][0126][0127]
其中，c为附加影响因子的个数，δ为可控制的优化参数。
[0128]
基于上述方法，本发明利用联邦学习和同态加密技术来实现数据的安全共享，让多方在保证自己区域数据不被泄露的情况下实现协同训练模型，然后用于高速路网的拥堵识别，并结合优化算法给出综合决策建议。
[0129]
本发明充分利用多个独立区域的高速路网隐私数据，利用多模态、联邦学习等手段在一定程度上克服了特殊领域数据量少的难题，同时可以利用迁移学习，有效缩短模型训练时间，进而减少成本开销。
[0130]
本发明相比现有高速公路拥堵识别常用的单一模态和单一区域训练模型，使用了结合同态加密的联邦学习技术，在解决跨域数据共享问题的同时，保证了电力物联网隐私数据的安全。综合各区域的数据被使用在模型训练中，使模型更具综合性，可以在一定程度上帮助顶层决策。
[0131]
本发明在模型训练后提供了决策框架和优化的算法，综合模型输出生成指定条数的决策建议，并且根据模型输出的概率值提供建议可信度及分析，对输出进行优化以更符合实际道路车况。
[0132]
本发明系统可用于高速路网隐私数据预处理、跨域协同训练和数据共享、综合决
策以及输出优化，保证独立区域的数据安全共享，为专业人员提供决策便利。
[0133]
基于上述提供的基于联邦学习和深度学习的多模态高速公路拥堵识别方法和系统，本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0134]
本发明提供的基于联邦学习和深度学习的多模态高速公路拥堵识别方法和系统的附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0135]
本发明提供的基于联邦学习和深度学习的多模态高速公路拥堵识别方法和系统涉及的服务器是结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0136]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0137]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0138]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0139]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0140]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等
效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

技术特征：
1.一种多模态高速公路拥堵识别方法，其特征在于，包括以下步骤：步骤a、本地客户端c＝{c
i
,i＝1,2,
…
,n}对收集的高速公路多模态数据进行预处理，得到n个客户端预处理后的数据d＝{d
i
,i＝1,2,
…
,n}，其中c为所有独立持有数据的高速路网区域客户端的集合，d为所有客户端持有数据的集合；步骤b、基于预处理后的多模态数据，本地客户端对每一种模态数据构造训练模型；对于每一个独立的训练模型，n个本地客户端和可信的中央服务器进行协同训练，利用联邦学习和同态加密技术迭代训练模型以实现高速路网隐私数据的安全共享，训练完成后产生输出模型，m＝{m
z
,z＝1,2,
…
,q}，其中m
z
为第z种模态数据训练出的模型；步骤c、基于步骤b得到的输出模型，进行多模态数据的后端融合，即对不同模态数据分别训练好的分类器输出进行决策级融合，得到模型输出的平均拥堵程度j
i
；步骤d、基于步骤c得到的平均拥堵程度j
i
，对模型的拥堵计算区间进行优化和更新，实现高速路网拥堵识别的算法参数的自适应修正。2.根据权利要求1所述的多模态高速公路拥堵识别方法，其特征在于，所述步骤a具体包括以下步骤：步骤a1、对本地客户端c
i
收集的包括图像、文本的多模态数据进行清洗、分类；对于文本数据，去除重复值、空值及异常值；完成预处理步骤后得到该本地客户端对应的数据d
i
；步骤a2、基于步骤a1处理后的数据，对于每一个需要拥堵识别区域中的高速公路，对于划分出的决策区间[t
k-1
,t
k
)，有为决策区间内高速公路摄像头拍摄的路况媒体切帧图像数据或路网门架文本数据，其中k为当前正在决策的时间点，i表示第i个客户端，l为数据的总数。3.根据权利要求1所述的多模态高速公路拥堵识别方法，其特征在于，所述步骤b具体包括以下步骤：步骤b1、对于一种模态数据的训练，构建可信的本地客户端cserver；步骤b2、对于该种模态数据，初始化对应的深度学习模型model；步骤b3、本地客户端在进行一轮训练后对中间数据进行加密；步骤b4、中央服务器接收到来自本地客户端的加密数据后执行聚合和更新操作，然后将新的参数下发至本地客户端进行下一轮训练；步骤b5、独立的本地客户端获取中央服务器下发的新一轮训练参数，使用私钥解密后得到真实数据；步骤b6、中央服务器主导协同训练，持续迭代更新本地模型参数，直到达到终止条件后完成基于联邦学习的模型训练。4.根据权利要求3所述的多模态高速公路拥堵识别方法，其特征在于，当使用联邦学习得到模型与不使用联邦学习得到模型之间的准确率误差小于一个极小正数时，认为模型符合预期，可用于后续步骤，否则重新进行训练：e＝|acc
fl-acc
all
|＜ε其中，ε为设定的极小正数，acc
fl
和acc
all
分别为使用联邦学习和不使用联邦学习得到模型的准确率，e为两种模型的准确率之差的绝对值；于是，对于持续迭代的优化目标，主要着眼于减少引入安全策略后对于准确率的损失，其目标函数为：mine,(e＜ε)。
5.根据权利要求3所述的多模态高速公路拥堵识别方法，其特征在于，步骤b1中，中央服务器初始化配置参数p，下发至本地客户端；步骤b2中，本地客户端将配置参数p加入各自模型中完成本地模型的初始化操作；步骤b3中，本地客户端对中间数据的加密方式为：其中t为训练的轮次，z
it
为第i个本地客户端加密后的参数，c
it
为第i个客户端在本轮的产生的中间数据，pk为生成的公钥，e(
·
)为加密函数；步骤b4中，中央服务器执行的参数更新方式为：其中，为下一轮的参数，t为训练的轮次，p
i
为第i个客户端上的样本数，p
all
为本轮参与客户端上样本的总数，n为客户端总数；在若干轮训练中，每一轮选择1到n个客户端参与，中央服务器将收集来的数据用加权平均的方式进行聚合；步骤b5中，本地客户端使用私钥解密后得到真实数据的方式为：其中，为解密后的从中央服务器得到的最新一轮下发参数，d(
·
)为解密函数，sk为私钥，本地客户端根据这一轮的得到的数据进行本地模型中参数的更新。6.根据权利要求3所述的多模态高速公路拥堵识别方法，其特征在于，步骤c中，基于步骤b中对多模态数据分别训练好的分类器m＝{m
z
,z＝1,2,
…
,q}，将步骤a中的区间数据输入每个模型，得到模型的输出结果：其中，getj()为计算模型的预测值，为在决策时刻k模型m
z
输出的预测值；然后对模型m
z
输出的预测值进行决策级融合，得到模型输出的平均拥堵程度的j
i
的方法为：其中，j
i
为第i个本地客户端模型融合后的平均拥堵程度，w
z
为第z个模型的权重，q为模型总数，为第z个模型输出的拥堵程度预测值。7.根据权利要求6所述的多模态高速公路拥堵识别方法，其特征在于，所述步骤d具体包括以下步骤：步骤d1、基于步骤c得到的平均拥堵程度j，对应第i个区域的第j条高速公路，其在决策时刻t
k
具有的平均拥堵程度定义为对应决策区间[t
k-1
,t
k
)其优化参考值为目标函数为：其中，为本决策时刻的附加影响因子，为决策时刻的优化参考值；步骤d2、基于步骤d1中的目标函数，定义附加影响因子与本决策时刻的优化参考值：
其中，c为附加影响因子的个数，δ为可控制的优化参数。8.一种多模态高速公路拥堵识别系统，其特征在于，包括本地客户端、网络和中央服务器，所述本地客户端和中央服务器均包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-7任一项所述的方法步骤。9.根据权利要求8所述的多模态高速公路拥堵识别系统，其特征在于，包括：高速路网多模态数据准备模块，用于准备训练模型所需要的多模态高速路网数据，包括数据采集子模块和数据预处理子模块；数据采集子模块在本地域内将高速路网多模态隐私数据进行统一收集；数据预处理子模块对数据进行筛选、分类以及清洗，生成可以用于训练的标准数据；高安全性协同训练模块，用于进行多个独立数据的安全共享和模型的分布式训练，包括本地模型训练子模块和协同共享子模块；本地模型训练子模块接收从中央服务器下发的参数，独立地进行本地训练；协同共享子模块将本地模型产生的独立中间数据利用同态加密进行安全共享，中央协作服务器聚合后下发新一轮训练的参数；同态加密的使用可以使中央写作服务器在不需要解密的情况下进行聚合操；综合决策优化模块，用于进行决策级的融合和输出优化，包括决策级融合子模块和输出优化子模块；决策级融合子模块利用多模态数据训练出来的模型进行预测分析，然后加权融合出平均拥堵程度；输出优化子模块分析一个可变区间内的车流情况，由弹性可变的算法对输出阈值进行计算，优化拥堵程度的计算算法，得到更符合实际车况的输出。10.根据权利要求9所述的多模态高速公路拥堵识别系统，其特征在于，所述高速路网多模态数据准备模块还对收集的图像、文本多模态数据进行清洗、分类，然后将特定数据去除重复值、空值及异常值；对于特定区域中的高速公路，对于划分出的决策区间[t
k-1
,t
k
)，有为决策区间内高速公路摄像头拍摄的路况媒体切帧图像数据或路网门架文本数据；所述高安全性协同训练模块基于预处理后的多模态数据进行协同训练，利用联邦学习和同态加密技术迭代训练模型，对数据进行安全共享，完成分布式训练后产生输出模型m；所述综合决策优化模块基于高安全性协同训练模块产生的输出模型m和区间优化算法进行多模态数据的决策级融合和输出优化，产生拥堵程度输出。

技术总结
本发明涉及一种多模态高速公路拥堵识别方法及系统，该方法包括：A、本地客户端对收集的高速公路多模态数据进行预处理；B、基于多模态数据，本地客户端对各种模态数据构造训练模型；对于各个训练模型，本地客户端和可信的中央服务器利用联邦学习和同态加密技术进行协同迭代训练模型，训练完成后产生输出模型；C、对输出模型进行多模态数据的后端融合，即对不同模态数据分别训练好的分类器输出决策进行融合，得到模型输出的平均拥堵程度；D、基于平均拥堵程度，对模型的拥堵计算区间进行优化和更新，实现高速路网拥堵识别的算法参数的自适应修正。该方法及系统可以提高高速公路拥堵识别的速度和准确性，并保证数据共享的安全性。并保证数据共享的安全性。并保证数据共享的安全性。


技术研发人员：姚凌云 邹莹 郭建平 郑昱 唐昌林
受保护的技术使用者：福建省高速公路联网运营有限公司
技术研发日：2023.04.07
技术公布日：2023/9/23