云边协同场景下基于联邦终身学习的工业建模系统及方法

1.本发明属于工业过程关键质量变量软测量领域，尤其涉及云边协同、联邦学习、终身学习的软测量系统及方法。


背景技术：

2.为确保大型制造设备的安全和经济运行，关键的质量变量的准确测量是至关重要的。然而，由于硬件成本、测量误差、分析时延等因素，部分关键质量无法及时测量，严重影响了后续过程监测和先进控制的执行。数据驱动的软测量模型近年来被提出，其作为回归模型，通过输入易测的过程变量，实现关键质量变量的实时预测。其中，由于深度网络具备强大的非线性关系和时序关系提取能力，基于深度学习的软测量模型性能表现优异。如今，云边协同(cloud-edge collaboration)作为一种新的智能制造范式被提出来，其打破了工业领域的数据孤岛，聚集和组织了海量信息资源，为数据融合和知识聚合提供了新的解决方案。作为云边协同的一种典型范式，联邦学习引起了广泛关注，其能在不泄露数据隐私的情况下，实现深度学习模型的分布式训练。基于联邦学习训练软测量模型，即联邦软测量模型，可以进一步地提高模型对质量变量的预测能力，这是因为模型可以融合不同工厂间互补的知识。
3.尽管联邦软测量算法取得广泛关注，但大部分算法都假设各客户端数据分布是静态的，即各客户端数据分布不会随着时间推移而改变。然而这一假设在实际过程中很难成立。由于设定值的改变、操作条件切换、机械磨损等因素，实际过程的工况不断发生变化，这导致不同时刻采集到的数据具有很大的分布偏移。这一问题也被称为时序非独立同分布(temporal non-independent and identicallydistribution,temporal non-iid)。受这一问题影响，当本地数据分布发生切换，若模型没有及时更新，传统联邦学习模型的性能会出现显著的下降。然而，更新后的模型会遗忘历史学习的工况，出现灾难性遗忘问题。
4.为了解决模型增量更新出现的灾难性遗忘问题，终身学习范式受到广泛的关注。特别地，基于重放式的终身学习范式在抗遗忘方面取得巨大进展。这一范式主要包括基于原型的重放算法和基于生成的重放算法。前者针对每一种数据分布，保留最接近分布中心的数据，实现历史知识的回放，但一定程度上丧失样本多样性；后者基于对抗生成网络，模仿每一种训练数据分布，实现历史数据的生成和知识的回放，但生成数据的分布会出现偏差。此外，这些方法也无法应对工业数据中普遍存在的缺失问题。


技术实现要素：

5.本发明的目的在于，针对现有工业设备的联邦软测量技术无法处理工况不断变化的不足，提供一种基于扩散模型联邦终身建模系统和方法，利用了细粒度重放策略、云端知识聚合。对于细粒度重放策略，本发明为每一工况设计专有的扩散模型，实现对数据的捕捉、填补和生成。扩散模型通过提出的自掩码技巧进行训练，同时具备填补能力和生成能力。扩散模型生成的伪数据与增量数据协同训练，实现对历史知识的巩固。针对云端知识聚
合部分，本发明设计联邦加权聚合策略，实现对其它工厂历史知识的融合。针对联邦终身软测量在线应用框架，本发明根据当前控制变量的设定值，针对地设计了不同的软测量策略，实现对关键质量变量的有效预测。
6.本发明的目的通过以下技术方案实现：
7.一种云边协同场景下基于扩散模型的联邦终身工业建模系统，包括：
8.c个客户端，每个客户端包含一个数据获取模块、一个数据记忆库、一个扩散模型库、一个本地软测量模型和c-1个其他客户端对应的本地软测量模型；数据获取模块用于实时获取工业过程变量数据；所述数据记忆库基于数据获取模块实时更新存储新出现的工况的数据构建新出现工况的训练数据集；所述训练数据集的每个样本包含工业过程变量数据和对应的软测量标签；扩散模型库包括多个扩散模型，多个扩散模型与工况一一对应，并基于对应工况的训练数据集，将样本中拟构造缺失部分和不存在缺失的部分分开分别构建与原始训练样本等大小的子样本，以拟构造缺失部分构建的子样本为目标值进行t步扩散得到将扩散后的不存在缺失的部分构建的子样本和扩散步数t输入到扩散模型中，扩散模型预测在前向扩散过程中加入的噪声，通过噪声的真值ε
t
约束扩散模型进行训练获得；所述扩散模型至少用于对对应工况下数据获取模块实时获取的存在缺失的工业过程变量数据进行填补；每个客户端的本地软测量模型基于对应数据记忆库存储的数据进行训练更新并分别传输给云端和其他客户端；
9.一个云端，云端用于接收每个客户端训练更新的本地软测量模型并聚合得到全局模型。
10.进一步地，所述扩散模型训练的损失函数为：
[0011][0012]
式中，ε
θ
(*)表示扩散模型预测的噪声，α
t
＝1-β
t
，β
t
为第t步扩散过程控制噪声幅值的小于1的正数；||*|
|2
为l2范数，表示对t～[1,t],和ε
t
的所有可能取值计算期望值。
[0013]
进一步地，所述扩散模型对对应工况下数据获取模块实时获取的存在缺失的工业过程变量数据进行填补的方法具体为：
[0014]
将高斯噪声作为第t步扩散得到的缺失部分构建的子样本把对应工况下数据获取模块实时获取的存在缺失的工业过程变量数据中不存在缺失的部分构建为子样本t和输入到训练好的扩散模型中，得到模型估计的均值函数和方差函数，从而得到再将再将和t输入到扩散模型，从而得到重复这一过程，直至得到表示为：
[0015][0016]
[0017]
其中，t为扩散的总步数，，ε
θ
(*)表示扩散模型预测的噪声，是方差函数，α
t
＝1-β
t
，β
t
为第t步扩散过程控制噪声幅值的小于1的正数，ε为高斯噪声。
[0018]
进一步地，所述数据记忆库基于数据获取模块实时更新存储新出现的工况的数据构建新出现工况的训练数据集，具体为：
[0019]
收集存储数据获取模块获取的新出现工况的工业过程变量数据；
[0020]
利用收集的数据中存储的不存在缺失的工业过程变量数据构造子样本并训练获得对应的扩散模型；
[0021]
利用训练好的扩散模型对收集的数据中存储的存在缺失的工业过程变量数据进行填补获得填补数据；
[0022]
通过离线分析系统对不存在缺失的工业过程变量数据和填补数据进行打标签构建获得新出现工况的训练数据集。
[0023]
进一步地，所述扩散模型还包括用于生成重放数据，具体为：
[0024]
将高斯噪声作为第t步扩散得到的缺失部分构建的子样本令不存在缺失的部分构建的子样本将t和输入到训练好的扩散模型中，得到模型估计的均值函数和方差函数，从而得到再将和t输入到扩散模型，从而得到重复这一过程，直至得到表示为：
[0025][0026][0027]
其中，t为扩散的总步数，ε
θ
(*)表示扩散模型预测的噪声，是方差函数，α
t
＝1-β
t
，β
t
为第t步扩散过程控制噪声幅值的小于1的正数，ε为高斯噪声。
[0028]
进一步地，所述数据记忆库中还存储有对应客户端中包含的每个工况下的重放数据集；重放数据集通过如下方法构建获得：
[0029]
利用对应工况下训练获得的扩散模型获得重放数据；
[0030]
基于对应客户端的本地软测量模型对重放数据进行预测获得软测量结果作为伪标签，构建获得重放数据集。
[0031]
进一步地，当存在一客户端的数据记忆库构建获得一新工况的训练数据集，则每个客户端的本地软测量模型和全局模型均训练更新一次，具体为：
[0032]
对于存在新工况的训练数据集的客户端，使用对应数据记忆库存储的新出现工况的训练数据集和其他工况的重放数据集作为训练数据进行训练，其他客户端均使用对应数据记忆库存储的所有对应工况的重放数据集作为训练数据进行训练；每一客户端在训练本地软测量模型过程中，每间隔固定轮次上传本地软测量模型到云端，云端对各客户端的本地软测量模型进行加权平均，得到全局模型后分发给各客户端；客户端收到全局模型后，以
全局模型的参数作为本地软测量模型后续训练的起点；重复该流程直至达到预设的轮次，完成每个客户端的本地软测量模型和全局模型的更新，云端将全局模型和所有客户端的本地软测量模型传给每一个客户端。
[0033]
进一步地，本地软测量模型和全局模型的结构为lstm、rnn、cnn、convlstm、transformer等。
[0034]
一种云边协同场景下基于扩散模型的联邦终身工业建模方法，基于所述云边协同场景下基于扩散模型的联邦终身工业建模系统实现，包括以下步骤：
[0035]
(1)每一客户端的数据获取模块实时获取工业过程变量数据，在线数据获取后，判断该数据的工况是否发生变化；
[0036]
(2)根据工况的判断结果，执行对应的操作：若当前工况是本地建模过的工况，则本地软测量模型直接用于软测量任务预测工业过程变量数据的软测量结果；若当前工况是其它客户端训练过的工况，则对应客户端的本地软测量模型用于当前的软测量任务预测工业过程变量数据的软测量结果；若当前工况是所有客户端未见的工况，则全局的软测量模型用于当前的软测量任务预测工业过程变量数据的软测量结果，同时收集当前新工况的工业过程变量数据并存储至对应数据记忆库；
[0037]
(3)待收集一定当前新工况的工业过程变量数据后，基于收集的新工况的工业过程变量数据训练对应的扩散模型并存储至扩散模型库；利用训练好的扩散模型对收集的新工况的工业过程变量数据进行填补，通过离线分析系统进行打标签，构建获得新工况的训练数据集；
[0038]
(4)当存在一客户端的数据记忆库构建获得一新工况的训练数据集，则每个客户端的本地软测量模型和全局模型均训练更新一次。
[0039]
进一步地，步骤(2)中若当前工况为本地建模工况，则使用本地对应工况的扩散模型进行填补缺失值，否则使用均值填补处理缺失值，再进行软测量任务。
[0040]
传统的联邦软测量算法受限于客户端数据分布静态的假设，无法处理客户端数据分布随工况切换而变化的情况，盲目更新模型会造成历史软测量知识的遗忘。与现有技术相比，本发明具有的有益效果至少包括：
[0041]
1、设计了细粒度重放策略，本发明为每一工况设计专有的扩散模型，实现对数据的捕捉、填补和生成。扩散模型通过提出的自掩码技巧进行训练，同时具备填补能力和生成能力。扩散模型生成的伪数据与增量数据协同训练，实现对历史知识的巩固。
[0042]
2、设计了云端知识聚合方法，本发明设计联邦加权聚合策略，实现对其它工厂历史知识的融合。
[0043]
3、提出一个联邦终身软测量在线应用方法，本发明根据当前控制变量的设定值，针对地设计了不同的软测量策略，实现对关键质量变量的有效预测，预测得到的质量变量可以指示当前过程运行的状态，可以用于后续的异常检测任务和闭环控制任务。
附图说明
[0044]
图1是本发明中扩散模型训练与自掩码训练流程图；
[0045]
图2是本发明的dmb与emb的更新过程图；
[0046]
图3是基于扩散模型的联邦终身建模框架整体流程图。
具体实施方式
[0047]
下面结合附图及具体实施例，对本发明做进一步说明。
[0048]
本发明提供的一种云边协同场景下基于扩散模型的联邦终身工业建模系统，包括：
[0049]
一个云端和c个客户端；每个客户端包含一个数据获取模块、一个数据记忆库、一个扩散模型库、一个本地软测量模型和c-1个其他客户端对应的本地软测量模型；其中：
[0050]
数据获取模块用于实时获取工业过程变量数据；数据记忆库基于数据获取模块实时更新存储新出现的工况的数据构建新出现工况的训练数据集；训练数据集的每个样本包含工业过程变量数据和对应的软测量标签，针对某一客户端的某一工况的训练数据集可以表示为其中，c表示第c个客户端，w表示第w个工况，为客户端c工况w的样本量，和分别表示客户端c工况w数据的第i个样本和软测量标签，为一个多元时间序列的滑动窗口。每个客户端的本地软测量模型基于对应数据记忆库存储的数据进行训练更新并分别传输给云端和其他客户端；云端用于接收每个客户端训练更新的本地软测量模型并聚合得到全局模型。基于工业过程变量数据，利用训练好的软测量模型，可以预测对应的质量变量，从而实现质量变量监测确保大型制造设备的安全和经济运行。对于每个客户端，可以预先收集常出现的几个工况的训练数据集进行训练对应的扩散模型并构建初始的本地软测量模型和全局模型，在实际使用过程中再基于新出现的工况进行更新数据记忆库、扩散模型库、本地软测量模型和全局模型。本实施例以三相流工业过程的质量监测为例，所选择的三相流过程共包含24个变量，其中空气输送压力、立管底部压力、立管顶部压力和分离器顶部压力作为软测量模型的质量变量(软测量结果)。数据采样频率为1hz，滑动窗口的长度为30。该过程的实时获取的工业过程变量包括空气流速和水流速，其值的改变影响数据分布的变化，属于不同的工况。
[0051]
受信号传输错误或硬件故障等因素影响，实时采集的工业过程数据存在大量缺失值。为实现缺失值的填补和历史数据的生成，本发明系统构建了扩散模型库，扩散模型库包括多个扩散模型，扩散模型至少用于对对应工况下数据获取模块实时获取的存在缺失的工业过程变量数据进行填补；扩散模型包括前向扩散过程和逆扩散过程。前向扩散过程为一个确定性的马尔可夫过程，其通过逐步添加白噪声的方式将原始数据转化为标准高斯分布，具体为：
[0052][0053][0054]
其中，t表示第t步扩散过程，扩散过程共有t步，表示未经过扩散过程的原始样本，为经过t步扩散后的噪声样本，β
t
为控制噪声幅值的小于1的正数，i表示单位协方差矩阵，表示从为均值、以β
t
i为协方差的高斯分布采样出的概率，表示从到的条件概率分布。
[0055]
通过重参数技巧，任意时间步的在给定情况下的条件概率可以通过下式
直接给出
[0056][0057]
其中，α
t
＝1-β
t
。
[0058]
逆扩散过程是将上述扩散过程一步步地进行逆转，实现从高斯噪声生成原始数据。该过程也是一个马尔可夫过程，且服从高斯分布，具体为
[0059][0060][0061]
其中，和分别表示均值函数和方差函数，表示从均值为方差为的高斯分布中取值为的概率，p
θ
表示逆扩散过程的概率密度函数，表示已知情况下，自变量取值为的概率，表示已知情况下，采样得到t从0到t时的概率，表示的先验分布。
[0062]
通过贝叶斯规则，可以推导出均值函数和方差函数有以下形式：
[0063][0064][0065]
其中，ε
θ
为扩散模型需要学习的降噪函数，ε
θ
(*)表示扩散模型预测的噪声，*为扩散模型的输入。
[0066]
扩散模型通过所提的自掩码训练技巧进行训练。多个扩散模型与工况一一对应，基于对应工况下的训练数据集通过自掩码训练技巧进行训练获得，训练过程如下：
[0067]
构建扩散模型的训练子数据集：对对应工况下的工业工程数据样本以固定概率构造位置随机的缺失，并将每一训练样本中拟构造缺失部分和不存在缺失的部分分开分别构建与原始训练样本等大小的子样本，其中不存在缺失的部分构建的子样本(不存在缺失部分为原始特征值，拟构造缺失部分特征值为0)表示为作为扩散模型的原始的观测样本，拟构造缺失部分构建的子样本(拟构造缺失部分为原始特征值，不存在缺失部分特征值为0)记为作为目标值；
[0068]
利用x
obs
和x
tgt
，以自监督的方式训练扩散模型，如图1所示，具体为：对目标值进行t步扩散得到t从1到t中均匀采样，将扩散后的原始的观测样本和扩散步数t输入到扩散模型中，扩散模型预测在前向扩散过程中加入的噪声，通过噪声的真值ε
t
约束扩散模型的训练。示例性地，损失函数可以采用：
[0069][0070]
||*|
|2
为l2范数，表示对t～[1,t]，和ε
t
的所有可能取值计算期望值。
[0071]
利用每个工况的工业过程数据，可以建立该工况专属的扩散模型(diffusion model,dm)将训练好的扩散模型存入扩散模型库(diffusion model base,dmb)dmbc，使用训练好的扩散模型可以对对应工况的工业工程数据进行填补，遍历每一个样本得到对应的进而得到填补数据构造填补数据集利用扩散模型对训练数据进行填补过程具体为：
[0072]
将高斯噪声作为第t步扩散得到的缺失部分构建的子样本把不存在缺失的部分构建的子样本t和输入到训练好的扩散模型中，得到模型估计的均值函数和方差函数，从而得到再将和t输入到扩散模型，从而得到重复这一过程，直至得到该过程可以写作
[0073][0074]
其中，ε为标准高斯分布中采样得到的噪声即高斯噪声。
[0075]
进一步地，使用训练好的扩散模型还可以对对应工况生成重放数据当新的工况出现且积累足够训练数据时，结合重放数据对本地软测量模型进行训练更新可以抗遗忘，保持更新后的本地软测量模型对原始工况软测量的精度。
[0076]
利用扩散模型生成重放数据的过程具体为：
[0077]
将高斯噪声作为第t步扩散得到的缺失部分构建的子样本令不存在缺失的部分构建的子样本(全部置为0)，将t和输入到训练好的扩散模型中，得到模型估计的均值函数和方差函数，从而得到再将和t输入到扩散模型，从而得到重复这一过程，直至得到预先设定重放数据的数量，从标准高斯分布中采样对应数量的噪声输入扩散模型，即可得到生成的重放数据将生成的重放数据存入数据记忆库(external memorybank,emb)embc。
[0078]
进一步地，步骤(2)中将生成数据存入数据记忆库的过程如图2所示，具体为：
[0079]
构造重放数据集其中placeholder表示重放数据标签的占位符，将重放数据集并入到数据记忆库。对于已经出现过的工况的重放数据标签则直接通过对应本地软测量模型对重放数据进行预测打伪标签，进而替换placeholder。对于新出现的工况的重放数据标签则通过基于新工况对应的填补数据集和当前客户端对应的其他工况的重放数据集作为训练数据更新后的本地软测量模型进行预测打伪标签，进而替换placeholder。即：在本地软测量模型更新后再打伪标签，其中，当存在一客户端的数据记忆
库构建获得一新工况的训练数据集，则每个客户端的本地软测量模型和全局模型均训练更新一次；具体地：
[0080]
在每一客户端，使用数据记忆库存储的数据进行训练，其中对于存在新工况的训练数据集的客户端，使用对应数据记忆库存储的新出现工况的训练数据集(填补数据集)和其他工况的重放数据集作为训练数据进行训练，其他客户端均使用对应数据记忆库存储的所有工况的重放数据集作为训练数据进行训练；
[0081]
其中，软测量模型可以采用常规的神经网络模型，如lstm、rnn、cnn、convlstm、transformer等，本实施例中具体为，使用lstm和全连接层级联的结构，前者用于提取时序特征，后者用于得到最后的预测结果。每个客户端的模型结构相同，针对客户端c，其软测量模型参数分别为记整体模型为将训练数据集中工业过程数据输入lstm网络得到特征再将特征zc输入全连接层，得到预测结果通过最小化预测结果与真值之间的二范数误差优化软测量模型的参数，该过程的损失函数可以写作
[0082][0083]
式中xc表示第c个客户端在当前更新使用的训练数据的工业过程数据，yc为对应的标签，对于存在新工况的训练数据集的客户端，包含填补数据集的工业过程数据和其他工况的重放数据集的工业过程数据。
[0084]
每一客户端在训练本地软测量模型过程中，每间隔固定轮次上传本地软测量模型到云端，云端对各客户端软测量模型进行加权平均，得到全局模型后分发给各客户端。客户端收到全局模型后，以全局模型的参数作为本地软测量模型后续训练的起点。重复该流程直至达到预设的轮次。完成每个客户端的本地软测量模型和全局模型的更新，云端将全局模型和所有客户端的本地软测量模型传给每一个客户端。
[0085]
对于存在新工况的训练数据集的客户端，在训练完成后使用训练好的软测量模型，重放数据打伪标签伪标签代替中的placeholder。具体为：将重放数据带入到软测量模型中，得到重放数据的伪标签该过程可以写作：
[0086][0087]
本发明系统可在线用于工业软测量，如图3所示，包括以下步骤：
[0088]
步骤(1)：每一客户端的数据获取模块实时获取工业过程变量数据，在线数据获取后，判断该数据的工况是否发生变化，判断依据可以为控制变量的值是否发生变化，本实施例中具体为空气流速和水流速是否发生变化。
[0089]
步骤(2)：根据工况的判断结果，执行对应的操作。若当前工况是本地建模过的工况，则本地软测量模型直接用于软测量任务预测工业过程变量数据的软测量结果；若当前工况是其它客户端训练过的工况，则对应客户端的本地软测量模型用于当前的软测量任务预测工业过程变量数据的软测量结果；若当前工况是所有客户端未见的工况，则全局模型用于当前的软测量任务预测工业过程变量数据的软测量结果，同时收集当前新工况的工业过程变量数据并存储至对应数据记忆库；预测得到的质量变量可以指示当前过程运行的状
态，可以用于后续的异常检测任务和闭环控制任务。
[0090]
步骤(3)：待收集一定当前新工况的工业过程变量数据后，基于收集的新工况的工业过程变量数据训练对应的扩散模型并存储至扩散模型库；利用训练好的扩散模型对收集的新工况的工业过程变量数据进行填补，通过离线分析系统进行打标签，构建获得新工况的训练数据集，用于后续终身增量更新；
[0091]
步骤(4)：当存在一客户端的数据记忆库构建获得一新工况的训练数据集，则每个客户端的本地软测量模型和全局模型均训练更新一次。
[0092]
进一步地，步骤(2)中若当前工况为本地建模工况，则使用本地对应工况的扩散模型进行填补缺失值，否则使用均值填补处理缺失值，再进行软测量任务。
[0093]
本实施例中空气流速共有4种取值，水流速共有5种取值。设置4个不同的客户端(记为a、b、c和d)，其空气流速各不相同，每个客户端有5种工况数据分布，共有20种不同的工况数据分布。本地的5个数据分布随着时间依次出现，软测量模型需要在数据分布变化的情况下训练与更新。使用err指标和bwt指标对本发明系统性能进行评估，选择完全重放(exact replay,er)，不重放(no replay,nr)，基于原型的重放算法icarl和基于生成的重放算法dgr作为对比算法。err的计算方法为
[0094][0095]
其中，是测试误差矩阵，每一个元素r
i,j
代表软测量模型在数据集训练后在数据集测试误差，误差通过rmse和mae衡量。该指标评估了模型在所有数据分布上整体的预测能力，其值越小模型更优。
[0096]
bwt的计算方式是
[0097][0098]
bwt反映了模型增量更新后对历史学习任务的影响，该值越小模型更优。
[0099]
不同客户端下软测量模型抗遗忘能力的结果如表1所示。nr策略拥有最高的err和bwt，这说明基于深度学习的软测量模型具有灾难性遗忘问题，er策略拥有最低的err和bwt，但这种策略会导致模型的训练成本大大增加，在实际中无法使用。在不考虑er策略的情况下，本发明在不同客户端下都具有最低的err和bwt，反映了本发明在抗遗忘方面的优越性。
[0100]
表1.本发明与其它重放算法的抗遗忘结果对比
[0101][0102]
不同客户端下软测量模型对已见分布和未见分布泛化性能的结果如表2所示。从表中可以看出，本发明在进行云端聚合的情况下，软测量模型对已见分布和未见分布在rmse和mae指标上都具有最小的误差，反映出本发明具有对未见分布更好的泛化性能。
[0103]
表2.本发明与无联邦聚合的泛化性能对比
[0104][0105]
本发明不止局限于上述实例的三相流过程软测量领域，凡是熟悉本领域的技术人员在不违背本发明的前提下还可以做出等同变型或替换，这些等同的变型或替换均包含在本技术权利要求所限定的范围内。

技术特征：
1.一种云边协同场景下基于扩散模型的联邦终身工业建模系统，其特征在于，包括：c个客户端，每个客户端包含一个数据获取模块、一个数据记忆库、一个扩散模型库、一个本地软测量模型和c-1个其他客户端对应的本地软测量模型；数据获取模块用于实时获取工业过程变量数据；所述数据记忆库基于数据获取模块实时更新存储新出现的工况的数据构建新出现工况的训练数据集；所述训练数据集的每个样本包含工业过程变量数据和对应的软测量标签；扩散模型库包括多个扩散模型，多个扩散模型与工况一一对应，并基于对应工况的训练数据集，将样本中拟构造缺失部分和不存在缺失的部分分开分别构建与原始训练样本等大小的子样本，以拟构造缺失部分构建的子样本为目标值进行t步扩散得到将扩散后的不存在缺失的部分构建的子样本和扩散步数t输入到扩散模型中，扩散模型预测在前向扩散过程中加入的噪声，通过噪声的真值ε
t
约束扩散模型进行训练获得；所述扩散模型至少用于对对应工况下数据获取模块实时获取的存在缺失的工业过程变量数据进行填补；每个客户端的本地软测量模型基于对应数据记忆库存储的数据进行训练更新并分别传输给云端和其他客户端；一个云端，云端用于接收每个客户端训练更新的本地软测量模型并聚合得到全局模型。2.根据权利要求1所述的系统，其特征在于，所述扩散模型训练的损失函数为：式中，ε
θ
(*)表示扩散模型预测的噪声，α
t
＝1-β
t
，β
t
为第t步扩散过程控制噪声幅值的小于1的正数；||*||2为l2范数，表示对t～[1,t]，和ε
t
的所有可能取值计算期望值。3.根据权利要求1所述的系统，其特征在于，所述扩散模型对对应工况下数据获取模块实时获取的存在缺失的工业过程变量数据进行填补的方法具体为：将高斯噪声作为第t步扩散得到的缺失部分构建的子样本把对应工况下数据获取模块实时获取的存在缺失的工业过程变量数据中不存在缺失的部分构建为子样本t和输入到训练好的扩散模型中，得到模型估计的均值函数和方差函数，从而得到再将再将和t输入到扩散模型，从而得到重复这一过程，直至得到表示为：表示为：其中，t为扩散的总步数，ε
θ
(*)表示扩散模型预测的噪声，是方差函数，α
t
＝1-β
t
，β
t
为第t步扩散过程控制噪声幅值的小于1的正数，ε为高斯噪声。
4.根据权利要求1所述的系统，其特征在于，所述数据记忆库基于数据获取模块实时更新存储新出现的工况的数据构建新出现工况的训练数据集，具体为：收集存储数据获取模块获取的新出现工况的工业过程变量数据；利用收集的数据中存储的不存在缺失的工业过程变量数据构造子样本并训练获得对应的扩散模型；利用训练好的扩散模型对收集的数据中存储的存在缺失的工业过程变量数据进行填补获得填补数据；通过离线分析系统对不存在缺失的工业过程变量数据和填补数据进行打标签构建获得新出现工况的训练数据集。5.根据权利要求1所述的系统，其特征在于，所述扩散模型还包括用于生成重放数据，具体为：将高斯噪声作为第t步扩散得到的缺失部分构建的子样本令不存在缺失的部分构建的子样本将t和输入到训练好的扩散模型中，得到模型估计的均值函数和方差函数，从而得到再将和t输入到扩散模型，从而得到重复这一过程，直至得到表示为：表示为：其中，t为扩散的总步数，ε
θ
(*)表示扩散模型预测的噪声，是方差函数，α
t
＝1-β
t
，β
t
为第t步扩散过程控制噪声幅值的小于1的正数，ε为高斯噪声。6.根据权利要求5所述的系统，其特征在于，所述数据记忆库中还存储有对应客户端中包含的每个工况下的重放数据集；重放数据集通过如下方法构建获得：利用对应工况下训练获得的扩散模型获得重放数据；基于对应客户端的本地软测量模型对重放数据进行预测获得软测量结果作为伪标签，构建获得重放数据集。7.根据权利要求6所述的系统，其特征在于，当存在一客户端的数据记忆库构建获得一新工况的训练数据集，则每个客户端的本地软测量模型和全局模型均训练更新一次，具体为：对于存在新工况的训练数据集的客户端，使用新出现工况的训练数据集和其他工况的重放数据集作为训练数据进行训练，其他客户端均使用对应的所有工况的重放数据集作为训练数据进行训练；每一客户端在训练本地软测量模型过程中，每间隔固定轮次上传本地软测量模型到云端，云端对各客户端的本地软测量模型进行加权平均，得到全局模型后分发给各客户端；客户端收到全局模型后，以全局模型的参数作为本地软测量模型后续训练的起点；重复该流程直至达到预设的轮次，完成每个客户端的本地软测量模型和全局模型的更新，云端将全局模型和所有客户端的本地软测量模型传给每一个客户端。
8.根据权利要求6所述的系统，其特征在于，本地软测量模型和全局模型的结构为lstm、rnn、cnn、convlstm或transformer。9.一种云边协同场景下基于扩散模型的联邦终身工业建模方法，其特征在于，基于权利要求1-8任一项所述云边协同场景下基于扩散模型的联邦终身工业建模系统实现，包括以下步骤：(1)每一客户端的数据获取模块实时获取工业过程变量数据，在线数据获取后，判断该数据的工况是否发生变化；(2)根据工况的判断结果，执行对应的操作：若当前工况是本地建模过的工况，则本地软测量模型直接用于软测量任务预测工业过程变量数据的软测量结果；若当前工况是其它客户端训练过的工况，则对应客户端的本地软测量模型用于当前的软测量任务预测工业过程变量数据的软测量结果；若当前工况是所有客户端未见的工况，则全局的软测量模型用于当前的软测量任务预测工业过程变量数据的软测量结果，同时收集当前新工况的工业过程变量数据并存储至对应数据记忆库；(3)待收集一定当前新工况的工业过程变量数据后，基于收集的新工况的工业过程变量数据训练对应的扩散模型并存储至扩散模型库；利用训练好的扩散模型对收集的新工况的工业过程变量数据进行填补，通过离线分析系统进行打标签，构建获得新工况的训练数据集；(4)当存在一客户端的数据记忆库构建获得一新工况的训练数据集，则每个客户端的本地软测量模型和全局模型均训练更新一次。10.根据权利要求9所述的方法，其特征在于，步骤(2)中若当前工况为本地建模工况，则使用本地对应工况的扩散模型进行填补缺失值，否则使用均值填补处理缺失值，再进行软测量任务。

技术总结
本发明公开了一种云边协同场景下基于联邦终身学习的工业建模系统及方法。为实现工业过程在变工况场景下的终身学习与建模能力，本发明引入基于生成的重放策略，为每一工况设计专有的扩散模型，实现对数据的捕捉、填补和生成。扩散模型生成的伪数据与增量数据协同训练，实现对本地历史工况知识的巩固。考虑到工业数据缺失率高、质量差的特性，本方法提出自掩码技巧用于训练扩散模型，使其同时具备填补能力和生成能力。考虑到不同客户端工况的差异性与互补性，本发明设计联邦加权聚合策略，实现对其它工厂历史知识的融合。本发明在保护数据隐私的情况下，有效利用各客户端知识，下游任务模型在增量更新时不遗忘历史的数据分布，且对本地未见工况具有更强的泛化能力。且对本地未见工况具有更强的泛化能力。且对本地未见工况具有更强的泛化能力。


技术研发人员：赵春晖 李宝学 王伟 范海东
受保护的技术使用者：浙江大学
技术研发日：2023.04.13
技术公布日：2023/7/20