基于具有增量学习能力宽度慢特征神经网络的污水处理过程异常工况监测方法

1.本研究以污水处理过程异常工况监测为目标，研究了一种基于具有增量学习能力宽度慢特征神经网络的污水处理过程异常工况监测方法。


背景技术：

2.对污水处理厂进行异常工况监测可以确保污水处理过程的安全运行和出水水质达标。来居民生活和工业工厂污水在排放之前必须经过严格处理。然而，当大规模污水处理单元发生故障时，造成的损失常常是灾难性的。例如污泥沉淀的恶化，悬浮颗粒物的增加，显著的污泥损失对系统正常处理污水能力构成直接威胁。另外，从污水处理过程中收集的原始数据的特征通常是非线性和动态的，这些特征可以显著影响用于早期监测网络性能，进而可能影响污水处理过程对于异常工况监测的效果。因此，提取污水处理运行过程中有价值的特征信息可以提高污水处理过程对于异常工况监测的准确性和效率。
3.在过去几十年中，随着工业自动化和传感器技术的快速发展推进了过程异常工况监测模型的研究进程。过程监测两种主要方法是多元统计和神经网络方法。多元统计过程监测(mspm)技术，例如主成分分析(pca)，偏最小二乘法(pls)，独立成分分析(ica)核主成分分析(kpca)，核偏最小二乘法(kpls)和核独立成分分析(kica)已经被广泛应用于工业过程的监测。然而，核方法有一些缺点，包括缺乏选择理想核参数和函数需要先验知识，以及核投影和延迟函数也会产生的巨大计算量。人工神经网络(ann)由于其出色的非线性解释能力，被用作各种工业过程中进行异常工况的监测，包括深度置信网络(dbn)，堆叠自编码器(sae)和循环神经网络(rnn)等。然而，尽管这些深度学习网络在提取非线性特征方面具有优秀的特征提取能力，但其复杂的结构需要面对频繁调整参数，进而导致了训练和再训练过程时间开销成本大的问题。为了应对上述挑战来解决网络的快速训练和更新的难题，宽度学习系统(bls)通过利用伪逆计算输出相关的网络权重参数。自其诞生以来，bls已吸引了广泛的研究关注，包括循环bls(rbls)，广义卷积神经网络(bcnn)，超完备bls(obls)和多阶段bls(mbls)等。
4.本研究采用的具有增量学习能力慢特征学习系统(ilbsfnn)模型。ilbsfnn模型通过允许动态添加增量增强节点来扩展网络并确定节点参数的数量来扩展网络的宽度，而不是增加其深度。这种方式确保网络始终具有单个隐藏层，从而保持其结构简单性，消除了对整个系统进行再训练的需要，从而减少了与网络调整和更新产生的时间开销，具有高效的学习效率。


技术实现要素：

5.本研究针对污水处理过程对异常工况监测模型高精度和低时间开销的需求，提出了具有增量学习能力慢特征神经网络(ilbsfnn)模型,进而准确高效地监测污水处理过程。具体来说ilbsfnn利用慢特征分析来提取缓慢变化的信息，从而可以学习污水处理过程中
过程变量所呈现的动态特征。bsfnn模型的另一个有点是它能够减少网络时间开销。当需要更高水平的污水处理异常工况监测精度，但调整网络是一项耗时的过程时，可以通过动态添加增量增强节点来确定节点参数的数量，以扩展网络。ilbsfnn监测网络因此可以避免网络的从头再训练和更新，进而减少与网络调整和更新相关的时间开销成本。满足实际污水处理厂对于模型实时在线更新监测需求。
6.本研究以污水处理过程为研究对象，紧密围绕监测准确性和高效性两个主要目标展开深入研究分析。在污水处理过程的实际应用中，预先为ilbsfnn网络建立适当的参数可能具有挑战性，特别是需要异常工况监测网络实现高精度时，在这种情况下，将额外节点纳入异常工况监控网络有利于提高其监测的准确性和高效性。幸运地是，ilsbnsfnn以动态的方式调整增强节点的添加，使附加的增强节点无缝地合并到ilbsfnn系统中。本研究对污水处理过程异常工况监测主要分为预处理阶段、模型训练阶段和在线应用阶段三部分。
7.预处理阶段：
8.步骤1：获取数据集。按照3：2的比例把数据集分为训练数据集和测试数据集。其次确定监测模型的输入和输出过程变量。输入变量包括：入水悬浮物固体质量浓度，易生物降解有机物质量浓度，粒状惰性有机碳质量浓度，活性异养菌质量浓度，活性自养菌质量浓度，生物衰减产生的颗粒质量浓度，溶解氧质量浓度，硝态氮质量浓度，氨氮质量浓度，可溶性生物可降解有机氮质量浓度，碱度摩尔浓度，颗粒性生物可降解有机氮质量浓度，慢性可生物降解有机物质量浓度；输入变量用x表示；输出变量包括污泥膨胀故障类型，毒性冲击故障类型和抑制故障类型的监测分类结果，用y表示；测试集数据x
new
使用与污泥膨胀故障、毒性冲击故障和抑制故障三种故障类型相关的18种故障类型去测试模型的对于污水处理异常工况的监测性能，18种故障类型的输入变量名称与训练集相同。
9.步骤2：把用于模型训练的训练集合用符号x表示，即x∈rn×m并进行归一化来消除因为赋值不同导致对实验结果产生不良影响，r表示实数集，n是样本个数，m是程变量个数。对于m维输入信号x＝[x1(t),x2(t),
…
,xm(t)]，其中t代表的是样本。
[0010]
网络训练阶段
[0011]
步骤3：ilbsfnn模型的目标是找到一个映射函数其中m代表慢特征个数，ilbsfnn的慢特征是通过映射函数作用于输入信号x获得到的，按这种映射方式，得到经过慢特征处理后的慢特征信息为:
[0012]
sf＝g(x)＝[[g(x1(t)),g(x2(t)),
…
,g(xm(t))]
t
]
[0013]
＝[sf1,sf2,
…
,sfm]
t
[0014]
其中x表示训练数据集的13个输入变量包括入水悬浮物固体质量浓度，易生物降解有机物质量浓度，粒状惰性有机碳质量浓度，活性异养菌质量浓度，活性自养菌质量浓度，生物衰减产生的颗粒质量浓度，溶解氧质量浓度，硝态氮质量浓度，氨氮质量浓度，可溶性生物可降解有机氮质量浓度，碱度摩尔浓度，颗粒性生物可降解有机氮质量浓度，慢性可生物降解有机物质量浓度。sf是ilbsfnn模型经过sfa所提取到的慢特征集合，sf1,sf2和sfm分别是按变化速度由慢到快而排序的第1，2和m个慢特征；g(x)是映射函数的集合；[
·
]
t
符号表示转置。g(x1(t)),g(x2(t))和g(xm(t))分别表示x＝[x1(t),x2(t),
…
,xm(t)]经过映射函数所获得的第1，2和m个慢特征信息。
[0015]
步骤4：ilbsfnn模型首先需要找寻变化最慢的前几个特征信息。若要是使每个δ(sfi)均最小化，从这个角度来看，得到如下优化问题。
[0016][0017]
其中《
·
》
t
为由n个时间点上的慢特征样本计算得到的平均值；代表第i个慢特征的一阶差分，即δ(
·
)为对于sfi变化速度的自然度量；代表的平方。
[0018]
步骤5：步骤4的约束条件为：
[0019]
《sfi》
t
＝0
[0020][0021][0022]
其中三个约束条件依次为零均值约束《sfi》
t
＝0、单位方差约束和去相关约束其中零均值以及单位方差约束用以防止所求慢特征恒为常数；此外，这里两个约束将提取的慢特征放缩至统一尺度，实现了变化速度比较的公平性。去相关约束要求sfa提取的慢特征两两不相关，避免了不同慢特征之间只是简单的相互重现。δ(sfi)是sfi变化速度缓慢程度；《
·
》
t
为由n个时间点上的慢特征样本计算得到的平均值。
[0023]
步骤6：对于离散数据用一阶差分来表示变化速度:
[0024][0025]
其中每一个慢特征sfi和sf
i-1
均为所有输入变量的线性组合来表示，通过映射函数来实现映射，即：
[0026][0027]
sf＝wx
[0028]
其中，w＝[w1,w2,
…
,wm]
t
是需要经过sfa优化的参数矩阵，wi代表参数矩阵w的系数向量,g(x)是映射函数的集合，是wi的转置；sf是ilbsfnn模型经过sfa所提取到的慢特征集合。容易证明，若想使得输入变量满足零均值约束，则需要对于输入变量强制的进行自动去均值操作。
[0029]
步骤7：将步骤6的公式代入步骤4和5，得到线性情况下的sfa的优化目标为：
[0030]
[0031]
其中式子用符号a表示，即a为输入x的一阶差分的协方差矩阵；式子《xx
t
》用符号b表示，即b＝《xx
t
》，b为输入x的协方差矩阵，是输入x的一阶差分；wi代表参数矩阵w的系数向量；是wi的转置；其中《
·
》
t
为由n个时间点上的慢特征样本计算得到的平均值；代表第i个慢特征的一阶差分，即δ(
·
)为对于sf变化速度的自然度量；代表的平方，由步骤4约束条件可知单位方差约束
[0032]
《sf
i2
》
t
＝1，《sf
i2
》
t
＝w
it
bwi＝1。
[0033]
步骤8：利用奇异值分解来求参数矩阵w。首先对矩阵b进行奇异值分解：
[0034]
b＝uλu
t
[0035]
其中u是由奇异向量组成的正交矩阵；λ是一个矩形对角奇异值矩阵，对角线上的元素为b的奇异值；t表示转置。
[0036]
步骤9：基于上式，原始输入x被球化，从而去除相关性，即：
[0037]
z＝λ-1/2ut
x
[0038]
其中u是由奇异向量组成的正交矩阵；λ是一个矩形对角奇异值矩阵，对角线上的元素为b的奇异值；t表示转置，z是输入x球化后的结果，《zz
t
》
t
＝im，im是m阶的单位矩阵。从而原始的优化问题转变为找到一个矩阵p，使得sf＝pz且《sfsf
t
》
t
＝im，从而满足了单位方差和去相关约束，将《sfsf
t
》
t
＝im代入sf＝pz获得：
[0039]
pp
t
＝im[0040]
其中t表示转置；上述公式表明p是正交矩阵。此处使得取最小值的解利用对z的一阶差分的协方差矩阵取得，即对z的一阶差分的协方差矩阵作奇异值分解而求解。是z的一阶差分。
[0041][0042]
其中p是由特征向量组成的正交矩阵；ω是一个矩形对角奇异值矩阵，对角线元素是每个慢特征的变化值；t表示转置。
[0043]
步骤10：通过上述步骤，最终的参数系数矩阵w由下式获得：
[0044]
w＝pλ-1/2ut
[0045]
其中u是由奇异向量组成的正交矩阵；λ是一个矩形对角奇异值矩阵，对角线上的元素为b的奇异值；t表示转置；p是由特征向量组成的正交矩阵。
[0046]
步骤11：基于步骤1-10获得慢特征sf：
[0047]
sf＝wx＝pλ-1/2ut
x＝pz
[0048]
步骤12：将慢特征分析获得的sf分别输入到ilbsfnn网络的特征层窗口进行进一步特征提取，通过特征映射函数形成的第i组特征节点sfi：
[0049][0050]
其中是ilbsfnn网络特征映射函数，特征层的激活函数是tansig，利用映射函数把污水数据集中变量信息提取传入增强窗口，选择tansig作为特征层的激活函数，p是特征层特征节点个数，映射到第i个窗口的特征节点的权重矩阵，映射到第i个窗口的特征节点的偏置向量。为了防止权重受到随机性的影响，采用稀疏自动编码器对其进行了微调，其中稀疏矩阵ws通过以下公式获得：
[0051][0052]
其中λ1是l1正则化参数，λ1＝2-8
，经过稀疏化后特征节点sfi＝sfws。
[0053]
步骤13：特征层输出sf
p
重复上一步骤p次获得。
[0054]
sf
p
＝(sf1,sf2,
…
,sf
p
)
[0055]
步骤14：激活函数对经过ilbsfnn网络第一层的特征层处理的污水处理的13种输入变量输出sf
p
进行非线性处理，将步骤13特征层的输出sf
p
作为增强层输入来解决污水处理过程数据呈现的非线性和动态性的问题。sf
p
构造的第j组增强节点ej如下所示：
[0056][0057]
其中q代表增强层共有q组增强节点，ξj为非线性激活函数，选择sigmoid作为增强层的激活函数，与特征层内的权重和偏差生成相似，和也是随机生成的一个在区间(0,1)内均匀分布的连接权重与偏置。
[0058]
步骤15：增强层的输出用eq表示。
[0059]eq
＝(e1,e2,
…
,eq)
[0060]
步骤16：基于步骤13-15取得全部特征层和增强层后，ilbsfbnn网络第一块输出y：
[0061][0062]
其中ilbsfnn网络输出层的实际输出y是污泥膨胀故障、毒性冲击故障和抑制故障三种故障类型各个分类输出结果。[sf1,sf2,
…
,sf
p
|e1,e2,
…
,eq]可以用表达式a1表示,a1＝[sf
p |eq]，第一层的输出层网络连接权重用w1表示，其中ilbsfnn网络输出y＝(y1,y2,
…
,yn)
t
∈rn×c代表标签，n是样本个数，c代表输出维度，r表示实数集，w1表示ilbsfnn第一层输出层的网络连接权重，其中w1＝[sf
p
|eq]
+
，和均是通过岭回归技术获得，ξ1和ξq均为sigmoid激活函数，即均为sigmoid激活函数，即是第一层的增强层到输出层的连接权重。和均为tansig特征层激活函数。是第一层的特征层到输出层的连接权重。
[0063]
步骤17：为了方便起见，基于步骤15和16用广义映射函数代表来生成p组特征节点，即其中
是特征层在[0,1]区间随机生成的权重，是特征层随机生成的偏置，是特征层随机生成的偏置，是tansig激活函数。用广义映射函数代表来生成q组增强节点，即代表来生成q组增强节点，即其中是特征层在[0,1]区间随机生成的权重，是特征层随机生成的偏置，ξ1，ξ2，ξq是tansig激活函数，其中所以步骤16公式关于ilbsfnn网络输出y被进一步表达。
[0064][0065]
其中权重和权重参数分别是特征层和增强层生成的一系列随机权重，其中是映射到第i个窗口的特征节点的权重矩阵，是增强层随机生成权重。符号是基于广义映射函数和的复合函数，即
[0066][0067]
步骤18：理论上，ilbsfnn网络连接权重w1的解可以利用不需要花费过多时间开销的岭回归技术获得.
[0068][0069][0070][0071]
其中表示的是a1的伪逆，a1＝[sf
p
|eq]，λ是l2正则化系数，λ＝2-30
，i是单位矩阵，表示的是a1的转置。w1表示ilbsfnn输出层的网络连接权重，即w1＝[sf
p
|eq]
+
a1；
[0072]
步骤19：ilbsfnn的输出y1生成。
[0073][0074]
其中权重和权重参数分别是特征层和增强层生成的一系列随机权重，其中是是映射到第i个窗口的特征节点的权重矩阵，是增强层随机生成权重。是ilbsfnn网络增强层到输出层的连接权重；是ilbsfnn网络第特征层到输出层的连接权重；和包括着基于污水处理训练集的13种输入变量训练学习到的重要特征信息。
[0075]
步骤20:ilbsfnn网络通过横向扩展的方式能够动态添加增强节点。利用输入映射的特征作为网络的特征节点，再随机生成权重的增强节点，并将映射特征与增强节点直接连接到输出端，对应的输出系数通过伪逆得出。基于上述理论，新加入神经增强节点后，ilbsfnn并不需要从头开始学习，只需要在原始网络的特征层的基础上调节与新增节点有关的权重。假设ilbsfnn模型添加了b组增强节点。因此，ilbsfnn网络的输出y2更新为:
其中,w
be
是增强节点层在(0,1)区间所随机生成的新增的连接权重，w
be
是增强节点层到更新输出层的新增的连接权重，和分别是特征层和增强层内在(0,1)之间随机生成的权重。
[0076]
步骤21:我们动态的更新w
be
利用如下公式：
[0077][0078]
其中是ilbsfnn所特有的未在额外增加增强节点之前所保留的参数输出，进而避免了因为网络从头再训练和更新所产生的时间开销，表达式用符号d表示，即
[0079]
步骤22：步骤21中的符号b
t
的具体表达式为：
[0080][0081]
其中表达式用符号c表示，即(c)
+
表示c的伪逆。i是单位矩阵，用符号d表示，即
[0082][0083]
步骤23：因此更新后的ilbsfnn网络的连接权重基于步骤20-22被进一步表示为：
[0084][0085]
其中w
be
是增强节点层到更新输出层的连接权重，和分别是ilbsfnn网络输出层与特征层和增强的连接权重。w
be
包含基于污泥膨胀故障、毒性冲击故障和抑制故障三种故障类型各个分类输出结果的实际输出与期望输出y的误差训练学习到的重要特征信息。
[0086]
步骤24：执行步骤20-23直至ilbsfnn网络训练精度达到期望的实际污水处理规定要求，保存模型参数，ilbsfnn网络动态更新过程完毕；
[0087]
在线应用阶段：
[0088]
实时获取的在线测试数据集x
new
依据ilbsfnn网络训练阶段获得的网络参数计算出ilbsfnn网络对于基于污泥膨胀故障、毒性冲击故障和抑制故障三种故障类型相关的18种故障类型去测试模型的对于污水处理异常工况的监测准确度的输出结果，18种故障类型的输入变量名称与训练集相同。
[0089]
步骤25：利用网络训练阶段获得的ilbsfnn框架去设计和构建污水处理过程异常工况监测模型，具体的细节如下步骤；
[0090]
步骤26：获取新的在线采样数据x
new
，然后对测试数据进行预处理，测试集数据使用与训练集相同的输入变量作为模型的输入；
[0091]
步骤27：利用网络训练阶段步骤3-20得的ilbsfnn模型进行在线监测获得新的监测结果y
new
，如果此时获得监测精度满足污水处理厂的要求，利用步骤21-24对ilbsfnn监测
模型进行动态横向扩展增强节点的方式重复增量增强节点直到获得的监测精度大于或者等于实际污水处理厂对于监测精度的标准；
[0092]
步骤28：然后返回步骤23继续监测新的批次测试数据；
[0093]
步骤29：直到获得全部批次的故障类型监测结果，在线应用监测阶段采用独热编码的方式输出结果进行分类；
[0094]
步骤30：至此ilbsfnn模型的在线应用阶段完成。
[0095]
ilbsfnn模型充分解决了一些网络针对污水处理过程由于存在复杂的反应和沉淀过程导致传感器收集的数据存在明显的非线性和动态特性不能充分提取的问题，ilbsfnn模型充分考虑了输污水处理过程输入变量的非线性和动态特性。不同于一些深层神经网络以反向传播的方式训练和更新权重，ilbsfnn模型使用矩阵求导的方式更新权重，极大节省了网络在线调整时由于重新训练和更新所产生时间成本。因此ilbsfnn网络很好的满足实际污水处理厂对于异常工况监测模型的高精度和低时间成本需求。
附图说明
[0096]
图1为本研究的ilbsfnn网络的结构图；
[0097]
图2基于ilbsfnn网络建立的针对污水处理过程的建模和异常工况监测的流程图；
[0098]
图3为污水处理厂进行污水处理的过程示意图；
[0099]
图4为本研究ilbsfnn算法的实验结果图；
具体实施方式
[0100]
污水处理厂进行污水处理时涉及到多个包括物理、生物和化学方法的处理单元池。国际水协会开发了一个基于活性污泥法的基准仿真平台bsm1模型用于模拟实际的污水处理过程，该基准仿真模型以a2o工艺流程为基础，由活性污泥法1号模型所构成，用于描述污水处理过程的沉淀反应和生化反应，共设置了五个活性污泥反应池和一个二沉池，五个活性污泥反应池中两个为缺氧环节其余为曝气环节。此外，bsm1以污水处理厂实际的运行操作数据为基础，模拟了污水处理厂在晴天、雨天和暴雨天运行的情况，每隔15分钟收集一个数据，本实验收集了14天数据，每个故障类型共采集1344样本，故障的发生时刻在865-1344时刻。污水处理厂进行污水处理具体流程图如图1所示，该模型沉淀共有10层。bsm1基准污水处理过程仿真模型能够从动力学、化学、物理学等多个角度反映污水处理的脱氮去磷过程。表1提供了部分污水处理过程变量和动力学参数，例如最大比水解速率、易生物降解有机物、nh
4+
离子和nh3离子浓度和可溶性生物可降解有机氮等污水过程工艺过程参数。表2描述了本研究实验中涉及的18种故障类型有污泥膨胀故障、毒性冲击故障和滞留故障。表3描述了本发明实验中涉及的18种故障类型有污泥膨胀故障、毒性冲击故障和滞留故障。污泥膨胀是一种常见的严重故障类型，当污泥膨胀发生时，污泥的沉降和压缩特性变差，悬浮物增多，污泥损失严重，生化系统可能出现故障，直接威胁污水处理系统的正常运行。毒性冲击故障是由于大量的有毒污水排放，导致活性污泥的微生物活动的减少，甚至导致污水生化反应系统的失效，影响对于污水的处理。当异养生物的正常生长下降时就会发生滞留故障，本实验通过调节异养细菌生长速度μh和异养衰减系数bh参数可以产生不同程度的滞留故障。
[0101]
本研究所提出的ilbsfnn模型应用于实际污水处理过程中具体陈述如下：
[0102]
a.在污水处理过程中ilbsfnn网络预处理和训练阶段：
[0103]
步骤1:首先对从污水处理厂收集的采样数据进行预处理。
[0104]
步骤2:然后利用慢特征分析算法对13个输入过程变量进行慢特征提取。在实际网络训练阶段，一共有26组慢特征，包括缓慢变化成分组件和快速变化组件。其缓慢变化组件中包括污水处理数据的关键特征信息，快速变化组件属于是在进行污水处理时的噪音和外部内部扰动，这部分的扰动和噪音会对实际污水处理异常工况检测网络建模阶段产生误报和漏报，所以依据污水处理过程专家经验知识，慢特征个数选择10。
[0105]
步骤3：利用慢特征分析获得慢特征分别送入ilbls网络的10个特征窗口。在每个特征窗口进行进一步的特征提取后获得sf
p
送入增强层进行进一步增强处理。确定ilbsfnn堆叠的层数是1层，每一层的特征节点的窗口数、每个窗口具有的特征节点和增强节点个数分别为(10,10,50)。
[0106]
步骤4：如果建模完成的ilbsfnn网络的监测精度低于污水处理厂标准要求，则根据网络训练阶段步骤20-24对ilbsfnn利用增量学习的方式对ilbsfnn网络进行横向动态增强节点扩展，直到网络监测监测精度满足于实际污水处理厂需求停止动态添加。具体来说，本实验选择以50个增强节点为起始点，以10为步长，横向扩展5次，每次扩展分别获得特征节点的窗口数、每个窗口具有的特征节点和增强节点个数分别为(10,10,60)，(10,10,70)，(10,10,80)，(10,10,90)和(10,10,100)。
[0107]
步骤5：经过重复50次实验确定建立ilbsfnn模型做需要的各个网络参数应用于ilbsfnn模型用于在线污水处理过程应用阶段。
[0108]
b.基于ilbsfnn网络的污水处理过程在线应用训练阶段：
[0109]
步骤6：污水处理过程获取的在线数据首先进行预处理。
[0110]
步骤7：在线监测阶段采用独热编码的方式得到的污水处理对于异常工况的监测输出结果，利用本研究所选取的评价指标far，mar和acc去评价模型监测性能。
[0111]
ilbsfnn模型的训练阶段和在线应用训练阶段是ilbsfnn模型在污水处理平台上的具体实际应用。为了污水处理过程监测模型的性能，采用误报率(far)、漏报率(mar)和准确率(acc)作为评价指标。
[0112][0113][0114][0115]
表1
[0116][0117]
表2
[0118][0119]
表3体现了kpca、sae、bls和ilbsfnn方法监测污水处理过程中的18个异常工况的实验结果。如表中所示，所有算法的误报警率平均值均低于0.02。在大多数情况下获得了最高的测试精度，ilbsfnn监测方法表现优于其他方法并且其误报率和漏报率等指标等同于或优于bls。所提出方法ilbsfnn模型的优越性的进一步细节可在图4中体现，该图根据指标far、mar和acc总结ilbsfnn方法和其他比较方法获得的监测结果。实验结果表明，ilbsfnn方法的mar最低，为0.0033，acc最高，为0.9495。ilbsfnn模型的另外一个优点是具有减少网络时间开销的好处，这在需要在污水处理需要更高水平的监测精度以调整网络的情况下可以充分体现。ilbsfnn模型可以利用增量学习的方式来增加增强节点扩展网络来提高模型对于异常工况的监测精度。这种增量学习方式允许简单的确定节点参数的数量，同时避免了网络重新再训练整个系统的必要性，减少了与网络调整和更新相关的时间开销。进行了额外的实验来测试这个想法，其中原始网络由10x10特征节点和50个增强节点组成，相应的增强节点每个步长增加10个节点直到从50个增强节点动态增加到100个。表4详细说明了每次更新的结果，ilbsfnn的增量版本表现出与原始ilbsfnn模型相似的性能，增强节点的动态增量为调整原始bsfnn模型的结构和精度提供了改进性能的机会，实现了所需的故障监测精度。值得注意的是，尽管在表3中ilbsfnn的平均检测误报率far略低于bls，但ilbsfnn的增量版本实现了比bls更好的far、mar和acc。当ilbsfnn网络的增量版本采用100个特征
节点和100个增强节点时，如表4所示，实验结果表面增量ilbsfnn比原始ilbsfnn网络更具有竞争力，实验证明了增量学习算法非常有效，可以调整原始模型的结构和精度，以达到污水处理所需的性能水平。
[0120]
表3
[0121][0122][0123]
表4
[0124]
表4
[0125]
特征节点增强节点acc时间开销farmar100500.949459.7580.00330.135410050
→
600.95060.19470.00290.133010060
→
700.95950.20240.00150.110610070
→
800.96310.20550.00120.100810080
→
900.96780.21340.00080.088810090
→
1000.97150.20940.00020.0793

技术特征：
1.基于具有增量学习能力宽度慢特征神经网络的污水处理过程异常工况监测方法，其特征在于包括以下步骤：预处理阶段：步骤1：获取数据集；把数据集分为训练数据集和测试数据集；其次确定监测模型的输入和输出过程变量；输入变量包括：入水悬浮物固体质量浓度，易生物降解有机物质量浓度，粒状惰性有机碳质量浓度，活性异养菌质量浓度，活性自养菌质量浓度，生物衰减产生的颗粒质量浓度，溶解氧质量浓度，硝态氮质量浓度，氨氮质量浓度，可溶性生物可降解有机氮质量浓度，碱度摩尔浓度，颗粒性生物可降解有机氮质量浓度，慢性可生物降解有机物质量浓度；输入变量用x表示；输出变量包括污泥膨胀故障类型，毒性冲击故障类型和抑制故障类型的监测分类结果，用y表示；测试集数据x
new
使用与污泥膨胀故障、毒性冲击故障和抑制故障三种故障类型相关的18种故障类型去测试模型的对于污水处理异常工况的监测性能，18种故障类型的输入变量名称与训练集相同；18种故障类型是污水处理行业中规定的；步骤2：把用于模型训练的训练集合用符号x表示，即x∈r
n
×
m
并进行归一化来消除因为赋值不同导致对实验结果产生不良影响，r表示实数集，n是样本个数，m是程变量个数；对于m维输入信号x＝[x1(t),x2(t),
…
,x
m
(t)]，其中t代表的是样本；网络训练阶段步骤3：ilbsfnn模型的目标是找到一个映射函数其中m代表慢特征个数，ilbsfnn的慢特征是通过映射函数作用于输入信号x获得到的，按这种映射方式，得到经过慢特征处理后的慢特征信息为:sf＝g(x)＝[[g(x1(t)),g(x2(t)),
…
,g(x
m
(t))]
t
]＝[sf1,sf2,
…
,sf
m
]
t
其中x表示训练数据集的13个输入变量包括入水悬浮物固体质量浓度，易生物降解有机物质量浓度，粒状惰性有机碳质量浓度，活性异养菌质量浓度，活性自养菌质量浓度，生物衰减产生的颗粒质量浓度，溶解氧质量浓度，硝态氮质量浓度，氨氮质量浓度，可溶性生物可降解有机氮质量浓度，碱度摩尔浓度，颗粒性生物可降解有机氮质量浓度，慢性可生物降解有机物质量浓度；sf是ilbsfnn模型经过sfa所提取到的慢特征集合，sf1,sf2和sf
m
分别是按变化速度由慢到快而排序的第1，2和m个慢特征；g(x)是映射函数的集合；[
·
]
t
符号表示转置；g(x1(t)),g(x2(t))和g(x
m
(t))分别表示x＝[x1(t),x2(t),
…
,x
m
(t)]经过映射函数所获得的第1，2和m个慢特征信息；步骤4：ilbsfnn模型首先需要找寻变化最慢的前几个特征信息；若要是使每个δ(sf
i
)均最小化，从这个角度来看，得到如下优化问题；其中<
·
>
t
为由n个时间点上的慢特征样本计算得到的平均值；代表第i个慢特征的一阶差分，即δ(
·
)为对于sf
i
变化速度的自然度量；代表
的平方；步骤5：步骤4的约束条件为：<sf
i
>
t
＝0＝0其中三个约束条件依次为零均值约束msf
i
>
t
＝0、单位方差约束和去相关约束其中零均值以及单位方差约束用以防止所求慢特征恒为常数；此外，这里两个约束将提取的慢特征放缩至统一尺度，实现了变化速度比较的公平性；去相关约束要求sfa提取的慢特征两两不相关，避免了不同慢特征之间只是简单的相互重现；δ(sf
i
)是sf
i
变化速度缓慢程度；<
·
>
t
为由n个时间点上的慢特征样本计算得到的平均值；步骤6：对于离散数据用一阶差分来表示变化速度:其中每一个慢特征sf
i
和sf
i-1
均为所有输入变量的线性组合来表示，通过映射函数来实现映射，即：sf＝wx其中，w＝[w1,w2,
…
,w
m
]
t
是需要经过sfa优化的参数矩阵，w
i
代表参数矩阵w的系数向量,g(x)是映射函数的集合，是w
i
的转置；sf是ilbsfnn模型经过sfa所提取到的慢特征集合；容易证明，若想使得输入变量满足零均值约束，则需要对于输入变量强制的进行自动去均值操作；步骤7：将步骤6的公式代入步骤4和5，得到线性情况下的sfa的优化目标为：其中式子用符号a表示，即a为输入x的一阶差分的协方差矩阵；式子<xx
t
>用符号b表示，即b＝<xx
t
>，b为输入x的协方差矩阵，是输入x的一阶差分；w
i
代表参数矩阵w的系数向量；是w
i
的转置；其中<
·
>
t
为由n个时间点上的慢特征样本计算得到的平均值；代表第i个慢特征的一阶差分，即δ(
·
)为对于sf变化速度的自然度量；代表的平方，由步骤4约束条件可知单位方差约束<sf
i2
>
t
＝1，<sf
i2
>
t
＝w
it
bw
i
＝1；
步骤8：利用奇异值分解来求参数矩阵w；首先对矩阵b进行奇异值分解：b＝uλu
t
其中u是由奇异向量组成的正交矩阵；λ是一个矩形对角奇异值矩阵，对角线上的元素为b的奇异值；t表示转置；步骤9：基于上式，原始输入x被球化，从而去除相关性，即：z＝λ-1/2
u
t
x其中u是由奇异向量组成的正交矩阵；λ是一个矩形对角奇异值矩阵，对角线上的元素为b的奇异值；t表示转置，z是输入x球化后的结果，<zz
t
>
t
＝i
m
，i
m
是m阶的单位矩阵；从而原始的优化问题转变为找到一个矩阵p，使得sf＝pz且<sfsf
t
>
t
＝i
m
，从而满足了单位方差和去相关约束，将<sfsf
t
>
t
＝i
m
代入sf＝pz获得：pp
t
＝i
m
其中t表示转置；上述公式表明p是正交矩阵；此处使得取最小值的解利用对z的一阶差分的协方差矩阵取得，即对z的一阶差分的协方差矩阵作奇异值分解而求解；是z的一阶差分；其中p是由特征向量组成的正交矩阵；ω是一个矩形对角奇异值矩阵，对角线元素是每个慢特征的变化值；t表示转置；步骤10：通过上述步骤，最终的参数系数矩阵w由下式获得：w＝pλ-1/2
u
t
其中u是由奇异向量组成的正交矩阵；λ是一个矩形对角奇异值矩阵，对角线上的元素为b的奇异值；t表示转置；p是由特征向量组成的正交矩阵；步骤11：基于步骤1-10获得慢特征sf：sf＝wx＝pλ-1/2
u
t
x＝pz步骤12：将慢特征分析获得的sf分别输入到ilbsfnn网络的特征层窗口进行进一步特征提取，通过特征映射函数形成的第i组特征节点sf
i
：其中是ilbsfnn网络特征映射函数，特征层的激活函数是tansig，利用映射函数把污水数据集中变量信息提取传入增强窗口，选择tansig作为特征层的激活函数，p是特征层特征节点个数，映射到第i个窗口的特征节点的权重矩阵，映射到第i个窗口的特征节点的偏置向量；为了防止权重受到随机性的影响，采用稀疏自动编码器对其进行了微调，其中稀疏矩阵w
s
通过以下公式获得：其中λ1是l1正则化参数，λ1＝2-8
，经过稀疏化后特征节点sf
i
＝sfw
s
；
步骤13：特征层输出sf
p
重复上一步骤p次获得；sf
p
＝(sf1,sf2,
…
,sf
p
)步骤14：激活函数对经过ilbsfnn网络第一层的特征层处理的污水处理的13种输入变量输出sf
p
进行非线性处理，将步骤13特征层的输出sf
p
作为增强层输入来解决污水处理过程数据呈现的非线性和动态性的问题；sf
p
构造的第j组增强节点e
j
如下所示：其中q代表增强层共有q组增强节点，ξ
j
为非线性激活函数，选择sigmoid作为增强层的激活函数，与特征层内的权重和偏差生成相似，和也是随机生成的一个在区间(0,1)内均匀分布的连接权重与偏置；步骤15：增强层的输出用e
q
表示；e
q
＝(e1,e2,
…
,e
q
)步骤16：基于步骤13-15取得全部特征层和增强层后，ilbsfbnn网络第一块输出y：其中ilbsfnn网络输出层的实际输出y是污泥膨胀故障、毒性冲击故障和抑制故障三种故障类型各个分类输出结果；[sf1,sf2,
…
,sf
p
|e1,e2,
…
,e
q
]可以用表达式a1表示,a1＝[sf
p
|e
q
]，第一层的输出层网络连接权重用w1表示，其中ilbsfnn网络输出y＝(y1,y2,
…
,y
n
)
t
∈r
n
×
c
代表标签，n是样本个数，c代表输出维度，r表示实数集，w1表示ilbsfnn第一层输出层的网络连接权重，其中w1＝[sf
p
|e
q
]
+
，和均是通过岭回归技术获得，ξ1和ξ
q
均为sigmoid激活函数，即均为sigmoid激活函数，即是第一层的增强层到输出层的连接权重；和均为tansig特征层激活函数；是第一层的特征层到输出层的连接权重；步骤17：基于步骤15和16用广义映射函数代表来生成p组特征节点，即其中其中是特征层在[0,1]区间随机生成的权重，是特征层随机生成的偏置，是tansig激活函数；用广义映射函数代表来生成q组增强节点，即其中是特征层在[0,1]区间随机生成的权重，是特征层随机生成的偏置，ξ1，ξ2，ξ
q
是tansig激活函数，其中所以步骤16公式关于ilbsfnn网络输出y被进一步表达；
其中权重和权重参数分别是特征层和增强层生成的一系列随机权重，其中是映射到第i个窗口的特征节点的权重矩阵，是增强层随机生成权重；符号是基于广义映射函数和的复合函数，即的复合函数，即步骤18：ilbsfnn网络连接权重w1的解利用不需要花费过多时间开销的岭回归技术获得.得.得.其中表示的是a1的伪逆，a1＝[sf
p
|e
q
]，λ是l2正则化系数，λ＝2-30
，i是单位矩阵，表示的是a1的转置；w1表示ilbsfnn输出层的网络连接权重，即w1＝[sf
p
|e
q
]
+
a1；步骤19：ilbsfnn的输出y1生成；其中权重和权重参数分别是特征层和增强层生成的一系列随机权重，其中是是映射到第i个窗口的特征节点的权重矩阵，是增强层随机生成权重；是ilbsfnn网络增强层到输出层的连接权重；是ilbsfnn网络第特征层到输出层的连接权重；和包括着基于污水处理训练集的13种输入变量训练学习到的重要特征信息；步骤20:ilbsfnn网络通过横向扩展的方式能够动态添加增强节点；利用输入映射的特征作为网络的特征节点，再随机生成权重的增强节点，并将映射特征与增强节点直接连接到输出端，对应的输出系数通过伪逆得出；基于上述理论，新加入神经增强节点后，ilbsfnn并不需要从头开始学习，只需要在原始网络的特征层的基础上调节与新增节点有关的权重；假设ilbsfnn模型添加了b组增强节点；因此，ilbsfnn网络的输出y2更新为:其中,w
be
是增强节点层在(0,1)区间所随机生成的新增的连接权重，w
be
是增强节点层到更新输出层的新增的连接权重，和分别是特征层和增强层内在(0,1)之间随机生成的权重；步骤21:我们动态的更新w
be
利用如下公式：
其中是ilbsfnn所特有的未在额外增加增强节点之前所保留的参数输出，进而避免了因为网络从头再训练和更新所产生的时间开销，表达式用符号d表示，即步骤22：步骤21中的符号b
t
的具体表达式为：其中表达式用符号c表示，即(c)
+
表示c的伪逆；i是单位矩阵，用符号d表示，即步骤23：因此更新后的ilbsfnn网络的连接权重基于步骤20-22被进一步表示为：其中w
be
是增强节点层到更新输出层的连接权重，和分别是ilbsfnn网络输出层与特征层和增强的连接权重；w
be
包含基于污泥膨胀故障、毒性冲击故障和抑制故障三种故障类型各个分类输出结果的实际输出与期望输出y的误差训练学习到的重要特征信息；步骤24：执行步骤20-23直至ilbsfnn网络训练精度达到期望的实际污水处理规定要求，保存模型参数，ilbsfnn网络动态更新过程完毕；在线应用阶段：实时获取的在线测试数据集x
new
依据ilbsfnn网络训练阶段获得的网络参数计算出ilbsfnn网络对于基于污泥膨胀故障、毒性冲击故障和抑制故障三种故障类型相关的18种故障类型去测试模型的对于污水处理异常工况的监测准确度的输出结果，18种故障类型的输入变量名称与训练集相同；步骤25：利用网络训练阶段获得的ilbsfnn框架去设计和构建污水处理过程异常工况监测模型，具体的细节如下步骤；步骤26：获取新的在线采样数据x
new
，然后对测试数据进行预处理，测试集数据使用与训练集相同的输入变量作为模型的输入；步骤27：利用网络训练阶段步骤3-20得的ilbsfnn模型进行在线监测获得新的监测结果y
new
，如果此时获得监测精度满足污水处理厂的要求，利用步骤21-24对ilbsfnn监测模型进行动态横向扩展增强节点的方式重复增量增强节点直到获得的监测精度大于或者等于实际污水处理厂对于监测精度的标准；步骤28：然后返回步骤23继续监测新的批次测试数据；步骤29：直到获得全部批次的故障类型监测结果，在线应用监测阶段采用独热编码的方式输出结果进行分类；步骤30：至此ilbsfnn模型的在线应用阶段完成。

技术总结
基于具有增量学习能力宽度慢特征神经网络的污水处理过程异常工况监测方法，针对污水处理过程对异常工况监测模型高精度和低时间开销的需求，解决了收集的数据存在明显的非线性和动态特性不能充分提取的问题，能够减少网络时间开销。当需要更高水平的污水处理异常工况监测精度，但调整网络是一项耗时的过程时，ILBSFNN模型通过允许动态添加增量增强节点来扩展网络并确定节点参数的数量来扩展网络的宽度，而不是增加其深度。这种方式确保网络始终具有单个隐藏层，从而保持其结构简单性，消除了对整个系统进行再训练的需要，从而减少了与网络调整和更新产生的时间开销，具有高效的学习效率，满足实际污水处理厂对于模型实时在线更新监测需求。线更新监测需求。线更新监测需求。


技术研发人员：常鹏 许颖 张诗娆
受保护的技术使用者：北京工业大学
技术研发日：2023.06.05
技术公布日：2023/10/8