基于池化注意力的设施环境多步预测方法

1.本发明属于设施环境预测领域，更具体地，涉及基于池化注意力的神经网络的设施环境变化多步预测方法及模型。


背景技术：

2.适宜的设施环境是实现设施农业高效生产的必要条件。对设施内的各种环境参数(如温度、湿度)进行预测，并依据预测结果生成调控方案，能够改善传统设施农业调控容易出现误差的问题，有效降低设施调控损耗，提升设施农业种植、养殖的经济效益。
3.目前，设施环境预测问题的处理方法可以被分为两类：一类是机理模型，此类模型主要是从物理模型的角度对温室设施环境进行建模，需要大量的试验对模型进行完善，建模成本较高，同时模型受温室结构、温室设施等因素影响较大，普适性较差，难以被大范围推广应用；第二类是基于数据驱动的系统辨识模型，此类模型的特点在于挖掘数据间的联系，构建各个影响因素与预测目标的对应关系，实现从历史数据到未来数据的推理，系统辨识模型中包括统计模型与机器学习模型。相比统计模型，以人工神经网络为代表的机器学习模型使用简单且适用场景丰富，在禽舍环境预测中具有较大潜力。
4.目前，国内外学者研究表明人工神经网络在设施环境预测方面切实可行，已有预测模型多数只能在单步预测或短期预测任务中表现良好，如果推广到中长期预测即多步预测，其误差迅速升高，且预测值会出现较大异常。如何实现高精度的设施的中长期预测，是本领域应用的主要难点。


技术实现要素：

5.本发明的目的是针对畜禽舍内环境的预测问题，提出一种基于池化注意力的设施环境多步预测方法。该方法通过两阶段注意力编解码器神经网络完成趋势特征和当前状态的挖掘，然后利用挖掘到的特征实现高精度的畜禽舍内环境变化单步预测，使用映射式预测策略完成多步预测任务。
6.本发明的技术方案是：
7.一种基于池化注意力的设施环境多步预测方法，该方法基于畜禽舍内的环境影响因素数据和舍内环境参量的历史数据进行训练，建立基于池化注意力的预测模型；通过预测模型对开始时刻t1到结束时刻t2获取的若干条环境影响因素数据和舍内环境参量进行编码，获取隐状态向量；使用池化注意力模块对舍内环境参量中的非稳定跃变特征进行提取，获取注意力矩阵；对注意力矩阵和隐状态向量进行特征融合解码，将解码后的输出映射为待预测的舍内环境参量。
8.进一步地，该方法具体包括编码步骤、解码步骤和映射步骤：
9.编码步骤，将开始时刻t1到结束时刻t2的若干条环境影响因素数据x
t
和舍内环境参量y
t
作为输入序列，t表示时刻，采用堆叠时序分解单元进行编码获取多级稳定特征，拼接后获得输入序列的隐状态向量h；
10.解码步骤，使用池化注意力模块对舍内环境参量y
t
中的非稳定跃变特征进行提取，得到注意力矩阵c并进行多头注意力处理；
11.对多头注意力处理后的注意力矩阵c与编码得到的隐状态向量h进行特征融合，采用mlp模块和ln模块对融合后的数据进行归一化，得到解码输出d；
12.映射步骤，采用全连接层对解码输出d进行解析，获得预测结果。
13.进一步地，堆叠时序分解单元采用m层堆叠的全连接网络模块fcnn，隐状态向量h采用下述公式获取：
14.h＝{h0,h1,
…
,h
n-1
}＝fcnnm(x
t
,y
t
)
15.其中：h代表隐状态向量，h0,h1,
…
,h
n-1
代表经过编码器加工后的隐状态向量值，包含序列的稳定特征，n表示隐状态向量的长度；fcnn表示编码运算，m表示全连接网络模块的层数，t表示时刻，代表t时刻环境影响因素数据，k1表示环境影响因素的个数，代表t时刻舍内环境数据，k2表示舍内环境参量的个数，包括多个点位的未来温度和相对湿度数据。
16.进一步地，解码步骤中，序列非稳定跃变特征来源于禽舍内的环境调控设备的状态变化以及外界的气候变化，这些变化在产生时，会对目标序列产生影响，导致序列偏离稳定的状态。
17.进一步地，解码步骤采用下述公式：
[0018][0019]
其中，maxpoolattn()表示最大池化处理max-pooling attention,maxpoolattn，mutilheadattn()表示多头注意力处理mutil-head attention,mutilheadattn，mlp()表示mlp模块处理，ln()表示ln模处理块。
[0020]
进一步地，映射步骤采用全连接层fc对解码输出d进行解析，实现到由解码输出到预测结果的映射，获取预测结果
[0021][0022]
其中，t∈(t2,t2+τ)，fc()表示全连接层的映射处理，τ表示需要预测的未来时间的步长。
[0023]
进一步地，畜禽舍内环境影响因素包括室外环境因素和舍内设备运行状态；所述的室外环境因素包括天气预报，所述的舍内设备运行状态包括设备开关状态。
[0024]
进一步地，基于池化注意力的预测模型对历史数据的训练步骤与预测步骤相同，在训练过程中采用adam优化器学习参数，对预测模型的参数进行迭代更新。
[0025]
进一步地，模型的学习率为0.0001，采用linear方式进行更新，每100次学习率下降10％；模型的损失采用均方根误差rmse。
[0026]
本发明的有益效果：
[0027]
本发明的方法充分利用设施环境多变量时间序列数据的信息进行建模，从序列不同维度的特征出发，进行映射式预测：
[0028]
其一，基于设施环境数据的季节性、周期性特征明显，这些特征相对稳定，在任务中为预测数据提供了基准。在编码器部分，设计堆叠时序分解模块，对此类长期稳定性特征进行提取，输入的序列经过具有堆叠结构的多个全连接模块，逐层对序列进行分解、过滤，以提取长期稳定特征；
[0029]
其二，基于设施环境受环境调控量和气候变化影响，禽舍环境序列中存在不稳定的跃变信息，这部分特征会影响序列中点位和片段预测情况。在解码器部分，设计池化注意力模块筛选较为活跃的注意力部分，对传统的点积注意力进行优化，降低模型复杂度的同时，提升模型对序列跃变信息的感知和提取能力。
[0030]
本发明的方法能够实现对未来指定时间步长序列的预测，相比于其他多步预测方法在精准度方面有一定的提升，在中长期预测任务中简单有效。
[0031]
本发明的解码部分设计池化注意力模块，对注意力状态进行筛选，简化了计算流程，降低模型计算时间。
[0032]
本发明的其它特征和优点将在随后具体实施方式部分予以详细说明。
附图说明
[0033]
通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。
[0034]
图1示出了本发明基于池化注意力的设施环境多步预测系统结构图。
[0035]
其中：编码器encoder、解码器decoder，映射层fc layer。
具体实施方式
[0036]
下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。
[0037]
本发明提供一种基于池化注意力的设施环境多步预测方法，该方法基于畜禽舍内的环境影响因素数据和舍内环境参量的历史数据进行训练，建立基于池化注意力的预测模型；通过预测模型对开始时刻t1到结束时刻t2获取的若干条环境影响因素数据和舍内环境参量进行编码，获取隐状态向量；使用池化注意力模块对舍内环境参量中的非稳定跃变特征进行提取，获取注意力矩阵；对注意力矩阵和隐状态向量进行特征融合解码，将解码后的输出映射为待预测的舍内环境参量；具体包括编码步骤、解码步骤和映射步骤：
[0038]
编码步骤，将开始时刻t1到结束时刻t2的若干条环境影响因素数据x
t
和舍内环境参量y
t
作为输入序列，t表示时刻，采用堆叠时序分解单元进行编码获取多级稳定特征，拼接后获得输入序列的隐状态向量h；堆叠时序分解单元采用m层堆叠的全连接网络模块fcnn，隐状态向量h采用下述公式获取：
[0039]
h＝{h0,h1,
…
,h
n-1
}＝fcnnm(x
t
,y
t
)
[0040]
其中：h代表隐状态向量，h0,h1,
…
,h
n-1
代表经过编码器加工后的隐状态向量值，包含序列的稳定特征，n表示隐状态向量的长度；fcnn表示编码运算，m表示全连接网络模块的层数，t表示时刻，代表t时刻环境影响因素数据，k1表示环境影
响因素的个数，代表t时刻舍内环境数据，k2表示舍内环境参量的个数，包括多个点位的未来温度和相对湿度数据。
[0041]
解码步骤，使用池化注意力模块对舍内环境参量y
t
中的非稳定跃变特征进行提取，得到注意力矩阵c并进行多头注意力处理；序列非稳定跃变特征来源于禽舍内的环境调控设备的状态变化以及外界的气候变化，这些变化在产生时，对目标序列产生影响，导致目标序列偏离稳定的状态；
[0042]
对多头注意力处理后的注意力矩阵c与编码得到的隐状态向量h进行特征融合，采用mlp模块和ln模块对融合后的数据进行归一化，得到解码输出d；
[0043][0044]
其中，maxpoolattn()表示最大池化处理max-pooling attention,maxpoolattn，mutilheadattn()表示多头注意力处理mutil-head attention,mutilheadattn，mlp()表示mlp模块处理，ln()表示ln模处理块。
[0045]
映射步骤，采用全连接层fc对解码输出d进行解析，实现到由解码输出到预测结果的映射，获取预测结果
[0046][0047]
其中，t∈(t2,t2+τ)，fc()表示全连接层的映射处理，τ表示需要预测的未来时间的步长。
[0048]
本发明的预测模型，模型总体设计为编解码器结构，由编码器与解码器部分组成：
[0049]
编码器部分为具有堆叠结构的时序分解模块，该模块通过多个全连接模块的堆叠，实现了对输入序列的长期稳定性趋势特征提取，通过编码器，将此类特征转化到一个隐状态空间，用隐状态向量h表示。
[0050]
解码器部分由池化注意力模块、多头注意力模块、mlp和ln模块组成。在该部分中，首先采用池化注意力模块实现对序列跃变特征的捕捉，得到注意力矩阵c。接下来通过一个多头注意力模块实现特征融合，mlp和ln模块实现对前面运算的归一化，得到解码器的输出d。
[0051]
在解码器输出后，使用一个全连接层用于实现编码器输出到预测结果的映射。
[0052]
模型的使用adam优化器学习参数。学习率设置为0.0001，模型迭代1000次，学习率采用linear方式进行更新，每100次学习率下降10％。损失采用rmse作为损失函数。
[0053]
本发明的模型适用于设施环境多步时间序列预测任务。通过对禽舍内环境参数(如温度、湿度等)进行收集、加工与预处理，对记录进行时间对齐后，输入本发明基于池化注意力的设施环境多步预测模型。模型通过具有堆叠结构的时序分解编码器，对数据的长期稳定性特征进行提取，进一步的，在解码器中设计并使用池化注意力模块，对数据的短期跃变特征进行提取，最后通过全连接模块，实现对指定步长预测结果的映射。
[0054]
具体实施时：
[0055]
采集南京市溧水区禽舍的数据进行实验，采用本发明的基于池化注意力的设施环
境多步预测方法(pooling-attention forecasting)，与现有技术的lstm、da-rnn、informer方法对未来24、36和60个时间步的环境变化进行预测，结果如下表所示，
[0056][0057]
本方法能够实现对未来指定时间步长序列的预测。其中，在24步预测中的rmse可达0.772，36步预测中的rmse可达0.898，60步预测中的rmse可达1.176，相比于其他多步预测方法在精准度方面有一定的提升。特别是中长期时间序列预测任务中，精度有显著提升。可以说明本模型在中长期预测任务中简单有效，为制定合理的小气候调控方案提供了依据。
[0058]
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。

技术特征：
1.一种基于池化注意力的设施环境多步预测方法，其特征是，该方法基于畜禽舍内的环境影响因素数据和舍内环境参量的历史数据进行训练，建立基于池化注意力的预测模型；通过预测模型对开始时刻t1到结束时刻t2获取的若干条环境影响因素数据和舍内环境参量进行编码，获取隐状态向量；使用池化注意力模块对舍内环境参量中的非稳定跃变特征进行提取，获取注意力矩阵；对注意力矩阵和隐状态向量进行特征融合解码，将解码后的输出映射为待预测的舍内环境参量。2.根据权利要求1所述的基于池化注意力的设施环境多步预测方法，其特征是该方法具体包括编码步骤、解码步骤和映射步骤：编码步骤，将开始时刻t1到结束时刻t2的若干条环境影响因素数据x
t
和舍内环境参量y
t
作为输入序列，t表示时刻，采用堆叠时序分解单元进行编码获取多级稳定特征，拼接后获得输入序列的隐状态向量h；解码步骤，使用池化注意力模块对舍内环境参量y
t
中的非稳定跃变特征进行提取，得到注意力矩阵c并进行多头注意力处理；对多头注意力处理后的注意力矩阵c与编码得到的隐状态向量h进行特征融合，采用mlp模块和ln模块对融合后的数据进行归一化，得到解码输出d；映射步骤，采用全连接层对解码输出d进行解析，获得预测结果。3.根据权利要求2所述的基于池化注意力的设施环境多步预测方法，其特征在于：堆叠时序分解单元采用m层堆叠的全连接网络模块fcnn，隐状态向量h采用下述公式获取：h＝{h0,h1,
…
,h
n-1
}＝fcnn
m
(x
t
,y
t
)其中：h代表隐状态向量，h0,h1,
…
,h
n-1
代表经过编码器加工后的隐状态向量值，包含序列的稳定特征，n表示隐状态向量的长度；fcnn表示编码运算，m表示全连接网络模块的层数，t表示时刻，代表t时刻环境影响因素数据，k1表示环境影响因素的个数，代表t时刻舍内环境数据，k2表示舍内环境参量的个数，包括多个点位的未来温度和相对湿度数据。4.根据权利要求2所述的基于池化注意力的设施环境多步预测方法，其特征在于：解码步骤中，序列非稳定跃变特征来源于禽舍内的环境调控设备的状态变化以及外界的气候变化。5.根据权利要求2所述的基于池化注意力的设施环境多步预测方法，其特征在于解码步骤采用下述公式：其中，maxpoolattn()表示最大池化处理max-pooling attention,maxpoolattn，mutilheadattn()表示多头注意力处理mutil-head attention,mutilheadattn，mlp()表示mlp模块处理，ln()表示ln模处理块。6.根据权利要求2所述的基于池化注意力的设施环境多步预测方法，其特征在于映射步骤采用全连接层fc对解码输出d进行解析，实现到由解码输出到预测结果的映射，获取预测结果
其中，t∈(t2,t2+τ)，fc()表示全连接层的映射处理，τ表示需要预测的未来时间的步长。7.根据权利要求1所述的基于池化注意力的设施环境多步预测方法，其特征在于：畜禽舍内环境影响因素包括室外环境因素和舍内设备运行状态；所述的室外环境因素包括天气预报，所述的舍内设备运行状态包括设备开关状态。8.根据权利要求1所述的基于池化注意力的设施环境多步预测方法，其特征在于：基于池化注意力的预测模型对历史数据的训练步骤与预测步骤相同，在训练过程中采用adam优化器学习参数，对预测模型的参数进行迭代更新。9.根据权利要求1所述的基于池化注意力的设施环境多步预测方法，其特征在于：模型的学习率为0.0001，采用linear方式进行更新，每100次学习率下降10％；模型的损失采用均方根误差rmse。

技术总结
本发明提供一种基于池化注意力的设施环境多步预测方法及系统，该方法基于畜禽舍内的环境影响因素数据和舍内环境参量的历史数据进行训练，建立基于池化注意力的预测模型；通过预测模型对开始时刻T1到结束时刻T2获取的若干条环境影响因素数据和舍内环境参量进行编码，获取隐状态向量；使用池化注意力模块对舍内环境参量中的非稳定跃变特征进行提取，获取注意力矩阵；对注意力矩阵和隐状态向量进行特征融合解码，将解码后的输出映射为待预测的舍内环境参量。该方法充分利用禽舍多变量时间序列数据的信息进行建模，从序列不同维度的特征角度实现多步预测，在中长期时间序列预测任务中精度有显著提升。务中精度有显著提升。务中精度有显著提升。


技术研发人员：任守纲 顾兴健 赵鑫源 车建华
受保护的技术使用者：南京农业大学
技术研发日：2023.05.16
技术公布日：2023/8/14