一种基于图注意力神经网络的硫酸钾产能预测方法及系统

1.本发明涉及硫酸钾产能预测技术领域，尤其涉及一种基于图注意力神经网络的硫酸钾产能预测方法及系统。


背景技术：

2.对硫酸钾产能进行预测能够为钾盐或钾肥等的预销售量提供参考，便于以产定销指定营销策略，采用传统的以人工的方式预测硫酸钾产能的方法可能会产生较大的偏差而导致硫酸钾产需不平衡的问题。
3.目前，对硫酸钾产能进行预测的方法还有基于统计模型的预测方法，该方法使用当前数据和历史数据在时间维度上的统计关系进行产能预测，但是该方法要求数据具有恒定的均值、方差和时间维度上的自相关性，由于硫酸钾产能数据的动态变化，该方法的预测效果收效甚微。此外，还有基于传统机器学习的预测方法，将历史硫酸钾产能在时间维度上的数据视作序列，并对时间序列建模和学习，利用回归分析完成对未来时刻硫酸钾产能的预测，但它受限于模型本身，无法捕获硫酸钾产能数据中普遍存在的复杂非线性特性。还有一种基于循环神经网络的预测方法，将历史硫酸钾产能信息按序输入至有环路的网络结构中，按序地建模分析每一时刻的硫酸钾产能信息，但循环神经网络的结构特性决定了它不能高效地进行并行化计算，因此基于循环神经网络的模型训练时间开销大，可能难以在合理的时间内得到预测值。


技术实现要素：

4.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明提出一种预测准确、时延低的基于图注意力神经网络的硫酸钾产能预测方法及系统。
5.一方面，本发明实施例提供了一种基于图注意力神经网络的硫酸钾产能预测方法，包括：
6.对硫酸钾数据进行数据预处理，得到初始硫酸钾特征；
7.对所述初始硫酸钾特征进行维度升高处理，得到第一硫酸钾特征；
8.对所述第一硫酸钾特征进行基于图注意力机制的特征聚合处理，得到特征相关性特征；
9.结合所述特征相关性特征，对所述第一硫酸钾特征所述进行基于图注意力机制的时间转换处理，得到时间相关性特征；
10.对所述特征相关性特征和所述时间相关性特征进行全连接处理，得到预测信息；
11.对所述预测信息进行局部相关性提取，得到硫酸钾产能预测结果。
12.可选地，所述对所述初始硫酸钾特征进行维度升高处理，得到第一硫酸钾特征：
13.通过两个前馈神经网络和一个激活函数对所述初始硫酸钾特征进行维度升高处理，得到高维度的第一硫酸钾特征。
14.可选地，所述对所述第一硫酸钾特征进行基于图注意力机制的特征聚合处理，得
到特征相关性特征，包括：
15.将所述第一硫酸钾特征输入特征融合器中，采用全连通层将所述第一硫酸钾特征转换到三个潜在的多头注意力子空间中；其中，所述多头注意力子空间包括查询子空间、键子空间和值子空间；
16.根据所述注意力子空间计算得到每个注意力头的特征相关性；
17.结合所述特征相关性，通过线性全连接层和添加残差连接的方式更新所述第一硫酸钾特征，进而采用两个前馈网络和一个激活函数进一步进行特征聚合，得到第一聚合特征；
18.通过添加残差连接的方式对所述第一聚合特征进行特征重用处理，得到特征相关性特征。
19.可选地，所述特征相关性特征的表达式为：
20.x
″s＝[max(0，x
′
sws，1
+b
s，1
)w
s，2
+b
s，2
]+x
′s[0021]
其中，x
″s表示特征相关性特征；x
′s表示第一聚合特征；w
s，1
是第一权重矩阵；w
s，2
是第二权重矩阵；b
s，1
是第一偏置矩阵；b
s，2
是第二偏置矩阵。
[0022]
可选地，所述结合所述特征相关性特征，对所述第一硫酸钾特征所述进行基于图注意力机制的时间转换处理，得到时间相关性特征，包括：
[0023]
将所述特征相关性特征中的每个元素映射到多头注意力机制中的三个多头注意力子空间；其中，所述多头注意力子空间包括查询子空间、键子空间和值子空间；
[0024]
确定一个当前时间间隔，根据所述多头注意力子空间计算所述当前时间间隔与其他时间间隔之间的时间相关性；
[0025]
结合所述时间相关性，通过线性全连接层和添加残差连接的方式更新所述第一硫酸钾特征，进而采用两个前馈网络和一个激活函数进一步进行特征聚合，得到第二聚合特征；
[0026]
通过添加残差连接的方式对所述第二聚合特征进行特征重用处理，得到时间相关性特征。
[0027]
可选地，所述时间相关性特征的表达式为：
[0028][0029]
其中，x
t
″
表示所述时间相关性特征；x
t
′
是第二聚合特征；是第三权重矩阵；是第四权重矩阵；表示第一硫酸钾特征；表示第三偏置矩阵；表示。
[0030]
可选地，所述对所述预测信息进行局部相关性提取，得到硫酸钾产能预测结果，包括：
[0031]
将所述预测信息输入具有三个卷积层的神经网络进行局部相关性提取，得到硫酸钾产能预测结果；
[0032]
其中，所述神经网络中每个卷积层的提取步骤为：
[0033]
获取输入特征；当当前卷积层是所述神经网络中的第一个卷积层时，所述输入特征为所述预测信息；当所述当前卷积层不是所述神经网络中的第一个卷积层时，所述输入特征是当前卷积层的前一个卷积层的输出结果；
[0034]
对所述输入特征进行批量归一化处理，得到第一处理结果；
[0035]
采用激活函数对所述第一处理结果进行处理，得到第二处理结果；
[0036]
对所述第二处理结果进行卷积运算，得到当前卷积层的计算结果并输出。
[0037]
另一方面，本发明的实施例还提供了一种基于图注意力神经网络的硫酸钾产能预测系统，包括：
[0038]
数据预处理模块，用于对硫酸钾数据进行数据预处理，得到初始硫酸钾特征；
[0039]
输入嵌入模块，用于对所述初始硫酸钾特征进行维度升高处理，得到第一硫酸钾特征；
[0040]
全局时空模块，用于对所述第一硫酸钾特征进行基于图注意力机制的特征聚合处理，得到特征相关性特征；还用于结合所述特征相关性特征，对所述第一硫酸钾特征所述进行基于图注意力机制的时间转换处理，得到时间相关性特征；还用于对所述特征相关性特征和所述时间相关性特征进行全连接处理，得到预测信息；
[0041]
局部时空模块，用于对所述预测信息进行局部相关性提取，得到硫酸钾产能预测结果。
[0042]
另一方面，本发明实施例还提供了一种电子设备，包括：处理器以及存储器；存储器用于存储程序；处理器执行程序实现如上所述的方法。
[0043]
另一方面，本发明实施例还提供了一种计算机存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于实现如上所述的方法。
[0044]
本发明实施例具有如下有益效果：通过对硫酸钾数据进行数据预处理，得到初始硫酸钾特征，对初始硫酸钾特征进行维度升高处理，得到第一硫酸钾特征，有利于对硫酸钾数据进行多维度分析，然后将硫酸钾产能数据建模为热图从而对数据进行建模；对第一硫酸钾特征进行基于图注意力机制的特征聚合处理，得到特征相关性特征，结合特征相关性特征，对第一硫酸钾特征进行基于图注意力机制的时间转换处理，得到时间相关性特征，对特征相关性特征和时间相关性特征进行全连接处理，得到时间维度为1的预测信息，可以对隐藏在硫酸钾产能数据中的全局时空相关性进行全面提取和编码；对预测信息进行局部相关性提取，能够在全局上下文处理过的特征图中进一步挖掘局部时空特性，进而得到更为精确的预测值，并且本发明实施例还具有时延低的效果，特别适用于动态变化剧烈的硫酸钾产能预测场景中。
附图说明
[0045]
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
[0046]
图1是本发明实施例提供的硫酸钾产能图；
[0047]
图2是本发明实施例提供的硫酸钾产能自相关图；
[0048]
图3是本发明实施例提供的硫酸钾特征相关图；
[0049]
图4是本发明实施例提供的硫酸钾产能预测模型图；
[0050]
图5是本发明实施例提供的特征聚合器结构图；
[0051]
图6是本发明实施例提供的时间转换器结构图；
[0052]
图7是本发明实施例提供的密集连接卷积结构图；
[0053]
图8是本发明实施例提供的基于图注意力神经网络的硫酸钾产能预测方法的方法
步骤图；
[0054]
图9是本发明实施例提供的硫酸钾产能预测实验结果图；
[0055]
图10是本发明实施例提供的基于图注意力神经网络的硫酸钾产能预测系统的系统结构图；
[0056]
图11是本发明实施例提供的一种电子设备的结构图。
具体实施方式
[0057]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0058]
需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一/s100”、“第二/s200”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0059]
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0060]
本发明实施例用自相关性衡量硫酸钾产能在时间维度上的相关性，用皮尔逊系数衡量硫酸钾产能在特征维度上的相关性，并将上述时间维度的相关性和特征维度的相关性进行可视化处理，得出硫酸钾产能呈现出三个方面的特点：
[0061]
(1)首先，参照图1，图1是本发明实施例提供的硫酸钾产能图，如图1所示的硫酸钾产能在时间维度上具有周期性，并且在时间维度上具有很强的突变性；硫酸钾产能的周期性反映的是硫酸钾产能随着一定的时间会产生周期性的变化，硫酸钾产能的突变性反映的是硫酸钾产能在不同时刻的变化幅度大；
[0062]
(2)其次，参照图2，图2是本发明实施例提供的硫酸钾产能自相关图，如图2所示，当前硫酸钾产能与之前时间间隔的硫酸钾产能相关性高，时间间隔越接近，相关程度越高；
[0063]
(3)最后，参照图3，图3是本发明实施例提供的硫酸钾特征相关图，如图3所示，硫酸钾产能在特征维度上也表现出高相关性，具体表现为硫酸钾产能与硫酸钾的销量、成本、单价紧密相关。
[0064]
基于上述结果，本发明实施例搭建了一种基于图注意力神经网络的硫酸钾产能预测模型，参照图4，图4是本发明实施例提供的硫酸钾产能预测模型图，该模型由输入嵌入层、全局时空模块和局部时空模块组成。需要说明的是，图4只是本发明实施例的其中一种实现方式。
[0065]
该模型的输入嵌入层将硫酸钾数据映射到高维向量空间中，以便于后续的时空建模。然后，通过堆叠时空注意力块，全局时空模块通过多头注意力机制提取时间相关性特征以及特征相关性特征；具体而言，每个时空注意力块由一个特征聚合器和一个时间转换器组成，特征聚合器的结构可参照图5，图5是本发明实施例提供的特征聚合器结构图；时间转换器的结构可以参照图6，图6是本发明实施例提供的时间转换器结构图。最后，参照图7，图
7是本发明实施例提供的密集连接卷积结构图，通过密集连接的卷积模块，局部时空模块进一步提取隐藏在硫酸钾产能中的局部相关性，并输出预测结果。
[0066]
基于上述硫酸钾产能预测模型，参照图8，图8是本发明实施例提供的基于注意力神经网络的硫酸钾产能预测方法的方法步骤图，本发明实施例的方法包括以下步骤s100～s600。
[0067]
s100、对硫酸钾数据进行数据预处理，得到初始硫酸钾特征。
[0068]
本发明实施例选取若干年的硫酸钾数据，这些硫酸钾数据具有一定的时间间隔，该时间间隔可以为一个月、两个月、三个月或者其他时间间隔值。并且，这些硫酸钾数据具有多个维度的硫酸钾相关数据(如硫酸钾产能、硫酸钾价格、硫酸钾销量等)。
[0069]
采用minmax归一化方法将不同量纲的硫酸钾数据转化到同一范围内，能够便于硫酸钾产能预测模型进行数据处理，在训练过程中，还能够加速硫酸钾产能预测模型的训练过程。本发明实施例的数据预处理过程中，归一化的计算公式为：
[0070][0071]
其中，yi表示归一化之后的样本点；xi表示样本点；xj表示任意样本；n表示样本的数量；表示样本之中的最小值，表示样本的最大值。
[0072]
预处理过后，将得到的硫酸钾特征值输入到输入嵌入层。
[0073]
s200、对初始硫酸钾特征进行维度升高处理，得到第一硫酸钾特征。
[0074]
在输入嵌入层，将序列作为输入，其中其中，表示当前时刻特征s1的值；t表示当前时刻；s表示初始特征的维度。然后，使用两个前馈神经网络和一个线性校正激活函数(relu)将输入序列的维度上升至d维。前馈神经网络是一种简单的神经网络，其各个神经元分层排列，每个神经元只与前一层神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。线性校正激活函数代指斜坡函数，该斜坡函数即：
[0075]
f(x)＝max(0,x)
[0076]
其中，x为输入自变量值。
[0077]
具体而言，第一个前馈神经网络可以将特征的维度从1维上升至d维，然后经过线性校正激活函数整合当前信息，第二个前馈神经网络保持特征d维不变，达到维度上升的目的，以便于后续在全局时空模块中捕获特征相关性和时间相关性。
[0078]
维度升高后，输入序列的维数从r
t*n*1
增加到r
t*n*d
，其中，t表示总时间长度；n表示初始特征数量；d表示初始特征维度。最后，经过处理得到的第一硫酸钾特征为：
[0079][0080]
其中，m表示预测所需的总时间长度；k表示第一硫酸钾特征的维度。
[0081]
将该第一硫酸特征值导入到全局时空模块中。
[0082]
s300、对第一硫酸钾特征进行基于图注意力机制的特征聚合处理，得到特征相关性特征。
[0083]
由于硫酸钾产能与硫酸钾的销量、成本、单价紧密相关。在全局时空模块的特征聚合器中，因此，构建了特征聚合器来提取潜在的相关性。
[0084]
步骤s300包括以下步骤s310～s340。
[0085]
s310、将第一硫酸钾特征输入特征融合器中，采用全连通层将第一硫酸钾特征转换到三个潜在的多头注意力子空间中；其中，多头注意力子空间包括查询子空间、键子空间和值子空间。
[0086]
具体地，将第一硫酸钾特征转换到三个潜在的多头注意力子空间的表达式为：
[0087][0088][0089][0090]
其中，q
s,i
为查询子空间；k
s,i
为键子空间；v
s,i
为值子空间；和分别是q
s,i
、k
s,i
和v
s,i
的权重矩阵；下标i∈{1,2,
…
,i}表示注意力机制的头数。
[0091]
s320、根据注意力子空间计算得到每个注意力头的特征相关性。
[0092]
在本发明实施例中，每个注意力头a
s,i
的特征动态相关性可以用独立尺度的点积来计算，再通过串联操作实现多头注意力机制：
[0093][0094][0095]
其中；a
s,i
表示第i个注意力头的特征动态相关性，q
s,i
、k
s,i
的点积用于表示一组动态全局相关性；softmax函数用于归一化相关性；分母用于缓解softmax函数导致的过饱和问题；||表示串联运算。
[0096]
通过引入多头注意力机制，可以学习多种相关性模式，这些模式可以模拟不同的隐藏相关性。
[0097]
s330、结合特征相关性，通过线性全连接层和添加残差连接的方式更新第一硫酸钾特征，进而采用两个前馈网络和一个激活函数进一步进行特征聚合，得到第一聚合特征。
[0098]
在步骤s330中，通过线性全连接层和残差连接来更新第一硫酸钾特征xs，进而使用线性组合(包括两个前馈神经网络和介于两者之间的relu激活函数)来进一步聚合特征，得到第一聚合特征。
[0099]
计算公式为：
[0100]
x
′s＝a
sws
+xs[0101]
其中，x
′s表示第一聚合特征；ws表示权重矩阵；xs表示原始的第一硫酸钾特征。
[0102]
s340、通过添加残差连接的方式对第一聚合特征进行特征重用处理，得到特征相关性特征。
[0103]
经过步骤s340的处理，得到的特征相关性特征为：
[0104]
x
″s＝[max(0,x
′
sws,1
+b
s,1
)w
s,2
+b
s,2
]+x
′s[0105]
其中，x
″s表示特征相关性特征；x
′s表示第一聚合特征；w
s,1
是第一权重矩阵；w
s,2
是第二权重矩阵；b
s,1
是第一偏置矩阵；b
s,2
是第二偏置矩阵。
[0106]
在一些实施例中，可以将该特征相关性特征进行批量标准化，得到特征聚合器的输出。
[0107]
其中q
s,i
、k
s,i
的点积用于表示一组动态全局相关性，softmax函数用于归一化相关性，分母用于缓解softmax函数导致的过饱和问题，并用||表示串联运算。通过引入多头注意力机制，可以学习多种相关性模式，这些模式可以模拟不同的隐藏相关性。
[0108]
而后，通过一个残差连接进行特征重用处理。因此，特征编码处理的特征如下：
[0109]
x
″s＝[max(0,x
′
sws,1
+b
s,1
)w
s,2
+b
s,2
]+x
′s[0110]
最后，通过批量标准化之后，即可得到特征聚合器的输出。
[0111]
s400、结合特征相关性特征，对第一硫酸钾特征进行基于图注意力机制的时间转换处理，得到时间相关性特征。
[0112]
由于硫酸钾产能在时间维度上具有很强的周期性和突变性，因此构建时间转换器来捕获时间间隔之间的相关性。
[0113]
步骤s400包括以下步骤s410～s440。
[0114]
s410、将特征相关性特征中的每个元素映射到多头注意力机制中的三个多头注意力子空间；其中，多头注意力子空间包括查询子空间、键子空间和值子空间。
[0115]
在全局时空模块的时间转换器中，本发明实施例将x
″s中的每个元素表示为而后，将输入序列x
t
映射到时间转换器的三个多头注意力子空间：
[0116][0117][0118][0119]
其中，表示查询子空间；表示键子空间；表示值子空间；和分别是和的权重矩阵。下标i∈{1,2,
…
i}表示注意力机制的头部。
[0120]
s420、确定一个当前时间间隔，根据多头注意力子空间计算当前时间间隔与其他时间间隔之间的时间相关性。
[0121]
对于任意一个时间间隔，它与其他时间间隔信息之间的相关性可以用独立尺度的点积来计算：
[0122][0123]
对于多头注意力机制的所有节点和所有头，可以通过串联操作来获得时间维度的注意力：
[0124][0125][0126]
s430、结合时间相关性，通过线性全连接层和添加残差连接的方式更新第一硫酸钾特征，进而采用两个前馈网络和一个激活函数进一步进行特征聚合，得到第二聚合特征。
[0127]
与特征聚合器的操作类似，时间转换器通过线性组合和添加残差连接的方式来更新输入的第一硫酸钾特征。编码过的特征还通过两个前馈神经网络和介于两者之间的relu激活函数来进一步聚合，得到第二聚合特征：
[0128]
x
t
′
＝a
twt
+x
t
[0129][0130]
其中，x
t
″
表示时间相关性特征；x
t
′
是第二聚合特征；是第三权重矩阵；是第四权重矩阵；表示第一硫酸钾特征；表示第三偏置矩阵；表示第四偏置矩阵。
[0131]
s440、通过添加残差连接的方式对第二聚合特征进行特征重用处理，得到时间相关性特征。
[0132]
步骤s440的过程与步骤s340的步骤类似，此处不再赘述。
[0133]
对通过批量标准化之后，即可得到时间转换器的输出。
[0134]
s500、对特征相关性特征和时间相关性特征进行全连接处理，得到预测信息。
[0135]
本发明实施例堆叠时空注意力块来捕获多种潜在的相关性，并保持特征聚合器和时间转换器的输出维度与初始维度一致。在最后一个时空注意力块输出全局编码的特征之后，采用全连接层将全局特征转换为时间维度为1的预测信息，该预测信息的具体表达式为：
[0136][0137]
其中，表示预测信息。
[0138]
最后，将预测信息输入到局部时空模块中，以捕获隐藏在全局编码特征中的局部依赖性。
[0139]
s600、对预测信息进行局部相关性提取，得到硫酸钾产能预测结果。
[0140]
在局部时空模块中，本发明实施例采用密集连接的神经网络来提取隐藏在全局编码特征中的局部相关性并提高预测精度。密集连接的神经网络由三个堆叠的卷积层组成，第l个卷积层接受来自前l-1层所有输出作为输入，第l个卷积层的工作原理表达式为：
[0141][0142]
其中，f(
·
)是指按顺序执行批量归一化、relu激活函数和卷积运算。是一个新的特征图，它是通过连接第0,1,
…
l层卷积层中的特征而生成的新的特征图。在密集连接的神经网络中，后一层的卷积层可以在前馈传播中广泛接收来自前一层的特征；同时，在反向传播中，每一层都可以从损失函数中快速获得梯度信息。通过将后一层直接连接到前一层的方式，局部时空模块加强了特征传播和实现了特征重用。
[0143]
本发明实施例在训练阶段，选择平均绝对误差(mae)作为训练指标，采用反向传播的方法来训练上述的硫酸钾产能预测模型。具体而言，本发明实施例通过最小化预测值和实际值之间的误差绝对值来调整模型的参数，对硫酸钾产能预测模型进行训练，其中，损失函数的表达式为：
[0144][0145]
其中，表示损失函数，θ是模型参数，θ在训练期间自动学习的。
[0146]
综上，本发明实施例具有如下有益效果：
[0147]
1.对硫酸钾数据进行多维度分析，然后将硫酸钾产能数据建模为热图，基于深度学习技术，其中包括基于图注意力机制构建全局时空模块，对隐藏在硫酸钾产能数据中的全局时空相关性进行全面提取和编码；基于卷积神经网络构建局部时空模块，在全局上下文处理过的特征图中进一步挖掘局部时空特性。
[0148]
2.本发明实施例的方法时延性低，可以在合理时间内得到硫酸钾产能的预测结果。
[0149]
下面结合实验结果介绍本发明实施例的效果：
[0150]
评估指标：为了进行比较，根据三种常用的指标来衡量本发明实施例的方法的性能。第一种是mae：
[0151][0152]
具体而言，t表示总时间长度；s表示总特征维度；表示预测结果；表示真实值；mae是预测结果和真实值之间的绝对误差的平均值。因此，mae越小，所达到的预测精度就越好。
[0153]
第二种是rmse指标：
[0154][0155]
具体而言，rmse指标是预测结果和地面实况值之间的均方根误差。rmse越小，所达到的预测精度就越好。
[0156]
第三种是r2指标，r2指标的取值的范围是[0,1]：
[0157][0158]
具体而言，r2是可以通过预测来解释的真实值的比例。r2越大，所实现的预测精度就越好。
[0159]
实验结果参照表1：
[0160]
表1
[0161] maermser2循环神经网络方法3.80584.46330.7097本发明实施例3.25543.54710.8166
[0162]
从上述表1可以看出，由于本发明实施例的方法具有挖掘和建模隐藏在硫酸钾数据中的复杂相关性的能力，本发明实施例的方法在三个指标中的表现都优于基于循环神经
网络的方法。
[0163]
参照图9，图9是本发明实施例提供的硫酸钾产能预测结果图，从图6可以看出，本发明实施例的方法更能适应硫酸钾产能中的突变，从而能更加准确地预测硫酸钾产能数据。
[0164]
另一方面，如图10所示，图10是本发明实施例提供的基于图注意力神经网络的硫酸钾产能预测系统的系统结构图，本发明实施例提供了一种基于图注意力神经网络的硫酸钾产能预测系统，包括：
[0165]
数据预处理模块，用于对硫酸钾数据进行数据预处理，得到初始硫酸钾特征；
[0166]
输入嵌入模块，用于对所述初始硫酸钾特征进行维度升高处理，得到第一硫酸钾特征；
[0167]
全局时空模块，用于对所述第一硫酸钾特征进行基于图注意力机制的特征聚合处理，得到特征相关性特征；还用于结合所述特征相关性特征，对所述第一硫酸钾特征所述进行基于图注意力机制的时间转换处理，得到时间相关性特征；还用于对所述特征相关性特征和所述时间相关性特征进行全连接处理，得到预测信息；
[0168]
局部时空模块，用于对所述预测信息进行局部相关性提取，得到硫酸钾产能预测结果。
[0169]
另一方面，如图11所示，图11是本发明实施例提供的一种电子设备的结构图，本发明实施例还提供了一种电子设备，包括：处理器以及存储器；存储器用于存储程序；处理器执行程序实现如上所述的方法。
[0170]
另一方面，本发明实施例还提供了一种计算机存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于实现如上所述的方法。
[0171]
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
[0172]
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
[0173]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计
算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0174]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
[0175]
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(ram)、只读存储器(rom)、可擦除可编辑只读存储器(eprom或闪速存储器)、光纤装置以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0176]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0177]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
[0178]
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。

技术特征：
1.一种基于图注意力神经网络的硫酸钾产能预测方法，其特征在于，包括：对硫酸钾数据进行数据预处理，得到初始硫酸钾特征；对所述初始硫酸钾特征进行维度升高处理，得到第一硫酸钾特征；对所述第一硫酸钾特征进行基于图注意力机制的特征聚合处理，得到特征相关性特征；结合所述特征相关性特征，对所述第一硫酸钾特征所述进行基于图注意力机制的时间转换处理，得到时间相关性特征；对所述特征相关性特征和所述时间相关性特征进行全连接处理，得到预测信息；对所述预测信息进行局部相关性提取，得到硫酸钾产能预测结果。2.根据权利要求1所述的一种基于图注意力神经网络的硫酸钾产能预测方法，其特征在于，所述对所述初始硫酸钾特征进行维度升高处理，得到第一硫酸钾特征：通过两个前馈神经网络和一个激活函数对所述初始硫酸钾特征进行维度升高处理，得到高维度的第一硫酸钾特征。3.根据权利要求1所述的一种基于图注意力神经网络的硫酸钾产能预测方法，其特征在于，所述对所述第一硫酸钾特征进行基于图注意力机制的特征聚合处理，得到特征相关性特征，包括：将所述第一硫酸钾特征输入特征融合器中，采用全连通层将所述第一硫酸钾特征转换到三个潜在的多头注意力子空间中；其中，所述多头注意力子空间包括查询子空间、键子空间和值子空间；根据所述注意力子空间计算得到每个注意力头的特征相关性；结合所述特征相关性，通过线性全连接层和添加残差连接的方式更新所述第一硫酸钾特征，进而采用两个前馈网络和一个激活函数进一步进行特征聚合，得到第一聚合特征；通过添加残差连接的方式对所述第一聚合特征进行特征重用处理，得到特征相关性特征。4.根据权利要求3所述的一种基于图注意力神经网络的硫酸钾产能预测方法，其特征在于，所述特征相关性特征的表达式为：x
′
s
＝[max(o,x
′
s
w
s,1
+b
s，1
)w
s，2
+b
s，2
]+x
′
s
其中，x
″
s
表示特征相关性特征；x
′
s
表示第一聚合特征；w
s,1
是第一权重矩阵；w
s,2
是第二权重矩阵；b
s,1
是第一偏置矩阵；b
s,2
是第二偏置矩阵。5.根据权利要求1所述的一种基于图注意力神经网络的硫酸钾产能预测方法，其特征在于，所述结合所述特征相关性特征，对所述第一硫酸钾特征所述进行基于图注意力机制的时间转换处理，得到时间相关性特征，包括：将所述特征相关性特征中的每个元素映射到多头注意力机制中的三个多头注意力子空间；其中，所述多头注意力子空间包括查询子空间、键子空间和值子空间；确定一个当前时间间隔，根据所述多头注意力子空间计算所述当前时间间隔与其他时间间隔之间的时间相关性；结合所述时间相关性，通过线性全连接层和添加残差连接的方式更新所述第一硫酸钾特征，进而采用两个前馈网络和一个激活函数进一步进行特征聚合，得到第二聚合特征；通过添加残差连接的方式对所述第二聚合特征进行特征重用处理，得到时间相关性特
征。6.根据权利要求5所述的一种基于图注意力神经网络的硫酸钾产能预测方法，其特征在于，所述时间相关性特征的表达式为：其中，x
t
″
表示所述时间相关性特征；x
t
′
是第二聚合特征；是第三权重矩阵；是第四权重矩阵；表示第一硫酸钾特征；表示第三偏置矩阵；表示第四偏置矩阵。7.根据权利要求1所述的一种基于图注意力神经网络的硫酸钾产能预测方法，其特征在于，所述对所述预测信息进行局部相关性提取，得到硫酸钾产能预测结果，包括：将所述预测信息输入具有三个卷积层的神经网络进行局部相关性提取，得到硫酸钾产能预测结果；其中，所述神经网络中每个卷积层的提取步骤为：获取输入特征；当当前卷积层是所述神经网络中的第一个卷积层时，所述输入特征为所述预测信息；当所述当前卷积层不是所述神经网络中的第一个卷积层时，所述输入特征是当前卷积层的前一个卷积层的输出结果；对所述输入特征进行批量归一化处理，得到第一处理结果；采用激活函数对所述第一处理结果进行处理，得到第二处理结果；对所述第二处理结果进行卷积运算，得到当前卷积层的计算结果并输出。8.一种基于图注意力神经网络的硫酸钾产能预测系统，其特征在于，包括：数据预处理模块，用于对硫酸钾数据进行数据预处理，得到初始硫酸钾特征；输入嵌入模块，用于对所述初始硫酸钾特征进行维度升高处理，得到第一硫酸钾特征；全局时空模块，用于对所述第一硫酸钾特征进行基于图注意力机制的特征聚合处理，得到特征相关性特征；还用于结合所述特征相关性特征，对所述第一硫酸钾特征所述进行基于图注意力机制的时间转换处理，得到时间相关性特征；还用于对所述特征相关性特征和所述时间相关性特征进行全连接处理，得到预测信息；局部时空模块，用于对所述预测信息进行局部相关性提取，得到硫酸钾产能预测结果。9.一种电子设备，其特征在于，包括处理器以及存储器；所述存储器用于存储程序；所述处理器执行所述程序实现如权利要求1至7中任一项所述的方法。10.一种计算机存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由所述处理器执行时用于实现如权利要求1至7任一项所述的方法。

技术总结
本发明公开了一种基于图注意力神经网络的硫酸钾产能预测方法及系统，方法包括：对硫酸钾数据进行数据预处理，得到初始硫酸钾特征；对初始硫酸钾特征进行维度升高处理，得到第一硫酸钾特征；对第一硫酸钾特征进行基于图注意力机制的特征聚合处理，得到特征相关性特征；结合特征相关性特征，对第一硫酸钾特征进行基于图注意力机制的时间转换处理，得到时间相关性特征；对特征相关性特征和时间相关性特征进行全连接处理，得到预测信息；对预测信息进行局部相关性提取，得到硫酸钾产能预测结果。本发明能够捕获硫酸钾产能数据中普遍存在的复杂非线性特性，结合硫酸钾数据的特征进行更为准确的硫酸钾产能预测，能够广泛应用于硫酸钾产能预测技术领域。酸钾产能预测技术领域。酸钾产能预测技术领域。


技术研发人员：古博 詹俊辉 林梓淇 姜善成 王萍 韩瑜
受保护的技术使用者：中山大学
技术研发日：2023.07.19
技术公布日：2023/10/15