一种基于Informer的频谱预测模型和方法

一种基于informer的频谱预测模型和方法
技术领域
1.本发明属于频谱管理领域，具体涉及一种基于informer的频谱预测模型和方法。


背景技术：

2.在智能通信系统中，对频谱的使用管理是十分重要的一环，频谱的调度过程遵循这样的步骤：频谱感知、频谱分析、频谱决策、频谱调整。在当今复杂的通信环境中，对频谱进行全面的、实时的监测是一件相对耗费资源和时间的事情，尤其在高动态的无线电环境中，频谱感知的复杂度进一步增强。同时，在对频谱进行实时地全面监测，然后再经过计算分析得到可利用的频谱空洞，这会耗费一定的时间，很可能会因为监测和计算的时延导致频谱接入时发生冲突，反而降低了通信质量。因此，提出了频谱预测来降低计算时延，降低监测成本，为后续的频谱管理提供更多的数据支持。
3.频谱预测是通过分析历史频谱的使用情况，对之后的频谱状态占用进行预测，从而达到灵活使用频谱资源，提高系统通信质量的目的。尤其在物联网等高动态的电磁环境下，对频谱切换的时延要求更高，对信息传输的质量要求也更高，频谱预测更是能在其中发挥重要的作用，在提高通信系统整体通信质量上的潜力更大，因此，频谱预测在智能通信，尤其高动态电磁环境下是一个十分有价值的策略。
4.随着车联网等新型应用场景的兴起，智能通信应运而生，频谱资源的不可再生性要求系统必须更高效地将其利用，频谱预测在降低频谱切换时延、减少资源耗费方面有非常大的潜力，因此，在现代通信环境、尤其是高动态电磁环境中，频谱预测方向是一个十分有价值的研究课题。
5.目前，针对于序列预测，最接近的是transformer模型，由谷歌公司提出，该模型基于完全注意力机制，它在序列建模中显示出了强大的能力。但是，仍然有一些局限性。(1)高计算复杂度：模型使用的是完全注意力机制，即需要计算输入序列中所有位置时间的注意力得分，假设输入序列长度是l，那么总共需要计算l2次，即完全注意力的计算复杂度是o(l2)；在一些数据量比较大的实验中，对设备的要求可能会较高，甚至可能会有实验失败的风险，限制了该模型在实际场景中的应用；(2)在频谱时间序列中，transformer更注重序列在时间维度上的关系，但是干扰等信息在时间维度上很难进行辨别，在频域上更好辨别，模型缺少对数据频域方面的学习；(3)在高动态电磁环境中，频谱数据的平稳性可能也较差，transformer缺少对这种数据的处理考虑，可能会影响预测结果。


技术实现要素：

6.为了解决现有技术在频谱预测问题中长序列预测计算复杂度高、缺少对数据频域方面的学习的问题，本发明提出了一种基于informer的频谱预测模型和算法，降低了内存需求，为输入更长序列提供了好的条件，对频谱数据有更全面的学习，具有准确性高、适用性强的特点。
7.一种基于informer的频谱预测模型，包括高动态系统频谱时间序列处理模块、
informer模型和频域注意力计算模块，所述informer模型分别与高动态系统频谱时间序列处理模块和频域注意力计算模块连接。
8.进一步地，上述高动态系统频谱时间序列处理模块的归一化单元与informer模型的编码器连接，所述informer模型的编码器与频域注意力计算模块连接，所述频域注意力计算模块与informer模型的解码器连接，所述informer模型的解码器与高动态系统频谱时间序列处理模块的去归一化单元连接。
9.一种基于informer的频谱预测方法，包括如下步骤：
10.步骤1：进入高动态系统频谱时间序列处理模块，首先将原始序列进行归一化，得到相应的均值、标准差和变换之后的序列，并且通过一层多层感知器计算得到非平稳因子；
11.步骤2：将归一化后的序列经过嵌入得到将送入informer模型的编码器，经过编码器的计算得到原始特征图p；
12.步骤3：对原始特征图p用dct进行频域注意力的计算，得到增强向量r，并将其与原始特征图p在频率维度上进行拼接，得到经频域注意力加强的特征图p'；
13.步骤4：将经频域注意力加强的特征图p'传入informer模型的解码器进行计算，得到输出的初始预测结果y'；
14.步骤5：对初始预测结果y'进行去归一化操作，得到最终的预测输出y。
15.进一步地，上述步骤1具体为：
16.1)将原始序列进行归一化，计算得到原始序列的均值μ
x
和标准差σ
x
，以及变换之后的序列x'；
[0017][0018][0019][0020]
2)将得到的均值μ
x
和标准差σ
x
同原始序列x一起送入多层感知器单元，得到高动态系统频谱时间序列处理模块中的非平稳因子τ和δ，以供后续序列恢复使用，logτ＝mlp(σ
x
,x)，δ＝mlp(μ
x
,x)。
[0021]
进一步地，上述步骤2具体为：
[0022]
1)对归一化后的序列进行嵌入，得到
[0023][0024]
2)将嵌入之后的数据送入informer模型的编码器，在编码器中的每一层堆栈中，都先对注意力计算所需的矩阵q',k',v'进行计算，然后根据这三个矩阵和非平稳因子计算稀疏注意力，选取重要注意力，并将剩下的查询值用均值替代，并且进行一次注意力蒸馏，经过n次计算之后，得到原始特征图p。
[0025]
进一步地，上述的基于informer的频谱预测方法，若编码器的层数是n，那么将下列步骤执行n次，具体的：
[0026]
2.1)基于线性性质计算q',k',v'；
[0027][0028]
2.2)计算
[0029]
2.2.1)从k'中随机选取u个点积对组成
[0030]
2.2.2)计算样本分数：
[0031][0032]
2.2.3)选出中与的均值相差最大的u个query，组成
[0033]
2.2.4)其余query值用均值代替；
[0034]
2.3)利用v',τ,δ计算去平稳稀疏注意力；
[0035][0036]
其中，d表示序列的维度；
[0037]
2.4)计算残差连接、进行层归一化；
[0038]
2.5)进入前馈网络进行训练；
[0039]
2.6)再次计算残差连接、进行层归一化；
[0040]
2.7)进行注意力蒸馏
[0041][0042]
进一步地，上述步骤3具体为：
[0043]
1)对原始特征图p计算一维卷积，得到v；
[0044]
2)对v进行dct变换，
[0045]
freq＝dct(v)＝stack([freq0,freq1,...,freq
n-1
])；
[0046]
3)计算频域注意力加强向量：
[0047]fc-att＝σ(w2δ(w1freq))
[0048]
其中，w1,w2都是训练得到的可学习参数，δ表示relu激活函数，σ表示sigmoid激活函数；
[0049]
4)通过一维卷积计算增强向量r：
[0050]
r＝p*(f
c-att)；
[0051]
5)将p和r在频率维度上进行拼接，计算得到增强的解码器的输入特征图p'，p'＝torch.cat(p,r)。
[0052]
进一步地，上述步骤4具体为，将经频域注意力加强的特征图p'传入informer模型的解码器进行计算，同时向解码器输入序列x
de
＝{x
token
,x0}，x
token
部分是开始令牌，x0部分标志预测结果的长度，经解码器和全连接层输出，原来置0的位置即为输出的初始预测结果y'，其中，解码器的结构为遮盖的多头稀疏注意力机制和多头注意力机制。
[0053]
进一步地，上述的基于informer的频谱预测方法，在解码器的每层堆栈中进行计算：
[0054]
1)计算遮盖的多头稀疏注意力机制；
[0055]
2)计算残差连接，进行层归一化；
[0056]
3)进入前馈网络进行训练；
[0057]
4)再次计算残差连接、进行层归一化。
[0058]
进一步地，上述步骤5中，预测输出y的计算方法为：
[0059][0060]
本发明的有益效果：
[0061]
1.本发明的基础模型是informer模型，是基于注意力机制的一个计算量更小的模型，通过稀疏注意力机制和注意力蒸馏机制将模型的计算复杂度从o(l2)降到了o(llogl)，降低了内存需求，为输入更长的序列提供了好的条件；
[0062]
2.本发明的加入了针对于频域信息的注意力机制，并且基于gap是dct的最低频率分量的发现，在计算频域注意力时采用了dct的计算方法，使得模型对频谱数据有更全面的学习，减少误差；
[0063]
3.本发明在高动态电磁环境下，对收集到的频谱数据进行预处理，增强序列的平稳性，以给模型提供更好的注意力学习条件，并且，对解码器输出的结果进行非平稳性还原，降低预测误差，提高了模型的适用性。
附图说明
[0064]
图1为本实施例基于informer的频谱预测模型流程示意图。
[0065]
图2为本实施例informer模型和频域注意力计算模块的连接示意图。
[0066]
图3为本实施例频域注意力计算模块流程示意图。
[0067]
图4为本实施例数据嵌入方法示意图。
具体实施方式
[0068]
为进一步阐述本发明达成预定目的所采取的技术手段及功效，以下结合附图及实施例对本发明的具体实施方式、结构特征及其功效，详细说明如下。
[0069]
本实施例提供了一种基于informer的频谱预测模型，参照附图1-3，该频谱预测模型包括高动态系统频谱时间序列处理模块、informer模型和频域注意力计算模块，informer模型分别与高动态系统频谱时间序列处理模块和频域注意力计算模块连接。高动态系统频谱时间序列处理模块的归一化单元与informer模型的编码器连接，informer模型的编码器与频域注意力计算模块连接，频域注意力计算模块与informer模型的解码器连接，informer模型的解码器与高动态系统频谱时间序列处理模块的去归一化单元连接。
[0070]
本实施例还提供了一种基于informer的频谱预测方法，该频谱预测方法包括如下步骤：
[0071]
步骤1：进入高动态系统频谱时间序列处理模块，首先将原始序列进行归一化，得到相应的均值、标准差和变换之后的序列，并且通过一层多层感知器计算得到非平稳因子。
[0072]
1)将原始序列进行归一化，计算得到原始序列的均值μ
x
和标准差σ
x
，以及变换之后的序列x'。
[0073][0074][0075][0076]
2)将得到的均值μ
x
和标准差σ
x
同原始序列x一起送入多层感知器单元，得到高动态系统频谱时间序列处理模块中的非平稳因子τ和δ，以供后续序列恢复使用，logτ＝mlp(σ
x
,x)，δ＝mlp(μ
x
,x)。
[0077]
步骤2：将归一化后的序列经过嵌入得到将送入informer模型的编码器，经过编码器的计算得到原始特征图p。
[0078]
本实施例编码器的结构由两层堆栈组合而成，在每一层堆栈中，首先通过多头稀疏注意力机制得到一定数目的重要注意力，然后通过一层蒸馏层对注意力进行筛选，得到有效注意力，这也是本算法中降低计算复杂度和内存要求的关键。
[0079]
1)对归一化后的序列进行嵌入，得到
[0080][0081]
数据嵌入方法参照附图4。
[0082]
2)将嵌入之后的数据送入informer模型的编码器，在编码器中的每一层堆栈中，都先对注意力计算所需的矩阵q',k',v'进行计算，然后根据这三个矩阵和非平稳因子计算稀疏注意力，选取重要注意力，并将剩下的查询值用均值替代，并且进行一次注意力蒸馏，经过n次计算之后，得到原始特征图p。
[0083]
若编码器的层数是n，那么将下列步骤执行n次，具体的：
[0084]
2.1)基于线性性质计算q',k',v'；
[0085][0086]
2.2)计算
[0087]
2.2.1)从k'中随机选取u个点积对组成
[0088]
2.2.2)计算样本分数：
[0089][0090]
2.2.3)选出中与的均值相差最大的u个query，组成
[0091]
2.2.4)其余query值用均值代替；
[0092]
2.3)利用v',τ,δ计算去平稳稀疏注意力；
[0093][0094]
其中，d表示序列的维度；
[0095]
2.4)计算残差连接、进行层归一化；
[0096]
2.5)进入前馈网络进行训练；
[0097]
2.6)再次计算残差连接、进行层归一化；
[0098]
2.7)进行注意力蒸馏
[0099][0100]
步骤3：对原始特征图p用dct进行频域注意力的计算，计算频域注意力模块，因为传统的通道注意力智能学习最低频率的注意力，所以要用dct计算，以此得到增强向量r，并将其与原始特征图p在频率维度上进行拼接，得到经频域注意力加强的特征图p'。
[0101]
1)对原始特征图p计算一维卷积，得到v；
[0102]
2)对v进行dct变换，
[0103]
freq＝dct(v)＝stack([freq0,freq1,...,freq
n-1
])；
[0104]
3)计算频域注意力加强向量：
[0105]fc-att＝σ(w2δ(w1freq))
[0106]
其中，w1,w2都是训练得到的可学习参数，δ表示relu激活函数，σ表示sigmoid激活函数；
[0107]
4)通过一维卷积计算增强向量r：
[0108]
r＝p*(f
c-att)；
[0109]
5)将p和r在频率维度上进行拼接，计算得到增强的解码器的输入特征图p'，p'＝torch.cat(p,r)。
[0110]
步骤4：将经频域注意力加强的特征图p'传入informer模型的解码器进行计算，同时向解码器输入序列x
de
＝{x
token
,x0}，x
token
部分是开始令牌，x0部分标志预测结果的长度，经解码器和全连接层输出，原来置0的位置即为输出的初始预测结果y'，其中，解码器的结构为遮盖的多头稀疏注意力机制和多头注意力机制，遮盖的目的是为了防止预测位置受到之后的序列影响，造成自回归。
[0111]
在解码器的每层堆栈中进行计算：
[0112]
1)计算遮盖的多头稀疏注意力机制；
[0113]
2)计算残差连接，进行层归一化；
[0114]
3)进入前馈网络进行训练；
[0115]
4)再次计算残差连接，进行层归一化。
[0116]
步骤5：对初始预测结果y'进行去归一化操作，得到最终的预测输出y。
[0117]
预测输出y的计算方法为：
[0118][0119]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在未脱离本发明技术方案的内容，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于informer的频谱预测模型，其特征在于，包括高动态系统频谱时间序列处理模块、informer模型和频域注意力计算模块，所述informer模型分别与高动态系统频谱时间序列处理模块和频域注意力计算模块连接。2.根据权利要求1所述的基于informer的频谱预测模型，其特征在于，所述高动态系统频谱时间序列处理模块的归一化单元与informer模型的编码器连接，所述informer模型的编码器与频域注意力计算模块连接，所述频域注意力计算模块与informer模型的解码器连接，所述informer模型的解码器与高动态系统频谱时间序列处理模块的去归一化单元连接。3.一种基于informer的频谱预测方法，其特征在于，包括如下步骤：步骤1：进入高动态系统频谱时间序列处理模块，首先将原始序列进行归一化，得到相应的均值、标准差和变换之后的序列，并且通过一层多层感知器计算得到非平稳因子；步骤2：将归一化后的序列经过嵌入得到将送入informer模型的编码器，经过编码器的计算得到原始特征图p；步骤3：对原始特征图p用dct进行频域注意力的计算，得到增强向量r，并将其与原始特征图p在频率维度上进行拼接，得到经频域注意力加强的特征图p'；步骤4：将经频域注意力加强的特征图p'传入informer模型的解码器进行计算，得到输出的初始预测结果y'；步骤5：对初始预测结果y'进行去归一化操作，得到最终的预测输出y。4.根据权利要求3所述的基于informer的频谱预测方法，其特征在于，所述步骤1具体为：1)将原始序列进行归一化，计算得到原始序列的均值μ
x
和标准差σ
x
，以及变换之后的序列x'；，以及变换之后的序列x'；，以及变换之后的序列x'；2)将得到的均值μ
x
和标准差σ
x
同原始序列x一起送入多层感知器单元，得到高动态系统频谱时间序列处理模块中的非平稳因子τ和δ，以供后续序列恢复使用，logτ＝mlp(σ
x
,x)，δ＝mlp(μ
x
,x)。5.根据权利要求3所述的基于informer的频谱预测方法，其特征在于，所述步骤2具体为：1)对归一化后的序列进行嵌入，得到1)对归一化后的序列进行嵌入，得到2)将嵌入之后的数据送入informer模型的编码器，在编码器中的每一层堆栈中，都先对注意力计算所需的矩阵q',k',v'进行计算，然后根据这三个矩阵和非平稳因子计算稀
疏注意力，选取重要注意力，并将剩下的查询值用均值替代，并且进行一次注意力蒸馏，经过n次计算之后，得到原始特征图p。6.根据权利要求5所述的基于informer的频谱预测方法，其特征在于，若编码器的层数是n，那么将下列步骤执行n次，具体的：2.1)基于线性性质计算q',k',v'；2.2)计算2.2.1)从k'中随机选取u个点积对组成k'；2.2.2)计算样本分数：2.2.3)选出中与的均值相差最大的u个query，组成2.2.4)其余query值用均值代替；2.3)利用v',τ,δ计算去平稳稀疏注意力；其中，d表示序列的维度；2.4)计算残差连接、进行层归一化；2.5)进入前馈网络进行训练；2.6)再次计算残差连接、进行层归一化；2.7)进行注意力蒸馏，7.根据权利要求3所述的基于informer的频谱预测方法，其特征在于，所述步骤3具体为：1)对原始特征图p计算一维卷积，得到v；2)对v进行dct变换，freq＝dct(v)＝stack([freq0,freq1,...,freq
n-1
])；3)计算频域注意力加强向量：f
c-att＝σ(w2δ(w1freq))其中，w1,w2都是训练得到的可学习参数，δ表示relu激活函数，σ表示sigmoid激活函数；4)通过一维卷积计算增强向量r：r＝p*(f
c-att)；5)将p和r在频率维度上进行拼接，计算得到增强的解码器的输入特征图p'，p'＝torch.cat(p,r)。8.根据权利要求3所述的基于informer的频谱预测方法，其特征在于，所述步骤4具体为，将经频域注意力加强的特征图p'传入informer模型的解码器进行计算，同时向解码器输入序列x
de
＝{x
token
,x0}，x
token
部分是开始令牌，x0部分标志预测结果的长度，经解码器和
全连接层输出，原来置0的位置即为输出的初始预测结果y'，其中，解码器的结构为遮盖的多头稀疏注意力机制和多头注意力机制。9.根据权利要求8所述的基于informer的频谱预测方法，其特征在于，在解码器的每层堆栈中进行计算：1)计算遮盖的多头稀疏注意力机制；2)计算残差连接，进行层归一化；3)进入前馈网络进行训练；4)再次计算残差连接，进行层归一化。10.根据权利要求3所述的基于informer的频谱预测方法，其特征在于，步骤5中，预测输出y的计算方法为：

技术总结
本发明涉及一种基于Informer的频谱预测模型和方法，该模型包括相互连接的高动态系统频谱时间序列处理模块、Informer模型和频域注意力计算模块；该方法包括步骤：进入高动态系统频谱时间序列处理模块，将原始序列归一化得到相应的均值、标准差和变换之后的序列，将归一化后的序列经过嵌入得到将送入编码器，经过计算得到原始特征图P，用DCT进行频域注意力的计算，得到增强向量r，并将其与原始特征图P在频率维度上进行拼接，得到经频域注意力加强的特征图P'，再传入解码器进行计算得到输出的初始预测结果y'，对y'进行去归一化操作得到最终的预测输出y。本发明降低了内存需求，为输入更长序列提供了条件，对频谱数据有更全面的学习，具有准确性高、适用性强的特点。适用性强的特点。适用性强的特点。


技术研发人员：关磊 杨迪丹 司江勃 李晨曦 郝本健 齐佩汉 李赞 王天洋 付杭 惠佩
受保护的技术使用者：西安电子科技大学
技术研发日：2023.03.09
技术公布日：2023/7/12