一种多元时间序列预测方法、装置及电子设备与流程

1.本技术涉及信息技术领域，更为具体来说，本技术涉及一种多元时间序列预测方法、装置及电子设备。


背景技术：

2.多元时间序列预测方法在环境监测和能源管理等多个领域中具有广泛的应用，例如在环境监测中，通过对某一地区过去某一时间段内采集到的so2、no2、co、温度、湿度等多元时间序列数据进行建模来预测该地区当前的空气质量，以及在能源管理中，通过对某一光伏发电厂过去某一时间段内采集到的天气、温度、压力、湿度等多元时间序列数据和光伏板内部参数进行建模来预测该发电厂当前的光伏发电功率。
3.然而现有技术中在进行多元时间序列分析时通常面临三大问题：首先针对某一特定任务场景采集的数据样本较少，这可能导致多元时间序列预测模型训练不收敛或者泛化性能差；其次由于传感器损坏或其它原因，所采集到的数据可能存在元素缺失或异常的情况，这可能导致多元时间序列预测模型效果不好甚至失效；最后因不同任务场景下传感器数量和类型的差异以及采样频率不同等原因导致采集到的数据维度不一致，从而产生数据混乱，进而影响识别精准度。


技术实现要素：

4.基于上述技术问题，本发明旨在通过对第一多元时间序列预测模型进行无监督训练，对训练好的第一多元时间序列预测模型进行有监督微调，形成第二多元时间序列预测模型，然后用第二多元时间序列预测模型对目标多元时间序列进行预测。
5.本发明第一方面提供了一种多元时间序列预测方法，所述方法包括：
6.获取预设多元时间序列数据集，将获取的所有预设多元时间序列数据集合并为一个大规模数据集；
7.对所述大规模数据集中每个数据样本进行维度统一处理，并对维度统一处理后的所有数据样本进行归一化处理；
8.利用归一化处理后的所有数据样本对第一多元时间序列预测模型进行无监督训练，对训练好的第一多元时间序列预测模型进行有监督微调，形成第二多元时间序列预测模型；
9.基于第二多元时间序列预测模型对目标多元时间序列进行预测，得到预测结果。
10.在本发明的一些实施例中，所述第一多元时间序列预测模型包括1个掩码层、1个线性映射层、3个transformer编码器、1个数据感知全连接层。
11.在本发明的一些实施例中，所述第二多元时间序列预测模型包括1个线性映射层、3个transformer编码器、1个数据感知全连接层、1个目标回归全连接层。
12.在本发明的一些实施例中，利用归一化处理后的所有数据样本对第一多元时间序列预测模型进行无监督训练，包括：
13.将归一化处理后的所有数据样本作为待训练数据样本，将所述待训练数据样本输入第一多元时间序列预测模型；
14.待训练数据样本依次经由掩码层、线性映射层、transformer编码器、数据感知全连接层处理训练；
15.利用预设损失函数计算损失值，并根据所述损失值更新所述第一多元时间序列预测模型的参数，直至所述第一多元时间序列预测模型收敛，得到训练好的第一多元时间序列预测模型。
16.在本发明的一些实施例中，待训练数据样本依次经由掩码层、线性映射层、transformer编码器、数据感知全连接层处理训练，包括：
17.待训练数据样本依次经由掩码层、线性映射层，得到第一特征矩阵；
18.所述transformer编码器对所述第一特征矩阵中各特征向量之间的位置关系及各特征向量的任务数据类型进行深度学习，得到第二特征矩阵；
19.基于数据感知全连接层对所述第二特征矩阵进行预测，得到预测结果，直至达到预设训练次数时停止训练。
20.在本发明的一些实施例中，所述第一多元时间序列预测模型还包括数据重建全连接层；所述方法还包括将第二特征矩阵输入所述数据重建全连接层得到重建结果，其中，所述重建结果参与损失值的计算。
21.在本发明的一些实施例中，所述基于第二多元时间序列预测模型对目标多元时间序列进行预测，得到预测结果，包括：
22.获取目标多元时间序列；
23.将所述目标多元时间序列输入所述第二多元时间序列预测模型；
24.所述目标多元时间序列经由线性映射层，得到第三特征矩阵；
25.所述第三特征矩阵经由所述transformer编码器，得到第四特征矩阵；
26.基于数据感知全连接层对所述第四特征矩阵进行预测，得到预测结果。
27.在本发明的一些实施例中，所述第二多元时间序列预测模型还包括目标回归全连接层；所述方法还包括将所述第四特征矩阵输入所述目标回归全连接层得到目标多元时间序列中所有任务类型的回归结果。
28.本发明第二方面提供了一种多元时间序列预测装置，所述装置包括：
29.获取模块，被配置为获取预设多元时间序列数据集，将获取的所有预设多元时间序列数据集合并为一个大规模数据集；
30.处理模块，被配置为对所述大规模数据集中每个数据样本进行维度统一处理，并对维度统一处理后的所有数据样本进行归一化处理；
31.训练模块，被配置为利用归一化处理后的所有数据样本对第一多元时间序列预测模型进行无监督训练，对训练好的第一多元时间序列预测模型进行有监督微调，形成第二多元时间序列预测模型；
32.预测模块，被配置为基于第二多元时间序列预测模型对目标多元时间序列进行预测，得到预测结果。
33.本发明第三方面提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行本发明各实施例中所述
多元时间序列预测方法。
34.本技术实施例中提供的技术方案，至少具有如下技术效果或优点：
35.本技术通过无监督学习和有监督微调使多元时间序列预测模型泛化能力强，预测精准度高。本技术将数据重建和数据感知任务目标的预训练技术应用到大规模多元时间序列数据分析中，所得到的预训练网络模型具有非常强的学习能力和迁移能力。本技术采用统一预训练+子任务微调的模型训练方式，使得不同任务类型的数据集可以共用一个基础网络模型，节省了成本，且所得到的多元时间序列模型具有良好的效果和稳定性；本技术提出的预训练技术可以应用到其它时间序列数据分析相关的产业中，易于扩展、推广和应用。
36.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
37.通过阅读下文优选实施方式的详细描述，各种其它的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
38.图1示出了本技术一示例性实施例中的多元时间序列预测方法步骤示意图；
39.图2示出了本技术一示例性实施例中的第一多元时间序列预测模型和第二多元时间序列预测模型结构示意图；
40.图3示出了本技术一示例性实施例中一种多元时间序列预测装置结构示意图；
41.图4示出了本技术一示例性实施例所提供的一种电子设备的结构示意图。
具体实施方式
42.以下，将参照附图来描述本技术的实施例。但是应该理解的是，这些描述只是示例性的，而并非要限制本技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本技术的概念。对于本领域技术人员来说显而易见的是，本技术可以无需一个或多个这些细节而得以实施。在其它的例子中，为了避免与本技术发生混淆，对于本领域公知的一些技术特征未进行描述。
43.应予以注意的是，这里所使用的术语仅是为了描述具体实施例，而非意图限制根据本技术的示例性实施例。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或多个其它特征、整体、步骤、操作、元件、组件和/或它们的组合。
44.现在，将参照附图更详细地描述根据本技术的示例性实施例。然而，这些示例性实施例可以多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施例。附图并非是按比例绘制的，其中为了清楚表达的目的，可能放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
45.下面结合说明书附图1-附图4给出几个实施例来描述根据本技术的示例性实施方
式。需要注意的是，下述应用场景仅是为了便于理解本技术的精神和原理而示出，本技术的实施方式在此方面不受任何限制。相反，本技术的实施方式可以应用于适用的任何场景。
46.在本技术一些示例性实施例中，提供了一种多元时间序列预测方法，如图1所示，所述方法包括：
47.s1、获取预设多元时间序列数据集，将获取的所有预设多元时间序列数据集合并为一个大规模数据集；
48.s2、对所述大规模数据集中每个数据样本进行维度统一处理，并对维度统一处理后的所有数据样本进行归一化处理；
49.s3、利用归一化处理后的所有数据样本对第一多元时间序列预测模型进行无监督训练，对训练好的第一多元时间序列预测模型进行有监督微调，形成第二多元时间序列预测模型；
50.s4、基于第二多元时间序列预测模型对目标多元时间序列进行预测，得到预测结果。
51.需要说明的是，s1中可以收集并整理所有与多元时间序列回归任务相关的数据集，并将这些数据集合并成一个大规模数据集。数据集中每个数据样本为(x，y，c)，其中，x∈r
t
×n＝[x
0,:
,x
1,:
,...,x
t-1,:
,...,x
t-1,:
]，x表示该样本的多元时间序列矩阵，t为该样本矩阵的时间维度，表示在设定时间段内总的数据采样次数，n为该样本矩阵的特征维度，表示与任务目标相关的变量个数，x中第t行x
t-1,:
表示在t时刻采集到的各个变量值，x中第n列x
:,n-1
表示第n个变量在采样时间段内的时间序列值，y表示该样本的标记标签，通常为一个实数，如果某一样本没有标记标签，则其y值为空。c＝[0,1,...,k-1]表示该样本的任务数据类型，k为任务数据类型总数，例如包含空气质量数据、光伏发电功率数据等等。
[0052]
在一种优选的实现方式中，为了进行模型的统一训练和推理，对所有样本的多元时间序列矩阵x进行维度统一预处理，得到具有相同时间维度l和特征维度m的数据矩阵x
′
∈r
l
×m。维度统一预处理公式为：
[0053][0054]
其中，l＝[0,1,...,l-1]，m＝[0,1,...,m-1]，表示对值*向上取整，优选地，l＝144，m＝16。
[0055]
不同任务类型的多元时间序列数据的分布也通常不同，为了减少数据分布差异带来的影响，这里对所有样本的数据矩阵x
′
进行归一化预处理，得到分布相同的数据矩阵x"∈r
l
×m。归一化预处理公式为：
[0056][0057]
其中，μ(x
′
)和σ(x
′
)分别表示矩阵x
′
的均值和方差。
[0058]
参考图2(a)，第一多元时间序列预测模型包括1个掩码层、1个线性映射层、3个transformer编码器、1个数据感知全连接层。预训练时，将归一化处理后的所有数据样本作为待训练数据样本，将所述待训练数据样本输入第一多元时间序列预测模型；待训练数据样本依次经由掩码层、线性映射层、transformer编码器、数据感知全连接层处理训练；利用预设损失函数计算损失值，并根据所述损失值更新所述第一多元时间序列预测模型的参
数，直至所述第一多元时间序列预测模型收敛，得到训练好的第一多元时间序列预测模型。
[0059]
待训练数据样本依次经由掩码层、线性映射层、transformer编码器、数据感知全连接层处理训练，包括：待训练数据样本依次经由掩码层、线性映射层，得到第一特征矩阵；所述transformer编码器对第一特征矩阵中各特征向量之间的位置关系及各特征向量的任务数据类型进行深度学习，得到第二特征矩阵；基于数据感知全连接层对第二特征矩阵进行预测，得到预测结果，直至达到预设训练次数时停止训练。具体地，对经过预处理后的多元时间序列矩阵x"进行比例为0.25的随机掩码处理，被选中进行掩码处理的元素用0替换其真实值，将经过掩码处理后的数据矩阵x"输入到线性映射层中进行线性映射操作，得到特征矩阵z∈r
l
×d＝[z
0,:
,z
1,:
,...,z
l-1,:
,...,z
l-1,:
]，其中l和d分别表示特征矩阵z的时间维度和特征维度，l＝[0,1,...,l-1]表示特征向量z
l-1,:
的时间点序号，本技术中d等于128。
[0060]
transformer编码器在对特征矩阵z进行处理时，对z的任务数据类型和z中各个特征向量之间的位置关系(相对时间关系)并不感知，这可能会影响模型的预测效果。如图2所示，为了让第一多元时间序列预测模型能够学到特征矩阵中各个特征向量之间的位置关系及其任务数据类型，这里将可学习的位置编码pe∈r
l
×d＝[pe
0,:
,pe
1,:
,...,pe
l-1,:
,...,pe
l-1,:
]和任务数据类型编码ce∈rk×d＝[ce
0,:
,ce
1,:
,...,ce
k-1,:
,...,ce
k-1,:
]添加到特征矩阵z中，得到特征矩阵u∈r
l
×d＝[u
0,:
,u
1,:
,...,u
l-1,:
,...,u
l-1,:
]，其中位置编码pe与特征矩阵z具有相同的时间维度l和特征维度d，采用随机方式初始化，通过学习可以得到z中各个特征向量z
l-1,:
对应的位置(相对时间)信息pe
l-1,:
，任务数据类型编码ce共有k个任务数据类型的信息编码，同样采用随机方式初始化，所涉及的公式为：
[0061]ul-1,:
＝z
l-1,:
+pe
l-1,:
+ce
c-1,:
[0062]
其中，ce
c-1,:
表示样本数据(x,c)对应的任务数据类型信息。
[0063]
进一步地，将特征矩阵u输入到所设计的3层transformer编码器架构中，经过计算得到新的特征矩阵u
′
∈r
l
×d，然后将特征矩阵u
′
输入到所设计的数据感知全连接层中，经过计算得到模型预测的任务数据类别概率向量第一多元时间序列预测模型还包括数据重建全连接层，将第二特征矩阵输入所述数据重建全连接层得到重建结果，其中，所述重建结果参与损失值的计算，将特征矩阵u
′
输入到数据重建全连接层中，经过计算得到模型预测的多元时间序列矩阵原数据经过掩码后会有变化或者说损失，经过数据重建全连接层重建使模型在训练中计算损失，直至损失函数达到收敛才认为模型训练好，或直至达到预设训练次数时停止训练。模型预训练在整个大规模数据集上进行。模型参数采用随机初始化方式进行初始化。模型训练时，优化器采用adam，batchsize设置为128，end epoch设置为300，初始学习率设置为0.01，学习率调整方式采用cosine schedule余弦退火策略，前5个epoch采用warmup热启动方式。
[0064]
模型训练损失函数为其中部分为数据重建任务损失，部分为数据感知任务损失。
[0065]
在一种优选的实现方式中，如图2的(b)所示，第二多元时间序列预测模型包括1个线性映射层、3个transformer编码器、1个数据感知全连接层、1个目标回归全连接层和1个
目标回归全连接层。基于第二多元时间序列预测模型对目标多元时间序列进行预测，得到预测结果，包括：获取目标多元时间序列；将目标多元时间序列输入第二多元时间序列预测模型；目标多元时间序列经由线性映射层，得到第三特征矩阵；第三特征矩阵经由transformer编码器，得到第四特征矩阵；基于数据感知全连接层对第四特征矩阵进行预测，得到预测结果。作为可变换的实现方式，将第四特征矩阵输入目标回归全连接层得到目标多元时间序列中所有任务类型的回归结果。第二多元时间序列预测模型具有更好的学习能力，能够学到数据集内部和数据集之间潜在的关系，并且能够适用于各种不同类型下游任务的模型微调训练，第二多元时间序列预测模型结构上撤掉了掩码层，因为在此之前已经经历了预训练，第二多元时间序列预测模型也可以做适当的训练，训练后直接对各种场景下的多元时间序列进行预测，或对各种场景下的多元时间序列进行回归，得到所有任务类型的回归结果。
[0066]
可以理解的是，第二多元时间模型包括数据感知和目标回归两个全连接层，其中数据感知全连接层用于预测输入时间序列的任务数据类型c，目标回归全连接层用于预测具体的任务结果，如根据过去的多元时间序列数据预测当前的空气质量、能耗、股价等，预测结果可以是多元时间序列值、1元时间序列值、常数值等不限。同理，第一多元时间模型中的数据感知全连接层用于预测输入时间序列的任务数据类型c，而数据重建全连接层用于预测被掩码层“mask”掉的那些元素值。因此第一多元时间模型和第二多元时间模型的联合适用于各种产业或场景中，效率高且稳定可靠。
[0067]
本技术通过无监督学习和有监督微调使多元时间序列预测模型泛化能力强，预测精准度高。本技术将数据重建和数据感知任务目标的预训练技术应用到大规模多元时间序列数据分析中，所得到的预训练网络模型具有非常强的学习能力和迁移能力。本技术采用统一预训练+子任务微调的模型训练方式，使得不同任务类型的数据集可以共用一个基础网络模型，节省了成本，且所得到的多元时间序列模型具有良好的效果和稳定性；本技术提出的预训练技术可以应用到其它时间序列数据分析相关的产业中，易于扩展、推广和应用。
[0068]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
[0069]
在本技术一些示例性实施例中，还提供了一种多元时间序列预测装置，执行本技术各实施例中所述的多元时间序列预测方法，如图3所示，所述装置包括：
[0070]
获取模块301，被配置为获取预设多元时间序列数据集，将获取的所有预设多元时间序列数据集合并为一个大规模数据集；
[0071]
处理模块302，被配置为对所述大规模数据集中每个数据样本进行维度统一处理，并对维度统一处理后的所有数据样本进行归一化处理；
[0072]
训练模块303，被配置为利用归一化处理后的所有数据样本对第一多元时间序列预测模型进行无监督训练，对训练好的第一多元时间序列预测模型进行有监督微调，形成第二多元时间序列预测模型；
[0073]
预测模块304，被配置为基于第二多元时间序列预测模型对目标多元时间序列进行预测，得到预测结果。
[0074]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
[0075]
还需要强调的是，本技术实施例中提供的系统可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0076]
下面请参考图4，其示出了本技术的一些实施方式所提供的一种电子设备的示意图。如图4所示，所述电子设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本技术前述任一实施方式所提供的多元时间序列预测方法多元时间序列预测方法。
[0077]
其中，存储器201可能包含高速随机存取存储器(ram：random access memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其它网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
[0078]
总线202可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本技术实施例任一实施方式揭示的所述多元时间序列预测方法多元时间序列预测方法可以应用于处理器200中，或者由处理器200实现。
[0079]
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
[0080]
本技术实施方式还提供一种与前述实施方式所提供的多元时间序列预测方法对应的计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的多元时间序列预测方法。
[0081]
另外，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其它类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其它光学、磁性存储介质，在此不再一一赘述。
[0082]
本技术实施方式还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现前述任意实施方式所提供的多元时间序列预测方法的步骤，所述方法包括：获取预设多元时间序列数据集，将获取的所有预设多元时间序列数据集合并为一个大规模数据集；对所述大规模数据集中每个数据样本进行维度统一处理，并对维度统一处理后的所有数据样本进行归一化处理；利用归一化处理后的所有数据样本对第一多元时间序列预测模型进行无监督训练，对训练好的第一多元时间序列预测模型进行有监督微调，形成第二多元时间序列预测模型；基于第二多元时间序列预测模型对目标多元时间序列进行预测，得到预测结果。
[0083]
需要说明的是：在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本技术也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本技术的内容，并且上面对特定语言所做的描述是为了披露本技术的最佳实施方式。在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本技术的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0084]
本领域那些技术人员可以理解，本技术的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本技术实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。
[0085]
以上所述，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种多元时间序列预测方法，其特征在于，所述方法包括：获取预设多元时间序列数据集，将获取的所有预设多元时间序列数据集合并为一个大规模数据集；对所述大规模数据集中每个数据样本进行维度统一处理，并对维度统一处理后的所有数据样本进行归一化处理；利用归一化处理后的所有数据样本对第一多元时间序列预测模型进行无监督训练，对训练好的第一多元时间序列预测模型进行有监督微调，形成第二多元时间序列预测模型；基于第二多元时间序列预测模型对目标多元时间序列进行预测，得到预测结果。2.根据权利要求1所述的多元时间序列预测方法，其特征在于，所述第一多元时间序列预测模型包括1个掩码层、1个线性映射层、3个transformer编码器、1个数据感知全连接层。3.根据权利要求1所述的多元时间序列预测方法，其特征在于，所述第二多元时间序列预测模型包括1个线性映射层、3个transformer编码器、1个数据感知全连接层、1个目标回归全连接层。4.根据权利要求2所述的多元时间序列预测方法，其特征在于，利用归一化处理后的所有数据样本对第一多元时间序列预测模型进行无监督训练，包括：将归一化处理后的所有数据样本作为待训练数据样本，将所述待训练数据样本输入第一多元时间序列预测模型；待训练数据样本依次经由掩码层、线性映射层、transformer编码器、数据感知全连接层处理训练；利用预设损失函数计算损失值，并根据所述损失值更新所述第一多元时间序列预测模型的参数，直至所述第一多元时间序列预测模型收敛，得到训练好的第一多元时间序列预测模型。5.根据权利要求4所述的多元时间序列预测方法，其特征在于，待训练数据样本依次经由掩码层、线性映射层、transformer编码器、数据感知全连接层处理训练，包括：待训练数据样本依次经由掩码层、线性映射层，得到第一特征矩阵；所述transformer编码器对所述第一特征矩阵中各特征向量之间的位置关系及各特征向量的任务数据类型进行深度学习，得到第二特征矩阵；基于数据感知全连接层对所述第二特征矩阵进行预测，得到预测结果，直至达到预设训练次数时停止训练。6.根据权利要求5所述的多元时间序列预测方法，其特征在于，所述第一多元时间序列预测模型还包括数据重建全连接层；所述方法还包括将第二特征矩阵输入所述数据重建全连接层得到重建结果，其中，所述重建结果参与损失值的计算。7.根据权利要求3所述的多元时间序列预测方法，其特征在于，所述基于第二多元时间序列预测模型对目标多元时间序列进行预测，得到预测结果，包括：获取目标多元时间序列；将所述目标多元时间序列输入所述第二多元时间序列预测模型；所述目标多元时间序列经由线性映射层，得到第三特征矩阵；所述第三特征矩阵经由所述transformer编码器，得到第四特征矩阵；基于数据感知全连接层对所述第四特征矩阵进行预测，得到预测结果。
8.根据权利要求7所述的多元时间序列预测方法，其特征在于，所述第二多元时间序列预测模型还包括目标回归全连接层；所述方法还包括将所述第四特征矩阵输入所述目标回归全连接层得到目标多元时间序列中所有任务类型的回归结果。9.一种多元时间序列预测装置，其特征在于，所述装置包括：获取模块，被配置为获取预设多元时间序列数据集，将获取的所有预设多元时间序列数据集合并为一个大规模数据集；处理模块，被配置为对所述大规模数据集中每个数据样本进行维度统一处理，并对维度统一处理后的所有数据样本进行归一化处理；训练模块，被配置为利用归一化处理后的所有数据样本对第一多元时间序列预测模型进行无监督训练，对训练好的第一多元时间序列预测模型进行有监督微调，形成第二多元时间序列预测模型；预测模块，被配置为基于第二多元时间序列预测模型对目标多元时间序列进行预测，得到预测结果。10.一种电子设备，包括存储器和处理器，其特征在于，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行如权利要求1-8任一所述方法。

技术总结
本申请涉及信息技术领域，更为具体来说，本申请涉及一种多元时间序列预测方法、装置及电子设备。所述方法包括：获取预设多元时间序列数据集，将获取的所有预设多元时间序列数据集合并为一个大规模数据集；对所述大规模数据集中每个数据样本进行维度统一处理，并对维度统一处理后的所有数据样本进行归一化处理；利用归一化处理后的所有数据样本对第一多元时间序列预测模型进行无监督训练，对训练好的第一多元时间序列预测模型进行有监督微调，形成第二多元时间序列预测模型；基于第二多元时间序列预测模型对目标多元时间序列进行预测，得到预测结果。本申请通过无监督学习和有监督微调使多元时间序列预测模型泛化能力强，预测精准度高。准度高。准度高。


技术研发人员：徐华泽 沈伟 黄家水 邵岭
受保护的技术使用者：特斯联科技集团有限公司
技术研发日：2023.04.04
技术公布日：2023/8/9