一种基于双视角对比学习的碳排放预测方法及系统与流程

1.本发明属于碳排放预测计算技术技术领域，具体涉及一种基于双视角对比学习的碳排放预测方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.基于人工智能技术的碳排放预测模型可以发电机构提供更准确的碳排放数据，从而帮助发电机构优化输电策略，并最终降低整体电网的碳排放。但是，这些基于人工智能技术的碳排放预测模型存在表示学习能力差、预测性能较弱以及对输入数据要求较高等问题，仍存在一定的可改进空间。


技术实现要素：

4.为了解决上述问题，本发明提出了一种基于双视角对比学习的碳排放预测方法及系统，利用增强信息进行信息增强视角下的对比学习，以预训练-微调方式构建碳排放预测模型，实现碳排放的精准预测。
5.根据一些实施例，本发明的第一方案提供了一种基于双视角对比学习的碳排放预测方法，采用如下技术方案：一种基于双视角对比学习的碳排放预测方法，包括：获取不同能源发电数据的时序特征；基于所获取的时序特征，计算不同能源的权重，得到不同能源的上下文特征；根据所获取的上下文特征和碳排放预测模型，完成发电碳排放的预测；其中，在获取不同能源发电数据的时序特征的过程中，利用整个时间序列的特征来进行特征学习，得到全局时序特征，使用固定窗口内的序列信息进行特征学习，得到局部时序特征；即得到不同能源发电数据的两种窗口视角下的时序特征。
6.作为进一步的技术限定，所述能源发电数据包括碳能源发电数据、水力发电数据、风力发电数据、光伏发电数据和生物质能发电数据。
7.作为进一步的技术限定，在融合局部时序特征和全局时序特征的过程中，通过矩阵形式所得到的全局时序特征与所述局部时序特征，得到全局时序特征矩阵和局部时序特征矩阵，对所得到的全局时序特征矩阵和局部时序特征矩阵求和，完成局部时序特征和全局时序特征的融合。
8.作为进一步的技术限定，根据得到的各类能源发电的时序特征，采用自注意力机制生成不同能源发电的权重，基于时序特征乘各类能源的权重得到上下文特征。
9.作为进一步的技术限定，在碳排放量预测的过程中采用深度学习模型作为预训练模型，所述预训练模型包括预训练阶段和微调训练阶段。
10.进一步的，所述预训练阶段进行全局-局部特征对比学习，所述微调训练阶段进行
信息增强-无信息增强对比学习。
11.进一步的，在模型微调训练阶段，利用增强信息进行信息增强视角下的对比学习，提升非增强特征与增强特征之间表示的一致性，提升模型的特征表示能力。
12.根据一些实施例，本发明的第二方案提供了一种基于双视角对比学习的碳排放预测系统，采用如下技术方案：一种基于双视角对比学习的碳排放预测系统，包括：获取模块，其被配置为获取不同能源发电数据的时序特征；计算模块，其被配置为基于所获取的时序特征，计算不同能源的权重，得到不同能源的上下文特征；预测模块，其被配置为根据所获取的上下文特征和碳排放预测模型，完成发电碳排放的预测；其中，在获取不同能源发电数据的时序特征的过程中，利用整个时间序列的特征来进行特征学习，得到全局时序特征，使用固定窗口内的序列信息进行特征学习，得到局部时序特征；即得到不同能源发电数据的两种窗口视角下的时序特征。
13.根据一些实施例，本发明的第三方案提供了一种计算机可读存储介质，采用如下技术方案：一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方案所述的基于双视角对比学习的碳排放预测方法中的步骤。
14.根据一些实施例，本发明的第四方案提供了一种电子设备，采用如下技术方案：一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方案所述的基于双视角对比学习的碳排放预测方法中的步骤。
15.与现有技术相比，本发明的有益效果为：本发明以预训练-微调方式构建碳排放预测模型，首先针对不同类别的电力数据进行预训练，学习不同能源电力数据的分布规律。在微调阶段，使用通用电力数据（包含各种能源电力数据）进行下游任务的训练，最终完成模型的构建；针对不同类别能源的发电数据，使用cnn和transformer网络提取用户用电数据的局部窗口时序特征（亦称局部时序特征）与全局窗口时序特征（亦称全局时序特征），然后使用基于窗口视角的对比学习方法提升两种特征的一致性，提升预测方法的特征表示能力；在模型微调训练阶段，利用增强信息进行信息增强视角下的对比学习，提升非增强特征与增强特征之间的表示的一致性，提升模型的特征表示能力。
附图说明
16.构成本实施例的一部分的说明书附图用来提供对本实施例的进一步理解，本实施例的示意性实施例及其说明用于解释本实施例，并不构成对本实施例的不当限定。
17.图1为本发明实施例一中的基于双视角对比学习的碳排放预测方法的流程图；图2为本发明实施例一中的碳排放预测模型的构建方法的整体流程图；图3为本发明实施例一中的碳排放预测模型的预训练模块流程图；图4为本发明实施例一中的碳排放预测模型的微调阶段训练模块流程图；
图5为本发明实施例二中的基于双视角对比学习的碳排放预测系统的结构框图。
具体实施方式
18.下面结合附图与实施例对本发明作进一步说明。
19.应该指出，以下详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
20.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
21.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
22.实施例一本发明实施例一介绍了一种基于双视角对比学习的碳排放预测方法。
23.如图1所示的一种基于双视角对比学习的碳排放预测方法，包括：获取不同能源发电数据的时序特征；基于所获取的时序特征，计算不同能源的权重，得到不同能源的上下文特征；根据所获取的上下文特征和碳排放预测模型，完成发电碳排放的预测；其中，在获取不同能源发电数据的时序特征的过程中，利用整个时间序列的特征来进行特征学习，得到全局时序特征，使用固定窗口内的序列信息进行特征学习，得到局部时序特征；即得到不同能源发电数据的两种窗口视角下的时序特征。
24.在本实施例中，如图2所示的基于双视角对比学习的碳排放预测模型的构建方法，包括：基于收集到的各类能源发电数据，主要包括碳能源发电数据、水力发电数据、风力发电数据、光伏发电数据和生物质能发电数据（其中，），其中，l表示序列长度，d表示不同能源数据的特征数目，表示实数集；分别利用一维卷积网络和transformer-encoder进行特征表示学习，得到基于局部窗口视角下的时序特征和全局窗口下的时序特征；根据所得到的各类能源发电的时序特征，采用自注意力机制（self-attention）生成不同能源发电的权重，结合时序特征与各类能源的权重得到上下文特征；根据所得到的上下文特征和随机掩码矩阵，进行标签化处理；在进行微调阶段的训练过程中，通用电力数据经过pre-trainedencoder和category-aware block得到不同发电模式下的电力数据的上下文信息；将所得到的上下文特征进行聚合后与原有的数据拼接，经过层得到矩阵；使用增强信息进行信息增强视角下的对比学习。
25.需要说明的是，所收集的能源发电数据为不同发电模式下（比如：火力发电、风力发电、水力发电等）的用户用电数据。
26.作为一种或多种实施方式，以碳能源发电数据为例，介绍得到局部时序特征和全局时序特征的具体过程：采用一维卷积神经网络提取局部时序特征，一维卷积网络模块由个convolution block层堆叠而成，单个convolution block层的表示如下：block层的表示如下：block层的表示如下：block层的表示如下：,,其中，表示一维卷积操作，张量对应元素相乘，∥表示拼接操作；x表示nm函数的输入，是一个表示向量，\mu和\sigma^2分别表示向量的均值与方差，若nm接受的输入是一个矩阵，则对矩阵的每一个行向量进行同样的操作；矩阵cc表示卷积块输出的序列特征表示；矩阵c
fc
表示全连接层输出的序列特征表示；卷积核，，，，表示单个全连接神经网络层，表示层归一化（layer normalization），其中和是全连接层偏差所属的空间的均值和方差，和分别代表缩放和平移的参数向量；k是卷积核的长度，也称作卷积网络的窗口大小，是卷积神经网络中的一个参数，表明在对当前向量进行表示学习是，要利用到该向量周围k个向量的信息，d表示初始数据的特征个数；表示h个随机初始化的偏差；表示全连接层的参数，由一个矩阵表示；表示全连接层偏差。
27.全局时序特征与局部时序特征是针对序列深度学习模型而言的，区别在于不同的模型在对某一时刻的数据进行表示学习时，采用全局或者局部窗口进行特征的表示学习。transformer利用整个时间序列的特征来进行某一时刻特征的表示学习，故称为全局窗口下的时序特征；cnn使用固定窗口内的序列信息进行某一时刻特征的表示学习，故称为局部窗口视角下的表示学习。能源发电数据为原始数据，两种模型会使用不同的方法来对原始数据进行表示学习，从而得到两种窗口视角下的特征。
28.本实施例中的transformer模型是一个基于多头自注意力的序列到序列模型，采用transformer提取不同能源发电的特征，即：用transformer提取不同能源发电的特征，即：,
其中，，，，表示权重参数矩阵，表示softmax函数；cd表示碳能源电力数据，mh表示多头自注意力机制，nm与lin分别表示层归一化函数与全连接层，tc表示transformer学习到的表示。
29.融合局部时序特征和全局时序特征，并利用局部时序特征与全局时序特征进行窗口视角下的对比学习，具体的，通过矩阵形式所得到的全局时序特征与所述局部时序特征，得到全局时序特征矩阵和局部时序特征矩阵，对所得到的全局时序特征矩阵和局部时序特征矩阵求和，完成局部时序特征和全局时序特征的融合，即：征矩阵求和，完成局部时序特征和全局时序特征的融合，即：征矩阵求和，完成局部时序特征和全局时序特征的融合，即：征矩阵求和，完成局部时序特征和全局时序特征的融合，即：征矩阵求和，完成局部时序特征和全局时序特征的融合，即：征矩阵求和，完成局部时序特征和全局时序特征的融合，即：其中，和分别表示煤炭类发电数据的局部时序特征和全局时序特征，输出为煤炭类发电数据的时序特征；表示对卷积模块学习到的序列特征进行求和，得到向量rclocal；表示对trandformer模块学习到的序列特征进行求和，得到向量tclocal；n
pre
表示预训练阶段，样本批次的大小，表示在预训练阶段中，一次会给模型送入n
pre
个序列样本进行训练；表示预训练过程中，全局-局部视角下的对比学习损失。
30.以同样的方式得到的水力发电电力数据的时序特征、风力发电电力数据的时序特征、光伏发电电力数据的时序特征、生物质电电力数据的时序特征，；、、、、则表示模型针对不同能源电力数据所计算出的窗口视角下的对比学习损失。
31.作为一种或多种实施方式，根据得到的各类能源发电的时序特征，采用自注意力
机制（self-attention）生成不同能源发电的权重，然后时序特征乘各类能源的权重得到上下文特征，即：。
[0032][0032][0032]32.其中代表权重参数矩阵；为五种能源数据的上下文表示向量，为碳能源上下文向量；s为注意力机制算出的权重分数。
[0033]
作为一种或多种实施方式，如图3所示，以煤炭发电数据为例，标签化得到的，即：其中，为标签化后的伪标签，用于自监督学习。
[0034]
将带权重的上下文特征与原数据进行拼接，得到预测值；使用均方误差损失函数作为煤炭电力数据的自监督损失，其他四种数据的自监督损失分别为；最终的自监督损失为不同发电模式下的损失函数之和,并使用作为模型在预训练阶段的损失，即：作为模型在预训练阶段的损失，即：作为模型在预训练阶段的损失，即：作为一种或多种实施方式，如图4所示，在进行微调阶段的训练过程中，通用电力数据经过pre-trained encoder和category-aware block得到不同发电模式下的电力数据的上下文信息。将五种上下文特征进行聚合后与原有的数据拼接，经过层得到矩阵；使用增强信息（即天气信息、输电线路的状态信息和储能元件的状态信息）进行信息增强视角下的对比学习；即：
其中， gpd、wi、ws、se分别表示通用\混合能源发电数据，天气信息、线路状态信息、储能元件的状态信息；表示微调训练阶段的上下文信息； pde和pdne分别表示融合增强信息后的表示与不使用增强信息的表示；fm为矩阵的相似度度量函数；l-ecl为信息增强视角下对比学习损失。
[0035]
在下游预测任务（包括用户碳排放预测cep、各类能源所产生的碳排放占比预测csp、用户电力消耗预测ecp和各类能源所贡献的电力占比预测esp）中进行模型微调阶段的训练,表示各任务损失；即：表示各任务损失；即：表示各任务损失；即：表示各任务损失；即：表示各任务损失；即：表示各任务损失；即：其中， l
cep
、l
csp
、l
ecp
、l
esp
计算方式均采用ltask的方式； l
fine-tune
为微调训练阶段的损失。
[0036]
为验证模型的性能，将本实例提出的方法与9个基线方法进行对比，实验结果如表1、表2所示。
[0037]
表1 不同预测方法在碳排放预测任务中的结果
表2 不同预测方法在电力消耗预测任务中的结果实验结果表明，实例提出的方法优于其他基线的方法。因为使用了预训练充分学习不同发电模式下电力数据的局部和全局时序特征，通过自监督学习挖掘不同发电模式下的潜在知识，从而提升了模型的性能。
[0038]
本实施例以预训练-微调方式构建碳排放预测模型，首先针对不同类别的电力数据进行预训练，学习不同能源电力数据的分布规律。在微调阶段，使用通用电力数据（包含各种能源电力数据）进行下游任务的训练，最终完成模型的构建；针对不同类别能源的发电数据，使用cnn和transformer网络提取用户用电数据的局部窗口时序特征（亦称局部时序特征）与全局窗口时序特征（亦称全局时序特征），然后使用基于窗口视角的对比学习方法提升两种特征的一致性，提升预测方法的特征表示能力；在模型微调训练阶段，利用增强信息进行信息增强视角下的对比学习，提升非增强特征与增强特征之间的表示的一致性，提
升模型的特征表示能力。
[0039]
实施例二本发明实施例二介绍了一种基于双视角对比学习的碳排放预测系统。
[0040]
如图5所示的一种基于双视角对比学习的碳排放预测系统，包括：获取模块，其被配置为获取不同能源发电数据的时序特征；计算模块，其被配置为基于所获取的时序特征，计算不同能源的权重，得到不同能源的上下文特征；预测模块，其被配置为根据所获取的上下文特征和碳排放预测模型，完成发电碳排放的预测；其中，在获取不同能源发电数据的时序特征的过程中，利用整个时间序列的特征来进行特征学习，得到全局时序特征，使用固定窗口内的序列信息进行特征学习，得到局部时序特征；即得到不同能源发电数据的两种窗口视角下的时序特征。
[0041]
详细步骤与实施例一提供的基于双视角对比学习的碳排放预测方法相同，在此不再赘述。
[0042]
实施例三本发明实施例三提供了一种计算机可读存储介质。
[0043]
一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明实施例一所述的基于双视角对比学习的碳排放预测方法中的步骤。
[0044]
详细步骤与实施例一提供的基于双视角对比学习的碳排放预测方法相同，在此不再赘述。
[0045]
实施例四本发明实施例四提供了一种电子设备。
[0046]
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明实施例一所述的基于双视角对比学习的碳排放预测方法中的步骤。
[0047]
详细步骤与实施例一提供的基于双视角对比学习的碳排放预测方法相同，在此不再赘述。
[0048]
以上所述仅为本实施例的优选实施例而已，并不用于限制本实施例，对于本领域的技术人员来说，本实施例可以有各种更改和变化。凡在本实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实施例的保护范围之内。

技术特征：
1.一种基于双视角对比学习的碳排放预测方法，其特征在于，包括：获取不同能源发电数据的时序特征；基于所获取的时序特征，计算不同能源的权重，得到不同能源的上下文特征；根据所获取的上下文特征和碳排放预测模型，完成发电碳排放的预测;其中，在获取不同能源发电数据的时序特征的过程中，利用整个时间序列的特征来进行特征学习，得到全局时序特征，使用固定窗口内的序列信息进行特征学习，得到局部时序特征；即得到不同能源发电数据的两种窗口视角下的时序特征。2.如权利要求1中所述的一种基于双视角对比学习的碳排放预测方法，其特征在于，所述能源发电数据包括碳能源发电数据、水力发电数据、风力发电数据、光伏发电数据和生物质能发电数据。3.如权利要求1中所述的一种基于双视角对比学习的碳排放预测方法，其特征在于，在融合局部时序特征和全局时序特征的过程中，通过矩阵形式所得到的全局时序特征与所述局部时序特征，得到全局时序特征矩阵和局部时序特征矩阵，对所得到的全局时序特征矩阵和局部时序特征矩阵求和，完成局部时序特征和全局时序特征的融合。4.如权利要求1中所述的一种基于双视角对比学习的碳排放预测方法，其特征在于，根据得到的各类能源发电的时序特征，采用自注意力机制生成不同能源发电的权重，基于时序特征乘各类能源的权重得到上下文特征。5.如权利要求1中所述的一种基于双视角对比学习的碳排放预测方法，其特征在于，在碳排放量预测的过程中采用深度学习模型作为预训练模型，所述预训练模型包括预训练阶段和微调训练阶段。6.如权利要求5中所述的一种基于双视角对比学习的碳排放预测方法，其特征在于，所述预训练阶段进行全局-局部特征对比学习，所述微调训练阶段进行信息增强-无信息增强对比学习。7.如权利要求6中所述的一种基于双视角对比学习的碳排放预测方法，其特征在于，在模型微调训练阶段，利用增强信息进行信息增强视角下的对比学习，提升非增强特征与增强特征之间表示的一致性，提升模型的特征表示能力。8.一种基于双视角对比学习的碳排放预测系统，其特征在于，包括：获取模块，其被配置为获取不同能源发电数据的时序特征；计算模块，其被配置为基于所获取的时序特征，计算不同能源的权重，得到不同能源的上下文特征；预测模块，其被配置为根据所获取的上下文特征和碳排放预测模型，完成发电碳排放的预测；其中，在获取不同能源发电数据的时序特征的过程中，利用整个时间序列的特征来进行特征学习，得到全局时序特征，使用固定窗口内的序列信息进行特征学习，得到局部时序特征；即得到不同能源发电数据的两种窗口视角下的时序特征。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现了如权利要求1-7任一项所述的基于双视角对比学习的碳排放预测方法的步骤。10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现了如权利要求1-7任一项所述的基于
双视角对比学习的碳排放预测方法的步骤。

技术总结
本发明属于碳排放预测计算技术技术领域，具体涉及一种基于双视角对比学习的碳排放预测方法及系统，包括：获取不同能源发电数据的时序特征；基于所获取的时序特征，计算不同能源的权重，得到不同能源的上下文特征；根据所获取的上下文特征和碳排放预测模型，完成发电碳排放的预测；其中，在获取不同能源发电数据的时序特征的过程中，利用整个时间序列的特征来进行特征学习，得到全局时序特征，使用固定窗口内的序列信息进行特征学习，得到局部时序特征；即得到不同能源发电数据的两种窗口视角下的时序特征。本发明利用增强信息进行信息增强视角下的对比学习，以预训练-微调方式构建碳排放预测模型，实现碳排放的精准预测。实现碳排放的精准预测。实现碳排放的精准预测。


技术研发人员：李琮琮 荆臻 孟巍 张志 王清 王平欣 郭腾炫 马俊 朱红霞 陈祉如 赵曦 曹彤 杜艳 张东宁 宗振国
受保护的技术使用者：国网山东省电力公司营销服务中心（计量中心）
技术研发日：2023.09.05
技术公布日：2023/10/11