基于卷积UNet和迁移学习的区域月降水预测方法及系统与流程

基于卷积unet和迁移学习的区域月降水预测方法及系统
技术领域
1.本发明涉及一种区域月降水预测方法及系统，尤其是基于卷积unet和迁移学习的区域月降水预测方法及系统。


背景技术：

2.降水是全球物质和能量循环的重要因子，并对人们日常生活和经济社会发展产生重要影响。准确及时地掌握降水时间、地点和强度等信息对于了解地球系统运行及改进天气、气候、淡水资源及自然灾害事件的预报至关重要。月降水预报方法可分为以下两种类型：(1)动力模式，应用数学物理方程组针对不同时空尺度的物理过程对不同气候条件进行模拟，以揭示海洋、大气和陆地之间的相互关系。动力预测方法主要优点在于物理机制明确，缺点是模型空间分辨率较粗，缺少详细的区域气候信息，对区域气候要素预测较为局限，且动力模式的降水预报技巧不高，达不到业务应用水平；(2)统计方法，直接应用各种预测变量(如海表温度)与水文气候变量(降水等)之间的统计关系进行建模预报。统计方法是数据驱动模型，其计算负担更小、建模更为简单，但现有统计预测方法多局限于单点单站预测，没有考虑降水的空间信息，不涉及区域尺度的降水预测。同时，目前水文气象数据的观测长度不足百年，这意味着仅有不足上万的数据样本可用于模型的学习训练，这对于一般的深度学习模型来说，可学习的样本量过小。过少的样本数量易导致模型出现过拟合，难以达到预期预测效果。


技术实现要素：

3.发明目的：本发明的目的是提供一种实现高精度预测的基于卷积unet和迁移学习的区域月降水预测方法及系统，以解决现有技术中存在的不足。
4.技术方案：本发明所述的基于卷积unet和迁移学习的区域月降水预测方法，包括如下步骤：
5.对区域月降水与降水影响因素进行相关性分析，筛选预报因子；
6.将所述预报因子作为卷积unet网络的输入，未来时刻区域月降水作为输出，构建区域月降水预测模型；
7.以日尺度气象数据采用30天滑窗生成模拟月尺度气象数据，对所述区域月降水预测模型进行预训练，然后以观测的实际月尺度气象数据训练所述区域月降水预测模型进行参数微调；
8.根据当前时刻实测区域月气象数据，利用经过预训练和参数微调后的所述区域月降水预测模型预测未来时刻的区域月降水。
9.进一步地，所述降水影响因素包括气象要素、地形地貌要素及下垫面要素。
10.进一步地，所述对区域月降水与降水影响因素进行相关性分析，筛选预报因子包括，利用分类与回归树对所述降水影响因素进行重要性评分，利用相关性评估方法计算所述降水影响因素与区域月降水的相关性系数，根据所述重要性评分及相关性系数由大到小
排序选择所述预报因子。
11.进一步地，所述以日尺度气象数据采用30天滑窗生成模拟月尺度气象数据，对所述区域月降水预测模型进行预训练包括，每组日尺度气象数据采用30天滑窗生成由30个日尺度气象数据组成的模拟月尺度气象数据，采用adam算法对所述区域月降水预测模型进行预训练。
12.进一步地，所述以观测的实际月尺度降水数据对所述区域月降水预测模型进行训练，得到区域月降水预测模型包括，通过迁移学习以所述预训练得到的模型参数作为训练的初始参数，对所述区域月降水预测模型进行参数微调和超参选择。
13.进一步地，所述对区域月降水与降水影响因素进行相关性分析，筛选预报因子之后还包括，统一预报因子数据的空间分辨率，基于空间插值方法将预报因子数据整合至同一空间尺度，对预报因子数据进行标准化处理。
14.本发明所述的基于卷积unet和迁移学习的区域月降水预测系统，包括：
15.预报因子筛选模块，用于对区域月降水与降水影响因素进行相关性分析，筛选预报因子；
16.区域月降水预测模型建立模块，用于将所述预报因子作为卷积unet网络的输入，未来时刻区域月降水作为输出，构建区域月降水预测模型；
17.模型训练模块，用于以日尺度气象数据采用30天滑窗生成模拟月尺度气象数据，对所述区域月降水预测模型进行预训练，然后以观测的实际月尺度气象数据对所述区域月降水预测模型进行参数微调；
18.区域月降水预测模块，用于根据当前时刻预报因子的实测月尺度数据，利用经过预训练和参数微调后的所述区域月降水预测模型预测未来时刻的区域月降水。
19.本发明所述电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的基于卷积unet和迁移学习的区域月降水预测方法。
20.本发明所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于卷积unet和迁移学习的区域月降水预测方法。
21.有益效果：与现有技术相比，本发明的优点在于：(1)利用卷积unet网络实现降水的区域预测；与以往基于单点单站预测方法不同，本发明应用卷积神经网络考虑降水、气温等气象要素的空间关联性，刻画降水的空间结构，反映降水要素的空间差异性，使得在降水预测过程中能够更充分地利用气象要素的空间信息特征，并输出区域月降水的高精度预测结果；(2)本发明利用迁移学习，利用日尺度气象数据通过滑窗的方法生成大量月尺度气象数据，对预测模型进行预训练，实现小样本情景的深度学习预测，并提升其预测性能；(3)本发明在预测模型构建中同时考虑气象条件、地形地貌特征、下垫面状况等对降水预测的影响，基于分类与回归树的重要性评分、互信息、自相关/偏自相关等方法，综合比选出影响区域月降水预测的主要预报因子，提升月降水预测的准确度。
附图说明
22.图1为本发明的区域月降水预测方法流程图。
23.图2为本发明的滑动时间窗口方法示意图。
24.图3为本发明实施例中的区域月降水预测模型架构图。
具体实施方式
25.下面结合附图对本发明的技术方案作进一步说明。
26.深度学习：
27.定义1：深度学习通常指深度神经网络，是在神经网络基础上发展而来的一类具有多层网络结构的模型，包括长短时记忆网络(long short-term memory,lstm)、卷积神经网络(convolutional neural network,cnn)等常见结构。
28.unet网络：
29.定义2：unet基于fcm(fully convolutional network)改进而成，具有对称的u型结构，包括解码器、瓶颈模块、解码器等部分。
30.迁移学习：
31.定义3：迁移学习是运用已存有的知识对不同但相关领域问题进行求解的一种机器学习方法。
32.分类与回归树：
33.定义4：分类与回归树(classification and regression tree,cart)是一类决策树算法，cart为每个节点选择切分点和切分变量使其能够最大程度地减少整体节点不纯度。在回归类任务中，不纯度用均方误差表示，以作为划分节点的依据。在cart中，通过计算各个特征可为划分标准(splitting criterion，在分类任务中通常为基尼系数，在回归任务中为均方误差)的减少量以提供特征(变量)重要性得分。
34.如图1所示，所述卷积unet和迁移学习的区域月降水预测方法，包括如下步骤：
35.步骤1，预报因子挑选。
36.1)潜在影响因素集确定，包括降水受大气循环、地形地貌及下垫面条件等综合作用。以前期降水、气温、风速、湿度、蒸散发等气象要素，地形高程等地形地貌因素；植被覆盖度、土壤湿度等下垫面要素作为区域月降水的潜在影响因素。
37.2)重要性及相关性评估，首先，应用分类与回归树评估各个特征的重要性。以潜在影响因素集作为输入，以拟预测的区域月降水作为输出，构建基于cart的区域月降水模拟预测模型，计算各个潜在影响因素可为划分标准的减少量，并得出各个特征的重要性得分。其次，应用互信息、自相关、偏自相关等相关性评估方法，计算各个潜在影响要素与区域月降水之间的相关性系数。
38.以cart中常用的变量重要性度量标准——基尼重要性为例，变量重要性评估计算过程具体如下：
39.假定当前样本集合中在τ节点第k类样本所占的比例如下，
40.pk＝nk/n
ꢀꢀ
(1)
41.式中，pk表示第k样本所占比例，nk为第k类样本的个数，n为总样本数。
42.那么，基尼不纯度(gini impurity)可表示为如下形式，
43.i(τ)＝1-∑kp
k2
ꢀꢀ
(2)
44.其中，i(τ)为基尼不纯度。
45.当样本分别被划分到子节点τ1和τ2时，基尼不纯度会发生变化。用公式(3)定义不
纯度i(τ)的减少量，
46.δi(τ)＝i(τ)-p
l
i(τ1)-pri(τ2)
ꢀꢀ
(3)
47.其中，p
l
和pr分别代表在τ节点左右两处的样本子集。
48.那么，变量重要性可通过计算所有节点(针对特征θ)的不纯度i(τ)减少量来获得，
49.ig(θ)＝∑
τ
δi
θ
(τ)
ꢀꢀ
(4)
50.其中，ig(θ)为变量重要性，δi
θ
(τ)为基尼不纯度的变化量。
51.变量间的互信息i(x；y)计算如下公式所示：
[0052][0053]
其中，x和y分别是影响要素与月降水，p(x,y)的x和y联合概率密度，p(x)和p(y)分别是x和y的边缘概率密度。
[0054]
变量自相关系数acf计算如下公式所示：
[0055][0056]
式中，x
t
表示时间序列，μ＝e(x
t
)为序列均值，σ为序列标准差，e表示期望。
[0057]
3)模型预报因子挑选，依照各个潜在影响要素的重要性评分及相关性系数从大到小依次排序，筛选出模型预报因子。实际应用中可以结合已知降雨成因分析成果，综合筛选模型预报因子，例如当潜在影响要素的重要性评分和相关性系数排序结果不一致时，可以根据已知降雨成因分析成果综合比选筛选出模型预报因子。
[0058]
步骤2，数据预处理。
[0059]
依据选取的模型预报因子，收集各项数据并预处理。
[0060]
首先，统一模型预报因子数据的空间分辨率，基于空间插值方法将数据整合至同一空间尺度；其次，标准化所有模型预报因子数据。
[0061]
本实施例中使用z-score标准化方法，如下公式所示：
[0062][0063]
其中x
scaled
和x
obs
分别表示标准化的数据和原始观测数据，μ
x
和σ
x
分别代表观测数据的均值和标准差。
[0064]
步骤3，设计模型架构。
[0065]
以卷积unet为基本架构，以所选的模型预报因子作为输入，以未来时刻区域月降水作为输出，构建区域月降水预测模型。卷积unet采用编码-解码构造，其中，编码器包括多个序列的卷积和下采样操作，每次下采样后，过滤器的数量在卷积层中加倍。解码器与之类似，包括同样序列的卷积和上采样操作，每次上采样后特征图减少一半。最后一层使用卷积运算输出结果。在其中使用跳跃连接，使得解码器的特征与编码器的特征相连接。在卷积运算中，使用relu进行激活；在最后一层卷积层，使用linear函数进行激活。
[0066]
unet网络采用全卷积构造，十分适用于区域模型构建。地理空间数据天然地具有时间和空间信息，即可用具有局部关联性的多维数组来表示。卷积神经网络则是设计用于
1、t-6、t-11和t-12时刻的前期降水、气温要素与高程数据，模型输出为t时刻的降水，其中t表示当前月份，t-1表示前一个月，t-12表示前一年。
[0083]
(3)数据预处理
[0084]
上述步骤(1)数据经过双线性插值将尺度重新转化为1
°×1°
格点数据集，并标准化所有数据。
[0085]
(4)模型架构设计
[0086]
本实施例构建的区域月降水预测模型架构如图3所示。其中，编码器包括2个序列的卷积和下采样操作，单个序列中包含2个3
×
3的卷积核，其后经过2
×
2的最大池化操作，步长为2，每次下采样后，过滤器的数量在卷积层中加倍(16-》32-》64)。解码器与之类似，包括2个序列的卷积和上采样操作，单个序列中包含2
×
2上采样操作，使特征图减少一半(64-》32-》16)，然后再执行2个3
×
3卷积运算。最后一层使用1
×
1卷积运算输出结果。在其中使用跳跃连接，使得解码器的特征与编码器的特征相连接。在卷积运算中，使用relu进行激活；在最后一层卷积层，使用linear函数进行激活。
[0087]
(5)模型预训练
[0088]
应用日降水、日气温资料，采用30天滑窗的方式，生成预训练样本，组成预训练样本集，采用adam算法，设置学习率为1e-3，预训练模型，并保存预训练模型参数。
[0089]
(6)模型训练
[0090]
应用迁移学习，以实测月降水、月气温资料组成实际样本集，将预训练模型参数作为此轮训练参数的初始值，对预训练模型进行参数微调，设置学习率为1e-5，并将样本集划分为训练集、验证集、测试集，对应1961-2000年为模型训练期，2001-2010年为验证期，2011-2019年为模型测试期。
[0091]
(7)模型应用及评估
[0092]
采用均方根误差，相对误差，纳什系数，相关系数比较评估模型效果。具体结果如表1所示。表1为区域月降水预测效果表。
[0093]
表1
[0094][0095]
通过上述实验结果看出，本发明利用卷积unet和迁移学习来预测区域月降水，能够很好地刻画区域月降水的时空分布特征，在小样本学习情景下也展现出良好的预测表现，能够提供准确可靠的区域尺度月降水预测结果。
[0096]
本发明所述的基于卷积unet和迁移学习的区域月降水预测系统，包括：
[0097]
预报因子筛选模块，用于对区域月降水与降水影响因素进行相关性分析，筛选预报因子；
[0098]
区域月降水预测模型建立模块，用于将所述预报因子作为卷积unet网络的输入，
未来时刻区域月降水作为输出，构建区域月降水预测模型；
[0099]
模型训练模块，用于以日尺度气象数据采用30天滑窗生成模拟月尺度气象数据，对所述区域月降水预测模型进行预训练，然后以观测的实际月尺度气象数据训练所述区域月降水预测模型进行参数微调；
[0100]
区域月降水预测模块，用于根据当前时刻预报因子的实测月尺度数据，利用经过预训练和参数微调后的所述区域月降水预测模型预测未来时刻的区域月降水。
[0101]
本发明所述电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的基于卷积unet和迁移学习的区域月降水预测方法。
[0102]
本发明所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于卷积unet和迁移学习的区域月降水预测方法。
[0103]
所述计算机可读存储媒体可包括ram、rom、eeprom、cd-rom或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。
[0104]
处理器用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。

技术特征：
1.一种基于卷积unet和迁移学习的区域月降水预测方法，其特征在于，包括如下步骤：对区域月降水与降水影响因素进行相关性分析，筛选预报因子；将所述预报因子作为卷积unet网络的输入，未来时刻区域月降水作为输出，构建区域月降水预测模型；以日尺度气象数据采用30天滑窗生成模拟月尺度气象数据，对所述区域月降水预测模型进行预训练，然后以观测的实际月尺度气象数据训练所述区域月降水预测模型进行参数微调；根据当前时刻预报因子的实测月尺度数据，利用经过预训练和参数微调后的所述区域月降水预测模型预测未来时刻的区域月降水。2.根据权利要求1所述的基于卷积unet和迁移学习的区域月降水预测方法，其特征在于，所述降水影响因素包括气象要素、地形地貌要素及下垫面要素。3.根据权利要求1所述的基于卷积unet和迁移学习的区域月降水预测方法，其特征在于，所述对区域月降水与降水影响因素进行相关性分析，筛选预报因子包括，利用分类与回归树对所述降水影响因素进行重要性评分，利用相关性评估方法计算所述降水影响因素与区域月降水的相关性系数，根据所述重要性评分及相关性系数由大到小排序选择所述预报因子。4.根据权利要求1所述的基于卷积unet和迁移学习的区域月降水预测方法，其特征在于，所述以日尺度气象数据采用30天滑窗生成模拟月尺度气象数据，对所述区域月降水预测模型进行预训练包括，每组日尺度气象数据采用30天滑窗生成由30个日尺度气象数据组成的模拟月尺度气象数据，采用adam算法对所述区域月降水预测模型进行预训练。5.根据权利要求1所述的基于卷积unet和迁移学习的区域月降水预测方法，其特征在于，所述以观测的实际月尺度气象数据对所述区域月降水预测模型进行训练，得到区域月降水预测模型包括，通过迁移学习以所述预训练得到的模型参数作为训练的初始参数，对所述区域月降水预测模型进行参数微调和超参选择。6.根据权利要求1所述的基于卷积unet和迁移学习的区域月降水预测方法，其特征在于，所述对区域月降水与降水影响因素进行相关性分析，筛选预报因子之后还包括，统一预报因子数据的空间分辨率，基于空间插值方法将预报因子数据整合至同一空间尺度，对预报因子数据进行标准化处理。7.一种基于卷积unet和迁移学习的区域月降水预测系统，其特征在于，包括：预报因子筛选模块，用于对区域月降水与降水影响因素进行相关性分析，筛选预报因子；区域月降水预测模型建立模块，用于将所述预报因子作为卷积unet网络的输入，未来时刻区域月降水作为输出，构建区域月降水预测模型；模型训练模块，用于以日尺度气象数据采用30天滑窗生成模拟月尺度气象数据，对所述区域月降水预测模型进行预训练，然后以观测的实际月尺度气象数据对所述区域月降水预测模型进行参数微调；区域月降水预测模块，用于根据当前时刻预报因子实测月尺度数据，利用经过预训练和参数微调后的所述区域月降水预测模型预测未来时刻的区域月降水。8.根据权利要求7所述的基于卷积unet和迁移学习的区域月降水预测系统，其特征在
于，所述降水影响因素包括气象要素、地形地貌要素及下垫面要素。9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-6任一项所述的基于卷积unet和迁移学习的区域月降水预测方法。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1-6任一项所述的基于卷积unet和迁移学习的区域月降水预测方法。

技术总结
本发明公开了一种基于卷积UNet和迁移学习的区域月降水预测方法及系统，所述方法通过对区域月降水与降水影响因素进行相关性分析筛选预报因子，建立基于卷积UNet网络的区域月降水预测模型，以日尺度气象数据采用30天滑窗生成模拟月尺度气象数据，对所述区域月降水预测模型进行预训练，然后以观测的实际月尺度数据训练所述区域月降水预测模型，进行参数微调；训练后的模型用于预测未来时刻的区域月降水；本发明充分考虑了影响降水的气象条件、地形地貌特征、下垫面状况等因素，同时在日尺度气象数据的基础上用滑动时间窗口获取模拟月尺度气象数据，以扩充预训练样本，提升预测模型在小样本学习情景下的应用价值，提升区域月降水的准确度。降水的准确度。降水的准确度。


技术研发人员：倪玲玲 杨苗 古子琛
受保护的技术使用者：水利部交通运输部国家能源局南京水利科学研究院
技术研发日：2023.04.23
技术公布日：2023/7/22