一种基于完全逐步分解的机器学习水位预测方法

1.本发明属于人工智能和水文预测技术领域，特别涉及一种基于完全逐步分解的机器学习水位预测方法


背景技术：

2.面对日益增长的洪涝灾害，防洪减灾相关的研究变得越来越重要，其中洪水流量预报和暴雨洪涝监测预警方法的研究为人们提高洪涝灾害响应速度，提升洪涝灾害防御能力提供了新思路，在防洪中，常采用水位特征值作标准，因此，水位预测是洪水预报中至关重要的环节。
3.目前的技术不足之处在于：传统的集成模型或分布式模型极其复杂，水文参数的标定过程使得合理的水文预测模型开发周期较长，而简化的基于物理过程的水文模型又常常无法完全描述水文系统的内在多样性，基于数据驱动的建模方法近来迅猛发展，其中，采样技术的应用对数据处理以及模型训练有着重要的影响，但是已有的采样技术无法完全排除未来信息以及边界效应，而未来信息和边界效应的引入会导致训练出的模型无法在实际中应用。


技术实现要素：

4.本发明的目的在于解决现有技术中存在的不足，提高水位预测的精度，为洪水预报提供指导。
5.为实现该目的，本发明为解决上述技术问题，采用以下技术方案：
6.一种基于完全逐步分解的机器学习水位预测方法，包括：
7.s1、收集水位历史数据，对数据进行预处理，得到标准数据集；
8.s2、使用完全逐步分解采样技术对数据进行采样，同时，使用三种边界延拓方法：极值点延拓、镜像延拓以及波形特征匹配延拓，分别针对三个真实数据集：三个真实地方水位数据，对采样边界进行矫正，然后利用时间序列分解方法分解数据；
9.s3、将处理后的数据保存为可加载的数据集，按照3：1的比例划分为训练集和测试集作为模型的输入；
10.s4、模型训练、测试模型表现，修改模型参数；
11.s5、基于模型进行水位预测。
12.优选的，步骤1中，收集水位历史数据，对数据进行预处理，具体步骤包括：
13.从水位站历史数据记录中随机取五个时刻的日水位信息(x1,x2,x3,x4,x5)，取平均值作为当天的水位数据，计算公式如下：
[0014][0015]
获取的水位数据包含时间项以及水位数值项，将时间项设置为数据的索引，按照时间顺序排列数据。
[0016]
优选的，步骤2中，使用完全逐步分解采样技术时考虑了边界效应，并采用三种边界延拓方法：极值点延拓、镜像延拓以及波形特征匹配延拓，分别针对三个真实数据集：三个真实地方水位数据，对采样边界进行矫正，然后利用时间序列分解方法分解数据；
[0017]
依次将新的观测数据添加到初始序列中，逐步对新序列进行边界矫正和分解采样，并提取解释变量和响应变量，直到整个历史水位数据分解采样完成；
[0018]
最后，将处理后的数据保存为可加载的数据集，得到所有的模型训练和测试样本。
[0019]
优选的，步骤3中，按照3：1的比例划分训练集和测试集，具体包括：
[0020]
将数据的75％用于训练模型，将其余25％用于测试模型表现和调整模型参数。
[0021]
优选的，步骤4中，所述模型训练、测试模型表现，调整模型参数，具体包括：
[0022]
所述模型表现测试基于三种不同的统计评价标准，包括nse纳什效率系数、mse均方误差、mape平均绝对百分比误差；
[0023]
修改模型参数，使得模型对测试集的预测结果在以上三种统计评价标准下均取得较好的表现。
[0024]
优选的，步骤5中，所述基于模型进行水位预测，具体包括：利用上述分解采样的数据训练得到的机器学习模型预测未来1天的水位。
[0025]
与现有技术相比，本发明具有以下优点：
[0026]
1、本发明通过以真实流域大量水位历史记录为数据集，使用考虑边界矫正并基于完全逐步分解的机器学习水位预测方法实现了精确的水位预测，可以在预测时严格排除获取解释变量以及响应变量时，未来信息造成的影响；
[0027]
2、本发明通过使用边界延拓方法解决了边界效应，提高了模型精度，能够弥补传统水位预测方法在排除未来信息以及处理边界效应上的不足，实现了可实际应用的水位预测，能够为洪水预报、防灾减灾提供可靠有效的理论指导。
附图说明
[0028]
图1为本发明实施例的总体步骤示意图；
[0029]
图2为本发明实施例的理论步骤示意图；
[0030]
图3为本发明实施例的总结果展示图；
[0031]
图4为本发明实施例的第一结果展示图；
[0032]
图5为本发明实施例的第二结果展示图；
[0033]
图6为本发明实施例的第三结果展示图；
具体实施方式
[0034]
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施例和附图，进一步阐述本发明，但下述实施例仅仅为本发明的优选实施例，并非全部。基于实施方式中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得其它实施例，都属于本发明的保护范围。
[0035]
下面结合附图描述本发明的具体实施例
[0036]
如图1、图2所示，一种基于完全逐步分解的机器学习水位预测方法，包括：
[0037]
s1、收集水位历史数据，对数据进行预处理，得到标准数据集；具体包括：
[0038]
从水位站历史数据记录中随机取日水位信息的五个时刻；
[0039]
将所述水位数据取平均值作为当天的水位数据；
[0040]
所述水位数据包含时间项以及水位数值项，将时间项设置为数据的索引；
[0041]
按照时间顺序排列数据；
[0042]
s2、使用完全逐步分解采样技术对数据进行采样，同时，使用三种边界延拓方法：极值点延拓、镜像延拓以及波形特征匹配延拓，分别针对三个真实数据集：巢湖、桃溪以及涡阳水位数据，对采样边界进行矫正，然后利用时间序列分解方法分解数据，具体包括：
[0043]
所述极值点延拓是对于长为m的原始序列{s1,s2,
…
,sm}，以端点为对称点，向外对称加极值点。首先从当前序列端点sm开始，向左寻找最近的一对极大值和极小值点所确定的长为e的子序列设为{q1,q2,
…
,qe}，然后将{q1,q2,
…
,qe}对称的附加到原始序列上，构成延拓序列{s1,s2,
…
,sm,qe,
…
,q2,q1}；
[0044]
所述镜像延拓是对于长为m的原始序列{s1,s2,
…
,sm}，以端点为对称点将左端序列镜像附加到右端，构成延拓序列{s1,s2,
…
,s
m-1
,sm,s
m-1
,
…
,s2,s1}；
[0045]
所述波形特征匹配延拓是对于长为m的原始序列{s1,s2,
…
,sm}，从端点开始向左取一段长为l的子序列{s
m-l+1
,s
m-l+2
,
…
,s
l
}，基于dtw算法,在序列{s1,s2,
…
,s
m-l
}中寻找与{s
m-l+1
,s
m-l+2
,
…
,s
l
}最相似的一段序列设为{q1,q2,
…
,q
l
}，然后将长为e的子序列{q
l+1
,q
l+2
,
…
,q
l+e
}附加到原始序列上，构成延拓序列{s1,s2,
…
,sm,q
l+1
,q
l+2
,
…
,q
l+e
}，所述dtw算法计算公式为：
[0046][0047]
其中d是dtw算法根据长度分别为m,n的两个序列x＝{x1,x2,
…
,xm}和y＝{y1,y2,
…
,yn}构造的大小为m
×
n的矩阵，dij＝dist(xi,yj)是i，j两点间的欧几里得距离，d(i,j)在这被用作序列x，y的相似性得分；
[0048]
构建长为m的初始序列{s1,s2,
…
,sm}，通过边界延拓方法对序列端点进行延拓以构边界矫正的水位序列{s1,s2,
…
,,sm,
…
,s
ext
}，使用stl分解矫正后的序列，得到水位数据的趋势项、季节项和残差项，并切除端点延拓部分；
[0049]
所述序列总长度设为n，其中(1《m《n)，延拓序列{s1,s2,
…
,,sm,
…
,s
ext
}中的ext表示延拓后的序列长度，(m《ext)；
[0050]
将上述序列中的每个元素再分解成k个子序列，提取每个子序列的最后m个元素作为s
m+1
的解释变量的解释变量同时，被用作上一个样本s
m-1
的响应变量；
[0051]
将观测到的s
m+1
附加到序列初始序列{s1,s2,
…
,sm}中，得到序列{s1,s2,
…
,sm,s
m+1
}，分解该序列并提取s
m+2
的解释变量；
[0052]
依次将新的观测数据添加到初始序列中，逐步对新序列进行边界矫正和分解采样，并提取解释变量和响应变量，直到整个历史水位数据分解采样完成；
[0053]
s3、将处理后的数据保存为可加载的数据集，得到所有的模型训练和测试样本按照3：1的比例划分训练集和测试集，具体包括：
[0054]
将75％可用数据集用于训练模型；
[0055]
将其余25％可用数据集用于测试模型表现和调整模型参数；
[0056]
s4、模型训练、测试模型表现，调整模型参数，具体包括：
[0057]
所述模型表现测试基于三种不同的统计评价标准，包括nse纳什效率系数、mse均方误差、mape平均绝对百分比误差；
[0058]
所述nse纳什效率系数，代表模型的预测能力，值域为(-∞,1]，取值接近1，表示模型质量好，模型可信度高，取值接近0，表示模拟结果接近观测值的平均值水平，即总体结果可信，但过程模拟误差大，取值远小于0，则模型不可信，公式表达为：
[0059][0060]
所述rmse均方根误差，常被用来评估预测值与观测值的接近程度，值域为[0,+∞)，取值越接近0，表示预测值与观测值越接近，公式表达为：
[0061][0062]
所述mape平均绝对百分比误差，用来表示预测值与观测值的差值相对于观测值的显著程度，值域为[0,+∞)(样本中不能有0值)，取值越接近0，表示模型预测越准确。公式表达为：
[0063][0064]
所述三种统计评价标准公式定义中，y
t
表示t时刻的观测值，表示t时刻模型的预测值，表示观测值的平均值；
[0065]
修改模型参数，使得模型对测试集的预测结果在以上三种统计评价标准下均取得较好的表现。
[0066]
s5、基于模型进行水位预测；具体包括：
[0067]
利用上述分解采样的数据训练得到的机器学习模型预测未来1天的水位；
[0068]
如图3所示，为考虑边界矫正的基于完全逐步分解的机器学习水位预测方法的结果展示图；
[0069]
在本实施例中，根据nse、mse、mape三种统计评价标准的计算结果，机器学习模型对水位的动态预测具备较高的准确度，观测值与预测值演化过程非常接近，表明了本发明在水位预测问题中的有效性。
[0070]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

技术特征：
1.一种基于完全逐步分解的机器学习水位预测方法，其特征在于，包括：s1、收集水位历史数据，对数据进行预处理，得到标准数据集；s2、使用完全逐步分解采样技术对数据进行采样，同时，使用三种边界延拓方法：极值点延拓、镜像延拓以及波形特征匹配延拓，分别针对三个真实数据集：三个真实地方水位数据，对采样边界进行矫正，然后利用时间序列分解方法分解数据；s3、将处理后的数据保存为可加载的数据集，按照3：1的比例划分为训练集和测试集作为模型的输入；s4、模型训练、测试模型表现，修改模型参数；s5、基于模型进行水位预测。2.根据权利要求1所述的一种基于完全逐步分解的机器学习水位预测方法，其特征在于，步骤1中，收集水位历史数据，对数据进行预处理，具体步骤包括：从水位站历史数据记录中随机取五个时刻的日水位信息(x1,x2,x3,x4,x5)，取平均值作为当天的水位数据，计算公式如下：获取的水位数据包含时间项以及水位数值项，将时间项设置为数据的索引，按照时间顺序排列数据。3.根据权利要求1所述的一种基于完全逐步分解的机器学习水位预测方法，其特征在于，步骤2中，使用完全逐步分解采样技术时考虑了边界效应，并采用三种边界延拓方法：极值点延拓、镜像延拓以及波形特征匹配延拓，分别针对三个真实数据集：三个真实地方水位数据，对采样边界进行矫正，然后利用时间序列分解方法分解数据；依次将新的观测数据添加到初始序列中，逐步对新序列进行边界矫正和分解采样，并提取解释变量和响应变量，直到整个历史水位数据分解采样完成；最后，将处理后的数据保存为可加载的数据集，得到所有的模型训练和测试样本。4.根据权利要求1所述的一种基于完全逐步分解的机器学习水位预测方法，其特征在于，步骤3中，按照3：1的比例划分训练集和测试集，具体包括：将数据的75％用于训练模型，将其余25％用于测试模型表现和调整模型参数。5.根据权利要求1所述的一种基于完全逐步分解的机器学习水位预测方法，其特征在于，步骤4中，所述模型训练、测试模型表现，调整模型参数，具体包括：所述模型表现测试基于三种不同的统计评价标准，包括nse纳什效率系数、mse均方误差、mape平均绝对百分比误差；修改模型参数，使得模型对测试集的预测结果在以上三种统计评价标准下均取得较好的表现。6.根据权利要求1所述的一种基于完全逐步分解的机器学习水位预测方法，其特征在于，步骤5中，所述基于模型进行水位预测，具体包括：利用上述分解采样的数据训练得到的机器学习模型预测未来1天的水位。

技术总结
本发明提供一种基于完全逐步分解的机器学习水位预测方法，涉及人工智能和水文预测领域，包括：收集水位历史数据，对数据进行预处理，得到标准数据集，使用完全逐步分解采样技术对数据进行采样，同时，使用三种边界延拓方法：极值点延拓、镜像延拓以及波形特征匹配延拓，分别针对三个真实数据集：三个真实地方水位数据，对采样边界进行矫正，然后利用时间序列分解方法分解数据，将处理后的数据保存为可加载的数据集，本发明通过以真实流域大量水位历史记录为数据集，使用考虑边界矫正并基于完全逐步分解的机器学习水位预测方法实现了精确的水位预测，可以在预测时严格排除获取解释变量以及响应变量时，未来信息造成的影响。未来信息造成的影响。未来信息造成的影响。


技术研发人员：鲍娜娜 刘明宇 闫星廷 张子谦
受保护的技术使用者：安徽大学
技术研发日：2023.04.19
技术公布日：2023/7/25