基于多模态神经网络的沙尘识别方法、设备及存储设备

1.本发明涉及沙尘预测领域，尤其涉及一种基于多模态神经网络的沙尘识别方法、设备及存储设备。


背景技术：

2.突发性沙尘天气事件的识别检测一直是制约天气预报的瓶颈问题。
3.以往的沙尘天气识别主要基于卫星遥感，结合多种沙尘检测指数来进行沙尘识别检测。具体来说是利用多通道下沙尘粒子的不同光谱特性使用阈值法提取沙尘相关信息，即将卫星遥感数据像素值与某一阈值进行对比大于该阈值则被认为是该沙尘类型。然而这类方法在实际应用过程中阈值的确定存在很多不确定性，不同成像时间的卫星图像可能阈值取值不同，并且存在不同地物阈值相同的情况，因此精度无法满足实际需求。


技术实现要素：

4.为了提高沙尘识别的精度，本发明综合考虑了与沙尘相关的多种因素包括卫星数据、modis反演数据、地面观测数据等，提出一种基于多模态神经网络的沙尘识别方法，方法具体包括以下步骤：
5.s1、采集与沙尘有关的多源数据；；
6.s2、对多源数据进行预处理，得到处理后的数据；
7.s3、根据处理后的数据构建沙尘识别模型训练集；
8.s4、构建沙尘识别模型；所述沙尘识别模型包括主干网络、输出网络和融合网络；
9.s5、利用训练集训练所述沙尘识别模型，得到最终模型；
10.s6、根据最终模型完成沙尘识别。
11.一种存储设备，所述存储设备存储指令及数据用于实现一种基于多模态神经网络的沙尘识别方法。
12.一种基于多模态神经网络的沙尘识别设备，包括：处理器及所述存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现一种基于多模态神经网络的沙尘识别方法。
13.本发明提供的有益效果是：相较于以往传统方法在沙尘识别速度、识别精度上有了大幅提高，在识别沙尘连续性上也有了部分提高。
附图说明
14.图1是本发明方法流程示意图；
15.图2是本发明实施例中硬件设备工作的示意图。
具体实施方式
16.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方
式作进一步地描述。
17.请参考图1，图1是本发明方法流程图。
18.本发明提供了一种基于多模态神经网络的沙尘识别方法，包括以下步骤：
19.s1、采集与沙尘有关的多源数据；
20.所述多源数据包括：成像光谱仪反演数据、地面气象观测站点数据和沙尘事件图像数据；
21.作为一种实施例，本发明收集2018-2022四年间识别区域内中分辨率成像光谱仪(modis)反演数据、地面气象观测站点数据、中国气象局cldas数据与欧洲中期天气预报中心era5数据。收集2018-2022四年间风云4号(fy-4)卫星地球静止辐射成像仪(agri)中的14个波道研究区域内的沙尘事件图像数据。
22.s2、对多源数据进行预处理，得到处理后的数据；
23.步骤s2中所述预处理具体包括：对多源数据进行融合，得到融合数据；对沙尘事件图像数据进行归一化差值和热红外沙尘指数联合，得到综合沙尘判别指数。
24.作为一种实施例，本发明将收集到的fy-4图像数据、modis反演数据、地面观测站点数据、中国气象局cldas数据、欧洲中期天气预报中心era5数据按照划定的识别网格进行数据融合。
25.另外，本发明使用阈值法将对应格点内的modis数据使用归一化差值沙尘指数、热红外沙尘指数联立计算得到综合沙尘判别指数(dust distinguish index)。
26.s3、根据处理后的数据构建沙尘识别模型训练集；
27.步骤s3中构建沙尘识别模型训练集的过程如下：
28.对沙尘事件图像数据对应的波道进行光谱分析，得到适合区分沙尘的波道；
29.在适合区分沙尘的波道中，对其对应的沙尘事件图像数据进行手动标记，区分沙尘区域和非沙尘区，完成训练集构建。
30.作为一种实施例，本发明具体处理时流程如下：
31.s31、将fy-4卫星多个波道数据进行光谱分析(波段反射率、亮度温度)，通过对比分析结果统计出适合区分沙尘与与其他物体的波道即1、2、3、5、6、11、12、13波道数据；
32.s32、在收集到不同波道的fy-4图像数据上手动标记沙尘区域与非沙尘区域，将标记过的沙尘图像数据随机选取1/2并在图像中的沙尘中心区域、边缘位置分别手动添加云层图像进行遮盖。将这些图像数据记为遮盖数据(cover data)，对应的原始数据记为(source data)。
33.s4、构建沙尘识别模型；所述沙尘识别模型包括主干网络、输出网络和融合网络；
34.步骤s4中，所述主干网络为unet网络；所述unet网络输出每个像素点所属沙尘类别的置信度；
35.所述输出网络采用xgboost极限梯度提升树；所述xgboost极限梯度提升树输出待识别区域对应网格点为沙尘区域的置信度；
36.所述融合网络采用贝叶斯方法对unet网络的输出和xgboost限梯度提升树的输出进行融合，得到最终结果；
37.作为一种实施例，本发明沙尘识别模型的构建过程如下：
38.s41、将步骤s32中标记的图像数据划分为网格点数据作为u-net神经网络的输入，
构建unet网络。unet网络中主干特征提取网络拥有五个卷积层与五个池化层，unet网络中加强特征提取网络拥有与主干特征提取网络中卷积与池化层相匹配的上采样与堆叠结构。最终unet网络输出为每个像素点为沙尘类别的置信度。
39.s42、将步骤s41中输入的卫星图像识别区域对应网格点内的中国气象局cldas数据、欧洲中期天气预报中心era5数据、地面站点观测数据、ddi数据、modis反演数据作为xgboost的输入。最终xgboost输出为该识别区域对应网格点为沙尘区域的置信度。
40.s43、采用后端融合的贝叶斯方法对unet输出结果与xgboost输出结果进行特征融合。
41.s5、利用训练集训练所述沙尘识别模型，得到最终模型；
42.步骤s5中，沙尘识别模型的训练时采用adam优化算法对模型参数进行优化。
43.作为一种实施例，本发明步骤s5具体如下：
44.s51、将有标签的训练数据按照8：2拆分为训练集和测试集，适用训练集对分类模型参数优化训练，使用测试集对训练后的分类模型的性能表现进行评价；评价指标使用机器学习中常见用于分类任务的f1指标进行衡量；
45.s52、选择adam优化算法，将学习率设置为1e-3、beta1设置为0.9对识别模型进行训练，最终挑选出在测试集上性能表现最佳的模型作为最终的识别模型。
46.s6、根据最终模型完成沙尘识别。
47.作为一种实施例，步骤s6具体如下：
48.s61、收集要要识别区域的中分辨率成像光谱仪(modis)反演数据、地面气象观测站点数据、中国气象局cldas数据、欧洲中期天气预报中心era5数据以及风云4号(fy-4)卫星地球静止辐射成像仪(agri)的数据；
49.s62、经方法第二部分数据预处理后，将识别区域数据处理成可以输入识别模型的数据格式；
50.s63、将数据输入训练良好的识别模型，识别模型推理输出得到识别结果；
51.s64、将模型识别结果可视化在地图上，最终实现基于多模态神经网络识别模型自动识别沙尘天气的目的。
52.请参见图2，图2是本发明实施例的硬件设备工作示意图，所述硬件设备具体包括：一种基于多模态神经网络的沙尘识别设备401、处理器402及存储设备403。
53.一种基于多模态神经网络的沙尘识别设备401：所述一种基于多模态神经网络的沙尘识别设备401实现所述一种基于多模态神经网络的沙尘识别方法。
54.处理器402：所述处理器402加载并执行所述存储设备403中的指令及数据用于实现所述一种基于多模态神经网络的沙尘识别方法。
55.存储设备403：所述存储设备403存储指令及数据；所述存储设备403用于实现所述一种基于多模态神经网络的沙尘识别方法。
56.本发明的有益效果是：相较于以往传统方法在数据利用上单一的缺点，融合多源观测数据，并使用深度神经网络有效提取了不同来源数据的特征；相较于以往传统方法在在识别速度、识别精度上有了大幅提高，在识别沙尘连续性上也有了部分提高；以往基于机器学习中卷积神经网络识别的方法多为图像级别的分类，而本发明使用的unet神经网络针对的是像素级别的分类，在处理云层覆盖的沙尘区域上有更好的效果。
57.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于多模态神经网络的沙尘识别方法，其特征在于：包括以下步骤：s1、采集与沙尘有关的多源数据；s2、对多源数据进行预处理，得到处理后的数据；s3、根据处理后的数据构建沙尘识别模型训练集；s4、构建沙尘识别模型；所述沙尘识别模型包括主干网络、输出网络和融合网络；s5、利用训练集训练所述沙尘识别模型，得到最终模型；s6、根据最终模型完成沙尘识别。2.如权利要求1所述的一种基于多模态神经网络的沙尘识别方法，其特征在于：所述多源数据包括：成像光谱仪反演数据、地面气象观测站点数据和沙尘事件图像数据。3.如权利要求1所述的一种基于多模态神经网络的沙尘识别方法，其特征在于：步骤s2中所述预处理具体包括：对多源数据进行融合，得到融合数据；对沙尘事件图像数据进行归一化差值和热红外沙尘指数联合，得到综合沙尘判别指数。4.如权利要求1所述的一种基于多模态神经网络的沙尘识别方法，其特征在于：步骤s3中构建沙尘识别模型训练集的过程如下：对沙尘事件图像数据对应的波道进行光谱分析，得到适合区分沙尘的波道；在适合区分沙尘的波道中，对其对应的沙尘事件图像数据进行手动标记，区分沙尘区域和非沙尘区，完成训练集构建。5.如权利要求1所述的一种基于多模态神经网络的沙尘识别方法，其特征在于：步骤s4中，所述主干网络为unet网络；所述unet网络输出每个像素点所属沙尘类别的置信度。6.如权利要求5所述的一种基于多模态神经网络的沙尘识别方法，其特征在于：所述输出网络采用xgboost极限梯度提升树；所述xgboost极限梯度提升树输出待识别区域对应网格点为沙尘区域的置信度。7.如权利要求6所述的一种基于多模态神经网络的沙尘识别方法，其特征在于：所述融合网络采用贝叶斯方法对unet网络的输出和xgboost限梯度提升树的输出进行融合，得到最终结果。8.如权利要求1所述的一种基于多模态神经网络的沙尘识别方法，其特征在于：步骤s5中，沙尘识别模型的训练时采用adam优化算法对模型参数进行优化。9.一种存储设备，其特征在于：所述存储设备存储指令及数据用于实现权利要求1～6所述的任意一种基于多模态神经网络的沙尘识别方法。10.一种基于多模态神经网络的沙尘识别设备，其特征在于：包括：处理器及存储设备；所述处理器加载并执行存储设备中的指令及数据用于实现权利要求1～6所述的任意一种基于多模态神经网络的沙尘识别方法。

技术总结
本发明公开了一种基于多模态神经网络的沙尘识别方法、设备及存储设备，包括以下步骤：采集与沙尘有关的多源数据；对多源数据进行预处理，得到处理后的数据；根据处理后的数据构建沙尘识别模型训练集；构建沙尘识别模型；所述沙尘识别模型包括主干网络、输出网络和融合网络；利用训练集训练所述沙尘识别模型，得到最终模型；根据最终模型完成沙尘识别；设备及存储设备用以实现方法。本发明有益效果是：相较于以往传统方法在沙尘识别速度、识别精度上有了大幅提高，在识别沙尘连续性上也有了部分提高。提高。提高。


技术研发人员：陈思宇 安林昌 郭云谦 何嘉琦 杜世康
受保护的技术使用者：兰州大学
技术研发日：2023.05.31
技术公布日：2023/10/8