一种数值天气预报程序的交互式试验管理系统的制作方法

1.本发明涉及计算机程序管理技术领域，具体而言，涉及一种数值天气预报程序的交互式试验管理系统。


背景技术：

2.数值天气预报是指根据大气实际情况，在一定的初值和边值条件下，通过大型计算机作数值计算，求解描写天气演变过程的流体力学和热力学的方程组，预测未来一定时段的大气运动状态和天气现象的方法。通常情况下，为了获知未来一定时段的天气数据和信息，相关人员会利用数值天气预报程序对天气数据进行预测。
3.在研究中发现，由于数值天气预报程序通常由大量前处理、资料同化、模式积分程序代码及关联脚本组成，涉及到大规模计算资源使用与海量数据处理，过程非常复杂繁琐，数据量也十分庞大，依靠专家个人手工操作管理费时费力且容易出错。在对数值天气预报程序进行修改和调试优化时，由于数据处理量庞大，很可能会出现修改失误从而导致的优化失败出现程序漏洞的情况，使得数值天气预报程序为不合格的预报程度从而降低了数值天气预报程序的预报效果，从而导致相关人员无法利用数值天气预报程序对天气数据进行准确的预测。而即便相关人员利用数值天气预报程序对天气数据进行了预测，也会由于数值天气预报程序所存在的程序漏洞导致预测得到的天气预测数据是不准确的，是无法用于后续处理的，从而浪费了人力成本和时间成本。
4.基于此，若在使用数值天气预报程序对天气数据进行预测前，对数值天气预报程序的预报效果进行评估，能够避免由于使用预报效果不好的预报程序进行天气数据的错误预测所导致的人力成本和时间成本的浪费。因此，如何对数值天气预报程序的预报效果进行评估成为了一个亟待解决的问题。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种数值天气预报程序的交互式试验管理系统，以实现对数值天气预报程序的预报效果进行评估。
6.第一方面，本技术实施例提供了一种数值天气预报程序的交互式试验管理系统，所述系统包括用户端、控制服务端和执行服务端集群；所述用户端包括试验模板调用模块、试验模板展示模块、试验模板修改模块和试验实例构建模块；所述控制服务端包括执行服务端分配模块；所述执行服务端集群包括至少一个执行服务端，每个所述执行服务端包括试验实例运行模块和试验结果分析模块；所述试验模板调用模块，用于响应用户的试验模板调用指令，根据所述试验模板调用指令中所携带的标识符信息从试验模板数据库中确定出初始试验模板，其中，所述初始试验模板为预先为目标区域所配置的试验模板；所述试验模板展示模块，用于将所述初始试验模板所包含的初始流程信息在用户端的展示界面中进行展示；
所述试验模板修改模块，用于响应用户通过所述展示界面对所述初始流程信息的修改操作，生成包含目标流程信息的目标试验模板，其中，所述目标流程信息为进行修改操作后的初始流程信息；所述试验实例构建模块，用于响应用户的试验实例构建指令，根据所述试验实例构建指令中所携带的执行服务端启用数量，所述试验实例构建指令中所携带的目标预报时间和所述目标试验模板生成目标试验实例；所述执行服务端分配模块，用于利用预先配置的执行服务端分配策略，根据所述执行服务端启用数量从所述执行服务端集群中确定出用于运行数值天气预报程序的至少一个目标执行服务端；对于每个所述目标执行服务端，该目标执行服务端的试验实例运行模块，用于将所述目标试验实例输入至预先在该目标执行服务端中配置的数值天气预报程序中运行，得到预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果；该目标执行服务端的试验结果分析模块，用于根据预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果和所述目标预报时间下的预设标准试验结果对预先在该目标执行服务端中配置的数值天气预报程序的预报效果进行评估。
7.可选地，所述用户端还包括试验模板存储模块；所述试验模板存储模块，用于在所述试验模板修改模块响应用户通过所述展示界面对所述初始流程信息的修改操作，生成包含目标流程信息的目标试验模板后，将所述目标试验模板存储至所述试验模板数据库中，以使用户能够从所述试验模板数据库中对所述目标试验模板进行调用。
8.可选地，所述用户端还包括试验实例管理模块和试验实例展示模块；所述试验实例管理模块，用于在所述试验实例构建模块响应用户的试验实例构建指令，根据所述试验实例构建指令中所携带的执行服务端启用数量和所述目标试验模板生成目标试验实例后，根据所述目标试验实例所包含的数据量为所述目标试验实例设置实例标签；所述试验实例展示模块，用于将所述目标试验实例与所述目标试验实例的实例标签在所述用户端的展示界面中进行展示。
9.可选地，所述试验实例构建模块在用于根据所述试验实例构建指令中所携带的执行服务端启用数量，所述试验实例构建指令中所携带的目标预报时间和所述目标试验模板生成目标试验实例时，具体用于：将所述试验实例构建指令中所携带的执行服务端启用数量和所述试验实例构建指令中所携带的目标预报时间作为实例变量输入至所述目标试验模板中生成所述目标试验实例。
10.可选地，所述控制服务端还包括程序配置模块；所述程序配置模块，用于在对于每个所述目标执行服务端，该目标执行服务端的试验实例运行模块将所述目标试验实例输入至预先在该目标执行服务端中配置的数值天气预报程序中运行，得到预先在该目标执行服务端中配置的数值天气预报程序在所述目标
预报时间下的运行试验结果前，将所述数值天气预报程序配置在每个所述目标执行服务端中。
11.可选地，所述控制服务端还包括评估结果分析模块和评估结果展示模块；所述评估结果分析模块，用于在对于每个所述目标执行服务端，该目标执行服务端的试验结果分析模块根据预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果和所述目标预报时间下的预设标准试验结果对预先在该目标执行服务端中配置的数值天气预报程序的预报效果进行评估后，根据预先在每个所述目标执行服务端中配置的数值天气预报程序的预报效果生成评估结果分析图；所述评估结果展示模块，用于将所述评估结果分析图在所述控制服务端的展示界面中进行展示。
12.可选地，对于每个所述目标执行服务端，该目标执行服务端的试验结果分析模块在用于根据预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果和所述目标预报时间下的预设标准试验结果对预先在该目标执行服务端中配置的数值天气预报程序的预报效果进行评估时，具体用于：判断预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果与所述目标预报时间下的预设标准试验结果的结果偏差是否超过标准偏差值；若预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果与所述目标预报时间下的预设标准试验结果的结果偏差未超过所述标准偏差值，则将预先在该目标执行服务端中配置的数值天气预报程序的预报效果确定为合格。
13.可选地，对于每个所述目标执行服务端，在该目标执行服务端的试验结果分析模块判断预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果与所述目标预报时间下的预设标准试验结果的结果偏差是否超过标准偏差值后，该目标执行服务端的试验结果分析模块还用于：若预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果与所述目标预报时间下的预设标准试验结果的结果偏差超过所述标准偏差值内，则将预先在该目标执行服务端中配置的数值天气预报程序的预报效果确定为不合格。
14.可选地，每个所述执行服务端还包括第一程序优化模块；对于每个所述目标执行服务端，该目标执行服务端的第一程序优化模块，用于在该目标执行服务端的试验结果分析模块将预先在该目标执行服务端中配置的数值天气预报程序的预报效果确定为不合格后，利用预先配置的参数优化策略对预先在该目标执行服务端中配置的数值天气预报程序中的参数进行修改得到第一数值天气预报程序。
15.可选地，所述用户端还包括第二程序优化模块；所述第二程序优化模块，用于在对于每个所述目标执行服务端，该目标执行服务端的试验结果分析模块将预先在该目标执行服务端中配置的数值天气预报程序的预报效果确定为不合格后，响应用户的参数修改指令，使用所述参数修改指令中所携带的目标参数对预先在该目标执行服务端中配置的数值天气预报程序中的原始参数进行更新得到第
二数值天气预报程序。
16.本技术提供的技术方案包括但不限于以下有益效果：所述试验模板调用模块，用于响应用户的试验模板调用指令，根据所述试验模板调用指令中所携带的标识符信息从试验模板数据库中确定出初始试验模板，其中，所述初始试验模板为预先为目标区域所配置的试验模板；该模块能够实现不需要用户通过手动输入试验模板，就能够从试验模板数据库中获取初始试验模板，减少了用户的工作量和人力成本。
17.所述试验模板展示模块，用于将所述初始试验模板所包含的初始流程信息在用户端的展示界面中进行展示；所述试验模板修改模块，用于响应用户通过所述展示界面对所述初始流程信息的修改操作，生成包含目标流程信息的目标试验模板，其中，所述目标流程信息为进行修改操作后的初始流程信息；在上述模块的配合下，能够根据用户需求对初始试验模板进行修改得到目标试验模板。
18.所述试验实例构建模块，用于响应用户的试验实例构建指令，根据所述试验实例构建指令中所携带的执行服务端启用数量，所述试验实例构建指令中所携带的目标预报时间和所述目标试验模板生成目标试验实例；该模块能够实现根据目标试验模板和用户的试验实例构建指令生成目标试验实例。
19.所述执行服务端分配模块，用于利用预先配置的执行服务端分配策略，根据所述执行服务端启用数量从所述执行服务端集群中确定出用于运行数值天气预报程序的至少一个目标执行服务端；该模块能够确定出用于执行数值天气预报程序的试验管理的执行服务端。
20.对于每个所述目标执行服务端，该目标执行服务端的试验实例运行模块，用于将所述目标试验实例输入至预先在该目标执行服务端中配置的数值天气预报程序中运行，得到预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果；该模块能够在用于执行数值天气预报程序的试验管理的执行服务端中确定该执行服务端中的数值天气预报程序在目标预报时间下的运行试验结果，即天气数据的预测值。
21.该目标执行服务端的试验结果分析模块，用于根据预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果和所述目标预报时间下的预设标准试验结果对预先在该目标执行服务端中配置的数值天气预报程序的预报效果进行评估；该模块能够实现根据天气数据的预测值和预设标准试验结果（天气数据的预测值的实际值，实际值是指由高精度传感器进行观测得到的观测值，或者使用超高精度的天气模拟程序进行天气模拟后得到的模拟值）的对比结果确定出目标执行服务端中配置的数值天气预报程序的预报效果。
22.采用上述系统，通过试验模板调用模块、试验模板展示模块、试验实例构建模块、执行服务端分配模块、试验实例运行模块和试验结果分析模块对每个执行服务端中的数值天气预报程序的运行结果进行分析，以实现对数值天气预报程序的预报效果进行评估。
23.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
24.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍， 应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
25.图1示出了本发明实施例所提供的一种数值天气预报程序的交互式试验管理系统的结构示意图；图2示出了本发明实施例所提供的第二种数值天气预报程序的交互式试验管理系统的结构示意图；图3示出了本发明实施例所提供的第三种数值天气预报程序的交互式试验管理系统的结构示意图；图4示出了本发明实施例所提供的第四种数值天气预报程序的交互式试验管理系统的结构示意图；图5示出了本发明实施例所提供的第五种数值天气预报程序的交互式试验管理系统的结构示意图；图6示出了本发明实施例所提供的第六种数值天气预报程序的交互式试验管理系统的结构示意图；图7示出了本发明实施例所提供的第七种数值天气预报程序的交互式试验管理系统的结构示意图。
具体实施方式
26.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.实施例为便于对本技术进行理解，下面结合图1示出的本发明实施例所提供的一种数值天气预报程序的交互式试验管理系统的结构示意图描述的内容对本技术实施例进行详细说明。
28.参见图1所示，图1示出了本发明实施例所提供的一种数值天气预报程序的交互式试验管理系统的结构示意图，其中，所述系统包括用户端101、控制服务端102和执行服务端集群103；所述用户端101包括试验模板调用模块1011、试验模板展示模块1012、试验模板修改模块1013和试验实例构建模块1014；所述控制服务端102包括执行服务端分配模块1021；所述执行服务端集群103包括至少一个执行服务端1031，每个所述执行服务端1031包括试验实例运行模块10311和试验结果分析模块10312。
29.具体的，用户端、控制服务端和执行服务端集群两两能够进行数据传输和通信，用
户端、控制服务端和执行服务端集群中的每个模块之间均能进行数据传输和通信。
30.执行服务端集群为超算系统，其中包括至少一个执行服务端（用于执行程序运行任务的计算机设备），控制服务端为用于实现总控的计算机设备，用户端为用户侧用于与数值天气预报程序的交互式试验管理系统进行交互的计算机设备。
31.所述试验模板调用模块，用于响应用户的试验模板调用指令，根据所述试验模板调用指令中所携带的标识符信息从试验模板数据库中确定出初始试验模板，其中，所述初始试验模板为预先为目标区域所配置的试验模板，即所述初始试验模板为具有所述标识符信息的试验模板，试验模板由数值天气预报程序在运行时所需要使用的默认运行参数组成。标识符信息为目标区域的区域编码或区域信息，目标区域为需要对其进行数值天气预报的区域。
32.具体的，用户使用浏览器登录该数值天气预报程序的交互式试验管理系统后，可以新建或对编辑设计已有的试验模版，具体可以通过用户端向该数值天气预报程序的交互式试验管理系统输入包含目标区域的区域信息的试验模板调用指令，此时，由试验模板调用模块响应用户的试验模板调用指令，根据试验模板调用指令中所携带的标识符信息从试验模板数据库中确定出预先为目标区域所配置的初始试验模板，试验模板调用指令中所携带的标识符信息所指示的试验模板为所述初始试验模板。
33.用户除了通过用户端向该数值天气预报程序的交互式试验管理系统输入包含目标区域的区域信息的试验模板调用指令之外，还可以向该数值天气预报程序的交互式试验管理系统输入包含目标流程的流程信息的试验模板调用指令，或者是包含目标分辨率的分辨率信息的试验模板调用指令，或者时同时包含目标区域的区域信息、目标流程的流程信息和目标分辨率的分辨率信息中的任意两种或者全部三种的试验模板调用指令；其中，目标区域为需要根据交互式数值天气预报程序进行天气预报的区域，目标流程为交互式数值天气预报程序在进行天气预报时所需要执行的运行步骤，目标分辨率为交互式数值天气预报程序在进行天气预报时所使用的地图各点的分辨率。
34.试验模板调用模块响应用户的试验模板调用指令，根据试验模板调用指令中所携带的目标信息（目标区域的区域信息、目标流程的流程信息或目标分辨率的分辨率信息）从试验模板数据库中确定出预先为该目标信息预先配置的初始试验模板。
35.例如，当试验模板调用指令中同时携带有目标区域的区域信息、目标流程的流程信息或目标分辨率的分辨率信息，则试验模板调用模块从试验模板数据库中确定出预先为目标区域的区域信息、目标流程的流程信息和目标分辨率的分辨率信息预先配置的初始试验模板。
36.所述试验模板展示模块，用于将所述初始试验模板所包含的初始流程信息在用户端的展示界面中进行展示。
37.具体的，初始流程信息为初始试验模板中携带的属性信息，其与初始试验模板一同被存储在试验模板数据库中，当试验模板调用指令对初始试验模板进行调用时，初始试验模板的初始流程信息也一同被进行了调取；在气象预测领域，初始流程中的步骤包括同化步骤和积分步骤，根据实际需求对同化步骤和积分步骤进行选择执行的步骤或者是进行先后顺序排列得到初始流程或目标流程。
38.为了方便用户对初始试验模板进行修改，试验模板展示模块将初始试验模板所包
含的初始流程信息在用户端的展示界面中进行展示，以使用户能够通过web页面的托拉拽功能对初始流程信息更改，从而实现对初始试验模板的初始流程进行重新编排。
39.所述试验模板修改模块，用于响应用户通过所述展示界面对所述初始流程信息的修改操作，生成包含目标流程信息的目标试验模板，其中，所述目标流程信息为进行修改操作后的初始流程信息。
40.具体的，当用户需要对初始试验模板的初始流程进行重新编排时，可以通过用户端的展示界面对所述初始流程信息进行修改操作，此时，试验模板修改模块响应用户对所述初始流程信息的修改操作，根据用户对所述初始流程信息的修改操作对初始试验模板的初始流程进行编排，将包含对初始流程进行编排后得到的目标流程的试验模板作为目标试验模板进行保存，将目标流程的目标流程信息作为目标试验模板的流程信息与目标试验模板进行关联，得到包含目标流程信息的目标试验模板。
41.所述试验实例构建模块，用于响应用户的试验实例构建指令，根据所述试验实例构建指令中所携带的执行服务端启用数量，所述试验实例构建指令中所携带的目标预报时间和所述目标试验模板生成目标试验实例。
42.具体的，所述系统还包括试验实例默认模块，所述试验实例默认模块用于在得到目标试验模板后，根据预先配置的实例参数和所述目标试验模板生成默认目标试验实例。
43.试验实例默认模块可以根据用户的需求被设置为不启用或者是在试验实例构建模块启用前启用。在试验实例默认模块被设置为不启用时，用户向系统输入试验实例构建指令，试验实例构建模块根据所述试验实例构建指令中所携带的执行服务端启用数量，所述试验实例构建指令中所携带的目标预报时间和所述目标试验模板生成目标试验实例。而在试验实例默认模块被设置为在试验实例构建模块启用前启用时，首先通过试验实例默认模块生成默认目标试验实例，然后当用户需要对默认目标试验实例进行修改时，再向系统输入试验实例构建指令，此时，由试验实例构建模块根据所述试验实例构建指令中所携带的执行服务端启用数量，所述试验实例构建指令中所携带的目标预报时间和所述目标试验模板生成目标试验实例；目标起报时间为需要根据数值天气预报程序进行天气预报的起始时间。
44.除了上述目标试验实例的生成方法外，试验实例构建模块在响应用户的试验实例构建指令时，还可以根据试验实例构建指令中所携带的其他信息生成目标试验实例，其他信息包括但不限于试验日期、时次等，这些信息均用于对交互式数值天气预报程序的输出信息的属性进行限定。
45.所述执行服务端分配模块，用于利用预先配置的执行服务端分配策略，根据所述执行服务端启用数量从所述执行服务端集群中确定出用于运行数值天气预报程序的至少一个目标执行服务端。
46.具体的，试验实例构建指令中必须携带有执行服务端启用数量，执行服务端分配模块利用预先配置的执行服务端分配策略，根据所述执行服务端启用数量从所述执行服务端集群中确定出用于运行数值天气预报程序的至少一个目标执行服务端。
47.执行服务端分配策略是根据执行服务端集群中每个执行服务端的服务端状态进行设计的，服务端状态包括空闲状态，服务端内存大小，数据处理速度等。
48.对于每个所述目标执行服务端，该目标执行服务端的试验实例运行模块，用于将
所述目标试验实例输入至预先在该目标执行服务端中配置的数值天气预报程序中运行，得到预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果。
49.具体的，预先在每个目标执行服务端中配置需要进行预报效果评估的数据天气预报程序，数值天气预报程序的输入为目标试验实例和目标运行参数，其中，目标运行参数可以是目标试验实例中所携带的信息，也就是用户的试验实例构建指令中还携带有目标运行参数；或者将目标运行参数预先配置在控制服务端或者每个目标执行服务端中，当将所述目标试验实例输入至预先在该目标执行服务端中配置的数值天气预报程序中运行时，从控制服务端或者每个目标执行服务端中调取目标运行参数，将目标运行参数和目标试验实例输入至数值天气预报程序中。
50.目标运行参数包括但不限于试验起报日期、时次等，这些信息均用于对交互式数值天气预报程序的输出信息的属性进行限定。
51.该目标执行服务端的试验结果分析模块，用于根据预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果和所述目标预报时间下的预设标准试验结果对预先在该目标执行服务端中配置的数值天气预报程序的预报效果进行评估。
52.具体的，预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果为天气预测值，所述目标预报时间下的预设标准试验结果为天气实际值。
53.在该目标执行服务端的试验结果分析模块根据预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果和所述目标预报时间下的预设标准试验结果对预先在该目标执行服务端中配置的数值天气预报程序的预报效果进行评估，所述方法包括两种：第一种为将预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果和所述目标预报时间下的预设标准试验结果进行对比，得到对比结果，然后根据对比结果对预先在该目标执行服务端中配置的数值天气预报程序的预报效果进行评估，即若运行试验结果超过预设标准试验结果，则将数值天气预报程序的预报效果确定为合格，反之为不合格；第二种为将预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果和所述目标预报时间下的预设标准试验结果进行差值计算得到结果偏差值，然后判断该结果偏差值的绝对值是否超过预测标准偏差值，若未超过则将数值天气预报程序的预报效果确定为合格，反之为不合格。
54.目标预报时间下的运行试验结果（天气预测值）包括对目标预报时间的气温预测值、湿度预测值、气压预测值、降水预测值，目标预报时间下的预设标准试验结果（天气实际值）包括目标预报时间的气温实际值、目标预报时间的湿度实际值、目标预报时间的气压实际值、目标预报时间的降水实际值。
55.在一个可行的实施方案中，参见图2所示，图2示出了本发明实施例所提供的第二种数值天气预报程序的交互式试验管理系统的结构示意图，其中，所述用户端101还包括试验模板存储模块1015；所述试验模板存储模块，用于在所述试验模板修改模块响应用户通过所述展示界
面对所述初始流程信息的修改操作，生成包含目标流程信息的目标试验模板后，将所述目标试验模板存储至所述试验模板数据库中，以使用户能够从所述试验模板数据库中对所述目标试验模板进行调用。
56.具体的，试验模板存储模块将目标试验模板存储至试验模板数据库中，并根据用户需求设置为公共模板或私有模板，公共模板可以共享给其他计算机设备使用和调用，而私有模板只有该用户端能够调用。
57.在一个可行的实施方案中，参见图3所示，图3示出了本发明实施例所提供的第三种数值天气预报程序的交互式试验管理系统的结构示意图，其中，所述用户端101还包括试验实例管理模块1016和试验实例展示模块1017；所述试验实例管理模块，用于在所述试验实例构建模块响应用户的试验实例构建指令，根据所述试验实例构建指令中所携带的执行服务端启用数量和所述目标试验模板生成目标试验实例后，根据所述目标试验实例所包含的数据量为所述目标试验实例设置实例标签。
58.具体的，根据目标试验实例所包含的数据量从数据标签对应表中确定出与目标试验实例所包含的数据量具有相同标识符的实例标签，将该实例标签确定为所述目标试验实例的实例标签，用于根据实例标签对目标试验实例的数据量进行体现。
59.除此之位，试验实例管理模块还提供对目标试验实例运行所需各类个例数据的统筹管理，个例数据为目标试验实例中所包含的数据，包括个例数据汇总查询、个例数据准备查询等功能，个例数据汇总查询提供给用户查看各类型数据的统计情况，可用范围及缺报情况。个例数据准备查询一般用于用户构建模式试验实例时调用，确认返回用户构建试验实例使用个例数据是否已到位，可按数据的类型查看到各类试验数据的总体情况，包含数据的数量、大小和储量（时间范围）。同时还能够对各类元数据设置不同标签，可根据标签更加方便的进行检索。可以对数据采集的规则进行维护，包括设置显示的关键字字典和具体目录等。还能够实现数据超储量提示，如预报日期超出所选数据的储量（时间范围）。除了上述功能外，试验实例管理模块还包括试验实例对比、试验实例归档、试验实例查询统计、试验实例删除、试验实例拷贝、试验实例共享、试验模板管理子模块。试验实例对比提供试验方案等信息的一键比较，结合试验实例结果检验对比，支撑用户全面比较试验实例方案和改进效果。试验实例归档完成试验实例信息、试验实例方案、试验实例数据的存储管理，便于回调和复现试验实例。试验实例查询统计提供指定时间周期内的试验实例的查询、试验实例数量等相关信息的统计。试验实例拷贝和试验模板为用户提供试验快速构建的两种方式，通过拷贝指定的历史试验，快速生成新的试验方案，提高试验效率。试验实例共享功能可支持用户将试验实例共享给他人用于对比、拷贝、复现等。
60.所述试验实例展示模块，用于将所述目标试验实例与所述目标试验实例的实例标签在所述用户端的展示界面中进行展示。
61.具体的，将所述目标试验实例与所述目标试验实例的实例标签在所述用户端的展示界面中进行展示，以使用户能够获知目标试验实例和目标试验实例的实例标签。
62.在一个可行的实施方案中，所述试验实例构建模块在用于根据所述试验实例构建指令中所携带的执行服务端启用数量，所述试验实例构建指令中所携带的目标预报时间和所述目标试验模板生成目标试验实例时，具体用于：
将所述试验实例构建指令中所携带的执行服务端启用数量和所述试验实例构建指令中所携带的目标预报时间作为实例变量输入至所述目标试验模板中生成所述目标试验实例。
63.具体的，将将所述试验实例构建指令中所携带的执行服务端启用数量作为第一变量，将试验实例构建指令中所携带的目标预报时间作为第二变量，将第一变量和第二变量作为实例变量输入至所述目标试验模板中生成所述目标试验实例。
64.除此之外，在构建目标试验实例时，需要考虑包括参数化方案配置、试验数据配置和试验资源配置等流程。一般试验实例构建都是基于已有的试验模版或者已经运行的试验实例构建。参数化方案配置设置各个模块的运行参数，如模式的动力框架参数、物理过程方案、边界层方案、输出控制等。试验数据配置设置试验的输入数据，包括各类观测资料、卫星资料、背景场资料等。试验资源配置设置试验所使用的高性能计算平台、模块所需计算资源量、作业队列等。
65.在一个可行的实施方案中，参见图4所示，图4示出了本发明实施例所提供的第四种数值天气预报程序的交互式试验管理系统的结构示意图，其中，所述控制服务端102还包括程序配置模块1022；所述程序配置模块，用于在对于每个所述目标执行服务端，该目标执行服务端的试验实例运行模块将所述目标试验实例输入至预先在该目标执行服务端中配置的数值天气预报程序中运行，得到预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果前，将所述数值天气预报程序配置在每个所述目标执行服务端中。
66.具体的，数值天气预报程序用于对目标预测时间下的天气数据进行预测。
67.在一个可行的实施方案中，参见图5所示，图5示出了本发明实施例所提供的第五种数值天气预报程序的交互式试验管理系统的结构示意图，其中，所述控制服务端102还包括评估结果分析模块1023和评估结果展示模块1024。
68.所述评估结果分析模块，用于在对于每个所述目标执行服务端，该目标执行服务端的试验结果分析模块根据预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果和所述目标预报时间下的预设标准试验结果对预先在该目标执行服务端中配置的数值天气预报程序的预报效果进行评估后，根据预先在每个所述目标执行服务端中配置的数值天气预报程序的预报效果生成评估结果分析图。
69.除此之外，所述评估结果分析模块能够基于检验分析集成工具支撑普通模式试验、回算试验、平行试验等的对比分析评估；模式的框架包括动力框架和物理过程两个主要部分，评估动力框架效果需要开展理想试验，评估物理方案效果需要开展单柱试验。理想试验绘图分析为理想试验结果绘制常规的图形分析动力框架效果。单柱试验绘图分析为单柱试验结果绘制常规的图形分析物理方案的效果。
70.所述评估结果展示模块，用于将所述评估结果分析图在所述控制服务端的展示界面中进行展示。
71.具体的，所述评估结果分析图的形式可以为柱状图、折线图或者是表格，用于描述预先在每个所述目标执行服务端中配置的数值天气预报程序的预报效果与每个所述目标执行服务端之间的关系。
72.在一个可行的实施方案中，对于每个所述目标执行服务端，该目标执行服务端的
试验结果分析模块在用于根据预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果和所述目标预报时间下的预设标准试验结果对预先在该目标执行服务端中配置的数值天气预报程序的预报效果进行评估时，具体用于：判断预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果与所述目标预报时间下的预设标准试验结果的结果偏差是否超过标准偏差值。
73.若预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果与所述目标预报时间下的预设标准试验结果的结果偏差未超过所述标准偏差值，则将预先在该目标执行服务端中配置的数值天气预报程序的预报效果确定为合格。
74.具体的，结果偏差是将在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果与所述目标预报时间下的预设标准试验结果进行差值计算后得到的，标准偏差值为预先在该目标执行服务端中配置的历史数值天气预报程序在所述目标预报时间下的历史运行试验结果，与所述目标预报时间下的预设标准试验结果的差值，历史数值天气预报程序为需要进行预报效果评估的数值天气预报程序的低版本程序，对历史数值天气预报程序进行参数修改和优化后所得到的高版本程序为上述的需要进行预报效果评估的数值天气预报程序。
75.也就是说，在每个目标执行服务端的试验实例运行模块将目标试验实例输入至预先在每个目标执行服务端中配置的数值天气预报程序中运行前，首先需要对每个目标执行服务端中配置的初始程序进行优化得到数值天气预报程序，即对初始程序进行开发调试和修改代码得到数值天气预报程序，然后再将目标试验实例输入至预先在每个目标执行服务端中配置的数值天气预报程序中运行。所述数值天气预报程序的交互式试验管理系统中的每个模块可以根据实际需求进行先后顺序的排列以执行不同的流程，实现不同的功能。
76.在一个可行的实施方案中，对于每个所述目标执行服务端，在该目标执行服务端的试验结果分析模块判断预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果与所述目标预报时间下的预设标准试验结果的结果偏差是否超过标准偏差值后，该目标执行服务端的试验结果分析模块还用于：若预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果与所述目标预报时间下的预设标准试验结果的结果偏差超过所述标准偏差值内，则将预先在该目标执行服务端中配置的数值天气预报程序的预报效果确定为不合格。
77.在一个可行的实施方案中，参见图6所示，图6示出了本发明实施例所提供的第六种数值天气预报程序的交互式试验管理系统的结构示意图，其中，每个所述执行服务端1031还包括第一程序优化模块10313；对于每个所述目标执行服务端，该目标执行服务端的第一程序优化模块，用于在该目标执行服务端的试验结果分析模块将预先在该目标执行服务端中配置的数值天气预报程序的预报效果确定为不合格后，利用预先配置的参数优化策略对预先在该目标执行服务端中配置的数值天气预报程序中的参数进行修改得到第一数值天气预报程序。
78.具体的，当该目标执行服务端中配置的数值天气预报程序的预报效果为不合格
时，需要对数值天气预报程序进行优化得到第一数值天气预报程序，优化过程包括：利用预先配置的参数优化策略对预先在该目标执行服务端中配置的数值天气预报程序中的参数进行修改。
79.在一个可行的实施方案中，参见图7所示，图7示出了本发明实施例所提供的第七种数值天气预报程序的交互式试验管理系统的结构示意图，其中，所述用户端101还包括第二程序优化模块1018；所述第二程序优化模块，用于在对于每个所述目标执行服务端，该目标执行服务端的试验结果分析模块将预先在该目标执行服务端中配置的数值天气预报程序的预报效果确定为不合格后，响应用户的参数修改指令，使用所述参数修改指令中所携带的目标参数对预先在该目标执行服务端中配置的数值天气预报程序中的原始参数进行更新得到第二数值天气预报程序。
80.具体的，当该目标执行服务端中配置的数值天气预报程序的预报效果为不合格时，需要对数值天气预报程序进行优化得到第一数值天气预报程序，优化过程还包括：用户通过客户端输入参数修改指令，第二程序优化模块使用所述参数修改指令中所携带的目标参数对预先在该目标执行服务端中配置的数值天气预报程序中的原始参数进行更新得到优化后的第二数值天气预报程序。
81.除此之外，所述数值天气预报程序的交互式试验管理系统还包括试验实例监控模块与系统监控管理模块。试验实例监控模块，用于完成试验运行过程的流程化调度和监控告警，包括模式试验实例提交、模式试验实例运行流程化调度和监控告警子模块。模式试验实例提交完成试验在超算系统上的部署、工作流生成、工作流引擎服务端的启动、工作流加载和运行启动。模式试验实例运行流程化调度主要由工作流引擎根据工作流定义实现，并实时跟踪运行状态，基于web的试验运行监控界面以树形结构展示试验运行流程。工作流引擎展示界面对试验故障模块进行告警，并提供错误输出，并基于浏览器实现试验作业重交。系统监控管理模块：包括用户及权限管理、系统与用户监控子模块。用户及权限管理子模块用于管理用户，以及用户的试验权限、模式权限、角色权限等。系统用户记录功能面向模式运行日志和系统运行日志，提供日志的管理和界面展示。系统与用户监控子模块用于对系统组成模块（中间件、应用程序、数据库等）运行访问情况以及用户使用行为的监控功能，有利于系统平台运行真实情况的深入量化了解。
82.在本发明所提供的实施例中，应该理解到，所揭露的系统，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
83.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
84.另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可
以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
85.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务端，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
86.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
87.最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

技术特征：
1.一种数值天气预报程序的交互式试验管理系统，其特征在于，所述系统包括用户端、控制服务端和执行服务端集群；所述用户端包括试验模板调用模块、试验模板展示模块、试验模板修改模块和试验实例构建模块；所述控制服务端包括执行服务端分配模块；所述执行服务端集群包括至少一个执行服务端，每个所述执行服务端包括试验实例运行模块和试验结果分析模块；所述试验模板调用模块，用于响应用户的试验模板调用指令，根据所述试验模板调用指令中所携带的标识符信息从试验模板数据库中确定出初始试验模板，其中，所述初始试验模板为预先为目标区域所配置的试验模板；所述试验模板展示模块，用于将所述初始试验模板所包含的初始流程信息在用户端的展示界面中进行展示；所述试验模板修改模块，用于响应用户通过所述展示界面对所述初始流程信息的修改操作，生成包含目标流程信息的目标试验模板，其中，所述目标流程信息为进行修改操作后的初始流程信息；所述试验实例构建模块，用于响应用户的试验实例构建指令，根据所述试验实例构建指令中所携带的执行服务端启用数量，所述试验实例构建指令中所携带的目标预报时间和所述目标试验模板生成目标试验实例；所述执行服务端分配模块，用于利用预先配置的执行服务端分配策略，根据所述执行服务端启用数量从所述执行服务端集群中确定出用于运行数值天气预报程序的至少一个目标执行服务端；对于每个所述目标执行服务端，该目标执行服务端的试验实例运行模块，用于将所述目标试验实例输入至预先在该目标执行服务端中配置的数值天气预报程序中运行，得到预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果；该目标执行服务端的试验结果分析模块，用于根据预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果和所述目标预报时间下的预设标准试验结果对预先在该目标执行服务端中配置的数值天气预报程序的预报效果进行评估。2.根据权利要求1所述的系统，其特征在于，所述用户端还包括试验模板存储模块；所述试验模板存储模块，用于在所述试验模板修改模块响应用户通过所述展示界面对所述初始流程信息的修改操作，生成包含目标流程信息的目标试验模板后，将所述目标试验模板存储至所述试验模板数据库中，以使用户能够从所述试验模板数据库中对所述目标试验模板进行调用。3.根据权利要求1所述的系统，其特征在于，所述用户端还包括试验实例管理模块和试验实例展示模块；所述试验实例管理模块，用于在所述试验实例构建模块响应用户的试验实例构建指令，根据所述试验实例构建指令中所携带的执行服务端启用数量和所述目标试验模板生成目标试验实例后，根据所述目标试验实例所包含的数据量为所述目标试验实例设置实例标签；所述试验实例展示模块，用于将所述目标试验实例与所述目标试验实例的实例标签在
所述用户端的展示界面中进行展示。4.根据权利要求1所述的系统，其特征在于，所述试验实例构建模块在用于根据所述试验实例构建指令中所携带的执行服务端启用数量，所述试验实例构建指令中所携带的目标预报时间和所述目标试验模板生成目标试验实例时，具体用于：将所述试验实例构建指令中所携带的执行服务端启用数量和所述试验实例构建指令中所携带的目标预报时间作为实例变量输入至所述目标试验模板中生成所述目标试验实例。5.根据权利要求1所述的系统，其特征在于，所述控制服务端还包括程序配置模块；所述程序配置模块，用于在对于每个所述目标执行服务端，该目标执行服务端的试验实例运行模块将所述目标试验实例输入至预先在该目标执行服务端中配置的数值天气预报程序中运行，得到预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果前，将所述数值天气预报程序配置在每个所述目标执行服务端中。6.根据权利要求1所述的系统，其特征在于，所述控制服务端还包括评估结果分析模块和评估结果展示模块；所述评估结果分析模块，用于在对于每个所述目标执行服务端，该目标执行服务端的试验结果分析模块根据预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果和所述目标预报时间下的预设标准试验结果对预先在该目标执行服务端中配置的数值天气预报程序的预报效果进行评估后，根据预先在每个所述目标执行服务端中配置的数值天气预报程序的预报效果生成评估结果分析图；所述评估结果展示模块，用于将所述评估结果分析图在所述控制服务端的展示界面中进行展示。7.根据权利要求1所述的系统，其特征在于，对于每个所述目标执行服务端，该目标执行服务端的试验结果分析模块在用于根据预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果和所述目标预报时间下的预设标准试验结果对预先在该目标执行服务端中配置的数值天气预报程序的预报效果进行评估时，具体用于：判断预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果与所述目标预报时间下的预设标准试验结果的结果偏差是否超过标准偏差值；若预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果与所述目标预报时间下的预设标准试验结果的结果偏差未超过所述标准偏差值，则将预先在该目标执行服务端中配置的数值天气预报程序的预报效果确定为合格。8.根据权利要求7所述的系统，其特征在于，对于每个所述目标执行服务端，在该目标执行服务端的试验结果分析模块判断预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果与所述目标预报时间下的预设标准试验结果的结果偏差是否超过标准偏差值后，该目标执行服务端的试验结果分析模块还用于：若预先在该目标执行服务端中配置的数值天气预报程序在所述目标预报时间下的运行试验结果与所述目标预报时间下的预设标准试验结果的结果偏差超过所述标准偏差值内，则将预先在该目标执行服务端中配置的数值天气预报程序的预报效果确定为不合格。
9.根据权利要求8所述的系统，其特征在于，每个所述执行服务端还包括第一程序优化模块；对于每个所述目标执行服务端，该目标执行服务端的第一程序优化模块，用于在该目标执行服务端的试验结果分析模块将预先在该目标执行服务端中配置的数值天气预报程序的预报效果确定为不合格后，利用预先配置的参数优化策略对预先在该目标执行服务端中配置的数值天气预报程序中的参数进行修改得到第一数值天气预报程序。10.根据权利要求8所述的系统，其特征在于，所述用户端还包括第二程序优化模块；所述第二程序优化模块，用于在对于每个所述目标执行服务端，该目标执行服务端的试验结果分析模块将预先在该目标执行服务端中配置的数值天气预报程序的预报效果确定为不合格后，响应用户的参数修改指令，使用所述参数修改指令中所携带的目标参数对预先在该目标执行服务端中配置的数值天气预报程序中的原始参数进行更新得到第二数值天气预报程序。

技术总结
本申请提供了一种数值天气预报程序的交互式试验管理系统，其中，试验模板调用模块用于响应用户的试验模板调用指令确定初始试验模板；试验模板展示模块用于将初始试验模板信息在展示界面展示；试验模板修改模块用于响应用户对初始流程信息的修改操作生成目标试验模板；试验实例构建模块用于响应用户的试验实例构建指令生成目标试验实例；执行服务端分配模块用于确定目标执行服务端；每个目标执行服务端的试验实例运行模块用于将目标试验实例输入至数值天气预报程序中得到运行试验结果；试验结果分析模块用于根据运行试验结果对数值天气预报程序的预报效果进行评估。采用上述系统，以实现对数值天气预报程序的预报效果进行评估。行评估。行评估。


技术研发人员：王彬 胡江凯 孙婧 周斌 赵滨 赵春燕 崔应杰 贾晓振 王燕妮 陈明 牛新宇
受保护的技术使用者：中国气象局地球系统数值预报中心
技术研发日：2023.07.12
技术公布日：2023/8/14