一种面向分布式存储的GIS数据质检与入库方法与流程

一种面向分布式存储的gis数据质检与入库方法
技术领域
1.本发明涉及测绘地理数据质检与入库技术领域，具体是一种面向分布式存储的gis数据质检与入库方法。


背景技术：

2.测绘地理信息作为环境保障能力的重要引警，具有覆盖范围广数据精度要求高等特点，目前测绘单位已广泛运用卫星定位、遥感测量、数字地图和地理信息系统等高新技术，测绘整体水平和测绘保障能力显著提高。环境保障的基础信息主体虽依然是空间、时间和感知，但其保障的形态、内容和产品的形式已经大大超出以前任何一个时期对保障的精准性、多样性、实时性提出了更高要求。gis(测绘地理)数据质检与入库作为核心功能，是推动落实规划数据库建设等总体目标的必要条件，已有系统数据资源调度不够统一，不能够按需分配并可动态调整，造成数据质检与入库处理流程长，速度慢且效率低，而处理过程中出现的数据增删改操作繁琐，增加用户的使用门槛。因此，针对上述问题提出-种面向分布式存储的gis数据质检与入库方法。


技术实现要素：

3.本发明的目的就在于为了解决上述问题而提供一种面向分布式存储的gis数据质检与入库方法。
4.本发明通过以下技术方案来实现上述目的，一种面向分布式存储的gis数据质检与入库方法，具体步骤包括：
5.步骤一、将待质检和入库的gis数据格式转换，并将格式化gis数据上传至分布式存储库；
6.步骤二、将上传的不同来源的gis数据按照统一的标准和一定的质检入库规则，构建资源共享服务模块；
7.步骤三、资源共享服务模块为支持对于gis空间数据库中与图形相关的部分提供gis中间件进行访问的ogc标准服务；
8.步骤四、判断格式化gis数据是否上传成功，若是，则将生成的格式化gis数据记录至数据入库检查表，并设器处理状态为未处理，并进入步骤五，否则，格式化gis数据修整后重复步骤四；
9.步骤五、分布式计算平台处理的对象为未处理的格式化gis数据，并根据格式化gis数据对应的质检类型调用ogc标准服务执行相应的资源共享服务模块，再利用资源共享服务模块对格式化gis数据进行质检与入库处理；
10.步骤六、判断数据入库检查表内未处理的格式化gis数据是否全部处理完成，若是，则完成对格式化gis数据质检与入库的处理，否则，返回步骤五，直至未处理的格式化gis数据全部完成处理。
11.优选的，所述步骤二具体为：
12.将上传的格式化gis数据及其对应的统一的标准和一定的质检入库规则经神经网络模型进行一一对应的映射组合，且若干个组合单位构建资源共享服务模块，完成对资源共享服务模块的构建，其中，一个组合单元对应一个资源共享服务单元。
13.优选的，所述步骤三具体为：
14.利用云资源管理平台将构建的资源共享服务模块发布为支持paas和saas的的请求服务，并采用混合存储框架将该服务封装为标准微服务，且注册到微服务注册中心，从而将资源共享服务模块整合为支持对于gis空间数据库中与图形相关的部分提供gis中间件进行访问的ogc标准服务。
15.优选的，所述步骤四中数据入库检查表的信息包括：用户名、gis数据地址、gis数据上传时间、gis数据处理类型、gis数据处理状态、gis数据质检开始时间、gis数据质检结束时间、gis数据质检结果、gis数据入库开始时间、gis数据入库结束时间以及gis数据入库结果。
16.优选的，所述gis数据处理类型，用于根据gis数据所对应的质检和入库规则生成的资源共享服务模板。
17.优选的，所述gis数据处理状态包括：gis数据未处理、gis数据正在处理以及gis数据质检失败三种状态。
18.优选的，所述步骤五中利用资源共享服务模块对数据进行质检与入库处理，其具体为：
19.s1、向数据入库检查表下达获取待质检与入库的gis数据需求任务，云资源管理平台对此处于正在处理状态；
20.s2、数据入库检查表中gis数据文件信息，从分布式存储库中自动缓存gis数据至执行资源共享服务模块所在服务器的本地临时目录；
21.s3、利用资源共享服务模块所匹配的一个资源共享服务模板对缓存数据包进行质检，并判断所述缓存数据是否通过质检，若是，则进入步骤s4，否则，进入步骤s6；
22.s4、向数据入库检查表中记录质检结果，并更新数据包处理状态，并根据ogc标准服务利用资源共享服务模板对缓存数据包进行入库处理；
23.s5、判断是否完成入库处理，若是，则记录入库信息，并进入步骤s7，否则，记录入库错误信息，进入步骤s7；
24.s6、向数据入库检查表中记录质检错误信息，更新gis数据处理状态，并进入步骤s7；
25.s7、删除缓存gis数据，结束执行资源共享服务模板。
26.本发明的有益效果是：通过对分布式存储库数据调度并构建资源共享服务模块，实现对数据的质检与入库，且每类数据对应一个数据源，每一个图层对应一个数据集，质检速度快，入库处理效率高，能够对数据源、数据集及字段信息的增删改操作，实现对数据资源的管理维护。
附图说明
27.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
28.图1为本发明的gis数据质检与入库方法流程图。
具体实施方式
29.为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
30.下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
31.在本发明的描述中，需要理解的是，术语“上”、“下”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
32.请参阅图1所示，一种面向分布式存储的gis数据质检与入库方法，具体步骤包括：
33.步骤一、将待质检和入库的gis数据格式转换，并将格式化gis数据上传至分布式存储库；
34.步骤二、将上传的不同来源的gis数据按照统一的标准和一定的质检入库规则，构建资源共享服务模块；
35.步骤三、资源共享服务模块为支持对于gis空间数据库中与图形相关的部分提供gis中间件进行访问的ogc标准服务；
36.步骤四、判断格式化gis数据是否上传成功，若是，则将生成的格式化gis数据记录至数据入库检查表，并设器处理状态为未处理，并进入步骤五，否则，格式化gis数据修整后重复步骤四；
37.步骤五、分布式计算平台处理的对象为未处理的格式化gis数据，并根据格式化gis数据对应的质检类型调用ogc标准服务执行相应的资源共享服务模块，再利用资源共享服务模块对格式化gis数据进行质检与入库处理；
38.步骤六、判断数据入库检查表内未处理的格式化gis数据是否全部处理完成，若是，则完成对格式化gis数据质检与入库的处理，否则，返回步骤五，直至未处理的格式化gis数据全部完成处理。
39.进一步地，所述步骤二具体为：
40.将上传的格式化gis数据及其对应的统一的标准和一定的质检入库规则经神经网络模型进行一一对应的映射组合，且若干个组合单位构建资源共享服务模块，完成对资源共享服务模块的构建，其中，一个组合单元对应一个资源共享服务单元。
41.进一步地，所述步骤三具体为：
42.利用云资源管理平台将构建的资源共享服务模块发布为支持paas和saas的的请求服务，并采用混合存储框架将该服务封装为标准微服务，且注册到微服务注册中心，从而将资源共享服务模块整合为支持对于gis空间数据库中与图形相关的部分提供gis中间件
进行访问的ogc标准服务。
43.进一步地，所述步骤四中数据入库检查表的信息包括：用户名、gis数据地址、gis数据上传时间、gis数据处理类型、gis数据处理状态、gis数据质检开始时间、gis数据质检结束时间、gis数据质检结果、gis数据入库开始时间、gis数据入库结束时间以及gis数据入库结果。
44.进一步地，所述gis数据处理类型，用于根据gis数据所对应的质检和入库规则生成的资源共享服务模板。
45.进一步地，所述gis数据处理状态包括：gis数据未处理、gis数据正在处理以及gis数据质检失败三种状态。
46.进一步地，所述步骤五中利用资源共享服务模块对数据进行质检与入库处理，其具体为：
47.s1、向数据入库检查表下达获取待质检与入库的gis数据需求任务，云资源管理平台对此处于正在处理状态；
48.s2、数据入库检查表中gis数据文件信息，从分布式存储库中自动缓存gis数据至执行资源共享服务模块所在服务器的本地临时目录；
49.s3、利用资源共享服务模块所匹配的一个资源共享服务模板对缓存数据包进行质检，并判断所述缓存数据是否通过质检，若是，则进入步骤s4，否则，进入步骤s6；
50.s4、向数据入库检查表中记录质检结果，并更新数据包处理状态，并根据ogc标准服务利用资源共享服务模板对缓存数据包进行入库处理；
51.s5、判断是否完成入库处理，若是，则记录入库信息，并进入步骤s7，否则，记录入库错误信息，进入步骤s7；
52.s6、向数据入库检查表中记录质检错误信息，更新gis数据处理状态，并进入步骤s7；
53.s7、删除缓存gis数据，结束执行资源共享服务模板。
54.该发明的有益之处在于：通过对分布式存储库数据调度并构建资源共享服务模块，实现对数据的质检与入库，且每类数据对应一个数据源，每一个图层对应一个数据集，质检速度快，入库处理效率高，能够对数据源、数据集及字段信息的增删改操作，实现对数据资源的管理维护。
55.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的得同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
56.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种面向分布式存储的gis数据质检与入库方法，其特征在于：具体步骤包括：步骤一、将待质检和入库的gis数据格式转换，并将格式化gis数据上传至分布式存储库；步骤二、将上传的不同来源的gis数据按照统一的标准和一定的质检入库规则，构建资源共享服务模块；步骤三、资源共享服务模块为支持对于gis空间数据库中与图形相关的部分提供gis中间件进行访问的ogc标准服务；步骤四、判断格式化gis数据是否上传成功，若是，则将生成的格式化gis数据记录至数据入库检查表，并设器处理状态为未处理，并进入步骤五，否则，格式化gis数据修整后重复步骤四；步骤五、分布式计算平台处理的对象为未处理的格式化gis数据，并根据格式化gis数据对应的质检类型调用ogc标准服务执行相应的资源共享服务模块，再利用资源共享服务模块对格式化gis数据进行质检与入库处理；步骤六、判断数据入库检查表内未处理的格式化gis数据是否全部处理完成，若是，则完成对格式化gis数据质检与入库的处理，否则，返回步骤五，直至未处理的格式化gis数据全部完成处理。2.根据权利要求1所述的一种面向分布式存储的gis数据质检与入库方法，其特征在于：所述步骤二具体为：将上传的格式化gis数据及其对应的统一的标准和一定的质检入库规则经神经网络模型进行一一对应的映射组合，且若干个组合单位构建资源共享服务模块，完成对资源共享服务模块的构建，其中，一个组合单元对应一个资源共享服务单元。3.根据权利要求1所述的一种面向分布式存储的gis数据质检与入库方法，其特征在于：所述步骤三具体为：利用云资源管理平台将构建的资源共享服务模块发布为支持paas和saas的的请求服务，并采用混合存储框架将该服务封装为标准微服务，且注册到微服务注册中心，从而将资源共享服务模块整合为支持对于gis空间数据库中与图形相关的部分提供gis中间件进行访问的ogc标准服务。4.根据权利要求1所述的一种面向分布式存储的gis数据质检与入库方法，其特征在于：所述步骤四中数据入库检查表的信息包括：用户名、gis数据地址、gis数据上传时间、gis数据处理类型、gis数据处理状态、gis数据质检开始时间、gis数据质检结束时间、gis数据质检结果、gis数据入库开始时间、gis数据入库结束时间以及gis数据入库结果。5.根据权利要求4所述的一种面向分布式存储的gis数据质检与入库方法，其特征在于：所述gis数据处理类型，用于根据gis数据所对应的质检和入库规则生成的资源共享服务模板。6.根据权利要求4所述的一种面向分布式存储的gis数据质检与入库方法，其特征在于：所述gis数据处理状态包括：gis数据未处理、gis数据正在处理以及gis数据质检失败三种状态。7.根据权利要求1所述的一种面向分布式存储的gis数据质检与入库方法，其特征在于：所述步骤五中利用资源共享服务模块对数据进行质检与入库处理，其具体为：
s1、向数据入库检查表下达获取待质检与入库的gis数据需求任务，云资源管理平台对此处于正在处理状态；s2、数据入库检查表中gis数据文件信息，从分布式存储库中自动缓存gis数据至执行资源共享服务模块所在服务器的本地临时目录；s3、利用资源共享服务模块所匹配的一个资源共享服务模板对缓存数据包进行质检，并判断所述缓存数据是否通过质检，若是，则进入步骤s4，否则，进入步骤s6；s4、向数据入库检查表中记录质检结果，并更新数据包处理状态，并根据ogc标准服务利用资源共享服务模板对缓存数据包进行入库处理；s5、判断是否完成入库处理，若是，则记录入库信息，并进入步骤s7，否则，记录入库错误信息，进入步骤s7；s6、向数据入库检查表中记录质检错误信息，更新gis数据处理状态，并进入步骤s7；s7、删除缓存gis数据，结束执行资源共享服务模板。

技术总结
本发明公开了一种面向分布式存储的GIS数据质检与入库方法，包括将格式化GIS数据上传至分布式存储库；构建资源共享服务模块；资源共享服务模块；判断格式化GIS数据是否上传成功；利用资源共享服务模块对格式化GIS数据进行质检与入库处理；判断数据入库检查表内未处理的格式化GIS数据是否全部处理完成。本发明的有益之处在于：通过对分布式存储库数据调度并构建资源共享服务模块，实现对数据的质检与入库，且每类数据对应一个数据源，每一个图层对应一个数据集，质检速度快，入库处理效率高，能够对数据源、数据集及字段信息的增删改操作，实现对数据资源的管理维护。实现对数据资源的管理维护。实现对数据资源的管理维护。


技术研发人员：兰代兵 章天奇 郭迎钢 刘旭 胡跃 高天璐 孙振航 张淼 成雨萌 秦静
受保护的技术使用者：西北核技术研究所
技术研发日：2023.04.28
技术公布日：2023/7/18