一种图层数据聚合查询方法及装置与流程

1.本发明涉及数据库技术领域，具体提供一种图层数据聚合查询方法及装置。


背景技术：

2.在智慧城市建设中，通常需要对各种城市资源的分布、使用情况和运行状态等信息进行实时监控和分析。其中，涉及到的数据类型非常多，包括但不限于综治事件、建筑设施、工程项目、两客一危等。而这些数据中很多都包含有地理位置信息，因此需要对这些数据进行地理信息的存储、查询和可视化展示。
3.传统的方法往往需要使用gis等地理信息系统来完成数据的处理和展示，但是这种方法通常需要复杂的数据处理和昂贵的软硬件设备，成本较高且使用复杂。


技术实现要素：

4.本发明是针对上述现有技术的不足，提供一种实用性强的图层数据聚合查询方法。
5.本发明进一步的技术任务是提供一种设计合理，安全适用的图层数据聚合查询装置。
6.本发明解决其技术问题所采用的技术方案是：
7.一种图层数据聚合查询方法，首先跨数据源查询数据库表的信息，然后提供可视化配置方法，将不同数据源的数据表存放在配置表中，提供自定义图层名称、图标、展示字段配置以及数据增删改查功能；
8.基于已完成的配置，将数据库数据同步到elasticsearch，同时采用定时任务保证数据实时性；
9.根据用户操作返回聚合或者不聚合、在某一范围内的图层信息和经纬度信息。
10.进一步的，跨数据源查询数据库表的信息中，通过jdbc技术，连接到指定的数据源，根据数据库的类型选择对应的数据库表数据查询方法，在对应的数据源中执行查询语句，获取到所述数据源下的所有数据库表、数据库视图列表。
11.进一步的，将所述数据库视图列表提供给用户进行查看，根据用户选择的数据库表名称，执行数据库表信息查询语句，获取指定的数据库表的注释、包含数据量、最近更新时间、数据库表注释、表字段名称、表字段类型、表字段长度、表字段是否允许为空、表字段注释信息以及表主键信息；
12.查询到的数据库信息记录到系统中，用于在后续实施例中提供给用户查看。
13.进一步的，将不同数据源的数据表存放在配置表中，获取到的数据表信息后，以可视化的界面信息提供给用户进行数据库选择，同时提供给用户数据库表关联关系的可视化选择页面；
14.用户在完成选择后，根据用户选择的数据，进行数据库的查询操作，校验是否能查询到数据，并展示查询到的结果数据作为图层数据，用户基于结果数据填写完成完整的图
层信息，并保存该配置到系统中，同时设置图层的定时同步时间，且图层信息的配置将用于后续的实施例中使用。
15.进一步的，保存的图层配置信息，连接配置中的数据库，同时基于分页查询逻辑，查询数据表中的数据；
16.根据配置中对字段的定义，将对应的经度字段、纬度字段数据计算得到对应的geojson格式，将转换后的数据附带名称字段存储到elasticsearch的索引中；
17.通过图层配置中的定时任务时间，定时执行以上步骤，保证在elasticsearch中为最新数据。
18.进一步的，在根据用户操作返回聚合或者不聚合、在某一范围内的图层信息和经纬度信息中，具体步骤为：
19.(1)接受请求；
20.(2)解析请求参数；
21.(3)构建elasticsearch查询条件；
22.(4)执行聚合操作；
23.(5)返回结果。
24.进一步的，在步骤(1)中，提供接口，接收用户传来的查询请求，包括查询类型、查询参数以及聚合参数；
25.在步骤(2)中，接收到请求后，解析传入的查询参数和聚合参数，获取查询类型和查询范围，以及需要聚合的字段和聚合方式；
26.在步骤(3)中，根据查询类型和查询范围构建elasticsearch查询条件，使用elasticsearch的地理位置查询功能过滤出符合条件的数据；
27.在步骤(4)中，根据传入的聚合参数，在查询结果集中执行聚合操作，根据聚合方式生成聚合结果数据；
28.在步骤(5)中，将查询结果和聚合结果以json格式返回，供用户展示和分析。
29.一种图层数据聚合查询装置，包括：至少一个存储器和至少一个处理器；
30.所述至少一个存储器，用于存储机器可读程序；
31.所述至少一个处理器，用于调用所述机器可读程序，执行一种图层数据聚合查询方法。
32.本发明的一种图层数据聚合查询方法及装置和现有技术相比，具有以下突出的有益效果：
33.本发明提供的技术方案可以满足智慧城市大屏可视化等业务系统的数据展示需求，提升数据查询效率，改善用户体验，同时提高系统稳定性和可用性。
34.(1)可以满足业务需求：可以满足智慧城市大屏可视化等业务系统对于地理位置相关的数据展示需求。通过在配置页面动态配置数据表字段信息，系统管理员可以方便地配置多个数据源并展示多种类型的数据，如设备分布、项目分布、重点监管车辆分布等。
35.(2)提升数据查询效率：通过将部分数据存储到elasticsearch中，并利用其强大的空间查询能力，可以快速查询指定位置周边的数据，提高数据查询效率。同时，通过定时任务方式进行数据同步，可以实时将数据同步到elasticsearch中，保证数据的准确性和实时性。
36.(3)改善用户体验：本专利提供的技术方案可以通过可视化页面进行数据表字段的配置，方便用户快速查看需要的数据。同时，通过聚合展示方式，可以直观地展示大量的数据，帮助用户更快速地理解数据趋势和关联关系，提升用户体验。
37.(4)提高系统稳定性：通过将数据存储到mysql和elasticsearch中，可以实现数据的多副本备份和容灾处理，提高系统的稳定性和可用性。
附图说明
38.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.附图1是一种图层数据聚合查询方法中跨数据源查询数据库表的信息示意图；
40.附图2是一种图层数据聚合查询方法中可视化配置示意图；
41.附图3是一种图层数据聚合查询方法中将数据库数据同步到elasticsearch示意图；
42.附图4是一种图层数据聚合查询方法中返回图层信息示意图。
具体实施方式
43.为了使本技术领域的人员更好的理解本发明的方案，下面结合具体的实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
44.下面给出一个最佳实施例：
45.本实施例中的一种图层数据聚合查询方法，首先跨数据源查询数据库表的信息，其中数据库表的信息包括数据库表的注释、包含数据量、最近更新时间、数据库表注释、表字段名称、表字段类型、表字段长度、表字段是否允许为空、表字段注释信息以及表主键信息；
46.然后提供可视化配置方法，将不同数据源的数据表存放在配置表中，提供自定义图层名称、图标、展示字段配置以及数据增删改查功能；
47.基于已完成的配置，将数据库数据同步到elasticsearch，同时采用定时任务保证数据实时性；
48.根据用户操作返回聚合或者不聚合、在某一范围内的图层信息和经纬度信息。
49.如图1所示，其中，跨数据源查询数据库表的信息中，通过jdbc(java database connectivity，数据库连接)技术，连接到指定的数据源，根据数据库的类型选择对应的数据库表数据查询方法，在对应的数据源中执行查询语句，获取到所述数据源下的所有数据库表、数据库视图列表。
50.将列表提供给用户进行查看，根据用户选择的数据库表名称，执行数据库表信息查询语句，获取指定的数据库表的注释、包含数据量、最近更新时间、数据库表注释、表字段名称、表字段类型、表字段长度、表字段是否允许为空、表字段注释信息以及表主键信息；
51.将查询到的数据库信息记录到系统中，用于在后续实施例中提供给用户查看。
52.如图2所示，将不同数据源的数据表存放在配置表中，提供自定义图层名称、图标、展示字段配置以及数据增删改查功能。适用于提供给用户可视化的数据库查询方式，并根据查询结果生成对应的图层配置信息，一方面降低使用门槛，让对数据库信息和数据库相关操作了解较少的用户依然可以根据可视化页面进行图层信息添加。
53.另外一方面也提供了自定义配置，用户可根据需求随时修改变更图层显示的方式和内容。
54.具体操作如下：
55.将不同数据源的数据表存放在配置表中，获取到的数据表信息后，以可视化的界面信息提供给用户进行数据库选择，同时提供给用户数据库表关联关系的可视化选择页面；
56.用户在完成选择后，系统根据用户选择的数据，进行数据库的查询操作，校验是否能查询到数据，并展示查询到的结果数据作为图层数据，用户基于结果数据填写完成完整的图层信息，包括名称对应的字段、经度对应的字段、纬度对应的字段、图层的图标信息以及每个字段是否用于展示，并保存该配置到系统中，同时设置该图层的定时同步时间。
57.该图层信息的配置将用于后续的实施例中使用。
58.如图3所示，基于已完成的配置将数据库数据同步到elasticsearch的示意图，同时采用定时任务保证数据实时性。该方法适用于提供给用户基于elasticsearch的特性的空间查询、聚合功能，并将数据进行多份存储进行容灾处理，基于定时任务定时同步，提供用户最新数据展示，减少用户手工同步的次数。
59.具体操作如下：
60.(1)保存的图层配置信息，连接配置中的数据库，同时基于分页查询逻辑，查询数据表中的数据；
61.(2)根据配置中对字段的定义，将对应的经度字段、纬度字段数据计算得到对应的geojson格式，将转换后的数据附带名称字段存储到elasticsearch的索引中。
62.(3)通过图层配置中的定时任务时间，定时执行上面2个步骤，保证在elasticsearch中为最新数据。
63.如图4所示，根据用户需求返回聚合或者不聚合、在某一范围内的图层信息和经纬度信息。该方法适用于在gis地图服务中提供图层数据展示、图层点位聚合、划定范围查询点位等功能。通过灵活的接口，根据用户需要传入不同的参数，基于elasticsearch的空间查询能力返回所需要的展示的数据，能够灵活的嵌入到各类业务系统中。
64.具体操作如下：
65.(1)接受请求；
66.提供接口，接收用户传来的查询请求，包括查询类型(点、半径或多边形)、查询参数(如经纬度、半径、多边形坐标等)以及聚合参数(如对哪些字段进行聚合、聚合方式等)。
67.(2)解析请求参数；
68.接收到请求后，解析传入的查询参数和聚合参数，获取查询类型和查询范围(如点坐标和半径或多边形的坐标点)，以及需要聚合的字段和聚合方式。
69.(3)构建elasticsearch查询条件；
70.根据查询类型和查询范围构建elasticsearch查询条件，使用elasticsearch的地理位置查询功能过滤出符合条件的数据。
71.(4)执行聚合操作；
72.根据传入的聚合参数，在查询结果集中执行聚合操作，包括统计字段值总数、计算平均值、求最大值最小值等，根据聚合方式生成聚合结果数据。
73.(5)返回结果；
74.将查询结果和聚合结果以json格式返回，供用户展示和分析。
75.基于上述方法，本实施例中的一种图层数据聚合查询装置，包括：至少一个存储器和至少一个处理器；
76.所述至少一个存储器，用于存储机器可读程序；
77.所述至少一个处理器，用于调用所述机器可读程序，执行一种图层数据聚合查询方法。
78.上述具体的实施方式仅是本发明具体的个案，本发明的专利保护范围包括但不限于上述具体的实施方式，任何符合本发明的一种图层数据聚合查询方法及装置权利要求书的且任何所述技术领域普通技术人员对其做出的适当变化或者替换，皆应落入本发明的专利保护范围。
79.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种图层数据聚合查询方法，其特征在于，首先跨数据源查询数据库表的信息，然后提供可视化配置方法，将不同数据源的数据表存放在配置表中，提供自定义图层名称、图标、展示字段配置以及数据增删改查功能；基于已完成的配置，将数据库数据同步到elasticsearch，同时采用定时任务保证数据实时性；根据用户操作返回聚合或者不聚合、在某一范围内的图层信息和经纬度信息。2.根据权利要求1所述的一种图层数据聚合查询方法，其特征在于，跨数据源查询数据库表的信息中，通过jdbc技术，连接到指定的数据源，根据数据库的类型选择对应的数据库表数据查询方法，在对应的数据源中执行查询语句，获取到所述数据源下的所有数据库表、数据库视图列表。3.根据权利要求2所述的一种图层数据聚合查询方法，其特征在于，将所述数据库视图列表提供给用户进行查看，根据用户选择的数据库表名称，执行数据库表信息查询语句，获取指定的数据库表的注释、包含数据量、最近更新时间、数据库表注释、表字段名称、表字段类型、表字段长度、表字段是否允许为空、表字段注释信息以及表主键信息；查询到的数据库信息记录到系统中，用于在后续实施例中提供给用户查看。4.根据权利要求3所述的一种图层数据聚合查询方法，其特征在于，将不同数据源的数据表存放在配置表中，获取到的数据表信息后，以可视化的界面信息提供给用户进行数据库选择，同时提供给用户数据库表关联关系的可视化选择页面；用户在完成选择后，根据用户选择的数据，进行数据库的查询操作，校验是否能查询到数据，并展示查询到的结果数据作为图层数据，用户基于结果数据填写完成完整的图层信息，并保存该配置到系统中，同时设置图层的定时同步时间，且图层信息的配置将用于后续的实施例中使用。5.根据权利要求4所述的一种图层数据聚合查询方法，其特征在于，保存的图层配置信息，连接配置中的数据库，同时基于分页查询逻辑，查询数据表中的数据；根据配置中对字段的定义，将对应的经度字段、纬度字段数据计算得到对应的geojson格式，将转换后的数据附带名称字段存储到elasticsearch的索引中；通过图层配置中的定时任务时间，定时执行以上步骤，保证在elasticsearch中为最新数据。6.根据权利要求5所述的一种图层数据聚合查询方法，其特征在于，在根据用户操作返回聚合或者不聚合、在某一范围内的图层信息和经纬度信息中，具体步骤为：(1)接受请求；(2)解析请求参数；(3)构建elasticsearch查询条件；(4)执行聚合操作；(5)返回结果。7.根据权利要求6所述的一种图层数据聚合查询方法，其特征在于，在步骤(1)中，提供接口，接收用户传来的查询请求，包括查询类型、查询参数以及聚合参数；在步骤(2)中，接收到请求后，解析传入的查询参数和聚合参数，获取查询类型和查询范围，以及需要聚合的字段和聚合方式；
在步骤(3)中，根据查询类型和查询范围构建elasticsearch查询条件，使用elasticsearch的地理位置查询功能过滤出符合条件的数据；在步骤(4)中，根据传入的聚合参数，在查询结果集中执行聚合操作，根据聚合方式生成聚合结果数据；在步骤(5)中，将查询结果和聚合结果以json格式返回，供用户展示和分析。8.一种图层数据聚合查询装置，其特征在于，包括：至少一个存储器和至少一个处理器；所述至少一个存储器，用于存储机器可读程序；所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至7中任一所述的方法。

技术总结
本发明涉及数据库技术领域，具体提供了一种图层数据聚合查询方法及装置，首先跨数据源查询数据库表的信息，然后提供可视化配置方法，将不同数据源的数据表存放在配置表中，提供自定义图层名称、图标、展示字段配置以及数据增删改查功能；基于已完成的配置，将数据库数据同步到Elasticsearch，同时采用定时任务保证数据实时性；根据用户操作返回聚合或者不聚合、在某一范围内的图层信息和经纬度信息。与现有技术相比，本发明可以满足智慧城市大屏可视化等业务系统的数据展示需求，提升数据查询效率，改善用户体验，同时提高系统稳定性和可用性。可用性。可用性。


技术研发人员：周政 白玉坤
受保护的技术使用者：山东浪潮新基建科技有限公司
技术研发日：2023.05.11
技术公布日：2023/8/14