分布式文件系统的数据查询方法、装置、设备及介质与流程

1.本发明涉及数据处理技术领域，尤其涉及一种分布式文件系统的数据查询方法、装置、设备及介质。


背景技术：

2.alluxio是以内存为中心的虚拟的分布式文件系统。它统一了数据访问的方式，为上层计算框架和底层存储系统构建了桥梁。应用只需要连接alluxio即可访问存储在底层任意存储系统中的数据。此外，alluxio以内存为中心的架构使得数据的访问速度能比常规方案快几个数量级。
3.alluxio底层数据采用列模式存在，在查询alluxio数据时，上层计算框架比如spark计算引擎最开始只能获取到数据存放路径，不能直接获取到对应数据。此时，需要人工根据数据存放路径获取对应数据，数据查询效率较低。


技术实现要素：

4.本发明提供一种分布式文件系统的数据查询方法、装置、设备及介质，用以解决目前需要人工根据数据存放路径获取对应数据，导致数据查询效率较低的问题。
5.本发明第一方面提供一种分布式文件系统的数据查询方法，包括：
6.获取用户终端发送的数据查询信息；
7.对所述数据查询信息进行语义解析，以生成对应文件查询信息；
8.根据所述文件查询信息从分布式文件系统中确定匹配的目标文件；
9.输出所述目标文件至用户终端。
10.进一步地，如上所述的方法，所述数据查询信息的数据格式为结构化查询语言sql；
11.所述对所述数据查询信息进行语义解析，以生成对应文件查询信息，包括：
12.对所述数据查询信息进行sql解析，以识别所述数据查询信息的语义；
13.根据所述数据查询信息的语义确定需查询的目标数据；
14.根据所述目标数据生成对应文件查询信息；所述文件查询信息的数据格式与分布式文件系统相匹配。
15.进一步地，如上所述的方法，所述根据所述文件查询信息从分布式文件系统中确定匹配的目标文件，包括：
16.根据所述文件查询信息从分布式文件系统中确定目标文件的存储位置；
17.根据所述存储位置确定匹配的目标文件。
18.进一步地，如上所述的方法，所述根据所述存储位置确定匹配的目标文件，包括：
19.根据所述存储位置生成对应临时表；所述临时表用于建立所述存储位置与分布式文件系统中目标文件的连接；
20.根据所述临时表从分布式文件系统中查询所述目标文件。
21.进一步地，如上所述的方法，所述输出所述目标文件至用户终端，包括：
22.采用spark计算引擎将所述目标文件输出至用户终端。
23.进一步地，如上所述的方法，所述根据所述文件查询信息从分布式文件系统中确定匹配的目标文件之后，还包括：
24.根据所述文件查询信息从所述目标文件中确定匹配的数据；所述目标文件包括与预设存储数据类别相关的数据；所述预设存储数据类别与所述目标文件相匹配；
25.根据所述匹配的数据生成新的文件；
26.所述输出所述目标文件至用户终端，包括：
27.输出所述新的文件至用户终端。
28.进一步地，如上所述的方法，所述根据所述文件查询信息从分布式文件系统中确定匹配的目标文件之后，还包括：
29.根据所述文件查询信息从所述目标文件中确定匹配的数据；所述目标文件包括与预设存储数据类别相关的数据；所述预设存储数据类别与所述目标文件相匹配；
30.将所述匹配的数据存入与分布式文件系统匹配的读写数据库中；
31.所述输出所述目标文件至用户终端，包括：
32.从所述读写数据库中获取所述匹配的数据；
33.输出所述匹配的数据至用户终端。
34.本发明第二方面提供一种分布式文件系统的数据查询装置，包括：
35.获取模块，用于获取用户终端发送的数据查询信息；
36.生成模块，用于对所述数据查询信息进行语义解析，以生成对应文件查询信息；
37.确定模块，用于根据所述文件查询信息从分布式文件系统中确定匹配的目标文件；
38.输出模块，用于输出所述目标文件至用户终端。
39.进一步地，如上所述的装置，所述数据查询信息的数据格式为结构化查询语言sql；
40.所述生成模块具体用于：
41.对所述数据查询信息进行sql解析，以识别所述数据查询信息的语义；根据所述数据查询信息的语义确定需查询的目标数据；根据所述目标数据生成对应文件查询信息；所述文件查询信息的数据格式与分布式文件系统相匹配。
42.进一步地，如上所述的装置，所述确定模块具体用于：
43.根据所述文件查询信息从分布式文件系统中确定目标文件的存储位置；根据所述存储位置确定匹配的目标文件。
44.进一步地，如上所述的装置，所述确定模块在根据所述存储位置确定匹配的目标文件时，具体用于：
45.根据所述存储位置生成对应临时表；所述临时表用于建立所述存储位置与分布式文件系统中目标文件的连接；根据所述临时表从分布式文件系统中查询所述目标文件。
46.进一步地，如上所述的装置，所述输出模块具体用于：
47.采用spark计算引擎将所述目标文件输出至用户终端。
48.进一步地，如上所述的装置，所述装置还包括：
49.第一数据写入模块，用于根据所述文件查询信息从所述目标文件中确定匹配的数据；所述目标文件包括与预设存储数据类别相关的数据；所述预设存储数据类别与所述目标文件相匹配；根据所述匹配的数据生成新的文件；
50.所述输出模块，还用于：
51.输出所述新的文件至用户终端。
52.进一步地，如上所述的装置，所述装置还包括：
53.第二数据写入模块，用于根据所述文件查询信息从所述目标文件中确定匹配的数据；所述目标文件包括与预设存储数据类别相关的数据；所述预设存储数据类别与所述目标文件相匹配；；将所述匹配的数据存入与分布式文件系统匹配的读写数据库中；
54.所述输出模块，还用于：
55.从所述读写数据库中获取所述匹配的数据；输出所述匹配的数据至用户终端。
56.本发明第三方面提供一种电子设备，包括：存储器，处理器；
57.存储器；用于存储所述处理器可执行指令的存储器；
58.其中，所述处理器被配置为由所述处理器执行第一方面任一项所述的分布式文件系统的数据查询方法。
59.本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面任一项所述的分布式文件系统的数据查询方法。
60.本发明第五方面提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面任一项所述的分布式文件系统的数据查询方法。
61.本发明提供的一种分布式文件系统的数据查询方法、装置、设备及介质，该方法包括：获取用户终端发送的数据查询信息；对所述数据查询信息进行语义解析，以生成对应文件查询信息；根据所述文件查询信息从分布式文件系统中确定匹配的目标文件；输出所述目标文件至用户终端。本发明的分布式文件系统的数据查询方法，首先获取用户终端发送的数据查询信息，并对数据查询信息进行语义解析，以确定需查询的文件查询信息。然后根据文件查询信息从分布式文件系统中确定匹配的目标文件，并将所述目标文件输出至用户终端。本发明的分布式文件系统的数据查询方法不需要人工根据数据存放路径获取对应数据，以自动化的方式对分布式文件系统进行数据查询，提高了数据查询效率。
附图说明
62.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
63.图1为可以实现本发明实施例的分布式文件系统的数据查询方法的场景图；
64.图2为本发明第一实施例提供的分布式文件系统的数据查询方法的流程示意图；
65.图3为本发明第二实施例提供的分布式文件系统的数据查询方法的流程示意图；
66.图4为本发明第二实施例提供的分布式文件系统的数据查询方法的整体架构示意图；
67.图5为本发明第三实施例提供的分布式文件系统的数据查询装置的结构示意图；
68.图6为本发明第四实施例提供的电子设备的结构示意图。
69.通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
70.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
71.下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
72.为了清楚理解本技术的技术方案，首先对现有技术的方案进行详细介绍。在大数据生态系统中，alluxio是一种分布式文件系统，其介于计算框架(如spark计算引擎，mapreduce计算引擎等)和现有的存储系统(hdfs(英文全称为：hadoop distributed file system)数据库)之间。alluxio为大数据软件栈带来了显著的性能提升。用户可以以独立集群方式运行alluxio。在查询alluxio数据时，首先需要了解数据分布目录，根据数据存放路径人工注册临时表才能进行数据查询，数据查询效率较低。
73.所以针对现有技术中需要人工根据数据存放路径获取对应数据，导致数据查询效率较低的问题，发明人在研究中发现，为了解决该问题，可以构建自动化的数据查询方式，通过对用户终端发送的数据查询信息进行语义解析，自动实现对分布式文件系统进行文件查询。
74.具体的，首先获取用户终端发送的数据查询信息，并对数据查询信息进行语义解析，以确定需查询的文件查询信息。然后根据文件查询信息从分布式文件系统中确定匹配的目标文件，并将目标文件输出至用户终端。本实施例的分布式文件系统的数据查询方法不需要人工根据数据存放路径获取对应数据，以自动化的方式对分布式文件系统进行数据查询，提高了数据查询效率。
75.发明人基于上述的创造性发现，提出了本技术的技术方案。
76.下面对本发明实施例提供的分布式文件系统的数据查询方法的应用场景进行介绍。如图1所示，其中，1为电子设备，2为用户终端，3为分布式文件系统，用户终端2可以为电子设备，图中仅以移动终端来进行表示，并不限定用户终端类型，分布式文件系统3在图中以多个电子设备组成的集群进行示例性描述。本发明实施例提供的分布式文件系统的数据查询方法对应的应用场景的网络架构中包括：电子设备1、用户终端2和分布式文件系统3。分布式文件系统3中存储有各种文件。
77.在需要进行数据查询时，用户终端2发送数据查询信息至电子设备1，数据查询信息可以包括用户输入的查询语句，电子设备1对数据查询信息进行语义解析，以生成对应文件查询信息，该文件查询信息相比数据查询信息能更清楚指明需要查询的文件。同时，电子设备1根据该文件查询信息从分布式文件系统3中确定匹配的目标文件，同时，将该目标文件输出至用户终端2，以完成数据查询过程。
78.下面结合说明书附图对本发明实施例进行介绍。
79.图2为本发明第一实施例提供的分布式文件系统的数据查询方法的流程示意图，如图2所示，本实施例中，本发明实施例的执行主体为分布式文件系统的数据查询装置，该分布式文件系统的数据查询装置可以集成在电子设备中。则本实施例提供的分布式文件系统的数据查询方法包括以下几个步骤：
80.步骤s101，获取用户终端发送的数据查询信息。
81.本实施例中，数据查询信息包括用户在用户终端输入的查询语句，如搜索某天某区域的通信数据，搜索某电影，等。用户终端可以是电子设备如计算机、平板电脑等，也可以是手机等移动终端。
82.步骤s102，对数据查询信息进行语义解析，以生成对应文件查询信息。
83.本实施例中，对数据查询信息进行语义解析主要是从数据查询信息中确定需要搜索的具体数据内容，比如数据查询信息中包含的查询语句为某品牌车辆，则可以确定出需要搜索的数据内容包括某品牌车辆外观、配置信息、性能参数等数据。将语义解析后得到的需要搜索的数据内容生成对应文件查询信息。
84.步骤s103，根据文件查询信息从分布式文件系统中确定匹配的目标文件。
85.本实施例中，由于文件查询信息包括了需要搜索的数据内容，即可以从分布式文件系统中确定与之匹配的文件。分布式文件系统如alluxio是将所有数据按照文件的形式存储，每个文件中都包含对应数据。当知晓需要查询的数据内容时，即可以通过alluxio直接确定匹配的目标文件
86.步骤s104，输出目标文件至用户终端。
87.本实施例中，将确定出的目标文件输出至用户终端，以使用户终端可以根据该目标文件进行后续处理，比如进一步的数据搜索或者数据分析等。
88.本发明实施例提供的一种分布式文件系统的数据查询方法，该方法包括：获取用户终端发送的数据查询信息。对数据查询信息进行语义解析，以生成对应文件查询信息。根据文件查询信息从分布式文件系统中确定匹配的目标文件。输出目标文件至用户终端。
89.本发明的分布式文件系统的数据查询方法，首先获取用户终端发送的数据查询信息，并对数据查询信息进行语义解析，以确定需查询的文件查询信息。然后根据文件查询信息从分布式文件系统中确定匹配的目标文件，并将目标文件输出至用户终端。本发明的分布式文件系统的数据查询方法不需要人工根据数据存放路径获取对应数据，以自动化的方式对分布式文件系统进行数据查询，提高了数据查询效率。
90.图3为本发明第二实施例提供的分布式文件系统的数据查询方法的流程示意图，如图3所示，本实施例提供的分布式文件系统的数据查询方法，是在本发明上一实施例提供的分布式文件系统的数据查询方法的基础上，对各个步骤进行了进一步的细化。则本实施例提供的分布式文件系统的数据查询方法包括以下步骤。
91.本实施例中，数据查询信息的数据格式为结构化查询语言sql(英文全称为：structured query language)。
92.步骤s201，获取用户终端发送的数据查询信息。
93.本实施例中，步骤201的实现方式与本发明上一实施例中的步骤101的实现方式类似，在此不再一一赘述。
94.步骤s202，对数据查询信息进行sql解析，以识别数据查询信息的语义。
95.本实施例中，进行数据查询的人员一般使用较多的为sql语句，即结构化查询语言，由于分布式文件系统中如alluxio并不能直接识别和解析sql语句，因而，需要对数据查询信息进行sql解析，以识别数据查询信息的语义。
96.步骤s203，根据数据查询信息的语义确定需查询的目标数据。
97.本实施例中，根据数据查询信息的语义可以从数据查询信息中确定需要搜索的目标数据，比如数据查询信息中包含的查询语句为某款手机，则可以确定出需要搜索的目标数据包括手机外观、手机功能、性能参数等数据。
98.步骤s204，根据目标数据生成对应文件查询信息。文件查询信息的数据格式与分布式文件系统相匹配。
99.本实施例中，如果需要查询的目标数据包括手机外观、手机功能、性能参数等数据，则可以根据该目标数据直接生成对应的文件查询信息，该文件查询信息需要将数据格式转为与分布式文件系统相匹配的格式。比如alluxio分布式文件系统，不能解析和识别sql格式，因而，当对数据查询信息进行sql解析后，生成的文件查询信息不能是sql格式，需要进行格式转换。
100.步骤s205，根据文件查询信息从分布式文件系统中确定目标文件的存储位置。
101.本实施例中，由于分布式文件系统可以管理存储的所有文件，也能知晓所有文件的存储位置，根据文件查询信息即可以通过分布式文件系统确定目标文件的存储位置。
102.步骤s206，根据存储位置确定匹配的目标文件。
103.本实施例中，当确定出存储位置后，即可以从分布式文件系统中确定出需查询的目标文件，该步骤在现有技术中，一般是由计算框架通过分布式文件系统，层层查询最终得到目标文件，而本实施例中不再需要计算框架来执行，同时，可以直接根据存储位置确定出匹配的目标文件。
104.同时，可选的，本实施例中，根据存储位置确定匹配的目标文件可以具体为：
105.根据存储位置生成对应临时表。临时表用于建立存储位置与分布式文件系统中目标文件的连接。
106.根据临时表从分布式文件系统中查询目标文件。
107.本实施例中，通过构建与存储位置对应的临时表，可以直接根据临时表从分布式文件系统中查询目标文件，而不再需要层层查询。同时，现有技术中在分布式文件系统如alluxio反馈了文件存储位置后，需要人工的方式手动根据存储位置生成对应临时表，然后通过临时表从分布式文件系统中查询目标文件，本实施例通过自动化的方式提高了数据查询效率，也降低了用户查询门槛和难度。
108.本实施例中，临时表可以在完成数据查询后自动销毁，以避免对数据库容量的额外占用。
109.步骤s207，采用spark计算引擎将目标文件输出至用户终端。
110.本实施例中，分布式文件系统的框架如图4所示，最上一层为计算框架，一般采用spark计算引擎，spark常驻进程，可以实现用户一次链接多次查询请求，减少spark单次任务的提交时间。中间为分布式文件系统，本实施例采用alluxio，底层为各数据库，比如hdfs数据库、mysql数据库等。mysql数据库一般与alluxio并不匹配，本实施例中提供类dblink
(英文全称为：database link)即数据库连接的跨平台数据库交互操作功能，预先构建了本地数据库如hdfs数据库与其他平台的数据库如mysql数据库之间的联系，从而使alluxio也可以载入其他非本地的数据库数据。
111.当用户终端发送数据查询信息时，此时最上一层计算框架接收到该数据查询信息，并向alluxio发出查询请求，此时，本实施例的分布式文件系统的数据查询装置可以接收到该数据查询信息，并执行后续的查询流程。当在alluxio中确定出目标文件后，可以由spark计算引擎将目标文件输出至用户终端。
112.由于一般情况下，spark计算引擎导出的数据只能是全量导出，比如只能导出目标文件而不能导出目标文件中的部分数据。针对该种情况，本实施例对其进行了进一步的改进，具体实现方式如下：
113.第一种，在确定匹配的目标文件之后，根据文件查询信息从目标文件中确定匹配的数据。目标文件包括与预设存储数据类别相关的数据，该预设存储数据类别与目标文件相匹配。
114.根据匹配的数据生成新的文件。
115.输出新的文件至用户终端。
116.本实施例中，首先确定出目标文件中需要输出的部分数据，将该匹配的部分数据重新组合生成新的文件。比如目标文件是文件a，文件a预先设置了存储数据类别，则文件a中包含与预设存储数据类别对应的数据a、数据b和数据c，若匹配的数据为数据a以及数据b，则可以将数据a和数据b单独拿出来生成为一个新的文件，文件b，并将该文件b输出至用户终端。从而减少数据通道占用情况，也可以提高数据查询准确性。
117.第二种，确定匹配的目标文件之后，根据文件查询信息从目标文件中确定匹配的数据。目标文件包括与预设存储数据类别相关的数据，该预设存储数据类别与目标文件相匹配。
118.将匹配的数据存入与分布式文件系统匹配的读写数据库中。
119.从读写数据库中获取匹配的数据。
120.输出匹配的数据至用户终端。
121.本实施例中，可以预先建立与分布式文件系统匹配的读写数据库，比如hdfs数据库，也可以是预先构建关联的非本地数据库如其他平台的mysql数据库、gp(英文全称为：greenplum)数据库等，为跨平台数据载入、数据导出提供了极大的便利。
122.然后将确定出的目标文件中匹配的数据存入读写数据库中，以从该读写数据库中获取匹配的数据。从而使最终输出至用户终端的数据是查询所需的所有数据，而不是臃肿的文件。
123.图5为本发明第三实施例提供的分布式文件系统的数据查询装置的结构示意图，如图5所示，本实施例中，该分布式文件系统的数据查询装置300包括：
124.获取模块301，用于获取用户终端发送的数据查询信息。
125.生成模块302，用于对数据查询信息进行语义解析，以生成对应文件查询信息。
126.确定模块303，用于根据文件查询信息从分布式文件系统中确定匹配的目标文件。
127.输出模块304，用于输出目标文件至用户终端。
128.本实施例提供的分布式文件系统的数据查询装置可以执行图2所示方法实施例的
技术方案，其实现原理和技术效果与图2所示方法实施例类似，在此不再一一赘述。
129.同时，本发明提供的分布式文件系统的数据查询装置在上一实施例提供的分布式文件系统的数据查询装置的基础上，对分布式文件系统的数据查询装置进行了进一步的细化。
130.可选的，本实施例中，数据查询信息的数据格式为结构化查询语言sql。
131.生成模块302具体用于：
132.对数据查询信息进行sql解析，以识别数据查询信息的语义。根据数据查询信息的语义确定需查询的目标数据。根据目标数据生成对应文件查询信息。文件查询信息的数据格式与分布式文件系统相匹配。
133.可选的，本实施例中，确定模块303具体用于：
134.根据文件查询信息从分布式文件系统中确定目标文件的存储位置。根据存储位置确定匹配的目标文件。
135.可选的，本实施例中，确定模块303在根据存储位置确定匹配的目标文件时，具体用于：
136.根据存储位置生成对应临时表。临时表用于建立存储位置与分布式文件系统中目标文件的连接。根据临时表从分布式文件系统中查询目标文件。
137.可选的，本实施例中，输出模块304具体用于：
138.采用spark计算引擎将目标文件输出至用户终端。
139.可选的，本实施例中，分布式文件系统的数据查询装置300还包括：
140.第一数据写入模块，用于根据文件查询信息从目标文件中确定匹配的数据。目标文件包括与预设存储数据类别相关的数据，预设存储数据类别与目标文件相匹配。根据匹配的数据生成新的文件。
141.输出模块304，还用于：
142.输出新的文件至用户终端。
143.可选的，本实施例中，分布式文件系统的数据查询装置300还包括：
144.第二数据写入模块，用于根据文件查询信息从目标文件中确定匹配的数据。目标文件包括与预设存储数据类别相关的数据，预设存储数据类别与目标文件相匹配。将匹配的数据存入与分布式文件系统匹配的读写数据库中。
145.输出模块304，还用于：
146.从读写数据库中获取匹配的数据。输出匹配的数据至用户终端。
147.本实施例提供的分布式文件系统的数据查询装置可以执行图2-图4所示方法实施例的技术方案，其实现原理和技术效果与图2-图4所示方法实施例类似，在此不再一一赘述。
148.根据本发明的实施例，本发明还提供了一种电子设备、一种计算机可读存储介质和一种计算机程序产品。
149.如图6所示，图6是本发明第四实施例提供的电子设备的结构示意图。电子设备旨在各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的
实现。
150.如图6所示，该电子设备包括：处理器401、存储器402。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理。
151.存储器402即为本发明所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本发明所提供的分布式文件系统的数据查询方法。本发明的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本发明所提供的分布式文件系统的数据查询方法。
152.存储器402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本发明实施例中的分布式文件系统的数据查询方法对应的程序指令/模块(例如，附图5所示的获取模块301、生成模块302、确定模块303和输出模块304)。处理器401通过运行存储在存储器402中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的分布式文件系统的数据查询方法。
153.同时，本实施例还提供一种计算机产品，当该计算机产品中的指令由电子设备的处理器执行时，使得电子设备能够执行上述实施例一至二的分布式文件系统的数据查询方法。
154.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明实施例的其它实施方案。本发明旨在涵盖本发明实施例的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明实施例的一般性原理并包括本发明实施例未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明实施例的真正范围和精神由下面的权利要求书指出。
155.应当理解的是，本发明实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明实施例的范围仅由所附的权利要求书来限制。

技术特征：
1.一种分布式文件系统的数据查询方法，其特征在于，包括：获取用户终端发送的数据查询信息；对所述数据查询信息进行语义解析，以生成对应文件查询信息；根据所述文件查询信息从分布式文件系统中确定匹配的目标文件；输出所述目标文件至用户终端。2.根据权利要求1所述的方法，其特征在于，所述数据查询信息的数据格式为结构化查询语言sql；所述对所述数据查询信息进行语义解析，以生成对应文件查询信息，包括：对所述数据查询信息进行sql解析，以识别所述数据查询信息的语义；根据所述数据查询信息的语义确定需查询的目标数据；根据所述目标数据生成对应文件查询信息；所述文件查询信息的数据格式与分布式文件系统相匹配。3.根据权利要求1所述的方法，其特征在于，所述根据所述文件查询信息从分布式文件系统中确定匹配的目标文件，包括：根据所述文件查询信息从分布式文件系统中确定目标文件的存储位置；根据所述存储位置确定匹配的目标文件。4.根据权利要求3所述的方法，其特征在于，所述根据所述存储位置确定匹配的目标文件，包括：根据所述存储位置生成对应临时表；所述临时表用于建立所述存储位置与分布式文件系统中目标文件的连接；根据所述临时表从分布式文件系统中查询所述目标文件。5.根据权利要求1所述的方法，其特征在于，所述输出所述目标文件至用户终端，包括：采用spark计算引擎将所述目标文件输出至用户终端。6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述文件查询信息从分布式文件系统中确定匹配的目标文件之后，还包括：根据所述文件查询信息从所述目标文件中确定匹配的数据；所述目标文件包括与预设存储数据类别相关的数据；所述预设存储数据类别与所述目标文件相匹配；根据所述匹配的数据生成新的文件；所述输出所述目标文件至用户终端，包括：输出所述新的文件至用户终端。7.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述文件查询信息从分布式文件系统中确定匹配的目标文件之后，还包括：根据所述文件查询信息从所述目标文件中确定匹配的数据；所述目标文件包括与预设存储数据类别相关的数据；所述预设存储数据类别与所述目标文件相匹配；将所述匹配的数据存入与分布式文件系统匹配的读写数据库中；所述输出所述目标文件至用户终端，包括：从所述读写数据库中获取所述匹配的数据；输出所述匹配的数据至用户终端。8.一种分布式文件系统的数据查询装置，其特征在于，包括：
获取模块，用于获取用户终端发送的数据查询信息；生成模块，用于对所述数据查询信息进行语义解析，以生成对应文件查询信息；确定模块，用于根据所述文件查询信息从分布式文件系统中确定匹配的目标文件；输出模块，用于输出所述目标文件至用户终端。9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至7任一项所述的分布式文件系统的数据查询方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的分布式文件系统的数据查询方法。

技术总结
本发明提供一种分布式文件系统的数据查询方法、装置、设备及介质，该方法包括：获取用户终端发送的数据查询信息；对数据查询信息进行语义解析，以生成对应文件查询信息；根据文件查询信息从分布式文件系统中确定匹配的目标文件；输出目标文件至用户终端。本发明的方法，首先获取用户终端发送的数据查询信息，并对数据查询信息进行语义解析，以确定需查询的文件查询信息。然后根据文件查询信息从分布式文件系统中确定匹配的目标文件，并将目标文件输出至用户终端。本发明的方法不需要人工根据数据存放路径获取对应数据，以自动化的方式对分布式文件系统进行数据查询，提高了数据查询效率。效率。效率。


技术研发人员：冯启行 丛新法 徐茂红 丁博 蒋广军 张义东 周洋 朱涛
受保护的技术使用者：中国联合网络通信集团有限公司
技术研发日：2022.01.26
技术公布日：2023/8/4