一种大规模知识图谱数据存储器的制作方法
未命名
09-22
阅读:110
评论:0
1.本发明涉及数据存储器技术领域,具体为一种大规模知识图谱数据存储器。
背景技术:
2.数据存储器也叫内存或记忆体,主要用于存放供执行的指令,计算或处理的原始数据、中间结果等信息;知识图谱是显示知识发展进程与结构关系的一系列各种不同的图形,能够用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。现有知识图谱的储存需要使用到数据存储器。
3.现有知识图谱数据储存器存在共享性,在用户使用时可以检索到任何已获取的数据内容,而其中一些数据内容的隐私性和安全性难以判断,也会被用户直接检索到,从而会引发技术和法律问题,同时在一堆海量数据的图谱里,信息过多易使用户感到困惑,也占用较大空间,信息少会导致分析不出有用的结果,数据储存器也无法对自身的储存状态进行实时检测,难以及时清除无效节点,占用空间大,对于已清除的节点则缺乏备份,若出现误清除则难以恢复。
4.为此,我们研发出了新的一种大规模知识图谱数据存储器。
技术实现要素:
5.(一)解决的技术问题
6.针对现有技术的不足,本发明提供了一种大规模知识图谱数据存储器,解决了现有隐私性和安全性难以判断、信息过多易使用户感到困惑,也占用较大空间,信息少会导致分析不出有用的结果以及难以及时清除无效节点的问题。
7.(二)技术方案
8.为实现以上目的,本发明通过以下技术方案予以实现:一种大规模知识图谱数据存储器,包括处理器,所述处理器的连接端电连接有读写,所述处理器的连接端电连接有elasticsearch,所述elasticsearch的连接端电连接有触控显示器,所述处理器的连接端电连接有数据分析单元,所述数据分析单元的连接端电连接有转换适配器,所述转换适配器的连接端电连接有储存器,所述处理器的连接端电连接有数据监测单元,所述处理器的连接端电连接有备份单元。
9.优选的,所述数据监测单元包括定期清理模块、剩余空间监测模块以及无效节点监测模块。
10.优选的,所述备份单元包括基础备份模块、加密备份模块、压缩模块以及压缩数据备份模块。
11.优选的,所述基础备份模块、加密备份模块和压缩数据备份模块均包括自动清理模块,使得备份文件为缓冲文件,存储一定时间后可以自动清理。
12.优选的,所述储存器包括密钥模块、密钥数据模块和基础储存模块。
13.优选的,所述密钥数据模块和基础储存模块均电连接有扩展模块。
14.优选的,读写包括有线读写和无线读写,所述有线读写包括usb、rs485、rs232、以太网和tcp/ip接口,所述无线读写包括蓝牙、wifi、gprs和4g/5g。
15.优选的,所述数据分析单元由相关信息进行区分加密数据和普通数据,所述相关信息包括关键词信息和图片信息。
16.优选的,所述适配器包括数据转换适配器和数据访问适配器。
17.(三)有益效果
18.本发明提供了一种大规模知识图谱数据存储器。具备以下有益效果:
19.1、该大规模知识图谱数据存储器,通过设置的数据分析单元、转换适配器、密钥模块、密钥数据模块和基础数据模块,可以对敏感词汇和敏感图片进行加密处理,避免被所有用户直接检索到,保证了数据的隐私性和安全性,从而避免引发技术和法律问题。
20.2、该大规模知识图谱数据存储器,通过设置的elasticsearch实时同步数据,保证数据更新的实时性,保证检索的信息量,同时数据监测单元,可以对无用数据和边缘数据进行删除清理,避免占用储存器的空间,同时简洁查询的数据,精简信息,有利于用户分析出有用的结果,而备份单元,可以将数据备份,避免断电丢失或误删除丢失。
附图说明
21.图1为本发明的知识图谱数据存储器结构图。
22.图2为本发明的知识图谱检索流程图。
具体实施方式
23.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
24.如图1所示,本发明实施例提供一种大规模知识图谱数据存储器,包括处理器,处理器的连接端电连接有读写,处理器的连接端电连接有elasticsearch,elasticsearch的连接端电连接有触控显示器,处理器的连接端电连接有数据分析单元,数据分析单元的连接端电连接有转换适配器,转换适配器的连接端电连接有储存器,处理器的连接端电连接有数据监测单元,处理器的连接端电连接有备份单元。
25.首先通过读写输入数据,数据进入处理器后被输送至数据分析单元中,通过数据分析单元进行分析,从而判断出数据是否需要加密,然后通过适配器储存在储存器中,数据检测单元通过处理器读取储存器内的数据,从而进行实时检测,而备份单元可以对储存器内的清理的数据进行短暂备份,避免断电等意外情况导致数据丢失;
26.其中由于图谱的查询存在一些分词模糊,触控显示器内的数据库难以满足查询需要,则可以通过elasticsearch来承载这部分需求,每天会将图数据库数据同步到触控显示器中。
27.触控显示屏为操作终端,用户可以在此直接编辑知识图谱数据的需求,并提供相关操作页面,可以支持用户的编辑,包括新增节点,删除节点,修改边,修改节点属性等。而备份组件则可以对删除的节点进行备份,从而实现操作可撤销的目的。
28.数据监测单元包括定期清理模块、剩余空间监测模块以及无效节点监测模块。
29.定期清理模块:在长期的数据操作过程中,由于程序异常,数据异常等原因,不可避免地会出现一些无效数据,同时一些数据长期无人访问,且一直停留在数据库中,占用存储器的储存空间。定期清理模块会清理无效节点、无效边以及长期无人访问数据,保证图数据库的数据干净,增加内存;
30.剩余空间监测模块:可以实时监测储存器中实时数据。
31.备份单元包括基础备份模块、加密备份模块、压缩模块以及压缩数据备份模块。
32.在出现断电、误删除等现象时,可以对数据进行备份,可以避免数据丢失。
33.基础备份模块、加密备份模块和压缩数据备份模块均包括自动清理模块,使得备份文件为缓冲文件,存储一定时间后可以自动清理。
34.避免影响整体储存空间大小。
35.储存器包括密钥模块、密钥数据模块和基础储存模块。
36.密钥数据模块与基础储存模块均天然地满足节点-》关系-》节点这种存储格式,可以采用ne04或ttan。
37.密钥模块用于对敏感词语、图片等信息进行加密,该加密信息只有管理人员或相关人员才能解锁观看,并不面向用户,从而避免引发技术和法律问题;
38.密钥数据模块的设置是为了对加密的数据进行储存;
39.基础储存模块是对所有用户开发的,任何一个普通用户均可检索查询。
40.密钥数据模块和基础储存模块均电连接有扩展模块。
41.扩展模块是一种辅助功能,其具体意义为将一部分储存器的存储空间调用为运行内存,这些运行内存并非真正意义的运行内存,只是可以临时当运行内存来使用,在不需要这项功能时,可以将之前划拨的运行内存取消,把容量“还”给机身存储容量空间。
42.读写包括有线读写和无线读写,有线读写包括usb、rs485、rs232、以太网和tcp/ip接口,无线读写包括蓝牙、wifi、gprs和4g/5g。
43.用于可以根据实际需求选择usb、rs485、rs232、以太网和tcp/ip接口读写方式或蓝牙、wifi、gprs和4g/5g无线读写方式往内存里面加载数据。
44.数据分析单元由相关信息进行区分加密数据和普通数据,相关信息包括关键词信息和图片信息。
45.便于对数据进行分类,将数据分为加密数据和普通数据。
46.适配器包括数据转换适配器和数据访问适配器。
47.转换适配器可以进行虚拟数据的转换,有利于数据的储存,数据访问适配器的设置有利于检索储存器内的数据。
48.知识图谱检索流程:
49.步骤一:首先通过触控显示屏选择是否输入密钥;
50.步骤二:未选择输入密钥,用户在基础储存模块中进行基础数据检索;
51.步骤三:对三元组表按需进行索引,最多情况下可建立九重索(spo、sop、pso、pos、osp、ops、spo、pos、osp);
52.步骤四:图初始化。
53.步骤五:进行模型计算和节点布局;
54.步骤六:经过渲染,然后通过触控显示器进行展示;
55.步骤七:输入密钥,用户可以在基础储存模块以及密钥数据模块中进行基础数据和密钥数据检索,然后进入步骤三中。
56.尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
技术特征:
1.一种大规模知识图谱数据存储器,包括处理器,其特征在于:所述处理器的连接端电连接有读写,所述处理器的连接端电连接有elasticsearch,所述elasticsearch的连接端电连接有触控显示器,所述处理器的连接端电连接有数据分析单元,所述数据分析单元的连接端电连接有转换适配器,所述转换适配器的连接端电连接有储存器,所述处理器的连接端电连接有数据监测单元,所述处理器的连接端电连接有备份单元。2.根据权利要求1所述的一种大规模知识图谱数据存储器,其特征在于:所述数据监测单元包括定期清理模块、剩余空间监测模块以及无效节点监测模块。3.根据权利要求1所述的一种大规模知识图谱数据存储器,其特征在于:所述备份单元包括基础备份模块、加密备份模块、压缩模块以及压缩数据备份模块。4.根据权利要求1所述的一种大规模知识图谱数据存储器,其特征在于:所述基础备份模块、加密备份模块和压缩数据备份模块均包括自动清理模块,使得备份文件为缓冲文件,存储一定时间后可以自动清理。5.根据权利要求1所述的一种大规模知识图谱数据存储器,其特征在于:所述储存器包括密钥模块、密钥数据模块和基础储存模块。6.根据权利要求1所述的一种大规模知识图谱数据存储器,其特征在于:所述密钥数据模块和基础储存模块均电连接有扩展模块。7.根据权利要求1所述的一种大规模知识图谱数据存储器,其特征在于:读写包括有线读写和无线读写,所述有线读写包括usb、rs485、rs232、以太网和tcp/ip接口,所述无线读写包括蓝牙、wifi、gprs和4g/5g。8.根据权利要求1所述的一种大规模知识图谱数据存储器,其特征在于:所述数据分析单元由相关信息进行区分加密数据和普通数据,所述相关信息包括关键词信息和图片信息。9.根据权利要求1所述的一种大规模知识图谱数据存储器,其特征在于:所述适配器包括数据转换适配器和数据访问适配器。
技术总结
本发明提供一种大规模知识图谱数据存储器,涉及数据存储器技术领域。该大规模知识图谱数据存储器,包括处理器,所述处理器的连接端电连接有读写,所述处理器的连接端电连接有Elasticsearch,所述Elasticsearch的连接端电连接有触控显示器,所述处理器的连接端电连接有数据分析单元,所述数据分析单元的连接端电连接有转换适配器,所述转换适配器的连接端电连接有储存器,所述处理器的连接端电连接有数据监测单元。通过设置的数据分析单元、转换适配器、密钥模块、密钥数据模块和基础数据模块,可以对敏感词汇和敏感图片进行加密处理,避免被所有用户直接检索到,保证了数据的隐私性和安全性,从而避免引发技术和法律问题。从而避免引发技术和法律问题。从而避免引发技术和法律问题。
技术研发人员:夏扬 王浩 聂朝波 钟将 刘朝
受保护的技术使用者:重庆市科学技术研究院
技术研发日:2023.07.12
技术公布日:2023/9/20
版权声明
本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
飞行汽车 https://www.autovtol.com/
