数据存储方法、装置以及存储芯片与流程

未命名 07-19 阅读:100 评论:0


1.本发明涉及数据处理的技术领域,特别涉及一种数据存储方法、装置以及存储芯片。


背景技术:

2.在大数据时代,数据存储是数据处理的重要部分。在存储数据时,由于数据的来源广泛,数据量庞大;而将数据存储至数据库时,由于数据量庞大,且数量的类型多样;若将所有数据全部存储在同一个数据库时,则会造成数据混乱、冗余,不便于数据管理,造成数据库中的数据不便于查询等缺陷。


技术实现要素:

3.本发明的主要目的为提供一种数据存储方法、装置以及存储芯片,旨在解决目前数据量庞大造成数据存储不便于管理、查询的缺陷。
4.为实现上述目的,本发明提供了一种数据存储方法,应用于存储芯片中,包括以下步骤:获取待存储的目标数据;获取所述目标数据的属性信息;其中,所述属性信息包括数据量、数据类型、数据来源、数据标记;将所述数据量、数据类型、数据来源、数据标记进行向量化,构成一个属性向量;将所述属性向量输入至预先训练完成的分类模型中,预测得到存储所述目标数据的目标数据库;获取所述目标数据以及目标数据库的标识信息;基于预设的字符选取规则,从所述目标数据以及目标数据库的标识信息中选取对应的标识字符;对所述标识字符进行哈希计算得到对应的哈希值;将所述目标数据存储至所述目标数据库中,并在所述目标数据的属性信息中添加一个新的标记字段,将所述哈希值作为所述新的标记字段的值。
5.进一步地,所述基于预设的字符选取规则,从所述目标数据以及目标数据库的标识信息中选取对应的标识字符的步骤,包括:将所述目标数据的标识信息中的各个字符依次输入至第一集合中;将所述目标数据库的标识信息中的各个字符依次输入至第二集合中;计算所述第一集合以及第二集合的交集,得到交集中的交集字符作为所述标识字符;若所述第一集合以及第二集合不存在交集,则获取所述第一集合以及第二集合中指定位置的字符进行组合,得到所述标识字符。
6.进一步地,所述基于预设的字符选取规则,从所述目标数据以及目标数据库的标识信息中选取对应的标识字符的步骤,包括:将所述目标数据的标识信息与预设的字符表进行对比,匹配出相同的第一字符;
其中,预设的字符表中存储有多个不同的预设字符;将所述目标数据库的标识信息与预设的字符表进行对比,匹配出相同的第二字符;将所述第一字符与第二字符按照预设顺序进行组合,得到所述标识字符。
7.进一步地,所述分类模型的训练过程,包括:获取训练数据;其中,所述训练数据具有对应的标签向量;将所述训练数据输入至初始分类模型中;其中,所述初始分类模型包括互不相同的第一词嵌入层、第二词嵌入层、第三词嵌入层、全连接层以及分类层;基于所述第一词嵌入层提取所述训练数据的第一特征向量;基于所述第二词嵌入层提取所述训练数据的第二特征向量;基于第三词嵌入层提取所述训练数据的第三特征向量;将所述第一特征向量、第二特征向量、第三特征向量输入至所述全连接层进行融合以及特征提取,提取得到目标特征向量;将所述目标特征向量以及所述训练数据的标签向量输入至所述分类层中进行迭代训练,待分类层中的损失函数收敛之后,得到训练完成的分类模型。
8.进一步地,所述获取待存储的目标数据的步骤,包括:接收到发送方发送的三个加密数据,分别为第一加密数据、第二加密数据以及第三加密数据;基于所述存储芯片中唯一的解密算法对所述第一加密数据进行解密,得到第一数据;其中,所述第一加密数据的加密算法与所述唯一的解密算法互相对应;对所述第一数据进行特征识别,从所述第一数据中识别出特征字段,并获取到所述特征字段对应的特征值;基于所述特征值对所述第二加密数据进行解密,得到第二数据;其中,若所述特征值无法对所述第二加密数据进行解密,则删除所述第一加密数据、第二加密数据以及第三加密数据;对所述第二数据进行哈希运算,得到对应的第二哈希值;基于所述第二哈希值对所述第三加密数据进行解密,得到第三数据;其中,若所述第二哈希值无法对所述第三加密数据进行解密,则删除所述第一加密数据、第二加密数据以及第三加密数据;将所述第一数据、第二数据以及第三数据按照预设规格添加至数据模板中,得到待存储的目标数据。
9.进一步地,所述获取待存储的目标数据的步骤,包括:发送方按照预设规则将待发送的数据分为两份子数据,并分别对子数据按照相同的加密方式进行加密,得到第一子数据以及第二子数据;生成多个乱码数据;将各个所述乱码数据与所述第一子数据以及第二子数据进行随机排序;按照预设间隔,依序发送排序后的数据,且在发送所述第一子数据以及第二子数据的同时,发送一个激励信号;存储芯片持续接收发送方发送的数据;若接收到所述激励信号时,获取与所述激
励信号同时发送的所述第一子数据或者第二子数据;若接收到数据但未接收到所述激励信号时,则将对应接收到的数据删除或者拒收;将预设时间内接收到的所述第一子数据以及第二子数据按照预设组合规则进行组合,得到待存储的所述目标数据。
10.本发明还提供了一种数据存储装置,应用于存储芯片中,包括:第一获取单元,用于获取待存储的目标数据;第二获取单元,用于获取所述目标数据的属性信息;其中,所述属性信息包括数据量、数据类型、数据来源、数据标记;预测单元,用于将所述数据量、数据类型、数据来源、数据标记进行向量化,构成一个属性向量;将所述属性向量输入至预先训练完成的分类模型中,预测得到存储所述目标数据的目标数据库;计算单元,用于获取所述目标数据以及目标数据库的标识信息;基于预设的字符选取规则,从所述目标数据以及目标数据库的标识信息中选取对应的标识字符;对所述标识字符进行哈希计算得到对应的哈希值;存储单元,用于将所述目标数据存储至所述目标数据库中,并在所述目标数据的属性信息中添加一个新的标记字段,将所述哈希值作为所述新的标记字段的值。
11.进一步地,所述第一获取单元,具体用于:接收到发送方发送的三个加密数据,分别为第一加密数据、第二加密数据以及第三加密数据;基于所述存储芯片中唯一的解密算法对所述第一加密数据进行解密,得到第一数据;其中,所述第一加密数据的加密算法与所述唯一的解密算法互相对应;对所述第一数据进行特征识别,从所述第一数据中识别出特征字段,并获取到所述特征字段对应的特征值;基于所述特征值对所述第二加密数据进行解密,得到第二数据;其中,若所述特征值无法对所述第二加密数据进行解密,则删除所述第一加密数据、第二加密数据以及第三加密数据;对所述第二数据进行哈希运算,得到对应的第二哈希值;基于所述第二哈希值对所述第三加密数据进行解密,得到第三数据;其中,若所述第二哈希值无法对所述第三加密数据进行解密,则删除所述第一加密数据、第二加密数据以及第三加密数据;将所述第一数据、第二数据以及第三数据按照预设规格添加至数据模板中,得到待存储的目标数据。
12.进一步地,所述第一获取单元,具体用于:发送方按照预设规则将待发送的数据分为两份子数据,并分别对子数据按照相同的加密方式进行加密,得到第一子数据以及第二子数据;生成多个乱码数据;将各个所述乱码数据与所述第一子数据以及第二子数据进行随机排序;按照预设间隔,依序发送排序后的数据,且在发送所述第一子数据以及第二子数据的同时,发送一个激励信号;
存储芯片持续接收发送方发送的数据;若接收到所述激励信号时,获取与所述激励信号同时发送的所述第一子数据或者第二子数据;若接收到数据但未接收到所述激励信号时,则将对应接收到的数据删除或者拒收;将预设时间内接收到的所述第一子数据以及第二子数据按照预设组合规则进行组合,得到待存储的所述目标数据。
13.本发明还提供了一种存储芯片,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
14.本发明提供的数据存储方法、装置以及存储芯片,包括:获取待存储的目标数据;获取所述目标数据的属性信息;其中,所述属性信息包括数据量、数据类型、数据来源、数据标记;将所述数据量、数据类型、数据来源、数据标记进行向量化,构成一个属性向量;将所述属性向量输入至预先训练完成的分类模型中,预测得到存储所述目标数据的目标数据库;获取所述目标数据以及目标数据库的标识信息;基于预设的字符选取规则,从所述目标数据以及目标数据库的标识信息中选取对应的标识字符;对所述标识字符进行哈希计算得到对应的哈希值;将所述目标数据存储至所述目标数据库中,并在所述目标数据的属性信息中添加一个新的标记字段,将所述哈希值作为所述新的标记字段的值。本发明中,通过对目标数据进行目标数据库的分类,通过对目标数据进行分类存储,避免了数据量庞大造成数据存储不便于管理、查询的缺陷。
附图说明
15.图1是本发明一实施例中数据存储方法步骤示意图;图2是本发明一实施例中数据存储装置结构框图。
16.本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
17.为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
18.参照图1,本发明一实施例中提供了一种数据存储方法,应用于存储芯片中,包括以下步骤:步骤s1,获取待存储的目标数据;步骤s2,获取所述目标数据的属性信息;其中,所述属性信息包括数据量、数据类型、数据来源、数据标记;步骤s3,将所述数据量、数据类型、数据来源、数据标记进行向量化,构成一个属性向量;将所述属性向量输入至预先训练完成的分类模型中,预测得到存储所述目标数据的目标数据库;步骤s4,获取所述目标数据以及目标数据库的标识信息;基于预设的字符选取规则,从所述目标数据以及目标数据库的标识信息中选取对应的标识字符;对所述标识字符进行哈希计算得到对应的哈希值;步骤s5,将所述目标数据存储至所述目标数据库中,并在所述目标数据的属性信
息中添加一个新的标记字段,将所述哈希值作为所述新的标记字段的值。
19.在本实施例中,上述方案应用于存储芯片中对数据进行分类存储,本方案中,对待存储的目标数据,需要对目标数据进行分类存储,将不同的目标数据存储至不同的目标数据库中,避免了数据量庞大造成数据不便于管理、查询的缺陷。
20.具体地,如上述步骤s1-s3所述的,获取各个发送方发送过来的待存储的目标数据,由于数据来源于外部发送方,数据种类繁杂,为了便于对数据进行管理,需要对所述目标数据存储的目标数据库进行分类,进而将不同的目标数据存储至不同的目标数据库中。具体地,可以获取到目标数据多维度的属性信息,例如数据量、数据类型、数据来源、数据标记;进而根据上述属性信息,采用预先训练深度学习模型得到的分类模型,进行预测分类,得到存储各个所述目标数据的目标数据库。即实现了,针对不同的目标数据,采用不同的目标数据库进行数据存储。
21.在本实施例中,还需要对存储至目标数据库中的各个目标数据进行标记,在标记时,需要在标记中携带有目标数据以及目标数据库的一些特性,便于后续进行数据稽查。因此,如上述步骤s4-s5所述的,首先获取所述目标数据以及目标数据库的标识信息;再基于预设的字符选取规则,从所述目标数据以及目标数据库的标识信息中选取对应的标识字符;对所述标识字符进行哈希计算得到对应的哈希值。最后,将所述目标数据存储至所述目标数据库中,并在所述目标数据的属性信息中添加一个新的标记字段,将所述哈希值作为所述新的标记字段的值。
22.后续根据上述哈希值,便可以从目标数据库中查找到上述目标数据的信息,便于数据查询。同时,上述哈希值还可以用于对目标数据以及目标数据库的标识信息的验证。
23.在一实施例中,所述基于预设的字符选取规则,从所述目标数据以及目标数据库的标识信息中选取对应的标识字符的步骤,包括:将所述目标数据的标识信息中的各个字符依次输入至第一集合中;将所述目标数据库的标识信息中的各个字符依次输入至第二集合中;计算所述第一集合以及第二集合的交集,得到交集中的交集字符作为所述标识字符;若所述第一集合以及第二集合不存在交集,则获取所述第一集合以及第二集合中指定位置的字符进行组合,得到所述标识字符。上述指定位置可以时首部两位、末尾两位等。
24.在本实施例中,基于上述方案,获取到上述目标数据的标识信息以及目标数据库的标识信息中相同的字符作为标识字符,后续根据上述标识字符生成对应的哈希值,添加在目标数据的属性信息中,便于基于上述标识字符对目标数据的标识信息以及目标数据库的标识信息进行佐证。
25.在另一实施例中,所述基于预设的字符选取规则,从所述目标数据以及目标数据库的标识信息中选取对应的标识字符的步骤,包括:将所述目标数据的标识信息与预设的字符表进行对比,匹配出相同的第一字符;其中,预设的字符表中存储有多个不同的预设字符;将所述目标数据库的标识信息与预设的字符表进行对比,匹配出相同的第二字符;将所述第一字符与第二字符按照预设顺序进行组合,得到所述标识字符。
26.在本实施例中,预先设定有一个字符表,该字符表中预设字符为存储芯片所在的
终端中预设的一部分字符;上述预设字符是终端根据需求,预先选定的字符,在此不进行赘述。
27.在一实施例中,所述分类模型的训练过程,包括:获取训练数据;其中,所述训练数据具有对应的标签向量;将所述训练数据输入至初始分类模型中;其中,所述初始分类模型包括互不相同的第一词嵌入层、第二词嵌入层、第三词嵌入层、全连接层以及分类层;基于所述第一词嵌入层提取所述训练数据的第一特征向量;基于所述第二词嵌入层提取所述训练数据的第二特征向量;基于第三词嵌入层提取所述训练数据的第三特征向量;将所述第一特征向量、第二特征向量、第三特征向量输入至所述全连接层进行融合以及特征提取,提取得到目标特征向量;将所述目标特征向量以及所述训练数据的标签向量输入至所述分类层中进行迭代训练,待分类层中的损失函数收敛之后,得到训练完成的分类模型。
28.在本实施例中,上述初始分类模型的模型结构为:第一词嵌入层、第二词嵌入层、第三词嵌入层、全连接层以及分类层;其中第一词嵌入层、第二词嵌入层、第三词嵌入层均连接模型的输入端,用于对输入的数据进行特征提取;可以理解的是,上述第一词嵌入层、第二词嵌入层、第三词嵌入层的结构均不相同,其为不同的词嵌入模型(例如,glove、word2vec等,具体类型在此不进行赘述),其对相同数据进行特征提取时,由于关注的重点不同,提取的特征也会不同。在本实施例中,基于第一词嵌入层、第二词嵌入层、第三词嵌入层,分别提取训练数据的特征,有利于从不同维度进行特征提取,提升了模型的分类效果。后续将第一词嵌入层、第二词嵌入层、第三词嵌入层分别提取的所述第一特征向量、第二特征向量、第三特征向量输入至所述全连接层进行融合以及特征提取,提取得到目标特征向量;将所述目标特征向量以及所述训练数据的标签向量输入至所述分类层中进行迭代训练,待分类层中的损失函数收敛之后,得到训练完成的分类模型。基于上述训练方式得到的分类模型,可以提取同一个数据的多维度特征,分类效果得到提升。
29.在一实施例中,提出一种获取待存储的目标数据的方案;具体地,所述获取待存储的目标数据的步骤s1,包括:步骤s101,接收到发送方发送的三个加密数据,分别为第一加密数据、第二加密数据以及第三加密数据;步骤s102,基于所述存储芯片中唯一的解密算法对所述第一加密数据进行解密,得到第一数据;其中,所述第一加密数据的加密算法与所述唯一的解密算法互相对应;上述加密算法与所述唯一的解密算法互相对应,可以是一个互逆的处理过程。上述解码算法只能对上述第一加密数据进行解密。
30.步骤s103,对所述第一数据进行特征识别,从所述第一数据中识别出特征字段,并获取到所述特征字段对应的特征值;在本实施例中,需要先对第一数据进行特征识别得到特征字段,上述特征字段中存储有对应的特征值,该特征值实为第二加密数据的解密密码;步骤s104,基于所述特征值对所述第二加密数据进行解密,得到第二数据;其中,若所述特征值无法对所述第二加密数据进行解密,则删除所述第一加密数据、第二加密数据以及第三加密数据;可以理解的是,为了识别出哪个为第二加密数据,只需要基于上述特
征值,对第二加密数据以及第三加密数据,进行解密,若能解密,则为第二加密数据,若均不能解密,则数据均有误。
31.步骤s105,对所述第二数据进行哈希运算,得到对应的第二哈希值;上述第二哈希值则作为第三加密数据的解密密码。
32.步骤s106,基于所述第二哈希值对所述第三加密数据进行解密,得到第三数据;其中,若所述第二哈希值无法对所述第三加密数据进行解密,则删除所述第一加密数据、第二加密数据以及第三加密数据;在本实施例中,通过上述解密方案,不仅加强了三个加密数据之间的关联性,而且增强了数据大面积泄露的难度;若要获取到目标数据,需要对三个加密数据均解密,显著提升了解密难度;而存储芯片在知晓上述解密方案的情况下,便可以轻松进行解密。
33.步骤s107,将所述第一数据、第二数据以及第三数据按照预设规格添加至数据模板中,得到所述待存储的目标数据。
34.在又一实施例中,所述获取待存储的目标数据的步骤s1,包括:发送方按照预设规则将待发送的数据分为两份子数据,并分别对子数据按照相同的加密方式进行加密,得到第一子数据以及第二子数据;生成多个乱码数据;将各个所述乱码数据与所述第一子数据以及第二子数据进行随机排序;按照预设间隔,依序发送排序后的数据,且在发送所述第一子数据以及第二子数据的同时,发送一个激励信号;存储芯片持续接收发送方发送的数据;若接收到所述激励信号时,获取与所述激励信号同时发送的所述第一子数据或者第二子数据;若接收到数据但未接收到所述激励信号时,则将对应接收到的数据删除或者拒收;将预设时间内接收到的所述第一子数据以及第二子数据按照预设组合规则进行组合,得到待存储的所述目标数据。
35.在本实施例中,发送方按照预设规则将待发送的数据分为两份子数据,并分别对子数据按照相同的加密方式进行加密,可以避免两份子数据同时泄露。同时,发送方还需要生成几个扰乱其它用户的数据,即上述多个乱码数据。发送方在发送上述两份子数据时,将各个所述乱码数据与所述第一子数据以及第二子数据进行随机排序之后,按照预设时间间隔,发送数据,且在发送所述第一子数据以及第二子数据的同时,发送一个激励信号;存储芯片在接收到激励信号时,才会去获取与所述激励信号同时发送的所述第一子数据或者第二子数据,这便保障了存储芯片通过上述激励信号可以识别出哪些为真实数据;而存储芯片只获取上述真实数据,而对于其它非真实的数据,即没有携带激励信号的数据,存储芯片可以选择拒收,或者直接删除。通过上述处理方式,增加了存储数据过程中的安全性,以及增加了非法用户破解存储数据的难度。
36.参照图2,在另一实施例中,本发明还提供了一种数据存储装置,应用于存储芯片中,包括:第一获取单元,用于获取待存储的目标数据;第二获取单元,用于获取所述目标数据的属性信息;其中,所述属性信息包括数据量、数据类型、数据来源、数据标记;
预测单元,用于将所述数据量、数据类型、数据来源、数据标记进行向量化,构成一个属性向量;将所述属性向量输入至预先训练完成的分类模型中,预测得到存储所述目标数据的目标数据库;计算单元,用于获取所述目标数据以及目标数据库的标识信息;基于预设的字符选取规则,从所述目标数据以及目标数据库的标识信息中选取对应的标识字符;对所述标识字符进行哈希计算得到对应的哈希值;存储单元,用于将所述目标数据存储至所述目标数据库中,并在所述目标数据的属性信息中添加一个新的标记字段,将所述哈希值作为所述新的标记字段的值。
37.在一实施例中,所述第一获取单元,具体用于:接收到发送方发送的三个加密数据,分别为第一加密数据、第二加密数据以及第三加密数据;基于所述存储芯片中唯一的解密算法对所述第一加密数据进行解密,得到第一数据;其中,所述第一加密数据的加密算法与所述唯一的解密算法互相对应;对所述第一数据进行特征识别,从所述第一数据中识别出特征字段,并获取到所述特征字段对应的特征值;基于所述特征值对所述第二加密数据进行解密,得到第二数据;其中,若所述特征值无法对所述第二加密数据进行解密,则删除所述第一加密数据、第二加密数据以及第三加密数据;对所述第二数据进行哈希运算,得到对应的第二哈希值;基于所述第二哈希值对所述第三加密数据进行解密,得到第三数据;其中,若所述第二哈希值无法对所述第三加密数据进行解密,则删除所述第一加密数据、第二加密数据以及第三加密数据;将所述第一数据、第二数据以及第三数据按照预设规格添加至数据模板中,得到所述待存储的目标数据。
38.在另一实施例中,所述第一获取单元,具体用于:发送方按照预设规则将待发送的数据分为两份子数据,并分别对子数据按照相同的加密方式进行加密,得到第一子数据以及第二子数据;生成多个乱码数据;将各个所述乱码数据与所述第一子数据以及第二子数据进行随机排序;按照预设间隔,依序发送排序后的数据,且在发送所述第一子数据以及第二子数据的同时,发送一个激励信号;存储芯片持续接收发送方发送的数据;若接收到所述激励信号时,获取与所述激励信号同时发送的所述第一子数据或者第二子数据;若接收到数据但未接收到所述激励信号时,则将对应接收到的数据删除或者拒收;将预设时间内接收到的所述第一子数据以及第二子数据按照预设组合规则进行组合,得到待存储的所述目标数据。
39.在本实施例中,上述装置实施例中的各个单元的具体实现,请参照上述方法实施例中所述,在此不再进行赘述。
40.本发明一实施例还提供一种计算机可读的存储芯片,其上存储有计算机程序,计
算机程序被处理器执行时实现一种数据存储方法。可以理解的是,本实施例中的计算机可读存储芯片可以是易失性可读存储介质,也可以为非易失性可读存储介质。
41.综上所述,为本发明实施例中提供的数据存储方法、装置以及存储芯片,包括:获取待存储的目标数据;获取所述目标数据的属性信息;其中,所述属性信息包括数据量、数据类型、数据来源、数据标记;将所述数据量、数据类型、数据来源、数据标记进行向量化,构成一个属性向量;将所述属性向量输入至预先训练完成的分类模型中,预测得到存储所述目标数据的目标数据库;获取所述目标数据以及目标数据库的标识信息;基于预设的字符选取规则,从所述目标数据以及目标数据库的标识信息中选取对应的标识字符;对所述标识字符进行哈希计算得到对应的哈希值;将所述目标数据存储至所述目标数据库中,并在所述目标数据的属性信息中添加一个新的标记字段,将所述哈希值作为所述新的标记字段的值。本发明中,通过对目标数据进行目标数据库的分类,通过对目标数据进行分类存储,避免了数据量庞大造成数据存储不便于管理、查询的缺陷。
42.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的和实施例中所使用的对存储芯片、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储芯片。非易失性存储芯片可以包括只读存储芯片(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储芯片可包括随机存取存储芯片(ram)或者外部高速缓冲存储芯片。作为说明而非局限,ram通过多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双速据率sdram(ssrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储芯片总线(rambus)直接ram(rdram)、直接存储芯片总线动态ram(drdram)、以及存储芯片总线动态ram(rdram)等。
43.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
44.以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本发明的专利保护范围内。

技术特征:
1.一种数据存储方法,其特征在于,应用于存储芯片中,包括以下步骤:获取待存储的目标数据;获取所述目标数据的属性信息;其中,所述属性信息包括数据量、数据类型、数据来源、数据标记;将所述数据量、数据类型、数据来源、数据标记进行向量化,构成一个属性向量;将所述属性向量输入至预先训练完成的分类模型中,预测得到存储所述目标数据的目标数据库;获取所述目标数据以及目标数据库的标识信息;基于预设的字符选取规则,从所述目标数据以及目标数据库的标识信息中选取对应的标识字符;对所述标识字符进行哈希计算得到对应的哈希值;将所述目标数据存储至所述目标数据库中,并在所述目标数据的属性信息中添加一个新的标记字段,将所述哈希值作为所述新的标记字段的值。2.根据权利要求1所述的数据存储方法,其特征在于,所述基于预设的字符选取规则,从所述目标数据以及目标数据库的标识信息中选取对应的标识字符的步骤,包括:将所述目标数据的标识信息中的各个字符依次输入至第一集合中;将所述目标数据库的标识信息中的各个字符依次输入至第二集合中;计算所述第一集合以及第二集合的交集,得到交集中的交集字符作为所述标识字符;若所述第一集合以及第二集合不存在交集,则获取所述第一集合以及第二集合中指定位置的字符进行组合,得到所述标识字符。3.根据权利要求1所述的数据存储方法,其特征在于,所述基于预设的字符选取规则,从所述目标数据以及目标数据库的标识信息中选取对应的标识字符的步骤,包括:将所述目标数据的标识信息与预设的字符表进行对比,匹配出相同的第一字符;其中,预设的字符表中存储有多个不同的预设字符;将所述目标数据库的标识信息与预设的字符表进行对比,匹配出相同的第二字符;将所述第一字符与第二字符按照预设顺序进行组合,得到所述标识字符。4.根据权利要求1所述的数据存储方法,其特征在于,所述分类模型的训练过程,包括:获取训练数据;其中,所述训练数据具有对应的标签向量;将所述训练数据输入至初始分类模型中;其中,所述初始分类模型包括互不相同的第一词嵌入层、第二词嵌入层、第三词嵌入层、全连接层以及分类层;基于所述第一词嵌入层提取所述训练数据的第一特征向量;基于所述第二词嵌入层提取所述训练数据的第二特征向量;基于第三词嵌入层提取所述训练数据的第三特征向量;将所述第一特征向量、第二特征向量、第三特征向量输入至所述全连接层进行融合以及特征提取,提取得到目标特征向量;将所述目标特征向量以及所述训练数据的标签向量输入至所述分类层中进行迭代训练,待分类层中的损失函数收敛之后,得到训练完成的分类模型。5.根据权利要求1所述的数据存储方法,其特征在于,所述获取待存储的目标数据的步骤,包括:接收到发送方发送的三个加密数据,分别为第一加密数据、第二加密数据以及第三加密数据;基于所述存储芯片中唯一的解密算法对所述第一加密数据进行解密,得到第一数据;
其中,所述第一加密数据的加密算法与所述唯一的解密算法互相对应;对所述第一数据进行特征识别,从所述第一数据中识别出特征字段,并获取到所述特征字段对应的特征值;基于所述特征值对所述第二加密数据进行解密,得到第二数据;其中,若所述特征值无法对所述第二加密数据进行解密,则删除所述第一加密数据、第二加密数据以及第三加密数据;对所述第二数据进行哈希运算,得到对应的第二哈希值;基于所述第二哈希值对所述第三加密数据进行解密,得到第三数据;其中,若所述第二哈希值无法对所述第三加密数据进行解密,则删除所述第一加密数据、第二加密数据以及第三加密数据;将所述第一数据、第二数据以及第三数据按照预设规格添加至数据模板中,得到待存储的目标数据。6.根据权利要求1所述的数据存储方法,其特征在于,所述获取待存储的目标数据的步骤,包括:发送方按照预设规则将待发送的数据分为两份子数据,并分别对子数据按照相同的加密方式进行加密,得到第一子数据以及第二子数据;生成多个乱码数据;将各个所述乱码数据与所述第一子数据以及第二子数据进行随机排序;按照预设间隔,依序发送排序后的数据,且在发送所述第一子数据以及第二子数据的同时,发送一个激励信号;存储芯片持续接收发送方发送的数据;若接收到所述激励信号时,获取与所述激励信号同时发送的所述第一子数据或者第二子数据;若接收到数据但未接收到所述激励信号时,则将对应接收到的数据删除或者拒收;将预设时间内接收到的所述第一子数据以及第二子数据按照预设组合规则进行组合,得到待存储的所述目标数据。7.一种数据存储装置,其特征在于,应用于存储芯片中,包括:第一获取单元,用于获取待存储的目标数据;第二获取单元,用于获取所述目标数据的属性信息;其中,所述属性信息包括数据量、数据类型、数据来源、数据标记;预测单元,用于将所述数据量、数据类型、数据来源、数据标记进行向量化,构成一个属性向量;将所述属性向量输入至预先训练完成的分类模型中,预测得到存储所述目标数据的目标数据库;计算单元,用于获取所述目标数据以及目标数据库的标识信息;基于预设的字符选取规则,从所述目标数据以及目标数据库的标识信息中选取对应的标识字符;对所述标识字符进行哈希计算得到对应的哈希值;存储单元,用于将所述目标数据存储至所述目标数据库中,并在所述目标数据的属性信息中添加一个新的标记字段,将所述哈希值作为所述新的标记字段的值。8.根据权利要求7所述的数据存储装置,其特征在于,所述第一获取单元,具体用于:接收到发送方发送的三个加密数据,分别为第一加密数据、第二加密数据以及第三加
密数据;基于所述存储芯片中唯一的解密算法对所述第一加密数据进行解密,得到第一数据;其中,所述第一加密数据的加密算法与所述唯一的解密算法互相对应;对所述第一数据进行特征识别,从所述第一数据中识别出特征字段,并获取到所述特征字段对应的特征值;基于所述特征值对所述第二加密数据进行解密,得到第二数据;其中,若所述特征值无法对所述第二加密数据进行解密,则删除所述第一加密数据、第二加密数据以及第三加密数据;对所述第二数据进行哈希运算,得到对应的第二哈希值;基于所述第二哈希值对所述第三加密数据进行解密,得到第三数据;其中,若所述第二哈希值无法对所述第三加密数据进行解密,则删除所述第一加密数据、第二加密数据以及第三加密数据;将所述第一数据、第二数据以及第三数据按照预设规格添加至数据模板中,得到待存储的目标数据。9.根据权利要求7所述的数据存储装置,其特征在于,所述第一获取单元,具体用于:发送方按照预设规则将待发送的数据分为两份子数据,并分别对子数据按照相同的加密方式进行加密,得到第一子数据以及第二子数据;生成多个乱码数据;将各个所述乱码数据与所述第一子数据以及第二子数据进行随机排序;按照预设间隔,依序发送排序后的数据,且在发送所述第一子数据以及第二子数据的同时,发送一个激励信号;存储芯片持续接收发送方发送的数据;若接收到所述激励信号时,获取与所述激励信号同时发送的所述第一子数据或者第二子数据;若接收到数据但未接收到所述激励信号时,则将对应接收到的数据删除或者拒收;将预设时间内接收到的所述第一子数据以及第二子数据按照预设组合规则进行组合,得到待存储的所述目标数据。10.一种存储芯片,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

技术总结
本发明提供了一种数据存储方法、装置以及存储芯片,包括:获取待存储的目标数据;获取所述目标数据的属性信息构成一个属性向量;将所述属性向量输入至预先训练完成的分类模型中,预测得到存储所述目标数据的目标数据库;获取所述目标数据以及目标数据库的标识信息;基于预设的字符选取规则,从所述目标数据以及目标数据库的标识信息中选取对应的标识字符;对所述标识字符进行哈希计算得到对应的哈希值;将所述目标数据存储至所述目标数据库中,并将所述哈希值作为目标数据的新的标记字段的值。本发明中,通过对目标数据进行目标数据库的分类,通过对目标数据进行分类存储,避免了数据量庞大造成数据存储不便于管理、查询的缺陷。查询的缺陷。查询的缺陷。


技术研发人员:王敏生 陈燕文
受保护的技术使用者:全中半导体(深圳)有限公司
技术研发日:2023.06.05
技术公布日:2023/7/17
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐