一种数据多通道快速存储管理方法及系统与流程

未命名 08-26 阅读:246 评论:0


1.本发明涉及数据处理技术领域,具体涉及一种数据多通道快速存储管理方法及系统。


背景技术:

2.在企业管理中,报销单据等特殊数据需要进行有效存储和分类的处理,以便于进行信息管理和责任溯源。然而,目前依赖于人工经验的分类和存储方法存在无法覆盖所有特殊数据的分类和存储方式,部分数据可能会被错误地归类,或者没有得到充分的考虑,进而导致特殊数据存储分类准确度和科学性不足,同时基于人工进行数据半自动化上传存储也存在数据存储上传及时性和上传效率较差的缺陷。
3.现有技术中存在对于特殊数据的分类存储依赖于人工经验,导致特殊数据的存储分类准确度和科学性不足,且特殊数据存储的存储效率较低的技术问题。


技术实现要素:

4.本技术提供了一种数据多通道快速存储管理方法及系统,用于针对解决现有技术中存在对于特殊数据的分类存储依赖于人工经验,导致特殊数据的存储分类准确度和科学性不足,且特殊数据存储的存储效率较低的技术问题。
5.鉴于上述问题,本技术提供了一种数据多通道快速存储管理方法及系统。
6.本技术的第一个方面,提供了一种数据多通道快速存储管理方法,所述方法包括:对采集获得的批量原始报销单据进行信息识别,获得批量报销信息;对所述批量报销信息进行数据补全,获得批量补全报销信息;获取预设报销单据分类规则,并基于所述报销单据分类规则构建报销单据分类模型和多通道存储平台,其中,所述多通道存储平台具有k个数据存储通道,k为正整数;将所述批量补全报销信息输入预构建的所述报销单据分类模型,获得报销单据分类结果,其中,所述报销单据分类结果为k组报销信息集合,所述k组报销信息集合和所述k个数据存储通道具有映射关系;根据所述k组报销信息集合进行所述k个数据存储通道的启动运行序列化,获得数据存储通道序列;基于数据存储通道序列将所述k组报销信息集合上传存储至所述多通道存储平台。
7.本技术的第二个方面,提供了一种数据多通道快速存储管理系统,所述系统包括:信息识别执行模块,用于对采集获得的批量原始报销单据进行信息识别,获得批量报销信息;数据补全执行模块,用于对所述批量报销信息进行数据补全,获得批量补全报销信息;存储平台构建模块,用于获取预设报销单据分类规则,并基于所述报销单据分类规则构建报销单据分类模型和多通道存储平台,其中,所述多通道存储平台具有k个数据存储通道,k为正整数;数据分类执行模块,用于将所述批量补全报销信息输入预构建的所述报销单据分类模型,获得报销单据分类结果,其中,所述报销单据分类结果为k组报销信息集合,所述k组报销信息集合和所述k个数据存储通道具有映射关系;存储通道序列模块,用于根据所述k组报销信息集合进行所述k个数据存储通道的启动运行序列化,获得数据存储通道序
列;数据存储执行模块,用于基于数据存储通道序列将所述k组报销信息集合上传存储至所述多通道存储平台。
8.本技术中提供的一个或多个技术方案,至少具有如下技术效果或优点:本技术实施例提供的方法通过对采集获得的批量原始报销单据进行信息识别,获得批量报销信息,对所述批量原始报销单据进行批量的信息识别和数据提取,极大地降低人工处理报销单据的工作量和错误率,提高工作效率和准确性;对所述批量报销信息进行数据补全,获得批量补全报销信息,获得符合报销规定的所述批量补全报销信息,为后续基于具有数据完整性的批量报销补全信息进行数据分类和多通道存储提供高可信度的数据分类参考;获取预设报销单据分类规则,并基于所述报销单据分类规则构建报销单据分类模型和多通道存储平台,其中,所述多通道存储平台具有k个数据存储通道,k为正整数;将所述批量补全报销信息输入预构建的报销单据分类模型,获得报销单据分类结果,其中,所述报销单据分类结果为k组报销信息集合,所述k组报销信息集合和所述k个数据存储通道具有映射关系,根据报销单据信息进行报销单据的有效分类,从而为后续进行报销单据按类别进行多通道快速存储提供高准确率数据分类结果;根据所述k组报销信息集合进行所述k个数据存储通道的启动运行序列化,获得数据存储通道序列,基于数据存储通道序列实现有条不紊地进行大批量报销单据的快速分类和存储,提高信息存储效率和存储科学性;基于数据存储通道序列将所述k组报销信息集合上传存储至所述多通道存储平台。达到了自动化进行特殊数据的高精度准确分类和多通道快速存储,提高进行特殊数据存储分类的准确性和科学性,提高特殊数据存储效率的技术效果。
附图说明
9.图1为本技术提供的一种数据多通道快速存储管理方法流程示意图;图2为本技术提供的一种数据多通道快速存储管理方法中构建报销单据分类模型的流程示意图;图3为本技术提供的一种数据多通道快速存储管理方法中进行数据镜像备份的流程示意图;图4为本技术提供的一种数据多通道快速存储管理系统的结构示意图。
10.附图标记说明:信息识别执行模块1,数据补全执行模块2,存储平台构建模块3,数据分类执行模块4,存储通道序列模块5,数据存储执行模块6。
实施方式
11.本技术提供了一种数据多通道快速存储管理方法及系统,用于针对解决现有技术中存在对于特殊数据的分类存储依赖于人工经验,导致特殊数据的存储分类准确度和科学性不足,且特殊数据存储的存储效率较低的技术问题。达到了自动化进行特殊数据的高精度准确分类和多通道快速存储,提高进行特殊数据存储分类的准确性和科学性,提高特殊数据存储效率的技术效果。
12.本发明技术方案中对数据的获取、存储、使用、处理等均符合相关规定。
13.下面,将参考附图对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里
描述的示例实施例的限制。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部。
实施例
14.如图1所示,本技术提供了一种数据多通道快速存储管理方法,所述方法包括:s100:对采集获得的批量原始报销单据进行信息识别,获得批量报销信息;具体而言,在本实施例中,所述批量原始报销单据为一个规模体量较大公司,在一定时间内公司出纳、采购、人事等不特定工作人员基于公务需求垫付购买商品、服务所产生的大量报销单,这里的批量原始报销单据包括但不限于电子形式、纸质形式。
15.通过现有图片文字识别、数据提取技术,将所述批量原始报销单据中的各种信息提取出来,形成所述批量报销信息,所述批量报销信息与所述批量原始报销单据存在一一映射关系,每个报销信息中对应包含了一个原始报销单据中的信息,具体信息内容包括但不限于报销金额、报销人员、报销时间、报销类别、开票单位等,本实施例通过对批量原始报销单据进行信息识别,获得批量报销信息以供后续的审批、统计、分析等用途。
16.本实施例通过对所述批量原始报销单据进行批量的信息识别和数据提取,极大地降低人工处理报销单据的工作量和错误率,提高工作效率和准确性。
17.s200:对所述批量报销信息进行数据补全,获得批量补全报销信息;具体而言,在本实施例中,对所述批量报销信息进行冗余数据剔除,将无关字段或重复字段从报销单据中去除,只保留关键信息。例如,有的报销单据可能包含了多次报销记录,根据公司期限要求,将超期限报销记录作为冗余数据删除,只留下符合公司报销期限要求的有效报销记录,通过进行冗余数据剔除,获得批量精简报销信息。
18.预设数据格式、时间格式标准,基于数据格式标准和时间格式标准进行所述批量精简报销信息的格式转换处理,实现信息规范化,获得批量规范化报销信息。
19.预设标准报销单据数据组成,示例性的,标准报销单据组成包括报销金额;报销单号,报销单编号具有唯一性,以便于在后续的处理中进行追踪和管理;报销人信息,例如姓名、部门、职位;收据或发票,作为报销单据的相关证明材料,如发票、收据、机票等;日期与时间,记录待报销费用产生的具体日期和时间。
20.基于所述标准报销单据的数据组成遍历所述批量规范化报销信息,以获得存在部分信息缺失的h个规范化报销信息,基于所述h个规范化报销信息提取h组缺失信息组成,例如某个存在部分信息缺失的规范化报销信息缺少日期与时间、报销金额、报销人信息。
21.预设数据补全规则,所述数据补全规则为对于缺失特定信息组成的报销单据进行信息补全,例如所述数据补全规则为可根据报销单据上传用户进行报销人信息补全,可根据收据发票进行报销单据的日期与时间、报销金额的补全。
22.逐一判断所述h组缺失信息组成是否满足所述数据补全规则,对于符合数据补全规则的部分规范化报销信息进行数据补全,对于不符合数据补全规则的部分规范化报销信息退回报销人进行信息手动补全。
23.本实施例通过对所述批量报销信息进行数据补全,获得符合报销规定的所述批量补全报销信息,实现了为后续基于具有数据完整性的批量报销补全信息进行数据分类和多
通道存储提供高可信度的数据分类参考的技术效果。
24.s300:获取预设报销单据分类规则,并基于所述报销单据分类规则构建报销单据分类模型和多通道存储平台,其中,所述多通道存储平台具有k个数据存储通道,k为正整数;在一个实施例中,如图2所示,本技术提供的方法步骤还包括:s310:交互获得历史报销信息记录,并根据所述报销单据分类规则进行所述历史报销信息记录的数据划分,获得k组历史报销子记录;s320:对所述k组历史报销子记录进行特征关键词提取,获得k组分类特征词集合;s330:基于所述k组分类特征词集合和历史报销信息记录进行数据划分,获得模型训练数据集;s340:对所述模型训练数据集进行训练、验证和测试,获得所述报销单据分类模型。
25.在一个实施例中,对所述模型训练数据集进行训练、验证和测试,获得所述报销单据分类模型,本技术提供的方法步骤s340还包括:s341:基于所述模型训练数据集提取获得第一训练数组;s342:根据所述第一训练数组构建获得单据分类知识图谱;s343:基于所述模型训练数据集提取获得第二训练数组;s344:根据所述第二训练数组训练得到单据分类神经网络;s345:基于所述单据分类知识图谱和所述单据分类神经网络构建集成融合模型,获得所述报销单据分类模型。
26.具体而言,在本实施例中,所述报销单据分类规则是公司为方便进行报销单据统一管理,将报销单据按照不同的费用类型进行分类的具体细分类别组成,例如,所述报销单据分类规则为将报销单据细分为差旅费、餐饮费、办公用品费、交通费、业务招待费、医疗保健费等k种报销单据类型。根据所述报销单据分类规则中的k种报销单据类型对应构建具有k个数据存储通道的所述多通道存储平台。
27.通过和待进行所述批量原始报销单据数据多通道快速存储的目标公司的财务部门数据库进行数据交互,从而获得所述历史报销信息记录。
28.所述历史报销信息记录为基于财务部门工作人员人工进行报销类型划分和报销审批处理的大量报销单据,这里的大量报销单据为基于财务部门人工进行单据信息录入扫描获得若干个信息完整的电子版报销单据。
29.通过财务部门工作人员使用所述报销单据分类规则逐一遍历所述历史报销信息记录的若干张电子版报销单据进行数据划分,以将所述历史报销信息记录中的若干张电子版报销单据划分为k组历史报销子记录,所述k组历史报销子记录对应于所述报销单据分类规则中的k种报销单据类型。应理解的,此时获得的所述k组历史报销子记录具有一定的主观性。
30.因而本实施例基于所述k组历史报销子记录提取获得第一历史报销子记录,所述第一历史报销子记录中含有f张电子版报销单据,对该f张电子版报销单据进行单据名称、描述以及单据明细的文字信息提取,获得f个语句文本。
31.使用分词工具对所述f个语句文本中每个语句文本进行分词,将句子拆分成一个
一个的单词,对分词后的每个单词进行词性标注,标注出每个单词属于哪种词性,筛选保留专有名词和普通名词,并其余单词剔除,从而获得f个关键词集合,进一步对f个关键词集合进行相同名词合并,获得对应于第一历史报销子记录的第一关键特征词集合。
32.采用相同方法获得对应于第一历史报销子记录的第一关键特征词集合相同方法,获得对应于k组历史报销子记录的k个关键特征词集合。
33.将同时存在于k个关键特征词集合的名词剔除,获得所述k组分类特征词集合,每组分类特征词集合中的名词仅出现于对应报销单据类型的报销单据中。
34.本实施例基于所述k组分类特征词集合和历史报销信息记录进行数据划分,获得第一训练数组,所述第一训练数组为对应于k个报销单据类型的k组分类特征词集合。
35.本实施例根据所述k组分类特征词集合遍历所述历史报销信息记录中的若干张电子版报销单据,获得所述历史报销信息中每张电子版报销单据中存在的分类特征词,并进一步获得该分类特征词属于所述k组分类特征词中哪一组,从而对基于人工归类的k组历史报销子记录进行组别校正,获得多个电子报销单据-分类特征词标识标记-报销单据类型。所述多个电子报销单据-分类特征词标识标记-报销单据类型构成所述第二训练数组,所述第二训练数组和第一训练数组构成所述模型训练数据集。
36.本实施例以报销单据类型为第一属性,k个报销单据类型作为第一属性值,以特征关键词集合作为第二属性,以k组分类特征词集合作为第二属性值,基于知识图谱,将第一属性、第一属性值、第二属性、第二属性值链接生成所述单据分类知识图谱。
37.本实施例基于bp神经网络构建所述单据分类神经网络,所述单据分类神经网络的输入信息为电子版报销单据,输出结果为报销单据类型。
38.本实施例将所述第二训练数组标识划分为训练集、测试集和验证集进行所述单据分类神经网络的模型训练,具体的,单子版报销单据基于输入端进入所述单据分类神经网络后,首先在预先嵌入分词工具的预处理层进行电子版报销单据全部文本信息的分词处理后进入匹配层,在匹配层中,k组分类特征词集合逐组遍历匹配分词处理结果的若干个分词,获得匹配结果对应的报销单据类型后,从单据分类神经网络输出端输出。
39.基于训练集和测试集进行模型训练,基于验证集进行模型输出准确率验证,当模型输出准确率稳定高于97%后,停止模型训练。
40.将所述单据分类知识图谱和所述单据分类神经网络并列设置于数据分析层,并新增数据输入层和数据输出层完成所述集成融合模型的构建,生成所述报销单据分类模型。
41.本实施例通过构建由多个模型集成的所述报销单据分类模型,实现了提高对于报销单据分类准确度的技术效果。
42.s400:将所述批量补全报销信息输入预构建的所述报销单据分类模型,获得报销单据分类结果,其中,所述报销单据分类结果为k组报销信息集合,所述k组报销信息集合和所述k个数据存储通道具有映射关系;在一个实施例中,将所述批量补全报销信息输入预构建的所述报销单据分类模型,获得报销单据分类结果,本技术提供的方法步骤s400还包括:s410:基于所述批量补全报销信息提取获得第一补全报销信息;s420:将所述第一补全报销信息输入所述单据分类知识图谱获得第一单据类型分类结果;
s430:将所述第一补全报销信息输入所述单据分类神经网络获得第二单据类型分类结果;s440:判断所述第一单据类型分类结果和第二单据类型分类结果是否具有一致性;s450:若所述第一单据类型分类结果和第二单据类型分类结果具有一致性,则输出第一报销分类结果;s460:以此类推,获得批量报销分类结果;s470:对所述批量报销分类结果进行信息聚合,获得所述报销单据分类结果。
43.具体而言,在本实施例中,基于所述批量补全报销信息随机提取获得第一补全报销信息,所述第一补全报销信息为待进行存储的电子版报销单据。
44.将所述第一补全报销信息输入所述单据分类知识图谱,基于所述单据分类知识图谱中k组分类特征词集合遍历所述第一补全报销信息,从而获得第一补全报销信息所属单据类型,作为第一单据类型分类结果。将所述第一补全报销信息输入所述单据分类神经网络获得第二单据类型分类结果,理论上所述第一单据分类结果和第二单据分类结果完全一致,单一基于所述单据分类知识图谱或所述单据分类神经网络都可以实现所述第一补全报销信息的有效分类。
45.但本实施例为避免机器误差,将所述单据分类知识图谱和所述单据分类神经网络集成,从而构建获得所述报销单据分类模型。
46.在报销单据分类模型中,获得所述第一单据类型分类结果和第二单据类型分类结果后,进一步判断所述第一单据类型分类结果和第二单据类型分类结果是否具有一致性。
47.若所述第一单据类型分类结果和第二单据类型分类结果具有一致性,则输出第一报销分类结果,若所述第一单据类型分类结果和第二单据类型分类结果不一致,则将所述第一补全报销信息进行多轮次打乱重新输入所述单据分类知识图谱和所述单据分类神经网络,获得多组第一单据类型分类结果和第二单据类型分类结果,将多组第一单据类型分类结果和第二单据类型分类结果中出现频次最高的单据类型分类结果作为第一报销分类结果输出。
48.采用确定第一报销分类结果相同方法,以此类推,获得所述批量补全报销信息对应的批量报销分类结果,对所述批量报销分类结果进行相同报销类型的信息聚合,获得所述报销单据分类结果,所述报销单据分类结果为k组报销信息集合,所述k组报销信息集合基于k个报销单据类型与所述k个数据存储通道具有映射关系。
49.本实施例实现了根据报销单据信息进行报销单据的有效分类,从而为后续进行报销单据按类别进行多通道快速存储提供高准确率数据分类结果的技术效果。
50.s500:根据所述k组报销信息集合进行所述k个数据存储通道的启动运行序列化,获得数据存储通道序列;在一个实施例中,本技术提供的方法步骤还包括:s511:基于所述k组报销信息集合和所述k个数据存储通道提取获得第一报销信息集合和第一数据存储通道;其中,所述第一报销信息集合包括m个补全报销信息;s512:对所述m个补全报销信息进行信息识别提取获得m个报销姓名信息和m个报
销时间信息;s513:根据所述m个报销姓名信息获得m个报销职级信息;s514:基于所述m个报销时间信息和m个报销职级信息进行所述m个补全报销信息上传紧急性分析,获得第一数据存储序列;s515:以此类推,获得k个数据存储序列。
51.在一个实施例中,根据所述k组报销信息集合进行所述k个数据存储通道的启动运行序列化,获得数据存储通道序列,本技术提供的方法步骤s500还包括:s521:基于所述k个数据存储序列提取获得k组报销时间信息;s522:对所述k组报销时间信息进行均值计算,获得k个报销时间均值;s523:预设存储通道分级阈值,并基于所述存储通道分级阈值进行所述k个报销时间均值分级,获得多级数据存储通道,其中,所述多级数据存储通道中每级数据存储通道同步进行信息存储;s524:所述多级数据存储通道和所述k个数据存储序列构成所述数据存储通道序列。
52.具体而言,应理解的,所述k组报销信息集合和所述k个数据存储通道基于k个报销单据类型具有映射关系,因而本实施例基于所述k组报销信息集合和所述k个数据存储通道提取获得第一报销信息集合和第一数据存储通道,所述第一报销信息集合包括m个补全报销信息,m为正整数。
53.对所述m个补全报销信息进行信息识别提取获得m个报销姓名信息和m个报销时间信息。预设公司职级,每个职级对应一个或多个工作岗位,例如一级职级对应普通行政员工、普通业务人员。根据所述m个报销姓名信息获得对应的m个报销人员在公司所属岗位从而进一步基于所述预设公司职级获得所述m个报销姓名信息对应的m个报销职级信息。
54.对报销时间设定第一权重,对于报销职级设定第二权重,所述第一权重和第二权重可根据实际需求进行适应性调整设置,本实施例对于所述第一权重和第二权重的权重赋值不做硬性限制。
55.计算所述m个报销时间信息距离当前时间的m个时间跨度(天),将m个时间跨度和m个报销职级信息消除数据单位后,与第一权重、第二权重进行加权计算,获得m个上传紧急性指数,所述上传紧急性指数数值化了补全报销信息存储紧急程度。
56.根据m个上传紧急性指数对所述m个补全报销信息进行由大到小的排序,获得第一数据存储序列,所述第一数据存储序列为第一报销信息集合中m个补全报销信息上传至所述第一数据存储通道的上传次序。
57.采用获得第一数据存储序列相同方法,获得进行k个数据存储通道中补全报销信息上传的k个数据存储序列。
58.进一步的,基于所述k个数据存储序列提取获得k组报销时间信息,每组报销时间信息为同组若干个补全报销信息的报销时间距离当前时间的时间跨度,对所述k组报销时间信息进行均值计算,获得k个报销时间均值,所述报销时间均值为每组数据存储序列中若干个补全报销信息的报销时间距离当前时间跨度的均值。
59.预设存储通道分级阈值,并基于所述存储通道分级阈值进行所述k个报销时间均值分级,获得多级数据存储通道,所述多级数据存储通道中每级数据存储通道同步进行信
息存储,处于同一级别的若干个数据存储通道同步进行对应的补全报销信息的上传处理。
60.所述多级数据存储通道和所述k个数据存储序列构成所述数据存储通道序列,在所述数据存储通道序列中,处于同级数据存储通道的若干个数据存储通道同步启动,且每个数据存储通道内部基于数据存储序列进行对应的补全报销信息的上传,当前一级别的若干个数据存储通道全部晚上补全报销信息上传后,下一级别的若干个数据存储通道启动进行补全存储信息的上传,从而实现基于数据存储通道序列将所述k组报销信息集合上传存储至所述多通道存储平台。
61.本实施例通过设定多通道存储平台中每个数据存储通道中数据存储上传序列,同时设定多通道存储平台中多个数据存储通道的启动先后次序,实现了有条不紊地进行大批量报销单据的快速分类和存储,提高信息存储效率和存储科学性的技术效果。
62.s600:基于数据存储通道序列将所述k组报销信息集合上传存储至所述多通道存储平台;在一个实施例中,如图3所示,本技术提供的方法步骤还包括:s610:基于所述多通道存储平台构建报销单据区块链,其中,所述报销单据区块链包括k个区块链节点,所述k个区块链节点和所述k个数据存储通道具有映射关系;s620:获取预设数据备份周期,并基于所述预设数据备份周期在所述多通道存储平台进行数据提取,获得k组历史报销单据集;s630:基于镜像备份将所述k组历史报销单据集对应存储至所述k个区块链节点。
63.具体而言,应理解的,基于步骤s300可知,在本实施例中,所述多通道存储平台具有k个数据存储通道,本实施例基于所述多通道存储平台构建报销单据区块链,所述报销单据区块链包括k个区块链节点,所述k个区块链节点和所述k个数据存储通道具有映射关系。
64.本实施例在基于数据存储通道序列将所述k组报销信息集合上传存储至所述多通道存储平台后,记录最后上传至所述多通道存储平台的报销信息的上传时间节点。
65.获取预设数据备份周期,例如所述预设备份周期为1个月,间隔所述预设数据备份周期以确保上传至所述多通道存储平台的单据已报销处理完结。
66.以最后上传至所述多通道存储平台的报销信息的上传时间节点为起始时间,间隔所述预设数据备份周期,将在所述多通道存储平台的k个数据存储通道临时存储的数据提取出来,获得k组历史报销单据集,基于镜像备份将所述k组历史报销单据集对应存储至所述k个区块链节点实现将每个所述预设数据备份周期的数据在区块链节点生成数据区块进行不可篡改的安全长期存储。
67.本实施例通过基于所述预设数据备份周期,周期性地将临时存储于所述多通道存储平台的数据转移备份至区块链,以实现基于多数据备份周期的报销单据数据对公司企业的财务风险进行监控和分析,以及预测未来的财务状况,从而辅助风险控制和管理的技术效果。
68.实施例二基于与前述实施例中一种数据多通道快速存储管理方法相同的发明构思,如图4所示,本技术提供了一种数据多通道快速存储管理系统,其中,所述系统包括:信息识别执行模块1,用于对采集获得的批量原始报销单据进行信息识别,获得批量报销信息;
数据补全执行模块2,用于对所述批量报销信息进行数据补全,获得批量补全报销信息;存储平台构建模块3,用于获取预设报销单据分类规则,并基于所述报销单据分类规则构建报销单据分类模型和多通道存储平台,其中,所述多通道存储平台具有k个数据存储通道,k为正整数;数据分类执行模块4,用于将所述批量补全报销信息输入预构建的所述报销单据分类模型,获得报销单据分类结果,其中,所述报销单据分类结果为k组报销信息集合,所述k组报销信息集合和所述k个数据存储通道具有映射关系;存储通道序列模块5,用于根据所述k组报销信息集合进行所述k个数据存储通道的启动运行序列化,获得数据存储通道序列;数据存储执行模块6,用于基于数据存储通道序列将所述k组报销信息集合上传存储至所述多通道存储平台。
69.在一个实施例中,所述系统还包括:数据划分执行单元,用于交互获得历史报销信息记录,并根据所述报销单据分类规则进行所述历史报销信息记录的数据划分,获得k组历史报销子记录;特征词提取执行单元,用于对所述k组历史报销子记录进行特征关键词提取,获得k组分类特征词集合;模型训练执行单元,用于基于所述k组分类特征词集合和历史报销信息记录进行数据划分,获得模型训练数据集;分类模型构建单元,用于对所述模型训练数据集进行训练、验证和测试,获得所述报销单据分类模型。
70.在一个实施例中,所述系统还包括:训练数组提取单元,用于基于所述模型训练数据集提取获得第一训练数组;知识图谱构建单元,用于根据所述第一训练数组构建获得单据分类知识图谱;训练数组获取单元,用于基于所述模型训练数据集提取获得第二训练数组;模型构建执行单元,用于根据所述第二训练数组训练得到单据分类神经网络;集成融合执行单元,用于基于所述单据分类知识图谱和所述单据分类神经网络构建集成融合模型,获得所述报销单据分类模型。
71.在一个实施例中,所述系统还包括:信息提取执行单元,用于基于所述批量补全报销信息提取获得第一补全报销信息;分类结果生成单元,用于将所述第一补全报销信息输入所述单据分类知识图谱获得第一单据类型分类结果;分类结果获得单元,用于将所述第一补全报销信息输入所述单据分类神经网络获得第二单据类型分类结果;分类结果判断单元,用于判断所述第一单据类型分类结果和第二单据类型分类结果是否具有一致性;分类结果输出单元,用于若所述第一单据类型分类结果和第二单据类型分类结果具有一致性,则输出第一报销分类结果;
批量结果生成单元,用于以此类推,获得批量报销分类结果;信息聚类执行单元,用于对所述批量报销分类结果进行信息聚合,获得所述报销单据分类结果。
72.在一个实施例中,所述系统还包括:信息提取执行单元,用于基于所述k组报销信息集合和所述k个数据存储通道提取获得第一报销信息集合和第一数据存储通道;其中,所述第一报销信息集合包括m个补全报销信息;信息识别提取单元,用于对所述m个补全报销信息进行信息识别提取获得m个报销姓名信息和m个报销时间信息;报销职级确定单元,用于根据所述m个报销姓名信息获得m个报销职级信息;紧急性分析单元,用于基于所述m个报销时间信息和m个报销职级信息进行所述m个补全报销信息上传紧急性分析,获得第一数据存储序列;存储序列生成单元,用于以此类推,获得k个数据存储序列。
73.在一个实施例中,所述系统还包括:报销时间提取单元,用于基于所述k个数据存储序列提取获得k组报销时间信息;均值数据计算单元,用于对所述k组报销时间信息进行均值计算,获得k个报销时间均值;信息存储执行单元,用于预设存储通道分级阈值,并基于所述存储通道分级阈值进行所述k个报销时间均值分级,获得多级数据存储通道,其中,所述多级数据存储通道中每级数据存储通道同步进行信息存储;存储序列生成单元,用于所述多级数据存储通道和所述k个数据存储序列构成所述数据存储通道序列。
74.在一个实施例中,所述系统还包括:存储区块构建单元,用于基于所述多通道存储平台构建报销单据区块链,其中,所述报销单据区块链包括k个区块链节点,所述k个区块链节点和所述k个数据存储通道具有映射关系;备份周期获得单元,用于获取预设数据备份周期,并基于所述预设数据备份周期在所述多通道存储平台进行数据提取,获得k组历史报销单据集;镜像备份执行单元,用于基于镜像备份将所述k组历史报销单据集对应存储至所述k个区块链节点。
75.综上所述的任意一项方法或者步骤可作为计算机指令或程序存储在各种不限类型的计算机存储器中,通过各种不限类型的计算机处理器识别计算机指令或程序,进而实现上述任一项方法或者步骤。
76.基于本发明的上述具体实施例,本技术领域的技术人员在不脱离本发明原理的前提下,对本发明所作的任何改进和修饰,皆应落入本发明的专利保护范围。

技术特征:
1.一种数据多通道快速存储管理方法,其特征在于,所述方法包括:对采集获得的批量原始报销单据进行信息识别,获得批量报销信息;对所述批量报销信息进行数据补全,获得批量补全报销信息;获取预设报销单据分类规则,并基于所述报销单据分类规则构建报销单据分类模型和多通道存储平台,其中,所述多通道存储平台具有k个数据存储通道,k为正整数;将所述批量补全报销信息输入预构建的所述报销单据分类模型,获得报销单据分类结果,其中,所述报销单据分类结果为k组报销信息集合,所述k组报销信息集合和所述k个数据存储通道具有映射关系;根据所述k组报销信息集合进行所述k个数据存储通道的启动运行序列化,获得数据存储通道序列;基于数据存储通道序列将所述k组报销信息集合上传存储至所述多通道存储平台。2.如权利要求1所述的方法,其特征在于,所述方法还包括:交互获得历史报销信息记录,并根据所述报销单据分类规则进行所述历史报销信息记录的数据划分,获得k组历史报销子记录;对所述k组历史报销子记录进行特征关键词提取,获得k组分类特征词集合;基于所述k组分类特征词集合和历史报销信息记录进行数据划分,获得模型训练数据集;对所述模型训练数据集进行训练、验证和测试,获得所述报销单据分类模型。3.如权利要求2所述的方法,其特征在于,对所述模型训练数据集进行训练、验证和测试,获得所述报销单据分类模型,所述方法还包括:基于所述模型训练数据集提取获得第一训练数组;根据所述第一训练数组构建获得单据分类知识图谱;基于所述模型训练数据集提取获得第二训练数组;根据所述第二训练数组训练得到单据分类神经网络;基于所述单据分类知识图谱和所述单据分类神经网络构建集成融合模型,获得所述报销单据分类模型。4.如权利要求3所述的方法,其特征在于,将所述批量补全报销信息输入预构建的所述报销单据分类模型,获得报销单据分类结果,所述方法还包括:基于所述批量补全报销信息提取获得第一补全报销信息;将所述第一补全报销信息输入所述单据分类知识图谱获得第一单据类型分类结果;将所述第一补全报销信息输入所述单据分类神经网络获得第二单据类型分类结果;判断所述第一单据类型分类结果和第二单据类型分类结果是否具有一致性;若所述第一单据类型分类结果和第二单据类型分类结果具有一致性,则输出第一报销分类结果;以此类推,获得批量报销分类结果;对所述批量报销分类结果进行信息聚合,获得所述报销单据分类结果。5.如权利要求1所述的方法,其特征在于,所述方法还包括:基于所述k组报销信息集合和所述k个数据存储通道提取获得第一报销信息集合和第一数据存储通道;
其中,所述第一报销信息集合包括m个补全报销信息;对所述m个补全报销信息进行信息识别提取获得m个报销姓名信息和m个报销时间信息;根据所述m个报销姓名信息获得m个报销职级信息;基于所述m个报销时间信息和m个报销职级信息进行所述m个补全报销信息上传紧急性分析,获得第一数据存储序列;以此类推,获得k个数据存储序列。6.如权利要求5所述的方法,其特征在于,根据所述k组报销信息集合进行所述k个数据存储通道的启动运行序列化,获得数据存储通道序列,所述方法还包括:基于所述k个数据存储序列提取获得k组报销时间信息;对所述k组报销时间信息进行均值计算,获得k个报销时间均值;预设存储通道分级阈值,并基于所述存储通道分级阈值进行所述k个报销时间均值分级,获得多级数据存储通道,其中,所述多级数据存储通道中每级数据存储通道同步进行信息存储;所述多级数据存储通道和所述k个数据存储序列构成所述数据存储通道序列。7.如权利要求1所述的方法,其特征在于,所述方法还包括:基于所述多通道存储平台构建报销单据区块链,其中,所述报销单据区块链包括k个区块链节点,所述k个区块链节点和所述k个数据存储通道具有映射关系;获取预设数据备份周期,并基于所述预设数据备份周期在所述多通道存储平台进行数据提取,获得k组历史报销单据集;基于镜像备份将所述k组历史报销单据集对应存储至所述k个区块链节点。8.一种数据多通道快速存储管理系统,其特征在于,所述系统包括:信息识别执行模块,用于对采集获得的批量原始报销单据进行信息识别,获得批量报销信息;数据补全执行模块,用于对所述批量报销信息进行数据补全,获得批量补全报销信息;存储平台构建模块,用于获取预设报销单据分类规则,并基于所述报销单据分类规则构建报销单据分类模型和多通道存储平台,其中,所述多通道存储平台具有k个数据存储通道,k为正整数;数据分类执行模块,用于将所述批量补全报销信息输入预构建的所述报销单据分类模型,获得报销单据分类结果,其中,所述报销单据分类结果为k组报销信息集合,所述k组报销信息集合和所述k个数据存储通道具有映射关系;存储通道序列模块,用于根据所述k组报销信息集合进行所述k个数据存储通道的启动运行序列化,获得数据存储通道序列;数据存储执行模块,用于基于数据存储通道序列将所述k组报销信息集合上传存储至所述多通道存储平台。

技术总结
本发明提供了一种数据多通道快速存储管理方法及系统,涉及数据处理技术领域,通过基于预设报销单据分类规则构建报销单据分类模型和多通道存储平台,将批量补全报销信息输入报销单据分类模型获得报销单据分类结果,报销单据分类结果进行多数据存储通道的启动运行序列化获得数据存储通道序列进行报销单据分类结果的序列化上传存储至多通道存储平台。解决了现有技术中存在对于特殊数据的分类存储依赖于人工经验,导致特殊数据的存储分类准确度和科学性不足,且特殊数据存储的存储效率较低的技术问题。达到了自动化进行特殊数据的高精度准确分类和多通道快速存储,提高进行特殊数据存储分类的准确性和科学性,提高特殊数据存储效率的技术效果。存储效率的技术效果。存储效率的技术效果。


技术研发人员:李庭育 邱创隆 齐元辅 许昌
受保护的技术使用者:江苏华存电子科技有限公司
技术研发日:2023.07.19
技术公布日:2023/8/24
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐