基于人工智能的文件自动归档方法及相关设备与流程
未命名
07-16
阅读:136
评论:0
1.本技术涉及人工智能技术领域,尤其涉及一种基于人工智能的文件自动归档方法、装置、电子设备及存储介质。
背景技术:
2.在金融保险、数字医疗等领域中,常常需要对合同、收据或病历等文件进行分类归档以实现大量文件的管理。
3.目前,常常采用传统ocr技术对扫描后的文件进行文本识别得到文件内容,结合所识别出的内容对文件进行档案化管理,实现文件自动归档,然而,由于传统ocr技术得到的文件内容的准确性较低,且没有对文件进行分类归档,使得文件自动归档的精度和效率较低。
技术实现要素:
4.鉴于以上内容,有必要提出一种基于人工智能的文件自动归档方法及相关设备,以解决如何提高文件自动归档的精度和效率,其中,相关设备包括基于人工智能的文件自动归档装置、电子设备及存储介质。
5.本技术提供基于人工智能的文件自动归档方法,所述方法包括:
6.获取训练完毕的ocr智能识别模型;
7.将待归档文件输入所述ocr智能识别模型,得到所述待归档文件中至少一个属性类别的属性值;
8.将所有属性值输入训练完毕的文件分类模型以获取所述待归档文件的归档类别,并基于所述归档类别对所述待归档文件进行归档;
9.核对多个已归档文件的归档过程并生成错误记录,所述错误记录包括归档类别错误记录和属性值错误记录;
10.基于所述错误记录更新所述ocr智能识别模型和所述文件分类模型,以用于下一个待归档文件的归档过程。
11.在一些实施例中,所述获取训练完毕的ocr智能识别模型包括:
12.搭建初始ocr智能识别模型,所述初始ocr智能识别模型的输入为任意文件的文件图像,预期输出为所述文件至少一个属性类别的属性值;
13.所述初始ocr智能识别模型包括文本检测模块和文本识别模块;
14.所述文本检测模块对所述文件图像进行检测以获取所述文件图像中每个属性类别的文本裁剪图,并将所有属性类别的文本裁剪图输入所述文本识别模块以输出所述文件图像中至少一个属性类别的属性值;
15.采集多个带有标签数据的文件图像作为训练数据;
16.基于所述训练数据训练所述初始ocr智能识别模型得到训练完毕的ocr智能识别模型。
17.在一些实施例中,所述采集多个带有标签数据的文件图像作为训练数据包括:
18.采集多个文件的文件图像;
19.标注每个所述文件图像中每一个属性类别对应的文本区域的文本框,所述文本框为覆盖文本区域的矩形框;
20.将所有文本框和各文本框对应的属性类别作为所述文件图像的文本检测标签;
21.将相同文本框的属性类别和文本信息之间的对应关系作为所述文件图像的文本识别标签,并将所述文本检测标签和所述文本识别标签作为所述文件图像的标签数据;
22.储存每一个文件的文件图像对应的标签数据,得到训练数据。
23.在一些实施例中,所述基于所述训练数据训练所述初始ocr智能识别模型得到训练完毕的ocr智能识别模型包括:
24.将所述训练数据中的任意文本图像输入所述文本检测模块以获取文本框预测结果,所述文本框预测结果包括各属性类别的预测文本框以及该预测文本框属于对应属性类别的概率;
25.基于所述文本框预测结果和所述文本图像的文本检测标签计算检测损失函数;
26.基于所述预测文本框裁剪所述文本图像以获取每个属性类别的预测文本裁剪图,并将所有文本裁剪图输入所述文本识别模块得到每个属性类别的预测属性值;
27.基于所述预测属性值和所述文本图像的文本识别标签计算识别损失函数;
28.利用随机梯度下降法更新所述文本检测模块和所述文本识别模块,以降低所述检测损失函数和所述识别损失函数的数值;
29.不断将所述训练数据中的文本图像输入所述初始ocr智能识别模型以更新所述文本检测模块和所述文本识别模块,直至所述检测损失函数和所述识别损失函数均小于预设数值时停止,得到训练完毕的ocr智能识别模型。
30.在一些实施例中,所述文件分类模型的输入为任意待分类文件的所有属性类别的属性值,输出为所述待分类文件的归档类别,所述文件分类模型的训练过程包括:
31.搭建文件分类初始模型,所述文件分类初始模型包括循环神经网络层和分类层;
32.采集多个待分类文件各属性类别的属性值,并标注每个待分类文件的归档类别;
33.将任意待分类文件各属性类别的属性值输入所述循环神经网络层以获取多个属性向量,所述属性向量与所述属性类别一一对应;
34.融合所述多个属性向量并输入所述分类层以输出所述待分类文件的预测归档类别;
35.基于所述归档类别和预测归档类别计算交叉熵损失函数以训练所述文件分类初始模型;
36.基于所述多个待分类文件不断训练所述文件分类初始模型,直至所述交叉熵损失函数的数值小于预设数值时停止,得到训练完毕的文件分类模型。
37.在一些实施例中,所述核对多个已归档文件的归档过程并生成错误记录包括:
38.间隔预设时间间隔核对多个已归档文件的归档过程;
39.创建归档类别错误记录和属性值错误记录;
40.针对每个已归档文件,获取所述ocr智能识别模型输出的各属性类别的属性值,以及所述文件分类模型输出的归档类别;
41.核对所述各属性类别的属性值和所述归档类别是否正确,当任意属性类别的属性值错误时,将所述已归档文件写入所述属性值错误记录,当归档类别错误时,将所述已归档文件写入所述归档类别错误记录;
42.遍历完所述多个已归档文件后,将所述归档类别错误记录和所述属性值错误记录作为错误记录。
43.在一些实施例中,所述基于所述错误记录更新所述ocr智能识别模型和所述文件分类模型包括:
44.标注所述属性值错误记录中每个已归档文件的标签数据作为第一错误数据;
45.基于所述第一错误数据训练所述ocr智能识别模型,直至遍历完所述第一错误数据中的所有已归档文件;
46.标注所述归档类别错误记录中每个已归档文件中各属性类别的属性值和归档类别,得到第二错误数据;
47.基于所述第二错误数据训练所述文件分类模型,直至遍历完所述第二错误数据中的所有已归档文件。
48.本技术实施例还提供一种基于人工智能的文件自动归档装置,所述装置包括:
49.训练单元,用于获取训练完毕的ocr智能识别模型;
50.输入单元,用于将待归档文件输入所述ocr智能识别模型,得到所述待归档文件中至少一个属性类别的属性值;
51.分类单元,用于将所有属性值输入训练完毕的文件分类模型以获取所述待归档文件的归档类别,并基于所述归档类别对所述待归档文件进行归档;
52.核对单元,用于核对多个已归档文件的归档过程并生成错误记录,所述错误记录包括归档类别错误记录和属性值错误记录;
53.更新单元,用于基于所述错误记录更新所述ocr智能识别模型和所述文件分类模型,以用于下一个待归档文件的归档过程。
54.本技术实施例还提供一种电子设备,所述电子设备包括:
55.存储器,存储至少一个指令;
56.处理器,执行所述存储器中存储的指令以实现所述的基于人工智能的文件自动归档方法。
57.本技术实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现所述的基于人工智能的文件自动归档方法。
58.综上,本技术通过ocr智能识别模型获取待归档文件中各属性类别的属性值,将各属性类别的属性值输入文件分类模型得到归档类别,实现自动化归档;同时,采集归档过程中的错误记录,并根据错误记录对所述ocr智能识别模型和所述文件分类模型再训练,提高了文件自动归档的精度和效率。
附图说明
59.图1是本技术所涉及的基于人工智能的文件自动归档方法的较佳实施例的流程图。
60.图2是本技术所涉及的基于人工智能的文件自动归档装置的较佳实施例的功能模块图。
61.图3是本技术所涉及的基于人工智能的文件自动归档方法的较佳实施例的电子设备的结构示意图。
具体实施方式
62.为了能够更清楚地理解本技术的目的、特征和优点,下面结合附图和具体实施例对本技术进行详细描述。需要说明的是,在不冲突的情况下,本技术的实施例及实施例中的特征可以相互结合。在下面的描述中阐述了很多具体细节以便于充分理解本技术,所述描述的实施例仅是本技术一部分实施例,而不是全部的实施例。
63.此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本技术的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
64.除非另有定义,本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本技术。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
65.本技术实施例提供一种基于人工智能的文件自动归档方法,可应用于一个或者多个电子设备中,电子设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit,asic)、可编程门阵列(field-programmable gate array,fpga)、数字处理器(digital signal processor,dsp)、嵌入式设备等。
66.电子设备可以是任何一种可与客户进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理(personal digital assistant,pda)、游戏机、交互式网络电视(internet protocol television,iptv)、智能式穿戴式设备等。
67.电子设备还可以包括网络设备和/或客户设备。其中,所述网络设备包括,但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(cloud computing)的由大量主机或网络服务器构成的云。
68.电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(virtual private network,vpn)等。
69.如图1所示,是本技术基于人工智能的文件自动归档方法的较佳实施例的流程图。根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。
70.本技术实施例提供的基于人工智能的文件自动归档方法能够应用于任一种需要进行文件归档的场景中,则该方法能够应用于这些场景的产品中,例如,金融保险领域内的合同管理、数字医疗领域内的病历管理等等。
71.s10,获取训练完毕的ocr智能识别模型。
72.在一个可选的实施例中,所述获取训练完毕的ocr智能识别模型包括:
73.搭建初始ocr智能识别模型,所述初始ocr智能识别模型的输入为任意文件的文件
图像,预期输出为所述文件至少一个属性类别的属性值;
74.所述初始ocr智能识别模型包括文本检测模块和文本识别模块;
75.所述文本检测模块对所述文件图像进行检测以获取所述文件图像中每个属性类别的文本裁剪图,并将所有属性类别的文本裁剪图输入所述文本识别模块以输出所述文件图像中至少一个属性类别的属性值;
76.采集多个带有标签数据的文件图像作为训练数据;
77.基于所述训练数据训练所述初始ocr智能识别模型得到训练完毕的ocr智能识别模型。
78.其中,所述文本检测模块可以选用ctpn、east和ssd等目标检测网络,所述文本检测模块的输入为文件图像,输出为该文件图像中每一个属性类别的文本框,并利用该文本框裁剪所述文件图像,得到每个属性类别的文本裁剪图;所述文本识别模块可以选用卷积循环神经网络,所述卷积循环神经网络用于识别任意文本裁剪图中的文本信息。
79.该可选的实施例中,所述属性类别为预设设定的,可以反应待归档文件的基本信息,所述属性类别至少包括文件编号、签署日期、签名和金额;当所述待归档文件为发票票据时,所述文件编号为发票票号;当所述待归档文件为合同时,所述文件编号为合同编号。
80.在其他可选的实施例中,所述属性类别可根据待归档文件的类型进行设定,比如,当所述待归档文件为火车票、船票或飞机票时,所述属性类别还可以包括出发地、目的地和持票人。
81.在一个可选的实施例中,所述采集多个带有标签数据的文件图像作为训练数据包括:
82.采集多个文件的文件图像;
83.标注每个所述文件图像中每一个属性类别对应的文本区域的文本框,所述文本框为覆盖文本区域的矩形框;
84.将所有文本框和各文本框对应的属性类别作为所述文件图像的文本检测标签;
85.将相同文本框的属性类别和文本信息之间的对应关系作为所述文件图像的文本识别标签,并将所述文本检测标签和所述文本识别标签作为所述文件图像的标签数据;
86.储存每一个文件的文件图像对应的标签数据,得到训练数据。
87.其中,所述“标注每个所述文件图像中每一个属性类别对应的文本区域的文本框”中的标注过程为人为标注;所述文本框可以表示为覆盖文本区域的矩形框的中心点坐标和宽高尺寸,也可以表示为矩形框的左上角坐标和右下角坐标,本技术不做限制。
88.示例性的,将属性类别“文件编号”用整型数据“1”表示,在一个文件图像中,文件编号“123456”的文本框为[x1,y1,w1,h1],其中,x1,y1为文本框的中心点坐标,w1,h1为文本框的宽高尺寸,则该文件图像的文本检测标签为[x1,y1,w1,h1,1],该文件图像的文本识别标签为[1,"123456"]。
[0089]
在一个可选的实施例中,所述基于所述训练数据训练所述初始ocr智能识别模型得到训练完毕的ocr智能识别模型包括:
[0090]
将所述训练数据中的任意文本图像输入所述文本检测模块以获取文本框预测结果,所述文本框预测结果包括各属性类别的预测文本框以及该预测文本框属于对应属性类别的概率;
[0091]
基于所述文本框预测结果和所述文本图像的文本检测标签计算检测损失函数,所述检测损失函数满足关系式:
[0092][0093]
其中,n为所有属性类别的数量,wi为所述文本检测标签中属性类别i的文本框,wi为属性类别i的预测文本框,pi为wi属于属性类别i的概率,ce(1,pi)表示计算pi和1之间的交叉熵损失函数,l2(wi,wi)表示计算wi和wi之间的欧氏距离,loss1为所述检测损失函数的数值;
[0094]
基于所述预测文本框裁剪所述文本图像以获取每个属性类别的预测文本裁剪图,并将所有文本裁剪图输入所述文本识别模块得到每个属性类别的预测属性值;
[0095]
基于所述预测属性值和所述文本图像的文本识别标签计算识别损失函数,所述识别损失函数满足关系式:
[0096][0097]
其中,n为所有属性类别的数量,ti为所述文本识别标签中属性类别i的文本信息,ti为属性类别i的预测属性值,ctc(ti,ti)为计算ti和ti之间的ctc损失函数,loss2为所述识别损失函数的数值;
[0098]
利用随机梯度下降法更新所述文本检测模块和所述文本识别模块,以降低所述检测损失函数和所述识别损失函数的数值;
[0099]
不断将所述训练数据中的文本图像输入所述初始ocr智能识别模型以更新所述文本检测模块和所述文本识别模块,直至所述检测损失函数和所述识别损失函数均小于预设数值时停止,得到训练完毕的ocr智能识别模型。
[0100]
其中,所述预设数值为0.001;所述ctc损失函数(connectionist temporal classification,连接时序分类)是一种用于序列建模的工具,用于解决序列到序列的神经网络中标签和网络输出结果不对齐的问题,本技术中用于解决所述预测属性值与所述文本识别标签中各属性类别的文本信息之间的不对齐问题。
[0101]
如此,得到ocr智能识别模型,所述ocr智能识别模型可以对待归档文件的文件图像进行文本检测和文本识别,得到待归档文件中每一个属性类别的属性值,且各属性类别的属性值可以反应待归档文件的基本信息。
[0102]
s11,将待归档文件输入所述ocr智能识别模型,得到所述待归档文件中至少一个属性类别的属性值。
[0103]
在一个可选的实施例中,所述待归档文件为任意一个需要归档的图像格式的文件,所述待归档文件的类型可以为发票票据、合同、病历等,本技术不做限制,且属性类别可依据待归档文件的类型预先设定。将图像格式的待归档文件输入所述ocr智能识别模型,得到所述待归档文件中至少一个属性类别的属性值。
[0104]
如此,得到待归档文件中每一个属性类别的属性值,为实现文件自动归档提供数据基础。
[0105]
s12,将所有属性值输入训练完毕的文件分类模型以获取所述待归档文件的归档
类别,并基于所述归档类别对所述待归档文件进行归档。
[0106]
在一个可选的实施例中,所述文件分类模型的输入为任意待分类文件的所有属性类别的属性值,输出为所述待分类文件的归档类别,所述文件分类模型的训练过程包括:
[0107]
搭建文件分类初始模型,所述文件分类初始模型包括循环神经网络层和分类层;
[0108]
采集多个待分类文件各属性类别的属性值,并标注每个待分类文件的归档类别;
[0109]
将任意待分类文件各属性类别的属性值输入所述循环神经网络层以获取多个属性向量,所述属性向量与所述属性类别一一对应;
[0110]
融合所述多个属性向量并输入所述分类层以输出所述待分类文件的预测归档类别;
[0111]
基于所述归档类别和预测归档类别计算交叉熵损失函数以训练所述文件分类初始模型;
[0112]
基于所述多个待分类文件不断训练所述文件分类初始模型,直至所述交叉熵损失函数的数值小于预设数值时停止,得到训练完毕的文件分类模型。
[0113]
其中,所述融合操作为相加、求均值或向量拼接中的任意一种,所述预设数值的取值为0.001。
[0114]
该可选的实施例中,所述归档类别为依据文件自动归档的需求预先设定,示例性的,可以根据文件的重要程度划分为普通文件、重要文件和绝密文件三种归档类型,从而保障不同文件的安全性。
[0115]
在一个可选的实施例中,将所有属性值输入训练完毕的文件分类模型以获取所述待归档文件的归档类别,根据归档类别对所述待归档文件进行归档操作,实现待归档文件的自动归档。
[0116]
如此,根据文件分类模型得到待归档文件的归档类别,并依据归档类别实现待归档文件的自动归档。
[0117]
s13,核对多个已归档文件的归档过程并生成错误记录,所述错误记录包括归档类别错误记录和属性值错误记录。
[0118]
在一个可选的实施例中,所述核对多个已归档文件的归档过程并生成错误记录包括:
[0119]
间隔预设时间间隔核对多个已归档文件的归档过程;
[0120]
创建归档类别错误记录和属性值错误记录;
[0121]
针对每个已归档文件,获取所述ocr智能识别模型输出的各属性类别的属性值,以及所述文件分类模型输出的归档类别;
[0122]
核对所述各属性类别的属性值和所述归档类别是否正确,当任意属性类别的属性值错误时,将所述已归档文件写入所述属性值错误记录,当归档类别错误时,将所述已归档文件写入所述归档类别错误记录;
[0123]
遍历完所述多个已归档文件后,将所述归档类别错误记录和所述属性值错误记录作为错误记录。
[0124]
其中,所述预设时间间隔为一个月,所述核对过程为人工核对。
[0125]
需要说明的是,所述ocr智能识别模型和所述文件分类模型输出结果的准确性直接影响文件自动归档的精度和效率,所述错误记录中储存着所述ocr智能识别模型和所述
文件分类模型识别错误的已归档文件,可以根据错误记录对所述ocr智能识别模型和所述文件分类模型再训练,进而提高所述ocr智能识别模型和所述文件分类模型输出结果的准确性。
[0126]
如此,根据文件自动归档过程中多个已归档文件的归档过程生成错误记录,后续根据错误记录对所述ocr智能识别模型和所述文件分类模型再训练,可进一步提高所述ocr智能识别模型和所述文件分类模型输出结果的准确性。
[0127]
s14,基于所述错误记录更新所述ocr智能识别模型和所述文件分类模型,以用于下一个待归档文件的归档过程。
[0128]
在一个可选的实施例中,所述基于所述错误记录更新所述ocr智能识别模型和所述文件分类模型包括:
[0129]
标注所述属性值错误记录中每个已归档文件的标签数据作为第一错误数据;
[0130]
基于所述第一错误数据训练所述ocr智能识别模型,直至遍历完所述第一错误数据中的所有已归档文件;
[0131]
标注所述归档类别错误记录中每个已归档文件中各属性类别的属性值和归档类别,得到第二错误数据;
[0132]
基于所述第二错误数据训练所述文件分类模型,直至遍历完所述第二错误数据中的所有已归档文件。
[0133]
其中,所述“基于所述第一错误数据训练所述ocr智能识别模型”的步骤与步骤s10中所述“基于所述训练数据训练所述初始ocr智能识别模型得到训练完毕的ocr智能识别模型”类似,在此不再赘述。
[0134]
所述“基于所述第二错误数据训练所述文件分类模型”的步骤与步骤s12中所述“文件分类模型的训练过程”类似,在此不再赘述。
[0135]
如此,利用错误记录对所述ocr智能识别模型和所述文件分类模型再训练,进一步提高所述ocr智能识别模型和所述文件分类模型输出结果的准确性,保证了后续文件自动归档的精度和效率。
[0136]
由以上技术方案可以看出,本技术通过ocr智能识别模型获取待归档文件中各属性类别的属性值,将各属性类别的属性值输入文件分类模型得到归档类别,实现自动化归档;同时,采集归档过程中的错误记录,并根据错误记录对所述ocr智能识别模型和所述文件分类模型再训练,提高了文件自动归档的精度和效率。
[0137]
请参见图2,图2是本技术基于人工智能的文件自动归档装置的较佳实施例的功能模块图。基于人工智能的文件自动归档装置11包括训练单元110、输入单元111、分类单元112、核对单元113、更新单元114。本技术所称的模块/单元是指一种能够被处理器13所执行,并且能够完成固定功能的一系列计算机可读指令段,其存储在存储器12中。在本实施例中,关于各模块/单元的功能将在后续的实施例中详述。
[0138]
在一个可选的实施例中,训练单元110用于获取训练完毕的ocr智能识别模型。
[0139]
在一些实施例中,所述获取训练完毕的ocr智能识别模型包括:
[0140]
搭建初始ocr智能识别模型,所述初始ocr智能识别模型的输入为任意文件的文件图像,预期输出为所述文件至少一个属性类别的属性值;
[0141]
所述初始ocr智能识别模型包括文本检测模块和文本识别模块;
[0142]
所述文本检测模块对所述文件图像进行检测以获取所述文件图像中每个属性类别的文本裁剪图,并将所有属性类别的文本裁剪图输入所述文本识别模块以输出所述文件图像中至少一个属性类别的属性值;
[0143]
采集多个带有标签数据的文件图像作为训练数据;
[0144]
基于所述训练数据训练所述初始ocr智能识别模型得到训练完毕的ocr智能识别模型。
[0145]
在一些实施例中,所述采集多个带有标签数据的文件图像作为训练数据包括:
[0146]
采集多个文件的文件图像;
[0147]
标注每个所述文件图像中每一个属性类别对应的文本区域的文本框,所述文本框为覆盖文本区域的矩形框;
[0148]
将所有文本框和各文本框对应的属性类别作为所述文件图像的文本检测标签;
[0149]
将相同文本框的属性类别和文本信息之间的对应关系作为所述文件图像的文本识别标签,并将所述文本检测标签和所述文本识别标签作为所述文件图像的标签数据;
[0150]
储存每一个文件的文件图像对应的标签数据,得到训练数据。
[0151]
在一些实施例中,所述基于所述训练数据训练所述初始ocr智能识别模型得到训练完毕的ocr智能识别模型包括:
[0152]
将所述训练数据中的任意文本图像输入所述文本检测模块以获取文本框预测结果,所述文本框预测结果包括各属性类别的预测文本框以及该预测文本框属于对应属性类别的概率;
[0153]
基于所述文本框预测结果和所述文本图像的文本检测标签计算检测损失函数;
[0154]
基于所述预测文本框裁剪所述文本图像以获取每个属性类别的预测文本裁剪图,并将所有文本裁剪图输入所述文本识别模块得到每个属性类别的预测属性值;
[0155]
基于所述预测属性值和所述文本图像的文本识别标签计算识别损失函数;
[0156]
利用随机梯度下降法更新所述文本检测模块和所述文本识别模块,以降低所述检测损失函数和所述识别损失函数的数值;
[0157]
不断将所述训练数据中的文本图像输入所述初始ocr智能识别模型以更新所述文本检测模块和所述文本识别模块,直至所述检测损失函数和所述识别损失函数均小于预设数值时停止,得到训练完毕的ocr智能识别模型。
[0158]
在一个可选的实施例中,输入单元111用于将待归档文件输入所述ocr智能识别模型,得到所述待归档文件中至少一个属性类别的属性值。
[0159]
在一个可选的实施例中,分类单元112用于将所有属性值输入训练完毕的文件分类模型以获取所述待归档文件的归档类别,并基于所述归档类别对所述待归档文件进行归档。
[0160]
在一些实施例中,所述文件分类模型的输入为任意待分类文件的所有属性类别的属性值,输出为所述待分类文件的归档类别,所述文件分类模型的训练过程包括:
[0161]
搭建文件分类初始模型,所述文件分类初始模型包括循环神经网络层和分类层;
[0162]
采集多个待分类文件各属性类别的属性值,并标注每个待分类文件的归档类别;
[0163]
将任意待分类文件各属性类别的属性值输入所述循环神经网络层以获取多个属性向量,所述属性向量与所述属性类别一一对应;
[0164]
融合所述多个属性向量并输入所述分类层以输出所述待分类文件的预测归档类别;
[0165]
基于所述归档类别和预测归档类别计算交叉熵损失函数以训练所述文件分类初始模型;
[0166]
基于所述多个待分类文件不断训练所述文件分类初始模型,直至所述交叉熵损失函数的数值小于预设数值时停止,得到训练完毕的文件分类模型。
[0167]
在一个可选的实施例中,核对单元113用于核对多个已归档文件的归档过程并生成错误记录,所述错误记录包括归档类别错误记录和属性值错误记录。
[0168]
在一些实施例中,所述核对多个已归档文件的归档过程并生成错误记录包括:
[0169]
间隔预设时间间隔核对多个已归档文件的归档过程;
[0170]
创建归档类别错误记录和属性值错误记录;
[0171]
针对每个已归档文件,获取所述ocr智能识别模型输出的各属性类别的属性值,以及所述文件分类模型输出的归档类别;
[0172]
核对所述各属性类别的属性值和所述归档类别是否正确,当任意属性类别的属性值错误时,将所述已归档文件写入所述属性值错误记录,当归档类别错误时,将所述已归档文件写入所述归档类别错误记录;
[0173]
遍历完所述多个已归档文件后,将所述归档类别错误记录和所述属性值错误记录作为错误记录。
[0174]
在一个可选的实施例中,更新单元114用于基于所述错误记录更新所述ocr智能识别模型和所述文件分类模型,以用于下一个待归档文件的归档过程。
[0175]
在一些实施例中,所述基于所述错误记录更新所述ocr智能识别模型和所述文件分类模型包括:
[0176]
标注所述属性值错误记录中每个已归档文件的标签数据作为第一错误数据;
[0177]
基于所述第一错误数据训练所述ocr智能识别模型,直至遍历完所述第一错误数据中的所有已归档文件;
[0178]
标注所述归档类别错误记录中每个已归档文件中各属性类别的属性值和归档类别,得到第二错误数据;
[0179]
基于所述第二错误数据训练所述文件分类模型,直至遍历完所述第二错误数据中的所有已归档文件。
[0180]
由以上技术方案可以看出,本技术通过ocr智能识别模型获取待归档文件中各属性类别的属性值,将各属性类别的属性值输入文件分类模型得到归档类别,实现自动化归档;同时,采集归档过程中的错误记录,并根据错误记录对所述ocr智能识别模型和所述文件分类模型再训练,提高了文件自动归档的精度和效率。
[0181]
请参见图3,是本技术实施例提供的一种电子设备的结构示意图。电子设备1包括存储器12和处理器13。存储器12用于存储计算机可读指令,处理器13用于执行所述储器中存储的计算机可读指令以实现上述任一实施例所述的基于人工智能的文件自动归档方法。
[0182]
在一个可选的实施例中,电子设备1还包括总线、存储在所述存储器12中并可在所述处理器13上运行的计算机程序,例如基于人工智能的文件自动归档程序。
[0183]
图3仅示出了具有存储器12和处理器13的电子设备1,本领域技术人员可以理解的
是,图3示出的结构并不构成对电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
[0184]
结合图1,电子设备1中的所述存储器12存储多个计算机可读指令以实现一种基于人工智能的文件自动归档方法,所述处理器13可执行所述多个指令从而实现:
[0185]
获取训练完毕的ocr智能识别模型;
[0186]
将待归档文件输入所述ocr智能识别模型,得到所述待归档文件中至少一个属性类别的属性值;
[0187]
将所有属性值输入训练完毕的文件分类模型以获取所述待归档文件的归档类别,并基于所述归档类别对所述待归档文件进行归档;
[0188]
核对多个已归档文件的归档过程并生成错误记录,所述错误记录包括归档类别错误记录和属性值错误记录;
[0189]
基于所述错误记录更新所述ocr智能识别模型和所述文件分类模型,以用于下一个待归档文件的归档过程。
[0190]
具体地,所述处理器13对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。
[0191]
本领域技术人员可以理解,所述示意图仅仅是电子设备1的示例,并不构成对电子设备1的限定,电子设备1可以是总线型结构,也可以是星形结构,电子设备1还可以包括比图示更多或更少的其他硬件或者软件,或者不同的部件布置,例如电子设备1还可以包括输入输出设备、网络接入设备等。
[0192]
需要说明的是,电子设备1仅为举例,其他现有的或今后可能出现的电子产品如可适应于本技术,也应包含在本技术的保护范围以内,并以引用方式包含于此。
[0193]
其中,存储器12至少包括一种类型的可读存储介质,所述可读存储介质可以是非易失性的,也可以是易失性的。所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:sd或dx存储器等)、磁性存储器、磁盘、光盘等。存储器12在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的移动硬盘。存储器12在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式移动硬盘、智能存储卡(smart media card,smc)、安全数字(secure digital,sd)卡、闪存卡(flash card)等。存储器12不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如基于人工智能的文件自动归档程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
[0194]
处理器13在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(central processing unit,cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器13是电子设备1的控制核心(control unit),利用各种接口和线路连接整个电子设备1的各个部件,通过运行或执行存储在所述存储器12内的程序或者模块(例如执行基于人工智能的文件自动归档程序等),以及调用存储在所述存储器12内的数据,以执行电子设备1的各种功能和处理数据。
[0195]
所述处理器13执行所述电子设备1的操作系统以及安装的各类应用程序。所述处理器13执行所述应用程序以实现上述各个基于人工智能的文件自动归档方法实施例中的步骤,例如图1所示的步骤。
[0196]
示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器12中,并由所述处理器13执行,以完成本技术。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段,该指令段用于描述所述计算机程序在电子设备1中的执行过程。例如,所述计算机程序可以被分割成训练单元110、输入单元111、分类单元112、核对单元113、更新单元114。
[0197]
上述以软件功能模块的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、计算机设备,或者网络设备等)或处理器(processor)执行本技术各个实施例所述的基于人工智能的文件自动归档方法的部分。
[0198]
电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指示相关的硬件设备来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。
[0199]
其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-only memory)、随机存储器及其他存储器等。
[0200]
进一步地,计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
[0201]
本技术所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
[0202]
总线可以是外设部件互连标准(peripheral component interconnect,简称pci)总线或扩展工业标准结构(extended industry standard architecture,简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,在图3中仅用一根箭头表示,但并不表示仅有一根总线或一种类型的总线。所述总线被设置为实现所述存储器12以及至少一个处理器13等之间的连接通信。
[0203]
本技术实施例还提供一种计算机可读存储介质(图未示),计算机可读存储介质中存储有计算机可读指令,计算机可读指令被电子设备中的处理器执行以实现上述任一实施例所述的基于人工智能的文件自动归档方法。
[0204]
在本技术所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
[0205]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个
网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0206]
另外,在本技术各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
[0207]
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。说明书陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称,而并不表示任何特定的顺序。
[0208]
最后应说明的是,以上实施例仅用以说明本技术的技术方案而非限制,尽管参照较佳实施例对本技术进行了详细说明,本领域的普通技术人员应当理解,可以对本技术的技术方案进行修改或等同替换,而不脱离本技术技术方案的精神和范围。
技术特征:
1.一种基于人工智能的文件自动归档方法,其特征在于,所述方法包括:获取训练完毕的ocr智能识别模型;将待归档文件输入所述ocr智能识别模型,得到所述待归档文件中至少一个属性类别的属性值;将所有属性值输入训练完毕的文件分类模型以获取所述待归档文件的归档类别,并基于所述归档类别对所述待归档文件进行归档;核对多个已归档文件的归档过程并生成错误记录,所述错误记录包括归档类别错误记录和属性值错误记录;基于所述错误记录更新所述ocr智能识别模型和所述文件分类模型,以用于下一个待归档文件的归档过程。2.如权利要求1所述的基于人工智能的文件自动归档方法,其特征在于,所述获取训练完毕的ocr智能识别模型包括:搭建初始ocr智能识别模型,所述初始ocr智能识别模型的输入为任意文件的文件图像,预期输出为所述文件至少一个属性类别的属性值;所述初始ocr智能识别模型包括文本检测模块和文本识别模块;所述文本检测模块对所述文件图像进行检测以获取所述文件图像中每个属性类别的文本裁剪图,并将所有属性类别的文本裁剪图输入所述文本识别模块以输出所述文件图像中至少一个属性类别的属性值;采集多个带有标签数据的文件图像作为训练数据;基于所述训练数据训练所述初始ocr智能识别模型得到训练完毕的ocr智能识别模型。3.如权利要求2所述的基于人工智能的文件自动归档方法,其特征在于,所述采集多个带有标签数据的文件图像作为训练数据包括:采集多个文件的文件图像;标注每个所述文件图像中每一个属性类别对应的文本区域的文本框,所述文本框为覆盖文本区域的矩形框;将所有文本框和各文本框对应的属性类别作为所述文件图像的文本检测标签;将相同文本框的属性类别和文本信息之间的对应关系作为所述文件图像的文本识别标签,并将所述文本检测标签和所述文本识别标签作为所述文件图像的标签数据;储存每一个文件的文件图像对应的标签数据,得到训练数据。4.如权利要求3所述的基于人工智能的文件自动归档方法,其特征在于,所述基于所述训练数据训练所述初始ocr智能识别模型得到训练完毕的ocr智能识别模型包括:将所述训练数据中的任意文本图像输入所述文本检测模块以获取文本框预测结果,所述文本框预测结果包括各属性类别的预测文本框以及该预测文本框属于对应属性类别的概率;基于所述文本框预测结果和所述文本图像的文本检测标签计算检测损失函数;基于所述预测文本框裁剪所述文本图像以获取每个属性类别的预测文本裁剪图,并将所有文本裁剪图输入所述文本识别模块得到每个属性类别的预测属性值;基于所述预测属性值和所述文本图像的文本识别标签计算识别损失函数;利用随机梯度下降法更新所述文本检测模块和所述文本识别模块,以降低所述检测损
失函数和所述识别损失函数的数值;不断将所述训练数据中的文本图像输入所述初始ocr智能识别模型以更新所述文本检测模块和所述文本识别模块,直至所述检测损失函数和所述识别损失函数均小于预设数值时停止,得到训练完毕的ocr智能识别模型。5.如权利要求1所述的基于人工智能的文件自动归档方法,其特征在于,所述文件分类模型的输入为任意待分类文件的所有属性类别的属性值,输出为所述待分类文件的归档类别,所述文件分类模型的训练过程包括:搭建文件分类初始模型,所述文件分类初始模型包括循环神经网络层和分类层;采集多个待分类文件各属性类别的属性值,并标注每个待分类文件的归档类别;将任意待分类文件各属性类别的属性值输入所述循环神经网络层以获取多个属性向量,所述属性向量与所述属性类别一一对应;融合所述多个属性向量并输入所述分类层以输出所述待分类文件的预测归档类别;基于所述归档类别和预测归档类别计算交叉熵损失函数以训练所述文件分类初始模型;基于所述多个待分类文件不断训练所述文件分类初始模型,直至所述交叉熵损失函数的数值小于预设数值时停止,得到训练完毕的文件分类模型。6.如权利要求1所述的基于人工智能的文件自动归档方法,其特征在于,所述核对多个已归档文件的归档过程并生成错误记录包括:间隔预设时间间隔核对多个已归档文件的归档过程;创建归档类别错误记录和属性值错误记录;针对每个已归档文件,获取所述ocr智能识别模型输出的各属性类别的属性值,以及所述文件分类模型输出的归档类别;核对所述各属性类别的属性值和所述归档类别是否正确,当任意属性类别的属性值错误时,将所述已归档文件写入所述属性值错误记录,当归档类别错误时,将所述已归档文件写入所述归档类别错误记录;遍历完所述多个已归档文件后,将所述归档类别错误记录和所述属性值错误记录作为错误记录。7.如权利要求1所述的基于人工智能的文件自动归档方法,其特征在于,所述基于所述错误记录更新所述ocr智能识别模型和所述文件分类模型包括:标注所述属性值错误记录中每个已归档文件的标签数据作为第一错误数据;基于所述第一错误数据训练所述ocr智能识别模型,直至遍历完所述第一错误数据中的所有已归档文件;标注所述归档类别错误记录中每个已归档文件中各属性类别的属性值和归档类别,得到第二错误数据;基于所述第二错误数据训练所述文件分类模型,直至遍历完所述第二错误数据中的所有已归档文件。8.一种基于人工智能的文件自动归档装置,其特征在于,所述装置包括:训练单元,用于获取训练完毕的ocr智能识别模型;输入单元,用于将待归档文件输入所述ocr智能识别模型,得到所述待归档文件中至少
一个属性类别的属性值;分类单元,用于将所有属性值输入训练完毕的文件分类模型以获取所述待归档文件的归档类别,并基于所述归档类别对所述待归档文件进行归档;核对单元,用于核对多个已归档文件的归档过程并生成错误记录,所述错误记录包括归档类别错误记录和属性值错误记录;更新单元,用于基于所述错误记录更新所述ocr智能识别模型和所述文件分类模型,以用于下一个待归档文件的归档过程。9.一种电子设备,其特征在于,所述电子设备包括:存储器,存储有计算机可读指令;及处理器,执行所述存储器中存储的计算机可读指令以实现如权利要求1至7中任意一项所述的基于人工智能的文件自动归档方法。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的基于人工智能的文件自动归档方法。
技术总结
本申请提出一种基于人工智能的文件自动归档方法、装置、电子设备及存储介质,基于人工智能的文件自动归档方法包括:获取训练完毕的OCR智能识别模型;将待归档文件输入所述OCR智能识别模型,得到所述待归档文件中至少一个属性类别的属性值;将所有属性值输入训练完毕的文件分类模型以获取所述待归档文件的归档类别,并基于所述归档类别对所述待归档文件进行归档;核对多个已归档文件的归档过程并生成错误记录,所述错误记录包括归档类别错误记录和属性值错误记录;基于所述错误记录更新所述OCR智能识别模型和所述文件分类模型,以用于下一个待归档文件的归档过程。本申请能够提高文件自动归档的精度和效率。文件自动归档的精度和效率。文件自动归档的精度和效率。
技术研发人员:任健鑫
受保护的技术使用者:深圳平安综合金融服务有限公司
技术研发日:2023.04.06
技术公布日:2023/7/12
版权声明
本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
飞行汽车 https://www.autovtol.com/
