一种表格数据的自动识别方法与流程

1.本发明涉及图像识别技术领域，具体是一种表格数据的自动识别方法。


背景技术：

2.cad图纸中涉及大量表格，表格格式多样化，表格有边框无边框，少量边框等形式多样，自动识别表格是表格信息与图形信息联动的基础，对表格识别之前，需要先对文档进行版面分析，提取出文档中的表格，然后对表格进行定位，最后根据定位结果识别出表格中的文本。
3.在物体检测和定位方面，常用的技术有：边缘检测技术(canny边缘检测)和rcnn/faster-rcnn/yolo/ssd等技术；在ocr(光学字符识别)方面，主要技术有：基于监督学习的文字分类、cnn(卷积神经网络)和crnn+ctc等；然而随着表格类别的增多，识别效率也会逐渐降低；如果样本集缺乏代表性和普遍性，这就会造成系统学习不到某些模式，最终导致模型对某些表格定位失败，基于以上不足，本发明提出一种表格数据的自动识别方法。


技术实现要素：

4.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种表格数据的自动识别方法。
5.为实现上述目的，根据本发明的第一方面的实施例提出一种表格数据的自动识别方法，包括如下步骤：
6.步骤一：获取文档和cad图纸等文件，并将所述文档和cad图纸转化为图像格式，所述图像格式包括：jpg、png；
7.步骤二：对各个图像识别终端的算力占用情况进行监测分析，计算得到算力充余系数ky；选取算力充余系数ky最大的图像识别终端作为目标终端，对所述文档和cad图纸转化的图像进行表格数据识别；
8.步骤三：目标终端对所述文档和cad图纸转化的图像进行表格数据识别，具体识别步骤包括：
9.基于深度学习算法对所述文档和cad图纸转化的图像进行文本框位置检测和文本框内容识别，获取所述图像中每个文本框的文本框位置信息，以及和每个文本框位置信息对应的文本框内容信息；
10.对所述图像中的表格整体单元格进行检测，检测出所述表格整体单元格的所有横线和所有竖线；基于检测出的所有横线和所有竖线获取所述表格整体单元格中所有小单元格的小单元格位置信息；
11.基于所述文本框位置信息和所述小单元格位置信息，判断所述文本框是否与所述小单元格相对应；
12.当判断出所述文本框与所述小单元格相对应时，基于所述文本框位置信息对所述文本框进行排序，获取排序后的文本框内容信息；
13.基于排序后的文本框内容信息确定所述表格整体单元格的内容排布，输出经过排布后的所述图像的结构化文本信息；
14.步骤四：对目标终端进行数据识别监测，对数据识别过程中目标终端的状态偏离值进行评估；若状态偏离值zp大于预设偏离阈值，则生成偏离预警信号，以提醒管理人员对目标终端进行检修。
15.进一步地，对各个图像识别终端的算力占用情况进行监测分析，具体监测分析步骤包括：
16.从初始时刻起，按照预设间隔采集图像识别终端的算力占用率并标记为nc，建立算力占用率nc随时间变化的曲线图；
17.当曲线图处于上升阶段时，对曲线图进行求导获取占用率变化速率曲线图；将图像识别终端的实时算力占用率变化速率标记为vt；
18.将vt与预设速率阈值相比较；若vt＞预设速率阈值，则表示图像识别终端忙于数据识别，在对应的曲线图中截取对应的曲线段进行标注；
19.在预设时间内，统计标注曲线段的数量为r1，将所有的标注曲线段对时间进行积分得到标注参考能量we，利用公式wr=r1
×
d1+we
×
d2计算得到图像识别终端的运算热度值wr，其中d1、d2均为系数因子；
20.获取图像识别终端的当前算力占用率为nt，利用公式ky=(1-nt)
×
d3/(wr
×
d4)计算得到图像识别终端的算力充余系数ky，其中d3、d4均为系数因子。
21.进一步地，对目标终端进行数据识别监测，对数据识别过程中目标终端的状态偏离值进行评估，具体为：
22.当监测到目标终端进行表格数据识别时，每间隔r2时间采集目标终端的状态参数，状态参数包括访问节点连接数、cpu负载率、带宽负载率和实时网络速率；其中r2为预设值；
23.将访问节点连接数、cpu负载率、带宽负载率和实时网络速率依次标记为q1、q2、q3、q4；利用公式zx=(q1
×
b1+q4
×
b4)/(q2
×
b2+q3
×
b3)计算得到目标终端的状态系数zx，其中b1、b2、b3、b4为系数因子；
24.将状态系数zx与设定阈值相比较，若状态系数zx小于设定阈值，则生成偏离信号；根据偏离信号的时空变化趋势，计算得到状态偏离值zp。
25.进一步地，状态偏离值zp的具体计算方法为：
26.当监测到偏离信号时，自动倒计时，倒计时时长为td时间，td为预设值；在倒计时阶段继续对偏离信号进行监测，若再次监测到偏离信号，则倒计时自动归为原值，重新按照td进行倒计时；
27.统计倒计时阶段偏离信号的出现次数为c1；当监测到偏离信号时，将对应的状态系数zx与设定阈值进行差值计算，并将所有的差值进行求和得到偏离总值ct，统计倒计时阶段的持续时长为tc；
28.利用公式zp=(c1
×
b1+ct
×
b2)/(tc
×
b3)计算得到状态偏离值zp，其中b1、b2、b3为系数因子。
29.进一步地，对所述图像中的表格整体单元格进行检测，检测出所述表格整体单元格的所有横线和所有竖线；具体包括：
30.将所述图像进行归一化处理，使得所述图像调整为预定尺寸；
31.将调整后的所述图像转化为灰度模式，并进行腐蚀处理；
32.通过中值滤波过滤掉经过腐蚀处理的所述图像的噪声干扰；
33.分别确定所述图像的x方向和y方向的梯度，并进行阈值化处理，通过霍夫直线检测初步筛选出所有横线和所有竖线；分别对筛选出的所有横线和所有竖线进行排序和合并处理。
34.进一步地，当判断出所述文本框与所述小单元格位置不完全重合时，分别计算所述文本框与所述小单元格的面积；
35.计算所述文本框与所述小单元格的交集面积与所述文本框与所述小单元格的并集面积的比值；当计算出的比值满足预设范围时，确定所述文本框与所述小单元格相对应。
36.与现有技术相比，本发明的有益效果是：
37.1、本发明中首先获取文档和cad图纸等文件，并将文档和cad图纸转化为图像格式；对各个图像识别终端的算力占用情况进行监测分析，计算得到算力充余系数ky；选取ky最大的图像识别终端作为目标终端，提高数据识别效率；当监测到目标终端进行表格数据识别时，每间隔r2时间采集目标终端的状态参数，对数据识别过程中目标终端的状态偏离值进行评估，若状态偏离值zp大于预设偏离阈值，则生成偏离预警信号，以提醒管理人员对目标终端进行检修，从而提高数据识别效率；
38.2、本发明中目标终端对文档和cad图纸转化的图像进行表格数据识别，首先基于深度学习算法对文档和cad图纸转化的图像进行文本框位置检测和文本框内容识别，获取图像中每个文本框的文本框位置信息，以及和每个文本框位置信息对应的文本框内容信息；对图像中的表格整体单元格进行检测，检测出表格整体单元格的所有横线和所有竖线；基于检测出的所有横线和所有竖线获取表格整体单元格中所有小单元格的小单元格位置信息；当判断出文本框与小单元格相对应时，基于文本框位置信息对文本框进行排序，获取排序后的文本框内容信息；基于排序后的文本框内容信息确定表格整体单元格的内容排布，输出经过排布后的图像的结构化文本信息，识别精度高。
附图说明
39.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1为本发明一种表格数据的自动识别方法的原理框图。
具体实施方式
41.下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
42.如图1所示，一种表格数据的自动识别方法，包括如下步骤：
43.步骤一：获取文档和cad图纸等文件，并将文档和cad图纸转化为图像格式，图像格式包括：jpg、png；
44.步骤二：对各个图像识别终端的算力占用情况进行监测分析，计算得到算力充余系数ky；选取算力充余系数ky最大的图像识别终端作为目标终端，对文档和cad图纸转化的图像进行表格数据识别，提高数据识别效率；具体监测分析的过程如下：
45.从初始时刻起，按照预设间隔采集图像识别终端的算力占用率并标记为nc，建立算力占用率nc随时间变化的曲线图；
46.当曲线图处于上升阶段时，对曲线图进行求导获取占用率变化速率曲线图；将图像识别终端的实时算力占用率变化速率标记为vt；
47.将vt与预设速率阈值相比较；若vt＞预设速率阈值，则表示图像识别终端忙于数据识别，在对应的曲线图中截取对应的曲线段进行标注；
48.在预设时间内，统计标注曲线段的数量为r1，将所有的标注曲线段对时间进行积分得到标注参考能量we，利用公式wr=r1
×
d1+we
×
d2计算得到图像识别终端的运算热度值wr，其中d1、d2均为系数因子；
49.获取图像识别终端的当前算力占用率为nt，利用公式ky=(1-nt)
×
d3/(wr
×
d4)计算得到图像识别终端的算力充余系数ky，其中d3、d4均为系数因子；
50.本发明通过对各个图像识别终端的算力占用情况进行监测分析，能够选取算力充余系数ky最大的图像识别终端作为目标终端，对文档和cad图纸转化的图像进行表格数据识别，有效提高数据识别效率；
51.步骤三：目标终端对文档和cad图纸转化的图像进行表格数据识别，具体识别步骤包括：
52.基于深度学习算法对文档和cad图纸转化的图像进行文本框位置检测和文本框内容识别，获取图像中每个文本框的文本框位置信息，以及和每个文本框位置信息对应的文本框内容信息；
53.本发明不同于传统ocr识别技术，采用了深度学习技术实现文本位置检测和文本内容识别，具体算法根据场景不同可进行调整。例如，为了提高检测速度，文本检测模型可采用dbnet，为了提高检测精度，文本检测模型可采用yolo系列模型；对于文本识别，主要采用crnn模型，为了提高识别速度，主干网络可采用mobilenet，为了提高识别精度，主干网络可采用resnet。
54.对图像中的表格整体单元格进行检测，检测出表格整体单元格的所有横线和所有竖线；基于检测出的所有横线和所有竖线获取表格整体单元格中所有小单元格的小单元格位置信息；
55.基于文本框位置信息和小单元格位置信息，判断文本框是否与小单元格相对应；
56.当判断出文本框与小单元格相对应时，基于文本框位置信息对文本框进行排序，获取排序后的文本框内容信息；
57.基于排序后的文本框内容信息确定表格整体单元格的内容排布，输出经过排布后的图像的结构化文本信息；
58.步骤四：对目标终端进行数据识别监测，对数据识别过程中目标终端的状态偏离值进行评估，具体为：
59.当监测到目标终端进行表格数据识别时，每间隔r2时间采集目标终端的状态参数，状态参数包括访问节点连接数、cpu负载率、带宽负载率和实时网络速率；其中r2为预设值；
60.将访问节点连接数、cpu负载率、带宽负载率和实时网络速率依次标记为q1、q2、q3、q4；利用公式zx=(q1
×
b1+q4
×
b4)/(q2
×
b2+q3
×
b3)计算得到目标终端的状态系数zx，其中b1、b2、b3、b4为系数因子；
61.将状态系数zx与设定阈值相比较，若状态系数zx小于设定阈值，则生成偏离信号；根据偏离信号的时空变化趋势，计算得到状态偏离值zp；
62.将状态偏离值zp与预设偏离阈值相比较，若zp大于预设偏离阈值，则生成偏离预警信号，以提醒管理人员对目标终端进行检修，从而提高数据识别效率；
63.其中，根据偏离信号的时空变化趋势，计算得到状态偏离值zp，具体为：
64.当监测到偏离信号时，自动倒计时，倒计时时长为td时间，td为预设值；在倒计时阶段继续对偏离信号进行监测，若再次监测到偏离信号，则倒计时自动归为原值，重新按照td进行倒计时；
65.统计倒计时阶段偏离信号的出现次数为c1；当监测到偏离信号时，将对应的状态系数zx与设定阈值进行差值计算，并将所有的差值进行求和得到偏离总值ct，统计倒计时阶段的持续时长为tc；
66.利用公式zp=(c1
×
b1+ct
×
b2)/(tc
×
b3)计算得到状态偏离值zp，其中b1、b2、b3为系数因子；
67.在本实施例中，对图像中的表格整体单元格进行检测，检测出表格整体单元格的所有横线和所有竖线；具体包括：
68.将图像进行归一化处理，使得图像调整为预定尺寸；
69.将调整后的图像转化为灰度模式，并进行腐蚀处理；
70.通过中值滤波过滤掉经过腐蚀处理的图像的噪声干扰；
71.分别确定图像的x方向和y方向的梯度，并进行阈值化处理，通过霍夫直线检测初步筛选出所有横线和所有竖线；分别对筛选出的所有横线和所有竖线进行排序和合并处理；
72.在本实施例中，该方法还包括：当判断出文本框与小单元格位置不完全重合时，分别计算文本框与小单元格的面积；
73.计算文本框与小单元格的交集面积与文本框与小单元格的并集面积的比值；当计算出的比值满足预设范围时，确定文本框与小单元格相对应。
74.上述公式均是去除量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式，公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者大量数据模拟获得。
75.本发明的工作原理：
76.一种表格数据的自动识别方法，在工作时，首先获取文档和cad图纸等文件，并将文档和cad图纸转化为图像格式；对各个图像识别终端的算力占用情况进行监测分析，计算得到算力充余系数ky；选取ky最大的图像识别终端作为目标终端，对文档和cad图纸转化的图像进行表格数据识别，提高数据识别效率；当监测到目标终端进行表格数据识别时，每间
隔r2时间采集目标终端的状态参数，对数据识别过程中目标终端的状态偏离值进行评估，若状态偏离值zp大于预设偏离阈值，则生成偏离预警信号，以提醒管理人员对目标终端进行检修，从而提高数据识别效率；
77.目标终端对文档和cad图纸转化的图像进行表格数据识别，首先基于深度学习算法对文档和cad图纸转化的图像进行文本框位置检测和文本框内容识别，获取图像中每个文本框的文本框位置信息，以及和每个文本框位置信息对应的文本框内容信息；对图像中的表格整体单元格进行检测，检测出表格整体单元格的所有横线和所有竖线；基于检测出的所有横线和所有竖线获取表格整体单元格中所有小单元格的小单元格位置信息；当判断出文本框与小单元格相对应时，基于文本框位置信息对文本框进行排序，获取排序后的文本框内容信息；基于排序后的文本框内容信息确定表格整体单元格的内容排布，输出经过排布后的图像的结构化文本信息，识别精度高。
78.在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
79.以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

技术特征：
1.一种表格数据的自动识别方法，其特征在于，包括如下步骤：步骤一：获取文档和cad图纸文件，并将所述文档和cad图纸转化为图像格式，所述图像格式包括：jpg、png；步骤二：对各个图像识别终端的算力占用情况进行监测分析，计算得到算力充余系数ky；选取算力充余系数ky最大的图像识别终端作为目标终端，对所述文档和cad图纸转化的图像进行表格数据识别；步骤三：目标终端对所述文档和cad图纸转化的图像进行表格数据识别，具体识别步骤包括：基于深度学习算法对所述文档和cad图纸转化的图像进行文本框位置检测和文本框内容识别，获取所述图像中每个文本框的文本框位置信息，以及和每个文本框位置信息对应的文本框内容信息；对所述图像中的表格整体单元格进行检测，检测出所述表格整体单元格的所有横线和所有竖线；基于检测出的所有横线和所有竖线获取所述表格整体单元格中所有小单元格的小单元格位置信息；基于所述文本框位置信息和所述小单元格位置信息，判断所述文本框是否与所述小单元格相对应；当判断出所述文本框与所述小单元格相对应时，基于所述文本框位置信息对所述文本框进行排序，获取排序后的文本框内容信息；基于排序后的文本框内容信息确定所述表格整体单元格的内容排布，输出经过排布后的所述图像的结构化文本信息；步骤四：对目标终端进行数据识别监测，对数据识别过程中目标终端的状态偏离值进行评估；若状态偏离值zp大于预设偏离阈值，则生成偏离预警信号，以提醒管理人员对目标终端进行检修。2.根据权利要求1所述的一种表格数据的自动识别方法，其特征在于，对各个图像识别终端的算力占用情况进行监测分析，具体包括：从初始时刻起，按照预设间隔采集图像识别终端的算力占用率并标记为nc，建立算力占用率nc随时间变化的曲线图；当曲线图处于上升阶段时，对曲线图进行求导获取占用率变化速率曲线图；将图像识别终端的实时算力占用率变化速率标记为vt；将vt与预设速率阈值相比较；若vt＞预设速率阈值，则表示图像识别终端忙于数据识别，在对应的曲线图中截取对应的曲线段进行标注；在预设时间内，统计标注曲线段的数量为r1，将所有的标注曲线段对时间进行积分得到标注参考能量we，利用公式wr=r1
×
d1+we
×
d2计算得到图像识别终端的运算热度值wr，其中d1、d2均为系数因子；获取图像识别终端的当前算力占用率为nt，利用公式ky=(1-nt)
×
d3/(wr
×
d4)计算得到图像识别终端的算力充余系数ky，其中d3、d4均为系数因子。3.根据权利要求1所述的一种表格数据的自动识别方法，其特征在于，对数据识别过程中目标终端的状态偏离值进行评估，具体为：当监测到目标终端进行表格数据识别时，每间隔r2时间采集目标终端的状态参数，状态参数包括访问节点连接数、cpu负载率、带宽负载率和实时网络速率；其中r2为预设值；
将访问节点连接数、cpu负载率、带宽负载率和实时网络速率依次标记为q1、q2、q3、q4；利用公式zx=(q1
×
b1+q4
×
b4)/(q2
×
b2+q3
×
b3)计算得到目标终端的状态系数zx，其中b1、b2、b3、b4为系数因子；将状态系数zx与设定阈值相比较，若状态系数zx小于设定阈值，则生成偏离信号；根据偏离信号的时空变化趋势，计算得到状态偏离值zp。4.根据权利要求3所述的一种表格数据的自动识别方法，其特征在于，根据偏离信号的时空变化趋势，计算得到状态偏离值zp；具体为：当监测到偏离信号时，自动倒计时，倒计时时长为td时间，td为预设值；在倒计时阶段继续对偏离信号进行监测，若再次监测到偏离信号，则倒计时自动归为原值，重新按照td进行倒计时；统计倒计时阶段偏离信号的出现次数为c1；当监测到偏离信号时，将对应的状态系数zx与设定阈值进行差值计算，并将所有的差值进行求和得到偏离总值ct，统计倒计时阶段的持续时长为tc；利用公式zp=(c1
×
b1+ct
×
b2)/(tc
×
b3)计算得到状态偏离值zp，其中b1、b2、b3为系数因子。5.根据权利要求1所述的一种表格数据的自动识别方法，其特征在于，对所述图像中的表格整体单元格进行检测，检测出所述表格整体单元格的所有横线和所有竖线；具体包括：将所述图像进行归一化处理，使得所述图像调整为预定尺寸；将调整后的所述图像转化为灰度模式，并进行腐蚀处理；通过中值滤波过滤掉经过腐蚀处理的所述图像的噪声干扰；分别确定所述图像的x方向和y方向的梯度，并进行阈值化处理，通过霍夫直线检测初步筛选出所有横线和所有竖线；分别对筛选出的所有横线和所有竖线进行排序和合并处理。6.根据权利要求5所述的一种表格数据的自动识别方法，其特征在于，当判断出所述文本框与所述小单元格位置不完全重合时，分别计算所述文本框与所述小单元格的面积；计算所述文本框与所述小单元格的交集面积与所述文本框与所述小单元格的并集面积的比值；当计算出的比值满足预设范围时，确定所述文本框与所述小单元格相对应。

技术总结
本发明公开了一种表格数据的自动识别方法，涉及图像识别技术领域，包括：获取文档和CAD图纸等文件，并将所述文档和CAD图纸转化为图像格式；对各个图像识别终端的算力占用情况进行监测分析，选取算力充余系数KY最大的图像识别终端作为目标终端，对所述文档和CAD图纸转化的图像进行表格数据识别，从而提高数据识别效率；目标终端基于深度学习算法对所述文档和CAD图纸转化的图像进行文本框位置检测和文本框内容识别，获取所述图像中每个文本框的文本框位置信息，以及和每个文本框位置信息对应的文本框内容信息；基于所述文本框位置信息对所述文本框进行排序，输出经过排布后的所述图像的结构化文本信息；识别精度高。识别精度高。识别精度高。


技术研发人员：谌永庭 黄春霞 王勃 陈宁 陈丽云 肖继华 程凉 周勇 刘智才 黄鑫 周勉
受保护的技术使用者：华联世纪工程咨询股份有限公司
技术研发日：2023.04.21
技术公布日：2023/7/18