识别模型生成方法及装置、服务调用方法、设备、介质与流程

1.本公开涉及图像识别技术领域，具体地涉及一种识别模型生成方法及装置、服务调用方法、设备、介质和程序产品。


背景技术：

2.在金融机构业务处理中，涉及到各种各样的票据类型，如各种转账借方凭证、转账贷方凭证、贷记凭证、委托收款凭证、非同业存款交易确认书、实时通付款凭证等等，而且随着业务的发展，还将持续新增更多的票据类型。
3.在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题，现有的票据识别技术多是针对不同的票据类型分别预先通过标注大量样本训练模型，模型测试合格后，再完成上线投产。如此，线上识别过程中，如遇到新的票据类型，则无法在线完成识别，需要线下重新针对新上票据类型训练新的模型。这样会造成生产中断，延迟凭证自动化处理的进程。


技术实现要素：

4.鉴于上述问题，本公开提供了一种识别模型生成方法及装置、服务调用方法、设备、介质和程序产品。
5.本公开的一个方面，提供了一种识别模型生成方法，包括：
6.响应于对待识别票据图像的识别请求，确定模型库中预存的多个识别模型组合中是否包含与待识别票据图像的目标票据类型关联的目标识别模型组合；
7.在确定模型库中预存的多个识别模型组合中不包含目标识别模型组合情况下，从模型库中获取基础识别模型组合；
8.接收多个样本图像，并获取多个样本图像的标注信息，其中，样本图像与待识别票据图像属于同一目标票据类型；
9.基于多个样本图像以及多个样本图像的标注信息对基础识别模型组合的参数进行调优，生成与目标票据类型关联的目标识别模型组合。
10.根据本公开的实施例，上述方法还包括：
11.在确定模型库中预存的多个识别模型组合中包含与目标票据类型对应的目标识别模型组合情况下，从模型库中获取目标识别模型组合；
12.将待识别票据图像输入目标识别模型组合，输出对待识别票据图像的识别结果；
13.对识别结果进行修正，得到待识别票据图像的票据信息；
14.向业务处理系统发送待识别票据图像的票据信息；
15.基于待识别票据图像的票据信息对目标识别模型组合的参数进行调优。
16.根据本公开的实施例，其中，确定模型库中预存的多个识别模型组合中是否包含与待识别票据图像的目标票据类型关联的目标识别模型组合包括：
17.将待识别票据图像输入版面识别模型，输出待识别票据图像对应的目标版面信
息；
18.将目标版面信息与模板库中预存的多个票据标准模板进行匹配处理，生成版面匹配结果，其中多个票据标准模板与模型库中预存的多个识别模型组合一一对应；
19.根据版面匹配结果，确定多个识别模型组合中是否包含与目标票据类型关联的目标识别模型组合。
20.根据本公开的实施例，其中：
21.目标版面信息包括待识别票据图像包含的多个目标要素区域的第一位置信息和第一数量信息，票据标准模板中被标记有多个标准要素区域的第二位置信息和第二数量信息；
22.将目标版面信息与模板库中预存的多个票据标准模板进行匹配处理，生成版面匹配结果包括：
23.将多个目标要素区域的第一位置信息与多个标准要素区域的第二位置信息进行匹配处理，以及将目标要素区域的第一数量信息和多个标准要素区域的第二数量信息进行匹配处理，生成版面匹配结果。
24.根据本公开的实施例，其中：
25.版面匹配结果包括第一匹配结果，第一匹配结果用于表征多个票据标准模板中是否包含与目标版面信息匹配的目标票据标准模板；
26.根据版面匹配结果，确定多个识别模型组合中是否包含与目标票据类型关联的目标识别模型组合包括：
27.在匹配结果表征多个票据标准模板中不包含与目标版面信息匹配的目标票据标准模板的情况下，确定多个识别模型组合中不包含与目标票据类型关联的目标识别模型组合；以及
28.在匹配结果表征多个票据标准模板中包含与目标版面信息匹配的目标票据标准模板的情况下，确定多个识别模型组合中包含与目标票据类型关联的目标识别模型组合。
29.根据本公开的实施例，其中：
30.版面匹配结果包括第二匹配结果，第二匹配结果用于表征目标版面信息与各票据标准模板之间的匹配度大小；
31.从模型库中获取基础识别模型组合包括：
32.根据第二匹配结果，从多个票据标准模板中确定优选票据标准模板；
33.从多个识别模型组合中获取与优选票据标准模板对应的识别模型组合，作为基础识别模型组合。
34.根据本公开的实施例，其中：
35.样本图像的标注信息包括：样本图像包含的多个要素区域各自的区域范围标注坐标值、要素标注名称、要素标注值；
36.获取多个样本图像的标注信息包括：
37.从预标注系统中读取多个样本图像中预选样本图像对应的预标注图像，预标注图像中的各个要素区域被标识有范围框线；
38.基于预标注图像，生成样本图像包含的要素区域的区域范围标注坐标值；
39.结合通用识别模型，获取样本图像包含的要素区域的要素标注名称和要素标注
值。
40.根据本公开的实施例，其中，基于预标注图像，生成样本图像包含的要素区域的区域范围标注坐标值包括：
41.将预标注图像输入坐标识别模型，输出预标注图像中的范围框线对应的框线坐标值；
42.将框线坐标值确定为样本图像包含的要素区域的区域范围标注坐标值。
43.根据本公开的实施例，其中，结合通用识别模型，获取样本图像包含的要素区域的要素标注名称和要素标注值包括：
44.将样本图像输入通用识别模型，输出针对样本图像中的印刷体文字的第一文字识别结果；
45.从预标注系统中读取针对样本图像中的手写体文字的第二文字识别结果；
46.将第一文字识别结果和第二文字识别结果组合，作为样本图像包含的要素区域的要素标注名称和要素标注值。
47.根据本公开的实施例，其中：
48.基础识别模型组合包括基础语义分割模型和基础文字识别模型，目标识别模型组合包括目标语义分割模型和目标文字识别模型，样本图像的标注信息包括样本图像包含的多个要素区域各自的区域范围标注坐标值、要素标注名称、要素标注值；
49.基于多个样本图像以及多个样本图像的标注信息对基础识别模型组合的参数进行调优包括：
50.将样本图像输入基础语义分割模型，输出样本图像包含的多个要素区域各自的区域范围预测坐标值；
51.将样本图像以及样本图像包含的多个要素区域各自的区域范围预测坐标值输入字识别模型，输出样本图像包含的多个要素区域各自的要素预测名称和要素预测值；
52.根据多个要素区域各自的要素标注名称和要素标注值，以及多个要素区域各自的要素预测名称和要素预测值，计算网络损失函数的损失值；
53.在网络损失函数的损失值小于预设阈值的情况下，生成与目标票据类型关联的目标语义分割模型和目标文字识别模型。
54.本公开的另一个方面提供了一种服务调用方法，包括：
55.响应于对待识别票据图像的识别请求，调用判别服务执行：确定模型库中预存的多个识别模型组合中是否包含与待识别票据图像的目标票据类型关联的目标识别模型组合；
56.在确定模型库中预存的多个识别模型组合中包含与目标票据类型对应的目标识别模型组合情况下，调用票据识别服务执行：从模型库中调用目标识别模型组合，并利用目标识别模型组合输出对待识别票据图像的识别结果，识别结果用于表征待识别票据图像包含的多个目标要素区域的目标要素名称和目标要素值；
57.在确定模型库中预存的多个识别模型组合中不包含目标识别模型组合情况下，调用票据标注服务执行对待识别票据图像进行标注的操作，其中，对待识别票据图像进行标注得到的标注信息包括待识别票据图像包含的多个目标要素区域的目标要素名称和目标要素值；以及在确定模型库中预存的多个识别模型组合中不包含目标识别模型组合情况
下，调用模型调优服务执行：从模型库中调用基础识别模型组合，并对基础识别模型组合的参数进行调优，生成与目标票据类型关联的目标识别模型组合，并将目标识别模型组合新增至模型库中。
58.本公开的另一个方面提供了一种识别模型生成装置，包括：
59.确定模块，用于响应于对待识别票据图像的识别请求，确定模型库中预存的多个识别模型组合中是否包含与待识别票据图像的目标票据类型关联的目标识别模型组合；
60.第一获取模块，用于在确定模型库中预存的多个识别模型组合中不包含目标识别模型组合情况下，从模型库中获取基础识别模型组合；
61.第二获取模块，用于接收多个样本图像，并获取多个样本图像的标注信息，其中，样本图像与待识别票据图像属于同一目标票据类型；
62.调优模块，用于基于多个样本图像以及多个样本图像的标注信息对基础识别模型组合的参数进行调优，生成与目标票据类型关联的目标识别模型组合。
63.一种服务调用装置，包括：
64.第一调用模块，用于响应于对待识别票据图像的识别请求，调用判别服务执行：确定模型库中预存的多个识别模型组合中是否包含与待识别票据图像的目标票据类型关联的目标识别模型组合；
65.第二调用模块，用于在确定模型库中预存的多个识别模型组合中包含与目标票据类型对应的目标识别模型组合情况下，调用票据识别服务执行：从模型库中调用目标识别模型组合，并利用目标识别模型组合输出对待识别票据图像的识别结果，识别结果用于表征待识别票据图像包含的多个目标要素区域的目标要素名称和目标要素值；
66.第三调用模块，用于在确定模型库中预存的多个识别模型组合中不包含目标识别模型组合情况下，调用票据标注服务执行对待识别票据图像进行标注的操作，以及调用模型调优服务执行：从模型库中调用基础识别模型组合，并对基础识别模型组合的参数进行调优，生成与目标票据类型关联的目标识别模型组合，并将目标识别模型组合新增至模型库中。
67.本公开的另一个方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述识别模型生成方法或服务调用方法。
68.本公开的另一个方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述识别模型生成方法或服务调用方法。
69.本公开的另一个方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述识别模型生成方法或服务调用方法。
70.根据本公开的实施例，上述识别模型生成方法提供了一种用于票据信息识别的在线模型调优方法，对于票据信息的识别，首先判断模型库中是否包含与待识别票据图像的目标票据类型关联的目标识别模型组合，在不包含的情况下，获取待识别票据图像的标注信息，暂时通过对这一类型票据图像进行信息标注的方式获得票据信息，作为保底措施，保证信息生产不中断。同时，利用标注后的图像对基础识别模型组合进行线上实时调优，获得新的识别模型，如此，后续同种类型的票据传入后，便可直接调用建立的新模型进行信息识别获得票据信息。可见，通过标注信息采集和在线实时调优的方式相结合，标注数据一方面
作为业务信息数据用于后续的系统加工处理，标注数据另一方面作为测试集不断调优模型效果，不断优化神经网络算法中可变参数。解决了对新上票据信息搜集问题，可实现快速将各类纸质单据及凭证的信息，转化为准确无误的结构化信息，进一步推进金融机构业务的智能化高效率处理。该方法可兼容新老票据的实时采集，提升了凭证上收自动化处理的效率，确保了模型训练和应用的实效性，随着生产上大量实时数据的不断学习，模型的健壮性和识别率将不断的提升。
附图说明
71.通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
72.图1示意性示出了根据本公开实施例的识别模型生成方法、装置、设备、介质和程序产品的应用场景图；
73.图2示意性示出了根据本公开实施例的识别模型生成方法的流程图；
74.图3示意性示出了根据本公开实施例的识别模型生成方法的原理图；
75.图4示意性示出了根据本公开实施例的进行模型调优的方法原理图；
76.图5示意性示出了根据本公开实施例的服务调用方法的流程图；
77.图6示意性示出了根据本公开实施例的识别模型生成装置的结构框图；
78.图7示意性示出了根据本公开实施例的服务调用装置的结构框图；
79.图8示意性示出了根据本公开实施例的适于实现识别模型生成方法或服务调用方法的电子设备的方框图。
具体实施方式
80.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
81.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
82.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
83.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。
84.在本公开的实施例中，所涉及的数据(例如，包括但不限于用户个人信息)的收集、更新、分析、处理、使用、传输、提供、公开、存储等方面，均符合相关法律法规的规定，被用于
合法的用途，且不违背公序良俗。特别地，对用户个人信息采取了必要措施，防止对用户个人信息数据的非法访问，维护用户个人信息安全、网络安全和国家安全。
85.在本公开的实施例中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
86.凭证为一种能够证明经济业务事项发生、明确经济责任且具有法律效力的书面证明，在各类企事业单位组织和部门中，各类事务或业务的办理流程中均会涉及到各类纸质凭证的处理和流转。
87.近年来，随着信息技术的迅猛发展，各行各业都在加大it系统的投入和建设，推动业务信息通过计算机电子化、自动化、智能化高效率效率处理。各行各业都处于数字化转型的过程中，纸质凭证在无论在法律、制度还是管理上，依然具备较为广泛使用场景和效力，而金融机构也不例外，例如在受理转账和结算类业务时，除了线上转账、电子汇款外，在处理柜面业务时仍会受理大量储蓄存单、支票、汇票、支款、进账单等纸质票据，需要对票面的信息进行扫描录入，将信息传输到银行核心系统完成支付结算。
88.在金融机构业务处理中，涉及到各种各样的票据类型，如各种转账借方凭证、转账贷方凭证、贷记凭证、委托收款凭证、非同业存款交易确认书、实时通付款凭证等等，而且随着业务的发展，还将持续新增更多的票据类型。
89.相关技术中心针对票据信息的采集，例如可以是引入人工智能的方法，针对每种凭证类型训练出识别模型，进而通过模型识别和人工采集的方式完成凭证信息的获取。
90.例如，业务从柜面扫描仪通过网络传输到后台系统后，首先使用识别模型对票据影像上的要素进行识别，得到此笔业务此张影像上的各个要素名和要素值的识别结果，然后将识别结果信息分配至作业中心操作员，进行一次人工信息采集，同时。识别结果与一次采集数据进行对比，如比对一致，作为最终结果；如比对不一致，进入人工二次采集，进而作为最终结果。
91.而要获取一种票据的识别模型，就需要完成人工标注和深度学习模型训练。首先要进行需求对接，确定票面上有用的要素名、要素值和对应的位置，进而确定数据标注的方案；接着要在生产上获取大批量此种票据的影像数据，开始实施标注生产作业；标注完成的数据在交由人工智能团队利用标注样本的数据开始模型训练、模型部署和模型上线的过程，最后由银行后台系统完成对模型的应用。
92.模型训练过程中，相关技术中首先通过大量样本进行标注和训练，生成票据识别模型。整个流程中涉及：生产中抽取数据、指定标注规则和进行标注生产作业、模型训练等多个环节，整体下来一个新的票据应用于自动化处理需要较长时间。
93.并且，相关技术中是先训练再应用，应用过程中如果出现问题，则需要再次收集样本数据、进行标注作业和模型训练，修正算法参数完成模型调优过程后，再完成上线投产。修复模型再应用的过程也较为耗费时间和资源。
94.由此可见，相关技术中至少存在如下问题，现有的票据识别技术多是针对不同的票据类型分别预先通过标注大量样本训练模型，模型测试合格后，再完成上线投产。如此，线上识别过程中，如遇到新的票据类型，则无法在线完成识别，需要线下重新针对新上票据类型训练新的模型。这样会造成生产中断，拖延凭证自动化处理的进程。
95.有鉴于此，本公开的实施例提供了一种识别模型生成方法，包括：
96.响应于对待识别票据图像的识别请求，确定模型库中预存的多个识别模型组合中是否包含与待识别票据图像的目标票据类型关联的目标识别模型组合；在确定模型库中预存的多个识别模型组合中不包含目标识别模型组合情况下，从模型库中获取基础识别模型组合；接收多个样本图像，并获取多个样本图像的标注信息，其中，样本图像与待识别票据图像属于同一目标票据类型；基于多个样本图像以及多个样本图像的标注信息对基础识别模型组合的参数进行调优，生成与目标票据类型关联的目标识别模型组合。
97.图1示意性示出了根据本公开实施例的识别模型生成方法、装置、设备、介质和程序产品的应用场景图。
98.如图1所示，根据该实施例的应用场景100可以包括第一终端设备101、第二终端设备102、第三终端设备103、网络104和服务器105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
99.用户可以使用第一终端设备101、第二终端设备102、第三终端设备103中的至少一个通过网络104与服务器105交互，以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
100.第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
101.服务器105可以是提供各种服务的服务器，例如对用户利用第一终端设备101、第二终端设备102、第三终端设备103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
102.在本公开实施例的应用场景下，用户可以使用第一终端设备101、第二终端设备102、第三终端设备103中的至少一个与服务器105交互，向服务器发送用于获取票据识别结果的请求，响应于对待识别票据图像的识别请求，服务器105可执行本公开实施例的方法，首先确定模型库中预存的多个识别模型组合中是否包含与待识别票据图像的目标票据类型关联的目标识别模型组合；在确定模型库中预存的多个识别模型组合中包含与目标票据类型对应的目标识别模型组合情况下，从模型库中获取目标识别模型组合；将待识别票据图像输入目标识别模型组合，输出对待识别票据图像的识别结果，通过第一终端设备101、第二终端设备102、第三终端设备103中的至少一个返回给用户。在确定模型库中预存的多个识别模型组合中不包含目标识别模型组合情况下，从模型库中获取基础识别模型组合；接收多个样本图像，并获取多个样本图像的标注信息，基于多个样本图像以及多个样本图像的标注信息对基础识别模型组合的参数进行调优，生成与目标票据类型关联的目标识别模型组合。后续，同种类型的票据输入进来的情况下，可通过新建的目标识别模型组合对票据进行识别，得出票据图像的识别结果，通过第一终端设备101、第二终端设备102、第三终端设备103中的至少一个返回给用户。
103.需要说明的是，本公开实施例所提供的识别模型生成方法一般可以由服务器105执行。相应地，本公开实施例所提供的识别模型生成装置一般可以设置于服务器105中。本
公开实施例所提供的识别模型生成方法也可以由不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的识别模型生成装置也可以设置于不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群中。
104.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
105.以下将基于图1描述的场景，通过图2～图8对公开实施例的识别模型生成方法及装置、服务调用方法进行详细描述。
106.图2示意性示出了根据本公开实施例的识别模型生成方法的流程图；图3示意性示出了根据本公开实施例的识别模型生成方法的原理图。以下结合图2、图3对本公开实施例的识别模型生成方法进行说明。
107.如图2所示，该实施例的识别模型生成方法包括操作s201～操作s204。
108.在操作s201，响应于对待识别票据图像的识别请求，确定模型库中预存的多个识别模型组合中是否包含与待识别票据图像的目标票据类型关联的目标识别模型组合；
109.在操作s202，在确定模型库中预存的多个识别模型组合中不包含目标识别模型组合情况下，从模型库中获取基础识别模型组合；
110.在操作s203，接收多个样本图像，并获取多个样本图像的标注信息，其中，样本图像与待识别票据图像属于同一目标票据类型；
111.在操作s204，基于多个样本图像以及多个样本图像的标注信息对基础识别模型组合的参数进行调优，生成与目标票据类型关联的目标识别模型组合。
112.根据本公开的实施例，上述方法可以应用在金融机构业务处理中，金融机构在受理转账和结算类业务时，除了线上转账、电子汇款外，在处理柜面业务时仍会受理大量储蓄存单、支票、汇票、支款、进账单等纸质票据，需要对票面的信息进行扫描录入，将信息传输到金融机构业务系统完成支付结算。过程中会涉及到各种各样的票据类型，如各种转账借方凭证、转账贷方凭证、贷记凭证、委托收款凭证、非同业存款交易确认书、实时通付款凭证等等，而且随着业务的发展，还将持续新增更多的票据类型。
113.如图3所示，金融机构的网点柜员在受理业务时，将相关纸质票据通过扫描仪单笔或批量扫描上传到金融机构后台系统，向后台发起针对待识别票据图像的识别请求，完成任务发起。
114.后台接收到纸质票据的扫描影像和业务描述信息后，在操作s20 1，首先执行票据类型和模型的判别，即，确定模型库中预存的多个识别模型组合中是否包含与待识别票据图像的目标票据类型关联的目标识别模型组合。模型库中预存的多个识别模型组合可以是预先训练好的针对各个票据类型的模型组合，一种票据类型对应一个识别模型组合。
115.如图3所示，每个识别模型组合可包括语义分割模型和icr文字识别模型。语义分割模型用于对票据图像的各个要素的区域进行识别和提取。icr文字识别模型用于对各个要素的区域内的文字进行识别，识别出要素名称和要素值，得到识别结果。例如，某付款凭证包括多个要素区：要素区1为付款行名称要素区，要素区2为收款人姓名要素区，要素区3为
……
；针对各个要素区包括要素名称和要素值，如要素区1的要素名称为“付款行名称”，
要素值为“xx银行”。
116.如图3所示，如果判断票据是原有票据，则模型库中预存的多个识别模型组合中包含与目标票据类型对应的目标识别模型组合，直接从模型库中获取目标识别模型组合(语义分割模型和icr文字识别模型))，将待识别票据图像输入目标识别模型组合，输出对待识别票据图像的识别结果。
117.如图3所示，如果判断票据是新上票据，则模型库中预存的多个识别模型组合中不包含与目标票据类型对应的目标识别模型组合，通过操作s202从模型库中获取基础识别模型组合，并通过操作s203，获取多个样本图像及其标注信息、通过操作s204基于多个样本图像以及多个样本图像的标注信息对基础识别模型组合的参数进行调优，生成与目标票据类型关联的目标识别模型组合。
118.其中，基础识别模型组合可以是模型库中预存的多个已经训练好的识别模型组合中的任一个。样本图像的标注信息可以是通过人工或者自动化标注的方式获得，通过对与待识别票据图像属于同一目标票据类型的样本图像进行标注，获得标注信息。样本图像的标注信息可例如可以是对样本图像包含的多个要素区域进行区域范围标注(如标注要素区域的范围坐标)、要素名称标注、和要素值标注。
119.根据本公开的实施例，用于对模型调优的多个样本图像可以是线上实时接收到的待识别的新上票据类型的票据影像。因尚未建立用于识别新上票据的识别模型，如图3所示，可以暂时通过对这些样本图像进行信息标注的方式获得票据信息，作为保底措施，保证信息生产不中断。同时，利用标注后的样本图像对基础识别模型组合进行线上实时调优，获得新的识别模型，如此，后续同种类型的票据传入后，便可直接调用建立的新模型进行信息识别获得票据信息。
120.根据本公开的实施例，如图3所示，对于原有票据，通过模型进行识别得到识别结果作为票据信息(纸质票据的要素名和对应要素值)被收集起来，对于新上票据，暂时通过对这些样本图像进行信息标注的方式获得票据信息。如此，实时收集起来的针对原有票据和新上票据的票据信息被发送至业务处理系统进行业务信息处理、归档和清算等等相关用途的处理。
121.根据本公开的实施例，在收集到票据信息后，可以通过人工复核校对票据信息的准确性。具体的，系统会将前面步骤的采集结果在录入界面上提示，操作员可以根据识别提示结果完成凭证影像上各要素内容的信息核对，如复核无误，则直接通过作为最终结果；如复核有内容有误，直接由操作员进行二次采集，二次采集的内容作为最终结果。
122.根据本公开的实施例，上述识别模型生成方法提供了一种用于票据信息识别的在线模型调优方法，对于票据信息的识别，首先判断模型库中是否包含与待识别票据图像的目标票据类型关联的目标识别模型组合，在不包含的情况下，获取待识别票据图像的标注信息，暂时通过对这一类型票据图像进行信息标注的方式获得票据信息，作为保底措施，保证信息生产不中断。同时，利用标注后的图像对基础识别模型组合进行线上实时调优，获得新的识别模型，如此，后续同种类型的票据传入后，便可直接调用建立的新模型进行信息识别获得票据信息。可见，通过标注信息采集和在线实时调优的方式相结合，标注数据一方面作为业务信息数据用于后续的系统加工处理，标注数据另一方面作为测试集不断调优模型效果，不断优化神经网络算法中可变参数。解决了对新上票据信息搜集问题，可实现快速将
各类纸质单据及凭证的信息，转化为准确无误的结构化信息，进一步推进金融机构业务的智能化高效率处理。该方法可兼容新老票据的实时采集，提升了凭证上收自动化处理的效率，确保了模型训练和应用的实效性，随着生产上大量实时数据的不断学习，模型的健壮性和识别率将不断的提升。
123.根据本公开的实施例，基础识别模型组合可以是模型库中预存的多个已经训练好的识别模型组合中的任一个，对于模型库中预存的多个识别模型，虽然各自网络参数有所不同，但是均是用于票据识别功能，区别仅在于适用的票据类型有所不同，因此，基于已经初步训练好的模型进行调优处理，可仅通过少量样本数据进行较少次的迭代即可完成模型的调优，相比于传统深度学习流程需要取数、训练、部署上线等流程，较大程度上缩短了模型从训练到应用的周期，保证了票据信息收集的时效性。
124.根据本公开的实施例，如图3所示，如果判断票据是原有票据，则模型库中预存的多个识别模型组合中包含与目标票据类型对应的目标识别模型组合，直接从模型库中获取目标识别模型组合(语义分割模型和icr文字识别模型))，将待识别票据图像输入目标识别模型组合，输出对待识别票据图像的识别结果。
125.进一步地，对输出的识别结果进行修正，得到待识别票据图像的票据信息；向业务处理系统发送待识别票据图像的票据信息。同时，基于待识别票据图像的票据信息对目标识别模型组合的参数进行调优。
126.根据本公开的实施例，面对各种新老票据的信息收集任务，本公开实施例的上述方法通过对新老票据的不同处理方法，实现了对新老票据的兼容处理，可不断在线适配各类票据类型，保证生产不中断，提高业务处理效率。
127.此外，由于识别模型的识别结果可能不够精确，因此，进一步地对识别结果进行了修正，同时，利用修正后的票据识别信息对识别模型进行反向调优，如此，随着生产中票据的不断加入，通过反向调优可保证原有模型的参数也不断更新优化，使得模型的识别准确率也在不断提高。
128.根据本公开的实施例，进一步地，确定模型库中预存的多个识别模型组合中是否包含与待识别票据图像的目标票据类型关联的目标识别模型组合包括以下操作：
129.操作11，将待识别票据图像输入版面识别模型，输出待识别票据图像对应的目标版面信息。版面识别模型用于对票据图像进行图像分割，识别出票据中的要素分布信息，包括各个要素区域的位置信息和数量信息。具体地，目标版面信息包括待识别票据图像包含的多个目标要素区域的第一位置信息和第一数量信息。第一位置信息例如可以是目标要素区域的中心坐标位置，第一数量信息为票据中包含的多个目标要素区域的总数量。
130.操作12，将目标版面信息与模板库中预存的多个票据标准模板进行匹配处理，生成版面匹配结果，其中，多个票据标准模板与模型库中预存的多个识别模型组合一一对应。
131.根据本公开的实施例，通过对模型的在线调优，针对任一新上票据类型的识别模型被训练优化好之后，模型被存储至模型库。同时，会生成该模型可识别票据类型的票据标准模板，存储在模板库中。票据标准模板中被标记有多个标准要素区域的第二位置信息和第二数量信息。第二位置信息例如可以是标准要素区域的中心坐标位置，第二数量信息为票据中包含的多个标准要素区域的总数量。
132.根据本公开的实施例，将目标版面信息与模板库中预存的多个票据标准模板进行
匹配处理，生成版面匹配结果包括：将多个目标要素区域的第一位置信息与多个标准要素区域的第二位置信息进行匹配处理，以及将目标要素区域的第一数量信息和多个标准要素区域的第二数量信息进行匹配处理，生成版面匹配结果。例如，可以是确定第一位置信息与第二位置信息的坐标差值是否小于预设误差阈值，同时，确定第一数量信息和第二数量信息是否相同，同时满足上述条件的情况下，认为目标版面信息与票据标准模板匹配，反之，则不匹配。
133.操作13，根据版面匹配结果，确定多个识别模型组合中是否包含与目标票据类型关联的目标识别模型组合。
134.版面匹配结果包括第一匹配结果，第一匹配结果用于表征多个票据标准模板中是否包含与目标版面信息匹配的目标票据标准模板，即目标版面信息与票据标准模板是否匹配。
135.在匹配结果表征多个票据标准模板中不包含与目标版面信息匹配的目标票据标准模板的情况下，确定多个识别模型组合中不包含与目标票据类型关联的目标识别模型组合；反之，在匹配结果表征多个票据标准模板中包含与目标版面信息匹配的目标票据标准模板的情况下，确定多个识别模型组合中包含与目标票据类型关联的目标识别模型组合。
136.根据本公开的实施例，通过利用版面识别模型输出待识别票据图像对应的目标版面信息，并将目标版面信息与模板库中预存的多个票据标准模板进行匹配处理，可以根据匹配结果准确确定模型库中是否包含与目标票据类型关联的目标识别模型组合。
137.根据本公开的实施例，进一步地，版面匹配结果包括第二匹配结果，第二匹配结果用于表征目标版面信息与各票据标准模板之间的匹配度大小。在将多个目标要素区域的第一位置信息与多个标准要素区域的第二位置信息进行匹配处理，以及将目标要素区域的第一数量信息和多个标准要素区域的第二数量信息进行匹配处理的过程中，可以根据匹配程度的高低，输出第二匹配结果，例如，第一位置信息与第二位置信息的坐标差值越小，同时，第一数量信息和第二数量信息数量差距越小，则认为匹配程度较高，反之匹配程度较低。
138.基于此，从模型库中获取的基础识别模型组合可以是：根据第二匹配结果，从多个票据标准模板中确定优选票据标准模板；从多个识别模型组合中获取与优选票据标准模板对应的识别模型组合，作为基础识别模型组合。
139.通过上述方法，基础识别模型组合可适用的版面结构与待识别票据图像的版面结构最为相似，因此，基于该模型进行调优处理，可仅通过少量样本数据进行较少次的迭代即可完成模型的调优，较大程度上缩短了模型调优周期，保证了票据信息收集的时效性。
140.根据本公开的实施例，样本图像的标注信息包括：样本图像包含的多个要素区域各自的区域范围标注坐标值(如范围框线的多个界点坐标)、要素标注名称(key)、要素标注值(value)。
141.对于新上的票据类型，首先将其流转到信息标注环节，对影像信息进行标注和采集，可以采用人工标注的方式。人工对每个要素标记具体的区域，以及标注要素名称和要素值。例如，通过操作员观察票面印有票据名称的位置，框出票据名称具体的区域，并标记出要素名称和要素值对应的文字内容。
142.对于新上的票据类型，对影像信息进行标注和采集，也可以采用半人工半自动化的方式，以提高标注的效率。具体地，获取多个样本图像的标注信息可包括以下操作：
143.操作21，从预标注系统中读取多个样本图像中预选样本图像对应的预标注图像，预标注图像中的各个要素区域被标识有范围框线。预选样本图像可以是多个样本图像中的任意一张或多张图像，可以通过人工标注的方式框选出票面上各要素区域。
144.操作22，基于预标注图像，生成样本图像包含的要素区域的区域范围标注坐标值。具体地，将预标注图像输入坐标识别模型，输出预标注图像中的范围框线对应的框线坐标值；将框线坐标值确定为样本图像包含的要素区域的区域范围标注坐标值。
145.根据本公开的实施例，对于同一种票据类型，其版面各个栏位在板式和布局上相同，因此，对于要素区域的标注，本公开实施例通过人工标注少量票据的方式获得少部分票据样本的区域标注信息，介于同一种票据类型具有相同的版面布局，可将该少部分票据的区域标注信息作为该类型所有票据的区域标注信息，后续，可将预标注图像中的范围框线对应的框线坐标值直接赋值给未标注的票据图像，实现其余样本图像区域位置的自动化标注。
146.进一步，可进一步通过人工修正标注信息，操作员可对预标注的框线位置进行微调托拉拽，由人工来确保区域标注的正确性。具体地，系统会将采集结果在录入界面上提示，操作员可以根据识别提示结果观察图像上区域分割的区域范围标记，并根据票面实际情况对分割的区域进行微调。
147.操作23，结合通用识别模型，获取样本图像包含的要素区域的要素标注名称和要素标注值。
148.根据本公开的实施例，对于新上的票据类型，对样本图像包含的要素区域的要素标注名称和要素标注值的标注，可以采用人工标注的方式，也可采用半人工半自动化的方式，以提高标注效率。
149.采用人工标注的方式，可通过操作员观察票面各元素区域内的文字，并记录文字内容。
150.采用采用半人工半自动化的方式，可以是结合通用识别模型获取样本图像包含的要素区域的要素标注名称和要素标注值，具体地：可将样本图像输入通用识别模型，输出针对样本图像中的印刷体文字的第一文字识别结果；从预标注系统中读取针对样本图像中的手写体文字的第二文字识别结果(可以是人工标注)；并将第一文字识别结果和第二文字识别结果组合，作为样本图像包含的要素区域的要素标注名称和要素标注值。
151.根据本公开的实施例，可以采用ocr通用识别模型识别票面上的印刷文字，包括凭证标题、要素名、要素值；人工辅助识别手写文字，如此，可以提升标注效率。
152.图4示意性示出了根据本公开实施例的进行模型调优的方法原理图。
153.根据本公开的实施例，如图4所示，基础识别模型组合包括基础语义分割模型和基础文字识别模型。基础语义分割模型和基础文字识别模型一方面可用于线上实时处理适用类型的票据识别请求，一方面可基于标注信息参与模型调优。可以将相同的模型布置在两套服务系统中，其中一套服务系统中的模型处理识别请求，用于线上实时图像信息识别，另一套服务系统中的模型参与模型调优。
154.基于此，基于多个样本图像以及多个样本图像的标注信息对基础识别模型组合的参数进行调优包括以下操作：
155.操作31，将样本图像输入基础语义分割模型，输出样本图像包含的多个要素区域
各自的区域范围预测坐标值。语义分割模型用于对凭证影像上的各个要素的区域进行识别和提取。可采用r-cnn网络，与传统的以图像分类为主要目的cnn结构相比，r-cnn能够处理更复杂的任务，如目标检测和图像分割。r-cnn通过将基于区域的预测转换为像素预测，根据检测结果进行语义分割。r-cnn首先利用选择性搜索来提取大量的目标提案，然后计算每个提案的cnn特征。最后，使用类特定的线性支持向量机对每个区域进行分类。最终将输入的凭证影像检测输出待识别的重点要素切片。
156.操作32，将样本图像以及样本图像包含的多个要素区域各自的区域范围预测坐标值输入文字识别模型，输出样本图像包含的多个要素区域各自的要素预测名称和要素预测值。文字识别模型例如可采用auto-ml、bert、fine-turn等模型，可准确识别出票据上的手写体。具体的，可以通过encode-decode(编码层-解码层)，结合auto-ml，基于自适应感受野的nas进行神经网络的构建，每一层的网络结构都是nas搜索出的“合适感受野”子结构，利用这个字周边的信息来辅助本字的识别。这种灵活的方案同时也支持计算量的动态调整，可以保证云端和本地端等多种场景下模型的灵活部署。最终经过解码层产生结构化文本信息的输出。
157.操作33，根据多个要素区域各自的要素标注名称和要素标注值，以及多个要素区域各自的要素预测名称和要素预测值，计算网络损失函数的损失值。
158.操作34，在网络损失函数的损失值小于预设阈值的情况下，生成与目标票据类型关联的目标语义分割模型和目标文字识别模型。
159.模型调优策略采用反向传播(backpropagation，缩写为bp)策略，反向传播是基于神经网络的各类机器学习与深度学习算法进行模型训练和迭代优化的基本方法，可结合最优化方法(如梯度下降法)使用。该方法对网络中所有权重计算损失函数的梯度。计算出来的梯度会反馈给最优化方法，用来更新权值以最小化损失函数，(误差的反向传播)。
160.bp算法的学习过程由正向传播过程和反向传播过程组成。在正向传播过程中，输入信息通过输入层经隐含层，逐层处理并传向输出层。如果在输出层得不到期望的输出值，则取输出与期望的误差的平方和作为目标函数，转入反向传播，逐层求出目标函数对各神经元权值的偏导数，构成目标函数对权值向量的梯量，作为修改权值的依据，最终使网络的输出结果不断的接近预期表现。
161.生产上不断输入的被标注的票据样本图像作为基础语义分割模型和基础文字识别模型的输入，两种模型算法底层的bp神经网络将不断的通过增量训练的方式进行模型迭代。在网络损失函数的损失值小于预设阈值的情况下，生成与目标票据类型关联的目标语义分割模型和目标文字识别模型。
162.本公开的另一个方面提供了一种服务调用方法，图5示意性示出了根据本公开实施例的服务调用方法的流程图。
163.如图5所示，本公开实施例的服务调用方法包括操作s501～操作s503。
164.在操作s501，响应于对待识别票据图像的识别请求，调用判别服务执行：确定模型库中预存的多个识别模型组合中是否包含与待识别票据图像的目标票据类型关联的目标识别模型组合。
165.在操作s502，在确定模型库中预存的多个识别模型组合中包含与目标票据类型对应的目标识别模型组合情况下，调用票据识别服务执行：从模型库中调用目标识别模型组
合，并利用目标识别模型组合输出对待识别票据图像的识别结果，识别结果用于表征待识别票据图像包含的多个目标要素区域的目标要素名称和目标要素值。
166.在操作s503，在确定模型库中预存的多个识别模型组合中不包含目标识别模型组合情况下，调用票据标注服务执行对待识别票据图像进行标注的操作，并且调用模型调优服务执行：从模型库中调用基础识别模型组合，并对基础识别模型组合的参数进行调优，生成与目标票据类型关联的目标识别模型组合，并将目标识别模型组合新增至模型库中。其中，对待识别票据图像进行标注得到的标注信息包括待识别票据图像包含的多个目标要素区域的目标要素名称和目标要素值。
167.根据本公开的实施例，上述操作s501～操作s503具体实施方式可参考前述有关识别模型生成方法实施例中的描述，在此不再赘述。
168.根据本公开的实施例，基础识别模型组合包括基础语义分割模型和基础文字识别模型。基础语义分割模型和基础文字识别模型一方面可用于线上实时处理适用类型的票据识别请求，一方面可基于标注信息参与模型调优。可以将相同的模型布置在两套服务系统中，其中一套模型布置在票据识别服务系统中，用于在线识别票据图像元素信息；另外一套模型布置在模型调优服务系统中，用于参与模型在线调优。
169.在调用判别服务确定模型库中是否包含与待识别票据图像的目标票据类型关联的目标识别模型组合后，生成服务标识flag。在模型库中包含目标识别模型组合的情况下，fag＝1，在模型库中不包含目标识别模型组合的情况下，flag＝0，
170.在模型库中包含目标识别模型组合的情况下，根据服务标识flag＝1，触发调用票据识别服务的操作，利用票据识别服务系统中的目标识别模型组合在线识别票据图像元素信息。
171.在模型库中包含目标识别模型组合的情况下，根据服务标识flag＝0，触发调用票据标注服务和模型调优服务的操作。通过从票据标注服务系统中获取待识别票据图像以及多个样本图像的标注信息(样本图像与待识别票据图像属于同一种票据类型)，如此，暂时通过对这一类型票据图像进行信息标注的方式获得票据信息，作为保底措施，保证信息生产不中断。同时，在模型调优服务系统，利用标注后的图像对基础识别模型组合进行线上实时调优，获得新的识别模型。
172.在模型调优更新完成之后，可进行服务状态切换，原先执行模型调优的服务系统切换为执行票据识别服务(因模型更新完成，需及时上线投产)；反之，原先执行票据识别服务的服务系统切换为执行模型调优服务，用于执行针对新一轮票据识别模型的调优操作。如此，保证了在线生产和在线调优的不间断执行。
173.根据本公开的实施例，通过调用判别服务可判断模型库中是否包含与待识别票据图像的目标票据类型关联的目标识别模型组合，再根据不同的情形执行相应的服务调用操作。如此，在存在目标识别模型组合的情况下，调用票据识别服务及时完成在线信息识别；在不存在目标识别模型组合的情况下调用票据标注服务获取待识别票据图像的标注信息，暂时通过对这一类型票据图像进行信息标注的方式获得票据信息，作为保底措施，保证信息生产不中断。同时，调用模型调优服务，利用标注后的图像对基础识别模型组合进行线上实时调优，获得新的识别模型。如此，后续同种类型的票据传入后，便可直接调用建立的新模型进行信息识别获得票据信息。可见，通过在线模型识别、标注信息采集和在线实时调优
的方式相结合，结合对新老票据的不同处理方法，实现了对新老票据的兼容处理，可不断在线适配各类票据类型，保证生产不中断，提高业务处理效率。解决了对新上票据信息搜集问题，可实现快速将各类纸质单据及凭证的信息，转化为准确无误的结构化信息，进一步推进金融机构业务的智能化高效率处理。该方法可兼容新老票据的实时采集，提升了凭证上收自动化处理的效率，确保了模型训练和应用的实效性，随着生产上大量实时数据的不断学习，模型的健壮性和识别率将不断的提升。
174.基于上述识别模型生成方法，本公开还提供了一种识别模型生成装置。以下将结合图6对该装置进行详细描述。
175.图6示意性示出了根据本公开实施例的识别模型生成装置的结构框图。
176.如图6所示，该实施例的识别模型生成装置600包括确定模块601、第一获取模块602、第二获取模块603、第一调优模块603。
177.其中，确定模块601，用于响应于对待识别票据图像的识别请求，确定模型库中预存的多个识别模型组合中是否包含与待识别票据图像的目标票据类型关联的目标识别模型组合。
178.第一获取模块602，用于在确定模型库中预存的多个识别模型组合中不包含目标识别模型组合情况下，从模型库中获取基础识别模型组合。
179.第二获取模块603，用于接收多个样本图像，并获取多个样本图像的标注信息，其中，样本图像与待识别票据图像属于同一目标票据类型。
180.第一调优模块604，用于基于多个样本图像以及多个样本图像的标注信息对基础识别模型组合的参数进行调优，生成与目标票据类型关联的目标识别模型组合。
181.根据本公开的实施例，通过确定模块601首先判断模型库中是否包含与待识别票据图像的目标票据类型关联的目标识别模型组合，在不包含的情况下，通过第二获取模块603获取待识别票据图像的标注信息，暂时通过对这一类型票据图像进行信息标注的方式获得票据信息，作为保底措施，保证信息生产不中断。同时，通过第一调优模块604利用标注后的图像对基础识别模型组合进行线上实时调优，获得新的识别模型，如此，后续同种类型的票据传入后，便可直接调用建立的新模型进行信息识别获得票据信息。可见，通过标注信息采集和在线实时调优的方式相结合，标注数据一方面作为业务信息数据用于后续的系统加工处理，标注数据另一方面作为测试集不断调优模型效果，不断优化神经网络算法中可变参数。解决了对新上票据信息搜集问题，可实现快速将各类纸质单据及凭证的信息，转化为准确无误的结构化信息，进一步推进金融机构业务的智能化高效率处理。该方法可兼容新老票据的实时采集，提升了凭证上收自动化处理的效率，确保了模型训练和应用的实效性，随着生产上大量实时数据的不断学习，模型的健壮性和识别率将不断的提升。
182.根据本公开的实施例，上述装置还包括第三获取模块、识别模块、修正模块、发送模块、第二调优模块。
183.其中，第三获取模块，用于在确定模型库中预存的多个识别模型组合中包含与目标票据类型对应的目标识别模型组合情况下，从模型库中获取目标识别模型组合。
184.识别模块，用于将待识别票据图像输入目标识别模型组合，输出对待识别票据图像的识别结果。
185.修正模块，用于对识别结果进行修正，得到待识别票据图像的票据信息；
186.发送模块，用于向业务处理系统发送待识别票据图像的票据信息；
187.第二调优模块，用于基于待识别票据图像的票据信息对目标识别模型组合的参数进行调优。
188.根据本公开的实施例，其中，确定模块包括识别单元、匹配单元、第一确定单元。
189.其中，识别单元，用于将待识别票据图像输入版面识别模型，输出待识别票据图像对应的目标版面信息。
190.匹配单元，用于将目标版面信息与模板库中预存的多个票据标准模板进行匹配处理，生成版面匹配结果，其中多个票据标准模板与模型库中预存的多个识别模型组合一一对应。
191.第一确定单元，用于根据版面匹配结果，确定多个识别模型组合中是否包含与目标票据类型关联的目标识别模型组合。
192.根据本公开的实施例，其中，目标版面信息包括待识别票据图像包含的多个目标要素区域的第一位置信息和第一数量信息，票据标准模板中被标记有多个标准要素区域的第二位置信息和第二数量信息。
193.匹配单元包括匹配子单元，用于将多个目标要素区域的第一位置信息与多个标准要素区域的第二位置信息进行匹配处理，以及将目标要素区域的第一数量信息和多个标准要素区域的第二数量信息进行匹配处理，生成版面匹配结果。
194.根据本公开的实施例，其中，版面匹配结果包括第一匹配结果，第一匹配结果用于表征多个票据标准模板中是否包含与目标版面信息匹配的目标票据标准模板。
195.第一确定单元包括第一确定子单元、第二确定子单元。
196.其中，第一确定子单元，用于在匹配结果表征多个票据标准模板中不包含与目标版面信息匹配的目标票据标准模板的情况下，确定多个识别模型组合中不包含与目标票据类型关联的目标识别模型组合。
197.第二确定子单元，用于在匹配结果表征多个票据标准模板中包含与目标版面信息匹配的目标票据标准模板的情况下，确定多个识别模型组合中包含与目标票据类型关联的目标识别模型组合。
198.根据本公开的实施例，其中，版面匹配结果包括第二匹配结果，第二匹配结果用于表征目标版面信息与各票据标准模板之间的匹配度大小。
199.第一获取模块包括第二确定单元、第一获取单元。
200.其中，第二确定单元，用于根据第二匹配结果，从多个票据标准模板中确定优选票据标准模板。
201.第一获取单元，用于从多个识别模型组合中获取与优选票据标准模板对应的识别模型组合，作为基础识别模型组合。
202.根据本公开的实施例，其中，样本图像的标注信息包括：样本图像包含的多个要素区域各自的区域范围标注坐标值、要素标注名称、要素标注值。
203.第二获取模块包括读取单元、第一生成单元、第二获取单元。
204.其中，读取单元，用于从预标注系统中读取多个样本图像中预选样本图像对应的预标注图像，预标注图像中的各个要素区域被标识有范围框线。
205.第一生成单元，用于基于预标注图像，生成样本图像包含的要素区域的区域范围
标注坐标值。
206.第二获取单元，用于结合通用识别模型，获取样本图像包含的要素区域的要素标注名称和要素标注值。
207.根据本公开的实施例，其中，第一生成单元包括第一识别子单元、第三确定子单元。
208.其中，第一识别子单元，用于将预标注图像输入坐标识别模型，输出预标注图像中的范围框线对应的框线坐标值。
209.第三确定子单元，用于将框线坐标值确定为样本图像包含的要素区域的区域范围标注坐标值。
210.根据本公开的实施例，其中，第二获取单元包括第二识别子单元、读取子单元、组合子单元。
211.其中，第二识别子单元，用于将样本图像输入通用识别模型，输出针对样本图像中的印刷体文字的第一文字识别结果。
212.读取子单元，用于从预标注系统中读取针对样本图像中的手写体文字的第二文字识别结果。
213.组合子单元，用于将第一文字识别结果和第二文字识别结果组合，作为样本图像包含的要素区域的要素标注名称和要素标注值。
214.根据本公开的实施例，其中，基础识别模型组合包括基础语义分割模型和基础文字识别模型，目标识别模型组合包括目标语义分割模型和目标文字识别模型，样本图像的标注信息包括样本图像包含的多个要素区域各自的区域范围标注坐标值、要素标注名称、要素标注值。
215.调优模块包括语义分割单元、文字识别单元、计算单元、第二生成单元。
216.其中，语义分割单元，用于将样本图像输入基础语义分割模型，输出样本图像包含的多个要素区域各自的区域范围预测坐标值。
217.文字识别单元，用于将样本图像以及样本图像包含的多个要素区域各自的区域范围预测坐标值输入字识别模型，输出样本图像包含的多个要素区域各自的要素预测名称和要素预测值。
218.计算单元，用于根据多个要素区域各自的要素标注名称和要素标注值，以及多个要素区域各自的要素预测名称和要素预测值，计算网络损失函数的损失值。
219.第二生成单元，用于在网络损失函数的损失值小于预设阈值的情况下，生成与目标票据类型关联的目标语义分割模型和目标文字识别模型。
220.基于上述服务调用方法，本公开还提供了一种服务调用装置。以下将结合图7对该装置进行详细描述。
221.图7示意性示出了根据本公开实施例的服务调用装置700的结构框图。
222.如图7所示，该实施例的服务调用装置700，包括第一调用模块701、第二调用模块702、第三调用模块703。
223.其中，第一调用模块701，用于响应于对待识别票据图像的识别请求，调用判别服务执行：确定模型库中预存的多个识别模型组合中是否包含与待识别票据图像的目标票据类型关联的目标识别模型组合。
224.第二调用模块702，用于在确定模型库中预存的多个识别模型组合中包含与目标票据类型对应的目标识别模型组合情况下，调用票据识别服务执行：从模型库中调用目标识别模型组合，并利用目标识别模型组合输出对待识别票据图像的识别结果，识别结果用于表征待识别票据图像包含的多个目标要素区域的目标要素名称和目标要素值。
225.第三调用模块703，用于在确定模型库中预存的多个识别模型组合中不包含所述目标识别模型组合情况下，调用票据标注服务和模型调优服务，其中，调用票据标注服务执行对待识别票据图像进行标注的操作，调用模型调优服务执行：从所述模型库中调用基础识别模型组合，并对所述基础识别模型组合的参数进行调优，生成与所述目标票据类型关联的目标识别模型组合，并将所述目标识别模型组合新增至所述模型库中。
226.根据本公开的实施例，通过第一调用模块701调用判别服务可判断模型库中是否包含与待识别票据图像的目标票据类型关联的目标识别模型组合，再根据不同的情形执行相应的服务调用操作。如此，在存在目标识别模型组合的情况下，通过第二调用模块702调用票据识别服务及时完成在线信息识别；在不存在目标识别模型组合的情况下通过第三调用模块703调用票据标注服务获取待识别票据图像的标注信息，暂时通过对这一类型票据图像进行信息标注的方式获得票据信息，作为保底措施，保证信息生产不中断。同时，通过第三调用模块703调用模型调优服务，利用标注后的图像对基础识别模型组合进行线上实时调优，获得新的识别模型。如此，后续同种类型的票据传入后，便可直接调用建立的新模型进行信息识别获得票据信息。可见，通过在线模型识别、标注信息采集和在线实时调优的方式相结合，结合对新老票据的不同处理方法，实现了对新老票据的兼容处理，可不断在线适配各类票据类型，保证生产不中断，提高业务处理效率。
227.根据本公开的实施例，确定模块601、第一获取模块602、第二获取模块603、第一调优模块604，或者第一调用模块701、第二调用模块702、第三调用模块703中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，确定模块601、第一获取模块602、第二获取模块603、第一调优模块604，或者第一调用模块701、第二调用模块702、第三调用模块703中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，确定模块601、第一获取模块602、第二获取模块603、第一调优模块604，或者第一调用模块701、第二调用模块702、第三调用模块703中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
228.图8示意性示出了根据本公开实施例的适于实现识别模型生成方法或服务调用方法的电子设备的方框图。
229.如图8所示，根据本公开实施例的电子设备800包括处理器801，其可以根据存储在只读存储器(rom)802中的程序或者从存储部分808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))等等。处理器
801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
230.在ram 803中，存储有电子设备800操作所需的各种程序和数据。处理器801、rom 802以及ram 803通过总线804彼此相连。处理器801通过执行rom 802和/或ram 803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom 802和ram 803以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
231.根据本公开的实施例，电子设备800还可以包括输入/输出(i/o)接口805，输入/输出(i/o)接口805也连接至总线804。电子设备800还可以包括连接至i/o接口805的以下部件中的一项或多项：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
232.本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
233.根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom 802和/或ram 803和/或rom 802和ram 803以外的一个或多个存储器。
234.本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的识别模型生成方法或服务调用方法。
235.在该计算机程序被处理器801执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
236.在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分809被下载和安装，和/或从可拆卸介质811被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
237.在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，
和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
238.根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如java，c++，python，“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
239.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
240.本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
241.以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

技术特征：
1.一种识别模型生成方法，包括：响应于对待识别票据图像的识别请求，确定模型库中预存的多个识别模型组合中是否包含与所述待识别票据图像的目标票据类型关联的目标识别模型组合；在确定模型库中预存的多个识别模型组合中不包含所述目标识别模型组合情况下，从所述模型库中获取基础识别模型组合；接收多个样本图像，并获取多个所述样本图像的标注信息，其中，所述样本图像与所述待识别票据图像属于同一目标票据类型；基于多个样本图像以及所述多个样本图像的标注信息对所述基础识别模型组合的参数进行调优，生成与所述目标票据类型关联的目标识别模型组合。2.根据权利要求1所述的方法，还包括：在确定模型库中预存的多个识别模型组合中包含与所述目标票据类型对应的目标识别模型组合情况下，从所述模型库中获取目标识别模型组合；将所述待识别票据图像输入所述目标识别模型组合，输出对所述待识别票据图像的识别结果；对所述识别结果进行修正，得到所述待识别票据图像的票据信息；向业务处理系统发送所述待识别票据图像的票据信息；以及基于所述待识别票据图像的票据信息对所述目标识别模型组合的参数进行调优。3.根据权利要求1所述的方法，其中，确定模型库中预存的多个识别模型组合中是否包含与所述待识别票据图像的目标票据类型关联的目标识别模型组合包括：将所述待识别票据图像输入版面识别模型，输出所述待识别票据图像对应的目标版面信息；将所述目标版面信息与模板库中预存的多个票据标准模板进行匹配处理，生成版面匹配结果，其中所述多个票据标准模板与模型库中预存的所述多个识别模型组合一一对应；根据所述版面匹配结果，确定所述多个识别模型组合中是否包含与所述目标票据类型关联的目标识别模型组合。4.根据权利要求3所述的方法，其中：所述目标版面信息包括所述待识别票据图像包含的多个目标要素区域的第一位置信息和第一数量信息，所述票据标准模板中被标记有多个标准要素区域的第二位置信息和第二数量信息；将所述目标版面信息与模板库中预存的多个票据标准模板进行匹配处理，生成版面匹配结果包括：将所述多个目标要素区域的第一位置信息与所述多个标准要素区域的第二位置信息进行匹配处理，以及将所述目标要素区域的第一数量信息和所述多个标准要素区域的第二数量信息进行匹配处理，生成版面匹配结果。5.根据权利要求3所述的方法，其中：所述版面匹配结果包括第一匹配结果，所述第一匹配结果用于表征所述多个票据标准模板中是否包含与所述目标版面信息匹配的目标票据标准模板；根据所述版面匹配结果，确定所述多个识别模型组合中是否包含与所述目标票据类型关联的目标识别模型组合包括：
在所述匹配结果表征所述多个票据标准模板中不包含与所述目标版面信息匹配的目标票据标准模板的情况下，确定所述多个识别模型组合中不包含与所述目标票据类型关联的目标识别模型组合；以及在所述匹配结果表征所述多个票据标准模板中包含与所述目标版面信息匹配的目标票据标准模板的情况下，确定所述多个识别模型组合中包含与所述目标票据类型关联的目标识别模型组合。6.根据权利要求3所述的方法，其中：所述版面匹配结果包括第二匹配结果，所述第二匹配结果用于表征所述目标版面信息与各所述票据标准模板之间的匹配度大小；从所述模型库中获取基础识别模型组合包括：根据所述第二匹配结果，从多个所述票据标准模板中确定优选票据标准模板；从所述多个识别模型组合中获取与所述优选票据标准模板对应的识别模型组合，作为所述基础识别模型组合。7.根据权利要求1-6任一项所述的方法，其中：所述样本图像的标注信息包括：所述样本图像包含的多个要素区域各自的区域范围标注坐标值、要素标注名称、要素标注值；获取多个所述样本图像的标注信息包括：从预标注系统中读取多个所述样本图像中预选样本图像对应的预标注图像，所述预标注图像中的各个要素区域被标识有范围框线；基于所述预标注图像，生成所述样本图像包含的要素区域的区域范围标注坐标值；结合通用识别模型，获取所述样本图像包含的要素区域的要素标注名称和要素标注值。8.根据权利要求7所述的方法，其中，基于所述预标注图像，生成所述样本图像包含的要素区域的区域范围标注坐标值包括：将所述预标注图像输入坐标识别模型，输出所述预标注图像中的所述范围框线对应的框线坐标值；将所述框线坐标值确定为所述样本图像包含的要素区域的区域范围标注坐标值。9.根据权利要求7所述的方法，其中，结合通用识别模型，获取所述样本图像包含的要素区域的要素标注名称和要素标注值包括：将所述样本图像输入通用识别模型，输出针对所述样本图像中的印刷体文字的第一文字识别结果；从所述预标注系统中读取针对所述样本图像中的手写体文字的第二文字识别结果；将所述第一文字识别结果和第二文字识别结果组合，作为所述样本图像包含的要素区域的要素标注名称和要素标注值。10.根据权利要求1-6任一项所述的方法，其中：基础识别模型组合包括基础语义分割模型和基础文字识别模型，所述目标识别模型组合包括目标语义分割模型和目标文字识别模型，所述样本图像的标注信息包括所述样本图像包含的多个要素区域各自的区域范围标注坐标值、要素标注名称、要素标注值；基于多个样本图像以及所述多个样本图像的标注信息对所述基础识别模型组合的参
数进行调优包括：将所述样本图像输入基础语义分割模型，输出所述样本图像包含的多个要素区域各自的区域范围预测坐标值；将所述样本图像以及所述样本图像包含的多个要素区域各自的区域范围预测坐标值输入字识别模型，输出所述样本图像包含的多个要素区域各自的要素预测名称和要素预测值；根据所述多个要素区域各自的要素标注名称和要素标注值，以及所述多个要素区域各自的要素预测名称和要素预测值，计算网络损失函数的损失值；在所述网络损失函数的损失值小于预设阈值的情况下，生成与所述目标票据类型关联的目标语义分割模型和目标文字识别模型。11.一种服务调用方法，包括：响应于对待识别票据图像的识别请求，调用判别服务执行：确定模型库中预存的多个识别模型组合中是否包含与所述待识别票据图像的目标票据类型关联的目标识别模型组合；在确定模型库中预存的多个识别模型组合中包含与所述目标票据类型对应的目标识别模型组合情况下，调用票据识别服务执行：从所述模型库中调用目标识别模型组合，并利用所述目标识别模型组合输出对所述待识别票据图像的识别结果，所述识别结果用于表征所述待识别票据图像包含的多个目标要素区域的目标要素名称和目标要素值；在确定模型库中预存的多个识别模型组合中不包含所述目标识别模型组合情况下，调用票据标注服务和模型调优服务，其中，调用票据标注服务执行对待识别票据图像进行标注的操作，调用模型调优服务执行：从所述模型库中调用基础识别模型组合，并对所述基础识别模型组合的参数进行调优，生成与所述目标票据类型关联的目标识别模型组合，并将所述目标识别模型组合新增至所述模型库中。12.一种识别模型生成装置，包括：确定模块，用于响应于对待识别票据图像的识别请求，确定模型库中预存的多个识别模型组合中是否包含与所述待识别票据图像的目标票据类型关联的目标识别模型组合；第一获取模块，用于在确定模型库中预存的多个识别模型组合中不包含所述目标识别模型组合情况下，从所述模型库中获取基础识别模型组合；第二获取模块，用于接收多个样本图像，并获取多个所述样本图像的标注信息，其中，所述样本图像与所述待识别票据图像属于同一目标票据类型；第一调优模块，用于基于多个样本图像以及所述多个样本图像的标注信息对所述基础识别模型组合的参数进行调优，生成与所述目标票据类型关联的目标识别模型组合。13.一种服务调用装置，包括：第一调用模块，用于响应于对待识别票据图像的识别请求，调用判别服务执行：确定模型库中预存的多个识别模型组合中是否包含与所述待识别票据图像的目标票据类型关联的目标识别模型组合；第二调用模块，用于在确定模型库中预存的多个识别模型组合中包含与所述目标票据类型对应的目标识别模型组合情况下，调用票据识别服务执行：从所述模型库中调用目标识别模型组合，并利用所述目标识别模型组合输出对所述待识别票据图像的识别结果，所
述识别结果用于表征所述待识别票据图像包含的多个目标要素区域的目标要素名称和目标要素值；第三调用模块，用于在确定模型库中预存的多个识别模型组合中不包含所述目标识别模型组合情况下，调用票据标注服务和模型调优服务，其中，调用票据标注服务执行对待识别票据图像进行标注的操作，调用模型调优服务执行：从所述模型库中调用基础识别模型组合，并对所述基础识别模型组合的参数进行调优，生成与所述目标票据类型关联的目标识别模型组合，并将所述目标识别模型组合新增至所述模型库中。14.一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～11中任一项所述的方法。15.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～11中任一项所述的方法。16.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～11中任一项所述的方法。

技术总结
本公开提供了一种识别模型生成方法及装置、服务调用方法、设备、介质，可以应用于图像识别技术领域。该识别模型生成方法包括：响应于对待识别票据图像的识别请求，确定模型库中预存的多个识别模型组合中是否包含与待识别票据图像的目标票据类型关联的目标识别模型组合；在确定模型库中预存的多个识别模型组合中不包含目标识别模型组合情况下，从模型库中获取基础识别模型组合；接收多个样本图像，并获取多个样本图像的标注信息；基于多个样本图像以及多个样本图像的标注信息对基础识别模型组合的参数进行调优，生成与目标票据类型关联的目标识别模型组合。联的目标识别模型组合。联的目标识别模型组合。


技术研发人员：陈冠宇 汪维 何洋
受保护的技术使用者：建信金融科技有限责任公司
技术研发日：2023.03.10
技术公布日：2023/7/20