一种基于孪生卷积神经网络的书法字识别方法

1.本发明涉及书法字识别技术领域，更具体地，涉及一种基于孪生卷积神经网络的书法字识别方法。


背景技术：

2.中国书法字的历史和丰富度广博又深远，而目前年轻一代对一些书法字还缺乏了解。例如，登高岳阳楼，行于楼东新碑廊，面对龙飞凤舞，气吞山河的古文隽字，只能徒然汗颜，这是因为难以识别出文字内容。如果可以通过机器快速进行识别，那么就可以克服阅读障碍。
3.书法字体通常可以分为“楷、草、行、隶、篆”五大类，不同字体间形态特征差异较大，对于没有经过系统学习的普通人可能难以辨认。市面上也存在此类需求的应用和软件，但准确率都不是很高。例如，手写的连笔“围”字，容易被判断成“国”字，其根本原因是现有的识别技术仅基于一种简单的特征比对，如一个“国”字，收录几十到几百张数据，用户端输入一个字的信息后，通过特征比对，寻找最相匹配的结果。这种方式要求极庞大的数据样本才能够提高准确率，而中国书法字的样本却十分少，所以这种识别方法准确率较低，并且成本过高。
4.在现有技术中，书法字识别的方案通常分为两类。一是不通过神经网络训练，而是收集样本建立大数据库，然后将待识别的文字在数据库中查找比对，取相似度最高的作为识别结果。二是通过神经网络进行学习，这种方法需要收集大量样本数据进行训练，选择表征相符合的结果，从而实现准确识别的效果。
5.对于不通过神经网络训练的方法，例如专利申请公布号cn103093240a(“书法字识别方法”)对书法字进行二值化、去噪和归一化处理后提取特征信息，如四个边界点位置、平均笔画穿越数、投影值、轮廓点等，然后，提取待识别书法字的特征信息，再进行形状匹配比较，给出识别结果，这种方法识别准确率较低。又如，专利申请公布号cn101785030a(“基于隐式马尔可夫模型的手写笔迹/书法生成”)用马尔可夫模型来生成手写字符。经训练的隐式马尔可夫模型可使用诸如最大后验技术、最大似然线性，这种方法同样存在识别准确率较低的问题。
6.对于通过神经网络进行训练的方法，需要大量数据作为支撑，但书法的数据集样本很小，且收集困难。据最新版新华字典的收录，约有超过11000的汉字，常用汉字为3500。每个字需要收集几十到几千个样本，已有的识别技术所需的时间成本高而准确率低。例如专利申请公布号cn110334782a(“多卷积层驱动的深度信念网络书法风格识别方法”)和专利申请公布号cn108764242a(“基于深层卷积神经网络的离线手写汉字体识别方法”)就无法在样本量小的情况下有效训练神经网络。而专利申请公布号cn108985348(“基于卷积神经网络的书法风格识别方法”)只能做到书法风格识别，不能做到书法字识别。
7.总之，现有的书法字识别方法准确率不高，这主要是因为，书法字形态多样，且书法作者个人发挥空间大，对于部分形态非标准的书法字样本，用传统特征提取的手动编程
算法识别效果不理想；部分生僻字的样本量小，所以可用于机器学习的数据库体量小，导致传统基于深度学习的机器视觉算法训练效果不理想。


技术实现要素：

8.本发明的目的是克服上述现有技术的缺陷，提供一种基于孪生卷积神经网络的书法字识别方法。该方法包括以下步骤：
9.获取待识别的书法字图片；
10.将所述书法字图片输入经训练的孪生卷积神经网络模型，该孪生神经网络模型包含第一卷积神经网络和第二卷积神经网络，其中第一卷积神经网络输出对应的第一特征向量，第二卷积神经网络输出对应的第二特征向量；
11.计算第一特征向量和第二特征向量之间的相似度；
12.基于所述相似度结果预测书法字的类别。
13.与现有技术相比，本发明的优点在于，能够通过少量甚至单一样本，完成学习(few-/one-shot learning)，从而显著减少了神经网络训练的量并且不损失准确率，经训练的神经网络能够成功用于书法字识别。另外，传统基于卷积神经网络的深度学习方法无法识别训练中没有遇到过的对象，如果需要使该神经网络识别新的对象，则需要收集大量的该对象的样本，对整个神经网络(或者至少是该神经网络的全连接层)进行重新训练。而本发明提供的孪生神经网络架构并不直接输出该样本的标签，而是输出该样本和样本库里其他成员的相似度值，对于一个新的对象，能够给出“与样本库中所有的成员都不相似”的结论，即判断该对象是一个从未见过的对象，由于中文汉字数量庞大，任何数据库都难以包括所有汉字，本发明提供的这一特征非常重要，增强了书法字识别的鲁棒性。
14.通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
15.被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
16.图1是根据本发明一个实施例的基于孪生卷积神经网络的书法字识别方法的流程图；
17.图2是根据本发明一个实施例的孪生卷积神经网络整体架构图；
18.图3是根据本发明另一实施例的孪生卷积神经网络的整体架构图；
19.图4是根据本发明一个实施例的孪生卷积神经网络的具体结构图；
20.图5是根据本发明一个实施例的字类样本示意图；
21.图6是根据本发明一个实施例的实验效果对比图；
22.附图中，input layer-输入层；input-输入；output-输出；none-无；model-模型；functional-功能性；euclidean distance-欧几里得距离；max pooling-最大池化；global average pooling-全局平均池化。
具体实施方式
23.现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
24.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
25.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
26.在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
27.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
28.本发明基于孪生卷积神经网络构建模型架构，以实现书法字的识别。简言之，在训练过程中，将训练集中的两个样本分别输入两个完全相同的卷积神经网络中，得出两个特征向量。再将这两个特征向量的相似度进行计算，得出一个数值。如果这两个字的标签一样，则它们是同一个字，它们特征向量的相似度等于1。反之，如果这两个字的标签不同，则它们特征向量的相似度等于0。并且，反向传导标签的布尔值和所计算出的相似度值的差值并进行随机梯度下降，对神经网络进行训练。在实际应用中，将待识别的书法字图片输入经训练的孪生卷积神经网络，输出对应的特征向量，将该特征向量与特征向量库里的成员进行比对，取相似度最高的成员，作为待识别书法字的识别结果。本发明可用于识别书法字，也可用于识别书法字的字体，如楷书、草书、行书等类别。
29.具体地，参见图1所示，所提供的基于孪生卷积神经网络的书法字识别方法包括以下步骤。
30.步骤s110，构建孪生卷积神经网络模型。
31.在一个实施例中，参见图2所示，孪生卷积神经网络的整体架构包括输入层、两个卷积神经网络、池化层(标记为dense_1)和全连接层(标记为dense_2)。孪生卷积神经网络的处理过程是：接收两个相同尺寸如100
×
100的灰度图像，将图像分别输入两个相同的深度卷积神经网络(cnn)提取不同深度的特征。例如，各卷积神经网络包含四个层次的特征提取结构，每个特征提取结构主要包括卷积层和池化层，参见下表1。图像首先被发送到卷积层，然后是池化层。然后，应用relu激活函数以及批规范化(bn，batchnomalization)。在图2中，这些层重复四次，每次都设置稍微不同的内核大小和内核数量。最后，应用全局池化层和全连接层。在图2实施例中，两个卷积神经网络提取图像特征，并将其表示为由48个值组成的特征向量。
32.表1深度卷积神经网络
[0033][0034]
在另外的实施例中，孪生卷积神经网络的结构参见图3和图4所示，其中m和n分别是介于28和1000之间的一个整数，x是介于10到100之间的一个整数。
[0035]
具体地，第一特征提取结构设置为：
[0036]
32-128个卷积核为p
×
p的矩阵，其中p是介于5和15之间的一个整数；
[0037]k×
k的池化层，其中k是介于1和5之间的一个整数；
[0038]
batchnomalization层；
[0039]
dropout层，保留25％～75％数量的神经元。
[0040]
第二特征提取结构设置为：
[0041]
64-256个卷积核为q
×
q的矩阵，其中q是介于5和10之间的一个整数；
[0042]k×
k的池化层，其中k是介于1和5之间的一个整数；
[0043]
batchnomalization层；
[0044]
dropout层，保留25％～75％数量的神经元。
[0045]
第三特征提取结构设置为：
[0046]
64-256个卷积核为s
×
s的矩阵，其中s是介于2和6之间的一个整数；
[0047]k×
k的池化层，其中k是介于1和5之间的一个整数；
[0048]
batchnomalization层；
[0049]
dropout层，保留25％～75％数量的神经元。
[0050]
第四特征提取结构设置为：
[0051]
128-512个卷积核为t
×
t的矩阵，其中t是介于2和6之间的一个整数；
[0052]k×
k的池化层，其中k是介于1和5之间的一个整数；
[0053]
batchnomalization层；
[0054]
dropout层，保留25％～75％数量的神经元。
[0055]
步骤s120，采集数据集，并构建训练集以训练孪生神经网络模型，该训练集反映字或字体与样本图片之间的对应关系。
[0056]
在该步骤中，首先采集数据集，进而构建训练集，在一个实施例中，该训练集包含多个字(即以字作为类别)，每个字对应一个或多个样本，其中各个字所对应的样本反映不同的字体类别和不同的形态特征。
[0057]
例如，可从http://www.shufazidian.com/网站下载中国书法字，截至2021年7月23日，该网站共存储了440412幅图像，包含8种字体和6197个不同的字。对于常用字，对应字体数更多，而有的字体样本很少或没有样本。表2是字数以及每个字的样本数的汇总。
[0058]
表2字体类别以及每个不同字的样本数
[0059][0060]
在所下载的图像中，大多数图像仅包含一个字，但有些包含多个字，因此需要分割成单个字的图像。图5示意了包含38个样本的示例字和一个包含多个字的图像。
[0061]
具体地，首先，标记例如1000个包含多个字的图像和1000个包含单个字的图像。然后，设置这两个数据集来训练一个与孪生卷积神经网络中使用的结构相同的cnn，通过这种方式，在识别图像是包含多个字还是单个字方面达到99.8％的准确率。高准确率是因为单字图像和多字图像在视觉上有显著差异。然后，使用经训练的cnn将所有440412幅图像分成相应的类别(即属于多字图像还是单字图像)。为了实现基于少量样本训练模型，只需要每个字少量的样本，所以，在一个实施例中，如果字已经有三个或更多的样本，就删除带有多个字的图像。对于少于三个样本的类别，则保留具有多个字的图像，并将它们分成单个字体。
[0062]
然后，对采集的数据集进行预处理。输入图像的预处理包括图像文件的组织、图像形状和颜色的归一化、图像分辨率的标准化以及训练和测试集的创建。考虑到不同图像的分辨率和颜色差异很大，分辨率过低导致信息丢失，分辨率过高导致内存不够，优选地，采用100
×
100像素。由于颜色通常不会在书法字识别中发挥作用，因此可以将所有图像转换为灰度图像。然后，将像素值标准化到0-1的范围，并将像素值标准化到均值和单位方差为零。
[0063]
本发明提供的孪生卷积神经网络模型可实现对字类别或字体类别的识别。分别训练字类及字体的识别是为了设计更简单、编码更直接，同时由于数据集的小样本量特性，训练时间较短。为了识别字而不考虑字体，将属于每个字的所有字体进行合并，然后将每个字类中的样本以8:1:1的比例随机分成训练集、验证集和测试集。在另一实施例中，为了训练识别字体而不考虑字，将属于每个字体的所有字体合并，然后以8:1:1的比例将每个字体类
别中的样本随机分成训练集、验证集和测试集。
[0064]
优选地，数据集没有经过噪声消除、对比度增强、无关对象删除等。因为使用的卷积神经网络将自动考虑这些因素。此外，为了缩减样本数据量，通过样本的随机旋转和/或位移来增加数据多样性。
[0065]
为了尽可能完整地收集书法字作为孪生卷积神经网络的训练集，收集的字的对象数在3000以上，每个对象的样本数大于等于1。例如，将每个字的样本数控制在10个样本以内，具体做法是将样本数大于10的字的样本集中的成员随机删除一部分，使得最终的样本数小于10。这样可以保证训练出来的孪生卷积神经网络不依赖大样本数据集，在学习完成后使用的过程中，如果遇到新的字可以高效的进行拓展，而不需要收集大量的新字样本进行训练。
[0066]
在另一优选实施例中，采用删减版数据集。训练小样本书法字识别模型的原因是有一部分字样本数量少，以及需要能够识别例如不包括在6197个中国书法字的数据集中的新字类别。为了测试孪生卷积神经网络在小样本学习中的能力，随机删除了每个字的样本，使得每字不超过3个样本。然后，重复上面的训练、验证和测试集分离过程，分别创建用于字和字体识别的数据集。表3显示的是训练集缩减后的字数和样本数统计。
[0067]
表3训练集缩小后的字数和样本数统计
[0068][0069][0070]
以识别字类别为例，孪生卷积神经网络的训练过程结合图2和图3所示，将分辨率为m
×
n(例如100
×
100)的样本a和样本b分别输入两个完全相同的卷积神经网络。两个输入文字的图片分别经过卷积神经网络的计算，得到两个10到100维的单个字的特征向量后，将这两个向量进行欧几里得距离或者cosine相似度的计算。
[0071]
若输入的样本a和b为同一个字，则输出的两个特征向量的欧几里的距离较小或者cosine相似度较大；若输出的a和b不为同一个字，则输出的两个特征向量的欧几里的距离较大或者cosine相似度较小。
[0072]
将计算出的距离值或者相似度值和这两个字已知标签对比得出布尔值(例如，两个输入图片是同一个字的布尔值为“1”，不同字的布尔值为“0”)进行对比，求出它们的差值。
[0073]
例如，在两个图像通过两个相同的中枢神经系统发送后，获得两个特征向量，每个维度为48。然后，简单地比较两个向量之间的欧几里德距离，以获得两个图像之间相似性的度量。最后，连续应用两个sigmoid函数。输出是一个布尔值：0表示两个图像包含不同的标记，1表示两个图像包含相同的字。
[0074]
训练过程中，将相似度差值作为损失函数进行反向传播(back propagation)，可更新整个孪生神经网络架构的所有权重和偏差，从而完成训练。
[0075]
需要说明的是，在训练过程或实际应用过程中，如果遇到了没有见过的字，可以将新的字囊括在字库(特征向量库)里，增加该模型认识字的数量。
[0076]
步骤s130，以包含书法字的目标图片作为输入，利用经训练的孪生神经网络模型预测字类别或字体类别。
[0077]
在模型训练完成后，即可实时识别目标图片。例如，对于一张要预测图片所属类别，可以从不同类别中抽取相同数量图片，然后分别和这张要预测图片输入孪生神经网络进行预测，通过计算其与不同类别图像中哪一个比较相似来获得预测结果。
[0078]
为了进一步验证本发明的效果，进行了实验。首先训练识别字类。来自不同字体的相同字的样本被合并在一起。然后，以8:1:1的比例将每个字类中的样本随机分成训练集、验证集和测试集。图像通过snn(孪生神经网络)发送，训练结果如图6所示，其中示意了训练损失和准确率(training loss and accuracy)。结果表明，训练集上的准确率为94.5％，损失为0.5。
[0079]
为了训练孪生卷积神经网络识别字体而不考虑字类，将属于每个字体的所有字类合并，然后以8:1:1的比例将每个字体类中的样本随机分成训练、验证和测试集。训练结果表明，训练集上的准确率为95.5％，损失为0.5。
[0080]
综上所述，本发明运用孪生卷积神经网络架构，通过小样本量数据就可以完成训练，并取得较高的识别准确率。另外，在遇到训练集中不存在的字时，不会将其错误分类，而是识别出这是一个没有见过的字，并能仅见过一次以后就进行识别。
[0081]
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
[0082]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0083]
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0084]
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、
机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++、python等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
[0085]
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0086]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0087]
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0088]
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
[0089]
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其
它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

技术特征：
1.一种基于孪生卷积神经网络的书法字识别方法，包括以下步骤：获取待识别的书法字图片；将所述书法字图片输入经训练的孪生卷积神经网络模型，该孪生神经网络模型包含第一卷积神经网络和第二卷积神经网络，其中第一卷积神经网络输出对应的第一特征向量，第二卷积神经网络输出对应的第二特征向量；计算第一特征向量和第二特征向量之间的相似度；基于所述相似度结果预测书法字的类别。2.根据权利要求1所述的方法，其特征在于，根据以下步骤训练所述孪生卷积神经网络模型：构建训练集，该训练集以字作为类别，每个类别对应一个或多个样本图片，其中每个类别所对应的样本图片反映字体类别和形态特征；利用所述训练集以设定的损失为优化目标，训练所述孪生卷积神经网络模型，其中针对两个样本图片，分别输入第一卷积神经网络和第二卷积神经网络，得出两个特征向量，计算所述两个特征向量的相似度，并采用布尔值来标记所述两个特征向量的相似度结果，以表征所述两个样本图片是否包含相同的书法字，并且训练过程中，通过反向传导布尔值和计算出的相似度值的差值进行随机梯度下降。3.根据权利要求2所述的方法，其特征在于，所述训练集中所包含字的数目大于3000，每个字对应的样本数小于等于10。4.根据权利要求1所述的方法，其特征在于，第一卷积神经网络和第二卷积神经网络具有相同的结构，各包含四个特征提取结构，其中：第一特征提取结构包含卷积层，卷积核数目设置为32-128，卷积核大小设置为p
×
p，p是介于5和15之间的整数；k
×
k的池化层，k是介于1和5之间的整数；批规范化层；丢弃层，设置为保留25％-75％数量的神经元；第二特征提取结构包括卷积层，卷积核数目设置为64-256，卷积核大小设置为q
×
q，q是介于5和10之间的整数；k
×
k的池化层，k是介于1和5之间的一个整数；批规范化层；丢弃层，设置为保留25％-75％数量的神经元；第三特征提取结构包括卷积层，卷积核数目设置为64-256，卷积核大小设置为s
×
s，其中s是介于2和6之间的一个整数；k
×
k的池化层，k是介于1和5之间的一个整数；批规范化层；丢弃层，设置为保留25％-75％数量的神经元；第四特征提取结构包括卷积层，卷积核数目设置为128-512，卷积核大小设置为t
×
t，t是介于2和6之间的一个整数；k
×
k的池化层，k是介于1和5之间的一个整数；批规范化层；丢弃层，设置为保留25％-75％数量的神经元。5.根据权利要求1所述的方法，其特征在于，采用欧几里得距离或者cosine相似度来衡量第一特征向量和第二特征向量之间的相似度。6.根据权利要求1所述的方法，其特征在于，还包括：根据第一特征向量和第二特征向量之间的相似度结果判断待识别的字是否存在于字库中；在判断结果为否的情况下，则将该待识别书法字囊括在字库中。7.根据权利要求2所述的方法，其特征在于，还包括：采用第二训练集训练所述孪生卷
积神经网络模型，在第二训练集中，以字体作为类别，每个类别对应一个或多个样本图片。8.根据权利要求2所述的方法，其特征在于，对于所述训练集，如果一个字已经有三个或三个以上的样本，则删除带有多个字体的样本图片，如果一个字少于三个样本，则保留具有多个字体的图片，并将其分成单个字体。9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至8中任一项所述方法的步骤。10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8中任一项所述的方法的步骤。

技术总结
本发明公开了一种基于孪生卷积神经网络的书法字识别方法。该方法包括：获取待识别的书法字图片；将所述书法字图片输入经训练的孪生卷积神经网络模型，该孪生神经网络模型包含第一卷积神经网络和第二卷积神经网络，其中第一卷积神经网络输出对应的第一特征向量，第二卷积神经网络输出对应的第二特征向量；计算第一特征向量和第二特征向量之间的相似度；基于所述相似度结果预测书法字的类别。本发明能够通过少量甚至单一样本训练孪生卷积神经网络，降低了训练成本并显著提高了书法字的识别精确度。确度。确度。


技术研发人员：冯伟 欧宇浩 周昭坤 车其姝
受保护的技术使用者：中国科学院深圳先进技术研究院
技术研发日：2022.01.14
技术公布日：2023/7/26