基于不平衡样本的车牌字符识别方法以及系统与流程

1.本发明涉及图像处理技术领域，特别是涉及一种基于不平衡样本的车牌字符识别方法以及系统。


背景技术：

2.随着社会的进步和发展，生活质量日渐提升。在智能化设备方面，人们希望通过不断进步的科技满足日益增长的美好生活需要。因此人工智能行业备受关注，在实际需求中高速发展。近些年来，学术研究逐步工业化，这一落地证实了深度学习已经有很多学科中的效果和前景，包括计算机视觉、音频处理、自然语言处理、机器人、生物信息学和化学、视频游戏、搜索引擎、在线广告、金融和交通管理等。在交通领域中，车辆作为主要的成分之一，车牌是特定状态下车辆关联车主的唯一标识，快速准确的识别车牌信息是人工智能和交通管理的深度融合。
3.传统的车牌字符识别方法包含基于模板匹配的识别方法、基于特征统计的识别方法和基于机器学习的识别方法。然而，传统的车牌字符识别方法仅在基于类别平衡数据集的情况下识别准确，对于类别不平衡数据集的情况，识别准确度低。并且，对于实际场景中获取到的车牌字符数据集多数呈现类别不平衡的状态，根据传统的车牌字符识别方法无法准确获得车牌字符的类别。


技术实现要素：

4.本发明的目的是解决传统的车牌字符识别方法对于类别不平衡数据集的情况，识别准确度低的技术问题。为实现上述目的，本发明提供一种基于不平衡样本的车牌字符识别方法以及系统。
5.本发明提供一种基于不平衡样本的车牌字符识别方法，包括：
6.获取单车牌字符图像数据集；
7.对所述单车牌字符图像数据集中各个单车牌字符图像进行整体变换处理，获得整体变换图像数据集；
8.对所述整体变换图像数据集中各个单车牌字符图像进行局部变化处理，获得局部变换图像数据集；
9.根据所述整体变换图像数据集与所述局部变换图像数据集构建数据集，根据所述数据集对卷积神经网络进行模型训练，获得训练完成的卷积神经网络；
10.根据所述训练完成的卷积神经网络对待测车牌字符进行识别。
11.在一个实施例中，所述根据所述数据集对卷积神经网络进行模型训练，获得训练完成的卷积神经网络，包括：
12.将所述数据集输入至所述卷积神经网络中，输出各个车牌字符的预测类别，并计算每个所述预测类别的概率；
13.根据每个所述预测类别的概率构建总损失函数，并根据所述总损失函数对所述卷
积神经网络进行优化训练，获得所述训练完成的卷积神经网络；
14.其中，所述总损失函数为：
15.l＝λl
softmax
+μfl
softmax
；
[0016][0017]
qi表示为预测类别i的概率，pi表示为真实类别转换成的独热编码，αi表示为共享权重参数，γ表示为聚焦参数，λ表示为交叉熵损失函数的权重参数，μ表示为聚焦损失函数的权重参数。
[0018]
在一个实施例中，所述方法还包括：
[0019]
根据所述单车牌字符图像数据集，获得单车牌字符图像验证数据集；
[0020]
设置所述损失函数中聚焦损失函数的权重参数为0，并根据所述单车牌字符图像验证数据集，对所述卷积神经网络进行验证。
[0021]
在一个实施例中，所述对所述单车牌字符图像数据集中各个单车牌字符图像进行整体变换处理，获得整体变换图像数据集，包括：
[0022]
对所述单车牌字符图像数据集中各个单车牌字符图像进行角度旋转处理，获得旋转图像；
[0023]
对所述单车牌字符图像数据集中各个单车牌字符图像进行缩放处理，获得缩放图像；
[0024]
对所述单车牌字符图像数据集中各个单车牌字符图像进行颜色调整处理，获得颜色调整图像；
[0025]
对所述单车牌字符图像数据集中各个单车牌字符图像中每一像素点的颜色进行随机扰动处理，获得随机扰动图像；
[0026]
根据所述缩放图像、所述颜色调整图像以及所述随机扰动图像构建所述整体变换图像数据集。
[0027]
在一个实施例中，所述对所述整体变换图像数据集中各个单车牌字符图像进行局部变化处理，获得局部变换图像数据集，包括：
[0028]
对所述整体变换图像数据集中各个单车牌字符图像进行比例插值混合处理，获得混类图像；
[0029]
对所述整体变换图像数据集中各个单车牌字符图像进行裁剪拼接处理，获得裁剪拼接图像；
[0030]
对所述整体变换图像数据集中各个单车牌字符图像进行局部填充像素值处理，获得局部填充图像；
[0031]
根据所述混类图像、所述裁剪拼接图像以及所述局部填充图像构建所述局部变换图像数据集。
[0032]
本发明提供一种基于不平衡样本的车牌字符识别系统，包括：
[0033]
数据获取模块，用于获取单车牌字符图像数据集；
[0034]
整体变换模块，用于对所述单车牌字符图像数据集中各个单车牌字符图像进行整体变换处理，获得整体变换图像数据集；
[0035]
局部变化模块，用于对所述整体变换图像数据集中各个单车牌字符图像进行局部
变化处理，获得局部变换图像数据集；
[0036]
训练模块，用于根据所述整体变换图像数据集与所述局部变换图像数据集构建数据集，根据所述数据集对卷积神经网络进行模型训练，获得训练完成的卷积神经网络；
[0037]
字符识别模块，用于根据所述训练完成的卷积神经网络对待测车牌字符进行识别。
[0038]
在一个实施例中，所述训练模块包括：
[0039]
网络模块，用于将所述数据集输入至所述卷积神经网络中，输出各个车牌字符的预测类别，并计算每个所述预测类别的概率；
[0040]
优化训练模块，用于根据每个所述预测类别的概率构建总损失函数，并根据所述总损失函数对所述卷积神经网络进行优化训练，获得所述训练完成的卷积神经网络；
[0041]
其中，所述总损失函数为：
[0042]
l＝λl
softmax
+μfl
softmax
；
[0043][0044]
qi表示为预测类别i的概率，pi表示为真实类别转换成的独热编码，αi表示为共享权重参数，γ表示为聚焦参数，λ表示为交叉熵损失函数的权重参数，μ表示为聚焦损失函数的权重参数。
[0045]
在一个实施例中，所述系统还包括：
[0046]
验证数据集获取模块，用于根据所述单车牌字符图像数据集，获得单车牌字符图像验证数据集；
[0047]
验证模块，用于设置所述损失函数中聚焦损失函数的权重参数为0，并根据所述单车牌字符图像验证数据集，对所述卷积神经网络进行验证。
[0048]
在一个实施例中，所述整体变换模块包括：
[0049]
角度旋转模块，用于对所述单车牌字符图像数据集中各个单车牌字符图像进行角度旋转处理，获得旋转图像；
[0050]
缩放模块，用于对所述单车牌字符图像数据集中各个单车牌字符图像进行缩放处理，获得缩放图像；
[0051]
颜色调整模块，用于对所述单车牌字符图像数据集中各个单车牌字符图像进行颜色调整处理，获得颜色调整图像；
[0052]
随机扰动模块，用于对所述单车牌字符图像数据集中各个单车牌字符图像中每一像素点的颜色进行随机扰动处理，获得随机扰动图像；
[0053]
整体变换图像集形成模块，用于根据所述缩放图像、所述颜色调整图像以及所述随机扰动图像构建所述整体变换图像数据集。
[0054]
在一个实施例中，所述局部变化模块包括：
[0055]
比例插值混合模块，用于对所述整体变换图像数据集中各个单车牌字符图像进行比例插值混合处理，获得混类图像；
[0056]
裁剪拼接模块，用于对所述整体变换图像数据集中各个单车牌字符图像进行裁剪拼接处理，获得裁剪拼接图像；
[0057]
局部填充像素模块，用于对所述整体变换图像数据集中各个单车牌字符图像进行
局部填充像素值处理，获得局部填充图像；
[0058]
局部变换图像集形成模块，用于根据所述混类图像、所述裁剪拼接图像以及所述局部填充图像构建所述局部变换图像数据集。
[0059]
上述基于不平衡样本的车牌字符识别方法以及系统中，针对单车牌字符图像数据集的类别不平衡状态问题进行整体变换处理与局部变化处理，形成多样性的数据集，在数据集层面降低了类别不平衡的程度。经过整体变换处理与局部变化处理后形成的数据集，输入至卷积神经网络中学习图像的不同字符类别的特征，在全连接层中特征转换成相应向量，并将特征向量转换成相应的类别概率，在网络中使用多种损失函数，减小样本不平衡产生的影响，提高了识别准确度，可以更加准确地对车牌字符进行识别。
附图说明
[0060]
图1是本发明提供的基于不平衡样本的车牌字符识别方法的步骤流程示意图。
[0061]
图2是本发明提供的基于不平衡样本的车牌字符识别系统的结构示意图。
具体实施方式
[0062]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
[0063]
请参见图1，本发明提供一种基于不平衡样本的车牌字符识别方法，包括：
[0064]
s10，获取单车牌字符图像数据集；
[0065]
s20，对单车牌字符图像数据集中各个单车牌字符图像进行整体变换处理，获得整体变换图像数据集；
[0066]
s30，对整体变换图像数据集中各个单车牌字符图像进行局部变化处理，获得局部变换图像数据集；
[0067]
s40，根据整体变换图像数据集与局部变换图像数据集构建数据集，根据数据集对卷积神经网络进行模型训练，获得训练完成的卷积神经网络；
[0068]
s50，根据训练完成的卷积神经网络对待测车牌字符进行识别。
[0069]
本实施例中，单车牌字符图像数据集来源于实际应用场景。在实际场景中提取出车牌里的单个字符图像形成数据集。单车牌字符图像数据集共有84个类类别，其中包含数字(0-9，10类)，英文字符(a-z，除i和o，共24类)和汉字(50类)。
[0070]
整体变换处理可以理解为以每个单车牌字符图像为整体进行变换处理，对单车牌字符图像进行整体的变化处理，形成经过整体变化的图像数据集，增加了不同形态的数据集。整体变换处理例如可以为旋转、缩小、放大、颜色调整、随机扰动等。局部变化处理可以理解为以每个单车牌字符图像的局部部分为对象进行变换处理，例如比例插值混合处理、裁剪拼接、局部填充像素值等，经过局部变化处理后形成局部变换图像数据集。各个单车牌字符图像从整体到局部，经过整体变换处理、局部变化处理，使得构建形成的数据集增加了数据维度，扩大了数据的差异性，增强了数据的多样性，进而丰富了卷积神经网络训练的样本数据集，打破了直接从实际场景中获取到的车牌字符数据集的类别不平衡的状态。通过本发明提供的基于不平衡样本的车牌字符识别方法，采用局部变化和整体变换相结合的方法，实现了减缓不平衡车牌字符样本带来的影响，同时增强了数据的多样性也降低了因破坏全局空间信息带来的影响，减小了不平衡类别样本的程度。
[0071]
卷积神经网络包含但不限于googlenet，vgg、resnet等深度学习基线网络。数据集中各个车牌字符图像在网络中经过卷积、池化和激活等层获取特征图，特征图进入全连接层转换成向量，随后计算损失函数，对模型进行训练优化，最终获得训练完成的卷积神经网络。从而，根据训练完成的卷积神经网络，对需要检测的车牌字符图像进行识别，获得对应的字符类别，从而实现字符图像分类功能。
[0072]
本发明提供的基于不平衡样本的车牌字符识别方法，针对单车牌字符图像数据集的类别不平衡状态问题进行整体变换处理与局部变化处理，形成多样性的数据集，在数据集层面降低了类别不平衡的程度。经过整体变换处理与局部变化处理后形成的数据集，输入至卷积神经网络中学习图像的不同字符类别的特征，在全连接层中特征转换成相应向量，并将特征向量转换成相应的类别概率，在网络中使用多种损失函数，减小样本不平衡产生的影响，提高了识别准确度，可以更加准确地对车牌字符进行识别。
[0073]
在一个实施例中，s40，根据数据集对卷积神经网络进行模型训练，获得训练完成的卷积神经网络，包括：
[0074]
s410，将数据集输入至卷积神经网络中，输出各个车牌字符的预测类别，并计算每个预测类别的概率；
[0075]
s420，根据每个预测类别的概率构建总损失函数，并根据总损失函数对卷积神经网络进行优化训练，获得训练完成的卷积神经网络；
[0076]
其中，总损失函数为：
[0077]
l＝λl
softmax
+μfl
softmax
；
[0078][0079]
qi表示为预测类别i的概率，pi表示为真实类别转换成的独热编码，αi表示为共享权重参数，γ表示为聚焦参数，λ表示为交叉熵损失函数的权重参数，μ表示为聚焦损失函数的权重参数。
[0080]
本实施例中，p为真实类别标记，q则代表卷积神经网络的预测类别标记，交叉熵损失函数可以衡量p,q的相似性，交叉熵越小表明两者差距越小，相似性越高。通过交叉熵损失，先计算softmax概率。卷积神经网络在全连接网络的输出是y1,y2,
…
,yi(i∈[1,n])，n是预测的车牌类别总数，计算出属于预测类别i的概率qi，可以表示为：
[0081][0082]
卷积神经网络的输出转换成概率分布，并利用交叉熵计算真实类别标记和预测类别标记的差距。在对卷积神经网络的训练中，pi表示真实标签转换成one-hot编码的表达形式，交叉熵损失目的是优化并获取最小化的对数释然函数：构建形成第一损失函数。
[0083]
第二损失函数中，通过增加参数α和(1-q)
γ
，从而调整不平衡类别和难易分类样本的权重。其中i∈[1,n]表示车牌字符类别，n是预测的车牌字符类别总数，αi值来控制不平衡样本类别对第二损失函数的共享权重，当αi取值比较小时，降低了多样本类别的权重。通过引入(1-q)
γ
参数，可以控制难分类和易分类车牌字符样
本的权重。(1-qi)
γ
为调节系数，能够通过减少易分类样本的权重使得卷积神经网络专注于难以判别的样本。通过构建第二损失函数既可以调整不平衡样本类别又能控制难易样本的权重。进而，根据第一损失函数与第二损失函数，可以构建卷积神经网络的总损失函数l＝λl
softmax
+μfl
softmax
。
[0084]
在一个实施例中，λ,μ为损失函数的权重参数，可以设置为1，也可以根据实际应用情况进行设置，本发明中不做具体限定。
[0085]
卷积神经网络对应的总损失函数中融入了多种损失函数，调整不平衡类别和难易分类样本的权重，进一步减小样本不平衡产生的影响。本发明提供的基于不平衡样本的车牌字符识别方法，从局部到整体变换处理图像数据，并进一步构建总的损失函数，从两个角度解决了不平衡的样本在字符识别上的影响，提高了识别准确度，可以更加准确地对车牌字符进行识别。
[0086]
在一个实施例中，基于不平衡样本的车牌字符识别方法还包括：
[0087]
s60，根据单车牌字符图像数据集，获得单车牌字符图像验证数据集；
[0088]
s70，设置损失函数中聚焦损失函数的权重参数为0，并根据单车牌字符图像验证数据集，对训练完成的卷积神经网络进行验证。
[0089]
本实施例中，在验证模型阶段，网络结构由卷积网络模型构建，需要原始车牌字符图像经过网络模型后获取类别，不再由原始图像获取增强的图像，在实际场景的字符图像中验证本方法的可行性。同时，设置损失函数中聚焦损失函数的权重参数μ为0，可以进一步降低计算量和减少推理时间。通过本实施例中，基于单车牌字符图像验证数据集对训练完成的卷积神经网络进行验证，能够进一步对卷积神经网络识别的准确度进行提高，更准确地对车牌字符进行识别。
[0090]
在一个实施例中，s20，对单车牌字符图像数据集中各个单车牌字符图像进行整体变换处理，获得整体变换图像数据集，包括：
[0091]
s210，对单车牌字符图像数据集中各个单车牌字符图像进行角度旋转处理，获得旋转图像；
[0092]
s220，对单车牌字符图像数据集中各个单车牌字符图像进行缩放处理，获得缩放图像；
[0093]
s230，对单车牌字符图像数据集中各个单车牌字符图像进行颜色调整处理，获得颜色调整图像；
[0094]
s240，对单车牌字符图像数据集中各个单车牌字符图像中每一像素点的颜色进行随机扰动处理，获得随机扰动图像；
[0095]
s250，根据缩放图像、颜色调整图像以及随机扰动图像构建整体变换图像数据集。
[0096]
本实施例中，角度旋转也可以理解为旋转变化，单字符图像作为整体旋转指定角度，旋转角度应控制范围为-60
°
至60
°
。缩放处理可以理解为按照指定比例进行缩小或者放大字符图像。通过缩放处理可以解决由于采集图像设备离对象的远近不同而导致的数据集里出现了大小形态不一的字符图像的问题。
[0097]
颜色调整处理可以理解为对rgb颜色空间的调整，包括对比度，饱和度和色调等。随机扰动处理可以理解为对字符图像每一像素点rgb进行随机扰动。随机扰动处理包括高斯噪声和椒盐噪声处理，在图像获取和传输过程中均在图像上产生各种噪声。通过整体变
换处理，可以模拟出各种实际场景，提升了数据的多样性，并减少了因破坏图像结果带来的影响，且减小了不平衡样本带来的影响。
[0098]
在一个实施例中，s30，对整体变换图像数据集中各个单车牌字符图像进行局部变化处理，获得局部变换图像数据集，包括：
[0099]
s310，对整体变换图像数据集中各个单车牌字符图像进行比例插值混合处理，获得混类图像；
[0100]
s320，对整体变换图像数据集中各个单车牌字符图像进行裁剪拼接处理，获得裁剪拼接图像；
[0101]
s330，对整体变换图像数据集中各个单车牌字符图像进行局部填充像素值处理，获得局部填充图像；
[0102]
s340，根据混类图像、裁剪拼接图像以及局部填充图像构建局部变换图像数据集。
[0103]
本实施例中，比例插值混合处理，将不同类别的各个单车牌字符图像按比例插值混合生成一张新的字符图像，分类结果按照按比例插值混合中比例的分配情况进行定义，形成混类图像数据集。裁剪拼接处理，随机将某一个混类图像的某一部分区域裁剪掉并替换成里另一个混类图像的对应区域的位置，裁剪形状可以随意设置。分类结果按照裁剪拼接的比例进行定义，形成裁剪拼接图像数据集。局部填充像素值处理，随机将某一个裁剪拼接图像的某一部分区域裁剪掉并填充像素值0，从而扩充数据集。
[0104]
本发明将局部变化处理与整体变换处理相结合，实现了减缓不平衡车牌字符样本带来的影响，同时增强了数据的多样性也降低了因破坏全局空间信息带来的影响。局部变化处理扩大了图像差异性，整体变换处理基于图像整体的变化从而增强图像的多样性，通过将局部变化处理与整体变换处理相结合，可以形成多维度的图像数据集，并结合卷积神经网络对应构建的总损失函数，调整不平衡类别和难易分类样本的权重，共同作用降低了样本不平衡产生的影响，提高了识别准确度，可以更加准确地对车牌字符进行识别。
[0105]
请参见图2，本发明提供一种基于不平衡样本的车牌字符识别系统100。基于不平衡样本的车牌字符识别系统100包括数据获取模块10、整体变换模块20、局部变化模块30、训练模块40以及字符识别模块50。数据获取模块10用于获取单车牌字符图像数据集。整体变换模块20用于对单车牌字符图像数据集中各个单车牌字符图像进行整体变换处理，获得整体变换图像数据集。局部变化模块30用于对整体变换图像数据集中各个单车牌字符图像进行局部变化处理，获得局部变换图像数据集。训练模块40用于根据整体变换图像数据集与局部变换图像数据集构建数据集，根据数据集对卷积神经网络进行模型训练，获得训练完成的卷积神经网络。字符识别模块50用于根据训练完成的卷积神经网络对待测车牌字符进行识别。
[0106]
本实施例中，数据获取模块10的相关描述可参考上述实施例中s10的相关描述。整体变换模块20的相关描述可参考上述实施例中s20的相关描述。局部变化模块30的相关描述可参考上述实施例中s30的相关描述。训练模块40的相关描述可参考上述实施例中s40的相关描述。字符识别模块50的相关描述可参考上述实施例中s50的相关描述。
[0107]
在一个实施例中，训练模块40包括网络模块与优化训练模块。网络模块用于将数据集输入至卷积神经网络中，输出各个车牌字符的预测类别，并计算每个预测类别的概率。优化训练模块用于根据每个预测类别的概率构建总损失函数，并根据总损失函数对卷积神
经网络进行优化训练，获得训练完成的卷积神经网络。
[0108]
其中，总损失函数为：
[0109]
l＝λl
softmax
+μfl
softmax
；
[0110][0111]
qi表示为预测类别i的概率，pi表示为真实类别转换成的独热编码，αi表示为共享权重参数，γ表示为聚焦参数，λ表示为交叉熵损失函数的权重参数，μ表示为聚焦损失函数的权重参数。
[0112]
本实施例中，网络模块的相关描述可参考上述实施例中s410的相关描述。优化训练模块的相关描述可参考上述实施例中s420的相关描述。
[0113]
在一个实施例中，基于不平衡样本的车牌字符识别系统100还包括验证数据集获取模块与验证模块。验证数据集获取模块用于根据单车牌字符图像数据集，获得单车牌字符图像验证数据集。验证模块用于设置损失函数中聚焦损失函数的权重参数为0，并根据单车牌字符图像验证数据集，对卷积神经网络进行验证。
[0114]
本实施例中，验证数据集获取模块的相关描述可参考上述实施例中s60的相关描述。验证模块的相关描述可参考上述实施例中s70的相关描述。
[0115]
在一个实施例中，整体变换模块20包括角度旋转模块、缩放模块、颜色调整模块以及随机扰动模块。角度旋转模块用于对单车牌字符图像数据集中各个单车牌字符图像进行角度旋转处理，获得旋转图像。缩放模块用于对单车牌字符图像数据集中各个单车牌字符图像进行缩放处理，获得缩放图像。颜色调整模块用于对单车牌字符图像数据集中各个单车牌字符图像进行颜色调整处理，获得颜色调整图像。随机扰动模块用于对单车牌字符图像数据集中各个单车牌字符图像中每一像素点的颜色进行随机扰动处理，获得随机扰动图像。整体变换图像集形成模块用于根据缩放图像、颜色调整图像以及随机扰动图像构建整体变换图像数据集。
[0116]
本实施例中，角度旋转模块的相关描述可参考上述实施例中s210的相关描述。缩放模块的相关描述可参考上述实施例中s220的相关描述。颜色调整模块的相关描述可参考上述实施例中s230的相关描述。随机扰动模块的相关描述可参考上述实施例中s240的相关描述。整体变换图像集形成模块的相关描述可参考上述实施例中s250的相关描述。
[0117]
在一个实施例中，局部变化模块30包括比例插值混合模块、裁剪拼接模块以及局部填充像素模块。比例插值混合模块用于对整体变换图像数据集中各个单车牌字符图像进行比例插值混合处理，获得混类图像。裁剪拼接模块用于对整体变换图像数据集中各个单车牌字符图像进行裁剪拼接处理，获得裁剪拼接图像。局部填充像素模块用于对整体变换图像数据集中各个单车牌字符图像进行局部填充像素值处理，获得局部填充图像。局部变换图像集形成模块用于根据混类图像、裁剪拼接图像以及局部填充图像构建局部变换图像数据集。
[0118]
本实施例中，比例插值混合模块的相关描述可参考上述实施例中s310的相关描述。裁剪拼接模块的相关描述可参考上述实施例中s320的相关描述。局部填充像素模块的相关描述可参考上述实施例中s330的相关描述。局部变换图像集形成模块的相关描述可参考上述实施例中s340的相关描述。
[0119]
上述各个实施例中，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于的特定顺序或层次。
[0120]
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，模块和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，模块和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
[0121]
本发明实施例中所描述的各种说明性的逻辑块，或模块都可以通过通用处理器，数字信号处理器，专用集成电路(asic)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
[0122]
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动磁盘、cd-rom或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于asic中，asic可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
[0123]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于不平衡样本的车牌字符识别方法，其特征在于，包括：获取单车牌字符图像数据集；对所述单车牌字符图像数据集中各个单车牌字符图像进行整体变换处理，获得整体变换图像数据集；对所述整体变换图像数据集中各个单车牌字符图像进行局部变化处理，获得局部变换图像数据集；根据所述整体变换图像数据集与所述局部变换图像数据集构建数据集，根据所述数据集对卷积神经网络进行模型训练，获得训练完成的卷积神经网络；根据所述训练完成的卷积神经网络对待测车牌字符进行识别。2.根据权利要求1所述的基于不平衡样本的车牌字符识别方法，其特征在于，所述根据所述数据集对卷积神经网络进行模型训练，获得训练完成的卷积神经网络，包括：将所述数据集输入至所述卷积神经网络中，输出各个车牌字符的预测类别，并计算每个所述预测类别的概率；根据每个所述预测类别的概率构建总损失函数，并根据所述总损失函数对所述卷积神经网络进行优化训练，获得所述训练完成的卷积神经网络；其中，所述总损失函数为：l＝λl
softmax
+μfl
softmax
；q
i
表示为预测类别i的概率，p
i
表示为真实类别转换成的独热编码，α
i
表示为共享权重参数，γ表示为聚焦参数，λ表示为交叉熵损失函数的权重参数，μ表示为聚焦损失函数的权重参数。3.根据权利要求2所述的基于不平衡样本的车牌字符识别方法，其特征在于，所述方法还包括：根据所述单车牌字符图像数据集，获得单车牌字符图像验证数据集；设置所述损失函数中所述聚焦损失函数的权重参数为0，并根据所述单车牌字符图像验证数据集，对所述卷积神经网络进行验证。4.根据权利要求1所述的基于不平衡样本的车牌字符识别方法，其特征在于，所述对所述单车牌字符图像数据集中各个单车牌字符图像进行整体变换处理，获得整体变换图像数据集，包括：对所述单车牌字符图像数据集中各个单车牌字符图像进行角度旋转处理，获得旋转图像；对所述单车牌字符图像数据集中各个单车牌字符图像进行缩放处理，获得缩放图像；对所述单车牌字符图像数据集中各个单车牌字符图像进行颜色调整处理，获得颜色调整图像；对所述单车牌字符图像数据集中各个单车牌字符图像中每一像素点的颜色进行随机扰动处理，获得随机扰动图像；根据所述缩放图像、所述颜色调整图像以及所述随机扰动图像构建所述整体变换图像数据集。
5.根据权利要求1所述的基于不平衡样本的车牌字符识别方法，其特征在于，所述对所述整体变换图像数据集中各个单车牌字符图像进行局部变化处理，获得局部变换图像数据集，包括：对所述整体变换图像数据集中各个单车牌字符图像进行比例插值混合处理，获得混类图像；对所述整体变换图像数据集中各个单车牌字符图像进行裁剪拼接处理，获得裁剪拼接图像；对所述整体变换图像数据集中各个单车牌字符图像进行局部填充像素值处理，获得局部填充图像；根据所述混类图像、所述裁剪拼接图像以及所述局部填充图像构建所述局部变换图像数据集。6.一种基于不平衡样本的车牌字符识别系统，其特征在于，包括：数据获取模块，用于获取单车牌字符图像数据集；整体变换模块，用于对所述单车牌字符图像数据集中各个单车牌字符图像进行整体变换处理，获得整体变换图像数据集；局部变化模块，用于对所述整体变换图像数据集中各个单车牌字符图像进行局部变化处理，获得局部变换图像数据集；训练模块，用于根据所述整体变换图像数据集与所述局部变换图像数据集构建数据集，根据所述数据集对卷积神经网络进行模型训练，获得训练完成的卷积神经网络；字符识别模块，用于根据所述训练完成的卷积神经网络对待测车牌字符进行识别。7.根据权利要求6所述的基于不平衡样本的车牌字符识别系统，其特征在于，所述训练模块包括：网络模块，用于将所述数据集输入至所述卷积神经网络中，输出各个车牌字符的预测类别，并计算每个所述预测类别的概率；优化训练模块，用于根据每个所述预测类别的概率构建总损失函数，并根据所述总损失函数对所述卷积神经网络进行优化训练，获得所述训练完成的卷积神经网络；其中，所述总损失函数为：l＝λl
softmax
+μfl
softmax
；q
i
表示为预测类别i的概率，p
i
表示为真实类别转换成的独热编码，α
i
表示为共享权重参数，γ表示为聚焦参数，λ表示为交叉熵损失函数的权重参数，μ表示为聚焦损失函数的权重参数。8.根据权利要求7所述的基于不平衡样本的车牌字符识别系统，其特征在于，所述系统还包括：验证数据集模块，用于根据所述单车牌字符图像数据集，获得单车牌字符图像验证数据集；验证模块，用于设置所述损失函数中聚焦损失函数的权重参数为0，并根据所述单车牌字符图像验证数据集，对所述卷积神经网络进行验证。
9.根据权利要求6所述的基于不平衡样本的车牌字符识别系统，其特征在于，所述整体变换模块包括：角度旋转模块，用于对所述单车牌字符图像数据集中各个单车牌字符图像进行角度旋转处理，获得旋转图像；缩放模块，用于对所述单车牌字符图像数据集中各个单车牌字符图像进行缩放处理，获得缩放图像；颜色调整模块，用于对所述单车牌字符图像数据集中各个单车牌字符图像进行颜色调整处理，获得颜色调整图像；随机扰动模块，用于对所述单车牌字符图像数据集中各个单车牌字符图像中每一像素点的颜色进行随机扰动处理，获得随机扰动图像；整体变换图像集形成模块，用于根据所述缩放图像、所述颜色调整图像以及所述随机扰动图像构建所述整体变换图像数据集。10.根据权利要求6所述的基于不平衡样本的车牌字符识别系统，其特征在于，所述局部变化模块包括：比例插值混合模块，用于对所述整体变换图像数据集中各个单车牌字符图像进行比例插值混合处理，获得混类图像；裁剪拼接模块，用于对所述整体变换图像数据集中各个单车牌字符图像进行裁剪拼接处理，获得裁剪拼接图像；局部填充像素模块，用于对所述整体变换图像数据集中各个单车牌字符图像进行局部填充像素值处理，获得局部填充图像；局部变换图像集形成模块，用于根据所述混类图像、所述裁剪拼接图像以及所述局部填充图像构建所述局部变换图像数据集。

技术总结
本发明公开一种基于不平衡样本的车牌字符识别方法以及系统。方法包括：获取单车牌字符图像数据集；对单车牌字符图像数据集中各个单车牌字符图像进行整体变换处理，获得整体变换图像数据集；对整体变换图像数据集中各个单车牌字符图像进行局部变化处理，获得局部变换图像数据集；根据整体变换图像数据集与局部变换图像数据集构建数据集，根据数据集对卷积神经网络进行模型训练，获得训练完成的卷积神经网络；根据训练完成的卷积神经网络对待测车牌字符进行识别。通过本发明提供的基于不平衡样本的车牌字符识别方法以及系统，减小了样本不平衡产生的影响，提高了识别准确度，可以更加准确地对车牌字符进行识别。准确地对车牌字符进行识别。准确地对车牌字符进行识别。


技术研发人员：王凤菊 王莹莹 王艳清
受保护的技术使用者：智慧互通科技股份有限公司
技术研发日：2023.05.16
技术公布日：2023/9/14