一种卡号区域定位方法、系统、电子设备及介质

1.本发明涉及图像处理领域，特别是涉及一种考虑银行卡方向的卡号区域定位方法、系统、电子设备及介质。


背景技术：

2.随着移动设备的广泛应用和在线支付平台的发展需求。银行卡号识别在提高支付效率方面发挥了重要作用。移动支付和第三方支付的出现使人们的支付更加方便，但银行卡必须绑定在支付工具中，这就需要输入银行卡号。在这个过程中，很多应用都是通过对银行卡拍照来识别银行卡号，但是对图片的背景、字体、角度都有限制。为了提高支付和卡绑定的效率，避免人工输入，提高卡号识别的准确性，越来越多的研究人员开始研究端到端的银行卡号识别算法。目前，银行卡号识别已在金融保险、银行、移动支付、理财等诸多领域得到应用。
3.端到端的银行卡号识别算法主要包括银行卡方向校正、卡号区域检测和卡号识别。目前，银行卡方向校正主要基于直线检测，该算法首先进行边缘检测，然后在边缘检测较长的线或线段，通过参考直线或线段的角度估计银行卡的旋转角度进而纠正方向。目前，银行卡方向校正的算法有很多。例如，基于直线检测的算法是基于radon变换、霍夫变换和lsd(line segment detector)算法。基于radon变换的算法对原始图像的边缘图像进行radon变换，通过radon变换矩阵中的峰值坐标求出边缘图像中直线的垂直倾角，得到银行卡的旋转角度。基于霍夫变换的校正算法是根据霍夫变换找到银行卡的边缘线，从而得到银行卡的水平线和垂直线边缘线，进而判断银行卡的倾斜角度根据线的倾角。基于lsd(line segment detector)算法，对原始图像进行高斯核采样，然后计算每个点的梯度值并计算梯度方向，在融合的基础上检测图像中的局部直线轮廓像素，判断银行卡的倾斜角度。以上算法都是基于像素级计算检测直线的倾斜角度来判断卡片，计算量比较大。
4.卡号区域检测算法主要分为三类：基于区域、基于纹理和基于深度神经网络的检测算法。基于区域的算法一般是将原始图像二值化，利用数学形态学算法得到卡号区域。基于纹理检测算法，首先提取图像的纹理特征，然后进行特征分析，得到卡号区域。基于深度神经网络，主要是构建一个深度网络，利用网络提取特征的同时获得候选卡号区域，进而得到最终的卡号区域。但是基于区域和基于纹理的卡号区域对于复杂卡号背景的检测鲁棒性较低，基于深度学习的卡号区域检测网络结构较为复杂。
5.基于上述问题，亟需一种新的卡号区域定位方法以提高卡号定位检测的精度并降低复杂度。


技术实现要素：

6.本发明的目的是提供一种卡号区域定位方法、系统、电子设备及介质，可提高卡号区域定位的精度并降低复杂度。
7.为实现上述目的，本发明提供了如下方案：
8.一种卡号区域定位方法，包括：
9.获取待定位银行卡图像；
10.采用主成分分析方法和有向包围盒方法，将所述待定位银行卡图像的方向修正为标准水平方向，得到标准水平银行卡图像；
11.对所述标准水平银行卡图像进行边缘检测，得到边缘图像，并确定所述边缘图像的尺寸；所述边缘图像中包括多条边缘线段、每条边缘线段的长度及每条边缘线段的外接矩形的尺寸；
12.根据所述边缘图像中每条边缘线段的长度及每条边缘线段的外接矩形的尺寸，确定多个卡号数字候选框，并确定各卡号数字候选框的位置信息；
13.根据各卡号数字候选框的位置信息及所述边缘图像的尺寸，确定多个候选卡号区域；
14.采用预先训练好的卷积神经网络分别对每个候选卡号区域进行分类，以得到最终的银行卡号区域。
15.可选地，采用主成分分析方法和有向包围盒方法，将所述待定位银行卡图像的方向修正为标准水平方向，得到标准水平银行卡图像，具体包括：
16.对所述待定位银行卡图像进行边缘检测，并剔除银行卡内部的边缘线段，得到轮廓边缘图像；所述轮廓边缘图像中包括多个轮廓点；
17.获取所述轮廓边缘图像中各轮廓点的横坐标和纵坐标，得到横坐标集合和纵坐标集合；
18.根据所述横坐标集合、所述纵坐标集合及所述轮廓边缘图像中的轮廓点数量，确定主成分方向；
19.根据所述横坐标集合及所述纵坐标集合，将所述轮廓边缘图像中的轮廓点投影到所述主成分方向的向量空间，得到主成分投影图像；
20.根据所述主成分投影图像中各轮廓点的空间坐标，确定轮廓边界框在主成分方向的长、宽及中心坐标；
21.根据所述轮廓边界框在主成分方向的长、宽及中心坐标，确定所述轮廓边界框在图像坐标系下的四个顶点坐标；
22.根据所述轮廓边界框在图像坐标系下的四个顶点坐标，确定银行卡区域的二值掩模图像；
23.根据所述主成分方向确定银行卡的旋转角度；
24.根据所述旋转角度，分别将所述二值掩模图像及所述待定位银行卡图像进行水平方向的校正，得到第一校正图像及第二校正图像；
25.根据所述第一校正图像及所述第二校正图像，得到标准水平银行卡图像。
26.可选地，根据所述横坐标集合、所述纵坐标集合及所述轮廓边缘图像中的轮廓点数量，确定主成分方向，具体包括：
27.根据所述横坐标集合、所述纵坐标集合及所述轮廓边缘图像中的轮廓点数量，采用公式确定协方差矩阵；其中，cm为协方差矩阵，x为横坐标集合，y为纵坐标集合，n为轮廓边缘图像中的轮廓点数量，t表示矩阵的转置；
28.计算所述协方差矩阵的主成分方向。
29.可选地，根据所述边缘图像中每条边缘线段的长度及每条边缘线段的外接矩形的尺寸，确定多个卡号数字候选框，具体包括：
30.根据所述边缘图像中每条边缘线段的长度，确定所述边缘图像中边缘线段的最大长度值；
31.针对任一条边缘线段，根据所述边缘线段的外接矩形的尺寸，计算所述边缘线段的外接矩形的比例因子；
32.根据所述边缘图像的尺寸、所述最大长度值及各边缘线段的外接矩形的比例因子，从各边缘线段的外接矩形中选取多个卡号数字候选框。
33.可选地，在边缘线段的外接矩形满足以下条件时，对应的边缘线段的外接矩形为一个卡号数字候选框：
[0034][0035]
其中，α为外接矩形的比例因子，w为外接矩形的宽，l为外接矩形的长，m为边缘图像的宽，lm为最大长度值。
[0036]
可选地，根据各卡号数字候选框的位置信息及所述边缘图像的尺寸，确定多个候选卡号区域，具体包括：
[0037]
针对任一卡号数字候选框，根据所述卡号数字候选框的位置信息及所述边缘图像的尺寸，扩展所述卡号数字候选框的长度，得到所述卡号数字候选框对应的初始候选卡号区域；
[0038]
针对任意两个初始候选卡号区域，计算两个初始候选卡号区域的交并比，并根据两个初始候选卡号区域的尺寸及交并比，对初始候选卡号区域进行去重，以得到多个候选卡号区域。
[0039]
可选地，若两个初始候选卡号区域的交并比大于0.8，则选取两个初始候选卡号区域中面积大的初始候选卡号区域为最终的候选卡号区域，否则两个初始候选卡号区域均为最终的候选卡号区域。
[0040]
为实现上述目的，本发明还提供了如下方案：
[0041]
一种卡号区域定位系统，包括：
[0042]
图像获取单元，用于获取待定位银行卡图像；
[0043]
方向修正单元，与所述图像获取单元连接，用于采用主成分分析方法和有向包围盒方法，将所述待定位银行卡图像的方向修正为标准水平方向，得到标准水平银行卡图像；
[0044]
边缘检测单元，与所述方向修正单元连接，用于对所述标准水平银行卡图像进行边缘检测，得到边缘图像，并确定所述边缘图像的尺寸；所述边缘图像中包括多条边缘线段、每条边缘线段的长度及每条边缘线段的外接矩形的尺寸；
[0045]
候选框确定单元，与所述边缘检测单元连接，用于根据所述边缘图像中每条边缘线段的长度及每条边缘线段的外接矩形的尺寸，确定多个卡号数字候选框，并确定各卡号数字候选框的位置信息；
[0046]
候选区域确定单元，与所述候选框确定单元连接，用于根据各卡号数字候选框的位置信息及所述边缘图像的尺寸，确定多个候选卡号区域；
[0047]
分类单元，与所述候选区域确定单元连接，用于采用预先训练好的卷积神经网络分别对每个候选卡号区域进行分类，以得到最终的银行卡号区域。
[0048]
为实现上述目的，本发明还提供了如下方案：
[0049]
一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的卡号区域定位方法。
[0050]
为实现上述目的，本发明还提供了如下方案：
[0051]
一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述的卡号区域定位方法。
[0052]
根据本发明提供的具体实施例，本发明公开了以下技术效果：
[0053]
本发明首先采用主成分分析方法和有向包围盒方法简单、快速、准确地将待定位银行卡图像的方向修正为标准水平方向，得到标准水平银行卡图像；然后对标准水平银行卡图像进行边缘检测，根据边缘图像中每条边缘线段的长度及每条边缘线段的外接矩形的尺寸确定多个卡号数字候选框，根据各卡号数字候选框的位置信息及边缘图像的尺寸确定多个候选卡号区域，利用边缘检测和卡号数字特征能够准确生成候选卡号区域，且过程简单、耗时少；最后采用预先训练好的卷积神经网络分别对每个候选卡号区域进行分类，以得到最终的银行卡号区域，卷积神经网络的准确率较高且性能较好。综上，本发明提高了卡号区域定位的精度并降低了复杂度，提升了在复杂背景下的识别性能。
附图说明
[0054]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0055]
图1为本发明卡号区域定位方法的流程图。
[0056]
图2为卡号区域定位的整体过程示意图。
[0057]
图3为轮廓边缘图像的示意图。
[0058]
图4为标准水平银行卡图像的示意图。
[0059]
图5为边缘线段的外接矩形示意图。
[0060]
图6为卡号数字候选框的示意图。
[0061]
图7为初始候选卡号区域的示意图。
[0062]
图8为最终的候选卡号区域的示意图。
[0063]
图9为初始候选卡号区域a和初始候选卡号区域b的示意图。
[0064]
图10为卷积神经网络的结构示意图。
[0065]
图11为本发明卡号区域定位系统的示意图。
[0066]
符号说明：
[0067]
图像获取单元-1，方向修正单元-2，边缘检测单元-3，候选框确定单元-4，候选区域确定单元-5，分类单元-6。
具体实施方式
[0068]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0069]
本发明的目的是提供一种卡号区域定位方法、系统、电子设备及介质，利用pca(principal componentanalysis，主成分分析)和obb(oriented bounding box，有向包围盒)获取银行卡的方向和卡区域，并通过边缘检测得到初始候选卡号区域，然后使用iou(intersection overunion，交并比)和设定规则去重得到最终的候选卡号区域，最后应用卷积神经网络进行识别，得到最终的银行卡号区域，克服现有银行卡矫正技术计算量大且对于定位银行卡号区域位置算法复杂、鲁棒性低的问题。
[0070]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0071]
实施例一
[0072]
如图1和图2所示，本实施例提供一种卡号区域定位方法，包括：
[0073]
s1：获取待定位银行卡图像。
[0074]
s2：采用主成分分析方法和有向包围盒方法，将所述待定位银行卡图像的方向修正为标准水平方向，得到标准水平银行卡图像。
[0075]
通过pca-obb可以简单、快速、准确地校正银行卡的方向，获得标准的银行卡区域。
[0076]
进一步地，s2包括：
[0077]
(21)对所述待定位银行卡图像进行边缘检测，并剔除银行卡内部的边缘线段，得到轮廓边缘图像。所述轮廓边缘图像中包括多个轮廓点。
[0078]
在本实施例中，首先使用canny算子对待定位银行卡图像进行边缘检测，得到第一边缘图像。然后对第一边缘图像进行二值化处理，得到二值边缘图像。再剔除二值化边缘图像中银行卡内部的边缘线段，得到轮廓边缘图像，如图3所示。边缘线段剔除的过程为：遍历二值边缘图像的每一行，保留每一行的第一个值和最后一个值为1的像素，遍历二值边缘图像的每一列，保留每一列的第一个值和最后一个值为1的像素。
[0079]
(22)获取所述轮廓边缘图像中各轮廓点的横坐标和纵坐标，得到横坐标集合x＝(x1,x2,x3,...xn)和纵坐标集合y＝(y1,y2,y3,...yn)。xn第n个轮廓点的横坐标，yn为第n个轮廓点的纵坐标。根据所述横坐标集合、所述纵坐标集合及所述轮廓边缘图像中的轮廓点数量，确定主成分方向。
[0080]
具体地，根据所述横坐标集合、所述纵坐标集合及所述轮廓边缘图像中的轮廓点数量，采用公式确定协方差矩阵；其中，cm为协方差矩阵，x为横坐标集合，y为纵坐标集合，n为轮廓边缘图像中的轮廓点数量，t表示矩阵的转置。计算关于协方差矩阵的主成分方向。主成分方向包括第一主成分方向v1和第二主成分方向v2。第一主成分方向与轮廓点分布的主方向一致，第二主成分方向与第一主成分方向垂直。第一主成分方向和第二主成分方向的大小均为2
×
1。
[0081]
(23)根据所述横坐标集合及所述纵坐标集合，将所述轮廓边缘图像中的轮廓点投
影到所述主成分方向的向量空间，得到主成分投影图像np：np＝[x
t
,y
t
]
×
[v1,v2]。
[0082]
(24)根据所述主成分投影图像中各轮廓点的空间坐标，确定轮廓边界框在主成分方向(v1,v2)的长、宽及中心坐标。
[0083]
具体地，计算主成分投影图像中空间坐标的最大值maxvalue和最小值minvalue：maxvalue＝max(np)；minvalue＝min(np)。根据主成分投影图像中空间坐标的最大值和最小值计算轮廓边界框在主成分方向的长lenth、宽width及中心坐标centermapped：
[0084]
length＝maxvalue(1)-minvalue(1)；
[0085]
width＝maxvalue(2)-minvalue(2)；
[0086]
centermapped＝(maxvalue+minvalue)/2；
[0087]
maxvalue和minvalue是一个1*2的向量，即对应第一主成分方向v1和第二主成分方向v2的坐标，maxvalue(1)为maxvalue的第一个值，maxvalue(2)为maxvalue的第二个值，minvalue(1)为minvalue的第一个值，minvalue(2)为minvalue的第二个值。
[0088]
(25)根据所述轮廓边界框在主成分方向的长、宽及中心坐标，确定所述轮廓边界框在图像坐标系下的四个顶点坐标。
[0089]
具体地，首先根据所述轮廓边界框在主成分方向的长、宽及中心坐标，确定轮廓边界框在v1-v2坐标轴上四个顶点的坐标：
[0090]
coordmapped(1)＝centermapped+[length,width]/2；
[0091]
coordmapped(2)＝centermapped+[-length,width]/2；
[0092]
coordmapped(3)＝centermapped+[-length,-width]/2；
[0093]
coordmapped(4)＝centermapped+[length,-width]/2。
[0094]
然后将v1-v2坐标轴上四个顶点的坐标映射到x-y坐标轴：coord＝coordmapped/[v1,v2]；其中，coordmapped(1)为轮廓边界框的第一个顶点在v1-v2坐标轴上的坐标，coordmapped(2)为轮廓边界框的第二顶点在v1-v2坐标轴上的坐标，coordmapped(3)为轮廓边界框的第三顶点在v1-v2坐标轴上的坐标，coordmapped(4)为轮廓边界框的第四顶点在v1-v2坐标轴上的坐标，四个顶点的坐标的维数均为2，coordmapped的维数为4*2，包括coordmapped(1)、coordmapped(2)、coordmapped(3)、coordmapped(4)。
[0095]
此外，还可以在x-y空间中确定轮廓边界框的中心坐标点center：center＝centermapped/[v1,v2]。
[0096]
(26)根据所述轮廓边界框在图像坐标系下的四个顶点坐标，确定银行卡区域的二值掩模图像。
[0097]
(27)根据所述主成分方向确定银行卡的旋转角度θ。第一主成分的特征向量平行于银行卡的长轴方向，因此通过计算第一主成分的特征向量的角度，可以得到银行卡的旋转角度：θ＝arctan(v1(2)/v1(1))。其中，第一主成分方向v1为一向量，即银行卡方向矢量，v1(1)和v1(2)分别为第一主成分方向的x值和y值，即向量v1在x轴和y轴方向的投影。
[0098]
(28)根据所述旋转角度，分别将所述二值掩模图像及所述待定位银行卡图像进行水平方向的校正，得到第一校正图像及第二校正图像。
[0099]
当为旋转角度为正值时，顺时针旋转二值掩模图像及待定位银行卡图像θ角度得到水平方向，当旋转角度为负值时，逆时针旋转二值掩模图像及待定位银行卡图像-θ角度得到水平方向。
[0100]
(29)根据所述第一校正图像及所述第二校正图像，得到标准水平银行卡图像。具体地，对第一校正图像和第二校正图像进行映射，得到标准水平银行卡图像，如图4所示。
[0101]
s3：对所述标准水平银行卡图像进行边缘检测，得到边缘图像，并确定所述边缘图像的尺寸。所述边缘图像中包括多条边缘线段、每条边缘线段的长度及每条边缘线段的外接矩形的尺寸。具体地，对边缘图像中的每个线段进行标记，并统计每条线段的长度以及其外接矩形的长宽信息。
[0102]
s4：根据所述边缘图像中每条边缘线段的长度及每条边缘线段的外接矩形的尺寸，确定多个卡号数字候选框，并确定各卡号数字候选框的位置信息。
[0103]
进一步地，s4包括：
[0104]
(41)根据所述边缘图像中每条边缘线段的长度，确定所述边缘图像中边缘线段的最大长度值lm：lm＝max(li)，li为第i条边缘线段的长度。
[0105]
(42)针对任一条边缘线段，根据所述边缘线段的外接矩形的尺寸，计算所述边缘线段的外接矩形的比例因子α：α＝w/l；w为边缘线段外接矩形的宽，l为边缘线段外接矩形的长，如图5所示。
[0106]
(43)根据所述边缘图像的尺寸、所述最大长度值及各边缘线段的外接矩形的比例因子，从各边缘线段的外接矩形中选取多个卡号数字候选框，如图6所示。
[0107]
具体地，在边缘线段的外接矩形满足以下条件时，对应的边缘线段的外接矩形为一个卡号数字候选框：
[0108][0109]
其中，α为外接矩形的比例因子，w为外接矩形的宽，l为外接矩形的长，m为边缘图像的宽，lm为最大长度值。
[0110]
s5：根据各卡号数字候选框的位置信息及所述边缘图像的尺寸，确定多个候选卡号区域。
[0111]
本发明利用边缘检测和卡号数字特征能够准确生成候选卡号区域，且过程简单、耗时少。
[0112]
进一步地，s5包括：
[0113]
(51)针对任一卡号数字候选框，根据所述卡号数字候选框的位置信息及所述边缘图像的尺寸，扩展所述卡号数字候选框的长度，得到所述卡号数字候选框对应的初始候选卡号区域，如图7所示。
[0114]
具体地，卡号数字候选框的位置信息i(x,y,w',l')，其中，(x,y)为卡号数字候选框的左上角的坐标，w'为卡号数字候选框的宽度，l'为卡号数字候选框的长度。则初始候选卡号区域的位置信息为：i(x,[n/20],w,n-[2
×
n/20])。
[0115]
(52)针对任意两个初始候选卡号区域，计算两个初始候选卡号区域的交并比，并根据两个初始候选卡号区域的尺寸及交并比，对初始候选卡号区域进行去重，以得到多个候选卡号区域。如图8所示。
[0116]
具体地，若两个初始候选卡号区域的交并比大于0.8，则选取两个初始候选卡号区
域中面积大的初始候选卡号区域为最终的候选卡号区域，否则两个初始候选卡号区域均为最终的候选卡号区域。
[0117]
延长候选框后，会有很多重叠的候选区域，通过计算所有初始候选卡号区域之间的iou进行区域去重。假设两个初始候选卡号区域分别是a和b，则a和b的iou为如图9所示。
[0118]
s6：采用预先训练好的卷积神经网络分别对每个候选卡号区域进行分类，以得到最终的银行卡号区域。即通过卷积神经网络识别识别每个候选卡号区域是否为银行卡号区域。
[0119]
cnn(convolutional neural networks，卷积神经网络)是一种多层神经网络模型，由卷积、激活和池化三种结构组成。cnn的输出是每张图像的特定特征空间。在处理图像分类任务时，将cnn输出的特征空间作为全连接层或全连接神经网络的输入，利用全连接层完成从输入图像到标签集的映射，即分类识别。本发明使用的cnn结构如图10所示，包括依次连接的第一卷积层、第一最大池化层、第二卷积层、第二最大池化层及包含softmax的全连接层。20*100大小的灰度图像(候选卡号区域)依次经第一个卷积层、2*2大小的第一最大池化层、第二个卷积层、2*2大小的第二最大池化层及包含softmax层的全连接层。
[0120]
本实施例中，预先从网上下载部分银行卡图像，并收集部分真实的银行卡图像，包括用于打印和刻录的带有卡号的字体类型，作为训练样本。为了避免由于缺乏训练集导致网络过拟合，对银行卡图像进行亮度变换，加噪声和对比度调节来增加数据集。然后在训练过程中将batch-size设为60，学习率为0.05，误差为0.1。
[0121]
本发明采用cnn结构能够从候选卡号区域中识别出正确的卡号区域，准确率较高且性能较好。
[0122]
综上，本发明首先提取待定位银行卡图像的边缘，然后进行轮廓边缘检测，应用pca得到卡片轮廓的主方向。同时，得到卡片区域的obb及其二值化图像。最后将待定位银行卡图像和二值图像经过方向校正和映射，得到标准水平银行卡图像。对标准水平银行卡图像进行边缘检测，根据卡号的数字特征得到潜在卡号数字的边界框，然后扩展潜在数字边界框得到初步的卡号候选区域。使用带规则的iou对初步卡号候选区域进行去重，得到最终候选卡号区域。最后通过cnn对候选卡号区域进行分类检测，得到正确的卡号区域。本发明能够可以快速准确地从具有一定方向的银行卡中获取卡号区域，同时将银行卡区域与背景完全分离，可应用于具有一定方向角的端到端银行卡号识别系统，通过边缘检测和iou算法获得候选银行卡区域的过程简单且计算量小，使用卷积神经网络从候选银行卡号区域中识别出正确的卡号区域，过程简单，提升了在复杂背景下的识别性能。
[0123]
实施例二
[0124]
为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种卡号区域定位系统。
[0125]
如图11所示，本实施例提供的卡号区域定位系统包括：图像获取单元1、方向修正单元2、边缘检测单元3、候选框确定单元4、候选区域确定单元5及分类单元6。
[0126]
其中，图像获取单元1用于获取待定位银行卡图像。
[0127]
方向修正单元2与所述图像获取单元1连接，方向修正单元2用于采用主成分分析
方法和有向包围盒方法，将所述待定位银行卡图像的方向修正为标准水平方向，得到标准水平银行卡图像。
[0128]
边缘检测单元3与所述方向修正单元2连接，边缘检测单元3用于对所述标准水平银行卡图像进行边缘检测，得到边缘图像，并确定所述边缘图像的尺寸；所述边缘图像中包括多条边缘线段、每条边缘线段的长度及每条边缘线段的外接矩形的尺寸。
[0129]
候选框确定单元4与所述边缘检测单元3连接，候选框确定单元4用于根据所述边缘图像中每条边缘线段的长度及每条边缘线段的外接矩形的尺寸，确定多个卡号数字候选框，并确定各卡号数字候选框的位置信息。
[0130]
候选区域确定单元5与所述候选框确定单元4连接，候选区域确定单元5用于根据各卡号数字候选框的位置信息及所述边缘图像的尺寸，确定多个候选卡号区域。
[0131]
分类单元6与所述候选区域确定单元5连接，分类单元6用于采用预先训练好的卷积神经网络分别对每个候选卡号区域进行分类，以得到最终的银行卡号区域。
[0132]
相对于现有技术，本实施例提供的卡号区域定位系统与实施例一提供的卡号区域定位方法的有益效果相同，在此不再赘述。
[0133]
实施例三
[0134]
本实施例提供一种电子设备，包括存储器及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行实施例一的卡号区域定位方法。
[0135]
可选地，上述电子设备可以是服务器。
[0136]
另外，本发明实施例还提供一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现实施例一的卡号区域定位方法。
[0137]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
[0138]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种卡号区域定位方法，其特征在于，所述卡号区域定位方法包括：获取待定位银行卡图像；采用主成分分析方法和有向包围盒方法，将所述待定位银行卡图像的方向修正为标准水平方向，得到标准水平银行卡图像；对所述标准水平银行卡图像进行边缘检测，得到边缘图像，并确定所述边缘图像的尺寸；所述边缘图像中包括多条边缘线段、每条边缘线段的长度及每条边缘线段的外接矩形的尺寸；根据所述边缘图像中每条边缘线段的长度及每条边缘线段的外接矩形的尺寸，确定多个卡号数字候选框，并确定各卡号数字候选框的位置信息；根据各卡号数字候选框的位置信息及所述边缘图像的尺寸，确定多个候选卡号区域；采用预先训练好的卷积神经网络分别对每个候选卡号区域进行分类，以得到最终的银行卡号区域。2.根据权利要求1所述的卡号区域定位方法，其特征在于，采用主成分分析方法和有向包围盒方法，将所述待定位银行卡图像的方向修正为标准水平方向，得到标准水平银行卡图像，具体包括：对所述待定位银行卡图像进行边缘检测，并剔除银行卡内部的边缘线段，得到轮廓边缘图像；所述轮廓边缘图像中包括多个轮廓点；获取所述轮廓边缘图像中各轮廓点的横坐标和纵坐标，得到横坐标集合和纵坐标集合；根据所述横坐标集合、所述纵坐标集合及所述轮廓边缘图像中的轮廓点数量，确定主成分方向；根据所述横坐标集合及所述纵坐标集合，将所述轮廓边缘图像中的轮廓点投影到所述主成分方向的向量空间，得到主成分投影图像；根据所述主成分投影图像中各轮廓点的空间坐标，确定轮廓边界框在主成分方向的长、宽及中心坐标；根据所述轮廓边界框在主成分方向的长、宽及中心坐标，确定所述轮廓边界框在图像坐标系下的四个顶点坐标；根据所述轮廓边界框在图像坐标系下的四个顶点坐标，确定银行卡区域的二值掩模图像；根据所述主成分方向确定银行卡的旋转角度；根据所述旋转角度，分别将所述二值掩模图像及所述待定位银行卡图像进行水平方向的校正，得到第一校正图像及第二校正图像；根据所述第一校正图像及所述第二校正图像，得到标准水平银行卡图像。3.根据权利要求2所述的卡号区域定位方法，其特征在于，根据所述横坐标集合、所述纵坐标集合及所述轮廓边缘图像中的轮廓点数量，确定主成分方向，具体包括：根据所述横坐标集合、所述纵坐标集合及所述轮廓边缘图像中的轮廓点数量，采用公式确定协方差矩阵；其中，cm为协方差矩阵，x为横坐标集合，y为纵坐标集合，n为轮廓边缘图像中的轮廓点数量，t表示矩阵的转置；
计算所述协方差矩阵的主成分方向。4.根据权利要求1所述的卡号区域定位方法，其特征在于，根据所述边缘图像中每条边缘线段的长度及每条边缘线段的外接矩形的尺寸，确定多个卡号数字候选框，具体包括：根据所述边缘图像中每条边缘线段的长度，确定所述边缘图像中边缘线段的最大长度值；针对任一条边缘线段，根据所述边缘线段的外接矩形的尺寸，计算所述边缘线段的外接矩形的比例因子；根据所述边缘图像的尺寸、所述最大长度值及各边缘线段的外接矩形的比例因子，从各边缘线段的外接矩形中选取多个卡号数字候选框。5.根据权利要求4所述的卡号区域定位方法，其特征在于，在边缘线段的外接矩形满足以下条件时，对应的边缘线段的外接矩形为一个卡号数字候选框：其中，α为外接矩形的比例因子，w为外接矩形的宽，l为外接矩形的长，m为边缘图像的宽，l
m
为最大长度值。6.根据权利要求1所述的卡号区域定位方法，其特征在于，根据各卡号数字候选框的位置信息及所述边缘图像的尺寸，确定多个候选卡号区域，具体包括：针对任一卡号数字候选框，根据所述卡号数字候选框的位置信息及所述边缘图像的尺寸，扩展所述卡号数字候选框的长度，得到所述卡号数字候选框对应的初始候选卡号区域；针对任意两个初始候选卡号区域，计算两个初始候选卡号区域的交并比，并根据两个初始候选卡号区域的尺寸及交并比，对初始候选卡号区域进行去重，以得到多个候选卡号区域。7.根据权利要求6所述的卡号区域定位方法，其特征在于，若两个初始候选卡号区域的交并比大于0.8，则选取两个初始候选卡号区域中面积大的初始候选卡号区域为最终的候选卡号区域，否则两个初始候选卡号区域均为最终的候选卡号区域。8.一种卡号区域定位系统，其特征在于，所述卡号区域定位系统包括：图像获取单元，用于获取待定位银行卡图像；方向修正单元，与所述图像获取单元连接，用于采用主成分分析方法和有向包围盒方法，将所述待定位银行卡图像的方向修正为标准水平方向，得到标准水平银行卡图像；边缘检测单元，与所述方向修正单元连接，用于对所述标准水平银行卡图像进行边缘检测，得到边缘图像，并确定所述边缘图像的尺寸；所述边缘图像中包括多条边缘线段、每条边缘线段的长度及每条边缘线段的外接矩形的尺寸；候选框确定单元，与所述边缘检测单元连接，用于根据所述边缘图像中每条边缘线段的长度及每条边缘线段的外接矩形的尺寸，确定多个卡号数字候选框，并确定各卡号数字候选框的位置信息；候选区域确定单元，与所述候选框确定单元连接，用于根据各卡号数字候选框的位置信息及所述边缘图像的尺寸，确定多个候选卡号区域；
分类单元，与所述候选区域确定单元连接，用于采用预先训练好的卷积神经网络分别对每个候选卡号区域进行分类，以得到最终的银行卡号区域。9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至7中任一项所述的卡号区域定位方法。10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的卡号区域定位方法。

技术总结
本发明提供一种卡号区域定位方法、系统、电子设备及介质，属于图像处理领域，方法包括：获取待定位银行卡图像；采用主成分分析方法和有向包围盒方法将待定位银行卡图像的方向修正为标准水平方向，得到标准水平银行卡图像；对标准水平银行卡图像进行边缘检测，得到边缘图像，并确定边缘图像的尺寸；根据边缘图像中每条边缘线段的长度及每条边缘线段的外接矩形的尺寸，确定多个卡号数字候选框；根据各卡号数字候选框的位置信息及边缘图像的尺寸确定多个候选卡号区域；采用预先训练好的卷积神经网络分别对每个候选卡号区域进行分类，以得到最终的银行卡号区域。本发明提高了卡号区域定位的精度并降低了复杂度，提升了在复杂背景下的识别性能。下的识别性能。下的识别性能。


技术研发人员：石瑞霞 张志刚 张晓静
受保护的技术使用者：邯郸学院
技术研发日：2023.04.28
技术公布日：2023/8/13