基于视觉显著性和二值图投影分割的车标定位方法与流程

1.本发明属于智慧交通、计算机视觉技术领域，具体涉及基于视觉显著性和二值图投影分割的车标定位方法。


背景技术：

2.目前现有技术中一般采用边缘提取和形态学处理相结合、基于视觉显著性、基于模板匹配、基于adaboost和hog特征或基于cnn和改进hog特征的方法进行车标定位。其存在诸多缺点，如现有技术对环境鲁棒性较差，难以满足环境变化以及多种多样的车标类型的车标定位需求、单一方法难以对所有情况都有较好的定位结果、时间消耗大，不能做到实时处理、只能处理较好质量的图像并且耗时较大以及需要有大量的训练数据才能取得满意的效果。


技术实现要素：

3.本发明所要解决的技术问题是针对上述现有技术的不足，提供基于视觉显著性和二值图投影分割的车标定位方法，基于视觉显著性进行车标粗定位，然后根据经验值定位车标，同时采用二值图投影分割方法检测车标视觉显著图的灰度峰值区域，补充视觉显著性定位失败的图，克服了单一方法难以应对多变环境的缺点，最后使用车标-非车标分拣模型进行非车标过滤，车标定位成功率优于现有方法，可为智慧交通中车辆品牌识别提供有效支撑。
4.为实现上述技术目的，本发明采取的技术方案为：
5.基于视觉显著性和二值图投影分割的车标定位方法，包括：
6.步骤1：定位出车牌，根据车牌四个角点的位置，得出车标粗定位图m1；
7.步骤2：采用视觉显著性和二值图投影分割并行对车标粗定位图m1进行车标精确定位，分别得到候选车标向量v1
′
和车标定位矩形向量v2
′
；
8.步骤3：基于候选车标向量v1
′
和车标定位矩形向量v2
′
生成车标候选矩形向量v；
9.步骤4：采用基于深度学习的车标-非车标分拣模型过滤车标候选矩形向量v中的非车标，生成车标矩形向量v
′
。
10.为优化上述技术方案，采取的具体措施还包括：
11.上述的步骤1得到的车标粗定位图为：
[0012][0013][0014]
carlogocoarsebrx＝prbrx
[0015]
carlogocoarsebry＝prtly
[0016]
其中，(carlogocoarsetlx，carlogocoarsetly)为车标粗定位矩形左上角的横、纵
坐标；
[0017]
(carlogocoarsebrx，carlogocoarsebry)为车标粗定位矩形右下角的横、纵坐标；
[0018]
(prtlx，prtly)为车牌左上角横、纵坐标；
[0019]
(prbrx，prbry)为车牌右下角横、纵坐标；
[0020]
prh为车牌的高度；sc为比例系数。
[0021]
上述的sc取车标中心到车牌中心的距离与车牌高度的比值。
[0022]
上述的步骤2采用视觉显著性对车标粗定位图m1进行车标精确定位，得到候选车标向量v1
′
，具体包括：
[0023]
对车标粗定位图m1提取视觉显著图m2，对视觉显著图m2进行二值化得到二值化图m3，然后对二值化图m3进行闭运算得到闭运算后的图m4；
[0024]
然后对闭运算后的图m4提取轮廓得到车标矩形向量v1；
[0025]
根据车标长宽比、位置和车标面积大小过滤车标矩形向量v1中不可能是车标的矩形，过滤完成后得到候选车标向量v1
′
。
[0026]
上述的步骤2采用二值图投影分割对车标粗定位图m1进行车标精确定位，得到车标定位矩形向量v2
′
，具体包括：
[0027]
(1)首先使用sobel算子对车标粗定位图m1提取纵向纹理ve和横向纹理he；
[0028]
(2)其次对纵向纹理ve和横向纹理he进行固定阈值二值化，得到横向纹理二值化图ex，纵向纹理二值化图ey，对二值化图采用5*5的结构元进行闭运算操作，得到闭运算操作后的横向纹理二值化图ex
′
、闭运算操作后的纵向纹理二值化图ey
′
；
[0029]
(3)然后通过比较ex
′
与ey
′
判断纹理方向，根据纹理方向采用不同的分割策略来分割出车标区域，相应的车标定位矩形向量记为v2；
[0030]
(4)使用车标的长宽比、位置和面积对车标定位矩形向量v2进行过滤，过滤v2中不可能是车标的矩形，过滤完成后得到最终的车标定位矩形向量v2
′
。
[0031]
上述的判断纹理方向的判断方法如下：
[0032]
若ex
′
》＝ey
′
，则为水平纹理，即纹理方向为x方向；
[0033]
若ex
′
《ey
′
，则为垂直纹理，即纹理方向为y方向。
[0034]
对于横向纹理，分割策略如下：
[0035]
首先生成横向纹理的y方向投影图，使用y方向投影生成横条来进行第一步分割，分割方法为求取y方向纹理的最大峰值，然后沿着最大峰值寻找与最大峰值最近的两个0值，找出对应的行号即为车标的上下边界，据此生成包含车标区域的横条区域；
[0036]
然后对分割出的车标横条进行二次分割，首先求取第一次车标分割区域的x方向的投影，然后找出该投影的最大峰值，找出距离该最大峰值最近的两个0值点对应的列号，这两个对应的列号分别对应于车标区域的左右边界，据此分割出车标区域。
[0037]
对于纵向纹理，分割策略如下：
[0038]
首先生成纵向纹理的x方向投影图，使用x方向投影进行第一次分割生成纵条；
[0039]
然后对第一次分割结果进行第二次分割找到车标区域的上下边界，根据分割出的纵条得出车标区域的左右边界，结合二次分割对应的上下边界，即求得车标区域对应的矩形区域。
[0040]
上述的步骤4批量截取车标和非车标区域建立车标-非车标库，采用车标-非车标
库训练得到基于深度学习的车标-非车标分拣模型；
[0041]
采用训练后的基于深度学习的车标-非车标分拣模型对车标候选矩形向量v中的非车标进行分拣过滤，生成车标矩形向量v
′
。
[0042]
本发明具有以下有益效果：采用视觉显著性与二值图投影分割相结合的车标定位方法，其中视觉显著性用于车标粗定位，二值图投影分割可以有效检测图片中视觉显著区域，但是难以应对多变的环境，补充视觉显著性定位失败的图，最后使用车标-非车标分拣模型进行非车标过滤，得到最终的车标候选区域，本发明方法车标定位成功率优于现有方法。
附图说明
[0043]
图1为本发明基于视觉显著性和二值图投影分割的车标定位方法流程图。
具体实施方式
[0044]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0045]
本发明中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。可以理解，本文中所使用的术语“和/或”涉及且涵盖相关联的所列项目中的一者或一者以上的任何和所有可能的组合。
[0046]
如图1所示，本发明基于视觉显著性和二值图投影分割的车标定位方法，包括：
[0047]
步骤1：车牌定位：采用车牌定位算法定位出车牌；车标粗定位：根据车牌四个角点的位置，得出车标粗定位图m1；
[0048]
得到的车标粗定位图为：
[0049][0050][0051]
carlogocoarsebrx＝prbrx
[0052]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0053]
carlogocoarsebry＝prtly
[0054]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0055]
其中，(carlogocoarsetlx，carlogocoarsetly)是车标粗定位矩形左上角的坐标；
[0056]
(carlogocoarsebrx，carlogocoarsebry)是车标粗定位矩形右下角的坐标；
[0057]
(prtlx，prtly)是车牌左上角坐标；
[0058]
(prbrx，prbry)是车牌右下角坐标；
[0059]
prh是车牌的高度；
[0060]
sc是一个比例系数，是一个经验值，代表车标中心到车牌中心的距离与车牌高度
的比值，具体实施时，sc取6，确保车标包含在粗定位区域中。
[0061]
步骤2：车标精确定位：采用视觉显著性和二值图投影分割并行对车标粗定位图m1进行车标精确定位，分别得到候选车标向量v1
′
和车标定位矩形向量v2
′
；
[0062]
步骤2具体包含以下步骤：
[0063]
车标精确定位流程分为并行的两部分：
[0064]
基于视觉显著性的车标定位；
[0065]
首先对车标粗定位图m1提取视觉显著图m2，然后对视觉显著图m2进行二值化得到m3，然后对二值化后的显著图进行闭运算得到m4，目的是连接细小区域；
[0066]
然后对m4提取轮廓得到车标矩形向量v1；
[0067]
根据车标长宽比，车标面积大小等过滤到不可能是车标的矩形，比如面积过滤原则设置为小于150像素的都是非车标，长宽比》5的也是非车标，而位置过滤则是过滤掉不可能是车标的位置，比如粗定位区域的顶端一定区域内。
[0068]
过滤完成后生成基于视觉显著性的候选车标向量v1
′
；
[0069]
2，基于二值图投影分割的车标定位；
[0070]
首先使用sobel算子对车标粗定位区域提取纵向纹理ve和横向纹理he；
[0071]
其次对纹理进行固定阈值二值化，得到横向纹理二值化图ex，纵向纹理二值化图ey，然后对二值化图采用5*5的结构元进行闭运算操作，使细小区域连接起来不至于断开，得到ex
′
、ey
′
；
[0072]
然后判断纹理方向，判断方法如下：
[0073]
若ex
′
》＝ey
′
，则为水平纹理；
[0074]
若ex
′
《ey
′
，则为垂直纹理；
[0075]
若ex
′
≈ey
′
，则为网状纹理；
[0076]
根据纹理方向采用不同的分割策略来分割出车标区域，详述如下：
[0077]
对于横向纹理：
[0078]
首先生成横向纹理的y方向投影图，使用y方向投影生成横条来进行第一步分割，分割方法为求取y方向纹理的最大峰值，然后沿着最大峰值寻找与最大峰值最近的两个0值，找出对应的行号即为车标的上下边界，据此生成包含车标区域的横条区域；然后对分割出的车标横条进行二次分割，首先求取第一次车标分割区域的x方向的投影，然后找出该投影的最大峰值，同样找出距离该峰值最近的两个0值点对应的列号，那么这两个对应的列号就分别对应于车标区域的左右边界，据此可以将车标区域分割出来。
[0079]
需要说明的一点是：如果车标投影图不存在列或者行方向的0值，那么首先可以将投影减去投影列(或者投影行)的最小值，然后寻找距离投影锋最近的左右或者上下的0值，继而寻找车标对应的左右或者上下边界。
[0080]
对于纵向纹理，原理类似：
[0081]
首先生成纵向纹理的x方向投影图，使用x方向投影进行第一次分割生成纵条；然后对第一次分割结果进行第二次分割找到车标区域的上下边界(同样的，先求取纵条的y方向投影，然后求取投影峰值对应的行号，然后求与峰值最近的两个0值点对应的行号，即为车标区域的上下边界)，根据分割出的纵条可知车标区域的左右边界，结合二次分割对应的上下边界，即求得了车标区域对应的矩形区域；
[0082]
使用基于二值化投影分割生成的车标定位矩形向量记为v2，该方法可以在二次分割时可以考虑采用寻找投影峰值最近的n个0值点，这样可以增加车标的检出率，然后使用车标的长宽比，面积等规则进行过滤，生成车标定位矩形向量v2
′
。
[0083]
步骤3：基于候选车标向量v1
′
和车标定位矩形向量v2
′
生成车标候选矩形向量v；
[0084]
车标候选矩形向量v＝v1
′
+v2
′
。
[0085]
步骤4：采用基于深度学习的车标-非车标分拣模型过滤车标候选矩形向量v中的非车标，生成车标矩形向量v
′
。
[0086]
所述步骤4包含以下步骤：
[0087]
建立“车标-非车标”库，可以使用程序截取的车标和非车标区域建库，使用深度学习算法构建车标-非车标分拣模型。
[0088]
最后使用“分拣模型”对车标候选矩阵向量v进行非车标过滤得到最终的车标矩形向量v
′
，定位结束。
[0089]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0090]
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

技术特征：
1.基于视觉显著性和二值图投影分割的车标定位方法，其特征在于，包括：步骤1：定位出车牌，根据车牌四个角点的位置，得出车标粗定位图m1；步骤2：采用视觉显著性和二值图投影分割并行对车标粗定位图m1进行车标精确定位，分别得到候选车标向量v1
′
和车标定位矩形向量v2
′
；步骤3：基于候选车标向量v1
′
和车标定位矩形向量v2
′
生成车标候选矩形向量v；步骤4：采用基于深度学习的车标-非车标分拣模型过滤车标候选矩形向量v中的非车标，生成车标矩形向量v
′
。2.根据权利要求1所述的基于视觉显著性和二值图投影分割的车标定位方法，其特征在于，所述步骤1得到的车标粗定位图为：在于，所述步骤1得到的车标粗定位图为：carlogocoarsebrx＝prbrxcarlogocoarsebry＝prtly其中，(carlogocoarsetlx，carlogocoarsetly)为车标粗定位矩形左上角的横、纵坐标；(carlogocoarsebrx，carlogocoarsebry)为车标粗定位矩形右下角的横、纵坐标；(prtlx，prtly)为车牌左上角横、纵坐标；(prbrx，prbry)为车牌右下角横、纵坐标；prh为车牌的高度；sc为比例系数。3.根据权利要求2所述的基于视觉显著性和二值图投影分割的车标定位方法，其特征在于，所述sc取车标中心到车牌中心的距离与车牌高度的比值。4.根据权利要求1所述的基于视觉显著性和二值图投影分割的车标定位方法，其特征在于，所述步骤2采用视觉显著性对车标粗定位图m1进行车标精确定位，得到候选车标向量v1
′
，具体包括：对车标粗定位图m1提取视觉显著图m2，对视觉显著图m2进行二值化得到二值化图m3，然后对二值化图m3进行闭运算得到闭运算后的图m4；然后对闭运算后的图m4提取轮廓得到车标矩形向量v1；根据车标长宽比、位置和车标面积大小过滤车标矩形向量v1中不可能是车标的矩形，过滤完成后得到候选车标向量v1
′
。5.根据权利要求1所述的基于视觉显著性和二值图投影分割的车标定位方法，其特征在于，所述步骤2采用二值图投影分割对车标粗定位图m1进行车标精确定位，得到车标定位矩形向量v2
′
，具体包括：(1)首先使用sobel算子对车标粗定位图m1提取纵向纹理ve和横向纹理he；(2)其次对纵向纹理ve和横向纹理he进行固定阈值二值化，得到横向纹理二值化图ex，纵向纹理二值化图ey，对二值化图采用5*5的结构元进行闭运算操作，得到闭运算操作后的横向纹理二值化图ex
′
、闭运算操作后的纵向纹理二值化图ey
′
；
(3)然后通过比较ex
′
与ey
′
判断纹理方向，根据纹理方向采用不同的投影分割策略来分割出车标区域，相应的车标定位矩形向量记为v2；(4)使用车标的长宽比、位置和面积对车标定位矩形向量v2进行过滤，过滤v2中不可能是车标的矩形，过滤完成后得到最终的车标定位矩形向量v2
′
。6.根据权利要求5所述的基于视觉显著性和二值图投影分割的车标定位方法，其特征在于，所述判断纹理方向的判断方法如下：若ex
′
>＝ey
′
，则为水平纹理，即纹理方向为x方向；若ex
′
<ey
′
，则为垂直纹理，即纹理方向为y方向。7.根据权利要求6所述的基于视觉显著性和二值图投影分割的车标定位方法，其特征在于，对于横向纹理，投影分割策略如下：首先生成横向纹理的y方向投影图，使用y方向投影生成横条来进行第一步分割，分割方法为求取y方向纹理的最大峰值，然后沿着最大峰值寻找与最大峰值最近的两个0值，找出对应的行号即为车标的上下边界，据此生成包含车标区域的横条区域；然后对分割出的车标横条进行二次分割，首先求取第一次车标分割区域的x方向的投影，然后找出该投影的最大峰值，找出距离该最大峰值最近的两个0值点对应的列号，这两个对应的列号分别对应于车标区域的左右边界，据此分割出车标区域。8.根据权利要求6所述的基于视觉显著性和二值图投影分割的车标定位方法，其特征在于，对于纵向纹理，投影分割策略如下：首先生成纵向纹理的x方向投影图，使用x方向投影进行第一次分割生成纵条；然后对第一次分割结果进行第二次分割找到车标区域的上下边界，根据分割出的纵条得出车标区域的左右边界，结合二次分割对应的上下边界，即求得车标区域对应的矩形区域。9.根据权利要求1所述的基于视觉显著性和二值图投影分割的车标定位方法，其特征在于，所述步骤4批量截取车标和非车标区域建立车标-非车标库，采用车标-非车标库训练得到基于深度学习的车标-非车标分拣模型；采用训练后的基于深度学习的车标-非车标分拣模型对车标候选矩形向量v中的非车标进行分拣过滤，生成车标矩形向量v
′
。

技术总结
本发明公开了基于视觉显著性和二值图投影分割的车标定位方法，包括：定位出车牌，根据车牌四个角点的位置，得出车标粗定位图；采用视觉显著性和二值图投影分割并行对车标粗定位图进行车标精确定位，分别得到候选车标向量和车标定位矩形向量；基于候选车标向量和车标定位矩形向量生成车标候选矩形向量；采用基于深度学习的车标-非车标分拣模型过滤车标候选矩形向量中的非车标，生成车标矩形向量。本发明基于视觉显著性进行车标粗定位，然后根据经验值定位车标，同时采用二值图投影分割方法检测车标视觉显著图的灰度峰值区域，补充视觉显著性定位失败的图，克服了单一方法难以应对多变环境的缺点，最后使用车标-非车标分拣模型进行非车标过滤，车标定位成功率优于现有方法。法。法。


技术研发人员：王宁 胡笳 张天明 祝晨阳
受保护的技术使用者：中电鸿信信息科技有限公司
技术研发日：2023.05.19
技术公布日：2023/8/13