一种图像识别方法、装置、电子设备及存储介质与流程

1.本技术涉及图像处理领域，尤其涉及一种图像识别方法、装置、电子设备及存储介质。


背景技术：

2.随着智能交通的发展，越来越多的道路上安装了摄像设备，以记录道路车辆的行驶情况，管理道路安全。
3.但在夜间道路中，一些车辆的司机会在车牌周围安装强光灯，以干扰摄像设备对夜间道路的实时录像。由于强光灯会产生较大范围的光晕，因此在有车辆安装强光灯的情况下会使摄像设备拍摄到的画面被强光遮掩，因此一般的摄像设备无法记录安装强光灯的车辆的状态，更无法准确快速地确定安装强光灯的车辆。除此之外，车辆的强光灯不仅影响道路上的摄像设备对道路状态的记录，其强烈的灯光也会影响对向车辆的正常行驶。
4.因此，如何能在存在强光的情况下记录道路车辆状况并识别车辆的强光灯，从而对安装强光灯的车辆进行管理成为亟待解决的技术问题。


技术实现要素：

5.本技术提供一种图像识别方法、装置、电子设备及存储介质，解决识别车辆的强光灯的问题。
6.第一方面，本技术提供一种图像识别方法，该方法包括：获取目标车辆在第一时刻的可见光图像和红外光图像；利用红外光图像对可见光图像中的强光光晕进行抑制处理，得到融合图像；识别融合图像中目标车辆的车牌区域；对融合图像中与车牌区域相邻的扩展区域进行图像分割操作，获得多个分割区域；将具有预设特征的分割区域作为候选区域，确定候选区域在可见光图像中对应的第一区域和在红外光图像中对应的第二区域；从候选区域中确定目标强光区域，目标强光区域对应的第一区域和第二区域的相似度低于预设相似度。
7.由上述技术方案可知，在目标车辆加装强光灯的情况下，由于强光会产生强光光晕，使摄像设备拍摄的图像中图像信息被强光光晕遮掩，因此，一般，摄像设备无法清楚记录车辆信息。本技术可先获取目标车辆在第一时刻的可见光图像和红外光图像，从而利用红外光图像对可见光图像中的强光光晕进行抑制处理，得到强光抑制的融合图像。在融合图像中，消除了强光光晕对于图像信息遮掩的问题。进一步的，基于强光灯通常加装在车牌附近，本技术提供的图像识别方法还会通过融合图像识别目标车辆的车牌区域，对融合图像中与车牌区域相邻的扩展区域进行图像分割操作，提取车牌区域相邻的扩展区域的可能存在的对象，即分割区域。只对目标车辆的车牌区域相邻的扩展区域进行图像分割操作，减少了识别的图像大小，提升识别效率。然后，由于车辆上加装的强光灯通常具有一些特征，如灯具常有的形状特征或和车牌之间的位置特征等等，因此本技术通过将具有预设特征的分割区域作为候选区域，把可能是目标强光区域的对象从分割区域中挑选出来。最后，由于
目标车辆和周围环境可能存在反光现象，从而影响对目标强光区域的识别判断，本技术利用红外光图像对强光不敏感，而可见光图像容易受强光影响的原理，还提出通过对比候选区域对应的红外光图像和可见光图像之间的相似度，将红外光图像和可见光图像相似度较高的反光区域，与红外光图像和可见光图像相似度较低的目标强光区域区分开，降低了误判反光区域为目标强光区域的问题。从而，本技术能够在目标车辆加装强光灯的情况下，抑制可见光图像中的强光，进一步识别车辆的车牌以及车灯，并且识别效率较高，还能避免将反光区域误判为目标强光区域。
8.可选的，从候选区域中确定目标强光区域，目标强光区域对应的第一区域和第二区域的相似度低于预设相似度，包括:根据候选区域对应的第一区域和第二区域的巴氏距离，确定候选区域对应的第一区域和第二区域的相似度；在候选区域对应的第一区域和第二区域的相似度低于预设相似度的情况下，将候选区域确定为目标强光区域。
9.可选的，预设特征，包括：分割区域的预设尺寸特征、预设形状特征、分割区域与车牌区域的预设大小关系和分割区域与车牌区域的预设位置关系中的至少一项。
10.可选的，利用红外光图像对可见光图像中的强光光晕进行抑制处理，得到融合图像，包括：根据可见光图像的多个色彩通道的亮度，获得第一权重图像，第一权重图像中各个像素的亮度为像素对应在多个色彩通道中亮度的最大值；根据可见光图像的亮度和红外光图像的亮度，获得第二权重图像，第二权重图像为可见光图像和红外光图像的二值比较图像，二值比较图像包括第一预设亮度的像素和第二预设亮度的像素，第一预设亮度的像素在可见光图像中对应的像素的亮度，高于在红外光图像中对应的像素的亮度，第二预设亮度的像素在可见光图像中对应的像素的亮度，低于在红外光图像中对应的像素的亮度； 根据第一权重图像、第二权重图像、可见光图像和红外光图像对可见光图像中的强光光晕进行抑制处理，获得融合图像。
11.可选的，根据第一权重图像、第二权重图像、可见光图像和红外光图像对可见光图像中的强光光晕进行抑制处理，获得融合图像，包括：基于第一权重图像中各个像素的亮度和第二权重图像中各个像素的亮度，确定融合权重图像，融合权重图像中目标像素的亮度为第一亮度和第二亮度中的较小值，第一亮度为在第一权重图像中目标像素对应的像素的亮度，第二亮度为在第二权重图像中目标像素对应的像素的亮度；基于融合权重图像，对可见光图像和红外光图像进行加权融合，获得融合图像；其中，融合权重图像中各个像素对应的亮度与可见光图像的融合权重负相关，与红外光图像的融合权重正相关。
12.可选的，对融合图像中与车牌区域相邻的扩展区域进行图像分割操作，获得多个分割区域，包括：对融合图像中与车牌区域相邻的扩展区域的进行灰度化，获得扩展区域的灰度图像；对扩展区域的灰度图像进行二值化，获得扩展区域的二值图像；对扩展区域的二值图像进行连通区域分析，获得多个分割区域。
13.第二方面，本技术提供一种图像识别装置，该图像识别装置包括：红外光摄像单元，用于获取目标车辆在第一时刻的可见光图像；可见光摄像单元，用于获取目标车辆在第一时刻的红外光图像；图像融合单元，用于利用红外光图像对可见光图像中的强光光晕进行抑制处理，得到融合图像；车牌识别单元，用于识别融合图像中目标车辆的车牌区域；图像分割单元，用于对融合图像中与车牌区域相邻的扩展区域进行图像分割操作，获得多个分割区域；候选区域确定单元，用于将具有预设特征的分割区域作为候选区域，确定候选区
域在可见光图像中对应的第一区域和在红外光图像中对应的第二区域；目标区域确定单元，用于从候选区域中确定目标强光区域，目标强光区域对应的第一区域和第二区域的相似度低于预设相似度。
14.可选的，图像融合单元，用于根据可见光图像的多个色彩通道的亮度，获得第一权重图像，第一权重图像中各个像素的亮度为像素对应在多个色彩通道中亮度的最大值；根据可见光图像的亮度和红外光图像的亮度，获得第二权重图像，第二权重图像为可见光图像和红外光图像的二值比较图像，二值比较图像包括第一预设亮度的像素和第二预设亮度的像素，第一预设亮度的像素在可见光图像中对应的像素的亮度，高于在红外光图像中对应的像素的亮度，第二预设亮度的像素在可见光图像中对应的像素的亮度，不高于在红外光图像中对应的像素的亮度； 根据第一权重图像、第二权重图像、可见光图像和红外光图像对可见光图像中的强光光晕进行抑制处理，获得融合图像。
15.可选的，图像融合单元，用于基于第一权重图像中各个像素的亮度和第二权重图像中各个像素的亮度，确定融合权重图像，融合权重图像中目标像素的亮度为第一亮度和第二亮度中的较小值，第一亮度为在第一权重图像中目标像素对应的像素的亮度，第二亮度为在第二权重图像中目标像素对应的像素的亮度；基于融合权重图像，对可见光图像和红外光图像进行加权融合，获得融合图像；其中，融合权重图像中各个像素对应的亮度与可见光图像的融合权重负相关，与红外光图像的融合权重正相关。
16.可选的，图像分割单元，用于对融合图像中与车牌区域相邻的扩展区域的进行灰度化，获得扩展区域的灰度图像；对扩展区域的灰度图像进行二值化，获得扩展区域的二值图像。对扩展区域的二值图像进行连通区域分析，获得多个分割区域。
17.第三方面，本技术实施例提供一种电子设备，包括：存储器和处理器；存储器和处理器耦合；存储器用于存储计算机程序代码，计算机程序代码包括计算机指令；其中，当处理器执行计算机指令时，使得电子设备执行如第一方面及其任一种可能的设计方式的图像识别方法。
18.第四方面，本技术提供一种计算机可读存储介质，该计算机可读存储介质包括：计算机软件指令；当计算机软件指令在图像识别装置中运行时，使得图像识别装置实现上述第一方面的方法。
19.第五方面，本技术提供一种计算机程序产品，当该计算机程序产品在图像识别装置上运行时，使得图像识别装置执行上述第一方面描述的相关方法的步骤，以实现上述第一方面的方法。
20.上述第二方面至第五方面的有益效果可以参考第一方面的对应描述，不再赘述。
附图说明
21.图1为本技术提供的一种图像识别系统的架构示意图；图2为本技术提供的一种图像识别系统中图像识别装置12的结构示意图；图3为本技术提供的一种图像识别系统中拍摄装置11采集目标车辆图像的示意图；图4为本技术提供的一种图像识别方法的流程示意图一；图5为本技术提供的一种图像识别方法中可见光图像和红外光图像的示意图；
图6为本技术提供的一种图像识别方法的流程示意图二；图7为本技术提供的一种图像识别方法的流程示意图三；图8为本技术提供的一种图像识别装置的结构示意图。
具体实施方式
22.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
23.需要说明的是，本技术实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
24.为了便于清楚描述本技术实施例的技术方案，在本技术的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不是在对数量和执行次序进行限定。
25.由背景技术可知，在夜间道路中，一些车辆的司机会在车牌周围安装强光灯，以干扰摄像设备对夜间道路的实时录像。由于强光灯会产生较大范围的光晕，因此在车辆有强光灯的情况下会使摄像设备拍摄到的画面被强光遮掩，因此一般的摄像设备无法记录安装强光灯的车辆的状态，更无法准确快速地确定安装强光灯的车辆。除此之外，车辆的强光灯不仅影响道路上的摄像设备对道路状态的记录，其强烈的灯光也会影响对向车辆的正常行驶。
26.因此，如何能在存在强光的情况下记录道路车辆状况并识别车辆的强光灯，从而对安装强光灯的车辆进行管理成为亟待解决的技术问题。
27.基于此，本技术提供一种图像识别方法、装置、电子设备及存储介质。
28.在一种可能的实施例中，本技术实施例提供的图像识别方法可应用于图像识别装置中。
29.在另一种可能的实施例中，本技术实施例提供的图像识别方法可应用于如图1所示的图像识别系统中，该图像识别系统包括拍摄装置11和图像识别装置12。
30.其中，如图2所述，拍摄装置11包括红外光摄像单元111和可见光摄像单元112，红外光摄像单元111可采集获得目标车辆的红外光图像，可见光摄像单元112可采集获得目标车辆的可见光图像，红外光摄像单元111和可见光摄像单元112可同时对目标车辆进行拍摄，从而获得目标车辆在第一时刻的红外光图像和可见光图像。
31.在一种可能的实施例中，红外光摄像单元111可以是红外光摄像头，可见光摄像单元112可以是可见光摄像头，拍摄装置11可以是集成红外光摄像单元111和可见光摄像单元112的双传感摄像设备。
32.示例性的，如图3所示，拍摄装置11可以采集经过拍摄区域或者目标区域的目标车辆的车头在第一时刻的红外光图像和第一时刻的可见光图像。应理解，第一时刻的红外光图像和第一时刻的可见光图像包含的图像信息不一致，图中仅为示例。
33.图像识别装置12可对拍摄装置11采集获取的目标车辆在第一时刻的红外光图像和可见光图像进行处理和识别。
34.在一种可能的实施例中，如图2所示，图像识别装置12包括图像融合单元121、车牌识别单元122、图像分割单元123、候选区域确定单元124和目标区域确定单元125。
35.图像融合单元121，可以利用红外光图像对可见光图像中的强光光晕进行抑制处理，得到融合图像。
36.车牌识别单元122，可以识别融合图像中目标车辆的车牌区域。
37.图像分割单元123，可以对融合图像中与车牌区域相邻的扩展区域进行图像分割操作，获得多个分割区域。
38.候选区域确定单元124，可以将具有预设特征的分割区域作为候选区域，确定候选区域在可见光图像中对应的第一区域和在红外光图像中对应的第二区域。
39.目标区域确定单元125，可以从候选区域中确定目标强光区域，目标强光区域对应的第一区域和第二区域的相似度低于预设相似度。在一些可能的实施例中，目标区域确定单元125，可以根据候选区域对应的第一区域和第二区域的巴氏距离，确定候选区域对应的第一区域和第二区域的相似度。进一步的，在候选区域对应的第一区域和第二区域的相似度低于预设相似度的情况下，目标区域确定单元125可将候选区域确定为目标强光区域。
40.在一些可能的实施例中，图像融合单元121，还可根据可见光图像的多个色彩通道的亮度，获得第一权重图像，第一权重图像中各个像素的亮度为像素对应在多个色彩通道中亮度的最大值；根据可见光图像的亮度和红外光图像的亮度，获得第二权重图像，第二权重图像为可见光图像和红外光图像的二值比较图像，二值比较图像包括第一预设亮度的像素和第二预设亮度的像素，第一预设亮度的像素在可见光图像中对应的像素的亮度，高于在红外光图像中对应的像素的亮度，第二预设亮度的像素在可见光图像中对应的像素的亮度，不高于在红外光图像中对应的像素的亮度；根据第一权重图像、第二权重图像、可见光图像和红外光图像对可见光图像中的强光光晕进行抑制处理，获得融合图像。
41.在一些可能的实施例中，图像融合单元121，还可以基于第一权重图像中各个像素的亮度和第二权重图像中各个像素的亮度，确定融合权重图像，融合权重图像中目标像素的亮度为第一亮度和第二亮度中的较小值，第一亮度为目标图像的目标像素在第一权重图像中对应的像素的亮度，第二亮度为在第二权重图像中目标像素对应的像素的亮度；基于融合权重图像，对可见光图像和红外光图像进行加权融合，获得融合图像；其中，融合权重图像中各个像素对应的亮度与可见光图像的融合权重负相关，与红外光图像的融合权重正相关。
42.在一些可能的实施例中，图像分割单元123，还可以对融合图像中与车牌区域相邻的扩展区域的进行灰度化，获得扩展区域的灰度图像；对扩展区域的灰度图像进行二值化，获得扩展区域的二值图像。对扩展区域的二值图像进行连通区域分析，获得多个分割区域。
43.在一种可能的实施例中，图4为本技术实施例提供的一种图像识别方法的流程示意图。示例性的，本技术实施例提供的图像识别方法，可以应用于图1所示的图像识别系统或图像识别装置中。如图4所示，本技术实施例提供图像识别方法具体可以包括以下步骤s101至s106。
44.s101，获取目标车辆在第一时刻的可见光图像和红外光图像。
45.通常，车辆加装的强光灯的发射的大部分灯光通常属于可见光的波段。因此在目标车辆加装强光灯的情况下，目标车辆在第一时刻的可见光图像即为目标车辆存在强光灯的强光光晕的图像，可见光图像中部分图像信息会被强光光晕遮掩。而红外光对强光灯发射的可见光波段不敏感，因此红外光图像中能够避免强光灯的强光光晕的影响。如图5所示，为目标车辆在开启强光灯情况下，目标车辆的强光灯区域在第一时刻的可见光图像和红外光图像的一种示例。可见，在可见光图像中强光灯的光晕遮掩了车牌等区域，而在红外光图像中该区域未被强光等的光晕遮掩。
46.除此之外，获取到的目标车辆在第一时刻的可见光图像和红外光图像应当是在相近或相同的角度拍摄，以便于进行后续的处理。如果在可见光图像和红外光图像尺寸不同的情况下，应当对这两个图像进行预处理，以使得其相同的尺寸中拍摄的对象对应的像素一致。
47.s102，利用红外光图像对可见光图像中的强光光晕进行抑制处理，得到融合图像。
48.由于红外光图像中不受强光灯的光晕的影响，而可见光图像会受强光灯的光晕影响而丢失部分信息，但是红外光图像相比可见光图像缺少可见光图像中的一些重要信息，如色彩信息。因此可将红外光图像和可见光图像中的信息进行融合，获得即能抑制强光光晕，又能适应于人直观观看的融合图像。
49.在一些可能的实施例中，如图6所示，利用红外光图像对可见光图像中的强光光晕进行抑制处理，得到融合图像，包括：s1021，根据可见光图像的多个色彩通道的亮度，获得第一权重图像，第一权重图像中各个像素的亮度为像素对应在多个色彩通道中亮度的最大值。
50.通常，可见光图像可能存在多个色彩亮度通道，如rgb（red，green，blue）格式下的r通道、g通道和b通道。rgb是从颜色发光的原理来设计定的，红、绿、蓝三个颜色通道每种色各分为256阶亮度，在亮度为0时该通道对应的颜色在可见光图像中显示最弱，在亮度为255时通道对应的颜色在可见光图像中显示最强烈。
51.示例的，以rgb格式下的色彩通道为例，第一权重图像中各个像素的亮度为，那么。
52.其中，为像素x在r通道中的亮度，为像素x在g通道中的亮度，为像素x在b通道中的亮度。即，第一权重图中各个像素的亮度为各个像素x在r通道、g通道和b通道中亮度的最大值。
53.s1022，根据可见光图像的亮度和红外光图像的亮度，获得第二权重图像。
54.其中，第二权重图像为可见光图像和红外光图像的二值比较图像，二值比较图像包括第一预设亮度的像素和第二预设亮度的像素，第一预设亮度的像素在可见光图像中对应的像素的亮度，高于在红外光图像中对应的像素的亮度，第二预设亮度的像素在可见光图像中对应的像素的亮度，不高于在红外光图像中对应的像素的亮度。
55.示例的，第一预设亮度为225，第二预设亮度为0的情况下，第一权重图像中各个像素的亮度，在像素x在可见光图像中对应的像素的亮度，高于在红外光图像中对
应的像素的亮度的情况下，，在像素x在可见光图像中对应的像素的亮度，不高于在红外光图像中对应的像素的亮度的情况下，。可见，在第二权重图像中，只有0和255两个亮度，因此该图像为二值图像，且是红外光图像和可见光图像的二值比较图像。
56.s1023，根据第一权重图像、第二权重图像、可见光图像和红外光图像对可见光图像中的强光光晕进行抑制处理，获得融合图像。
57.应理解，可见光图像和红外光图像是在同一时刻对于目标车辆拍摄的图像，图像中各个像素应当具有对应关系。而根据可见光图像和红外光图像生成的第一权重图像和第二权重图像，图像中的像素也和可见光图像和红外光图像具有对应关系。因此可根据这四个图像的像素之间的对应关系，以及根据第一权重图像和第二权重图像对应权重，对图像进行融合，以使得红外光图像中未被强光影响的像素信息，代替可见光图像中被强光影响的像素信息，从而抑制强光光晕。
58.在一些可能的实施例中，根据第一权重图像、第二权重图像、可见光图像和红外光图像对可见光图像中的强光光晕进行抑制处理，获得融合图像，包括：步骤一，基于第一权重图像中各个像素的亮度和第二权重图像中各个像素的亮度，确定融合权重图像。
59.其中，融合权重图像中目标像素的亮度为第一亮度和第二亮度中的较小值，第一亮度为在第一权重图像中目标像素对应的像素的亮度，第二亮度为在第二权重图像中目标像素对应的像素的亮度。
60.示例的，表征第一亮度，表征第二亮度，那么第二权重图像中各个像素的亮度。
61.当然，在计算出第二权重图像中各个像素的亮度后，还可以对第二权重图像使用引导滤波，使得融合权重图像在边缘清晰的前提下，图像像素之间更平滑。
62.步骤二，基于融合权重图像，对可见光图像和红外光图像进行加权融合，获得融合图像。
63.其中，融合权重图像中各个像素对应的亮度与可见光图像的融合权重负相关，与红外光图像的融合权重正相关。
64.在第一权重图像中，像素的亮度越小，表征该像素在可见光图像和红外光图像中的最大亮度越小，该像素对应的光照越暗淡，那么该像素对应的图像信息一般未被强光遮掩。在第二权重图像中，像素的亮度小，表征该像素在在可见光图像中对应的像素的亮度，不高于在红外光图像中对应的像素的亮度，即该像素对应的图像信息大概率未被强光遮掩。融合权重图像是由第一权重图像和第二权重图像中各个像素对应的亮度较小值获得的，因此融合权重图像中该像素对应的亮度越小，表征该像素在可见光中对应的信息被强光影响的可能越小，于是这些受强光影响小的像素，可使用较多的可见光图像的信息。那么，对于像素对应的亮度较大，表征该像素在可见光中对应的信息被强光影响的可能越大，像素在可见光图像中受强光的影响越大，应当使用较多的红外光图像的信息。
65.示例的，为像素x在可见光图像对应的色彩通道的亮度，
。n（x）为像素在红外光图像下的亮度，表征融合权重图像中各个像素的亮度。通过下式1可获得融合图像的各个色彩通道中像素x的亮度，。
[0066] 式1。
[0067]
在获得融合图像的各个色彩通道中像素x的亮度，可通过各个色彩通道中像素x的亮度，进一步获得融合图像。
[0068]
可见，在式1中，像素在融合权重图像中的亮度越大，就会越多使用红外光图像中的信息，像素在融合权重图像中的亮度越小，就会越多使用可见光图像中的信息。从而，对于被强光影响较多的像素，可通过增多红外光图像中的信息，抑制强光造成的影响，对于被强光影响较少的像素，可通过多使用可见光图像中的信息，以减少偏色问题。
[0069]
s103，识别融合图像中目标车辆的车牌区域。
[0070]
通过上述步骤，融合图像中的强光得到抑制，从而能够获得目标车辆较为清晰的信息。可基于融合图像，识别目标车辆的车牌区域。
[0071]
s104，对融合图像中与车牌区域相邻的扩展区域进行图像分割操作，获得多个分割区域。
[0072]
应理解，由于该强光灯通常加装在车辆的车牌周围，因此可先通过融合图像识别目标车辆的车牌区域，进一步的，仅对车牌区域附近扩展区域进行处理。这样，能够减少需要进行图像识别的区域，从而提升了图像识别的效率。
[0073]
在一些可能的实施例中，对融合图像中与车牌区域相邻的扩展区域进行图像分割操作，获得多个分割区域，包括：对融合图像中与车牌区域相邻的扩展区域的进行灰度化，获得扩展区域的灰度图像。对扩展区域的灰度图像进行二值化，获得扩展区域的二值图像。最后，对扩展区域的二值图像进行连通区域分析，获得多个连通区域作为获得的分割区域。
[0074]
应理解，此处的图像分割操作即将融合图像中与车牌区域相邻的扩展区域可能存在的多个对象，从融合图像中划分出来。
[0075]
示例的，如图7所示，可先对融合图像中与车牌区域相邻的扩展区域进行灰度化，以获得扩展区域的灰度图像，进一步的再进行二值化，获得扩展区域的二值图像，以将图像划分成互不相交的独立对象区域。最后，再对于二值化划分的区域进行连通区域分析，将连通区域作为独立的分割区域，区分出来。如图7中的分割区域a、分割区域b和分割区域c。
[0076]
在一些可能的实现方式中，在该过程中还可以对图像进行其他处理，例如高斯模糊等，以减少图像噪声以及降低细节层次，从而更好地进行图像分割。上述仅为示例，并不对本技术构成限定。
[0077]
s105，将具有预设特征的分割区域作为候选区域，确定候选区域在可见光图像中对应的第一区域和在红外光图像中对应的第二区域。
[0078]
在一些可能的实施例中，预设特征，包括：分割区域的预设尺寸特征、预设形状特征、分割区域与车牌区域的预设大小关系和分割区域与车牌区域的预设位置关系中的至少一项。
[0079]
应理解，由于加装的强光灯都具有常见的灯具的形状特征，而划分出的分割区域如果具有预设的常见灯具的特征，那么该分割区域就较为可能是车辆上加装光灯的区域。相似的，可根据常见的加装强光灯的尺寸，设置分割区域的预设尺寸特征。
[0080]
另外，由于加装的长方形强光灯通常与车牌具有近似平行的关系，以及长方形强光灯一般长度会超过车牌的长度。因此，也可基于这样的分割区域与车牌区域的预设大小关系，和分割区域与车牌区域的预设位置关系，对分割区域进行筛选，具有这些预设特征的分割区域也更有可能是候选区域。
[0081]
由上述实施例可知，本技术将具有预设特征的分割区域作为候选区域，其中预设特征为根据识别对象，即车辆加装的强光灯的形状特征、尺寸特征、和车牌区域的位置关系、和车牌区域的预设大小关系。通过这些特征，能够从分割区域中较为简单地挑选出其中的候选区域，从而提高了图像识别的效率和准确率。
[0082]
s106，从候选区域中确定目标强光区域，目标强光区域对应的第一区域和第二区域的相似度低于预设相似度。
[0083]
由于红外光图像对强光灯的强光不敏感，而可见光图像对强光灯的强光较为敏感，因此可见光图像中会较为明显显示出强光光晕，而在红外光图像中不会出现明显强光光晕。而对于车辆或者环境的反光区域，红外光图像和可见光图像中获得的反光区域的图像信息较为一致，因此，反光区域在红外光图像和可见光图像中较为相似，而强光灯产生的灯光光晕在红外光图像和可见光图像中相似度较低。
[0084]
基于此，可通过对比候选区域对应的第一区域和第二区域的相似度，较为准确地区分候选区域中的目标强光区域，避免将反光区域误判为灯光区域，提高强光灯识别的准确率。
[0085]
由上述实施例可知，在目标车辆加装强光灯的情况下，由于强光会产生强光光晕，使摄像设备拍摄的图像中图像信息被强光光晕遮掩，因此，一般，摄像设备无法清楚记录车辆信息。本技术可先获取目标车辆在第一时刻的可见光图像和红外光图像，从而利用红外光图像对可见光图像中的强光光晕进行抑制处理，得到强光抑制的融合图像。在融合图像中，消除了强光光晕对于图像信息遮掩的问题。进一步的，基于强光灯通常加装在车牌附近，本技术提供的图像识别方法还会通过融合图像识别目标车辆的车牌区域，对融合图像中与车牌区域相邻的扩展区域进行图像分割操作，提取车牌区域相邻的扩展区域的可能存在的对象，即分割区域。只对目标车辆的车牌区域相邻的扩展区域进行图像分割操作，减少了识别的图像大小，提升识别效率。然后，由于车辆上加装的强光灯通常具有一些特征，如灯具常有的形状特征或和车牌之间的位置特征等等，因此本技术通过将具有预设特征的分割区域作为候选区域，把可能是目标强光区域的对象从分割区域中挑选出来。最后，由于目标车辆和周围环境可能存在反光现象，从而影响对目标强光区域的识别判断，本技术利用红外光图像对强光不敏感，而可见光图像容易受强光影响的原理，还提出通过对比候选区域对应的红外光图像和可见光图像之间的相似度，将红外光图像和可见光图像相似度较高的反光区域，与红外光图像和可见光图像相似度较低的目标强光区域区分开，降低了误判反光区域为目标强光区域的问题。从而，本技术能够在目标车辆加装强光灯的情况下，抑制可见光图像中的强光，进一步识别车辆的车牌以及车灯，并且识别效率较高，还能避免将反光区域误判为目标强光区域。
[0086]
在一些可能的实施例中，从候选区域中确定目标强光区域，目标强光区域对应的第一区域和第二区域的相似度低于预设相似度，包括:根据候选区域对应的第一区域和第二区域的巴氏距离，确定候选区域对应的第一区域和第二区域的相似度。在候选区域对应的第一区域和第二区域的相似度低于预设相似度的情况下，将候选区域确定为目标强光区域。
[0087]
示例的，直方图可表示数字图像中亮度分布，根据巴氏距离的计算公式，对于第一区域的直方图和第二区域的直方图，第一区域和第二区域的相似度，可根据下式2、式3和式4获得。
[0088]
式2。
[0089] 式3。
[0090]
式4。
[0091]
其中，表征第一区域中对应的亮度l的像素的数量，表征第二区域中对应的亮度l的像素的数量，n表征直方图中bin（直方图根据图像信息划分的若干小的子区域）的数量。
[0092]
在采用硬件的形式实现上述集成的单元的功能的情况下，本技术实施例提供了一种图像识别装置的硬件组成示意图，如图8所示，该图像识别装置还包括：处理器302，通信接口303，总线304。可选的，图像识别装置还可以包括存储器301。
[0093]
处理器302，可以是实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。该处理器302可以是中央处理器，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器302也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
[0094]
通信接口303，用于与其他设备通过通信网络连接。该通信网络可以是以太网，无线接入网，无线局域网（wireless local area networks，wlan）等。
[0095]
存储器301，可以是只读存储器（read-only memory，rom）或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器（random access memory，ram）或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器（electrically erasable programmable read-only memory，eeprom）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
[0096]
作为一种可能的实现方式，存储器301可以独立于处理器302存在，存储器301可以通过总线304与处理器302相连接，用于存储指令或者程序代码。处理器302调用并执行存储
器301中存储的指令或程序代码时，能够实现本技术实施例提供的图像识别方法。
[0097]
另一种可能的实现方式中，存储器301也可以和处理器302集成在一起。
[0098]
总线304，可以是扩展工业标准结构（extended industry standard architecture，eisa）总线等。总线304可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0099]
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将图像识别装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
[0100]
本技术实施例还提供了一种计算机可读存储介质。上述方法实施例中的全部或者部分流程可以由计算机指令来指示相关的硬件完成，该程序可存储于上述计算机可读存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。计算机可读存储介质可以是前述任一实施例的或内存。上述计算机可读存储介质也可以是上述图像识别装置的外部存储设备，例如上述图像识别装置上配备的插接式硬盘，智能存储卡（smart media card，smc），安全数字（secure digital，sd）卡，闪存卡（flash card）等。进一步地，上述计算机可读存储介质还可以既包括上述图像识别装置的内部存储单元也包括外部存储设备。上述计算机可读存储介质用于存储上述计算机程序以及上述图像识别装置所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
[0101]
本技术实施例还提供一种计算机程序产品，该计算机产品包含计算机程序，当该计算机程序产品在计算机上运行时，使得该计算机执行上述实施例中所提供的任一项图像识别方法。
[0102]
尽管在此结合各实施例对本技术进行了描述，然而，在实施所要求保护的本技术过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”（comprising）一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
[0103]
尽管结合具体特征及其实施例对本技术进行了描述，显而易见的，在不脱离本技术的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本技术的示例性说明，且视为已覆盖本技术范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。
[0104]
以上，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何在本技术揭露的技术范围内的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。

技术特征：
1.一种图像识别方法，其特征在于，包括：获取目标车辆在第一时刻的可见光图像和红外光图像；利用所述红外光图像对所述可见光图像中的强光光晕进行抑制处理，得到融合图像；识别所述融合图像中所述目标车辆的车牌区域；对所述融合图像中与所述车牌区域相邻的扩展区域进行图像分割操作，获得多个分割区域；将具有预设特征的分割区域作为候选区域，确定所述候选区域在所述可见光图像中对应的第一区域和在所述红外光图像中对应的第二区域；从所述候选区域中确定目标强光区域，所述目标强光区域对应的所述第一区域和所述第二区域的相似度低于预设相似度。2.根据权利要求1所述的图像识别方法，其特征在于，所述从所述候选区域中确定目标强光区域，所述目标强光区域对应的所述第一区域和所述第二区域的相似度低于预设相似度，包括:根据所述候选区域对应的所述第一区域和所述第二区域的巴氏距离，确定所述候选区域对应的所述第一区域和所述第二区域的相似度；在所述候选区域对应的所述第一区域和所述第二区域的相似度低于所述预设相似度的情况下，将所述候选区域确定为所述目标强光区域。3.根据权利要求1所述的图像识别方法，其特征在于，所述预设特征，包括：所述分割区域的预设尺寸特征、预设形状特征、所述分割区域与所述车牌区域的预设大小关系和所述分割区域与所述车牌区域的预设位置关系中的至少一项。4.根据权利要求1所述的图像识别方法，其特征在于，所述利用所述红外光图像对所述可见光图像中的强光光晕进行抑制处理，得到融合图像，包括：根据所述可见光图像的多个色彩通道的亮度，获得第一权重图像，所述第一权重图像中各个像素的亮度为像素对应在所述多个色彩通道中亮度的最大值；根据所述可见光图像的亮度和所述红外光图像的亮度，获得第二权重图像，所述第二权重图像为所述可见光图像和所述红外光图像的二值比较图像，所述二值比较图像包括第一预设亮度的像素和第二预设亮度的像素，所述第一预设亮度的像素在所述可见光图像中对应的像素的亮度，高于在所述红外光图像中对应的像素的亮度，所述第二预设亮度的像素在所述可见光图像中对应的像素的亮度，低于在所述红外光图像中对应的像素的亮度；根据所述第一权重图像、所述第二权重图像、所述可见光图像和所述红外光图像对所述可见光图像中的强光光晕进行抑制处理，获得所述融合图像。5.根据权利要求4所述的图像识别方法，其特征在于，所述根据所述第一权重图像、所述第二权重图像、所述可见光图像和所述红外光图像对所述可见光图像中的强光光晕进行抑制处理，获得所述融合图像，包括：基于所述第一权重图像中各个像素的亮度和所述第二权重图像中各个像素的亮度，确定融合权重图像，所述融合权重图像中目标像素的亮度为第一亮度和第二亮度中的较小值，所述第一亮度为在所述第一权重图像中所述目标像素对应的像素的亮度，所述第二亮度为在所述第二权重图像中所述目标像素对应的像素的亮度；基于所述融合权重图像，对所述可见光图像和所述红外光图像进行加权融合，获得所
述融合图像；其中，所述融合权重图像中各个像素对应的亮度与所述可见光图像的融合权重负相关，与所述红外光图像的融合权重正相关。6.根据权利要求1所述的图像识别方法，其特征在于，所述对所述融合图像中与所述车牌区域相邻的扩展区域进行图像分割操作，获得多个分割区域，包括：对所述融合图像中与所述车牌区域相邻的扩展区域的进行灰度化，获得所述扩展区域的灰度图像；对所述扩展区域的灰度图像进行二值化，获得所述扩展区域的二值图像；对所述扩展区域的二值图像进行连通区域分析，获得多个所述分割区域。7.一种图像识别装置，其特征在于，所述装置包括：红外光摄像单元，用于获取目标车辆在第一时刻的可见光图像；可见光摄像单元，用于获取所述目标车辆在所述第一时刻的红外光图像；图像融合单元，用于利用所述红外光图像对所述可见光图像中的强光光晕进行抑制处理，得到融合图像；车牌识别单元，用于识别所述融合图像中所述目标车辆的车牌区域；图像分割单元，用于对所述融合图像中与所述车牌区域相邻的扩展区域进行图像分割操作，获得多个分割区域；候选区域确定单元，用于将具有预设特征的分割区域作为候选区域，确定所述候选区域在所述可见光图像中对应的第一区域和在所述红外光图像中对应的第二区域；目标区域确定单元，用于从所述候选区域中确定目标强光区域，所述目标强光区域对应的所述第一区域和所述第二区域的相似度低于预设相似度。8.根据权利要求7所述的图像识别装置，其特征在于，所述目标区域确定单元，具体用于:根据所述候选区域对应的所述第一区域和所述第二区域的巴氏距离，确定所述候选区域对应的所述第一区域和所述第二区域的相似度；在所述候选区域对应的所述第一区域和所述第二区域的相似度低于所述预设相似度的情况下，将所述候选区域确定为所述目标强光区域。9.根据权利要求7所述的图像识别装置，其特征在于，所述预设特征，包括：所述分割区域的预设尺寸特征、预设形状特征、所述分割区域与所述车牌区域的预设大小关系和所述分割区域与所述车牌区域的预设位置关系中的至少一项。10.根据权利要求7所述的图像识别装置，其特征在于，所述图像融合单元，具体用于：根据所述可见光图像的多个色彩通道的亮度，获得第一权重图像，所述第一权重图像中各个像素的亮度为像素对应在所述多个色彩通道中亮度的最大值；根据所述可见光图像的亮度和所述红外光图像的亮度，获得第二权重图像，所述第二权重图像为所述可见光图像和所述红外光图像的二值比较图像，所述二值比较图像包括第一预设亮度的像素和第二预设亮度的像素，所述第一预设亮度的像素在所述可见光图像中对应的像素的亮度，高于在所述红外光图像中对应的像素的亮度，所述第二预设亮度的像素在所述可见光图像中对应的像素的亮度，不高于在所述红外光图像中对应的像素的亮度；根据所述第一权重图像、所述第二权重图像、所述可见光图像和所述红外光图像对所
述可见光图像中的强光光晕进行抑制处理，获得所述融合图像。11.根据权利要求10所述的图像识别装置，其特征在于，所述图像融合单元，具体用于：基于第一权重图像中各个像素的亮度和第二权重图像中各个像素的亮度，确定融合权重图像，融合权重图像中目标像素的亮度为第一亮度和第二亮度中的较小值，第一亮度为在第一权重图像中目标像素对应的像素的亮度，第二亮度为在第二权重图像中目标像素对应的像素的亮度；基于所述融合权重图像，对所述可见光图像和所述红外光图像进行加权融合，获得所述融合图像；其中，所述融合权重图像中各个像素对应的亮度与所述可见光图像的融合权重负相关，与所述红外光图像的融合权重正相关。12.根据权利要求7所述的图像识别装置，其特征在于，所述图像分割单元，具体用于：对所述融合图像中与所述车牌区域相邻的扩展区域的进行灰度化，获得所述扩展区域的灰度图像；对所述扩展区域的灰度图像进行二值化，获得所述扩展区域的二值图像；对所述扩展区域的二值图像进行连通区域分析，获得多个所述分割区域。13.一种电子设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机指令，所述处理器用于从存储器中调用并运行所述计算机指令，实现权利要求1-6任一项所述的图像识别方法。14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括：计算机软件指令；当所述计算机软件指令在图像识别装置中运行时，使得所述图像识别装置实现如权利要求1-6任一项所述的图像识别方法。

技术总结
本申请提供一种图像识别方法、装置、电子设备及存储介质，涉及图像处理领域，解决识别车辆的强光灯的问题。该方法包括：获取目标车辆在第一时刻的可见光图像和红外光图像；利用红外光图像对可见光图像中的强光光晕进行抑制处理，得到融合图像；识别融合图像中目标车辆的车牌区域；对融合图像中与车牌区域相邻的扩展区域进行图像分割操作，获得多个分割区域；将具有预设特征的分割区域作为候选区域，确定候选区域在可见光图像中对应的第一区域和在红外光图像中对应的第二区域；从候选区域中确定目标强光区域，目标强光区域对应的第一区域和第二区域的相似度低于预设相似度。区域和第二区域的相似度低于预设相似度。区域和第二区域的相似度低于预设相似度。


技术研发人员：张鹤 丁玲 郑海涛 胡鑫杰
受保护的技术使用者：杭州海康威视数字技术股份有限公司
技术研发日：2023.07.05
技术公布日：2023/8/5