一种基于FPGA的车牌人脸智能识别方法及系统

一种基于fpga的车牌人脸智能识别方法及系统
技术领域
1.本发明涉及车牌与人脸识别技术领域，具体来说，涉及一种基于fpga的车牌人脸智能识别方法及系统。


背景技术：

2.车牌识别技术起源于20世纪80年代，早期主要使用字符识别算法进行车牌号码的识别。随着计算机视觉技术的发展，车牌识别技术逐渐演化为基于图像处理和机器学习算法的自动识别系统。目前车牌识别技术已经被广泛应用于停车场管理、违章处理、交通管理等领域。人脸识别技术则起源于20世纪60年代，最初采用的是基于模板匹配的算法。随着计算机技术、图像处理技术和机器学习算法的不断发展，人脸识别技术得到了长足的发展，成为了一种重要的生物识别技术。目前人脸识别技术被广泛应用于人脸门禁、安防监控、身份认证等领域。
3.目前，车牌人脸双识别的应用场景主要涉及到安防监控、交通管理等领域。在道路监控中，当交通违法行为发生时，需要识别车牌号码进行追踪；同时也需要识别车内的驾驶员或乘客，以便进行人脸识别和身份认证。此外，车牌识别与人脸识别的结合可以在很多场景中发挥作用，如在停车场管理中，可以识别出进出车辆的车牌和驾驶员的人脸，进行匹配核对。
4.在智能交通系统中，可以根据车辆的车牌和驾驶员的人脸进行行车违法监测和事故预警等操作。同时，车牌和人脸识别也可以相互协作，例如车牌号码可以作为识别人脸的参考，从而提高人脸识别的准确率。
5.实现车牌人脸识别的现有技术主要包括基于深度学习的方法和基于传统图像处理的方法。当前市面上使用的车牌人脸识别算法难度和复杂度较高，例如基于模板匹配的车牌识别方法使用了高清摄像机做了集成，对图像的分辨率有着十分高的要求，对于光照变化和遮挡的适应性较差。而且车牌人脸智能识别系统往往需要较高的功耗和能耗，这不仅会导致系统成本高昂，还会对环境造成不利的影响。因此，需要进一步对识别系统进行改进与优化。
6.针对相关技术中的问题，目前尚未提出有效的解决方案。


技术实现要素：

7.针对相关技术中的问题，本发明提出一种基于fpga的车牌人脸智能识别方法及系统，以克服现有相关技术所存在的上述技术问题。
8.为此，本发明采用的具体技术方案如下：
9.根据本发明一个方面，提供了一种基于fpga的车牌人脸智能识别方法，该方法包括以下步骤：
10.s1、利用多角度相机模组采集车辆行车过程中的车辆图像集；
11.s2、利用前端图像单元对车辆图像集进行筛选分类预处理；
12.s3、将处理完毕的车辆图像集输入至并行识别单元进行识别；
13.s4、将车牌识别结果作为认证id并与人脸识别结果进行绑定；
14.s5、利用分层存储器对处理识别结果与绑定信息进行高速存储；
15.s6、利用云服务终端对接车辆信息库进行车牌人脸信息的云同步。
16.进一步的，利用多角度相机模组采集车辆行车过程中的车辆图像集包括以下步骤：
17.s11、将一个主相机与多个不同角度的辅助相机构成多角度相机模组；
18.s12、设定监测周期并在单个监测周期内设定多个等间隔的抓拍节点；
19.s13、利用多角度相机模组按照抓拍节点对行进车辆进行抓拍；
20.s14、将主相机的抓拍图像作为主角度图像，辅助相机的抓拍图像作为副角度图像，将同一抓拍节点的所有抓拍图像组合为车辆图像集。
21.进一步的，利用前端图像单元对车辆图像集进行筛选分类预处理包括以下步骤：
22.s21、选取同一监测周期内的所有主角度图像，利用图像清晰度算法对多张主角度图像进行清晰度计算，按照清晰度大小进行排序；
23.s22、选择清晰度最高的主角度图像所在的车辆图像集作为有效车辆图像集，并删除其余的车辆图像集；
24.s23、利用定位算法对有效图像集中的主角度图像与多个副角度图像中存在的车辆进行识别定位，并对车辆所在区域进行切割，分别得到主车辆图像与多个副车辆图像；
25.s24、若有效图像集中存在多个车辆时，对车辆所在区域进行编号，并获得对应编号的主车辆图像及多个副车辆图像；
26.s25、将主车辆图像与多个副车辆图像合并为高清图像集，若存在多个车辆的高清图像集，则按照对应的编号进行命名区分。
27.进一步的，将处理完毕的车辆图像集输入至并行识别单元进行识别包括以下步骤：
28.s31、将高清图像集分别输入至车牌识别通道与人脸识别通道；
29.s32、车牌识别通道对高清图像集中的主车辆图像与多个副车辆图像进行车牌定位、角度对比及信息提取得到车牌识别结果；
30.s33、人脸识别通道对高清图像集中的主车辆图像与多个副车辆图像进行人脸定位、图像融合及人脸识别得到人脸识别结果。
31.进一步的，车牌识别通道对高清图像集中的主车辆图像与多个副车辆图像进行车牌定位、角度对比及信息提取得到车牌识别结果包括以下步骤：
32.s321、对主车辆图像与多个副车辆图像进行灰度化与增强处理，并对增强后的图像进行二值化处理；
33.s322、利用canny边缘检测算法对二值化后的图像进行边缘检测并提取边缘信息，将车牌所在区域的边缘线条进行连通得到车牌区域图像；
34.s323、利用霍夫变换算法计算多个车牌区域图像的倾斜角度，筛选得到倾斜角度最小的车牌区域图像；
35.s324、利用卷积神经网络模型对角度最标准的车牌区域图像进行分析识别，提取图像中的字符信息得到车牌识别结果。
36.进一步的，人脸识别通道对高清图像集中的主车辆图像与多个副车辆图像进行人脸定位、图像融合及人脸识别得到人脸识别结果包括以下步骤：
37.s331、利用人脸定位算法对主车辆图像与多个副车辆图像进行驾驶位人脸区域的定位，并切割分离出多张不同角度的人脸区域图像；
38.s332、对多张不同角度的人脸区域图像进行光照归一化处理；
39.s333、将处理后的多张人脸区域图像输入至多角度识别模型进行人脸识别，获得识别结果作为人脸识别结果。
40.进一步的，对多张不同角度的人脸区域图像进行光照归一化处理包括以下步骤：
41.s3321、对人脸区域图像进行均值滤波，并将均值调整为1，方差调整为0；
42.s3322、分别计算多张人脸区域图像的累计直方图，并根据分布特点确定各个人脸区域图像的亮度；
43.s3323、若人脸区域图像的亮度较强，则根据真实最大值设置线性函数对高光部分进行削减，计算公式为：
[0044][0045]
s3324、若人脸区域图像的亮度较暗，则利用对线性函数进行变化对人脸区域图像进行灰度扩展，计算公式为：
[0046][0047]
s3325、根据调整后累计直方图的分布，确定gamma校正的各个参数大小，对人脸区域图像的灰度进行gamma校正，计算公式为：
[0048][0049]
式中，r(i,j)表示人脸区域图像调整的线性函数，i
max
表示人脸区域图像的灰度真实最大值，i(i,j)表示原始的人脸区域图像，h(i,j)表示校正后的人脸区域图像，h(x)表示gamma校正参数的函数。
[0050]
进一步的，将处理后的多张人脸区域图像输入至多角度识别模型进行人脸识别，获得识别结果作为人脸识别结果包括以下步骤：
[0051]
s3331、对人脸区域图像中人脸轮廓与五官进行位置标定，并将轮廓与五官的坐标进行连接得到各自的形状向量，综合构成形状模型；
[0052]
s3332、将多个形状模型规范化至正切空间中并建立主成分分析模型，利用姿态参数与形状参数进行表示；
[0053]
s3333、在每个角度的形状模型中，对每个标定点学习得到一个非线性回归函数，并根据该标定点周围的局部纹理，预测标定点的位移；
[0054]
s3334、依据标定点位置的预测构建多角度人脸模型，
[0055]
s3334、对多角度人脸模型进行迭代，直至人脸形状收敛，将收敛结果作为最终的人脸识别结果。
[0056]
进一步的，依据标定点位置的预测进行迭代构建多角度人脸模型，输出人脸形状收敛结果，作为最终的人脸识别结果包括以下步骤：
[0057]
s33341、根据形状模型的初始姿态，对每个标定点选取对应的局部纹理模型，再根据标定点的局部纹理预测该标定点的位置，不断更新该标定点的位置；
[0058]
s33342、根据形状模型估计人脸的形状参数与姿态参数，并重构人脸的形状；
[0059]
s33343、根据形状模型的参数估算人脸的姿态。
[0060]
根据本发明另一个方面，还提供了一种基于fpga的车牌人脸智能识别系统，该系统包括以下组成：多角度相机模组、前端图像单元、并行识别单元、信息绑定单元、分层存储器及云服务终端；
[0061]
其中，多角度相机模组，用于获取车辆多角度的车辆图像；
[0062]
前端图像单元，用于对车辆图像进行筛选分类预处理；
[0063]
并行识别单元，用于对车辆图像进行车牌与人脸的双通道识别；
[0064]
信息绑定单元，用于将车牌与人脸识别结果进行绑定；
[0065]
分层存储器，用于对fpga运行过程中的数据与信息进行存储；
[0066]
云服务终端，用于与云服务器进行连接实现数据同步与共享。
[0067]
本发明的有益效果为：
[0068]
1、通过基于fpga技术构建车牌人脸并行识别通道，能够利用fpga高速、低延迟的特性，快速地进行图像处理和数据分析，实现实时的车牌人脸识别，相较于传统的cpu和gpu，fpga具备低功耗、高能效的特点，在处理大规模数据时具有优势，并且采用硬件与软件的双重实现，具有更高的稳定性和可靠性；另外，由于fpga具有可编程性，可以根据不同需求定制功能模块，满足更多个性化的应用需求，且不会因为软件漏洞或病毒攻击等原因导致系统崩溃。
[0069]
2、通过构建并行识别单元对车牌与人脸进行同步并行识别，可以针对各自的特点进行不同的增强和处理操作，例如车牌图像可以进行形态学变换、边缘检测和二值化处理，而人脸图像可以进行归一化、滤波和模型构建等操作，以提高识别准确度，同时进行车牌和人脸的识别，实现双重身份验证，提高了识别的准确度和安全性；而算法采用fpga硬件加速技术，利用fpga的高速并行处理能力，同时对车牌和人脸图像进行处理，提高了整个系统的处理速度和效率；采用fpga加速处理，可以实现实时识别，适用于需要高效率和高速度的应用场景。
附图说明
[0070]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0071]
图1是根据本发明实施例的一种基于fpga的车牌人脸智能识别方法的流程图；
[0072]
图2是根据本发明实施例的一种基于fpga的车牌人脸智能识别系统的系统框图。
[0073]
图中：
[0074]
1、多角度相机模组；2、前端图像单元；3、并行识别单元；4、信息绑定单元；5、分层
存储器；6、云服务终端。
具体实施方式
[0075]
根据本发明的实施例，提供了一种基于fpga的车牌人脸智能识别方法。
[0076]
现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的基于fpga的车牌人脸智能识别方法，该方法包括以下步骤：
[0077]
s1、利用多角度相机模组采集车辆行车过程中的车辆图像集，包括以下步骤：
[0078]
s11、将一个主相机与多个不同角度的辅助相机构成多角度相机模组。
[0079]
s12、设定监测周期并在单个监测周期内设定多个等间隔的抓拍节点。
[0080]
s13、利用多角度相机模组按照抓拍节点对行进车辆进行抓拍。
[0081]
s14、将主相机的抓拍图像作为主角度图像，辅助相机的抓拍图像作为副角度图像，将同一抓拍节点的所有抓拍图像组合为车辆图像集。
[0082]
其中，多角度相机对车牌人脸抓拍与识别具有以下优势：
[0083]
1)提高识别准确率：多角度相机可以从不同的角度拍摄车辆和行人，提高了识别准确率。因为不同角度下车牌和人脸的特征会发生变化，通过多角度拍摄可以更全面地获取车牌和人脸的特征信息。
[0084]
2)增加抓拍机会：多角度相机可以覆盖更大的区域，增加了抓拍机会。即使车辆没有正对相机，也可以从其他角度进行抓拍。
[0085]
3)减少遮挡影响：多角度相机可以从不同的角度拍摄，减少了车辆或行人被遮挡的影响。即使在某个角度受到了遮挡，其他角度的图像仍然可以进行识别。
[0086]
4)提高系统鲁棒性：多角度相机可以增加系统的鲁棒性。即使在某些情况下，比如光线变化、遮挡、角度变化等，单个摄像头无法进行准确识别，多个角度下的图像可以互相协作，提高系统鲁棒性。
[0087]
多角度相机模组可以同时采集多个视角的图像数据，并通过fpga实现实时的图像处理和识别。fpga作为可编程逻辑器件，可以根据应用需求进行定制化设计和编程，针对不同的应用场景实现高效的算法加速和硬件资源的优化利用，从而提升多相机模组的图像处理和识别能力。
[0088]
s2、利用前端图像单元对车辆图像集进行筛选分类预处理。
[0089]
在fpga前端图像处理单元对抓取车牌、人脸等目标图像并进行预处理，例如进行颜色空间转换、图像锐化、噪声滤波等操作，以便后续的目标检测、特征提取、分类等算法能够更加精确地识别目标。
[0090]
fpga前端图像处理单元具有硬件加速、低功耗、高并行度等优点，能够实现实时处理大规模图像数据。
[0091]
利用前端图像单元对车辆图像集进行筛选分类预处理包括以下步骤：
[0092]
s21、选取同一监测周期内的所有主角度图像，利用图像清晰度算法对多张主角度图像进行清晰度计算，按照清晰度大小进行排序。
[0093]
对于抓拍的多张车辆图像，可以通过图像清晰度的评估指标来确定其中清晰度最高的图像。本发明采用基于梯度幅值的图像清晰度评估方法：
[0094]
s211、将待比较的多张主角度图像转换为灰度图像。
[0095]
s212、对每张主角度图像计算其梯度幅值，采用sobel算子等边缘检测算法，计算主角度图像中每个像素点的梯度幅值。
[0096]
s213、对每张主角度图像的梯度幅值进行统计分析，计算其均值、方差等指标。梯度幅值均值越高，图像清晰度越高。梯度幅值方差越小，图像清晰度越高。
[0097]
s214、根据梯度幅值的统计指标，选择清晰度最高的主角度图像作为最终结果。
[0098]
s22、选择清晰度最高的主角度图像所在的车辆图像集作为有效车辆图像集，并删除其余的车辆图像集。
[0099]
s23、利用定位算法对有效图像集中的主角度图像与多个副角度图像中存在的车辆进行识别定位，并对车辆所在区域进行切割，分别得到主车辆图像与多个副车辆图像。
[0100]
s24、若有效图像集中存在多个车辆时，对车辆所在区域进行编号，并获得对应编号的主车辆图像及多个副车辆图像。
[0101]
s25、将主车辆图像与多个副车辆图像合并为高清图像集，若存在多个车辆的高清图像集，则按照对应的编号进行命名区分。
[0102]
s3、将处理完毕的车辆图像集输入至并行识别单元进行识别。
[0103]
fpga并行识别单元是一种硬件实现，用于在车牌人脸智能识别中实现两类型图像的双通道识别。它主要由fpga芯片组成，可以实现快速、准确的图像处理和识别。具体来说，fpga并行识别单元可以同时处理多个数据流，实现高速、低延迟的图像处理。
[0104]
fpga并行识别单元的实现需要通过编程来配置fpga的逻辑电路。开发者使用硬件描述语言，如vhdl或verilog来编写代码，并使用相应的设计工具进行验证和仿真。在编程完成后，代码被编译成逻辑电路，并在fpga上加载运行。fpga并行识别单元的优点包括高速、低功耗、可重构、可扩展和灵活性强等。它可以在实时应用中实现快速、准确的图像处理和识别。
[0105]
其中，将处理完毕的车辆图像集输入至并行识别单元进行识别包括以下步骤：
[0106]
s31、将高清图像集分别输入至车牌识别通道与人脸识别通道。
[0107]
s32、车牌识别通道对高清图像集中的主车辆图像与多个副车辆图像进行车牌定位、角度对比及信息提取得到车牌识别结果，包括以下步骤：
[0108]
s321、对主车辆图像与多个副车辆图像进行灰度化与增强处理，并对增强后的图像进行二值化处理。
[0109]
s322、利用canny边缘检测算法对二值化后的图像进行边缘检测并提取边缘信息，将车牌所在区域的边缘线条进行连通得到车牌区域图像。
[0110]
s323、利用霍夫变换算法计算多个车牌区域图像的倾斜角度，筛选得到倾斜角度最小的车牌区域图像。
[0111]
s324、利用卷积神经网络模型对角度最标准的车牌区域图像进行分析识别，提取图像中的字符信息得到车牌识别结果。
[0112]
s33、人脸识别通道对高清图像集中的主车辆图像与多个副车辆图像进行人脸定位、图像融合及人脸识别得到人脸识别结果，包括以下步骤：
[0113]
s331、利用人脸定位算法对主车辆图像与多个副车辆图像进行驾驶位人脸区域的定位，并切割分离出多张不同角度的人脸区域图像。
[0114]
s332、对多张不同角度的人脸区域图像进行光照归一化处理，包括以下步骤：
[0115]
s3321、对人脸区域图像进行均值滤波，并将均值调整为1，方差调整为0。
[0116]
s3322、分别计算多张人脸区域图像的累计直方图，并根据分布特点确定各个人脸区域图像的亮度。
[0117]
s3323、若人脸区域图像的亮度较强，则根据真实最大值设置线性函数对高光部分进行削减，计算公式为：
[0118][0119]
s3324、若人脸区域图像的亮度较暗，则利用对线性函数进行变化对人脸区域图像进行灰度扩展，计算公式为：
[0120][0121]
s3325、根据调整后累计直方图的分布，确定gamma校正的各个参数大小，对人脸区域图像的灰度进行gamma校正，计算公式为：
[0122][0123]
式中，r(i,j)表示人脸区域图像调整的线性函数，i
max
表示人脸区域图像的灰度真实最大值，i(i,j)表示原始的人脸区域图像，h(i,j)表示校正后的人脸区域图像，h(x)表示gamma校正参数的函数。
[0124]
人脸区域图像在不同光照条件下会出现明暗程度不同、阴影等问题，这些问题会对人脸识别算法的准确性产生影响。因此，为了提高人脸识别算法的鲁棒性，常常需要对人脸区域图像进行光照归一化。光照归一化是指对图像的亮度和色彩进行调整，使得在不同光照条件下拍摄的图像具有相同的亮度和色彩，从而提高人脸识别算法的鲁棒性。
[0125]
s333、将处理后的多张人脸区域图像输入至多角度识别模型进行人脸识别，获得识别结果作为人脸识别结果，包括以下步骤：
[0126]
s3331、对人脸区域图像中人脸轮廓与五官进行位置标定，并将轮廓与五官的坐标进行连接得到各自的形状向量，综合构成形状模型。
[0127]
s3332、将多个形状模型规范化至正切空间中并建立主成分分析模型，利用姿态参数与形状参数进行表示。
[0128]
s3333、在每个角度的形状模型中，对每个标定点学习得到一个非线性回归函数，并根据该标定点周围的局部纹理，预测标定点的位移。
[0129]
s3334、依据标定点位置的预测构建多角度人脸模型，
[0130]
s3334、对多角度人脸模型进行迭代，直至人脸形状收敛，将收敛结果作为最终的人脸识别结果，包括以下步骤：
[0131]
s33341、根据形状模型的初始姿态，对每个标定点选取对应的局部纹理模型，再根据标定点的局部纹理预测该标定点的位置，不断更新该标定点的位置。
[0132]
s33342、根据形状模型估计人脸的形状参数与姿态参数，并重构人脸的形状。
[0133]
s33343、根据形状模型的参数估算人脸的姿态。
[0134]
s4、将车牌识别结果作为认证id并与人脸识别结果进行绑定。
[0135]
s5、利用分层存储器对处理识别结果与绑定信息进行高速存储。
[0136]
存储器分层技术将存储器按照不同的层次划分，将高速存储器和低速存储器分开使用，以提高存储器的访问速度。一般来说，存储器分层可以分为多级存储器、缓存存储器和主存储器等不同的层次。其中，多级存储器一般包括l1缓存、l2缓存和l3缓存等几个级别。
[0137]
在实现存储器分层和流水线技术时，可以将存储器分为多个级别，并采用流水线的方式进行数据传输和处理。具体步骤如下：
[0138]
(1)将存储器分为多个级别，每个级别分别用于不同的操作。
[0139]
(2)将数据按照存储器的层次进行传输和处理，每个层次完成一个特定的操作。
[0140]
(3)在每个层次的处理过程中，使用流水线的方式进行数据传输和处理，以提高处理器的性能和吞吐量。
[0141]
(4)根据具体的应用场景和需求，对存储器分层和流水线技术进行优化和调整，以达到更好的性能和效果。
[0142]
通过采用存储器分层和流水线技术，可以有效地优化存储模块的存储和读写性能，降低存储资源的使用量，提高处理器的性能和吞吐量，从而更好地满足实际应用的需求。
[0143]
s6、利用云服务终端对接车辆信息库进行车牌人脸信息的云同步。
[0144]
根据本发明的另一个实施例，如图2所示，还提供了一种基于fpga的车牌人脸智能识别系统，该系统包括以下组成：多角度相机模组1、前端图像单元2、并行识别单元3、信息绑定单元4、分层存储器5及云服务终端6。
[0145]
其中，多角度相机模组1，用于获取车辆多角度的车辆图像。
[0146]
前端图像单元2，用于对车辆图像进行筛选分类预处理。
[0147]
并行识别单元3，用于对车辆图像进行车牌与人脸的双通道识别。
[0148]
信息绑定单元4，用于将车牌与人脸识别结果进行绑定。
[0149]
分层存储器5，用于对fpga运行过程中的数据与信息进行存储。
[0150]
云服务终端6，用于与云服务器进行连接实现数据同步与共享。
[0151]
综上所述，借助于本发明的上述技术方案，通过基于fpga技术构建车牌人脸并行识别通道，能够利用fpga高速、低延迟的特性，快速地进行图像处理和数据分析，实现实时的车牌人脸识别，相较于传统的cpu和gpu，fpga具备低功耗、高能效的特点，在处理大规模数据时具有优势，并且采用硬件与软件的双重实现，具有更高的稳定性和可靠性；另外，由于fpga具有可编程性，可以根据不同需求定制功能模块，满足更多个性化的应用需求，且不会因为软件漏洞或病毒攻击等原因导致系统崩溃。通过构建并行识别单元对车牌与人脸进行同步并行识别，可以针对各自的特点进行不同的增强和处理操作，例如车牌图像可以进行形态学变换、边缘检测和二值化处理，而人脸图像可以进行归一化、滤波和模型构建等操作，以提高识别准确度，同时进行车牌和人脸的识别，实现双重身份验证，提高了识别的准确度和安全性；而算法采用fpga硬件加速技术，利用fpga的高速并行处理能力，同时对车牌和人脸图像进行处理，提高了整个系统的处理速度和效率；采用fpga加速处理，可以实现实时识别，适用于需要高效率和高速度的应用场景。
[0152]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于fpga的车牌人脸智能识别方法，其特征在于，该方法包括以下步骤：s1、利用多角度相机模组采集车辆行车过程中的车辆图像集；s2、利用前端图像单元对所述车辆图像集进行筛选分类预处理；s3、将处理完毕的所述车辆图像集输入至并行识别单元进行识别；s4、将车牌识别结果作为认证id并与人脸识别结果进行绑定；s5、利用分层存储器对处理识别结果与绑定信息进行高速存储；s6、利用云服务终端对接车辆信息库进行车牌人脸信息的云同步。2.根据权利要求1所述的一种基于fpga的车牌人脸智能识别方法，其特征在于，所述利用多角度相机模组采集车辆行车过程中的车辆图像集包括以下步骤：s11、将一个主相机与多个不同角度的辅助相机构成多角度相机模组；s12、设定监测周期并在单个监测周期内设定多个等间隔的抓拍节点；s13、利用所述多角度相机模组按照抓拍节点对行进车辆进行抓拍；s14、将所述主相机的抓拍图像作为主角度图像，所述辅助相机的抓拍图像作为副角度图像，将同一抓拍节点的所有抓拍图像组合为车辆图像集。3.根据权利要求2所述的一种基于fpga的车牌人脸智能识别方法，其特征在于，所述利用前端图像单元对所述车辆图像集进行筛选分类预处理包括以下步骤：s21、选取同一所述监测周期内的所有所述主角度图像，利用图像清晰度算法对多张所述主角度图像进行清晰度计算，按照清晰度大小进行排序；s22、选择清晰度最高的所述主角度图像所在的所述车辆图像集作为有效车辆图像集，并删除其余的所述车辆图像集；s23、利用定位算法对所述有效图像集中的所述主角度图像与多个所述副角度图像中存在的车辆进行识别定位，并对车辆所在区域进行切割，分别得到主车辆图像与多个副车辆图像；s24、若所述有效图像集中存在多个车辆时，对车辆所在区域进行编号，并获得对应编号的主车辆图像及多个副车辆图像；s25、将所述主车辆图像与多个所述副车辆图像合并为高清图像集，若存在多个车辆的高清图像集，则按照对应的编号进行命名区分。4.根据权利要求3所述的一种基于fpga的车牌人脸智能识别方法，其特征在于，所述将处理完毕的所述车辆图像集输入至并行识别单元进行识别包括以下步骤：s31、将所述高清图像集分别输入至车牌识别通道与人脸识别通道；s32、所述车牌识别通道对所述高清图像集中的所述主车辆图像与多个所述副车辆图像进行车牌定位、角度对比及信息提取得到车牌识别结果；s33、所述人脸识别通道对所述高清图像集中的所述主车辆图像与多个所述副车辆图像进行人脸定位、图像融合及人脸识别得到人脸识别结果。5.根据权利要求4所述的一种基于fpga的车牌人脸智能识别方法，其特征在于，所述车牌识别通道对所述高清图像集中的所述主车辆图像与多个所述副车辆图像进行车牌定位、角度对比及信息提取得到车牌识别结果包括以下步骤：s321、对所述主车辆图像与多个所述副车辆图像进行灰度化与增强处理，并对增强后的图像进行二值化处理；
s322、利用canny边缘检测算法对二值化后的图像进行边缘检测并提取边缘信息，将车牌所在区域的边缘线条进行连通得到车牌区域图像；s323、利用霍夫变换算法计算多个所述车牌区域图像的倾斜角度，筛选得到倾斜角度最小的所述车牌区域图像；s324、利用卷积神经网络模型对角度最标准的所述车牌区域图像进行分析识别，提取图像中的字符信息得到车牌识别结果。6.根据权利要求4所述的一种基于fpga的车牌人脸智能识别方法，其特征在于，所述人脸识别通道对所述高清图像集中的所述主车辆图像与多个所述副车辆图像进行人脸定位、图像融合及人脸识别得到人脸识别结果包括以下步骤：s331、利用人脸定位算法对所述主车辆图像与多个所述副车辆图像进行驾驶位人脸区域的定位，并切割分离出多张不同角度的人脸区域图像；s332、对多张不同角度的所述人脸区域图像进行光照归一化处理；s333、将处理后的多张所述人脸区域图像输入至多角度识别模型进行人脸识别，获得识别结果作为人脸识别结果。7.根据权利要求6所述的一种基于fpga的车牌人脸智能识别方法，其特征在于，所述对多张不同角度的所述人脸区域图像进行光照归一化处理包括以下步骤：s3321、对所述人脸区域图像进行均值滤波，并将均值调整为1，方差调整为0；s3322、分别计算多张所述人脸区域图像的累计直方图，并根据分布特点确定各个所述人脸区域图像的亮度；s3323、若所述人脸区域图像的亮度较强，则根据真实最大值设置线性函数对高光部分进行削减，计算公式为：s3324、若所述人脸区域图像的亮度较暗，则利用对线性函数进行变化对所述人脸区域图像进行灰度扩展，计算公式为：s3325、根据调整后累计直方图的分布，确定gamma校正的各个参数大小，对所述人脸区域图像的灰度进行gamma校正，计算公式为：式中，r(i,j)表示人脸区域图像调整的线性函数；i
max
表示人脸区域图像的灰度真实最大值；i(i,j)表示原始的人脸区域图像；h(i,j)表示校正后的人脸区域图像；h(x)表示gamma校正参数的函数。8.根据权利要求6所述的一种基于fpga的车牌人脸智能识别方法，其特征在于，所述将
处理后的多张所述人脸区域图像输入至多角度识别模型进行人脸识别，获得识别结果作为人脸识别结果包括以下步骤：s3331、对所述人脸区域图像中人脸轮廓与五官进行位置标定，并将轮廓与五官的坐标进行连接得到各自的形状向量，综合构成形状模型；s3332、将多个所述形状模型规范化至正切空间中并建立主成分分析模型，利用姿态参数与形状参数进行表示；s3333、在每个角度的所述形状模型中，对每个标定点学习得到一个非线性回归函数，并根据该标定点周围的局部纹理，预测所述标定点的位移；s3334、依据所述标定点位置的预测构建多角度人脸模型，s3334、对所述多角度人脸模型进行迭代，直至人脸形状收敛，将收敛结果作为最终的人脸识别结果。9.根据权利要求8所述的一种基于fpga的车牌人脸智能识别方法，其特征在于，所述依据所述标定点位置的预测进行迭代构建多角度人脸模型，输出人脸形状收敛结果，作为最终的人脸识别结果包括以下步骤：s33341、根据所述形状模型的初始姿态，对每个所述标定点选取对应的局部纹理模型，再根据所述标定点的局部纹理预测该标定点的位置，不断更新该标定点的位置；s33342、根据所述形状模型估计人脸的形状参数与姿态参数，并重构人脸的形状；s33343、根据所述形状模型的参数估算人脸的姿态。10.一种基于fpga的车牌人脸智能识别系统，用于实现权利要求1-9中任一项所述基于fpga的车牌人脸智能识别方法，其特征在于，该系统包括以下组成：多角度相机模组、前端图像单元、并行识别单元、信息绑定单元、分层存储器及云服务终端；其中，所述多角度相机模组，用于获取车辆多角度的车辆图像；所述前端图像单元，用于对车辆图像进行筛选分类预处理；所述并行识别单元，用于对车辆图像进行车牌与人脸的双通道识别；所述信息绑定单元，用于将车牌与人脸识别结果进行绑定；所述分层存储器，用于对fpga运行过程中的数据与信息进行存储；所述云服务终端，用于与云服务器进行连接实现数据同步与共享。

技术总结
本发明公开了一种基于FPGA的车牌人脸智能识别方法，该方法包括以下步骤：S1、利用多角度相机模组采集车辆行车过程中的车辆图像集；S2、利用前端图像单元对车辆图像集进行筛选分类预处理；S3、将处理完毕的车辆图像集输入至并行识别单元进行识别；S4、将车牌识别结果作为认证ID并与人脸识别结果进行绑定；S5、利用分层存储器对处理识别结果与绑定信息进行高速存储；S6、利用云服务终端对接车辆信息库进行车牌人脸信息的云同步；本发明还公开了一种基于FPGA的车牌人脸智能识别系统。本发明基于FPGA技术构建车牌人脸并行识别通道，能利用其高速、低延迟特性，快速进行图像处理，实现实时车牌人脸识别。车牌人脸识别。车牌人脸识别。


技术研发人员：司小平 贺素霞 李世鹏 李亮 王家乐 吕冲
受保护的技术使用者：黄河科技学院
技术研发日：2023.03.31
技术公布日：2023/7/28