基于FPGA的智能监控报警系统的制作方法

基于fpga的智能监控报警系统
技术领域
1.本发明涉及fpga应用技术领域，特别涉及一种基于fpga的智能监控报警系统。


背景技术：

2.近年来，大力打击公共场所的盗窃行为取得一定成果。监控的普遍安装大大降低了偷窃事件的发生，但与此同时，类似的偷盗事件还是屡禁不止。尤其是在公交车、医院、候车大厅等人流聚集的地方，更是案件频发。
3.为了及时检测到扒窃可疑行为，通知保卫人员采取相应的安保措施，本发明提出了一种基于fpga的智能监控报警系统。


技术实现要素：

4.本发明为了弥补现有技术的缺陷，提供了一种简单高效的基于fpga的智能监控报警系统。
5.本发明是通过如下技术方案实现的：
6.一种基于fpga的智能监控报警系统，其特征在于：包括摄像头模组和硬件核心板卡，所述摄像头模组用于采集图像，并将采集到的图像传输到硬件板卡中，所述硬件核心板卡包括fpga芯片；
7.对摄像头模组输入的原始图像数据进行优化处理后，fpga芯片负责对图像数据进存储、整形、卷积、激活和池化操作，提取出特征数据，并反馈回fpga芯片集成的cpu处理器，依据由训练学习、量化与compiler编译得到的图像识别模型文件loadable，最终实现对特定区域的特定行为实时监测。
8.所述图像识别模型文件loadable时利用自定义仿扒窃数据集和深度学习框架，基于lenet-5的神经网络架构进行训练学习到图像识别模型之后，经由优化量化与编译完成后得到的。
9.所述硬件核心板卡还包括电源芯片、时钟芯片、ddr4、mipi接口、hdmi接口、摄像头模组和视频驱动芯片。
10.所述fpga芯片包括mipi_intf_rx模块、video_mux模块、vdma_rd模块、vdma_wr模块、format_transf模块、cdma_conv模块、liner_func模块和pdp_func模块；
11.所述mipi_intf_rx模块与video_mux模块模块负责将摄像头模组输入的图像数据缓存到ddr4内存中；
12.所述format_transf模块负责对图像数据进行整形；
13.所述cdma_conv模块、liner_func模块还是pdp_func模块分别负责对图像数据加速卷积、激活与池化过程，完成深度学习推理，从中提取特征数据；
14.所述vdma_wr模块负责将提取出的特征数据反馈回fpga芯片内部集成的cpu处理器。
15.所述fpga芯片采用zynqultrascale+mpsoc芯片。
16.所述fpga芯片内部集成cortex-a53cpu处理器。
17.所述摄像头模组采用imx247图像传感器。
18.所述视频驱动芯片采用silicon芯片。
19.所述silicon芯片型号为sil9011。
20.本发明基于fpga的智能监控报警系统，基于图像处理、深度学习推理、图像卷积、激活和池化技术实现；具体实现步骤如下：
21.步骤s1、利用自定义仿扒窃数据集和深度学习框架，基于lenet-5的神经网络架构进行训练学习，得到图像识别模型之后经由优化量化，编译完成后得到图像识别模型数据loadable，并runtime运行；
22.步骤s2、通过摄像头模组采集图像信息，由mipi接口传送至fpga芯片；
23.图像数据经由fpga芯片内部的mipi_intf_rx模块与video_mux模块存储到ddr4内存中，通过vdma_rd模块读取图像数据，再经由format_transf模块、cdma_conv模块、liner_func模块和pdp_func模块对图像数据进行整形、加速卷积、激活与池化处理，完成深度学习推理，得到图像的特征数据；最后，经由vdma_wr模块反馈给cortex-a53cpu处理器中的图像识别模型文件loadable，实现图像识别模型；
24.步骤s3、当图像识别模型检测到疑似扒窃行为时，保存现场证据，并发出预警信息，通知安保人员采取相应措施。
25.本发明的有益效果是：该基于fpga的智能监控报警系统，融合cnn深度学习推理与isp技术，实现了对扒窃行为的准确、快速判断，通过自定义仿扒窃训练数据集，实现了精准化、定制化开发，不仅部署快捷方便，而且简单易用，识别度高，安全可靠。
附图说明
26.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
27.附图1为本发明基于fpga的智能监控报警系统示意图。
28.附图2为本发明fpga芯片功能模块结构示意图。
具体实施方式
29.为了使本技术领域的人员更好的理解本发明中的技术方案，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚，完整的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
30.该基于fpga的智能监控报警系统，包括摄像头模组和硬件核心板卡，所述摄像头模组用于采集图像，并将采集到的图像传输到硬件板卡中，所述硬件核心板卡包括fpga芯片；
31.对摄像头模组输入的原始图像数据进行优化处理后，fpga芯片负责对图像数据进存储、整形、卷积、激活和池化操作，提取出特征数据，并反馈回fpga芯片集成的cpu处理器，
依据由训练学习、量化与compiler编译得到的图像识别模型文件loadable(可装载)，最终实现对特定区域的特定行为实时监测。
32.所述图像识别模型文件loadable时利用自定义仿扒窃数据集和深度学习框架，基于lenet-5的神经网络架构进行训练学习到图像识别模型之后，经由优化量化与编译完成后得到的。
33.所述硬件核心板卡还包括电源芯片、时钟芯片、ddr4、mipi接口、hdmi接口、摄像头模组和视频驱动芯片。
34.所述fpga芯片包括mipi_intf_rx模块、video_mux模块、vdma_rd模块、vdma_wr模块、format_transf模块、cdma_conv模块、liner_func模块和pdp_func模块；
35.所述mipi_intf_rx模块与video_mux模块模块负责将摄像头模组输入的图像数据缓存到ddr4内存中；
36.所述format_transf模块负责对图像数据进行整形；
37.所述cdma_conv模块、liner_func模块还是pdp_func模块分别负责对图像数据加速卷积、激活与池化过程，完成深度学习推理，从中提取特征数据；
38.所述vdma_wr模块负责将提取出的特征数据反馈回fpga芯片内部集成的cpu处理器。
39.所述fpga芯片采用zynqultrascale+mpsoc芯片。
40.所述fpga芯片内部集成cortex-a53cpu处理器。
41.所述摄像头模组采用imx247图像传感器。
42.所述视频驱动芯片采用silicon芯片。
43.所述silicon芯片型号为sil9011。
44.该基于fpga的智能监控报警系统，基于图像处理、深度学习推理、图像卷积、激活和池化技术实现；具体实现步骤如下：
45.步骤s1、利用自定义仿扒窃数据集和深度学习框架，基于lenet-5的神经网络架构进行训练学习，得到图像识别模型之后经由优化量化，编译完成后得到图像识别模型数据loadable(可装载)，并runtime(运行时间)运行；
46.步骤s2、通过摄像头模组采集图像信息，由mipi(mobileindustryprocessorinterface，移动工业处理器接口)接口传送至fpga芯片；
47.图像数据经由fpga芯片内部的mipi_intf_rx模块与video_mux模块存储到ddr4内存中，通过vdma_rd模块读取图像数据，再经由format_transf模块、cdma_conv模块、liner_func模块和pdp_func模块对图像数据进行整形、加速卷积、激活与池化处理，完成深度学习推理，得到图像的特征数据；最后，经由vdma_wr模块反馈给cortex-a53cpu处理器中的图像识别模型文件loadable，实现图像识别模型；
48.步骤s3、当图像识别模型检测到疑似扒窃行为时，保存现场证据，并发出预警信息，通知安保人员采取相应措施。
49.与现有技术相比，该基于fpga的智能监控报警系统，具有以下特点：
50.第一、利用fpga芯片低功耗、丰富接口及可定制化的特性，不仅实现了智能防扒窃系统的快速部署，而且得到的智能防扒窃系统简单易用，识别度高、安全可靠。
51.第二、融合cnn深度学习推理、isp技术，实现了对扒窃行为的准确、快速判断，通过
自定义仿扒窃训练数据集，实现了精准化、定制化开发，安全可靠易于部署。
52.以上所述的实施例，只是本发明具体实施方式的一种，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

技术特征：
1.一种基于fpga的智能监控报警系统，其特征在于：包括摄像头模组和硬件核心板卡，所述摄像头模组用于采集图像，并将采集到的图像传输到硬件板卡中，所述硬件核心板卡包括fpga芯片；对摄像头模组输入的原始图像数据进行优化处理后，fpga芯片负责对图像数据进存储、整形、卷积、激活和池化操作，提取出特征数据，并反馈回fpga芯片集成的cpu处理器，依据由训练学习、量化与compiler编译得到的图像识别模型文件loadable，最终实现对特定区域的特定行为实时监测。2.根据权利要求1所述的基于fpga的智能监控报警系统，其特征在于：所述图像识别模型文件loadable时利用自定义仿扒窃数据集和深度学习框架，基于lenet-5的神经网络架构进行训练学习到图像识别模型之后，经由优化量化与编译完成后得到的。3.根据权利要求1所述的基于fpga的智能监控报警系统，其特征在于：所述硬件核心板卡还包括电源芯片、时钟芯片、ddr4、mipi接口、hdmi接口、摄像头模组和视频驱动芯片。4.根据权利要求1所述的基于fpga的智能监控报警系统，其特征在于：所述fpga芯片包括mipi_intf_rx模块、video_mux模块、vdma_rd模块、vdma_wr模块、format_transf模块、cdma_conv模块、liner_func模块和pdp_func模块；所述mipi_intf_rx模块与video_mux模块模块负责将摄像头模组输入的图像数据缓存到ddr4内存中；所述format_transf模块负责对图像数据进行整形；所述cdma_conv模块、liner_func模块还是pdp_func模块分别负责对图像数据加速卷积、激活与池化过程，完成深度学习推理，从中提取特征数据；所述vdma_wr模块负责将提取出的特征数据反馈回fpga芯片内部集成的cpu处理器。5.根据权利要求4所述的基于fpga的智能监控报警系统，其特征在于：所述fpga芯片采用zynq ultrascale+mpsoc芯片。6.根据权利要求5所述的基于fpga的智能监控报警系统，其特征在于：所述fpga芯片内部集成cortex-a53 cpu处理器。7.根据权利要求1所述的基于fpga的智能监控报警系统，其特征在于：所述摄像头模组采用imx247图像传感器。8.根据权利要求3所述的基于fpga的智能监控报警系统，其特征在于：所述视频驱动芯片采用silicon芯片，所述silicon芯片型号为sil9011。9.根据权利要求1～8任意一项所述的基于fpga的智能监控报警系统，其特征在于：基于图像处理、深度学习推理、图像卷积、激活和池化技术实现；具体实现步骤如下：步骤s1、利用自定义仿扒窃数据集和深度学习框架，基于lenet-5的神经网络架构进行训练学习，得到图像识别模型之后经由优化量化，编译完成后得到图像识别模型数据loadable，并runtime运行；步骤s2、通过摄像头模组采集图像信息，由mipi接口传送至fpga芯片；图像数据经由fpga芯片内部的mipi_intf_rx模块与video_mux模块存储到ddr4内存中，通过vdma_rd模块读取图像数据，再经由format_transf模块、cdma_conv模块、liner_func模块和pdp_func模块对图像数据进行整形、加速卷积、激活与池化处理，完成深度学习推理，得到图像的特征数据；最后，经由vdma_wr模块反馈给cortex-a53 cpu处理器中的图
像识别模型文件loadable，实现图像识别模型；步骤s3、当图像识别模型检测到疑似扒窃行为时，保存现场证据，并发出预警信息，通知安保人员采取相应措施。

技术总结
本发明特别涉及一种基于FPGA的智能监控报警系统。该基于FPGA的智能监控报警系统，包括摄像头模组和硬件核心板卡，所述摄像头模组用于采集图像，并将采集到的图像传输到硬件板卡中，所述硬件核心板卡包括FPGA芯片；对摄像头模组输入的原始图像数据进行优化处理后，FPGA芯片负责对图像数据进存储、整形、卷积、激活和池化操作，提取出特征数据，并反馈回FPGA芯片集成的CPU处理器，依据图像识别模型文件Loadable，最终实现对特定区域的特定行为实时监测。该基于FPGA的智能监控报警系统，融合CNN深度学习推理与ISP技术，实现了对扒窃行为的准确、快速判断，通过自定义仿扒窃训练数据集，实现了精准化、定制化开发，不仅部署快捷方便，而且简单易用，识别度高，安全可靠。安全可靠。安全可靠。


技术研发人员：李乐乐 赵鑫鑫 姜凯 李锐
受保护的技术使用者：山东浪潮科学研究院有限公司
技术研发日：2023.01.17
技术公布日：2023/5/24