一种基于深度学习的图片检测方法、装置、设备以及存储介质与流程

1.本技术涉及图片识别领域，尤其涉及一种基于深度学习的图片检测方法、装置、设备以及存储介质。


背景技术：

2.随着物联网、互联网、云计算等新一代信息技术的快速发展，多功能智能杆已经成为建设智慧城市必不可少的设备。并且随着ai技术的快速发展和在各个领域的快速渗透，智能杆领域也引入了ai技术，并且相关的ai应用场景需求不断增长，边端ai场景的实时性和准确性需求不断提升。
3.然而，现有的边端ai设备受限于硬件设备条件，准确性和实时性无法兼得。若要保证模型的实时性，则要选择计算量少的轻量模型，然而轻量模型基于模型设计或模型量化等原因，模型的准确性不能得到保证。


技术实现要素：

4.为了解决上述问题，本发明提出了一种基于深度学习的图片检测方法、装置、设备以及存储介质。
5.第一方面，本发明提供了一种基于深度学习的图片检测方法，包括：s1，建立深度学习的目标检测ai模型；包括：构建yolov4神经网络训练模型，通过剪枝将所述yolov4神经网络训练模型进行压缩和减少参数；利用检测样本对所述yolov4神经网络训练模型进行训练；s2，将所述步骤s1中得到的ai模型进行量化，得到符合边端设备需求的轻量模型；s3，利用所述步骤s2得到的所述轻量模型检测出原始视频中存在的移动目标。
6.在一些实施方式中，所述检测样本的确定包括：获取特定数量的智能杆拍摄的视频在不同时间点的特定帧数的图像作为检测样本；对所述检测样本中的难识别图片进行标注；对所述检测样本中的所述难识别图片进行增强。
7.在一些实施方式中，所述对检测样本中的难识别图片进行标注，包括对标注过程中被所述移动目标遮挡的其他移动目标也进行标注。
8.在一些实施方式中，所述难识别图片包括目标识别因素被遮挡或重叠的图片，所述对难识别图片进行增强，包括：使用随机值替换所述目标识别因素被遮挡的区域；对与其他移动目标重叠而被遮挡的移动目标，将其他图片中的移动目标粘贴到需增强图片中。
9.在一些实施方式中，所述通过剪枝将yolov4神经网络训练模型进行压缩和减少参数包括：将大目标特征提取层进行裁剪，减小网络深度；将中小目标特征提取层进行裁剪，减小网络宽度。
10.在一些实施方式中，述ai模型中包含量化工具，所述步骤s2包括：利用所述量化工具对所述ai模型进行批量量化。
11.在一些实施方式中，所述步骤s3包括：从原始视频中获取特定帧数的连续图像作为目标识别对象输入所述量化模型，对每帧图片进行归一化推理并得出对应帧数的检测识
别结果。
12.第二方面，本发明提供了一种基于深度学习的图片检测装置，包括模型建立模块、模型量化模块、图像检测模块；所述模型建立模块，用于建立深度学习的目标检测ai模型；所述模型量化模块，用于对所述模型建立模块建立的ai模型进行量化处理；所述图像检测模块，用于检测原视频中获取的图片。
13.第三方面，本发明提供了一种智能杆，所述智能杆安装如第二方面所述的装置，用于实现如第一方面所述的基于深度学习的图片检测方法。
14.第四方面，本发明提供了一种计算机可读存储介质，所述计算机程序被处理器执行时实现第一方面所述的基于深度学习的图片检测方法。
15.对比于现有技术，本发明提供的基于深度学习的图片检测方法，针对智能灯杆的应用场景设计深度学习模型，利用ai图像算法进行特定目标检测，在保证检测的正确率的前提下提供更高的识别效率，满足边缘设备ai应用的实时性和准确性需求。
附图说明
16.图1为本发明一实施例的基于深度学习的图片检测的方法流程示意图；
17.图2为本发明一实施例的基于深度学习的图片检测的装置模块示意图。
具体实施方式
18.下面将结合附图，对本发明的特定实施例进行详细描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的描述，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.术语“包括”、“包含”或者其任何其他变体，意在涵盖非排他性的包含，除了包含所列的那些要素，而且还可包含没有明确列出的其他要素。
20.有关本发明的前述及其他技术内容、特点及功效,在以下配合参考图式的较佳实施例的详细说明中将可清楚呈现。通过具体实施方式的说明,当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图式仅是提供参考与说明之用,并非用来对本发明加以限制。
21.实施例一，本发明提供了一种基于深度学习的图片检测方法，应用于智能杆。下面结合附图对本发明提供的基于深度学习的图片检测的方法做详细说明。
22.请参考附图1，附图1为本发明一实施例的基于深度学习的图片检测的方法流程示意图。
23.步骤s1，建立深度学习的目标检测ai模型；构建yolov4神经网络训练模型，通过剪枝将所述yolov4神经网络训练模型进行压缩和减少参数；利用检测样本对所述yolov4神经网络训练模型进行训练。
24.所述通过剪枝将所述yolov4神经网络训练模型进行压缩和减少参数主要分为以下两个方面进行处理：
①
将大目标特征提取层进行裁剪，减小网络深度；
②
将中小目标特征提取层进行裁剪，减小网络宽度。
25.对应用于边缘设备的神经网路进行剪枝的优越性在于：
26.①
减少计算量和存储空间：剪枝可以通过减少神经网络中不必要的连接和参数来
降低计算复杂度和存储需求，从而使得神经网络在边缘设备上更加高效。
27.②
提高运行速度：剪枝后的神经网络具有更少的计算量，因此在边缘设备上可以更快速地运行，响应时间更短。
28.③
降低能耗：剪枝后的神经网络需要更少的计算资源，因此其能源消耗也相应降低，从而增加了边缘设备的续航能力。
29.④
适应边缘设备的内存限制：边缘设备通常具有非常有限的内存，剪枝可以帮助神经网络适应这种内存限制，使得神经网络更适合运行于边缘设备上。
30.⑤
更好的隐私保护：剪枝可以通过减少神经网络参数和连接的数量来减少模型的复杂性，从而降低模型被攻击的风险，在一定程度上提高了数据隐私保护的能力。
31.确定具体的神经网络训练模型之后，将检测样本输入所述模型并对所述模型进行识别训练。
32.优选地，随机选择80-120根智能杆上的80-120路摄像头，获取所述80-120路摄像头在不同时间点下拍摄的一帧画面作为检测样本，本实施例的智能杆和摄像头数量优选为100路。
33.对获取的100份检测样本进行目标标注，标注原则为：最小目标小于64*64像素点、遮挡超过1/3的目标标注为难识别目标。
34.应该注意的是，在目标标注过程中，可以对照pascal voc标注规则，对于模糊、遮挡和有影像或阴影的目标直接标注为难识别目标，从而根据算法的需求决定是否启用这些样本参与训练；另外，标注画框结束应该注意做边界检查，确保画框坐标不在图像边界上，防止载入数据或者flip等数据扩展过程出现越界报错；标注框不宜过小，并且宽高比不易出现极端情况。
35.基于大部分应用场景，智能杆摄像头的安装高度一般在2.5-3米之间，算法在边缘设备实现时，若要保证算法的实时性，则模型输入的尺寸要尽量压缩。但是，当图片压缩比例过大时，则会影响目标特征的识别；当像素低于64*64时，目标学习或提取的特征较少，目标检测准确度难以保证。
36.优选地，在本实施例中，模型输入的尺寸64*64至512*512，进一步优选为416*416。
37.优选地，在本实施例中，灯杆原始输入的图片的大小为64*64至1920*1080，进一步优选为1920*1080。
38.当待检测目标被遮挡范围超过1/3时，目标特征不完整，也会造成检测误差或导致较大的误检率。
39.由于被检测的对象是智能杆的摄像设备实时拍摄的，并且截取图像也是在视频影像中随机截取，因此检测对象中的待检测目标存在模糊或遮挡的情况也是不可避免的，因此在检测时要对待检测的图片进行数据增强，以提高检测的准确率。
40.所述数据增强主要是从增强目标遮挡样本和增强目标重叠样本两个方面进行。针对待检测目标遮挡的图片的数据增强主要是通过使用随机值替换图像中被遮挡的区域，替换后的图片中的待检测目标应该是完整的或被遮挡部分应该小于1/3。针对目标重叠的图片的数据增强是通过将其他图片中的待检测目标粘贴到待增强的图片中，用于替换被遮挡的目标图像。
41.需要说明的是，在标注过程中，一个移动目标被另一个移动目标遮挡的情况也要
进行标注。
42.使用经过标注和增强的检测样本对所述yolov4神经网络训练模型进行训练，以提高所述yolov4神经网络训练模型对所述移动目标的识别的准确性以及识别效率。
43.步骤s2：将上述经过训练后的ai模型进行量化，得到符合边端设备需求的轻量模型。
44.本实施例中的ai模型的系统使用的芯片选择具有量化工具rknn toolkit的rknn芯片，并利用rknn toolkit对经过训练的yolov4神经网络训练模型进行批量量化。
45.rknn芯片是一款专门为深度学习应用设计的边缘计算芯片，相比于其他芯片具有高性能的优点:rknn芯片采用了高性能的npu和gpu，可以极大地提升神经网络模型的计算效率和速度，加速模型在边缘设备上的推理和训练过程；高精度:rknn芯片支持多种精度模型(包括int8、fp16等)，可以更好地适应不同的深度学习模型，并且保证模型的精度；低功耗:rknn芯片采用了先进的能耗管理技术和动态电压调节技术，可以在保证高性能的同时，大幅降低芯片的功耗，增加设备的使用时间；易用性:rknn芯片提供了完善的软硬件开发工具和api接口，支持多种主流深度学习框架，并提供简单易用的sdk和样例代码，方便开发者快速构建和部署深度学习应用；高可靠性:rknn芯片采用了严格的质量控制和测试标准，保证了芯片的稳定性和可靠性，确保设备的长期稳定运行。
46.优选地，本实施例中的量化方式包括：设置模型输入尺寸为[1,416,416,3]，设置rknn_batch_size为3，即输入为3张图,416*416*3的图片；设置量化方式为int8量化模型。
[0047]
需要说明的是，上述数据只是本发明的一个较佳实施例而已，并不能代表本发明，当对上述的图片尺寸以及图片数量有所改变时，所得成果也应当属于本发明保护的范围。
[0048]
步骤s3：利用所述步骤s2得到的所述轻量模型检测出原始视频中存在的移动目标。
[0049]
所述移动目标可以包括人体、机动车、自行车、电动车或其他的可以主动或被动移动的物体。
[0050]
检测过程包括：每次检测时，从待检测的视频影像中获取连续的3帧图片作为待识别对象输入经过量化的轻量模型，所述轻量模型对输入的3帧图片进行数据分析后输出这3帧图像的检测识别结果。
[0051]
例如，本实施例中输入模型的数据维度为[3,416,416,3]，模型输出为[3,512]，则这帧图像的输出为[1,512]。
[0052]
每帧图片经过归一化推理后，输出的检测目标信息包括：目标区域坐标信息、目标类型、目标类型阈值。
[0053]
综上所述，本发明实施例具体提供了一种基于深度学习的图片检测方法，通过随机获取足够数量的不同智能杆上的拍摄设备在不同时间点的拍摄画面作为检测样本，获取到样本以后对所有样本进行标注和强化，使得所选取的样本图片能够被识别后，用所述样本图片对ai检测模型进行训练，提高所述ai检测模型的识别效率以及准确率；训练后的ai模型使用量化工具进行量化，使之成为能够满足边缘设备使用的轻量模型；经过量化的模型就可以投入到实际的检测工作中。
[0054]
检测的过程是通过在待检测视频中获取连续的特定数量和尺寸的几帧图片，输入到上述轻量模型中，利用所述轻量模型对每一帧图片进行归一化处理，以此得出每帧图片
的详细信息。借助深度学习对图片进行检测和识别，有利于提高检测的准确性以及时效性。
[0055]
实施例二，基于相同的技术构思，本技术实施例还提供一种装置。请参考图2，图2为本发明一实施例的基于深度学习的图片检测的装置模块示意图。
[0056]
所述装置包括模型建立模块(1)，模型量化模块(2)，图片检测模块(3)。所述模型建立模块(1)，用于建立深度学习的目标检测ai模型；所述模型量化模块(2)，用于对所述模型建立模块建立的ai模型进行量化处理；所述图像检测模块(3)，用于检测原视频中获取的图片。
[0057]
上述实施例阐明的装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本技术时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
[0058]
实施例三，本发明还提供一种智能杆，所述智能杆安装了如实施例二所述的图片检测装置，用于实现实施例一提供的图片检测方法。
[0059]
实施例四，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述基于深度学习的图片检测方法的步骤。该计算机可读存储介质可以包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0060]
对比于现有技术，本发明提供的基于深度学习的图片检测方法，针对智能灯杆的应用场景设计深度学习模型，利用ai图像算法进行特定目标检测，并使用量化工具对模型进行量化处理以得到轻量模型，在保证检测的正确率的前提下提供更高的识别效率，满足边缘设备ai应用的实时性和准确性需求。
[0061]
以上，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可通过上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。

技术特征：
1.一种基于深度学习的图片检测方法，应用于智能杆，其特征在于，包括以下步骤：s1，建立深度学习的目标检测ai模型；包括：构建yolov4神经网络训练模型，通过剪枝将所述yolov4神经网络训练模型进行压缩和减少参数；利用检测样本对所述yolov4神经网络训练模型进行训练；s2，将所述ai模型进行量化，得到符合边端设备需求的轻量模型；s3，利用所述轻量模型检测出原始视频中存在的移动目标。2.根据权利要求1所述的图片检测方法，其特征在于，所述检测样本的确定包括以下步骤：获取特定数量的智能杆拍摄的视频在不同时间点的特定帧数的图像作为检测样本；对所述检测样本中的难识别图片进行标注；对所述检测样本中的所述难识别图片进行增强。3.根据权利要求2所述的图片检测方法，其特征在于，所述对检测样本中的难识别图片进行标注，包括：对标注过程中被所述移动目标遮挡的其他移动目标也进行标注。4.根据权利要求2或3所述的图片检测方法，其特征在于，所述难识别图片包括目标识别因素被遮挡或重叠的图片，所述对难识别图片进行增强，包括：使用随机值替换所述目标识别因素被遮挡的区域；对与其他移动目标重叠而被遮挡的移动目标，将其他图片中的移动目标粘贴到需增强图片中。5.根据权利要求1所述的图片检测方法，其特征在于，所述通过剪枝将yolov4神经网络训练模型进行压缩和减少参数包括：将大目标特征提取层进行裁剪，减小网络深度；将中小目标特征提取层进行裁剪，减小网络宽度。6.根据权利要求1所述的图片检测方法，其特征在于，所述ai模型中包含量化工具，所述步骤s2包括：利用所述量化工具对所述ai模型进行批量量化。7.根据权利要求1所述的图片检测方法，其特征在于，所述步骤s3包括：从原始视频中获取特定帧数的连续图像作为目标识别对象输入所述量化模型，对每帧图片进行归一化推理并得出对应帧数的检测识别结果。8.一种基于深度学习的图片检测装置，其特征在于，包括模型建立模块、模型量化模块、图像检测模块；所述模型建立模块，用于建立深度学习的目标检测ai模型；所述模型量化模块，用于对所述模型建立模块建立的ai模型进行量化处理；所述图像检测模块，用于检测原视频中获取的图片。9.一种智能杆，其特征在于，包括如权利要求8所述的图片检测装置。10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的基于深度学习的图片检测方法。

技术总结
本发明公开了一种基于深度学习的图片检测方法，所述方法应用于智能杆，包括：建立深度学习的目标检测AI模型，构建YOLOv4神经网络训练模型，通过剪枝将所述YOLOv4神经网络训练模型进行压缩和减少参数；利用检测样本对所述YOLOv4神经网络训练模型进行训练；将所述步骤S1中得到的AI模型进行量化，得到符合边端设备需求的轻量模型；利用所述步骤S2得到的所述轻量模型检测出原始视频中存在的移动目标。通过上述方法，将记录有大量算法的模型轻量化应用于智能杆边缘设备，在保实时性的同时还能提高识别的准确率。本发明还公开了一种基于深度学习的图片检测装置、设备以及存储介质。设备以及存储介质。设备以及存储介质。


技术研发人员：傅东生 王连民 李立赛
受保护的技术使用者：深圳奇迹智慧网络有限公司
技术研发日：2023.04.12
技术公布日：2023/8/14