基于PP-PicoDet的湖泊水面漂浮物识别方法

基于pp-picodet的湖泊水面漂浮物识别方法
技术领域
1.本发明涉及图像识别技术，特别是一种基于pp-picodet的湖泊水面漂浮物识别方法。


背景技术：

2.随着生活水平的日益提高，人们的环境保护意识逐渐增强。水面漂浮物是评估水资源污染程度的重要指标之一，为了更好地监测水质，一些研究者引入湖泊水面漂浮物识别技术，并将其应用于检测湖泊水面漂浮物，湖泊水面漂浮物识别技术作为一种水面漂浮物图像识别技术可以实现对真实场景下水面漂浮物的实时检测，在水面漂浮物治理领域得到了广泛应用。但湖泊水面漂浮物识别系统的实际性能缺乏可靠的评估方法和检测工具，无法有效地评估其实际效果。
3.湖泊水面漂浮物识别技术的优点之一是可以同时识别多个目标，但要实现这一点，必须提高目标特征信息的提取准确度。在实际应用中，图像目标特征提取信息对湖泊水面漂浮物识别系统的动态性能影响重大。如果提取的目标特征信息不准确，就会导致漏识别或误识别等问题，从而失去多目标识别的优势。因此，优化目标特征提取信息的准确性以提高湖泊水面漂浮物的识别率，对于湖泊水面漂浮物识别技术的发展至关重要。


技术实现要素：

4.发明目的：本发明的目的是提供一种基于pp-picodet的湖泊水面漂浮物识别方法，从而在颈部结构引入了上下文注意力模块，通过上下文注意力模块增强特征上下文之间的联系，有效地帮助模型把注意力放在与湖泊水面漂浮物相关的特征学习上；同时，本发明能够使用图像目标特征提取技术进行预测，以识别水面漂浮物，从而更有效地清理湖泊水面漂浮物。
5.技术方案：本发明所述的一种基于pp-picodet的湖泊水面漂浮物识别方法，包括以下步骤：
6.步骤1、搭建采集平台：将相机支架搭建在水质检测船上，确保相机对准水面检测区；将相机与控制计算机连接，以便进行后续的水面漂浮物的检测；
7.步骤2、图像采集：在选择合适的湖泊水域环境后，使用搭建好的采集平台对塑料瓶、落叶和塑料袋三种常见的水面漂浮物进行图像采集，并将采集的图像保存在计算机中；
8.步骤3、图像标注：将步骤2中保存的图片进行数据集的标注，采用适当的标注工具，标注完成后按比例随机划分数据集为训练集和测试集；
9.步骤4、模型搭建：使用pp-picodet模型并进行改进，搭建基于改进pp-picodet模型下的目标检测网络，根据步骤3所获得的数据集进行模型训练和验证；
10.步骤5、图像分类：通过步骤4训练好的目标检测网络，对湖泊水面漂浮物进行检测和分类。
11.所述步骤3具体为：
12.步骤3.1、数据集标注：标注步骤2中获得的水面漂浮物图像，使用合适的标注工具，框选出漂浮物目标；
13.步骤3.2、格式转化：对步骤3.1中标注完成的voc格式数据集进行转化，需要转化为适用pp-picodet训练的数据集；
14.步骤3.3、按比例随机划分，通过步骤3.2获得湖泊水面漂浮物的数据集，按比例随机划分数据集为训练集和测试集。
15.所述步骤4具体为：
16.步骤4.1、采用esnet作为骨干网络，并在颈部采用csp-pan结构，通过降低计算成本和引入上下文注意力模块(cam)来提高网络对重点区域的特征学习；同时，添加了更小的特征尺度来提升大物体的检测效果；在颈部和检测头部分均采用了深度可分离卷积，并采用了通道数和颈部一致的耦合头，以提高检测速度；
17.步骤4.2、在训练目标检测模型之前，需要创建标注映射文件，定义一个类名到类id的映射，以便训练器识别漂浮物的类别；
18.步骤4.3、改进pp-picodet模型通过训练集进行训练，构建出目标检测网络，再利用目标检测网络对步骤3所获得湖泊水面漂浮物图像数据测试集进行检验。
19.所述步骤5具体为：通过步骤1中的设备采集图片数据，存储在控制计算机中，通过训练好的目标检测网络进行对湖泊水面漂浮物进行检测和分类，最终获得水面漂浮物的种类。
20.一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的一种基于pp-picodet的湖泊水面漂浮物识别方法。
21.一种计算机设备，包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种基于pp-picodet的湖泊水面漂浮物识别方法。
22.有益效果：与现有技术相比，本发明具有如下优点：
23.1、本发明在颈部结构引入了上下文注意力模块，通过上下文注意力模块增强特征上下文之间的联系，能够有效地帮助模型把注意力放在与湖泊水面漂浮物相关的特征学习上；
24.2、本发明能够使用图像目标特征提取技术进行预测，以识别水面漂浮物，从而更有效地清理湖泊水面漂浮物。
附图说明
25.图1为本发明中模型建立部分流程图；
26.图2为本发明中模型建立中的cam结构；
27.图3为本发明中pp-picodet网络结构；
28.图4为本发明中改进pp-picodet网络结构；
29.图5为本发明中使用目标检测网络检测结果图，其中图5(a)为落叶检测结果示意图，图5(b)为塑料瓶检测结果示意图，图5(c)为塑料袋检测结果示意图。
具体实施方式
30.下面结合附图对本发明的技术方案作进一步说明。
31.如图1所示，一种基于pp-picodet的湖泊水面漂浮物识别方法，包括如下步骤：
32.步骤1、搭建采集平台：将高清晰度摄像头安装在相机支架上，并对准湖泊水面上的水面漂浮物，将相机与控制计算机相连。该摄像头支持mjpg格式输出，并且焦距可调，可以提供480p、30fps的高清晰度、低延迟图像。
33.步骤2、图像采集：在选择合适的湖泊水域环境后，使用搭建好的采集平台对塑料瓶、落叶和塑料袋三种常见的水面漂浮物进行图像采集，并将采集的图像保存在计算机中；
34.步骤3、图像标注：对步骤2中采集的原始图像进行图像处理，最终获得处理后图像，存储在控制计算机中；
35.步骤3.1、图像标注使用labelimg标注工具，在对数据集进行标注的时候，要明确湖泊水面漂浮物的种类，只标注边界清晰、特征明显的目标，舍弃一些被遮挡而不明显特征的目标，根据数据集中的情况进行标注，在画标记框的时候，将标记框尽可能的贴近目标物的边界，同时要将标注好的漂浮物进行命名；
36.步骤3.2、格式转化，对步骤3.1中标注完成的voc格式数据集进行转化，对应的文件后缀名为xml，需要转化为后缀名为txt的适用于pp-picodet训练的数据集；
37.步骤3.3、按比例随机化分，对步骤3.2中湖泊水面漂浮物数据集按比例随机划分数据集为训练集和测试集，划分比例为4：1，即训练集有1240张图片，测试集有310张图片。因为在本数据中，每个类别的数量和训练难度都存在着一定的差别。例如，塑料袋会造成识别率低的情况，在训练完成之后，就需要重新对这类样本进行训练。
38.步骤4、模型建立：建立改进pp-picodet模型，通过对步骤3中获得的图像数据进行训练，建立起目标网络模型；
39.步骤4.1、引入上下文注意力模块(cam)，其内部结构如图2。上下文注意力模块采用了三个平行子分支，每个子分支分别包含一个3
×
3卷积，两个3
×
3卷积和三个3
×
3卷积，以代替3
×
3，5
×
5和7
×
7的内核大小的卷积块，从而从同一要素图中获得不同大小的感受野，并入更多不同大小的对象。通过将原始上下文模块之后层叠一个卷积块注意力模块，可以利用通道注意力和空间注意力来提取有用的信息，从而更好地识别湖泊水面漂浮物的特征。在pp-picodet模型上引入了上下文注意力模块(cam)替换骨干网络中的se模块，并将上下文注意力模块放置于颈部结构，该模块帮助网络更加专注于湖泊水面漂浮物的特征，提高网络检测效率。其中pp-picodet网络结构如图3，改进pp-picodet网络结构如图4。通道注意力块的输入端p∈rh×w×d，通道注意图计算公式如下：
40.λc＝σ(f
mlp
(h
gap
(p))+f
gmp
(h
gmp
(p)))∈rd41.其中输入是一个h
×w×
d的特征p，现分别进行一个空间的平均池化(h
gap
)和最大池化(h
gmp
)得到两个1
×1×
d的通道描述。接着分别送入一个两层的神经网络，第一神经元个数为d/r，激活函数为relu，第二层神经元个数为d。这两层神经网络是共享的。然后将得到的两个特征相加后经过一个sigmoid激活函数得到权重系数λc，通过权重系数和原来的特征p相乘即得到空间注意力模块需要的输入特征。
42.同样的，与通道注意力类似，空间注意块产生的注意图λs计算公式如下：
43.44.其中
⊙
表示一个二维卷积，k3×3是一个3
×
3的内核，
⊕
代表通道连接，首先分别进行一个通道维度的平均池化和最大池化得到两个h
×w×
1的通道描述，并将这两个描述按照通道拼接在一起。然后经过一个3
×
3的卷积层，激活函数为sigmoid，得到权重λs，通过权重系数和原来的特征相乘即可得到缩放后新的特征；
45.步骤4.2、在训练目标检测模型之前，需要创建标注映射文件，定义一个类名到类id的映射，以便训练器识别漂浮物的类别；
46.步骤4.3、改进pp-picodet模型通过训练集进行训练，构建出目标检测网络，再利用目标检测网络对步骤3所获得测试集进行检验和验证；
47.步骤5、通过步骤1中的设备采集1400张图片数据，存储在控制计算机中，通过训练好的目标检测网络进行对水面漂浮物进行检测和分类，最终获得水面漂浮物的种类，检测结果图如图5所示。

技术特征：
1.一种基于pp-picodet的湖泊水面漂浮物识别方法，其特征在于，包括以下步骤：步骤1、搭建采集平台：将相机支架搭建在水质检测船上，确保相机对准水面检测区；将相机与控制计算机连接，以便进行后续的水面漂浮物的检测；步骤2、图像采集：在选择合适的湖泊水域环境后，使用搭建好的采集平台对塑料瓶、落叶和塑料袋三种常见的水面漂浮物进行图像采集，并将采集的图像保存在计算机中；步骤3、图像标注：将步骤2中保存的图片进行数据集的标注，采用适当的标注工具，标注完成后按比例随机划分数据集为训练集和测试集；步骤4、模型搭建：使用pp-picodet模型并进行改进，搭建基于改进pp-picodet模型下的目标检测网络，根据步骤3所获得的数据集进行模型训练和验证；步骤5、图像分类：通过步骤4训练好的目标检测网络，对湖泊水面漂浮物进行检测和分类。2.根据权利要求1所述的一种基于pp-picodet的湖泊水面漂浮物识别方法，其特征在于，所述步骤3具体为：步骤3.1、数据集标注：标注步骤2获得的水面漂浮物图像，使用合适的标注工具，框选出漂浮物目标；步骤3.2、格式转化：对步骤3.1中标注完成的voc格式数据集进行转化，需要转化为适用pp-picodet训练的数据集；步骤3.3、按比例随机划分，通过步骤3.2获得湖泊水面漂浮物的数据集，按比例随机划分数据集为训练集和测试集。3.根据权利要求1所述的一种基于pp-picodet的湖泊水面漂浮物识别方法，其特征在于，所述步骤4具体为：步骤4.1、采用esnet作为骨干网络，并在颈部采用csp-pan结构，通过降低计算成本和引入上下文注意力模块来提高网络对重点区域的特征学习；同时，添加了更小的特征尺度来提升大物体的检测效果；在颈部和检测头部分均采用了深度可分离卷积，并采用了通道数和颈部一致的耦合头，以提高检测速度；步骤4.2、在训练目标检测模型之前，需要创建标注映射文件，定义一个类名到类id的映射，以便训练器识别漂浮物的类别；步骤4.3、改进pp-picodet模型通过训练集进行训练，构建出目标检测网络，再利用目标检测网络对步骤3获得湖泊水面漂浮物图像数据测试集进行检验。4.根据权利要求1所述的一种基于pp-picodet的湖泊水面漂浮物识别方法，其特征在于，所述步骤5具体为：通过步骤1中的设备采集图片数据，存储在控制计算机中，通过训练好的目标检测网络进行对湖泊水面漂浮物进行检测和分类，最终获得水面漂浮物的种类。5.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-4中任一项所述的一种基于pp-picodet的湖泊水面漂浮物识别方法。6.一种计算机设备，包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4中任一项所述的一种基于pp-picodet的湖泊水面漂浮物识别方法。

技术总结
本发明公开了一种基于PP-PicoDet的湖泊水面漂浮物识别方法，步骤如下：在PP-PicoDet的基础上，通过引入上下文注意力模块替换SE模块，建立起改进的PP-PicoDet模型；通过基于训练集进行训练得到的目标检测网络，对湖泊水面漂浮物测试集进行检测和识别，最终获得湖泊水面漂浮物的种类。本发明在颈部结构引入了上下文注意力模块，通过上下文注意力模块增强特征上下文之间的联系，能够有效地帮助模型把注意力放在与湖泊水面漂浮物相关的特征学习上；本发明能够使用图像目标特征提取技术进行预测，以识别水面漂浮物，从而更有效地清理湖泊水面漂浮物。漂浮物。漂浮物。


技术研发人员：徐通 于银山 卫晋松 邵明振 丁萍 张慧
受保护的技术使用者：淮阴工学院
技术研发日：2023.03.17
技术公布日：2023/7/12