一种基于YOLOv5s改进的轻量模型目标检测方法

一种基于yolov5s改进的轻量模型目标检测方法
技术领域
1.本发明涉及深度学习和图像处理领域，具体是一种基于yolov5s改进的轻量模型目标检测方法。


背景技术：

2.遥感图像目标检测是目标检测任务中的重要组成部分。随着卫星技术的快速发展，遥感卫星的重要性日渐突出，在自然资源监察，城市发展，土地利用，卫星导航等众多领域被广泛利用。遥感卫星不同于其它雷达载具会受到自然天气的影响，其主要通过在轨卫星进行对目标区域进行拍摄，具有全天候，全天时，全疆域等优势，但在轨卫星拍摄的图片覆盖面积广，分辨率高，目标种类繁多且尺度不一，导致小目标在图像中占取的像素很少。研究表明，像素低于40*40的小目标在提取特征时，很可能会泯灭在复杂背景中，因此提高遥感图像中目标的检测精度具有很高的研究意义。
3.深度学习算法已经成为目标检测的重要方法之一。在基于深度学习算法的目标检测中,主要有两种算法，one-stage算法和two-stage算法。one-stage算法如ssd，yolo算法具有高速率，高鲁棒性等优点，在实时目标检测中应用广泛。two-stage算法如spp-net，faster r-cnn算法具有高精度，但检测速率较慢，所以为了保证目标检测速度的同时，尽可能的提高目标的检测准确率成了目标检测算法中的重要一环。


技术实现要素：

4.本发明的目的在于提供一种基于yolov5s改进的轻量模型目标检测方法，通过引入全局注意力模块，结合了空间注意力机制和通道注意力机制之间的跨维特征信息交互，提高模型对目标的特征提取。在输出端通过自适应空间特征融合检测头模块，通过自适应学习各尺度特征之间的空间权重，可以更加准确的学习各个目标的尺度特性提高目标的多尺度特征融合，降低了遥感图像中目标的漏检率和误检率。
5.本发明的目的可以通过以下技术方案实现：
6.一种基于yolov5s改进的轻量模型目标检测方法，所述目标检测方法包括以下步骤：
7.步骤1、选择数据集。
8.步骤2、对数据集进行预处理。
9.步骤3、改进注意力机制，将预处理后的数据在基础的轻量级yolov5s中融入全局注意力机制。
10.步骤4、改进特征融合机制，经过步骤3处理后，通过自适应特征融合对经历过特征提取后的特征图进行特征融合。
11.步骤5、经过步骤3和步骤4将网络输出的图像送入检测头，通过损失函数计算预测损失，构建基于yolov5s改进的轻量模型。
12.步骤6、通过数据集对改进的轻量模型进行测试和验证。
13.步骤7、根据步骤6测试与验证的结果，对改进的轻量模型的指标进行评价。
14.进一步的，所述改进注意力机制通过在基础的轻量级yolov5s中融入全局注意力机制，将通道注意力和空间注意力二者联系起来，加强空间和通道两个方面的特征提取，通过增强两个注意力维度间的特征信息交互，获取更加细致的特征纹理，提高中小目标的特征提取率，以此来提高目标的检测准确率。
15.进一步的，所述改进注意力机制具体操作如下：
16.(1)将三维排列将特征图的维度由δc
×
δw
×
δh置换为δw
×
δh
×
δc，其中δc表示输入特征图的通道数，δw表示特征图的宽度，δh表示特征图的高度。通过两个多层感知机增强了通道与空间之间的跨维度联合，增强检测器对目标的提取，特征提取之后再通过三维逆排列恢复特征维度，其公式如下，
[0017][0018]
其中δ表示为sigmoid函数，ρ表示三维排列，表示逆排列,mlp表示多层感知机。
[0019]
(2)再对输入特征图进行卷积操作，7
×
7的卷积核，填充设为3，从而对通道域进行压缩降维，突出空间域的边缘处目标特征和目标特征差异，得到r表示空间维度降低倍率，
[0020][0021]
其中，表示由卷积核为7
×
7，正则化(bn)和relu激活函数组成的卷积网络。
[0022]
进一步的，所述改进特征融合机制通过步骤3处理后，对提取的目标进行特征的再融合，在特征融合端引入自适应特征融合，通过自适应特征融合对经历过特征提取后的特征图进行特征融合，自适应学习各尺度特征之间的空间权重，提高特征的表征能力，使其自适应融合目标特征。
[0023]
进一步的，所述改进特征融合机制具体操作如下:
[0024]
(1)设三层输出特征映射为x
l
,l∈{1,2,3}，设非l层的特征映射为xn,由于不同特征层中的特征映射具有不同的分辨率和通道数，通过conv3*3卷积，步长为2对特征分辨率进行下采样，conv1*1卷积压缩特征的通道数。不同层间进行拼接，加强了特征的多尺度融合，再通过自适应学习不同尺度特征的空间权重，提高特征的表征能力。特征融合公式如式：
[0025][0026]
其中，表示将第n层特征映射的点d(i，j)的特征向量大小调整为与第l层相同，表示输出特征映射y
l
在点d(i，j)处的特征向量。
[0027]
(2)自适应提取n层到l层的空间权重，其定义如下式：
[0028][0029]
其中，且均∈(0,1)。分别表示x1→
l
，x2→
l
，x3→
l
的权重标量映射。
[0030]
进一步的，所述步骤7对改进的轻量模型进行评价，评价指标包括平均准确率(average precision,ap)和均值平均准确率(mean average precision,map)评价指标，其公式如下：
[0031][0032][0033]
其中，p代表精确率，r代表召回率，p和r的计算公式如下：
[0034][0035][0036]
其中，tp(true positive)表示预测为真且实际为真的样本个数，fp(false positive)表示预测为真但实际为假的样本个数，fn(false negative)表示预测为假但实际为真的样本个数。
[0037]
本发明的有益效果：
[0038]
1、本发明目标检测方法选择dota数据集并对数据集进行预处理，有效的降低高分辨率图像，节省运算成本；
[0039]
2、本发明目标检测方法利用yolov5s的模块化编程思想，可以将其应用于远程边缘设备，节省远端服务器的部署，具有一定的市场前景；
[0040]
3、本发明目标检测方法通过在基础的轻量级yolov5s中融入全局注意力机制，加强空间和通道两个方面的特征提取，同时增强两个注意力维度间的特征信息交互，获取更加细致的特征纹理，提高中小目标的特征提取率，以此来提高目标的检测准确率；
[0041]
4、本发明目标检测方法通过自适应特征融合对经历过特征提取后的特征图进行特征融合，自适应学习各尺度特征之间的空间权重，提高特征的表征能力；
[0042]
5、本发明目标检测方法将网络输出的图像送入检测头，通过损失函数计算损失，在后续的训练epoch中对模型进行持续优化，最终得到一个优秀的模型，再通过验证数据集对改进的轻量模型进行测试和验证，检验其是否能够很好的检测出在复杂情况下的目标以及像素较低的小目标，降低目标的漏检率和误检率。
附图说明
[0043]
下面结合附图对本发明作进一步的说明。
[0044]
图1是本发明目标检测方法流程图；
[0045]
图2是本发明目标检测轻量模型网络图；
[0046]
图3是本发明全局注意力机制示意图；
[0047]
图4是本发明通道注意力机制示意图；
[0048]
图5是本发明空间注意力机制示意图；
[0049]
图6是本发明自适应特征融合示意图；
[0050]
图7是本发明目标检测轻量模型的改进yolov5s算法与基础的yolov5s算法对比
图。
具体实施方式
[0051]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0052]
一种基于yolov5s改进的轻量模型目标检测方法，如图1、图2所示，目标检测方法包括以下步骤：
[0053]
步骤1、选择数据集
[0054]
在dota官网上下载dotav1.0公开数据集，该数据集训练集包括2806张图像组成，涵盖小中大三种目标，目标类别有15种，共计实例188282个；
[0055]
步骤2、对数据集进行预处理
[0056]
设置重叠区域(gap)，令gap＝300,通过预处理将数据集分割成15749张图片，验证集有5297张图片，测试集有937张图片，通过预处理有效的降低高分辨率图像，节省运算成本；
[0057]
步骤3、改进注意力机制
[0058]
如图3-图5所示，通过在基础的轻量级yolov5s中融入全局注意力机制，如图3所示，图3为全局注意力机制模块图，将通道注意力和空间注意力二者联系起来，加强空间和通道两个方面的特征提取，同时增强两个注意力维度间的特征信息交互，获取更加细致的特征纹理，提高中小目标的特征提取率，以此来提高目标的检测准确率，图4为通道注意力对输入图形的卷积操作，图5为空间注意力对输入图形的池化作用，具体如下：
[0059]
(1)将三维排列将特征图的维度由δc
×
δw
×
δh置换为δw
×
δh
×
δc，其中δc表示输入特征图的通道数，δw表示特征图的宽度，δh表示特征图的高度；通过两个多层感知机增强了通道与空间之间的跨维度联合，增强检测器对目标的提取，特征提取之后再通过三维逆排列恢复特征维度，其公式如下，
[0060][0061]
其中δ表示为sigmoid函数，ρ表示三维排列，表示逆排列,mlp表示多层感知机。
[0062]
(2)再对输入特征图进行卷积操作，7
×
7的卷积核，填充设为3，从而对通道域进行压缩降维，突出空间域的边缘处目标特征和目标特征差异，得到r表示空间维度降低倍率，
[0063][0064]
其中，表示由卷积核为7
×
7，正则化(bn)和relu激活函数组成的卷积网络。
[0065]
步骤4、经过步骤3处理后对提取的目标进行改进特征融合机制
[0066]
如图6所示，图6为自适应特征融合与特征金字塔的联合对不同尺度目标的特征融合操作，通过步骤3处理后，对提取的目标进行特征的再融合，在特征融合端引入自适应特征融合，通过自适应特征融合对经历过特征提取后的特征图进行特征融合，自适应学习各
尺度特征之间的空间权重，提高特征的表征能力，使其自适应融合目标特征，具体如下:
[0067]
(1)设三层输出特征映射为x
l
,l∈{1,2,3}，设非l层的特征映射为xn,由于不同特征层中的特征映射具有不同的分辨率和通道数，通过conv3*3卷积，步长为2对特征分辨率进行下采样，conv1*1卷积压缩特征的通道数；不同层间进行拼接，加强了特征的多尺度融合，再通过自适应学习不同尺度特征的空间权重，提高特征的表征能力。特征融合公式如式：
[0068][0069]
其中，表示将第n层特征映射的点d(i，j)的特征向量大小调整为与第l层相同，表示输出特征映射y
l
在点d(i，j)处的特征向量。
[0070]
(2)自适应提取n层到l层的空间权重，其定义如下式：
[0071][0072]
其中，且均∈(0,1)。分别表示x1→
l
，x2→
l
，x3→
l
的权重标量映射。
[0073]
步骤5、经过步骤3和步骤4将网络输出的图像送入检测头，通过损失函数计算预测损失，在后续的训练epoch中进行持续优化，构建一个基于yolov5s改进的轻量模型；
[0074]
步骤6、通过数据集对改进的轻量模型进行测试和验证，检验其是否能够很好的检测出复杂情况下的目标以及像素较低的小目标，降低目标的漏检率和误检率；
[0075]
如图7所示，改进的轻量模型在验证集上的验证结果，如表1所示：
[0076][0077]
其中，检测率1代表组别在yolov5s模型下的检测样本数，检测率2代表组别在改进的yolov5s模型下的检测样本数，表1通过数据对比直观的展示了改进的轻量模型检测性能。
[0078]
步骤7、根据步骤6测试与验证的结果，通过平均准确率(average precision,ap)和均值平均准确率(mean average precision,map)评价指标对改进的轻量模型进行相应的评价，其公式如下：
[0079][0080][0081]
其中，p代表精确率，r代表召回率，p和r的计算公式如下，
[0082][0083][0084]
其中，tp(true positive)表示预测为真且实际为真的样本个数，fp(false positive)表示预测为真但实际为假的样本个数，fn(false negative)表示预测为假但实际为真的样本个数。
[0085]
通过在轻量模型中融入了全局注意力机制，加强了通道与空间注意力机制之间的跨维度特征信息交互能力，减少目标特征因不同维度而丢失的问题，提高目标的特征提取；同时在检测头处结合自适应空间特征融合算法，通过自适应的调整各个尺度在融合时的空间权重，抑制空间尺度不一致性，使目标特征获得更加精准的网络处理比重，从而提高目标的多尺度特征融合能力，降低遥感图像中小目标的漏检率和误检率。
[0086]
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0087]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

技术特征：
1.一种基于yolov5s改进的轻量模型目标检测方法，其特征在于，所述目标检测方法包括以下步骤：步骤1、选择数据集；步骤2、对数据集进行预处理；步骤3、改进注意力机制，将预处理后的数据在基础的轻量级yolov5s中融入全局注意力机制；步骤4、改进特征融合机制，经过步骤3处理后，通过自适应特征融合对经历过特征提取后的特征图进行特征融合；步骤5、经过步骤3和步骤4将网络输出的图像送入检测头，通过损失函数计算预测损失，构建基于yolov5s改进的轻量模型；步骤6、通过数据集对改进的轻量模型进行测试和验证；步骤7、根据步骤6测试与验证的结果，对改进的轻量模型的指标进行评价。2.根据权利要求1所述的一种基于yolov5s改进的轻量模型目标检测方法，其特征在于，所述改进注意力机制通过在基础的轻量级yolov5s中融入全局注意力机制，将通道注意力和空间注意力二者联系起来，加强空间和通道两个方面的特征提取，通过增强两个注意力维度间的特征信息交互，获取更加细致的特征纹理，提高中小目标的特征提取率，以此来提高目标的检测准确率。3.根据权利要求2所述的一种基于yolov5s改进的轻量模型目标检测方法，其特征在于，所述改进注意力机制具体操作如下：(1)将三维排列将特征图的维度由δc
×
δw
×
δh置换为δw
×
δh
×
δc，其中δc表示输入特征图的通道数，δw表示特征图的宽度，δh表示特征图的高度；通过两个多层感知机增强了通道与空间之间的跨维度联合，增强检测器对目标的提取，特征提取之后再通过三维逆排列恢复特征维度，其公式如下，其中δ表示为sigmoid函数，ρ表示三维排列，表示逆排列,mlp表示多层感知机；(2)再对输入特征图进行卷积操作，7
×
7的卷积核，填充设为3，从而对通道域进行压缩降维，突出空间域的边缘处目标特征和目标特征差异，得到r表示空间维度降低倍率，其中，表示由卷积核为7
×
7，正则化(bn)和relu激活函数组成的卷积网络。4.根据权利要求1所述的一种基于yolov5s改进的轻量模型目标检测方法，其特征在于，所述改进特征融合机制通过步骤3处理后，对提取的目标进行特征的再融合，在特征融合端引入自适应特征融合，通过自适应特征融合对经历过特征提取后的特征图进行特征融合，自适应学习各尺度特征之间的空间权重，提高特征的表征能力，使其自适应融合目标特征。5.根据权利要求4所述的一种基于yolov5s改进的轻量模型目标检测方法，其特征在于，所述改进特征融合机制具体操作如下:
(1)设三层输出特征映射为x
l
,l∈{1,2,3}，设非l层的特征映射为x
n
,由于不同特征层中的特征映射具有不同的分辨率和通道数，通过conv3*3卷积，步长为2对特征分辨率进行下采样，conv1*1卷积压缩特征的通道数；不同层间进行拼接，加强了特征的多尺度融合，再通过自适应学习不同尺度特征的空间权重，提高特征的表征能力。特征融合公式如式：其中，表示将第n层特征映射的点d(i，j)的特征向量大小调整为与第l层相同，表示输出特征映射y
l
在点d(i，j)处的特征向量；(2)自适应提取n层到l层的空间权重，其定义如下式：其中，其中，且均∈(0,1)。分别表示x1→
l
，x2→
l
，x3→
l
的权重标量映射。6.根据权利要求1所述的一种基于yolov5s改进的轻量模型目标检测方法，其特征在于，所述步骤7对改进的轻量模型进行评价，评价指标包括平均准确率(average precision,ap)和均值平均准确率(mean average precision,map)评价指标，其公式如下：precision,map)评价指标，其公式如下：其中，p代表精确率，r代表召回率，p和r的计算公式如下：其中，p代表精确率，r代表召回率，p和r的计算公式如下：其中，tp(true positive)表示预测为真且实际为真的样本个数，fp(false positive)表示预测为真但实际为假的样本个数，fn(false negative)表示预测为假但实际为真的样本个数。

技术总结
本发明公开一种基于YOLOv5s改进的轻量模型目标检测方法，目标检测方法通过在基于YOLOv5s改进的轻量模型中融入了全局注意力机制，加强了通道与空间注意力机制之间的跨维度特征信息交互能力，减少目标特征因不同维度而丢失的问题，提高目标的特征提取；同时在检测头处结合自适应空间特征融合算法，通过自适应的调整各个尺度在融合时的空间权重，抑制空间尺度不一致性，使目标特征获得更加精准的网络处理比重，从而提高目标的多尺度特征融合能力，降低遥感图像中中小目标的漏检率和误检率。率。率。


技术研发人员：周子龙 周杰
受保护的技术使用者：南京信息工程大学
技术研发日：2023.01.14
技术公布日：2023/8/14