目标检测方法、装置、电子设备和存储介质

1.本技术涉及图像处理技术领域，尤其涉及一种目标检测方法、装置、电子设备和存储介质。


背景技术：

2.由于低空、慢速的小型航空器(简称“低小慢”)具有设计轻巧、容易操纵、飞行要求低以及升空突然性好等特点，给非法摄影、测绘带来方便，导致非法违规利用小型无人机情况时有发生，为重要空域防护以及社会治安管理增加难度。
3.目前，针对“低小慢”目标的检测任务中，空中弱小目标本身特征不明显不易被捕获，会导致漏检、误检等情况发生导致检测失败，因此在不同场景下，需要解决检测任务中目标尺寸过小、复杂背景干扰等问题。基于此，现有提出了多种“低小慢”目标的检测算法，但针对特殊场景下，例如，对空视角下小样本目标检测任务，其效果并不理想。由于对空视角下“低小慢”目标暂无公开数据集，因此检测任务中存在小样本、小目标、复杂背景等问题，从而导致输入检测网络的数据严重不足，造成检测模型发生过拟合的问题；检测模型对目标特征感知能力差，无法充分对小目标特征进行提取，从而造成目标漏检、目标误检等情况发生，进一步影响检测模型速度。基于此，亟需一种对空视角下“低小慢”目标检测方法。


技术实现要素：

4.本技术提供一种目标检测方法、装置、电子设备和存储介质，用以解决“低小慢”目标检测准确性低的问题，通过标注样本扩充和数据增广，为检测模型的训练提供足够数据支撑，提高了检测模型的抗干扰性，同时，通过优化目标检测网络，提高了检测模型的检测精度。
5.本技术提供一种目标检测方法，包括：
6.对目标对象的数据集中的图像进行标注样本扩充，得到扩充图像；
7.对所述扩充图像进行数据增广，并将数据增广得到第一增广图像与背景图像进行随机重构，得到重构图像；
8.将所述重构图像输入检测模型，获取所述检测模型输出的所述目标对象；
9.其中，所述检测模型是采用样本图像对多尺度聚合的轻量化单阶段小目标检测网络进行训练得到的；所述多尺度聚合的轻量化单阶段小目标检测网络包括轻量化网络和多尺度注意力聚合模块；所述轻量化网络中已删除不能识别所述目标对象的特征信息的输出层；所述轻量化网络与所述多尺度注意力聚合模块连接，以聚合所述重构图像的特征信息。
10.在一个实施例中，所述轻量化网络包括第一路径和第二路径，所述第一路径与所述多尺度注意力聚合模块的拼接，以增加所述重构图像的语义特征信息；所述第二路径与所述多尺度注意力聚合模块进行卷积连接，以聚合所述重构图像的特征信息。
11.在一个实施例中，所述对所述扩充图像进行数据增广，包括：
12.对所述扩充图像进行图像切片，得到所述背景图像和携带所述目标对象的目标图
像；
13.对所述目标图像进行数据增广。
14.在一个实施例中，所述数据增广包括正向增广和逆向增广；
15.所述对所述目标图像进行数据增广，包括：
16.确定所述正向增广的第一噪声信号以及所述逆向增广的第二噪声信号；
17.基于所述第一噪声信号对所述目标图像进行正向增广，得到第二增广图像；
18.基于所述第二噪声信号对所述第二增广图像进行逆向增广，得到所述第一增广图像。
19.在一个实施例中，所述第一噪声信号的表达式为：
[0020][0021]
其中，q(x
t
|x0)表示第一噪声信号，x0表示扩散模型的输入，x
t
表示扩散模型的输出，i表示单位矩阵，n表示常数，表示马尔科夫的连乘结果；
[0022]
所述第二噪声信号的表达式为：
[0023][0024]
其中，q(x
t-1
|x
t
x0)表示第二噪声信号，x0表示扩散模型的输入，x
t
表示扩散模型的输出，x
t-1
表示在x
t
基础上去一次噪声，α
t
表示1与x
t
步长变量之间的距离，β
t
表示影响扩散步长的变量，表示马尔科夫的连乘结果，表示马尔科夫的连乘结果，z～n(0,i)表示正态分布，i表示单位矩阵，z和n表示常数。
[0025]
在一个实施例中，所述对目标对象的数据集中的图像进行标注样本扩充，得到扩充图像，包括：
[0026]
获取所述数据集中的标注图像和未标注图像；
[0027]
采用所述标注图像训练分类器，以基于所述分类器对所述未标注图像进行标注，得到所述扩充图像。
[0028]
在一个实施例中，所述将数据增广得到第一增广图像与背景图像进行随机重构，得到重构图像，包括：
[0029]
将所述第一增广图像与所述背景图像进行随机组合，得到组合图像，并将所述组合图像作为所述重构图像。
[0030]
本技术还提供一种目标检测装置，包括：
[0031]
样本扩充模块，用于对目标对象的数据集中的图像进行标注样本扩充，得到扩充图像；
[0032]
数据增广模块，用于对所述扩充图像进行数据增广，并将数据增广得到第一增广图像与背景图像进行随机重构，得到重构图像；
[0033]
目标检测模块，用于将所述重构图像输入检测模型，获取所述检测模型输出的所述目标对象；
[0034]
其中，所述检测模型是采用样本图像对多尺度聚合的轻量化单阶段小目标检测网络进行训练得到的；所述多尺度聚合的轻量化单阶段小目标检测网络包括轻量化网络和多
尺度注意力聚合模块；所述轻量化网络中已删除不能识别所述目标对象的特征信息的输出层；所述轻量化网络与所述多尺度注意力聚合模块连接，以聚合所述重构图像的特征信息。
[0035]
本技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述目标检测方法。
[0036]
本技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述目标检测方法。
[0037]
本技术提供的目标检测方法、装置、电子设备和存储介质，通过对目标对象的数据集中的图像进行标注样本扩充，得到扩充图像；对所述扩充图像进行数据增广，并将数据增广得到第一增广图像与背景图像进行随机重构，得到重构图像；将所述重构图像输入检测模型，获取所述检测模型输出的所述目标对象；其中，所述检测模型是采用样本图像对多尺度聚合的轻量化单阶段小目标检测网络进行训练得到的；所述多尺度聚合的轻量化单阶段小目标检测网络包括轻量化网络和多尺度注意力聚合模块；所述轻量化网络中已删除不能识别所述目标对象的特征信息的输出层；所述轻量化网络与所述多尺度注意力聚合模块连接，以聚合所述重构图像的特征信息。本技术通过标注样本扩充和数据增广，为检测模型的训练提供足够数据支撑，提高了检测模型的抗干扰性，同时，通过优化目标检测网络，提高了检测模型的检测精度。
附图说明
[0038]
为了更清楚地说明本技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0039]
图1是本技术提供的目标检测方法的流程示意图之一；
[0040]
图2是本技术提供的轻量化网络的结构示意图；
[0041]
图3是本技术提供的多尺度注意力聚合模块的结构示意图；
[0042]
图4是本技术提供的多尺度聚合的轻量化单阶段小目标检测网络的结构示意图；
[0043]
图5是本技术提供的扩散过程生成图像的流程示意图；
[0044]
图6是本技术提供的自训练样本扩充的流程示意图；
[0045]
图7是本技术提供的目标检测方法的流程示意图之二；
[0046]
图8是本技术提供的目标检测装置的结构示意图；
[0047]
图9是本技术提供的电子设备的结构示意图。
具体实施方式
[0048]
为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术中的附图，对本技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0049]
下面结合图1-图9描述本技术的目标检测方法、装置、电子设备和存储介质。
[0050]
具体地，本技术提供了一种目标检测方法，参照图1，图1是本技术提供的目标检测方法的流程示意图之一。
[0051]
本技术实施例提供的目标检测方法，包括：
[0052]
s100，对目标对象的数据集中的图像进行标注样本扩充，得到扩充图像；
[0053]
需要说明的是，本技术主要是检测对空视角(或对空视频)下的“低小慢”，也即，对朝向天空拍摄的“低小慢”图像进行目标检测。本技术实施例以“低小慢”作为目标对象对目标检测方法进行解析说明，“低小慢”即低空、慢速的小型航空器，包括轻型和超轻型飞机(含轻型和超轻型直升机)、滑翔机、三角翼、动力三角翼、载人气球(热气球)、飞艇、滑翔伞、动力滑翔伞、无人机、航空模型、无人驾驶自由气球以及系留气球等。
[0054]
由于对空视角下“低小慢”目标暂无公开数据集，因此检测任务中存在小样本、小目标、复杂背景等问题，导致输入检测网络的数据严重不足，造成检测模型发生过拟合的问题，以及导致检测模型对目标特征感知能力差，无法充分对小目标特征进行提取，从而造成目标漏检、目标误检等情况发生，继而影响检测模型的检测速度。基于此，针对缺乏“低小慢”数据集的问题，本技术通过扩充样本量并对数据进行增广，为检测模型的训练提供足够数据支撑。
[0055]
在样本处理阶段，引入半监督学习(semi-supervised learning，ssl)样本扩充技术以补全自采数据集中缺少的标注信息，从而避免“低小慢”样本不足使检测模型泛化能力差的问题。
[0056]
具体地，采集目标对象在对空视角下的图像，对少量图像进行标签标注，通过少量携带样本标签的图像(即标注图像)和大量没有携带样本标签的图像(即未标注图像)构建数据集，然后基于半监督学习样本扩充技术对数据集中的图像进行标注样本扩充，得到扩充图像。例如，基于半监督学习让分类器不依赖外界交互、自动地利用未标记图像提升学习性能，即在少量样本标签的引导下，能够充分利用大量无标签样本提高学习性能，从而实现对未标注图像进行标注。
[0057]
s200，对所述扩充图像进行数据增广，并将数据增广得到第一增广图像与背景图像进行随机重构，得到重构图像；
[0058]
需要说明的是，在深度学习中，数据增广可以通过对原始数据进行一系列的随机变换，从而扩充数据集，提高模型的鲁棒性和泛化能力。
[0059]
在进行数据增广前，需要对扩充图像进行图像切片，以将目标对象与背景分离，从而得到目标对象的背景图像和携带目标对象的目标图像。例如，基于目标对象的尺寸大小，对扩充图像进行切片操作，将切片分辨率范围设置在15*15至30*30，以确保切片中含有完整的目标对象及其重要特征。
[0060]
进一步地，对目标图像进行数据增广，例如，采用噪音数据增广对目标图像进行扩充，即通过添加随机的噪音信号增加数据集的多样性，从而得到第一增广图像。然后将第一增广图像与背景图像进行随机重构，得到重构图像，具体地，将第一增广图像与背景图像进行随机组合，得到组合图像，并将组合图像作为重构图像。例如，假设第一增广图像为图像a，背景图像包括图像b和图像c，那么将第一增广图像与复杂的背景图像进行随机组合，得到组合图像(即重构图像)为图像ab和图像ac，同时将重构图像进行10％-30％的缩小放大，模拟对空视角下近景与远景中不同尺度大小的目标对象，以还原图像无关区域背景物干扰
因素，提升检测模型抗干扰能力。
[0061]
可选地，也可以将第一增广图像与背景图像进行随机拼接，将拼接图像作为重构图像。
[0062]
s300，将所述重构图像输入检测模型，获取所述检测模型输出的所述目标对象；其中，所述检测模型是采用样本图像对多尺度聚合的轻量化单阶段小目标检测网络进行训练得到的；所述多尺度聚合的轻量化单阶段小目标检测网络包括轻量化网络和多尺度注意力聚合模块；所述轻量化网络中已删除不能识别所述目标对象的特征信息的输出层；所述轻量化网络与所述多尺度注意力聚合模块连接，以聚合所述重构图像的特征信息。
[0063]
需要说明的是，根据yolov5网络可知在特征层输出端，按从上到下的顺序分别是p5-p3层，对640*640的输入图像进行三次下采样，最终输出三个特征图层大小依次是19*19、38*38、76*76，特征图大小与输入图像各网格单元对应区域大小密不可分，两者呈反比关系，也即76*76的输出特征层能保留更多的小目标特征信息。本技术所检测的“低小慢”目标尺寸在15*15至30*30，而p5输出的特征图尺寸为19*19，针对部分尺寸偏大的“低小慢”目标，p5输出的特征图不能包含完整目标信息，易对检测模型的判断造成一定干扰。因此，本技术剪裁针对小目标无法敏感捕捉特征的p5输出层，也即删除不能识别目标对象的特征信息的输出层，以实现对网络结构的优化，最大程度上提升网络模型训练以及目标检测速率，其中，轻量化网络结构图如图2所示。
[0064]
进一步，针对“低小慢”目标的检测任务，由于目标尺寸本身过小且在对空视角下的图像中占比很小，导致其特征难以被捕获以及学习，引入轻量化网络进行轻量化操作去除无关参数后，输出特征图从三个减少到两个，不足以支撑检测模型充分的感知小目标特征信息，易使检测模型鲁棒性不够，很难精准高效的对小目标进行识别，因此本技术提出一种多尺度注意力聚合模块，以输出与小目标特征信息更匹配的特征图，为检测模型提供更多可学习性，该多尺度注意力聚合模块，其中，多尺度注意力聚合模块的结构示意图如图3所示。
[0065]
轻量化网络包括第一路径和第二路径，第一路径与多尺度注意力聚合模块的拼接，以增加重构图像的语义特征信息；第二路径与多尺度注意力聚合模块进行卷积连接，以聚合重构图像的特征信息，其中，第一路径是指自上而下的路径，第二路径是指自下而上的路径。
[0066]
例如，参考图4，首先进行上采样，与轻量化网络中自上而下的路径进行连接，丰富网络中高层强语义特征信息；其次通过横向连接与轻量化网络中自下而上的路径实现信息共享，并进行信息聚合，以补全自上而下路径中所忽略的目标定位信息，通过上述两次信息聚合，多尺度注意力聚合模块最终输出尺寸为152*152，通道数为255的特征图，该尺寸的特征图与“低小慢”目标匹配，可以充分表达小目标特征信息，为检测网络提供可靠的训练依据，解决了网络针对小目标检测鲁棒性不够好的问题。
[0067]
本技术实施例提供的目标检测方法，通过对目标对象的数据集中的图像进行标注样本扩充，得到扩充图像；对扩充图像进行数据增广，并将数据增广得到第一增广图像与背景图像进行随机重构，得到重构图像；将重构图像输入检测模型，获取检测模型输出的目标对象；其中，检测模型是采用样本图像对多尺度聚合的轻量化单阶段小目标检测网络进行训练得到的；多尺度聚合的轻量化单阶段小目标检测网络包括轻量化网络和多尺度注意力
聚合模块；轻量化网络中已删除不能识别目标对象的特征信息的输出层；轻量化网络与多尺度注意力聚合模块连接，以聚合重构图像的特征信息。本技术通过标注样本扩充和数据增广，为检测模型的训练提供足够数据支撑，提高了检测模型的抗干扰性，同时，通过优化目标检测网络，提高了检测模型的检测精度。
[0068]
基于上述实施例，所述数据增广包括正向增广和逆向增广；所述对所述目标图像进行数据增广，包括：
[0069]
s210，确定所述正向增广的第一噪声信号以及所述逆向增广的第二噪声信号；
[0070]
s220，基于所述第一噪声信号对所述目标图像进行正向增广，得到第二增广图像；
[0071]
s230，基于所述第二噪声信号对所述第二增广图像进行逆向增广，得到所述第一增广图像。
[0072]
数据增广包括正向增广和逆向增广，数据增广也可以理解为数据扩散，即数据增广包括两个过程：扩散过程和逆扩散过程。其中，数据增广方式包括裁剪、平移、改变亮度、加入噪声、旋转角度以及镜像等方式，本技术实施例以加入噪声为例对数据增广进行解析说明，噪声增广是指在数据中引入不同程度的噪声，以增加模型的鲁棒性，即在训练样本中加入噪声，使得模型在学习过程中可以学到更多的抗干扰能力，从而提高模型的泛化能力。
[0073]
具体地，确定正向增广的第一噪声信号以及逆向增广的第二噪声信号，然后基于第一噪声信号对目标图像进行正向增广，得到第二增广图像，进一步基于第二噪声信号对第二增广图像进行逆向增广，得到第一增广图像。
[0074]
例如，参考图5，图5中右侧x0为输入扩散模型的目标图像，即含有目标对象的切片，扩散过程为(x0→
x
t
)，即从右到左，对输入的目标图像一步步加t次噪声使其模糊的过程。其中，x
t+1
切片是通过x
t
切片加噪得到的，且x
t+1
只与x
t
有关，所以从输入目标图像到输出第二增广图像的扩散过程中，每步扩散步长受变量{β
t
∈0,1)}的影响，且x
t
服从均值为方差为β
t
i的正态分布，因此，每次添加的噪声q(x
t
|x
t-1
)是已知的，可通过公式(1)表示：
[0075][0076]
其中，q(x
t
|x
t-1
)表示噪声信号，表示均值，β
t
i表示方差，x
t
表示扩散模型的输出，x
t-1
表示在x
t
基础上去一次噪声，n表示常数。
[0077]
用重参数化技巧表示x
t-x1形式如下式(2)-(5)所示：
[0078][0079][0080][0081][0082]
其中，x0表示扩散模型的输入，x
t
表示扩散模型的输出，x
t-1
表示在x
t
基础上去一次噪声，x
t-2
表示在x
t-1
基础上去一次噪声，x
t-3
表示在x
t-2
基础上去一次噪声，x1表示在x0基础上去一次噪声，α
t
＝1-β
t
且z
t
～n(0,i),t≥0，α
t
表示1与x
t
步长变量之间的距离，α
t-1
表示1与x
t-1
步长变量之间的距离，α
t-2
表示1与x
t-2
步长变量之间的距离，α1表示1与x1步长变量之间
的距离，z
t-1
表示x
t-1
在0到单位矩阵i上的正态分布，z
t-2
表示x
t-2
在0到单位矩阵i上的正态分布，z
t-3
表示x
t-3
在0到单位矩阵i上的正态分布，z0表示x0在0到单位矩阵i上的正态分布。
[0083]
基于上述公式(2)-(5)得到x
t
形式如下式(6)所示：
[0084][0085]
其中，表示马尔科夫的连乘结果。
[0086]
因此，x
t
与q(x
t
|x0)形式如下式(7)与(8)所示：
[0087][0088][0089]
其中，q(x
t
|x0)表示第一噪声信号，x0表示扩散模型的输入，x
t
表示扩散模型的输出，i表示单位矩阵，n表示常数，表示马尔科夫的连乘结果，表示与z
t-1
相关的随机变量，z～n(0,i)表示正态分布，z和n表示常数。
[0090]
通过上述对第一噪声信号q(x
t
|x0)的推算，实现扩散模型中任意参数可求。
[0091]
如图5所示，原路返回即逆扩散过程，其本质是输入任意噪声图像(即第二增广图像)生成逼真图像的过程，生成图像尺寸大小与输入的目标图像一致。在逆扩散过程中，采用p
θ
(x
t-1
|x
t
)近似表达q(x
t-1
|x
t
)，因此，生成图像的过程其实是对q(x
t-1
|x
t
x0)的逐步推导，然后用推导结果指导逆扩散网络如何训练，最终可以通过任意噪声图获得大量逼真的目标对象的图像，即第一增广图像。
[0092]
第二噪声信号q(x
t-1
|x
t
x0)可用扩散过程中推算的q(x
t
|x0)与q(x
t-1
|x
t
)求得，形式如下式(9)所示：
[0093][0094]
带入上述公式(6)与(8)可以推导出第二噪声信号q(x
t-1
|x
t
x0)最终表达式形式如下式(10)所示：
[0095][0096]
其中，q(x
t-1
|x
t
x0)表示第二噪声信号，x0表示扩散模型的输入，x
t
表示扩散模型的输出，x
t-1
表示在x
t
基础上去一次噪声，α
t
表示1与x
t
步长变量之间的距离，β
t
表示影响扩散步长的变量，表示马尔科夫的连乘结果，表示马尔科夫的连乘结果，z～n(0,i)表示正态分布，i表示单位矩阵，z和n表示常数。
[0097]
通过上述公式对随机噪声图像进行去噪，生成大量高质量第一增广图像解决数据量不足的问题，有效避免检测模型因泛化性差，导致针对不同目标对象数据检测结果差异
化大的问题。
[0098]
本技术实施例通过引入目标背景重构方法，排除数据增广阶段复杂背景对生成式模型的干扰，同时为了解决数据不足导致检测模型泛化能力差的问题，通过扩散模型对数据进行增广，解决了数据集中样本缺失的问题，最后通过目标背景随机重构还原背景复杂度，提高后续检测模型抗干扰性，从而提高模型的泛化能力。
[0099]
基于上述实施例，所述对目标对象的数据集中的图像进行标注样本扩充，得到扩充图像，包括：
[0100]
s110，获取所述数据集中的标注图像和未标注图像；
[0101]
s120，采用所述标注图像训练分类器，以基于所述分类器对所述未标注图像进行标注，得到所述扩充图像。
[0102]
需要说明的是，数据集中包括少量标注图像和大量未标注图像，在进行标注样本扩充时，采用少量标注图像训练分类器，然后使用训练好的分类器对未标注图像进行标注，从而得到扩充图像。
[0103]
例如，参考图6，本技术实施例的自训练样本扩充技术选用yolov5作为分类器，对数据集中部分图像进行人工标注作为分类器模型训练的输入，对剩余缺少标注信息的图像进行捕获，同时，设定分类器的输出阈值为0.8，以获取精确的目标表达信息，采用满足阈值的样本训练新的分类器，重复上述操作，直到根据分类准则获取的正确样本在输出总样本中占比达到设定值，此时分类器已趋于稳定，能够精准预测目标对象的位置信息，从而提升正确标签输出比例以获取大量有效标注样本。
[0104]
本技术实施例通过采用少量标注图像训练分类器，以基于分类器对未标注图像进行标注，得到扩充图像，基于此，避免“低小慢”样本不足使检测模型泛化能力差的问题，提高检测模型的泛化能力。
[0105]
为了进一步说明本技术提供的目标检测方法，参考图7，图7是本技术提供的目标检测方法的流程示意图之二。
[0106]
本技术实施例的目的在于基于yolov5网络进行改进，使得改进后的网络更加适应对空视角下“低小慢”目标检测任务，特别针对小样本、小目标、复杂背景等问题。针对缺乏“低小慢”数据集的问题，本技术实施例通过扩充样本量并对数据进行增广，为检测模型的训练提供足够数据支撑；针对“低小慢”目标尺寸过小的问题，本技术实施例强化了模型对空中小目标的特征提取能力。
[0107]
在本技术实施例中，基于yolov5网络模型，在样本处理阶段，引入半监督样本扩充技术以补全自采数据集中缺少的标注信息，避免“低小慢”样本不足使模型泛化能力差的问题。在数据增广阶段，引入扩散模型为检测网络提供充分数据，首先通过目标背景分离技术使扩散模型针对目标本身进行增广，排除复杂背景对生成逼真图像的干扰，然后将增广的“低小慢”图像与原始背景信息进行随机重构，还原对空图像复杂程度，提升后续检测网络抗干扰性。在目标检测阶段，根据“低小慢”目标具体尺寸大小，设计基于yolov5的小目标检测网络，剪裁与“低小慢”目标尺寸不匹配的p5输出层，以实现网络结构优化，最大程度上提升网络模型训练以及目标检测速率，即通过优化网络结构设计轻量化框架，减少参数以缩小计算量，同时，设计对小尺寸目标特征感知能力强的多尺度注意力聚合模块，增强网络特征提取功能性与表达性，有效解决检测阶段弱小目标带来的问题。
[0108]
如图7所示，本技术实施例提供的基于扩散模型的yolov5空中小目标检测网络进行目标检测的步骤包括：
[0109]
(1)基于半监督的标注样本扩充。
[0110]
本技术实施例的自训练样本扩充技术选用yolov5作为基分类器，对自采集数据集中部分图像进行人工标注作为分类器模型训练的输入，对剩余缺少标注信息的“低小慢”目标进行捕获，设定分类器的输出阈值为0.8以获取精确的目标表达信息，采用满足阈值的样本训练新的分类器，重复上述操作，直到根据分类准则获取的正确样本在输出总样本中占比达到设定值，此时分类器已趋于稳定，能够精准预测目标对象的位置信息，从而提升正确标签输出比例以获取大量有效标注样本。
[0111]
(2)基于扩散模型的数据增广。
[0112]
首先对半监督学习模型扩充的图像进行切片操作，根据“低小慢”目标尺寸大小，将切片分辨率范围设置在15*15至30*30，确保切片中含有完整“低小慢”目标及其重要特征；然后将“低小慢”切片作为扩散模型输入，通过扩散模型对“低小慢”切片进行数据增广；最后，将扩散模型生成的“低小慢”目标切片与原始图像进行随机重构，如将切片与复杂背景进行随机组合，同时将切片进行10％-30％的缩小放大，模拟对空视角下近景与远景中不同尺度大小的“低小慢”目标，其本质是还原图像无关区域背景物干扰因素，提升检测模型抗干扰能力。
[0113]
(3)基于多尺度聚合的单阶段小目标检测网络。
[0114]
剪裁对小目标无法敏感捕捉特征的p5输出层，同时引入多尺度注意力聚合模块，以输出与小目标特征信息更匹配的特征图，为检测模型提供更多可学习性。如图7所示，首先进行上采样，与轻量化网络中自上而下的路径进行连接，丰富网络中高层强语义特征信息；其次通过横向连接与轻量化网络中自下而上的路径实现信息共享，并进行信息聚合，以补全自上而下路径中所忽略的目标定位信息，通过上述两次信息聚合，多尺度注意力聚合模块最终输出尺寸为152*152，通道数为255的特征图，该尺寸的特征图与“低小慢”目标匹配，可以充分表达小目标特征信息，为检测网络提供可靠的训练依据，解决了网络针对小目标检测鲁棒性不够好的问题。
[0115]
本技术实施例提出的基于小样本的“低小慢”目标深度学习检测方法，在参数量没有明显增加的前提下，优化网络结构，提高空中小目标检测精度，优于其他网络模型，例如yolov5、resnet50、faster r-cnn等。本技术实施例不仅解决了对空视角下“低小慢”目标检测存在的问题，还在一定程度上增强了网络泛化能力并且提升了模型检测精度。
[0116]
图8是本技术提供的目标检测装置的结构示意图，参照图8，本技术的实施例提供了一种目标检测装置，包括样本扩充模块801，数据增广模块802和目标检测模块803。
[0117]
样本扩充模块801，用于对目标对象的数据集中的图像进行标注样本扩充，得到扩充图像；
[0118]
数据增广模块802，用于对所述扩充图像进行数据增广，并将数据增广得到第一增广图像与背景图像进行随机重构，得到重构图像；
[0119]
目标检测模块803，用于将所述重构图像输入检测模型，获取所述检测模型输出的所述目标对象；
[0120]
其中，所述检测模型是采用样本图像对多尺度聚合的轻量化单阶段小目标检测网
络进行训练得到的；所述多尺度聚合的轻量化单阶段小目标检测网络包括轻量化网络和多尺度注意力聚合模块；所述轻量化网络中已删除不能识别所述目标对象的特征信息的输出层；所述轻量化网络与所述多尺度注意力聚合模块连接，以聚合所述重构图像的特征信息。
[0121]
在一个实施例中，所述轻量化网络包括第一路径和第二路径，所述第一路径与所述多尺度注意力聚合模块的拼接，以增加所述重构图像的语义特征信息；所述第二路径与所述多尺度注意力聚合模块进行卷积连接，以聚合所述重构图像的特征信息。
[0122]
在一个实施例中，数据增广模块802具体包括：
[0123]
对所述扩充图像进行图像切片，得到所述背景图像和携带所述目标对象的目标图像；
[0124]
对所述目标图像进行数据增广。
[0125]
在一个实施例中，所述数据增广包括正向增广和逆向增广；
[0126]
所述数据增广模块802具体包括：
[0127]
确定所述正向增广的第一噪声信号以及所述逆向增广的第二噪声信号；
[0128]
基于所述第一噪声信号对所述目标图像进行正向增广，得到第二增广图像；
[0129]
基于所述第二噪声信号对所述第二增广图像进行逆向增广，得到所述第一增广图像。
[0130]
在一个实施例中，所述第一噪声信号的表达式为：
[0131][0132]
其中，q(x
t
|x0)表示第一噪声信号，x0表示扩散模型的输入，x
t
表示扩散模型的输出，i表示单位矩阵，n表示常数，表示马尔科夫的连乘结果；
[0133]
所述第二噪声信号的表达式为：
[0134][0135]
其中，q(x
t-1
|x
t
x0)表示第二噪声信号，x0表示扩散模型的输入，x
t
表示扩散模型的输出，x
t-1
表示在x
t
基础上去一次噪声，α
t
表示1与x
t
步长变量之间的距离，β
t
表示影响扩散步长的变量，表示马尔科夫的连乘结果，表示马尔科夫的连乘结果，z～n(0,i)表示正态分布，i表示单位矩阵，z和n表示常数。
[0136]
在一个实施例中，样本扩充模块801具体包括：
[0137]
获取所述数据集中的标注图像和未标注图像；
[0138]
采用所述标注图像训练分类器，以基于所述分类器对所述未标注图像进行标注，得到所述扩充图像。
[0139]
在一个实施例中，数据增广模块802具体包括：
[0140]
将所述第一增广图像与所述背景图像进行随机组合，得到组合图像，并将所述组合图像作为所述重构图像。
[0141]
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(communicationsinterface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通
信。处理器910可以调用存储器930中的逻辑指令，以执行目标检测方法，该方法包括：
[0142]
对目标对象的数据集中的图像进行标注样本扩充，得到扩充图像；
[0143]
对所述扩充图像进行数据增广，并将数据增广得到第一增广图像与背景图像进行随机重构，得到重构图像；
[0144]
将所述重构图像输入检测模型，获取所述检测模型输出的所述目标对象；
[0145]
其中，所述检测模型是采用样本图像对多尺度聚合的轻量化单阶段小目标检测网络进行训练得到的；所述多尺度聚合的轻量化单阶段小目标检测网络包括轻量化网络和多尺度注意力聚合模块；所述轻量化网络中已删除不能识别所述目标对象的特征信息的输出层；所述轻量化网络与所述多尺度注意力聚合模块连接，以聚合所述重构图像的特征信息。
[0146]
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0147]
另一方面，本技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的目标检测方法，该方法包括：
[0148]
对目标对象的数据集中的图像进行标注样本扩充，得到扩充图像；
[0149]
对所述扩充图像进行数据增广，并将数据增广得到第一增广图像与背景图像进行随机重构，得到重构图像；
[0150]
将所述重构图像输入检测模型，获取所述检测模型输出的所述目标对象；
[0151]
其中，所述检测模型是采用样本图像对多尺度聚合的轻量化单阶段小目标检测网络进行训练得到的；所述多尺度聚合的轻量化单阶段小目标检测网络包括轻量化网络和多尺度注意力聚合模块；所述轻量化网络中已删除不能识别所述目标对象的特征信息的输出层；所述轻量化网络与所述多尺度注意力聚合模块连接，以聚合所述重构图像的特征信息。
[0152]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0153]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0154]
最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。

技术特征：
1.一种目标检测方法，其特征在于，包括：对目标对象的数据集中的图像进行标注样本扩充，得到扩充图像；对所述扩充图像进行数据增广，并将数据增广得到第一增广图像与背景图像进行随机重构，得到重构图像；将所述重构图像输入检测模型，获取所述检测模型输出的所述目标对象；其中，所述检测模型是采用样本图像对多尺度聚合的轻量化单阶段小目标检测网络进行训练得到的；所述多尺度聚合的轻量化单阶段小目标检测网络包括轻量化网络和多尺度注意力聚合模块；所述轻量化网络中已删除不能识别所述目标对象的特征信息的输出层；所述轻量化网络与所述多尺度注意力聚合模块连接，以聚合所述重构图像的特征信息。2.根据权利要求1所述的目标检测方法，其特征在于，所述轻量化网络包括第一路径和第二路径，所述第一路径与所述多尺度注意力聚合模块的拼接，以增加所述重构图像的语义特征信息；所述第二路径与所述多尺度注意力聚合模块进行卷积连接，以聚合所述重构图像的特征信息。3.根据权利要求1所述的目标检测方法，其特征在于，所述对所述扩充图像进行数据增广，包括：对所述扩充图像进行图像切片，得到所述背景图像和携带所述目标对象的目标图像；对所述目标图像进行数据增广。4.根据权利要求3所述的目标检测方法，其特征在于，所述数据增广包括正向增广和逆向增广；所述对所述目标图像进行数据增广，包括：确定所述正向增广的第一噪声信号以及所述逆向增广的第二噪声信号；基于所述第一噪声信号对所述目标图像进行正向增广，得到第二增广图像；基于所述第二噪声信号对所述第二增广图像进行逆向增广，得到所述第一增广图像。5.根据权利要求4所述的目标检测方法，其特征在于，所述第一噪声信号的表达式为：其中，q(x
t
|x0)表示第一噪声信号，x0表示扩散模型的输入，x
t
表示扩散模型的输出，i表示单位矩阵，n表示常数，表示马尔科夫的连乘结果；所述第二噪声信号的表达式为：其中，q(x
t-1
|x
t
x0)表示第二噪声信号，x0表示扩散模型的输入，x
t
表示扩散模型的输出，x
t-1
表示在x
t
基础上去一次噪声，α
t
表示1与x
t
步长变量之间的距离，β
t
表示影响扩散步长的变量，表示马尔科夫的连乘结果，表示马尔科夫的连乘结果，z～n(0,i)表示正态分布，i表示单位矩阵，z和n表示常数。6.根据权利要求1所述的目标检测方法，其特征在于，所述对目标对象的数据集中的图像进行标注样本扩充，得到扩充图像，包括：获取所述数据集中的标注图像和未标注图像；
采用所述标注图像训练分类器，以基于所述分类器对所述未标注图像进行标注，得到所述扩充图像。7.根据权利要求1所述的目标检测方法，其特征在于，所述将数据增广得到第一增广图像与背景图像进行随机重构，得到重构图像，包括：将所述第一增广图像与所述背景图像进行随机组合，得到组合图像，并将所述组合图像作为所述重构图像。8.一种目标检测装置，其特征在于，包括：样本扩充模块，用于对目标对象的数据集中的图像进行标注样本扩充，得到扩充图像；数据增广模块，用于对所述扩充图像进行数据增广，并将数据增广得到第一增广图像与背景图像进行随机重构，得到重构图像；目标检测模块，用于将所述重构图像输入检测模型，获取所述检测模型输出的所述目标对象；其中，所述检测模型是采用样本图像对多尺度聚合的轻量化单阶段小目标检测网络进行训练得到的；所述多尺度聚合的轻量化单阶段小目标检测网络包括轻量化网络和多尺度注意力聚合模块；所述轻量化网络中已删除不能识别所述目标对象的特征信息的输出层；所述轻量化网络与所述多尺度注意力聚合模块连接，以聚合所述重构图像的特征信息。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述目标检测方法。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述目标检测方法。

技术总结
本申请涉及图像处理技术领域，提供一种目标检测方法、装置、电子设备和存储介质，该方法包括：对目标对象的数据集中的图像进行标注样本扩充，得到扩充图像；对扩充图像进行数据增广，并将数据增广得到第一增广图像与背景图像进行随机重构，得到重构图像；将重构图像输入检测模型，获取检测模型输出的目标对象；其中，检测模型是采用样本图像对多尺度聚合的轻量化单阶段小目标检测网络进行训练得到的。本申请通过标注样本扩充和数据增广，为检测模型的训练提供足够数据支撑，提高了检测模型的抗干扰性，同时，通过优化目标检测网络，提高了检测模型的检测精度。模型的检测精度。模型的检测精度。


技术研发人员：陈婧 裘宇婵 毕福昆 徐盛野 车志豪
受保护的技术使用者：北方工业大学
技术研发日：2023.05.23
技术公布日：2023/9/23