基于关联区检测的遥感卫星影像小样本弱小目标检测方法与流程

1.本发明属于遥感卫星图像的识别检测领域，尤其涉及一种基于关联区检测的遥感卫星影像小样本弱小目标检测方法。


背景技术：

2.弱小目标一般具有两个特点，一是目标具有较少的特征，二是相对或绝对尺寸较小，使得弱小目标的检测和识别较易出现虚警和漏检的问题。目前目标检测与识别的方法主要有两类：一类是基于传统的人工设计的特征，通过特征匹配进行目标的检测识别，但由于弱小目标特征较不明显，使得该方法很难适用于弱小目标；另一类是基于深度学习的目标检测方法，该方法能够充分挖掘出目标的浅层和深层的特征，但深度学习的网络模型一般层数较多，使得弱小目标的特征在降采样的过程中因过度池化而造成损失，使得弱小目标的检测识别效果不佳。当样本数据不足时，也会影像深度学习网络模型的训练效果，进而影响检测识别的精度，因此，很有必要提出一种对弱小目标和小样本适用性较好的目标检测的方法。


技术实现要素：

3.针对上述技术问题，本发明提出一种基于关联区检测的遥感卫星影像小样本弱小目标检测方案。
4.本发明第一方面公开了一种基于关联区检测的遥感卫星影像小样本弱小目标检测方法。所述方法包括：步骤s1、对小样本单个弱小目标样本数据执行图像增强处理和样本增广处理，并将经所述图像增强处理和所述样本增广处理的小样本单个弱小目标样本数据按照比例划分为训练集和测试集；步骤s2、对ssd网络结构进行改进，将所述训练集输入至经改进的ssd网络进行训练，以获取单个弱小目标检测模型，所述ssd网络采用vgg16架构；步骤s3、利用关联区样本数据训练关联区检测网络，所述关联区检测网络为场景分类网络resnet101，所述关联区为弱小目标的分布密度高于第一阈值的区域；步骤s4、对待检测影像进行切分，利用经训练的关联区检测网络检测经切分的待检测影像，以获取关联区检测结果；步骤s5、利用所述单个弱小目标监测模型对所述关联区检测结果进行检测，以获得所述待检测影像的弱小目标检测结果。
5.根据本发明第一方面的方法，在所述步骤s1中，采用自适应百分比截断和/或自适应直方图均衡化的方式执行所述图像增强处理，采用随机旋转、随机尺度缩放、随机位置粘贴中的一种或多种方式执行所述样本增广处理，将经所述图像增强处理和所述样本增广处理的小样本单个弱小目标样本数据按照比例7:3或6:4划分为训练集和测试集。
6.根据本发明第一方面的方法，在所述步骤s2中：
7.对所述ssd网络进行剪枝操作：
8.矩阵a表示原始的输入特征图，矩阵b表示原始的输出特征图，w表示维度为c
×
kh
×
kw的卷积核，所述卷积核的个数为n，kh和kw表示所述卷积核的大小，c表示特征图a的通
道数；
9.对a中的通道进行剪裁，即对卷积核w中与冗余通道对应的卷积核进行剪裁，令输入数据为h
×w×
c的三通道图片，由大小为k
×
k的卷积核对其进行特征提取操作，得到大小为h
′×w′
的特征图；
10.当步长为1时，在第l个卷积层具有s
l
个卷积核，输入为h
in
×win
×cin
的特征图，则该层输出大小为h
out
×wout
×cout
的特征图；
11.其中，所述剪枝操作选择对神经网络识别性能影响最小的通道，在保证删除的通道冗余情况下对其进行删除，对于给定的训练集，xi表示第i个输入，yi表示第i个输出，wi表示第i个卷积核，则神经网络的损失函数为：
[0012][0013]
并且，选择需要剪枝的通道，给定一组向量β＝{β1，β2，
…
，βm}，βi为判断通道是否要进行剪裁的向量，βi的取值为0或1；
[0014]
当βi的值为0时，对通道进行剪裁，其计算方式为lasso回归法，计算向量中各个元素绝对值之和，得到稀疏的正则化结果并利用下式计算向量β的数值：
[0015][0016]
其中，正则参数λ用来对向量β中非零值的数量进行控制，λ越大，β中的非零值越少，网络结构的压缩率也越大，不断迭代直到向量β中非零值的数量满足通道剪枝的条件，在确定向量β后，确定通道剪枝策略，达到冗余信息剔除的目标；
[0017]
其中，将所述训练集输入至所述经改进的ssd网络，通过训练获取单个弱小目标检测初步模型，利用所述单个弱小目标检测初步模型对所述测试集进行检测，以得到包括误检和漏检的错误样本集，从而计算错误率。
[0018]
根据本发明第一方面的方法，所述关联区域的定义为：遥感卫星影像中所述弱小目标的分布密度高于第一阈值且所述弱小目标的集群所覆盖的区域面积超过第三阈值的区域；在所述步骤s3中，获取所述关联区样本数据，利用所述关联区样本数据训练所述关联区检测网络，所述关联区检测网络为场景分类网络resnet101。
[0019]
根据本发明第一方面的方法，在所述步骤s4中：
[0020]
对所述待检测影像进行切分具体包括：将所述待检测影像切分成多幅指定尺寸的图像切片，且相邻图像切片的重叠部分宽度为现实尺度下的15-30米，使得位于所述重叠部分的弱小目标完整地位于两个所述相邻图像切片之中的一个图像切片上；
[0021]
利用经训练的关联区检测网络检测经切分的待检测影像切片，如果切片检测为包含目标关联区，则将其汇总为关联区检测结果，其中，关联区检测结果为一组影像切片，其中每一个切片均检测为包含目标关联区。
[0022]
根据本发明第一方面的方法，在所述步骤s5中：利用所述单个弱小目标检测模型对所述关联区检测结果进行检测，仅对步骤s4中认定为包含目标关联区的切片使用单个弱小目标检测模型进行处理，每一个切片得到一组弱小目标检测结果，将所有关联区切片的检测结果进行汇总，获得所述待检测影像的弱小目标检测结果。
[0023]
本发明第二方面公开了一种基于关联区检测的遥感卫星影像小样本弱小目标检
测系统。所述系统包括：
[0024]
第一处理单元，被配置为，对小样本单个弱小目标样本数据执行图像增强处理和样本增广处理，并将经所述图像增强处理和所述样本增广处理的小样本单个弱小目标样本数据按照比例划分为训练集和测试集；
[0025]
第二处理单元，被配置为，对ssd网络结构进行改进，将所述训练集输入至经改进的ssd网络进行训练，以获取单个弱小目标检测模型，所述ssd网络采用vgg16架构；
[0026]
第三处理单元，被配置为，利用关联区样本数据训练关联区检测网络，所述关联区检测网络为场景分类网络resnet101，所述关联区为弱小目标的分布密度高于第一阈值的区域；
[0027]
第四处理单元，被配置为，对待检测影像进行切分，利用经训练的关联区检测网络检测经切分的待检测影像，以获取关联区检测结果；
[0028]
第五处理单元，被配置为，利用所述单个弱小目标监测模型对所述关联检测结果进行检测，以获得所述待检测影像的弱小目标检测结果。
[0029]
根据本发明第二方面的系统，所述第一处理单元具体被配置为：采用自适应百分比截断和/或自适应直方图均衡化的方式执行所述图像增强处理，采用随机旋转、随机尺度缩放、随机位置粘贴中的一种或多种方式执行所述样本增广处理，将经所述图像增强处理和所述样本增广处理的小样本单个弱小目标样本数据按照比例7:3或6:4划分为训练集和测试集。
[0030]
根据本发明第二方面的系统，所述第二处理单元具体被配置为，对所述ssd网络进行剪枝操作：
[0031]
矩阵a表示原始的输入特征图，矩阵b表示原始的输出特征图，w表示维度为c
×
kh
×
kw的卷积核，所述卷积核的个数为n，kh和kw表示所述卷积核的大小，c表示特征图a的通道数；
[0032]
对a中的通道进行剪裁，即对卷积核w中与冗余通道对应的卷积核进行剪裁，令输入数据为h
×w×
c的三通道图片，由大小为k
×
k的卷积核对其进行特征提取操作，得到大小为h
′×w′
的特征图；
[0033]
当步长为1时，在第l个卷积层具有s
l
个卷积核，输入为h
in
×win
×cin
的特征图，则该层输出大小为h
out
×wout
×cout
的特征图；
[0034]
其中，所述剪枝操作选择对神经网络识别性能影响最小的通道，在保证删除的通道冗余情况下对其进行删除，对于给定的训练集，xi表示第i个输入，yi表示第i个输出，wi表示第i个卷积核，则神经网络的损失函数为：
[0035][0036]
并且，选择需要剪枝的通道，给定一组向量β＝{β1，β2，
…
，βm}，βi为判断通道是否要进行剪裁的向量，βi的取值为0或1；
[0037]
当βi的值为0时，对通道进行剪裁，其计算方式为lasso回归法，计算向量中各个元素绝对值之和，得到稀疏的正则化结果并利用下式计算向量β的数值：
[0038]
[0039]
其中，正则参数λ用来对向量β中非零值的数量进行控制，λ越大，β中的非零值越少，网络结构的压缩率也越大，不断迭代直到向量β中非零值的数量满足通道剪枝的条件，在确定向量β后，确定通道剪枝策略，达到冗余信息剔除的目标；
[0040]
其中，将所述训练集输入至所述经改进的ssd网络，通过训练获取单个弱小目标检测初步模型，利用所述单个弱小目标检测初步模型对所述测试集进行检测，以得到包括误检和漏检的错误样本集，从而计算错误率。
[0041]
根据本发明第二方面的系统，所述关联区域的定义为：遥感卫星影像中所述弱小目标的分布密度高于第一阈值且所述弱小目标的集群所覆盖的区域面积超过第三阈值的区域；在所述步骤s3中，获取所述关联区样本数据，利用所述关联区样本数据训练所述关联区检测网络，所述关联区检测网络为场景分类网络resnet101。
[0042]
根据本发明第二方面的系统，在所述步骤s4中：
[0043]
对所述待检测影像进行切分具体包括：将所述待检测影像切分成多幅指定尺寸的图像切片，且相邻图像切片的重叠部分宽度为现实尺度下的15-30米，使得位于所述重叠部分的弱小目标完整地位于两个所述相邻图像切片之中的一个图像切片上；
[0044]
利用经训练的关联区检测网络检测经切分的待检测影像切片，如果切片检测为包含目标关联区，则将其汇总为关联区检测结果，其中，关联区检测结果为一组影像切片，其中每一个切片均检测为包含目标关联区。
[0045]
根据本发明第二方面的系统，在所述步骤s5中：利用所述单个弱小目标检测模型对所述关联区检测结果进行检测，仅对步骤s4中认定为包含目标关联区的切片使用单个弱小目标检测模型进行处理，每一个切片得到一组弱小目标检测结果，将所有关联区切片的检测结果进行汇总，获得所述待检测影像的弱小目标检测结果。
[0046]
本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本公开第一方面中任一项所述的一种基于关联区检测的遥感卫星影像小样本弱小目标检测方法中的步骤。
[0047]
本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本公开第一方面中任一项所述的一种基于关联区检测的遥感卫星影像小样本弱小目标检测方法中的步骤。
[0048]
综上，本发明提供的技术方案对具有小样本特性的弱小目标样本数据进行图像增强和样本增广，用于对改进的ssd网络结构进行训练生成弱小目标检测模型；将弱小目标分布较多的区域定义为关联区，利用关联区样本数据对和resnet101场景分类网络进行训练并生成关联区检测模型；最后用两个模型一并应用，可实现基于关联区检测的高分辨率遥感卫星影像小样本弱小目标检测。
附图说明
[0049]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0050]
图1为根据本发明实施例的一种基于关联区检测的遥感卫星影像小样本弱小目标
检测方法的流程图；
[0051]
图2为根据本发明实施例的基于关联区检测的遥感卫星影像小样本弱小目标检测算法的示意图；
[0052]
图3为根据本发明实施例的改进的ssd网络结构示意图；
[0053]
图4为根据本发明实施例的一种电子设备的结构图。
具体实施方式
[0054]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0055]
本发明第一方面公开了一种基于关联区检测的遥感卫星影像小样本弱小目标检测方法。图1为根据本发明实施例的一种基于关联区检测的遥感卫星影像小样本弱小目标检测方法的流程图；如图1所示，所述方法包括：
[0056]
步骤s1、对小样本单个弱小目标样本数据执行图像增强处理和样本增广处理，并将经所述图像增强处理和所述样本增广处理的小样本单个弱小目标样本数据按照比例划分为训练集和测试集；
[0057]
步骤s2、对ssd网络结构进行改进，将所述训练集输入至经改进的ssd网络进行训练，以获取单个弱小目标检测模型，所述ssd网络采用vgg16架构；
[0058]
步骤s3、利用关联区样本数据训练关联区检测网络，所述关联区检测网络为场景分类网络resnet101，所述关联区为弱小目标的分布密度高于第一阈值的区域；
[0059]
步骤s4、对待检测影像进行切分，利用经训练的关联区检测网络检测经切分的待检测影像，以获取关联区检测结果；
[0060]
步骤s5、利用所述单个弱小目标监测模型对所述关联区检测结果进行检测，以获得所述待检测影像的弱小目标检测结果。
[0061]
图2为根据本发明实施例的基于关联区检测的遥感卫星影像小样本弱小目标检测算法的示意图；下面将结合图2来详细阐述本发明第一方面的方法。
[0062]
在步骤s1，对小样本单个弱小目标样本数据执行图像增强处理和样本增广处理，并将经所述图像增强处理和所述样本增广处理的小样本单个弱小目标样本数据按照比例划分为训练集和测试集。
[0063]
在一些实施例中，采用自适应百分比截断和/或自适应直方图均衡化的方式执行所述图像增强处理，采用随机旋转、随机尺度缩放、随机位置粘贴中的一种或多种方式执行所述样本增广处理，将经所述图像增强处理和所述样本增广处理的小样本单个弱小目标样本数据按照比例7:3或6:4划分为训练集和测试集。
[0064]
具体地，采用自适应百分比截断或自适应直方图均衡化进行样本图像增强；采用随机旋转、随机尺度缩放、随机位置粘贴等方式进行样本增广；将样本数据集按照7:3(或6:4)划分为训练集t和预测试集v。
[0065]
在步骤s2，对ssd网络结构进行改进，将所述训练集输入至经改进的ssd网络进行训练，以获取单个弱小目标检测模型，所述ssd网络采用vgg16架构。
[0066]
在一些实施例中，在所述步骤s2中：采用所述vgg16架构的ssd网络包括：对所述ssd网络结构进行改进具体包括：删除所述ssd网络的conv9、conv10、conv11，并融合conv4_3和conv5_3，同时去除部分池化层。
[0067]
在一些实施例中，将所述训练集输入至所述经改进的ssd网络，通过训练获取单个弱小目标检测初步模型，并利用所述单个弱小目标检测初步模型对所述测试集进行检测，以得到包括误检和漏检的错误样本集，从而计算错误率。
[0068]
具体地，改进的ssd网络主要以vgg16为主要框架。对其改进的部分包括：删除ssd网络的conv9、conv10、conv11，将conv4_3与conv5_3进行融合，同时去除部分池化层，其网络结构图如图3所示(图3为根据本发明实施例的改进的ssd网络结构示意图)。
[0069]
具体地，将训练集t输入到改进的ssd网络中进行训练，得到弱小目标检测初步模型。使用初步模型对预测试集v进行处理，得到被错误检测或漏检测的错误样本集e。计算样本集e相对于整个测试集v的占比r，即错误率：其中ne、nv分别为样本集e和样本集v的样本个数。若r大于设定的第二阈值(通常设定为20％-30％)，则将样本数据集e中的弱小目标从所在样本图像中裁切出来，并从训练数据中随机选择一张关联区样本图，使其与裁切出来的弱小目标在其目标区以外的3个不同位置上按照一定权重进行融合，将融合后的数据补充到训练集中，使小样本训练集逐步被扩充。将前一次的训练结果作为初始权重，重复上述步骤，直到r小于或等于第二阈值时停止训练。
[0070]
在一些实施例中，在所述步骤s2中，对所述ssd网络进行剪枝操作：
[0071]
矩阵a表示原始的输入特征图，矩阵b表示原始的输出特征图，w表示维度为c
×
kh
×
kw的卷积核，所述卷积核的个数为n，kh和k w表示所述卷积核的大小，c表示特征图a的通道数；
[0072]
对a中的通道进行剪裁，即对卷积核w中与冗余通道对应的卷积核进行剪裁，令输入数据为h
×w×
c的三通道图片，由大小为k
×
k的卷积核对其进行特征提取操作，得到大小为h
′×w′
的特征图；
[0073]
当步长为1时，在第l个卷积层具有s
l
个卷积核，输入为h
in
×win
×cin
的特征图，则该层输出大小为h
out
×wout
×cout
的特征图；
[0074]
其中，所述剪枝操作选择对神经网络识别性能影响最小的通道，在保证删除的通道冗余情况下对其进行删除，对于给定的训练集，xi表示第i个输入，yi表示第i个输出，wi表示第i个卷积核，则神经网络的损失函数为：
[0075][0076]
并且，选择需要剪枝的通道，给定一组向量β＝{β1，β2，
…
，βm}，βi为判断通道是否要进行剪裁的向量，βi的取值为0或1；
[0077]
当βi的值为0时，对通道进行剪裁，其计算方式为lasso回归法，计算向量中各个元素绝对值之和，得到稀疏的正则化结果并利用下式计算向量β的数值：
[0078][0079]
其中，正则参数λ用来对向量β中非零值的数量进行控制，λ越大，β中的非零值越
少，网络结构的压缩率也越大，不断迭代直到向量β中非零值的数量满足通道剪枝的条件，在确定向量β后，确定通道剪枝策略，达到冗余信息剔除的目标；
[0080]
其中，将所述训练集输入至所述经改进的ssd网络，通过训练获取单个弱小目标检测初步模型，利用所述单个弱小目标检测初步模型对所述测试集进行检测，以得到包括误检和漏检的错误样本集，从而计算错误率。
[0081]
在步骤s3，利用关联区样本数据训练关联区检测网络，所述关联区检测网络为场景分类网络resnet101，所述关联区为弱小目标的分布密度高于第一阈值的区域。
[0082]
在一些实施例中，所述关联区域的定义为：遥感卫星影像中所述弱小目标的分布密度高于第一阈值且所述弱小目标的集群所覆盖的区域面积超过第三阈值(通常设定为1000平方米)的区域；
[0083]
在所述步骤s3中，获取所述关联区样本数据，利用所述关联区样本数据训练所述关联区检测网络，所述关联区检测网络为场景分类网络resnet101。
[0084]
在一些实施例中，所述关联区域的定义为：遥感卫星影像中所述弱小目标的分布密度高于第一阈值(通常设定为每10000平方米包含1个目标)且所述弱小目标的集群所覆盖的区域面积超过第三阈值的区域；
[0085]
在一些实施例中，在所述步骤s3中，获取所述关联区样本数据，利用所述关联区样本数据训练所述关联区检测网络，所述关联区检测网络为场景分类网络resnet101。
[0086]
具体地，定义关联区。关联区相对于弱小目标来说，具有更为显著的特征，一般面积较大才能在遥感影像中更易被发现。例如，若待提取的弱小目标是小型飞机，飞机场则是其关联区；若待提取的弱小目标是小型车辆，则其关联区则为停车场或道路。以场景分类网络resnet101作为关联区检测网络，利用关联区样本数据对其进行训练，得到关联区检测模型。
[0087]
在步骤s4，对待检测影像进行切分，利用经训练的关联区检测网络检测经切分的待检测影像，以获取关联区检测结果。
[0088]
在一些实施例中，在所述步骤s4中：对所述待检测影像进行切分具体包括：将所述待检测影像切分成多幅指定尺寸的图像切片，且相邻图像切片的重叠部分宽度为现实尺度下的15-30米，使得位于所述重叠部分的弱小目标完整地位于两个所述相邻图像切片之中的一个图像切片上；利用经训练的关联区检测网络检测经切分的待检测影像，以获取关联区检测结果。
[0089]
具体地，将整幅遥感卫星影像分割成特定尺寸(如300*300像素，500*500像素，1024*1024像素等)的图像切片。特别的，相邻切片按重叠部分宽度为20米(像素*分辨率)进行重叠分割，以保证位于切片边缘处的弱小目标可完整的出现于相邻两个切片之一。使用步骤s3中得到的算法模型对每一幅切片图像进行关联区检测，得到图像切片的关联区检测结果
[0090]
在步骤s5，利用所述单个弱小目标监测模型对所述关联区检测结果进行检测，以获得所述待检测影像的弱小目标检测结果。
[0091]
在一些实施例中，在所述步骤s5中：利用所述单个弱小目标监测模型对所述关联区检测结果进行检测，通过汇总结果获得所述待检测影像的弱小目标检测结果。
[0092]
具体地，使用步骤s2中得到的算法模型对步骤4中检测出关联区的切片图像进行
弱小目标检测，得到图像切片的弱小目标检测结果。将所有切片的检测结果汇总成一个文件，即得到该整幅遥感卫星影像弱小目标检测结果。
[0093]
综上，本发明第一方面的方法将弱小目标经常出现或存在的区域作为弱小目标的关联区，通过对关联区的检测，可以去除不包含弱小目标的大部分区域，提高弱小目标检测效率；通过去除ssd模型的部分卷积层和池化层，在一定程度上避免了弱小目标因过度池化而造成的特征损失，同时通过将部分特征图进行多尺度特征融合，提高了ssd模型对弱小目标的适用性。
[0094]
本发明第二方面公开了一种基于关联区检测的遥感卫星影像小样本弱小目标检测系统。所述系统包括：
[0095]
第一处理单元，被配置为，对小样本单个弱小目标样本数据执行图像增强处理和样本增广处理，并将经所述图像增强处理和所述样本增广处理的小样本单个弱小目标样本数据按照比例划分为训练集和测试集；
[0096]
第二处理单元，被配置为，对ssd网络结构进行改进，将所述训练集输入至经改进的ssd网络进行训练，以获取单个弱小目标检测模型，所述ssd网络采用vgg16架构；
[0097]
第三处理单元，被配置为，利用关联区样本数据训练关联区检测网络，所述关联区检测网络为场景分类网络resnet101，所述关联区为弱小目标的分布密度高于第一阈值的区域；
[0098]
第四处理单元，被配置为，对待检测影像进行切分，利用经训练的关联区检测网络检测经切分的待检测影像，以获取关联区检测结果；
[0099]
第五处理单元，被配置为，利用所述单个弱小目标监测模型对所述关联检测结果进行检测，以获得所述待检测影像的弱小目标检测结果。
[0100]
根据本发明第二方面的系统，所述第一处理单元具体被配置为：采用自适应百分比截断和/或自适应直方图均衡化的方式执行所述图像增强处理，采用随机旋转、随机尺度缩放、随机位置粘贴中的一种或多种方式执行所述样本增广处理，将经所述图像增强处理和所述样本增广处理的小样本单个弱小目标样本数据按照比例7:3或6:4划分为训练集和测试集。
[0101]
根据本发明第二方面的系统，所述第二处理单元具体被配置为，对所述ssd网络进行剪枝操作：
[0102]
矩阵a表示原始的输入特征图，矩阵b表示原始的输出特征图，w表示维度为c
×
kh
×
kw的卷积核，所述卷积核的个数为n，kh和kw表示所述卷积核的大小，c表示特征图a的通道数；
[0103]
对a中的通道进行剪裁，即对卷积核w中与冗余通道对应的卷积核进行剪裁，令输入数据为h
×w×
c的三通道图片，由大小为k
×
k的卷积核对其进行特征提取操作，得到大小为h
′×w′
的特征图；
[0104]
当步长为1时，在第l个卷积层具有s
l
个卷积核，输入为h
in
×win
×cin
的特征图，则该层输出大小为h
out
×wout
×cout
的特征图；
[0105]
其中，所述剪枝操作选择对神经网络识别性能影响最小的通道，在保证删除的通道冗余情况下对其进行删除，对于给定的训练集，xi表示第i个输入，yi表示第i个输出，wi表示第i个卷积核，则神经网络的损失函数为：
[0106][0107]
并且，选择需要剪枝的通道，给定一组向量β＝{β1，β2，
…
，βm}，βi为判断通道是否要进行剪裁的向量，βi的取值为0或1；
[0108]
当βi的值为0时，对通道进行剪裁，其计算方式为lasso回归法，计算向量中各个元素绝对值之和，得到稀疏的正则化结果并利用下式计算向量β的数值：
[0109][0110]
其中，正则参数λ用来对向量β中非零值的数量进行控制，λ越大，β中的非零值越少，网络结构的压缩率也越大，不断迭代直到向量β中非零值的数量满足通道剪枝的条件，在确定向量β后，确定通道剪枝策略，达到冗余信息剔除的目标；
[0111]
其中，将所述训练集输入至所述经改进的ssd网络，通过训练获取单个弱小目标检测初步模型，利用所述单个弱小目标检测初步模型对所述测试集进行检测，以得到包括误检和漏检的错误样本集，从而计算错误率。
[0112]
根据本发明第二方面的系统，所述关联区域的定义为：遥感卫星影像中所述弱小目标的分布密度高于第一阈值且所述弱小目标的集群所覆盖的区域面积超过第三阈值的区域；在所述步骤s3中，获取所述关联区样本数据，利用所述关联区样本数据训练所述关联区检测网络，所述关联区检测网络为场景分类网络resnet101。
[0113]
根据本发明第二方面的系统，在所述步骤s4中：
[0114]
对所述待检测影像进行切分具体包括：将所述待检测影像切分成多幅指定尺寸的图像切片，且相邻图像切片的重叠部分宽度为现实尺度下的15-30米，使得位于所述重叠部分的弱小目标完整地位于两个所述相邻图像切片之中的一个图像切片上；
[0115]
利用经训练的关联区检测网络检测经切分的待检测影像切片，如果切片检测为包含目标关联区，则将其汇总为关联区检测结果，其中，关联区检测结果为一组影像切片，其中每一个切片均检测为包含目标关联区。
[0116]
根据本发明第二方面的系统，在所述步骤s5中：利用所述单个弱小目标检测模型对所述关联区检测结果进行检测，仅对步骤s4中认定为包含目标关联区的切片使用单个弱小目标检测模型进行处理，每一个切片得到一组弱小目标检测结果，将所有关联区切片的检测结果进行汇总，获得所述待检测影像的弱小目标检测结果。
[0117]
本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本公开第一方面中任一项所述的一种基于关联区检测的遥感卫星影像小样本弱小目标检测方法中的步骤。
[0118]
图4为根据本发明实施例的一种电子设备的结构图，如图4所示，电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、近场通信(nfc)或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显
示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0119]
本领域技术人员可以理解，图4中示出的结构，仅仅是与本公开的技术方案相关的部分的结构图，并不构成对本技术方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0120]
本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本公开第一方面中任一项所述的一种基于关联区检测的遥感卫星影像小样本弱小目标检测方法中的步骤。
[0121]
综上，本发明提供的技术方案具有如下改进效果：(1)可以自动对弱小目标进行检测；(2)使用改进的ssd网络结构，去除部分池化层，减少了弱小目标特征的损失，提高了网络模型对弱小目标的适用性；(3)结合关联区检测方法，可以在检测准确率、漏检率、检测速度等方面取得较均衡的结果。
[0122]
请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。

技术特征：
1.一种基于关联区检测的遥感卫星影像小样本弱小目标检测方法，其特征在于，所述方法包括：步骤s1、对小样本单个弱小目标样本数据执行图像增强处理和样本增广处理，并将经所述图像增强处理和所述样本增广处理的小样本单个弱小目标样本数据按照比例划分为训练集和测试集；步骤s2、对ssd网络结构进行改进，将所述训练集输入至经改进的ssd网络进行训练，以获取单个弱小目标检测模型，所述ssd网络采用vgg16架构；步骤s3、利用关联区样本数据训练关联区检测网络，所述关联区检测网络为场景分类网络resnet101，所述关联区为弱小目标的分布密度高于第一阈值的区域；步骤s4、对待检测影像进行切分，利用经训练的关联区检测网络检测经切分的待检测影像，以获取关联区检测结果；步骤s5、利用所述单个弱小目标监测模型对所述关联区检测结果进行检测，以获得所述待检测影像的弱小目标检测结果。2.根据权利要求1所述的一种基于关联区检测的遥感卫星影像小样本弱小目标检测方法，其特征在于，在所述步骤s1中，采用自适应百分比截断和/或自适应直方图均衡化的方式执行所述图像增强处理，采用随机旋转、随机尺度缩放、随机位置粘贴中的一种或多种方式执行所述样本增广处理，将经所述图像增强处理和所述样本增广处理的小样本单个弱小目标样本数据按照比例7:3或6:4划分为训练集和测试集。3.根据权利要求2所述的一种基于关联区检测的遥感卫星影像小样本弱小目标检测方法，其特征在于，在所述步骤s2中：对所述ssd网络进行剪枝操作：矩阵a表示原始的输入特征图，矩阵b表示原始的输出特征图，w表示维度为c
×
kh
×
kw的卷积核，所述卷积核的个数为n，kh和kw表示所述卷积核的大小，c表示特征图a的通道数；对a中的通道进行剪裁，即对卷积核w中与冗余通道对应的卷积核进行剪裁，令输入数据为h
×
w
×
c的三通道图片，由大小为k
×
k的卷积核对其进行特征提取操作，得到大小为h
′×
w
′
的特征图；当步长为1时，在第l个卷积层具有s
l
个卷积核，输入为h
in
×
w
in
×
c
in
的特征图，则该层输出大小为h
out
×
w
out
×
c
out
的特征图；其中，所述剪枝操作选择对神经网络识别性能影响最小的通道，在保证删除的通道冗余情况下对其进行删除，对于给定的训练集，x
i
表示第i个输入，y
i
表示第i个输出，w
i
表示第i个卷积核，则神经网络的损失函数为：并且，选择需要剪枝的通道，给定一组向量β＝{β1，β2，
…
，β
m
}，β
i
为判断通道是否要进行剪裁的向量，β
i
的取值为0或1；当β
i
的值为0时，对通道进行剪裁，其计算方式为lasso回归法，计算向量中各个元素绝对值之和，得到稀疏的正则化结果并利用下式计算向量β的数值：
其中，正则参数λ用来对向量β中非零值的数量进行控制，λ越大，β中的非零值越少，网络结构的压缩率也越大，不断迭代直到向量β中非零值的数量满足通道剪枝的条件，在确定向量β后，确定通道剪枝策略，达到冗余信息剔除的目标；其中，将所述训练集输入至所述经改进的ssd网络，通过训练获取单个弱小目标检测初步模型，利用所述单个弱小目标检测初步模型对所述测试集进行检测，以得到包括误检和漏检的错误样本集，从而计算错误率。4.根据权利要求3所述的一种基于关联区检测的遥感卫星影像小样本弱小目标检测方法，其特征在于：所述关联区域的定义为：遥感卫星影像中所述弱小目标的分布密度高于第一阈值且所述弱小目标的集群所覆盖的区域面积超过第三阈值的区域；在所述步骤s3中，获取所述关联区样本数据，利用所述关联区样本数据训练所述关联区检测网络，所述关联区检测网络为场景分类网络resnet101。5.根据权利要求4所述的一种基于关联区检测的遥感卫星影像小样本弱小目标检测方法，其特征在于，在所述步骤s4中：对所述待检测影像进行切分具体包括：将所述待检测影像切分成多幅指定尺寸的图像切片，且相邻图像切片的重叠部分宽度为现实尺度下的15-30米，使得位于所述重叠部分的弱小目标完整地位于两个所述相邻图像切片之中的一个图像切片上；利用经训练的关联区检测网络检测经切分的待检测影像切片，如果切片检测为包含目标关联区，则将其汇总为关联区检测结果，其中，关联区检测结果为一组影像切片，其中每一个切片均检测为包含目标关联区。6.根据权利要求5所述的一种基于关联区检测的遥感卫星影像小样本弱小目标检测方法，其特征在于，在所述步骤s5中：利用所述单个弱小目标检测模型对所述关联区检测结果进行检测，仅对步骤s4中认定为包含目标关联区的切片使用单个弱小目标检测模型进行处理，每一个切片得到一组弱小目标检测结果，将所有关联区切片的检测结果进行汇总，获得所述待检测影像的弱小目标检测结果。7.一种基于关联区检测的遥感卫星影像小样本弱小目标检测系统，其特征在于，所述系统包括：第一处理单元，被配置为，对小样本单个弱小目标样本数据执行图像增强处理和样本增广处理，并将经所述图像增强处理和所述样本增广处理的小样本单个弱小目标样本数据按照比例划分为训练集和测试集；第二处理单元，被配置为，对ssd网络结构进行改进，将所述训练集输入至经改进的ssd网络进行训练，以获取单个弱小目标检测模型，所述ssd网络采用vgg16架构；第三处理单元，被配置为，利用关联区样本数据训练关联区检测网络，所述关联区检测网络为场景分类网络resnet101，所述关联区为弱小目标的分布密度高于第一阈值的区域；第四处理单元，被配置为，对待检测影像进行切分，利用经训练的关联区检测网络检测经切分的待检测影像，以获取关联区检测结果；
第五处理单元，被配置为，利用所述单个弱小目标监测模型对所述关联区检测结果进行检测，以获得所述待检测影像的弱小目标检测结果。8.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现权利要求1至6中任一项所述的一种基于关联区检测的遥感卫星影像小样本弱小目标检测方法中的步骤。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至6中任一项所述的一种基于关联区检测的遥感卫星影像小样本弱小目标检测方法中的步骤。

技术总结
本发明提出一种基于关联区检测的遥感卫星影像小样本弱小目标检测方法，属于遥感卫星图像的识别检测领域。方法包括：对小样本单个弱小目标样本数据执行图像增强处理和样本增广处理，并将经图像增强处理和样本增广处理的小样本单个弱小目标样本数据按照比例划分为训练集和测试集；对SSD网络结构进行改进，将训练集输入至经改进的SSD网络进行训练，以获取单个弱小目标检测模型；利用关联区样本数据训练关联区检测网络；对待检测影像进行切分，利用经训练的关联区检测网络检测经切分的待检测影像，以获取关联区检测结果；利用单个弱小目标监测模型对关联区检测结果进行检测，以获得待检测影像的弱小目标检测结果。得待检测影像的弱小目标检测结果。得待检测影像的弱小目标检测结果。


技术研发人员：尹璐 吕守业 田菁 张开锋 李晓斌 邢相薇 李今飞 黄立威 段小武 岳文振
受保护的技术使用者：北京市遥感信息研究所
技术研发日：2023.03.07
技术公布日：2023/8/9