基于平滑交互式压缩网络的小目标检测方法

1.本发明属于图像处理技术领域，更进一步涉及图像检测技术领域中的一种基于平滑交互式压缩网络的小目标检测方法。本发明采用基于平滑交互式压缩网络的小目标检测方法对图像中的弱小目标检测，可用于在硬件计算能力有限的前提下对背景复杂图像中的弱小目标进行检测。


背景技术：

2.近几十年来，由于缺乏公开的红外小目标数据集，小目标检测一直基于模型驱动的方法设计。由于图像接收器内噪声的干扰，以及待测目标与探测器之间距离较远，使得待测目标在图像中拥有非常小的占比面积，可用特征少、尺度小、缺少纹理、易丢失细节信息。现有技术不能解决复杂背景的问题，且算法的稳定性较差。不适合检测暗目标。对于目标较暗且背景复杂的红外图像，一些强杂波信号可能会像目标信号一样稀疏，导致虚警率增高。此外，在现有的深度学习方法中，特征学习主要依赖于卷积神经网络，其局域性削弱了捕获大范围依赖关系的能力，这很容易导致漏检与虚警。同时，卷积神经网络对计算成本的巨大需求使其消耗过多的计算资源。
3.华东理工大学在其申请的专利文献“一种基于注意力导向金字塔融合的红外小目标检测方法”(专利申请号：202211539561.x，申请公布号cn 116071676a)中公开了一种基于注意力导向金字塔融合的红外小目标检测方法。该方法实现的具体步骤是，第一步，获取红外图像训练与测试数据集，对数据集进行预处理：裁剪红外图像尺寸为统一大小、图像像素归一化。第二步，构建一种基于编码器-解码器结构的神经网络，将预处理后的红外图像输入到神经网络中。第三步，神经网络编码器各层的输出图像进入多尺度融合模块，丰富目标信息；多尺度融合模块的输出图像与相同层级解码器的输出图像拼接，经过注意力机制模块，放大关键信息。第四步，神经网络编码器的输出图像进入上下文金字塔模块，关联图像上下文信息，产生的输出图像进入解码器。第五步，将检测图像与真实标签图像的差异作为损失函数，迭代训练优化网络参数，待损失稳定后，将测试数据集中的图像输入到训练好的神经网络，解码器的输出图像为最终检测结果。该方法存在的不足之处是，该方法在对长距离相关特征编码时受到卷积核局域性的限制，削弱了网络在复杂场景中捕获目标形状和位置的能力，极易产生漏检与虚警。上下文金字塔模块由于提取单层特征的能力有限，不能处理复杂的背景杂波，导致检测结果中目标信噪比低，虚警率高。同时神经网络结构复杂，计算成本的巨大需求使其消耗过多的计算资源。
4.浙江大学在其申请的专利文献“基于深度学习语义特征分离的空域小目标检测方法”(专利申请号：202211656664.4，申请公布号cn 116206219 a)中公开了一种基于深度学习语义特征分离的空域小目标检测方法。该方法实现的具体步骤是，第一步,对输入图片进行预处理，消除噪声干扰，提高对小目标的学习能力。第二步,采用神经网络处理目标图片，并经过反卷积操作提取神经网络的语义信息与纹理信息。第三步,利用检测器生成目标区域存在概率图，采用概率图滤波处理目标语义及纹理特征，消除背景特征干扰，保留目标前
景特征，稀疏化目标特征表征空间。第四步,采用transformer结构网络通过查询处理目标语义信息及纹理特征信息，提取目标特征间的关联性，生成多个目标预测框集合。第五步,采用匈牙利算法，动态匹配预测框信息与真实框信息，通过最小化损失函数实现预测框与真实框之间的最优动态匹配机制，在不依赖先验信息的基础上实现目标预测。该方法存在的不足之处是，由于该方法利用概率图滤波的方法提取小目标特征，只能在一定程度上起到抑制均匀背景的作用，不能解决复杂背景的问题，且特征图之间的相关性差，获大范围依赖关系的能力较弱。该方法利用了transformer网络结构，该网络结构复杂、参数繁多，特征图衰减严重，使得小目标的特征信息在网络深层很容易被周围背景特征淹没。算法的稳定性较差且计算量大难以与现有硬件兼容。


技术实现要素：

5.本发明的目的在于针对上述现有技术存在的不足，提出了一种基于平滑交互式压缩网络的小目标检测方法，用于解决滤波器不能处理复杂的背景杂波，导致检测结果中目标信噪比低不能解决复杂背景的问题；卷积神经网络难以进行长距离相关特征编码，不同特征融合效果差，极易产生漏检与虚警的问题；神经网络结构复杂参数繁多，导致对图像中小目标检测的计算量需求巨大而不易与现有硬件适配的问题。
6.实现本发明目的的技术思路是，本发明构建的平滑交互模块，利用不同膨胀率的空洞卷积核得到的稀疏采样特征，随后利用稀疏采样特征的归一化注意力系数对中心节点进行更新，增添了特征图之间的依赖性，有效解决现有技术的滤波器不能处理复杂的背景杂波的缺陷，提高了检测结果中目标的信噪比。本发明构建的交叉关注子模块，沿通道维度将两个特征映射进行拼接，并进行全局平均池化以获得一维上下文特征，将一维上下文特征送至密集感知器，以获得归一化融合权重，有效解决现有技术卷积神经网络难以进行长距离相关特征编码，不同特征融合效果差的缺陷，降低了图像小目标检测的漏检率与虚警率。本发明构建的白盒剪枝子模块，将三个并行的卷积核代替复杂网络的卷积核，将运算等价地转换为一系列一维卷积，所有卷积核在同一个滑动窗口中共享，可以在不同的环境中覆盖不同的显著区域。在增强骨架的同时减少了参数量与计算量，压缩了卷积神经网络，有效解决现有技术神经网络结构复杂参数繁多的缺陷，大大减小了检测图像中小目标的计算量需求，容易与现有硬件适配。
7.为实现上述目的，本发明具体实现步骤包括如下：
8.步骤1，构建交叉关注子模块：
9.搭建一个由连接层、第一全连接层、第一激活层、第二全连接层、第二激活层、权重求和单元、输出层依次串联组成的主分支，第一输入层跨接在主分支模块的连接层与权重求和单元之间，第二输入层跨接在主分支的连接层与权重求和单元之间组成的交叉关注子模块；将第一、第二输入层的通道参数分别设置为32，16；第一、第二激活层的激活函数分别采用relu函数，softmax函数实现；
10.步骤2，构建白盒剪枝子模块：
11.搭建一个由输入层、卷积组、卷积层、输出层依次串联组成的白盒剪枝子模块；将输入层的通道参数设置为32；将卷积层中的卷积核大小设置为3
×
3，滑动步长均设置为1；将输出层的通道参数设置为16；
12.步骤3，构建交叉压缩模块：
13.搭建一个由第二输入层、白盒剪枝子模块、交叉关注子模块、输出层依次串联组成的主分支，第一输入层还与主分支中的交叉关注子模块相连后组成构建交叉压缩模块；将第一、第二输入层的通道参数分别设置为32，16；将输入层的通道参数设置为1；
14.步骤4，构建平滑交互式压缩网络：
15.搭建一个由输入层、第一卷积组、第二卷积组、第三卷积组、第二平滑交互模块、反卷积组、交叉压缩模块、输出层依次串联组成的主分支，主分支中第二卷积组与反卷积组之间跨接第一平滑交互模块，主分支中的第一卷积组还与交叉压缩模块直接相连；
16.所述第一、第二平滑交互模块的结构相同，均由平滑输入层、空洞卷积组、平滑处理层、卷积层、平滑输出层依次串联组成；将第一、第二平滑交互模块的卷积层中卷积核的大小均设置为1
×
1，滑动步长均设置为1；将第一、第二平滑交互模块中的平滑输入层的通道参数分别设置为32、64；将第一、第二平滑交互模块中的平滑输出层的通道参数分别设置为32、64；
17.步骤5，生成训练集：
18.选取至少800张图像组成样本集，将样本集中的每张图像输入到torchvision模块中进行归一化处理，将归一化处理后的所有样本组成训练集；
19.步骤6，训练平滑交互式压缩网络：
20.将训练集输入到平滑交互式压缩网络中，使用adagrad优化器，通过随机梯度下降法，对网络参数进行迭代更新，直至网络的交并比损失函数收敛为止，得到训练好的平滑交互式压缩网络；
21.步骤7，对弱小目标进行检测：
22.将待检测的弱小目标图像归一化处理后的图像，输入到训练好的平滑交互式压缩网络中；将网络输出的图像中由多个像素值为1的像素点组成的区域作为检测到的小目标区域，像素值为0的像素点代表未检测到小目标的区域。
23.与现有技术相比，本发明具有以下优点：
24.第一，本发明构建的平滑交互模块,在不增加计算量的情况下扩大感受野，同时增添了特征图之间的依赖性。克服了现有技术的滤波器不能处理复杂的背景杂波的缺陷，使得本发明提高了检测结果中目标的信噪比。
25.第二，本发明设计的交叉压缩模块中的交叉关注子模块，根据输入图像的内容来调整不同分辨率输入的贡献程度，以动态融合不同分辨率的特征图。克服了现有技术卷积神经网络难以进行长距离相关特征编码，不同特征融合效果差，从而使得本发明大大降低了图像小目标检测的漏检率与虚警率，提高了小目标的检测精度。
26.第三，本发明设计的交叉压缩模块中的白盒剪枝子模块，在压缩卷积神经网络的同时增加了通道剪枝的可解释性，可以在不降低性能的情况下降低模型的复杂性。克服了现有技术神经网络结构复杂参数繁多的缺陷，使得本发明对图像中小目标检测的计算量需求很小，网络结构简单易实现与现有硬件适配。
附图说明
27.图1为本发明实现的流程图；
28.图2为本发明平滑交互模块的结构示意图；
29.图3为本发明交叉关注子模块的结构示意图；
30.图4为本发明白盒剪枝子模块的结构示意图；
31.图5为本发明交叉压缩模块的结构示意图；
32.图6为本发明平滑交互式压缩网络的结构示意图；
33.图7为本发明实施例中待测图像的示意图；
34.图8为本发明实施例的待测图像中弱小目标的真实位置和形状示意图；
35.图9为本发明检测出实施例中的待测图像中弱小目标的位置和形状示意图；
36.图10为本发明仿真实验1的仿真结果图；
37.图11为本发明仿真实验2的仿真结果图。
具体实施方式
38.以下结合附图和实施例，对本发明做进一步的描述。
39.参照图1，对本发明实施例的实现步骤做进一步的描述。
40.步骤1，构建平滑交互模块。
41.参照图2，对本发明构建的平滑交互模块的结构做进一步的描述。
42.步骤1.1，搭建一个由输入层、空洞卷积组、平滑处理层、卷积层、输出层依次串联组成的平滑交互模块。其中，空洞卷积组由第一空洞卷积层、第二空洞卷积层、第三空洞卷积层、第四空洞卷积层、第五空洞卷积层并联组成。
43.步骤1.2，将卷积层中的卷积核大小设置为1
×
1，滑动步长设置为1；将第一至第五空洞卷积层中的膨胀率分别设置为0、1、2、3、4，滑动步长均设置为1。
44.步骤2，构建交叉关注子模块。
45.参照图3，对本发明构建的交叉关注子模块的结构做进一步的描述。
46.步骤2.1，搭建一个包括第一输入层、第二输入层、连接层、第一全连接层、第一激活层、第二全连接层、第二激活层、权重求和单元、输出层的交叉关注子模块。其中，第一输入层、连接层、第一全连接层、第一激活层、第二全连接层、第二激活层、权重求和单元、输出层依次串联，第一输入层还与权重求和单元相连，第二输入层还与连接层、权重求和单元相连。
47.步骤2.2，将第一、第二输入层的通道参数分别设置为32，16；第一激活层的激活函数采用relu函数，第二激活层的激活函数采用softmax函数。
48.步骤3，构建白盒剪枝子模块。
49.参照图4，对本发明构建的白盒剪枝子模块的结构做进一步的描述。
50.步骤3.1，搭建一个输入层、卷积组、卷积层、输出层依次串联的白盒剪枝子模块。其中，卷积组由第一卷积层、第二卷积层、第三卷积层并联组成。
51.步骤3.2，将输入层的通道参数设置为32；将第一至第三卷积层中的卷积核大小分别设置为3
×
1、1
×
3、3
×
1，滑动步长均设置为1；将卷积层中的卷积核大小设置为3
×
3，滑动步长均设置为1；将输出层的通道参数设置为16。
52.步骤4，构建交叉压缩模块。
53.参照图5，对本发明构建的白盒剪枝子模块的结构做进一步的描述。
54.步骤4.1，搭建一个包括第一输入层、第二输入层、白盒剪枝子模块、交叉关注子模块、输出层的交叉压缩模块，其中，第二输入层、白盒剪枝子模块、交叉关注子模块、输出层依次串联，第一输入层还与交叉关注子模块相连。
55.步骤4.2，将第一、第二输入层的通道参数分别设置为32，16；将输入层的通道参数设置为1。
56.步骤5，构建平滑交互式压缩网络。
57.参照图6，对本发明构建的平滑交互式压缩网络的结构做进一步的描述。
58.搭建一个包括输入层、第一卷积组、第二卷积组、第三卷积组、反卷积组、第一平滑交互模块、第二平滑交互模块、交叉压缩模块、输出层的平滑交互式压缩网络，
59.其中，输入层、第一卷积组、第二卷积组、第三卷积组、第二平滑交互模块、反卷积组、交叉压缩模块、输出层依次串联；第一卷积组还与交叉压缩模块相连，第二卷积组还与第一平滑交互模块相连，第一平滑交互模块还与反卷积组相连。
60.所述第一至第三卷积组由结构相同的第一卷积层、第一池化层、第二卷积层、第二池化层依次串联组成。
61.将第一、第二卷积层卷积核大小均设置为3
×
3，滑动步长均设置为1，将第一至第三残差卷积组的输出通道分别设置为16、32、64；第一、第二池化层的激活函数均采用relu函数。
62.所述反卷积组由第一反卷积层、第一池化层、第二反卷积层、第二池化层依次串联组成。
63.将第一、第二反卷积层卷积核大小均设置为3
×
3，滑动步长均设置为1，第一、第二池化层的激活函数均采用relu函数，将反卷积组的输出通道分别设置为32。
64.步骤6，生成训练集、测试集。
65.步骤6.1，本发明的实施例是从公开的irstd-1k数据集中选取1001张图像组成样本集，将样本集中80％的图像组成训练样本集，20％的图像组成测试样本集。
66.步骤6.2，将每张训练样本集中的图像输入到torchvision模块中进行归一化处理，将归一化处理后的所有训练样本组成训练集。对测试样本集采用相同的方法得到测试集。
67.步骤7，训练平滑交互式压缩网络。
68.将训练集输入到平滑交互式压缩网络中，对于训练集，利用基于知识蒸馏的交叉熵损失函数，使用adagrad作为优化器，学习速率为0.06，训练过程共包含2000个epoch，权值衰减为10-4
，批次大小为12个。计算所选取的图像输入到平滑交互式压缩网络后，平滑交互式压缩网络的损失值，利用随机梯度下降法的梯度优化算法对网络参数进行优化，迭代更新平滑交互式压缩网络的权重值，直至网络的交并比损失函数收敛为止，得到训练好的平滑交互式压缩网络。
69.所述的损失函数如下:
[0070][0071]
其中，ls表示输入到平滑交互式压缩网络中的图像，经过一轮迭代后，输出的网络损失值，mean(
·
)表示求平均值操作，γ表示在[0,1]的实数范围内取值的权重因子，τ表示
在[0,1]的实数范围内取值的损失权重因子，h和w分别表示平滑交互式压缩网络的输出图像的高度和宽度，m和n分别表示平滑交互式压缩网络的输出图像的沿高度维度和宽度维度的像素索引，|
·
|表示求绝对值操作，表示平滑交互式压缩网络输出层输出的图像中第m行第n列的像素属于真实目标的概率，r
mn
表示输入图像中第m行第n列的像素的类别，表示平滑交互式压缩网络中第一卷积组输出的图像中的第m行第n列的像素点。
[0072]
步骤8，对弱小目标进行检测。
[0073]
将测试集输入到训练好的平滑交互式压缩网络中检测图像中的小目标。网络输出的图像中由多个像素值为1的像素点组成的区域作为检测到的小目标区域，像素值为0的像素点代表未检测到小目标的区域。
[0074]
下面结合本发明的实施例和图7、8、9，对本发明做进一步的描述。
[0075]
图7为本发明实施例中是从测试样本集中随机选取一张未经任何预处理的原始图像，该图像中的待测弱小目标位于复杂的云层下，且占有极少的像素点，很难与复杂的背景区分开。对该图像进行预处理后输入到本发明构建并训练好的平滑交互式压缩网络中，该网络输出的弱小目标检测结果如图8所示。图8中位于左侧的白色弱小像素点显示检测出图7中弱小目标的位置，图8中右下角的灰色方框中显示检测出的弱小目标的形状。
[0076]
图9为本发明测试样本集中与图7所述待测图像相对应的该弱小目标的真实位置和真实形状图。图9中位于左侧的白色弱小像素点为待测图像中弱小目标的真实位置信息，右下角白色方框中显示该弱小目标的真实形状。
[0077]
将图8与图9进行对比，显然利用本发明所述方法检测出弱小目标的位置、形状信息与真实信息的相似度极高，说明本发明构建并训练好的平滑交互式压缩网络抑制背景、增强目标效果明显，差分层生成模块提取小目标特征准确，四阶adams引导模块融合各层次特征效果良好，使弱小目标检测中的准确率大大提高。
[0078]
本发明的效果可以通过下面的仿真得到进一步证明。
[0079]
1.仿真实验条件。
[0080]
本发明的仿真实验的软件平台采用linux操作系统和pycharm2021.1专业版，硬件平台采用nvidia rtx a2000 gpu。
[0081]
2.仿真内容与结果分析。
[0082]
本发明仿真实验1是将测试样本集中随机选取的四张图片，进行预处理后分别输入到本发明训练好的网络和五个现有技术公开的训练好的网络中(pstnn、ipi、mdvsfa、acm网络和alc网络)，进行弱小目标检测，得到六组输出24张的弱小目标检测结果图片。将从测试集中随机选取的四张图片、24张预测结果图片与四张真实小目标图片对比，得到的8组共计32张图片组如图10所示。每张图片中的红色方框内的像素显示了弱小目标的位置和形状，蓝色圆圈内的像素表示漏检的小目标像素，黄色圆圈内的像素表示误报的小目标像素。
[0083]
检测结果如图10所示，从图10中可以看出，输入的四张图像中每张图像内都由一个待检测的小目标，对于pstnn方法，其检测结果总共出现了两次漏检与两次误报，且在图片二的检测结果中同时出现了漏检与误报；对于ipi方法，其检测结果总共出现了两次漏检与两次误报，且漏检的像素很多；对于mdvsfa方法，其检测结果总共出现了一次漏检与三次误报，且三次误报出现在同一张图片中，说明该方法检测小目标的鲁棒性差；对于acm网络，其检测结果总共出现了一次漏检与三次误报；对于alc网络，其检测结果总共出现了一次漏
检与一次误报；对于本发明的方法，其检测结果没有出现任何漏检和误报的情况，且网络输出图像中小目标的位置和大小均与实际小目标图像十分接近，保留了小目标的细节与轮廓信息，检测结果明显优于现有技术；
[0084]
本发明仿真实验中所采用的现有技术是指：
[0085]
pstnn是指，hong zhang等人在其发表的论文“infrared small target detection based on partial sum of the tensor nuclear norm”(remote sensing for target object detection and identification，13february 2019)中提出一种弱小目标检测方法中提出的pstnn方法。
[0086]
ipi是指，landan zhang等人在其发表的论文“infrared patch-image model for small target detection in a single image”(ieee transactions on image processing volume:22,issue:12,december 2013 4996-5009)中提出一种弱小目标检测方法中提出的ipi方法。
[0087]
mdvsfa是指，huan wang等人在其发表的论文“miss detection vs.false alarm:adversarial learning for small object segmentation in infrared images”(proceedings of the ieee/cvf international conference on computer vision(iccv),2019,pp.8509-8518)中提出一种弱小目标检测方法中所提出的mdvsfa方法。
[0088]
acm网络是指，yimian dai等人在其发表的论文“asymmetric contextual modulation for infrared small target detection”(proceedings of the ieee/cvf winter conference on applications of computer vision(wacv),2021,pp.950-959)中提出一种弱小目标检测方法中提出的acm网络。
[0089]
alc网络是指，yimian dai等人在其发表的论文“attentional local contrast networks for infrared small target detection”(ieee transactions on geoscience and remote sensing，05 january 2021，9813-9824)中提出一种弱小目标检测方法中提出的alc网络。
[0090]
本发明仿真实验2是将测试集分别输入到本发明训练好的网络和四个现有技术公开的训练好的网络中(mdvsfa、sk网络、acm网络、alc网络)，进行弱小目标检测。
[0091]
本发明仿真实验2中所采用的现有技术是指：
[0092]
sk网络是指，xiang li等人在其发表的论文“selective kernel networks”(proceedings of the ieee/cvf conference on computer vision and pattern recognition(cvpr),2019,pp.510-519)中提出一种弱小目标检测方法中提出的sk网络方法。
[0093]
本发明仿真实验使用交并比iou、归一化交并比niou、受试者工作特性曲线roc、检测率pd、虚警率fa和浮点运算次数flops评价指标来评估现有的弱小目标检测方法。iou、niou定义为：
[0094][0095]
[0096]
其中，t、p、tp分别表示真值像素、预测为正确的像素、预测为正确且是真值的像素数量。n表示训练集中图像样本的总数，i表示训练集中图像样本的索引。iou和niou的数值越大证明网络的检测性能越好。
[0097]
真阳性率(pd)表示在真值被预测为正确占总真值的比例，假阳性率(fa)表示在假值被预测为正确占总假值的比例：
[0098][0099][0100]
其中，fp、tn、fn分别表示预测为正确且是假值的像素、预测为错误且是假值的像素、预测为错误且是真值的像素数量。一个网络的测试所得真阳性率越大检测效果越好，假阳性率越小检测效果越好。roc曲线即描述pd与fa之间的动态关系。对于roc指标，一个网络的roc函数图线随着假阳性率的增长，真阳性率越大网络的检测结果越好,对于flops指标，一个网络的flops值越小网络的结构越简单。
[0101]
将测试集分别输入到本发明训练好的网络和四个现有技术公开的训练好的网络中，对得到的输出弱小目标检测结果图片进行处理，得到iou、niou、pd、fa和flops评价指标如表1所示，将pd、fa绘制成五条roc曲线如图11所示。
[0102]
表1：评价指标对照表
[0103][0104]
从表1可以看出，相较于四个现有技术，本发明所提出的网络测试所得的iou、niou、pd均为最大，fa和flops均为最小，五项评价指标均优于现有技术，说明与现有技术相比，本发明所搭建的网络不但结构最简单，检测小目标的效果也最好。从图11可以看出，本发明网络对应的roc函数图线随着假阳性率的升高，真阳性率升高最快，且高于现有技术的roc函数图线，证明本发明所提出的网络检测弱小目标的效果最好，综上所述，本发明优于现有技术的模型。

技术特征：
1.一种基于平滑交互式压缩网络的小目标检测方法，其特征在于，分别构建平滑交互式压缩网络中的交叉关注子模块、白盒剪枝子模块、交叉压缩模块第一、第二平滑交互模块；该检测方法的步骤包括如下：步骤1，构建交叉关注子模块：搭建一个由连接层、第一全连接层、第一激活层、第二全连接层、第二激活层、权重求和单元、输出层依次串联组成的主分支，第一输入层跨接在主分支模块的连接层与权重求和单元之间，第二输入层跨接在主分支的连接层与权重求和单元之间组成的交叉关注子模块；将第一、第二输入层的通道参数分别设置为32，16；第一、第二激活层的激活函数分别采用relu函数，softmax函数实现；步骤2，构建白盒剪枝子模块：搭建一个由输入层、卷积组、卷积层、输出层依次串联组成的白盒剪枝子模块；将输入层的通道参数设置为32；将卷积层中的卷积核大小设置为3
×
3，滑动步长均设置为1；将输出层的通道参数设置为16；步骤3，构建交叉压缩模块：搭建一个由第二输入层、白盒剪枝子模块、交叉关注子模块、输出层依次串联组成的主分支，第一输入层还与主分支中的交叉关注子模块相连后组成构建交叉压缩模块；将第一、第二输入层的通道参数分别设置为32，16；将输入层的通道参数设置为1；步骤4，构建平滑交互式压缩网络：搭建一个由输入层、第一卷积组、第二卷积组、第三卷积组、第二平滑交互模块、反卷积组、交叉压缩模块、输出层依次串联组成的主分支，主分支中第二卷积组与反卷积组之间跨接第一平滑交互模块，主分支中的第一卷积组还与交叉压缩模块直接相连；所述第一、第二平滑交互模块的结构相同，均由平滑输入层、空洞卷积组、平滑处理层、卷积层、平滑输出层依次串联组成；将第一、第二平滑交互模块的卷积层中卷积核的大小均设置为1
×
1，滑动步长均设置为1；将第一、第二平滑交互模块中的平滑输入层的通道参数分别设置为32、64；将第一、第二平滑交互模块中的平滑输出层的通道参数分别设置为32、64；步骤5，生成训练集：选取至少800张图像组成样本集，将样本集中的每张图像输入到torchvision模块中进行归一化处理，将归一化处理后的所有样本组成训练集；步骤6，训练平滑交互式压缩网络：将训练集输入到平滑交互式压缩网络中，使用adagrad优化器，通过随机梯度下降法，对网络参数进行迭代更新，直至网络的交并比损失函数收敛为止，得到训练好的平滑交互式压缩网络；步骤7，对弱小目标进行检测：将待检测的弱小目标图像归一化处理后的图像，输入到训练好的平滑交互式压缩网络中；将网络输出的图像中由多个像素值为1的像素点组成的区域作为检测到的小目标区域，像素值为0的像素点代表未检测到小目标的区域。2.根据权利要求1所述的基于平滑交互式压缩网络的小目标检测方法，其特征在于，步骤1中所述的权重求和单元是由下式完成权重求和操作的：
p
t
＝y
·
w1·
p+y
·
w2·
p
′
其中，p
t
表示权重求和单元输出的归一化融合权重矩阵，y表示交叉关注子模块中的第二激活层输出的特征系数，为1行2列的矩阵，w1和w2表示权重融合系数，均为2行1列的矩阵，p
′
和p分别表示交叉关注子模块中第一、第二输入层的输入图像矩阵。3.根据权利要求1所述的基于平滑交互式压缩网络的小目标检测方法，其特征在于，步骤2中所述的卷积组由第一卷积层、第二卷积层、第三卷积层并联组成；将第一至第三卷积层中的卷积核大小分别设置为3
×
1、1
×
3、3
×
1，滑动步长均设置为1。4.根据权利要求1所述的基于平滑交互式压缩网络的小目标检测方法，其特征在于，步骤4中所述的平滑处理层是由下式完成平滑处理操作的：其中，表示平滑处理层输出的融合特征图像中第j个的像素点，∑表示求和操作，softmax(
·
)表示softmax函数，α2表示平滑操作窗口的大小，n
i
表示平滑操作窗口中第i个有向边，c表示位于平滑操作窗口正中央的有向边，n
i
和c均是d维向量，d的取值与平滑交互式压缩网络中平滑输入层的输入通道数相等，上角标t表示转置操作，w
q
和w
k
均表示d
k
行d列的矩阵，d
k
为一个在[1,10]的整数范围内取值的参数，w
q
和w
k
矩阵中每个元素均为在[-1,1]的实数范围内取值的注意力融合系数，w
v
表示为d
o
行d列的矩阵，d
o
的取值与平滑交互式压缩网络中平滑输出层的输出通道数相等，w
v
矩阵中每个元素为在[-1,1]的实数范围内取值的注意力输出系数。5.根据权利要求1所述的基于平滑交互式压缩网络的小目标检测方法，其特征在于，步骤5中所述的空洞卷积组由第一空洞卷积层、第二空洞卷积层、第三空洞卷积层、第四空洞卷积层、第五空洞卷积层并联组成；将第一至第五空洞卷积层中的膨胀率分别设置为0、1、2、3、4，滑动步长均设置为1。6.根据权利要求1所述的基于平滑交互式压缩网络的小目标检测方法，其特征在于，步骤5中所述的第一至第三卷积组的结构均相同，由第一卷积层、第一池化层、第二卷积层、第二池化层依次串联组成；将第一、第二卷积层卷积核大小均设置为3
×
3，滑动步长均设置为1；第一、第二池化层的激活函数均采用relu函数；将第一至第三残差卷积组的输出通道分别设置为16、32、64。7.根据权利要求1所述的基于平滑交互式压缩网络的小目标检测方法，其特征在于，步骤5中所述的反卷积组由第一反卷积层、第一池化层、第二反卷积层、第二池化层依次串联组成；将第一、第二反卷积层卷积核大小均设置为3
×
3，滑动步长均设置为1，第一、第二池化层的激活函数均采用relu函数，将反卷积组的输出通道分别设置为32。8.根据权利要求1中所述的基于平滑交互式压缩网络的小目标检测方法，其特征在于，步骤6中所述的损失函数如下:其中，l
s
表示输入到平滑交互式压缩网络中的图像，经过一轮迭代后，输出的网络损失值，mean(
·
)表示求平均值操作，γ表示在[0,1]的实数范围内取值的权重因子，τ表示在
[0,1]的实数范围内取值的损失权重因子，h和w分别表示平滑交互式压缩网络的输出图像的高度和宽度，m和n分别表示平滑交互式压缩网络的输出图像的沿高度维度和宽度维度的像素索引，|
·
|表示求绝对值操作，表示平滑交互式压缩网络输出层输出的图像中第m行第n列的像素属于真实目标的概率，r
mn
表示输入图像中第m行第n列的像素的类别，表示平滑交互式压缩网络中第一卷积组输出的图像中的第m行第n列的像素点。

技术总结
本发明公开了一种基于平滑交互式压缩网络的小目标检测方法，其实现步骤是，构建并训练平滑交互式压缩网络，利用该网络中的平滑交互模块在多尺度的范围内鲁棒地学习图像特征的语义信息，利用平滑交互式压缩网络中的交叉关注子模块根据输入图像的内容来调动态融合不同分辨率的特征图。利用平滑交互式压缩网络中的白盒剪枝子模块不降低性能的前提下降低模型的复杂性。本发明主要解决在硬件计算能力有限的前提下对背景复杂图像中的弱小目标进行检测的问题，具有特征图之间的依赖性强、动态融合不同分辨率的特征图效果好，漏检率与虚警率低，网络计算量需求小且结构简单从而易与现有硬件适配的优点。现有硬件适配的优点。现有硬件适配的优点。


技术研发人员：张铭津 杨辰尧 周楠 左龙 郭杰 李云松 高新波
受保护的技术使用者：西安电子科技大学
技术研发日：2023.07.11
技术公布日：2023/9/9