基于对抗自编码器和注意力机制的高光谱目标检测方法

1.本发明涉及一种基于对抗自编码器和注意力机制的高光谱目标检测方，属于图像处理的技术领域。


背景技术：

2.目标检测是高光谱遥感领域的一个重要研究和应用方向。与注重空间几何的高分辨率图像目标检测相比，高光谱图像目标检测更注重感兴趣目标与背景之间细微的光谱特征差异。高光谱图像具有数据量大的特点，这代表其中存在大量的冗余信息，影响处理速度；利用基于深度学习的方法进行高光谱目标检测时，由于目标通常较小，面临着正负样本不均衡的问题，缺乏训练数据影响了目标检测的精度。


技术实现要素：

3.本发明的目的在于提供一种基于对抗自编码器和注意力机制的高光谱目标检测方法，以解决上述背景技术中提出的问题。
4.为实现上述目的，本发明提供如下技术方案：基于对抗自编码器和注意力机制的高光谱目标检测方法，包括以下步骤：
5.步骤一：通过高光谱目标检测算法cem对输入高光谱图像进行粗检测，通过调整粗检测结果图的二值化阈值，以获得尽可能纯净的背景样本作为训练数据；
6.步骤二：对已有的基于对抗自编码器的网络模型进行改进，引入了光谱注意力机制，将训练数据输入改进后的网络中，首先光谱注意力机制模块给输入的高光谱数据的光谱维度分配权重，然后将带权重的数据输入对抗自编码器网络中，自编码器作为网络的生成器，输入数据x经过编码器得到隐藏向量z，然后通过解码器得到重建结果x'，通过判别器来判断z是否为真实数据，联合对抗网络的损失函数和自编码器的损失函数不断优化网络，使输出重建结果x'尽可能接近输入数据x，获得了一个可以精确重建出高光谱图像背景的模型；步骤三：将测试高光谱图像输入网络进行重建，将重建结果与原始高光谱图像逐个像素计算光谱距离获得距离图；对距离图施加背景抑制得到最终的检测结果图。
7.进一步的，在步骤一中，所述粗检测选用的已有算法为cem算法，cem算法是设计一个fir线性滤波器，使得在满足约束条件式的情况下滤波器的输出能量最小，在将粗检测结果进行二值化这一步时调低其二值化阈值，使得在虚警率较高的条件下达到最高的粗检测精度，并选取背景样本中的80％作为训练数据。
8.进一步的，在步骤二中，引入了光谱注意力机制，通过使用两个1
×
1的卷积层对输入数据x
t
∈rh×w×c，x
t
表示像素点，r为高光谱数据，h,w,c为高光谱数据的空间尺寸及光谱维度，进行线性映射来获得全空间分辨率query向量和半通道分辨率key向量然后，query向量通过矩阵相乘操作重新映射到key向量，计算出光谱维度的自相关性，得到注意力(attention)系数，记为value向量为了避免连续性的过度损失，将通道设为c/2，上述过程用公式表示如下：
[0009][0010][0011][0012]
其中表示1
×
1的卷积层，fr(
·
)表示通过reshape函数来调整尺寸达到匹配，表示矩阵乘法运算，在通道调整和sigmoid激活之后，获得每个通道的权重因子，然后，将原始数据x
t
∈rh×w×c和权重因子相乘得到重新校准后的输入数据：
[0013][0014]
通过上述的光谱注意力模型，对输入的光谱数据的光谱维度分配了权重，使网络能够将注意力放在信息量较大的光谱维度；采用了对抗自编码器作为网络的基本架构，训练基于对抗自编码器的网络学会重建只有背景的高光谱数据，在训练过程中，联合利用两种损失函数以达到更高的检测精度，所采用的损失函数如下所示：
[0015]
l
total
＝la+le[0016]
式中，l
total
为总的损失函数，la为对抗网络的损失函数，le为添加了目标抑制的编码器的损失函数，la的计算公式如下所示：
[0017][0018]
式中，g表示生成器，d表示判别器，d(x)代表输入为原始图像时判别器的输出，d(g(z))代表输入为生成器合成的图像是判别器的输出，(z))代表输入为生成器合成的图像是判别器的输出，表示求该分布的期望值，p
data
(x)表示真实数据的空间分布，pz(z)表示合成样本的空间分布，le的计算公式如下所示：
[0019][0020]
式中，hi是输入高光谱图像样本，h'i是重建后的高光谱图像，si是重建光谱h'i和目标光谱d的光谱角制图。
[0021]
进一步的，在步骤三中，对输入高光谱数据h和重建结果h'进行逐个像素的计算光谱距离d
si
用公式表示如下：
[0022][0023]
t代表矩阵转置，
[0024]
经过逐个像素计算d
si
得到最终的距离图ds,然后将d
si
乘以一个基于粗检测结果的非负数得到逐个像素的检测结果，用公式表示如下：
[0025]dfi
＝q(yi)d
si
[0026]
其中非线性函数q(x)用于抑制背景光谱的同时保持目标光谱不变，定义如下：
[0027][0028]
其中λ是调整抑制能力的参数，x为非负数yi，最终检测结果表示为:
[0029]df
＝[d
f1
,d
f2
,...,d
fm
×n]
[0030]
其中df为最终得到的距离图，d
f1
,d
f2
,...,d
fm
×n为每个像素点的距离。
[0031]
本发明与现有技术相比，其显著优点在于：
[0032]
(1)本发明提出了一种基于对抗自编码器和注意力机制的高光谱目标检测算法，该方法能够有效利用高光谱图像中的光谱信息，通过学习获得精确的背景重建模型，进而实现精确地高光谱图像目标检测。
[0033]
(2)引入了光谱注意力机制，高光谱图像中存在的光谱冗余现象造成算法处理时间过长的问题。光谱注意力模型将关注点放在高光谱图像的光谱维度，也即通过分配权重的方式将网络注意力放在信息量较大的光谱维度，通过光谱注意力机制，提高了算法的收敛速度，减少了运行时间。
附图说明
[0034]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0035]
图1为本发明算法总体流程示意图；
[0036]
图2为本发明所采取的光谱注意力模型示意图；
[0037]
图3为本发明所采取的对抗自编码器结构示意图；
[0038]
图4为本发明的目标检测结果与其他算法比较示意图；
[0039]
图5为本发明的roc曲线与其他算法比较示意图。
具体实施方式
[0040]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]
参阅图1，本发明基于对抗自编码器和注意力机制的高光谱目标检测方法，包括了背景重建网络的总体流程，以及如何对高光谱图像进行测试获得最终的检测结果图。
[0042]
基于对抗自编码器和注意力机制的高光谱目标检测方法，包括以下步骤：
[0043]
步骤一：对输入高光谱图像进行粗检测，通过调整粗检测结果图的二值化阈值，以获得尽可能纯净的背景样本作为训练数据；
[0044]
所述粗检测选用的已有算法为cem算法，cem算法是设计一个fir线性滤波器，使得在满足约束条件式的情况下滤波器的输出能量最小，在将检测结果进行二值化这一步时调低其二值化阈值，使得在虚警率较高的条件下达到最高的粗检测精度，并选取背景样本中
的80％作为训练数据。
[0045]
步骤二：对基于对抗自编码器和注意力机制的模型进行训练，通过光谱注意力机制模块给输入训练数据的光谱维度分配权重，然后训练基于对抗自编码器的网络使其学会重建图像，获得一个可以精确重建出高光谱图像背景的模型；
[0046]
如图2-3所示，引入了光谱注意力机制，通过给光谱维度分配权重使得网络将注意力放在信息量较大的光谱维度；光谱注意力模型如图二所示，具体方法为：通过使用两个1
×
1的卷积层对输入数据x
t
∈rh×w×c进行线性映射来获得全空间分辨率query向量和半通道分辨率key向量然后，query向量通过矩阵相乘操作重新映射到key向量，计算出光谱维度的自相关性，得到注意力(attention)系数，记为value向量将通道设为c/2是为了避免连续性的过度损失。将上述过程用公式表示如下
[0047][0048][0049][0050]
其中表示1
×
1的卷积层，fr(
·
)表示通过reshape函数来调整尺寸达到匹配，表示矩阵乘法运算，在通道调整和sigmoid激活之后，可以获得每个通道的权重因子。然后，将原始数据x
t
∈rh×w×c和权重因子相乘得到重新校准后的输入数据：
[0051][0052]
上述的光谱注意力模型，对输入的光谱数据的光谱维度分配了权重，使网络能够将注意力放在信息量较大的光谱维度。采用了对抗自编码器作为网络的基本架构，训练基于对抗自编码器的网络学会重建只有背景的高光谱数据，在训练过程中，联合利用两种损失函数以达到更高的检测精度。所采用的损失函数如下所示：
[0053]
l
total
＝la+le[0054]
上式中，l
total
为总的损失函数，la为对抗网络的损失函数，le为添加了目标抑制的编码器的损失函数，la的计算公式如下所示：
[0055][0056]
上式中，g和d分别表示生成器和判别器。d(x)代表输入为原始图像时判别器的输出，d(g(z))代表输入为生成器合成的图像时判别器的输出，出，d(g(z))代表输入为生成器合成的图像时判别器的输出，表示求该分布的期望值，p
data
(x)表示真实数据的空间分布，pz(z)表示合成样本的空间分布。le的计算公式如下所示：
[0057][0058]
上式中，hi是输入高光谱图像样本，h'i是重建后的高光谱图像，si是重建光谱h'i和目标光谱d的光谱角制图。
[0059]
步骤三：将测试高光谱图像输入网络进行重建，将重建结果与原始高光谱图像逐
个像素计算光谱距离获得距离图；
[0060]
输入高光谱数据h和重建结果h'进行逐个像素的计算光谱距离d
si
用公式表示如下：
[0061][0062]
经过逐个像素计算d
si
可以得到最终的距离图ds,然后将d
si
乘以一个基于粗检测结果的非负数得到最终的检测结果，用公式表示如下：
[0063]dfi
＝q(yi)d
si
[0064]
其中非线性函数q(x)用于抑制背景光谱的同时保持目标光谱不变，定义如下：
[0065][0066]
其中λ是调整抑制能力的参数，最终检测结果可以表示为：
[0067]df
＝[d
f1
,d
f2
,...,d
fm
×n]
[0068]
其中图4为本发明检测结果与其他算法比较示意图，图4为在同一真实高光谱数据集下，本发明所提出算法的检测结果图以及五个对比算法的检测结果图，从结果图中可以看出，本发明提出的算法的检测精度高且虚警率低。图5为本发明所提出的算法与对比算法的roc曲线示意图，roc曲线是高光谱目标检测领域的常用评价指标，由该曲线图可以计算出曲线下的面积auc作为定量的指标证明本发明的检测精度优于其他对比算法。
[0069]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0070]
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

技术特征：
1.基于对抗自编码器和注意力机制的高光谱目标检测方法，其特征在于，包括以下步骤：步骤一：通过高光谱目标检测算法cem对输入高光谱图像进行粗检测，通过调整粗检测结果图的二值化阈值，以获得尽可能纯净的背景样本作为训练数据；步骤二：对已有的基于对抗自编码器的网络模型进行改进，引入了光谱注意力机制，将训练数据输入改进后的网络中，首先光谱注意力机制模块给输入的高光谱数据的光谱维度分配权重，然后将带权重的数据输入对抗自编码器网络中，自编码器作为网络的生成器，输入数据x经过编码器得到隐藏向量z，然后通过解码器得到重建结果x'，通过判别器来判断z是否为真实数据，联合对抗网络的损失函数和自编码器的损失函数不断优化网络，使输出重建结果x'尽可能接近输入数据x，获得了一个可以精确重建出高光谱图像背景的模型；步骤三：将测试高光谱图像输入网络进行重建，将重建结果与原始高光谱图像逐个像素计算光谱距离获得距离图；对距离图施加背景抑制得到最终的检测结果图。2.根据权利要求1所述的基于对抗自编码器和注意力机制的高光谱目标检测方法，其特征在于：在步骤一中，所述粗检测选用的已有算法为cem算法，cem算法是设计一个fir线性滤波器，使得在满足约束条件式的情况下滤波器的输出能量最小，在将粗检测结果进行二值化这一步时调低其二值化阈值，使得在虚警率较高的条件下达到最高的粗检测精度，并选取背景样本中的80％作为训练数据。3.根据权利要求1所述的基于对抗自编码器和注意力机制的高光谱目标检测方法，其特征在于：在步骤二中，引入了光谱注意力机制，通过使用两个1
×
1的卷积层对输入数据x
t
∈r
h
×
w
×
c
，x
t
表示像素点，r为高光谱数据，h,w,c为高光谱数据的空间尺寸及光谱维度，进行线性映射来获得全空间分辨率query向量和半通道分辨率key向量然后，query向量通过矩阵相乘操作重新映射到key向量，计算出光谱维度的自相关性，得到注意力(attention)系数，记为value向量为了避免连续性的过度损失，将通道设为c/2，上述过程用公式表示如下：过程用公式表示如下：过程用公式表示如下：其中表示1
×
1的卷积层，f
r
(
·
)表示通过reshape函数来调整尺寸达到匹配，表示矩阵乘法运算，在通道调整和sigmoid激活之后，获得每个通道的权重因子，然后，将原始数据x
t
∈r
h
×
w
×
c
和权重因子相乘得到重新校准后的输入数据：通过上述的光谱注意力模型，对输入的光谱数据的光谱维度分配了权重，使网络能够将注意力放在信息量较大的光谱维度；采用了对抗自编码器作为网络的基本架构，训练基于对抗自编码器的网络学会重建只有背景的高光谱数据，在训练过程中，联合利用两种损失函数以达到更高的检测精度，所采用的损失函数如下所示：l
total
＝l
a
+l
e
式中，l
total
为总的损失函数，l
a
为对抗网络的损失函数，l
e
为添加了目标抑制的编码器的损失函数，l
a
的计算公式如下所示：式中，g表示生成器，d表示判别器，d(x)代表输入为原始图像时判别器的输出，d(g(z))代表输入为生成器合成的图像时判别器的输出，输入为生成器合成的图像时判别器的输出，表示求分布的期望值，p
data
(x)表示真实数据的空间分布，p
z
(z)表示合成样本的空间分布，l
e
的计算公式如下所示：式中，h
i
是输入高光谱图像样本，h'
i
是重建后的高光谱图像，s
i
是重建光谱h'
i
和目标光谱d的光谱角制图。4.根据权利要求1所述的一种基于对抗自编码器和注意力机制的高光谱目标检测方法，其特征在于：在步骤三中，对输入高光谱数据h和重建结果h'进行逐个像素的计算光谱距离d
si
用公式表示如下：t代表矩阵转置，经过逐个像素计算d
si
得到最终的距离图d
s
,然后将d
si
乘以一个基于粗检测结果的非负数得到逐个像素的检测结果，用公式表示如下：d
fi
＝q(y
i
)d
si
其中非线性函数q(x)用于抑制背景光谱的同时保持目标光谱不变，定义如下：其中λ是调整抑制能力的参数，x为非负数y
i
，最终检测结果表示为:d
f
＝[d
f1
,d
f2
,...,d
fm
×
n
]其中d
f
为最终得到的距离图，d
f1
,d
f2
,...,d
fm
×
n
为每个像素点的距离。

技术总结
本发明公开了一种基于对抗自编码器和注意力机制的高光谱目标检测方法，包括：对输入高光谱图像进行粗检测，通过调整粗检测结果图的二值化阈值，获得尽可能纯净的背景样本作为训练数据；利用制作好的训练数据，对基于对抗自编码器和注意力机制的模型进行训练，获得一个能精确重建出高光谱图像背景的模型；将测试高光谱图像输入网络进行重建，将重建结果与原始高光谱图像逐个像素计算光谱距离获得距离图；对距离图施加背景抑制得到最终的检测结果图。本发明引入光谱注意力机制给光谱维度分配权重，加快了网络的训练和收敛速度；通过只选择背景样本作为训练数据，训练基于对抗自编码器的图像重建模型，克服了高光谱图像中正负样本不均衡的问题。本不均衡的问题。本不均衡的问题。


技术研发人员：隋修宝 刘晓东 刘源 刘婷婷 丛雨婷
受保护的技术使用者：南京理工大学
技术研发日：2023.03.01
技术公布日：2023/7/21