基于光谱和空间稀疏特征表示的高光谱图像分割方法

1.本发明涉及图像处理技术，具体涉及一种基于光谱和空间稀疏特征表示的高光谱图像分割方法。


背景技术：

2.高光谱遥感图像由于是对物体在大范围波段内连续成像，具有光谱分辨率高、蕴含信息丰富的优点，因此，高光谱图像在遥感领域得到了广泛的应用。高光谱图像分割在地质勘探、食品安全、环境监测等领域有着重要的应用，也是高光谱遥感领域其他应用的基础，其目的是对大范围波段连续成像的像元按照其语义划分为不同的地物类别。
3.近年来，随着计算机并行计算能力的快速提高以及各类数据量的指数级增长，深度神经网络作为一种强大的特征提取方法已受到国内外学者的广泛关注并已成功应用于图像、文本、语音、视频等数据的特征提取中且普遍取得了比传统方法更好的效果，因此也被引入到高光谱图像的分割中来。目前基于深度神经网络进行高光谱图像分割的方法有基于栈式自编码(sae)的，基于深度置信网(dbn)的和基于深度卷积神经网络(dcnn)的。
4.zhouhan lin等人在其发表的论文“deep learning-based classification of hyperspectral data”中使用sae对高光谱图像进行分割，该方法将原始高光谱图像块取7
×
7小块，然后用主成分分析(pca)对每一个小块在光谱维度进行降维，将降维后的图像拉伸成向量作为sae的输入，用sae提取非线性特征，最后用支持向量机(svm)进行分割。tong li等人在论文“classification ofhyperspectral image based on deep belief networks”中使用dbn对高光谱图像进行分割，该方法将图像用pca降维后对每个像素取7
×
7小块，然后拉成向量再与原始像素向量进行拼接，这样得到的长向量作为深度置信网(dbn)的输入，最后用逻辑回归(lr)分割器进行分割。
5.但是，sae和dbn都需要输入的数据为一维的向量，也就是在使用sae和dbn进行高光谱图像分割时都需要先将输入数据转化成一维的向量形式，dcnn可以允许二维图像的输入，因此在保留像素空间信息的情况下，dcnn具有更低的输入复杂度，因而在高光谱图像分割应用中使用得最为广泛。
6.konstantinos makantasis等人在论文“deep supervised learning for hyperspectral data classification through convolutional neural networks”中使用dcnn对高光谱图像进行分割，该方法首先对原始高光谱图像使用随机化主成分分析(r-pca)进行降维，然后对降维后的图像进行取块，划分训练集、验证集和测试集，最后将训练集用于dcnn的训练。卷积处理的数据一般都是很密集的，但是有些数据是十分稀疏的，比如点云数据。在这些稀疏数据上直接用密集的卷积网络是非常没有效率的。benjamin graham等人在论文“submanifold sparse convolutional networks”引入了一种稀疏卷积运算，该运算针对处理稀疏数据而定制，与之前的稀疏卷积网络的工作不同，它严格地在子流形上运行，而不是将观测扩展到网络的每一层。guangxiang zhao等人在论文“explicit sparse transformer:concentrated attention through explicit selection”中提出了
稀疏transformer架构应用于图像处理，将稀疏性引入transformer架构中，通过稀疏transformer模型中的注意力矩阵来达到减少内存消耗、降低计算力。
7.高光谱图像分类的一大挑战是如何充分提取高光谱图像数据中丰富的有效信息。现有方法大多采用卷积神经网络提取图像的空间信息和光谱信息进行融合，获得图像的空间光谱信息用于分类。随着transformer在计算机视觉领域的发展，有的工作利用transformer探索高光谱图像不同光谱波段之间的关系。但由于高光谱图像的光谱维度过高，需要交互的光谱数量过于庞大，而差值较小的光谱包含的信息大部分相同，因此会提取到大量的冗余信息。


技术实现要素：

8.发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于光谱和空间稀疏特征表示的高光谱图像分割方法，本发明从信息增强的角度出发，一方面利用光谱transformer和光谱卷积模块提取光谱的特征表示，另一方面利用空间卷积和空间transformer模块提取空间特征表示，由于高光谱数据中有大量的冗余信息，真实有用的数据分布稀疏，本发明采用稀疏transformer进行交互，获得一个更好的特征表达以提高分割性能。
9.技术方案：本发明的一种基于光谱和空间特征提取的高光谱图像分割方法，包括以下步骤：
10.步骤(1)、输入任选的一幅尺寸为h
×w×
c的待分割高光谱图像，h为高光谱图像的高，w为高光谱图像的宽，c为高光谱图像光谱维的维度；通常高光谱图像光谱维的维度都在100～1000之间；
11.步骤(2)、对待分割高光谱图像数据，随机划分训练集、验证集和测试集；
12.步骤(3)、构建基础网络模型，将两层参数不同的卷积神经网络作为骨干网络，通过骨干网络的卷积操作来提取高光谱图像的初始视觉特征，公式(1)如下：r＝f(h)
ꢀꢀ
(1)
13.其中，h表示待分割高光谱图像，f(
·
)表示卷积层，r表示初始视觉特征；
14.步骤(4)、将步骤(3)中获得的初始视觉特征沿着光谱维度进行分组，每组分别在光谱维度用一维卷积提取光谱特征，之后将每组光谱特征作为整体放入稀疏transformer中进行交互获得光谱特征表示；
15.步骤(5)、将步骤(4)所得光谱特征表示沿着空间维度进行分块，每块分别在空间维度使用二维卷积提取图像的空间特征，之后通过稀疏transformer将所有空间特征进行特征交互获得最终特征图表示；
16.步骤(6)、将步骤(5)所得最终特征图表示与真值图做损失，通过多次迭代优化获得最终的分割结果。
17.进一步地，所述步骤(2)划分数据集时先采用线性判别分析来增强高光谱图像数据，并选择标记不同比例的样本作为训练样本、验证样本和测试样本。
18.进一步地，所述步骤(4)中光谱transformer模块提取光谱特征，为了保留每个光谱之间的局部特征，先通过将高光谱图像按照光谱维度均分为若干个通道组，然后每个通道组内使用光谱卷积提取组内的局部特征，分组时将信息相似的近邻光谱分为一组，并进行组内之间的信息交互，之后将每组光谱视为整体，避免相邻光谱信息冗余的干扰，探索不
同光谱组之间的关系；通过计算每组局部特征与其他每组局部特征的注意力来融合所有组特征，具体工作过程如下：
19.首先对于每个通道组内，使用光谱卷积进行组内之间的特征交互：
20.x＝δ(wr+b)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
21.其中δ(
·
)为激活函数，w，b为卷积神经网络的参数；
22.然后通过稀疏transformer对于通道组间进行交互：先通过三个线性映射层将每组特征x映射为k，q，v，k表示键(key)，用于查询记忆中信息的索引；q表示查询(query)，用于查找记忆中信息的关键；v表示值(value)，用于更新当前信息的新内容计算得到注意力分数，计算方式为：
23.p＝qk
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
24.与传统transformer不同的是，稀疏transformer通过稀疏化transformer模型中的注意力矩阵来达到减少内存消耗、降低计算力的效果。在计算这个注意力分数之后，模型不是进入softmax模块，而是先根据分数p选择得分最高的k个点，将其保留下来，其他注意力数值将被丢弃，此后再对这k个分数进行softmax操作：
[0025][0026]
其中，p
ij
表示注意力矩阵中第i行第j列的得分，ti表示p第u行的第k大的值；
[0027][0028][0029][0030]
其中，ln(
·
)表示列归一化层，f表示提取到的光谱特征。
[0031]
综上所述，令公式(3)-公式(7)表示的稀疏transformer模块处理后最终光谱特征表示为f，则稀疏transformer模块可表示为：
[0032]
f＝sparetrasnformer(r)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)。
[0033]
进一步地，所述步骤(5)中空间特征的提取，由于卷积核感受野的局限性，无法提取远距离的空间关系，而高光谱图像中相同类别的物体并不分布在一起，而是随机分布在整个高光谱图像中。因此对于整个图像而言，远距离的空间信息十分重要。具体来说，本发明先将步骤(4)获得特征在空间维度分为4
×
4块，在每块特征中使用卷积神经网络提取每块特征的空间局部信息，计算方式如下：
[0034][0035]
其中，f(
·
)表示卷积神经网络；f是光谱特征；表示获得的空间局部特征
[0036]
然后为了探索每个样本在图上的远距离空间关系，将每块空间特征作为token，计算得到空间维度的稀疏注意力矩阵，并通过注意力矩阵引导学习每个样本之间的长距离依赖关系，计算方式如下：
[0037][0038]
获得最终的特征表示o用于分类。将输出特征送入softmax分类器中获得最后的预测结果，并和真值图计算交叉熵损失，经过多次迭代后获得最终的训练模型。
[0039]
有益效果：与现有技术相比，本发明具有以下优点：
[0040]
(1)本发明构建的训练模型，是一种新型特征增强网络，多层次的挖掘高光谱图像特征。
[0041]
(2)本发明利用稀释transformer模块进行特征之间的交互，缓解了高光谱图像数据维度高，数据信息冗余的问题。
[0042]
(3)本发明使用光谱维度分组处理，首先利用卷积提取组内信息，之后将每组特征视为整体，避免相邻光谱之间冗余信息的计算，最后利用稀疏transformer进行交互得到图像的光谱特征。
[0043]
(4)本发明在空间维度分块处理时，一方面利用卷积提取每个样本空间维度的近距离信息，由于高光谱图像同类样本在图中分布位置不同，另一方面利用稀疏transformer提取空间维度的长距离依赖关系。
附图说明
[0044]
图1为本发明整体分割流程图；
[0045]
图2为本发明中网络模型图；
[0046]
图3为实施例中数据集的可视化；
[0047]
图4为实施例中数据集的真值图。
具体实施方式
[0048]
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
[0049]
如图1所示，本发明的一种基于光谱和空间特征提取的高光谱图像分割方法，包括以下步骤：
[0050]
步骤(1)、输入任选的一幅尺寸为h
×w×
c的待分割高光谱图像。
[0051]
步骤(2)、对高光谱图像数据，随机划分训练集、验证集和测试集；
[0052]
步骤(3)、构建基础网络模型，初步提取视觉特征；我们使用一个简单的骨干网络来获得高光谱图像数据的初始特征；
[0053]
步骤(4)、将步骤(3)中获得的初始视觉特征沿着光谱维度进行分组，每组分别在光谱维度用一维卷积提取光谱特征，之后将每组光谱特征作为整体放入稀疏transformer中进行交互获得光谱特征表示；
[0054]
步骤(5)、将步骤(4)所得光谱特征表示沿着空间维度进行分块，每块分别在空间维度使用二维卷积提取图像的空间特征，之后通过稀疏transformer对所有空间特征进行特征交互获得最终特征图表示；
[0055]
步骤(6)、将步骤(5)最终特征图表示与真值图做损失，通过多次迭代优化获得最终的分割结果。
[0056]
实施例1：
[0057]
本实施例包括以下步骤：
[0058]
步骤(1)、输入尺寸为145
×
145
×
200的待分割高光谱图像，其中200为光谱维度；
[0059]
步骤(2)、对高光谱图像数据，随机划分训练集、验证集和测试集；分别选择10％的
样本作为训练集，选择1％的样本作为验证集，选择89％的样本作为测试集。
[0060]
步骤(3)、构建基础网络模型，初步提取视觉特征；我们使用一个两层的卷积神经网络提取高光谱图像数据的初始特征，初始特征的维度为
[0061]
256
×
256
×
512；
[0062]
步骤(4)、将步骤(3)中获得的初始视觉特征沿着光谱维度分为16组，每组的特征维度为256
×
256
×
32，每组分别在光谱维度用一维卷积提取光谱特征，之后将每组特征作为整体使用三个参数不同的线性变换转换为k，q，v，计算光谱注意力矩阵p，p矩阵的维度为32
×
32，在注意力矩阵中选择前32个注意力分数保持不表，其余的注意力分数置为0，通过softmax函数获得稀疏化的注意力矩阵，并通过稀疏的注意力来提取光谱特征表示；
[0063]
步骤(5)、将步骤(4)中的光谱特征表示沿着空间维度分为4
×
4块，每块的特征维度为64
×
64
×
32，每块分别在空间维度使用二维卷积提取图像的空间特征，之后计算空间维度的稀疏注意力矩阵，通过稀疏注意力矩阵引导提取空间特征，获得最终特征图表示；
[0064]
步骤(6)、将步骤(5)最终特征图表示与真值图做损失，通过多次迭代优化获得最终的分割结果。
[0065]
本实验使用的数据集为印度松树数据集，该数据集于1992年由美国印第安纳州西北部的机载可见/红外成像光谱仪(aviris)传感器采集。我们将标签尺寸削减为145
×
145，即我们的实验总共有21025个像素。注意，10366个像素是特征像素，其余10659个像素是背景像素。共有16个类别，类别之间的样本分布极不均匀。它包含220个波段。对于训练和测试阶段，我们只需要通过去除20个干扰频带来使用200个频带，图(3)表示数据集的可视化，图(4)表示数据集的真值图。
[0066]
本实施例迭代训练过程中使用随机梯度法进行600次迭代，每轮迭代批次(batch)设置为32，模型学习率设置为0.0005，我们利用adam作为优化器，在每十轮迭代结果不再变化，保存最终的模型，用于模型测试。

技术特征：
1.一种基于光谱和空间特征提取的高光谱图像分割方法，其特征在于：包括以下步骤：步骤(1)、输入任选的一幅尺寸为h
×
w
×
c的待分割高光谱图像，h为高光谱图像的高，w为高光谱图像的宽，c为高光谱图像光谱维的维度；步骤(2)、对待分割高光谱图像数据，随机划分训练集、验证集和测试集；步骤(3)、构建基础网络模型，将两层参数不同的卷积神经网络作为骨干网络，通过骨干网络的卷积操作来提取高光谱图像的初始视觉特征，公式(1)如下：r＝f(h)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，h表示高光谱图像，f(
·
)表示卷积层，r表示初始视觉特征；步骤(4)、将步骤(3)中获得的初始视觉特征沿着光谱维度进行分组，每组分别在光谱维度用一维卷积提取光谱特征，之后将每组光谱特征作为整体放入稀疏transformer中进行交互获得光谱特征表示；步骤(5)、将步骤(4)所得光谱特征表示沿着空间维度进行分块，每块分别在空间维度用二维卷积提取图像的空间特征，之后通过稀疏transformer对所有空间特征进行特征交互获得最终特征图表示；步骤(6)、将步骤(5)所得最终特征图表示与真值图做损失，通过多次迭代优化获得最终的分割结果。2.根据权利要求1所述的基于光谱和空间特征提取的高光谱图像分割方法，其特征在于：所述步骤(2)划分数据集时先采用线性判别分析来增强高光谱图像数据，并选择标记不同比例的样本作为训练样本、验证样本和测试样本。3.根据权利要求1所述的基于光谱和空间特征提取的高光谱图像分割方法，其特征在于：所述步骤(4)中光谱transformer模块提取光谱特征，先通过将高光谱图像按照光谱维度均分为若干个通道组，然后每个通道组内使用光谱卷积提取组内的局部特征，接着计算每组局部特征与其他每组局部特征的注意力来融合所有组特征，具体工作过程如下：首先对于每个通道组内，使用光谱卷积进行组内之间的特征交互：x＝δ(wr+b)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中δ(
·
)为激活函数，w和b为卷积神经网络的参数；然后通过稀疏transformer模块对于各个通道组进行组间交互：先通过三个线性映射层将每组特征x映射为k，q，v，k表示键，用于查询记忆中信息的索引；q表示查询，用于查找记忆中信息的关键；v表示值，用于更新当前信息的新内容；接着计算得到注意力分数p：p＝qk
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)根据分数p选择得分最高的k个点，将其保留下来，其他注意力数值将被丢弃，此后再对这k个分数进行softmax操作：其中，p
ij
表示注意力矩阵中第i行第j列的得分，t
i
表示p第i行的第k大的值；表示p第i行的第k大的值；
其中，ln(
·
)表示列归一化层，f表示提取到的光谱特征；综上所述，令公式(3)-公式(7)表示的稀疏transformermr模块处理后最终光谱特征表示为f，则稀疏transformer模块可表示为：f＝sparetrasnformer(r)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)。4.根据权利要求1所述的基于光谱和空间特征提取的高光谱图像分割方法，其特征在于：所述步骤(5)中提取空间特征的具体工作过程如下：先使用空间卷积提取图像的空间局部特征：其中，f(
·
)表示卷积神经网络；f是指光谱特征；表示获得的空间局部特征；然后，将所得特征在空间维度分块，对于分块后每个特征，使用稀疏transformer提取空间特征：进而得到最终的空间特征表示o；在训练阶段使用的分割损失函数为交叉熵损失。

技术总结
本发明公开一种基于光谱和空间稀疏特征表示的高光谱图像分割方法，通过构建基础网络模型，初步提取视觉特征；接着通过在光谱维度进行分组获得多组光谱特征，在每组特征中使用光谱卷积神经网络获得每组光谱内部之间的关系；再通过稀疏Transformer模块来进行多个光谱组之间的交互，获得光谱之间的序列信息；之后通过空间卷积模块来提取高光谱图像的空间局部特征，通过稀疏Transformer模块提取高光谱图像的空间全局特征，最后将获得的光谱空间特征进行分割。特征进行分割。特征进行分割。


技术研发人员：刘岩 江波 陈缘
受保护的技术使用者：安徽大学
技术研发日：2023.03.30
技术公布日：2023/8/14