基于多尺度密集连接和特征聚合网络的高光谱图像分类方法

1.本发明属于图像处理技术领域，更进一步涉及高光谱图像分类技术领域的一种基于多尺度密集连接和特征聚合网络的高光谱图像分类方法。本发明通过对高光谱图像中地物的种类进行分类，可应用于农业、林业、地质勘探和城市规划等技术领域。


背景技术：

2.高光谱图像是一种通过高光谱成像仪器对图像空间范围内地物目标在不同波长的光谱波段上进行同时成像得到的三维图像。相比于普通的彩色图像，高光谱图像可以提供更具区分度的信息，从而用于更精确的地物目标识别和分类。然而，高光谱图像分类技术也面临着如何在有限的训练样本情况下提高分类精度这一挑战。
3.基于深度学习的高光谱图像分类方法能够自动学习图像中的特征，并通过增加网络深度来提高分类准确率。因此，堆叠自编码器sae(stacked autoencoder)、深度信念网络dbn(deep belief network)、卷积神经网络cnn(convolutional neural networks)和循环神经网络rnn(recurrent neural network)等模型被广泛应用于高光谱图像分类任务中。其中，cnn因其优异的特征提取能力而取得最好性能。然而，由于高光谱图像具有较高的空间和光谱分辨率，cnn仍然存在空间和光谱特征提取不足的问题。如何充分提取高光谱图像中的空间和光谱信息是提高分类精度的关键。
4.2d-cnn可以提取高光谱图像的空间特征，但无法提取光谱特征；而3d-cnn可以同时提取空间特征和光谱特征，但计算量较大。将2d-cnn和3d-cnn结合可以进一步提高分类性能。
5.roy等人在其发表的论文“hybridsn:exploring 3-d
–
2-d cnn feature hierarchy for hyperspectral image classification”(ieee transactions on geoscience and remote sensing,2020:277-281)中提出了一种结合3d-cnn和2d-cnn的混合光谱卷积网络(hybridsn)的高光谱图像分类方法。该方法结合了二维和三维卷积的优势，在设计的网络结构中首先使用三层三维卷积，再使用一层二维卷积，最后堆叠两层全连接层和一个softmax层。这样既发挥了三维卷积的优势，充分提取了光谱-空间特征，也避免了完全使用三维卷积而导致的模型复杂。然而，该方法仍然存在的不足之处在于，仅使用单一尺度卷积核只能捕捉特定大小的特征，导致光谱-空间特征表示不足，无法适应其他不同大小的目标，由此限制了对高光谱图像中不同大小目标的分类，影响了整个图像的分类准确率。
6.此外，不同的光谱波段和空间像素对分类结果的贡献不同，通过注意力机制突出富含有效信息的波段和像素可以显著提高分类的总体准确度。
7.西安电子科技大学在其申请的专利文献“基于注意力机制和权值共享的高光谱图像分类方法”(专利申请号：zl202110399194.7，授权公告号：cn 113095409 b)中提出了一种基于注意力机制和权值共享的高光谱图像分类方法。该方法构建的特征提取网络包含三个权值共享且结构相同的特征提取分支，三个分支分别输入不同尺度大小的邻域块以提取
多尺度特征。并且通过在特征提取网络中加入注意力机制从而使模型更加关注重要特征。然而，该方法仍然存在的不足之处在于，并未考虑cnn的多层次特征，带来的存在大量冗余信息和多层次特征未被充分利用，由此限制了对高光谱图像特征的充分利用，从而影响了整个图像分类的平均准确度。


技术实现要素：

8.本发明的目的在于针对上述现有技术的不足，提出了一种基于多尺度密集连接和特征聚合网络的高光谱图像分类方法，旨在解决现有高光谱图像分类方法中光谱-空间特征表示不足、存在大量冗余信息和多层次特征未被充分利用的问题。
9.为了实现本发明的目的，提出了以下技术思路：本发明构建了一种包含有光谱-空间特征提取模块、多尺度特征提取模块和多层次特征聚合模块的多尺度密集连接和特征聚合网络。由于光谱-空间特征提取模块可以充分利用空洞卷积层提取高光谱图像中的不同目标的尺度特征，由此解决了现有技术单一尺度卷积导致的光谱-空间特征表示不足的问题。由于本发明构建的多尺度特征提取模块，使用多尺度分支提取整个图像中的多尺度空间特征，使用残差分支使信息在浅层和深层之间流动，并使用交叉注意力增强两个分支的特征融合，由此解决了现有技术中空间特征提取不充分和存在大量冗余信息的问题。由于本发明构建的多层次特征聚合模块可以将多个多尺度特征提取模块提取的不同层次特征进行聚合，由此解决了现有技术中多层次特征未被充分利用的问题。
10.为了实现上述目的，本发明的具体步骤包括如下：
11.步骤1，构建光谱-空间特征提取模块：
12.搭建光谱-空间特征提取模块，其结构中包含：第一卷积层，第一规范层，第一激活函数层，第二卷积层，第二规范层，第二激活函数层，第三卷积层，第三规范层，第三激活函数层，concatenate层，第四卷积层；其中，第一卷积层，第一规范层，第一激活函数层，第二卷积层，第二规范层，第二激活函数层，第三卷积层，第三规范层，第三激活函数层，concatenate层，第四卷积层级联；同时，第一激活函数层和第二激活函数层还分别与concatenate层并联；将第一至第三卷积层的卷积核尺寸均设置为3
×3×
3，卷积核个数分别设置为8,16,24，将第四卷积层的卷积核尺寸设置为1
×1×
1，卷积核个数设置为16，将第一至第三卷积层的空洞率分别设置为1,2,3；第一至第三规范层均采用批标准化函数，激活函数层均采用线性整流函数；
13.步骤2，构建多尺度特征提取模块：
14.搭建多尺度特征提取模块，其结构中包含：多尺度分支，残差分支，交叉注意力层；其中，多尺度分支和残差分支分别与交叉注意力层相联；所述多尺度分支中包含：第一卷积层，第二卷积层，第二规范层，第二激活函数层，第一融合层，第三卷积层，第三规范层，第三激活函数层，第二融合层，第四卷积层，第四规范层，第四激活函数层，第三融合层，第五卷积层，第五规范层，第五激活函数层，concatenate层，第六卷积层；其中，第一卷积层，第二卷积层，第二规范层，第二激活函数层，第一融合层，第三卷积层，第三规范层，第三激活函数层，第二融合层，第四卷积层，第四规范层，第四激活函数层，第三融合层，第五卷积层，第五规范层，第五激活函数层，concatenate层，第六卷积层级联；第一卷积层分别与第一融合层、第二融合层、第三融合层和concatenate层并联，第二激活函数层分别与第二融合层、第
三融合层和concatenate层并联，第三激活函数层分别与第三融合层和concatenate层并联，第四激活函数层与concatenate层并联；将第一卷积层的卷积核尺寸设置为1
×
1，将第二至第五卷积层的卷积核尺寸均设置为3
×
3，卷积核个数依次均设置为16，空洞率分别设置为1,2,3,4，将第六卷积层的卷积核尺寸设置为1
×
1；第二至第五规范层均采用批标准化函数，激活函数层均采用线性整流函数；所述残差分支依次由第七卷积层，第七规范层，第七激活函数层级联；将第七卷积层的卷积核尺寸设置为3
×
3；第七规范层采用批标准化函数，激活函数层采用线性整流函数；
15.步骤3，构建多层次特征聚合模块：
16.搭建多层次特征聚合模块，其结构中包含：输入特征1，输入特征2，输入特征3，输入特征4，第一融合层，第一卷积层，第二融合层，第二卷积层，第三融合层，第三卷积层，聚合特征1，聚合特征2，聚合特征3，聚合特征4，concatenate层，第四卷积层；其中，输入特征1、第三融合层、第三卷积层和聚合特征1级联，输入特征2、第二融合层、第二卷积层和聚合特征2级联，输入特征3、第一融合层、第一卷积层和聚合特征3级联，输入特征4和聚合特征4级联，concatenate层分别与聚合特征1、聚合特征2、聚合特征3和聚合特征4相连，第一融合层与输入特征4相连，第二融合层与第一卷积层相连，第三融合层与第二卷积层相连；将第一至第四卷积层的卷积核尺寸均设置为3
×
3；
17.步骤4，构建多尺度密集连接和特征聚合网络：
18.搭建多尺度密集连接和特征聚合网络，其结构中包含：光谱-空间特征提取模块、第一多尺度特征提取模块、第二多尺度特征提取模块、第三多尺度特征提取模块、多层次特征聚合模块和线性层；其中，光谱-空间特征提取模块、第一多尺度特征提取模块、第二多尺度特征提取模块、第三多尺度特征提取模块、多层次特征聚合模块和线性层级联；所述多层次特征聚合模块分别与光谱-空间特征提取模块、第一多尺度特征提取模块和第二多尺度特征提取模块并联；所述线性层依次由全局平均池化层，第一全连接层，第一激活函数层，第二全连接层，第二激活函数层级联；第一激活函数层采用线性整流函数，第二激活函数采用softmax函数；
19.步骤5，生成训练集：
20.选取一幅大小为145
×
145
×
200，空间分辨率为20m的高光谱遥感图像，共有包含200个可用光谱波段、16类土地覆盖物和10249个标记样本；对该高光谱遥感图像依次进行均值方差归一化、主成分分析降维、零值边缘填充操作的预处理；对预处理后的高光谱图像生成邻域块，并对所有邻域块进行随机采样；将采样得到的所有邻域块及其对应标签组成训练集；
21.步骤6，训练多尺度密集连接和特征聚合网络：
22.将训练集输入到多尺度密集连接和特征聚合网络中，使用交叉熵损失函数计算预测标签向量和真实标签向量之间的损失值，利用梯度下降法迭代更新网络参数，直到网络的损失函数收敛，得到训练好的多尺度密集连接和特征聚合网络；
23.步骤7，对高光谱图像进行分类：
24.采用与步骤5相同的方法，对待分类的高光谱图像进行处理；将处理后的高光谱图像输入到训练好的多尺度密集连接和特征聚合网络中，输出该高光谱图像中各像素的类别标签，完成高光谱图像分类。
25.本发明与现有技术相比具有以下优点：
26.第一，本发明构建了一个光谱-空间特征提取模块，克服了现有技术中光谱-空间特征表示不充分的不足，实现了不同尺度的光谱-空间特征的提取，使得本发明能够更全面地捕捉高光谱图像的光谱-空间特征，从而有效提升了模型的特征表达能力。
27.第二，本发明构建了一个多尺度特征提取模块，克服了现有技术中空间特征提取不充分和存在大量冗余信息的不足，实现了多尺度空间特征提取和交叉注意力增强特征融合，使得本发明更加充分利用高光谱图像空间特征，从而有效地提升了高光谱图像的分类准确率。
28.第三，本发明构建了一个多层次特征聚合模块，克服了现有技术中多层次特征未被充分利用的不足，实现了将多个多尺度特征提取模块提取的不同层次特征进行聚合，使得本发明可以充分利用不同层次特征的互补性和相关性，从而进一步增强模型的特征表达能力和分类性能。
附图说明
29.图1是本发明的流程图；
30.图2是本发明构建的光谱-空间特征提取模块结构示意图；
31.图3是本发明构建的多尺度特征提取模块结构示意图；
32.图4是本发明构建的多层次特征聚合模块结构示意图；
33.图5是本发明构建的多尺度密集连接和特征聚合网络结构示意图。
具体实施方式
34.下面结合附图和实施例，对本发明作进一步的详细描述。
35.参照图1，对本发明的具体实现步骤做进一步的详细描述。
36.本发明所构建的多尺度密集连接和特征聚合网络由光谱-空间特征提取模块、第一多尺度特征提取模块、第二多尺度特征提取模块、第三多尺度特征提取模块、多层次特征聚合模块和线性层组成；其中，所述多尺度特征提取模块包含多尺度分支、残差分支和交叉注意力层。
37.步骤1，构建光谱-空间特征提取模块。
38.参照图2，对本发明构建的光谱-空间特征提取模块做进一步的描述。
39.搭建光谱-空间特征提取模块，其结构中包含：第一卷积层，第一规范层，第一激活函数层，第二卷积层，第二规范层，第二激活函数层，第三卷积层，第三规范层，第三激活函数层，concatenate层，第四卷积层；其中，第一卷积层，第一规范层，第一激活函数层，第二卷积层，第二规范层，第二激活函数层，第三卷积层，第三规范层，第三激活函数层，concatenate层，第四卷积层级联；同时，第一激活函数层和第二激活函数层还分别与concatenate层并联；将第一至第三卷积层的卷积核尺寸均设置为3
×3×
3，卷积核个数分别设置为8,16,24，将第四卷积层的卷积核尺寸设置为1
×1×
1，卷积核个数设置为16，将第一至第三卷积层的空洞率分别设置为1,2,3；第一至第三规范层均采用批标准化函数，激活函数层均采用线性整流函数。
40.步骤2，构建多尺度特征提取模块。
41.参照图3，对本发明构建的多尺度特征提取模块做进一步的描述。
42.搭建多尺度特征提取模块，其结构中包含：多尺度分支，残差分支，交叉注意力层；其中，多尺度分支和残差分支分别与交叉注意力层相联；所述多尺度分支中包含：第一卷积层，第二卷积层，第二规范层，第二激活函数层，第一融合层，第三卷积层，第三规范层，第三激活函数层，第二融合层，第四卷积层，第四规范层，第四激活函数层，第三融合层，第五卷积层，第五规范层，第五激活函数层，concatenate层，第六卷积层；其中，第一卷积层，第二卷积层，第二规范层，第二激活函数层，第一融合层，第三卷积层，第三规范层，第三激活函数层，第二融合层，第四卷积层，第四规范层，第四激活函数层，第三融合层，第五卷积层，第五规范层，第五激活函数层，concatenate层，第六卷积层级联；第一卷积层分别与第一融合层、第二融合层、第三融合层和concatenate层并联，第二激活函数层分别与第二融合层、第三融合层和concatenate层并联，第三激活函数层分别与第三融合层和concatenate层并联，第四激活函数层与concatenate层并联；将第一卷积层的卷积核尺寸设置为1
×
1，将第二至第五卷积层的卷积核尺寸均设置为3
×
3，卷积核个数依次均设置为16，空洞率分别设置为1,2,3,4，将第六卷积层的卷积核尺寸设置为1
×
1；第二至第五规范层均采用批标准化函数，激活函数层均采用线性整流函数；所述残差分支依次由第七卷积层，第七规范层，第七激活函数层级联；将第七卷积层的卷积核尺寸设置为3
×
3；第七规范层采用批标准化函数，激活函数层采用线性整流函数。
43.步骤3，构建多层次特征聚合模块。
44.参照图4，对本发明构建的多层次特征聚合模块做进一步的描述。
45.搭建多层次特征聚合模块，其结构中包含：输入特征1，输入特征2，输入特征3，输入特征4，第一融合层，第一卷积层，第二融合层，第二卷积层，第三融合层，第三卷积层，聚合特征1，聚合特征2，聚合特征3，聚合特征4，concatenate层，第四卷积层；其中，输入特征1、第三融合层、第三卷积层和聚合特征1级联，输入特征2、第二融合层、第二卷积层和聚合特征2级联，输入特征3、第一融合层、第一卷积层和聚合特征3级联，输入特征4和聚合特征4级联，concatenate层分别与聚合特征1、聚合特征2、聚合特征3和聚合特征4相连，第一融合层与输入特征4相连，第二融合层与第一卷积层相连，第三融合层与第二卷积层相连；将第一至第四卷积层的卷积核尺寸均设置为3
×
3。
46.步骤4，构建多尺度密集连接和特征聚合网络。
47.参照图5，对本发明构建的多尺度密集连接和特征聚合网络做进一步的描述。
48.搭建多尺度密集连接和特征聚合网络，其结构中包含：光谱-空间特征提取模块、第一多尺度特征提取模块、第二多尺度特征提取模块、第三多尺度特征提取模块、多层次特征聚合模块和线性层；其中，光谱-空间特征提取模块、第一多尺度特征提取模块、第二多尺度特征提取模块、第三多尺度特征提取模块、多层次特征聚合模块和线性层级联；所述多层次特征聚合模块分别与光谱-空间特征提取模块、第一多尺度特征提取模块和第二多尺度特征提取模块并联；所述线性层依次由全局平均池化层，第一全连接层，第一激活函数层，第二全连接层，第二激活函数层级联；第一激活函数层采用线性整流函数，第二激活函数采用softmax函数。
49.步骤5，生成训练集。
50.步骤5.1，数据预处理；本发明实施例中选取一幅大小为145
×
145
×
200，空间分辨
率为20m的高光谱遥感图像，共有包含200个可用光谱波段、16类土地覆盖物和10249个标记样本；对该高光谱遥感图像依次进行均值方差归一化、主成分分析降维、零值边缘填充操作的预处理；对预处理后的高光谱图像生成邻域块，并对所有邻域块进行随机采样；将采样得到的所有邻域块及其对应标签组成训练集；
51.所述均值方差归一化首先计算高光谱遥感图像中每个波段的平均值和标准差；然后用每个波段所有像素值减去该波段的平均值后，再除以该波段的标准差完成中心化操作；接下来计算高光谱遥感图像中每个波段的最大值和最小值；最后用每个像素点该波段的值减去该波段的最小值后，再除以该波段的最大值减去最小值完成标准化操作；
52.所述主成分分析降维首先计算均值方差归一化后的高光谱遥感图像协方差矩阵，其大小为b
×
b，其中b为高光谱数据的波段数；然后对协方差矩阵进行特征值分解，得到特征值和特征向量；接下来对特征值进行排序，选取前k个特征值对应的特征向量，构成一个k
×
b的矩阵，该矩阵表示数据在降维后的新坐标系中的方向；最后将均值方差归一化后的高光谱数据投影到k
×
b组成的新坐标系中，得到降维后的高光谱图像。
53.所述零值边缘填充操作对降维后的高光谱图像在高度和宽度维度的边缘填充零值元素，其数目是邻域块大小的一半。
54.步骤5.2，在数据预处理后的高光谱图像中，以每个像素点为中心，取固定大小21
×
21的区域作为邻域块；然后将生成的10249个邻域块按其中心像素点类别分配到相应的16个类别集合中；最后将各类别集合中的邻域块按10％的训练比例进行随机采样，采样得到的1024个邻域块及其对应标签作为训练集。
55.步骤6，训练多尺度密集连接和特征聚合网络。
56.将训练集输入到多尺度密集连接和特征聚合网络中，使用交叉熵损失函数计算预测标签向量和真实标签向量之间的损失值，利用梯度下降法迭代更新网络参数，直到网络的损失函数收敛，得到训练好的多尺度密集连接和特征聚合网络。
57.所述网络训练的具体步骤如下：
58.第一步，从训练集中随机抽取n个训练样本作为一个batch，将这些样本输入到模型中进行前向传播计算，得到预测的标签向量集合yn表示第n个训练样本对应的预测标签向量。
59.第二步，使用下述的交叉熵函数计算预测标签向量和真实标签向量之间的损失值：
[0060][0061]
其中，n表示训练集中样本的总数，n表示训练集中样本的序号，yn表示第n个样本的真实标签，in(
·
)表示以自然常数e为底的对数操作，y
′n表示第n个样本的预测标签，l表示预测标签与真实标签之间的损失值。损失值越小，表示模型的预测结果与真实结果越接近，模型的性能越好。在训练过程中，通常会将交叉熵函数作为损失函数，通过反向传播计算梯度并更新模型的参数，以最小化损失函数，从而提高模型的准确率和泛化能力。
[0062]
第三步，采用梯度下降法，通过损失值更新模型的参数：
[0063][0064]
其中，ω表示模型的权值参数，η表示取值为0.001的学习率，ω
′
表示ω迭代更新后的模型权值参数。
[0065]
步骤7，对高光谱图像进行分类。
[0066]
采用与步骤5相同的方法，对待分类的高光谱图像进行与处理；将处理后的高光谱图像输入到训练好的多尺度密集连接和特征聚合网络中，输出该高光谱图像中各像素的类别标签，完成高光谱图像分类。
[0067]
下面结合仿真实验对本发明的效果做进一步的说明：
[0068]
1.仿真实验条件：
[0069]
本发明的仿真实验的硬件平台为：处理器为inter xeon silver 4114cpu，主频为2.2ghz，内存为128g，显卡为geforce rtx 2080ti 12g。
[0070]
本发明的仿真实验的软件平台为：操作系统为windows 10，编程语言为python3.7，编程软件为pycharm2022，深度学习框架为pytorch。
[0071]
本发明仿真实验所使用的高光谱图像数据集为印第安松树indian pines。
[0072]
indian pines数据集是一幅大小为145
×
145，空间分辨率为20m的高光谱遥感图像，由机载可见红外成像光谱仪采集获得。它包含200个可用光谱波段和16类土地覆盖物，共有10249个标记样本。每类地物的类别与数量如表1所示。
[0073]
表1indian pines样本类别与数量
[0074]
[0075][0076]
2.仿真实验内容及结果分析：
[0077]
本发明仿真实验是采用本发明和三个现有技术(支持向量机svm分类方法、光谱-空间残差网络ssrn分类方法、注意力机制和权值共享网络mnwa分类方法)分别对输入的indian pines高光谱图像进行分类，获得分类结果图。
[0078]
在仿真实验中，采用的三个现有技术是指：
[0079]
现有技术支持向量机svm分类方法是指，melgani等人在“classification of hyperspectral remotesensing images with support vector machines,ieee trans.geosci.remote sens.,vol.42,no.8,pp.1778
–
1790,aug.2004”中提出的高光谱图像分类方法，简称支持向量机svm分类方法。
[0080]
现有技术光谱-空间残差网络ssrn分类方法是指，zilong zhong等人在“spectral-spatial residual network for hyperspectral image classification:a3-d deep learning framework,ieee transactions on geoscience and remote sensing,2017:847-858”中提出的高光谱图像分类方法，简称光谱-空间残差网络ssrn分类方法。
[0081]
现有技术注意力机制和权值共享网络mnwa分类方法是指，西安电子科技大学在其申请的专利文献“基于注意力机制和权值共享的高光谱图像分类方法”(专利号：zl202110399194.7，授权公告号：cn113095409b)中提出的高光谱图像分类方法，简称注意力机制和权值共享网络mnwa分类方法。
[0082]
为了评价本发明的仿真效果，利用三个评价指标(总体准确度oa、平均准确度aa、kappa系数)分别对四种方法的分类结果进行评价，每个指标的值越大，分类效果越好。
[0083]
总体准确度(oa)是指对所有样本进行分类的准确率，即正确分类的样本数与总样本数的比值。
[0084]
平均准确度(aa)是指分类模型对每类样本进行分类的准确率的平均值，可以反映不同类别之间的分类表现。
[0085]
kappa系数：kappa系数的取值范围为[-1,1]，其中，kappa系数等于1表示分类模型的分类完全正确，等于0表示分类模型的分类与随机分类等效，小于0表示分类模型的分类效果不如随机分类。
[0086]
用上述评价指标对本发明与三种现有技术在indian pines高光谱数据集的分类效果进行对比，结果如表2所示。
[0087]
表2本发明与三种现有技术在分类精度上的对比结果
[0088][0089]
结合表2可以看出，本发明的总体准确度oa为99.13％，平均准确度aa为98.57％，kappa系数为0.9901。这三个指标均高于3种现有技术方法，证明本发明可以得到更高的高光谱图像分类精度。
[0090]
以上仿真实验表明：本发明提出的高光谱图像分类方法能够有效地解决卷积神经网络在训练时特征尺度单一和不同层次特征未被利用的问题。具体来说，本方法构建了光谱-空间特征提取模块、多尺度特征提取模块和多层次特征聚合模块，使得网络能够更好地提取和利用高光谱图像的特征信息。这些模块的优势在于能够同时处理光谱和空间维度上的特征，提取不同尺度下的特征信息，并将多层次的特征信息进行聚合，从而获得更好的特征表示。此外，本方法还能够更好地解决高光谱图像分类性能差的问题。实验结果表明，本方法能够更准确地进行分类，获得更高的分类精度。

技术特征：
1.一种基于多尺度密集连接和特征聚合网络的高光谱图像分类方法，其特征在于，分别构建光谱-空间特征提取模块、多尺度特征提取模块、多层次特征聚合模块；该分类方法的具体步骤如下：步骤1，构建光谱-空间特征提取模块：搭建光谱-空间特征提取模块，其结构中包含：第一卷积层，第一规范层，第一激活函数层，第二卷积层，第二规范层，第二激活函数层，第三卷积层，第三规范层，第三激活函数层，concatenate层，第四卷积层；其中，第一卷积层，第一规范层，第一激活函数层，第二卷积层，第二规范层，第二激活函数层，第三卷积层，第三规范层，第三激活函数层，concatenate层，第四卷积层级联；同时，第一激活函数层和第二激活函数层还分别与concatenate层并联；将第一至第三卷积层的卷积核尺寸均设置为3
×3×
3，卷积核个数分别设置为8,16,24，将第四卷积层的卷积核尺寸设置为1
×1×
1，卷积核个数设置为16，将第一至第三卷积层的空洞率分别设置为1,2,3；第一至第三规范层均采用批标准化函数，激活函数层均采用线性整流函数；步骤2，构建多尺度特征提取模块：搭建多尺度特征提取模块，其结构中包含：多尺度分支，残差分支，交叉注意力层；其中，多尺度分支和残差分支分别与交叉注意力层相联；所述多尺度分支中包含：第一卷积层，第二卷积层，第二规范层，第二激活函数层，第一融合层，第三卷积层，第三规范层，第三激活函数层，第二融合层，第四卷积层，第四规范层，第四激活函数层，第三融合层，第五卷积层，第五规范层，第五激活函数层，concatenate层，第六卷积层；其中，第一卷积层，第二卷积层，第二规范层，第二激活函数层，第一融合层，第三卷积层，第三规范层，第三激活函数层，第二融合层，第四卷积层，第四规范层，第四激活函数层，第三融合层，第五卷积层，第五规范层，第五激活函数层，concatenate层，第六卷积层级联；第一卷积层分别与第一融合层、第二融合层、第三融合层和concatenate层并联，第二激活函数层分别与第二融合层、第三融合层和concatenate层并联，第三激活函数层分别与第三融合层和concatenate层并联，第四激活函数层与concatenate层并联；将第一卷积层的卷积核尺寸设置为1
×
1，将第二至第五卷积层的卷积核尺寸均设置为3
×
3，卷积核个数依次均设置为16，空洞率分别设置为1,2,3,4，将第六卷积层的卷积核尺寸设置为1
×
1；第二至第五规范层均采用批标准化函数，激活函数层均采用线性整流函数；所述残差分支依次由第七卷积层，第七规范层，第七激活函数层级联；将第七卷积层的卷积核尺寸设置为3
×
3；第七规范层采用批标准化函数，激活函数层采用线性整流函数；步骤3，构建多层次特征聚合模块：搭建多层次特征聚合模块，其结构中包含：输入特征1，输入特征2，输入特征3，输入特征4，第一融合层，第一卷积层，第二融合层，第二卷积层，第三融合层，第三卷积层，聚合特征1，聚合特征2，聚合特征3，聚合特征4，concatenate层，第四卷积层；其中，输入特征1、第三融合层、第三卷积层和聚合特征1级联，输入特征2、第二融合层、第二卷积层和聚合特征2级联，输入特征3、第一融合层、第一卷积层和聚合特征3级联，输入特征4和聚合特征4级联，concatenate层分别与聚合特征1、聚合特征2、聚合特征3和聚合特征4相连，第一融合层与输入特征4相连，第二融合层与第一卷积层相连，第三融合层与第二卷积层相连；将第一至第四卷积层的卷积核尺寸均设置为3
×
3；
步骤4，构建多尺度密集连接和特征聚合网络：搭建多尺度密集连接和特征聚合网络，其结构中包含：光谱-空间特征提取模块、第一多尺度特征提取模块、第二多尺度特征提取模块、第三多尺度特征提取模块、多层次特征聚合模块和线性层；其中，光谱-空间特征提取模块、第一多尺度特征提取模块、第二多尺度特征提取模块、第三多尺度特征提取模块、多层次特征聚合模块和线性层级联；所述多层次特征聚合模块分别与光谱-空间特征提取模块、第一多尺度特征提取模块和第二多尺度特征提取模块并联；所述线性层依次由全局平均池化层，第一全连接层，第一激活函数层，第二全连接层，第二激活函数层级联；第一激活函数层采用线性整流函数，第二激活函数采用softmax函数；步骤5，生成训练集：选取一幅大小为145
×
145
×
200，空间分辨率为20m的高光谱遥感图像，共有包含200个可用光谱波段、16类土地覆盖物和10249个标记样本；对该高光谱遥感图像依次进行均值方差归一化、主成分分析降维、零值边缘填充操作的预处理；对预处理后的高光谱图像生成邻域块，并对所有邻域块进行随机采样；将采样得到的所有邻域块及其对应标签组成训练集；步骤6，训练多尺度密集连接和特征聚合网络：将训练集输入到多尺度密集连接和特征聚合网络中，使用交叉熵损失函数计算预测标签向量和真实标签向量之间的损失值，利用梯度下降法迭代更新网络参数，直到网络的损失函数收敛，得到训练好的多尺度密集连接和特征聚合网络；步骤7，对高光谱图像进行分类：采用与步骤5相同的方法，对待分类的高光谱图像进行处理；将处理后的高光谱图像输入到训练好的多尺度密集连接和特征聚合网络中，输出该高光谱图像中各像素的类别标签，完成高光谱图像分类。2.根据权利要求1所述的基于多尺度密集连接和特征聚合的高光谱图像分类方法，其特征在于，步骤5中所述均值方差归一化指的是，计算高光谱遥感图像中每个波段的平均值和标准差；用每个波段所有像素值减去该波段的平均值后，再除以该波段的标准差完成中心化操作；计算高光谱遥感图像中每个波段的最大值和最小值；用每个像素点该波段的值减去该波段的最小值后，再除以该波段的最大值减去最小值完成标准化操作。3.根据权利要求1所述的基于多尺度密集连接和特征聚合的高光谱图像分类方法，其特征在于，步骤5中所述主成分分析降维指的是，计算均值方差归一化后的高光谱遥感图像协方差矩阵，其大小为b
×
b，其中b为高光谱数据的波段数；对协方差矩阵进行特征值分解，得到特征值和特征向量；对特征值进行排序，选取前k个特征值对应的特征向量，构成一个k
×
b的矩阵，该矩阵表示数据在降维后的新坐标系中的方向；将均值方差归一化后的高光谱数据投影到k
×
b组成的新坐标系中，得到降维后的高光谱图像。4.根据权利要求1所述的基于多尺度密集连接和特征聚合的高光谱图像分类方法，其特征在于，步骤5中所述零值边缘填充操作指的是，对降维后的高光谱图像在高度和宽度维度的边缘填充零值元素，其数目是邻域块大小的一半。5.根据权利要求1所述的基于多尺度密集连接和特征聚合的高光谱图像分类方法，其特征在于，步骤5中所述对预处理后的高光谱图像生成邻域块指的是，以预处理后图像中的每个像素点为中心，取固定大小21
×
21的区域作为邻域块。
6.根据权利要求1所述的基于多尺度密集连接和特征聚合的高光谱图像分类方法，其特征在于，步骤5中所述对所有邻域块进行随机采样指的是，将生成的所有邻域块按其中心像素点类别分配到相应的16个类别集合中，将各类别集合中的邻域块按10％的训练比例进行随机采样，将所有采样得到的邻域块及其对应标签作为训练集；其中，各邻域块的标签为其中心像素点标签。7.根据权利要求1所述的基于多尺度密集连接和特征聚合的高光谱图像分类方法，其特征在于，步骤6中所述交叉熵损失函数如下：其中，n表示训练集中样本的总数，n表示训练集中样本的序号，y
n
表示第n个样本的真实标签，in(
·
)表示以自然常数e为底的对数操作，y
n
′
表示第n个样本的预测标签，l表示预测标签与真实标签之间的损失值。8.根据权利要求1所述的基于多尺度密集连接和特征聚合的高光谱图像分类方法，其特征在于，步骤6中所述梯度下降法如下：其中，ω表示模型的权值参数，η表示取值为0.001的学习率，ω
′
表示ω迭代更新后的模型权值参数。

技术总结
本发明提出了一种基于多尺度密集连接和特征聚合网络的高光谱图像分类方法，其实现步骤为：构建光谱-空间特征提取模块；构建多尺度特征提取模块；构建多层次特征聚合模块；构建多尺度密集连接和特征聚合网络；利用生成的训练集训练多尺度密集连接和特征聚合网络；对高光谱图像进行分类。本发明能够更全面地捕捉高光谱图像的光谱-空间特征，并充分利用高光谱图像空间特征和不同层次特征，从而有效解决现有高光谱图像分类方法中光谱-空间特征表示不足、样本不平衡、存在大量冗余信息等问题，并在一定程度上提升高光谱图像分类的性能。一定程度上提升高光谱图像分类的性能。一定程度上提升高光谱图像分类的性能。


技术研发人员：刘逸 慕彩红 祝建 冯家杰 那彦 刘敬
受保护的技术使用者：西安电子科技大学
技术研发日：2023.06.16
技术公布日：2023/8/14