一种基于长短距离交叉注意力的高光谱图像分类方法

1.本发明涉及高光谱图像分类技术领域，尤其涉及一种基于长短距离交叉注意力的高光谱图像分类方法。


背景技术：

2.每幅高光谱图像(hsi)中包含数百个连续的窄光谱带，这使得利用高光谱数据的均匀性和宽波长范围能够实现比全色和多光谱遥感图像更准确的识别，其在自然资源勘探、自然灾害评估等方面得到了广泛的应用。hsi分类的目的是通过从空间和光谱信息中挖掘其区分特征来自动识别hsi中包含的目标类别。随着深度学习技术的发展，用于hsi分类的特征提取方法已从传统的手工设计特征提取逐渐发展到基于深度学习框架的自动特征提取。
3.由于hsi是一种序列数据、具有百个光谱带，而cnn、rnn、gan无法提取光谱带之间的长相关性，所以需要transformer提取光谱带之间的相关性信息，但同时存在的问题是transformer对于每个光谱带的信息提取不够充分、会存在信息丢失的问题。
4.因此，需要一种既能够充分提取光谱带的信息，又能够增强每个光谱带之间的相关性的高光谱图像分类方法。


技术实现要素：

5.为解决背景技术中存在的技术问题，本发明提出一种基于长短距离交叉注意力的高光谱图像分类方法。
6.本发明提出的一种基于长短距离交叉注意力的高光谱图像分类方法，包括：
7.获取具有地物类别标签信息的高光谱图像；
8.根据地物类别标签信息将高光谱图像划分为多个图像块；
9.根据多个图像块，构造训练集和测试集；
10.构建基于长短距离交叉注意力的高光谱分类网络；
11.利用训练集对高光谱分类网络进行训练，得到训练好的高光谱分类网络；
12.利用训练好的高光谱分类网络对测试集进行分类结果预测。
13.优选地，高光谱分类网络包括依次连接的浅层特征提取模块、空间特征强化模块和长短距离光谱交叉注意力模块；
14.浅层特征提取模块用于对输入的原特征图进行浅层特征提取，得到浅层特征图；
15.空间特征强化模块用于对浅层特征图进行空间特征强化，得到第二强化特征图；
16.长短距离光谱交叉注意力模块包括短距离光谱注意力模块和长距离光谱注意力模块，短距离光谱注意力模块用于根据第二强化特征图得到短距离光谱特征图；长距离光谱注意力模块用于根据短距离光谱特征图得到长距离光谱特征图。
17.优选地，浅层特征提取模块包括第一三维卷积层、第一bn批量归一化层、第一relu激活层、第二二维卷积层、第二bn批量归一化层、第二relu激活层；
18.其中，第一三维卷积层的输入为训练集，第一三维卷积层的输出连接第一bn批量归一化层的输入，第一bn批量归一化层的输出连接第一relu激活层的输入；第一relu激活层的输出作为第二二维卷积层的输入，第二二维卷积层的输出连接第二bn批量归一化层的输入，第二bn批量归一化层的输出连接第二relu激活层的输入。
19.优选地，空间特征强化模块中预设有位置权重矩阵，空间特征强化模块用于将位置权重矩阵与输入的浅层特征图进行加权得到第一强化特征图，并将第一强化特征图与浅层特征图进行逐像素相加得到第二强化特征图。
20.优选地，短距离光谱注意力模块包括第一光谱带分组子模块和第一自注意力子模块；
21.光谱带分组子模块用于对第二强化特征图进行光谱带分组，得到多个短距离光谱带组；第一自注意力子模块用于对每个短距离光谱带组使用自注意力，得到短距离光谱特征图。
22.优选地，第一自注意力子模块包括第一ln层归一化层、第一自注意力层、第二ln层归一化层和第一多层感知机mlp层；
23.其中，第一ln层归一化层的输入为短距离光谱带组，第一ln层归一化层的输出与短距离光谱带组的位置嵌入同时连接到第一自注意力层的输入，第一自注意力层的输出连接到第二ln层归一化层的输入，第二ln层归一化层的输出连接到第一多层感知机mlp层。
24.优选地，长距离光谱注意力模块包括：第二光谱带分组子模块和第二自注意力子模块；
25.其中，第二光谱带分组子模块用于对短距离光谱特征图进行等间隔采样，得到多个长距离光谱带组；第二自注意力子模块用于对每个长距离光谱带组使用自注意力，得到长距离光谱特征图。
26.优选地，第二自注意力子模块包括第三ln层归一化层、第二自注意力层、第四ln层归一化层和第二多层感知机mlp层；
27.其中，第三ln层归一化层的输入为长距离光谱带组，第三ln层归一化层的输出与长距离光谱带组的位置嵌入同时连接到第二自注意力层的输入，第二自注意力层的输出连接到第四ln层归一化层的输入，第四ln层归一化层的输出连接到第二多层感知机mlp层。
28.优选地，根据多个图像块，构造训练集和测试集，具体包括：
29.基于多个图像块，建立数据集；
30.对数据集进行处理，得到信息不泄露的数据集；
31.根据信息不泄露的数据集，构造训练集和测试集。
32.优选地，对数据集进行处理，得到信息不泄露的数据集，具体包括：
33.随机选择像素点并将该像素点作为所在的图像块的中心像素；
34.若由所选择的中心像素划分的图像块出现信息泄露，则剔除掉该出现信息泄露的中心像素；
35.继续随机选择像素点，直到每个地物类别的中心像素数量达到预设数量；
36.其中，各个地物类别的中心像素的预设数量为
37.38.式中，sj表示第j个地物类别中排除信息泄露后的中心像素的预设数量，j＝1、2、
……
或k，k表示地物类别数量；w、h分别表示图像块的宽度和高度；mj表示第j个地物类别中除去背景像素的像素数量；t表示图像块的大小。
39.优选地，根据信息不泄露的数据集，构造训练集和测试集，具体包括：
40.从每个地物类别中分别随机选取一定数量的中心像素所在的图像块作为训练集，将每个地物类别中剩余的中心像素所在的图像块均作为测试集。
41.优选地，在根据信息不泄露的数据集，构造训练集和测试集之后，还包括：
42.分别对训练集和测试集进行数据增强。
43.本发明中，所提出的基于长短距离交叉注意力的高光谱图像分类方法，通过构建、训练并利用基于长短距离交叉注意力的高光谱分类网络lsdc对高光谱图像进行分类，由于基于长短距离交叉注意力的高光谱分类网络lsdc能够获取光谱邻域之间局部变化以及具有上下文信息的长距离关系，本发明具有较好的分类性能以及较好的泛化能力。
附图说明
44.图1为本发明提出的一种基于长短距离交叉注意力的高光谱图像分类方法的流程示意图。
45.图2为本发明提出的一实施例中的出现信息泄露的图像块的示意图。
46.图3为本发明提出的一实施例中的训练集和测试集的划分示意图。
47.图4为本发明提出的一实施例中的空间强化模块的结构示意图。
48.图5为本发明提出的一实施例中的长短距离光谱交叉注意力模块的结构示意图。
49.图6为本发明提出的一实施例中的基于长短距离交叉注意力的高光谱分类网络的总体结构示意图。
具体实施方式
50.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
51.参照图1，本发明提出的一种基于长短距离交叉注意力的高光谱图像分类方法，包括：
52.获取具有地物类别标签信息的高光谱图像；
53.根据地物类别标签信息将高光谱图像划分为多个图像块；
54.根据多个图像块，构造训练集和测试集；
55.构建基于长短距离交叉注意力的高光谱分类网络；
56.利用训练集对高光谱分类网络进行训练，得到训练好的高光谱分类网络；
57.利用训练好的高光谱分类网络对测试集进行分类结果预测。
58.本发明中通过构建、训练并利用基于长短距离交叉注意力的高光谱分类网络lsdc对高光谱图像进行分类，由于基于长短距离交叉注意力的高光谱分类网络lsdc能够获取光谱邻域之间局部变化以及具有上下文信息的长距离关系，本发明具有较好的分类性能以及较好的泛化能力。
59.其中，图像块的大小为w
×h×
c；式中，w、h分别表示图像块的宽度和高度，c表示光
谱带的数量。
60.如图2所示，假设选择图像块1，即patch1做为训练集，按照以往的划分方法可能会选择与patch1重叠的图像块2，即patch2做测试集，这两者之间存在重叠的部分，会导致训练集与测试及之间信息的泄露，使得被训练过的样本再次作为测试集送入网络，会造成分类模型的测试过于乐观。
61.为了解决这一问题，在进一步地实施例中，根据多个图像块，构造训练集和测试集，具体包括：
62.基于多个图像块，建立数据集；
63.对数据集进行处理，得到信息不泄露的数据集；
64.根据信息不泄露的数据集，构造训练集和测试集。
65.在进一步地实施例中，对数据集进行处理，得到信息不泄露的数据集，具体包括：
66.随机选择像素点并将该像素点作为所在的图像块的中心像素；
67.若由所选择的中心像素划分的图像块出现信息泄露，则剔除掉该出现信息泄露的中心像素；
68.继续随机选择像素点，直到每个地物类别的中心像素数量达到预设数量；
69.其中，各个地物类别的中心像素的预设数量为
[0070][0071]
式中，sj表示第j个地物类别中排除信息泄露后的中心像素的预设数量，j＝1、2、
……
或k，k表示地物类别的数量；w、h分别表示图像块的宽度和高度；mj表示第j个地物类别中除去背景像素的像素数量，t表示图像块的大小。
[0072]
如此设置，以得到信息不泄露的数据集。
[0073]
在进一步地具体实施例中，根据信息不泄露的数据集，构造训练集和测试集，具体包括：
[0074]
从每个地物类别中分别随机选取一定数量的中心像素所在的图像块作为训练集，将每个地物类别中剩余的中心像素所在的图像块均作为测试集，具体如图3所示。
[0075]
具体地，本实施例中的训练集与测试集遵循3:7。
[0076]
由于划分过程是随机的，训练集和测试集中的不同地物类别的数量存在不平衡的情况，为了解决这一问题，在进一步地实施例中，在根据信息不泄露的数据集，构造训练集和测试集之后，还包括：
[0077]
分别对训练集和测试集进行数据增强。
[0078]
具体地，通过旋转和裁剪等数据增强方法分别对训练集和测试集通过进行数据增强。
[0079]
如图5和图6所示，在本实施例中，高光谱分类网络包括依次连接的浅层特征提取模块、空间特征强化模块和长短距离光谱交叉注意力模块；
[0080]
浅层特征提取模块用于对输入的原特征图进行浅层特征提取，得到浅层特征图；
[0081]
空间特征强化模块用于对浅层特征图进行空间特征强化，得到第二强化特征图；
[0082]
长短距离光谱交叉注意力模块包括短距离光谱注意力模块和长距离光谱注意力模块，短距离光谱注意力模块用于根据第二强化特征图得到短距离光谱特征图；长距离光
谱注意力模块用于根据短距离光谱特征图得到长距离光谱特征图。
[0083]
如此，高光谱分类网络能够利用浅层特征提取模块提取具有浅层的空-谱联合特征和空间特征的浅层特征图，并利用空间特征强化模块对浅层特征图进行空间特征强化，突出中心特征、保留次要特征，并利用长短距离光谱交叉注意力模块中的短距离光谱注意力模块获取光谱邻域之间局部变化以及长距离光谱注意力模块获取具有上下文信息的长距离关系，网络结构比较简单，具有较好的分类性能以及较好的泛化能力。
[0084]
在本实施例中，浅层特征提取模块包括第一三维卷积层、第一bn批量归一化层、第一relu激活层、第二二维卷积层、第二bn批量归一化层、第二relu激活层。
[0085]
具体地，第一三维卷积层的输入为训练集x1，第一三维卷积层的输出连接第一bn批量归一化层的输入，第一bn批量归一化层的输出连接第一relu激活层的输入；第一relu激活层的输出作为第二二维卷积层的输入，第二二维卷积层的输出连接第二bn批量归一化层的输入，第二bn批量归一化层的输出连接第二relu激活层的输入。
[0086]
如此，以利用一次三维卷积和一次二维卷积分别提取浅层的空-谱联合特征和空间特征。
[0087]
具体地，第一三维卷积层的卷积核大小为3
×3×
3，卷积核个数为8；第二二维卷积层的卷积核大小为3
×
3，卷积核个数为64。
[0088]
如图4所示，在本实施例中，空间特征强化模块中预设有位置权重矩阵，空间特征强化模块用于将位置权重矩阵与输入的浅层特征图进行加权得到第一强化特征图，并将第一强化特征图与浅层特征图进行逐像素相加得到第二强化特征图。
[0089]
如此，以在空间特征强化中利用位置权重矩阵与经过浅层特征提取的浅层特征图进行加权得到第一强化特征图，突出了中心特征，再将第一强化特征图与浅层特征图执行逐像素相加，保留了次要特征。
[0090]
具体地，第二relu激活层的输出与位置权重矩阵进行加权输出，得到第一强化特征图；第一强化特征图与第二relu激活层的输出执行像素相加，得到第二强化特征图。
[0091]
在本实施例中，短距离光谱注意力模块包括第一光谱带分组子模块和第一自注意力子模块；
[0092]
光谱带分组子模块用于对第二强化特征图进行光谱带分组，得到多个短距离光谱带组；第一自注意力子模块用于对每个短距离光谱带组使用自注意力，得到短距离光谱特征图。
[0093]
如此，以利用短距离光谱注意力获取光谱邻域之间局部变化。
[0094]
具体地，短距离光谱注意力子模块用于将光谱带分成四个短距离光谱带组。
[0095]
为了获取光谱邻域之间局部变化，在进一步地实施例中，第一自注意力子模块包括第一ln层归一化层、第一自注意力层、第二ln层归一化层和第一多层感知机mlp层；
[0096]
其中，第一ln层归一化层的输入为短距离光谱带组，第一ln层归一化层的输出与短距离光谱带组的位置嵌入同时连接到第一自注意力层的输入，第一自注意力层的输出连接到第二ln层归一化层的输入，第二ln层归一化层的输出连接到第一多层感知机mlp层。
[0097]
在本实施例中，长距离光谱注意力模块包括：第二光谱带分组子模块和第二自注意力子模块；
[0098]
其中，第二光谱带分组子模块用于对短距离光谱特征图进行等间隔采样，得到多
个长距离光谱带组；第二自注意力子模块用于对每个长距离光谱带组使用自注意力，得到长距离光谱特征图。
[0099]
如此，以利用长距离光谱注意力获取具有上下文信息的长距离关系。
[0100]
具体地，第二光谱带分组子模块对短距离光谱特征图进行距离为4的等间隔采样，得到四个长距离光谱带组。
[0101]
为了获取具有上下文信息的长距离关系，在进一步地实施例中，第二自注意力子模块包括第三ln层归一化层、第二自注意力层、第四ln层归一化层和第二多层感知机mlp层；
[0102]
其中，第三ln层归一化层的输入为长距离光谱带组，第三ln层归一化层的输出与长距离光谱带组的位置嵌入同时连接到第二自注意力层的输入，第二自注意力层的输出连接到第四ln层归一化层的输入，第四ln层归一化层的输出连接到第二多层感知机mlp层。
[0103]
本发明的效果可通过以下对比例和实施例进一步说明：
[0104]
对比例1
[0105]
本实施例中选取pavia university数据集作为本实施例中的高光谱图像的数据集。采用现有技术中的多种方法对pavia university数据集进行分类。其中，现有技术中的多种方法包括卷积网络模型3dcnn、金字塔网络模型dsp、transformer中的ssftt网络模型。其中，现有技术中的多种方法对pavia university数据集的分类结果的评价指标如表1所示。
[0106]
实施例1
[0107]
本实施例中选取由本发明所提出的信息不泄露(p)的pavia university数据集作为本实施例中的高光谱图像的数据集。采用现有技术中的多种方法对信息不泄露(p)的pavia university数据集进行分类。其中，现有技术中的多种方法包括卷积网络模型3dcnn、金字塔网络模型dsp、transformer中的ssftt网络模型。其中，现有技术中的多种方法对信息不泄露(p)的pavia university数据集的分类结果的评价指标如表1所示。
[0108]
实施例2
[0109]
本实施例中选取由本发明所提出的信息不泄露(p)的pavia university数据集作为本实施例中的高光谱图像的数据集。采用本发明提出的基于长短距离交叉注意力的高光谱图像分类方法lsdc对信息不泄露(p)的pavia university数据集进行分类，分类结果的评价指标如表2所示。
[0110]
表1多种方法对信息泄露与信息不泄露(p)的pavia university数据集分类的评价指标
[0111][0112]
从表1可以观察得到，与使用现有技术中对pavia university数据集进行分类相比，使用现有技术中对本发明所提出的信息不泄露(p)的pavia university数据集进行分类时，经典的卷积网络模型3dcnn的总体精确度oa下降32.98％，经典的金字塔网络模型dsp的总体精确度oa下降6％，transformer中的ssftt网络模型的总体精确度oa下降了7.66％。
[0113]
表2现有技术与本发明对信息不泄露(p)的pavia university数据集分类的评价指标
[0114][0115]
从表2中可以看出，与现有技术相比，本发明提出的基于长短距离交叉注意力的高光谱图像分类网络lsdc对信息不泄露(p)的pavia university数据集具有最高的总体精确度oa、平均精确度aa以及kappa系数k，其中总体精确度相较于现有技术分类精确度最高的ssftt模型提高了0.7％，平均精确度提高了2.26％，kappa系数提高了0.87％，特别是，对于pavia university数据集中最难分类的类别7，实现了71.43％的准确率。这也充分说明了该方法有效地提高了特征的可鉴别性。
[0116]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种基于长短距离交叉注意力的高光谱图像分类方法，其特征在于，包括：获取具有地物类别标签信息的高光谱图像；根据地物类别标签信息将高光谱图像划分为多个图像块；根据多个图像块，构造训练集和测试集；构建基于长短距离交叉注意力的高光谱分类网络；利用训练集对高光谱分类网络进行训练，得到训练好的高光谱分类网络；利用训练好的高光谱分类网络对测试集进行分类结果预测。2.根据权利要求1所述的基于长短距离交叉注意力的高光谱图像分类方法，其特征在于，高光谱分类网络包括依次连接的浅层特征提取模块、空间特征强化模块和长短距离光谱交叉注意力模块；浅层特征提取模块用于对输入的原特征图进行浅层特征提取，得到浅层特征图；空间特征强化模块用于对浅层特征图进行空间特征强化，得到第二强化特征图；长短距离光谱交叉注意力模块包括短距离光谱注意力模块和长距离光谱注意力模块，短距离光谱注意力模块用于根据第二强化特征图得到短距离光谱特征图；长距离光谱注意力模块用于根据短距离光谱特征图得到长距离光谱特征图。3.根据权利要求2所述的基于长短距离交叉注意力的高光谱图像分类方法，其特征在于，浅层特征提取模块包括第一三维卷积层、第一bn批量归一化层、第一relu激活层、第二二维卷积层、第二bn批量归一化层、第二relu激活层；其中，第一三维卷积层的输入为训练集，第一三维卷积层的输出连接第一bn批量归一化层的输入，第一bn批量归一化层的输出连接第一relu激活层的输入；第一relu激活层的输出作为第二二维卷积层的输入，第二二维卷积层的输出连接第二bn批量归一化层的输入，第二bn批量归一化层的输出连接第二relu激活层的输入。4.根据权利要求2所述的基于长短距离交叉注意力的高光谱图像分类方法，其特征在于，空间特征强化模块中预设有位置权重矩阵，空间特征强化模块用于将位置权重矩阵与浅层特征图进行加权得到第一强化特征图，并将第一强化特征图与浅层特征图进行逐像素相加得到第二强化特征图。5.根据权利要求2所述的基于长短距离交叉注意力的高光谱图像分类方法，其特征在于，短距离光谱注意力模块包括第一光谱带分组子模块和第一自注意力子模块；光谱带分组子模块用于对第二强化特征图进行光谱带分组，得到多个短距离光谱带组；第一自注意力子模块用于对每个短距离光谱带组使用自注意力，得到短距离光谱特征图。6.根据权利要求5所述的基于长短距离交叉注意力的高光谱图像分类方法，其特征在于，第一自注意力子模块包括第一ln层归一化层、第一自注意力层、第二ln层归一化层和第一多层感知机mlp层；其中，第一ln层归一化层的输入为短距离光谱带组，第一ln层归一化层的输出与短距离光谱带组的位置嵌入同时连接到第一自注意力层的输入，第一自注意力层的输出连接到第二ln层归一化层的输入，第二ln层归一化层的输出连接到第一多层感知机mlp层。7.根据权利要求2所述的基于长短距离交叉注意力的高光谱图像分类方法，其特征在于，长距离光谱注意力模块包括：第二光谱带分组子模块和第二自注意力子模块；
其中，第二光谱带分组子模块用于对短距离光谱特征图进行等间隔采样，得到多个长距离光谱带组；第二自注意力子模块用于对每个长距离光谱带组使用自注意力，得到长距离光谱特征图。8.根据权利要求7所述的基于长短距离交叉注意力的高光谱图像分类方法，其特征在于，第二自注意力子模块包括第三ln层归一化层、第二自注意力层、第四ln层归一化层和第二多层感知机mlp层；其中，第三ln层归一化层的输入为长距离光谱带组，第三ln层归一化层的输出与长距离光谱带组的位置嵌入同时连接到第二自注意力层的输入，第二自注意力层的输出连接到第四ln层归一化层的输入，第四ln层归一化层的输出连接到第二多层感知机mlp层。9.根据权利要求1-8任意一项所述的基于长短距离交叉注意力的高光谱图像分类方法，其特征在于，根据多个图像块，构造训练集和测试集，具体包括：基于多个图像块，建立数据集；对数据集进行处理，得到信息不泄露的数据集；根据信息不泄露的数据集，构造训练集和测试集；优选地，对数据集进行处理，得到信息不泄露的数据集，具体包括：随机选择像素点并将该像素点作为所在的图像块的中心像素；若由所选择的中心像素划分的图像块出现信息泄露，则剔除掉该出现信息泄露的中心像素；继续随机选择像素点，直到每个地物类别的中心像素数量达到预设数量；其中，各个地物类别的中心像素的预设数量为式中，s
j
表示第j个地物类别中排除信息泄露后的中心像素的预设数量，j＝1、2、
……
或k，k表示地物类别数量；w、h分别表示图像块的宽度和高度；m
j
表示第j个地物类别中除去背景像素的像素数量；t表示图像块的大小。10.根据权利要求9所述的基于长短距离交叉注意力的高光谱图像分类方法，其特征在于，根据信息不泄露的数据集，构造训练集和测试集，具体包括：从每个地物类别中分别随机选取一定数量的中心像素所在的图像块作为训练集，将每个地物类别中剩余的中心像素所在的图像块均作为测试集；优选地，在根据信息不泄露的数据集，构造训练集和测试集之后，还包括：分别对训练集和测试集进行数据增强。

技术总结
本发明公开了一种基于长短距离交叉注意力的高光谱图像分类方法，包括：获取具有地物类别标签信息的高光谱图像；根据地物类别标签信息将高光谱图像划分为多个图像块；根据多个图像块，构造训练集和测试集；构建基于长短距离交叉注意力的高光谱分类网络；利用训练集对高光谱分类网络进行训练，得到训练好的高光谱分类网络；利用训练好的高光谱分类网络对测试集进行分类结果预测。本发明中通过构建、训练并利用基于长短距离交叉注意力的高光谱分类网络LSDC对高光谱图像进行分类，具有较好的分类性能以及较好的泛化能力。类性能以及较好的泛化能力。类性能以及较好的泛化能力。


技术研发人员：屈磊 彭丹阳 吴军 李园园 牛一伟 黄志祥 杨利霞
受保护的技术使用者：安徽大学
技术研发日：2023.07.04
技术公布日：2023/9/20