一种基于高光谱数据升维的特征光谱提取方法

1.本发明涉及高光谱数据处理领域，特别是一种基于高光谱数据升维的特征光谱提取方法。


背景技术：

2.高光谱数据是指在可见光波段、红外波段或其他电磁波波段内，采集到的具有数百个或数千个连续光谱波长信息的数据。这种数据形式为研究人员提供了一种全新的观测手段，使我们能够从多个波谱维度上更全面地获取样本信息。目前，高光谱数据已经被广泛应用于遥感、环境监测、农业、地质勘探、医学、工业等领域。
3.由于高光谱数据具有维度高、数据量大和噪声干扰等问题，导致处理效率低下。为了解决这些问题，研究人员使用机器学习和统计等多种方法来处理高光谱数据，如传统的主成分分析和线性判别分析。这些方法通过降低高光谱波长数量来提高处理效率，却未将高光谱数据中的信息完全提取出，难以进一步提高分类或回归模型的精度。
4.随着计算机技术与硬件的不断发展，处理高光谱数据所需的计算量已不再是问题。如何更好地利用这些海量数据，从而提高被观测目标的能力，是接下来重点研究的内容。在这种背景下，提出了一种与降维相反的操作方法——高光谱数据升维。将高光谱数据从一维高光谱反射率曲线升至二维高光谱矩阵，最大程度地挖掘高光谱数据中的有效信息。这种升维方法能够有效提升高光谱数据的展示能力，并提高分类或回归模型的精度。


技术实现要素：

5.本发明提供了一种基于高光谱数据升维的特征光谱提取方法，该方法将高光谱数据从一维反射率曲线升维至二维矩阵，最大程度挖掘高光谱数据中的有效信息，提高分类或回归模型的精度。
6.为解决上述技术问题，本发明采用以下技术方案，基于高光谱数据升维的特征光谱提取方法，其包含以下步骤：
7.a.使用光谱仪采集被测样本和白板的高光谱辐亮度；
8.b.对被测样本和白板的高光谱辐亮度进行预处理；
9.c.使用被测样本和白板的高光谱辐亮度，计算出被测样本的高光谱一维反射率；
10.d.对被测样本的高光谱一维反射率进行升维，使用高光谱一维反射率第i个波长和第j个波长的反射率进行数学运算后得到a(i,j)，对n个波长的高光谱反射率循环计算a(i,j)，得到n
×
n的高光谱二维矩阵a，实现了高光谱数据从一维反射率曲线到二维矩阵的升维；
11.e.对高光谱二维矩阵a进行特征提取，得到特征向量b；
12.f.将特征向量b应用于分类或回归模型的训练和验证，得到相应的高精度分类或回归模型；
13.g.将特征向量b映射回高光谱对应的波长，得到相应的高精度分类或回归模型的
特征光谱。
14.进一步，所述步骤d中的数学运算可以是加、减、乘、除等基本数学运算，或是更复杂的其它数学运算。
15.进一步，所述步骤d中使用不同波段的高光谱反射率数据进行数学运算的波段数量可以大于或等于两个。
16.进一步，所述步骤e中对高光谱二维矩阵a进行特征提取，得到特征向量b，提取方法包括但不限于主成分分析、随机森林、互信息方法。
17.有益效果：
18.本发明相对于现有技术的优点体现在：
19.(1)本发明能最大程度地挖掘高光谱数据中的有效信息，有效提升高光谱数据的展示能力，提高分类或回归模型的精度。
20.(2)本发明所述方法中的升维、数学运算和特征提取等步骤可以根据具体场景灵活调整和组合，具有很好的实用性和效果。
附图说明
21.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅用于示出优先实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
22.图1为本发明实施例公开的基于高光谱数据升维的特征光谱提取方法的流程图；
23.图2为冬虫夏草那曲三县产区的高光谱反射率曲线图；
24.图3为一个冬虫夏草样本的高光谱一维反射率曲线；
25.图4为一个冬虫夏草样本的归一化光谱差异指数可视化图像。
具体实施方式
26.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述，参照图1，本发明以冬虫夏草的产区，那曲三县(比如县、索县、嘉黎县)区分为实施例。
27.在步骤s201，使用光谱仪采集所有冬虫夏草那曲三县产区样本和白板的高光谱辐亮度，其中共采集包括vnir 108个波段，swir 288个波段的高光谱辐亮度。
28.在步骤s202，对所有冬虫夏草那曲三县产区样本的高光谱辐亮度进行预处理。
29.在步骤s203，使用冬虫夏草那曲三县产区样本和白板的高光谱辐亮度，计算出冬虫夏草那曲三县产区样本的高光谱一维反射率。
30.其中，图2为冬虫夏草那曲三县产区的高光谱反射率曲线图。
31.在步骤s204，对冬虫夏草那曲三县产区样本的高光谱一维反射率进行升维，使用高光谱一维反射率第i个波长和第j个波长的反射率进行数学运算后得到a(i,j)，对n个波长的高光谱反射率循环计算a(i,j)，得到n
×
n的高光谱二维矩阵a，实现了高光谱数据从一维反射率曲线到二维矩阵的升维。
32.其中，使用的数学运算是以两个波段高光谱反射率之差除以两个波段高光谱反射率之和，见公式(1)，得到光谱差异指数(spectral difference index,sdi)。
[0033][0034]
其中，band1代表一个波长的光谱反射率数据，band2代表另一个波长的光谱反射率数据。
[0035]
使用公式(2)继续对光谱差异指数进行归一化处理，归一化方法见公式(2)，最终得到归一化光谱差异指数(normalized spectral difference index,nsdi)，即为高光谱二维矩阵a。
[0036][0037]
其中，sdi代表光谱差异指数，sdi
max
代表光谱差异指数的最大值，sdi
min
代表光谱差异指数的最小值。
[0038]
具体地，一个冬虫夏草样本的高光谱一维反射率曲线可见图3，一个冬虫夏草样本的归一化光谱差异指数可视化图像可见图4。
[0039]
在步骤s205，对高光谱二维矩阵a进行特征提取，得到特征向量b，提取方法为使用互信息计算每个特征与目标变量之间的互信息，来评估该特征与目标变量的相关性，从而筛选出相关性最高的特征。
[0040]
在步骤s206，将特征向量b应用于冬虫夏草那曲三县产区分类模型的训练和验证，得到冬虫夏草那曲三县产区高精度分类模型。
[0041]
在步骤s207，将特征向量b映射回高光谱对应的波长，得到冬虫夏草那曲三县产区高精度分类模型的特征光谱。
[0042]
通过本实施例，可以看出本发明所提供的特征光谱提取方法在冬虫夏草那曲三县产区区分应用场景中具有很好的实用性和效果。同时，本发明所述方法中的升维、数学运算和特征提取等步骤可以根据具体场景灵活调整和组合，通用性和可扩展性良好。
[0043]
具体地，对冬虫夏草那曲三县产区样本使用随机森林(rf)、支持向量机(svm)、梯度提升树(xgboost)、朴素贝叶斯(nbc)和逻辑回归(lr)5类机器学习模型对使用不同产区冬虫夏草的高光谱数据反射率、高光谱二维矩阵a和二维特征矩阵b分别进行训练和测试。在样本的分布上，冬虫夏草那曲三县产区共有55个样本，其中比如县产区有15个样本，嘉黎县产区和索县产区各有20个样本，划分训练集：测试集为8:1。在训练和测试中保证每次训练和测试所使用的样本相同。结果精度可见表1。
[0044]
表1不同模型下使用不同数据的模型的验证精度
[0045][0046]
结果显示，使用高光谱数据反射率模型的表现不佳。当使用高光谱二维矩阵a时，
模型的精度得到了明显提升，尤其是svm和lr模型。通过对高光谱二维矩阵a进行特征提取后，使用特征向量b时，模型的精度又得到了提升。未来的研究将联合神经网络等更复杂的机器学习模型，模型的精度将得到进一步的提升。
[0047]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于高光谱数据升维的特征光谱提取方法，其特征在于，所述方法包括：a.使用光谱仪采集被测样本和白板的高光谱辐亮度；b.对被测样本和白板的高光谱辐亮度进行预处理；c.使用被测样本和白板的高光谱辐亮度，计算出被测样本的高光谱一维反射率；d.对被测样本的高光谱一维反射率进行升维，使用高光谱一维反射率第i个波长和第j个波长的反射率进行数学运算后得到a(i,j)，对n个波长的高光谱反射率循环计算a(i,j)，得到n
×
n的高光谱二维矩阵a，实现了高光谱数据从一维反射率曲线到二维矩阵的升维；e.对高光谱二维矩阵a进行特征提取，得到特征向量b；f.将特征向量b应用于分类或回归模型的训练和验证，得到相应的高精度分类或回归模型；g.将特征向量b映射回高光谱对应的波长，得到相应的高精度分类或回归模型的特征光谱。2.根据权利要求1所述的方法，其特征在于：所述步骤d中的数学运算是加、减、乘、除基本数学运算，或是更复杂的其它数学运算。3.根据权利要求1和2所述的方法，其特征在于：所述步骤d中使用不同波段的高光谱反射率数据进行数学运算的波段数量大于或等于两个。4.根据权利要求1所述的方法，其特征在于：所述步骤e中对高光谱二维矩阵a进行特征提取，得到特征向量b，提取方法包括但不限于主成分分析、随机森林、互信息方法。

技术总结
本发明提供了一种基于高光谱数据升维的特征光谱提取方法，适用于任意具有高光谱反射率物体的特征光谱提取。该方法包括使用光谱仪采集被测样本和白板的高光谱辐亮度，并对其进行预处理，求出被测样本的高光谱反射率；然后，通过数学运算将被测样本的高光谱一维反射率升维得到高光谱二维矩阵，再进行特征提取得到特征向量，并将其应用于分类或回归模型的训练和验证，得到高精度分类或回归模型；最后，将特征向量映射回高光谱波长，得到相应的高精度分类或回归模型的特征光谱。与传统的降维方法通过降低光谱波长的数量相比，该方法能最大程度上挖掘出高光谱数据中的信息，提取出对应问题的特征光谱，并提高分类或回归模型的精度。并提高分类或回归模型的精度。并提高分类或回归模型的精度。


技术研发人员：陈兴峰 周凯文 杜鹤娟 李家国 刘军 赵利民
受保护的技术使用者：中国科学院空天信息创新研究院
技术研发日：2023.07.10
技术公布日：2023/10/15