一种基于光谱冗余压缩的高光谱成像方法

1.本发明涉及一种基于光谱冗余压缩的高光谱成像方法，属于光学成像技术领域。


背景技术：

2.传统压缩感知网络的采样和重构过程：目标场景图像，其中代表空间维度，代表光谱维度。为了方便解释，取，即，首先压缩采样目标场景图像得到观测值，在本发明中使用哈达玛矩阵并经过能量排序，得到观测矩阵。使变形为，并通过下式对进行压缩采样式中，，压缩采样率，然后利用传统的压缩感知重建网络重构目标场景图像。
3.当将其应用于高光谱重建中，即输入的图像不再是，而是，只需要重复次上述公式的过程，得到。因为传统的压缩感知重建网络通过全连接网络从输入的压缩采样值估计初步的重建结果。这就意味着网络中两个相邻层中的所有单元都会相互连接，这会极大地增加训练过程的计算复杂度，同时会导致结果出现过拟合问题。
4.现有技术的单像素高光谱重建网络通常使用切小块的方式减少网络计算参数，网络计算参数的限制就意味着这些图像块会很小。
5.因此，需要一种新的基于光谱冗余压缩的高光谱成像方法以解决上述问题。


技术实现要素：

6.本发明的目的在于提供一种基于光谱冗余压缩的高光谱成像方法，以解决上述背景技术中提出的问题。
7.一种基于光谱冗余压缩的高光谱成像方法，包括如下步骤：
8.一、搭建高光谱成像系统，利用所述高光谱成像系统对目标场景进行压缩采样得到观测值和rgb图像，所述高光谱成像系统为基于单像素重建的高光谱成像系统；
9.二、构建单像素高光谱重建网络，利用所述单像素高光谱重建网络对步骤一得到的观测值和rgb图像进行处理，得到高空间、高光谱分辨率的重建结果，所述单像素高光谱重建网络有基于光谱冗余压缩的单像素重建模块和基于渐进式超分的双维度拉伸模块组成。
10.更进一步的，步骤一中所述rgb图像为具有高空间分辨率的rgb图像。
11.更进一步的，步骤一中所述高光谱成像系统包括物镜l1、平板分束器bs、单像素相机、全内反射棱镜tir、数字微镜装置dmd、准直器l2和光纤光谱仪，所述物镜l1设置在目标场景和平板分束器bs之间，所述单像素相机和全内反射棱镜tir分别设置在所述平板分束
器bs的两条光路上，所述数字微镜装置dmd设置在所述全内反射棱镜tir直射光路上，所述准直器l2设置在所述全内反射棱镜tir的偏转光路上，所述光纤光谱仪通过光纤接收所述准直器l2的光线。
12.更进一步的，所述数字微镜装置dmd采用哈达玛模板。
13.更进一步的，步骤二中所述单像素高光谱重建网络包括以下步骤：
14.21、首先，利用基于光谱冗余压缩的单像素重建模块对步骤一的观测值进行压缩感知重建，从而得到降维后的初步重建结果；
15.22、其次，引入所述rgb图像，利用基于渐进式超分的双维度拉伸模块对步骤21的初步重建结果进行处理，得到高空间和高光谱分辨率的重建结果。
16.更进一步的，步骤二中所述基于光谱冗余压缩的单像素重建模块采用以下模型：
[0017][0018]
其中，代表压缩采样目标场景得到的观测值，代表利用降维模块降维观测值后的结果，代表在降维的情况下的重建和增强结果，表示全连接重建模块，表示残差增强模块，表示利用连续的光谱维度全连接对压缩采样的观测值进行降维处理。
[0019]
更进一步的，步骤二中所述基于渐进式超分的双维度拉伸模块采用以下模型：
[0020]
其中，表示特征波段拼接，表示残差连接，表示rgb图像，表示光谱维度恢复结果，表示transformer模型，表示空间分辨率超分结果，为亚像素卷积模型。：卷积核大小为3
×
3的卷积操作
[0021]
更进一步的，所述transformer模型包括以下步骤：
[0022]
221、将重塑为，然后利用下式对进行线性投影操作：
[0023][0024]
式中，为投影后的结果，为可学习的参数，代表图像的空间分辨率，为图像的光谱波段数量；
[0025]
222、沿着光谱通道数将分为个部分，即，每个部分的尺寸均为，然后利用下式计算的注意力机制：
[0026]
[0027]
式中，为的转置，为可学习参数，代表激活函数；
[0028]
223、将个部分相互连接并通过下式进行操作：
[0029][0030]
式中，为可学习的参数，由两个和一个激活函数组成，为输出结果。
[0031]
本发明利用了transformer模型tfm恢复图像光谱维度，为了获得优化的特征向量，tfm叠加了注意力网络和全连接层。tfm可以为每个维度添加一个独立的参数，在恢复图像光谱维度的过程中，可以调整光谱维度之间的权重关系。
[0032]
2、更进一步的，步骤二中单像素高光谱重建网络的损失函数如下式所示：
[0033][0034]
式中，代表期望的结果，代表网络输出的结果，f表示f范数，代表权重系数，m为元素个数。
[0035]
在选择约束网络学习的损失函数时，考虑到同时学习三维信息的要求，选择了基于三维数据的mse函数计算损失。
[0036]
有益效果：本发明的基于光谱冗余压缩的高光谱成像方法结合深度学习提出了单像素高光谱重建网络，在低维度下利用光谱冗余压缩的方法进行压缩感知重建，减少需要计算的参数，将高光谱成像做成端到端的模式，实现更大场景的高光谱图像重建。利用渐进式图像超分的方法，依次完成对图像的光谱维度的恢复以及空间维度的超分。通过引入低成本的高空间分辨率的rgb图像，最终在获得高空间、高光谱分辨率的重建结果的同时，并没有增加实际压缩采样次数。
附图说明
[0037]
图1是基于光谱冗余压缩和渐进式图像超分的单像素高光谱重建网络的结构示意图；图2是基于光谱冗余压缩的单像素重建；图3是维度压缩模块；图4是压缩感知重建和增强模块；图5是基于渐进式超分的双维度拉伸；图6是transformer模块；图7是cave数据集测试图像（pompoms_ms）在500nm、600nm、700nm波重建结果；图8是cave数据集测试图像（pompoms_ms）在500nm、600nm、700nm波段误差图；图9是icvl数据集测试图像（tree_0822-0853）在500nm、600nm、700nm波段重建结果；图10是icvl数据集测试图像（tree_0822-0853）在500nm、600nm、700nm波段误差图；
图11是cave数据集测试图像（pompoms_ms）的光谱曲线，左侧是场景的rgb图像，右侧是重建结果的光谱曲线，p1、p2分别对应rgb图像上的p1、p2位置；图12是icvl数据集测试图像（tree_0822-0853）的光谱曲线，左侧是场景的rgb图像，右侧是重建结果的光谱曲线，p1、p2分别对应rgb图像上的p1、p2位置；图13是基于单像素重建的高光谱成像系统的结构示意图；图14是具有代表性的实拍场景和波段的视觉对比；图15是具有代表性的实拍场景的光谱曲线，左侧是场景的rgb图像，右侧是重建结果的光谱曲线，p1、p2分别对应rgb图像上的p1、p2位置。
具体实施方式
[0038]
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本技术所附权利要求所限定的范围。
[0039]
本发明的基于光谱冗余压缩的高光谱成像方法，包括如下步骤：
[0040]
一、搭建高光谱成像系统，利用高光谱成像系统对目标场景进行压缩采样得到观测值和rgb图像，高光谱成像系统为基于单像素重建的高光谱成像系统；其中，rgb图像为具有高空间分辨率的rgb图像。
[0041]
具体的，高光谱成像系统包括物镜l1、平板分束器bs、单像素相机、全内反射棱镜tir、数字微镜装置dmd、准直器l2和光纤光谱仪，物镜l1设置在目标场景和平板分束器bs之间，单像素相机和全内反射棱镜tir分别设置在平板分束器bs的两条光路上，数字微镜装置dmd设置在全内反射棱镜tir直射光路上，准直器l2设置在全内反射棱镜tir的偏转光路上，光纤光谱仪通过光纤接收准直器l2的光线。
[0042]
发明原理：目标场景的像通过物镜l1后进入平板分束器bs，一路反射进入单像素相机，拍摄得到高空间分辨率的rgb图像（256
×
256
×
3），另一路则经过全内反射棱镜tir进入数字微镜装置dmd进行调制，而后被全内反射棱镜tir偏转到与入射光垂直的方向后，由准直器l2接收进入光纤中，最后由光纤光谱仪进行数据采集。其中，调制场景的分辨率大小为64
×
64，数字微镜装置dmd采用哈达玛模板。其中，单像素相机的型号为balser,aca800-510 uc，数字微镜装置dmd的参数为pixel count: 1024
×
768, pixel pitch: 13.68 μm，光纤光谱仪的型号为avaspec-uls2048cl-evo。
[0043]
二、构建单像素高光谱重建网络，利用单像素高光谱重建网络对步骤一得到的观测值和rgb图像进行处理，得到高空间、高光谱分辨率的重建结果，单像素高光谱重建网络由基于光谱冗余压缩的单像素重建模块和基于渐进式超分的双维度拉伸模块组成。
[0044]
请参阅图1-图6所示，本发明的单像素高光谱重建网络由基于光谱冗余压缩的单像素重建dfr以及基于渐进式超分的双维度拉伸fds组成。输入由场景进行压缩采样得到的观测值和具有高空间分辨率的rgb图像，输出具有高空间、高光谱分辨率的结果。单像素高光谱重建网络不仅解决了重建网络全连接参数过多的问题，同时将网络做成端到端的形式，可以快速准确的获取高光谱数据，在实际场景中的应用中具有优势。
[0045]
步骤二中单像素高光谱重建网络包括以下步骤：
[0046]
21、首先，利用基于光谱冗余压缩的单像素重建模块对步骤一的观测值进行压缩
感知重建，从而得到降维后的初步重建结果；
[0047]
基于光谱冗余压缩的单像素重建模块采用以下模型：
[0048][0049]
其中，代表压缩采样目标场景得到的观测值，代表利用降维模块降维观测值后的结果，代表在降维的情况下的重建和增强结果，表示全连接重建模块，表示残差增强模块，表示利用连续的光谱维度全连接对压缩采样的观测值进行降维处理。
[0050]
高光谱数据具有非线性、数据量大和维度高的特点，现有技术中有多种降维方法，用来去除冗余，提取有效信息。其中，当降维后的结果高于5时，主成分分析法pca在对31维高光谱图像进行降维和恢复的过程中，基本可以无损恢复出原31维度的高光谱图像。因此，在设计网络结构的过程中，将高光谱图像的单像素重建与降维结合起来得到基于光谱冗余压缩的单像素重建模块dfr，通过在单像素高光谱重建过程中引入降维模块，解决网络中使用全连接结构估计初步重建结果而面临的参数过量问题。其结构如图2所示：经过压缩采样的观测值，首先经过由多个连续的光谱维度全连接组成的维度压缩模块ddm，接着通过压缩感知重建和增强模块frm，从而得到在低维度下的初步重建结果。
[0051]
其中，ddm（dimension down module）结构如图3所示，利用连续的光谱维度全连接对压缩采样结果进行降维处理，可以大幅减少后续重建过程需要计算的参数量。维度压缩分为4步，对应维度分别为31，20，15，20，7。
[0052]
frm（fully reconstruction module）的结构如图4所示，在低维度条件下首先使用全连接层得到初步的重建结果，然后使用连续的卷积并结合残差模块实现对初步重建结果的图像增强。本结构总共包含6个卷积操作，每一层卷积核的大小分别为11
×
11，1
×
1，7
×
7，11
×
11，1
×
1，7
×
7，并且它们的特征映射分别为64，32，1，64，32，7。为了保证输出分辨率的不变，用零进行填充，并且除了输出层外都使用relu激活函数。
[0053]
22、其次，引入rgb图像，利用基于渐进式超分的双维度拉伸模块对步骤21的初步重建结果进行处理，得到高空间和高光谱分辨率的重建结果。
[0054]
基于渐进式超分的双维度拉伸模块采用以下模型：
[0055][0056]
其中，表示特征波段拼接，表示残差连接，表示rgb图像，表示光谱维度恢复结果，表示transformer模型，表示空间分辨率超分结果，为亚像素卷积模型。亚像素卷积模块（），代替深度学习中的上采样卷积运算。
[0057]
在降维的情况下实现了低维度的初步重建结果后，本发明设计了基于渐进式超分的双维度拉伸模块fds，其结构如图5所示，输入端包括降维后的初步重建结果
以及具有高空间分辨率的rgb图像。整体可分为低光谱分辨率图像的光谱维度恢复以及低空间分辨率图像的空间维度超分，同时加入高空间分辨率的rgb图像做信息融合，以及由初步重建结果直接上采样的高光谱图像提供网络学习的初步估计。通过基于渐进式超分的双维度拉伸，可以在没有提高压缩采样实际数量的前提下，同时得到高空间、高光谱分辨率的结果，从而得到更好的视觉效果以及更丰富的场景信息。
[0058]
在低空间分辨率图像的空间维度超分过程中，使用亚像素卷积模块sub pixel来代替深度学习中的上采样卷积运算。
[0059]
优选的，请参阅图6所示，transformer模型包括以下步骤：
[0060]
221、将重塑为，然后利用下式对进行线性投影操作：
[0061][0062]
式中，为投影后的结果，为可学习的参数；
[0063]
222、沿着光谱通道数将分为个部分，即，每个部分的尺寸均为，然后利用下式计算的注意力机制：
[0064][0065]
式中，为的转置，为可学习参数，代表激活函数，它可以将一个数值向量归一化为一个概率分布向量；
[0066]
223、将个部分相互连接并通过下式进行操作：
[0067][0068]
式中，为可学习的参数，由两个和一个激活函数组成，为输出结果。
[0069]
另外，本发明利用了transformer模型tfm恢复图像光谱维度，为了获得优化的特征向量，tfm叠加了注意力网络和全连接层。tfm可以为每个维度添加一个独立的参数，在恢复图像光谱维度的过程中，可以调整光谱维度之间的权重关系。
[0070]
优选的，步骤二中单像素高光谱重建网络的损失函数如下式所示：
[0071][0072]
式中，代表期望的结果，代表网络输出的结果，f表示f范数，代表权重系数，m为元素个数。
[0073]
模拟和结果验证：
[0074]
首先，在公共数据集cave数据集及icvl数据集上验证本发明的单像素高光谱重建网络。
[0075]
本发明利用四种方法tradition、tval3、reconnet和coast与本发明的方法进行比
较。tradition和tval3方法需要通过传统的计算或迭代手段进行压缩感知重建，reconnet和coast方法则采用深度学习作为计算手段。
[0076]
选择psnr、ssim和sam指标作为图像评价指标，其中，psnr为峰值信噪比，ssim为结构相似性，sam为光谱角。重建场景图像均为256
×
256
×
31的分辨率。本发明的基于光谱冗余压缩的高光谱成像方法的实际采样次数为64
×
64
×
31
×
，其他网络的实际采样次数为256
×
256
×
31
×
，其中，表示压缩采样率，本发明的实际采样次数更低，在时间上利用采集数据重构一组高光谱图像（256
×
256
×
31）平均只需要64.1ms。
[0077]
表1为3种压缩采样率（0.25、0.1、0.01）情况下不同方法的重建结果指标。
[0078]
综合psnr、sam和ssim三个指标的数据，本发明的重建结果与另外四种方法相比在多数情况下均具有显著优势。本发明将低成本的rgb图像引入网络结构，rgb 图像在网络学习中可以为缺失的信息提供补充，随着压缩采样率的逐渐降低，本发明的各项指标并没有显著的降低。但是在reconnet和coast方法中，由于只有压缩采样数据作为网络输入，随着压缩采样率的降低，重建结果的各项指标均有所降低。
[0079]
表1 不同压缩采样率下cave数据集和icvl数据集的平均指标对比
[0080]
图7、图8、图9和图10展示了在0.25压缩采样率下cave数据集的pompoms_ms场景以及icvl数据集的tree_0822-0853场景的500nm、600 nm和700 nm的重建结果和误差图。从视觉重建结果来看，本发明的重建结果中可以显示更清晰的图像细节以及更高的保真度。sam指标对于重建图像的光谱展示有一定的局限性，因此展示了重建图像的光谱曲线，如图11所示，在每个场景上选取了p1、p2两个区域突出显示光谱曲线，利用本发明重建的高光谱数据的光谱曲线与真实数据基本一致。
[0081]
请参阅图12和图13所示，为了验证本发明的单像素高光谱重建网络并非从rgb到高光谱的简单映射过程，将网络输入端的rgb图像直接替换成灰度图，其他网络结果保持不
变，并在cave数据集上进行验证，表2为对比结果。
[0082]
表2不同压缩采样率下rgb方案和灰度图方案在cave数据集上的平均指标
[0083]
实验与结果
[0084]
本发明的基于单像素重建的高光谱成像系统在单像素相机的基础上使用光纤光谱仪代替单点探测器作为信号采集设备。利用高光谱成像系统对实际场景下的数据进行采集和训练，验证基于光谱冗余压缩的高光谱成像方法的适用性。
[0085]
制作了 200 组数据用于本次的实验，训练数据 180 组，测试数据 20 组，并结合随机的翻转和旋转等操作增加数据的数量。网络同样使用模拟实验的策略进行训练，输入端为 rgb图像(256
×
256
×
3) 和通过压缩采样高光谱数据(64
×
64
×
31) 得到的观测值。
[0086]
表3为实拍数据3种压缩采样率（0.25、0.1、0.01）的网络重建结果。psnr和ssim与采样率成正比，sam与采样率成反比。图14为具有有代表性的场景和可视化对比，图15为对应的光谱曲线。综上所述，本发明的基于光谱冗余压缩的高光谱成像方法具有优秀的成像效果。
[0087]
表3不同压缩采样率下实拍数据的平均指标
[0088] 本发明公开了一种基于光谱几余压缩的高光谱成像方法，通过设计基于单像素重建的高光谱成像系统来压缩采样需要处理的场景然后获得了观测值; 构建端到端的基于光谱几余压缩和渐进式图像超分的单像素高光谱重建网络(csrsh): 通过渐进式超分策略并结合具有高空间分辨率的 rgb 图像，恢复初步重建图像的光谱维度以及超分初步重建结果的空间分辨率，最终在获得高空间、高光谱分辨率的重建结果的同时，并没有增加实际压缩采样次数。
[0089]
相较于现有技术的单像素高光谱重建方法，本发明的基于光谱冗余压缩的高光谱成像方法具有以下优点：
[0090]
1、本发明的单像素高光谱成像引入光谱冗余压缩，解决了网络全连接参数过多的问题，还能实现更大场景的高光谱图像重建。
[0091]
2、本发明利用渐进式图像超分的方法实现图像光谱维度的恢复与空间维度的超分，在没有提高实际采样次数的情况下，得到高光谱、高空间分辨率的高光谱数据。在低压
缩采样率的情况下，本发明的基于光谱冗余压缩的高光谱成像方法引入了rgb图像，在低压缩采样率的情况下更具优势。
[0092]
3、本发明的基于单像素的高光谱重建成像系统，对目标场景进行压缩采样得到观测值，然后利用单像素高光谱重建网络重建高光谱图像。整体成像为端到端模式，应用在实际场景中，可以做到快速准确的获取高光谱及高空间分辨率的高光谱数据。

技术特征：
1.一种基于光谱冗余压缩的高光谱成像方法，其特征在于，包括如下步骤：一、搭建高光谱成像系统，利用所述高光谱成像系统对目标场景进行压缩采样得到观测值和rgb图像，所述高光谱成像系统为基于单像素重建的高光谱成像系统；二、构建单像素高光谱重建网络，利用所述单像素高光谱重建网络对步骤一得到的观测值和rgb图像进行处理，得到高空间、高光谱分辨率的重建结果，所述单像素高光谱重建网络由基于光谱冗余压缩的单像素重建模块和基于渐进式超分的双维度拉伸模块组成。2.如权利要求1所述的基于光谱冗余压缩的高光谱成像方法，其特征在于：步骤一中所述rgb图像为具有高空间分辨率的rgb图像。3.如权利要求1所述的基于光谱冗余压缩的高光谱成像方法，其特征在于：步骤一中所述高光谱成像系统包括物镜l1、平板分束器bs、单像素相机、全内反射棱镜tir、数字微镜装置dmd、准直器l2和光纤光谱仪，所述物镜l1设置在目标场景和平板分束器bs之间，所述单像素相机和全内反射棱镜tir分别设置在所述平板分束器bs的两条光路上，所述数字微镜装置dmd设置在所述全内反射棱镜tir直射光路上，所述准直器l2设置在所述全内反射棱镜tir的偏转光路上，所述光纤光谱仪通过光纤接收所述准直器l2的光线。4.如权利要求3所述的基于光谱冗余压缩的高光谱成像方法，其特征在于：所述数字微镜装置dmd采用哈达玛模板。5.如权利要求1所述的基于光谱冗余压缩的高光谱成像方法，其特征在于：步骤二中所述单像素高光谱重建网络包括以下步骤：首先，利用基于光谱冗余压缩的单像素重建模块对步骤一的观测值进行压缩感知重建，得到降维后的初步重建结果；其次，引入所述rgb图像，利用基于渐进式超分的双维度拉伸模块对步骤21的初步重建结果进行处理，得到高空间和高光谱分辨率的重建结果。6.如权利要求1所述的基于光谱冗余压缩的高光谱成像方法，其特征在于：步骤二中所述基于光谱冗余压缩的单像素重建模块采用以下模型：；其中，代表压缩采样目标场景得到的观测值，代表利用降维模块降维观测值后的结果，代表在降维的情况下的重建和增强结果，表示全连接重建模块，表示残差增强模块，表示利用连续的光谱维度全连接对压缩采样的观测值进行降维处理。7.如权利要求1所述的基于光谱冗余压缩的高光谱成像方法，其特征在于：步骤二中所述基于渐进式超分的双维度拉伸模块采用以下模型：
；其中，表示特征波段拼接，表示残差连接，表示rgb图像，表示光谱维度恢复结果，表示transformer模型，表示空间分辨率超分结果，为亚像素卷积模型，代表卷积操作。8.如权利要求7所述的基于光谱冗余压缩的高光谱成像方法，其特征在于：所述transformer模型包括以下步骤：221、将输入图像重塑为，然后利用下式对进行线性投影操作：；式中，为投影后的结果，为可学习的参数，代表图像的空间分辨率，为图像的光谱波段数量；222、沿着光谱通道数将分为个部分，即，每个部分的尺寸均为，然后利用下式计算的注意力机制：；式中，为的转置，为可学习参数，代表激活函数；223、将个部分相互连接并通过下式进行操作：；式中，为可学习的参数，由两个和一个激活函数组成，为输出结果。9.如权利要求1所述的基于光谱冗余压缩的高光谱成像方法，其特征在于：步骤二中单像素高光谱重建网络的损失函数如下式所示：；式中，代表期望的结果，代表网络输出的结果，f表示f范数，代表权重系数，m为
元素个数。

技术总结
本发明公开了一种基于光谱冗余压缩的高光谱成像方法，包括如下步骤：一、搭建高光谱成像系统，利用所述高光谱成像系统对目标场景进行压缩采样得到观测值和RGB图像，所述高光谱成像系统为基于单像素重建的高光谱成像系统；二、构建单像素高光谱重建网络，利用所述单像素高光谱重建网络对步骤一得到的观测值和RGB图像进行处理，得到高空间、高光谱分辨率的重建结果，所述单像素高光谱重建网络包括基于光谱冗余压缩的单像素重建模块和基于渐进式超分的双维度拉伸模块，最终在获得高空间、高光谱分辨率的重建结果的同时，并没有增加实际压缩采样次数。缩采样次数。缩采样次数。


技术研发人员：张毅 于子琦 赵壮 陆骏 韩静 柏连发 穆久涛 欧阳若冰
受保护的技术使用者：南京理工大学
技术研发日：2023.06.20
技术公布日：2023/8/24