基于深度学习的计算光谱成像误差矫正方法

1.本发明属于光谱成像误差矫正技术领域，具体涉及基于深度学习的计算光谱成像误差矫正方法。


背景技术：

2.多光谱数据表征着物体表面电磁辐射的强弱信息，在生物医药，地质勘查，林业农业监控，气象预测，减灾防灾，军事目标侦测等领域有着及其广泛的应用。然而，与理论的蓬勃发展相比，计算光谱成像系统的工程化进程却严重滞后。经典的计算光谱成像都采用二次成像系统，在一次像面利用编码模板对场景进行编码调制，随后利用中继镜和色散器件完成像面搬移和色散，并在二次像面利用传感器成像。此时传感器的输出结果并不能直接使用，还需要通过繁琐的定标操作建立两个相面间的几何对应关系，借助仿射，裁剪，插值等基础图像处理方法从传感器响应中提取观测值，并交由神经网络或优化器完成场景光谱信息的计算重建。成像系统的误差的存在会严重制约着后期场景光谱信心计算重建的质量。
3.现有的工程主要采用手动逐一场景逐一像素的进行编码模板和ccd探测器上响应的位置的标定，目的是通过繁琐的定标操作建立两个相面间的几何对应关系，借助仿射，裁剪，插值等基础图像处理方法从传感器响应中提取观测值，但是该方法在实际应用中大大受限，遥感光谱图像的定标在星载、机载、甚至车载等实际应用场景都是无法实现的，即是繁琐的也是耗时耗力的。
4.在计算光谱重构方面，采用传统方法进行计算重构在测试集和真实场景表现虽然在一定程度上优于部分深度学习的方法，但是传统方法进行重构时效率较低，需要复杂的计算过程，计算复杂度很高，需要大量的计算资源，且重建准确度一般。随着深度学习的流行，利用深度神经网络优化重构成为很多人的选择，然后，基于网络的深度学习的方法虽然在仿真训练集上取得了很好的结果，但是对于实际的光谱观测图像重建效果甚至还不如传统的算法，他们对于仿真数据集建立模型，反复迭代训练，可能会过拟合，导致模型的泛化能力差。
5.目前还有一些重构算法在重构时考虑了误差，在通过神经网络进行光谱重构时简单包含了对点psf的估计等，如西北工业大学团队提出了一种无监督图像自适应学习的重建算法，提出了一个包含两个阶段先融合后自适应调整的重建框架，在后期自适应调整时考虑到了实际采样的psf函数和谱间采样模型，miae是一种无监督的基于深度学习的方法，建立在目标图像上的隐式自动编码器网络，提出了srf和psf的盲估计。
6.但是这些最多是只预测了psf函数，且都是基于全图各点psf一致的简单假设下建立线性模型进行估计，没有考虑局部的形变，但是psf的估计在工程是逐点各异的非线性的变换，其次，在观测提取过程中这些方法都是基于两个像面一一对齐的假设，采用手工提取观测的方法，没有考虑观测提取过程的误差。尽管以上这些方法可以在一定程度上修正误差，但是与实际工程中的误差模型相差很远，因此对于计算光谱成像问题而言，迫切的需要
建立完备的误差模型，对误差分析和矫正，提出一种考虑复杂非线性误差的光谱重构算法刻不容缓。


技术实现要素：

7.为了克服以上现有技术存在的问题，本发明的目的在于提供基于深度学习的计算光谱成像误差矫正方法，以成像系统实际误差的可微建模为基础，建立联合观测提取，误差矫正，以及光谱重构的端到端联合优化框架，弥补当前实际系统成像质量与理论仿真质量之间的巨大差距。
8.为了实现上述目的，本发明采用的技术方案是：
9.基于深度学习的计算光谱成像误差矫正方法，包括以下步骤；
10.步骤(1)：对成像系统获取的低分辨率光谱图像的误差进行分析和建模；
11.步骤(2)：搭建神经网络对低分辨率光谱图像的误差进行矫正，即离线定标；
12.步骤(3)：将矫正后的低分辨率光谱图像以及成像系统彩色相机捕获的rgb图像作为输入，通过深度学习的方法搭建图像的融合重建网络，计算光谱重构得到初步重建的目标图像；
13.步骤(4)：将所述初步重建的目标图像进行成像系统的退化，并借助实际观测进行与退化的图像做约束，实现色差矫正网络、光谱融合网络的联合优化，实现光谱成像误差矫正。
14.所述步骤(1)具体为：
15.对成像系统误差进行建模，获得实际光谱成像的系统观测以及理论设计模型，并分析误差的组成原理；
16.(1.1)获取实际工程成像系统观测并分析；
17.首先通过所搭建的成像系统对于场景进行拍摄成像，提取实际的ccd探测器上的观测，并与理论设计模型进行对比分析，实际观测的图像对于每一个波段的像素点有着像素位置的偏移和非刚性的扩散现象；
18.(1.2)对位移偏移建模；
19.首先对光谱图像i
m*n
进行采样和组合操作：
[0020][0021]
对光谱图像进行稀疏采样分块组合，其中k*k是采样点个数；
[0022][0023]
j为偏移后的图像，a是仿射变换，其中a的自由度df(a)＝2；
[0024]
(1.3)对点扩散现象进行建模；
[0025]
对于需要重构的高光谱图像i
λ
(x,y)，观测的rgb图像jc(x,y)可表示为：
[0026]
jc(x,y)＝∫∫∫ωc(λ)i
λ
(μ,v)p
λ
(x-μ,y-v)dμdvdλ
[0027]
其中ωc(λ)是光谱响应曲线，c∈{r,g,b}，p
λ
(x,y)是与位置和波长有关的点扩散函数，采用δσ来描述点扩散函数高斯分布的方差；采用参数化的高斯来进行psf的估计可以增加各点之间的约束；
[0028]
(1.4)整体模型的建立；
[0029]
1)偏移模型的建立：包含水平位置的偏移δx和竖直位置的偏移δy，2)扩散模型的建立：单个像素点的扩散使用符合高斯函数的spf函数来表示，采用δσ参数化的高斯来拟合点扩散的过程，σ表示方差，将误差模型的建立分解为了δx、δy、δσ的求解。
[0030]
所述步骤(2)具体为：
[0031]
(2.1)制作仿真数据集；
[0032]
选取公开数据集，所述公开数据集包含室内场景高光谱图像的cave数据集，其中包含光谱图像(hr-hsi)且有对应的彩色图像(hr-msi)；
[0033]
(2.2)通过网络进行色差矫正。所述步骤(2.1)具体为：
[0034]
(2.1.1)得到低分辨率光谱图像；
[0035]
采用遥感领域中常用的制作低分辨率光谱图像规则，首先使用高斯模糊核对hr-hsi进行滤波，然后再高光谱图像的行和列两个方向也步长为下采样倍数获取像素，接着进行最大最小归一化，得到低分辨率光谱图像(lr-hsi)；
[0036]
(2.1.2)得到ccd图像；
[0037]
对于得到的低分辨率光谱图像，首先自定义了采样模板；接着按照预设的采样模板在对应位置的点坐标将其还原到在ccd上得到排列，也就是ccd图像，接着按照建立的模型，对于ccd上的像素点的波段渐进倾斜和高斯滤波操作；对于同一个像素点的不同波段，波长越段倾斜度越高，扩散的滤波和越低；通过这个操作可以仿真成像系统的误差形成过程；相邻像素点渐进变换，每次变化的步长为最大的倾斜角度/像素宽的一半，高斯滤波核大小从3-10按照波段数线性变化；
[0038]
所述步骤(2.2)具体为：
[0039]
(2.2.1)对上述制作的ccd误差数据集进行取patch操作；
[0040]
(2.2.2)将patch送入网络，通过leakyrelu()作为激活函数，接着通过池化层，得到特征图；
[0041]
(2.2.3)接着将得到的特征图输入网络里面，网络的输入通道数是前一层的输出通道数，输出通道数为输入通道数的2倍，接着通过激活函数和池化层，激活函数为leakyrelu()，共设置5层卷积网络；
[0042]
(2.2.4)将最后一层卷积网络输出的特征图进行两次全连接；
[0043]
(2.2.5)通过设置损失函数为均方误差损失mse_loss进行训练，得到误差矫正后的初步结果；
[0044]
(2.2.6)将网络矫正后的参数保存，并通过前向推理得到整幅图像的矫正结果。
[0045]
离线定标过程就是利用数据集训练网络，实现网络对误差的矫正和调整，通过深度学习的方法对误差进行矫正的主要优点在于a)可以通过网络取代繁琐的手动定标过程，手工定标繁琐且耗时，并且在车载、星载等应用场景是不可实现的，通过网路实现离线定标过程可以节省大量的人力和时间的同时，也增加了光谱成像系统的应用范围；b)通过网络
可以对于真实场景实现重定标，在真实的场景里面利用退化模型，调整误差提取网络的参数可以实现在线重定标，对于不同的场景在线精调参数；传统的计算光谱成像技术在进行光谱信息重构时未考虑成像系统误差，导致重构的光谱图像在仿真数据集上表现良好，但对于真实场景效果往往不佳。以神经网络为突破口，修正成像系统自带的不可避免的误差，弥补了当前实际系统成像质量与理论仿真质量之间的巨大差距。
[0046]
所述步骤(3)具体为：
[0047]
根据矫正后的低空间分辨率的光谱图像和高空间分辨率的rgb图像，通过分级渐进融合得到高分辨率的光谱图像，重建场景信息；
[0048]
(3.1)首先对cave高光谱图像集预处理，cave数据集由哥伦比亚大学提供，包含32个场景，每个场景包含31个光谱通道，将场景的通道图像分为若干小块patch，然后对于lr_hsi通过插值到与hr_msi一样的倍数得到up_hsi，分别将up_hsi、hr_msi作为网络的输入；
[0049]
(3.2)第一次从up-hsi取出的通道，结合hr_msi的通道，通过图像融合子网络得到输出，并作为下一层的输入；
[0050]
(3.3)第二次从up-hsi取出的通道，结合hr_msi的通道，通过图像融合子网络得到输出，并作为下一层的输入；
[0051]
(3.4)下一层取出的通道，结合hr_msi的通道，以及上一层融合子网络的输处作为输入，通过融合子网络得到的输出结果与up-his进行像素级加法得到输出；
[0052]
(3.4)将之前的输出通过提纯网络即可得到最终的输出结果，提纯网络包含四层卷积网络，最后输出重建的hr-his；
[0053]
(3.5)保存网络参数。
[0054]
所述步骤(4)具体为：
[0055]
(4.1)成像系统探测；
[0056]
利用成像系统探测，获得低分辨率的有色差的光谱图像(lr-hsi)和rgb相机获得的高空间分辨率的rgb图像(hr-msi)；
[0057]
(4.2)误差矫正技术；
[0058]
对于成像系统所获得的低分辨率的有色差的光谱图像，对其进行预处理后，加载步骤(2)中预先训练的离线定标的网络参数，并固定网络参数，进行前向推理，对于有误差的低分辨率的光谱图像进行误差的初步矫正；
[0059]
(4.3)训练光谱融合网络；
[0060]
对于经过误差初步矫正的光谱图像(lr_hsi)和rgb相机所获得的高空间分辨率的光谱图像，将低分辨光谱图像线性插值，将其和rgb图像作为网络的输入，通过步骤(3)中保存的重构网络的网络参数，获得初步重建的场景的目标光谱图像(hr-hsi)；
[0061]
(4.4)建立空间和谱间的退化模型；
[0062]
通过卷积网络模拟空间退化模型的建立，通过相机响应曲线相乘模拟谱间退化，分别得到低空间分辨率和低光谱分辨率的图像；
[0063]
(4.4)建立成像误差的退化模型；
[0064]
误差退化的建模过程如步骤(1)所示，采用深度可分离卷积和可变形卷积分别来模拟点扩散函数和位移偏移过程；
[0065]
(4.5)利用在线观测对重构结果以及模型参数进行矫正；
[0066]
利用初步重建的图像经过上述步骤(4.2)、步骤(4.3)、步骤(4.4)中的退化模型，得到了光谱图像1，rgb图像2，以及有误差的ccd光谱图像3，将光谱图像1和rgb图像2与lr-hsi、hr-msi通过loss函数进行约束，有误差的ccd光谱图像3与ccd图像进行约束，通过网络的反向传播，联合优化光谱重构算法和误差矫正网络；采用了自监督学习策略对重构网络参数和误差模型参数进行在线的精调，根据真实场景中的在线先验实现计算重构、在线重定标和误差矫正的联合优化。
[0067]
所述步骤(4.4)具体为：
[0068]
点扩散函数的模拟：采用深度可分离卷积，对于场景的不同光谱通道实现不同的点扩散函数，哪怕是同一像素点，通过深度可分离卷积所模拟的点扩散函数都是不同的，更符合实际成像系统特性；
[0069]
位移的模拟：通过可变形卷积模拟位移，可变形卷积的输入输出通道数保持不变，对于各点各异的进行偏移估计。
[0070]
本发明的有益效果：
[0071]
1.本发明建立了计算光谱成像系统误差的可微模型，用于参数化描述理论观测模型到实际观测模型之间的退化过程，此时从一次相面到传感器的映射关系不再需要满足“逐一对齐和刚性映射”假设，因此可以将之前独立于计算光谱重构网络之外的“观测提取过程”与计算重构进行联合训练。
[0072]
2.本发明降低了系统误差所导致的光谱图像质量差对于后期计算光谱成像带来的影响，计算光谱成像系统存在着复杂耦合的系统误差问题，其中编码模板和传感器提取的观测值之间不能满足所有像素的对齐的问题，并且成像系统不可避免的存在的色差和像差问题，这些误差的存在严重制约着计算光谱成像过程，我们采用了神经网络对于成像系统的这些误差进行了校正，不但提升了获得光谱图像的质量，还有利于进一步提升计算重构的光谱图像的质量。
[0073]
3.本发明解决了重复繁琐的手工定标问题，定标问题本身也是当前计算光谱成像系统工程化的主要瓶颈之一，系统参数在实际使用时会受温度变化、震动等物理环境的影响，这使得每次实际使用前都需要重复繁琐的离线重定标操作，这在星载、机载、甚至车载等实际应用场景都是无法实现的，由于“手工定标观测提取过程”已被网络学习所替代，我们采用网络训练的方法大大的提升了观测提取过程的效率。
[0074]
4.本发明解决了计算重构在仿真数据集和真实场景上重建质量相差较大的问题，采用自监督学习策略对重构网络参数和误差模型参数进行在线的精调，根据真实场景中的在线先验实现计算重构、在线重定标和误差矫正的联合优化。
附图说明
[0075]
图1是本发明实际成像系统观测图。
[0076]
图2为本发明整体模型的的建立示意图。
[0077]
图3为本发明基于dmd的双通道光谱成像系统示意图。
[0078]
图4为本发明离线定标误差矫正示意图。
[0079]
图5为本发明联合误差矫正光谱图像计算重构图。
具体实施方式
[0080]
下面结合附图对本发明作进一步详细说明。
[0081]
本发明提供了一种基于深度学习的计算光谱成像误差矫正算法；如下步骤：
[0082]
(1)计算光谱成像系统误差可微建模：
[0083]
为了从系统观测更好的提取系统观测，需要对成像系统误差进行建模。因此需要获得实际光谱成像的系统观测以及理论设计模型，并分析误差的组成原理。
[0084]
(1.1)获取实际工程成像系统观测并分析；
[0085]
首先通过所搭建的成像系统对于场景进行拍摄成像，提取实际的ccd探测器上的观测，并与理论的模型进行对比分析，如图1实际观测的图像所示，实际的观测与理想设计的模型有着很大的不同，对于每一个波段的像素点有着像素位置的偏移和非刚性的扩散现象，将模型的建立分为以下两个部分：
[0086]
(1.2)对位移偏移建模；
[0087]
首先对光谱图像i
m*n
进行采样和组合操作：
[0088][0089]
对光谱图像进行稀疏采样分块组合，其中k*k是采样点个数；
[0090][0091]
j也就是偏移后的图像，a是仿射变换，其中a的自由度df(a)＝2；
[0092]
(1.3)对点扩散现象进行建模：
[0093]
对于需要重构的高光谱图像i
λ
(x,y)，观测的rgb图像jc(x,y)可表示为：
[0094]
jc(x,y)＝∫∫∫ωc(λ)i
λ
(μ,v)p
λ
(x-μ,y-v)dμdvdλ
[0095]
其中ωc(λ)是光谱响应曲线，c∈{r,g,b}。p
λ
(x,y)是与位置和波长有关的点扩散函数，通过实际的观测模型，发现点扩散函数是非刚性的类高斯分布，所以采用δσ来描述点扩散函数高斯分布的方差；采用参数化的高斯来进行psf的估计可以增加各点之间的约束，这也是传统定标方法所并不能达到的。
[0096]
(1.4)整体模型的建立
[0097]
综上所述，对于误差模型的建立可以分为：1)偏移模型的建立：包含水平位置的偏移δx和竖直位置的偏移δy，2)扩散模型的建立：单个像素点的扩散使用符合高斯函数的spf函数来表示，但由于不同像素点位置的扩散度不一样，为了准确的描述这种扩散，采用δσ参数化的高斯来拟合点扩散的过程，σ表示方差，对于不同的σ，点扩散程度不一样。
[0098]
通过以上，完成了对于误差的可微建模，将误差模型的建立分解为了δx、δy、δσ以上参数的求解，以上参数对于整个图像上的不同像素点、不同光谱波段都是不一致的，为了更符合实际物理情况，对相邻像素点的模型参数增加tv约束，使得tv约束尽可能平滑。
[0099]
(2)光谱成像系统误差的矫正(离线定标)
[0100]
离线定标过程就是利用数据集训练网络，实现网络对误差的矫正和调整，主要包括以下步骤：
[0101]
(2.1)制作仿真数据集：
[0102]
选取公开数据集，包含32组室内场景高光谱图像的cave数据集，其中包含31个光谱图像(hr-hsi)且有对应的一张彩色图像(hr-msi)；
[0103]
(2.1.1)得到低分辨率图像
[0104]
采用遥感领域中常用的制作低分辨率图像规则，首先使用7
×
7的高斯模糊核对hr-hsi进行滤波，该模糊核均值为0，方差为2，然后再高光谱图像的行和列两个方向也步长为下采样倍数获取像素，接着进行最大最小归一化，得到低分辨率高光谱图像(lr-hsi)；
[0105]
(2.1.2)得到ccd图像
[0106]
对于得到的低分辨率图像，首先自定义了采样模板，模板采样点为每隔48*48取一个模板间距时，光谱维度是31时，也就是48*48的块内只存在这1个对场景的采样点并色散了31个光谱通道。接着按照预设的采样模板在对应位置的点坐标将其还原到在ccd上得到排列，也就是ccd图像，这个ccd图像是没有误差的gt图像，接着按照建立的模型，对于ccd上的像素点的波段渐进倾斜和高斯滤波操作。对于同一个像素点的不同波段，波长越段倾斜度越高，扩散的滤波和越低。通过这个操作可以仿真成像系统的误差形成过程。每个像素点最大的倾斜度的倾斜范围为20个像素格，相邻像素点渐进变换，每次变化的步长为最大的倾斜角度/像素宽的一半，高斯滤波核大小从3-10按照波段数线性变化；
[0107]
(2.2)通过网络进行色差矫正；
[0108]
(2.2.1)对上述制作的ccd误差数据集进行取patch操作，patch的大小为48*48；
[0109]
(2.2.2)将patch送入网络，第一层卷积网络输入通道数为1，输出通道数为16卷积层采用的3*3的卷积核，通过leakyrelu()作为激活函数，接着通过池化层，池化层步长设置为2；
[0110]
(2.2.3)接着将得到的特征图输入网络里面，网络的输入通道数是前一层的输出通道数，输出通道数为输入通道数的2倍，接着通过激活函数和池化层，激活函数为leakyrelu()，池化层步长为2，共设置5层卷积网络；
[0111]
(2.2.4)将最后一层卷积网络输出的特征图进行两次全连接，第一层全连接输出的大小为512，第二层全连接输出的大小为光谱通道数31；
[0112]
(2.2.5)通过设置损失函数为均方误差损失mse_loss进行训练，优化器的选择为sgd，动量设置为0.9，训练500次，得到误差矫正后的初步结果；
[0113]
(2.2.6)将网络矫正后的参数保存，并通过前向推理得到整幅图像的矫正结果；
[0114]
(3)完成计算光谱重构；
[0115]
根据矫正后的低空间分辨率的光谱图像和高空间分辨率的rgb图像，通过融合得到高分辨率的光谱图像。
[0116]
(3.1)首先对图像集预处理，按照大小为128，步长是64，分为若干小块patch,然后对于lr_hsi通过插值到与hr_msi一样的倍数得到up_hsi，分别将up_hsi、hr_msi作为网络的输入；
[0117]
(3.2)第一次从up-hsi取出8个通道，结合hr_msi的三个通道，通过图像融合子网络得到输出，并作为下一层的输入；
[0118]
(3.3)第二次从up-hsi取出16个通道，结合hr_msi的三个通道，通过图像融合子网络得到输出，并作为下一层的输入；
[0119]
(3.4)下一层取出31个通道，结合hr_msi的三个通道，以及上一层融合子网络的输处作为输入，通过融合子网络得到的输出结果与up-his进行像素级加法得到输出；
[0120]
(3.4)将之前的输出通过提纯网络即可得到最终的输出结果，提纯网络包含四层卷积网络，卷积核大小分别3、3、1、1的大小，最后输出重建的hr-hsi。
[0121]
(3.5)保存网络参数。
[0122]
(4)联合误差矫正计算光谱重构：
[0123]
(4.1)成像系统探测；
[0124]
对于整个计算光谱成像系统而言，基本原理是第一步利用成像系统探测，获得低分辨率的有色差的光谱图像(lr-hsi)和rgb相机获得的高空间分辨率的rgb图像(hr-msi)。
[0125]
(4.2)误差矫正；
[0126]
对于成像系统所获得的低分辨率的有色差的光谱图像，对数据进行预处理后，加载(2)中预先训练的离线定标的网络参数，并固定网络参数，进行前向推理，对于有误差的低分辨率的光谱图像进行误差的初步矫正。
[0127]
(4.3)训练光谱融合网络；
[0128]
对于经过误差初步矫正的光谱图像(lr_hsi)和rgb相机所获得的高空间分辨率的光谱图像，将低分辨光谱图像线性插值，将其和rgb图像作为网络的输入，通过(3)中保存的重构网络的网络参数，获得初步重建的场景的目标光谱图像(hr-hsi)。
[0129]
(4.4)建立空间和谱间的退化模型；
[0130]
(a)空间退化模型的建立；
[0131]
空间退化模型主要目的是将高分辨率的初步重建的场景的目标光谱图像(hr-hsi)退化为lr-hsi图像，我们具体的实施过程就是通过设置卷积，将卷积核的步长设置下采样的场景的倍数，以8倍超分为例，设计卷积的步长为8、卷积核大小为8可以得到对于高分辨率图像整图做卷积，得到下采样退化8倍的低分辨率光谱图像。
[0132]
(b)谱间退化模型的建立；
[0133]
谱间退化模型建立的目的是通过该模型将初步重建的场景的目标光谱图像(hr-hsi)退化为rgb图像，对于rgb相机而言，我们可以认为光谱响应函数(srf)是已知的，所以我们仅需通过光谱响应矩阵与重构的光谱图像相乘就可以实现谱间的下采样，光谱响应矩阵大小为31*3，光谱图像大小为512*512*31，二者相乘得到光谱图像大小为512*512*3；
[0134]
(4.4)建立成像的退化模型
[0135]
误差退化的建模过程如步骤(1)所示，采用深度可分离卷积和可变形卷积分别来模拟点扩散函数和位移偏移过程。
[0136]
(4.4.1)点扩散函数的模拟：首先将低分辨率图像按照位置关系通过反卷积将1*1的点扩大为10*10的大小，反卷积上采样的倍数为10倍，然后采用深度可分离卷积，卷积核的输入通道数和输出通道数都是31，卷积核的大小为7*7，通过卷积来模拟滤波偏移过程；
[0137]
(4.4.2)通过可变形卷积模拟位移，可变形卷积的输入输出通道数保持不变，卷积核的大小设置为48，步长设为1，padding设为1；
[0138]
(4.5)利用在线观测对重构结果以及模型参数进行矫正
[0139]
利用初步重建的图像经过上述(4.2)(4.3)(4.4)中的退化模型，得到了光谱图像1，rgb图像2，以及有误差的ccd光谱图像3，将图像1和图像2与lr-hsi、hr-msi做loss，图像3与ccd图像做loss,通过网络的反向传播，联合优化光谱重构算法和误差矫正网络。
[0140]
如图2所示：是本发明整体模型的建立示意图，最左边的图是理想情况下的光谱色散分布，通过水平和竖直两个方向上的偏移得到中间图，再通过点扩散函数得到右边图，右边图分布便为实际观测图像分布；
[0141]
如图3所示：图3是基于dmd的双通道光谱成像系统示意图，光线进入成像系统，经过滤光片等光学器件之后被数字微镜阵列反射，通过控制数字微镜单元旋转的角度，将光线分为两路，一路被彩色相机承接，得到rgb彩色图像，另一路经过棱镜分光，被灰度相机承接得到光谱图像；
[0142]
如图4所示：离线定标误差矫正示意图，图像y经过离线训练数据集训练色差矫正网络得到矫正后图像x*，然后借助退化模型得到预估图像y*，通过y与y*约束，优化色差矫正网络；
[0143]
如图5所示：图5是联合误差矫正光谱图像计算重构图，是整个计算光谱成像色差矫正技术的框架图，我们拍摄的低分辨率色差光谱图像y经过net1进行色差矫正，得到低分辨率光谱图像x，接着图像x和rgb图像经过融合重建网络net2得到初步重建的高分辨率光谱图像，接着通过空间和色差的退化得到预估图像y*，通过谱间退化得到预估图像z*，通过观测场景的x、y、z进行约束，优化重建结果。
[0144]
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

技术特征：
1.基于深度学习的计算光谱成像误差矫正方法，其特征在于，包括以下步骤；步骤(1)：对成像系统获取的低分辨率光谱图像的误差进行分析和建模；步骤(2)：搭建神经网络对低分辨率光谱图像的误差进行矫正，即离线定标；步骤(3)：将矫正后的低分辨率光谱图像以及成像系统彩色相机捕获的rgb图像作为输入，通过深度学习的方法搭建图像的融合重建网络，计算光谱重构得到初步重建的目标图像；步骤(4)：将所述初步重建的目标图像进行成像系统的退化，并借助实际观测进行与退化的图像做约束，实现色差矫正网络、光谱融合网络的联合优化，实现光谱成像误差矫正。2.根据权利要求1所述的基于深度学习的计算光谱成像误差矫正方法，其特征在于，所述步骤(1)具体为：对成像系统误差进行建模，获得实际光谱成像的系统观测以及理论设计模型，并分析误差的组成原理；(1.1)获取实际工程成像系统观测并分析；(1.2)对位移偏移建模；(1.3)对点扩散现象进行建模；(1.4)整体模型的建立。3.根据权利要求2所述的基于深度学习的计算光谱成像误差矫正方法，其特征在于，所述步骤(1.1)为：首先通过所搭建的成像系统对于场景进行拍摄成像，提取实际的ccd探测器上的观测，并与理论设计模型进行对比分析，实际观测的图像对于每一个波段的像素点有着像素位置的偏移和非刚性的扩散现象；所述步骤(1.2)为：首先对光谱图像i
m*n
进行采样和组合操作：进行采样和组合操作：进行采样和组合操作：对光谱图像进行稀疏采样分块组合，其中k*k是采样点个数；j为偏移后的图像，a是仿射变换，其中a的自由度df(a)＝2；所述步骤(1.3)为：对于需要重构的高光谱图像i
λ
(x,y)，观测的rgb图像j
c
(x,y)可表示为：j
c
(x,y)＝∫∫∫ω
c
(λ)i
λ
(μ,v)p
λ
(x-μ,y-v)dμdvdλ其中ω
c
(λ)是光谱响应曲线，c∈{r,g,b}，p
λ
(x,y)是与位置和波长有关的点扩散函数，采用δσ来描述点扩散函数高斯分布的方差；采用参数化的高斯来进行psf的估计可以增加各点之间的约束。
4.根据权利要求3所述的基于深度学习的计算光谱成像误差矫正方法，其特征在于，所述步骤(1.4)为：1)偏移模型的建立：包含水平位置的偏移δx和竖直位置的偏移δy，2)扩散模型的建立：单个像素点的扩散使用符合高斯函数的spf函数来表示，采用δσ参数化的高斯来拟合点扩散的过程，σ表示方差，将误差模型的建立分解为了δx、δy、δσ的求解。5.根据权利要求4所述的基于深度学习的计算光谱成像误差矫正方法，其特征在于，所述步骤(2)具体为：(2.1)制作仿真数据集；选取公开数据集，所述公开数据集包含室内场景高光谱图像的cave数据集，其中包含光谱图像(hr-hsi)且有对应的彩色图像(hr-msi)；(2.2)通过网络进行色差矫正。6.根据权利要求5所述的基于深度学习的计算光谱成像误差矫正方法，其特征在于，所述步骤(2.1)具体为：(2.1.1)得到低分辨率光谱图像；首先使用高斯模糊核对hr-hsi进行滤波，然后再高光谱图像的行和列两个方向也步长为下采样倍数获取像素，接着进行最大最小归一化，得到低分辨率光谱图像(lr-hsi)；(2.1.2)得到ccd图像；对于得到的低分辨率光谱图像，首先自定义了采样模板；接着按照预设的采样模板在对应位置的点坐标将其还原到在ccd上得到排列，也就是ccd图像，接着按照建立的模型，对于ccd上的像素点的波段渐进倾斜和高斯滤波操作；对于同一个像素点的不同波段，波长越段倾斜度越高，扩散的滤波和越低；相邻像素点渐进变换，每次变化的步长为最大的倾斜角度/像素宽的一半，高斯滤波核大小从3-10按照波段数线性变化。7.根据权利要求6所述的基于深度学习的计算光谱成像误差矫正方法，其特征在于，所述步骤(2.2)具体为：(2.2.1)对上述制作的ccd误差数据集进行取patch操作；(2.2.2)将patch送入网络，通过leakyrelu()作为激活函数，接着通过池化层，得到特征图；(2.2.3)接着将得到的特征图输入网络里面，网络的输入通道数是前一层的输出通道数，输出通道数为输入通道数的2倍，接着通过激活函数和池化层，激活函数为leakyrelu()，共设置5层卷积网络；(2.2.4)将最后一层卷积网络输出的特征图进行两次全连接；(2.2.5)通过设置损失函数为均方误差损失mse_loss进行训练，得到误差矫正后的初步结果；(2.2.6)将网络矫正后的参数保存，并通过前向推理得到整幅图像的矫正结果。8.根据权利要求5所述的基于深度学习的计算光谱成像误差矫正方法，其特征在于，所述步骤(3)具体为：根据矫正后的低空间分辨率的光谱图像和高空间分辨率的rgb图像，通过分级渐进融合得到高分辨率的光谱图像，重建场景信息；(3.1)首先对cave高光谱图像集预处理，cave数据集由哥伦比亚大学提供，包含32个场
景，每个场景包含31个光谱通道，将场景的通道图像分为若干小块patch，然后对于lr_hsi通过插值到与hr_msi一样的倍数得到up_hsi，分别将up_hsi、hr_msi作为网络的输入；(3.2)第一次从up-hsi取出的通道，结合hr_msi的通道，通过图像融合子网络得到输出，并作为下一层的输入；(3.3)第二次从up-hsi取出的通道，结合hr_msi的通道，通过图像融合子网络得到输出，并作为下一层的输入；(3.4)下一层取出的通道，结合hr_msi的通道，以及上一层融合子网络的输处作为输入，通过融合子网络得到的输出结果与up-his进行像素级加法得到输出；(3.4)将之前的输出通过提纯网络即可得到最终的输出结果，提纯网络包含四层卷积网络，最后输出重建的hr-his；(3.5)保存网络参数。9.根据权利要求8所述的基于深度学习的计算光谱成像误差矫正方法，其特征在于，所述步骤(4)具体为：(4.1)成像系统探测；利用成像系统探测，获得低分辨率的有色差的光谱图像(lr-hsi)和rgb相机获得的高空间分辨率的rgb图像(hr-msi)；(4.2)误差矫正技术；对于成像系统所获得的低分辨率的有色差的光谱图像，对其进行预处理后，加载步骤(2)中预先训练的离线定标的网络参数，并固定网络参数，进行前向推理，对于有误差的低分辨率的光谱图像进行误差的初步矫正；(4.3)训练光谱融合网络；对于经过误差初步矫正的光谱图像(lr_hsi)和rgb相机所获得的高空间分辨率的光谱图像，将低分辨光谱图像线性插值，将其和rgb图像作为网络的输入，通过步骤(3)中保存的重构网络的网络参数，获得初步重建的场景的目标光谱图像(hr-hsi)；(4.4)建立空间和谱间的退化模型；通过卷积网络模拟空间退化模型的建立，通过相机响应曲线相乘模拟谱间退化，分别得到低空间分辨率和低光谱分辨率的图像；(4.4)建立成像误差的退化模型；误差退化的建模过程如步骤(1)所示，采用深度可分离卷积和可变形卷积分别来模拟点扩散函数和位移偏移过程；(4.5)利用在线观测对重构结果以及模型参数进行矫正；利用初步重建的图像经过上述步骤(4.2)、步骤(4.3)、步骤(4.4)中的退化模型，得到了光谱图像1，rgb图像2，以及有误差的ccd光谱图像3，将光谱图像1和rgb图像2与lr-hsi、hr-msi做loss，有误差的ccd光谱图像3与ccd图像做loss，通过网络的反向传播，联合优化光谱重构算法和误差矫正网络；采用了自监督学习策略对重构网络参数和误差模型参数进行在线的精调，根据真实场景中的在线先验实现计算重构、在线重定标和误差矫正的联合优化。10.根据权利要求9所述的基于深度学习的计算光谱成像误差矫正方法，其特征在于，所述步骤(4.4)具体为：
点扩散函数的模拟：采用深度可分离卷积，对于场景的不同光谱通道实现不同的点扩散函数；位移的模拟：通过可变形卷积模拟位移，可变形卷积的输入输出通道数保持不变，对于各点各异的进行偏移估计。

技术总结
基于深度学习的计算光谱成像误差矫正方法，包括以下步骤；对成像系统获取的低分辨率光谱图像的误差进行分析和建模；搭建神经网络对低分辨率光谱图像的误差进行矫正；将矫正后的低分辨率光谱图像以及成像系统彩色相机捕获的RGB图像作为输入，通过深度学习的方法搭建图像的融合重建网络，计算光谱重构得到初步重建的目标图像；将目标图像进行成像系统的退化，并借助实际观测进行与退化的图像做约束，实现色差矫正网络、光谱融合网络的联合优化，实现光谱成像误差矫正。本发明以成像系统实际误差的可微建模为基础，建立联合观测提取，误差矫正，以及光谱重构的端到端联合优化框架，弥补当前实际系统成像质量与理论仿真质量之间的巨大差距。间的巨大差距。间的巨大差距。


技术研发人员：牛毅 陈绘琳 马明明 李甫 石光明
受保护的技术使用者：西安电子科技大学
技术研发日：2023.07.11
技术公布日：2023/9/14