光谱图像的融合超分辨率方法、系统及电子设备

1.本发明涉及图像融合技术领域，尤其是涉及一种光谱图像的融合超分辨率方法、系统及电子设备。


背景技术：

2.受光谱成像原理限制，高空间分辨率的高光谱图像极难获取。目前，通过使用高空间分辨率的rgb图像与低空间分辨率的高光谱图像融合已经成为了高空间分辨率的高光谱图像的最佳获取方式。现存的融合方式可分为传统优化方法和深度学习方法。
3.统优化算方法充分利用rgb相机与高光谱成像仪的成像原理进行建模：y＝sx,x
l
＝xh,其中，s表示光谱响应函数(即光谱退化操作)，h表示空间退化操作。y表示高空间分辨率rgb图像，x表示目标高空间分辨率高光谱图像，x
l
表示低空间分辨率高光谱图像。传统优化算法通过对先验知识的研究，建模一种或多种有效的正则项，以正则项为惩罚函数，对高空间分辨率高光谱图像的结果进行优化求解。该类方法的重建精度主要取决于基于先验知识建模的正则项的有效性。这些先验知识的假设往往是基于启发式的数据分布(如：低秩性和稀疏性)或者是浅层先验知识(如：对rgb图像通过算子滤波提取空间结构)。这类人为定义的先验知识具有不确定性，并不适合所有的融合任务，在面对某些复杂结构光谱图像重建时会导致失败。例如，目前的浅层先验总是用全变差使得目标重建图像在光谱域和空间域结构信息更加平滑，而在面对具有复杂结构信息的图像，这种正则项显然是不完全正确的，因此会限制传统优化方法的应用范围。
4.在深度学习方法方面，通过搭建深度神经网络进行学习以将高空间分辨率rgb图像的特征迁移至低空间分辨率高光谱图像的方法被提出，并取得了更好的重建精度。为了更好的关注图像特征信息，注意力机制在近两年取得了广泛的应用。目前的注意力机制主要是将三维图像张量按空间维度展开为二维图像矩阵x
2d
，然后通过使用线性层将图像矩阵分为q,k,v：q＝linear(x
2d
),k＝linear(x
2d
),v＝linear(x
2d
),其中linear(
·
)表示线性层；然后对提取的q,k,v进行注意力计算：其中dk表示像素个数。但以上现有的深度学习方法是基于监督学习进行训练的，其线性层的参数极多，拟合难度较大，需要耗费很长的训练时间；它还需要真实的高空间分辨率高光谱图像作为标签，受真实标签难以获取的限制，在现实中的应用是有限的。而对于无监督学习的方法，由于没有真实标签，因而图像特征很难被正确提取，故无法直接适用于超分辨率重建。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种光谱图像的融合超分辨率方法、系统及电子设备，以缓解相关技术中存在的上述问题。
6.第一方面，本发明实施例提供了一种光谱图像的融合超分辨率方法，所述方法应用于预先训练好的图像特征提取网络；所述图像特征提取网络包括预先训练好的第一深度
卷积神经网络和预先训练好的第二深度卷积神经网络；所述方法包括：对初始低分辨率高光谱图像进行空间上采样，得到第一高分辨率高光谱图像；对初始高分辨率rgb图像依次进行空间下采样和空间上采样，得到第一高分辨率rgb图像；其中，所述初始高分辨率rgb图像的空间分辨率与所述第一高分辨率高光谱图像的空间分辨率相同；通过所述第一深度卷积神经网络分别对所述初始高分辨率rgb图像和所述第一高分辨率rgb图像进行多阶特征提取，得到所述初始高分辨率rgb图像对应于每一阶的第一特征向量和所述第一高分辨率rgb图像对应于每一阶的第二特征向量；通过所述第二深度卷积神经网络对所述第一高分辨率高光谱图像进行多阶特征提取，得到所述第一高分辨率高光谱图像对应于每一阶的第三特征向量；其中，所述第二深度卷积神经网络的每一阶特征提取与所述第一深度卷积神经网络的每一阶特征提取一一对应；对全部第一特征向量、全部第二特征向量、全部第三特征向量和所述第一高分辨率高光谱图像进行融合，得到第二高分辨率高光谱图像。
7.第二方面，本发明实施例还提供一种光谱图像的融合超分辨率系统，所述系统应用于预先训练好的图像特征提取网络；所述图像特征提取网络包括预先训练好的第一深度卷积神经网络和预先训练好的第二深度卷积神经网络；所述系统包括：第一处理子系统，用于对初始低分辨率高光谱图像进行空间上采样，得到第一高分辨率高光谱图像；第二处理子系统，用于对初始高分辨率rgb图像依次进行空间下采样和空间上采样，得到第一高分辨率rgb图像；其中，所述初始高分辨率rgb图像的空间分辨率与所述第一高分辨率高光谱图像的空间分辨率相同；预先训练好的第一深度卷积神经网络，用于分别对所述初始高分辨率rgb图像和所述第一高分辨率rgb图像进行多阶特征提取，得到所述初始高分辨率rgb图像对应于每一阶的第一特征向量和所述第一高分辨率rgb图像对应于每一阶的第二特征向量；预先训练好的第二深度卷积神经网络，用于对所述第一高分辨率高光谱图像进行多阶特征提取，得到所述第一高分辨率高光谱图像对应于每一阶的第三特征向量；其中，所述第二深度卷积神经网络的每一阶特征提取与所述第一深度卷积神经网络的每一阶特征提取一一对应；融合子系统，用于对全部第一特征向量、全部第二特征向量、全部第三特征向量和所述第一高分辨率高光谱图像进行融合，得到第二高分辨率高光谱图像。
8.第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现上述光谱图像的融合超分辨率方法。
9.第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述光谱图像的融合超分辨率方法。
10.本发明实施例提供的一种光谱图像的融合超分辨率方法、系统及电子设备，对初始低分辨率高光谱图像进行空间上采样，得到第一高分辨率高光谱图像；对初始高分辨率rgb图像依次进行空间下采样和空间上采样，得到第一高分辨率rgb图像；通过第一深度卷积神经网络分别对初始高分辨率rgb图像和第一高分辨率rgb图像进行多阶特征提取，得到初始高分辨率rgb图像对应于每一阶的第一特征向量和第一高分辨率rgb图像对应于每一阶的第二特征向量；通过第二深度卷积神经网络对第一高分辨率高光谱图像进行多阶特征提取，得到第一高分辨率高光谱图像对应于每一阶的第三特征向量；对全部第一特征向量、全部第二特征向量、全部第三特征向量和第一高分辨率高光谱图像进行融合，得到第二高
分辨率高光谱图像。采用上述技术，由预训练的卷积神经网络代替注意力机制中的线性层，从而使得注意力操作可以提取图像的不同阶特征信息，能够利用已有高分辨率rgb图像对低分辨率高光谱图像进行超分辨率重建，从而获得高分辨率高光谱图像。
11.本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
12.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
13.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
14.图1为本发明实施例中一种光谱图像的融合超分辨率方法的流程示意图；
15.图2为本发明实施例中图像特征提取网络的工作流程示例图；
16.图3为本发明实施例中重建光谱与真实光谱对比示例图；
17.图4为本发明实施例中一种光谱图像的融合超分辨率系统的结构示意图；
18.图5为本发明实施例中一种电子设备的结构示意图。
具体实施方式
19.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.目前，通过使用高空间分辨率的rgb图像与低空间分辨率的高光谱图像融合已经成为了高空间分辨率的高光谱图像的最佳获取方式。现存的融合方式可分为传统优化方法和深度学习方法。
21.统优化算方法充分利用rgb相机与高光谱成像仪的成像原理进行建模：y＝sx,x
l
＝xh,其中，s表示光谱响应函数(即光谱退化操作)，h表示空间退化操作。y表示高空间分辨率rgb图像，x表示目标高空间分辨率高光谱图像，x
l
表示低空间分辨率高光谱图像。传统优化算法通过对先验知识的研究，建模一种或多种有效的正则项，以正则项为惩罚函数，对高空间分辨率高光谱图像的结果进行优化求解。该类方法的重建精度主要取决于基于先验知识建模的正则项的有效性。这些先验知识的假设往往是基于启发式的数据分布(如：低秩性和稀疏性)或者是浅层先验知识(如：对rgb图像通过算子滤波提取空间结构)。这类人为定义的先验知识具有不确定性，并不适合所有的融合任务，在面对某些复杂结构光谱图像重建时会导致失败。例如，目前的浅层先验总是用全变差使得目标重建图像在光谱域和空间域结构信息更加平滑，而在面对具有复杂结构信息的图像，这种正则项显然是不完全正确的，因此会限制传统优化方法的应用范围。
22.在深度学习方法方面，通过搭建深度神经网络进行学习以将高空间分辨率rgb图像的特征迁移至低空间分辨率高光谱图像的方法被提出，并取得了更好的重建精度。为了更好的关注图像特征信息，注意力机制在近两年取得了广泛的应用。目前的注意力机制主要是将三维图像张量按空间维度展开为二维图像矩阵x
2d
，然后通过使用线性层将图像矩阵分为q,k,v：q＝linear(x
2d
),k＝linear(x
2d
),v＝linear(x
2d
),其中linear(
·
)表示线性层；然后对提取的q,k,v进行注意力分数计算与掩码叠加：层；然后对提取的q,k,v进行注意力分数计算与掩码叠加：其中dk表示像素个数。但以上现有的深度学习方法是基于监督学习进行训练的，其线性层的参数极多，拟合难度较大，需要耗费很长的训练时间；它还需要真实的高空间分辨率高光谱图像作为标签，受真实标签难以获取的限制，在现实中的应用是有限的。而对于无监督学习的方法，由于没有真实标签，因而图像特征很难被正确提取，故无法直接适用于超分辨率重建。
23.基于此，本发明实施提供的一种光谱图像的融合超分辨率方法、系统及电子设备，可以缓解相关技术中存在的上述问题。
24.为便于对本实施例进行理解，首先对本发明实施例所公开的一种光谱图像的融合超分辨率方法进行详细介绍，该方法可以应用于预先训练好的图像特征提取网络；该图像特征提取网络可以包括预先训练好的第一深度卷积神经网络和预先训练好的第二深度卷积神经网络；参见图1所示，该方法可以包括以下步骤：
25.步骤s102，对初始低分辨率高光谱图像进行空间上采样，得到第一高分辨率高光谱图像。
26.步骤s104，对初始高分辨率rgb图像依次进行空间下采样和空间上采样，得到第一高分辨率rgb图像；其中，初始高分辨率rgb图像的空间分辨率与第一高分辨率高光谱图像的空间分辨率相同。
27.上述空间下采样和上述空间上采样的方式均可根据实际需要自行选择，对此不进行限定。
28.步骤s106，通过第一深度卷积神经网络分别对初始高分辨率rgb图像和第一高分辨率rgb图像进行多阶特征提取，得到初始高分辨率rgb图像对应于每一阶的第一特征向量和第一高分辨率rgb图像对应于每一阶的第二特征向量。
29.步骤s108，通过第二深度卷积神经网络对第一高分辨率高光谱图像进行多阶特征提取，得到第一高分辨率高光谱图像对应于每一阶的第三特征向量；其中，第二深度卷积神经网络的每一阶特征提取与第一深度卷积神经网络的每一阶特征提取一一对应。
30.步骤s110，对全部第一特征向量、全部第二特征向量、全部第三特征向量和第一高分辨率高光谱图像进行融合，得到第二高分辨率高光谱图像。
31.本发明实施例提供的一种光谱图像的融合超分辨率方法，对初始低分辨率高光谱图像进行空间上采样，得到第一高分辨率高光谱图像；对初始高分辨率rgb图像依次进行空间下采样和空间上采样，得到第一高分辨率rgb图像；通过第一深度卷积神经网络分别对初始高分辨率rgb图像和第一高分辨率rgb图像进行多阶特征提取，得到初始高分辨率rgb图像对应于每一阶的第一特征向量和第一高分辨率rgb图像对应于每一阶的第二特征向量；通过第二深度卷积神经网络对第一高分辨率高光谱图像进行多阶特征提取，得到第一高分
辨率高光谱图像对应于每一阶的第三特征向量；对全部第一特征向量、全部第二特征向量、全部第三特征向量和第一高分辨率高光谱图像进行融合，得到第二高分辨率高光谱图像。采用上述技术，由预训练的卷积神经网络代替注意力机制中的线性层，从而使得注意力操作可以提取图像的不同阶特征信息，能够利用已有高分辨率rgb图像对低分辨率高光谱图像进行超分辨率重建，从而获得高分辨率高光谱图像。
32.作为一种可能的实施方式，上述第一深度卷积神经网络可以包括依次连接的第一一阶特征提取模块、第一二阶特征提取模块和第一三阶特征提取模块；上述步骤s106(即通过第一深度卷积神经网络分别对初始高分辨率rgb图像和第一高分辨率rgb图像进行多阶特征提取，得到初始高分辨率rgb图像对应于每一阶的第一特征向量和第一高分辨率rgb图像对应于每一阶的第二特征向量)可以包括：
33.(11)将初始高分辨率rgb图像输入第一深度卷积神经网络，通过第一一阶特征提取模块、第一二阶特征提取模块和第一三阶特征提取模块分别输出一阶的第一特征向量、二阶的第一特征向量和三阶的第一特征向量。
34.示例性地，参见图2所示，conv表示二维卷积，relu表示激活函数；pixelshuffle表示亚像素卷积，属于可学习的上采样操作；可将一个高辨率rgb图像y作为初始高分辨率rgb图像输入预先训练好的第一深度卷积神经网络(即图2a中的预训练cnn1)，通过cnn1的第一层和第二层作为第一一阶特征提取模块输出一阶的第一特征向量v3，通过cnn1的第三层至第五层作为第一二阶特征提取模块输出二阶的第一特征向量v2，通过cnn1的第六层至第八层作为第一三阶特征提取模块输出三阶的第一特征向量v1；不同阶的特征代表了不同的信息，如低阶信息往往是偏向局部的纹理特征信息，而高阶特征则更偏向全局的某一单独目标的特征。
35.(12)将第一高分辨率rgb图像输入第一深度卷积神经网络，通过第一一阶特征提取模块、第一二阶特征提取模块和第一三阶特征提取模块分别输出一阶的第二特征向量、二阶的第二特征向量和三阶的第二特征向量。
36.示例性地，接续前例图2，可对高分辨率rgb图像y先进行插值空间上采样再进行插值空间下采样从而得到一个粗的分辨率rgb图像(即第一高分辨率rgb图像)yc；之后将第一高分辨率rgb图像yc输入预先训练好的第一深度卷积神经网络(即图2b中的预训练cnn1)，先经过cnn1的第一层和第二层处理后输出一阶的第二特征向量k3，再经过cnn1的第三层至第五层处理后输出二阶的第二特征向量k2，之后经过cnn1的第六层至第八层处理后输出三阶的第二特征向量k1。
37.作为一种可能的实施方式，上述第二深度卷积神经网络可以包括依次连接的第二一阶特征提取模块、第二二阶特征提取模块和第二三阶特征提取模块；第二一阶特征提取模块的结构与上述第一一阶特征提取模块的结构不同，第二二阶特征提取模块的结构与上述第一二阶特征提取模块的结构相同，第二三阶特征提取模块的结构与上述第一三阶特征提取模块的结构相同；上述步骤s108(即通过第二深度卷积神经网络对第一高分辨率高光谱图像进行多阶特征提取，得到第一高分辨率高光谱图像对应于每一阶的第三特征向量)可以包括：将第一高分辨率高光谱图像输入第二深度卷积神经网络，通过第二一阶特征提取模块、第二二阶特征提取模块和第二三阶特征分别输出一阶的第三特征向量、二阶的第三特征向量和三阶的第三特征向量。
38.示例性地，接续前例图2，可将一个低分辨率高光谱图像x
l
作为初始低分辨率高光谱图像，并对该初始低分辨率高光谱图像x
l
插值空间上采样成空间分辨率与初始高分辨率rgb的空间分辨率一致的粗的高分辨率高光谱图像(即第一高分辨率高光谱图像)xc；之后将第一高分辨率高光谱图像xc输入预先训练好的第二深度卷积神经网络(即图2c中的预训练cnn2)，且预训练cnn2的第一层与预训练cnn1的第一层不同，预训练cnn2的第一层支持光谱波段数作为输入通道，预训练cnn2的第二至八层与预训练cnn1的第二至八层相同；通过cnn2的第一层和第二层作为第二一阶特征提取模块输出一阶的第三特征向量q3，通过cnn2的第三层至第五层作为第二二阶特征提取模块输出二阶的第三特征向量q2，通过cnn2的第六层至第八层作为第二三阶特征提取模块输出三阶的第三特征向量q1。
39.作为一种可能的实施方式，上述图像特征提取网络还可以包括预先训练好的融合模块；上述步骤s110(即对全部第一特征向量、全部第二特征向量、全部第三特征向量和第一高分辨率高光谱图像进行融合，得到第二高分辨率高光谱图像)可以包括：
40.(21)分别对每一阶的第一特征向量、第二特征向量和第三特征向量进行相应的注意力特征编码，得到一阶的第一特征图、二阶的第一特征图和三阶的第一特征图。
41.(22)将二阶的第一特征图和二阶的第三特征向量拼接成二阶的第二特征图，将三阶的第一特征图和三阶的第三特征向量拼接成三阶的第二特征图。
42.(23)通过融合模块对一阶的第一特征图、二阶的第二特征图和三阶的第二特征图进行特征残差计算，得到相应的特征残差。
43.上述融合模块可采用图2c所示的u型网络或者其他残差网络(如resnet)等，具体可根据实际需要自行选择，对此不进行限定。
44.(24)将得到的全部特征残差与第一高分辨率高光谱图像叠加，得到第二高分辨率高光谱图像。
45.示例性地，接续前例图2，在通过预训练cnn1输出得到v1、v2、v3、k1、k2和k3以及通过预训练cnn2输出得到q1、q2和q3后，分别对每一阶的第一特征向量、第二特征向量和第三特征向量采用如下公式进行注意力特征编码：其中，attention(qi,ki,vi)表示i阶的第一特征图，dk表示像素个数，qi表示i阶的第三特征向量，ki表示i阶的第二特征向量，vi表示i阶的第一特征向量，i＝1,2,3，从而得到三组不同阶的特征图(即一阶的第一特征图a3、二阶的第一特征图a2和三阶的第一特征图a1)，且a3、a2和a1在空间维度依次降低，a3、a2和a1在通道维度依次升高；之后将二阶的第一特征图a2和二阶的第三特征向量q2拼接成二阶的第二特征图b2，将三阶的第一特征图a1和三阶的第三特征向量q1拼接成三阶的第二特征图b1；之后对b2进行亚像素卷积上采样以得到空间维度与a3的空间维度一致的c2，对b1进行亚像素卷积上采样以得到空间维度与a3的空间维度一致的c1；之后将a3、c2和c1输入融合模块(例如图2c中带跳跃连接的u型网络)，通过融合模块计算得到a3、c2和c1各自对应的特征残差；将得到的全部特征残差与第一高分辨率高光谱图像xc叠加，得到第二高分辨率高光谱图像x。
46.作为一种可能的实施方式，上述图像特征提取网络的训练可以包括以下步骤：
47.(31)将预先获取的第二高分辨率rgb图像和第二低分辨率高光谱图像输入待训练的初始图像特征提取网络，通过初始图像特征提取网络输出得到第三高分辨率高光谱图
像。
48.其中，上述初始图像特征提取网络的结构与上述图像特征提取网络的结构相同。
49.(32)对第三高分辨率高光谱图像进行光谱退化，得到第三高分辨率rgb图像。
50.示例性地，可采用以下公式对第三高分辨率高光谱图像进行光谱退化操作：y
″
＝sx
′
，其中，y
″
表示第三高分辨率rgb图像，x
′
表示第三高分辨率高光谱图像，s表示光谱响应函数(即光谱退化操作)。
51.(33)对第三高分辨率高光谱图像进行空间退化，得到第三低分辨率高光谱图像。
52.示例性地，接续前例，可采用以下公式对第三高分辨率高光谱图像进行空间退化操作：x
l
″
＝x
′
h，其中，x
l
″
表示第三低分辨率高光谱图像，h表示空间退化操作。
53.(34)基于第二高分辨率rgb图像、第二低分辨率高光谱图像、第三高分辨率高光谱图像、第三高分辨率rgb图像和第三低分辨率高光谱图像，构建初始图像特征提取网络的损失函数。
54.示例性地，接续前例，在已知第二高分辨率rgb图像y
′
、第二低分辨率高光谱图像x
l
′
、第三高分辨率高光谱图像x
′
、第三高分辨率rgb图像y
″
和第三低分辨率高光谱图像x
l
″
后，可采用以下公式建立初始图像特征提取网络的损失函数：loss＝|y
″‑y′
|+|x
l
″‑
x
l
′
|，其中，loss为初始图像特征提取网络的损失函数。
55.(35)基于损失函数，通过反向传播算法迭代训练初始图像特征提取网络，训练完成后得到图像特征提取网络。
56.示例性地，可针对初始图像特征提取网络的损失函数，通过反向梯度传播算法对初始图像特征提取网络的可训练层进行迭代训练和参数更新，直至损失函数稳定或者达到预设迭代次数结束训练，最终得到上述图像特征提取网络。
57.为了便于理解，在此以某一具体应用实例对上述图像特征提取网络的工作流程进行示例性描述如下：
58.参见图2所示，高分辨率rgb图像y的维度为512
×
512
×
3，其所对应的波段为400nm～700nm、光谱间隔为10nm的低分辨率高光谱图像x
l
的维度为16
×
16
×
31，需要通过上述光谱图像的融合超分辨率方法融合y与x
l
以实现低分辨率高光谱图像的32倍超分辨率，最终得到512
×
512
×
31的高分辨率高光谱图像x；以预先训练好的vgg16为例，可取vgg16的第6层、第15层以及第21层的输出作为多阶特征向量的输出层，并建立预训练cnn1，之后将训练cnn1的第一层替换成支持光谱波段数作为输入通道的卷积层以建立预训练cnn2，即预训练cnn2是的第一层支持光谱波段数作为输入通道；采用图2c中带跳跃连接的u型网络作为融合模块。
59.基于此，上述光谱图像的融合超分辨率方法可以按照以下步骤进行：
60.第一步，使用线性插值对低分辨率高光谱图像x
l
进行上采样，以得到分辨率为512
×
512的粗的高分辨率高光谱图像xc：xc＝bicubic(x
l
,32),其中，bicubic(
·
,f)代表双立方插值，f表示缩放因数；之后对高分辨率rgb图像y先进行下采样再进行上采样以得到粗的高分辨率rgb图像yc：
61.第二步，通过预训练的cnn1分别计算输出y对应的v3、v2和v1；通过预训练的cnn1分别计算输出yc对应的k3、k2和k1。
62.第三步，通过预训练的cnn1分别计算输出xc对应的q3、q2和q1。
63.第四步，根据v3、v2、v1、k3、k2、k1、q3、q2和q1，采用以下公式进行注意力特征编码以得到三组不同阶的特征图a3、a2和a1：
64.第五步，将a2和q2拼接成二阶的第二特征图b2，将a1和q1拼接成b1；之后分别将b2和b1亚像素卷积上采样至空间维度与a3的空间维度一致的c2和c1。
65.第六步，将a3、c2和c1组成一个多阶特征向量组m，并将m送入融合模块计算特征残差，之后将计算出来的特征残差与xc叠加得到高分辨率高光谱图像x。
66.具体计算过程可按照以下公式进行：x＝f
θ
(m)+xc，其中f
θ
(
·
)表示参数化的融合模块，θ代表融合模块的参数(具体指融合模块的权重)。
67.上述预训练cnn1、上述预训练cnn2和上述融合模块的训练过程可以包括：
68.步骤1，先获取维度为512
×
512
×
3的高分辨率rgb图像y'以及波段为400nm～700nm、光谱间隔为10nm、维度为16
×
16
×
31的低分辨率高光谱图像x
l
'，之后按照与上述第一步至第六步类似的操作方式计算得到512
×
512
×
31的高分辨率高光谱图像x'。
69.步骤2，采用公式y
″
＝sx
′
对x
′
进行光谱退化操作以得到y
″
，采用公式x
l
″
＝x
′
h对x
′
进行空间退化操作以得到x
l
″
。
70.步骤3，采用公式loss＝|y
″‑y′
|+|x
l
″‑
x
l
′
|建立损失函数loss，并针对loss通过反向梯度传播算法对可训练层进行迭代训练和参数更新，直至loss稳定或者达到预设迭代次数时训练完成。
71.具体地，可设置初始学习率为8
×
10-3
，采用迭代100次为周期，采用每迭代100次学习率变为原来的0.99的学习率衰减策略，使用adam优化器进行梯度下降，迭代步长为3000次。
72.在由上述第一步至第六步重建得到高分辨率高光谱图像x后，可通过计算x与已有真实高分辨率高光谱图像之间的平均结构相似度(assim)、峰值信噪比(psnr)、光谱角制图(sam)、相对无量纲全局误差(ergas)的方式对x进行评价；其中，可用assim与psnr对空间重建结构进行评价，可用sam和ergas对光谱重建质量进行评价。
73.参见表1所示，计算得到的assim、psnr、sam和ergas分别为0.999、43.64、0.085和1.35，表示上述第一步至第六步可以完成低分辨率高光谱图像的32倍超分辨率的任务。
74.表1超分辨率高光谱图像评价结果
[0075] assimpsnrergassambeer0.99943.640.0851.35
[0076]
参见图3所示，图3为随机选点重建光谱(即重建得到的高分辨率高光谱图像x中的光谱)与真实光谱(即已有真实高分辨率高光谱图像中的光谱)对比示例图，可以看出，重建光谱与真实光谱基本吻合。
[0077]
上述光谱图像的融合超分辨率方法克服了监督训练的缺点，提出了一种可用于无监督训练的特征注意力机制，该机制将预训练的卷积神经网络代替注意力机制中的线性层，从而使得注意力操作可以提取图像的不同阶特征信息；此外，上述光谱图像的融合超分辨率方法不依赖真实标签，能够减少训练参数和训练时间。
[0078]
基于上述光谱图像的融合超分辨率方法，本发明实施例还提供一种光谱图像的融
合超分辨率系统，该系统可以应用于预先训练好的图像特征提取网络；该图像特征提取网络可以包括预先训练好的第一深度卷积神经网络和预先训练好的第二深度卷积神经网络；参见图4所示，该系统可以包括以下组成部分：
[0079]
第一处理子系统402，可以用于对初始低分辨率高光谱图像进行空间上采样，得到第一高分辨率高光谱图像。
[0080]
第二处理子系统404，可以用于对初始高分辨率rgb图像依次进行空间下采样和空间上采样，得到第一高分辨率rgb图像；其中，所述初始高分辨率rgb图像的空间分辨率与所述第一高分辨率高光谱图像的空间分辨率相同。
[0081]
第一特征提取子系统406，可以用于通过所述第一深度卷积神经网络分别对所述初始高分辨率rgb图像和所述第一高分辨率rgb图像进行多阶特征提取，得到所述初始高分辨率rgb图像对应于每一阶的第一特征向量和所述第一高分辨率rgb图像对应于每一阶的第二特征向量。
[0082]
第二特征提取子系统408，可以用于通过所述第二深度卷积神经网络对所述第一高分辨率高光谱图像进行多阶特征提取，得到所述第一高分辨率高光谱图像对应于每一阶的第三特征向量；其中，所述第二深度卷积神经网络的每一阶特征提取与所述第一深度卷积神经网络的每一阶特征提取一一对应。
[0083]
融合子系统410，可以用于对全部第一特征向量、全部第二特征向量、全部第三特征向量和所述第一高分辨率高光谱图像进行融合，得到第二高分辨率高光谱图像。
[0084]
本发明实施例提供的一种光谱图像的融合超分辨率系统，对初始低分辨率高光谱图像进行空间上采样，得到第一高分辨率高光谱图像；对初始高分辨率rgb图像依次进行空间下采样和空间上采样，得到第一高分辨率rgb图像；通过第一深度卷积神经网络分别对初始高分辨率rgb图像和第一高分辨率rgb图像进行多阶特征提取，得到初始高分辨率rgb图像对应于每一阶的第一特征向量和第一高分辨率rgb图像对应于每一阶的第二特征向量；通过第二深度卷积神经网络对第一高分辨率高光谱图像进行多阶特征提取，得到第一高分辨率高光谱图像对应于每一阶的第三特征向量；对全部第一特征向量、全部第二特征向量、全部第三特征向量和第一高分辨率高光谱图像进行融合，得到第二高分辨率高光谱图像。采用上述技术，由预训练的卷积神经网络代替注意力机制中的线性层，从而使得注意力操作可以提取图像的不同阶特征信息，能够利用已有高分辨率rgb图像对低分辨率高光谱图像进行超分辨率重建，从而获得高分辨率高光谱图像。
[0085]
参见图4所示，该系统还可以包括：
[0086]
训练子系统412，可以用于将预先获取的第二高分辨率rgb图像和第二低分辨率高光谱图像输入所述图像特征提取网络，通过所述图像特征提取网络输出得到第三高分辨率高光谱图像；对所述第三高分辨率高光谱图像进行光谱退化，得到第三高分辨率rgb图像；对所述第三高分辨率高光谱图像进行空间退化，得到第三低分辨率高光谱图像；基于所述第二高分辨率rgb图像、所述第二低分辨率高光谱图像、所述第三高分辨率高光谱图像、所述第三高分辨率rgb图像和所述第三低分辨率高光谱图像，构建所述图像特征提取网络的损失函数；基于所述损失函数，通过反向传播算法迭代训练所述图像特征提取网络。
[0087]
上述第一深度卷积神经网络可以包括依次连接的第一一阶特征提取模块、第一二阶特征提取模块和第一三阶特征提取模块；上述第一特征提取子系统406还可以用于：将所
standard architecture，工业标准体系结构)总线、pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。所述总线52可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
[0095]
处理器51可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器51中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器51可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器51读取存储器中的信息，结合其硬件完成前述实施例的光谱图像的融合超分辨率方法的步骤。
[0096]
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
[0097]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0098]
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0099]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

技术特征：
1.一种光谱图像的融合超分辨率方法，其特征在于，所述方法应用于预先训练好的图像特征提取网络；所述图像特征提取网络包括预先训练好的第一深度卷积神经网络和预先训练好的第二深度卷积神经网络；所述方法包括：对初始低分辨率高光谱图像进行空间上采样，得到第一高分辨率高光谱图像；对初始高分辨率rgb图像依次进行空间下采样和空间上采样，得到第一高分辨率rgb图像；其中，所述初始高分辨率rgb图像的空间分辨率与所述第一高分辨率高光谱图像的空间分辨率相同；通过所述第一深度卷积神经网络分别对所述初始高分辨率rgb图像和所述第一高分辨率rgb图像进行多阶特征提取，得到所述初始高分辨率rgb图像对应于每一阶的第一特征向量和所述第一高分辨率rgb图像对应于每一阶的第二特征向量；通过所述第二深度卷积神经网络对所述第一高分辨率高光谱图像进行多阶特征提取，得到所述第一高分辨率高光谱图像对应于每一阶的第三特征向量；其中，所述第二深度卷积神经网络的每一阶特征提取与所述第一深度卷积神经网络的每一阶特征提取一一对应；对全部第一特征向量、全部第二特征向量、全部第三特征向量和所述第一高分辨率高光谱图像进行融合，得到第二高分辨率高光谱图像。2.根据权利要求1所述的方法，其特征在于，所述第一深度卷积神经网络包括依次连接的第一一阶特征提取模块、第一二阶特征提取模块和第一三阶特征提取模块；通过所述第一深度卷积神经网络分别对所述初始高分辨率rgb图像和所述第一高分辨率rgb图像进行多阶特征提取，得到所述初始高分辨率rgb图像对应于每一阶的第一特征向量和所述第一高分辨率rgb图像对应于每一阶的第二特征向量的步骤包括：将所述初始高分辨率rgb图像输入所述第一深度卷积神经网络，通过所述第一一阶特征提取模块、所述第一二阶特征提取模块和所述第一三阶特征提取模块分别输出一阶的第一特征向量、二阶的第一特征向量和三阶的第一特征向量；将所述第一高分辨率rgb图像输入所述第一深度卷积神经网络，通过所述第一一阶特征提取模块、所述第一二阶特征提取模块和所述第一三阶特征提取模块分别输出一阶的第二特征向量、二阶的第二特征向量和三阶的第二特征向量。3.根据权利要求2所述的方法，其特征在于，所述第二深度卷积神经网络包括依次连接的第二一阶特征提取模块、第二二阶特征提取模块和第二三阶特征提取模块；所述第二一阶特征提取模块的结构与所述第一一阶特征提取模块的结构不同，所述第二二阶特征提取模块的结构与所述第一二阶特征提取模块的结构相同，所述第二三阶特征提取模块的结构与所述第一三阶特征提取模块的结构相同；通过所述第二深度卷积神经网络对所述第一高分辨率高光谱图像进行多阶特征提取，得到所述第一高分辨率高光谱图像对应于每一阶的第三特征向量的步骤包括：将所述第一高分辨率高光谱图像输入所述第二深度卷积神经网络，通过所述第二一阶特征提取模块、所述第二二阶特征提取模块和所述第二三阶特征分别输出一阶的第三特征向量、二阶的第三特征向量和三阶的第三特征向量。4.根据权利要求3所述的方法，其特征在于，所述图像特征提取网络还包括预先训练好的融合模块；对全部第一特征向量、全部第二特征向量、全部第三特征向量和所述第一高分辨率高
光谱图像进行融合，得到第二高分辨率高光谱图像的步骤包括：分别对每一阶的第一特征向量、第二特征向量和第三特征向量进行相应的注意力特征编码，得到一阶的第一特征图、二阶的第一特征图和三阶的第一特征图；将二阶的第一特征图和二阶的第三特征向量拼接成二阶的第二特征图，将三阶的第一特征图和三阶的第三特征向量拼接成三阶的第二特征图；通过所述融合模块对一阶的第一特征图、二阶的第二特征图和三阶的第二特征图进行特征残差计算，得到相应的特征残差；将得到的全部特征残差与所述第一高分辨率高光谱图像叠加，得到所述第二高分辨率高光谱图像。5.根据权利要求4所述的方法，其特征在于，分别对每一阶的第一特征向量、第二特征向量和第三特征向量进行相应的注意力特征编码，得到一阶的第一特征图、二阶的第一特征图和三阶的第一特征图的步骤包括：分别对每一阶的第一特征向量、第二特征向量和第三特征向量采用以下公式进行注意力特征编码：其中，attention(q
i
,k
i
,v
i
)表示i阶的第一特征图，d
k
表示像素个数，q
i
表示i阶的第三特征向量，k
i
表示i阶的第二特征向量，v
i
表示i阶的第一特征向量，i＝1,2,3。6.根据权利要求1所述的方法，其特征在于，所述图像特征提取网络的训练包括：将预先获取的第二高分辨率rgb图像和第二低分辨率高光谱图像输入待训练的初始图像特征提取网络，通过所述初始图像特征提取网络输出得到第三高分辨率高光谱图像；对所述第三高分辨率高光谱图像进行光谱退化，得到第三高分辨率rgb图像；对所述第三高分辨率高光谱图像进行空间退化，得到第三低分辨率高光谱图像；基于所述第二高分辨率rgb图像、所述第二低分辨率高光谱图像、所述第三高分辨率高光谱图像、所述第三高分辨率rgb图像和所述第三低分辨率高光谱图像，构建所述初始图像特征提取网络的损失函数；基于所述损失函数，通过反向传播算法迭代训练所述初始图像特征提取网络，训练完成后得到所述图像特征提取网络。7.一种光谱图像的融合超分辨率系统，其特征在于，所述系统应用于预先训练好的图像特征提取网络；所述图像特征提取网络包括预先训练好的第一深度卷积神经网络和预先训练好的第二深度卷积神经网络；所述系统包括：第一处理子系统，用于对初始低分辨率高光谱图像进行空间上采样，得到第一高分辨率高光谱图像；第二处理子系统，用于对初始高分辨率rgb图像依次进行空间下采样和空间上采样，得到第一高分辨率rgb图像；其中，所述初始高分辨率rgb图像的空间分辨率与所述第一高分辨率高光谱图像的空间分辨率相同；第一特征提取子系统，用于通过所述第一深度卷积神经网络分别对所述初始高分辨率rgb图像和所述第一高分辨率rgb图像进行多阶特征提取，得到所述初始高分辨率rgb图像
对应于每一阶的第一特征向量和所述第一高分辨率rgb图像对应于每一阶的第二特征向量；第二特征提取子系统，用于通过所述第二深度卷积神经网络对所述第一高分辨率高光谱图像进行多阶特征提取，得到所述第一高分辨率高光谱图像对应于每一阶的第三特征向量；其中，所述第二深度卷积神经网络的每一阶特征提取与所述第一深度卷积神经网络的每一阶特征提取一一对应；融合子系统，用于对全部第一特征向量、全部第二特征向量、全部第三特征向量和所述第一高分辨率高光谱图像进行融合，得到第二高分辨率高光谱图像。8.根据权利要求7所述的系统，其特征在于，所述第一深度卷积神经网络包括依次连接的第一一阶特征提取模块、第一二阶特征提取模块和第一三阶特征提取模块；所述第一特征提取子系统还用于：将所述初始高分辨率rgb图像输入所述第一深度卷积神经网络，通过所述第一一阶特征提取模块、所述第一二阶特征提取模块和所述第一三阶特征提取模块分别输出一阶的第一特征向量、二阶的第一特征向量和三阶的第一特征向量；将所述第一高分辨率rgb图像输入所述第一深度卷积神经网络，通过所述第一一阶特征提取模块、所述第一二阶特征提取模块和所述第一三阶特征提取模块分别输出一阶的第二特征向量、二阶的第二特征向量和三阶的第二特征向量。9.根据权利要求7所述的系统，其特征在于，所述系统还包括：训练子系统，用于将预先获取的第二高分辨率rgb图像和第二低分辨率高光谱图像输入待训练的初始图像特征提取网络，通过所述初始图像特征提取网络输出得到第三高分辨率高光谱图像；对所述第三高分辨率高光谱图像进行光谱退化，得到第三高分辨率rgb图像；对所述第三高分辨率高光谱图像进行空间退化，得到第三低分辨率高光谱图像；基于所述第二高分辨率rgb图像、所述第二低分辨率高光谱图像、所述第三高分辨率高光谱图像、所述第三高分辨率rgb图像和所述第三低分辨率高光谱图像，构建所述初始图像特征提取网络的损失函数；基于所述损失函数，通过反向传播算法迭代训练所述初始图像特征提取网络，训练完成后得到所述图像特征提取网络。10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至6任一项所述方法。

技术总结
本发明提供了一种光谱图像的融合超分辨率方法、系统及电子设备，对初始低分辨率高光谱图像进行空间上采样，得到第一高分辨率高光谱图像；对初始高分辨率RGB图像依次进行空间下采样和空间上采样，得到第一高分辨率RGB图像；分别提取初始高分辨率RGB图像、第一高分辨率RGB图像和第一高分辨率高光谱图像的多阶特征向量；融合全部多阶特征向量和第一高分辨率高光谱图像以得到第二高分辨率高光谱图像。采用本发明能够利用已有高分辨率RGB图像对低分辨率高光谱图像进行超分辨率重建，从而获得高分辨率高光谱图像。分辨率高光谱图像。分辨率高光谱图像。


技术研发人员：廉玉生 曹栩珩 伍佳慧 周晗 王彬 呼香美 王凯旋 马超
受保护的技术使用者：北京印刷学院
技术研发日：2023.05.26
技术公布日：2023/8/23