一种高光谱-多光谱图像的去噪融合方法

1.本技术涉及图像处理技术领域，尤其涉及一种高光谱-多光谱图像的去噪融合方法。


背景技术：

2.随着星载成像光谱仪的不断发展，越来越多的传感器可以获取同一场景的高光谱图像和多光谱图像（multispectral image, msi）。但现有技术在处理上述图像时，通常只能假设多光谱图像和高光谱图像均是干净的图像，而实际获取的多光谱图像和高光谱图像不可避免地受到噪声的污染而退化，并且高光谱图像受到的退化更严重。
3.因此，现有技术在对上述图像进行去噪融合处理时的效率偏低。


技术实现要素：

4.本技术实施例提供了一种高光谱-多光谱图像的去噪融合方法，解决了现有技术对高光谱-多光谱图像的去噪融合效率较低的技术问题。
5.一方面，本技术实施例提供了一种高光谱-多光谱图像的去噪融合方法，包括以下步骤：获取原始高光谱图像和多光谱原始图像；将所述原始高光谱图像和所述多光谱原始图像输入至所述目标融合模型，以获得目标融合图像；其中，所述目标融合模型是基于空间-光谱特征保留策略和噪声抑制策略构建的，所述空间-光谱特征保留策略是利用高光谱图像和多光谱图像的空间-光谱相关性及分辨率互补特性，通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵；所述噪声抑制策略是通过引入张量γ范数对核张量进行低秩约束来抑制噪声。
6.作为本技术一些可选实施方式，所述目标融合图像满足以下关系式：其中，，表示目标融合图像；，表示核张量；，表示包含nw个原子的空间因子矩阵；，表示包含nh个原子的空间因子矩阵；s表示包含nb个原子的光谱因子矩阵；nw表示核张量的宽度值，nh表示核张量的高度值，nb表示核张量的光谱波段数；w表示原始高光谱图像的宽度像素值，h表示原始高光谱图像的高度像素值，b表示原始高光谱图像的光谱波段数值。
7.作为本技术一些可选实施方式，所述原始高光谱图像满足以下关系式：其中，，表示为原始高光谱图像；表示为空间下的采样值，表示为高光谱图像出现的高斯噪声，表示高光谱图像中出现的条带噪声；nw
表示核张量的宽度值，nh表示核张量的高度值，nb表示核张量的光谱波段数值；w表示原始高光谱图像的宽度像素值，h表示原始高光谱图像的高度像素值，b表示原始高光谱图像的光谱波段数值。
8.作为本技术一些可选实施方式，所述空间下的采样值满足以下关系式：其中，表示为空间下的采样值；表示为目标融合图像；，表示为沿宽度模的下采样矩阵；，表示为沿高度模的下采样矩阵；
×1表示张量在第一维上与p1相乘，
×2表示张量在第二维上与p1相乘，
×3表示张量在第三维上与p1相乘。
9.作为本技术一些可选实施方式，所述多光谱原始图像满足以下关系式：其中，，表示为多光谱原始图像，表示为光谱下的采样算子，表示为多光谱图像中出现的高斯噪声。
10.作为本技术一些可选实施方式，所述光谱下的采样算子满足以下关系式：其中，表示为光谱下的采样算子；表示为目标融合图像；，表示为光谱维的下采样矩阵。
11.作为本技术一些可选实施方式，所述目标融合模型满足以下关系式：其中，表示目标融合模型；，表示为原始高光谱图像；，表示核张量；表示高光谱图像中出现的条带噪声；，表示包含nw个原子的空间因子矩阵；，表示包含nh个原子的空间因子矩阵；，表示光谱下采样字典；，表示宽度模的下采样字典；，表示高度模的下采样字典；代表frobenius范数，其中，是指空间退化过程的数据保真度项值，是指光谱退化过程的数据保真度项值，表示第i模的权重，；表示核张量第i模展开矩阵的γ范数；表示条带噪声的l2,1范数；是权重正则化参数。
12.作为本技术一些可选实施方式，所述通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵，包括以下步骤：
固定h参数、s参数和参数后，对w参数进行迭代优化，以获得目标w参数；固定w参数、s参数和参数，对h参数进行迭代优化，以获得目标h参数；固定w参数、h参数和参数，对s参数进行迭代优化，以获得目标s参数；固定w参数、h参数和s参数，对参数进行迭代优化，以获得目标参数；其中，，表示核张量；表示高光谱图像中出现的条带噪声；，表示包含nw个原子的空间因子矩阵；，表示包含nh个原子的空间因子矩阵；s表示包含nb个原子的光谱因子矩阵。
13.作为本技术一些可选实施方式，所述固定h参数、s参数和参数后，对w参数进行迭代优化，以获得目标w参数时，满足以下关系式：其中，，表示为原始高光谱图像；，表示核张量；表示高光谱图像中出现的条带噪声；，表示包含nw个原子的空间因子矩阵；，表示包含nh个原子的空间因子矩阵；，表示光谱下采样字典；，表示宽度模的下采样字典；，表示高度模的下采样字典；wpre表示上一步迭代的因子矩阵；代表frobenius范数；μ》0表示正则化参数。
14.固定w参数、s参数和参数，对h参数进行迭代优化，以获得目标h参数时，满足以下关系式：其中，，表示为原始高光谱图像；，表示核张量；表示高光谱图像中出现的条带噪声；，表示包含nw个原子的空间因子矩阵；，表示包含nh个原子的空间因子矩阵；，表示光谱下采样字典；，表示宽度模的下采样字典；，表示高度模的下采样字典；hpre表示上一步迭代的因子矩阵；代表frobenius范数；μ》0表示正则化参数；固定w参数、h参数和参数，对s参数进行迭代优化，以获得目标s参数时，满足以下关系式：其中，，表示为原始高光谱图像；，表示核张量；表示高光谱图像中出现的条带噪声；，表示包含nw个原子的空间因子矩阵；，表示包含nh个原子的空间因子矩阵；，表示光谱下采样字典；
，表示宽度模的下采样字典；，表示高度模的下采样字典；spre表示上一步迭代的因子矩阵；代表frobenius范数；μ》0表示正则化参数；固定w参数、h参数和s参数，对参数进行迭代优化，以获得目标参数时，满足以下关系式：其中，，表示为原始高光谱图像；，表示核张量；表示高光谱图像中出现的条带噪声；，表示包含nw个原子的空间因子矩阵；，表示包含nh个原子的空间因子矩阵；，表示光谱下采样字典；，表示宽度模的下采样字典；，表示高度模的下采样字典；表示上一步迭代的因子矩阵；代表frobenius范数，μ》0表示正则化参数。
15.作为本技术一些可选实施方式，所述通过引入张量γ范数对核张量进行低秩约束来抑制噪声，包括：通过张量γ范数对核张量进行低秩约束，以获得正则项；其中，所述正则项满足以下关系式：所述正则项满足以下关系式：其中，表示为正则项；表示张量的第i模展开矩阵；表示第i模的权重，；，表示为矩阵x的范数；表示为x的奇异值分解得到的第k个奇异值；γ表示为张量范数。
16.本技术的实施例提供了一种高光谱-多光谱图像的去噪融合方法，包括以下步骤：获取原始高光谱图像和多光谱原始图像；将所述原始高光谱图像和所述多光谱原始图像输入至所述目标融合模型，以获得目标融合图像；其中，所述目标融合模型是基于空间-光谱特征保留策略和噪声抑制策略构建的，所述空间-光谱特征保留策略是利用高光谱图像和多光谱图像的空间-光谱相关性及分辨率互补特性，通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵；所述噪声抑制策略是通过引入张量γ范数对核张量进行低秩约束来抑制噪声。通常来说，在实际应用中，所获得的原始高光谱图像和多光谱原始图像不可避免地受到噪声的污染而退化，但现有方法在对所述原始高光谱图像和多光谱原始图像进行融合处理时，往往是将其假设为干净不含噪声的图像，因此融合效率并不高。针对上述不足，本技术利用了空间-光谱特征保留策略和噪声抑制策略，其中空间-光谱特征保留策略利用高光谱图像和多光谱图像的空间-光谱相关性及分辨率互补特性，通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵；其中，噪声抑制策略则是通过引入张量
γ范数对核张量进行低秩约束来抑制噪声，通过近端交替优化 (proximal alternating optimization， pao)及交替方向乘子法(alternativedirectionmultipliermethod，admm)求解该模型，从而获得具有高空间分辨率的高光谱图像。
附图说明
17.为了更清楚地说明本技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是本技术实施例所述预处理+hysure方法获得的融合图像（左）以及其与原始图像的误差图（右）；图2是本技术实施例所述预处理+csu方法获得的（左）以及其与原始图像的误差图（右）；图3是本技术实施例所述预处理+gs方法获得的（左）以及其与原始图像的误差图（右）；图4是本技术实施例所述预处理+cnmf方法获得的（左）以及其与原始图像的误差图（右）；图5是本技术实施例所述预处理+ltmr方法获得的（左）以及其与原始图像的误差图（右）；图6是本技术实施例所述预处理+cstf方法获得的（左）以及其与原始图像的误差图（右）；图7是本技术实施例所述预处理+mhf-net方法获得的（左）以及其与原始图像的误差图（右）；图8是本技术实施例所述去噪融合获得的融合图像（左）以及其与原始图像的误差图（右）；图9是本技术实施例所述误差色标条示意图，用来表示图1-图8中不同方法得到的融合结果与原图的误差图中不同位置误差的大小。
具体实施方式
19.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
20.本技术实施例的主要解决方案是：一种高光谱-多光谱图像的去噪融合方法，包括以下步骤：获取原始高光谱图像和多光谱原始图像；将所述原始高光谱图像和所述多光谱原始图像输入至所述目标融合模型，以获得目标融合图像；其中，所述目标融合模型是基于空间-光谱特征保留策略和噪声抑制策略构建的，所述空间-光谱特征保留策略是利用高光谱图像和多光谱图像的空间-光谱相关性及分辨率互补特性，通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵；所述噪声抑制策略是通过引入张量γ范数对核张量进行低秩约束来抑制噪声。
21.高光谱与多光谱图像融合是通过对高光谱图像丰富的光谱信息和多光谱图像的空间信息进行融合，进而得到空间分辨率较高的高光谱图像的一类方法。随着星载成像光谱仪的不断发展，越来越多的传感器可以获取同一场景的高光谱图像和多光谱图像
（multispectral image, msi）。这使得通过高光谱图像与多光谱图像融合的方法提升高光谱图像的空间分辨率成为可能。例如，我国自行设计的高分5号卫星和高分2号卫星分别采用高光谱成像和多光谱成像传感器，其空间分辨率分别为30m和4m。
22.现有的高光谱与多光谱图像融合模型通常可分为基于贝叶斯估计方法、基于矩阵分解方法、基于深度学习方法和基于张量分解方法。基于张量分解方法将目标高分辨率高光谱图像视为一个三阶张量，然后可以通过三个模态的一个核张量和字典来估计。同时，引入核张量的稀疏先验，对高分辨率高光谱图像中的空间-光谱相关性进行建模。然而，上述方法通常假设多光谱图像和高光谱图像均是干净的图像，而实际获取的多光谱图像和高光谱图像不可避免地受到噪声的污染而退化，并且高光谱图像受到的退化更严重。
23.因此，针对上述方法中的不足，为了使融合模型更好地处理实际获取的多光谱和高光谱图像的融合问题，本技术提供了一种耦合张量分解高光谱-多光谱去噪融合模型。
24.具体来说，本技术实施例所述一种高光谱-多光谱图像的去噪融合方法，包括以下步骤：获取原始高光谱图像和多光谱原始图像；将所述原始高光谱图像和所述多光谱原始图像输入至所述目标融合模型，以获得目标融合图像。在实际应用中，所述目标融合模型是基于空间-光谱特征保留策略和噪声抑制策略构建的，所述空间-光谱特征保留策略是利用高光谱图像和多光谱图像的空间-光谱相关性及分辨率互补特性，通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵；所述噪声抑制策略是通过引入张量γ范数对核张量进行低秩约束来抑制噪声。
25.即，本技术实施例利用了空间-光谱特征保留策略和噪声抑制策略，其中空间-光谱特征保留策略利用高光谱图像和多光谱图像的空间-光谱相关性及分辨率互补特性，通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵；其中，噪声抑制策略则是通过引入张量γ范数对核张量进行低秩约束来抑制噪声，通过近端交替优化 (proximal alternating optimization， pao)及交替方向乘子法(alternativedirectionmultipliermethod，admm)求解该模型，从而获得具有高空间分辨率的高光谱图像。
26.具体来说，上述步骤可以包括以下步骤：步骤s10、获取原始高光谱图像和多光谱原始图像；并将所述原始高光谱图像和所述多光谱原始图像输入至所述目标融合模型以获得目标融合图像。
27.其中，所述目标融合图像是指具有高空间分辨率的高光谱图像，将其记为；对应的，所述原始高光谱图像记为，其受到高斯噪声和条带的影响；对应的，所述多光谱原始图像记为，其受到高斯噪声污染。
28.基于上述原始高光谱图像和多光谱原始图像与目标融合图像之间的关系，可以获得所述原始高光谱图像和多光谱原始图像的退化模型，即：所述原始高光谱图像满足以下关系式：(1-1)其中，，表示为原始高光谱图像；表示为空间下
的采样值（以下公式中也称之为采样算子，与采样值表示相同概念），表示为高光谱图像出现的高斯噪声，表示高光谱图像中出现的条带噪声。需要说明的是，这里用非粗体的w，h，b分别表示原始高光谱图像的宽度（w个像素）、高度（h个像素）和光谱波段数（b个波段）。
29.所述多光谱原始图像满足以下关系式：(1-2)其中，，表示为多光谱原始图像，表示为光谱下的采样值（也可以称为采样算子），表示为多光谱图像中出现的高斯噪声。这里用非粗体的w，h，b分别表示原始多光谱图像的宽度（w个像素）、高度（h个像素）和光谱波段数（b个波段）。
30.步骤s20、由于的光谱向量存在于低维子空间中，因此存在一个含有ns个原子的光谱因子矩阵。同时，在空间域上具有自相似性，因此存在两个分别包含nw和nh个原子的空间因子矩阵和，对其空间模进行稀疏表示。基于tucker分解，所述目标融合图像满足以下关系式：(2)其中，，表示目标融合图像；，表示核张量，即包含的是张量的三个因子矩阵的系数；，表示包含nw个原子的空间因子矩阵；，表示包含nh个原子的空间因子矩阵；s表示包含nb个原子的光谱因子矩阵。这里用非粗体的w，h，b分别表示目标融合图像的宽度（w个像素）、高度（h个像素）和光谱波段数（b个波段）。nw，nh，nb分别表示核张量的宽度、高度和光谱波段数。
31.步骤s30、构建耦合张量分解的目标融合模型。
32.在实际应用中，所述步骤s30可以包括：步骤3.1、在高光谱传感器的点扩展函数（point-spread function, psf）和宽度模和高度模的下采样矩阵是可分离的假设下，可以表示为(3)其中，表示为空间下的采样算子；表示为目标融合图像；，表示为沿宽度模的下采样矩阵；，表示为沿高度模的下采样矩阵；描述了成像传感器的空间响应。
33.将式（2）代入式（3），则有(4)其中，，表示宽度模的下采样字典；，表示高度模的下采样字典。
34.步骤3.2、可以看成是通过对进行光谱下采样得到的，即(5)其中，表示为光谱下的采样算子；表示为目标融合图像；，表示为光谱维的下采样矩阵。
35.将式（2）代入式（5），则有(6)其中，，表示光谱下采样字典。
36.步骤3.3、由于目标融合图像具有低秩性，因此利用张量γ-范数对其约束，即正则项为：项为：(7)其中，r()表示为正则项；表示张量的第i模展开矩阵；表示权重值，其中i=1, 2,
ꢀ…
, n，通常取；，表示为矩阵x的范数；表示为x的奇异值分解得到的第k个奇异值；γ表示为张量范数。
37.由于，且w，h，s是正交矩阵，因此关于的正则项可转化为（8）步骤3.4、对高光谱图像中的条带噪声进行l
2,1
范数约束，即条带噪声的正则项为（9）步骤3.5、基于式(1)-式(9)建立目标函数：（10）其中，表示目标融合模型；，表示为原始高光谱图像；，表示核张量；表示高光谱图像中出现的条带噪声；，表示包含nw个原子的空间因子矩阵；，表示包含nh个原子的空间因子矩阵；s表示包含nb个原子的光谱因子矩阵；，表示光谱下采样字典；，表示宽度模的下采样字典；，表示高度模的下采样字典；代表
frobenius范数，其中，是指空间退化过程的数据保真度项值，是指光谱退化过程的数据保真度项值，表示第i模的权重，；优选地，；表示核张量第i模展开矩阵的γ范数；表示条带噪声的l2,1范数；是权重正则化参数。
38.步骤s40、基于步骤3中得到的目标能量函数，通过近端交替优化（proximal alternative optimization, pao）和admm来求解优化问题，从而得到核张量和因子矩阵w、h和s，进而得到融合图像。其中，步骤4所述的优化算法中，w和h使用duc-ksvd算法进行初始化，s使用sisal算法进行初始化。
39.在实际应用中，所述步骤s40可以包括以下步骤：步骤4.1：固定h参数、s参数和参数后，对w参数进行迭代优化，以获得目标w参数：(11)其中，，表示为原始高光谱图像；，表示核张量；表示高光谱图像中出现的条带噪声；，表示包含nw个原子的空间因子矩阵；，表示包含nh个原子的空间因子矩阵；s表示包含nb个原子的光谱因子矩阵；，表示光谱下采样字典；，表示宽度模的下采样字典；，表示高度模的下采样字典；wpre表示上一步迭代的因子矩阵；代表frobenius范数；μ》0表示正则化参数；为了便于优化，式（11）可以使用n模矩阵展开重新写成:(12)其中，y
(1)
、t
(1)
和z
(1)
分别是、和的宽度模（模1）展开矩阵，并且，。
40.式（12）是一个二次优化问题，其唯一解可以通过求解以下一般的sylvester矩阵方程得到：(13)该方程可以通过共轭梯度法（conjugate gradient， cg）进行迭代求解。
41.步骤4.2：固定w参数、s参数和参数，对h参数进行迭代优化，以获得目标h参数：(14)其中，，表示为原始高光谱图像；，表示核张
量；表示高光谱图像中出现的条带噪声；，表示包含nw个原子的空间因子矩阵；，表示包含nh个原子的空间因子矩阵；s表示包含nb个原子的光谱因子矩阵；，表示光谱下采样字典；，表示宽度模的下采样字典；，表示高度模的下采样字典；hpre表示上一步迭代的因子矩阵；代表frobenius范数；μ》0表示正则化参数。
42.与式（11）类似，式（14）可以重新写成：(15)其中，y
(2)
和z
(2)
分别是和的高度模（模2）展开矩阵，并且有，。式（15）是一个二次优化问题，其唯一解可以通过求解以下一般的sylvester矩阵方程得到：(16)该方程同样可以通过共轭梯度法进行迭代求解。
43.步骤4.3：固定w参数、h参数和参数，对s参数进行迭代优化，以获得目标s参数：(17)其中，，表示为原始高光谱图像；，表示核张量；表示高光谱图像中出现的条带噪声；，表示包含nw个原子的空间因子矩阵；，表示包含nh个原子的空间因子矩阵；s表示包含nb个原子的光谱因子矩阵；，表示光谱下采样字典；，表示宽度模的下采样字典；，表示高度模的下采样字典；spre表示上一步迭代的因子矩阵；代表frobenius范数；μ》0表示正则化参数。
44.与式（14）类似，式（17）可以重新写成：(18)其中，y
(3)
和z
(3)
分别是和的光谱模（模3）展开矩阵，并且有，。式（18）是一个二次优化问题，其唯一解可以通过求解以下一般的sylvester矩阵方程得到(19)式（19）也可以通过共轭梯度法进行迭代求解。
45.步骤4.4：固定w参数、h参数和s参数，对参数进行迭代优化，以获得目标参数：
(20)其中，，表示为原始高光谱图像；，表示核张量；表示高光谱图像中出现的条带噪声；，表示包含nw个原子的空间因子矩阵；，表示包含nh个原子的空间因子矩阵；s表示包含nb个原子的光谱因子矩阵；，表示光谱下采样字典；，表示宽度模的下采样字典；，表示高度模的下采样字典；表示上一步迭代的因子矩阵；代表frobenius范数，μ》0表示正则化参数。
46.式（20）可以用交替方向乘子法（admm）有效地求解。
47.具体地，所述步骤4.4可以包括：步骤4.4.1：通过引入分裂变量，，，则无约束优化式（20）可以写成等价的约束形式：(21)在将变量和看做一个块的前提下，优化式（21）可以用交替乘子法进行求解。
48.式（20）的增广拉格朗日函数为：(22)其中，表示增广拉格朗日函数，、和是尺度化拉格朗日乘子，是罚参数。
49.步骤4.4.2：更新：(23)这是一个二次优化问题，其闭式解为：(24)步骤4.4.3：更新：(25)根据张量运算，式（29）等价于其向量形式：
(26)其中，向量，且。表示将张量展开为向量。
50.因此，式（26）有闭式解：(27)其中fold(.)表示将向量还原成张量的运算。
51.步骤4.4.4：更新：：(28)根据张量运算，式（28）等价于其向量形式：式（28）等价于其向量形式：(29)其中向量，且。因此，式（29）有闭式解：(30)步骤4.4.5：更新：：(31)对于第i模展开矩阵，有(32)式（32）的解为(33)其中是的奇异值分解，且，。这里表示moreau-yosida算子。
52.步骤4.4.6：更新条带成分：(34)令，可以按下面的公式更新
(35)步骤4.4.7：更新乘子、和：(36)步骤5：基于上述步骤我们将由含噪高光谱图像和多光谱图像进行融合得到高分辨率高光谱图像。为了对融合图像进行定量和定性的评价，我们选择了耦合非负矩阵分解（cnmf），hysure，耦合tucker分解（cstf），gs，csu，ltmr以及mhf-net共7种高光谱融合模型进行对比。质量评价指标为峰值信噪比(peak signal to noise ratio，psnr)、结构相似性度量(structural similarity index measure，ssim)，均方根误差(root mean square error,rmse)，相对全局融合误差(erreur relative globale adimensionnelle de synth
é
se，ergas)，光谱角(spectral angle mapper，sam)，通用图像质量指数(universal image quality index，uiqi) ，畸变度(degree of distortion，dd)以及互相关(cross correlation，cc)。p评价指标值如表1所示，粗体表示最佳结果，视觉比较结果如图1所示。
53.在本技术所述的模拟实验中使用的是德国的rosis航空成像光谱仪拍摄的pavia场景数据集。这里从原始高分辨率高光谱图像（high resolution hsi，hr-hsi）中截取大小为200
×
200
×
93的子图作为真实值，将其作为参考图像ref用于融合后进行质量评价。为了生成低空间分辨率的高光谱图像（low resolution hsi，lr-hsi），选择尺寸为4的高斯核生成空间退化矩阵。得到的lr-hsi尺寸为50
×
50
×
93。为了模拟同一场景的高空间分辨率的多光谱图像（high resolution msi，hr-msi），使用类似于ikonos的反射光谱响应滤波器沿光谱模式下采样hr-hsi，得到的高空间分辨率的多光谱图像（high resolution msi，hr-msi）尺寸为200
×
200
×
4。在向lr-hsi中添加条带时，每一波段中条带所占的百分比r取0到1之间的随机值，条带的强度i=60。同时向lr-hsi和hr-msi中分别添加snrh=35db和snrm=45db的高斯噪声。
54.表1给出了融合结果的客观评价指标值。不难看出，cnmf和cstf的各项指标值与本章算法比较接近，本章算法在各个指标值上均优于对比方法。其中mhf-net方法的结果不太理想，这或许是因为其算法只针对轻度的高斯噪声，而即使经过预处理去噪后，结果中不可避免仍存在混合噪声，因此mhf-net方法的结果的各项指标值均较低。
55.表1不同方法评价指标值hysurecsugscnmfcstfltmrmhf-net本技术psnr38.2837.8138.3438.9339.3230.1428.4240.77ssim0.98070.98250.97630.98360.98160.91020.90980.9844rmse3.78633.73644.00163.69263.32598.698510.26532.4786ergas2.15622.21872.41892.19621.98544.77396.39421.45
sam4.18723.78274.75814.05383.70266.64058.23172.5685uiqi0.98630.98580.98300.98770.98820.95270.93220.9899dd2.40282.06982.35712.21152.16842.29652.39611.6684cc0.99050.99050.98850.99210.99270.94380.95340.9949在上述实验中，对于不能联合进行去噪和融合的算法将首先进行预处理，去除其中的混合噪声后再进行融合。而本技术所提方法能够同时去除混合噪声和融合，不需要事先进行去混合噪声操作。
56.图1-图9给出了加入混合噪声时pavia数据集的第60波段的融合结果（每张图像的右侧子图像）以及相应的误差图（每张图像的左侧子图像）；其中，图1是本技术实施例所述预处理+hysure方法获得的（左）以及其与原始图像的误差图（右）；图2是本技术实施例所述预处理+csu方法获得的对比融合图像示意图；图3是本技术实施例所述预处理+gs方法获得的（左）以及其与原始图像的误差图（右）；图4是本技术实施例所述预处理+cnmf方法获得的（左）以及其与原始图像的误差图（右）；图5是本技术实施例所述预处理+ltmr方法获得的（左）以及其与原始图像的误差图（右）；图6是本技术实施例所述预处理+cstf方法获得的（左）以及其与原始图像的误差图（右）；图7是本技术实施例所述预处理+mhf-net方法获得的（左）以及其与原始图像的误差图（右）；图8是本技术实施例所述融合方法获得的融合图像（左）以及其与原始图像的误差图（右）；图9是本技术实施例所述误差色标条示意图。
57.其中，误差图能够更直观显示不同方法得到的结果的误差的大小，从而比较出不同方法的优劣。从图1-图8的结果可以看出，所有的方法得到的视觉均较好；从误差图可以看出，csu和ltmr方法的局部误差过大，gs和cnmf方法中出现了较明显的残留条带。这两种方法在融合操作时将并不明显的条带结果进行了放大，误差出现了累积。与hysure和cstf相比，本技术所述算法所得到的结果与原始图像的误差最小。
58.由此可见，本发明主要针对现有多光谱图像与高光谱图像融合模型无法有效处理含噪数据的问题，提出耦合张量分解和非凸低秩约束的联合去噪和融合模型。该方法包括空间-光谱特征保留策略和噪声抑制策略，其中空间-光谱特征保留策略利用高光谱图像和多光谱图像的空间-光谱相关性及分辨率互补特性，通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵。噪声抑制策略则是通过引入张量γ范数对核张量进行低秩约束来抑制噪声。通过近端交替优化求解提出的融合模型，得到高空间分辨率的高光谱图像。实验结果表明，本方法在实现联合去噪和融合的同时降低了光谱畸变，有效地避免了这两个任务分别进行而造成的误差累积问题，从而表现出更优的融合性能。
59.本技术实施例方案还提供了一种硬件运行环境的电子设备，该电子设备可以包括：处理器1001，例如中央处理器（central processing unit，cpu），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（display）、输入单元比如键盘（keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（wireless-fidelity，wi-fi）接口）。存储器1005可以是高速的随机存取存储器（random access memory，ram）存储器，也可以是稳定的非易失性存储器（non-volatile memory，nvm），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
60.本领域技术人员可以理解，上述内容并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。如作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。在具体实施例中，所述网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明电子设备中的处理器1001、存储器1005可以设置在电子设备中，所述电子设备通过处理器1001调用存储器1005中存储的高光谱-多光谱图像的去噪融合装置，并执行本技术实施例提供的高光谱-多光谱图像的去噪融合方法。
61.在实际应用时，所述高光谱-多光谱图像的去噪融合装置，可以包括：获取图像模块，用于获取原始高光谱图像和多光谱原始图像；融合模块，用于将所述原始高光谱图像和所述多光谱原始图像输入至所述目标融合模型，以获得目标融合图像；其中，所述目标融合模型是基于空间-光谱特征保留策略和噪声抑制策略构建的，所述空间-光谱特征保留策略是利用高光谱图像和多光谱图像的空间-光谱相关性及分辨率互补特性，通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵；所述噪声抑制策略是通过引入张量γ范数对核张量进行低秩约束来抑制噪声。
62.需要说明的是，本实施例中高光谱-多光谱图像的去噪融合装置中各模块是与前述实施例中的高光谱-多光谱图像的去噪融合方法中的各步骤一一对应，因此，本实施例的具体实施方式和达到的技术效果可参照前述高光谱-多光谱图像的去噪融合方法的实施方式，这里不再赘述。
63.此外，在一种实施例中，本技术还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现前述实施例中方法的步骤。
64.在一些实施例中，计算机可读存储介质可以是fram、rom、prom、eprom、eeprom、闪存、磁表面存储器、光盘、或cd-rom等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。
65.在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
66.作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（html，hyper text markup language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。
67.作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
68.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该
要素的过程、方法、物品或者系统中还存在另外的相同要素。
69.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
70.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光 盘）中，包括若干指令用以使得一台多媒体终端设备(可以是手机，计算机，电视接收机，或者网络设备等)执行本技术各个实施例所述的方法。
71.以上所揭露的仅为本技术的局部实施例而已，当然不能以此来限定本技术之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或局部流程，并依本技术权利要求所作的等同变化，仍属于发明所涵盖的范围。

技术特征：
1.一种高光谱-多光谱图像的去噪融合方法，其特征在于，包括以下步骤：获取原始高光谱图像和多光谱原始图像；将所述原始高光谱图像和所述多光谱原始图像输入至目标融合模型，以获得目标融合图像；其中，所述目标融合模型是基于空间-光谱特征保留策略和噪声抑制策略构建的，所述空间-光谱特征保留策略是利用高光谱图像和多光谱图像的空间-光谱相关性及分辨率互补特性，通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵；所述噪声抑制策略是通过引入张量γ范数对核张量进行低秩约束来抑制噪声。2.根据权利要求1所述高光谱-多光谱图像的去噪融合方法，其特征在于，所述目标融合图像满足以下关系式：其中，表示目标融合图像，表示核张量；w表示包含n
w
个原子的空间因子矩阵；h表示包含n
h
个原子的空间因子矩阵；s表示包含n
b
个原子的光谱因子矩阵；n
w
表示核张量的宽度值，n
h
表示核张量的高度值，n
b
表示核张量的光谱波段数；w表示原始高光谱图像的宽度像素值，h表示原始高光谱图像的高度像素值，b表示原始高光谱图像的光谱波段数值。3.根据权利要求1所述高光谱-多光谱图像的去噪融合方法，其特征在于，所述原始高光谱图像满足以下关系式：其中，表示为原始高光谱图像；表示为空间下的采样值，表示为高光谱图像出现的高斯噪声，表示高光谱图像中出现的条带噪声。4.根据权利要求3所述高光谱-多光谱图像的去噪融合方法，其特征在于，所述空间下的采样值满足以下关系式：其中，表示为空间下的采样值；表示为目标融合图像；p1表示为沿宽度模的下采样矩阵；p2表示为沿高度模的下采样矩阵。5.根据权利要求1所述高光谱-多光谱图像的去噪融合方法，其特征在于，所述多光谱原始图像满足以下关系式：其中，表示为多光谱原始图像，表示为光谱下的采样值，表示为多光谱图像中出现的高斯噪声。6.根据权利要求5所述高光谱-多光谱图像的去噪融合方法，其特征在于，所述光谱下的采样值满足以下关系式：其中，表示为光谱下的采样值；表示为目标融合图像；p3表示为光谱维的下采
样矩阵。7.根据权利要求1所述高光谱-多光谱图像的去噪融合方法，其特征在于，所述目标融合模型满足以下关系式：其中，表示目标融合模型；表示为原始高光谱图像；表示核张量；表示高光谱图像中出现的条带噪声；w表示包含n
w
个原子的空间因子矩阵；h表示包含n
h
个原子的空间因子矩阵；s表示包含n
b
个原子的光谱因子矩阵；s
*
表示光谱下采样字典；w*表示宽度模的下采样字典；h
*
表示高度模的下采样字典；是指空间退化过程的数据保真度项值，是指光谱退化过程的数据保真度项值，表示第i模的权重，；表示核张量第i模展开矩阵的γ范数；表示条带噪声的l2,1范数；是权重正则化参数。8.根据权利要求1所述高光谱-多光谱图像的去噪融合方法，其特征在于，所述通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵，包括以下步骤：固定h参数、s参数和参数后，对w参数进行迭代优化，以获得目标w参数；固定w参数、s参数和参数，对h参数进行迭代优化，以获得目标h参数；固定w参数、h参数和参数，对s参数进行迭代优化，以获得目标s参数；固定w参数、h参数和s参数，对参数进行迭代优化，以获得目标参数；其中，表示核张量；表示高光谱图像中出现的条带噪声；w表示包含n
w
个原子的空间因子矩阵；h表示包含n
h
个原子的空间因子矩阵；s表示包含n
b
个原子的光谱因子矩阵；n
w
表示核张量的宽度值，n
h
表示核张量的高度值，n
b
表示核张量的光谱波段数值；w表示原始高光谱图像的宽度像素值，h表示原始高光谱图像的高度像素值，b表示原始高光谱图像的光谱波段数值。9.根据权利要求8所述高光谱-多光谱图像的去噪融合方法，其特征在于，所述固定h参数、s参数和参数后，对w参数进行迭代优化，以获得目标w参数时，满足以下关系式：其中，表示为原始高光谱图像；表示核张量；表示高光谱图像中出现的条带噪声；w表示包含n
w
个原子的空间因子矩阵；h表示包含n
h
个原子的空间因子矩阵；s表示包含n
b
个原子的光谱因子矩阵；s
*
表示光谱下采样字典；w*表示宽度模的下采样字典；h
*
表示高度模的下采样字典；wpre表示上一步迭代的因子矩阵；代表frobenius范数；μ>0表示正则化参数；
固定w参数、h参数和参数，对s参数进行迭代优化，以获得目标s参数时，满足以下关系式：其中，表示为原始高光谱图像；表示核张量；表示高光谱图像中出现的条带噪声；w表示包含n
w
个原子的空间因子矩阵；h表示包含n
h
个原子的空间因子矩阵；s表示包含n
b
个原子的光谱因子矩阵；s
*
表示光谱下采样字典；w*表示宽度模的下采样字典；h
*
表示高度模的下采样字典；hpre表示上一步迭代的因子矩阵；代表frobenius范数；μ>0表示正则化参数；固定w参数、h参数和参数，对s参数进行迭代优化，以获得目标s参数时，满足以下关系式：其中，表示为原始高光谱图像；表示核张量；表示高光谱图像中出现的条带噪声；w表示包含n
w
个原子的空间因子矩阵；h表示包含n
h
个原子的空间因子矩阵；s表示包含n
b
个原子的光谱因子矩阵；s
*
表示光谱下采样字典；w*表示宽度模的下采样字典；h
*
表示高度模的下采样字典；spre表示上一步迭代的因子矩阵；代表frobenius范数；μ>0表示正则化参数；固定w参数、h参数和s参数，对参数进行迭代优化，以获得目标参数时，满足以下关系式：其中，表示为原始高光谱图像；表示核张量；表示高光谱图像中出现的条带噪声；w表示包含n
w
个原子的空间因子矩阵；h表示包含n
h
个原子的空间因子矩阵；s表示包含n
b
个原子的光谱因子矩阵；s
*
表示光谱下采样字典；w*表示宽度模的下采样字典；h
*
表示高度模的下采样字典；表示上一步迭代的因子矩阵；代表frobenius范数，μ>0表示正则化参数。10.根据权利要求1所述高光谱-多光谱图像的去噪融合方法，其特征在于，所述通过引入张量γ范数对核张量进行低秩约束来抑制噪声，包括：通过张量γ范数对核张量进行低秩约束，以获得正则项；其中，所述正则项满足以下关系式：所述正则项满足以下关系式：其中，表示为正则项；表示张量的第i模展开矩阵；表示第i模的权重，
；，表示为矩阵x的范数；表示为x的奇异值分解得到的第k个奇异值；γ表示为张量范数。

技术总结
本申请公开了一种高光谱-多光谱图像的去噪融合方法，涉及图像处理技术领域；解决了现有技术对高光谱-多光谱图像的去噪融合效率较低的技术问题。所述一种高光谱-多光谱图像的去噪融合方法，包括以下步骤：获取原始高光谱图像和多光谱原始图像；将所述原始高光谱图像和所述多光谱原始图像输入至所述目标融合模型，以获得目标融合图像；其中，所述目标融合模型是基于空间-光谱特征保留策略和噪声抑制策略构建的，所述空间-光谱特征保留策略是利用高光谱图像和多光谱图像的空间-光谱相关性及分辨率互补特性，通过交替优化得到高空间分辨率高光谱图像的核张量和因子矩阵；所述噪声抑制策略是通过引入张量γ范数对核张量进行低秩约束来抑制噪声。秩约束来抑制噪声。秩约束来抑制噪声。


技术研发人员：孔祥阳 李登万 邱黎明 唐延东 钟铃
受保护的技术使用者：四川工程职业技术学院
技术研发日：2023.06.08
技术公布日：2023/7/12