一种遥感影像超分辨率重建方法及系统

1.本发明涉及遥感图像处理技术领域，尤其涉及一种遥感影像超分辨率重建方法及系统。


背景技术：

2.对于遥感卫星，影像的分辨率是由传感器在地面采样的间隔决定的，也即单个探元尺寸在地面投影的大小，称为地面采样距离(ground sampled distance，gsd)。卫星成像物理机理明确给出了提高卫星影像分辨率的几种方式：减小传感器探元尺寸、降低卫星高度、增大镜头焦距。但是，这些方法都是极大受限的，减小传感器探元尺寸需要更加精细的传感器制造工艺，极大增加了成本；降低卫星高度虽然能提高影像分辨率，但会受到更多大气损耗，缩短卫星寿命；增大镜头焦距意味着需要更大的镜头尺寸，带来卫星体积、成本的显著增加。因此，由于关键技术进展缓慢，而且分辨率逐渐接近光学系统衍射极限，单纯从硬件改善角度出发，无法有效地提升卫星影像分辨率。
3.此外，还有研究希望通过事后软件处理来改善影像分辨率，这就是超分辨率技术。超分辨率的概念最早在上世纪60年代，由harris和goodman提出，超分辨率重建技术具有进一步提升遥感卫星影像空间分辨率的潜力，该技术可以通过对同一场景的单帧或多帧低分图像进行处理来获取对应的高分图像。依据原理的不同，超分辨率算法可以被大致分为重构类算法与学习类算法两类。1984年tasi和huang等人提出的频率域重构方法，1989年stark提出的pocs算法则是空间域重构类算法的代表，2014年，dong等人提出的srcnn，标志着深度学习方法在超分辨率重建领域的起步。在频域中由低分辨率图像序列复原高分辨率图像的方法后，超分辨率重建技术逐渐引起人们注意并被广泛研究。超分辨率的原理在于多帧低分辨率影像序列中包含的亚像素位移信息可以进行互补来实现超分辨率重建，并且影像退化的高频信息可以通过神经网络等模型的非线性拟合得到。
4.但是上述超分辨率算法在工程中都较难应用，原因包括：1)频率域重构方法效果不够好，最佳频率域退化函数很难事先获取；2)多帧空间重构类超分算法需要图像之间严格配准，没有相对位移和变形，但实际上是难以满足的，容易导致超分辨率所需的亚像素位移信息被抹去或者产生虚假图像信息；3)学习类算法是数据驱动的，而要想在全球各种地表覆盖的情况下都取得可靠的超分效果，所必需的训练数据集是过于庞大和难以获得的。
5.基于以上卫星影像超分辨率在工程应用中的种种困难，希望提出一种新的遥感影像超分辨率重建方法。


技术实现要素：

6.本发明提供一种遥感影像超分辨率重建方法及系统，用以解决现有技术中针对遥感影像采用的超分辨率重建技术中存在数据运算复杂，重建效果不理想的缺陷。
7.第一方面，本发明提供一种遥感影像超分辨率重建方法，包括：
8.在不同采集方向上获取待重建遥感图像的多个双向半像素错位过采样图像；
9.对所述多个双向半像素错位过采样模式图像进行基于距离反比加权的帧内像素四叉树分解，得到多帧待重建预设高分辨率像素；
10.对所述多帧待重建预设高分辨率像素进行混合滤波帧间融合，得到多帧预设超分辨率重建像素；
11.基于所述多帧预设超分辨率重建像素，得到重建后遥感图像。
12.根据本发明提供的一种遥感影像超分辨率重建方法，在不同采集方向上获取待重建遥感图像的多个双向半像素错位过采样图像，包括：
13.在垂轨方向上对所述待重建遥感图像偏移半像素，获取第一帧原始分辨率图像和第二帧原始分辨率图像；
14.在沿轨方向上对所述待重建遥感图像采用一半的预设积分时间进行采集采样，获取第三帧原始分辨率图像和第四帧原始分辨率图像。
15.根据本发明提供的一种遥感影像超分辨率重建方法，对所述多个双向半像素错位过采样模式图像进行基于距离反比加权的帧内像素四叉树分解，得到多帧待重建预设高分辨率像素，包括：
16.获取所述待重建遥感图像的原始低分辨率图像最大行数n和原始低分辨率图像最大列数m，基于像素四叉树分别确定第一帧原始分辨率图像的任一预设低分辨率像素a
i,j
、第二帧原始分辨率图像的任一预设低分辨率像素b
i,j
、第三帧原始分辨率图像的任一预设低分辨率像素c
i,j
和第四帧原始分辨率图像的任一预设低分辨率像素d
i,j
，其中i＝0、1、2、3、
…
、n-1，j＝0、1、2、3、
…
、m-1；
17.利用原始像素尺寸分别求取a
i,j
、b
i,j
、c
i,j
和d
i,j
对应的四个子像素权重；
18.将所述四个子像素权重转换为归一化值；
19.基于a
i,j
、b
i,j
、c
i,j
、d
i,j
和所述归一化值，得到所述多帧待重建预设高分辨率像素。
20.根据本发明提供的一种遥感影像超分辨率重建方法，利用原始像素尺寸分别求取a
i,j
、b
i,j
、c
i,j
和d
i,j
对应的四个子像素权重，包括：
21.若确定以及则：
22.基于a
i,j
的邻域像素中心点a
i-1,j-1
、a
i-1,j
、a
i,j-1
、a
i-1,j+1
、a
i,j+1
、a
i+1,j
、a
i+1,j-1
、a
i+1,j+1
和原始像素尺寸d分别得到a
i,j
的子像素权重和
23.基于b
i,j
的邻域像素中心点b
i-1,j-1
、b
i-1,j
、b
i,j-1
、b
i-1,j+1
、b
i,j+1
、b
i+1,j
、b
i+1,j-1
、b
i+1,j+1
和原始像素尺寸d分别得到b
i,j
的子像素权重和
24.基于c
i,j
的邻域像素中心点c
i-1,j-1
、c
i-1,j
、c
i,j-1
、c
i-1,j+1
、c
i,j+1
、c
i+1,j
、c
i+1,j-1
、c
i+1,j+1
和原始像素尺寸d分别得到c
i,j
的子像素权重和
25.基于d
i,j
的邻域像素中心点d
i-1,j-1
、d
i-1,j
、d
i,j-1
、d
i-1,j+1
、d
i,j+1
、d
i+1,j
、d
i+1,j-1
、d
i+1,j+1
和原始像素尺寸d分别得到d
i,j
的子像素权重和
26.根据本发明提供的一种遥感影像超分辨率重建方法，将所述四个子像素权重转换为归一化值，包括：
27.对和进行求和得到第一子像素权重之和，分别将和除以所述第一子像素权重之和，得到第一子像素权重归
一化值pa，pa包括以及
28.对和进行求和得到第二子像素权重之和，分别将和除以所述第二子像素权重之和，得到第二子像素权重归一化值pb，pb包括以及
29.对和进行求和得到第三子像素权重之和，分别将和除以所述第三子像素权重之和，得到第三子像素权重归一化值pc，pc包括以及
30.对和进行求和得到第四子像素权重之和，分别将和除以所述第四子像素权重之和，得到第四子像素权重归一化值pd，pd包括以及
31.根据本发明提供的一种遥感影像超分辨率重建方法，基于a
i,j
、b
i,j
、c
i,j
、d
i,j
和所述归一化值，得到所述多帧待重建预设高分辨率像素，包括：
32.将a
i,j
乘以4，再分别与以及相乘，得到第一待重建预设高分辨率像素集合和
33.将b
i,j
乘以4，再分别与以及相乘，得到第二待重建预设高分辨率像素集合和
34.将c
i,j
乘以4，再分别与以及相乘，得到第三待重建预设高分辨率像素集合和
35.将d
i,j
乘以4，再分别与以及相乘，得到第四待重建预设高分辨率像素集合和
36.根据本发明提供的一种遥感影像超分辨率重建方法，利用原始像素尺寸分别求取a
i,j
、b
i,j
、c
i,j
和d
i,j
对应的四个子像素权重，还包括：
37.若确定i,j＝0，或者i＝n-1，或者j＝m-1，则对i或j对应的边缘原始像素进行复制扩展，得到：
[0038][0039]
根据本发明提供的一种遥感影像超分辨率重建方法，对所述多帧待重建预设高分辨率像素进行混合滤波帧间融合，得到多帧预设超分辨率重建像素，包括：
[0040]
由第一待重建预设高分辨率像素集合和得到第一待重建预设高分辨率综合像素由第二待重建预设高分辨率像素集合
和得到第二待重建预设高分辨率综合像素由第三待重建预设高分辨率像素集合和得到第三待重建预设高分辨率综合像素由第四待重建预设高分辨率像素集合和得到第三待重建预设高分辨率综合像素其中m和n为不分奇偶位置的像元坐标；
[0041]
基于均值和中值混合滤波计算和得到所述多帧预设超分辨率重建像素h
m,n
。
[0042]
第二方面，本发明还提供一种遥感影像超分辨率重建系统，包括：
[0043]
采集模块，用于在不同采集方向上获取待重建遥感图像的多个双向半像素错位过采样图像；
[0044]
分解模块，用于对所述多个双向半像素错位过采样模式图像进行基于距离反比加权的帧内像素四叉树分解，得到多帧待重建预设高分辨率像素；
[0045]
融合模块，用于对所述多帧待重建预设高分辨率像素进行混合滤波帧间融合，得到多帧预设超分辨率重建像素；
[0046]
重建模块，用于基于所述多帧预设超分辨率重建像素，得到重建后遥感图像。
[0047]
第三发面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述遥感影像超分辨率重建方法。
[0048]
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述遥感影像超分辨率重建方法。
[0049]
本发明提供的遥感影像超分辨率重建方法及系统，通过采集具有双向加密过采样模式的序列卫星影像，利用距离反比加权的帧内像素四叉树分解和混合滤波帧间融合，最终实现多帧融合超分辨率，重建比原始遥感影像分辨率更高的影像。
附图说明
[0050]
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0051]
图1是本发明提供的遥感影像超分辨率重建方法的流程示意图；
[0052]
图2是本发明提供的双向半像素错位过采样原理图；
[0053]
图3是本发明提供的帧内像素四叉树分解示意图；
[0054]
图4是本发明提供的帧间像素关系示意图；
[0055]
图5是本发明提供的遥感影像超分辨率重建系统的结构示意图；
[0056]
图6是本发明提供的电子设备的结构示意图。
具体实施方式
[0057]
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0058]
图1是本发明实施例提供的遥感影像超分辨率重建方法的流程示意图，如图1所示，包括：
[0059]
步骤100：在不同采集方向上获取待重建遥感图像的多个双向半像素错位过采样图像；
[0060]
步骤200：对所述多个双向半像素错位过采样模式图像进行基于距离反比加权的帧内像素四叉树分解，得到多帧待重建预设高分辨率像素；
[0061]
步骤300：对所述多帧待重建预设高分辨率像素进行混合滤波帧间融合，得到多帧预设超分辨率重建像素；
[0062]
步骤400：基于所述多帧预设超分辨率重建像素，得到重建后遥感图像。
[0063]
具体地，本发明实施例针对待重建遥感图像，获取对应的具有“双向半像素错位过采样”模式的图像，该模式图像由四帧具有亚像素错位的图像组成，获取的四帧原始分辨率影像分别记为a、b、c和d，它们在x、y方向分别有着0.5个像素的错位。
[0064]
然后采用距离反比加权的像素四叉树分解方法对上述图像进行帧内像素四叉树分解，将原始获取的一个低分辨率像素视为四个理想高分辨率像素构成的混合像元，因此两倍上采样的图像超分辨率问题可以转化为混合低分辨率像素四叉树分解问题，依次对第一帧原始图像a做像素四叉树分解，再对其余第二、三、四帧低分辨率图像，同样进行像元四叉树分解，得到多帧待重建高分辨率像素。
[0065]
最后，对于每一个待重建的高分辨率像素，已经求得了其在四帧影像中分别得到的估计值，需要综合四帧中的结果得到重建的高分辨率像素，将单帧得到的高分辨率像素估计值与两两组合的均值合在一起取中值，即混合滤波帧间融合方法，得到最终的超分重建像素值。
[0066]
由超分重建像素值即可得到重建后遥感图像。
[0067]
本发明通过采集具有双向加密过采样模式的序列卫星影像，利用距离反比加权的帧内像素四叉树分解和混合滤波帧间融合，最终实现多帧融合超分辨率，重建比原始遥感影像分辨率更高的影像。
[0068]
在上述实施例的基础上，在不同采集方向上获取待重建遥感图像的多个双向半像素错位过采样图像，包括：
[0069]
在垂轨方向上对所述待重建遥感图像偏移半像素，获取第一帧原始分辨率图像和第二帧原始分辨率图像；
[0070]
在沿轨方向上对所述待重建遥感图像采用一半的预设积分时间进行采集采样，获取第三帧原始分辨率图像和第四帧原始分辨率图像。
[0071]
具体地，本发明实施例获取具有“双向半像素错位过采样”模式的图像，如图2所示，由四帧具有亚像素错位的图像组成，获取的四帧原始分辨率影像分别记为a、b、c、d，它们在x、y方向分别有着0.5个像素的错位。其获取方式为同一相机的芯片
①
与芯片
②
在垂轨
方向上偏移0.5个像素，即芯片
①
t0时刻和芯片
②
t0时刻获取的图像，而在沿轨时间延时积分(time delay integration，tdi)方向上，通过将积分时间除以2，变为基本模式的一半进行加密采样，即可获得沿轨方向上偏移0.5个像素的图像，即芯片
①
t1时刻和芯片
②
t1时刻获取的图像。
[0072]
在上述实施例的基础上，对所述多个双向半像素错位过采样模式图像进行基于距离反比加权的帧内像素四叉树分解，得到多帧待重建预设高分辨率像素，包括：
[0073]
获取所述待重建遥感图像的原始低分辨率图像最大行数n和原始低分辨率图像最大列数m，基于像素四叉树分别确定第一帧原始分辨率图像的任一预设低分辨率像素a
i,j
、第二帧原始分辨率图像的任一预设低分辨率像素b
i,j
、第三帧原始分辨率图像的任一预设低分辨率像素c
i,j
和第四帧原始分辨率图像的任一预设低分辨率像素d
i,j
，其中i＝0、1、2、3、
…
、n-1，j＝0、1、2、3、
…
、m-1；
[0074]
利用原始像素尺寸分别求取a
i,j
、b
i,j
、c
i,j
和d
i,j
对应的四个子像素权重；
[0075]
将所述四个子像素权重转换为归一化值；
[0076]
基于a
i,j
、b
i,j
、c
i,j
、d
i,j
和所述归一化值，得到所述多帧待重建预设高分辨率像素。
[0077]
根据本发明提供的一种遥感影像超分辨率重建方法，利用原始像素尺寸分别求取a
i,j
、b
i,j
、c
i,j
、d
i,j
对应的四个子像素权重，包括：
[0078]
若确定i,j≠0、i≠n-1以及j≠m-1，则：
[0079]
基于a
i,j
的邻域像素中心点a
i-1,j-1
、a
i-1,j
、a
i,j-1
、a
i-1,j+1
、a
i,j+1
、a
i+1,j
、a
i+1,j-1
、a
i+1,j+1
和原始像素尺寸d分别得到a
i,j
的子像素权重和
[0080]
基于b
i,j
的邻域像素中心点b
i-1,j-1
、b
i-1,j
、b
i,j-1
、b
i-1,j+1
、b
i,j+1
、b
i+1,j
、b
i+1,j-1
、b
i+1,j+1
和原始像素尺寸d分别得到b
i,j
的子像素权重和
[0081]
基于c
i,j
的邻域像素中心点c
i-1,j-1
、c
i-1,j
、c
i,j-1
、c
i-1,j+1
、c
i,j+1
、c
i+1,j
、c
i+1,j-1
、c
i+1,j+1
和原始像素尺寸d分别得到c
i,j
的子像素权重和
[0082]
基于d
i,j
的邻域像素中心点d
i-1,j-1
、d
i-1,j
、d
i,j-1
、d
i-1,j+1
、d
i,j+1
、d
i+1,j
、d
i+1,j-1
、d
i+1,j+1
和原始像素尺寸d分别得到d
i,j
的子像素权重和
[0083]
其中，将所述四个子像素权重转换为归一化值，包括：
[0084]
对和进行求和得到第一子像素权重之和，分别将和除以所述第一子像素权重之和，得到第一子像素权重归一化值pa，pa包括以及
[0085]
对和进行求和得到第二子像素权重之和，分别将和除以所述第二子像素权重之和，得到第二子像素权重归一化值pb，pb包括以及
[0086]
对和进行求和得到第三子像素权重之和，分别将和除以所述第三子像素权重之和，得到第三子像素权重归
一化值pc，pc包括以及
[0087]
对和进行求和得到第四子像素权重之和，分别将和除以所述第四子像素权重之和，得到第四子像素权重归一化值pd，pd包括以及
[0088]
其中，基于a
i,j
、b
i,j
、c
i,j
、d
i,j
和所述归一化值，得到所述多帧待重建预设高分辨率像素，包括：
[0089]
将a
i,j
乘以4，再分别与以及相乘，得到第一待重建预设高分辨率像素集合和
[0090]
将b
i,j
乘以4，再分别与以及相乘，得到第二待重建预设高分辨率像素集合和
[0091]
将c
i,j
乘以4，再分别与以及相乘，得到第三待重建预设高分辨率像素集合和
[0092]
将d
i,j
乘以4，再分别与以及相乘，得到第四待重建预设高分辨率像素集合和
[0093]
具体地，本发明实施例采用的帧内像素四叉树分解，以图像a为例，包括以下几个步骤：
[0094]
(1)像素四叉树定义，原始第一帧低分辨率像素a
i,j
可以看作四个理想高分辨率像素的混合，它们对应的权重分别为(i＝0,1,2,3,
…
,n-1；j＝0,1,2,3,
…
,m-1)，n和m是原始低分辨率图像最大行数和列数，下标i,j从0开始计数；
[0095]
(2)子像素权重计算，认为子像素权重与临近像素相关，并且采用距离反比加权，记原始像素尺寸为d，用邻域像素中心点到当前像素a
i,j
中心点的距离反比作为权重，当i,j≠0或n-1或m-1时：
[0096][0097][0098][0099][0100]
(3)将上述计算的权重值转化为归一化值pa，
[0101][0102][0103][0104][0105]
(4)高分辨率像素值估计，如图3所示的估计值分布：
[0106][0107][0108][0109][0110]
类似地，对其余第二、三、四帧低分辨率图像，同样进行像元四叉树分解。考虑到四帧低分辨率图像之间的半像素错位关系，步骤(4)的公式对于b、c、d帧对应变为：
[0111]
[0112][0113][0114]
在上述实施例的基础上，对于i,j＝0或n-1，即处于图像边缘时，应用上述步骤2.2至2.4的公式会出现超出i,j范围的下标。采用复制形式，将边缘像素进行拓展，即规定下标
[0115][0116]
在上述实施例的基础上，对所述多帧待重建预设高分辨率像素进行混合滤波帧间融合，得到多帧预设超分辨率重建像素，包括：
[0117]
由第一待重建预设高分辨率像素集合和得到第一待重建预设高分辨率综合像素由第二待重建预设高分辨率像素集合和得到第二待重建预设高分辨率综合像素由第三待重建预设高分辨率像素集合和得到第三待重建预设高分辨率综合像素由第四待重建预设高分辨率像素集合
和得到第三待重建预设高分辨率综合像素其中m和n为不分奇偶位置的像元坐标；
[0118]
基于均值和中值混合滤波计算和得到所述多帧预设超分辨率重建像素h
m,n
。
[0119]
具体地，对于每一个待重建的高分辨率像素h
m,n
(m和n为像元坐标，此处无论奇偶)，经过前述实施例已经求得了其在四帧影像中分别得到的估计值需要综合四帧中的结果得到重建的高分辨率像素。将单帧得到的高分辨率像素估计值与两两组合的均值合在一起取中值，即混合滤波帧间融合，得到最终的超分重建的像素值：
[0120][0121]
其中mid为取中位数。
[0122]
如图4所示，在原有的像素长度2l基础上，重建的超分辨率像素长度为原有的一半长度，即l。
[0123]
可以看出，本发明能高效、可靠地对具有双向半像素错位过采样模式的遥感影像进行超分辨率重建，提高影像分辨率和清晰度。
[0124]
下面对本发明提供的遥感影像超分辨率重建系统进行描述，下文描述的遥感影像超分辨率重建系统与上文描述的遥感影像超分辨率重建方法可相互对应参照。
[0125]
图5是本发明实施例提供的遥感影像超分辨率重建系统的结构示意图，如图5所示，包括：采集模块51、分解模块52、融合模块53和重建模块54，其中：
[0126]
采集模块51用于在不同采集方向上获取待重建遥感图像的多个双向半像素错位过采样图像；分解模块52用于对所述多个双向半像素错位过采样模式图像进行基于距离反比加权的帧内像素四叉树分解，得到多帧待重建预设高分辨率像素；融合模块53用于对所述多帧待重建预设高分辨率像素进行混合滤波帧间融合，得到多帧预设超分辨率重建像素；重建模块54用于基于所述多帧预设超分辨率重建像素，得到重建后遥感图像。
[0127]
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(communications interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行遥感影像超分辨率重建方法，该方法包括：在不同采集方向上获取待重建遥感图像的多个双向半像素错位过采样图像；对所述多个双向半像素错位过采样模式图像进行基于距离反比加权的帧内像素四叉树分解，得到多帧待重建预设高分辨率像素；对所述多帧待重建预设高分辨率像素进行混合滤波帧间融合，得到多帧预设超分辨率重建像素；基于所述多帧预设超分辨率重建像素，得到重建后遥感图像。
[0128]
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为
独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0129]
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的遥感影像超分辨率重建方法，该方法包括：在不同采集方向上获取待重建遥感图像的多个双向半像素错位过采样图像；对所述多个双向半像素错位过采样模式图像进行基于距离反比加权的帧内像素四叉树分解，得到多帧待重建预设高分辨率像素；对所述多帧待重建预设高分辨率像素进行混合滤波帧间融合，得到多帧预设超分辨率重建像素；基于所述多帧预设超分辨率重建像素，得到重建后遥感图像。
[0130]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0131]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0132]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种遥感影像超分辨率重建方法，其特征在于，包括：在不同采集方向上获取待重建遥感图像的多个双向半像素错位过采样图像；对所述多个双向半像素错位过采样模式图像进行基于距离反比加权的帧内像素四叉树分解，得到多帧待重建预设高分辨率像素；对所述多帧待重建预设高分辨率像素进行混合滤波帧间融合，得到多帧预设超分辨率重建像素；基于所述多帧预设超分辨率重建像素，得到重建后遥感图像。2.根据权利要求1所述的遥感影像超分辨率重建方法，其特征在于，在不同采集方向上获取待重建遥感图像的多个双向半像素错位过采样图像，包括：在垂轨方向上对所述待重建遥感图像偏移半像素，获取第一帧原始分辨率图像和第二帧原始分辨率图像；在沿轨方向上对所述待重建遥感图像采用一半的预设积分时间进行采集采样，获取第三帧原始分辨率图像和第四帧原始分辨率图像。3.根据权利要求1所述的遥感影像超分辨率重建方法，其特征在于，对所述多个双向半像素错位过采样模式图像进行基于距离反比加权的帧内像素四叉树分解，得到多帧待重建预设高分辨率像素，包括：获取所述待重建遥感图像的原始低分辨率图像最大行数n和原始低分辨率图像最大列数m，基于像素四叉树分别确定第一帧原始分辨率图像的任一预设低分辨率像素a
i,j
、第二帧原始分辨率图像的任一预设低分辨率像素b
i,j
、第三帧原始分辨率图像的任一预设低分辨率像素c
i,j
和第四帧原始分辨率图像的任一预设低分辨率像素d
i,j
，其中i＝0、1、2、3、
…
、n-1，j＝0、1、2、3、
…
、m-1；利用原始像素尺寸分别求取a
i,j
、b
i,j
、c
i,j
、d
i,j
对应的四个子像素权重；将所述四个子像素权重转换为归一化值；基于a
i,j
、b
i,j
、c
i,j
、d
i,j
和所述归一化值，得到所述多帧待重建预设高分辨率像素。4.根据权利要求3所述的遥感影像超分辨率重建方法，其特征在于，利用原始像素尺寸分别求取a
i,j
、b
i,j
、c
i,j
、d
i,j
对应的四个子像素权重，包括：若确定i,j≠0、i≠n-1以及j≠m-1，则：基于a
i,j
的邻域像素中心点a
i-1,j-1
、a
i-1,j
、a
i,j-1
、a
i-1,j+1
、a
i,j+1
、a
i+1,j
、a
i+1,j-1
、a
i+1,j+1
和原始像素尺寸d分别得到a
i,j
的子像素权重和基于b
i,j
的邻域像素中心点b
i-1,j-1
、b
i-1,j
、b
i,j-1
、b
i-1,j+1
、b
i,j+1
、b
i+1,j
、b
i+1,j-1
、b
i+1,j+1
和原始像素尺寸d分别得到b
i,j
的子像素权重和基于c
i,j
的邻域像素中心点c
i-1,j-1
、c
i-1,j
、c
i,j-1
、c
i-1,j+1
、c
i,j+1
、c
i+1,j
、c
i+1,j-1
、c
i+1,j+1
和原始像素尺寸d分别得到c
i,j
的子像素权重和基于d
i,j
的邻域像素中心点d
i-1,j-1
、d
i-1,j
、d
i,j-1
、d
i-1,j+1
、d
i,j+1
、d
i+1,j
、d
i+1,j-1
、d
i+1,j+1
和原始像素尺寸d分别得到d
i,j
的子像素权重和5.根据权利要求4所述的遥感影像超分辨率重建方法，其特征在于，将所述四个子像素权重转换为归一化值，包括：
对和进行求和得到第一子像素权重之和，分别将和除以所述第一子像素权重之和，得到第一子像素权重归一化值p
a
，p
a
包括以及对和进行求和得到第二子像素权重之和，分别将和除以所述第二子像素权重之和，得到第二子像素权重归一化值p
b
，p
b
包括以及对和进行求和得到第三子像素权重之和，分别将和除以所述第三子像素权重之和，得到第三子像素权重归一化值p
c
，p
c
包括以及对和进行求和得到第四子像素权重之和，分别将和除以所述第四子像素权重之和，得到第四子像素权重归一化值p
d
，p
d
包括以及6.根据权利要求5所述的遥感影像超分辨率重建方法，其特征在于，基于a
i,j
、b
i,j
、c
i,j
、d
i,j
和所述归一化值，得到所述多帧待重建预设高分辨率像素，包括：将a
i,j
乘以4，再分别与以及相乘，得到第一待重建预设高分辨率像素集合和将b
i,j
乘以4，再分别与以及相乘，得到第二待重建预设高分辨率像素集合和将c
i,j
乘以4，再分别与以及相乘，得到第三待重建预设高分辨率像素集合和将d
i,j
乘以4，再分别与以及相乘，得到第四待重建预设高分辨率像素集合和7.根据权利要求4所述的遥感影像超分辨率重建方法，其特征在于，利用原始像素尺寸分别求取a
i,j
、b
i,j
、c
i,j
、d
i,j
对应的四个子像素权重，还包括：若确定i,j＝0，或者i＝n-1，或者j＝m-1，则对i或j对应的边缘原始像素进行复制扩展，得到：8.根据权利要求1所述的遥感影像超分辨率重建方法，其特征在于，对所述多帧待重建
预设高分辨率像素进行混合滤波帧间融合，得到多帧预设超分辨率重建像素，包括：由第一待重建预设高分辨率像素集合和得到第一待重建预设高分辨率综合像素由第二待重建预设高分辨率像素集合和得到第二待重建预设高分辨率综合像素由第三待重建预设高分辨率像素集合和得到第三待重建预设高分辨率综合像素由第四待重建预设高分辨率像素集合和得到第三待重建预设高分辨率综合像素其中m和n为不分奇偶位置的像元坐标；基于均值和中值混合滤波计算和得到所述多帧预设超分辨率重建像素h
m,n
。9.一种遥感影像超分辨率重建系统，其特征在于，包括：采集模块，用于在不同采集方向上获取待重建遥感图像的多个双向半像素错位过采样图像；分解模块，用于对所述多个双向半像素错位过采样模式图像进行基于距离反比加权的帧内像素四叉树分解，得到多帧待重建预设高分辨率像素；融合模块，用于对所述多帧待重建预设高分辨率像素进行混合滤波帧间融合，得到多帧预设超分辨率重建像素；重建模块，用于基于所述多帧预设超分辨率重建像素，得到重建后遥感图像。10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述遥感影像超分辨率重建方法。

技术总结
本发明提供一种遥感影像超分辨率重建方法及系统，属于遥感图像处理技术领域，包括：在不同采集方向上获取待重建遥感图像的多个双向半像素错位过采样图像；对多个双向半像素错位过采样模式图像进行基于距离反比加权的帧内像素四叉树分解，得到多帧待重建预设高分辨率像素；对多帧待重建预设高分辨率像素进行混合滤波帧间融合，得到多帧预设超分辨率重建像素；基于多帧预设超分辨率重建像素，得到重建后遥感图像。本发明通过采集具有双向加密过采样模式的序列卫星影像，利用距离反比加权的帧内像素四叉树分解和混合滤波帧间融合，最终实现多帧融合超分辨率，重建比原始遥感影像分辨率更高的影像。率更高的影像。率更高的影像。


技术研发人员：赵泉 王慧雯 刘宇晗 董滕滕 吴章平
受保护的技术使用者：武汉大学
技术研发日：2023.07.04
技术公布日：2023/10/15