一种航空三线阵相机影像的正解纠正方法及系统

1.本发明涉及遥感影像纠正技术领域，具体设计一种航空三线阵相机影像的正解纠正方法，其中目标像元拆分是正解纠正方法的关键技术。


背景技术：

2.三线阵相机在焦平面上安置三条ccd探测器，在飞行期间，三条ccd线阵同时成像，前视线阵(f)向前倾斜成像，下视线阵(n)垂直对地成像，后视线阵(b)向后倾斜成像，工作原理如图1所示。随着载荷平台向前推扫，相机以一定的频率连续对地面扫描成像，可在每个曝光时刻同时获得三条地面线状影像。
3.三线阵相机的原始影像按ccd线进行分别记录，每个ccd线记录一个影像文件，根据连续推扫式成像的原理，影像文件的每一行就是某一时刻ccd线以中心成像方式获取的地面上某一条线的数据。影像每一行以中心成像方式一次成像，因此ccd像元间是连续成像的，也即ccd线方向与地面实际位置是一致的，但是，影像行之间是独立成像，行与行之间在地面没有相邻关系。特别在飞行器受大气气流、飞机发动机震动等影响，飞机姿态不是稳定不变，这样获取的影像存在一定的变形，如图2所示。
4.正因为三线阵相机的原始影像存在很大变形，无法进行直接观察和量测，因此必须进行影像纠正，将影像纠正为与实际位置一致的影像，如图3所示。在三线阵处理系统中，原始有变形的影像被称为l0级影像，而纠正变形后的影像被称为l1级影像。
5.传统的影像纠正采用反解法影像纠正，基本原理是按照目标影像的整像素位置(也即行列号)，根据成像方程求解目标影像在原始影像中的位置，然后对原始影像进行子像素插值获取其灰度，并放值于目标影像位置上。
6.在反解法影像纠正过程中，对原始影像进行子像素插值时，必须要求参与插值的影像是连续成像，也就是各相邻像素在原始目标上是连续的。但是，对于航空线阵影像，由于在成像过程中，其飞行平台受自然环境和飞行载体的影响无法像卫星线阵相机一样稳定，从而导致航空线阵影像的相邻扫描行不一定是连续目标，因此常规的反解法影像纠正对于航空线阵影像存在理论缺陷，纠正处理的精度损失严重。
7.为此，本发明提出了一种航空三线阵相机的正解影像纠正方法，按照成像方程将原始影像直接投影到目标影像，在目标影像上对原始像素的灰度进行按权进行子像素拆分，重新组合出目标影像，最终实现线阵影像的正解方式纠正。


技术实现要素：

8.本发明主要解决航空三线阵相机获取的影像采用常规反解法纠正影像精度损失大的问题。
9.本发明技术方案提供一种航空三线阵相机影像的正解纠正方法，按照成像方程将原始影像直接投影到目标影像，在目标影像上对原始像素的灰度进行按权拆分，将整像素拆分为子像素再重新组合出目标影像，最终实现线阵影像的正解法纠正。
10.而且，实现过程包括以下步骤，
11.步骤1，先将待纠正的线阵大影像划分形成逻辑影像块，然后按逻辑影像块分配浮点型和短整型的二维内存空间；
12.步骤2，使用线阵影像的内外方位元素，通过成像共线方程将当前逻辑影像块的每个像素直接投影到目标空间中，由原始影像像素的像点坐标计算出相应目标影像坐标；
13.步骤3，基于步骤2所得投影到目标影像上的坐标将整像素拆分为子像素再重新组合目标影像，包括提取每个目标位置在目标影像上4个像元的权重；根据权重将原始像元的灰度值分解到4个像元，将分配的灰度和权重分别累加入目标像元相应变量中；在投影完所有像元后，根据目标像元获的灰度值和权重做归一化处理，形成目标影像；检测目标影像，若发现权重小于预设阈值，则采用邻近像元的平均值赋予本像元进行弥补；
14.步骤4，对待纠正的线阵大影像的其他逻辑影像块，重复进行步骤2和步骤3的操作，直到所有逻辑影像块都完成纠正，获取最终纠正影像。
15.而且，步骤1中分配浮点型和短整型的二维内存空间后，浮点型内存空间在后续处理中用于存储每个像素的累计权重，短整型内存空间用于存储逻辑影像块的灰度信息。
16.而且，步骤2中，使用内外方位元素将影像直接投影的目标空间时，采用直接投影的正解法，避免线阵影像反解法的迭代计算引入的误差和时间消耗。
17.而且，步骤3中，提取每个目标位置在目标影像上4个相邻像元的权重采用以下公式，
18.c＝(int)x
19.r＝(int)y
20.dx＝x-c
21.dy＝y-r
22.q00＝(1-dx)
×
(1-dy)
23.q01＝(1-dx)
×
dy
24.q10＝dx
×
(1-dy)
25.q11＝dx
×
dy
26.公式中，(int)表示对浮点数取整操作；c,r是目标像元的行列数；x,y是目标像元的准确坐标；dx,dy是准确坐标与行列数的差值，表示子像素部分；q00,q01,q10,q11是目标像元4邻域权重。
27.而且，预设阈值取0.15。
28.另一方面，本发明还提供一种航空三线阵相机影像的正解纠正系统，用于实现如上所述的一种航空三线阵相机影像的正解纠正方法。
29.而且，包括以下模块，
30.第一模块，用于先将待纠正的线阵大影像划分形成逻辑影像块，然后按逻辑影像块分配浮点型和短整型的二维内存空间；
31.第二模块，用于使用线阵影像的内外方位元素，通过成像共线方程将当前逻辑影像块的每个像素直接投影到目标空间中，由原始影像像素的像点坐标计算出相应目标影像坐标；
32.第三模块，用于基于第二模块所得投影到目标影像上的坐标将整像素拆分为子像
素再重新组合目标影像，包括提取每个目标位置在目标影像上4个像元的权重；根据权重将原始像元的灰度值分解到4个像元，将分配的灰度和权重分别累加入目标像元相应变量中；在投影完所有像元后，根据目标像元获的灰度值和权重做归一化处理，形成目标影像；检测目标影像，若发现权重小于预设阈值，则采用邻近像元的平均值赋予本像元进行弥补；
33.第四模块，用于对待纠正的线阵大影像的其他逻辑影像块，重复进行第二模块和第三模块的操作，直到所有逻辑影像块都完成纠正，获取最终纠正影像。
34.或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种航空三线阵相机影像的正解纠正方法。
35.或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种航空三线阵相机影像的正解纠正方法。
36.本方法可有效解决航空线阵影像反解法中相邻行目标不连续的引起的精度损失问题，显著提升三线阵影像纠正的精度和质量，特别适用于航空三线阵相机的影像纠正处理。
附图说明
37.图1为现有技术中航空三线阵相机工作原理示意图，其中左图是三线阵成像原理，右图是三视交会几何定位原理。
38.图2为现有技术中航空三线阵获取的影像行不连续现象示意图，其中左图是影像行的地面投影不连续效果，右图是不连续现象在影像中体现为畸变。
39.图3为现有技术中航空三线阵影像纠正效果示意图，其中左图是原始未纠正影像，右图是纠正后影像。
40.图4为本发明实施例的处理流程图。
41.图5为本发明实施例的目标像素拆分原理示意图。
具体实施方式
42.以下结合附图和实施例具体说明本发明的技术方案。
43.本发明提出了一种航空三线阵相机影像的正解纠正方法，按照成像共线方程将原始影像直接投影到目标空间，在目标影像上对原始像素的灰度进行按权拆分，重新组合出目标影像，最终实现线阵影像的正解法纠正。
44.参见图4，本发明实施例提供一种针对航空线阵相机影像的正解纠正方法，整个处理流程如图4所示，在处理过程中，目标像元拆分算法是正解纠正方法的关键技术，其核心处理包括以下步骤：
45.步骤1，先将待纠正的线阵大影像按适当的行数和列数划分为逻辑影像块(如4096
×
4096、5120
×
5120)，然后按逻辑影像块的尺寸分配浮点型(占4字节，记作float类型)和短整型(占2字节，记作short)的二维内存空间(也即行
×
列的空间)，分别用字母s和t来表示；浮点型内存空间在后续处理中用于存储每个像素的累计权重，短整型内存空间用于存储逻辑影像块的灰度信息。
46.本发明步骤1中，通过影像逻辑分块，并采用float类型和short类型作为中间数据即保证精度也节省了内存空间，有效地提升处理方法的实用性和鲁棒性，可处理任意大小
的影像。
47.步骤2，使用线阵影像的内外方位元素，通过成像共线方程将逻辑影像块的每个像素直接投影到目标空间中，由原始影像像素的像点坐标(p'
x
,p'y)计算出相应目标影像坐标(x,y)。
48.本发明步骤2中，使用内外方位元素将影像直接投影到目标空间，采用了直接投影的正解法，避免了线阵影像反解法的迭代计算引入的误差和时间消耗。
49.目标影像空间定义为一个高程为常量的物方空间。其坐标系通常选取为局部切平面坐标系，该坐标系原点定义为飞行区域的几何中心点，以东方向为x轴，北方向为y轴，按右手坐标系原则确定z轴。
50.原始像素投影到目标像素的成像共线方程为：
[0051][0052][0053]
其中：
[0054]
p
x
,py是投影在目标空间位置的x坐标、y坐标值；
[0055]
pz是目标影像的空间高程平面的z坐标值；
[0056]
(xs,ys,zs)是曝光时刻的投影中心坐标；
[0057]
f是相机焦距；
[0058]
p'
x
,p'y是原始影像点的位置；
[0059]
a1,a2,a3,b1,b2,b3,c1,c2,c3是成像时刻的旋转矩阵的行、列元素；
[0060]
根据上面公式计算纠正后影像的起始点在目标空间坐标系的坐标。将线阵影像两端一定数量线阵的边缘像元投影到地面，求其投影坐标的x和y方向最小值(p
x0
,p
y0
)，作为纠正影像的起始点。并根据焦距f、像元尺寸m和相对航高计算地面采样间隔gsd作为纠正影像的采样间隔：
[0061]
gsd＝m
×
(p
z-zs)/f
[0062]
据此计算得到目标位置p
x
,py在目标影像上的坐标：
[0063]
x＝(p
x-p
x0
)/gsd
[0064]
y＝(p
y-p
y0
)/gsd
[0065]
步骤3，基于步骤2所得投影到目标影像上的坐标将整像素拆分为子像素，再重新组合目标影像。
[0066]
投影到目标影像上的坐标x,y不会全部都是整数，因此需要将整像素拆分为子像素。本发明实施例提出的过程和公式为：
[0067]
(1)提取每个目标位置在目标影像上4个相邻像元的权重，权重计算公式为：
[0068]
c＝(int)x
[0069]
r＝(int)y
[0070]
dx＝x-c
[0071]
dy＝y-r
[0072]
q00＝(1-dx)
×
(1-dy)
[0073]
q01＝(1-dx)
×
dy
[0074]
q10＝dx
×
(1-dy)
[0075]
q11＝dx
×
dy
[0076]
公式中，(int)表示对浮点数取整操作；c,r是目标像元的行列数(整数)；x,y是目标像元的准确坐标(浮点数)；dx,dy是准确坐标与行列数的差值，也即子像素部分；q00,q01,q10,q11是目标像元4邻域权重，各参数的含义如图5所示；
[0077]
(2)将q00,q01,q10,q11累加入目标像元的对应位置：
[0078]
s[r,c]+＝q00
[0079]
s[r,c+1]+＝q01
[0080]
s[r+1,c]+＝q10
[0081]
s[r+1,c+1]+＝q11
[0082]
其中，s[i,j]表示s中第i行第j元素；
[0083]
并根据相应权重将原始像元p的灰度值i
p
分解累加到4个像元中：
[0084]
t[r,c]+＝q00
×ip
[0085]
t[r,c+1]+＝q01
×ip
[0086]
t[r+1,c]+＝q10
×ip
[0087]
t[r+1,c+1]+＝q11
×ip
[0088]
其中，t[i,j]表示t中第i行第j元素，i
p
表示原始像元灰度值；
[0089]
(3)在投影完所有像元后，根据目标像元获的灰度值和权重做归一化处理，形成目标影像。即对每个目标像元，做如下操作：
[0090]
t[r,c]＝t[r,c]/s[r,c]
[0091]
(4)检测目标影像的每个像元，若发现权重小于阈值，则采用邻近像元的平均值赋予本像元进行填补。更具体地，从当前需要填补的像元出发，向外扩展搜索每个相邻像元，取四邻域或八邻域的灰度平均值即可。
[0092]
实施例中阈值根据经验推荐取0.15，具体实施时可以根据实际情况调整。
[0093]
本发明步骤3中，提出了详细的拆分过程和对应计算公式，此处计算公式和理论推导来自双线性插值的逆运算，同时也是包含了大量实验总结的经验，是本方法的核心和独创所在。
[0094]
步骤4，将待纠正的线阵影像的所有逻辑影像块，重复进行步骤2和步骤3的操作，直到所有逻辑影像块数据都完成纠正，获取最终纠正影像。
[0095]
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
[0096]
在一些可能的实施例中，提供一种航空三线阵相机影像的正解纠正系统，包括以下模块，第一模块，用于先将待纠正的线阵大影像划分形成逻辑影像块，然后按逻辑影像块分配浮点型和短整型的二维内存空间；
[0097]
第二模块，用于使用线阵影像的内外方位元素，通过成像共线方程将当前逻辑影像块的每个像素直接投影到目标空间中，由原始影像像素的像点坐标计算出相应目标影像坐标；
[0098]
第三模块，用于基于第二模块所得投影到目标影像上的坐标将整像素拆分为子像素再重新组合目标影像，包括提取每个目标位置在目标影像上4个像元的权重；根据权重将原始像元的灰度值分解到4个像元，将分配的灰度和权重分别累加入目标像元相应变量中；在投影完所有像元后，根据目标像元获的灰度值和权重做归一化处理，形成目标影像；检测目标影像，若发现权重小于预设阈值，则采用邻近像元的平均值赋予本像元进行弥补；
[0099]
第四模块，用于对待纠正的线阵大影像的其他逻辑影像块，重复进行第二模块和第三模块的操作，直到所有逻辑影像块都完成纠正，获取最终纠正影像。
[0100]
在一些可能的实施例中，提供一种航空三线阵相机影像的正解纠正系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种航空三线阵相机影像的正解纠正方法。
[0101]
在一些可能的实施例中，提供一种航空三线阵相机影像的正解纠正系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种航空三线阵相机影像的正解纠正方法。
[0102]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

技术特征：
1.一种航空三线阵相机影像的正解纠正方法，其特征在于：按照成像方程将原始影像直接投影到目标影像，在目标影像上对原始像素的灰度进行按权拆分，将整像素拆分为子像素再重新组合出目标影像，最终实现线阵影像的正解法纠正。2.根据权利要求1所述航空三线阵相机影像的正解纠正方法，其特征在于：实现过程包括以下步骤，步骤1，先将待纠正的线阵大影像划分形成逻辑影像块，然后按逻辑影像块分配浮点型和短整型的二维内存空间；步骤2，使用线阵影像的内外方位元素，通过成像共线方程将当前逻辑影像块的每个像素直接投影到目标空间中，由原始影像像素的像点坐标计算出相应目标影像坐标；步骤3，基于步骤2所得投影到目标影像上的坐标将整像素拆分为子像素再重新组合目标影像，包括提取每个目标位置在目标影像上4个像元的权重；根据权重将原始像元的灰度值分解到4个像元，将分配的灰度和权重分别累加入目标像元相应变量中；在投影完所有像元后，根据目标像元获的灰度值和权重做归一化处理，形成目标影像；检测目标影像，若发现权重小于预设阈值，则采用邻近像元的平均值赋予本像元进行弥补；步骤4，对待纠正的线阵大影像的其他逻辑影像块，重复进行步骤2和步骤3的操作，直到所有逻辑影像块都完成纠正，获取最终纠正影像。3.如权利要求2所述航空三线阵相机影像的正解纠正方法中，其特征在于：步骤1中分配浮点型和短整型的二维内存空间后，浮点型内存空间在后续处理中用于存储每个像素的累计权重，短整型内存空间用于存储逻辑影像块的灰度信息。4.如权利要求2所述航空三线阵相机影像的正解纠正方法中，其特征在于：步骤2中，使用内外方位元素将影像直接投影的目标空间时，采用直接投影的正解法，避免线阵影像反解法的迭代计算引入的误差和时间消耗。5.如权利要求2所述航空三线阵相机影像的正解纠正方法中，其特征在于：步骤3中，提取每个目标位置在目标影像上4个相邻像元的权重采用以下公式，c＝(int)xr＝(int)ydx＝x-cdy＝y-rq00＝(1-dx)
×
(1-dy)q01＝(1-dx)
×
dyq10＝dx
×
(1-dy)q11＝dx
×
dy公式中，(int)表示对浮点数取整操作；c,r是目标像元的行列数；x,y是目标像元的准确坐标；dx,dy是准确坐标与行列数的差值，表示子像素部分；q00,q01,q10,q11是目标像元4邻域权重。6.如权利要求1或2或3或4或5所述航空三线阵相机影像的正解纠正方法中，其特征在于：预设阈值取0.15。7.一种航空三线阵相机影像的正解纠正系统，其特征在于：用于实现如权利要求1-6任一项所述的一种航空三线阵相机影像的正解纠正方法。
8.根据权利要求7所述航空三线阵相机影像的正解纠正系统，其特征在于：包括以下模块，第一模块，用于先将待纠正的线阵大影像划分形成逻辑影像块，然后按逻辑影像块分配浮点型和短整型的二维内存空间；第二模块，用于使用线阵影像的内外方位元素，通过成像共线方程将当前逻辑影像块的每个像素直接投影到目标空间中，由原始影像像素的像点坐标计算出相应目标影像坐标；第三模块，用于基于第二模块所得投影到目标影像上的坐标将整像素拆分为子像素再重新组合目标影像，包括提取每个目标位置在目标影像上4个像元的权重；根据权重将原始像元的灰度值分解到4个像元，将分配的灰度和权重分别累加入目标像元相应变量中；在投影完所有像元后，根据目标像元获的灰度值和权重做归一化处理，形成目标影像；检测目标影像，若发现权重小于预设阈值，则采用邻近像元的平均值赋予本像元进行弥补；第四模块，用于对待纠正的线阵大影像的其他逻辑影像块，重复进行第二模块和第三模块的操作，直到所有逻辑影像块都完成纠正，获取最终纠正影像。9.根据权利要求7所述航空三线阵相机影像的正解纠正系统，其特征在于：包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如权利要求1-6任一项所述的一种航空三线阵相机影像的正解纠正方法。10.根据权利要求7所述航空三线阵相机影像的正解纠正系统，其特征在于：包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-6任一项所述的一种航空三线阵相机影像的正解纠正方法。

技术总结
本发明提供一种航空三线阵相机影像的正解纠正方法及系统，按照成像方程将原始影像直接投影到目标影像，在目标影像上对原始像素的灰度进行按权拆分，将整像素拆分为子像素再重新组合出目标影像，最终实现线阵影像正解法纠正。本发明提取每个目标位置在目标影像上4个像元的权重；根据权重将原始像元的灰度值分解到像元，将分配的灰度和权重分别累加入目标像元相应变量中；根据目标像元获得的灰度值和权重做归一化，形成目标影像；检测目标影像，若权重小于预设阈值，则采用邻近像元的平均值进行弥补。本方法可有效解决航空线阵影像反解法中相邻行目标不连续引起的精度问题，显著提升线阵影像纠正精度和质量，特别适用于航空三线阵相机的影像纠正。相机的影像纠正。相机的影像纠正。


技术研发人员：段延松 陶鹏杰 柯涛
受保护的技术使用者：武汉大学
技术研发日：2023.03.24
技术公布日：2023/7/21