一种自动测量CCD相机拼接焦面搭接区相对像移量方法与流程

一种自动测量ccd相机拼接焦面搭接区相对像移量方法
技术领域
1.本发明属于航空航天技术领域，具体涉及一种自动测量ccd相机拼接焦面搭接区相对像移量方法。


背景技术：

2.搭载ccd相机的卫星为了解决单片探测器在高分辨率成像时的长度尺寸限制问题，通常采取多探测器拼接的方式以获取大视场影像。焦平面中每个子探测器互有重叠搭接且共线布置，并独立对地成像。由于焦平面中的位置不同，受载荷平台飞行姿态、地面起伏等多种因素影响，这种非共线多探测器成像模式导致地面点在不同探测器中具有不同的偏移量，即使在完全补偿的情况因载荷飞行造成的像移的条件下，这种相对像移也会对后期视场拼接成大幅宽像片时，搭接区内在航向及旁向出现拉缝、像点重叠、错位等缺陷，降低分辨率。在已知每个搭接区精确相对像移量的前提下，利用拼接技术可将不同视场拍摄影像镶嵌为一景大幅宽影像。而搭接区相对像移量会随着后期的卫星在轨调试、卫星参数变化、卫星固件衰老等因素改变，因此需要进行高精度的长时序监测。
3.随着航天卫星的快速发展，面对日益增长的遥感应用需求，航天技术已进入多星组网、多网融合的大卫星群组星座大规模应用阶段。常规的搭接区相对像移量测量方法难以满足卫星星座的大规模、高精度的时序监测要求。如何实现高精度、自动化测量光学遥感卫星ccd相机拼接焦面搭接区相对像移量，对适应组网星座的大量搭接区相对像移量时序监测需求具有重要意义。
4.常规的手动测量搭接区相对像移量需要在影像上通过目视逐一测量，较为耗时耗力，精度较低，受主观影响较大。此外，还有许多通过匹配算法来确定搭接区像移量方案，大多是通过对两片ccd搭接像元之间的同名点匹配得到的，需要对每一片ccd进行全部像素读取并进行匹配。这类方法耗时长，算法复杂，并且对于搭接区内存在不适合匹配的地物时，计算结果误差相对较大，难以满足大批量卫星的搭接区像移量高精度时序监测任务需求。


技术实现要素：

5.针对搭载ccd相机的卫星群组网星座时的大批量搭接区相对像移量时序监测需求，本发明基于先提取适合测量区域，再通过配准的思想，提供了一种自动测量ccd相机拼接焦面搭接区相对像移量方法，实现了在未知拍摄场景影像中，自动筛选最适合测量搭接区的区域并测量搭接区相对像移量，进而得到卫星高精度亚像元级搭接区相对像移量时序监测结果。
6.为实现上述目的，本发明采取如下的技术方案：
7.一种自动测量ccd相机拼接焦面搭接区相对像移量方法包括以下步骤：
8.步骤1：根据已知遥感影像中相邻搭接区边界所在列位置，分别向左、向右延伸预设宽度，分别得到左搭接区影像和右搭接区影像，再根据设定裁剪步长分别对左搭接区影像和右搭接区影像进行无重叠裁剪，获得待筛选的搭接子区对；
9.步骤2：基于fast算子对每一个所述搭接子区对计算局部特征点数，并利用局部特征点阈值筛选方法，筛选出局部特征点数大于特征点阈值的搭接子区对；
10.步骤3：基于canny算子对步骤2筛选出的搭接子区对进行边缘检测，得到对应的边缘像素数，并利用边缘算子阈值筛选方法，筛选出边缘像素数大于边缘阈值的搭接子区对；
11.步骤4：以局部特征点数与边缘像素数的乘积作为筛选指标对步骤3筛选出的搭接子区对进行排序，选择筛选指标最大值所对应的搭接子区对作为最优搭接子区对；
12.步骤5：对所述最优搭接子区对进行相位相关配准，配准后得到两幅影像之间的相对像移量。
13.本发明的技术效果：本发明所提出的自动测量光学遥感卫星ccd相机拼接焦面搭接区相对像移量方法，能够实现自动快速及高精度的测量搭接区相对像移量，使测量结果可靠性大幅提升，满足大批量卫星的搭接区相对像移量高精度时序监测任务需求。相比于经典搭接区相对像移量测量方法，本方法通过自动判别影像是否适合测量，并对于适合测量的影像上选择合适的测量区域，进而获得高精度测量结果，从而实现遥感星座运行中大量卫星搭接区相对像移量的测量。该测量方法精度高，测量结果稳定，易于实现，能够有效应用于工程实际中。
附图说明
14.图1为本发明实施例所述的一种自动测量ccd相机拼接焦面搭接区相对像移量方法的流程图；
15.图2为以由左、中、右三片探测器拼接而成的影像为例，利用本发明的方法对于单景影像搭接区相对像移量自动测量的流程图；
16.图3为利用本发明的方法获得的单星搭接区相对像移量时序监测结果。
具体实施方式
17.下面将结合附图及较佳实施例对本发明的技术方案进行详细描述。
18.如图1所示为本发明所提出的一种自动测量光学遥感卫星ccd相机拼接焦面搭接区相对像移量方法的流程图，该方法具体包括以下步骤：
19.步骤1：裁剪遥感影像搭接区边界两侧搭接区得到待筛选子区对。
20.首先根据已知遥感影像中相邻搭接区边界所在列位置，分别沿水平方向向左、向右延伸预设宽度以裁剪获取边界左右搭接区影像，得到左搭接区影像和右搭接区影像。再根据设定裁剪步长沿竖直方向分别对左搭接区影像和右搭接区影像进行无重叠裁剪，获得待筛选的搭接子区对，每一个搭接子区对包括左搭接区影像裁剪得到的子区和对应右搭接区影像裁剪得到的子区。
21.步骤2：基于fast算子进行角点提取。
22.本步骤基于fast算子对步骤1裁剪获得的每一个搭接子区对计算局部特征点数，并利用局部特征点阈值筛选方法，筛选出局部特征点数大于阈值的搭接子区对。
23.在基于fast算子对搭接子区对计算局部特征点数时，首先基于fast算子提取角点作为局部特征点。对于中心像素p，以p为圆心画一个半径为3像素的圆形，圆周上有16个像素点，通过考虑像素点p附近的圆形窗口上的16个像素点中，如果有n(n《16)个连续的像素
点都比中心像素p的强度大或者小，这样的中心可初步定为角点。分别计算每个点的状态s
p
→
x
，由此以来，对于影像中每个位置p，我们都可以得到一个状态集，而每个状态就是指一个像素同其附近(圆形上)该位置像素的状态。强度较强时，需要加上阈值t。
[0024][0025]
其中，i
p
为像素点p的灰度值，i
p
→
x
为以p为中心的周围16点集合的灰度均值，t为阈值，d、s、b为常数。
[0026]
统计提取的局部特征点的数量后，得到搭接子区对的局部特征点数f。
[0027]
对每一个裁剪得到的搭接子区对计算局部特征点数后，通过局部特征点阈值筛选方法，对于局部特征点数大于特征点阈值的搭接子区对进行下一步计算，否则认为该搭接子区对不适合测量偏移量，偏移量记为无效值，最终筛选出局部特征点数大于特征点阈值的搭接子区对。
[0028]
步骤3：基于canny算子进行边缘检测。
[0029]
本步骤基于canny算子对每一个局部特征点数满足大于特征点阈值要求的搭接子区对进行边缘检测，得到对应的边缘像素数。再根据得到的各个搭接子区对对应的边缘像素数，利用边缘算子阈值筛选方法，筛选出边缘像素数大于边缘阈值的搭接子区对。
[0030]
具体地，对筛选出的每一个搭接子区对进行边缘检测时，包括以下步骤：
[0031]
步骤3-1：对搭接子区对进行高斯滤波，得到滤波后影像。
[0032]
由于影像边缘非常容易收到噪声干扰，通常需要对影像进行滤波以去除噪声。对影像进行高斯滤波来平滑一些纹理较弱的非边缘区域，以得到更准确的边缘。定义高斯卷积核把高斯函数进行离散近似，通过选取合适卷积核大小及强度对像素点周围的像素计算加权平均值，获取最终滤波后影像。
[0033]
步骤3-2：根据canny算子计算滤波后影像中每一个像素点的水平方向梯度和垂直方向梯度，最终计算得到每一像素点的梯度的幅值和方向。
[0034]
梯度方向与边缘方向垂直，canny算子返回像素点(x，y)的水平方向梯度g
x
和垂直方向梯度gy，梯度的幅值g和方向θ(用角度值表示)分别为：
[0035][0036]
θ＝arctan2(gy,g
x
)
[0037]
梯度方向与边缘方向垂直，通常取水平(左、右)、垂直(上、下)、对角线(左上、左下、右上、右下)等8个不同方向。计算每一个像素点的梯度时，都得到梯度的幅值和方向两个特征。
[0038]
步骤3-3：遍历滤波后影像中的像素点，根据每一个像素点的梯度幅值和方向进行非极大值抑制，得到初始边缘。
[0039]
在获得每一个像素点的梯度的幅值和方向后，遍历滤波后影像中的像素点，进行
非极大值抑制即去除所有非边缘点。在具体实现时，逐一遍历像素点，判断当前像素点是否是周围像素点中具有相同梯度方向的最大值，并根据判断结果决定是否抑制该点。对于每一个像素点：如果该点是正/负梯度方向上的局部最大值，则保留该点；如果不是，则抑制该点，对全部像素点进行非极大值抑制后得到初始边缘。
[0040]
步骤3-4：采用双阈值法对初始边缘所包括的全部像素进行判断标记，确定边缘像素，进而得到边缘像素数。
[0041]
通过上述步骤获得的边缘中存在一定虚边缘，因此最后应用双阈值法确定真实的边缘。双阈值法是指通过设置高阈值、低阈值两个阈值，根据当前边缘像素的梯度值与这两个阈值之间的关系，判断边缘类别。具体为：如果当前边缘像素的梯度值大于或等于高阈值，则将当前边缘像素标记为强边缘；如果当前边缘像素的梯度值介于高阈值和低阈值之间，则当前边缘像素标记为虚边缘，需要保留；如果当前边缘像素的梯度值小于或等于低阈值，则抑制当前边缘像素。经过双阈值筛选，最终确定边缘像素，进而得到边缘像素数c。
[0042]
通过边缘算子阈值筛选后，对于边缘像素数大于边缘阈值的搭接子区对，进行下一步计算，否则认为该搭接子区对不适合测量偏移量，偏移量记为无效值。
[0043]
步骤4：排序筛选最优搭接子区对。
[0044]
经上述步骤后，获得搭接子区对的边缘像素数c和局部特征点数f。接下来，针对每一个局部特征点数f和边缘像素数c均满足大于对应阈值的搭接子区对，以局部特征点数与边缘像素数的乘积作为筛选指标，按照筛选指标由大至小的顺序对各个搭接子区对进行排序，经过排序后，选择指标最大的子区对作为最优搭接子区对。
[0045]
设定边缘阈值tc和特征点阈值tf。对于每个搭接子区，当边缘像素数c低于tc或特征点像素数f小于tf时，视该搭接子区不宜用于测量相对像移量。当某一影像中所有搭接子区中没有适合测量的子区时，该景影像不进行搭接区偏移量的测量。当适合测量的搭接子区数量不为0时，即存在满足条件c》tc和f》tf的搭接子区对时，根据本步骤设定t
cf
＝c*f作为判定搭接子区适合测量程度的依据，通过排序获取t
cf
最大的搭接子区对作为最优搭接子区对进行偏移量的测量，从而减小全局误差。
[0046]
步骤5：测量相对像移量。
[0047]
对步骤4得到的最优搭接子区对进行相位相关配准，配准后得到两幅影像之间的相对像移量，进而得到测量相对像移量。
[0048]
上述通过相位相关配准方法计算最优搭接子区对中左、右最优搭接子区之间的相对像移量，具体步骤包括：
[0049]
步骤5-1：首先对筛选得到的最优搭接子区对中的左、右最优搭接子区应用汉宁窗函数去除影像边界效应，得到影像src1和影像src2；
[0050]
步骤5-2：分别对两个影像src1和src2求取傅里叶变换，计算公式如下：
[0051]
ga＝dft(src1}
[0052]
gb＝dft(src2}
[0053]
其中，dft为二维傅里叶变换处理，ga为影像src1的频域变换结果，gb为影像src2的频域变换结果；
[0054]
步骤5-3：根据ga和gb计算功率谱r，计算公式如下：
[0055][0056]
步骤5-4：对功率谱r求傅里叶逆变换，计算公式如下：
[0057]
r＝dft-1
(r)
[0058]
其中，r为相位匹配脉冲函数，dft-1
为二维傅里叶逆变换处理；
[0059]
步骤5-5：对r计算最大值的位置即峰值位置，并在以该峰值位置为中心的一定范围的窗体计算亚像素级的精度位置，最终确定偏移量a和b，计算公式如下：
[0060][0061][0062]
其中，a为最优搭接子区对在x方向相对位移量，b为最优搭接子区对在y方向相对位移量，f(i,j)为，i为频域下x方向坐标，j为频域下y方向坐标，s*s代表计算窗口内像素点集合。分别以计算得到的x方向和y方向的相对位移量作为影像的相对像移量。
[0063]
下面以由左、中、右三片探测器拼接而成的影像为例，结合图2对本发明进行详细说明。本发明提供了一种自动测量光学遥感卫星ccd相机拼接焦面搭接区相对像移量的方法，该方法根据卫星接收影像，实时解算相机拼接焦面搭接区的相对像移量。
[0064]
对于单景影像搭接区相对像移量测量流程图如图2所示，包括以下步骤：
[0065]
(1)遥感影像裁剪搭接区影像
[0066]
对于单景三片探测器拼接遥感影像，根据搭接区边界位置沿水平方向分别向左、向右一定距离150像素得到左搭接区、中搭接区、右搭接区。进而，沿竖直方向以1500像素为步长裁剪出n个左-中搭接子区对、n个中-右搭接子区对，用于最优相对像移量测量子区筛选。
[0067]
(2)计算局部特征点数
[0068]
对每一个裁剪得到的搭接子区对计算fast局部特征点数。通过局部特征点阈值筛选，对于局部特征点数大于特征点阈值的搭接子区对，进行下一步计算，否则认为搭接子区对不适合测量偏移量，偏移量记为无效值。
[0069]
(3)计算边缘像素数
[0070]
对每一个局部特征点数满足特征点阈值要求的搭接子区计算canny边缘像素数。通过边缘算子阈值筛选，对于边缘像素数大于边缘阈值的搭接子区对，进行下一步计算，否则认为搭接子区对不适合测量偏移量，偏移量记为无效值。
[0071]
(4)排序筛选最优搭接子区
[0072]
对每一个局部特征点数和边缘像素数均满足阈值要求的搭接子区对，以局部特征点数与边缘像素数的乘积作为筛选指标，经排序后选择指标最大的搭接子区对作为最优搭接子区。
[0073]
(5)测量相对像移量
[0074]
对于得到的最优测量子区对进行相位相关配准，得到两幅影像之间的相对位移
量，进而得到测量的相对像移量。
[0075]
通过对单景搭接区相对像移量的自动化测量，可实现单星搭接区相对像移量时序监测。图3为搭载3片ccd相机拼接焦面的jlgf03d14光学遥感影像采用本发明所提出的方法得到的搭接区相对像移量时序监测结果，包括左-中搭接区的x方向(图3(a)所示)和y方向(图3(b)所示)相对像移量和中-右搭接区的x方向(图3(c)所示)和y方向(图3(d)所示)相对像移量。根据监测曲线可知，在不进行外部搭接区相对像移量调整的情况下，对于卫星在不同姿态、工况下所拍摄的不同地物场景的影像的测量结果可达亚像素级，并稳定在一个像素以内。
[0076]
本发明所提出的自动测量光学遥感卫星ccd相机拼接焦面搭接区相对像移量方法，能够实现自动快速及高精度的测量搭接区相对像移量，使测量结果可靠性大幅提升，满足大批量卫星的搭接区相对像移量高精度时序监测任务需求。相比于经典搭接区相对像移量测量方法，本方法通过自动判别影像是否适合测量，并对于适合测量的影像上选择合适的测量区域，进而获得高精度测量结果，从而实现遥感星座运行中大量卫星搭接区相对像移量的测量。该测量方法精度高，测量结果稳定，易于实现，能够有效应用于工程实际中。
[0077]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0078]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

技术特征：
1.一种自动测量ccd相机拼接焦面搭接区相对像移量方法，其特征在于，包括以下步骤：步骤1：根据已知遥感影像中相邻搭接区边界所在列位置，分别向左、向右延伸预设宽度，分别得到左搭接区影像和右搭接区影像，再根据设定裁剪步长分别对左搭接区影像和右搭接区影像进行无重叠裁剪，获得待筛选的搭接子区对；步骤2：基于fast算子对每一个所述搭接子区对计算局部特征点数，并利用局部特征点阈值筛选方法，筛选出局部特征点数大于特征点阈值的搭接子区对；步骤3：基于canny算子对步骤2筛选出的搭接子区对进行边缘检测，得到对应的边缘像素数，并利用边缘算子阈值筛选方法，筛选出边缘像素数大于边缘阈值的搭接子区对；步骤4：以局部特征点数与边缘像素数的乘积作为筛选指标对步骤3筛选出的搭接子区对进行排序，选择筛选指标最大值所对应的搭接子区对作为最优搭接子区对；步骤5：对所述最优搭接子区对进行相位相关配准，配准后得到两幅影像之间的相对像移量。2.根据权利要求1所述的一种自动测量ccd相机拼接焦面搭接区相对像移量方法，其特征在于，在步骤3中，对筛选出的每一个搭接子区对进行边缘检测时，包括以下步骤：步骤3-1：对搭接子区对进行高斯滤波，得到滤波后影像；步骤3-2：根据canny算子计算滤波后影像中每一个像素点的水平方向梯度和垂直方向梯度，最终计算得到每一像素点的梯度的幅值和方向；步骤3-3：遍历滤波后影像中的像素点，根据每一个像素点的梯度幅值和方向进行非极大值抑制，得到初始边缘；步骤3-4：采用双阈值法对所述初始边缘所包括的全部像素进行判断标记，确定边缘像素，进而得到边缘像素数。3.根据权利要求1所述的一种自动测量ccd相机拼接焦面搭接区相对像移量方法，其特征在于，步骤5包括以下步骤：步骤5-1：对所述最优搭接子区对应用汉宁窗函数去除影像边界效应，得到影像src1和影像src2；步骤5-2：分别对影像src1和src2求取傅里叶变换，计算公式如下：g
a
＝dft(src1}g
a
＝dft(src2}步骤5-3：根据傅里叶变换结果计算功率谱r，计算公式如下：步骤5-4：对功率谱r求傅里叶逆变换得到相位匹配脉冲函数r，计算公式如下：r＝dft-1
(r)步骤5-5：计算相位匹配脉冲函数r的峰值位置，在以该峰值位置为中心的窗体计算亚像素级的精度位置，最终确定偏移量a和b，计算公式如下：
其中，a为最优搭接子区对在x方向相对位移量，b为最优搭接子区对在y方向相对位移量，f(i,j)为，i为频域下x方向坐标，j为频域下y方向坐标，s*s代表计算窗口内像素点集合。4.根据权利要求1所述的一种自动测量ccd相机拼接焦面搭接区相对像移量方法，其特征在于，所述预设宽度为150像素，所述裁剪步长为1500像素。

技术总结
本发明涉及一种自动测量CCD相机拼接焦面搭接区相对像移量方法，包括步骤：裁剪影像搭接区边界所在列位置两侧搭接区，得到待筛选子区对；基于Fast算子提取局部特征点，筛选出局部特征点数大于特征点阈值的搭接子区对；基于Canny算子进行边缘检测，并筛选出边缘像素数大于边缘阈值的搭接子区对；以局部特征点数与边缘像素数的乘积作为筛选指标，选择筛选指标最大值所对应的搭接子区对作为最优搭接子区对；对最优搭接子区对进行相位相关配准，得到两幅影像之间的相对像移量。本发明能够实现自动快速及高精度的测量搭接区相对像移量，使测量结果可靠性大幅提升，满足大批量卫星的搭接区相对像移量高精度时序监测任务需求。区相对像移量高精度时序监测任务需求。区相对像移量高精度时序监测任务需求。


技术研发人员：周凯 于树海 刘云贺 钟兴 陈茂胜 王栋
受保护的技术使用者：长光卫星技术股份有限公司
技术研发日：2023.07.10
技术公布日：2023/10/15