无人机遥感影像自适应配准方法、装置、设备及存储介质与流程

1.本发明涉及遥感影像配准技术领域，特别涉及一种无人机遥感影像自适应配准方法、装置、设备及存储介质。


背景技术：

2.随着遥感技术的迅速发展，使得人们对地探测的精度需求越来越高，而高光谱技术具有图谱合一等特点，使其迅速成为定量遥感的研究热点之一。高光谱图像不仅可以准确的反映地物自身特有的光谱特征还可以反映地物之间的光谱差异，将地物的空间分布与光谱反射特性有机的结合起来，突破以往的单方面研究现状，因此其在诸多领域都得到了广泛的应用与研究。目前，高光谱图像的观测获取涵盖了卫星，航空，地面多层次，多角度的搭载平台。
3.对于无人机平台而言，受到无人机pos系统精度低、高光谱相机安置角偏差与时间延迟等影响，相对于可见光影像而言，无人机高光谱正射影像存在平移、旋转、扭曲等几何畸变现象，在地表起伏变化剧烈的区域存在局部纹理失真，基于卫星平台飞行高度与技术制约，高光谱数据的质量无论是在空间分辨率还是光谱分辨率上都不能满足人们对于定量化研究的需求。
4.为了实现更高精度的探测，需要对多源遥感影像进行空间配准，将不同数据来源、不同尺度、不同谱段、不同时相获取的同一场景中的多幅遥感影像变换到同一时空坐标系下，使得多源遥感影像在像素层上得到最佳匹配。但是不同传感器观测几何、成像环境、工作机理的差异，将会存在错位、变形等空间问题，配准精度的高低将会影响这些遥感影像后续应用效果的好坏，传统的的配准方法实现的配准精度较低。可见，现有技术还有待改进和提高。


技术实现要素：

5.鉴于上述现有技术的不足之处，本发明的目的在于提供一种无人机遥感影像自适应配准方法、装置、设备及存储介质，用于解决现有技术中无人机遥感影像配准结果精度较低的问题。
6.为了达到上述目的，本发明采取了以下技术方案：一种无人机遥感影像自适应配准方法，包括如下步骤：
7.s1、通过无人机终端生成无人机的可见光影像和高光谱正射影像；
8.s2、由可见光影像经过空间降采样和灰度化处理后得到参考影像，由高光谱正射影像的各波段影像数据在几何成像时空间对齐，通过局部方差法计算各波段影像的信噪比，选取信噪比最高的波段影像作为待配准影像；
9.s3、分别提取参考影像和待配准影像的sift特征，通过特征点匹配，确定参考影像和待配准影像上的同名点，两两配对后形成均匀分布的同名点对；
10.s4、以同名点对作为控制点，使用薄板样条插值对高光谱正射影像进行插值重采
样实现粗配准；
11.s5、采用归一化最小平方距离系数与一阶变形模型，对粗配准的高光谱正射影像进行精配准。
12.于本发明的一实施例中，步骤s1中，所述无人机终端通过摄影测量方法生成可见光影像，所述无人机终端通过共线方程方式生成高光谱正射影像。
13.于本发明的一实施例中，步骤s2还包括，将参考影像转换为灰度影像，根据所述灰度影像的灰度直方图，对待配准影像进行直方图匹配。
14.于本发明的一实施例中，步骤s3中，分别提取对参考影像和待配准影像进行sift特征提取，计算其描述子，以欧式距离为度量指标，通过设定的阈值条件对描述子的计算结果进行特征点匹配，保留特征点匹配前后同时出现的同名点形成所述同名点对。
15.于本发明的一实施例中，所述保留特征点匹配前后同时出现的同名点形成所述同名点对之后，还包括步骤：计算得到同名点对之间的地理距离，对同名点对进行筛选，
[0016][0017]
其中，di为同名点对之间的地理距离，为平均地理距离，σ为标准差。
[0018]
于本发明的一实施例中，步骤s5中，采用归一化最小平方距离系数与一阶变形模型，逐点求解粗配准高光谱影像到参考影像的位移量，根据位移量进行亚像素精度的自适应精配准。
[0019]
于本发明的一实施例中，构建灰度目标函数c，步骤s5中包括，所述目标函数c取归一化最小平方距离系数：
[0020][0021]
其中，mi、li、分别是参考影像和待配准影像变形区内像素点的灰度值及其均值。
[0022]
为了达到上述目的，本发明还采取了以下技术方案：一种无人机遥感影像自适应配准装置，包括：
[0023]
影像生成模块，用于通过无人机终端生成无人机的可见光影像和高光谱正射影像；
[0024]
影像处理模块，用于由可见光影像经过空间降采样和灰度化处理后得到参考影像，由高光谱正射影像的各波段影像数据在几何成像时空间对齐，通过局部方差法计算各波段影像的信噪比，选取信噪比最高的波段影像作为待配准影像；
[0025]
特征匹配模块，用于分别提取参考影像和待配准影像的sift特征，通过特征点匹配，确定参考影像和待配准影像上的同名点，两两配对后形成均匀分布的同名点对；
[0026]
粗配准模块，用于以同名点对作为控制点，使用薄板样条插值对高光谱正射影像进行重采样实现粗配准；
[0027]
精配准模块，用于采用归一化最小平方距离系数与一阶变形模型，对粗配准的高
光谱正射影像进行精配准。
[0028]
为了达到上述目的，本发明还采取了以下技术方案：一种无人机遥感影像自适应配准设备，包括存储器和至少一个处理器，所述存储器中存储有计算机可读指令；所述至少一个处理器调用所述存储器中的所述计算机可读指令，以执行如上述无人机遥感影像自适应配准方法的各个步骤。
[0029]
为了达到上述目的，本发明还采取了以下技术方案：一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述无人机遥感影像自适应配准方法的各个步骤。
[0030]
如上所述，本发明的无人机遥感影像自适应配准方法、装置、设备及存储介质，具有以下有益效果：在无人机终端生成的可见光影像和高光谱正射影像，分别形成参考影像和待配准影像，对参考影像和待配准影像提取sift特征后进行特征点匹配，并以匹配后的同名点对为控制点采用薄板样条插值实现粗配准，最后在归一化最小平方距离系数与一阶变形模型的数字图像分析方法中实现精配准，达到亚像素精度的自适应配准，大幅提升配准精度的数量，使得配准后的高光谱影像具有更广泛的应用场景。
附图说明
[0031]
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0032]
图1为本发明提供的无人机遥感影像自适应配准方法的方法流程图；
[0033]
图2为本发明提供的无人机遥感影像自适应配准方法的程序框图；
[0034]
图3为本发明提供的无人机遥感影像自适应配准方法的匹配区域计算示意图；
[0035]
图4为本发明提供的无人机遥感影像自适应配准方法的粗配准影像和参考影像的一阶变形分析图。
[0036]
专用名词含义解析：
[0037]
pos：全称为position and orientation system，即空间位置与姿态系统。
[0038]
sift：全称为scale invariant feature transform，即尺度不变特征转换。
具体实施方式
[0039]
本发明提供了一种无人机遥感影像自适应配准方法、装置、设备及存储介质，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明作进步详细说明。
[0040]
在本发明的描述中，需要理解的是，术语“上下左右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，不能理解为对本发明的限制；此外，术语“安装”、“连接”等应做广义理解，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0041]
实施例一：
[0042]
请参阅图1至图4，本发明提供了一种无人机遥感影像自适应配准方法、装置、设备
及存储介质，用于解决现有技术中无人机遥感影像配准结果精度较低的问题。
[0043]
为了达到上述目的，本发明采取了以下技术方案：一种无人机遥感影像自适应配准方法，包括如下步骤：
[0044]
s1、通过无人机终端生成无人机的可见光影像和高光谱正射影像；s2、由可见光影像经过空间降采样和灰度化处理后得到参考影像，由高光谱正射影像的各波段影像数据在几何成像时空间对齐，通过局部方差法计算各波段影像的信噪比，选取信噪比最高的波段影像作为待配准影像；s3、分别提取参考影像和待配准影像的sift特征，通过特征点匹配，确定参考影像和待配准影像上的同名点，两两配对后形成均匀分布的同名点对；s4、以同名点对作为控制点，使用薄板样条插值对高光谱正射影像进行重采样完成粗配准；s5、采用归一化最小平方距离系数与一阶变形模型，对粗配准的高光谱正射影像进行精配准。
[0045]
在本实施例中，步骤s2还包括，将参考影像转换为灰度影像，根据所述灰度影像的灰度直方图，对待配准影像进行直方图匹配，能够消除参考影像和待配准影像之间的辐射差异。
[0046]
可选的，步骤s3中，分别提取对参考影像和待配准影像进行sift特征提取，计算其描述子，以欧式距离为度量指标，通过设定的阈值条件对描述子计算结果进行特征点匹配，保留特征点匹配前后同时出现的同名点形成所述同名点对。优选的，最邻近点与次邻近点距离比值不小于0.6为阈值条件进行特征点匹配，采用双向匹配策略仅保留前后匹配同时出现的同名点对。
[0047]
详细的，计算得到同名点对之间的地理距离，对同名点对进行筛选，具体如下：
[0048][0049]
其中，di为同名点对之间的地理距离，为平均地理距离，σ为标准差。具体的，以同名点对作为控制点，采用薄板样条插值对高光谱正射影像进行重采样，实现粗配准。由此对同名点对进行迭代剔除，得到均处于阈值内的同名点对集合，统计其平均地理距离d与距离标准差σd、平均方位角θ与方位角标准差σ
θ
。
[0050]
请参阅图3，参考影像为参考影像，影像n为待配准影像。沿无人机飞行方向将待配准影像均匀划分为固定大小的正方形区域pi，保证其边长r不超过高光谱相机1/6的地面覆盖宽度，区域内的特征点个数不少于k，其中k的取值根据区域大小确定。设定参考影像中对应的正方形区域边长为r+4σd，根据上述统计中的地理距离d、平均方位角θ与距离标准差σd，计算对应区域qi的中心坐标：
[0051][0052][0053]
采用双向匹配策略匹配策略，分别对影像对应子区(pi，qi)内的sift特征进行匹配，根据统计其平均地理距离d与距离标准差σd、平均方位角θ与方位角标准差σ
θ
构建距离阈值与方向阈值，删除不符合的匹配点对，最后获取空间均匀分布的稳健同名点对如下：
[0054]
[0055]
可选的，根据上述n个稳健同名点对(xm，ym；xn，yn)作为控制点，采用对局部形变具有良好矫正能力的薄板样条插值，构建高光谱影像n到可见光参考参考影像的粗配准变换模型：
[0056][0057]
其中
[0058][0059]rij2
＝(xj'-xi')2+(yj'-yi')2[0060]
j＝(1
n*1
,xn,yn)；
[0061]
xn＝(x1',x2',x3',l,x4')'yn＝(y1',y2',y3',l,y4')'；
[0062]
xm＝(x1,x2,x3,l,x4)'ym＝(y1,y2,y3,l,y4)'；
[0063]
w＝(w1,w2,l,wn)'v＝(v1,v2,l,vn)'a＝(a1,a2,a3)'b＝(b1,b2,b3)'；
[0064]
f＝x
m g＝ym。
[0065]
根据上式，薄板样条变换模型的待定参数(w，v，a，b)可由n对匹配点对求得：
[0066][0067]
根据求解的变换模型参数对待配准影像进行薄板样条变换，在重采样过程中出现的非整数像素采用反距离平方加权处理，生成粗配准的高光谱影像，实现无人机高光谱影像与可见光影像的自适应粗配准。
[0068]
请参阅图4，像素点的变形通过以该点为中心，边长为2r+1正方形区域的变形来描述，当变形量不大时可认为区域内像素变形量符合一阶泰勒公式展开。
[0069]
在粗配准影像的基础上，逐点计算其像素点相对于参考影像中对应点的变形量。以参考影像为参考基准，粗配准影像中变形区域内的像素坐标可表示为：
[0070][0071]
粗配准影像中像素点相对于参考影像的变形分析，局部区域内对应像素点的灰度值mi、li可表示为：
[0072]
mi＝m(x0+δxi),li＝l(x0+w(δxi,p))；
[0073]
参考影像与粗配准影像之间的像素形变用w来描述，则变形参数p表示为：
[0074][0075]
构建灰度相关目标函数，在影像全局粗配准的基础上逐像素求解粗配准影像到参考参考影像的坐标变形参数(g，f)，其中灰度相关目标函数取归一化最小平方距离系数：
[0076][0077][0078]
其中，式中mi、li、、分别是参考影像、粗配准影像变形子区内像素点的灰度值及其均值。
[0079]
以参考影像为基准，利用数字图像相关理论在粗配准影像对应区域处设定5
×
5的搜索区域，分别计算区域内像素点与参考影像灰度值的归一化最小平方距离系数，逐点确定参考影像到粗配准影像的变形参数(g，f)的整像素值。以参考影像的子区域为参考，在获取整像素位移量的基础上使用高斯-牛顿优化方法计算粗配准影像子区域的亚像素变形量。假定子窗口中灰度相关目标函数是连续变化的，在初始值p0附近对灰度相关目标函数进行泰勒二阶展开得：
[0080][0081]
取灰度相关目标函数在p0+δp处的导数为零向量，则参考影像与粗配准影像在变形子区内的灰度相关取局部极值，因此形变参数δp的高斯-牛顿迭代形式为：
[0082][0083]
其中灰度相关目标函数在p0处的梯度与海森矩阵的解析形式如下：
[0084]
[0085][0086]
经过变形量δp的迭代解算，获取粗配准影像到参考参考影像逐点亚像素精度的位移参数(g
′
，f
′
)，在自适应粗配准的基础上经过局部形变的位移量解算，计算精配准高光谱影像的像素坐标为：
[0087][0088]
根据计算的粗配准影像与精配准高光谱影像间的像素对应关系，对高光谱粗配准影像逐点进行坐标变换，最终得到与可见光影像全局自适应精配准的无人机高光谱影像，配准精度为亚像素级别。
[0089]
实施例二
[0090]
本实施例提供了一种无人机遥感影像自适应配准装置，包括：影像生成模块，用于通过无人机终端生成无人机的可见光影像和高光谱正射影像；影像处理模块，用于由可见光影像经过空间降采样和灰度化处理后得到参考影像，由高光谱正射影像的各波段影像数据在几何成像时空间对齐，通过局部方差法计算各波段影像的信噪比，选取信噪比最高的波段影像作为待配准影像；特征匹配模块，用于分别提取参考影像和待配准影像的sift特征，通过特征点匹配，确定参考影像和待配准影像上的同名点，两两配对后形成均匀分布的同名点对；粗配准模块，用于以同名点对作为控制点，采用薄板样条插值对高光谱正射影像插值重采样进行粗配准；精配准模块，用于采用归一化最小平方距离系数与一阶变形模型，对粗配准的高光谱正射影像进行精配准。
[0091]
实施例三：
[0092]
本实施例提供了一种无人机遥感影像自适应配准设备，包括存储器和至少一个处理器，所述存储器中存储有计算机可读指令；所述至少一个处理器调用所述存储器中的所述计算机可读指令，以执行如上述无人机遥感影像自适应配准方法的各个步骤。
[0093]
实施例四：
[0094]
本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述无人机遥感影像自适应配准方法的各个步骤。
[0095]
综上所述，本发明的无人机遥感影像自适应配准方法、装置、设备及存储介质，在无人机终端生成的可见光影像和高光谱正射影像，分别形成参考影像和待配准影像，对参考影像和待配准影像提取sift特征后进行特征点匹配，并以匹配后的同名点对为控制点开展薄板样条插值进行粗配准，最后在归一化最小平方距离系数与一阶变形模型的数字图像分析方法中实现精配准，达到亚像素精度的自适应配准，大幅提升配准精度的数量，使得配准后的高光谱影像具有更广泛的应用场景。
[0096]
所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。可以理
解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明的保护范围。

技术特征：
1.一种无人机遥感影像自适应配准方法，其特征在于，包括如下步骤：s1、通过无人机终端生成无人机的可见光影像和高光谱正射影像；s2、由可见光影像经过空间降采样和灰度化处理后得到参考影像，由高光谱正射影像的各波段影像数据在几何成像时空间对齐，通过局部方差法计算各波段影像的信噪比，选取信噪比最高的波段影像作为待配准影像；s3、分别提取参考影像和待配准影像的sift特征，通过特征点匹配，确定参考影像和待配准影像上的同名点，两两配对后形成均匀分布的同名点对；s4、以同名点对作为控制点，使用薄板样条插值对高光谱正射影像进行重采样实现粗配准；s5、采用归一化最小平方距离系数与一阶变形模型，对粗配准的高光谱正射影像进行精配准。2.根据权利要求1所述的无人机遥感影像自适应配准方法，其特征在于，步骤s1中，所述无人机终端通过摄影测量方法生成可见光影像，所述无人机终端通过共线方程方式生成高光谱正射影像。3.根据权利要求1所述的无人机遥感影像自适应配准方法，其特征在于，步骤s2还包括，将参考影像转换为灰度影像，根据所述灰度影像的灰度直方图，对待配准影像进行直方图匹配。4.根据权利要求1所述的无人机遥感影像自适应配准方法，其特征在于，步骤s3中，分别提取对参考影像和待配准影像进行sift特征提取，计算其描述子，以欧式距离为度量指标，通过设定的阈值条件对描述子计算结果进行特征点匹配，保留特征点匹配前后同时出现的同名点形成所述同名点对。5.根据权利要求4所述的无人机遥感影像自适应配准方法，其特征在于，所述保留特征点匹配前后同时出现的同名点形成所述同名点对之后，还包括步骤：计算得到同名点对之间的地理距离，对同名点对进行筛选，其中，d
i
为同名点对之间的地理距离，为平均地理距离，σ为标准差。6.根据权利要求1所述的无人机遥感影像自适应配准方法，其特征在于，步骤s5中，采用归一化最小平方距离系数与一阶变形模型，逐点求解粗配准高光谱影像到参考影像的位移量，根据位移量进行亚像素精度的自适应精配准。7.根据权利要求6所述的无人机遥感影像自适应配准方法，其特征在于，步骤s5之前还包括，构建灰度目标函数c，所述目标函数c取归一化最小平方距离系数：包括，构建灰度目标函数c，所述目标函数c取归一化最小平方距离系数：其中，m
i
、l
i
、分别是参考影像和待配准影像变形区内像素点的灰度值及其均值。8.一种无人机遥感影像自适应配准装置，其特征在于，包括：
影像生成模块，用于通过无人机终端生成无人机的可见光影像和高光谱正射影像；影像处理模型，用于由可见光影像经过空间降采样和灰度化处理后得到参考影像，由高光谱正射影像的各波段影像数据在几何成像时空间对齐，通过局部方差法计算各波段影像的信噪比，选取信噪比最高的波段影像作为待配准影像；特征匹配模块，用于分别提取参考影像和待配准影像的sift特征，通过特征点匹配，确定参考影像和待配准影像上的同名点，两两配对后形成均匀分布的同名点对；粗配准模块，用于以同名点对作为控制点，使用薄板样条插值对高光谱正射影像进行重采样实现粗配准；精配准模块，用于采用归一化最小平方距离系数与一阶变形模型，对粗配准的高光谱正射影像进行精配准。9.一种无人机遥感影像自适应配准设备，其特征在于，包括存储器和至少一个处理器，所述存储器中存储有计算机可读指令；所述至少一个处理器调用所述存储器中的所述计算机可读指令，以执行如权利要求1-7任一项所述无人机遥感影像自适应配准方法的各个步骤。10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1-7中任一项所述无人机遥感影像自适应配准方法的各个步骤。

技术总结
本发明公开了一种无人机遥感影像自适应配准方法，包括如下步骤：通过无人机终端生成无人机的可见光影像和高光谱正射影像；由可见光影像得到参考影像，由高光谱正射影像得到待配准影像；分别提取参考影像和待配准影像的SIFT特征形成均匀分布的同名点对；以同名点对为控制点，采用薄板样条插值对高光谱正射影像进行重采样实现粗配准；最后在归一化最小平方距离系数与一阶变形模型的数字图像分析方法中实现精配准，达到亚像素精度的自适应配准，大幅提升配准精度。大幅提升配准精度。大幅提升配准精度。


技术研发人员：理晨 俞航 徐冲
受保护的技术使用者：季华实验室
技术研发日：2023.04.27
技术公布日：2023/9/7