一种针对飞行器自主定位的高可靠性跨模态图像匹配方法与流程

1.本发明涉及定位领域，具体是一种针对飞行器自主定位的高可靠性跨模态图像匹配方法。


背景技术：

2.机载定位技术用于精确定飞行器所在位置的地理坐标。虽然由惯性导航系统(ins)和全球定位系统(gps)构成的ins/gps组合系统能够满足机载系统动态定位要求，但gps技术严重依赖于国外卫星提供的服务，并且由于存在反卫星和卫星通信干扰技术，依赖卫星信号的定位系统可能容易受到破坏或干扰，应具备自主定位能力。
3.自主定位具有被动测量、自成体系、不易受干扰的特点。惯导系统具备自主导航能力，它不需要任何外界电磁信号就可以独立给出载体的姿态、速度和位置信息，抗干扰能力强。但是，惯性导航系统是利用惯性元件测量载体加速度、经过积分得到载体的姿态和位置信息，陀螺漂移等因素引起误差随时间积累。因此，在实际工作中，惯性导航系统的外部校准设备不可或缺。利用罗兰定位系统可以对惯性导航系统的积累误差进行修正，提高系统的定位精度，但是由于罗兰系统需要架设基站，因此存在维护困难和安全性不足的问题。
4.利用图像匹配定位与罗兰定位系统一样，不依赖于卫星通信，但不需要维护基站等设备，也不会限制飞行器航线，其定位原理如图1所示。基准图可以利用卫星图像制作，并且事先标好地理坐标和高程信息，根据惯导系统得到的位置信息选定基准图范围后，将航拍图与基准图进行匹配，从而引入地面控制点(包括水平位置和高程信息)，利用多个控制点联合解算并优化得到飞行器的位置。利用图像匹配技术修正惯导的组合定位技术可以克服卫导定位和罗兰定位系统的缺点，并且具有小型、易用、自主性强和定位精度高的特点，是一种能同时满足实时、高精度要求和战略安全需要的自主定位技术。
5.由于基准图通常是利用卫星拍摄图像预先制作的，而实时图像是定位时航拍获取的，因此基准图和实时图像之间的拍摄时间差异很可能非常大，常常在一年甚至数年以上。另一方面，为了获得全天时、全天候的自主定位能力，实时图像可能使用可见光、红外、sar等不同类型传感器拍摄，并且实时图像拍摄时使用的传感器类型、参数通常与基准图拍摄时使用的传感器类型、参数差异较大。因此飞行器定位中的图像匹配是典型的跨模态图像匹配问题。
6.尽管图像匹配技术经过了长期广泛的研究，但是跨模态图像匹配仍然存在难以克服的困难，因为与通常的图像匹配不同，跨模态图像匹配面临噪声干扰和非线性灰度畸变问题。
7.噪声干扰：参加图2，由于图像传感器晃动、无线电噪声干扰等，可能导致图像模糊、噪声严重。
8.非线性灰度畸变：参见图3，同源图像之间可能存在由于光照和传感器参数变化引起的灰度畸变，但是这两种因素通常会尽可能地保持灰度以连续、线性地方式变化。而跨模态图像之间存在由于传感器类型不同导致的灰度畸变，这种灰度畸变通常是非线性的，甚
至改变图像灰度映射的单调性和函数性。换言之，传感器类型差异会严重降低图像之间灰度的关联性，即便两张图像是对相同位置拍摄。显然，非线性灰度畸变也会对匹配过程中的相似性测量造成不利影响，并严重降低匹配的正确率。
9.实际应用的需求和现有方法的不足充分说明模态图像匹配是飞行器自主定位系统的关键技术和难题之一。因此，亟需研究快速可靠的跨模态图像匹配技术，对惯导系统的定位信息进行有效修正。这对实现实时、高精度和满足战略安全需要的飞行器自主定位系统具有重要意义。


技术实现要素：

10.本发明的目的是提供一种针对飞行器自主定位的高可靠性跨模态图像匹配方法，可以不依赖卫星实现定位，对机载惯导系统的位置误差进行修正，从而使飞行器具备自主定位与导航能力。本发明提出的高可靠性跨模态图像匹配方法，可以提高跨模态图像匹配的稳定性，有效解决非线性灰度畸变和噪声干扰问题。
11.本发明解决其技术问题所采用的技术方案是：
12.本发明提供一种针对飞行器自主定位的高可靠性跨模态图像匹配方法，包括以下步骤：
13.s1、利用卫星拍摄图像预先制作基准图，惯导系统得到的实时图像作为模板窗口，根据模板窗口选定基准图范围；
14.s2、采用结构张量增强的梯度方向直方图密集描述进行快速图像匹配，计算模板窗口与基准图上的每个候选窗口之间的相似性系数；
15.s3、根据步骤s2获取的相似性系数逐像素地移动候选窗口进行匹配；
16.s4、输出相似性系数最大的候选窗口位置作为匹配结果。
17.优选地，所述步骤s2的具体步骤如下：
18.s21、使用sobel算子与基准图、模板窗口进行卷积，提取基准图、模板窗口x方向、y方向的边缘检测图像gx、gy；
19.s22、利用结构张量对边缘检测图像gx、gy进行局部方向特征增强计算；
20.s23、利用结构张量计算步骤s22获取的边缘检测图像gx、gy每个像素的局部主方向和梯度幅值g，并对梯度按照方向进行统计，得出直方图；
21.s24、利用步骤s23获取的直方图计算基准图和模板窗口的基于结构张量的st-hog特征描述；
22.s25、对基准图的st-hog特征描述和模板窗口的st-hog特征描述，使用fft加速的ncc计算模板窗口特征与基准图每个候选窗口特征之间的相似性系数。
23.优选地，所述步骤s22采用梯度求和法，所述梯度求和法是一种基于多尺度梯度求和的主方向计算方法，对图像每个像素，给定邻域尺度i，利用下式计算该尺度的梯度方差与协方差
[0024][0025]
[0026][0027]
∑*表示对i
×
i邻域进行求和，尺度i决定了邻域范围大小，最终的主方向计算是基于多个尺度平均梯度的加权融合计算得到的g
xx
、g
yy
、g
xy
：
[0028][0029][0030][0031]
式中，权值wi的定义如下：
[0032][0033]
最后像素点的主方向计算方法如下：
[0034][0035]
式中，∠(x，y)定义如下：
[0036][0037]
所述步骤s22也可以采用奇异值分解法，所述奇异值分解法是指利用pca对图像局部梯度处理，计算出局部结构张量的主向量，其方向即是局部主方向。
[0038]
优选地，所述步骤s3采用平移模型下的全搜索匹配算法，
[0039]
设a＝{a(x1，y1)，a(x2，y2)，...，a(xn，yn)}为模板窗口，大小为n
×
n，基准图为：b＝{b(u1，v1)，b(u2，v2)，...，b(um，vm)}，大小为m
×
m，则所提出的模板匹配方法可以定义为如下的最优化问题：
[0040][0041]
式中，tm表示最优变换，uw为基准图b上候选窗口的集合；t(wi)表示将灰度图像转换为st-hog特征向量；s(t(a)，t(wi))为两个特征向量之间的相似性度量函数，使用基于fft加速的归一化互相关作为相似性度量函数。
[0042]
本发明的有益效果是：利用结构张量对边缘检测图像gx、gy进行局部方向特征增强计算，主成分分析(principal component analysis，pca)常被用于计算给定数据集的优势向量，因此，可以利用pca对图像局部梯度处理，计算出局部结构张量的主向量，其方向即是局部主方向。结构张量的主方向比原来的梯度方向更加稳定，不容易受到噪声干扰，在噪声干扰下，结构张量主方向能更加准确地提取图像中结构纹理的方向。本发明采用一种基于多尺度梯度求和的主方向计算方法，对图像每个像素，给定邻域尺度，计算该尺度的梯度方差与协方差，基于多个尺度平均梯度的加权融合计算得到最终的主方向，对噪声干扰有
良好适应性，并且梯度求和法的计算量比较少，可以通过积分图像优化进一步减少计算量。
附图说明
[0043]
图1是基于图像匹配的飞行器定位原理图。
[0044]
图2是跨模态图像经噪声干扰的对比图。
[0045]
图3是跨模态图像间的非线性灰度畸变对比图。
[0046]
图4是结构张量增强的梯度方向直方图密集描述的快速图像匹配算法流程图。
[0047]
图5是全搜索模板匹配示意图。
[0048]
图6是hog的方向划分示意图。
[0049]
图7是sobel直接提取的梯度方向示意图。
[0050]
图8是基于svd计算的结构张量主方向提取示意图。
[0051]
图9是基于平均梯度法的结构张量主方向提取示意图。
具体实施方式
[0052]
下面结合附图和实施例对本发明做进一步详细说明。
[0053]
本发明提供一种针对飞行器自主定位的高可靠性跨模态图像匹配方法，提出了一种结构张量增强的梯度方向直方图(histogram of oriented gradient,hog)密集描述的快速图像匹配算法，参阅图4，具体包括以下步骤：
[0054]
s1、利用卫星拍摄图像预先制作基准图，飞行器惯导系统得到的实时图像作为模板窗口，根据模板窗口选定基准图范围；
[0055]
s2、使用sobel算子提取基准图、模板窗口x与y方向的图像梯度g
x
与gy；
[0056]
s3、利用结构张量计算基准图、模板窗口每个像素的局部主方向；
[0057]
s4、利用结构张量的主方向与梯度幅值计算基准图、模板窗口的基于结构张量的st-hog特征；
[0058]
s5、利用fft加速的ncc计算模板特征与基准图特征中候选窗口之间的相似性系数；
[0059]
s6、输出相似性系数最大的候选窗口位置作为匹配结果。
[0060]
具体地，hog是目标检测和图像匹配中常用的特征描述子。hog通过统计局部梯度强度和方向构成直方图，并对图像的结构特征进行描述。hog特征与图像的整体灰度变化相独立，因此对于跨模态图像存在的非线性辐射畸变，hog能保持良好的不变性。hog特征的提取主要分成以下几个步骤：
[0061]
1)首先使用sobel或laplacian梯度算子与图形进行卷积，得梯度图像。
[0062]
2)然后按照图6，将方向分成8个bin，并对梯度按照方向进行统计，得到8维的直方图。
[0063]
3)对直方图进行归一化处理，降低灰度畸变引起的梯度强度变化。
[0064]
4)一个局部特征区域可以分成若干个block，每个block又可以分成若干个patch，每个patch可以按照步骤(2)统计得到一个8维直方图，然后进行拼接得到最终的hog描述。若一个block有16个patch，那么它对应的hog描述就是128维。
[0065]
可见hog描述是基于局部梯度而形成的，而梯度方向对于噪声干扰十分敏感。由于
hog描述是按照梯度方向进行统计得到，因此它的抗噪声能力并不强。实验结果也表明直接基于hog的图像匹配算法对噪声的适应性不好，因此对遥感跨模态图像的匹配正确率不高。
[0066]
为了使hog特征描述更好地适应噪声。本发明提出了利用局部结构张量对图像的梯度方向进行增强，然后再按增强后的梯度方向统计得到的hog描述，即本发明提出的st-hog描述，其计算主要分成3个步骤：首先，使用sobel算子计算图像梯度g
x
与gy，然后对梯度g
x
、gy进行多尺度增强计算，最后按照梯度方向统计计算hog描述。相较于传统的hog算子描述，本发明在使用sobel算子计算图像梯度g
x
与gy后对梯度g
x
、gy进行基于结构张量的局部方向特征增强计算，再对梯度按照方向进行统计，得到直方图，接着对直方图进行归一化处理，降低灰度畸变引起的梯度强度变化。结构张量的主方向比原来的梯度方向更加稳定，不容易受到噪声干扰。基于结构张量的局部方向特征增强计算可以采用基于奇异值分解(singular value decomposition，svd)和基于梯度求和的两种方法。
[0067]
①
基于svd的结构张量计算
[0068]
主成分分析(principal component analysis，pca)常被用于计算给定数据集的优势向量，因此，可以利用pca对图像进行局部梯度处理，计算出局部结构张量的主向量，其方向即是局部主方向。
[0069]
对于给定图像i中的一个像素点(x，y)，在n
×
n的邻域内，其垂直与水平方向的梯度可以构成一个大小为n2×
2的局部梯度矩阵g：
[0070][0071]
对矩阵g进行svd分解：
[0072]
g＝usv
t
[0073]
式中，v＝[v
1 v2]是一个2
×
2的正交矩阵；v1是一个二维向量，其方向即是局部梯度的主方向，范围在[0，180
°
]。
[0074]
图7给出了直接利用sobel算子计算的梯度方向，图8给出了使用svd计算的结构张量主方向，可见在噪声干扰下，结构张量主方向能更加准确地提取图像中结构纹理的方向，对飞行器机载惯导系统的位置误差进行修正，使飞行器定位更精准。
[0075]
②
多尺度梯度求和法pca
[0076]
本发明还提出一种基于多尺度梯度求和的主方向计算方法。对图像每个像素，给定邻域尺度i，利用下式计算该尺度的梯度方差与协方差
[0077][0078][0079][0080]
∑*表示对i
×
i邻域进行求和，尺度i决定了邻域范围大小。最终的主方向计算是基于
[0081]
多个尺度平均梯度的加权融合计算得到的g
xx
、g
yy
、g
xy
：
[0082]
[0083][0084][0085]
式中，权值wi的定义如下：
[0086][0087]
最后像素点的主方向计算方法如下:
[0088][0089]
式中，∠(x，y)定义如下：
[0090][0091]
图9给了使用多尺度梯度求和计算的结构张量主方向，可见多尺度梯度求和计算的结构张量主方向与svd计算的主方向(图8)基本一致，都对噪声干扰有良好适应性，梯度求和法的计算量要比svd少，并且可以通过积分图像优化进一步减少计算量。
[0092]
进一步地，本发明根据步骤s5获取的相似性系数逐像素地移动候选窗口进行匹配，提出的匹配算法是一种平移模型下的全搜索匹配算法，参阅图5，计算模板窗口与基准图上的候选窗口之间的相关性，并逐像素地移动候选窗口以寻找最佳匹配目标窗口。这种全搜索方法是假设图像已经进行了几何校正，模板窗口和基准图之间的只存在平移变换，这样的全搜索匹配算法常常在视觉导航和制导领域使用。
[0093]
设a＝{a(x1，y1)，a(x2，y2)，...，a(xn，yn)}为模板窗口，大小为n
×
n，基准图为：b＝{b(u1，v1)，b(u2，v2)，...，b(um，vm)}，大小为m
×
m，则所提出的模板匹配方法可以定义为如下的最优化问题：
[0094][0095]
式中，tm表示最优变换，uw为基准图b上候选窗口的集合；t(wi)表示将灰度图像转换为st-hog特征向量；s(t(a)，t(wi))为两个特征向量之间的相似性度量函数，使用基于fft加速的归一化互相关(normalized cross correlation，ncc)作为相似性度量函数，匹配相似性系数最大的候选窗口位置作为飞行器定位结果。
[0096]
需要说明的是，上述实施例中未详细说明的技术特征皆为现有技术，本领域技术人员可从现有技术中做出合理选择应用到本技术的技术方案中。
[0097]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种针对飞行器自主定位的高可靠性跨模态图像匹配方法，其特征在于，包括以下步骤：s1、利用卫星拍摄图像预先制作基准图，惯导系统得到的实时图像作为模板窗口，根据模板窗口选定基准图范围；s2、采用结构张量增强的梯度方向直方图密集描述进行快速图像匹配，计算模板窗口与基准图上的每个候选窗口之间的相似性系数；s3、根据步骤s2获取的相似性系数逐像素地移动候选窗口进行匹配；s4、输出相似性系数最大的候选窗口位置作为匹配结果。2.根据权利要求1所述的针对飞行器自主定位的高可靠性跨模态图像匹配方法，其特征在于，步骤s2的具体步骤如下：s21、使用sobel算子与基准图、模板窗口进行卷积，提取基准图、模板窗口x方向、y方向的边缘检测图像gx、gy；s22、利用结构张量对边缘检测图像gx、gy进行局部方向特征增强计算；s23、利用结构张量计算步骤s22获取的边缘检测图像gx、gy每个像素的局部主方向和梯度幅值g，并对梯度按照方向进行统计，得出直方图；s24、利用步骤s23获取的直方图计算基准图和模板窗口的基于结构张量的st-hog特征描述；s25、对基准图的st-hog特征描述和模板窗口的st-hog特征描述，使用fft加速的ncc计算模板窗口特征与基准图每个候选窗口特征之间的相似性系数。3.根据权利要求2所述的针对飞行器自主定位的高可靠性跨模态图像匹配方法，其特征在于，所述步骤s22采用梯度求和法，所述梯度求和法是一种基于多尺度梯度求和的主方向计算方法，对图像每个像素，给定邻域尺度i，利用下式计算该尺度的梯度方差与协方差与协方差与协方差与协方差∑
*
表示对i
×
i邻域进行求和，尺度i决定了邻域范围大小，最终的主方向计算是基于多个尺度平均梯度的加权融合计算得到的g
xx
、g
yy
、g
xy
：：：式中，权值w
i
的定义如下：
最后像素点的主方向计算方法如下：式中，∠(x，y)定义如下：4.根据权利要求2所述的针对飞行器自主定位的高可靠性跨模态图像匹配方法，其特征在于，所述步骤s22采用奇异值分解法，所述奇异值分解法是指利用pca对图像局部梯度处理，计算出局部结构张量的主向量，其方向即是局部主方向。5.根据权利要求2所述的针对飞行器自主定位的高可靠性跨模态图像匹配方法，其特征在于，所述步骤s3采用平移模型下的全搜索匹配算法，设a＝{a(x1，y1)，a(x2，y2)，...，a(x
n
，y
n
)}为模板窗口，大小为n
×
n，基准图为：b＝{b(u1，v1)，b(u2，v2)，...，b(u
m
，v
m
)}，大小为m
×
m，则所提出的模板匹配方法可以定义为如下的最优化问题：式中，t
m
表示最优变换，u
w
为基准图b上候选窗口的集合；t(w
i
)表示将灰度图像转换为st-hog特征向量；s(t(a)，t(w
i
))为两个特征向量之间的相似性度量函数，使用基于fft加速的归一化互相关作为相似性度量函数。

技术总结
一种针对飞行器自主定位的高可靠性跨模态图像匹配方法，首先，使用Sobel算子计算图像梯度G


技术研发人员：尤蓉蓉 苏卡尼
受保护的技术使用者：广东国天时空科技有限公司
技术研发日：2023.04.13
技术公布日：2023/8/14