基于机载任务机的航拍图像定位方法

1.本发明涉及图像匹配技术领域，具体为基于机载任务机的航拍图像定位方法。


背景技术：

2.随着技术的不断发展，匹配的应用场景日益广泛，诸多影像场景存在明显的尺度信息，在许多精度要求较高的视觉应用中，研究学者为特征点加入了尺度信息，基于拉普拉斯尺度选择和仿射不变量的hessian矩阵计算点特征，使其在影像变换中具有更高的准确性和鲁棒性。
3.2004年lowe对差分高斯算子的进行了总结并提出了尺度不变特征sift方法，利用高斯滤波对影像上的点进行卷积计算hessian矩阵，然后通过每一像素点的hessian矩阵构建高斯金字塔获取影像特征，最后将影像函数与高斯函数的核卷积进行迭代运算，快速构建影像的尺度空间，通过与尺度空间对应大小的滤波器处理每一个像素来确定特征点。
4.当影像存在尺度缩放、角度旋转、光照变化、仿射变换、遮挡等情况时，利用sift进行特征点匹配可获取较高精度的匹配结果，已经成为影像匹配的主要特征提取方法。
5.从依靠穷举进行暴力匹配的传统方法发展到结合相关约束条件进行匹配的改良方法，点特征的匹配方法日渐成熟。在多数匹配场景中，能够获取较高精度的匹配结果，同时对于光照变化、尺度缩放、角度旋转等情况具备良好的稳健性，基于点特征的匹配方法成为了研究影像匹配常用方法之一。
6.现有技术如下：
7.专利号：cn202010859644.1，专利名称一种quick-sift算子下无人机航拍图像拼接方法，包括：步骤1：图像采集；步骤2：图像配准；步骤3：图像融合。所述图像采集包括：利用搭载光学载荷的无人机经过一定路线，拍摄带有重叠部分航拍图像，通过图传设备获取图像；所述图像配准包括：采用基于图像特征的图像配准方法，即首先用quick-sift算子提取两幅图像的特征点，利用ransac特征点进行匹配筛选，得到m个最优的匹配对，m为正整数；结合其它策略有效改善了无人机航拍图像拼接中特征检测耗时长的问题、显著提高了图像拼接效率。
8.其采用的是quick-sift算子对采集到的图像进行拼接处理，其中图像采集包括：利用搭载光学载荷的无人机经过一定路线，拍摄带有重叠部分航拍图像，通过图传设备获取图像；图像配准包括：采用基于图像特征的图像配准方法，即首先用quick-sift算子提取两幅图像的特征点，利用ransac特征点进行匹配筛选，得到m个最优的匹配对，m为正整数；结合其它策略有效改善了无人机航拍图像拼接中特征检测耗时长的问题，显著提高了图像拼接效率。
9.而本发明的图像配准中首先使用基于区域的对比度方法结合sift特征点对图像特征点进行提取，限制了特征点的分布，然后利用比率测试+ransac算法结合的方法对匹配对进行筛选，消除误匹配点且保证其余匹配点的正确，在以往的单一ransac技术上进行了改进，避免了删除所有特征点匹配对的情况发生；并于后期使用基于动态规划的最佳缝合
线算法进行图像融合保证了航拍图像拼接的质量，有效改善了因过多特征点而导致的耗时过长的问题。
10.专利号：cn201510919643.0，专利名称一种基于无人机遥感的线性目标检测方法及系统，所述线性目标检测方法包括以下步骤：步骤a：获取无人机序列影像，并在序列影像的重叠区域进行特征点提取；步骤b：对提取的特征点进行匹配，生成立体相对，并根据立体相对计算高程信息；步骤c：根据高程信息与影像的颜色信息识别待测目标的边缘信息，并根据边缘信息提取待测目标。本发明根据目标特征制定数据采集方案获取高重叠度的序列影像，采用稳健的sift算法进行特征点匹配，并将获取的高程数据与影像特征相结合进行目标边缘的识别，从而实现现行目标的提取。本发明可大大节省成本，并有利于提高影像中线性目标检测的时效性和准确性。
11.其根据目标特征制定数据采集方案获取高重叠度的序列影像，采用稳健的sift算法进行特征点匹配，并将获取的高程数据与影像特征相结合进行目标边缘的识别，从而实现现行目标的提取。以上设计并不适应于本发明各种颜色鲜艳、环境复杂的航拍图像。
12.本发明的使用场景是对航拍图像的位置定位，首先考虑耗时方面，必须保证在尽可能短的时间内达到定位的目的，因此一开始采取了基于区域的对比度方法对提取的sift特征点的数量进行了限制，数量相较于sift算法下降了约40％，大大缩减了匹配用时，使用的参考图并非序列图像，而是利用图像拼接技术生成的全景地图，它包含了所有突出的信息以及更多的信息。在本发明中使用到的技术不仅仅是目标的检测识别，而是通过对目标的检测实现全景图像的融合拼接，进而通过二次匹配策略即基于子图检索的模板匹配以及基于改进sift算法的暴力匹配实现航拍图像在原始正射影像地图中的定位。
13.专利号：cn 202011543458.3，专利名称基于特征点检测和误匹配筛选的机器人视觉定位方法，采用四边形模型对图像进行fast特征点检测，并对提取的特征点基于邻域像素值构建brief描述子，通过brief描述子进行暴力匹配，同时采取ransac算法对误匹配的特征点进行筛选，基于筛选结果将匹配的特征点对应到原始参考图像和待匹配图像中。
14.而本发明定位结果会相对而言更加准确。因为首先进行了sift特征点提取，sift特征点自身具备尺度不变性，不会因图像分辨率、光照、平移旋转等因素而发生变化，特征非常稳定，之后在进行图像匹配时并不是直接利用航拍图像以及原始正射影像地图进行匹配，而是将原始正射影像地图先划分为多个子图，找到与航拍图像相似度高的子图，再利用子图与航拍图像进行匹配，其次在对误匹配的特征点进行筛选时并未选用单一的方式，而是采用了比率测试+ransac算法结合的方式，因单一方式消除误匹配可能会面临删除所有匹配对或者无消除效果等，本文方法能在保留绝大部分正确匹配的同时还能准确的消除误匹配，之后利用单应性矩阵对航拍图像以及原始正射影像地图坐标进行映射，成功在原始正射影像地图中找到航拍图像的位置。
15.因此，怎样通过基于特征点匹配算法去实现对兴趣目标的定位是一个新型且具有研究价值的问题。


技术实现要素：

16.针对以上问题，本发明提出基于机载任务机的航拍图像定位方法，通过无人机航拍图像与带有位置等信息的原始正射影像地图(dom)进行特征点匹配，从而更方便地实现
对目标的高精度定位。
17.为实现上述目的，本发明采取的技术方案是：
18.基于机载任务机的航拍图像定位方法，其特征在于，具体步骤如下：
19.步骤1，制作参照图，基于原始正射影像地图dom对感兴趣区域进行预标注和采样，构建地理信息预标注模型；
20.步骤2，制作实验图，获取无人机摄像头的航拍图像数据并进行预处理，将航拍图像数据作为实验图；
21.步骤3，对无人机航拍图像和原始正射影像地图dom进行特征提取，保存特征点集合，并去除冗余特征点，得到关键特征点集合；
22.步骤4，基于特征点匹配算法，实现无人机航拍图像和原始正射影像地图dom之间的像素级匹配，保存匹配结果的相应像素点对应的地理位置；
23.步骤5，构建无人机航拍图像和原始正射影像地图dom之间的映射关系；
24.步骤6，通过空间映射关系，实现无人机图像像素级的位置标定，进而实现目标的高精度定位。
25.作为本发明进一步改进，所述步骤3具体实现步骤包括以下步骤：
26.步骤3-1：利用高斯卷积核构建尺度空间实现初始化操作，一幅二维图像的尺度空间可以定义为：
27.l(x,y,δ)＝g(x,y,δ)*i(x,y)
28.其中g(x,y,δ)是尺度可变高斯函数，(x,y)是空间坐标，是尺度坐标，δ大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征，大的δ值对应粗糙尺度，反之，对应精细尺度，
29.为了有效的在尺度空间检测稳定的关键点，提出了高斯差分尺度空间dog scale-space，利用不同尺度的高斯差分核与图像卷积生成，如下式所示：
30.d(x,y,δ)＝(g(x,y,kδ)-g(x,y,δ))*i(x,y)＝l(x,y,kδ)-l(x,y,δ)
31.图像金字塔的建立：对于一幅图像i,建立其在不同尺度scale的图像，也成为子八度octave，这是为了scale-invariant，也就是在任何尺度都能够有对应的特征点，第一个子八度的scale为原图大小，后面每个octave为上一个octave降采样的结果，即原图的1/4，长宽分别减半，构成下一个子八度，高一层金字塔。过程即公式所示：
[0032][0033]
尺度空间的所有取值，i为octave的塔数，即对应第几个塔，s为每塔层数；
[0034]
由图片size决定建几个塔，每塔几层图像，其中s为3-5层，第0塔的第0层是原始图像，往上每一层是对其下一层进行laplacian变换，即高斯卷积，其中δ值渐大，是δ,kδ,k2δ,...k
n-1
δ；
[0035]
塔之间的图片是降采样关系，1塔的第0层由0塔的第3层down sample得到，然后进行与第0塔类似的高斯卷积操作；
[0036]
步骤3-2：log近似dog找到关键点，即检测dog尺度空间极值点；
[0037]
拿中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9
×
2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点，一个点如果在dog尺度空间本
层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点；
[0038]
在极值比较的过程中，每一组图像的首末两层是无法进行极值比较的，为了满足尺度变化的连续性，在每一组图像的顶层继续用高斯模糊生成了3幅图像，高斯金字塔有每组s+3层图像，dog金字塔每组有s+2层图像；
[0039]
步骤3-3：不符合要求的特征点的去除；
[0040]
这一步本质上要去掉dog局部曲率非常不对称的像素。
[0041]
通过拟和三维二次函数以精确确定关键点的位置和尺度，即达到亚像素精度，同时去除低对比度的关键点和不稳定的边缘响应点，在这里使用近似harris corner检测器。
[0042]
作为本发明进一步改进，所述近似harris corner检测器具体如下：
[0043]
(1)空间尺度函数泰勒展开式如下：
[0044][0045]
对上式求导，并令其为0，得到精确的位置，得：
[0046][0047]
(2)在已经检测到的特征点中,要去掉低对比度的特征点和不稳定的边缘响应点，去除低对比度的点：选用了基于区域的对比度方法，简称rc算法，基于区域对比度分析的显著性检测会对每个区域与其他区域的相似度权重进行定义，并通过这些定义得到区域显著性值，进而完成显著性检测，选取其中显著性值较高的特征点：
[0048][0049]
其中，ds(rj,ri)表示的是两个区域rj和ri在同一片空间之中的距离，即欧氏距离；σs表示的是空间权值带来的强度影响，空间权值越大，影响越小，选取的值为0.4；
[0050]
(3)边缘响应去除；
[0051]
一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率，主曲率通过一个2
×
2的hessian矩阵h求出：
[0052][0053]
导数由采样点相邻差估计得到；
[0054]
d的主曲率和h的特征值成正比，令α为较大特征值，β为较小的特征值，则：
[0055]
tr(h)＝d
xx
+d
yy
＝α+β
[0056]
det(h)＝d
xxdyy-(d
xy
)2＝αβ
[0057]
令α＝rβ，则：
[0058]
[0059]
的值在两个特征值相等时最小，随着r的增大而增大，因此，为了检测主曲率是否在某阈值r下，只需检测
[0060]
(4)给特征点赋值一个128维方向参数；
[0061]
上一步中确定了每幅图中的特征点，为每个特征点计算一个方向，依照这个方向做进一步的计算，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性，(x,y)处梯度的模值和方向公式：
[0062][0063]
θ(x,y)＝αtan2((l(x,y+1)-l(x,y-1))/(l(x+1,y)-l(x+1,y)))
[0064]
其中l所用的尺度为每个关键点各自所在的尺度，至此，图像的关键点已经检测完毕，每个关键点有三个信息：位置，所处尺度、方向，由此确定一个sift特征区域；
[0065]
梯度直方图的范围是0～360度，其中每10度一个柱，总共36个柱，随着距中心点越远的领域其对直方图的贡献也响应减小，并且使用高斯函数对直方图进行平滑，减少突变的影响。
[0066]
以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向，梯度直方图的范围是0～360度，其中每45度一个柱，总共8个柱,或者每10度一个柱，总共36个柱。并且使用高斯函数对直方图进行平滑，减少突变的影响，直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向；
[0067]
直方图中的峰值就是主方向，其他的达到最大值80％的方向作为辅助方向；
[0068]
由梯度方向直方图确定主梯度方向，在此步骤中将建立所有scale中特征点的描述128维。
[0069]
作为本发明进一步改进，所述步骤4具体实现步骤包括以下步骤；
[0070]
(1)关键点描述子的生成：
[0071]
首先将坐标轴旋转为关键点的方向，以确保旋转不变性。以关键点为中心取8
×
8的窗口；
[0072]
a.旋转主方向，将坐标轴旋转为关键点的方向，以确保旋转不变形；
[0073]
b.生成描述子，对于一个关键点产生128个数据，即最终形成128轴的sift特征向量；
[0074]
c.归一化处理，将特征向量的长度归一化，则可以进一步去除光照变化的影响；
[0075]
(2)根据sift进行匹配；
[0076]
由以上步骤生成了a、b两幅图的描述子，分别是k1
×
128维和k2
×
128维，就将两图中各个scale的描述子进行匹配，能够匹配上128维即可表示两个特征点匹配上了；
[0077]
为了增强匹配的稳健性，每个关键点使用4
×
4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，即最终形成128维的sift特征向量，此时的sift特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则进一步的去除光照变化的影响；
[0078]
当两幅图像的sift特征向量生成后，采用关键点特征向量的欧式距离作为两幅图像中关键点的相似性判定度量，取图像1中的某个关键点，并找出其与图像2中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点，降低这个比例阈值，sift匹配点数目会减少，但更加稳定。
[0079]
作为本发明进一步改进，所述步骤5具体实现步骤包括以下步骤；
[0080]
在进行了特征点匹配之后，先利用比率测试方法，使用较大的阈值在不会影响正确匹配的情况下消除大部分误匹配，确保在剩余匹配中正确匹配占据较大的比例，然后使用随机一致性算法去消除误匹配，进一步保证匹配的正确性。
[0081]
作为本发明进一步改进，所述步骤5比率测试方法如下；
[0082]
(1)根据给定的特征匹配对数据集，从中选取出一个样本，此样本为解算模型的最少数据量；
[0083]
(2)利用上一步得选取样本对初始运动的模型参数进行解算；
[0084]
(3)对数据集内所有的样本使用该参数进行验证，找到内部的正确匹配，误差比预设的阈值小的话就设置为内点，计算其在数据集的比率；
[0085]
(4)如果数据集内部的内点比率大于初设的阈值，那么就可以采用此参数作为优化后的真实参数，算法流程结束；
[0086]
(5)如果内点比率比预设阈值小，重复(1)—(4)直到找到一组真实参数或者迭代次数超过一定限度。
[0087]
由上述算法得到关于图像映射的单应性矩阵，此单应性矩阵便代表了航拍图像和原始正射影像地图的映射关系。
[0088]
作为本发明进一步改进，所述步骤6具体实现步骤包括以下步骤；
[0089]
由步骤5中比率测试方法得到的单应性矩阵是航拍图像与原始正射影像地图的坐标点映射，通过航拍图像某一中心像素点结合单应性矩阵映射到原始正射影像地图上，并求得与其对应的像素点，进而实现对航拍图像的定位。
[0090]
作为本发明进一步改进，所述步骤1中所述地理信息包括：
[0091]
原始正射影像地图(dom)中各图像建筑的位置即经纬度信息、属性和影像特征点。
[0092]
作为本发明进一步改进，步骤2中所述无人机摄像头的航拍图像数据包括：
[0093]
无人机搭载的摄像头对兴趣目标的拍摄到的图像信息，以图片的形式所呈现出来的图片信息；
[0094]
选取的兴趣目标是参照性强的建筑物。
[0095]
与现有技术相比，本发明的技术方案将有以下的有益效果：
[0096]
本发明提供一种基于特征点检测和匹配的兴趣目标定位方法，通过特征点提取和匹配，实现了兴趣目标(建筑物等)的实时性定位，增加了定位可选的方法，改变了以往通过卫星、地图、摄像头等结合的定位方法。
附图说明
[0097]
图1是本发明的流程示意图；
[0098]
图2是本发明实例中未进行图像匹配的航拍图；
[0099]
图3是本发明进行过图像匹配后的匹配结果图；
[0100]
图4是本发明进行过图像匹配后的定位结果图。
具体实施方式
[0101]
下面结合附图与具体实施方式对本发明作进一步详细描述：
[0102]
本发明公开了一种基于特征点检测和匹配的定位方法，其中流程示意图如图1所示，未进行图像匹配的航拍图如图2所示，图像匹配后的匹配结果图如图3所示，图像匹配后的定位结果图如图4所示，具体包括以下步骤：
[0103]
步骤1，制作参照图，基于原始正射影像地图(dom)对感兴趣区域进行预标注和采样，构建地理信息预标注模型；
[0104]
步骤2，制作实验图，获取无人机摄像头的航拍图像数据并进行预处理，将航拍图像数据作为实验图；
[0105]
步骤3，对无人机航拍图像和原始正射影像地图(dom)进行特征提取，保存特征点集合，并去除冗余特征点，得到关键特征点集合；
[0106]
步骤3-1：利用高斯卷积核构建尺度空间实现初始化操作，一幅二维图像的尺度空间可以定义为：
[0107]
l(x,y,δ)＝g(x,y,δ)*i(x,y)
[0108]
其中g(x,y,δ)是尺度可变高斯函数，(x,y)是空间坐标，是尺度坐标。δ大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。大的δ值对应粗糙尺度(低分辨率)，反之，对应精细尺度(高分辨率)。为了有效的在尺度空间检测稳定的关键点，提出了高斯差分尺度空间(dog scale-space)。利用不同尺度的高斯差分核与图像卷积生成。如下式所示：
[0109]
d(x,y,δ)＝(g(x,y,kδ)-g(x,y,δ))*i(x,y)＝l(x,y,kδ)-l(x,y,δ)
[0110]
图像金字塔的建立：对于一幅图像i,建立其在不同尺度(scale)的图像，也成为子八度(octave)，这是为了scale-invariant，也就是在任何尺度都能够有对应的特征点，第一个子八度的scale为原图大小，后面每个octave为上一个octave降采样的结果，即原图的1/4(长宽分别减半)，构成下一个子八度(高一层金字塔)。过程即公式所示：
[0111][0112]
尺度空间的所有取值，i为octave的塔数(第几个塔)，s为每塔层数
[0113]
由图片size决定建几个塔，每塔几层图像(s一般为3-5层)。第0塔的第0层是原始图像，往上每一层是对其下一层进行laplacian变换(高斯卷积，其中δ值渐大，例如可以是δ,kδ,k2δ,
…kn-1
δ)，直观上看来越往上图片越模糊。塔之间的图片是降采样关系，例如1塔的第0层可以由0塔的第3层down sample得到，然后进行与第0塔类似的高斯卷积操作。
[0114]
步骤3-2：log近似dog找到关键点《检测dog尺度空间极值点》
[0115]
为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。即拿中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9
×
2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。一个点如果在dog尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点。
[0116]
在极值比较的过程中，每一组图像的首末两层是无法进行极值比较的，为了满足尺度变化的连续性，在每一组图像的顶层继续用高斯模糊生成了3幅图像，高斯金字塔有每组s+3层图像，dog金字塔每组有s+2层图像。
[0117]
步骤3-3：不符合要求的特征点的去除
[0118]
这一步本质上要去掉dog局部曲率非常不对称的像素。
[0119]
通过拟和三维二次函数以精确确定关键点的位置和尺度(达到亚像素精度)，同时去除低对比度的关键点和不稳定的边缘响应点(因为dog算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力，在这里使用近似harris corner检测器。
[0120]
(1)空间尺度函数泰勒展开式如下：
[0121][0122]
对上式求导，并令其为0，得到精确的位置，得：
[0123][0124]
(1)在已经检测到的特征点中,要去掉低对比度的特征点和不稳定的边缘响应点。去除低对比度的点：选用了基于区域的对比度方法，简称rc算法，基于区域对比度分析的显著性检测会对每个区域与其他区域的相似度权重进行定义，并通过这些定义得到区域显著性值，进而完成显著性检测，选取其中显著性值较高的特征点：
[0125][0126]
其中，ds(rj,ri)表示的是两个区域rj和ri在同一片空间之中的距离，即欧氏距离；σs表示的是空间权值带来的强度影响，空间权值越大，影响越小，本文选取的值为0.4。
[0127]
(2)边缘响应去除
[0128]
一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。主曲率通过一个2
×
2的hessian矩阵h求出：
[0129][0130]
导数由采样点相邻差估计得到。
[0131]
d的主曲率和h的特征值成正比，令α为较大特征值，β为较小的特征值，则：
[0132]
tr(h)＝d
xx
+d
yy
＝α+β
[0133]
det(h)＝d
xxdyy-(d
xy
)2＝αβ
[0134]
令α＝rβ，则：
[0135][0136]
的值在两个特征值相等时最小，随着r的增大而增大，因此，为了检测主曲
率是否在某阈值r下，只需检测
[0137]
(3)给特征点赋值一个128维方向参数
[0138]
上一步中确定了每幅图中的特征点，为每个特征点计算一个方向，依照这个方向做进一步的计算，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。(x,y)处梯度的模值和方向公式：
[0139][0140]
θ(x,y)＝αtan2((l(x,y+1)-l(x,y-1))/(l(x+1,y)-l(x+1,y)))
[0141]
其中l所用的尺度为每个关键点各自所在的尺度。至此，图像的关键点已经检测完毕，每个关键点有三个信息：位置，所处尺度、方向，由此可以确定一个sift特征区域。
[0142]
梯度直方图的范围是0～360度，其中每10度一个柱，总共36个柱。随着距中心点越远的领域其对直方图的贡献也响应减小。并且使用高斯函数对直方图进行平滑，减少突变的影响。
[0143]
在实际计算时，我们在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0～360度，其中每45度一个柱，总共8个柱,或者每10度一个柱，总共36个柱。并且使用高斯函数对直方图进行平滑，减少突变的影响。直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。
[0144]
直方图中的峰值就是主方向，其他的达到最大值80％的方向可作为辅助方向。
[0145]
由梯度方向直方图确定主梯度方向，在此步骤中将建立所有scale中特征点的描述子(128维)。
[0146]
步骤4，基于特征点匹配算法，实现无人机航拍图像和原始正射影像地图(dom)之间的像素级匹配，保存匹配结果的相应像素点对应的地理位置；
[0147]
步骤4-1：关键点描述子的生成
[0148]
首先将坐标轴旋转为关键点的方向，以确保旋转不变性。以关键点为中心取8
×
8的窗口。
[0149]
a.旋转主方向，将坐标轴旋转为关键点的方向，以确保旋转不变形；
[0150]
b.生成描述子，对于一个关键点产生128个数据，即最终形成128轴的sift特征向量；
[0151]
c.归一化处理，将特征向量的长度归一化，则可以进一步去除光照变化的影响
[0152]
步骤4-2：根据sift进行匹配
[0153]
由以上步骤生成了两幅图的描述子，(分别是k1
×
128维和k2
×
128维)，就将两图中各个scale(所有scale)的描述子进行匹配，能够匹配上128维即可表示两个特征点匹配上了。
[0154]
在计算过程中，为了增强匹配的稳健性，每个关键点使用4
×
4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，即最终形成128维的sift特征向量。此时的sift特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步的去除光照变化的影响。
[0155]
当两幅图像的sift特征向量生成后，下一步我们采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。取图像1中的某个关键点，并找出其与图像2中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，sift匹配点数目会减少，但更加稳定。
[0156]
步骤5，构建无人机航拍图像和原始正射影像地图(dom)之间的映射关系，即在完成匹配后，先利用比率测试方法，使用较大的阈值在不会影响正确匹配的情况下消除大部分误匹配，确保在剩余匹配中正确匹配占据较大的比例，然后使用ransac算法对匹配进行误匹配的剔除，ransac算法可得到关于图像映射的单应性矩阵，此单应性矩阵便代表了航拍图像和原始正射影像地图的映射关系；
[0157]
步骤6，通过空间映射关系，实现无人机图像像素级的位置标定，进而实现目标的高精度定位，记录之前匹配位置，获取并保存作为兴趣目标此时的地理位置，找到通过单应性矩阵映射像素坐标点所对应的地理位置，最终结果即兴趣目标的地理位置。
[0158]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

技术特征：
1.基于机载任务机的航拍图像定位方法，其特征在于，具体步骤如下：步骤1，制作参照图，基于原始正射影像地图dom对感兴趣区域进行预标注和采样，构建地理信息预标注模型；步骤2，制作实验图，获取无人机摄像头的航拍图像数据并进行预处理，将航拍图像数据作为实验图；步骤3，对无人机航拍图像和原始正射影像地图dom进行特征提取，保存特征点集合，并去除冗余特征点，得到关键特征点集合；步骤4，基于特征点匹配算法，实现无人机航拍图像和原始正射影像地图dom之间的像素级匹配，保存匹配结果的相应像素点对应的地理位置；步骤5，构建无人机航拍图像和原始正射影像地图dom之间的映射关系；步骤6，通过空间映射关系，实现无人机图像像素级的位置标定，进而实现目标的高精度定位。2.根据权利要求1所述的基于机载任务机的航拍图像定位方法，其特征在于，所述步骤3具体实现步骤包括以下步骤：步骤3-1：利用高斯卷积核构建尺度空间实现初始化操作，一幅二维图像的尺度空间可以定义为：l(x,y,δ)＝g(x,y,δ)*i(x,y)其中g(x,y,δ)是尺度可变高斯函数，(x,y)是空间坐标，是尺度坐标，δ大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征，大的δ值对应粗糙尺度，反之，对应精细尺度，为了有效的在尺度空间检测稳定的关键点，提出了高斯差分尺度空间dog scale-space，利用不同尺度的高斯差分核与图像卷积生成，如下式所示：d(x,y,δ)＝(g(x,y,kδ)-g(x,y,δ))*i(x,y)＝l(x,y,kδ)-l(x,y,δ)图像金字塔的建立：对于一幅图像i,建立其在不同尺度scale的图像，也成为子八度octave，这是为了scale-invariant，也就是在任何尺度都能够有对应的特征点，第一个子八度的scale为原图大小，后面每个octave为上一个octave降采样的结果，即原图的1/4，长宽分别减半，构成下一个子八度，高一层金字塔，过程即公式所示：尺度空间的所有取值，i为octave的塔数，即对应第几个塔，s为每塔层数；由图片size决定建几个塔，每塔几层图像，其中s为3-5层，第0塔的第0层是原始图像，往上每一层是对其下一层进行laplacian变换，即高斯卷积，其中δ值渐大，是δ,kδ,k2δ,
…
k
n-1
δ；塔之间的图片是降采样关系，1塔的第0层由0塔的第3层down sample得到，然后进行与第0塔类似的高斯卷积操作；步骤3-2：log近似dog找到关键点，即检测dog尺度空间极值点；拿中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9
×
2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点，一个点如果在dog尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征
点；在极值比较的过程中，每一组图像的首末两层是无法进行极值比较的，为了满足尺度变化的连续性，在每一组图像的顶层继续用高斯模糊生成了3幅图像，高斯金字塔有每组s+3层图像，dog金字塔每组有s+2层图像；步骤3-3：不符合要求的特征点的去除；这一步本质上要去掉dog局部曲率非常不对称的像素；通过拟和三维二次函数以精确确定关键点的位置和尺度，即达到亚像素精度，同时去除低对比度的关键点和不稳定的边缘响应点，在这里使用近似harris corner检测器。3.根据权利要求2所述的基于机载任务机的航拍图像定位方法，其特征在于，所述近似harris corner检测器具体如下：(1)空间尺度函数泰勒展开式如下：对上式求导，并令其为0，得到精确的位置，得：(2)在已经检测到的特征点中,要去掉低对比度的特征点和不稳定的边缘响应点，去除低对比度的点：选用了基于区域的对比度方法，简称rc算法，基于区域对比度分析的显著性检测会对每个区域与其他区域的相似度权重进行定义，并通过这些定义得到区域显著性值，进而完成显著性检测，选取其中显著性值较高的特征点：其中，d
s
(r
j
,r
i
)表示的是两个区域r
j
和r
i
在同一片空间之中的距离，即欧氏距离；σ
s
表示的是空间权值带来的强度影响，空间权值越大，影响越小，选取的值为0.4；(3)边缘响应去除；一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率，主曲率通过一个2
×
2的hessian矩阵h求出：导数由采样点相邻差估计得到；d的主曲率和h的特征值成正比，令α为较大特征值，β为较小的特征值，则：tr(h)＝d
xx
+d
yy
＝α+βdet(h)＝d
xx
d
yy-(d
xy
)2＝αβ令α＝rβ，则：
的值在两个特征值相等时最小，随着r的增大而增大，因此，为了检测主曲率是否在某阈值r下，只需检测(4)给特征点赋值一个128维方向参数；上一步中确定了每幅图中的特征点，为每个特征点计算一个方向，依照这个方向做进一步的计算，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性，(x,y)处梯度的模值和方向公式：θ(x,y)＝αtan2((l(x,y+1)-l(x,y-1))/(l(x+1,y)-l(x+1,y)))其中l所用的尺度为每个关键点各自所在的尺度，至此，图像的关键点已经检测完毕，每个关键点有三个信息：位置，所处尺度、方向，由此确定一个sift特征区域；梯度直方图的范围是0～360度，其中每10度一个柱，总共36个柱，随着距中心点越远的领域其对直方图的贡献也响应减小，并且使用高斯函数对直方图进行平滑，减少突变的影响；以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向，梯度直方图的范围是0～360度，其中每45度一个柱，总共8个柱,或者每10度一个柱，总共36个柱；并且使用高斯函数对直方图进行平滑，减少突变的影响，直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向；直方图中的峰值就是主方向，其他的达到最大值80％的方向作为辅助方向；由梯度方向直方图确定主梯度方向，在此步骤中将建立所有scale中特征点的描述128维。4.根据权利要求1所述的基于机载任务机的航拍图像定位方法，其特征在于，所述步骤4具体实现步骤包括以下步骤；(1)关键点描述子的生成：首先将坐标轴旋转为关键点的方向，以确保旋转不变性，以关键点为中心取8＝8的窗口；a.旋转主方向，将坐标轴旋转为关键点的方向，以确保旋转不变形；b.生成描述子，对于一个关键点产生128个数据，即最终形成128轴的sift特征向量；c.归一化处理，将特征向量的长度归一化，则可以进一步去除光照变化的影响；(2)根据sift进行匹配；由以上步骤生成了a、b两幅图的描述子，分别是k1
×
128维和k2
×
128维，就将两图中各个scale的描述子进行匹配，能够匹配上128维即可表示两个特征点匹配上了；为了增强匹配的稳健性，每个关键点使用4
×
4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，即最终形成128维的sift特征向量，此时的sift特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则进一步的去除光照变化的影响；
当两幅图像的sift特征向量生成后，采用关键点特征向量的欧式距离作为两幅图像中关键点的相似性判定度量，取图像1中的某个关键点，并找出其与图像2中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点，降低这个比例阈值，sift匹配点数目会减少，但更加稳定。5.根据权利要求1所述的基于机载任务机的航拍图像定位方法，其特征在于，所述步骤5具体实现步骤包括以下步骤；在进行了特征点匹配之后，先利用比率测试方法，使用较大的阈值在不会影响正确匹配的情况下消除大部分误匹配，确保在剩余匹配中正确匹配占据较大的比例，然后使用随机一致性算法去消除误匹配，进一步保证匹配的正确性。6.根据权利要求5所述的基于机载任务机的航拍图像定位方法，其特征在于，所述步骤5比率测试方法如下；(1)根据给定的特征匹配对数据集，从中选取出一个样本，此样本为解算模型的最少数据量；(2)利用上一步得选取样本对初始运动的模型参数进行解算；(3)对数据集内所有的样本使用该参数进行验证，找到内部的正确匹配，误差比预设的阈值小的话就设置为内点，计算其在数据集的比率；(4)如果数据集内部的内点比率大于初设的阈值，那么就可以采用此参数作为优化后的真实参数，算法流程结束；(5)如果内点比率比预设阈值小，重复(1)—(4)直到找到一组真实参数或者迭代次数超过一定限度。由上述算法得到关于图像映射的单应性矩阵，此单应性矩阵便代表了航拍图像和原始正射影像地图的映射关系。7.根据权利要求5所述的基于机载任务机的航拍图像定位方法，其特征在于，所述步骤6具体实现步骤包括以下步骤；由步骤5中比率测试方法得到的单应性矩阵是航拍图像与原始正射影像地图的坐标点映射，通过航拍图像某一中心像素点结合单应性矩阵映射到原始正射影像地图上，并求得与其对应的像素点，进而实现对航拍图像的定位。8.根据权利要求1所述的基于机载任务机的航拍图像定位方法，其特征在于，所述步骤1中所述地理信息包括：原始正射影像地图(dom)中各图像建筑的位置即经纬度信息、属性和影像特征点。9.根据权利要求1所述的基于机载任务机的航拍图像定位方法，其特征在于，步骤2中所述无人机摄像头的航拍图像数据包括：无人机搭载的摄像头对兴趣目标的拍摄到的图像信息，以图片的形式所呈现出来的图片信息；选取的兴趣目标是参照性强的建筑物。

技术总结
基于机载任务机的航拍图像定位方法，包括：基于原始正射影像地图，对感兴趣区域进行预标注和采样，构建地理信息预标注模型，包括位置、属性和影像特征点等，作为参照图；获取无人机摄像头的航拍图像数据并进行预处理后，将航拍图像数据作为实验图；对无人机航拍图像和原始正射影像地图进行特征提取；基于特征点匹配算法，实现无人机航拍图像和原始正射影像地图之间像素级匹配；构建无人机航拍图像和原始正射影像地图之间的空间映射关系；通过空间映射的关系，实现无人机图像像素级的位置标定，进而实现检测目标的高精度定位。本发明通过无人机航拍图像与带有位置等信息的原始正射影像地图进行特征点匹配，从而更方便地实现对目标的高精度定位。标的高精度定位。标的高精度定位。


技术研发人员：王立辉 王宇航
受保护的技术使用者：东南大学
技术研发日：2023.04.12
技术公布日：2023/7/21