一种基于广角相机模型的图像特征配准方法及系统与流程

1.本发明属于图像处理技术领域，更具体地说，涉及一种基于广角相机模型的图像特征配准方法及系统。


背景技术：

2.广角相机可以扩大相邻帧之间的视觉重叠区域,并且可以从环境中捕获更多场景信息，但当前广角相机存在图像畸变大、特征点匹配效果差的问题，普通相机拍摄的图片相较于周围环境，畸变较小，获得的位姿信息相对准确。也就是说基于广角相机的视觉slam技术，虽然相较于普通相机能够感知到更多的周围环境，但是其缺点也很明显，广角相机所拍摄的图片与真实环境相比畸变较大；普通相机的视场角有限,在传统的视觉slam系统存在物体遮挡、运动过快和剧烈转弯等问题。
3.针对上述问题也进行了相应的改进，如中国专利申请号cn202110767999.2，公开日为2021年9月3日，该专利公开了一种基于广角相机大畸变图的初始化建图方法及系统，该方法包括以下步骤：步骤s1、通过对入射光线的追踪，确定特定相机模型；步骤s2、提取畸变图视觉特征点，进行数据关联，生成入射光线匹配对；步骤s3、根据入射光线匹配对应的几何关系对畸变图地图初始化：步骤s4、通过误差比较，对几何模型进行选择；步骤s5、递归尺度恢复。该方法提出了一种通用相机入射光线追踪方案，使任意的相机参数模型都可以转换到本发明提出的特定相机模型，并通过此特定相机模型追踪对应像素点的入射光线的方向，完成视觉地图的初始化。该专利的不足之处在于：整体精度有待考量，且操作繁琐，效率低。
4.又如中国专利申请号cn202010203054.3，公开日为2021年10月12日，该专利公开了一种超广角畸变标定方法及装置，该标定方法包括控制相机对标定板拍照获取标定图像至预定次数；使用超广角标定算法对获取的所述标定图像进行运算，获得标定结果；若所述标定结果满足预设条件，则输出所述标定结果；若所述标定结果不满足在预设条件，则返回重新执行所述标定拍照步骤。该专利的不足之处在于：虽能较为快速稳定的内参计算和全视场光学畸变校正，但成本高。


技术实现要素：

5.1、要解决的问题
6.针对现有广角相机特征点匹配效果差且效率慢的问题，本发明提供了一种基于广角相机模型的图像特征配准方法及系统。本发明的方法整个方法提高了广角图像中的特征点能够尽可能多的正确匹配，提高了特征点匹配准确率，提高机器人位姿估计的精度。本发明的系统结构简单，在保证工作精度的同时提高工作效率。
7.2、技术方案
8.为解决上述问题，本发明采用如下的技术方案。
9.一种基于广角相机模型的图像特征配准方法，包括以下步骤：
10.s1：建立广角相机投影模型以得到模板点和广角图像之间坐标的映射关系：建立世界坐标系、广角相机的归一化平面、虚拟广角镜头和广角相机的图像平面；
11.s2：模板点提取：将入射光线透过广角相机的归一化平面上的点作为模板点；
12.s3：计算描述子：根据模板点在广角相机的图像平面上的位置计算模板点的像素坐标，根据模板点的像素坐标计算描述子；
13.s4：特征匹配：计算描述子之间的汉明距离里得到特征点的配准结果。
14.更进一步的，所述步骤s2包括如下步骤：
15.s21：计算像素点和特征点的图像坐标；所述像素点为特征点邻域的一对像素点，是由两个光点发出的光线经过广角镜头投影到图像平面上形成；
16.s22：通过广角相机的投影函数计算像素点、特征点对应光线的入射方向；
17.s23：计算像素点和特征点的归一化坐标；
18.s24：再次进行提取模板点，计算像素点与特征点之间的相对位置，再逆时针旋转角度，得到最终的像素点与特征点之间的相对位置，得到最终的两个模板点。
19.更进一步的，所述步骤s3具体包括如下步骤：
20.s31：计算特征点在广角相机的归一化平面的坐标；
21.s32：计算最终的两个模板点在广角相机的归一化平面的坐标；
22.s33：确定模板点在广角相机的图像平面中的位置，得到模板点的像素坐标；
23.s34：计算描述子：根据像素坐标定位模板点在图像中的像素点，比较每对像素点之间灰度值的大小来编码描述子。
24.更进一步的，所述步骤s4中计算描述子之间的汉明距离后，比较所有特征点之间汉明距离的大小，选择汉明距离最小的特征点作为匹配的特征点。
25.更进一步的，特征点的匹配选用快速近似最近邻算法，且匹配之后通过旋转角度一致性进行剔除误匹配的特征点。
26.一种应用如上述任一项所述的一种基于广角相机模型的图像特征配准方法的系统，其特征在于：包括：
27.模型建立模块：用于建立广角相机投影模型以得到模板点和广角图像之间坐标的映射关系；
28.模板点提取模块：用于提取模板点；
29.计算模块：用于计算描述子；
30.特征匹配模块：用于计算描述子之间的汉明距离里得到特征点的配准结果。
31.3、有益效果
32.相比于现有技术，本发明的有益效果为：
33.本发明通过建立广角相机投影模型以得到模板点和广角图像之间坐标的映射关系，再通过对模板点进行提取，找出模板点在图像中的像素坐标，计算描述子，再通过计算描述子之间的汉明距离得到特征点的配准结果；整个方法提高了广角图像中的特征点能够尽可能多的正确匹配，提高了特征点匹配准确率，提高了机器人位姿估计的精度；在进行模板点提取时采用计算特征点以及特征点相邻区域的两个像素点得到对应光线的入射方向，随后进行求取归一化坐标，然后计算像素点与特征点之间的相对位置确定最终的模板点，整个模板点的提取过程简便快捷且精准；在特征匹配中选用汉明距离最小的特征点作为匹
配的特征点，进一步提高整个过程的准确性，且特征点的匹配选用快速近似最近邻算法，匹配之后通过旋转角度一致性进行剔除误匹配的特征点，留下匹配正确的特征点，提高特征匹配精度。
附图说明
34.图1为距离传感器测量示意图。
具体实施方式
35.下面结合具体实施例和附图对本发明进一步进行描述。
36.实施例1
37.一种基于广角相机模型的图像特征配准方法，包括以下步骤：
38.s1：如图1所示，建立广角相机投影模型以得到模板点和广角图像之间坐标的映射关系：建立世界坐标系、广角相机的归一化平面、虚拟广角镜头和广角相机的图像平面；具体的，从图1中可以看出，图中o
w-x
wywzw
是世界坐标系，a点，b点，k点是世界坐标中的三个光点，即真实世界中的点，图1中(a)是相机的归一化平面，o
g-xgyg是该平面上的归一化坐标系，o
c-xcyczc为相机坐标系，半球(b)为半径为1的虚拟广角镜头，半球的球心与相机坐标系原点相重合，(c)是相机的图像平面，其中o
f-xy和o-uv分别为该平面上的图像坐标系和像素坐标系；图中特征点k由真实世界中点k投影产生，首先光点k发出光线lk沿着方向穿过归一化平面得到点kg，再透过镜头投影到图像平面上得到特征点k，其中θ为lk与光轴zc之间的夹角，是lk与归一化平面的交点kg和xg轴之间的夹角；特征点k邻域内的一对像素点ta、tb，是由光点a、b发出的光线la、lb经过广角镜头投影到图像平面上形成，它们与归一化平面的交点为qa与qb；邻域在图像处理中表示某个像素的相邻的像素，如像素a上下左右的四个像素表示像素a的四领域像素。图1(d)和(e)分别为图像平面和相机归一化平面的俯视图，箭头表示特征点的方向，它与坐标轴的夹角为α；
39.s2：模板点提取：将入射光线透过广角相机的归一化平面上的点作为模板点；所述步骤s2包括如下步骤：
40.s21：计算像素点和特征点的图像坐标；所述像素点为特征点邻域的一对像素点，是由两个光点发出的光线经过广角镜头投影到图像平面上形成；计算像素点ta，tb以及特征点k的图像坐标t
fa
，t
fb
和kf：
41.tf＝fi-1
t
ꢀꢀ
(1)
42.其中tf是点的图像坐标，f为广角相机的焦距，i是广角相机的内部参数，t是点的像素坐标；
43.s22：通过广角相机的投影函数计算像素点、特征点对应光线的入射方向；通过广角相机的投影函数计算光线la、lb、lk的入射方向：
[0044][0045]
其中表示图像中的点反投影到真实世界的投影函数，该投影函数一般由广角相机厂家根据相机参数给定，表示光线的入射方向；
[0046]
s23：计算像素点和特征点的归一化坐标；其中qa、qb是像素点，kg是特征点。
[0047][0048]
其中q是像素点的归一化坐标；
[0049]
s24：再次进行提取模板点，计算像素点与特征点之间的相对位置，再逆时针旋转角度，得到最终的像素点与特征点之间的相对位置，得到最终的两个模板点；首先计算点qa、qb与特征点kg的相对位置s'm。
[0050]s′m＝q-kgꢀꢀ
(4)
[0051]
再逆时针旋转α度，得到最终的模板点s
ma
，
smb
:
[0052]
sm＝r(-α)s
′mꢀꢀ
(5)
[0053]
其中r(-α)是一个旋转矩阵，表示逆时针旋转α度；数学中，旋转矩阵r(-α)的计算公式为x’＝xcosα-ysinα,y
′
＝ycosα+xsinα，其中[xy]及[x’y’]分别表示旋转前后矩阵中的某个元素。旋转角度由特征点方向与坐标轴的角度决定。
[0054]
s3：计算描述子：根据模板点在广角相机的图像平面上的位置计算模板点的像素坐标，根据模板点的像素坐标计算描述子；所述步骤s3具体包括如下步骤：
[0055]
s31：计算特征点在广角相机的归一化平面的坐标；利用上述的公式(3)进行计算特征点ki在归一化平面的坐标k
gi
；
[0056]
s32：计算最终的两个模板点在广角相机的归一化平面的坐标；利用模板点s
ma
、s
mb
和特征点k
gi
，计算出模板点的归一化坐标q
ia
、q
ib
：
[0057]
q＝r(αi)(sm+k
gi
)
ꢀꢀ
(6)
[0058]
s33：确定模板点在广角相机的图像平面中的位置，得到模板点的像素坐标；具体的首先，根据模板点归一化坐标q
ia
、q
ib
计算出其入射光线的方向其中：
[0059]
θ＝tan-1
(q)
ꢀꢀ
(7)
[0060][0061]
上式中x表示某一条入射光线的位置，然后通过广角相机的投影模型计算出模板点的像素坐标t
ia
、t
ib
:
[0062][0063]
s34：计算描述子：根据像素坐标t
ia
、t
ib
定位模板点在图像中的像素点，比较每对像素点之间灰度值的大小来编码描述子；具体的，描述子的编码规则如下：
[0064][0065]
其中p(t)是像素点t的灰度值；此时，特征点的一位描述子di就计算出来了；由于一位描述子只能编码两个不同的特征点，而在每帧图像中特征点数目远超过2个，所以通常情况下使用256位的描述子来编码特征点；
[0066]
s4：特征匹配：计算描述子之间的汉明距离得到特征点的配准结果；具体的，计算好描述子后，计算描述子的汉明距离，描述子是由二进制0或1组成的一串字符串，描述子的汉明距离的计算过程是对两个等长描述子进行逐位的异或运算，并对异或运算的结果进行逐位求和，描述子的汉明距离实际上是计算两个等长描述子的相同位置上不同数值的个数，该数值即是两个描述子之间的汉明距离。比较所有特征点之间汉明距离的大小，从中挑选出距离最小的特征点作为匹配的特征点，由此得到特征点的配准结果。当每帧特征点数
量大时，暴力匹配法的运算量很大，可选择快速近似最近邻(flann)算法来进行匹配。之后通过旋转角度一致性来剔除一部分误匹配的点，留下算法认为匹配正确的特征点。
[0067]
本发明通过建立广角相机投影模型以得到模板点和广角图像之间坐标的映射关系，再通过对模板点进行提取，找出模板点在图像中的像素坐标，计算描述子，再通过计算描述子之间的汉明距离得到特征点的配准结果；整个方法提高了广角图像中的特征点能够尽可能多的正确匹配，提高了特征点匹配准确率，提高了机器人位姿估计的精度；在进行模板点提取时采用计算特征点以及特征点相邻区域的两个像素点得到对应光线的入射方向，随后进行求取归一化坐标，然后计算像素点与特征点之间的相对位置确定最终的模板点，整个模板点的提取过程简便快捷且精准；在特征匹配中选用汉明距离最小的特征点作为匹配的特征点，进一步提高整个过程的准确性，且特征点的匹配选用快速近似最近邻算法，匹配之后通过旋转角度一致性进行剔除误匹配的特征点，留下匹配正确的特征点，提高特征匹配精度。
[0068]
一种应用如上述任一项所述的一种基于广角相机模型的图像特征配准方法的系统，包括：
[0069]
模型建立模块：用于建立广角相机投影模型以得到模板点和广角图像之间坐标的映射关系；
[0070]
模板点提取模块：用于提取模板点；
[0071]
计算模块：用于计算描述子；
[0072]
特征匹配模块：用于计算描述子之间的汉明距离里得到特征点的配准结果
[0073]
本发明的系统结构简单，在保证工作精度的同时提高工作效率。
[0074]
本发明所述实例仅仅是对本发明的优选实施方式进行描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域工程技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的保护范围。

技术特征：
1.一种基于广角相机模型的图像特征配准方法，其特征在于：包括以下步骤：s1：建立广角相机投影模型以得到模板点和广角图像之间坐标的映射关系：建立世界坐标系、广角相机的归一化平面、虚拟广角镜头和广角相机的图像平面；s2：模板点提取：将入射光线透过广角相机的归一化平面上的点作为模板点；s3：计算描述子：根据模板点在广角相机的图像平面上的位置计算模板点的像素坐标，根据模板点的像素坐标计算描述子；s4：特征匹配：计算描述子之间的汉明距离里得到配准结果。2.根据权利要求1所述的一种基于广角相机模型的图像特征配准方法，其特征在于：所述步骤s2包括如下步骤：s21：计算像素点和特征点的图像坐标；所述像素点为特征点邻域的一对像素点，是由两个光点发出的光线经过广角镜头投影到图像平面上形成；s22：通过广角相机的投影函数计算像素点、特征点对应光线的入射方向；s23：计算像素点和特征点的归一化坐标；s24：再次进行提取模板点，计算像素点与特征点之间的相对位置，再逆时针旋转角度，得到最终的像素点与特征点之间的相对位置，得到最终的两个模板点。3.根据权利要求2所述的一种基于广角相机模型的图像特征配准方法，其特征在于：所述步骤s3具体包括如下步骤：s31：计算特征点在广角相机的归一化平面的坐标；s32：计算最终的两个模板点在广角相机的归一化平面的坐标；s33：确定模板点在广角相机的图像平面中的位置，得到模板点的像素坐标；s34：计算描述子：根据像素坐标定位模板点在图像中的像素点，比较每对像素点之间灰度值的大小来编码描述子。4.根据权利要求1所述的一种基于广角相机模型的图像特征配准方法，其特征在于：所述步骤s4中计算描述子之间的汉明距离后，比较所有特征点之间汉明距离的大小，选择汉明距离最小的特征点作为匹配的特征点。5.根据权利要求4所述的一种基于广角相机模型的图像特征配准方法，其特征在于：特征点的匹配选用快速近似最近邻算法，且匹配之后通过旋转角度一致性进行剔除误匹配的特征点。6.一种应用如权利要求1-5任一项权利要求所述的一种基于广角相机模型的图像特征配准方法的系统，其特征在于：包括：模型建立模块：用于建立广角相机投影模型以得到模板点和广角图像之间坐标的映射关系；模板点提取模块：用于提取模板点；计算模块：用于计算描述子；特征匹配模块：用于计算描述子之间的汉明距离里得到特征点的配准结果。

技术总结
本发明公开了一种基于广角相机模型的图像特征配准方法及系统，针对现有广角相机特征点匹配效果差且效率慢的问题，本发明提供了一种基于广角相机模型的图像特征配准方法，包括以下步骤：建立广角相机投影模型以得到模板点和广角图像之间坐标的映射关系；模板点提取：将入射光线透过广角相机的归一化平面上的点作为模板点；计算描述子：根据模板点在广角相机的图像平面上的位置计算模板点的像素坐标，根据模板点的像素坐标计算描述子；特征匹配：计算描述子之间的汉明距离里得到特征点的配准结果。本发明的方法整个方法提高了广角图像中的特征点能够尽可能多的正确匹配，提高了特征点匹配准确率，提高机器人位姿估计的精度。本发明的系统结构简单。本发明的系统结构简单。本发明的系统结构简单。


技术研发人员：许召辉 周康 程松林 范光宇
受保护的技术使用者：中航华东光电（上海）有限公司
技术研发日：2023.02.08
技术公布日：2023/7/19