基于区域相似性进行可见光图像和红外图像配准的方法与流程

1.本发明涉及图像配准技术领域，特别是一种基于区域相似性进行可见光图像和红外图像配准的方法。


背景技术：

2.无人机执行任务中，经常会有目标检测及分割等需求，但传统的可见光图片质量容易受雨雾影响，因此越来越多的红外设备开始应用在无人机中，红外图片虽然对雨雾等天气不敏感，但也丢失了颜色及纹理信息。因此可见光与红外的融合可以兼顾二者的优点，由于二者的成像差异，在相同时间内对同样场景的成像存在不同的比例缩放和相对平移、旋转，这导致传统单模态配准方法不能很好的完成任务。经过大量的数据采集和分析，发现红外图像的高频区域在对应的可见光区域也具有丰富的特征信息。


技术实现要素：

3.鉴于此，本发明提供一种基于区域相似性进行可见光图像和红外图像配准的方法，以解决上述技术问题。
4.本发明公开了一种基于区域相似性进行可见光图像和红外图像配准的方法，其包括：
5.步骤1：在红外图像中确定高频区域，并从所述高频区域中选择一个点，以该点为中心形成一个区域图像，在可见光图像中选择不同大小的可见光图像，然后将所述高频区域对应的区域图像和所述不同大小的可见光图像一同送入训练好的孪生神经网络，分别计算相似度，根据所有相似度，从所述不同大小的可见光图像中选择与该点对应的匹配点，并共同构成匹配点对；
6.步骤2：对于除步骤1选定的区域图像外的其它高频区域，继续按照步骤1类推，最终得到所有匹配点对；
7.步骤3：根据所有匹配点对，分别计算变换矩阵，对所有变换矩阵进行聚类，取聚类样本数最多的集求均值，即为最终的转移矩阵，根据所述最终的转移矩阵进行图像配准。
8.进一步地，采集大量数据，标注红外图片和可见光图片的匹配区域，训练孪生神经网络，该孪生神经网络具有相同架构、参数和权重的互为镜像的两个子网络；所述孪生神经网络的输入分别为一帧已标注匹配区域的红外图片和可见光图片，输出为两幅图片的相似度分数；训练好的孪生神经网络能够判断可见光图像和红外图像的两个区域是否对应同一场景。
9.进一步地，所述步骤2包括：
10.步骤21：获取无人机依次对多个不同场景同时拍摄的可见光图像和红外数据图像；
11.步骤22：选择红外图像的高频区域中的一个点，以该点为中心在与所述红外图像同时刻拍摄的可见光图像中分别以不同长宽比提取可见光区域图像；
12.步骤23：将所述红外图像分别与不同长宽比的可见光区域图像共同输入所述训练好的孪生神经网络，分别计算所述红外图像与不同长宽比的可见光区域图像之间的相似性，选择相似性最大的可见光区域图像对应的区域中心点，即从所述红外图像中选择的一个点与所述区域中心点构成匹配点对；
13.步骤24：按照步骤22和步骤23类推，遍历所述可见光图像的高频区域，以得到所有的匹配点对。
14.进一步地，所述孪生神经网络是两个共享参数的cnn，每次的输入是一对经过处理后的图像，计算这对图像在高维空间的距离，得到这对图像之间的相似性，即这对图像是否对应同一目标。
15.进一步地，在步骤3中：
16.每4个匹配点可得出一组变换矩阵，对所有变换矩阵进行聚类，选择最集中的部分再取均值即为最终结果，进而完成可见光图像与红外图像的配准。
17.进一步地，在所述步骤1之前，所述方法还包括：
18.在需要采集同时刻的可见光图像和红外数据图像用于配准时，可见光相机和红外相机处理时间不同，假设可见光相机从接收采样指令到输出图像的时间间隔为t
rgb
，红外传感器的处理时间为t
inf
，因此设置发送给红外相机和可见光相机的采样指令时间间隔δ
t
＝t
inf-t
rgb
。
19.进一步地，在所述步骤1之前，所述方法还包括：
20.首先对可见光图像进行直方图均衡化处理；其次，使用sobel算子为图像提取梯度信息图，根据给定阈值，从梯度信息图中提取天空的边界线，在与红外图像匹配时不检索天空区域。
21.进一步地，在所述步骤1之前，所述方法还包括：
22.对红外图像依次进行双边滤波、检测和提取区域图像。
23.由于采用了上述技术方案，本发明具有如下的优点：无人机在实际飞行中，不再依赖可见光与红外相机的事先标定，可自主进行在线配准，大大减小了因为飞机抖动造成的配准误差，同时在计算可见光图像与红外图像的变换矩阵时，多个匹配点可以进行相互校准，提高了配准的准确性。
附图说明
24.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
25.图1为本发明实施例的基于区域相似性进行可见光图像和红外图像配准的方法的流程示意图；
26.图2为本发明实施例的孪生神经网络结构示意图；
27.图3为本发明实施例的对可见光相机和红外相机进行时间对齐示意图；
28.图4为本发明实施例的同一个中心点的不同尺寸的可见光区域图像示意图。
具体实施方式
29.结合附图和实施例对本发明作进一步说明，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
30.参见图1，本发明提供了一种基于区域相似性进行可见光图像和红外图像配准的方法的实施例，其具体包括：
31.训练孪生神经网络：
32.孪生神经网络结构如图2所示，孪生神经网络就是两个共享参数的cnn。每次的输入是一对图像经过处理后计算这对图像在高维空间的距离，得到二者的相似性，即是否对应同一目标，共享参数的cnn用于提取特征，此处选用resnet50网络。
33.训练数据集选用实飞获取的可见光与红外图像，针对高频区域进行人工标注，选取正负样本训练孪生神经网络。
34.对可见光相机和红外相机进行时间对齐：
35.需要采集同时刻的数据用于配准，然而可见光相机和红外相机的处理时间不同，假设可见光相机从接收采样指令到输出图像的时间间隔为t
rgb
，红外传感器的处理时间为t
inf
，因此设置发送给红外相机和可见光相机的采样指令时间间隔δ
t
＝t
inf-t
rgb
，参见图3。
36.红外图像去噪：
37.由于传感器制造工艺等原因，红外图像讯在清晰度较差、噪声明显等问题，因此对红外图像执行双边滤波算法，优化了图像的对比度并且抑制了噪声。
38.可见光图像处理：
39.一幅高质量的图像，像素的强度应该均衡的分布，而实际图像会出现所有像素的灰度值分布不均匀对比度差的问题，因此首先对可见光图像进行直方图均衡化处理。其次，由于天空颜色的单调性，几乎不存在高频区域，容易对配准准确性造成影响且耗费计算资源，因此使用sobel算子为图像提取梯度信息图，从梯度信息图中根据给定阈值提取天空的边界线，在与红外图像匹配时不检索天空区域。
40.选择红外图像中的高频区域上的一点，截取以该点为中心，大小为的32
×
32的区域图像，并在可见光图像中遍历点(点的选取step设置为16，即每16个点选一个)对应的区域图像，其中每个点对应的区域图像包含三种面积(32
×
32，64
×
64，96
×
96)，每种面积又包含三种长宽比(1:1，1:2，2:1)共9种尺寸。将每种尺寸的可见光区域图像与红外区域图像一同送入孪生神经网络，计算相似度。
41.参见图4，遍历过可见光图像上的所有区域图像后，选取相似性最高的区域中心点，即为与红外图像中所选择的点为匹配点。
42.红外图像中是否有除步骤五选取的区域图像以外未使用的高频区域，若有，执行步骤5，获取下一对匹配点，若无，则执行步骤7。
43.根据所有匹配点，分别计算变换矩阵，对所有变换矩阵进行聚类，取聚类样本数最多的集一类求均值，即为最终的转移矩阵，可据此进行图像配准。
44.最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何
修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

技术特征：
1.一种基于区域相似性进行可见光图像和红外图像配准的方法，其特征在于，包括：步骤1：在红外图像中确定高频区域，并从所述高频区域中选择一个点，以该点为中心形成一个区域图像，在可见光图像中选择不同大小的可见光图像，然后将所述高频区域对应的区域图像和所述不同大小的可见光图像一同送入训练好的孪生神经网络，分别计算相似度，根据所有相似度，从所述不同大小的可见光图像中选择与该点对应的匹配点，并共同构成匹配点对；步骤2：对于除步骤1选定的区域图像外的其它高频区域，继续按照步骤1类推，最终得到所有匹配点对；步骤3：根据所有匹配点对，分别计算变换矩阵，对所有变换矩阵进行聚类，取聚类样本数最多的集求均值，即为最终的转移矩阵，根据所述最终的转移矩阵进行图像配准。2.根据权利要求1所述的方法，其特征在于，采集大量数据，标注红外图片和可见光图片的匹配区域，训练孪生神经网络，该孪生神经网络具有相同架构、参数和权重的互为镜像的两个子网络；所述孪生神经网络的输入分别为一帧已标注匹配区域的红外图片和可见光图片，输出为两幅图片的相似度分数；训练好的孪生神经网络能够判断可见光图像和红外图像的两个区域是否对应同一场景。3.根据权利要求1所述的方法，其特征在于，所述步骤2包括：步骤21：获取无人机依次对多个不同场景同时拍摄的可见光图像和红外数据图像；步骤22：选择红外图像的高频区域中的一个点，以该点为中心选择区域图像，并在与所述红外图像同时刻拍摄的可见光图像中分别以不同长宽比提取可见光区域图像；步骤23：将所述红外图像分别与不同长宽比的可见光区域图像共同输入所述训练好的孪生神经网络，分别计算所述红外图像与不同长宽比的可见光区域图像之间的相似性，选择相似性最大的可见光区域图像对应的区域中心点，即从所述红外图像中选择的一个点与所述区域中心点构成匹配点对；步骤24：按照步骤22和步骤23类推，遍历所述可见光图像的高频区域，以得到所有的匹配点对。4.根据权利要求1所述的方法，其特征在于，所述孪生神经网络是两个共享参数的cnn，每次的输入是一对经过处理后的图像，计算这对图像在高维空间的距离，得到这对图像之间的相似性，即这对图像是否对应同一目标。5.根据权利要求1所述的方法，其特征在于，在步骤3中：每4个匹配点可得出一组变换矩阵，对所有变换矩阵进行聚类，选择最集中的部分再取均值即为最终结果，进而完成可见光图像与红外图像的配准。6.根据权利要求1所述的方法，其特征在于，在所述步骤1之前，所述方法还包括：在需要采集同时刻的可见光图像和红外数据图像用于配准时，可见光相机和红外相机处理时间不同，假设可见光相机从接收采样指令到输出图像的时间间隔为t
rgb
，红外传感器的处理时间为t
inf
，因此设置发送给红外相机和可见光相机的采样指令时间间隔δ
t
＝t
inf-t
rgb
。7.根据权利要求1所述的方法，其特征在于，在所述步骤1之前，所述方法还包括：首先对可见光图像进行直方图均衡化处理；其次，使用sobel算子为图像提取梯度信息图，根据给定阈值，从梯度信息图中提取天空的边界线，在与红外图像匹配时不检索天空区
域。8.根据权利要求1所述的方法，其特征在于，在所述步骤1之前，所述方法还包括：对红外图像依次进行双边滤波、检测和提取区域图像。

技术总结
本发明公开了一种基于区域相似性进行可见光图像和红外图像配准的方法，其包括：在红外图像中确定高频区域，并从高频区域中选择一个点，以该点为中心形成一个区域图像，在可见光图像中选择可见光图像，然后将高频区域对应的区域图像和可见光图像一同送入训练好的孪生神经网络，分别计算相似度，从可见光图像中选择与该点对应的匹配点，并共同构成匹配点对；对于除区域图像外的其它高频区域，继续按照上述步骤类推，最终得到所有匹配点对；根据所有匹配点对，分别计算变换矩阵，对所有变换矩阵进行聚类，取聚类样本数最多的集求均值，即为最终的转移矩阵，根据最终的转移矩阵进行图像配准。本发明减小了由于飞机抖动造成的配准误差。准误差。准误差。


技术研发人员：梅涛 梁文斌 陈益杨 吴维熙
受保护的技术使用者：四川腾盾科技有限公司
技术研发日：2023.04.17
技术公布日：2023/7/13