基于秩一分解网络的红外和可见光图像融合方法及系统

1.本发明属于图像处理技术领域，尤其涉及一种基于秩一分解网络的红外和可见光图像融合方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.在信息爆炸的时代，传感器技术正在迅速发展。复杂应用程序的出现需要有关特定场景的全面信息，以增强对各种条件的理解。相同类型的传感器仅从一个方面获取信息，无法提供所有必需的信息，因此图像融合技术在现代应用程序和计算机视觉中起着越来越重要的作用。红外和可见光图像融合是多源图像融合领域的一个重要分支。红外和可见光图像的信号来自不同的模态，从不同的方面提供场景信息。基于反射光成像的原理，可见光图像包含丰富的纹理信息；基于热辐射成像的原理，红外图像包含显著目标。其次，红外和可见图像具有几乎所有物体固有的特征。最终，红外图像和可见图像具有互补的特性，从而产生了健壮且信息丰富的融合图像。可见图像通常具有较高的空间分辨率和相当多的细节和明暗对比。因此，它们适合于人类的视觉感知。但是，这些图像很容易受到恶劣条件的影响，例如恶劣的照明，雾气和恶劣天气的其他影响。同时，描绘物体的热辐射的红外图像可以抵抗这些干扰，但通常分辨率较低且质地较差。
4.红外与可见光图像融合旨在通过结合红外图像和可见光图像生成包含显著目标和丰富背景纹理的融合图像。红外和可见光图像融合的方法大致可分为基于多尺度变换的方法、基于稀疏表示的方法、基于子空间聚类的方法和基于深度学习的方法这四种。1)基于变换的图像融合方法通常使用合适的变换规则将源图像投影到变换域，用变换域中不同的系数来表示源图像，接着采取基于活动水平测量的融合策略来合并系数，最后对融合的系数进行逆变换得到融合图像。2)基于稀疏表示法的方法是充分运用图像的稀疏表示，对源图像进行稀疏处理。首先对源图像进行局部化处理，即对源图像采取一定的分块方式进行分块，对分块后的图像在一个过完备字典下结合稀疏分解算法求解稀疏系数，采用图像少量的非零元素进行融合得到融合图像。3)基于空间域的方法直接操作图像的像素值。最简单的融合策略是最大值法和加权平均法，这两个策略计算简单、运算速度快。5)随着近几年来深度学习的发展，利用各种卷积神经网络来进行红外和可见光图像融合的方法层出不穷，并且表现出了优异的性能。卷积神经网络是数据驱动的，可以通过训练数据有效的学习各种图像特征，以此来进行图像的重构，如sdnet、ifcnn和u2fusion。但是现存的方法仍存在背景纹理信息挖掘不充分的情况，导致融合效果不尽如人意。


技术实现要素：

5.为克服上述现有技术的不足，本发明提供了一种基于秩一分解网络的红外与可见光图像融合方法及系统，来同时获取显著目标和丰富的背景纹理信息。
6.为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
7.本发明第一方面提供了一种基于秩一分解网络的红外和可见光图像融合方法，包括：
8.获取红外图像和可见光图像；
9.对所述红外图像和可见光图像在通道维度上进行堆叠；
10.将堆叠后的图像序列进行逐级秩一分解处理，得到多级秩一分量、红外图像的残差以及可见光图像的残差；
11.分别将多级秩一分量以及红外图像的残差和可见光图像的残差进行融合，得到包含有所有秩一分量信息的融合分量cf以及包含两个残差信息的融合分量ef；
12.将融合分量cf和ef通过元素加法进行相加，得到期望的融合图像if。
13.本发明第二方面提供了一种基于秩一分解网络的红外和可见光图像融合系统，包括：图像获取模块，被配置为：获取红外图像和可见光图像；
14.图像堆叠模块，被配置为：对所述红外图像和可见光图像在通道维度上进行堆叠；
15.秩一分解模块，被配置为：将堆叠后的图像序列进行逐级秩一分解处理，得到多级秩一分量、红外图像的残差以及可见光图像的残差；
16.融合分量生成模块，被配置为：分别将多级秩一分量以及红外图像的残差和可见光图像的残差进行融合，得到包含有所有秩一分量信息的融合分量cf以及包含两个残差信息的融合分量ef；
17.融合图像生成模块，被配置为：将融合分量cf和ef通过元素加法进行相加，得到期望的融合图像if。
18.本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的一种基于秩一分解网络的红外和可见光图像融合方法中的步骤。
19.本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的一种基于秩一分解网络的红外和可见光图像融合方法中的步骤。
20.以上一个或多个技术方案存在以下有益效果：
21.(1)本发明将红外图像与可见光图像置于秩一分解网络中进行逐级处理，提取秩一分量和残差，使得本发明可以分别对秩一分量进行增强、对残差进行平滑，有利于后期图像处理技术的应用，提高了对图像自相似特征的利用率。
22.(2)为了将残差更好的进行融合，将残差输入残差融合模块，首先通过空间注意力模块获得注意力图，通过注意力图可以更好的将红外图像中的显著目标和可见光图像中的背景纹理信息融合在一起，使融合图像包含更多细节信息。
23.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
24.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
25.图1为第一个实施例的基于秩一分解网络的红外和可见光图像融合方法方法流程图。
26.图2为第一个实施例的秩一分解模块结构图。
27.图3为第一个实施例的秩一分量融合模块结构图。
28.图4(a)为第一个实施例的空间注意力模块结构图。
29.图4(b)为第一个实施例的残差融合模块结构图。
30.图5(a)、图5(b)、图5(c)分别为第一个实施例的红外图像、可见光图像、以及融合图像。
31.图中，apool(r)表示沿行方向平均池化(average pooling in the row direction)；
32.apool(c)表示沿列方向平均池化(average pooling in the column direction)；
33.⊙
表示矩阵乘法(matrix multiplication)；
34.表示矩阵点乘(哈达玛积，element-wise multiplication)；
35.表示级联(concatenation)；
36.⊕
表示矩阵加法(addition)；
37.表示矩阵减法(subtraction)；
具体实施方式
38.实施例一
39.如图1所示，本实施例公开了一种基于秩一分解网络的红外和可见光图像融合方法，包括：
40.步骤1、输入图像
41.本发明的数据集采用包含不同场景的多光谱夜间图像的tno数据集，根据需要裁剪为对应的大小，红外图像irii1∈r
120
×
120
×1和可见光图像visii2∈r
120
×
120
×1，然后将二者在通道维度堆叠得到z1∈r
120
×
120
×2。
42.步骤2、特征提取
43.visi中包含丰富的纹理细节，但是容易受到光照条件的影响，iri能够保留不同条件下的热辐射信息，但无法呈现视觉细节。为了充分利用iri和visi中包含的信息，本发明通过秩一分解来获得秩一矩阵，通过多个秩一矩阵及残差的和来表示图像。
44.具体的，将iri和visi堆叠得到的z1∈r
120
×
120
×2输入秩一分解模块来提取结构自相似性信息，得到秩一分量c1∈r
120
×
120
×1。红外图像iri和可见光图像visi分别减去秩一分量c1得到a1∈r
120
×
120
×1、b1∈r
120
×
120
×1，再将得到的a1和b1通过concatenation在通道维度上进行堆叠，得到z2∈r
120
×
120
×2，将得到的z2输入到第二个秩一分解模块得到秩一分量c2∈r
120
×
120
×1，
……
依此类推，通过r个秩一分解模块得到r个秩一分量c1，c2，c3，
……cr
∈r
120
×
120
×1；
45.其中，如图2所示，通过秩一分解来获得秩一矩阵分量的具体步骤包括：
46.首先将iri和visi在通道维度上进行堆叠，iri和visi通道数都是1，堆叠之后通道数升为2，将堆叠之后的图像序列依次输入到两个卷积核为3
×
3、步长为1、输出通道数为
32、激活函数为relu的卷积层，对两个卷积层的输出特征进行求和，求和后的结果与第一个卷积层的输出特征在通道维度上进行堆叠，将堆叠后的图像序列通过一个卷积核为1
×
1、步长为1、输出通道数为64的卷积层进行特征融合；
47.接着，将特征通过两个分支分别获得行向量和列向量，在两个分支中，将输入特征通过卷积核为3
×
3、步长为1的卷积层和sigmoid激活函数得到的输出特征与输入特征进行逐元素相乘，接下来依次通过两个卷积核为3
×
3、步长为1的卷积层，第一个卷积层输出通道数为64，第二个卷积层输出通道数为1，从而两个分支各得到一个中间特征。最后，第一个分支通过平均池化层对中间特征的行求平均得到列向量ur，第二个分支通过平均池化层对中间特征的列求平均得到行向量v
rt
。最后，将得到的列向量与行向量进行相乘得到秩为一的矩阵u
rvrt
。
48.将r个秩一分量c1，c2，c3，
……cr
进行求和，得到c
sum
∈r
120
×
120
×1，红外图像iri减去秩一分量的和c
sum
得到iri的残差e1∈r
120
×
120
×1，可见光图像visi减去秩一分量的和c
sum
得到visi的残差e2∈r
120
×
120
×1。
49.步骤3、特征融合
50.步骤301、将提取的r个秩一分量c1，c2，c3，
……cr
∈r
120
×
120
×1同时输入到秩一分量融合模块进行特征融合，得到含有所有秩一分量信息的cf∈r
120
×
120
×1；
51.如图3所示，本发明通过秩一分量融合模块对利用秩一分解模块得到的所有秩一分量进行融合。首先，将所有秩一分量在通道维度上进行堆叠，接着依次通过三个卷积核为3
×
3、步长为1、输出通道数为32、激活函数为leaky relu的卷积层，第一个卷积层的输出和第二个卷积层的输出相加作为第三个卷积层的输入，第二个卷积层和第三个卷积层的输出相加后，依次通过一个卷积核为3
×
3、步长为1、输出通道数为16的卷积层，leaky relu激活函数和一个卷积核为3
×
3、步长为1、输出通道数为1的卷积层。最后，将融合后的特征cf输出。
52.步骤302、将两个残差块e1和e2输入到残差融合模块中，通过空间注意力模块得到空间注意力图，通过注意力图对e1和e2进行融合，得到包含两个残差块信息的ef∈r
120
×
120
×1；
53.如图4(a)所示，本发明通过空间注意力块获得两张源图像的残差的空间注意力图。首先将两个残差在通道维度堆叠在一起，将通道数由1升为2，接着依次通过两个卷积核为3
×
3、步长为1、输出通道数为32的卷积层，最后通过sigmoid激活函数获得残差的空间注意力图。
54.如图4(b)所示，为了同时获得两个残差中的信息，我们通过残差融合网络对残差进行融合。输入两个残差，将两个残差输入空间注意力块，获得空间注意力图，两个残差块分别通过一个卷积核为3
×
3、步长为1、输出通道数为32的卷积层，接着分别将输出特征与空间注意力图进行逐元素相乘，将相乘后的特征在通道维度上进行堆叠，接着依次经过一个卷积核为3
×
3、步长为1、输出通道数为32的卷积层、一个leaky relu激活函数、一个卷积核为3
×
3、步长为1、输出通道数为32的卷积层和一个卷积核为3
×
3、步长为1、输出通道数为1的卷积层，得到了包含两个残差图像信息的融合残差。
55.步骤4、图像重构
56.将得到的融合特征cf∈r
120
×
120
×1和ef∈r
120
×
120
×1相加即得到融合图像；
57.本实施例中基于秩一分解网络的图像融合训练模型采用的损失函数有l1loss和mseloss；
58.重构损失由l1和l2组成：
59.l
reconstitution
＝l1+l260.其中，l1和l2使用mseloss：
[0061][0062][0063]
纹理损失函数使用l1loss：
[0064][0065]
梯度损失函数使用l1loss：
[0066][0067]
融合损失由纹理损失l
texture
和梯度损失l
gradient
构成：
[0068]
lf＝l
texture
+1.2*l
gradient
[0069]
总的损失函数由重构损失和融合损失组成：
[0070]
l
total
＝l
reconstitution
+lf[0071]
其中i1∈r
120
×
120
×1为输入的红外图像iri，i2∈r
120
×
120
×1为输入的可见光图像visi，c1，c2，c3，
……cr
∈r
120
×
120
×1为秩一分解模块得到的秩一分量，e1和e2分别为iri和visi减去秩一分量得到的残差，if∈r
120
×
120
×1为iri和visi通过基于秩一分解的红外和可见光图像融合网络得到的融合图像，表示对x求梯度。
[0072]
本发明的效果可以通过以下仿真进一步说明。
[0073]
1.仿真环境：
[0074]
pycharm community edition 2022.1.2 x64，nvidia geforce rtx3090,ubuntu 18.04。
[0075]
2.仿真内容：
[0076]
仿真1，本发明的数据集采用包含不同场景的多光谱夜间图像的tno数据集，将红外图像和可见光图像进行融合，结果如图5所示，其中：
[0077]
图5(a)是可见光图像，大小为620
×
450
×
1，
[0078]
图5(b)是红外图像，大小为620
×
450
×
1，
[0079]
图5(c)为采用本发明对图5(a)和图5(b)进行融合后获得的融合图像，大小为620
×
450
×
1。
[0080]
对比可知，图5(c)的热辐射信息相比于图5(a)有明显提高，显著目标的边缘和纹理更加清晰，与图5(b)相比，图5(c)的背景纹理信息更加丰富，由此可见，本发明能够对图5
(a)和图5(b)进行较好的融合。
[0081]
仿真2，为了证明本发明的效果，分别用本发明的方法和现有其他的深度神经网络方法difnet和sdnet方法对图5(a)和图5(b)的图像进行融合，并对融合结果进行客观指标评价，评价指标如下：
[0082]
1)峰值信噪比psnr，可以以波段为单位评价重建的融合的空间质量，psnr最小值为0，psnr越大，两张图像差异越小，表示融合结果与参考图像越相似。
[0083]
2)均方误差mse，反映的是变量间的差异程度，是一种基于像素误差的图像质量客观评价指标，用于衡量融合图像和理想参考图像之间的差异，mse越小，表示融合图像质量越好。
[0084]
3)互信息mi，可度量两幅图像之间的相似程度，即融合图像获取了原图像信息量的多少。互信息越大，表示融合图像保留更多源图像信息，质量越好。
[0085]
4)基于噪声评估的融合性能n
abf
，表示通过融合过程中人为添加到融合图像上的噪声的比率，值越大越好。
[0086]
5)离散余弦特征互信息fmi
dct
，计算离散余弦和小波特征的互信息，值越大，互信息越多。
[0087]
6)小波特征互信息fmiw，计算离散余弦和小波特征的互信息，值越大越好。
[0088]
根据上述评价指标对本发明与现有技术的融合结果从客观评价指标上进行评价，结果如表1。
[0089]
表1各类方法融合结果的客观评价
[0090][0091][0092]
由表1可见，本发明的峰值信噪比psnr、互信息mi、离散余弦特征互信息fmi
dct
、小波特征互信息fmiw均大于现有技术的评价值，均方误差mse、基于噪声评估的融合性能n
abf
均小于现有技术的评价值，以上评价值均优于现有技术的评价值，由此可以看出本发明的大部分客观评价指标均优于现有技术的客观评价指标。
[0093]
实施例二
[0094]
本实施例公开了一种基于秩一分解网络的红外和可见光图像融合系统，包括：图像获取模块，被配置为：获取红外图像和可见光图像；
[0095]
图像堆叠模块，被配置为：对所述红外图像和可见光图像在通道维度上进行堆叠；
[0096]
秩一分解模块，被配置为：将堆叠后的图像序列进行逐级秩一分解处理，得到多级秩一分量、红外图像的残差以及可见光图像的残差；
[0097]
融合分量生成模块，被配置为：分别将多级秩一分量以及红外图像的残差和可见光图像的残差进行融合，得到包含有所有秩一分量信息的融合分量cf以及包含两个残差信
息的融合分量ef；
[0098]
融合图像生成模块，被配置为：将融合分量cf和ef通过元素加法进行相加，得到期望的融合图像if。
[0099]
实施例三
[0100]
本实施例的目的是提供计算机可读存储介质。
[0101]
计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例1所述的一种基于秩一分解网络的红外和可见光图像融合方法中的步骤。
[0102]
实施例四
[0103]
本实施例的目的是提供电子设备。
[0104]
电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的一种基于秩一分解网络的红外和可见光图像融合方法中的步骤。
[0105]
以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
[0106]
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
[0107]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

技术特征：
1.一种基于秩一分解网络的红外和可见光图像融合方法，其特征在于，包括：获取红外图像和可见光图像；对所述红外图像和可见光图像在通道维度上进行堆叠；将堆叠后的图像序列进行逐级秩一分解处理，得到多级秩一分量、红外图像的残差以及可见光图像的残差；分别将多级秩一分量以及红外图像的残差和可见光图像的残差进行融合，得到包含有所有秩一分量信息的融合分量c
f
以及包含两个残差信息的融合分量e
f
；将融合分量c
f
和e
f
通过元素加法进行相加，得到期望的融合图像i
f
。2.如权利要求1所述的一种基于秩一分解网络的红外和可见光图像融合方法，其特征在于，所述将堆叠后的图像序列进行逐级秩一分解处理，得到多级秩一分量，包括：将堆叠后的图像序列z1输入至第一级秩一分解模块得到秩一分量c1，将红外图像减去秩一分量c1得到a1，将可见光图像减去秩一分量c1得到b1；将a1和b1在通道维度上进行堆叠得到图像序列z2，将图像序列z2输入到第二级秩一分解模块得到秩一分量c2，红外图像减去秩一分量c2得到a2，可见光图像减去秩一分量c2得到b2；将得到的a2和b2在通道维度上进行堆叠图像序列得到z3，重复迭代r次，得到r个秩一分量c1，c2，c3，......c
r
。3.如权利要求2所述的一种基于秩一分解网络的红外和可见光图像融合方法，其特征在于，将堆叠后的图像序列输入至秩一分解模块得到秩一分量的具体步骤包括：将堆叠之后的图像序列依次输入到两个卷积层；对两个卷积层的输出进行求和，将求和后的结果与第一个卷积层的输出在通道维度上进行堆叠，将堆叠后的图像序列通过一个卷积层进行特征融合；将特征融合后的图像序列通过两个分支分别获得行向量和列向量；将得到的行向量和列向量相乘得到秩一分量。4.如权利要求2所述的一种基于秩一分解网络的红外和可见光图像融合方法，其特征在于，所述红外图像的残差和可见光图像的残差的计算方法包括：将获取的所述r个秩一分量进行求和得到c
sum
；将红外图像减去r个秩一分量的和c
sum
得到红外图像的残差e1；将可见光图像减去r个秩一分量的和c
sum
得到可见光图像的残差e2。5.如权利要求1所述的一种基于秩一分解网络的红外和可见光图像融合方法，其特征在于，将红外图像的残差和可见光图像的残差进行融合，得到包含两个残差信息的融合分量e
f
的具体步骤包括：将两个残差e1和e2输入到残差融合模块中，通过空间注意力模块得到空间注意力图，将注意力图与e1和e2进行融合，得到包含两个残差信息的融合分量e
f
。6.如权利要求5所述的一种基于秩一分解网络的红外和可见光图像融合方法，其特征在于，所述通过空间注意力模块得到空间注意力图，包括：将两个残差e1和e2在通道维度堆叠在一起，接着依次通过两个卷积层，最后通过sigmoid激活函数获得残差的空间注意力图。7.如权利要求5所述的一种基于秩一分解网络的红外和可见光图像融合方法，其特征在于，所述将注意力图与e1和e2进行融合包括：
将残差e1和e2分别通过卷积层进行特征提取；分别将两个残差的输出特征与空间注意力图进行逐元素相乘，将相乘后的两个特征在通道维度上进行堆叠；将堆叠后的特征输入卷积层，得到包含两个残差图像信息的融合分量。8.一种基于秩一分解网络的红外和可见光图像融合系统，其特征在于：包括：图像获取模块，被配置为：获取红外图像和可见光图像；图像堆叠模块，被配置为：对所述红外图像和可见光图像在通道维度上进行堆叠；秩一分解模块，被配置为：将堆叠后的图像序列进行逐级秩一分解处理，得到多级秩一分量、红外图像的残差以及可见光图像的残差；融合分量生成模块，被配置为：分别将多级秩一分量以及红外图像的残差和可见光图像的残差进行融合，得到包含有所有秩一分量信息的融合分量c
f
以及包含两个残差信息的融合分量e
f
；融合图像生成模块，被配置为：将融合分量c
f
和e
f
通过元素加法进行相加，得到期望的融合图像i
f
。9.计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的一种基于秩一分解网络的红外和可见光图像融合方法中的步骤。10.电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的一种基于秩一分解网络的红外和可见光图像融合方法中的步骤。

技术总结
本发明提出了一种基于秩一分解网络的红外和可见光图像融合方法及系统，包括：获取红外图像和可见光图像；对红外图像和可见光图像在通道维度上进行堆叠；将堆叠后的图像序列进行逐级秩一分解处理，得到多级秩一分量、红外图像的残差以及可见光图像的残差；分别将多级秩一分量以及残差进行融合，得到包含有所有秩一分量信息的融合分量C


技术研发人员：张凯 孙鲁丹 张风 孙建德 万文博
受保护的技术使用者：山东师范大学
技术研发日：2023.02.28
技术公布日：2023/7/19