一种图像超分辨率重建方法、系统及设备

1.本发明涉及一种图像超分辨率重建方法、系统及设备，尤其涉及一种基于深度学习的图像超分辨率重建方法、系统及设备。


背景技术：

2.图像超分辨率重建是指由一张低分辨率(low-resolution，lr)图像或者图像序列恢复出高分辨率(high-resolution，hr)图像的技术；高分辨率图像在科学、医学和工程等领域应用广泛，但制作高分辨率图像需要耗费大量时间和资源；因此，通过图像超分辨率重建技术可以从现有的低分辨率图像中获取更多的细节信息，实现高分辨率图像的生成；超分辨率重建技术可分为两类：一种是通过多张低分辨率图像来提高图像分辨率，另一种是仅使用单张低分辨率图像进行超分辨率重建；其中，单图像超分辨率技术因其简便易行而被广泛关注；这种技术通常基于重构方法、基于样例方法或深度学习方法，对输入的低分辨率图像进行处理，并推断出高分辨率图像的细节信息；图像超分辨率重建技术对于提高图像质量、增强图像特征表达能力以及改善视觉效果具有重要意义。
3.近年来，基于深度学习的图像超分辨率重建方法备受关注；卷积神经网络(convolution neural network,cnn)是一种有效的学习模型，可以通过传统梯度下降法训练模型学习图像特征，适合应用于图像特征的学习与表达；因此，自开创性工作srcnn被提出以来，许多基于cnn的超分辨率模型被提出，包括使用残差块、密集块等更精细的神经网络架构设计，以及通道注意力、非局部注意力和自适应块聚合等注意力机制；使用基于cnn的图像超分辨率重建方法可以有效提高图像质量；但是，目前现有技术中，卷积核对图像内容的建模效果并不好，尤其是在处理长期依赖关系时，cnn其固定的局部感受野在处理长序列时可能丢失一些上下文信息，且参数量较大，增加模型容量可以改善结果，但通常会导致图像细节和纹理细节的恢复不足。


技术实现要素：

4.发明目的：本发明的目的是提供一种可以精确重建纹理细节的基于深度学习的图像超分辨率重建方法、系统及设备。
5.技术方案：本发明所述的图像超分辨率重建方法，包括以下步骤：
6.(1)将原始高分辨率图像设为第一参考图像，通过第一参考图像获取第一图像和输入图像；
7.(2)利用卷积结构下采样提取输入图像的浅层特征，得到第二参考图像；
8.(3)通过组合操作处理第二参考图像，获得第二参考图像的放大特征图，对其进行融合操作，得到融合特征图像；
9.(4)将融合特征图像进行迭代上下采样操作，提取出深层图像信息进行重建，得到第一图像的超分辨率图像；
10.(5)将第一图像的超分辨率图像利用对偶卷积结构进行降采样，获得超分辨率降
采样图像；
11.(6)通过训练得到图像超分辨率重建模型，使用模型对低分辨率图像进行重建，得到重建完成的超分辨率图像。
12.步骤(1)所述的第一图像由第一参考图像通过双三次插值法降采样4倍分辨率得到。
13.步骤(1)所述的输入图像由第一图像通过卷积结构放大4倍分辨率得到。
14.步骤(3)所述的组合操作，具体包括依次执行的：多次由若干个剩余通道注意力处理操作、一次转换器操作和一次上采样操作。
15.步骤(3)所述的融合操作具体为，将第二参考图像的放大特征图与输入图像的浅层特征进行融合操作。
16.步骤(6)所述的通过训练得到图像超分辨率重建模型，具体方法为将超分辨率图像与第一参考图像进行迭代更新运算，采用最小绝对值偏差损失函数训练预训练模型，以及将超分辨率降采样图像与所述第一图像进行迭代更新运算，采用最小绝对值偏差损失函数训练预训练模型，得到完成训练的图像超分辨率重建模型。
17.本发明还提供了一种图像超分辨率重建系统，包括发送单元和接收单元。
18.所述发送单元，包含图像预处理模块和发送模块，其中：所述图像预处理模块，用于通过第一参考图像获取第一图像和输入图像；所述发送模块，用于将第一图像和输入图像发送到接收单元。
19.所述接收单元，包含接收模块、特征提取模块、图像重建模块和输出模块，其中：所述接收模块，用于接收发送单元输出的结果；所述特征提取模块，用于利用卷积结构下采样提取输入图像的浅层特征，得到第二参考图像；所述图像重建模块，用于通过组合操作处理第二参考图像，获得第二参考图像的放大特征图，对其进行融合操作，得到融合特征图像；将融合特征图像进行迭代上下采样操作，提取出深层图像信息进行重建，得到第一图像的超分辨率图像；将第一图像的超分辨率图像利用对偶卷积结构进行降采样，获得超分辨率降采样图像；通过训练得到图像超分辨率重建模型，使用模型对低分辨率图像进行重建，得到重建完成的超分辨率图像；所述输出模块，用于将得到的重建完成的超分辨率图像输出到指定位置。
20.本发明还提供了一种图像超分辨率重建设备，包括存储器、处理器、接口装置和通信装置，其中：所述存储器，用于存储程序指令；所述处理器，用于调用存储器中存储的程序指令，执行所述图像超分辨率重建方法的步骤(1)-(6)；所述接口装置，用于提供有线或无线通讯的接口；所述通信装置，用于进行短程或远程通信。
21.有益效果：与现有技术相比，本发明具有如下显著优点：1、去除多余伪影保留高频细节的同时获得更清晰的边缘与纹理，重建的超分辨率图像更加逼真；2、减少了重建lr图像时额外映射空间，提高了图像超分辨率重建模型性能，更加充分利用所述第一图像的浅层及深层特征。
附图说明
22.图1为本发明实施例提供的图像超分辨率重建方法的流程示意图；
23.图2为本发明实施例图像接收后应用图像超分辨率重建方法的具体流程图；
24.图3为本发明实施例的特征提取模块的图像处理过程示意图；
25.图4为本发明实施例的图像重建模块中残差转换网络图像处理过程示意图；
26.图5为本发明实施例的图像重建模块的图像处理过程示意图；
27.图6为本发明实施例的对偶回归模块的图像处理过程示意图；
28.图7为本发明实施例的图像超分辨率重建方法的全过程示意图；
29.图8为本发明实施例提供的图像超分辨率重建系统的示意图；
30.图9为本发明实施例提供的图像超分辨率重建设备的示意图。
具体实施方式
31.下面结合附图与实施例对本发明的技术方案作进一步说明。
32.如附图1所示，本发明实施例供的图像超分辨率重建方法的流程图，具体步骤包括：
33.步骤s101：将原始高分辨率图像设为第一参考图像，通过第一参考图像获取第一图像和输入图像；第一图像由第一参考图像通过双三次插值法降采样4倍分辨率得到，再将第一图像通过卷积结构放大4倍分辨率，获得输入图像。其中，第一图像小于256*256，第一参考图像不小于256*256，输入图像不小于256*256；例如，第一图像分辨率为64*64，第一参考图像分辨率为256*256，输入图像分辨率为256*256。
34.步骤s102：利用卷积结构下采样提取输入图像的浅层特征，得到第二参考图像；将输入图像传输至特征提取模块，利用卷积结构下采样提取输入图像浅层特征，获得第二参考图像。其中，第二参考图像分辨率等于第一图像分辨率。第二参考图像分辨率不小于64*64；例如，第二参考图像分辨率为64*64。
35.步骤s103：通过组合操作处理第二参考图像，获得第二参考图像的放大特征图，对其进行融合操作，得到融合特征图像；将第二参考图像依次进行剩余通道注意力机制、转换器及上采样处理，获得第二参考图像的放大特征图。再将第二参考图像的放大特征图与输入图像的浅层特征进行融合操作，获得融合特征图像。
36.步骤s104：将融合特征图像进行迭代上下采样操作，提取深层图像信息进行重建，得到第一图像的超分辨率图像；其中，第一图像的超分辨率图像的分辨率等于第一参考图像的分辨率；例如，第一参考图像分辨率为256*256，第一图像的超分辨率图像的分辨率为256*256。
37.步骤s105：将第一图像的超分辨率图像利用对偶卷积结构，获得超分辨率降采样图像；其中，超分辨率降采样图像分辨率等于第一图像分辨率；例如，第一图像分辨率为64*64，超分辨率降采样图像分辨率为64*64。
38.步骤s106：通过训练得到图像超分辨率重建模型，使用模型对低分辨率图像进行重建，得到重建完成的超分辨率图像；将超分辨率图像与第一参考图像进行迭代更新运算，采用最小绝对值偏差损失函数训练预训练模型，以及将超分辨率降采样图像与所述第一图像进行迭代更新运算，采用最小绝对值偏差损失函数训练预训练模型，得到完成训练的图像超分辨率重建模型。使用模型对低分辨率图像进行重建，得到重建完成的超分辨率图像。
39.图像接收后应用本实施例的图像超分辨率重建方法的具体流程图如附图2所示。
40.如附图3所示，在具体实施例中特征提取模块的图像处理的过程，采用具体数据对
方法进行阐述，包括：图片接收第一图像i
lr
∈rc×h×w、第一参考图像i
hr
∈rc×
(h
·
scale)
×
(w
·
scale)
，第一图像首先经过一个卷积核大小为3
×
3，步长为1，padding为1，通道数为3的卷积层，得到输入图像img
x
∈rc×
(h
·
scale)
×
(w
·
scale)
。
41.再将输入图像输入到特征提取模块。经过两个下采样结构，下采样结构clc为一个卷积核k大小为3
×
3，步长为2，padding为1的卷积层、一个leakyrelu激活函数及一个卷积核k大小为3
×
3，步长为1，padding为1的卷积层组成。输入图像的浅层特征利用下采样结构提取，将输入图像下采样4倍获得第二参考图像imgi∈rc×h×w，公式表示为
42.如附图4所示，在具体实施例中图像重建模块中残差转换网络图像处理过程，包括：将第二参考图像输入至重建模块后经过一个rstp网络，rstp网络由4个剩余通道注意块rcab结构、1个rstb结构及一个上采样组成。其中rcab结构由四个卷积核大小为3
×
3的conv卷积层、一个relu激活函数、一个池化层、一个sigmoid激活函数及注意力机制组成。使用rcab结构构建基本rstp网络增加网络深度并使网络能专注于第二参考图像特征中信息量更多的部分。从而获得第二参考图像的放大特征图img
t
∈rc×
(h
·
scale)
×
(w
·
scale)
，公式表示为img
t
＝f(imgi)。其中rstb结构由6个stl结构及一个卷积层组成，stl结构由两个layernorm层、一个多头注意力机制及一个多层感知器组成，将第二参考图像特征重新塑造为的特征，首先划分为m
×
m个不重叠窗口，窗口数量为再计算每个窗口的自注意力。其中，上采样结构由一个卷积核大小为3
×
3的conv卷积层、一个pixelshuffle像素重组函数及一个卷积核大小为1
×
1的conv卷积层组成。
43.如附图5所示，在具体实施例中图像重建模块的图像处理过程，提供了一种将残差转换网络与迭代上下采样相结合的图像重建方法，具体如下：将第二参考图像imgi∈rc×h×w输入至图像重建模块，经过两个rstp网络及两个迭代上下采样方法对第二参考图像特征进行深度提取，并将输入图像的浅层特征f0与从第二参考图像中提取到的放大特征ff相融合,公式表示为f＝concat(f0+ff)。其次提取出深层图像信息进行重建，得到第一图像的超分辨率图像i
sr
∈rc×
(h
·
scale)
×
(w
·
scale)
，全重建流程公式表示为i
sr
＝g(i
lr
)。
44.如附图6所示，在具体实施例中对偶回归模块的图像处理过程，包括：将第一图像的超分辨率图像i
sr
∈rc×
(h
·
scale)
×
(w
·
scale)
输入到clct模块，clct模块和下采样结构clc相似，由一个卷积核k大小为3
×
3，步长为1，padding为1的卷积层、一个leakyrelu激活函数及一个卷积核k大小为3
×
3，步长为2，padding为1的卷积层组成。两个clct模块使第一图像的超分辨率图像下采样到与第二参考图像同等分辨率的图像，获得超分辨率降采样图像，表示为i
lr'
∈rc×h×w，将i
lr'
图像与i
lr
图像通过最小绝对偏差损失作差得到对偶回归损失函数。
45.在具体实施例中，batchsize设定为12，patchsize设定为64，初始学习率设定为10-5
，迭代总次数为1000次。使用最小绝对偏差l1及对偶回归损失ld为损失函数，选择adam优化器优化训练，m为m个未配对高分辨率图像，n为n组通过双三次插值法合成的配对数据集(lr-hr)，其中m与n的数量占比为3:7，公式表示为使用训练完成的图像超分辨率重建模型对低分辨率图像进行重建，可得到重建完成的超分辨率图像。
46.如附图7所示，为具体实施例的图像超分辨率重建方法的全过程示意图。如图7所
示，包括：将附图3、附图4、附图5和附图6结合起来，包括：特征提取模块、残差转换网络模块、图像重建模块及对偶回归模块。
47.如附图8所示，其为本发明实施例中提供的图像超分辨率重建装置的系统示意图，包括：发送单元与接收单元，该系统能够实现步骤s101-s106，发送单元包括：发送模块71，用于将经过压缩后的低分辨率图像，即第一图像，发送到指定接收位置；图像预处理模块72，将原始高分辨率图像，即第一参考图像，通过双三次插值法压缩至低分辨率图像；接收单元包括：接收模块73，用于接收经过压缩后的低分辨率图像，即第一图像；特征提取模块74，用于对第一图像放大后的输入图像进行特征提取，得到第二参考图像；其中第二参考图像包含第一图像的高低频信息；图像重建模块75，采用残差转换网络对第二参考图像进行深层特征提取，并重建出超分辨率图像；其中残差转换网络具有4个级联的剩余通道注意块及6个stl块(swin transformer layer),在每一级剩余通道注意块和stl块中对第二参考图像进行放大操作，得到第二参考图像放大特征图像；再对第二参考图像放大特征图像与特征提取模块中提取到输入图像的浅层特征进行特征融合，再进行迭代上下采样操作，得到第一图像的超分辨率图像将第一图像的超分辨率图像利用对偶卷积结构，获得超分辨率降采样图像，通过训练得到图像超分辨率重建模型，使用模型对低分辨率图像进行重建，最终得到重建的超分辨率图像；输出模块76，用于将得到重建得到的超分辨率图像输出到指定位置。
48.如附图9所示，其为本发明实施例中提供的图像超分辨率重建设备的硬件结构示意图，包括：图像发送设备及图像接收设备，图像发送设备通过有线或无线的方式与图像接收设备连接并通信，传输相关图像数据；发送方的图像发送设备可通过处理器500中的计算机程序将存储器600中的原始高分辨率图像压缩为低分辨率图像，并通过接口装置700和通信装置800将其发送给接收方的图像接收设备；接收方的设备在存储器600中保存接收到的图像，并通过处理器500中的本实施例的图像超分辨率重建方法将图像恢复为超分辨率图像；该图像超分辨率重建设备该设备可以包含图8的发送装置和接收装置，也可以是其他有能力进行图像处理的装置，在此不做限定；其中，计算机程序产品包括计算机可读存储介质，上面存储着用于实现本发明的计算机可读程序指令，这些指令可以是机器指令、汇编语言指令、高级语言指令和脚本语言指令等；计算机可读介质是一种有形设备，例如硬盘、随机存取存储器、只读存储器或便携式压缩盘只读存储器，它可以保存和存储由指令执行设备使用的指令。
49.该系统可适用于各种类型的图像，如自然图像、视频帧图像、公开遥感图像等。图像发送设备和图像接收设备均包括处理器500、存储器600、接口装置700和通信装置800，并具备不同类型的存储器和接口装置，通信装置支持有线或无线通信，例如有线通信包括以太网、usb、hdmi及串口，短程无线通信协议wi-fi、bluetooth、zigbee等。图像发送设备的存储器600中存储有计算机程序，可以用来执行特定操作；该程序可用于压缩原始高分辨率图像，产生压缩后的低分辨率图像，并把它发送到图像接收设备。图像接收设备的存储器600中同样存储有计算机程序，用于处理器500执行基于本实现例的图像超分辨率方法。该方法能够通过接收到的低分辨率图像，即第一图像，重建出高分辨率原始图像，即第一图像的超分辨率图像，以完成图像恢复。

技术特征：
1.一种图像超分辨率重建方法，其特征在于，包括以下步骤：(1)将原始高分辨率图像设为第一参考图像，通过第一参考图像获取第一图像和输入图像；(2)利用卷积结构下采样提取输入图像的浅层特征，得到第二参考图像；(3)通过组合操作处理第二参考图像，获得第二参考图像的放大特征图，对其进行融合操作，得到融合特征图像；(4)将融合特征图像进行迭代上下采样操作，提取出深层图像信息进行重建，得到第一图像的超分辨率图像；(5)将第一图像的超分辨率图像利用对偶卷积结构进行降采样，获得超分辨率降采样图像；(6)通过训练得到图像超分辨率重建模型，使用模型对低分辨率图像进行重建，得到重建完成的超分辨率图像。2.根据权利要求1所述的图像超分辨率重建方法，其特征在于，步骤(1)所述的第一图像由第一参考图像通过双三次插值法降采样4倍分辨率得到。3.根据权利要求1所述的图像超分辨率重建方法，其特征在于，步骤(1)所述的输入图像由第一图像通过卷积结构放大4倍分辨率得到。4.根据权利要求1所述的图像超分辨率重建方法，其特征在于，步骤(3)所述的组合操作，具体包括依次执行的：多次由若干个剩余通道注意力处理操作、一次转换器操作和一次上采样操作。5.根据权利要求1所述的图像超分辨率重建方法，其特征在于，步骤(3)所述的融合操作具体为，将第二参考图像的放大特征图与输入图像的浅层特征进行融合操作。6.根据权利要求1所述的图像超分辨率重建方法，其特征在于，步骤(6)所述的通过训练得到图像超分辨率重建模型，具体方法为将超分辨率图像与第一参考图像进行迭代更新运算，采用最小绝对值偏差损失函数训练预训练模型，以及将超分辨率降采样图像与所述第一图像进行迭代更新运算，采用最小绝对值偏差损失函数训练预训练模型，得到完成训练的图像超分辨率重建模型。7.一种图像超分辨率重建系统，其特征在于，包括发送单元和接收单元。8.根据权利要求7所述的图像超分辨率重建系统，其特征在于，所述发送单元，包含图像预处理模块和发送模块，其中：所述图像预处理模块，用于通过第一参考图像获取第一图像和输入图像；所述发送模块，用于将第一图像和输入图像发送到接收单元。9.根据权利要求7所述的图像超分辨率重建系统，其特征在于，所述接收单元，包含接收模块、特征提取模块、图像重建模块和输出模块，其中：所述接收模块，用于接收发送单元输出的结果；所述特征提取模块，用于利用卷积结构下采样提取输入图像的浅层特征，得到第二参考图像；所述图像重建模块，用于通过组合操作处理第二参考图像，获得第二参考图像的放大特征图，对其进行融合操作，得到融合特征图像；将融合特征图像进行迭代上下采样操作，提取出深层图像信息进行重建，得到第一图像的超分辨率图像；将第一图像的超分辨率图
像利用对偶卷积结构进行降采样，获得超分辨率降采样图像；通过训练得到图像超分辨率重建模型，使用模型对低分辨率图像进行重建，得到重建完成的超分辨率图像；所述输出模块，用于将得到的重建完成的超分辨率图像输出到指定位置。10.一种图像超分辨率重建设备，其特征在于，包括存储器、处理器、接口装置和通信装置，其中：所述存储器，用于存储程序指令；所述处理器，用于调用存储器中存储的程序指令，执行如权利要求1中所述图像超分辨率重建方法的步骤(1)-(6)；所述接口装置，用于提供有线或无线通讯的接口；所述通信装置，用于进行短程或远程通信。

技术总结
本发明公开了一种图像超分辨率重建方法、系统及设备，所述方法包括：通过第一参考图像获取第一图像和输入图像；利用卷积结构下采样提取输入图像浅层特征，得到第二参考图像；通过组合操作处理第二参考图像，得到融合特征图像；将融合特征图像进行迭代上下采样操作，得到第一图像的超分辨率图像；将第一图像超分辨率图像利用对偶卷积结构进行降采样，获得超分辨率降采样图像；通过训练得到图像超分辨率重建模型，使用模型对低分辨率图像进行重建，得到重建完成的超分辨率图像；采用上述方案，可以使超分辨率图像具有丰富纹理，提高了图像超分辨率的性能，实现了充分利用浅层深层图像特征完成图像超分辨率重建。征完成图像超分辨率重建。征完成图像超分辨率重建。


技术研发人员：李佩珊 张永宏 王丽华
受保护的技术使用者：南京信息工程大学
技术研发日：2023.05.08
技术公布日：2023/7/7