基于深度递归残差通道注意力的图像放大方法

1.本发明涉及图像处理技术领域，具体为基于深度递归残差通道注意力的图像放大方法。


背景技术：

2.图像放大是从单个低分辨率图像重建相应的高质量高分辨率图像的处理技术，在图像信息处理中是非常重要的基础辅助方法，在医学成像、卫星成像以及安全和监视等领域都有广泛的应用。图像放大方法的种类很多，例如传统的图像放大方法，像基于插值、稀疏表示(字典学习)、邻域嵌入等，由于可利用的信息有限，无法重建高频细节，进而无法获得高质量的hr图像。近年来，随着深度卷积神经网络的发展，深度卷积神经网络展现出了强大的表征能力，图像超分辨任务(sr)可以通过使用大型图像数据集学习从lr到hr图像块的映射，取得了极好的效果。因此，基于深度卷积神经网络的图像超分辨任务成为解决该问题的主流方法。
3.图像超分辨任务在利用深度卷积神经网络强大表征能力的同时，同样存在着一些问题。由于一些神经网络模型的深度较浅，在捕获图像的高频细节方面达不到很好的效果，导致在图像重建时丢失很多的重要细节，最终使得放大图像的质量不高。训练深层次网络往往受到梯度消失和梯度爆炸以及退化问题的限制。很少有神经网络模型考虑到远距离像素之间的相关性，且大多数模型平等地对待通道特征，对不同通道特征的信息融合缺乏灵活性。图像超分辩可以看作是一个过程，在这个过程中保留lr中大量的低频信息，尽可能多的恢复高频信息。lr图像包含大量低频信息，可以直接通过身份映射直接转发到最终的hr输出。然而，领先的基于cnn的方法因卷积核不可跨通道卷积，缺乏跨特征通道的判别学习能力，并阻碍深度网络的表征能力。


技术实现要素：

4.本发明的目的在于提供基于深度递归残差通道注意力的图像放大方法，以解决上述背景技术提出的目前市场上由于一些神经网络模型的深度较浅，在捕获图像的高频细节方面达不到很好的效果，导致在图像重建时丢失很多的重要细节，最终使得放大图像的质量不高，基于cnn的方法因卷积核不可跨通道卷积，缺乏跨特征通道的判别学习能力，并阻碍深度网络的表征能力的问题。
5.为实现上述目的，本发明提供如下技术方案：基于深度递归残差通道注意力的图像放大方法，所述的图像放大方法步骤为：(1)、对训练数据集进行预处理；(2)、构建卷积神经网络模型，并利用训练数据集训练卷积神经网络参数；(3)、根据步骤2中的卷积神经网络的模型及其训练参数，以最小化损失函数为目标训练卷积神经网络；(4)、利用训练好的卷积神经网络模型，对低分辨率图像进行超分辨率测试。
6.优选的，所述的步骤(1)包括：(1-1)对训练数据集进行数据增强；(1-2)将训练数据集中rgb图像转为ycbcr图像；(1-3)取ycbcr图像中的y通道图像；(1-4)对图像进行二次
插值下采样；(1-5)对图像进行二次插值上采样；(1-6)获得训练数据集。
7.优选的，所述的步骤(2)包括：(2-1)浅层特征提取部分；(2-2)递归块深度特征提取部分；(2-3)重建部分。
8.优选的，所述的步骤(2-1)包括：浅层特征提取部分仅有一个卷积层用于提取图像的浅层特征c0，该部分中的卷积层使用3*3的卷积核，输入通道为1，输出通道为128，且经过卷积层后图像的尺寸不变。然后，特征通道再经过线性整流层relu输出到递归块深度特征提取部分。浅层特征c0可由式(1)
9.表示：c0＝relu(f
sf
(i
lr
))(1)
10.其中i
lr
表示输入到模型的低分辨图像，f
sf
(
·
)表示浅层特征提取部分中的卷积操作，relu(
·
)表示线性整流操作。
11.优选的，所述的步骤(2-2)包括：
12.(2-2-1)递归块深度特征提取部分由k个递归块构成，每个递归块又由i个具有残差学习的残差通道注意力单元构成，这种残差结构可以有效避免模型出现梯度消失的问题，有利于梯度的反向传播，进而模型可以有效训练收敛。第k个递归块的输出可由式(2)表示：
[0013][0014]
其中，表示第k-1个递归块输出的特征通道，表示第k个递归块的映射函数，既表示第k层的输出，又表示第k+1层的输入。
[0015]
(2-2-2)多个残差通道注意力单元构成了递归块，是递归块中的主要组成成分。残差通道注意力单元又由两个卷积层、通道特征融合部分、和通道注意力部分构成，其中还包含局部残差学习。残差通道注意力单元中的局部残差学习可以使模型进行有效的反向传播，以达到训练深层网络模型的目的。局部残差学习也充分考虑到了输入特征通道和输出特征通道的相似性，能使模型有足够的资源来学习高频细节部分。因此，第k个递归块中的第i个残差通道注意力单元的输出可表示为：
[0016]ck,i
＝c
k,i-1
+f
k,i
(c
k,i-1
)＝c
k,i-1
+f
k,i
(l f
k,1
(f
k-1
)l), (4)
[0017]
其中,c
k,i
和c
k,i-1
表示第k个残差通道注意力单元的输出和输入，f
k,i
表示第i个残差通道注意力单元的映射函数。
[0018]
(2-2-3)通道注意力的引入主要是解决模型不能跨通道学习的弊端，每个通道特征被平等地对待，这显然是不符合实际情况的。通道注意力使模型能够捕获通道间的相互依赖关系，进而使模型能够更加的关注特征通道的高频细节区域，使模型能够重建更加精细的高频区域。通道注意力的实现步骤主要如下：
[0019]
a)输入到通道注意力部分的特征通道先经过全局平均池化操作，将每个特征通道池化成代表该特征通道的单个像素值；全局平均池化操作可由式(6)表示:
[0020][0021]
其中cj表示第j个特征通道经过全局平均池化后的单个像素值，p(
·
)表示全局平均池化操作；
[0022]
b)将经过全局平均池化后的输出再用1
×
1卷积操作进行压缩；
[0023]
式(7)表示压缩操作：
[0024]
r＝θ1(c1l cjl cj)
ꢀꢀ
(7)
[0025]
其中r表示经过卷积层压缩后的输出，其中θ1(
·
)表示1
×
1的压缩操作；
[0026]
c)然后将压缩后的输出再经过放大，放大成像素值个数和原特征通道个数相同；式(8)表示像素值放大操作：
[0027]
g＝θ1(σ(r))
ꢀꢀ
(8)
[0028]
其中g表示经过卷积层放大后的输出，σ(
·
)表示relu线性整流激活函数。
[0029]
d)再将放大后的像素值与原特征通道做乘法。式(9)表示通道注意力的输出。
[0030]cout
＝g
×
x
ꢀꢀ
(9)
[0031]
其中c
out
表示通道注意力的输出，x表示通道注意力的输入。
[0032]
优选的，所述的步骤(2-3)包括：重建部分是由一个卷积层构成，是将模型学习到的所有特征进行一次汇总融合，然后和模型的输入做一次加法运算，即全局学习。全局学习的引入是考虑到低分辨率图像和高分辨率图像的相似性。能够使模型尽量少的关注图像的低频信息区域，给模型让出足够的资源来学习图像的高频细节区域。式(10)表示特征融合操作：
[0033]crecon
＝f
recon
(ck),
ꢀꢀ
(10)
[0034]
其中c
recon
表示融合后的特征，f
recon
(
·
)表示融合操作，ck表示最后一个递归块输出的深度特征。式(11)表示加法操作：
[0035]isr
＝sum(c
recon
,i
lr
),
ꢀꢀ
(11)
[0036]
其中，sum(
·
)表示逐元素求和操作。i
sr
表示最后的超分辨图像。i
lr
表示输入模型的低分辨率图像。
[0037]
优选的，所述的步骤(3)包括：损失函数loss采用了l2范数损失函数，其中，n为每个训练批次的样本数，表示高分辨图像，y表示对应的重建图像。最小化损失函数采用小批量随机梯度下降优化算法，小批量随机梯度下降优化算法具有较高的计算效率，并且能朝着全局最小值稳定收敛，因为计算了n个样本的平均梯度，从而减少了噪声。其中卷积神经网络模型的权值θ的初始值由随机函数生成，足够的随机性能增强网络的鲁棒性。
[0038]
优选的，所述的步骤(4)包括：对低分辨率图像进行预处理，使用训练好的神经网络模型，生成最终的hr图像。
[0039]
与现有技术相比，本发明的有益效果是：该基于深度递归残差通道注意力的图像放大方法，对不同神经网络层提取到的特征进行融合，有效地增强了模型提取图像纹理细节的能力，提高了放大图像的细节感官效果。该基于深度递归残差通道注意力的图像放大方法，通过递归学习可以有效学习远距离像素之间的相关性，增强了模型重构高频信息的能力，同时，可以减轻网络参数，减少了计算时间。该基于深度递归残差通道注意力的图像放大方法，特别考虑了通道间的相关性，使模型具有跨通道学习的能力，同时还关注了不同神经网络层之间的特征相关性，加强了模型对图像特征提取的能力，图像远距离像素之间的相关性，可以引导模型的学习和图像细节的重建。
附图说明
[0040]
图1为本发明基于深度递归残差通道注意力的图像放大方法的算法流程图；
[0041]
图2为本发明基于深度递归残差通道注意力的图像放大方法的数据预处理流程图；
[0042]
图3为本发明基于深度递归残差通道注意力的图像放大方法构建的卷积神经网络结构图；
[0043]
图4为本发明基于深度递归残差通道注意力的图像放大方法构建的残差通道注意力单元结构图；
[0044]
图5为本发明基于深度递归残差通道注意力的图像放大方法构建的通道注意力结构图。
具体实施方式
[0045]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0046]
请参阅图1-5，本发明提供技术方案：基于深度递归残差通道注意力的图像放大方法，所述的图像放大方法步骤为：
[0047]
(1)、对训练数据集进行预处理，包括：(1-1)对训练数据集进行数据增强，通过对训练图像先进行翻转和旋转操作的数据增强方式，具体来说，将原始训练图像按不同的角度进行旋转，因此，对于每张原始训练图像都有七个派生版本；(1-2)将训练数据集中rgb图像转为ycbcr图像，将训练数据集中的(包括增强后的)图像都转为ycbcr图像；(1-3)取ycbcr图像中的y通道图像，取训练集中所有ycbcr图像的y通道图像为待训练图像；(1-4)对图像进行二次插值下采样，将所有y通道图像按不同的放大因子(x2,x3,x4)进行二次插值下采样；(1-5)对图像进行二次插值上采样，再将二次插值下采样后的图像按原来的放大因子(x2,x3,x4)进行二次插值上采样；(1-6)获得训练数据集，为了方便训练，将二次插值上采样后的图像和原本y通道图像按相同的步长裁剪相同大小的图像作为训练的一对图像。
[0048]
(2)、构建卷积神经网络模型，并利用训练数据集训练卷积神经网络参数。
[0049]
构建的卷积神经网络模型主要由三部分组成：(2-1)浅层特征提取部分；
[0050]
(2-2)递归块深度特征提取部分；(2-3)重建部分。
[0051]
其中(2-1)浅层特征提取部分：仅有一个卷积层用于提取图像的浅层特征c0，该部分中的卷积层使用3
×
3的卷积核，输入通道为1，输出通道为128，且经过卷积层后图像的尺寸不变。然后，特征通道再经过线性整流层relu输出到递归块深度特征提取部分。浅层特征c0可由式(1)表示：
[0052]
c0＝relu(f
sf
(i
lr
)) (1)
[0053]
其中i
lr
表示输入到模型的低分辨图像，f
sf
(
·
)表示浅层特征提取部分中的卷积操作，relu(
·
)表示线性整流操作。
[0054]
(2-2)递归块深度特征提取部分包括：
[0055]
(2-2-1)递归块
[0056]
递归块深度特征提取部分由k个递归块构成，每个递归块又由i个具有残差学习的残差通道注意力单元构成，这种残差结构可以有效避免模型出现梯度消失的问题，有利于梯度的反向传播，进而模型可以有效训练收敛。网络深度越深，模型效果往往越好，这同样适用于图像超分辨率任务，递归块的引入，除了可以有效加深模型的同时，又能避免模型因模型深度的加深引入过多的参数。同时，递归块因循环的特征，能使模型学习到远距离像素之间的相关性，有利于模型重建高频细节信息。第k个递归块的输出可由式(2)表示：
[0057][0058]
其中，表示第k-1个递归块输出的特征通道，表示第k个递归块的映射函数，既表示第k层的输出，又表示第k+1层的输入。进而，第k个递归块的输出可由式(3)表示：
[0059][0060]
其中，c0表示经过浅层特征提取的特征通道，表示某层递归块的映射函数，表示某层递归块输出的特征通道和下一层递归块输入的特征通道。
[0061]
(2-2-2)残差通道注意力单元
[0062]
多个残差通道注意力单元构成了递归块，是递归块中的主要组成成分。残差通道注意力单元又由两个卷积层、通道特征融合部分、和通道注意力部分构成，其中还包含局部残差学习。残差通道注意力单元输入的特征通道首先经过两个卷积层进行特征提取操作，这两个卷积层的卷积核都为3
×
3,且输入和输出通道皆为128，且输出的特征通道的尺寸都不变，然后将输入的特征通道和两个卷积层提取的特征通道整合在一起，输入到一个卷积层中，该卷积层的卷积核为1
×
1,输入通道为384，输出通道为128，且输出的特征通道尺寸不变。将不同层的特征通道融合后的输出输入到通道注意力中，使模型进行跨通道学习。残差通道注意力单元中的局部残差学习可以使模型进行有效的反向传播，以达到训练深层网络模型的目的。局部残差学习也充分考虑到了输入特征通道和输出特征通道的相似性，能使模型有足够的资源来学习高频细节部分。因此，第k个递归块中的第i个残差通道注意力单元的输出可表示为：
[0063]ck,i
＝c
k,i-1
+f
k,i
(c
k,i-1
)＝c
k,i-1
+f
k,i
(l f
k,1
(f
k-1
)l),
ꢀꢀ
(4)
[0064]
其中,c
k,i
和c
k,i-1
表示第k个残差通道注意力单元的输出和输入，f
k,i
表示第i个残差通道注意力单元的映射函数。因此，第k个递归块的输出还可表示为：
[0065][0066]
其中，表示第k个递归块的输出，表示第k个递归块第i-1个残差单元输出的特征通道，f
k,i
(
·
)表示第k个递归块，第i个残差通道注意力单元的映射函数。
[0067]
(2-2-3)通道注意力
[0068]
通道注意力的引入主要是解决模型不能跨通道学习的弊端，每个通道特征被平等地对待，这显然是不符合实际情况的。通道注意力使模型能够捕获通道间的相互依赖关系，进而使模型能够更加的关注特征通道的高频细节区域，使模型能够重建更加精细的高频区域。本发明的通道注意力实现步骤如下：
[0069]
a)输入到通道注意力部分的特征通道先经过全局平均池化操作，将每个特征通道池化成代表该特征通道的单个像素值；全局平均池化操作可由式(6)表示:
[0070][0071]
其中cj表示第j个特征通道经过全局平均池化后的单个像素值，p(
·
)表示全局平均池化操作；
[0072]
b)将经过全局平均池化后的输出再用1
×
1卷积操作进行压缩；式(7)表示压缩操作：
[0073]
r＝θ1(c1l cjl cj)
ꢀꢀ
(7)
[0074]
其中r表示经过卷积层压缩后的输出，其中θ1(
·
)表示1
×
1的压缩操作；
[0075]
c)然后将压缩后的输出再经过放大，放大成像素值个数和原特征通道个数相同；式(8)表示像素值放大操作：
[0076]
g＝θ1(σ(r))
ꢀꢀ
(8)
[0077]
其中g表示经过卷积层放大后的输出，σ(
·
)表示relu线性整流激活函数。
[0078]
d)再将放大后的像素值与原特征通道做乘法。式(9)表示通道注意力的输出。
[0079]cout
＝g
×
x
ꢀꢀ
(9)
[0080]
其中c
out
表示通道注意力的输出，x表示通道注意力的输入。
[0081]
(2-3)重建部分；
[0082]
重建部分是由一个卷积层构成，该卷积层的卷积核为3
×
3，输入通道为128，输出通道为1，是将模型学习到的所有特征进行一次汇总融合，然后和模型的输入做一次加法运算，即全局学习。全局学习的引入是考虑到低分辨率图像和高分辨率图像的相似性。能够使模型尽量少的关注图像的低频信息区域，给模型让出足够的资源来学习图像的高频细节区域。式(10)表示特征融合操作：
[0083]crecon
＝f
recon
(ck),
ꢀꢀ
(10)
[0084]
其中c
recon
表示融合后的特征，f
recon
(
·
)表示融合操作，ck表示最后一个递归块输出的深度特征。式(11)表示加法操作：
[0085]isr
＝sum(c
recon
,i
lr
),
ꢀꢀ
(11)
[0086]
其中，sum(
·
)表示逐元素求和操作。i
sr
表示最后的超分辨图像。i
lr
表示输入模型的低分辨率图像。
[0087]
(3)、根据步骤2中的卷积神经网络的模型及其训练参数，以最小化损失函数为目标训练卷积神经网络，其中损失函数loss采用了l2范数损失函数，其中，为每个训练批次的样本数，表示高分辨图像，表示对应的重建图像。最小化损失函数采用小批量随机梯度下降优化算法，小批量随机梯度下降优化算法具有较高的计算效率，并且能朝着全局最小值稳定收敛，因为计算了n个样本的平均梯度，从而减少了噪声。其中卷积神经网络模型的权值θ的初始值由随机函数生成，足够的随机性能增强网络的鲁棒性。
[0088]
(4)、利用训练好的卷积神经网络模型，对低分辨率图像进行超分辨率测试。
[0089]
(4-1)将基准数据集作为超分辨率测试的测试数据集，并且将数据集进行处理，将数据集中的rgb图像转为ycbcr图像，取ycbcr图像中的y通道图像；
[0090]
(4-2)将测试数据集中的图像先按放大因子进行双三次插值下采样，再按放大因
子进行双三次插值上采样，最后得到的张量大小为h
×w×
1，作为模型的输入张量；
[0091]
(4-3)将输入张量输入到训练好的卷积神经网络模型，卷积神经网络模型的输出是一个大小为h
×w×
1的张量，该张量代表一个灰度图像，即最后的超分辨率图像。
[0092]
工作原理：在使用该基于深度递归残差通道注意力的图像放大方法时，首先将待放大的图像进行预处理，若图像是rgb格式，需要先将其转为ycbcr格式的图像，然后取y通道图像，按放大因子进行双三次插值上采样，即得到神经网络的输入张量，将张量输入到训练好的神经网络中，先对张量进行浅层特征提取，然后通过若干个递归块提取深度特征，递归块能在控制参数的同时加深网络，同时，能捕获远距离像素之间的相互依赖关系。递归块又由若干个残差通道注意力单元组成，残差通道注意力单元中的通道特征融合模块可以融合不同网络深度下的通道特征，通道注意力模块可以使神经网络具有跨通道学习的能力。经过递归块的迭代，最后得到的残差图像和输入张量求和，完成图像放大。
[0093]
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.基于深度递归残差通道注意力的图像放大方法，其特征在于，所述的图像放大方法步骤为：(1)、对训练数据集进行预处理；(2)、构建卷积神经网络模型，并利用训练数据集训练卷积神经网络参数；(3)、根据步骤2中的卷积神经网络的模型及其训练参数，以最小化损失函数为目标训练卷积神经网络；(4)、利用训练好的卷积神经网络模型，对低分辨率图像进行超分辨率测试。2.根据权利要求1所述的基于深度递归残差通道注意力的图像放大方法，其特征在于：所述的步骤(1)包括：(1-1)对训练数据集进行数据增强；(1-2)将训练数据集中rgb图像转为ycbcr图像；(1-3)取ycbcr图像中的y通道图像；(1-4)对图像进行二次插值下采样；(1-5)对图像进行二次插值上采样；(1-6)获得训练数据集。3.根据权利要求1所述的基于深度递归残差通道注意力的图像放大方法，其特征在于：所述的步骤(2)包括：(2-1)浅层特征提取部分；(2-2)递归块深度特征提取部分；(2-3)重建部分。4.根据权利要求3所述的基于深度递归残差通道注意力的图像放大方法，其特征在于：所述的步骤(2-1)包括：浅层特征提取部分仅有一个卷积层用于提取图像的浅层特征c0，该部分中的卷积层使用3*3的卷积核，输入通道为1，输出通道为128，且经过卷积层后图像的尺寸不变。然后，特征通道再经过线性整流层relu输出到递归块深度特征提取部分。浅层特征c0可由式(1)表示：c0＝relu(f
sf
(i
lr
))(1)其中i
lr
表示输入到模型的低分辨图像，f
sf
(
·
)表示浅层特征提取部分中的卷积操作，relu(
·
)表示线性整流操作。5.根据权利要求3所述的基于深度递归残差通道注意力的图像放大方法，其特征在于：所述的步骤(2-2)包括：(2-2-1)递归块深度特征提取部分由k个递归块构成，每个递归块又由i个具有残差学习的残差通道注意力单元构成，这种残差结构可以有效避免模型出现梯度消失的问题，有利于梯度的反向传播，进而模型可以有效训练收敛。第k个递归块的输出可由式(2)表示：其中，表示第k-1个递归块输出的特征通道，表示第k个递归块的映射函数，既表示第k层的输出，又表示第k+1层的输入。(2-2-2)多个残差通道注意力单元构成了递归块，是递归块中的主要组成成分。残差通道注意力单元又由两个卷积层、通道特征融合部分、和通道注意力部分构成，其中还包含局部残差学习。残差通道注意力单元中的局部残差学习可以使模型进行有效的反向传播，以达到训练深层网络模型的目的。局部残差学习也充分考虑到了输入特征通道和输出特征通道的相似性，能使模型有足够的资源来学习高频细节部分。因此，第k个递归块中的第i个残差通道注意力单元的输出可表示为：c
k,i
＝c
k,i-1
+f
k,i
(c
k,i-1
)＝c
k,i-1
+f
k,i
(l f
k,1
(f
k-1
)l), (4)其中,c
k,i
和c
k,i-1
表示第k个残差通道注意力单元的输出和输入，f
k,i
表示第i个残差通道注意力单元的映射函数。
(2-2-3)通道注意力的引入主要是解决模型不能跨通道学习的弊端，每个通道特征被平等地对待，这显然是不符合实际情况的。通道注意力使模型能够捕获通道间的相互依赖关系，进而使模型能够更加的关注特征通道的高频细节区域，使模型能够重建更加精细的高频区域。通道注意力的实现步骤主要如下：a)输入到通道注意力部分的特征通道先经过全局平均池化操作，将每个特征通道池化成代表该特征通道的单个像素值；全局平均池化操作可由式(6)表示:其中c
j
表示第j个特征通道经过全局平均池化后的单个像素值，p(
·
)表示全局平均池化操作；b)将经过全局平均池化后的输出再用1
×
1卷积操作进行压缩；式(7)表示压缩操作：r＝θ1(c1l c
j
l c
j
)
ꢀꢀꢀ
(7)其中r表示经过卷积层压缩后的输出，其中θ1(
·
)表示1
×
1的压缩操作；c)然后将压缩后的输出再经过放大，放大成像素值个数和原特征通道个数相同；式(8)表示像素值放大操作：g＝θ1(σ(r))
ꢀꢀꢀ
(8)其中g表示经过卷积层放大后的输出，σ(
·
)表示relu线性整流激活函数。d)再将放大后的像素值与原特征通道做乘法。式(9)表示通道注意力的输出。c
out
＝g
×
x
ꢀꢀꢀ
(9)其中c
out
表示通道注意力的输出，x表示通道注意力的输入。6.根据权利要求3所述的基于深度递归残差通道注意力的图像放大方法，其特征在于：所述的步骤(2-3)包括：重建部分是由一个卷积层构成，是将模型学习到的所有特征进行一次汇总融合，然后和模型的输入做一次加法运算，即全局学习。全局学习的引入是考虑到低分辨率图像和高分辨率图像的相似性。能够使模型尽量少的关注图像的低频信息区域，给模型让出足够的资源来学习图像的高频细节区域。式(10)表示特征融合操作：c
recon
＝f
recon
(c
k
),
ꢀꢀꢀ
(10)其中c
recon
表示融合后的特征，f
recon
(
·
)表示融合操作，c
k
表示最后一个递归块输出的深度特征。式(11)表示加法操作：i
sr
＝sum(c
recon
,i
lr
),
ꢀꢀꢀ
(11)其中，sum(
·
)表示逐元素求和操作。i
sr
表示最后的超分辨图像。i
lr
表示输入模型的低分辨率图像。7.根据权利要求1所述的基于深度递归残差通道注意力的图像放大方法，其特征在于：所述的步骤(3)包括：损失函数loss采用了l2范数损失函数，其中，n为每个训练批次的样本数，表示高分辨图像，y表示对应的重建图像。最小化损失函数采用小批量随机梯度下降优化算法，小批量随机梯度下降优化算法具有较高的计算效率，并且能朝着全局最小值稳定收敛，因为计算了n个样本的平均梯度，从而减少了噪声。其中卷积神经网络模型的权值θ的初始值由随机函数生成，足够的随机性能增强网络的鲁棒性。
8.根据权利要求1所述的基于深度递归残差通道注意力的图像放大方法，其特征在于：所述的步骤(4)包括：对低分辨率图像进行预处理，使用训练好的神经网络模型，生成最终的hr图像。

技术总结
本发明公开了基于深度递归残差通道注意力的图像放大方法，包括所述的图像放大方法步骤为：(1)、对训练数据集进行预处理；(2)、构建卷积神经网络模型，并利用训练数据集训练卷积神经网络参数；(3)、根据步骤2中的卷积神经网络的模型及其训练参数，以最小化损失函数为目标训练卷积神经网络；(4)、利用训练好的卷积神经网络模型，对低分辨率图像进行超分辨率测试。该基于深度递归残差通道注意力的图像放大方法，对不同神经网络层提取到的特征进行融合，有效地增强了模型提取图像纹理细节的能力，提高了放大图像的细节感官效果。提高了放大图像的细节感官效果。提高了放大图像的细节感官效果。


技术研发人员：刘业朋 杨得志 范琳伟 张帆 赵峰
受保护的技术使用者：山东工商学院
技术研发日：2023.05.11
技术公布日：2023/8/9