基于协作性非本地上下文网络的图像去噪方法

1.本发明涉及图像处理技术领域，具体涉及一种基于协作性非本地上下文网络的图像去噪方法。


背景技术：

2.图像去噪是从有噪声的低质量图像中恢复干净的高质量图像的过程。在现实世界中，图像在采集过程中经常受到各种信号或噪声的污染，图像质量会下降。为了解决这一问题，图像去噪作为图像复原的一个基本问题，在过去的几十年里得到了广泛的研究，在各种现实计算机视觉任务中发挥着重要作用，如医学成像、监视和安全。它不仅可以提高图像的质量，还可以作为其他计算机视觉应用的辅助任务。
3.现有的图像去噪方法可以分为基于先验和基于学习的方法。基于先验的方法是基于自然图像中的一些先验，如局部平滑、自相似性等。虽然取得了显著的性能，但一旦先验与真实数据分布不一致，将得到不精确的去噪结果。与依赖先验的方法不同，基于学习的方法以端到端方式学习从噪声图像到干净图像的映射。近年来，随着深度神经网络的普及，许多基于卷积网络的图像去噪架构被设计出来。
4.然而，传统的卷积神经网络的方法只能在一个小的局部邻域中操作，无法利用特征的上下文依赖关系，无法充分利用图片的全部特征，去噪性能不佳。


技术实现要素：

5.本发明是为了解决上述现有技术存在的不足之处，提出一种基于协作性非本地上下文网络的图像去噪方法，联合像素级非局部特征和图像块级非局部特征，充分挖掘图像内的全局依赖关系，提高图像恢复的质量，从而能用于图像去噪任务，使图像的纹理细节信息得到很好的恢复。
6.本发明为达到上述发明目的，采用如下技术方案：
7.本发明一种基于协作性非本地上下文网络的图像去噪方法的特点在于，包括如下步骤：
8.步骤1、对数据集进行预处理，并构建输入样本数据；
9.在获取的高质量图片数据集中添加不同噪声水平的加性高斯白噪声，从而获得噪声图像数据集其中，表示第i张高质量图片，表示第i张噪声图像，t为高质量图片的总数；
10.步骤2、构建基于协作性非本地上下文网络模型，包括：浅层特征提取模块、深层特征提取模块以及图像重建模块；
11.步骤2.1、所述浅层特征提取模块为一层的卷积层，并用于对第i张噪声图像进行处理，得到第i个浅层特征
12.步骤2.2、所述深层特征提取模块由n个非局部特征提取模块组成，任意第n个非局部特征提取模块由1个像素级非局部模块和1个图像块级非局部模块组成，并用于对第i个浅层特征进行处理，得到第n个深层特征
13.步骤2.3、所述重建模块对第n个深层特征进行卷积操作，得到的结果与第i个浅层特征相加，得到第i张高质量图片
14.步骤3、训练网络，调整网络参数，得到最优模型：
15.所述噪声图像数据集i
lq
输入基于协作性非本地上下文网络模型中，并采用梯度下降法对所述基于协作性非本地上下文网络模型进行训练，同时计算如式(2)所示的损失函数l以更新模型参数，直到损失函数l收敛为止，从而得到训练好的协作性非本地上下文网络模型，用于实现对任一噪声图像的高质量恢复：
[0016][0017]
本发明所述的基于协作性非本地上下文网络的图像去噪方法的特点也在于，所述步骤2.2包括：
[0018]
步骤2.2.1、所述像素级非局部模块依次由m个注意引导残差块和1个卷积层piconv组成；其中，任意第m个注意引导残差块依次由卷积层、激活函数层relu、卷积层以及一对并行的空间感知上下文模块和通道感知上下文模块、残差支路组成；
[0019]
当n＝1,m＝1时，所述浅层特征输入到第n个非局部特征提取模块中的像素级非局部模块，并依次经过第m个注意引导残差块的第一卷积层、激活函数层relu、第二卷积层的处理后输出特征图其中，c、h和w分别表示图片的通道数量、高度和宽度；
[0020]
所述特征图分别输入第m个注意引导残差块的空间感知上下文模块和通道感知上下文模块中进行处理，其中，所述空间感知上下文模块对依次经过卷积层和softmax函数处理后，得到空间上下文注意权重并与进行矩阵相乘，得到上下文集合
[0021]
所述空间感知上下文模块对进行卷积操作后得到转换后的特征向量并与进行加权平均集成，从而得到空间感知的上下文特征
[0022]
所述通道感知上下文模块将依次经过全局平均池化层gap、第一卷积层、激活函数层relu、第二卷积层、激活函数sigmoid的处理后，生成通道上下文注意权重并与进行矩阵相乘后，得到通道感知的上下文特征
[0023]
将和相加后，再经过所述残差支路后与第m个注意引导残差块的输入相加，从而得到第m个上下文特征
[0024]
当n＝1,m＝2,3,
…
,m时，第m-1个上下文特征输入到第n个非局部特征提取
模块的像素级非局部模块的第m个注意引导残差块中进行处理，从而得到第m个上下文特征进而由第m个注意引导残差块输出第m个上下文特征并经过所述卷积层piconv的处理后与第n个非局部特征提取模块的像素级非局部模块的输入相加，从而得到第n块非局部特征提取模块中的像素级非局部模块输出的像素级特征
[0025]
步骤2.2.2、所述第n个非局部模块特征提取模块中的图像块级非局部模块采用层数为s的多尺度自注意力模块，并由一个共享的query值生成支路、s个key值生成支路和s个value值生成支路，以及s个注意力生成模块；
[0026]
所述query值生成支路依次由卷积核为1
×
1的卷积层、unfold函数层以及reshape层组成；第s个key值生成支路和第s个value值生成支路均由1个卷积层、unfold函数层以及reshape层组成；s＝1,
…
,s；其中，第s个key值生成支路中的卷积层的卷积核为2
s-1
×2s-1
，步幅为2
s-1
；第s个value值生成支路中的卷积层的卷积核为2
s-1
×2s-1
，步幅为2
s-1
；
[0027]
当n＝1时，将第n块非局部特征提取模块中的像素级非局部模块输出的像素级特征输入到第n块非局部特征提取模块的图像块级非局部模块中，并经过所述query值生成支路的处理，生成共享query特征
[0028]
像素级特征分别输入s个key值生成支路和s个value值生成支路中进行处理并相应生成s层的key值和s层value值后，再利用式(1)得到多个尺度下的增强特征其中，表示第n个非局部模块特征提取模块中的图像块级非局部特征提取模块的第s个key值，表示第n个非局部模块特征提取模块中的图像块级非局部特征提取模块的第s个value值；
[0029][0030]
式(1)中，softmax表示激活函数，表示第n个非局部模块特征提取模块中的图像块级非局部模块的第s个增强特征；
[0031]
利用fold函数操作将增强特征转换到原始空间，得到展开的增强特征，记为其中，表示第n个非局部模块特征提取模块中的图像块级非局部模块的第s个展开的增强特征；
[0032]
将顺序拼接，并经过1个卷积层的处理后与像素级特征相加，从而得到第n个非局部特征提取模块输出的第n个深层特征
[0033]
当n＝2,3,
…
,n时，第n-1个深层特征输入到第n个非局部特征提取模块中进行处理，并得到第n个非局部特征提取模块的输出特征从而由第n个非局部特征提取模块得到第n个深层特征
[0034]
本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储
支持处理器执行所述图像去噪方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
[0035]
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述图像去噪方法的步骤。
[0036]
与现有技术相比，本发明的有益效果在于：
[0037]
1、本发明将非局部注意力融合到网络，以挖掘全局相关信息。传统的卷积神经网络只能在一个小的局部邻域中操作，因此在捕获长期上下文依赖关系方面能力有限。相比之下，本发明将非局部注意力灵活地集成到卷积神经网络中，可以充分利用全局依赖关系来增强特征表达，解决了现有的卷积神经网络无法捕获非局部的上下文依赖关系，在实际应用时效果不佳的问题。在合成图像去噪任务上的实验结果表明，该方法在性能和计算复杂度方面都具有优越性。
[0038]
2、本发明设计了像素级非局部模块，包含多个注意力引导的残差块，利用空间感知注意力和通道感知注意力，以充分探索细粒度的上下文关系，以恢复更准确的细节。
[0039]
3、本发明设计了图像块级非局部模块，传统的图像块级非局部模块忽略了多尺度图像块特征的相关性，可以充分利用不同大小特征之间的自尺度和跨尺度相似性来恢复相似的纹理，捕获更可靠的依赖关系，提高了图像恢复的质量。
附图说明
[0040]
图1为本发明基于协作性非局部上下文图像去噪网络结构图；
[0041]
图2为本发明像素级非局部模块结构图；
[0042]
图3为本发明注意引导的残差块(agrb)结构图；
[0043]
图4为本发明图像块级非局部模块结构图。
具体实施方式
[0044]
本实施例中，一种基于协作性非本地上下文网络的图像去噪方法，包括如下步骤：
[0045]
步骤1、对数据集进行预处理，并构建输入样本数据；
[0046]
在获取的高质量图片数据集中添加不同噪声水平的加性高斯白噪声，从而获得噪声图像数据集其中，表示第i张高质量图片，表示第i张噪声图像，t为高质量图片的总数；本实施例中，使用的是div2k数据集，其中包含1000张具有不同场景的高清图像，并拆分为800张用于训练，100张用于验证，100张用于测试。在每个高清图像上添加噪声水平在[0,70]范围的加性高斯白噪声来获得所有的噪声图像；
[0047]
步骤2、构建基于协作性非本地上下文网络模型，包括：浅层特征提取模块、深层特征提取模块以及图像重建模块，网络结构如图1所示；
[0048]
步骤2.1、浅层特征提取模块为一层的卷积层，并用于对第i张噪声图像进行处理，得到第i个浅层特征
[0049]
步骤2.2、深层特征提取模块由n个非局部特征提取模块组成，任意第n个非局部特
征提取模块由1个像素级非局部模块和1个图像块级非局部模块组成，并用于对第i个浅层特征进行处理，得到第n个深层特征本实施例中，n＝4，非局部特征提取模块如图1所示；
[0050]
步骤2.2.1、如图2所示，像素级非局部模块依次由m个注意引导残差块和1个卷积层piconv组成；本实施例中，m＝8，像素级非局部模块如图3所示，卷积层piconv卷积核为3
×
3；
[0051]
其中，任意第m个注意引导残差块依次由第一卷积层、激活函数层relu、第二卷积层以及一对并行的空间感知上下文模块和通道感知上下文模块、残差支路组成；本实施例中，第m个注意引导残差块如图3所示，两个卷积层卷积核都为3
×
3；
[0052]
当n＝1,m＝1时，浅层特征输入到第n个非局部特征提取模块中的像素级非局部模块，并依次经过第m个注意引导残差块的卷积层、激活函数层relu、卷积层的处理后输出特征图其中，c、h和w分别表示图片的通道数量、高度和宽度；
[0053]
特征图分别输入第m个注意引导残差块的空间感知上下文模块和通道感知上下文模块中进行处理；
[0054]
空间感知上下文模块对依次经过卷积层和softmax函数处理后，得到空间上下文注意权重为了进一步获得更复杂的全局上下文描述，将空间上下文注意权重与进行矩阵相乘，得到更紧凑、更准确的上下文集合再对进行卷积操作后得到转换后的特征向量并与进行加权平均集成，从而得到空间感知的上下文特征
[0055]
通道感知上下文模块采用squeeze-and-excitationnetworks来探索通道间的关系，应用全局池化跨空间维度来编码全局上下文。将依次经过全局平均池化层gap、第一卷积层、激活函数层relu、第二卷积层、激活函数sigmoid的处理后，生成通道上下文注意权重并与进行矩阵相乘后，得到通道感知上下文特征
[0056]
将和相加后，再与第m个注意引导残差块的输入相加，这使模块能够绕过更多的低频信息，从而得到第m个上下文特征
[0057]
当n＝1,m＝2,3,
…
,m时，第m-1个上下文特征输入到第n个非局部特征提取模块的像素级非局部模块的第m个注意引导残差块中进行处理，从而得到第m个上下文特征进而由第m个注意引导残差块输出第m个上下文特征并经过卷积层piconv的处理后与第n个非局部特征提取模块的像素级非局部模块的输入相加，防止网络出现退化问题，从而得到第n块非局部特征提取模块中的像素级非局部模块输出的像素级特征
[0058]
步骤2.2.2、第n个非局部模块特征提取模块中的图像块级非局部模块采用层数为s的多尺度自注意力模块来学习自尺度特征块和跨尺度特征块的相似性，并由一个共享的query值生成支路、s个key值生成支路和s个value值生成支路，以及s个注意力生成模块；本
实施例中，s＝3，图像块级非局部模块如图4所示；
[0059]
query值生成支路依次由卷积核为1
×
1的卷积层、unfold函数层以及reshape层组成；第s个key值生成支路和第s个value值生成支路均由1个卷积层、unfold函数层以及reshape层组成；s＝1,
…
,s；其中，第s个key值生成支路中的卷积层的卷积核为2
s-1
×2s-1
，步幅为2
s-1
；第s个value值生成支路中的卷积层的卷积核为2
s-1
×2s-1
，步幅为2
s-1
；
[0060]
当n＝1时，将第n块非局部特征提取模块中的像素级非局部模块输出的像素级特征输入到第n块非局部特征提取模块的图像块级非局部模块中，并经过query值生成支路的处理，生成共享query特征
[0061]
像素级特征分别输入s个key值生成支路和s个value值生成支路中进行处理并生成s层的key值和s层value值后，再利用式(1)得到多个尺度下的增强特征其中，表示第n个非局部模块特征提取模块中的图像块级非局部特征提取模块的第s个key值，表示第n个非局部模块特征提取模块中的图像块级非局部特征提取模块的第s个value值；
[0062]
第s个注意力生成将在以及作为输入，按照式(1)计算：
[0063][0064]
式(1)中，softmax表示激活函数，表示第n个非局部模块特征提取模块中的图像块级非局部模块的第s个增强特征；
[0065]
利用fold函数操作将增强特征转换到原始空间，得到展开的增强特征，记为其中，表示第n个非局部模块特征提取模块中的图像块级非局部模块的第s个展开的增强特征；
[0066]
将顺序拼接，并经过1个卷积层的处理后与像素级特征相加，从而得到第n个非局部特征提取模块输出的第n个深层特征
[0067]
当n＝2,3,
…
,n时，第n-1个深层特征输入到第n个非局部特征提取模块中进行处理，并得到第n个非局部特征提取模块的输出特征从而由第n个非局部特征提取模块得到第n个深层特征
[0068]
步骤2.3、重建模块对第n个深层特征进行卷积操作，得到的结果与第i个浅层特征相加，得到第i张高质量图片
[0069]
步骤3、训练网络，调整网络参数，得到最优模型。噪声图像数据集i
lq
输入基于协作性非本地上下文网络模型中，并采用梯度下降法对基于协作性非本地上下文网络模型进行训练，同时计算如式(2)所示的损失函数l以更新模型参数，直到损失函数l收敛为止，从而得到训练好的协作性非本地上下文网络模型，用于实现对任一噪声图像的高质量恢复：
[0070][0071]
本实例中，使用adam优化器来学习最优参数。adam的超参数被设置为β1＝0.9，β2＝0.999，ε＝1
×
10-8
。将学习速率初始化为1
×
10-4
，然后每2
×
105次迭代学习率下降到一半。
[0072]
施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
[0073]
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。
[0074]
综上所述，本发明提出的一种基于协作性非本地上下文网络的图像去噪方法，它集成了图像块和像素级非局部自相似性的优点，以捕获更鲁棒和可靠的长期依赖关系。设计了一个金字塔式的非局部模块，它利用自尺度和跨尺度的图像块，在粗粒度级别上恢复更可靠的相似细节。对于复杂或更精细的纹理特征，本发明进一步开发了一个像素级非局部模块，包含多个注意力引导的残差块，以充分探索像素级全局上下文之间的关系，以恢复更细粒度的结构特征。综合实验结果表明，该方法在定量和视觉上的优点，优于现有的方法。

技术特征：
1.一种基于协作性非本地上下文网络的图像去噪方法，其特征在于，包括如下步骤：步骤1、对数据集进行预处理，并构建输入样本数据；在获取的高质量图片数据集中添加不同噪声水平的加性高斯白噪声，从而获得噪声图像数据集其中，表示第i张高质量图片，表示第i张噪声图像，t为高质量图片的总数；步骤2、构建基于协作性非本地上下文网络模型，包括：浅层特征提取模块、深层特征提取模块以及图像重建模块；步骤2.1、所述浅层特征提取模块为一层的卷积层，并用于对第i张噪声图像进行处理，得到第i个浅层特征步骤2.2、所述深层特征提取模块由n个非局部特征提取模块组成，任意第n个非局部特征提取模块由1个像素级非局部模块和1个图像块级非局部模块组成，并用于对第i个浅层特征进行处理，得到第n个深层特征步骤2.3、所述重建模块对第n个深层特征进行卷积操作，得到的结果与第i个浅层特征相加，得到第i张高质量图片步骤3、训练网络，调整网络参数，得到最优模型：所述噪声图像数据集i
lq
输入基于协作性非本地上下文网络模型中，并采用梯度下降法对所述基于协作性非本地上下文网络模型进行训练，同时计算如式(2)所示的损失函数l以更新模型参数，直到损失函数l收敛为止，从而得到训练好的协作性非本地上下文网络模型，用于实现对任一噪声图像的高质量恢复：2.根据权利要求1所述的基于协作性非本地上下文网络的图像去噪方法，其特征在于，所述步骤2.2包括：步骤2.2.1、所述像素级非局部模块依次由m个注意引导残差块和1个卷积层piconv组成；其中，任意第m个注意引导残差块依次由卷积层、激活函数层relu、卷积层以及一对并行的空间感知上下文模块和通道感知上下文模块、残差支路组成；当n＝1,m＝1时，所述浅层特征输入到第n个非局部特征提取模块中的像素级非局部模块，并依次经过第m个注意引导残差块的第一卷积层、激活函数层relu、第二卷积层的处理后输出特征图其中，c、h和w分别表示图片的通道数量、高度和宽度；所述特征图分别输入第m个注意引导残差块的空间感知上下文模块和通道感知上下文模块中进行处理，其中，所述空间感知上下文模块对依次经过卷积层和softmax函数处理后，得到空间上下文注意权重并与进行矩阵相乘，得到上下文集合所述空间感知上下文模块对进行卷积操作后得到转换后的特征向量并与
进行加权平均集成，从而得到空间感知的上下文特征所述通道感知上下文模块将依次经过全局平均池化层gap、第一卷积层、激活函数层relu、第二卷积层、激活函数sigmoid的处理后，生成通道上下文注意权重并与进行矩阵相乘后，得到通道感知的上下文特征将和相加后，再经过所述残差支路后与第m个注意引导残差块的输入相加，从而得到第m个上下文特征当n＝1,m＝2,3,
…
,m时，第m-1个上下文特征输入到第n个非局部特征提取模块的像素级非局部模块的第m个注意引导残差块中进行处理，从而得到第m个上下文特征进而由第m个注意引导残差块输出第m个上下文特征并经过所述卷积层piconv的处理后与第n个非局部特征提取模块的像素级非局部模块的输入相加，从而得到第n块非局部特征提取模块中的像素级非局部模块输出的像素级特征步骤2.2.2、所述第n个非局部模块特征提取模块中的图像块级非局部模块采用层数为s的多尺度自注意力模块，并由一个共享的query值生成支路、s个key值生成支路和s个value值生成支路，以及s个注意力生成模块；所述query值生成支路依次由卷积核为1
×
1的卷积层、unfold函数层以及reshape层组成；第s个key值生成支路和第s个value值生成支路均由1个卷积层、unfold函数层以及reshape层组成；s＝1,
…
,s；其中，第s个key值生成支路中的卷积层的卷积核为2
s-1
×2s-1
，步幅为2
s-1
；第s个value值生成支路中的卷积层的卷积核为2
s-1
×2s-1
，步幅为2
s-1
；当n＝1时，将第n块非局部特征提取模块中的像素级非局部模块输出的像素级特征输入到第n块非局部特征提取模块的图像块级非局部模块中，并经过所述query值生成支路的处理，生成共享query特征像素级特征分别输入s个key值生成支路和s个value值生成支路中进行处理并相应生成s层的key值和s层value值后，再利用式(1)得到多个尺度下的增强特征其中，表示第n个非局部模块特征提取模块中的图像块级非局部特征提取模块的第s个key值，表示第n个非局部模块特征提取模块中的图像块级非局部特征提取模块的第s个value值；式(1)中，softmax表示激活函数，表示第n个非局部模块特征提取模块中的图像块级非局部模块的第s个增强特征；利用fold函数操作将增强特征转换到原始空间，得到展开的增强特
征，记为其中，表示第n个非局部模块特征提取模块中的图像块级非局部模块的第s个展开的增强特征；将顺序拼接，并经过1个卷积层的处理后与像素级特征相加，从而得到第n个非局部特征提取模块输出的第n个深层特征当n＝2,3,
…
,n时，第n-1个深层特征输入到第n个非局部特征提取模块中进行处理，并得到第n个非局部特征提取模块的输出特征从而由第n个非局部特征提取模块得到第n个深层特征3.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1或2所述图像去噪方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。4.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1或2所述图像去噪方法的步骤。

技术总结
本发明公开了一种基于协作性非本地上下文网络的图像去噪方法，其步骤如下：1、对数据集进行预处理，构建输入样本数据；2、构建基于协作性非本地上下文网络模型，包括浅层特征提取模块、深层特征提取模块以及图像重建模块；3、训练网络，调整网络参数，得到最优模型。本发明通过联合像素级非局部特征和图像块级非局部特征，充分挖掘图像内的全局依赖关系，提高图像恢复的质量，解决了现有的卷积神经网络无法捕获非局部的上下文依赖关系，在实际应用时效果不佳的问题，从而能用于图像去噪任务，使图像的纹理细节信息得到很好的恢复。图像的纹理细节信息得到很好的恢复。图像的纹理细节信息得到很好的恢复。


技术研发人员：赵仲秋 李军 吴霜 沈浩 张婉迪
受保护的技术使用者：安徽省纤维检验局 广西科学院 合肥智大信息技术有限公司
技术研发日：2023.06.09
技术公布日：2023/9/14