一种基于混合非局部自相似先验的图像复原方法

1.本发明属于数字图像处理技术领域，具体涉及一种基于混合非局部自相似先验的图像复原方法。


背景技术：

2.图像复原，作为图像处理领域的一个基本任务，其目标是根据观测的退化图像，利用算法和软件的手段重建潜在的真实图像，具有极其重要的应用价值。
3.由于图像复原问题的病态性，先验知识往往被利用来构造附加约束，以便获得稳定解。非局部自相似先验作为图像一个非常重要的性质，已经在各种图像逆问题中显示出了极大的潜力。现有技术大多都集中在单独使用从待处理图像自身学习的内部非局部自相似先验，或者从高质量训练图像块组中学习的外部非局部自相似先验，进行图像复原。然而，前者往往会过拟合退化，而后者则不能自适应于给定图像的结构信息。如何从待处理图像自身和高质量训练图像块组中学习混合非局部自相似先验，并用于图像复原，依旧是个悬而未决的问题。


技术实现要素：

4.为克服上述现有技术的不足，本发明提供了一种基于混合非局部自相似先验的图像复原方法，其目的在于从待处理图像自身和高质量训练图像块组中学习用于图像复原的混合非局部自相似先验，提升图像复原效果。
5.为实现上述目的，本发明采用的技术方案是：
6.一种基于混合非局部自相似先验的图像复原方法，具体包括以下步骤：
7.步骤1，学习外部非局部自相似先验；
8.步骤2，初始化复原图像x0＝y，其中y表示退化图像，设置迭代次数m＝1,2,3,...,m；
9.步骤3，构建非局部相似图像块组；
10.步骤4，学习内部非局部自相似先验；
11.步骤5，基于已学习到的外部非局部和内部非局部自相似先验，为每个相似图像块组学习混合非局部自相似先验；
12.步骤6，将学习到的混合非局部自相似先验作为字典，对每个相似图像块组进行稀疏编码；
13.步骤7，重建每个相似图像块组；
14.步骤8，复原整幅图像；
15.步骤9，迭代执行步骤3-8共m次，输出最终的复原图像。
16.进一步地，步骤1中所述的学习外部非局部自相似先验，具体做法为：
17.给定一组用于训练的高质量图像块组其中z
l,j
表示相似图像
块组的第j个非局部相似图像块的向量化形式，l表示训练图像块组的总数，n表示相似块个数，利用高斯混合模型学习外部非局部自相似先验：
[0018][0019]
其中，k表示混合高斯分量的总数，π
k,e
，μ
k,e
和σ
k,e
分别表示第k个高斯分量的权重、均值向量和协方差矩阵，表示高斯分布。
[0020]
进一步地，步骤2中所述的退化图像，具体为：
[0021]
y＝hx+ω
[0022]
其中，h表示退化算子，ω表示标准差为σ的高斯白噪声。
[0023]
进一步地，步骤3中所述的构建非局部相似图像块组，包括以下步骤：
[0024]
步骤3.1，对当前复原图像x
m-1
进行分块；
[0025]
步骤3.2，通过基于欧式距离的块匹配为每个图像块搜寻n个相似图像块，并组成相似块组其中r
i,j
表示相似图像块提取矩阵。
[0026]
进一步地，步骤4中所述的学习内部非局部自相似先验，具体为：
[0027]
通过极大似然方法估计每个相似图像块组的内部专属高斯分量：
[0028][0029]
其中，μ
i,i
和σ
i,i
分别表示相似图像块组内部专属高斯分量的均值向量和协方差矩阵；
[0030]
可以得到μ
i,i
和σ
i,i
分别为：
[0031][0032]
其中,τ表示矩阵转置操作。
[0033]
进一步地，步骤5中所述的基于已学习到的外部非局部和内部非局部自相似先验，为每个相似图像块组学习混合非局部自相似先验，包括以下步骤：
[0034]
步骤5.1，通过最大化后验概率为相似图像块组选择最匹配的外部高斯分量：
[0035][0036]
其中，i是单位阵；
[0037]
步骤5.2，对σ
i,i
和σ
d,e
进行奇异值分解：
[0038]
[0039]
其中，d
i,i
和s
i,i
是σ
i,i
的特征向量矩阵和奇异值矩阵，d
d,e
和s
d,e
是σ
d,e
的特征向量矩阵和奇异值矩阵；
[0040]
步骤5.3，利用s
d,e
计算混合权重：
[0041][0042]
其中，s
p,e
表示s
d,e
的第p个奇异值，p表示图像块尺寸；
[0043]
步骤5.4，通过加权方式为每个相似图像块组学习混合非局部自相似先验：
[0044][0045]
其中，wd＝[w
d,1
,
…wd,p
,
…wd,p
]
τ
，1表示元素全为1的列向量。
[0046]
进一步地，步骤6中所述的将学习到的混合非局部自相似先验作为字典，对每个相似图像块组进行稀疏编码，包括以下步骤：
[0047]
步骤6.1，建立结构化稀疏模型：
[0048][0049]
其中，表示f范数操作，||
·
||1表示一范数操作，γi＝[γ
i,1
,
…
,γ
i,j
,
…
,γ
i,n
]，γ
i,j
＝μ
i,h
，λi表示正则化参数向量，ai表示稀疏系数矩阵；
[0050]
步骤6.2，利用梯度下降法求解稀疏系数ai：
[0051][0052]
其中，sgn(
·
)表示符号操作，e表示逐元素乘操作，|
·
|表示取绝对值操作，1表示元素全为1的列向量。
[0053]
进一步地，步骤7中所述重建每个相似块组为：
[0054][0055]
进一步地，步骤8中复原整幅图像的目标函数构建为：
[0056][0057]
其中，η表示正常数，ri(x)＝[r
i,1
x,
…
,r
i,j
x,
…
,r
i,n
x]，ri(
·
)表示相似图像块组矩阵提取操作；
[0058]
上述方程闭式解为：
[0059][0060]
其中，表示的第j列。
[0061]
与现有技术相比，本发明的有益效果是：
[0062]
相比于现有复原技术仅使用内部或者外部非局部自相似先验，本发明提出了一种
基于混合非局部自相似先验的图像复原方法，从待处理图像自身和高质量训练图像块组中学习用于图像复原的混合非局部自相似先验，有效缓解了只使用内部先验导致的过拟合，并增强了外部先验的自适应性，提升了图像复原效果。
附图说明
[0063]
图1是本发明一种基于混合非局部自相似先验的图像复原方法的实现流程图。
[0064]
图2是本发明的仿真对比图。
具体实施方式
[0065]
以下结合附图，对本发明进行进一步详细说明。
[0066]
如图1所示，一种基于混合非局部自相似先验的图像复原方法，先从待处理图像自身和高质量训练图像块组中分别学习内部和外部非局部自相似先验，然后基于已学习到的内部和外部先验，通过简单但有效的加权方案学习混合非局部自相似先验，最后用学习到的混合先验进行图像复原，具体包括以下步骤：
[0067]
步骤1，学习外部非局部自相似先验。
[0068]
具体地，给定一组用于训练的高质量图像块组其中z
l,j
表示相似图像块组的第j个非局部相似图像块的向量化形式，l表示训练图像块组的总数，n表示相似块个数，利用高斯混合模型学习外部非局部自相似先验：
[0069][0070]
其中，k表示混合高斯分量的总数，π
k,e
，μ
k,e
和σ
k,e
分别表示第k个高斯分量的权重、均值向量和协方差矩阵，表示高斯分布。
[0071]
利用高斯混合模型学习外部非局部自相似先验的具体细节请参考“patch group based nonlocal self-similarity prior learning for image denoising”(ieee international conference on computer vision,2015:244-252)。
[0072]
步骤2，初始化复原图像x0＝y，其中y表示退化图像，设置迭代次数m＝1,2,3,...,m。
[0073]
退化图像具体为：
[0074]
y＝hx+ω
[0075]
其中，h表示退化算子，ω表示标准差为σ的高斯白噪声。
[0076]
步骤3，构建非局部相似图像块组。
[0077]
具体地，按如下步骤进行：
[0078]
步骤3.1，对当前复原图像x
m-1
进行分块；
[0079]
步骤3.2，通过基于欧式距离的块匹配为每个图像块搜寻n个相似图像块，并组成相似块组其中r
i,j
表示相似图像块提取矩阵。
[0080]
步骤4，学习内部非局部自相似先验。
[0081]
具体地，通过极大似然方法估计相似图像块组的内部专属高斯分量：
[0082][0083]
其中，μ
i,i
和σ
i,i
分别表示相似图像块组内部专属高斯分量的均值向量和协方差矩阵。
[0084]
可以得到μ
i,i
和σ
i,i
分别为：
[0085][0086]
其中，τ表示矩阵转置操作。
[0087]
步骤5，基于已学习到的外部和内部先验，为每个相似图像块组学习混合非局部自相似先验。
[0088]
具体地，按如下步骤进行：
[0089]
步骤5.1，通过最大化后验概率为相似图像块组选择最匹配的外部高斯分量：
[0090][0091]
其中，i是单位阵；
[0092]
步骤5.2，对σ
i,i
和σ
d,e
进行奇异值分解：
[0093][0094]
其中，d
i,i
和s
i,i
是σ
i,i
的特征向量矩阵和奇异值矩阵，d
d,e
和s
d,e
是σ
d,e
的特征向量矩阵和奇异值矩阵。
[0095]
步骤5.3，利用s
d,e
计算混合权重：
[0096][0097]
其中，s
p,e
表示s
d,e
的第p个奇异值，p表示图像块尺寸；
[0098]
步骤5.4，通过加权方式为每个相似图像块组学习混合非局部自相似先验：
[0099][0100]
其中，wd＝[w
d,1
,
…wd,p
,
…wd,p
]
τ
，1表示元素全为1的列向量。
[0101]
步骤6，将学习到的非局部自相似先验作为字典，对每个相似图像块组进行稀疏编码。
[0102]
具体地，按如下步骤进行：
[0103]
步骤6.1，建立结构化稀疏模型：
[0104][0105]
其中，表示f范数操作，||
·
||1表示一范数操作，γi＝[γ
i,1
,
…
,γ
i,j
,
…
,γ
i,n
]，γ
i,j
＝μ
i,h
，λi表示正则化参数向量，ai表示稀疏系数矩阵；
[0106]
步骤6.2，利用梯度下降法求解稀疏系数ai：
[0107][0108]
其中，sgn(
·
)表示符号操作，e表示逐元素乘操作，|
·
|表示取绝对值操作，1表示元素全为1的列向量。
[0109]
步骤7，重建每个相似图像块组。
[0110]
具体地，每个相似块组重建为：
[0111][0112]
步骤8，复原整幅图像。
[0113]
具体地，复原整幅图像的目标函数构建为：
[0114][0115]
其中，η表示正常数，ri(x)＝[r
i,1
x,
…
,r
i,j
x,
…
,r
i,n
x]，ri(
·
)表示相似图像块组矩阵提取操作。
[0116]
上述方程闭式解为：
[0117][0118]
其中，表示的第j列。
[0119]
步骤9，迭代执行步骤3-8共m次，输出最终的复原图像。
[0120]
本发明效果通过以下仿真实验进一步说明。
[0121]
1.仿真条件：
[0122]
本发明仿真实验是在windows 10系统下matlab 2019a环境中进行的。
[0123]
2.仿真结果与分析：
[0124]
图2是本发明一种基于混合非局部自相似先验的图像复原方法、基于内部非局部自相似先验的图像复原方法和基于外部非局部自相似先验的图像复原方法的复原结果。其中，图2(a)为原始的噪声退化图像；图2(b)为基于内部非局部自相似先验的图像复原方法对退化图像复原仿真结果图；
[0125]
图2(c)为基于外部非局部自相似先验的图像复原方法对退化图像复原仿真结果图；图2(d)为本发明一种基于混合非局部自相似先验的图像复原方法对退化图像复原仿真结果图。
[0126]
对比附图2中的图2(b)、图2(c)和图2(d)，可以看出基于内部非局部自相似先验的图像复原方法过拟合了噪声，而基于外部非局部自相似先验的图像复原方法过平滑了图像
边缘，并产生了严重的视觉伪影。相比之下，本发明一种基于混合非局部自相似先验的图像复原方法则有效地抑制了过拟合和视觉伪影，并较好地重建了图像边缘细节。
[0127]
综上，本发明方法克服了现有技术图像复原效果不佳的问题，提升了图像复原效果。
[0128]
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

技术特征：
1.一种基于混合非局部自相似先验的图像复原方法，其特征在于，具体包括以下步骤：步骤1，学习外部非局部自相似先验；步骤2，初始化复原图像x0＝y，其中y表示退化图像，设置迭代次数m＝1,2,3,...,m；步骤3，构建非局部相似图像块组；步骤4，学习内部非局部自相似先验；步骤5，基于已学习到的外部非局部和内部非局部自相似先验，为每个相似图像块组学习混合非局部自相似先验；步骤6，将学习到的混合非局部自相似先验作为字典，对每个相似图像块组进行稀疏编码；步骤7，重建每个相似图像块组；步骤8，复原整幅图像；步骤9，迭代执行步骤3-8共m次，输出最终的复原图像。2.根据权利要求1所述的一种基于混合非局部自相似先验的图像复原方法，其特征在于，步骤1中所述的学习外部非局部自相似先验，具体做法为：给定一组用于训练的高质量图像块组其中z
l,j
表示相似图像块组的第j个非局部相似图像块的向量化形式，l表示训练图像块组的总数，n表示相似块个数，利用高斯混合模型学习外部非局部自相似先验：其中，k表示混合高斯分量的总数，π
k,e
，μ
k,e
和σ
k,e
分别表示第k个高斯分量的权重、均值向量和协方差矩阵，表示高斯分布。3.根据权利要求1所述的一种基于混合非局部自相似先验的图像复原方法，其特征在于，步骤2中所述的退化图像，具体为：y＝hx+ω其中，h表示退化算子，ω表示标准差为σ的高斯白噪声。4.根据权利要求1所述的一种基于混合非局部自相似先验的图像复原方法，其特征在于，步骤3中所述的构建非局部相似图像块组，包括以下步骤：步骤3.1，对当前复原图像x
m-1
进行分块；步骤3.2，通过基于欧式距离的块匹配为每个图像块搜寻n个相似图像块，并组成相似块组其中r
i,j
表示相似图像块提取矩阵。5.根据权利要求1所述的一种基于混合非局部自相似先验的图像复原方法，其特征在于，步骤4中所述的学习内部非局部自相似先验，具体为：通过极大似然方法估计每个相似图像块组的内部专属高斯分量：其中，μ
i,i
和σ
i,i
分别表示相似图像块组内部专属高斯分量的均值向量和协方差
矩阵；可以得到μ
i,i
和σ
i,i
分别为：其中,τ表示矩阵转置操作。6.根据权利要求1所述的一种基于混合非局部自相似先验的图像复原方法，其特征在于，步骤5中所述的基于已学习到的外部非局部和内部非局部自相似先验，为每个相似图像块组学习混合非局部自相似先验，包括以下步骤：步骤5.1，通过最大化后验概率为相似图像块组选择最匹配的外部高斯分量：其中，i是单位阵；步骤5.2，对σ
i,i
和σ
d,e
进行奇异值分解：其中，d
i,i
和s
i,i
是σ
i,i
的特征向量矩阵和奇异值矩阵，d
d,e
和s
d,e
是σ
d,e
的特征向量矩阵和奇异值矩阵；步骤5.3，利用s
d,e
计算混合权重：其中，s
p,e
表示s
d,e
的第p个奇异值，p表示图像块尺寸；步骤5.4，通过加权方式为每个相似图像块组学习混合非局部自相似先验：其中，w
d
＝[w
d,1
,
…
w
d,p
,
…
w
d,p
]
τ
，1表示元素全为1的列向量。7.根据权利要求1所述的一种基于混合非局部自相似先验的图像复原方法，其特征在于，步骤6中所述的将学习到的混合非局部自相似先验作为字典，对每个相似图像块组进行稀疏编码，包括以下步骤：步骤6.1，建立结构化稀疏模型：其中，表示f范数操作，||
·
||1表示一范数操作，
γ
i
＝[γ
i,1
,
…
,γ
i,j
,
…
,γ
i,n
]，γ
i,j
＝μ
i,h
，λ
i
表示正则化参数向量，a
i
表示稀疏系数矩阵；步骤6.2，利用梯度下降法求解稀疏系数a
i
：其中，sgn(
·
)表示符号操作，e表示逐元素乘操作，|
·
|表示取绝对值操作，1表示元素全为1的列向量。8.根据权利要求1所述的一种基于混合非局部自相似先验的图像复原方法，其特征在于，步骤7中所述重建每个相似块组为：9.根据权利要求1所述的一种基于混合非局部自相似先验的图像复原方法，其特征在于，步骤8中复原整幅图像的目标函数构建为：其中，η表示正常数，r
i
(x)＝[r
i,1
x,
…
,r
i,j
x,
…
,r
i,n
x]，r
i
(
·
)表示相似图像块组矩阵提取操作；上述方程闭式解为：其中，表示的第j列。

技术总结
本发明公开了一种基于混合非局部自相似先验的图像复原方法，具体包括以下步骤：学习外部非局部自相似先验；设置初始复原图像和迭代次数；构建非局部相似图像块组；学习内部非局部自相似先验；基于已学习到的外部和内部先验，为每个相似图像块组学习混合非局部自相似先验；将学习到的非局部自相似先验作为字典，对每个相似图像块组进行稀疏编码；复原整幅图像；输出最终复原图像；本发明从待处理图像自身和高质量训练图像块组中学习用于图像复原的混合非局部自相似先验，有效缓解了只使用内部先验导致的过拟合，并增强了外部先验的自适应性，提升了图像复原效果。提升了图像复原效果。提升了图像复原效果。


技术研发人员：刘涵 袁伟 刘丁
受保护的技术使用者：西安理工大学
技术研发日：2023.03.31
技术公布日：2023/7/25