一种结合双域信息和方向特征的多尺度分块压缩感知方法

1.本发明属于图像处理技术领域，尤其涉及一种结合双域信息和方向特征的自适应多尺度分块压缩感知图像重构方法。


背景技术：

2.随着多媒体通信的发展，人们对于信息的需求更加迫切。据统计，人们日常生活中获取的信息，大约有70%是图像信息。然而图像作为二维信号，其数据量较大，使得图像信号处理过程中的储存、压缩、传输以及计算等方面压力剧增。因此对图像压缩技术的研究成为信号处理领域中的热点方向，同时对人们现代化生活具有重要意义。
3.传统图像压缩技术的采样过程遵循nyquist采样定理，会产生大量的冗余采样数据，大大增加后续储存和计算的复杂度，对采集图像信号的硬件设备来说是一个不小的挑战。
4.donoho等人于2006年首次提出的压缩感知理论（compressed sensing，cs）解决了上述传统图像压缩处理过程中存在的问题，有效地缓解了高维信号与硬件处理能力之间的矛盾，为处理高维数据提供了新思路，应用场景广阔。多尺度分块压缩感知算法（multiscale block compressed sensing with smoothed projected landweber，ms-bcs-spl）作为cs理论的一个重要分支，根据图像多尺度小波分解后各尺度小波系数对重构质量的影响不同，对不同尺度的小波系数块采用不同大小的观测矩阵进行压缩重构，实现不同尺度间的采样率自适应分配，使得图像重构性能得到提升。但ms-bcs-spl算法没有充分利用小波变换后的高低频信息对同一尺度的不同的高频系数块进行区分，而是使用相同的观测矩阵对其进行采样，浪费采样资源的同时限制了图像重构质量的提升。并且ms-bcs-spl算法并没有对低频近似图像做任何处理，导致重构图像边缘出现块效应，影响视觉效果。


技术实现要素：

5.针对上述存在的问题，本发明提供了一种结合双域信息和方向特征的多尺度分块压缩感知方法，在不增加总采样率和算法复杂度的条件下充分挖掘小波高低频系数的先验信息，对不同尺度不同子带间的小波系数进行自适应采样，有效提高了图像的重构质量，减轻块效应。
6.本发明为解决上述技术问题采用的技术方案如下：
7.一种结合双域信息和方向特征的多尺度分块压缩感知方法，所述方法包括以下步骤：
8.步骤1，对原始图像进行三层小波变换，得到高频子带系数和低频子带系数，对低频子带系数进行逆变换得到低频近似图像；
9.步骤2，将低频近似图像均匀划分为互不重叠的低频近似图像块；按照小波变换的结构特征对每一层各高频子带系数按比例分块，得到高
频系数块,其中为小波变换层数，为小波变换第层的高频子带系数，为高频子带系数中的高频系数块编号；
10.步骤3，计算低频近似图像块的全变差和各层各高频子带系数中第个高频系数块的小波系数绝对值；加权结合低频近似图像块的全变差和对应位置高频系数块的小波系数绝对值；对高频系数块进行采样率预分配，计算所有层高频子带系数中位置为的系数块的总采样率；
11.步骤4，估计低频近似图像块的主方向，结合小波变换高频子带方向性对高频系数块进行采样率再分配，得到第层高频子带系数中位置为的高频系数块的自适应采样率，根据自适应采样率构造各层各高频系数块的测量矩阵进行降维观测；
12.步骤5，在重构端对低频近似图像采用空域自适应加权滤波器重建边缘；对各层各高频系数块采用基于分层分块结构的平滑投影landweber重构算法进行重构，并将重构的高频系数块重新拼接得到重构的高频子带系数；
13.步骤6，将重构的高频子带系数进行逆变换并与空域自适应加权滤波处理后的低频近似图像叠加得到最终重构图像。
14.进一步的，步骤1中对原始图像进行三层小波变换，得到高频子带系数和低频子带系数，对低频子带系数进行逆变换得到低频近似图像，具体步骤如下：采用9/7正交小波变换对大小为原始图像进行三层小波分解，分解方式为：首先将原始图像分解为一个低频子带系数和三个高频子带系数，其中、和分别包含了图像水平、垂直和对角方向的边缘细节信息；保留高频子带系数，对低频子带系数进行小波分解得到第二层的低频子带系数和高频子带系数；以此类推，三层小波分解后得到一个低频子带系数和九个高频子带系数、和，高频子带系数；之后仅提取低频子带系数进行逆变换得到低频近似图像。
15.进一步的，步骤2中将低频近似图像均匀划分为互不重叠的低频近似图像块；按照小波变换的结构特征对每一层各高频子带系数按比例分块，得到高频系数块，其中为小波变换层数，为小波变换第层的高频子带系数，为高频子带系数中的高频系数块编号；具体步骤如下：
16.将低频近似图像均匀划分为大小为32
×
32且不重叠的256个低频近似图像块；将同一层各高频子带系数均匀划分为大小相同且不重叠的256个高频系数块；低频近似图像分块大小与各层高频子带系数分块大小的关系为。
17.进一步的，步骤3中计算低频近似图像块的全变差和各层各高频子带系数中第个高频系数块的小波系数绝对值；加权结合低频近似图像块的全变差和对应位置高频系数块的小波系数绝对值；对高频系数块进行采样率预分配，计算所有层高频子带系数
中位置为的系数块的总采样率，具体步骤为：
18.步骤3-1：由下式计算低频近似图像块的全变差：
19.；
20.；
21.；
22.其中，和分别为水平和垂直方向的梯度操作因子；表示图像块位置像素的灰度值大小；和分别为低频近似图像的长和宽；
23.步骤3-2：计算各层各高频子带系数中第个高频系数块的小波系数绝对值，其中为第个高频系数块在位置为系数值；为小波变换层数；为高频系数块编号，；为第层高频子带系数分块大小；
24.步骤3-3：引入权重因子加权结合和，由下式计算采样率预分配因子：
25.；
26.步骤3-4：设总采样率为，并设定采样率下界，由下式计算所有层高频子带系数中位置为的系数块的总采样率；
27.；
28.其中为高频系数块个数。
29.进一步的，步骤4中估计低频近似图像块的主方向，结合小波变换高频子带方向性对高频系数块进行采样率再分配，得到第层高频子带系数中位置为的高频系数块的自适应采样率，根据自适应采样率构造各层各高频系数块的大小为测量矩阵进行降维观测，本文测量矩阵选取高斯随机矩阵，具体步骤包括：
30.步骤4-1：对低频近似图像块的梯度矩阵进行奇异值分解：
31.；
32.其中，是大小为的正交矩阵；为对角矩阵；为正交矩阵；表示梯度场主方向的能量大小；表示低频近似图像块主方向的能量大小；和分别代表梯度场主
方向和低频近似图像块主方向；、、、分别为特征向量值；
33.步骤4-2：利用和对低频近似图像块方向显著性判断：
34.；
35.其中，为方向显著性参数，越大图像的方向性越明显，当时，低频近似图像块没有明显的方向性，设置方向性经验阈值，当时说明低频近似图像块有明显方向性，反之表示低频近似图像块没有明确的主方向；
36.步骤4-3：求出有明确主方向的低频近似图像块的方向角，并判断低频近似图像块主方向：
37.；
38.；
39.步骤4-4：将求得的总采样率作为各层对应高频系数块的采样率之和，计算各层位置为的高频系数块的子采样率以及低频子带系数的采样率：
40.；
41.步骤4-5：将结合低频近似图像块主方向，求出第层子带中第个高频系数块的自适应采样率，其中、和分别包含了图像水平、垂直和对角方向的边缘细节信息；以第个高频系数块主方向为水平方向为例，对应高频系数块应在其主方向子带多采样
42.；
43.步骤4-6：采用大小为的高斯随机矩阵作为测量矩阵；根据自适应采样率适应采样率，分别确定各层各高频系数块的测量次数并生成测量矩阵进行降维观测；
44.其中，为各层高频子带系数分块大小，低频近似图像分块大小与各层高频子带系数分块大小的关系为。
45.进一步的，步骤5中在重构端对低频近似图像采用空域自适应加权滤波器重建边缘；对各层各高频系数块采用基于分层分块结构的平滑投影landweber重构算法进行重构，并将重构的高频系数块重新拼接得到重构的高频子带系数，具体步骤包括：
46.步骤5-1：对低频近似图像按照以下过程进行空域自适应加权滤波得到滤波后低频近似图像：
47.；
48.；
49.；
50.；
51.；
52.其中，为待滤波像素，为其八邻域像素，以为中心生成大小的滤波模板，表示低频近似图像像素值，为像素的滤波结果，表示像素的八邻域像素值，用于衡量非线性程度，其中取，，为局部方差，为低频近似图像的整体方差；
53.步骤5-2：对各层各高频系数块采用基于分层分块结构的平滑投影landweber重构算法进行重构，具体过程为：
54.设高频系数块测量与重构时的块尺寸分别为，且实现分层分块结构，满足以下关系：
55.；
56.分层分块结构首先在测量时将第层各高频子带系数分为256个不重叠的大小为的高频系数块，并将其转化为大小为一维向量；
57.然后通过构造大小为测量矩阵，其中为各层各高频系数块总采样数；得到各块大小为测量值向量：
58.；
59.在重构端将测量端的测量值向量，测量矩阵以及一维向量进行拼接和重组成为大尺寸块；重构端设置=1，拼接过程如下：
60.；
61.其中是四个测量矩阵构成的对角矩阵；使用拼接后的和作为平滑投影landweber重构算法的输入对高频系数块进行重构，得到大尺寸重构高频系数块，并将重构的高频系数块重新拼接得到重构的高频子带系数。
62.进一步的，步骤6中将重构得到的高频子带系数进行逆变换并与加权滤波处理后的低频近似图像叠加得到最终重构图像的具体过程为：
63.将低频子带系数置零，对重构得到的高频子带系数进行逆变换得到边缘纹理图像，并将其与加权滤波处理后的低频近似图像进行归一化叠加，得到最终重构图像。
64.本发明具有以下有益效果：（1）本发明在ms-bcs-spl算法的基础上引入权重因子，加权结合低频近似图像块空域全变差以及小波域各子带对应的高频系数用于指导采样率预分配；其次结合图像的方向特性，对高频系数块按照子带主方向进行采样率的进一步精细分配。实现总采样率不变的情况下对采样资源的合理分配，图像的纹理复杂区域能够得到更好的重构，有效提高图像重构质量。
65.（2）本发明在重构端分别对高低频系数分别进行重建，引入空域自适应加权滤波器对低频近似图像重建，保护边缘的同时滤除锯齿状块效应。针对高频系数采用基于分层分块结构的平滑投影landweber重构算法进行重构，有效缩短重构耗时，提高重构图像视觉效果。
66.（3）本发明在保持总采样率不变的情况下提高了重构图像的主观视觉效果和客观重构性能，实现了采样率的合理自适应分配；空域自适应加权滤波器的引入保护图像纹理边缘，有效地缓解了边缘块效应；基于分层分块结构的平滑投影landweber重构算法有效降低了计算复杂度和储存空间，实现了图像信号的快速采样和重构，具有较强的鲁棒性。在医学成像、气候成像以及雷达成像等方面具有良好的应用性。
附图说明
67.图1为本发明的结合双域信息和方向特征的多尺度分块压缩感知方法的实现整体流程图；
68.图2为本发明的lena图像三层小波变换后图像；
69.图3为本发明的lena图像三层小波变换后系数分布图；
70.图4为本发明实施例所述lena测试图像集；
71.图5为本发明实施例所述barbara测试图像集；
72.图6为本发明实施例所述peppers测试图像集；
73.图7为本发明实施例所述goldhill测试图像集；
74.图8为本发明实施例所述mandrill测试图像集；
75.图9为本发明lena测试图像在总采样率时，各图像块采样率预分配因子与固定采样率下ms-bcs-spl算法重构图像的psnr关系图；
76.图10为本发明barbara测试图像在总采样率时，各图像块采样率预分配因子与固定采样率下ms-bcs-spl算法重构图像的psnr关系图；
77.图11为本发明peppers测试图像在总采样率时，各图像块采样率预分配因子与固定采样率下ms-bcs-spl算法重构图像的psnr关系图；
78.图12为本发明goldhill测试图像在总采样率时，各图像块采样率预分配因子与固定采样率下ms-bcs-spl算法重构图像的psnr关系图；
79.图13为本发明mandrill测试图像在总采样率时，各图像块采样率预分配因子与固定采样率下ms-bcs-spl算法重构图像的psnr关系图；
80.图14为本发明实施例lena测试图像自适应采样率预分配结果；
81.图15为本发明实施例barbara测试图像自适应采样率预分配结果；
82.图16为本发明实施例peppers测试图像自适应采样率预分配结果；
83.图17为本发明实施例goldhill测试图像自适应采样率预分配结果；
84.图18为本发明实施例mandrill测试图像自适应采样率预分配结果；
85.图19为本发明的lena图像方向估计结果；
86.图20为本发明的peppers图像方向估计结果；
87.图21为本发明的空域自适应加权滤波器模板；
88.图22为本发明的基于分层分块结构的平滑投影landweber重构算法流程图；
89.图23为本发明实施例lena与bcs-spl算法和ms-bcs-spl算法在总采样率为0.4时的重构图像局部放大图（其中图23从左到右分别为lena图像原图、bcs-spl算法重构图、ms-bcs-spl算法重构图以及本发明重构图）；
90.图24为本发明实施例barbara与bcs-spl算法和ms-bcs-spl算法在总采样率为0.4时的重构图像局部放大图（其中图24从左到右分别为barbara图像原图、bcs-spl算法重构图、ms-bcs-spl算法重构图以及本发明重构图）；
91.图25为本发明实施例peppers与bcs-spl算法和ms-bcs-spl算法在总采样率为0.4时的重构图像局部放大图（其中图25从左到右分别为peppers图像原图、bcs-spl算法重构图、ms-bcs-spl算法重构图以及本发明重构图）；
92.图26为本发明实施例goldhill与bcs-spl算法和ms-bcs-spl算法在总采样率为0.4时的重构图像局部放大图（图26从左到右分别为goldhill图像原图、bcs-spl算法重构图、ms-bcs-spl算法重构图以及本发明重构图）；
93.图27为本发明实施例mandrill与bcs-spl算法和ms-bcs-spl算法在总采样率为0.4时的重构图像局部放大图（其中图27从左到右分别为mandrill图像原图、bcs-spl算法重构图、ms-bcs-spl算法重构图以及本发明重构图）。
具体实施方式
94.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及对应的附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
95.如图1所示，本发明所述的一种结合双域信息和方向特征的多尺度分块压缩感知方法的整体流程如下：
96.步骤1，对原始图像进行三层小波变换，得到高频子带系数和低频子带系数，对低频子带系数进行逆变换得到低频近似图像，具体过程如下：
97.如图2、图3所示，以lena图像为例采用9/7正交小波变换对大小为的lena图像进行三层小波分解，分解方式为：首先将原始图像分解为一个低频子带系数和三个高频子带系数，其中、和分别包含了图像水平、垂直和对角方向的边缘细节信息。保留高频子带系数，对低频子带系数进行小波分解得到第二层的低频子带系数和高频子带系数；以此类推，三层小波分解后得到一个低频子带和九个高频子带、和，每一层小波变换包含三个高频子带系数；为第一层小波变换得到的高频子带系数，为第二层小波变换得到的高频子带系数，为第三层小波变换得到的高频子带系数，高频子带系数；之后仅提取低频子带系数进行逆变换得到低频近似图像。
98.步骤2，将低频近似图像均匀划分为互不重叠的低频近似图像块；按照小波变换的结构特征对每一层各高频子带系数按比例分块，得到高频系数块,其中为小波变换层数，为小波变换第层的高频子带系数，为高频子带系数中的高频系数块编号；具体过程如下：
99.本实施例如图4-图8，采用五幅大小均为512
×
512的标准测试集图像lenna、barbara、peppers、goldhill、mandrill作为原始图像，对原始图像进行三层小波分解，对低频子带系数进行逆变换得到低频近似图像；本实施例对低频近似图像均匀划分为大小为32
×
32且互不重叠的256个低频近似图像块；将同一层各高频子带系数均匀划分为大小相同且不重叠的256个高频系数块；低频近似图像分块大小与各层高频子带系数分块大小的关系为。
100.步骤3，计算低频近似图像块的全变差和各层各高频子带系数中第个高频系数块的小波系数绝对值；加权结合低频近似图像块的全变差和对应位置高频系数块的小波系数绝对值；对高频系数块进行采样率预分配，计算所有层高频子带系数中位置为的系数块的总采样率，具体过程如下：
101.步骤3-1：由下式计算低频近似图像块的全变差：
102.；
103.；
104.；
105.其中，和分别为水平和垂直方向的梯度操作因子；表示图像块位置像素的灰度值大小；和分别为低频近似图像的长和宽；
106.步骤3-2：计算各层各高频子带系数中第个高频系数块的小波系数绝对值，其中为各层第个高频系数块在位置为系数值；为小波变换层数；为高频系数块编号，；为第层高频子带系数分块大小；
107.步骤3-3：引入权重因子加权结合和，由下式计算采样率预分配因子，本实施例的权重因子=0.75：
108.；
109.步骤3-4：本实施例设总采样率为=[0.1,0.5]，并设定采样率下界=0.2，由下式计算所有层高频子带系数中位置为的系数块的总采样率；
[0110]
；
[0111]
其中为高频系数块个数。
[0112]
本实施例采样率预分配结果如图9-图13所示。
[0113]
步骤4，估计低频近似图像块的主方向，结合小波变换高频子带方向性对高频系数块进行采样率再分配，得到第层高频子带系数中位置为的高频系数块的自适应采样率，根据自适应采样率构造各层各高频系数块的大小为测量矩阵进行降维观测，本文测量矩阵选取高斯随机矩阵；具体过程如下：
[0114]
步骤4-1：对低频近似图像块的梯度矩阵进行奇异值分解：
[0115]
；
[0116]
其中，是大小为的正交矩阵；为对角矩阵；为正交矩阵；表示梯度场主方向的能量大小；表示低频近似图像块主方向的能量大小；和分别代表梯度场主方向和低频近似图像块主方向；、、、分别为特征向量值；
[0117]
步骤4-2：利用和对低频近似图像块方向显著性判断：
[0118]
；
[0119]
其中，为方向显著性参数，越大图像的方向性越明显，当时，低频近似图像块没有明显的方向性。设置方向性经验阈值，当时说明低频近似图像块有
明显方向性，反之表示低频近似图像块没有明确的主方向，本实施例中=0.1；
[0120]
步骤4-3：求出有明确主方向的低频近似图像块的方向角，并判断低频近似图像块主方向：
[0121]
；
[0122]
；
[0123]
步骤4-4：将求得的总采样率作为各层对应高频系数块的采样率之和，计算各层位置为的高频系数块的子采样率以及低频子带系数的采样率：
[0124]
；
[0125]
步骤4-5：将结合低频近似图像块主方向，求出第层子带中第个高频系数块的自适应采样率；其中、和分别包含了图像水平、垂直和对角方向的边缘细节信息；以第个高频系数块主方向为水平方向为例，对应高频系数块应在其主方向子带多采样
[0126]
；
[0127]
步骤4-6：采用大小为的高斯随机矩阵作为测量矩阵；根据自适应采样率适应采样率，分别确定各层各高频系数块的测量次数并生成测量矩阵进行降维观测；
[0128]
其中，为各层高频子带系数分块大小，低频近似图像分块大小与各层高频子带系数分块大小的关系为。
[0129]
步骤5，在重构端对低频近似图像采用空域自适应加权滤波器重建边缘；对各层各高频系数块采用基于分层分块结构的平滑投影landweber重构算法进行重构，并将重构的高频系数块重新拼接得到重构的高频子带系数，其具体过程为：
[0130]
步骤5-1：本实施例的空域自适应加权滤波模板如图21所示。对低频近似图像按照以下过程进行空域自适应加权滤波得到滤波后低频近似图像：
[0131]
；
[0132]
；
[0133]
；
[0134]
；
[0135]
；
[0136]
其中，为待滤波像素，为其八邻域像素，以为中心生成大小的滤波模板，表示低频近似图像像素值，为像素的滤波结果，表示像素的八邻域像素值，用于衡量非线性程度，其中取，，为局部方差，为低频近似图像的整体方差；
[0137]
在像素的滤波过程中，首先计算对称像素的平均值，之后对滤波模板加权求和，其中加权因子与对称像素差值成负相关，对称像素差值越大说明中心像素位于边缘，此时越小，有助于保护边缘。用于衡量非线性程度，本实施例的中取，，的取值由图像局部方差和整体方差一起决定。若低频近似图像块像素值相同，则上述滤波器变为线性均值滤波器，反之滤波器的非线性程度会随着的增大进行自适应调整，达到平滑边缘的目的；
[0138]
步骤5-2：对各层各高频系数块采用基于分层分块结构的平滑投影landweber重构算法进行重构，本实施例的分层分块结构的平滑投影landweber重构算法流程如图22所示，具体过程为：
[0139]
设高频系数块测量与重构时的块尺寸分别为，且实现分层分块结构，满足以下关系：
[0140]
；
[0141]
本实施例中=1。分层分块结构首先在测量时将第层各高频系数分为256个不重叠的大小为的高频系数块，并将其转化为大小为一维向量；
[0142]
然后通过构造大小为测量矩阵，其中为各层各高频系系数块总采样数；得到各块大小为测量值向量：
[0143]
；
[0144]
在重构端将测量端的测量值向量，测量矩阵以及一维向量进行拼接
和重组成为大尺寸块；拼接过程如下：
[0145]
；
[0146]
其中是四个测量矩阵构成的对角矩阵；使用拼接后的和作为平滑投影landweber重构算法的输入对高频系数块进行重构，得到大尺寸重构高频系数块，并将重构的高频系数块重新拼接得到重构的高频子带系数。
[0147]
步骤6，将重构得到的高频子带系数进行逆变换并与加权滤波处理后的低频近似图像叠加得到最终重构图像的，其具体过程为：
[0148]
将低频子带系数置零，对重构得到的高频子带系数进行逆变换得到边缘纹理图像，并将其与低频近似图像进行归一化叠加，得到最终重构图像。
[0149]
本发明的效果可以通过以下仿真内容和结果进一步说明：
[0150]
仿真实验中计算机硬件配置为intel(r) core(tm) i5-9300hf处理器，2.40ghz，16.0 gb内存，windows 10系统笔记本电脑，编程语言为matlab。
[0151]
仿真1：为本实施例lena、barbara、peppers、goldhill、mandrill测试图像在总采样率为0.4时，各图像块采样率预分配因子与固定采样率下ms-bcs-spl算法重构图像的psnr关系图。为防止过大，对其进行对数处理即。从图9-图13中可以看出，五幅测试图像各图像块采样率预分配因子与psnr值之间均呈负相关的变化规律。对于较大的图像块纹理较为复杂，边缘细节丰富，所以其较大，需要较高的采样率才能够重构出高质量图像，为其分配的固定采样率显然不能满足图像的高质量重构需求。对于较小的图像块，纹理相对简单，不需要太多采样数就能得到高质量重构图像，已过采样。综上所述，将作为采样率预分配因子是合理的，能够实现有限采样率的合理分配。
[0152]
仿真2：图14-图18分别为本实施例各测试图像自适应采样率预分配结果。从中可以看出，结合全变差和小波系数的采样率自适应预分配策略能够在总采样率不变的基础上，合理的分配采样率，使纹理复杂区域多采样（对应浅色块），对纹理简单的平坦块少采样（对应深色块）。并且从中能够看出图像不同区域的采样率分布跨度更大，分配更细致，符合算法预期效果。
[0153]
仿真3：图19、图20分别为本实施例的lena和peppers图像方向估计结果。其中h、v、d分别代表图像块主方向为水平、垂直和对角方向，没有字母的图像块代表其没有明确主方向。
[0154]
仿真4：表1和表2分别为本实施例相比分块压缩感知（bcs-spl）算法和ms-bcs-spl算法重构图像的psnr和ssim对比。能够看出在不同的采样率下本实施例的重构图像质量均优于ms-bcs-spl算法和bcs-spl算法，尤其是对于纹理较为复杂的图像提升更为显著。如barbara重构图像的psnr相比另两种算法分别平均提高1.49db和2.53db；mandrill重构图
像的psnr分别平均提高1.46db和1.63db；ssim值也有一定提升。本发明的方法对于图像的亮度、结构和对比度具有更好的恢复能力，同时对纹理较为复杂的图像具备更好的重构性能，重构图像更接近原图。
[0155]
表1五幅图像不同采样率下三种算法重构图像psnr/db
[0156]
表2五幅图像不同采样率下三种算法重构图像ssim
[0157]
仿真5，图23-图27分别为本发明与bcs-spl算法和ms-bcs-spl算法在总采样率为0.4时的个测试图像的重构图像局部放大图。从中能够看出，本发明的重构图像在纹理边缘细节、边缘平滑度、亮度和对比度方面均优于其他对比算法，重构图像拥有更好的视觉效
果。其中对于lena图像，本发明重构图像的发丝和睫毛部分更加明显，同时帽檐边缘更加平滑，几乎没有锯齿状块效应，说明空域自适应加权滤波器的引入在保护图像边缘细节的同时起到了很好地平滑作用，缓解了锯齿状块效应；对于barbara图像，本发明重构图像的围巾和裤子的纹理部分清晰，相互之间界限分明。而ms-bcs-spl算法重构图像条纹之间相互交叉，裤子部分尤为明显，bcs-spl算法重构图像在条纹部分出现噪声伪影，视觉效果欠佳；对于peppers图像，本发明重构图像的两个辣椒的根部纹理更加清晰，同时大辣椒表面光泽明亮细腻，更接近原图。而两种对比算法重构图像表面模糊，影响根部细节和亮度；对于goldhill图像，本发明重构图像的窗框和房顶的瓦片的界限更加清晰，视觉效果更好；对于mandrill图像，本发明重构图像的毛发自然纹理部分刻画更加逼真，胡须之间的界限分明，同时鼻子部分的光泽更细腻。
[0158]
以上详细描述了本发明的较佳具体实施例，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

技术特征：
1.一种结合双域信息和方向特征的多尺度分块压缩感知方法，其特征在于，所述方法包括以下步骤：步骤1，对原始图像进行三层小波变换，得到高频子带系数和低频子带系数，对低频子带系数进行逆变换得到低频近似图像；步骤2，将低频近似图像均匀划分为互不重叠的低频近似图像块；按照小波变换的结构特征对每一层各高频子带系数按比例分块，得到高频系数块,其中为小波变换层数，为小波变换第层的高频子带系数，为高频子带系数中的高频系数块编号；步骤3，计算低频近似图像块的全变差和各层各高频子带系数中第个高频系数块的小波系数绝对值；加权结合低频近似图像块的全变差和对应位置高频系数块的小波系数绝对值；对高频系数块进行采样率预分配，计算所有层高频子带系数中位置为的系数块的总采样率；步骤4，估计低频近似图像块的主方向，结合小波变换高频子带方向性对高频系数块进行采样率再分配，得到第层高频子带系数中位置为的高频系数块的自适应采样率，根据自适应采样率构造各层各高频系数块的测量矩阵进行降维观测；步骤5，在重构端对低频近似图像采用空域自适应加权滤波器重建边缘；对各层各高频系数块采用基于分层分块结构的平滑投影landweber重构算法进行重构，并将重构的高频系数块重新拼接得到重构的高频子带系数；步骤6，将重构的高频子带系数进行逆变换并与空域自适应加权滤波处理后的低频近似图像叠加得到最终重构图像。2.根据权利要求1所述的一种结合双域信息和方向特征的多尺度分块压缩感知方法，其特征在于，步骤1中对原始图像进行三层小波变换，得到高频子带系数和低频子带系数，对低频子带系数进行逆变换得到低频近似图像，具体步骤如下：采用9/7正交小波变换对大小为原始图像进行三层小波分解，分解方式为：首先将原始图像分解为一个低频子带系数和三个高频子带系数，其中、和分别包含了图像水平、垂直和对角方向的边缘细节信息；保留高频子带系数，对低频子带系数进行小波分解得到第二层的低频子带系数和高频子带系数；以此类推，三层小波分解后得到一个低频子带系数和九个高频子带系数、和，高频子带系数；之后仅提取低频子带系数进行逆变换得到低频近似图像。3.根据权利要求1所述的一种结合双域信息和方向特征的多尺度分块压缩感知方法，其特征在于，步骤2中将低频近似图像均匀划分为互不重叠的低频近似图像块；按照小波变换的结构特征对每一层各高频子带系数按比例分块，得到高频系数块，其中为小波变换层数，为小波变换第层的高频子带系数，为高频子带系数中的高频系数块编号；具体步骤如下：将低频近似图像均匀划分为大小为32
×
32且
不重叠的256个低频近似图像块；将同一层各高频子带系数均匀划分为大小相同且不重叠的256个高频系数块；低频近似图像分块大小与各层高频子带系数分块大小的关系为。4.根据权利要求1所述的一种结合双域信息和方向特征的多尺度分块压缩感知方法，其特征在于，步骤3中计算低频近似图像块的全变差和各层各高频子带系数中第个高频系数块的小波系数绝对值；加权结合低频近似图像块的全变差和对应位置高频系数块的小波系数绝对值；对高频系数块进行采样率预分配，计算所有层高频子带系数中位置为的系数块的总采样率，具体步骤为：步骤3-1：由下式计算低频近似图像块的全变差：；；；其中，和分别为水平和垂直方向的梯度操作因子；表示图像块位置像素的灰度值大小；和分别为低频近似图像的长和宽；步骤3-2：计算各层各高频子带系数中第个高频系数块的小波系数绝对值，其中为第个高频系数块在位置为系数值；为小波变换层数；为高频系数块编号，；为第层高频子带系数分块大小；步骤3-3：引入权重因子加权结合和，由下式计算采样率预分配因子：；步骤3-4：设总采样率为，并设定采样率下界，由下式计算所有层高频子带系数中位置为的系数块的总采样率；；其中为高频系数块个数。5.根据权利要求1所述的一种结合双域信息和方向特征的多尺度分块压缩感知方法，其特征在于，步骤4中估计低频近似图像块的主方向，结合小波变换高频子带方向性对高频系数块进行采样率再分配，得到第层高频子带系数中位置为的高频系数块的自适应采
样率，根据自适应采样率构造各层各高频系数块的大小为测量矩阵进行降维观测，具体步骤包括：步骤4-1：对低频近似图像块的梯度矩阵进行奇异值分解：；其中，是大小为的正交矩阵；为对角矩阵；为正交矩阵；表示梯度场主方向的能量大小；表示低频近似图像块主方向的能量大小；和分别代表梯度场主方向和低频近似图像块主方向；、、、分别为特征向量值；步骤4-2：利用和对低频近似图像块方向显著性判断：；其中，为方向显著性参数，越大图像的方向性越明显，当时，低频近似图像块没有明显的方向性，设置方向性经验阈值，当时说明低频近似图像块有明显方向性，反之表示低频近似图像块没有明确的主方向；步骤4-3：求出有明确主方向的低频近似图像块的方向角，并判断低频近似图像块主方向：；；步骤4-4：将求得的总采样率作为各层对应高频系数块的采样率之和，计算各层位置为的高频系数块的子采样率以及低频子带系数的采样率：；步骤4-5：将结合低频近似图像块主方向，求出第层子带中第个高频系数块的自适应采样率，其中、和分别包含了图像水平、垂直和对角方向的边缘细节信息；以第个高频系数块主方向为水平方向为例，对应高频系数块应在其主方向子带多采样；步骤4-6：采用大小为的高斯随机矩阵作为测量矩阵；根据自适应
采样率采样率，分别确定各层各高频系数块的测量次数并生成测量矩阵进行降维观测；其中，为各层高频子带系数分块大小，低频近似图像分块大小与各层高频子带系数分块大小的关系为。6.根据权利要求1所述的一种结合双域信息和方向特征的多尺度分块压缩感知方法，其特征在于，步骤5中在重构端对低频近似图像采用空域自适应加权滤波器重建边缘；对各层各高频系数块采用基于分层分块结构的平滑投影landweber重构算法进行重构，并将重构的高频系数块重新拼接得到重构的高频子带系数，具体步骤包括：步骤5-1：对低频近似图像按照以下过程进行空域自适应加权滤波得到滤波后低频近似图像：；；；；；其中，为待滤波像素，为其八邻域像素，以为中心生成大小的滤波模板，表示低频近似图像像素值，为像素的滤波结果，表示像素的八邻域像素值，用于衡量非线性程度，其中取，，为局部方差，为低频近似图像的整体方差；步骤5-2：对各层各高频系数块采用基于分层分块结构的平滑投影landweber重构算法进行重构，具体过程为：设高频系数块测量与重构时的块尺寸分别为，且实现分层分块结构，满足以下关系：；分层分块结构首先在测量时将第层各高频子带系数分为256个不重叠的大小为的高频系数块，并将其转化为大小为一维向量；
然后通过构造大小为测量矩阵，其中为各层各高频系数块总采样数；得到各块大小为测量值向量：；在重构端将测量端的测量值向量，测量矩阵以及一维向量进行拼接和重组成为大尺寸块；重构端设置=1，拼接过程如下：；其中是四个测量矩阵构成的对角矩阵；使用拼接后的和作为平滑投影landweber重构算法的输入对高频系数块进行重构，得到大尺寸重构高频系数块，并将重构的高频系数块重新拼接得到重构的高频子带系数。7.根据权利要求1所述的一种结合双域信息和方向特征的多尺度分块压缩感知方法，其特征在于，步骤6中将重构得到的高频子带系数进行逆变换并与加权滤波处理后的低频近似图像叠加得到最终重构图像的具体过程为：将低频子带系数置零，对重构得到的高频子带系数进行逆变换得到边缘纹理图像，并将其与加权滤波处理后的低频近似图像进行归一化叠加，得到最终重构图像。

技术总结
本发明公开了一种结合双域信息和方向特征的多尺度分块压缩感知方法，属于图像处理技术领域，包括：对原始图像进行三层小波变换，对低频子带系数进行逆变换；将低频近似图像和高频子带系数按比例分块，加权结合全变差和小波系数绝对值，对高频系数块进行采样率预分配；计算各块主方向对高频系数块进行采样率再分配，构造各层各高频系数块的测量矩阵进行降维观测；采用分层分块结构进行SPL重构；将重构的高频子带系数进行逆变换并与低频近似图像叠加得到重构图像；本发明实现总采样率不变的情况下对采样资源的合理分配，图像的纹理复杂区域能够得到更好的重构，有效提高图像重构质量。量。量。


技术研发人员：左胤杰 赵君喜
受保护的技术使用者：南京邮电大学
技术研发日：2023.05.31
技术公布日：2023/7/7