图像超分辨率重建方法、设备及介质与流程

1.本发明涉及图像重建技术领域，尤其涉及一种图像超分辨率重建方法、设备及介质。


背景技术：

2.图像超分辨率重建（super resolution，sr）的核心思想是利用一组非冗余的低分辨率图像（low resolution，lr）重建出一幅或多幅高分辨率图像（high resolution，hr）。目前，图像超分辨率重建算法可以分为3大类，分别是基于插值、基于学习和基于重建的超分辨率重建算法。基于插值的超分辨率重建算法简单，处理速度快，但是在重建中，未考虑图像的降质退化模型，会导致重建图像纹理和边缘模糊，出现锯齿等现象。基于学习的超分辨率重建算法通过训练图像数据集学习低分辨与高分辨图像之间的映射关系，来预测低分辨图像中丢失的高频信息，从而达到重建高分辨率图像的目的，但是算法计算量大，需要足够多的数据集，不具备普适性。基于重建的超分辨率重建算法将图像的先验知识加入，把图像超分辨率这个超不适定问题适定化。
3.随着图像超分辨率重建算法的发展，现有技术中对多个图像先验的方法组合，进而提高重建图像质量，如：将tv先验和poe先验结合来增强图像的属性；将tv先验和l1先验与非稀疏同时自回归先验（sar）组合，通过调节权重来控制各先验的贡献量；将tv先验和frobenius正则化相结合，实现各先验贡献量自适应。虽然，这些算法重建效果比单先验重建在一定程度上抑制了噪声。但是，重建的图像在图像边缘仍然存在伪影和阶梯效应。


技术实现要素：

4.本发明要解决的技术问题是：为了解决现有技术中分辨率重建方法重建后发的图像平滑区域易产生伪影和阶梯效应的问题，本发明提供一种图像超分辨率重建方法，能够有效降低重建图像的伪影和阶梯效应，可以有效提高超分辨率重建效果。
5.本发明解决其技术问题所采用的技术方案是：一种图像超分辨率重建方法，包括以下步骤：s1：输入低分辨率图像；s2：获取初始高分辨率图像，从步骤s1输入的所述低分辨率图像中选取其中一帧作为参考图像，对所述参考图像进行插值重建，重建后得到所述初始高分辨率图像，其中，t表示迭代次数，在步骤s2中，t＝1；s3：收敛性判断，根据所述迭代次数判断是否进入下一步；若所述迭代次数t=1，则进入下一步骤；若所述迭代次数t＞1，则判断是否满足截止条件；若满足所述截止条件，则结束图像超分辨率重建，输出目标高分辨率图像；反之，若不满足所述截止条件，则进入下一步骤；
s4：图像配准，通过图像配准获取当前高分辨率图像和所述低分辨率图像之间的运动变化关系，得到相对运动变换参数mk；s5：全变分先验，采用全变分先验对所述当前高分辨率图像优化，得到第一中间变量w；s6：超参数估计，根据所述当前高分辨率图像和所述低分辨率图像得到超参数估计，以及；s7：亮通道先验，设置惩罚参数，比较和的大小；为所述惩罚参数的初始值，为所述惩罚参数的循环判断限值；若，则采用亮通道先验对所述当前高分辨率图像优化，得到矩阵和辅助变量g ；若，则执行，返回s2步骤；s8：重建高分辨率图像，结合全变分先验和亮通道先验模型，根据所述相对运动变换参数mk、所述第一中间变量w、所述超参数估计,,、所述矩阵和所述辅助变量g 对所述当前高分辨率图像重建，获取新的高分辨率图像，执行，返回s2步骤。
6.进一步，具体地，在所述步骤s3中，所述截止条件为：（1）其中，是降序排列，为当前高分辨率图像，为前一次高分辨率图像，p为上采样因子，n为所述低分辨率图像的像素数，ε是一个定值，取值为1*10-5
。
7.进一步，具体地，在所述步骤s4中，所述相对运动变换参数mk的计算包括：设所述相对运动变换参数mk服从多元高斯分布，即：（2）其中，为初始相对运动变换参数，为先验协方差矩阵，初始相对运动变换参数通过lucas
–
kanade光流法或频域配准法计算获得；在得到所述当前高分辨率图像后，所述相对运动变换参数mk通过最小化方程来估计:（3）
其中，，s为降采样矩阵；为模糊矩阵；为运动变换矩阵；且为期望值，所述近似为：（4）其中，与均为设置的变量，，为中间计算变量，的计算公式如下：（5）所述相对运动变换参数mk的计算公式为：
（6）（7）其中，为第n次迭代求解的先验协方差矩阵，第n+1次迭代求解的先验协方差矩阵，为中间变量，计算公式为：（8）。
8.进一步，具体地，在所述步骤s5中，所述全变分先验的数学表达式为：（9）其中，所述采用各向同性模型，所述数学表达式如下：（10）其中，和分别表示所述当前高分辨率图像的水平梯度和垂直梯度；根据所述当前高分辨率图像的水平梯度和垂直梯度计算所述第一中间变量w的元素：（11）
（12）所述第一中间变量w的计算公式为：（13）其中，diag（）表示对角矩阵。
9.进一步，具体地，在所述步骤s6中，所述超参数的估计公式为:（14）所述超参数的估计公式为：（15）所述超参数为经验超参数，所述超参数估计公式为：（16）其中，为经验值。
10.进一步，具体地，在所述步骤s7中，所述亮通道先验的数学表达式为：（17）其中，是超参数，是所述当前高分辨率图像的亮通道，将转换为：（18）为一个的矩阵，第i行的元素计算公式为:（19）其中，q为给定邻域中最小值的位置；在所述亮通道先验中采用半二次分裂法进行求解0阶范数，引入辅助向量g，近似为：（20）其中，当趋于无穷大，和近似相等，通过最小化公式来计算辅助向量g：
（21）辅助向量g为：（22）通过放大来迭代更新g和，使得近似等于，亮通道先验模型为：（23）。
11.进一步，具体地，在所述步骤s8中新的高分辨率图像计算公式为：全变分-亮通道先验模型的表达式为:（24）其中，为全变分先验，表示亮通道先验；所述高分辨率图像估计公式为：（25）将所述公式（20）和所述公式（25）代入所述公式（24）得到全变分-亮通道先验简化公式：（26）其中，[1]为全1矩阵，以及（27）其中，是协方差矩阵的元素。
[0012]
一种计算机设备，包括：处理器；存储器，用于存储可执行指令；其中，所述处理器用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现如上所述的图像超分辨率重建方法。
[0013]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得处理器实现如上所述的图像超分辨率重建方法。
[0014]
本发明的有益效果是，本发明的一种图像超分辨率重建方法通过全变分先验的保持边缘能力和亮通道先验的噪声抑制能力，达到有效地保持重建图像的边缘、去除伪影的效果，得到更高质量地图像，即使在高噪声情况下，也能很好的阻止图像降质；且将全变分先验模型和亮通道先验模型相结合的新的超分辨率重建算法，有效提高了高分辨率图像的重建效果，可以得到高质量的图片结果。
附图说明
[0015]
下面结合附图和实施例对本发明进一步说明。
[0016]
图1是本发明实施例一的流程示意图。
[0017]
图2是本发明实施例一的部分伪代码示意图。
[0018]
图3是本发明实施例一测试分析的仿真原图像，（a）butterfly图像；（b）hand图像。
[0019]
图4是本发明实施例一测试分析的低分辨率butterfly图像，（a）噪声等级5低分辨率butterfly图像；（b）噪声等级10低分辨率butterfly图像；（c）噪声等级30低分辨率butterfly图像 ；（d）噪声等级40低分辨率butterfly图像。
[0020]
图5是本发明实施例一测试分析的低分辨率hand图像，（a）噪声等级5低分辨率hand图像；（b）噪声等级10低分辨率hand图像；（c）噪声等级30低分辨率hand图像 ；（d）噪声等级40低分辨率hand图像。
[0021]
图6是本发明实施例一测试分析的噪声等级为5时butterfly图像不同超分辨率重建算法效果图，（a）tv算法重建图像；（b）l1算法重建图像；（c）sar算法重建图像；（d）dc-tv 算法重建图像；（e）本实施例一方法重建图像。
[0022]
图7是本发明实施例一测试分析的噪声等级为10时butterfly图像不同超分辨率重建算法效果图，（a）tv算法重建图像；（b）l1算法重建图像；（c）sar算法重建图像；（d）dc-tv 算法重建图像；（e）本实施例一方法重建图像。
[0023]
图8是本发明实施例一测试分析的噪声等级为5时hand图像不同超分辨率重建算法效果图，（a）tv算法重建图像；（b）l1算法重建图像；（c）sar算法重建图像；（d）dc-tv 算法重建图像；（e）本实施例一方法重建图像。
[0024]
图9是本发明实施例一测试分析的噪声等级为10时hand图像不同超分辨率重建算法效果图，（a）tv算法重建图像；（b）l1算法重建图像；（c）sar算法重建图像；（d）dc-tv 算法重建图像；（e）本实施例一方法重建图像。
[0025]
图10是本发明实施例一测试分析的噪声等级为30时butterfly图像不同超分辨率重建算法效果图，（a）tv算法重建图像；（b）l1算法重建图像；（c）sar算法重建图像；（d）dc-tv算法重建图像；（e）本实施例一方法重建图像。
[0026]
图11是本发明实施例一测试分析的噪声等级为40时butterfly图像不同超分辨率重建算法效果图，（a）tv算法重建图像；（b）l1算法重建图像；（c）sar算法重建图像；（d）dc-tv算法重建图像；（e）本实施例一方法重建图像。
[0027]
图12是本发明实施例一测试分析的噪声等级为30时hand图像不同超分辨率重建算法效果图，（a）tv算法重建图像；（b）l1算法重建图像；（c）sar算法重建图像；（d）dc-tv算法重建图像；（e）本实施例一方法重建图像。
[0028]
图13是本发明实施例一测试分析的噪声等级为40时hand图像不同超分辨率重建
算法效果图，（a）tv算法重建图像；（b）l1算法重建图像；（c）sar算法重建图像；（d）dc-tv 算法重建图像；（e）本实施例一方法重建图像。
[0029]
图14 是本发明实施例一测试分析的text图像不同超分辨率重建算法效果图，（a）tv算法重建图像；（b）l1算法重建图像；（c）sar算法重建图像；（d）dc-tv 算法重建图像；（e）本实施例一方法重建图像。图15 是本发明实施例一测试分析的disk图像不同超分辨率重建算法效果图，（a）tv算法重建图像；（b）l1算法重建图像；（c）sar算法重建图像；（d）dc-tv 算法重建图像；（e）本实施例一方法重建图像。图16是本发明实施例二的计算机设备结构示意图。
[0030]
图中10、计算机设备；1002、处理器；1004存储器；1006、传输装置。
具体实施方式
[0031]
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
[0032]
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0033]
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0034]
实施例1：如图1-2所示，本技术实施例提供了一种图像超分辨率重建方法，包括以下步骤：s1：输入低分辨率图像，低分辨率图像为同一场景且具有相对运动变换的至少两帧低分辨率图像，换言之，低分辨率图像为视频图像中按帧截取获取的连续的两帧图像，但不仅限如此，也可以三帧、四帧或五帧，获取的连续图像越多，有效信息也就越多，能够提高高分辨率图像质量。
[0035]
s2：获取初始高分辨率图像，从步骤s1输入的低分辨率图像中选取其中一帧作为参考图像，对参考图像进行插值重建，重建后得到初始高分辨率图像，其中，t表示迭代次数，在步骤s2中，t＝1。进一步的，从步骤s1输入的低分辨率图像中选取第一帧图像作为参考图像，采用双三次插值法对参考图像进行插值重建得到初始高分辨率图像，初始高分辨率图像作为后续计算的输入条件，用以进行超参数、运动变换参数以及其他变
量的计算。
[0036]
图像超分辨率重建技术就是利用一组低质量、低分辨率的图像(或运动序列)来产生单幅高质量、高分辨率图像，假设有n幅低分辨率图像，每幅低分辨率图像大小（像素数）n为，高分辨率图像大小（像素数）为，p为上采样因子。高分辨率图像通过旋转、位移、模糊、降采样和混合噪声等一系列操作获得低分辨率图像，获取高分辨率图像和低分辨率图像关系的数学表达式为：；（10-1）其中，s为降采样矩阵；是模糊矩阵；是运动变换矩阵，其值受到相对运动变换参数的影响，为运动变换中的旋转角度、为运动变换中水平位移，为运动变换中垂直位移；为附加噪声，同时令。
[0037]
假设第k帧低分辨率图像添加的均值为0，方差为的加性高斯白噪声，低分辨率图像的条件分布为：；（10-2）假设低分辨率图像之间采集的噪声具有统计独立性，则给定的高分辨率图像的低分辨率图像集合的条件概率表示为：（10-3）其中，是配准参数集合。
[0038]
s3：收敛性判断，根据迭代次数判断是否进入下一步；若迭代次数t=1 ，则进入下一步骤；若迭代次数t＞1，则判断是否满足截止条件；若满足截止条件，则结束图像超分辨率重建，输出目标高分辨率图像；反之，若不满足截止条件，则进入下一步骤；通过收敛性判断进行循环重建过程，实现自适应地、高效地、高质量地超分辨率重建，避免人为选择迭代次数，且输出的高分辨率图像质量也较好。
[0039]
在本实施例中，在步骤s3中，判断是否满足截止条件是将当前高分辨率图像与前一次的高分辨率图像比较判断，截止条件为：（1）其中，是降序排列，为当前高分辨率图像，为前一次高分辨率图像，ε是一个定值，一般取值为1*10-5
。
[0040]
s4：图像配准，通过图像配准获取当前高分辨率图像和低分辨率图像之间的运动变化关系，得到相对运动变换参数mk；将当前高分辨率图像作为参考对象，获得相对运动变换参数mk准确率高，进一步提高图像分辨率。
[0041]
在本实施例中，在步骤s4中，相对运动变换参数mk的计算包括：设相对运动变换参数mk服从多元高斯分布，即：（2）其中，为初始相对运动变换参数，为先验协方差矩阵，初始相对运动变换参数通过lucas
–
kanade光流法或频域配准法计算获得；在得到当前高分辨率图像后，相对运动变换参数mk通过最小化方程来估计：（3）其中，为期望值，近似为：（4）其中，与均为设置的变量，，为中间计算变量，的计算公式如下：
式中：式中：式中：式中：其中，和为对角矩阵，对角元素分别为像素点（u，v）与当前高分辨率图像中左上方像素点的矢量差,、、、分别为位于像素点（u，v）左上方、右上方、左下方和右下方的像素，i为单位矩阵，u、v分别表示当前高分辨率图像按顺序排列的高分辨网格标所构造的向量，表示图像相对角度变化，的计算公式如下：（5）相对运动变换参数mk的计算公式为：（6）（7）
其中，为第n次迭代求解的先验协方差矩阵，第n+1次迭代求解的先验协方差矩阵，为中间变量，计算公式为：（8）。
[0042]
图像配准是图像超分辨率重建的重要组成部分，通过在像素之间插值得到，当前高分辨率图像图像像素越密集，插值效果就越真实，配准结果也就越准确。
[0043]
s5：全变分先验，采用全变分先验对当前高分辨率图像优化，得到第一中间变量w；全变分先验允许出现尖锐的不连续点，从而其更倾向于保护图像的边缘在本实施例中，在步骤s5中，全变分先验的数学表达式为：（9）其中，是超参数，采用各向同性模型，数学表达式如下：（10）其中，和分别表示当前高分辨率图像的水平梯度和垂直梯度；由于公式（10）不能直接求解，因此，采用优化最小化的方法对公式（10）优化。
[0044]
其中，，且当时公式才成立。
[0045]
对于当前高分辨率图像的第i个像素，引入一个变量，计算公式为：，计算公式为：的最小值等于即：因此，全变分先验模型可以近似为：根据当前高分辨率图像的水平梯度和垂直梯度计算第一中间变量w的元素
（11）（12）第一中间变量w的计算公式为：（13）其中，diag（）表示对角矩阵。
[0046]
s6：超参数估计，根据当前高分辨率图像和低分辨率图像得到超参数，以及；在本实施例中，一般，超参数的分布是伽马分布，即：（10-4）其中，w为超参数，和是伽马分布的形状和尺度参数，且，。
[0047]
超参数的估计公式为：（14）进一步的，超参数的计算公式为:（14-1）将公式（10-3）和公式（10-4）代入公式（14-1）得到超参数的估计公式（14），其中，取值为1，取值为0。
[0048]
超参数的估计公式为：（15）进一步的，超参数的计算公式为:（15-1）
将公式（9）和公式（10-4）代入公式（15-1）得到超参数的估计公式（15），其中，取值为1，所述取值为0。
[0049]
超参数为经验超参数，超参数计算公式为：（16）其中，是经验值，取值为0.01。
[0050]
s7：亮通道先验，设置惩罚参数，比较和的大小；为惩罚参数的初始值，为惩罚参数的循环判断限值；若，则采用亮通道先验对当前高分辨率图像优化，得到矩阵和辅助变量g ；若，则执行，返回s2步骤；将亮通道先验引入超分辨率重建，有效改善重建图像的阶梯效应，且对于低分辨率图像含有高噪声的情况，其重建效果表现较优。
[0051]
在本实施例中，在步骤s7中，亮通道先验的数学表达式为：（17）其中，是经验超参数，是当前高分辨率图像的亮通道，为了便于优化，保持一致性，将转换为：（18）是一个的矩阵，第i行的元素从下面的公式得到:（19）其中，q为给定邻域中最小值的位置；在所述亮通道先验中采用半二次分裂法进行求解0阶范数，引入辅助向量g，近似为：（20）其中，当趋于无穷大，和近似相等，通过最小化公式来计算辅助向量g：（21）辅助向量g为：（22）
通过放大来迭代更新g和，使得近似等于，亮通道先验模型为：（23）。
[0052]
s8：重建高分辨率图像，结合全变分先验和亮通道先验模型，根据相对运动变换参数mk、第一中间变量w、超参数,,、矩阵和辅助变量g 对当前高分辨率图像重建，获取新的高分辨率图像，执行，返回s2步骤。全变分-亮通道先验模型对图像进行重建可以有效提高图像超分辨率重建效果和时效性。
[0053]
在本实施例中，在步骤s8中新的高分辨率图像计算公式为：全变分-亮通道先验模型的表达式为:（24）其中，为全变分先验，表示亮通道先验；高分辨率图像采用以下公式估计：（25）将公式（20）和公式（25）代入公式（24）得到全变分-亮通道先验简化公式：（26）其中，[1]为全1矩阵，以及（27）其中，是协方差矩阵的元素。
[0054]
本发明的一种图像超分辨率重建方法通过全变分先验的保持边缘能力和亮通道先验的噪声抑制能力，达到有效地保持重建图像的边缘、去除伪影的效果，得到更高质量地图像，即使在高噪声情况下，也能很好的阻止图像降质；且将全变分先验模型和亮通道先验模型相结合的新的超分辨率重建算法，有效提高了高分辨率图像的重建效果，可以得到高质量的图片结果。
[0055]
测试分析：（1）仿真图像重建采用图3所示的两幅仿真原始图像进行重建，（a）为butterfly图像；（b）为hand图像，两幅图像大小（像素数）分别是120x120和128x128。利用每个原始图像创建5幅低分辨率图像，其降质过程包括以下步骤：
1.添加平移和旋转，其中平移为：旋转角度为：；添加3x3，标准差为1的高斯模糊算子进行模糊退化；将降采样设置为2进行降采样；对低分辨率图像添加噪声等级为5、10、30和40的随机噪声。在实验中，选取tv算法、l1范数算法、sar算法和dc-tv算法与本实施例进行重建效果比较。使用psnr和ssim来进行定量分析，评估重建图像质量。在仿真实验中，分别做了两组实验：一组是低噪声，即噪声等级为5和10；另一组是高噪声，即噪声等级为30和40。两幅仿真原始图像的低分辨率图像如图4和图5所示。
[0056]
第一组测试验证在低噪声下本实施例的有效性，表2给出了两种不同低噪声等级情况下不同重建算法的psnr（峰值信噪比）值和ssim（结构相似性）值。
[0057]
psnr值和ssim值为衡量图像质量的指标，一般psnr越大，图像重建质量越高，ssim值越大，图像重建质量越高；表2 低噪声下重建图像psnr和ssim从表中可以看出，对于butterfly图，在相同条件下，本实施例一提出的方法在5db和10db的噪声等级情况下均拥有最高的psnr值和ssim值，其中对于psnr，本实施例一的值比其他方法的值高0.1以上，对于ssim，本实施例一的值比其他方法值高0.1以上；而对于hand图，在5db噪声等级下，本实施例一的psnr和ssim均高于l1和dc-tv法，略低于tv和sar方法，在10db噪声等级下，本实施例一的本实施例一的psnr和ssim均高于其他方法，其中psnr值比其他方法高0.5以上；而以5db和10db噪声下的平均psnr值和平均ssim值来看，本实施例一的方法对于butterfly和hand图均拥有最高值。
[0058]
综上可见，本实施例一的方法对于低噪声情况下的重建效果及其在不同噪声下的
重建效果稳定性均有较好的表现。
[0059]
同时，为了进行视觉主观评价，图6至图9给出了不同算法在低噪声下的重建效果图。从图中可以看出，本实施例能显著的去除图像的伪影和楼梯效应，并且很好的保持图像边缘，即本实施例去除伪影效果更好，重建效果更优。与此同时，dc-tv算法较tv算法、l1算法和sar算法去除图像伪影效果也较好，但是重建图像出现许多坏点，破坏了重建图像质量，相对与本实施例重建图像效果差。
[0060]
为进一步验证本实施例的有效性，使用加入了高噪声的图像进行第二组测试，表3给出了不同重建算法的psnr值和ssim值。
[0061]
表3 高噪声下重建图像psnr和ssim从表中可以看出，在强噪声下，tv算法和l1算法的psnr和ssim明显低于其它算法。本实施例一方法的psnr和ssim并不全是最高的，但与dc-tv几乎一致，只略微稍低，但是，dc-tv算法重建图像有许多黑色的坏点，严重破坏了图像的重建质量，因此，考虑重建图像质量，本实施例的方法是优于dc-tv算法。
[0062]
总结，图10至图13给出了不同算法在高噪声下的重建效果图，从视觉质量角度进行分析，可以很明显地看出，在强噪声下本实施例较tv算法、l1算法和sar算法能更好地去除图像噪声，保留图像细节信息，同时，不会像dc-tv算法一样产生坏点，破坏重建图像质量。因此，不管从客观数据还是主观评价来分析，本实施例的重建效果最好。
[0063]
（2）真实图像重建除了仿真测试外，本实施例还使用两组真实数据进行测试来验证本实施例的有效性。第一组选取了30帧的字母图像text进行测试分析，第二组选取了20帧的disk图像进行测试分析。测试结果如图14和15所示。从图14可以看出，tv算法重建图像伪影严重，l1算法和sar算法重建图像边缘平滑但模糊，还有伪影和阶梯效应，dc-tv算法重建图像伪影和阶梯效应较小，但有坏点，破坏了图像质量。本实施例提出的算法重建图像具有最好的视觉效
果，边缘清晰，受伪影和楼梯效应的影响较小。
[0064]
同样的，从图15中的disk图像重建结果可以看出，tv算法、l1算法和sar算法重建图像依旧受伪影的影响，dc-tv算法虽然伪影较少，但是仍然存在坏点，相比之下，本实施例具有最好的噪声抑制效果，具有清晰的图像边缘，没有伪影和阶梯效应，且视觉效果明显优于其他比较算法。
[0065]
综上所述：将亮通道先验引入图像超分辨率重建，用来抑制图像重建过程中的伪影和阶梯效应，通过仿真图像和真实图像实验，本实施例无论是从客观数据psnr和ssim值，还是主观图像质量评价，本实施例都具有最优的重建质量，本实施例的图像超分辨率重建方法提高了有效性和鲁棒性。
[0066]
实施例2：本技术实施例提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的一种图像超分辨率重建方法。
[0067]
图16示出了一种用于实现本技术实施例所提供的一种图像超分辨率重建方法的设备的硬件结构示意图，设备可以参与构成或包含本技术实施例所提供的装置或系统。如图16所示，计算机设备10可以包括一个或多个处理器1002(处理器可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器1004、以及用于通信功能的传输装置1006。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为i/o接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图16所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机设备10还可包括比图16中所示更多或者更少的组件，或者具有与图16所示不同的配置。
[0068]
应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机设备10(或移动设备)中的其他元件中的任意一个内。如本技术实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
[0069]
存储器1004可用于存储应用软件的软件程序以及模块，如本技术实施例中的一种图像超分辨率重建方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器1004内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种方法。存储器1004可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1004可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0070]
传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机设备10的通信供应商提供的无线网络。在一个实例中，传输装置1006包括一个网络适配器(networkinterfacecontroller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置1006可以为射频(radiofrequency，rf)模块，其用于通过无线方式与互联网进行通讯。
[0071]
显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与
计算机设备10(或移动设备)的用户界面进行交互。
[0072]
实施例3:本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质可设置于服务器之中以保存用于实现方法实施例中一种图像超分辨率重建方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的一种图像超分辨率重建方法。
[0073]
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0074]
实施例4：本发明实施例还提供了一种计算机程序产品或计算机程序，计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施方式中提供的一种图像超分辨率重建方法。
[0075]
需要说明的是：上述本技术实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本技术特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0076]
本技术中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0077]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0078]
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

技术特征：
1.一种图像超分辨率重建方法，其特征在于，包括以下步骤：s1：输入低分辨率图像；s2：获取初始高分辨率图像，从步骤s1输入的所述低分辨率图像中选取其中一帧作为参考图像，对所述参考图像进行插值重建，重建后得到所述初始高分辨率图像，其中，t表示迭代次数，在步骤s2中，t＝1；s3：收敛性判断，根据所述迭代次数判断是否进入下一步；若所述迭代次数t=1，则进入下一步骤；若所述迭代次数t＞1，则判断是否满足截止条件；若满足所述截止条件，则结束图像超分辨率重建，输出目标高分辨率图像；反之，若不满足所述截止条件，则进入下一步骤；s4：图像配准，通过图像配准获取当前高分辨率图像和所述低分辨率图像之间的运动变化关系，得到相对运动变换参数m
k
；s5：全变分先验，采用全变分先验对所述当前高分辨率图像优化，得到第一中间变量w；s6：超参数估计，根据所述当前高分辨率图像和所述低分辨率图像得到超参数估计，以及；s7：亮通道先验，设置惩罚参数，比较和的大小；为所述惩罚参数的初始值，为所述惩罚参数的循环判断限值；若，则采用亮通道先验对所述当前高分辨率图像优化，得到矩阵和辅助变量g ；若，则执行，返回s2步骤；s8：重建高分辨率图像，结合全变分先验和亮通道先验模型，根据所述相对运动变换参数m
k
、所述第一中间变量w、所述超参数估计,,、所述矩阵和所述辅助变量g 对所述当前高分辨率图像重建，获取新的高分辨率图像，执行，返回s2步骤。2.如权利要求1所述的图像超分辨率重建方法，其特征在于，在所述步骤s3中，所述截止条件为：（1）其中，是降序排列，为当前高分辨率图像，为前一次高分辨率图像，p为上采样因子，n为所述低分辨率图像的像素数，ε是一个定值，取值为1*10-5
。3.如权利要求2所述的图像超分辨率重建方法，其特征在于，在所述步骤s4中，所述相
对运动变换参数m
k
的计算包括：设所述相对运动变换参数m
k
服从多元高斯分布，即：（2）其中，为初始相对运动变换参数，为先验协方差矩阵，初始相对运动变换参数通过lucas
–
kanade光流法或频域配准法计算获得；在得到所述当前高分辨率图像后，所述相对运动变换参数m
k
通过最小化方程来估计:（3）其中，，s为降采样矩阵；为模糊矩阵；为运动变换矩阵；且为期望值，所述近似为：（4）其中，与均为设置的变量，，为中间计算变量；所述相对运动变换参数m
k
的计算公式为：
（6）（7）其中，为第n次迭代求解的先验协方差矩阵，第n+1次迭代求解的先验协方差矩阵，为中间变量。4.如权利要求3所述的图像超分辨率重建方法，其特征在于，在所述步骤s5中，所述全变分先验的数学表达式为：（9）其中，所述采用各向同性模型，所述数学表达式如下：（10）其中，和分别表示所述当前高分辨率图像的水平梯度和垂直梯度；根据所述当前高分辨率图像的水平梯度和垂直梯度计算所述第一中间变量w的元素： （11）（12）所述第一中间变量w的计算公式为：（13）其中，diag（）表示对角矩阵。5.如权利要求4所述的图像超分辨率重建方法，其特征在于，在所述步骤s6中，所述超
参数的估计公式为:（14）所述超参数的估计公式为：（15）所述超参数为经验超参数，所述超参数估计公式为：（16）其中，为经验值。6.如权利要求5所述的图像超分辨率重建方法，其特征在于，在所述步骤s7中，所述亮通道先验的数学表达式为：（17）其中，是超参数，是所述当前高分辨率图像的亮通道，将转换为：（18）为一个的矩阵，第i行的元素计算公式为:（19）其中，q为给定邻域中最小值的位置；在所述亮通道先验中采用半二次分裂法进行求解0阶范数，引入辅助向量g，近似为：（20）其中，当趋于无穷大，和近似相等，通过最小化公式来计算辅助向量g：（21）辅助向量g为：
ꢀ
（22）通过放大来迭代更新g和，使得近似等于，亮通道先验模型为：（23）。7.如权利要求6所述的图像超分辨率重建方法，其特征在于，在所述步骤s8中新的高分辨率图像计算公式为：全变分-亮通道先验模型的表达式为:（24）其中，为全变分先验，表示亮通道先验；所述高分辨率图像估计公式为：（25）将所述公式（20）和所述公式（25）代入所述公式（24）得到全变分-亮通道先验简化公式： （26）其中，[1]为全1矩阵，以及（27）其中，是协方差矩阵 的元素。8.一种计算机设备，其特征在于，包括：处理器；存储器，用于存储可执行指令；其中，所述处理器用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现如权利要求1至7中任一项所述的图像超分辨率重建方法。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得处理器实现如权利要求1至7中任一项所述的图像超分辨率重建方法。

技术总结
本发明涉及图像重建技术领域，尤其涉及一种图像超分辨率重建方法、设备及介质。图像超分辨率重建方法包括：S1：输入低分辨率图像；S2：获取初始高分辨率图像，S3：收敛性判断，根据迭代次数判断是否进入下一步；若迭代次数t=1，则进入下一步骤；若迭代次数t＞1，则判断是否满足截止条件；若满足截止条件，则结束图像超分辨率重建，输出目标高分辨率图像；反之，若不满足截止条件，则进入下一步骤；S4：图像配准，S5：全变分先验，S6：超参数估计，S7：亮通道先验，S8：重建高分辨率图像，获取新的高分辨率图像，执行后返回S2步骤。本发明的一种图像超分辨率重建方法，能够有效降低重建图像的伪影和阶梯效应，可以有效提高超分辨率重建效果。率重建效果。率重建效果。


技术研发人员：吴杰
受保护的技术使用者：常州星宇车灯股份有限公司
技术研发日：2023.06.08
技术公布日：2023/7/22