一种超分辨率完成去模糊方法与流程

1.本发明涉及计算机视觉技术领域，尤其涉及一种超分辨率完成去模糊方法。


背景技术：

2.计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
3.车载影像系统是现在车联网中常见的系统，车载影像系统就会常用到计算机视觉处理，在车载影像系统的使用过程中，影像中常常会存在模糊不清楚的问题，进而影响驾驶员的驾驶使用。


技术实现要素：

4.本发明的目的是为了解决现有技术中存在的缺点，而提出的一种超分辨率完成去模糊方法。其优点在于：设计了一套给定低分辨率图像作为输入，使用一组训练示例恢复其高分辨率对应物的方法，实现了对图像进行有效的去模糊处理。
5.为了实现上述目的，本发明采用了如下技术方案：
6.一种超分辨率完成去模糊方法，包括以下步骤：
7.s1：定义与分类；
8.s2：数据图片的提取；
9.s3：对训练图片进行降质；
10.s4：对训练图片进行分块；
11.s5：特征提取；
12.s6：ne处理；
13.s7：图像重建。
14.本发明的进一步设置为：所述s1中，超分辨率复原技术的基本思想是釆用信号处理的方法，在改善图像质量的同时，重建成像系统截止频率之外的信息，从而在不改变硬件设备的前提下，获取高于成像系统分辨率的图像。
15.本发明的进一步设置为：所述s3中，对训练图像降质得到lr training images。
16.本发明的进一步设置为：所述s4中，把lr和lr training images分成大小为s*s，重叠区域宽为overlap的重叠图像块(image pitch)，sr training images则是ns*ns大的重叠图像块(image pitch)，其中低分图像中的每一块对应sr training images中每一块。
17.本发明的进一步设置为：所述s5中，计算lr和lr training images各像素点的一阶梯度和二阶梯度，用一个特征向量代表一个图像块，特征向量的集合分别为xt，xs。
18.本发明的进一步设置为：所述s6中，对每低分图像中的patch：找到训练集的k近邻nq；计算nq的重建权重，使得重建误差最小；用k近邻点的高分特征和重建权重计算重建高分图像的嵌入点。
19.本发明的有益效果为：
20.该超分辨率完成去模糊方法，设计了一套给定低分辨率图像作为输入，使用一组训练示例恢复其高分辨率对应物的方法，实现了对图像进行有效的去模糊处理。
具体实施方式
21.下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
22.下面详细描述本专利的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利，而不能理解为对本专利的限制。
23.一种超分辨率完成去模糊方法，包括以下步骤：
24.s1：定义与分类；
25.s2：数据图片的提取；
26.s3：对训练图片进行降质；
27.s4：对训练图片进行分块；
28.s5：特征提取；
29.s6：ne处理；
30.s7：图像重建。
31.s1中，超分辨率复原技术的基本思想是釆用信号处理的方法，在改善图像质量的同时，重建成像系统截止频率之外的信息，从而在不改变硬件设备的前提下，获取高于成像系统分辨率的图像。超分辨率复原的概念广义上讲包含3种情况:
32.1)单幅图像分辨率放大；
33.2)从多帧连续图像中重建超分辨率单帧图像；
34.3)视频序列的超分辨率重建。
35.单幅图像放大主要利用对髙分辨率图像的先验知识和以混叠形式存在的高频信息进行复原。
36.后两种情况除了利用先验知识和单幅图像信息外，还可以应用相邻图像之间的互补信息进行超分辨率重建，得到比任何一幅低分辨率(lr,low resolution)观测图像分辨率都高的高分辨率(hr,high resolution)阁像。核心思想是用时间带宽换取空间分辨率。简单来讲，是在无法得到一张超高分辨率的图像时，多拍几张图像，然后利用连续多帧低分辨率图像中不同而又相似的信息，并结合有关先验知识，将这一系列低分辨率的图像组成一张高分辨的图像。
37.s3中，对训练图像降质(比如目标sr是lr的n倍大，则把训练图像缩小n倍)得到lr training images。
38.s4中，把lr和lr training images分成大小为s*s，重叠区域宽为overlap的重叠图像块(image pitch)，sr training images则是ns*ns大的重叠图像块(image pitch)，其中低分图像中的每一块对应sr training images中每一块。
39.s5中，计算lr和lr training images各像素点的一阶梯度和二阶梯度，用一个特征向量代表一个图像块，特征向量的集合分别为xt，xs。对于sr training images，只需要每个pitch内每个像素减去块内所有像素值的平均值，这里为什么减去均值的原因是，超分
辨率的本质是要找回由于图像降质过程丢失的高频细节信息，高频细节信息是由低分辨率图像中的中频信息所决定，而不是整个低分辨率图像。减去它的均值其实是中频信息。sr training pitch同样是用一个向量表示，集合记为ys。
40.s6中，对每低分图像中的patch：找到训练集的k近邻nq(欧氏距离)；计算nq的重建权重，使得重建误差最小。(是一个受约束的最小二乘问题)；
41.局部重建误差：
42.约束项：
43.不属于k近邻点的训练集特征点权重为0；
44.假设：
[0045][0046]
则可得近邻点集nq中的每个特征点的权重：
[0047][0048]
这些权重的集合是一个q
×
p的矩阵(共有p个patch)：
[0049]
w＝[wqp]nt
×
ns。
[0050]
用k近邻点的高分特征和重建权重计算重建高分图像的嵌入点，
[0051][0052]
图像重建：现在已知yt，只要把yt中的特征向量恢复到图像即可。按顺序把yt中的每个向量代表的图像块恢复到原来的位置，重叠区域值为相邻image pitch在该区域的平均值表示，最后加上lr每个图像块的中频信息，即sr每个图像块像素值减去平均值，即可求出目标sr。
[0053]
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种超分辨率完成去模糊方法，其特征在于，包括以下步骤：s1：定义与分类；s2：数据图片的提取；s3：对训练图片进行降质；s4：对训练图片进行分块；s5：特征提取；s6：ne处理；s7：图像重建。2.根据权利要求1所述的一种超分辨率完成去模糊方法，其特征在于，所述s1中，超分辨率复原技术的基本思想是釆用信号处理的方法，在改善图像质量的同时，重建成像系统截止频率之外的信息，从而在不改变硬件设备的前提下，获取高于成像系统分辨率的图像。3.根据权利要求2所述的一种超分辨率完成去模糊方法，其特征在于，所述s3中，对训练图像降质得到lr training images。4.根据权利要求3所述的一种超分辨率完成去模糊方法，其特征在于，所述s4中，把lr和lr trainingimages分成大小为s*s，重叠区域宽为overlap的重叠图像块(image pitch)，sr training images则是ns*ns大的重叠图像块(image pitch)，其中低分图像中的每一块对应sr training images中每一块。5.根据权利要求4所述的一种超分辨率完成去模糊方法，其特征在于，所述s5中，计算lr和lr training images各像素点的一阶梯度和二阶梯度，用一个特征向量代表一个图像块，特征向量的集合分别为xt，xs。6.根据权利要求5所述的一种超分辨率完成去模糊方法，其特征在于，所述s6中，对每低分图像中的patch：找到训练集的k近邻nq；计算nq的重建权重，使得重建误差最小；用k近邻点的高分特征和重建权重计算重建高分图像的嵌入点。

技术总结
本发明公开了一种超分辨率完成去模糊方法，涉及计算机视觉技术领域，包括以下步骤：S1：定义与分类；S2：数据图片的提取；S3：对训练图片进行降质；S4：对训练图片进行分块；S5：特征提取；S6：NE处理；S7：图像重建。本发明设计了一套给定低分辨率图像作为输入，使用一组训练示例恢复其高分辨率对应物的方法，实现了对图像进行有效的去模糊处理。像进行有效的去模糊处理。


技术研发人员：陶聚
受保护的技术使用者：上海嘉峪智能科技有限公司
技术研发日：2023.05.19
技术公布日：2023/8/9