基于多视角参考图像的图像重建方法、计算机设备及介质与流程

1.本技术涉及图像复原技术领域，尤其涉及一种基于多视角参考图像的图像重建方法、计算机设备及计算机可读存储介质。


背景技术：

2.大视场角的高分辨率图像能同时提供全局视野和局部细节，随着智能手机的流行和快速发展，人们对大视场角高分辨率图像的需求量越来越大，增加或者提升硬件一定程度上能满足此需求，但相应地硬件会让手机变得更重或更贵，因此有必要设计一种相关算法用以将拍摄到的多张图像生成一张大视场角高分辨率图像。常见的算法思路是采用图像拼接技术将多张有重叠的小视场角高分辨率图像合成一张大视场角高分辨率图像，但图像拼接中存在几何错位和颜色不一致两大难题。最近，相关研究者表明可通过有参考的图像超分辨率方法来生成大视场角高分辨率图像，具体地，给定一张大视场角低分辨率图像和一张内容仅覆盖低分辨率图像中心区域的小视场角高分辨率图像(即参考图像)，计算低分辨率图块和高分辨率图块间的相似度，并为每个低分图块选择一个最相似的高分图块作为其图像超分的辅助信息。该类方法新颖且具有一定的效果，但小视场角高分辨率参考图像中有限的内容会导致超分结果中存在全局清晰度不一致的问题：中心区域有着与之一致的参考图像内容，四周区域仅有与之相似的参考图像内容，这使得超分结果的中心区域通常会比四周更清晰。由此可见，有无一致的参考图像内容对超分结果的质量有着显著的影响。由于上述提及的不足之处，现有的技术方案不能很好地生成令人满意的高质量大视场角高分辨率图像。
3.另外，上述有参考的图像超分辨率方法中，输入的是一张待超分的低分辨率图像和一张(或多张)与低分图像有着相似内容或结构的高分辨率图像，其中高分辨率图像作为参考图像可提供丰富的纹理信息来弥补低分辨率图像中丢失的细节，进而减轻单图超分辨率任务中的不适定性并生成有着丰富细节和真实纹理的超分结果。根据从高分辨率图像中捕获信息的方式，可将有参考的超分方法分为基于图块的相似性搜索方法和基于像素的变换方法。基于图块的相似性搜索方法注重结构相似，对参考图像的整体内容要求不高。该方法将低分图像和高分参考图像拆分成多个图块，为每个低分图块匹配一个与之最相似的高分图块，随后这个高分图块会直接代替低分图块或者用以辅助低分图块的重建。基于图块相似性搜索的有参考超分方法相对于单图超分方法来说有能力去处理一些图像退化更严重和上采样倍数更大的情况。但当低分图像和参考图像分辨率差异较大时，即使此时两图之间有着较大的内容重叠，基于图块相似性搜索的有参考超分方法的结果依旧会模糊、缺乏细节。对于低分图像和参考图像之间有着较大内容重叠和较大分辨率差异时，基于像素变换的有参考超分算法能生成更好的超分结果。该类超分算法首先估计上采样后的低分图像和参考图像之间的光流，然后基于光流将参考图像特征变换至低分图像视角，随后进行特征整合与超分结果重建。直接基于光流变换能取得一定的效果，但缺少对两图内容差异以及光流在简单强结构处不可靠等问题的考虑，使得现有的基于像素变换的方法的图像超
分辨率方法不够鲁棒。


技术实现要素：

4.本技术提供了一种基于多视角参考图像的图像重建方法及系统，以解决现有图像超分方法超分结果质量差、鲁棒性低的技术问题。
5.第一方面，本技术实施方式提供了一种基基于多视角参考图像的图像重建方法，所述图像超分方法包括：
6.获取一张低分辨率图像及所述低分辨率图像对应的至少两张高分辨率参考图像；
7.根据所述低分辨率图像依次对至少两张所述高分辨率参考图像进行图像粗对齐和图像精对齐，得到参考变换图像以及各个所述参考变换图像的预设位置点在所述低分辨率图像中的对应位置点；
8.利用各个所述参考变换图像以及各个所述参考变换图像的预设位置点在所述低分辨率图像中的对应位置点，在所述低分辨率图像中确定每个所述参考变换图像对应的低分辨率图块；
9.利用超分网络模型分别对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征、低分辨率图像特征以及低分辨率图像梯度特征，获取所述低分辨率图像特征和所述参考图像特征之间的光流，并根据所述光流对所述参考图像特征进行特征变换得到光流变换参考图像特征；
10.利用所述超分网络模型，对所述光流变换参考图像特征、所述低分辨率图像特征和所述低分辨率图像梯度特征进行特征融合，得到低分辨率图像融合特征，并对所述低分辨率图像融合特征进行超分重建，得到小视场角高分辨率图块；
11.利用各个所述小视场角高分辨率图块进行加权融合，得到一张大视场角高分辨率图像。
12.进一步地，所述根据所述低分辨率图像依次对至少两张所述高分辨率参考图像进行图像粗对齐和图像精对齐，得到参考变换图像以及各个所述参考变换图像的预设位置点在所述低分辨率图像中的对应位置点，包括：
13.采集所述多张高分辨率参考图像相对于低分辨率图像拍摄位置的旋转角度θi和φi，利用所述旋转角度θi和φi估计得到两图之间的旋转矩阵ri和单应矩阵hi，利用所述单应矩阵hi计算得到粗变换后的多张高分辨率参考图像及其所述多张高分辨率参考图像左上顶点在所述低分辨率图像中的粗对齐位置；
14.将所述低分辨率图像和所述粗变换后的多张高分辨率参考图像拆分成多个格网并记录网格顶点位置，将所述网格顶点位置的集合记作顶点集合v，将所述低分辨率图像和所述多张粗变换后的高分辨率参考图像间匹配上的格网顶点组成格网顶点对，并纳入匹配点集合mi，将顶点集合v和匹配点集合mi表输入精对齐能量方程计算得到优化后的格网顶点，对所述优化后的格网顶点进行纹理映射计算得到多张精变换后的高分辨率参考图像及其左上顶点在低分辨率图像中的精对齐位置；
15.将所述多张精变换后的高分辨率参考图像作为所述多张高分辨率参考变换图像；将所述多张所述精变换后的高分辨率参考图像左上顶点在所述低分辨率图像中的精对齐位置作为所述对应位置点。
16.进一步地，所述利用超分网络模型分别对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征、低分辨率图像特征以及低分辨率图像梯度特征，包括：
17.利用特征提取模块ei，在尺度l中对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征和低分辨率图像特征
18.利用梯度特征提取模块ge
l
，对所述低分辨率图像进行梯度特征提取，得到低分辨率图像梯度特征
19.进一步地，所述根据所述低分辨率图像特征，对所述参考图像特征进行特征变换得到光流变换参考图像特征，包括：
20.在特征变换模块fwm中，对尺度l+1的光流进行上采样得到光流初值f
l+1
，利用光流初值f
l+1
对所述参考图像特征进行初步变换，得到参考图像变换特征；
21.利用残差估计模块reb，对所述参考图像变换特征和所述低分辨率图像特征进行预测计算得到光流残差值
22.将所述光流残差值与所述光流初值f
l+1
相加得到当前尺度l中的光流值f
l
；
23.利用所述参考图像特征和所述光流值f
l
变换得到光流变换参考图像特征
24.进一步地，所述利用所述超分网络模型，对所述光流变换参考图像特征、所述低分辨率图像特征和所述低分辨率图像梯度特征进行特征融合，得到低分辨率图像融合特征，包括：
25.利用融合权重估计模块，根据所述光流变换参考图像特征以及所述低分辨率图像估计得到参考图像特征权重值；
26.利用所述参考图像特征权重值对所述光流变换参考图像特征和所述低分辨率图像特征进行自适应整合，得到低分辨率图像初始融合特征
27.利用梯度调制模块gm
l
，根据所述低分辨率图像初始融合特征对所述低分辨率图像梯度特征进行调制，得到调制后的梯度特征
28.利用特征融合模块gf
l
，使用所述调制后的梯度特征更新计算所述低分辨率图像初始融合特征得到低分辨率图像融合特征
29.进一步地，所述利用超分网络模型分别对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征、低分辨率图像特征以及低分辨率图像梯度特征，还包括：
30.利用梯度算子g(
·
)作用于所述低分辨率图块得到低分辨率图块的梯度图
31.所述利用所述超分网络模型对所述低分辨率图像融合特征进行超分重建，得到小视场角高分辨率图块，包括：
32.将所述低分辨率图像融合特征逐步传递至尺度l-1中进行信息交换，得到最高尺度最终融合特征
33.利用图像重建模块r以及所述最高尺度最终融合特征计算得到超分结果图i
sr
，将所述超分结果图作为所述小视场角高分辨率图块；
34.在梯度重建模块gr中，利用所述调制后的梯度特征计算生成高分辨率梯度图i
sr-grad
并利用所述梯度图g(i
gt
)对所述高分辨率梯度图i
sr-grad
进行监督。
35.进一步地，所述利用超分网络模型分别对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征、低分辨率图像特征以及低分辨率图像梯度特征之前，还包括：
36.使用总损失函数以及训练样本集对所述超分网络模型进行训练。
37.进一步地，所述使用总损失函数以及训练样本集对所述超分网络模型进行训练，还包括：
38.使用总损失函数以及所述训练样本集对所述超分网络模型进行训练，直到所述超分网络模型收敛至最优精度，
39.所述总损失函数包括超分结果重建损失函数光流正则项损失函数光流变换损失函数梯度图损失函数以及梯度分支损失函数所述总损失函数的具体公式为：
[0040][0041]
其中，权重系数α,β,γ,λ分别设为1，0.005，0.05，0.05。
[0042]
第二方面，本技术还提供了一种计算机设备，所述计算机设备包括存储器和处理器；
[0043]
所述存储器，用于存储计算机程序；
[0044]
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上所述的基于多视角参考图像的图像重建方法。
[0045]
第三方面，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上所述的基于多视角参考图像的图像重建方法。
[0046]
相比于现有技术，本技术实施方式提供的一种基于多视角参考图像的图像重建方法，通过获取一张低分辨率图像及所述低分辨率图像对应的至少两张高分辨率参考图像；根据所述低分辨率图像依次对至少两张所述高分辨率参考图像进行图像粗对齐和图像精对齐，得到参考变换图像以及各个所述参考变换图像的预设位置点在所述低分辨率图像中的对应位置点；利用各个所述参考变换图像以及各个所述参考变换图像的预设位置点在所
述低分辨率图像中的对应位置点，在所述低分辨率图像中确定每个所述参考变换图像对应的低分辨率图块；利用超分网络模型分别对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征、低分辨率图像特征以及低分辨率图像梯度特征，获取所述低分辨率图像特征和所述参考图像特征之间的光流，并根据所述光流对所述参考图像特征进行特征变换得到光流变换参考图像特征；利用所述超分网络模型，对所述光流变换参考图像特征、所述低分辨率图像特征和所述低分辨率图像梯度特征进行特征融合，得到低分辨率图像融合特征，并对所述低分辨率图像融合特征进行超分重建，得到小视场角高分辨率图块；利用各个所述小视场角高分辨率图块进行加权融合，得到一张大视场角高分辨率图像。通过上述方式，本发明将多个视角的高分辨率图像作为参考图像，采用基于像素变换的有参考超分图像重建方法来对低分辨率图像进行分辨率提升，缓解了仅使用单张参考图像进行超分重建所带来的全局清晰度不一致的问题，将图像拼接技术和有参考超分技术结合在一起，并且考虑到低分辨率图像和参考图像间内容的差异以及光流在简单强结构区域的不可靠性，额外引入了融合权重估计模块和梯度分支，生成全局清晰度一致且无明显几何错位和颜色不一致的大视场角高分辨率图像，由此提高了超分重建质量。
[0047]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
[0048]
为了更清楚地说明本技术实施方式技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0049]
图1为本技术实施方式提供的基于多视角参考图像的图像重建方法流程示意图；
[0050]
图2为本技术实施方式提供的基于多视角参考图像的图像重建方法框架图；
[0051]
图3为本技术实施方式提供的基于多视角参考图像的超分网络模型特征变换模块示意图；
[0052]
图4为本技术实施方式提供的基于多视角参考图像的超分网络模型示意图；
[0053]
图5为本技术实施方式提供的基于多视角参考图像的超分网络模型在camera4
×
测试数据集上的实验结果示意图；
[0054]
图6为本技术实施方式提供的基于多视角参考图像的图像重建方法在测试数据集上的实验结果示意图；
[0055]
图7为本技术实施方式提供的一种计算机设备的结构示意性框图。
具体实施方式
[0056]
下面将结合本技术实施方式中的附图，对本技术实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0057]
下面结合附图，对本技术的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
[0058]
应当理解，在此本技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。如在本技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0059]
应当理解，为了便于清楚描述本技术实施方式的技术方案，在本技术的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
[0060]
还应当进一步理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0061]
本技术发明人发现，现有的技术方案不能很好地生成令人满意的大视场角高分辨率图像，所以提出了一个新颖的框架来生成大视场角高分辨率图像，该框架将多张有重叠的小视场角高分辨率视作多视角参考图像来辅助大视场角低分辨率图像的超分。具体地，通过图像对齐将每张参考图像匹配到对应的低分辨率图像区域，随后该低分辨率图块在其对应的参考图像的帮助下实现分辨率提升，最后将所有高分辨率图块拼合在一起就能得到兼具大视场角和高分辨率的图像。相对于直接将多张参考图像拼接起来的作法，此框架生成超分结果是分图块处理的。生成的高分辨率图块间不可避免地存在小的几何错位和颜色差异，但这些问题通过一个简单的融合策略就能很好地解决，因此框架能很大程度上克服图像拼接中的几何错位和颜色不一致。除此之外，从多个视角的参考图像中获取高分辨率信息来实现超分能有效缓解超分结果图中全局清晰度不一致的问题。一旦实现低分图像和参考图像内容大致的对齐，随后就采用有参考超分的方法来提升低分图像的分辨率。考虑到基于图块相似性搜索的方法不擅长于处理本发明中涉及的图像间分辨率差异较大的情况，选用基于像素变换的方法。相对于现有的基于像素变换的方法，额外引入了融合权重估计模块和梯度分支。融合权重估计模块用以维持超分图像全局清晰度的一致性(重点是没有与之一致的参考图像的低分区域)，梯度分支用以减少超分图像中简单强结构区域的畸变。
[0062]
为了解决上述问题，本技术提供了一种基于多视角参考图像的图像重建方法。
[0063]
参阅图1，图1为本技术实施方式提供的基于多视角参考图像的图像重建方法流程示意图，包括步骤s101-s106。
[0064]
步骤s101、获取一张低分辨率图像及所述低分辨率图像对应的至少两张高分辨率参考图像。
[0065]
本实施例中，在进行图像超分之前需要获取一张大视场角低分辨率图像和多张与该低分辨率图像相关的小视场角高分辨率参考图像，该高分辨率参考图像需要带有相对于该大视场角低分辨率图像拍摄位置的旋转角度θi和φi，利用基于多视角参考图像的图像重建方法对该大视场角低分辨率图像和小视场角高分辨率参考图像进行处理，基于多视角参考图像的图像重建方法的框架图如图2所示。
[0066]
步骤s102、根据所述低分辨率图像依次对至少两张所述高分辨率参考图像进行图像粗对齐和图像精对齐，得到参考变换图像以及各个所述参考变换图像的预设位置点在所述低分辨率图像中的对应位置点。
[0067]
本实施例中，通过粗对齐和精对齐两种图像对齐方法，根据该低分辨率图像对该
高分辨率参考图像进行图形变换，得到变换后的参考图像能够和该低分辨率图像实现对齐，并且记录变换后的参考图像与该低分辨率图像之间相对应的位置点，即为该位置对应点。
[0068]
进一步地，步骤s102包括：
[0069]
采集所述多张高分辨率参考图像相对于低分辨率图像拍摄位置的旋转角度θi和φi，利用所述旋转角度θi和φi估计得到两图之间的旋转矩阵ri和单应矩阵hi，利用所述单应矩阵hi计算得到粗变换后的多张高分辨率参考图像及其所述多张高分辨率参考图像左上顶点在所述低分辨率图像中的粗对齐位置；
[0070]
将所述低分辨率图像和所述粗变换后的多张高分辨率参考图像拆分成多个格网并记录网格顶点位置，将所述网格顶点位置的集合记作顶点集合v，将所述低分辨率图像和所述多张粗变换后的高分辨率参考图像间匹配上的格网顶点组成格网顶点对，并纳入匹配点集合mi，将顶点集合v和匹配点集合mi表输入精对齐能量方程计算得到优化后的格网顶点，对所述优化后的格网顶点进行纹理映射计算得到多张精变换后的高分辨率参考图像及其左上顶点在低分辨率图像中的精对齐位置；
[0071]
将所述多张精变换后的高分辨率参考图像作为所述多张高分辨率参考变换图像；将所述多张所述精变换后的高分辨率参考图像左上顶点在所述低分辨率图像中的精对齐位置作为所述对应位置点。
[0072]
本实施例中，图像粗对齐过程，通常来说每个参考图像大致对应的低分辨率图像区域可通过特征匹配的方法得到，在采集多视高分辨率参考图像时还记录了其相对于低分辨率图像拍摄位置的旋转角度θi和φi，基于角度便可估计两图之间的旋转矩阵ri和单应矩阵hi。根据单应矩阵hi便可得到粗变换后的多张小视场角高分辨率参考图像及其左上顶点在低分辨率图像中的粗对齐位置，如下所示：
[0073][0074]
其中，w为变换操作。
[0075]
图像精对齐，对于粗对齐后还残留着的错位，一种基于格网变换的方案被采用来实现参考图像和低分辨率图像的进一步对齐。和图像拼接工作niswgsp类似，低分图像和参考图像被拆分成多个格网，并将所有格网顶点的集合记作v。随后两图间匹配上的格网顶点对被纳入匹配点集合mi，将其作为后续能量方程求解的约束。为实现更好地对齐，将niswgsp中用于约束相邻参考图像对齐情况的对齐项作用于参考图像及其对应的低分图像图块。精对齐的能量方程如下定义：
[0076][0077]
其中，n表示参考图像的数量，mi表示第i对低分-参考图像对所对应的匹配点集合，(p,q)表示集合mi中的一对匹配点，函数将点p的位置分解为4个格网顶点位置的线性组合。
[0078]
求解上述能量方程，将优化后的格网顶点送入纹理映射算法以生成精变换后的小视场角高分辨率参考图像及其左上顶点大视场角低分辨率图像中的精对齐位置，此时参考
图像和低分辨率图像对齐得更好。与粗对齐相同，精对齐也会返回精变换后的小视场角高分辨率参考图像左上顶点大视场角低分辨率图像中的精对齐位置。
[0079]
将所述多张精变换后的小视场角高分辨率参考图像作为所述多张小视场角高分辨率参考变换图像；将所述多张所述精变换后的小视场角高分辨率参考图像左上顶点在大视场角低分辨率图像中的精对齐位置作为所述多个对应位置。
[0080]
步骤s103、利用各个所述参考变换图像以及各个所述参考变换图像的预设位置点在所述低分辨率图像中的对应位置点，在所述低分辨率图像中确定每个所述参考变换图像对应的低分辨率图块。
[0081]
本实施例中，为每张对齐后的小视场角高分辨率参考变换图像确定其所对应的低分辨率图像区域，该低分辨率图像区域即为对应的低分辨率图块，将该小视场角高分辨率参考变换图像和对应的低分辨率图块组成低分图块-参考图像对。
[0082]
步骤s104、利用超分网络模型分别对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征、低分辨率图像特征以及低分辨率图像梯度特征，获取所述低分辨率图像特征和所述参考图像特征之间的光流，并根据所述光流对所述参考图像特征进行特征变换得到光流变换参考图像特征。
[0083]
本实施例中，利用超分网络模型中的特征提取模块对每一个该低分图块-参考图像对进行特征提取，得到参考图像特征、低分辨率图像特征，利用梯度算子g(
·
)作用于所述低分辨率图块得到低分辨率图块的梯度图，对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征以及低分辨率图像特征，其中，参考变换图像及其对应的低分辨率图块作为一对相应的图像对，并根据所述低分辨率图像特征和所述参考图像特征获取两者之间的光流，使用光流对所述参考图像特征进行特征变换得到光流变换参考图像特征。
[0084]
进一步地，步骤s104包括：
[0085]
利用特征提取模块ei，在尺度l中对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征和低分辨率图像特征
[0086]
利用梯度特征提取模块ge
l
，对所述低分辨率图像进行梯度特征提取，得到低分辨率图像梯度特征
[0087]
利用梯度算子g(
·
)作用于所述低分辨率图块得到低分辨率图块的梯度图
[0088]
本实施例中，为估计精确的像素级光流和实现高质量的对齐，低分辨率图像在送入特征提取模块前要先上采样至参考图像大小。在尺度l，参考图像和低分辨率图像被送进特征提取模块ei来生成参考图像特征和低分辨率图像ei是一系列卷积层的堆叠。为充分利用上下文信息，来自前一个尺度的特征会与当前尺度的特征进行整合(除最高尺度外)。此外，梯度分支被引入来为主网络(图像超分辨率分支)提供额外的信息，
具体地，低分辨率图像的梯度图经梯度算子g(
·
)提取得到，低分辨率图像梯度特征由梯度特征提取模块ge
l
提取得到。
[0089]
进一步地，步骤s104还包括：
[0090]
在特征变换模块fwm中，对尺度l+1的光流进行上采样得到光流初值f
l+1
，利用光流初值f
l+1
对所述参考图像特征进行初步变换，得到参考图像变换特征；
[0091]
利用残差估计模块reb，对所述参考图像变换特征和所述低分辨率图像特征进行预测计算得到光流残差值
[0092]
将所述光流残差值与所述光流初值f
l+1
相加得到当前尺度l中的光流值f
l
；
[0093]
利用所述参考图像特征和所述光流值f
l
变换得到光流变换参考图像特征
[0094]
本实施例中，参考图像特征和低分辨率图像特征间的高质量对齐通过基于光流的变换得以实现。在尺度l，参考图像特征和低分辨率图像特征被送入特征变换模块fwm，所述基于多视角参考图像的超分网络模型特征变换模块fwm如图3所示。首先，该参考图像特征经光流初值f
l+1
(上采样后的尺度l+1的光流)进行初步变换得到参考图像变换特征，然后将该参考图像变换特征和该低分辨率图像特征送入残差估计模块reb预测得到光流残差值将光流残差值与光流初值f
l+1
相加便可得到当前尺度l最终的光流值f
l
。最后参考图像特征经光流f
l
变换得到光流变换参考图像特征
[0095]
进一步地，步骤s104之前，还包括：
[0096]
使用总损失函数以及训练样本集对所述超分网络模型进行训练。
[0097]
本实施例中，该基于多视角参考图像的图像重建方法通过超分网络模型(卷积神经网络)实现，其结构如图4(基于多视角参考图像的超分网络模型示意图)所示，主要包括特征提取、特征变换、基于梯度的特征融合和图像重建模块，使用该模型进行超分任务之前还需要使用总的损失函数和训练样本集对该超分网络模型进行训练。
[0098]
进一步地，步骤s104之前，还包括：
[0099]
使用总损失函数以及所述训练样本集对所述超分网络模型进行训练，直到所述超分网络模型收敛至最优精度，
[0100]
所述总损失函数包括超分结果重建损失函数光流正则项损失函数光流变换损失函数梯度图损失函数以及梯度分支损失函数所述总损失函数的具体公式为：
[0101][0102]
其中，权重系数α,β,γ,λ分别设为1，0.005，0.05，0.05。
[0103]
本实施例中，使用总损失函数，基于训练样本集，对该超分网络模型进行训练。总损失函数包括：
[0104]
(1)超分结果重建损失函数基于感知损失函数实现，约束超分结果i
sr
和真值i
gt
在vgg19特征层{φi|i＝2,7,14}上的差异：
[0105][0106][0107]
(2)光流正则项损失函数为保证光流的平滑性，约束每个尺度的光流残差值尽可能地小，于是正则项损失函数定义为
[0108][0109]
其中，l为金字塔层数。该损失函数抑制了在不断精细化光流过程中相邻尺度间光流值的突变。
[0110]
(3)光流变换损失函数光流是本模型中实现对齐的中间变量，设计变换损失函数对光流进行间接监督。同样基于感知损失函数实现，约束光流变换结果i
ref-floww
和真值i
ref-wpgt
在特征层上的差异：
[0111][0112]
(4)梯度图损失函数为确保在梯度分支的帮助下，超分结果图中的简单强结构区域有着一致的梯度方向，我们约束超分结果的梯度图和高分辨率梯度图之间的差异尽可能地小：
[0113][0114]
(5)梯度分支损失函数为确保梯度特征已从图像特征中捕获到足够的信息来重建高分辨率的梯度图，我们约束梯度分支输出的梯度图和高分辨率真实的梯度图之间的差异尽可能地小：
[0115][0116]
综上，该总损失函数为
[0117][0118]
其中，权重系数α,β,γ,λ分别设为1，0.005，0.05，0.05。使用该总损失函数对该超分网络模型进行训练，直到整个网络收敛至最优精度。
[0119]
步骤s105、利用所述超分网络模型，对所述光流变换参考图像特征、所述低分辨率图像特征和所述低分辨率图像梯度特征进行特征融合，得到低分辨率图像融合特征，并对所述低分辨率图像融合特征进行超分重建，得到小视场角高分辨率图块。
[0120]
本实施例中，利用所述超分网络模型中的特征融合模块，首先提取光流变换参考图像特征，然后将该光流变换参考图像特征、该低分辨率图像特征和该低分辨率图像梯度
特征进行特征融合，得到低分辨率图像融合特征，用该超分网络模型的超分重建模块对该低分辨率图像融合特征进行超分重建计算，得到多个小视场角高分辨率图块，该多个小视场角高分辨率图块可以用来组成得到大视场角高分辨率图像。
[0121]
进一步地，步骤s105包括：
[0122]
利用融合权重估计模块，根据所述光流变换参考图像特征以及所述低分辨率图像估计得到参考图像特征权重值；
[0123]
利用所述参考图像特征权重值对所述光流变换参考图像特征和所述低分辨率图像特征进行自适应整合，得到低分辨率图像初始融合特征
[0124]
利用梯度调制模块gm
l
，根据所述低分辨率图像初始融合特征对所述低分辨率图像梯度特征进行调制，得到调制后的梯度特征
[0125]
利用特征融合模块gf
l
，使用所述调制后的梯度特征更新计算所述低分辨率图像初始融合特征得到低分辨率图像融合特征
[0126]
本实施例中，由于视角的差异和视场角的局限性，低分辨率图像和参考图像难免会有内容的差异。对于没有与之一致参考内容的低分辨率图像区域，其分辨率提升应该更加依赖于其自身的特征。除此之外，直接基于光流进行变换会使得性能有限。因此，融合权重估计模块被用来估计参考图像特征的权重，利用融合权重估计模块，根据该光流变换参考图像特征以及该低分辨率图像估计得到参考图像特征权重值，基于该参考图像特征权重值，该光流变换参考图像特征和该低分辨率图像特征能进行自适应整合，此时整合后的特征被记作低分辨率图像初始融合特征
[0127]
如果估计的光流是可靠的，上述融合操作能生成令人满意的超分结果。然而，光流通常在简单强结构区域可靠度不高，因此在梯度分支得到的梯度特征被用来辅助图像特征生成有着较少畸变的超分图像。具体地，初始融合特征被用来在梯度调制模块gm
l
中对梯度特征进行调制得到调制后的梯度特征主要通过调整梯度的位置和强度值。然后，该调制后的梯度特征被送入基于梯度的特征融合模块gf
l
去更新低分辨率图像初始融合特征得到低分辨率图像融合特征通过这个交替更新方案，梯度特征中的简单强结构信息能有效整合至图像特征中。
[0128]
进一步地，步骤s105还包括：
[0129]
利用梯度算子g(
·
)作用于所述低分辨率图块得到低分辨率图块的梯度图
[0130]
所述利用所述超分网络模型对所述低分辨率图像融合特征进行超分重建，得到小视场角高分辨率图块，包括：
[0131]
将所述低分辨率图像融合特征逐步传递至尺度l-1中进行信息交换，得到最高尺度最终融合特征
[0132]
利用图像重建模块r以及所述最高尺度最终融合特征计算得到超分结果图i
sr
，将所述超分结果图作为所述小视场角高分辨率图块；
[0133]
在梯度重建模块gr中，利用所述调制后的梯度特征计算生成高分辨率梯度图i
sr-grad
并利用所述梯度图g(i
gt
)对所述高分辨率梯度图i
sr-grad
进行监督。
[0134]
本实施例中，利用梯度算子g(
·
)作用于所述低分辨率图块得到低分辨率图块的梯度图除最高尺度外，由特征融合模块输出的最终融合图像特征会被逐步传递至尺度l-1以进行信息交换。对于最高尺度，最终融合特征被送进图像重建模块r以生成超分结果i
sr
，作为该小视场角高分辨率图块。为实现更全面的监督，将最高尺度更新后的梯度特征送入梯度重建模块gr以生成高分辨率的梯度图i
sr-grad
，并通过梯度图进行监督。
[0135]
步骤s106、利用各个所述小视场角高分辨率图块进行加权融合，得到一张大视场角高分辨率图像。
[0136]
本实施例中，利用该对应位置点找到各个小视场角高分辨图块的位置，利用该位置对每一个该小视场角高分辨率图块进行加权融合计算，得到一张大视场角高分辨率图像。
[0137]
本发明通过图像对齐方法为每张参考图像确定其所对应的低分辨率图像区域；对于每一对低分-参考图像对，使用基于深度学习的有参考超分方法，将参考图像中的纹理信息整合至低分辨率图块中以提升后者的分辨率；将所有完成分辨率提升的低分辨率图块组合起来便可得到最终的大视场角高分辨率图像，对部分实验数据进行图像超分辨率处理，结果示例如图5(基于多视角参考图像的超分网络模型在camera4
×
测试数据集上的实验结果示意图)和图6(基于多视角参考图像的图像重建方法在测试数据集上的实验结果示意图)所示，可以看出，本发明能有效地提升图像的分辨率，并稳定地生成大视场角高分辨率图像。本发明相对于现有技术，具有以下三个优点：1.无明显的几何错位和颜色不一致：本发明将多视角高分辨率图像视作参考图像，待确定其对应的低分辨率图像区域后，采用有参考超分的方法来对该图块进行分辨率提升。虽然这个过程中不可避免地会带来少许错位和颜色不一致，但由于待超分的图块均来自同一张低分辨率图像，前面出现的几何错位和颜色不一致程度较轻，且通过一个简单的融合就能得以解决；2.全局清晰度一致：本发明将多个视角的高分辨率图像作为参考图像，它们组合起来几乎能覆盖整个低分辨率图像，这能有效缓解仅使用单张参考图像进行超分所带来的全局清晰度不一致的问题；3.框架新颖：本发明首次提出将图像拼接技术和有参考超分技术结合在一起，以生成全局清晰度一致，且无明显几何错位和颜色不一致的大视场角高分辨率图像。不同于目前主流的基于图块相似性搜索的有参考超分方法，本发明根据任务需求采用了基于像素变换的方法。除此之外，考虑到低分和参考图像间内容的差异以及光流在简单强结构区域的不可靠性，本发明额外引入了融合权重估计模块和梯度分支。
[0138]
请参阅图7，图7是本技术的实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器。
[0139]
参阅图7，该计算机设备包括通过模型总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
[0140]
非易失性存储介质可存储操作模型和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种基于多视角参考图像的图像重建方法。
[0141]
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
[0142]
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种基于多视角参考图像的图像重建方法。
[0143]
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0144]
应当理解的是，处理器可以是中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0145]
本技术的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本技术实施例提供的任一项基于多视角参考图像的图像重建方法。
[0146]
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
[0147]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种基于多视角参考图像的图像重建方法，其特征在于，所述基于多视角参考图像的图像重建方法包括：获取一张低分辨率图像及所述低分辨率图像对应的至少两张高分辨率参考图像；根据所述低分辨率图像依次对至少两张所述高分辨率参考图像进行图像粗对齐和图像精对齐，得到参考变换图像以及各个所述参考变换图像的预设位置点在所述低分辨率图像中的对应位置点；利用各个所述参考变换图像以及各个所述参考变换图像的预设位置点在所述低分辨率图像中的对应位置点，在所述低分辨率图像中确定每个所述参考变换图像对应的低分辨率图块；利用超分网络模型分别对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征、低分辨率图像特征以及低分辨率图像梯度特征，获取所述低分辨率图像特征和所述参考图像特征之间的光流，并根据所述光流对所述参考图像特征进行特征变换得到光流变换参考图像特征；利用所述超分网络模型，对所述光流变换参考图像特征、所述低分辨率图像特征和所述低分辨率图像梯度特征进行特征融合，得到低分辨率图像融合特征，并对所述低分辨率图像融合特征进行超分重建，得到小视场角高分辨率图块；利用各个所述小视场角高分辨率图块进行加权融合，得到一张大视场角高分辨率图像。2.根据权利要求1所述的基于多视角参考图像的图像重建方法，其特征在于，所述根据所述低分辨率图像依次对至少两张所述高分辨率参考图像进行图像粗对齐和图像精对齐，得到参考变换图像以及各个所述参考变换图像的预设位置点在所述低分辨率图像中的对应位置点，包括：采集所述多张高分辨率参考图像相对于低分辨率图像拍摄位置的旋转角度θ
i
和φ
i
，利用所述旋转角度θ
i
和φ
i
估计得到两图之间的旋转矩阵r
i
和单应矩阵h
i
，利用所述单应矩阵h
i
计算得到粗变换后的多张高分辨率参考图像及其所述多张高分辨率参考图像左上顶点在所述低分辨率图像中的粗对齐位置；将所述低分辨率图像和所述粗变换后的多张高分辨率参考图像拆分成多个格网并记录网格顶点位置，将所述网格顶点位置的集合记作顶点集合v，将所述低分辨率图像和所述多张粗变换后的高分辨率参考图像间匹配上的格网顶点组成格网顶点对，并纳入匹配点集合m
i
，将顶点集合v和匹配点集合m
i
表输入精对齐能量方程计算得到优化后的格网顶点，对所述优化后的格网顶点进行纹理映射计算得到多张精变换后的高分辨率参考图像及其左上顶点在低分辨率图像中的精对齐位置；将所述多张精变换后的高分辨率参考图像作为所述多张高分辨率参考变换图像；将所述多张所述精变换后的高分辨率参考图像左上顶点在所述低分辨率图像中的精对齐位置作为所述对应位置点。3.根据权利要求1所述的基于多视角参考图像的图像重建方法，其特征在于，所述利用超分网络模型分别对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征、低分辨率图像特征以及低分辨率图像梯度特征，包括：
利用特征提取模块e
i
，在尺度l中对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征和低分辨率图像特征利用梯度特征提取模块ge
l
，对所述低分辨率图块进行梯度特征提取，得到低分辨率图像梯度特征4.根据权利要求3所述的基于多视角参考图像的图像重建方法，其特征在于，所述根据所述低分辨率图像特征，对所述参考图像特征进行特征变换得到光流变换参考图像特征，包括：在特征变换模块fwm中，对尺度l+1的光流进行上采样得到光流初值f
l+1
，利用光流初值f
l+1
对所述参考图像特征进行初步变换，得到参考图像变换特征；利用残差估计模块reb，对所述参考图像变换特征和所述低分辨率图像特征进行预测计算得到光流残差值将所述光流残差值与所述光流初值f
l+1
相加得到当前尺度l中的光流值f
l
；利用所述参考图像特征和所述光流值f
l
变换得到光流变换参考图像特征5.根据权利要求4所述的基于多视角参考图像的图像重建方法，其特征在于，所述利用所述超分网络模型，对所述光流变换参考图像特征、所述低分辨率图像特征和所述低分辨率图像梯度特征进行特征融合，得到低分辨率图像融合特征，包括：利用融合权重估计模块，根据所述光流变换参考图像特征以及所述低分辨率图像估计得到参考图像特征权重值；利用所述参考图像特征权重值对所述光流变换参考图像特征和所述低分辨率图像特征进行自适应整合，得到低分辨率图像初始融合特征利用梯度调制模块gm
l
，根据所述低分辨率图像初始融合特征对所述低分辨率图像梯度特征进行调制，得到调制后的梯度特征利用特征融合模块gf
l
，使用所述调制后的梯度特征更新计算所述低分辨率图像初始融合特征得到低分辨率图像融合特征6.根据权利要求1所述的基于多视角参考图像的图像重建方法，其特征在于，所述利用超分网络模型分别对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征、低分辨率图像特征以及低分辨率图像梯度特征，还包括：利用梯度算子g(
·
)作用于所述低分辨率图块得到低分辨率图块的梯度图所述利用所述超分网络模型对所述低分辨率图像融合特征进行超分重建，得到小视场角高分辨率图块，包括：
将所述低分辨率图像融合特征逐步传递至尺度l-1中进行信息交换，得到最高尺度最终融合特征利用图像重建模块r以及所述最高尺度最终融合特征计算得到超分结果图i
sr
，将所述超分结果图作为所述小视场角高分辨率图块；在梯度重建模块gr中，利用所述调制后的梯度特征计算生成高分辨率梯度图i
sr-grad
并利用所述梯度图g(i
gt
)对所述高分辨率梯度图i
sr-grad
进行监督。7.根据权利要求1所述的基于多视角参考图像的图像重建方法，其特征在于，所述利用超分网络模型分别对所述参考变换图像及其对应的低分辨率图块进行特征提取，得到参考图像特征、低分辨率图像特征以及低分辨率图像梯度特征之前，还包括：使用总损失函数以及训练样本集对所述超分网络模型进行训练。8.根据权利要求7所述的基于多视角参考图像的图像重建方法，其特征在于，所述使用总损失函数以及训练样本集对所述超分网络模型进行训练，还包括：使用总损失函数以及所述训练样本集对所述超分网络模型进行训练，直到所述超分网络模型收敛至最优精度，所述总损失函数包括超分结果重建损失函数光流正则项损失函数光流变换损失函数梯度图损失函数以及梯度分支损失函数所述总损失函数的具体公式为：其中，权重系数α,β,γ,λ分别设为1，0.005，0.05，0.05。9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至8中任一项所述的基于多视角参考图像的图像重建方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的基于多视角参考图像的图像重建方法。

技术总结
本申请提供了一种基于多视角参考图像的图像重建方法、计算机设备及计算机可读存储介质，通过所述方法，本发明将多个视角的高分辨率图像作为参考图像，采用基于像素变换的有参考超分图像重建方法来对低分辨率图像进行分辨率提升，缓解了仅使用单张参考图像进行超分重建所带来的全局清晰度不一致的问题，将图像拼接技术和有参考超分技术结合在一起，并且考虑到低分辨率图像和参考图像间内容的差异以及光流在简单强结构区域的不可靠性，额外引入了融合权重估计模块和梯度分支，生成全局清晰度一致且无明显几何错位和颜色不一致的大视场角高分辨率图像，由此提高了超分重建质量。由此提高了超分重建质量。由此提高了超分重建质量。


技术研发人员：蒋佳芹 赵娇 罗磊
受保护的技术使用者：深圳见得空间科技有限公司
技术研发日：2023.03.09
技术公布日：2023/7/12