基于轻量级网络的人脸超分辨率重建方法、装置及介质与流程

1.本发明涉及计算机软件技术领域，特别涉及基于轻量级网络的人脸超分辨率重建方法、装置及介质。


背景技术：

2.人脸超分辨率技术(facesuper-resolutiontechnology)已经成为计算机视觉领域中的一个重要方向，其主要目的是高分辨率图像的生成，同时能够提高原始低分辨率图像的视觉质量和细节信息。人脸超分辨率技术的主要应用包括是人脸识别、老旧图像修复以及视频恢复等。其中，人脸识别已经成为智能芯片、应用程序、安防系统等各种领域的核心应用。但是，在低质量的监控视频中，人脸图片可能会因为分辨率过低而无法被识别。而通过人脸超分辨率技术，就可以将低质量的图像升级到高质量，从而恢复更多的细节信息，以获取更精确的人脸识别结果。另外，在图像修复中的人脸超分一般应用在制作数字人物模型、人脸动画等领域中，需要对人脸进行数字化处理。而超分辨率技术可以通过增加图片分辨率并重建细节信息，提高模型的真实性和精度，以达到更好的效果。
3.与通用的图像超分辨率重建相比，人脸超分辨率重建需要考虑人脸的先验知识既与原人脸的真实一致性及处理速率的问题。因而人脸超分辨率重建算法需要考虑hr(高波段)与lr(低波段)之间的相关联信息，同时也要考虑构建轻量级的模型以提高模型的速率。但是在现有技术中，有较多的人脸超分辨率重建方式直接采用了通用图像超分辨率算法，仅使用降质模拟的信息作为重建内容。然而对于待修复的人脸图像来说，恢复出来的人脸细节少。现有的超分算法大多是增加判别感知，纹理特征感知和重建损失函数，只起到修复的作用，而无法恢复超高清纹理与人脸一致。


技术实现要素：

4.本发明实施例提供了一种基于轻量级网络的人脸超分辨率重建方法、装置、计算机设备及存储介质，旨在实现人脸重建中的细节生成效果，从而提高人脸超分辨率重建效果。
5.第一方面，本发明实施例提供了一种基于轻量级网络的人脸超分辨率重建方法，包括：
6.获取待进行重建的人脸图像；
7.采用轻量级的unet网络对所述人脸图像进行去退化处理；
8.结合随机噪声对去退化后的人脸图像进行细节生成处理；
9.对生成细节后的人脸图像进行上采样处理，得到具有高分辨率的人脸特征图。
10.第二方面，本发明实施例提供了一种基于轻量级网络的人脸超分辨率重建装置，包括：
11.图像获取单元，用于获取待进行重建的人脸图像；
12.去退化单元，用于采用轻量级的unet网络对所述人脸图像进行去退化处理；
13.细节生成单元，用于结合随机噪声对去退化后的人脸图像进行细节生成处理；
14.第一上采样单元，用于对生成细节后的人脸图像进行上采样处理，得到具有高分辨率的人脸特征图。
15.第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于轻量级网络的人脸超分辨率重建方法。
16.第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于轻量级网络的人脸超分辨率重建方法。
17.本发明实施例提供了一种基于轻量级网络的人脸超分辨率重建方法、装置、计算机设备及存储介质，该方法包括：获取待进行重建的人脸图像；采用轻量级的unet网络对所述人脸图像进行去退化处理；结合随机噪声对去退化后的人脸图像进行细节生成处理；对生成细节后的人脸图像进行上采样处理，得到具有高分辨率的人脸特征图。本发明实施例首先通过引入unet网络，对原始的人脸图像进行去退化并提取特征，然后对去退化后的人脸图像依次进行细节生成处理和上采样处理。同时考虑到性能问题，本实施例将unet模型部分压缩为轻量级的网络，在能够去除泛化的噪声的情况下达到实时处理的效果，并且本实施例还会对人脸的细节进行重建，特别在毛发，皮肤纹理上，从而提高人脸超分辨率重建效果。
附图说明
18.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为本发明实施例提供的一种基于轻量级网络的人脸超分辨率重建方法的流程示意图；
20.图2为本发明实施例提供的一种基于轻量级网络的人脸超分辨率重建方法中去退化处理的网络结构图；
21.图3为本发明实施例提供的一种基于轻量级网络的人脸超分辨率重建方法中细节生成的网络结构图；
22.图4为本发明实施例提供的一种基于轻量级网络的人脸超分辨率重建装置的示意性框图；
23.图5为本发明实施例提供的一种基于轻量级网络的人脸超分辨率重建方法的实验对比图。
具体实施方式
24.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
26.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
27.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
28.下面请参见图1，图1为本发明实施例提供的一种基于轻量级网络的人脸超分辨率重建方法的流程示意图，具体包括：步骤s101～s104。
29.s101、获取待进行重建的人脸图像；
30.s102、采用轻量级的unet网络对所述人脸图像进行去退化处理；
31.s103、结合随机噪声对去退化后的人脸图像进行细节生成处理；
32.s104、对生成细节后的人脸图像进行上采样处理，得到具有高分辨率的人脸特征图。
33.本实施例首先通过引入unet网络，对原始的人脸图像进行去退化并提取特征，然后对去退化后的人脸图像依次进行细节生成处理和上采样处理。同时考虑到性能问题，本实施例将unet模型部分压缩为轻量级的网络，在能够去除泛化的噪声的情况下达到实时处理的效果，并且本实施例还会对人脸的细节进行重建，特别在毛发，皮肤纹理上，从而提高人脸重建效果。此外，在一些优选实施例中，除了在网络设计上，还可以参考生成模型增加人脸识别损失函数，从而进一步提高重建效果。
34.在一实施例中，所述采用轻量级的unet网络对所述人脸图像进行去退化处理，包括：
35.利用unet网络中的特征提取层对所述人脸图像进行初始特征提取；
36.将经过初始特征提取后的人脸图像依次通过三层下采样层对人脸图像进行下采样处理；
37.将经过下采样处理的人脸图像进行二次特征提取；
38.依次利用三层上采样层对经过二次特征提取的人脸图像进行上采样处理，得到分别具有不同分辨率的三张中间特征图；
39.对三张所述中间特征图进行1
×
1卷积处理，得到对应的三张rgb图片。
40.具体的，所述利用unet网络中的特征提取层对所述人脸图像进行初始特征提取，包括：
41.依次通过第一卷积层和激活层对所述人脸图像进行两次初始特征提取；
42.所述将经过初始特征提取后的人脸图像依次通过三层下采样层对人脸图像进行下采样处理，包括：
43.对每一所述下采样层采用maxpool2d，以对人脸图像进行两倍下采样处理。
44.本实施例中，结合图2，unet网络由编码器与解码器两个部分组成，其中编码器用于从图像中提取不同感受野的特征，解码器用于将这些特征转换成干净的图片。因此在编码器层面使用卷积层将图像压缩成小的特征图，同时保留图像的关键特征，在解码器层面
使用反卷积上采样将编码器中获得的特征还原高分辨，这样以便后续做处理。为了达到实时的效果，本实施例中的unet使用轻量级的网络结构，以满足性能需求。即在下采样过程涉及三次maxpool层，在上采样过程则通过可学习的权重值与之前同一分辨率的特征合并起来共同输入下一层卷积层。整体通道数大小，先随着分辨率缩小增加，再随着分辨率的增大而减小，具体去退化模块的网络结构如图2所示。其中在上采样过程中，输出3个不同分辨率的rgb图，优化目标是高清数据也经过降采样后的图与网络输出特征经过线性变换之后的均方差mse。这样的网络设计会在隐层中恢复真实的图片，逼真的细节则在下一部分生成。
45.本实施例通过轻量级的unet网络进行特征提取，共会进行三次的每次2倍的下采样与三次每次2倍上采样恢复，并在上采样过程会逐一生成中间图，然后通过输出为rgb图与原hr进行l1损失函数学习，经过清洗之后的特征，会被送到下一步的融合与细节生成部分，最后进行2倍上采样网络中做超分。在这里，rgb只是与原图hr进行l1loss，属于中间监督学，其目的是退化去除，从而增强复杂退化的恢复能力。
46.在一实施例中，所述结合随机噪声对去退化后的人脸图像进行细节生成处理，包括：
47.对三张具有不同分辨率的中间特征图分别加入随机的高斯噪声；
48.将加入高斯噪声后的中间特征图进行上采样处理；
49.依次利用三次attention-resnet网络对中间特征图进行特征强弱化处理。
50.具体的，所述依次利用三次attention-resnet网络对中间特征图进行特征强弱化处理，包括：
51.通过resnet网络对中间特征图进行卷积特征处理；其中，所述resnet网络依次包括第二卷积层、池化层和第三卷积层；
52.通过senet特征注意力网络对resnet网络的输出结果中的第一通道进行特征强化处理，以及对输出结果中的第二通道进行特征弱化处理。
53.本实施例中，结合图3，考虑到去退化部分只能进行降噪去退化等粗处理后，而在这种粗处理后会保留人脸图像的五官等信息，但是在皮肤纹理上却无法进一步实现细节提升。因此本实施例将unet网络得到的不同分辨率的隐层信息与后续的生成网络逐一进行融合，同时在融合的过程考虑细节的生成，因此在每一层都会加入随机噪声。
54.在融合时，关于去退化模块中最后上采样依次得到0.25倍、0.5倍、1倍三个分辨率特征即隐层信息(即具有不同分辨率的三张中间特征图)，首先0.25倍的特征与噪声结合后输入至ttention-resnet层，然后进行上采样处理，再与下一步骤的0.5倍分辨率特征进行结合，同时又会与噪声进行结合，1倍分辨率特征同样如此。不同分辨率的特征会相对应生成相同大小的一通道的随机高斯噪声noise，noise会与可学习的参数相乘，即赋予每个像素值不同的权重，再与特征通过concat的方式联合一起，进入后续处理。本实施例通过引入噪声，可以有益于更多真实的皮肤、毛发、背景等细节纹理的生成。还需清楚的是，本实施例所述的第一通道和第二通道分别指重要通道和非重要通道，即对重要通道进行特征强化处理，对非重要通道进行特征弱化处理，而这里的重要通道与非重要通道则是通过网络学习得到。
55.在一实施例中，所述对生成细节后的人脸图像进行上采样处理，得到具有高分辨率的人脸特征图，包括：
56.对生成细节后的人脸图像进行像素重组，得到具有高分辨率的人脸特征图。
57.本实施例中，pixelshuffle(sub-pixelconvolutionalneuralnetwork，像素重组)是一种经典的上采样q方法，其应用于处理图像超分辨率的问题，可以对缩小后的特征图进行有效的放大操作。pixelshuffle现已广泛应用在如图像分割等计算机视觉问题上，和反卷积一起成为了神经网络中最常用的两种上采样技术。相比之下，pixelshuffle克服反卷积的易产生棋盘格的问题，可以说pixelshuffle是目前通用上采样upsample技术中性能最好的一种方式。
58.本实施例所述的像素重组pixelshuffle具体是将一个低分辨率像素划分为r
×
r份，默认是由特征图对应像素位置的r个特征像素组成一个低分辨率像素，在组成的过程中通过不断优化每组组合的权重来达到最好的上采样效果。
59.在一实施例中，所述获取待进行重建的人脸图像，包括：
60.获取多张人脸图像数据，并将所述人脸图像数据进行筛选裁剪，得到人脸图像数据集；
61.对所述人脸图像数据集随机添加噪声，以及随机进行模糊处理、尺寸变换和图像压缩，得到具有低分辨率的具有噪声信息的人脸图像。
62.本实施例为了更好的模拟真实场景所带来的失真，可以从常用的网站，例如unsplash、pexels、dreamstim、stock_adobe、shutterstock、istockphoto等收集10万张人脸数据，然后对其筛选裁剪，以构建得到所述人脸图像数据集。另外，由于图片在收集、压缩、传输及显示的过程中都会导致失真，而其中由于压缩所导致的失真比较容易获取，因此在人脸图像数据集里随机添加噪声，并采用模糊处理、尺寸变换及jpeg压缩等操作来获取低分辨率的带噪声信息。
63.还需说明的是，本实施例中的人脸超分辨率重建模型是针对放大2倍的情况下构建的。当然，在其他应用场景中，还可以针对放大4倍、8倍、16倍等情况来构建人脸超分辨率重建模型。同时，本实施例的人脸超分辨率重建模型是在大规模的数据集上训练所得，未作场景的区分。因此在实际应用中，可以针对不同的场景，来构建不同的训练集。
64.如图5所示，图5中的左侧为原图，右侧为通过本实施例所输出的实验结果，将二者在同一倍数下进行对比，从对比图可以看出，本实施例提出的方法效果生成比较自然的纹理人脸且不失真。
65.图4为本发明实施例提供的一种基于轻量级网络的人脸超分辨率重建装置400的示意性框图，该装置400包括：
66.图像获取单元401，用于获取待进行重建的人脸图像；
67.去退化单元402，用于采用轻量级的unet网络对所述人脸图像进行去退化处理；
68.细节生成单元403，用于结合随机噪声对去退化后的人脸图像进行细节生成处理；
69.第一上采样单元404，用于对生成细节后的人脸图像进行上采样处理，得到具有高分辨率的人脸特征图。
70.在一实施例中，所述去退化单元402包括：
71.初始特征提取单元，用于利用unet网络中的特征提取层对所述人脸图像进行初始特征提取；
72.下采样处理单元，用于将经过初始特征提取后的人脸图像依次通过三层下采样层
对人脸图像进行下采样处理；
73.二次特征提取单元，用于将经过下采样处理的人脸图像进行二次特征提取；
74.第二上采样单元，用于依次利用三层上采样层对经过二次特征提取的人脸图像进行上采样处理，得到分别具有不同分辨率的三张中间特征图；
75.非线性映射单元，用于对三张所述中间特征图进行1
×
1卷积处理，得到对应的三张rgb图片。
76.在一实施例中，所述初始特征提取单元包括：
77.多次提取单元，用于依次通过第一卷积层和激活层对所述人脸图像进行两次初始特征提取；
78.所述下采样处理单元包括：
79.多倍下采样单元，用于对每一所述下采样层采用maxpool2d，以对人脸图像进行两倍下采样处理。
80.在一实施例中，所述细节生成单元403包括：
81.噪声加入单元，用于对三张具有不同分辨率的中间特征图分别加入随机的高斯噪声；
82.第三上采样单元，用于将加入高斯噪声后的中间特征图进行上采样处理；
83.特征强弱化处理单元，用于依次利用三次attention-resnet网络对中间特征图进行特征强弱化处理。
84.在一实施例中，所述特征强弱化处理单元包括：
85.卷积特征处理单元，用于通过resnet网络对中间特征图进行卷积特征处理；其中，所述resnet网络依次包括第二卷积层、池化层和第三卷积层；
86.特征强化及弱化处理单元，用于通过senet特征注意力网络对resnet网络的输出结果中的第一通道进行特征强化处理，以及对输出结果中的第二通道进行特征弱化处理。
87.在一实施例中，所述第一上采样单元404包括：
88.像素重组单元，用于对生成细节后的人脸图像进行像素重组，得到具有高分辨率的人脸特征图。
89.在一实施例中，所述图像获取单元401包括：
90.筛选裁剪单元，用于获取多张人脸图像数据，并将所述人脸图像数据进行筛选裁剪，得到人脸图像数据集；
91.图像处理单元，用于对所述人脸图像数据集随机添加噪声，以及随机进行模糊处理、尺寸变换和图像压缩，得到具有低分辨率的具有噪声信息的人脸图像。
92.由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
93.本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
94.本发明实施例还提供了一种计算机设备，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。
当然计算机设备还可以包括各种网络接口，电源等组件。
95.说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围内。
96.还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

技术特征：
1.一种基于轻量级网络的人脸超分辨率重建方法，其特征在于，包括：获取待进行重建的人脸图像；采用轻量级的unet网络对所述人脸图像进行去退化处理；结合随机噪声对去退化后的人脸图像进行细节生成处理；对生成细节后的人脸图像进行上采样处理，得到具有高分辨率的人脸特征图。2.根据权利要求1所述的基于轻量级网络的人脸超分辨率重建方法，其特征在于，所述采用轻量级的unet网络对所述人脸图像进行去退化处理，包括：利用unet网络中的特征提取层对所述人脸图像进行初始特征提取；将经过初始特征提取后的人脸图像依次通过三层下采样层对人脸图像进行下采样处理；将经过下采样处理的人脸图像进行二次特征提取；依次利用三层上采样层对经过二次特征提取的人脸图像进行上采样处理，得到分别具有不同分辨率的三张中间特征图；对三张所述中间特征图进行1
×
1卷积处理，得到对应的三张rgb图片。3.根据权利要求2所述的基于轻量级网络的人脸超分辨率重建方法，其特征在于，所述利用unet网络中的特征提取层对所述人脸图像进行初始特征提取，包括：依次通过第一卷积层和激活层对所述人脸图像进行两次初始特征提取；所述将经过初始特征提取后的人脸图像依次通过三层下采样层对人脸图像进行下采样处理，包括：对每一所述下采样层采用maxpool2d，以对人脸图像进行两倍下采样处理。4.根据权利要求2所述的基于轻量级网络的人脸超分辨率重建方法，其特征在于，所述结合随机噪声对去退化后的人脸图像进行细节生成处理，包括：对三张具有不同分辨率的中间特征图分别加入随机的高斯噪声；将加入高斯噪声后的中间特征图进行上采样处理；依次利用三次attention-resnet网络对中间特征图进行特征强弱化处理。5.根据权利要求4所述的基于轻量级网络的人脸超分辨率重建方法，其特征在于，所述依次利用三次attention-resnet网络对中间特征图进行特征强弱化处理，包括：通过resnet网络对中间特征图进行卷积特征处理；其中，所述resnet网络依次包括第二卷积层、池化层和第三卷积层；通过senet特征注意力网络对resnet网络的输出结果中的第一通道进行特征强化处理，以及对输出结果中的第二通道进行特征弱化处理。6.根据权利要求1所述的基于轻量级网络的人脸超分辨率重建方法，其特征在于，所述对生成细节后的人脸图像进行上采样处理，得到具有高分辨率的人脸特征图，包括：对生成细节后的人脸图像进行像素重组，得到具有高分辨率的人脸特征图。7.根据权利要求1所述的基于轻量级网络的人脸超分辨率重建方法，其特征在于，所述获取待进行重建的人脸图像，包括：获取多张人脸图像数据，并将所述人脸图像数据进行筛选裁剪，得到人脸图像数据集；对所述人脸图像数据集随机添加噪声，以及随机进行模糊处理、尺寸变换和图像压缩，得到具有低分辨率的具有噪声信息的人脸图像。
8.一种基于轻量级网络的人脸超分辨率重建装置，其特征在于，包括：图像获取单元，用于获取待进行重建的人脸图像；去退化单元，用于采用轻量级的unet网络对所述人脸图像进行去退化处理；细节生成单元，用于结合随机噪声对去退化后的人脸图像进行细节生成处理；第一上采样单元，用于对生成细节后的人脸图像进行上采样处理，得到具有高分辨率的人脸特征图。9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于轻量级网络的人脸超分辨率重建方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于轻量级网络的人脸超分辨率重建方法。

技术总结
本发明公开了基于轻量级网络的人脸超分辨率重建方法、装置及介质，该方法包括：获取待进行重建的人脸图像；采用轻量级的Unet网络对所述人脸图像进行去退化处理；结合随机噪声对去退化后的人脸图像进行细节生成处理；对生成细节后的人脸图像进行上采样处理，得到具有高分辨率的人脸特征图。本发明考虑到性能问题，将Unet模型部分压缩为轻量级的网络，在能够去除泛化的噪声的情况下达到实时处理的效果，并且会对人脸的细节进行重建，特别在毛发，皮肤纹理上，从而提高人脸重建效果。从而提高人脸重建效果。从而提高人脸重建效果。


技术研发人员：王功华
受保护的技术使用者：深圳软牛科技有限公司
技术研发日：2023.07.06
技术公布日：2023/10/15