画质增强模型的训练方法、画质增强方法及相关装置与流程

1.本发明涉及图像处理技术领域，具体而言，涉及一种画质增强模型的训练方法、画质增强方法及相关装置。


背景技术：

2.画质模糊的图像无法识别出图像中的信息，用户的观看体验也较差，因此需要将图像的画质增强，改善图像质量。
3.目前图像画质增强模型常用于拍照或电影效果增强，增强原理是对图像中模糊的纹理进行去噪和清晰化，但是如果上述两种场景下的存在图像虚化情况时，现有的画质增强模型将虚化的纹理作为模糊区域进行纹理增强，会明显破坏虚化效果，造成虚化人脸错误增强的问题，准确性较差。


技术实现要素：

4.本发明的目的之一在于提供一种画质增强模型的训练方法、画质增强方法及相关装置，能够虚化人脸错误增强的问题，提高图像增强处理的准确性，本发明可以这样实现：
5.第一方面，本发明提供一种画质增强模型的训练方法，所述方法包括：获取多张图像，并对每张所述图像进行人脸检测，得到人脸图像和背景图像；针对每张所述图像，若所述人脸图像只有一张，则将所述图像对应的人脸图像确定为非虚化人脸图像；否则，确定所述图像对应的每张人脸图像对应的清晰度评分，并根据所述清晰度评分，确定所述图像对应的每张所述人脸图像是所述非虚化人脸图像还是虚化人脸图像；根据全部所述非虚化人脸图像构建人脸正样本，并根据全部所述虚化人脸图像构建人脸负样本；根据所述人脸正样本、所述人脸负样本和所述背景图像，对画质增强模型进行训练，以使训练后的所述画质增强模型不对待增强图像中的虚化人脸进行纹理增强。
6.第二方面，本发明提供一种画质增强方法，所述方法包括：获取待增强图像；通过预训练的画质增强模型所述待增强图像中的背景和非虚化人脸进行纹理增强和去噪，和/或，对所述待增强图像中虚化人脸进行去噪；其中，所述画质增强模型是通过如第一方面所述的画质增强模型的训练方法训练而成。
7.第三方面，本发明提供一种画质增强模型的训练装置，包括：获取模块，用于获取多张图像，并对每张所述图像进行人脸检测，得到人脸图像和背景图像；分类模块，用于针对每张所述图像，若所述人脸图像只有一张，则将所述图像对应的人脸图像确定为非虚化人脸图像；否则，确定所述图像对应的每张人脸图像对应的清晰度评分，并根据所述清晰度评分，确定所述图像对应的每张所述人脸图像是所述非虚化人脸图像还是虚化人脸图像；构建模块，用于根据全部所述非虚化人脸图像构建人脸正样本，并根据全部所述虚化人脸图像构建人脸负样本；训练模块，用于根据所述人脸正样本、所述人脸负样本和所述背景图像，对画质增强模型进行训练，以使训练后的所述画质增强模型不对待增强图像中的虚化人脸进行纹理增强。
8.第四方面，本发明提供一种画质增强装置，包括：获取模块，用于获取待增强图像；增强模块，用于通过预训练的画质增强模型所述待增强图像中的背景和非虚化人脸进行纹理增强和去噪，和/或，对所述待增强图像中虚化人脸进行去噪；其中，所述画质增强模型是通过如第一方面所述的画质增强模型的训练方法训练而成。
9.第五方面，本发明提供一种计算机设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现第一方面所述的方法或者实现第二方面所述的方法。
10.第六方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法或者实现第二方面所述的方法。
11.本发明提供的画质增强模型的训练方法、画质增强方法及相关装置，包括：通过获取每张图像的人脸图像，通过对人脸模糊/虚化的情况进行明确分类，从全部人脸图像中确定出非虚化人脸图像和虚化人脸图像，然后根据得到的全部非虚化人脸图像构建人脸正样本，根据得到的全部虚化人脸图像构建人脸负样本，并将人脸正样本和人脸负样本输入到画质增强模型中训练，保证画质增强模型能够自动区分图像中的模糊人脸区域和虚化人脸区域，并不对虚化人脸区域进行纹理增强，从而解决画质增强模型中对虚化人脸区域也进行错误增强的问题。
附图说明
12.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
13.图1为一种图像画质增强的应用场景示意图；
14.图2给出了现有的画质增强模型的图像样本构建原理图；
15.图3为现有画质增强模型的效果图；
16.图4为本技术实施例提供的图像样本构建原理图；
17.图5为本发明实施例提供的画质增强模型的训练方法的示意性流程图；
18.图6为本发明实施例提供的画质增强方法的示意性流程图；
19.图7为本发明实施例提供的画质增强模型的训练装置的功能模块图；
20.图8为本发明实施例提供的画质增强装置的功能模块图；
21.图9为本发明实施例提供的计算机设备的结构框图。
具体实施方式
22.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
23.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通
技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
25.在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
26.此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
27.需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。
28.画质增强处理，是通过对图像进行分析，确定图像中的色彩信息、物体边缘等数据，通过增强算法对这些数据进行一定尺度的增强，如锐化物体边缘，提升对比度、饱和度等，使得图像画质得到提升，为了满足观众对画质日趋增高的需求，图像画质增强已逐渐成为各个领域中的热门技术，比如，在直播领域、影视领域、摄像领域等，服务提供方法或者服务维护方在向用户提供的视频或者图像前，往往需要先对图像执行画质增强处理，以使用户终端侧获得高画质，高流畅性的内容。
29.以直播领域为例，请参见图1，图1为一种图像画质增强的直播应用场景示意图，该场景中包括直播端100、直播服务器200、观众端300。直播服务器200分别与观众端300和直播端100通信连接，用于为直播端100以及观众端300提供直播服务。例如，直播端100可以将直播视频流发送给直播服务器200，观众可以通过观众端300访问直播服务器200以观看直播视频。其中，直播服务器200推送的直播视频流可以是当前正在直播平台中直播的视频流或者直播完成后形成的完整视频流。可以理解，图1所示的场景仅为一种可行的示例，在其它可行的实施例中，该场景也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。
30.本实施例中，直播端100和观众端300可以是，但不限于，智能手机、个人数字助理、平板电脑、个人计算机、笔记本电脑、虚拟现实终端设备、增强现实终端设备等。其中，直播端100和观众端300中可以安装用于提供互联网直播服务的互联网产品，例如，互联网产品可以是计算机或智能手机中使用的与互联网直播服务相关的应用程序app、web网页、小程序等。
31.本实施例中，在该场景中还可以包括用于采集主播视频帧或观众视频信息的视频采集设备，视频采集设备可以是，但不限于摄像头、数码照相机的镜头、监控摄像头或者网络摄像头等。视频采集设备可以直接安装或集成于直播端100或观众端300。例如，视频采集设备可以是配置在直播端100或观众端300上的摄像头，直播端100或观众端300中的其他模块或组件可以经由内部总线接收从视频采集设备处发送的视频、图像。
32.在图1所示的直播场景中，假设直播端100将采集的图像发送给直播服务器200，可以认为该图像为增强前的图像，该图像可能存在模糊、噪声等画质问题，直播服务器200获得该图像之后，可以利用增强模型对该图像进行增强，然后将增强后的图像推送到观众端300，观众端300就可以将增强后的图像进行显示。
33.在上述应用场景，直播服务器200实际上是对图像中模糊的纹理进行去噪和清晰化，而针对经过虚化操作后的图像，其实际上也是一种模糊操作，是用户想到保留的一种图像处理效果，但直播服务器200照样会无差别的将虚化后的图像中虚化的纹理作为模糊区域进行增强，反而会破坏虚化效果，导致增强效果不准确。
34.直播服务器200之所以会将虚化人脸也进行画质增强，是因为在训练画质增强模型时，采用的方式是如图2所示，图2给出了现有的画质增强模型的图像样本构建原理图。
35.可以看出，现有技术基于现有的人脸增强模型和背景增强模型对低质量样本图像(lq)中的人脸和背景进行分别增强，由于人脸增强模型具有了很强的人脸先验，因此增强效果十分明显，对模糊、虚化的人脸都能进行增强，然后将增强后的人脸和背景进行高斯融合，得到高质量的样本图像(hq)，形成样本图像lq-hq的样本对，并在此基础上进行训练，训练得到的画质增强模型实际上是具备人脸增强模型和背景增强模型两者的增强作用，等同于对这两个大模型进行了模型蒸馏，因此，也具有对虚化人脸错误增强的问题，如图3所示，图3为现有画质增强模型的效果图，很明显，后景中被虚化的人脸图像也被错误的增强，破坏了虚化效果。
36.为了解决上述技术问题，本发明实施例对上述图2中的虚线框内的流程进行了改进，如图4所示，图4为本技术实施例提供的图像样本构建原理图，基于改进的图像样本进行模型训练，能够对人脸模糊/虚化的情况进行明确分类，并将非虚化人脸图像、虚化人脸图像分别作为正负样本输入到图像增强模型中训练，保证模型能够显示的区分模糊和虚化的人脸区域，并只对模糊的人脸区域进行特定的增强，从而解决图像增强模型中对虚化人脸区域也进行错误增强的问题，有利于提升画质中人脸增强的效果，降低人脸错误增强的情况。
37.结合图4，请参见图5，图5为本发明实施例提供的画质增强模型的训练方法的示意性流程图，该方法可以应用于图1所示的直播端100、观众端300或者直播服务器200，下面以直播服务器200为执行主体进行说明，可以包括如下步骤：
38.s501：获取多张图像，并对每张图像进行人脸检测，得到人脸图像和背景图像。
39.s502：针对每张图像，若人脸图像只有一张，则将图像对应的人脸图像确定为非虚化人脸图像；否则，确定图像对应的每张人脸图像对应的清晰度评分，并根据清晰度评分，确定图像对应的每张人脸图像是非虚化人脸图像还是虚化人脸图像；
40.s503：根据全部非虚化人脸图像构建人脸正样本，并根据全部虚化人脸图像构建人脸负样本；
41.s504：根据人脸正样本、人脸负样本和背景图像，对画质增强模型进行训练，以使训练后的画质增强模型只对待增强图像中的非虚化人脸图像进行纹理增强。
42.上述步骤s501至步骤s501的技术方案中，通过获取每张图像的人脸图像，通过对人脸模糊/虚化的情况进行明确分类，从全部人脸图像中确定出非虚化人脸图像和虚化人脸图像，然后根据得到的全部非虚化人脸图像构建人脸正样本，根据得到的全部虚化人脸图像构建人脸负样本，并将人脸正样本和人脸负样本输入到画质增强模型中训练，保证画质增强模型能够自动区分图像中的非虚化人脸区域和虚化人脸区域，并只对模糊人脸区域进行纹理增强，从而解决画质增强模型中对虚化人脸区域也进行错误增强的问题。
43.在上述步骤s501中，获取图像的方式可以但不限于来自拍摄、裁剪、仿真、导入等
等。这些图像均是低质量图像，图像中可以仅存在模糊人脸区域、仅存在虚化人脸区域、或者同时存在模糊人脸区域和虚化人脸区域，对每张图像进行人脸检测，然后根据检测到的人脸所在区域进行裁剪，分别得到人脸图像和背景图像，需要说明的是，如果一张图像中并不存在人脸，那么针对这张图像不再进行后续处理。
44.在上述步骤s502中，考虑到若人脸不清晰是模糊造成的，那么图像中所有的人脸都受到相对均匀的模糊效果，那么所有人脸的清晰度评分相对集中，差别较小；反之，若人脸不清晰是虚化造成的，那么在焦点上必然存在至少一个相对清晰的人脸，而焦点外的虚化人脸一定很模糊，导致图像中人脸清晰度评分相对差异较大，基于此在本技术实施例中可以结合人脸图像的清晰度评分对非虚化人脸图像和虚化人脸图像进行分类。需要说明的是，虚化人脸图像指得是经过虚化处理的人脸图像，非虚化人脸图像是指未经过虚化处理的图像。
45.在本技术实施例中，如果一张人脸图像中仅仅存在一张人脸，那么无论人脸的清晰度评分如何，都需要增强人脸纹理和去噪，如果该图像中存在至少两张人脸图像，那么可以按照如下方式进行分类：
46.步骤a1：针对每张图像，将最大清晰度评分和最小清晰度评分各自对应的人脸图像作为聚类中心，对全部人脸图像进行聚类，得到两个图像簇；每个图像簇中至少包含一张人脸图像。
47.在本技术实施例中，假设一张图像中存在n张人脸，对应n张人脸图像，可以表示为k1,k2,...,kn∈r，那么可以先将人脸图像按照清晰度评分进行排序，按照从小到大的顺序排列，或者按照从大到小的顺序排列，此处不作限定，最大清晰度评分和最小清晰度评分各自对应的人脸图像位于序列头和序列尾，这样就可以快速得到最大清晰度评分和最小清晰度评分各自对应的人脸图像。
48.在本技术实施例中，假设k1是最大清晰度评分对应的人脸图像，kn是最小清晰度评分对应的人脸图像，以k1和kn作为两个聚类中心进行聚类，聚类方式可以但不限于是采用k-means聚类方法，最终可以得到两个图像簇，一个是以k1为聚类中心进行聚类的图像簇{kj}(为了方便描述以下简称清晰簇)，一个是以kn为聚类中心进行聚类的图像簇{k
l
}(为了方便描述以下简称模糊簇)，大小分别为j和l。
49.步骤a2：根据两个图像簇的质心距离与预设距离阈值之间的比较结果，确定每个图像簇中的人脸图像是非虚化人脸图像还是虚化人脸图像。
50.在本技术实施例中，可以通过比较两个图像簇的质心距离为与预设距离阈值的差异来评估两个图像簇之间的差异，进而根据这种差异确定每个图像簇中的人脸图像属于非虚化人脸图像还是虚化人脸图像，意即：若质心距离小于预设距离阈值，则确定两个图像簇中的人脸图像均为非虚化人脸图像，否则，将以最大清晰度评分为聚类中心得到的图像簇中人脸图像确定为非虚化人脸图像，将以最小清晰度评分为聚类中心得到的图像簇中人脸图像确定为虚化人脸图像。
51.比如，假设质心距离为h，预设距离阈值为h
t
，若h小于阈值h
t
，表明清晰簇和模糊簇之间的差异不大，即清晰簇和模糊簇中的人脸均受到的都是模糊效果，那么这两个簇中的人脸图像均为非虚化图像；若h大于等于阈值h
t
，表明清晰簇和模糊簇之间的差异较大，即模糊簇中的人脸均受到了虚化效果，意即模糊簇中的l张人脸图像均是虚化人脸，需要进行
人脸去噪，而不用去增强人脸纹理，而高清簇的j张人脸图像均是非虚化人脸图像，则需要增强人脸纹理和去噪，从而完成非虚化人脸图像和虚化人脸图像的分类。
52.在本技术实施例中，为了实现上述分类效果，需要先确定各张人脸图像的清晰度评分，在本技术实施例中，可以先检测出图像中所有人脸的关键点以及mask进行提取，关键点可以提供脸部特征点的位置和可信度，并可进一步得到对应人脸在图像中的方位，mask可以用来分割出脸部区域，并将增强后的人脸和背景图像进行融合，达到比较自然的视觉效果，人脸检测方法可以用现有任意一个检测方法，此处不再赘述，得到人脸的关键点以及mask，可以将人脸各有效roi区域的清晰度评分进行加权即可得到人脸的清晰度评分，评分越大，人脸越清晰，因此，本技术实施例给出了一种可能的实施方式，即可以通过如下步骤确定清晰度评分：
53.步骤b1：确定人脸图像中关键点信息，并对关键点信息进行筛选，保留未被遮挡的目标关键点。
54.步骤b2：对目标关键点所在区域进行灰度化，并对灰度化的区域进行高斯平滑和梯度检测，得到区域的梯度值；
55.步骤b3：根据梯度值与预设阈值的比较结果，确定清晰区域和非清晰区域；
56.步骤b4：若不存在非清晰区域，则将全部清晰区域的梯度值平均值作为清晰度评分；否则，将全部区域对应的梯度进行加权求和得到清晰度评分。
57.通过上述方式即可得到虚化人脸图像集合q
lq
和非虚化人脸图像集合p
lq
，基于此可以构建正人脸样本和负人脸样本，请参见步骤s503：
58.在步骤s503的技术方案中，对p
lq
中的非虚化人脸图像采用目前较为先进的人脸增强模型进行优化，得到增强的人脸结果作为p
lq
对应的高质数据p
hq
，人脸增强模型可以但不限于是：如gfpgan、gpen，关于增强的原理在此不做赘述。对q
lq
中的虚化人脸图像，采用高斯平滑模型进行去噪，不进行纹理增强，高斯核的大小与人脸大小成正比，避免在大人脸上使用小高斯核引入额外的噪声，平滑得的人脸结果作为q
lq
对应的高质数据q
hq
，最终得到的p
lq-p
hq
数据对可以作为训练画质增强模型的人脸正样本，q
lq-q
hq
数据对可以作为训练增强模型的人脸负样本。因此，针对步骤s503可以包括如下步骤：
59.步骤c1：根据人脸增强模型对每张非虚化人脸图像进行优化，得到增强后的非虚化人脸图像，并将增强前和增强后的非虚化人脸图像组成的图像对作为人脸正样本；
60.步骤c2：根据高斯平滑模型，对每张虚化人脸进行去噪，并将去噪前和去噪后的虚化人脸组成的图像对作为人脸负样本。
61.通过上述步骤s503得到人脸正样本和人脸负样本之后，可以结合背景增强数据进行画质增强模型训练，可以使得画质增强模型对画面中的背景纹理和非虚化人脸进行增强，对虚化人脸进行平滑，保证模型能够正确的区分需要增强的人脸情况。
62.因此，结合图2所示的原理图，在步骤s504的技术方案中，对得到的人脸正样本p
lq-p
hq
和人脸负样本q
lq-q
hq
，可以确定每个人脸图像对应的背景图像，然后将人脸图像和背景图像相结合，得到图像正样本和图像正样本，利用图像正样本和图像正样本对初始的画质增强模型进行训练，得到本技术实施例提供的画质增强模型，训练方式为现有任意一个训练方法，此处不再赘述。
63.在应用阶段，假设本技术实施例提供的画质增强模型可以记为net，对待增强的图
像i
lq
，不需要检测出人脸区域，只需要将i
lq
输入画质增强模型net，画质增强模型会自适应的对i
lq
的背景和非虚化人脸(即模糊人脸)进行纹理增强和去噪，对虚化人脸进行去噪，得到i
hq
＝net(i
lq
)，解决原来虚化人脸错误增强的问题，进一步提升i
hq
的质量。
64.因此，基于本技术实施例训练的画质增强模型，本发明实施例还提供一种画质增强方法，请参见图6，图6为本发明实施例提供的画质增强方法的示意性流程图，该方法可以应用于图1所示的直播端100、直播服务器200或者观众端300中任意一种，下面以直播服务器200为执行主体进行说明，可以包括如下步骤：
65.s601，获取待增强图像；
66.s602，通过预训练的画质增强模型待增强图像中的背景和非虚化人脸进行纹理增强和去噪，和/或，对待增强图像中虚化人脸进行去噪。
67.上述画质增强模型是通过本技术实施例提供的画质增强模型的训练方法得到的，此处不再赘述。可以理解的是，如果待增强图像仅仅存在非虚化人脸，那么画质增强模型会对该非虚化人脸和背景进行纹理增强和去噪；如果待增强图像仅仅存在虚化人脸图像，那么画质增强模型会对该待增强图像中的背景进行纹理增强和去噪，对该虚化人脸进行去噪；如果待增强图像中同时存在虚化人脸图像和非虚化人脸图像，那么画质增强模型会对非虚化人脸和背景进行纹理增强和去噪，对虚化人脸进行去噪，从而解决原来虚化人脸错误增强的问题，进一步提升i
hq
的质量。
68.需要说明的是，在一种实施方式中，本技术实施例中的画质增强模型的训练方法和画质增强方法可以由相同的计算机设备执行，比如可以通过图1中的直播端100、直播服务器200或者观众端300中任意一种来执行，该计算机设备具备机器学习功能；在另一种实施方式中，也可以利用一种计算机设备来执行画质增强模型的训练方法，然后再另外的计算机设备上加载训练后的画质增强模型，以此来实现画质增强的效果，比如，利用图1中的直播服务器200来训练画质增强模型，然后观众端300加载画质增强模型来进行画质增强。
69.基于与图5相同的发明构思，本技术实施例还提供一种画质增强模型的训练装置，该画质增强模型的训练装置如图7所示，图7为本发明实施例提供的画质增强模型的训练装置的功能模块图，该画质增强模型的训练装置700可包括：获取模块710、分类模块720、构建模块730和训练模块740。
70.获取模块710，用于获取多张图像，并对每张图像进行人脸检测，得到人脸图像和背景图像；
71.分类模块720，用于针对每张图像，若人脸图像只有一张，则将图像对应的人脸图像确定为非虚化人脸图像；否则，确定图像对应的每张人脸图像对应的清晰度评分，并根据清晰度评分，确定图像对应的每张人脸图像是非虚化人脸图像还是虚化人脸图像；
72.构建模块730，用于根据全部非虚化人脸图像构建人脸正样本，并根据全部虚化人脸图像构建人脸负样本；
73.训练模块740，用于根据人脸正样本、人脸负样本和背景图像，对画质增强模型进行训练，以使训练后的画质增强模型不对待增强图像中的虚化人脸进行纹理增强。
74.可以理解的是，获取模块710、分类模块720、构建模块730和训练模块740可以协同的执行图5中的各个步骤以实现相应的技术效果。
75.在可选的实施方式中，分类模块720，具体用于针对每张图像，将最大清晰度评分
和最小清晰度评分各自对应的人脸图像作为聚类中心，对全部人脸图像进行聚类，得到两个图像簇；每个图像簇中至少包含一张人脸图像；根据两个图像簇的质心距离与预设距离阈值之间的比较结果，确定每个图像簇中的人脸图像是非虚化人脸图像还是虚化人脸图像。
76.在可选的实施方式中，分类模块720，具体用于若质心距离小于预设距离阈值，则确定两个图像簇中的人脸图像均为非虚化人脸图像，否则，将以最大清晰度评分为聚类中心得到的图像簇中人脸图像确定为非虚化人脸图像，将以最小清晰度评分为聚类中心得到的图像簇中人脸图像确定为虚化人脸图像。
77.在可选的实施方式中，构建模块730，具体用于根据人脸增强模型对每张非虚化人脸图像进行优化，得到增强后的非虚化人脸图像，并将增强前和增强后的非虚化人脸图像组成的图像对作为人脸正样本；根据高斯平滑模型，对每张虚化人脸进行去噪，并将去噪前和去噪后的虚化人脸组成的图像对作为人脸负样本。
78.在可选的实施方式中，所述分类模块720还具体用于确定所述人脸图像中关键点信息，并对所述关键点信息进行筛选，保留未被遮挡的目标关键点；对目标关键点所在区域进行灰度化，并对灰度化的所述区域进行高斯平滑和梯度检测，得到所述区域的梯度值；根据所述梯度值与预设阈值的比较结果，确定清晰区域和非清晰区域；若不存在所述非清晰区域，则将全部所述清晰区域的梯度值平均值作为所述清晰度评分；否则，将全部所述区域对应的梯度进行加权求和得到所述清晰度评分。
79.基于与图6相同的发明构思，本技术实施例还提供一种画质增强装置，该画质增强装置如图8所示，图8为本发明实施例提供的画质增强装置的功能模块图，该画质增强装置800可包括：获取模块810和增强模块820。
80.获取模块810，用于获取待增强图像；
81.增强模块820，用于通过预训练的画质增强模型待增强图像中的背景和非虚化人脸进行纹理增强和去噪，和/或，对待增强图像中虚化人脸进行去噪；其中，画质增强模型是通过本技术实施例提供的画质增强模型的训练方法训练而成。
82.可以理解的是，获取模块810和增强模块820可以协同的执行图6中的各个步骤以实现相应的技术效果。
83.需要说明的是，本技术以上实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
84.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存
储程序代码的介质。
85.本技术实施例还提供一种首先，请参见图9，图9为本发明实施例提供的计算机设备的结构框图，该计算机设备用于执行本发明实施例提供的画质增强模型的训练方法或者画质增强方法，计算机设备900包括：存储器901、处理器902、通信接口903、和总线904，该存储器901、处理器902和通信接口903相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
86.可选的，总线904可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
87.在本技术实施例中，处理器902可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储器901中，处理器902读取存储器901中的程序指令，结合其硬件完成上述方法的步骤。
88.在本技术实施例中，存储器901可以是非易失性存储器，比如硬盘(hard diskdrive，hdd)或固态硬盘(solid-state drive，ssd)等，还可以是易失性存储器(volatilememory)，例如ram。存储器还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本技术实施例中的存储器还可以是电路或者其它任意能够实现存储功能的装置，用于存储指令和/或数据。
89.存储器901可用于存储软件程序及模块，如本发明实施例提供的画质增强模型的训练装置700或者画质增强装置800的指令/模块，可以软件或固件(firmware)的形式存储于存储器901中或固化在计算机设备900的操作系统(operating system，os)中，处理器902通过执行存储在存储器901内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口903可用于与其他节点设备进行信令或数据的通信。
90.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
91.可以理解，图9所示的结构仅为示意，计算机设备900还可以包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。图9所示的各组件可以采用硬件、软件或其组合实现。
92.计算机设备900可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(personal digital assistant，pda)、游戏机、交互式网络电视(internet protocol television，iptv)、智能式穿戴式设备等。
93.计算机设备900还可以包括网络设备和/或用户设备。其中，网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(cloudcomputing)的由大量主机或网络服务器构成的云。
94.计算机设备900所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专
用网络(virtual private network，vpn)等。
95.基于以上实施例，本技术还提供了一种存储介质，存储介质中存储有计算机程序，计算机程序被计算机执行时，使得计算机执行以上实施例提供的画质增强模型的训练方法。
96.基于以上实施例，本技术实施例还提供了一种计算机程序，当计算机程序在计算机上运行时，使得计算机执行以上实施例提供的画质增强模型的训练方法或者画质增强方法。
97.基于以上实施例，本技术实施例还提供了一种芯片，芯片用于读取存储器中存储的计算机程序，用于执行以上实施例提供的画质增强模型的训练方法或者画质增强方法。
98.本技术实施例中还提供一种计算机程序产品，包括指令，当其在计算机上运行时，使得计算机执行以上实施例提供的画质增强模型的训练方法或者画质增强方法。
99.本技术实施例是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
100.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
101.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
102.以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种画质增强模型的训练方法，其特征在于，所述方法包括：获取多张图像，并对每张所述图像进行人脸检测，得到人脸图像和背景图像；针对每张所述图像，若所述人脸图像只有一张，则将所述图像对应的人脸图像确定为非虚化人脸图像；否则，确定所述图像对应的每张人脸图像对应的清晰度评分，并根据所述清晰度评分，确定所述图像对应的每张所述人脸图像是所述非虚化人脸图像还是虚化人脸图像；根据全部所述非虚化人脸图像构建人脸正样本，并根据全部所述虚化人脸图像构建人脸负样本；根据所述人脸正样本、所述人脸负样本和所述背景图像，对画质增强模型进行训练，以使训练后的所述画质增强模型不对待增强图像中的虚化人脸进行纹理增强。2.根据权利要求1所述的方法，其特征在于，所述并根据所述清晰度评分，确定所述图像对应的每张所述人脸图像是所述非虚化人脸图像还是虚化人脸图像，包括：针对每张所述图像，将最大清晰度评分和最小清晰度评分各自对应的所述人脸图像作为聚类中心，对全部所述人脸图像进行聚类，得到两个图像簇；每个所述图像簇中至少包含一张所述人脸图像；根据两个所述图像簇的质心距离与预设距离阈值之间的比较结果，确定每个所述图像簇中的所述人脸图像是所述非虚化人脸图像还是虚化人脸图像。3.根据权利要求2所述的方法，其特征在于，根据两个所述图像簇的质心距离与预设距离阈值之间的比较结果，确定每个所述图像簇中的所述人脸图像是所述非虚化人脸图像还是虚化人脸图像，包括：若所述质心距离小于所述预设距离阈值，则确定两个所述图像簇中的人脸图像均为所述非虚化人脸图像，否则，将以所述最大清晰度评分为聚类中心得到的图像簇中所述人脸图像确定为所述非虚化人脸图像，将以所述最小清晰度评分为聚类中心得到的所述图像簇中所述人脸图像确定为所述虚化人脸图像。4.根据权利要求1所述的方法，其特征在于，根据全部所述非虚化人脸图像构建人脸正样本，并根据全部所述虚化人脸图像构建人脸负样本，包括：根据人脸增强模型对每张所述非虚化人脸图像进行优化，得到增强后的非虚化人脸图像，并将增强前和增强后的所述非虚化人脸图像组成的图像对作为所述人脸正样本；根据高斯平滑模型，对每张所述虚化人脸进行去噪，并将去噪前和去噪后的所述虚化人脸组成的图像对作为所述人脸负样本。5.根据权利要求1所述的方法，其特征在于，确定所述图像对应的每张人脸图像对应的清晰度评分，包括：确定所述人脸图像中关键点信息，并对所述关键点信息进行筛选，保留未被遮挡的目标关键点；对目标关键点所在区域进行灰度化，并对灰度化的所述区域进行高斯平滑和梯度检测，得到所述区域的梯度值；根据所述梯度值与预设阈值的比较结果，确定清晰区域和非清晰区域；若不存在所述非清晰区域，则将全部所述清晰区域的梯度值平均值作为所述清晰度评分；否则，将全部所述区域对应的梯度进行加权求和得到所述清晰度评分。
6.一种画质增强方法，其特征在于，所述方法包括：获取待增强图像；通过预训练的画质增强模型所述待增强图像中的背景和非虚化人脸进行纹理增强和去噪，和/或，对所述待增强图像中虚化人脸进行去噪；其中，所述画质增强模型是通过如权利要求1至5任意一项所述的画质增强模型的训练方法训练而成。7.一种画质增强模型的训练装置，其特征在于，包括：获取模块，用于获取多张图像，并对每张所述图像进行人脸检测，得到人脸图像和背景图像；分类模块，用于针对每张所述图像，若所述人脸图像只有一张，则将所述图像对应的人脸图像确定为非虚化人脸图像；否则，确定所述图像对应的每张人脸图像对应的清晰度评分，并根据所述清晰度评分，确定所述图像对应的每张所述人脸图像是所述非虚化人脸图像还是虚化人脸图像；构建模块，用于根据全部所述非虚化人脸图像构建人脸正样本，并根据全部所述虚化人脸图像构建人脸负样本；训练模块，用于根据所述人脸正样本、所述人脸负样本和所述背景图像，对画质增强模型进行训练，以使训练后的所述画质增强模型不对待增强图像中的虚化人脸进行纹理增强。8.一种画质增强装置，其特征在于，包括：获取模块，用于获取待增强图像；增强模块，用于通过预训练的画质增强模型所述待增强图像中的背景和非虚化人脸进行纹理增强和去噪，和/或，对所述待增强图像中虚化人脸进行去噪；其中，所述画质增强模型是通过如权利要求1至5任意一项所述的画质增强模型的训练方法训练而成。9.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现权利要求1至5任一项所述的方法或者实现权利要求6所述的方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法或者实现权利要求6所述的方法。

技术总结
本发明提供的画质增强模型的训练方法、画质增强方法及相关装置，包括：获取多张图像后进行人脸检测，得到人脸图像和背景图像；针对每张图像，若人脸图像只有一张，则将图像对应的人脸图像确定为非虚化人脸图像；否则，确定图像对应的每张人脸图像对应的清晰度评分，并根据清晰度评分，对人脸图像进行非虚化人脸图像和虚化人脸图像分类；分别根据非虚化人脸图像和虚化人脸图像构建人脸正样本和人脸负样本，再结合背景图像，对画质增强模型进行训练，以使训练后的画质增强模型不对待增强图像中的虚化人脸进行纹理增强，本发明能够准确区分虚化人脸和非虚化人脸，不对虚化人脸进行纹理增强，解决虚化人脸错误增强的问题。解决虚化人脸错误增强的问题。解决虚化人脸错误增强的问题。


技术研发人员：周凡
受保护的技术使用者：广州虎牙科技有限公司
技术研发日：2023.04.20
技术公布日：2023/7/21