图像画质增强方法、画质增强模型训练方法及相关装置与流程

1.本发明涉及图像处理技术领域，具体而言，涉及一种图像画质增强方法、画质增强模型训练方法及相关装置。


背景技术：

2.随着用户对图像画面的质量需求不断增加，越来越多的业务场景需要对图像的画质进行增强，例如老电影修复场景、娱乐直播场景、游戏场景等。目前通常是采用一个大容量模型来对多个业务场景下的低质量图像进行画质增强以得到高质量图像，但是这种方式的计算量大，容易产生延迟，会影响用户体验。虽然还有采用根据不同的业务场景建立不同的模型来进行画质增强的方式，但是这种方式下各个模型的画质提升能力有限，所以会导致画质增强的效果不佳。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种图像画质增强方法、画质增强模型训练方法及相关装置。
4.为了实现上述目的，本发明采用的技术方案如下：
5.第一方面，本发明提供一种图像画质增强方法，所述图像画质增强方法包括：
6.将待处理低质图像输入画质增强模型，所述画质增强模型包括预测网络、转换网络和多个增强网络，所述多个增强网络分别与多种业务类型匹配；
7.利用所述预测网络对所述待处理低质图像进行退化估计得到目标退化向量，所述目标退化向量表示所述待处理低质图像的画质相较于每种业务类型的预设标准画质的退化程度；
8.利用所述转换网络将所述目标退化向量转换为目标权重向量，所述目标权重向量表示所述待处理低质图像与每种业务类型的匹配概率；
9.基于所述目标权重向量和全部增强网络合成与所述待处理低质图像匹配的目标联合增强网络；
10.利用所述目标联合增强网络对所述待处理低质图像进行画质增强，得到所述待处理低质图像对应的高质图像。
11.在可选的实施方式中，所述利用所述转换网络将所述目标退化向量转换为目标权重向量的步骤，包括：
12.利用所述转换网络对所述目标退化向量进行特征提取得到目标特征向量，并对所述目标特征向量进行维度变换获得每个所述增强网络对应的权重值，得到所述目标权重向量。
13.在可选的实施方式中，每个所述增强网络均包括相同数目个卷积层；
14.所述基于所述目标权重向量和全部增强网络合成与所述待处理低质图像匹配的目标联合增强网络的步骤，包括：
15.从所述目标权重向量中获取每个所述增强网络对应的权重值；
16.基于每个所述增强网络中的第i个卷积层合成第i个联合卷积层，并基于每个所述增强网络对应的权重值及其第i个卷积层的参数值，计算第i个联合卷积层的参数值，得到包括多个联合卷积层的目标联合增强网络，i为正整数。
17.在可选的实施方式中，所述目标联合增强网络包括多个联合卷积层；
18.所述利用所述目标联合增强网络对所述待处理低质图像进行画质增强，得到所述待处理低质图像对应的高质图像的步骤，包括：
19.将所述待处理低质图像作为输入特征且将所述目标联合增强网络中的第一个联合卷积层作为目标联合卷积层；
20.利用所述目标联合卷积层对所述输入特征进行卷积操作得到输出特征；
21.将所述输出特征作为所述输入特征且将所述目标联合卷积层的后一个联合卷积层作为所述目标联合卷积层后，重新执行所述利用所述目标联合卷积层对所述输入特征进行卷积操作得到输出特征的步骤，直至所述目标联合卷积层为最后一个联合卷积层，得到所述待处理低质图像对应的高质图像。
22.第二方面，本发明提供一种画质增强模型训练方法，所述画质增强模型训练方法包括：
23.获取多种业务类型分别对应的图像样本集；
24.基于全部图像样本集对基础预测网络进行训练，得到预训练预测网络；
25.基于每种业务类型所对应的图像样本集，对每个基础增强网络进行训练，得到每种业务类型所匹配的预训练增强网络；
26.基于全部图像样本集对所述预训练预测网络、基础转换网络和每个所述预训练增强网络进行联合训练，获得画质增强模型；
27.所述画质增强模型用于实现前述实施方式中任一项所述的图像画质增强方法。
28.在可选的实施方式中，每个所述图像样本集均包括多个高质图像样本；
29.所述基于全部图像样本集对基础预测网络进行训练，得到预训练预测网络的步骤，包括：
30.对于每个所述高质图像样本，从每个预设的退化参数范围中随机获取每个退化参数的值得到初始退化向量，并基于所述初始退化向量对所述高质图像样本进行退化操作获得待定低质图像，得到每个待定低质图像；
31.对每个所述初始退化向量进行归一化操作，得到每个待定低质图像对应的实际退化向量；
32.利用所述基础预测网络对每个所述待定低质图像进行退化估计，得到每个所述待定低质图像对应的预测退化向量；
33.基于每个所述待定低质图像对应的实际退化向量和预测退化向量以及预设的第一损失函数，对所述基础预测网络进行训练得到所述预训练预测网络。
34.在可选的实施方式中，每个所述图像样本集均包括多个高质图像样本及其对应低质图像样本；
35.所述基于全部图像样本集对所述预训练预测网络、基础转换网络和每个所述预训练增强网络进行联合训练，获得所述画质增强模型的步骤，包括：
36.对于每个所述低质图像样本，利用所述预训练预测网络对所述低质图像样本进行退化估计得到退化向量样本，所述退化向量样本表示所述低质图像样本的画质相较于每种业务类型的预设标准画质的退化程度；
37.利用基础转换网络将所述退化向量样本转换为权重向量样本，所述权重向量样本表示所述低质图像样本与每种业务类型的匹配概率；
38.基于所述权重向量样本和全部预训练增强网络合成与所述低质图像样本匹配的基础联合增强网络；
39.利用所述基础联合增强网络对所述低质图像样本进行画质增强获得所述低质图像样本对应的增强高质图像，得到每个所述低质图像样本对应的增强高质图像；
40.基于每个所述低质图像样本对应的高质图像样本和增强高质图像以及预设的第二损失函数，对所述预训练预测网络、所述基础转换网络和每个所述预训练增强网络进行联合训练，得到所述画质增强模型。
41.第三方面，本发明提供一种图像画质增强装置，所述图像画质增强装置包括：
42.输入模块，用于将待处理低质图像输入画质增强模型，所述画质增强模型包括预测网络、转换网络和多个增强网络，所述多个增强网络分别与多种业务类型匹配；
43.预测模块，用于利用所述预测网络对所述待处理低质图像进行退化估计得到目标退化向量，所述目标退化向量表示所述待处理低质图像的画质相较于每种业务类型的预设标准画质的退化程度；
44.转换模块，用于利用所述转换网络将所述目标退化向量转换为目标权重向量，所述目标权重向量表示所述待处理低质图像与每种业务类型的匹配概率；
45.增强模块，用于基于所述目标权重向量和全部增强网络合成与所述待处理低质图像匹配的目标联合增强网络；
46.利用所述目标联合增强网络对所述待处理低质图像进行画质增强，得到所述待处理低质图像对应的高质图像。
47.第四方面，本发明提供一种电子设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现前述实施方式中任一项所述的图像画质增强方法，和/或，前述实施方式中任一项所述的画质增强模型训练方法。
48.第五方面，本发明提供一种存储介质，所述存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现前述实施方式中任一项所述的图像画质增强方法，和/或，前述实施方式中任一项所述的画质增强模型训练方法。
49.本发明提供的图像画质增强方法、画质增强模型训练方法及相关装置，先将待处理低质图像输入画质增强模型，画质增强模型包括预测网络、转换网络和多种业务类型分别匹配的多个增强网络；然后利用预测网络对待处理低质图像进行退化估计得到目标退化向量；并利用转换网络将目标退化向量转换为目标权重向量；接着基于目标权重向量和全部增强网络合成与待处理低质图像匹配的目标联合增强网络；最后利用目标联合增强网络对待处理低质图像进行画质增强，得到待处理低质图像对应的高质图像。通过预测网络和转换网络确定出低质图像与每种业务类型的匹配度，以调整各个业务类型的增强网络的权重，来合成与提升低质图像画质需要的画质增强能力所匹配的联合增强网络，从而可以针对性地改善低质图像的画质，提高了画质增强的效果以及提升了画质增强模型的通用性。
50.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
51.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
52.图1示出了本发明实施例提供的电子设备方框示意图；
53.图2示出了本发明实施例提供的图像画质增强方法的一种流程示意图；
54.图3示出了本发明实施例提供的图像画质增强方法的一个示例图；
55.图4示出了本发明实施例提供的画质增强模型训练方法的一种流程示意图；
56.图5示出了本发明实施例提供的图像画质增强装置的一种功能模块图；
57.图6示出了本发明实施例提供的画质增强模型训练装置的一种功能模块图。
58.图标：100-电子设备；110-总线；120-处理器；130-存储器；150-i/o模块；170-通信接口；400-图像画质增强装置；410-输入模块；430-预测模块；450-转换模块；470-增强模块；500-画质增强模型训练装置；510-样本获取模块；530-第一训练模块；550-第二训练模块；570-联合训练模块。
具体实施方式
59.下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
60.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
61.需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
62.随着用户对图像画面的质量需求不断增加，越来越多的业务场景需要对图像的画质进行增强，例如老电影修复场景、娱乐直播场景、游戏场景等。目前通常是采用一个大容量模型来对多个业务场景下的低质量图像进行画质增强以得到高质量图像，但是这种方式的计算量大，容易产生延迟，会影响用户体验。虽然还有采用根据不同的业务场景建立不同的模型来进行画质增强的方式，但是这种方式下各个模型的画质提升能力有限，所以会导致画质增强的效果不佳。由此，本发明实施例提供了一种图像画质增强方法以解决上述问
题。
63.请参照图1，是本发明实施例提供的一种电子设备的方框示意图。电子设备100包括总线110、处理器120、存储器130、i/o模块150、通信接口170。
64.总线110可以是将上述元件相互连接并在上述元件之间传递通信(例如控制消息)的电路。
65.处理器120可以通过总线110从上述其它元件(例如存储器130、i/o模块150、通信接口170等)接收命令，可以解释接收到的命令，并可以根据所解释的命令来执行计算或数据处理。
66.处理器120可以是一种集成电路芯片，具有信号处理能力。该处理器120可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
67.存储器130可以存储从处理器120或其它元件(例如i/o模块150、通信接口170等)接收的命令或数据或者由处理器120或其它元件产生的命令或数据。
68.存储器130可以是但不限于，随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read-only memory，prom)，可擦除只读存储器(erasableprogrammable read-only memory，eprom)，电可擦除只读存储器(electricerasable programmable read-only memory，eeprom)。
69.i/o模块150可以接收经由输入-输出手段(例如，传感器、键盘、触摸屏等)从用户输入的命令或数据，并可以通过总线110向处理器120或存储器130传送接收到的命令或数据。并且用于显示从上述元件接收、存储、处理的各种信息(例如多媒体数据、文本数据)，可以向用户显示视频、图像、数据等。
70.通信接口170可用于与其他节点设备进行信令或数据的通信。
71.可以理解的是，图1所示的结构仅为电子设备100的结构示意图，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
72.本发明实施例提供的电子设备100可以是智能手机、个人计算机、平板电脑、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本、个人数字助理(personal digital assistant，pda)等。本发明实施例对此不作任何限制。
73.下面将以上述的电子设备作为执行主体，执行本发明实施例提供的各个方法中的各个步骤，并实现对应技术效果。
74.请参阅图2，图2是本发明实施例提供的一种图像画质增强方法的流程示意图。
75.步骤s202，将待处理低质图像输入画质增强模型，画质增强模型包括预测网络、转换网络和多个增强网络，多个增强网络分别与多种业务类型匹配；
76.其中，待处理低质图像是指需要进行处理的低质图像，低质图像即分辨率低、画面模糊的低质量图像。画质增强模型是预先基于多个业务类型的图像样本集训练得到的，其可以将多种业务场景下的低质图像增强为高质图像，高质图像是指分辨率高、画面清晰的高质量图像。
77.在本实施例中，画质增强模型包括预测网络、转换网络和多个增强网络，并且每个
增强网络均与一种业务类型匹配。可以理解为，一种业务类型即表示一种业务场景，而每个业务场景的高画质标准不同，即各个业务场景所需的画质增强能力不同，则各个增强网络分别具备不同的画质增强能力，以与不同的业务类型匹配。
78.为了便于理解，本发明实施例提供一个可能的示例。例如，画质增强模型包括预测网络、转换网络以及3个增强网络如增强网络q1、增强网络q2和增强网络q3，并且增强网络q1与老电影业务类型匹配、增强网络q2与直播业务类型匹配、增强网络q3与游戏业务类型匹配。
79.假设，待处理低质图像为图像1，即图像1的分辨率低且画面模糊，则将图像1输入画质增强模型，以利用画质增强模型中的预测网络、转换网络以及3个增强网络，来提高图像1的画面质量，以得到图像1对应的高质图像。
80.可以理解的是，上述老电影业务类型、直播业务类型和游戏业务类型仅仅作为举例说明，业务类型和增强网络的个数可以按照实际应用设置，本发明实施例不作限定。
81.步骤s204，利用预测网络对待处理低质图像进行退化估计得到目标退化向量，目标退化向量表示待处理低质图像的画质相较于每种业务类型的预设标准画质的退化程度；
82.步骤s206，利用转换网络将目标退化向量转换为目标权重向量，目标权重向量表示待处理低质图像与每种业务类型的匹配概率；
83.步骤s208，基于目标权重向量和全部增强网络合成与待处理低质图像匹配的目标联合增强网络；
84.步骤s210，利用目标联合增强网络对待处理低质图像进行画质增强，得到待处理低质图像对应的高质图像；
85.可以理解的是，由于不同业务场景的高画质标准不同，则可以预先为每种业务类型设置标准画质，如设定分辨率、饱和度、对比度等画质参数的标准值。
86.在本实施例中，预测网络可以是由多个卷积层和激活层以及一个全局平均池化层组成的轻量网络，其用于预测低质图像的退化向量，退化向量表示低质图像的画质相较于每种业务类型的标准画质的退化程度。可以理解为，假设将低质图像的画质看作是由标准画质退化而成的，那么退化向量可以看作是各个业务类型的标准画质退化成低质图像的画质的可能性。
87.如果退化程度越小，即表示可能性越大，则该低质图像的画质特征与该业务类型的标准画质特征越相似，那么该业务类型所匹配的增强网络的画质增强能力就越能够改善低质图像的画质，即该低质图像与该业务类型所匹配的增强网络越适配。
88.可以理解为，相较于现有技术中利用单一模型的画质增强能力来改善低质图像画质的方式，本发明实施例是通过预测网络预测退化向量，即估计低质图像的画质退化程度，并结合转换网络将退化向量转换为权重向量，以确定出低质图像与每个增强网络的匹配度，再基于权重向量调整各个增强网络的权重来合成联合增强网络，以使联合增强网络与提升低质图像画质所需的画质增强能力匹配。
89.也就是说，本发明实施例对于不同的低质图像，可以评估出其所需的画质增强能力，以合成不同的联合增强网络。即对低质图像的画质进行针对性的改善和优化。并且，预测网络和转换网络都是轻量网络，其占用的存储空间和计算量小，相比于各个增强网络的存储空间和计算量，可以忽略不计，即本发明实施例中的画质增强模型可以在保证一定计
算速度的同时提升画质增强的效果。
90.基于前述的示例，待处理低质图像为图像1。在步骤s204中，利用预测网络对图像1进行退化估计，得到图像1的退化向量即目标退化向量，其表示图像1的画质相较于老电影业务类型的标准画质、直播业务类型的标准画质和游戏业务类型的标准画质的退化程度。
91.在步骤s206中，利用转换网络将图像1的退化向量转换为权重向量，获得图像1的权重向量即目标权重向量，其表示图像1与老电影业务类型、直播业务类型和游戏业务类型的匹配概率。在步骤s208中，基于图像1的权重向量和增强网络q1、增强网络q2和增强网络q3，合成与图像1匹配的联合增强网络，即得到目标联合增强网络；在步骤s210中，利用目标联合增强网络对图像1进行画质增强，即得到图像1对应的高质图像。
92.可见基于上述步骤，先将待处理低质图像输入画质增强模型，画质增强模型包括预测网络、转换网络和多种业务类型分别匹配的多个增强网络；然后利用预测网络对待处理低质图像进行退化估计得到目标退化向量；并利用转换网络将目标退化向量转换为目标权重向量；接着基于目标权重向量和全部增强网络合成与待处理低质图像匹配的目标联合增强网络；最后利用目标联合增强网络对待处理低质图像进行画质增强，得到待处理低质图像对应的高质图像。通过预测网络和转换网络确定出低质图像与每种业务类型的匹配度，以调整各个业务类型的增强网络的权重，来合成与提升低质图像画质需要的画质增强能力所匹配的联合增强网络，从而可以针对性地改善低质图像的画质，提高了画质增强的效果以及提升了画质增强模型的通用性。
93.可选地，针对上述步骤s206，本发明实施例提供了一种可能的实现方式，即：利用转换网络对目标退化向量进行特征提取得到目标特征向量，并对目标特征向量进行维度变换获得每个增强网络对应的权重值，得到目标权重向量。
94.在本实施例中，转换网络可以是由几层全连接层构成的轻量网络。基于前述的示例，获得图像1的退化向量即得到目标退化向量后，将目标退化向量输入转换网络中，并利用转换网络对目标退化向量为进行特征提取，获得图像1的特征向量即得到目标特征向量；然后利用转换网络对目标特征向量进行维度变换，即计算每个增强网络对应的权重值，获得图像1的权重向量即得到目标权重向量。
95.可以理解为，本发明实施例是通过转换网络将预测网络估计出的退化向量，转换为各个增强网络所对应的权重值，来确定出低质图像与每种业务类型的匹配概率，即获得低质图像与各个增强网络的匹配度，以便于后续根据各个增强网络所对应的权重值进行调整，合成与低质图像适配的联合增强网络，进而基于该联合增强网络对低质图像的画质进行针对性改善。
96.可选地，对于上述步骤s208，本发明实施例提供了一种可能的实现方式。
97.步骤s208-1，从目标权重向量中获取每个增强网络对应的权重值；
98.步骤s208-3，基于每个增强网络中的第i个卷积层合成第i个联合卷积层，并基于每个增强网络对应的权重值及其第i个卷积层的参数值，计算第i个联合卷积层的参数值，得到包括多个联合卷积层的目标联合增强网络，i为正整数。
99.在本实施例中，多个增强网络的结构相同，其均包括多个卷积层。为了便于理解，本发明实施例基于前述的示例提供了一个示例图。请参阅图3，下面将结合图3对上述步骤s208-1至步骤s208-7进行说明。
100.如图3所示，增强网络q1、增强网络q2和增强网络q3，均包括n个卷积层，每个卷积层均具有参数值。可以理解的是，获得每个联合卷积层的方式类似，为了简要，下面将以获得一个联合卷积层作为示例进行说明。
101.首先，从目标权重向量中获取每个增强网络对应的权重值，假设增强网络q1、增强网络q2和增强网络q3分别对应的权重值为a1、a2和a3。然后，基于增强网络q1的第1个卷积层c11、增强网络q2的第2个卷积层c21和增强网络q3的第3个卷积层c31，合成第1个联合卷积层，即如图3所示的联合卷积层c1。
102.接着基于增强网络q1对应的权重值a1及其第1个卷积层c11的参数值如w11、增强网络q2对应的权重值a2及其第1个卷积层c21的参数值如w21，以及增强网络q3对应的权重值a3及其第1个卷积层c31的参数值如w31，计算第1个联合卷积层c1的参数值即wc1＝a1*w11+a2*w21+a3*w31。即获得第1个联合卷积层及其参数值。
103.按照上述类似的方式，对每个增强网络中同一层的卷积层进行处理，可以获得每个联合卷积层，则获得包括n个联合卷积层的目标联合增强网络，如图3所示的目标联合增强网络q。
104.可选地，对于上述步骤s210，本发明实施例提供了一种可能的实现方式。
105.步骤s210-1，将待处理低质图像作为输入特征且将目标联合增强网络中的第一个联合卷积层作为目标联合卷积层；
106.步骤s210-3，利用目标联合卷积层对输入特征进行卷积操作得到输出特征；
107.步骤s210-4，将输出特征作为输入特征且将目标联合卷积层的后一个联合卷积层作为目标联合卷积层后，重新执行利用目标联合卷积层对输入特征进行卷积操作得到输出特征的步骤，直至目标联合卷积层为最后一个联合卷积层，得到待处理低质图像对应的高质图像。
108.为了便于理解，下面将继续以上述图3中的目标联合增强网络q作为示例，对上述步骤s210-1至步骤s210-4进行说明。
109.目标联合增强网络q中包括n个联合卷积层，首先将图像1作为输入特征，并且将第1个联合卷积层c1作为目标联合卷积层；然后利用第1个联合卷积层c1对图像1进行卷积操作，即得到第1个联合卷积层的输出特征。
110.接着，将第1个联合卷积层的输出特征作为输入特征，并将第1个联合卷积层的后一个联合卷积层作为目标联合卷积层，即将第2个联合卷积层c2作为目标联合卷积层；再利用第2个联合卷积层c2对第1个联合卷积层的输出特征进行卷积操作，即得到第2个联合卷积层的输出特征。
111.按照上述类似的方式，即利用后一个联合卷积层，对前一个联合卷积层的输出特征进行卷积操作，直至得到最后一个联合卷积层的输出特征，即得到图像1对应的高质图像。
112.可以理解的是，本发明实施例是通过转换网络输出权重向量，动态调整每个增强网络中卷积层的参数值，即通过对各个增强网络中卷积层的参数值进行加权的方式，来合成自适应的联合卷积层，以使联合卷积层采用非线性叠加的方式来进行卷积操作，从而可以准确地获取到低质图像的画质特征，并进行针对性画质优化和改善。
113.可选地，基于上述实施例中的画质增强模型，本发明实施例还提供了一种画质增
强模型训练方法，请参阅图4，图4是本发明实施例提供的一种画质增强模型训练方法的流程示意图。
114.步骤s302，获取多种业务类型分别对应的图像样本集；
115.步骤s304，基于全部图像样本集对基础预测网络进行训练，得到预训练预测网络；
116.步骤s306，基于每种业务类型所对应的图像样本集，对每个基础增强网络进行训练，得到每种业务类型所匹配的预训练增强网络；
117.步骤s308，基于全部图像样本集对预训练预测网络、基础转换网络和每个预训练增强网络进行联合训练，获得画质增强模型；
118.在本实施例中，获取多种业务类型分别对应的图像样本集，以基于这些图像样本集进行模型训练，可以得到与这些业务类型均匹配的通用型画质增强模型。为了便于理解，下面将继续以老电影业务类型、直播业务类型和游戏业务类型为例，来对上述步骤s302至步骤s308进行说明。
119.首先，继续以上述示例进行说明，分别获取老电影业务类型、直播业务类型和游戏业务类型各自对应图像样本集，即得到图像样本集s1、图像样本集s2和图像样本集s3。然后，基于这三个图像样本集对基础预测网络进行训练，以使基础预测网络具备预测低质图像退化程度的能力，即得到预训练预测网络。
120.接着，获取三个结构和参数均相同的基础增强网络。基于老电影业务类型对应的图像样本集s1，对第一个基础增强网络进行训练，以使第一个基础增强网络具备老电影业务类型所需的画质增强能力，即得到老电影业务类型所匹配的预训练增强网络。
121.基于直播业务类型对应的图像样本集s2，对第二个基础增强网络进行训练，以使第二个基础增强网络具备直播业务类型所需的画质增强能力，即得到直播业务类型匹配的预训练增强网络。
122.基于游戏业务类型对应的图像样本集s3，对第三个基础增强网络进行训练，以使第三个基础增强网络具备游戏业务类型所需的画质增强能力，即得到游戏业务类型匹配的预训练增强网络。即获得三种业务类型分别匹配的三个预训练增强网络。
123.可以理解的是，基础预测网络的输入为预训练预测网络的输出，基础预测网络的输出作用于三个预训练增强网络，即基础预测网络起到衔接预训练预测网络和三个预训练增强网络的作用，则训练基础预测网络需要预训练预测网络和三个预训练增强网络进行配合。
124.由此，获得预训练预测网络和三个预训练增强网络之后，还需要基于图像样本集s1、图像样本集s2和图像样本集s3，对预训练预测网络、基础转换网络和每个预训练增强网络进行联合训练，以使基础转换网络具备转化能力，并对预训练预测网络的参数和每个预训练增强网络的参数进行微调优化，获得预测网络、转换网络和每种业务类型匹配的增强网络，即得到画质增强模型。
125.可以理解的是，上述老电影业务类型、直播业务类型和游戏业务类型仅仅作为举例说明，业务类型和基础增强网络的个数可以按照实际应用设置，本发明实施例不作限定。
126.可选地，对于上述步骤s304，本发明实施例提供了一种可能的实现方式。
127.步骤s304-1，对于每个高质图像样本，从每个预设的退化参数范围中随机获取每个退化参数的值得到初始退化向量，并基于初始退化向量对高质图像样本进行退化操作获
得待定低质图像，得到每个待定低质图像；
128.在本实施例中，每个图像样本集均包括多个高质图像样本。对于每个高质图像样本均会进行退化操作，即模拟高质图像退化至低质图像的过程，以获得每个高质图像样本对应的低质图像，即得到每个待定低质图像。
129.基于经典的退化模型，其包括多种退化操作。例如高斯模糊操作、噪声添加操作、图像缩放操作和图像压缩操作。对于高斯模糊操作，其包括高斯模糊核尺寸、横向标准差、纵向标准差和旋转角度这四个退化参数，该操作用于改变图像的像素值。
130.对于噪声添加操作，其包括噪声系数、噪声强度和噪声类型(如高斯噪声类型、泊松噪声类型等)这三个退化参数，该操作用于改变图像的清晰度。对于图像缩放操作，其包括缩放类型即插值方式和缩放比例这两个退化参数。对于图像压缩操作，其包括压缩比例这一个退化参数。图像缩放操作和图像压缩操作用于改变图像的大小。对于每个退化参数，均会预先设定每个退化参数的范围。
131.可以理解的是，获得每个待定低质图像的方式类似，为了简要，下面将以获得一个待定低质图像作为示例进行说明。
132.假设高质图像样本为图像y，首先从每个预设的退化参数范围中随机获取每个退化参数的值，即获得初始退化向量；然后基于初始退化向量对图像y进行退化操作，即对图像y进行高斯模糊操作、噪声添加操作、图像缩放操作和图像压缩操作，即完成一次退化。
133.可选地，还可以按照预设的比例随机选择是否对图像y进行二次退化或者更多次的退化。图像y经一次或者多次退化后所得到的图像，即为图像y对应的低质图像，即获得待定低质图像。按照类似的方式，对每个高质图像样本进行退化操作，可以得到每个待定低质图像。
134.可以理解的是，本发明实施例通过随机选取各个退化参数的值，来构成不同的退化向量，并随机进行一次或者多次退化，从而可以模拟出实际业务场景中各种各样的退化情况，进而可以提高预测网络的退化预测能力。
135.步骤s304-3，对每个初始退化向量进行归一化操作，得到每个待定低质图像对应的实际退化向量；
136.在本实施例中，各个退化参数所表示的物理含义不同，则各个退化参数的范围差异较大，为了统一初始退化向量中各个退化参数的量级，可以对初始退化向量进行归一化操作，以使各个退化参数的值属于区间[0,1]。即对每个初始退化向量进行归一化操作，可以得到每个待定低质图像对应的实际退化向量。
[0137]
步骤s304-5，利用基础预测网络对每个待定低质图像进行退化估计，得到每个待定低质图像对应的预测退化向量；
[0138]
步骤s304-7，基于每个待定低质图像对应的实际退化向量和预测退化向量以及预设的第一损失函数，对基础预测网络进行训练得到预训练预测网络；
[0139]
在本实施例中，将每个待定低质图像对应的实际退化向量作为其标签，并将每个带有标签的待定低质图像输入基础预测网络，然后利用基础预测网络对每个待定低质图像进行退化估计，即得到每个待定低质图像对应的预测退化向量；再基于每个待定低质图像对应的实际退化向量和预测退化向量，还有预设的第一损失函数如平均绝对误差损失函数，对基础预测网络进行训练，即得到预训练预测网络。
[0140]
可选地，对于上述步骤s308，本发明实施例提供了一种可能的实现方式。
[0141]
步骤s308-1，对于每个低质图像样本，利用预训练预测网络对低质图像样本进行退化估计得到退化向量样本，退化向量样本表示低质图像样本的画质相较于每种业务类型的预设标准画质的退化程度；
[0142]
步骤s308-3，利用基础转换网络将退化向量样本转换为权重向量样本，权重向量样本表示低质图像样本与每种业务类型的匹配概率；
[0143]
步骤s308-4，基于权重向量样本和全部预训练增强网络合成与低质图像样本匹配的基础联合增强网络；
[0144]
步骤s308-5，利用基础联合增强网络对低质图像样本进行画质增强获得低质图像样本对应的增强高质图像，得到每个低质图像样本对应的增强高质图像；
[0145]
在本实施例中，每个图像样本集均包括多个高质图像样本及其对应低质图像样本。对于每个低质图像样本，均会利用预训练预测网络、基础转换网络和每个预训练增强网络对其进行处理，以得到每个低质图像样本对应的增强高质图像。
[0146]
可以理解的是，获得每个低质图像样本对应增强高质图像的方式类似，为了简要，下面将以获得一个低质图像样本对应增强高质图像作为示例进行说明。
[0147]
假设低质图像样本为图像z。首先，利用预训练预测网络对图像z进行退化估计，获得图像z的退化向量即退化向量样本，其表示图像z的画质相较于老电影业务类型的标准画质、直播业务类型的标准画质和游戏业务类型的标准画质的退化程度。
[0148]
然后，利用基础转换网络将图像z的退化向量转换为权重向量，获得图像z的权重向量即权重向量样本，其表示低质图像z与每种业务类型的匹配概率。接着，基于图像z的权重向量和全部预训练增强网络，合成与图像z匹配的基础联合增强网络。
[0149]
最后，利用基础联合增强网络对图像z进行画质增强，获得图像z对应的增强高质图像。按照上述类似的方式，对每个低质图像样本进行处理，可以得到每个低质图像样本对应的增强高质图像。
[0150]
步骤s308-7，基于每个低质图像样本对应的高质图像样本和增强高质图像以及预设的第二损失函数，对预训练预测网络、基础转换网络和每个预训练增强网络进行联合训练，得到画质增强模型。
[0151]
在本实施例中，基于获得的每个低质图像样本对应的增强高质图像，结合每个低质图像样本对应的高质图像样本，还有预设的第二损失函数，对预训练预测网络、基础转换网络和每个预训练增强网络进行联合训练，即得到画质增强模型。
[0152]
可选地，第二损失函数可以包括像素损失函数、感知损失函数、对抗损失函数和回归损失函数，那么第二损失函数可以表示为：
[0153]
l
total
＝l
pixel
+λ1l
perceptual
+λ2l
adversarial
+λ3l
regression
；
[0154]
其中，l
total
表示第二损失函数；l
pixel
表示像素损失函数；l
perceptual
表示感知损失函数；l
adversarial
表示对抗损失函数；l
regression
表示回归损失函数；λ1表示感知损失函数的权重值；λ2表示对抗损失函数的权重值；λ3表示回归损失函数的权重值。
[0155]
为了执行本发明实施例提供的图像画质增强方法中各个步骤，下面给出一种图像画质增强装置的实现方式。请参阅图5，图5为本发明实施例提供的一种图像画质增强装置,400的功能模块图。需要说明的是，本实施例所提供的图像画质增强装置400，其基本原理及
产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该图像画质增强装置400包括：
[0156]
输入模块410，用于将待处理低质图像输入画质增强模型，画质增强模型包括预测网络、转换网络和多个增强网络，多个增强网络分别与多种业务类型匹配；
[0157]
预测模块430，用于利用预测网络对待处理低质图像进行退化估计得到目标退化向量，目标退化向量表示待处理低质图像的画质相较于每种业务类型的预设标准画质的退化程度；
[0158]
转换模块450，用于利用转换网络将目标退化向量转换为目标权重向量，目标权重向量表示待处理低质图像与每种业务类型的匹配概率；
[0159]
增强模块470，用于基于目标权重向量和全部增强网络合成与待处理低质图像匹配的目标联合增强网络；
[0160]
利用目标联合增强网络对待处理低质图像进行画质增强，得到待处理低质图像对应的高质图像。
[0161]
可选地，转换模块450还用于：利用转换网络对目标退化向量进行特征提取得到目标特征向量，并对目标特征向量进行维度变换获得每个增强网络对应的权重值，得到目标权重向量。
[0162]
可选地，增强模块470还用于：从目标权重向量中获取每个增强网络对应的权重值；基于每个增强网络中的第i个卷积层合成第i个联合卷积层，并基于每个增强网络对应的权重值及其第i个卷积层的参数值，计算第i个联合卷积层的参数值，得到包括多个联合卷积层的目标联合增强网络，i为正整数。
[0163]
可选地，增强模块470还用于：将待处理低质图像作为输入特征且将目标联合增强网络中的第一个联合卷积层作为目标联合卷积层；利用目标联合卷积层对输入特征进行卷积操作得到输出特征；将输出特征作为输入特征且将目标联合卷积层的后一个联合卷积层作为目标联合卷积层后，重新执行利用目标联合卷积层对输入特征进行卷积操作得到输出特征，直至目标联合卷积层为最后一个联合卷积层，得到待处理低质图像对应的高质图像。
[0164]
为了执行本发明实施例提供的画质增强模型训练方法中各个步骤，下面给出一种画质增强模型训练装置的实现方式。请参阅图6，图6为本发明实施例提供的一种画质增强模型训练装置500的功能模块图。需要说明的是，本实施例所提供的画质增强模型训练装置500，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该画质增强模型训练装置500包括：
[0165]
样本获取模块510，用于获取多种业务类型分别对应的图像样本集；
[0166]
第一训练模块530，用于基于全部图像样本集对基础预测网络进行训练，得到预训练预测网络；
[0167]
第二训练模块550，用于基于每种业务类型所对应的图像样本集，对每个基础增强网络进行训练，得到每种业务类型所匹配的预训练增强网络；
[0168]
联合训练模块570，用于基于全部图像样本集对预训练预测网络、基础转换网络和每个预训练增强网络进行联合训练，获得画质增强模型；画质增强模型用于实现本发明实施例提供的图像画质增强方法。
[0169]
可选地，第一训练模块530还用于：对于每个高质图像样本，从每个预设的退化参
数范围中随机获取每个退化参数的值得到初始退化向量，并基于初始退化向量对高质图像样本进行退化操作获得待定低质图像，得到每个待定低质图像；对每个初始退化向量进行归一化操作，得到每个待定低质图像对应的实际退化向量；利用基础预测网络对每个待定低质图像进行退化估计，得到每个待定低质图像对应的预测退化向量；基于每个待定低质图像对应的实际退化向量和预测退化向量以及预设的第一损失函数，对基础预测网络进行训练得到预训练预测网络。
[0170]
可选地，联合训练模块570还用于：对于每个低质图像样本，利用预训练预测网络对低质图像样本进行退化估计得到退化向量样本，退化向量样本表示低质图像样本的画质相较于每种业务类型的预设标准画质的退化程度；利用基础转换网络将退化向量样本转换为权重向量样本，权重向量样本表示低质图像样本与每种业务类型的匹配概率；基于权重向量样本和全部预训练增强网络合成与低质图像样本匹配的基础联合增强网络；利用基础联合增强网络对低质图像样本进行画质增强获得低质图像样本对应的增强高质图像，得到每个低质图像样本对应的增强高质图像；基于每个低质图像样本对应的高质图像样本和增强高质图像以及预设的第二损失函数，对预训练预测网络、基础转换网络和每个预训练增强网络进行联合训练，得到画质增强模型。
[0171]
本发明实施例还提供了一种电子设备，包括处理器和存储器，存储器存储有计算机程序，处理器执行计算机程序时，实现本发明实施例揭示的图像画质增强方法，和/或，画质增强模型训练方法。
[0172]
本发明实施例还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本发明实施例揭示的图像画质增强方法，和/或，画质增强模型训练方法。
[0173]
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0174]
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0175]
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存
储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0176]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种图像画质增强方法，其特征在于，所述图像画质增强方法包括：将待处理低质图像输入画质增强模型，所述画质增强模型包括预测网络、转换网络和多个增强网络，所述多个增强网络分别与多种业务类型匹配；利用所述预测网络对所述待处理低质图像进行退化估计得到目标退化向量，所述目标退化向量表示所述待处理低质图像的画质相较于每种业务类型的预设标准画质的退化程度；利用所述转换网络将所述目标退化向量转换为目标权重向量，所述目标权重向量表示所述待处理低质图像与每种业务类型的匹配概率；基于所述目标权重向量和全部增强网络合成与所述待处理低质图像匹配的目标联合增强网络；利用所述目标联合增强网络对所述待处理低质图像进行画质增强，得到所述待处理低质图像对应的高质图像。2.根据权利要求1所述的图像画质增强方法，其特征在于，所述利用所述转换网络将所述目标退化向量转换为目标权重向量的步骤，包括：利用所述转换网络对所述目标退化向量进行特征提取得到目标特征向量，并对所述目标特征向量进行维度变换获得每个所述增强网络对应的权重值，得到所述目标权重向量。3.根据权利要求1所述的图像画质增强方法，其特征在于，每个所述增强网络均包括相同数目个卷积层；所述基于所述目标权重向量和全部增强网络合成与所述待处理低质图像匹配的目标联合增强网络的步骤，包括：从所述目标权重向量中获取每个所述增强网络对应的权重值；基于每个所述增强网络中的第i个卷积层合成第i个联合卷积层，并基于每个所述增强网络对应的权重值及其第i个卷积层的参数值，计算第i个联合卷积层的参数值，得到包括多个联合卷积层的目标联合增强网络，i为正整数。4.根据权利要求1所述的图像画质增强方法，其特征在于，所述目标联合增强网络包括多个联合卷积层；所述利用所述目标联合增强网络对所述待处理低质图像进行画质增强，得到所述待处理低质图像对应的高质图像的步骤，包括：将所述待处理低质图像作为输入特征且将所述目标联合增强网络中的第一个联合卷积层作为目标联合卷积层；利用所述目标联合卷积层对所述输入特征进行卷积操作得到输出特征；将所述输出特征作为所述输入特征且将所述目标联合卷积层的后一个联合卷积层作为所述目标联合卷积层后，重新执行所述利用所述目标联合卷积层对所述输入特征进行卷积操作得到输出特征的步骤，直至所述目标联合卷积层为最后一个联合卷积层，得到所述待处理低质图像对应的高质图像。5.一种画质增强模型训练方法，其特征在于，所述画质增强模型训练方法包括：获取多种业务类型分别对应的图像样本集；基于全部图像样本集对基础预测网络进行训练，得到预训练预测网络；基于每种业务类型所对应的图像样本集，对每个基础增强网络进行训练，得到每种业
务类型所匹配的预训练增强网络；基于全部图像样本集对所述预训练预测网络、基础转换网络和每个所述预训练增强网络进行联合训练，获得画质增强模型；所述画质增强模型用于实现权利要求1至4中任一项所述的图像画质增强方法。6.根据权利要求5所述的画质增强模型训练方法，其特征在于，每个所述图像样本集均包括多个高质图像样本；所述基于全部图像样本集对基础预测网络进行训练，得到预训练预测网络的步骤，包括：对于每个所述高质图像样本，从每个预设的退化参数范围中随机获取每个退化参数的值得到初始退化向量，并基于所述初始退化向量对所述高质图像样本进行退化操作获得待定低质图像，得到每个待定低质图像；对每个所述初始退化向量进行归一化操作，得到每个待定低质图像对应的实际退化向量；利用所述基础预测网络对每个所述待定低质图像进行退化估计，得到每个所述待定低质图像对应的预测退化向量；基于每个所述待定低质图像对应的实际退化向量和预测退化向量以及预设的第一损失函数，对所述基础预测网络进行训练得到所述预训练预测网络。7.根据权利要求5所述的画质增强模型训练方法，其特征在于，每个所述图像样本集均包括多个高质图像样本及其对应低质图像样本；所述基于全部图像样本集对所述预训练预测网络、基础转换网络和每个所述预训练增强网络进行联合训练，获得所述画质增强模型的步骤，包括：对于每个所述低质图像样本，利用所述预训练预测网络对所述低质图像样本进行退化估计得到退化向量样本，所述退化向量样本表示所述低质图像样本的画质相较于每种业务类型的预设标准画质的退化程度；利用基础转换网络将所述退化向量样本转换为权重向量样本，所述权重向量样本表示所述低质图像样本与每种业务类型的匹配概率；基于所述权重向量样本和全部预训练增强网络合成与所述低质图像样本匹配的基础联合增强网络；利用所述基础联合增强网络对所述低质图像样本进行画质增强获得所述低质图像样本对应的增强高质图像，得到每个所述低质图像样本对应的增强高质图像；基于每个所述低质图像样本对应的高质图像样本和增强高质图像以及预设的第二损失函数，对所述预训练预测网络、所述基础转换网络和每个所述预训练增强网络进行联合训练，得到所述画质增强模型。8.一种图像画质增强装置，其特征在于，所述图像画质增强装置包括：输入模块，用于将待处理低质图像输入画质增强模型，所述画质增强模型包括预测网络、转换网络和多个增强网络，所述多个增强网络分别与多种业务类型匹配；预测模块，用于利用所述预测网络对所述待处理低质图像进行退化估计得到目标退化向量，所述目标退化向量表示所述待处理低质图像的画质相较于每种业务类型的预设标准画质的退化程度；
转换模块，用于利用所述转换网络将所述目标退化向量转换为目标权重向量，所述目标权重向量表示所述待处理低质图像与每种业务类型的匹配概率；增强模块，用于基于所述目标权重向量和全部增强网络合成与所述待处理低质图像匹配的目标联合增强网络；利用所述目标联合增强网络对所述待处理低质图像进行画质增强，得到所述待处理低质图像对应的高质图像。9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现权利要求1至4中任一项所述的图像画质增强方法，和/或，权利要求5至7中任一项所述的画质增强模型训练方法。10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现权利要求1至4中任一项所述的图像画质增强方法，和/或，权利要求5至7中任一项所述的画质增强模型训练方法。

技术总结
本发明涉及图像处理技术领域，提供一种图像画质增强方法、画质增强模型训练方法及相关装置。将待处理低质图像输入画质增强模型，画质增强模型包括预测网络、转换网络和多种业务类型分别匹配的多个增强网络；利用预测网络对待处理低质图像进行退化估计得到目标退化向量；并利用转换网络将目标退化向量转换为目标权重向量；基于目标权重向量和全部增强网络合成与待处理低质图像匹配的目标联合增强网络，且利用目标联合增强网络对待处理低质图像进行画质增强，得到待处理低质图像对应的高质图像。通过合成与提升低质图像画质需要的画质增强能力所匹配的联合增强网络来进行画质增强，可以针对性地改善低质图像的画质，提高了画质增强效果。增强效果。增强效果。


技术研发人员：周凡
受保护的技术使用者：广州虎牙科技有限公司
技术研发日：2023.05.17
技术公布日：2023/9/5