画质增强方法、装置、电子设备与流程

1.本技术实施例涉及图像处理技术领域，尤其涉及一种画质增强方法、装置、设备及存 储介质。


背景技术：

2.在视频采集的过程中，由于摄影设备的抖动、物体的快速移动等原因，使得采集的视 频画质无法满足要求。为了提升视频的显示效果或提升基于视频的任务分析的准确性，则 需要对视频进行画质增强处理。
3.由于云服务器的计算能力较强，目前视频的画质增强操作通常在编码端实现。例如， 云服务器在对待编码视频进行编码之前，先对视频进行画质增强，再对画质增强后的视频 进行编码。
4.但是，云服务器需要处理的任务较多，使用云服务器对视频进行画质增强时，会额外 增加云服务器的工作负担，过度消耗云服务器的计算资源，进而降低编码效率。


技术实现要素：

5.本技术提供一种画质增强方法、装置、设备及存储介质，以降低云服务器的工作负担， 提高编码效率。
6.第一方面，本技术提供一种画质增强方法，应用于云服务器，包括：
7.确定对应终端设备的画质增强信息；
8.若所述终端设备的画质增强信息指示满足预设的画质增强条件时，则跳过画质增强操 作，并对未进行画质增强的目标视频进行编码，得到第一码流；
9.若所述终端设备的画质增强信息指示不满足所述预设的画质增强条件时，则对所述目 标视频进行画质增强，并对画质增强后的所述目标视频进行编码，得到第二码流。
10.第二方面，本技术提供一种画质增强方法，应用于终端设备，包括：
11.对获取的码流进行解码，得到目标视频；
12.若所述终端设备的图像画质增强信息指示满足预设的画质增强条件时，则对解码后的 所述目标视频进行画质增强，得到画质增强后的所述目标视频；
13.若所述终端设备的图像画质增强信息指示不满足预设的画质增强条件时，则将解码后 的所述目标视频，作为画质增强后的所述目标视频。
14.第三方面，本技术提供一种画质增强装置，应用于云服务器，包括：
15.确定单元，用于确定对应终端设备的画质增强信息；
16.编码单元，用于若所述终端设备的画质增强信息指示满足预设的画质增强条件时，则 跳过画质增强操作，并对未进行画质增强的目标视频进行编码，得到第一码流；若所述终 端设备的画质增强信息指示不满足所述预设的画质增强条件时，则对所述目标视频进行画 质增强，并对画质增强后的所述目标视频进行编码，得到第二码流。
17.第四方面，本技术提供一种画质增强装置，应用于终端设备，包括：
18.解码单元，用于对获取的码流进行解码，得到目标视频；
19.处理单元，用于若所述终端设备的图像画质增强信息指示满足预设的画质增强条件 时，则对解码后的所述目标视频进行画质增强，得到画质增强后的所述目标视频；若所述 终端设备的图像画质增强信息指示不满足预设的画质增强条件时，则将解码后的所述目标 视频，作为画质增强后的所述目标视频。
20.第五方面，提供了一种电子设备，包括：处理器和存储器，该存储器用于存储计算机 程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行第一方面或第二方 面的方法。
21.第六方面，提供了一种计算机可读存储介质，用于存储计算机程序，该计算机程序使 得计算机执行第一方面或第二方面的方法。
22.第七方面，提供了一种芯片，用于实现上述第一方面至第二方面中任一方面或其各实 现方式中的方法。具体地，所述芯片包括：处理器，用于从存储器中调用并运行计算机程 序，使得安装有所述芯片的设备执行如上述第一方面至第二方面中任一方面或其各实现方 式中的方法。
23.第八方面，提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令 使得计算机执行上述第一方面至第二方面中任一方面或其各实现方式中的方法。
24.第九方面，提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述第 一方面至第二方面中任一方面或其各实现方式中的方法。
25.综上，在本技术中，云服务器通过确定对应终端设备的画质增强信息；若终端设备的 画质增强信息指示满足预设的画质增强条件时，则跳过画质增强操作，并对未进行画质增 强的目标视频进行编码，得到第一码流；若终端设备的画质增强信息指示不满足预设的画 质增强条件时，则对目标视频进行画质增强，并对画质增强后的目标视频进行编码，得到 第二码流。即本技术实施例，云服务器根据终端设备的画质增强信息判断画质增强操作是 由终端设备还是云服务器执行，可以充分利用解码端的计算能力，也可以节省编码端的计 算资源，进而提高编码效率。
附图说明
26.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的 附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本 领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的 附图。
27.图1为本技术实施例涉及的一种应用场景示意图；
28.图2是本技术实施例提供的视频编码器的示意性框图；
29.图3是本技术实施例提供的视频解码器的示意性框图；
30.图4a为一种任务分配示意图；
31.图4b为另一种任务分配示意图；
32.图4c为另一种任务分配示意图；
33.图4d为另一种任务分配示意图；
34.图5为本技术一实施例提供的画质增强方法的流程图；
35.图6为本技术一实施例提供的画质增强方法的流程图；
36.图7为本技术一实施例提供的画质增强方法的流程图；
37.图8为本技术一实施例提供的画质增强方法交互流程示意图
38.图9为本技术一实施例提供的画质增强装置的结构示意图；
39.图10为本技术一实施例提供的画质增强装置的结构示意图；
40.图11是本技术实施例提供的电子设备的示意性框图。
具体实施方式
41.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地 描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本 发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他 实施例，都属于本发明保护的范围。
42.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等 是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数 据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述 的那些以外的顺序实施。此外，术语“包括”和“具备”以及他们的任何变形，意图在于覆盖 不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必 限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、 产品或设备固有的其它步骤或单元。
43.图1为本技术实施例涉及的一种应用场景示意图，包括云服务器101和终端设备102。 其中，云服务器101可以理解为编码设备，终端设备102可以理解为解码设备。
44.其中，云服务器101用于对视频数据进行编码(可以理解成压缩)产生码流，并将码 流传输给终端设备102。
45.本技术实施例的云服务器101可以理解为具备视频编码功能的设备，终端设备102可 以理解为具备视频解码功能的设备，即本技术实施例对云服务器101和终端设备102包括 更广泛的装置，例如包含智能手机、台式计算机、移动计算装置、笔记本(例如，膝上型) 计算机、平板计算机、机顶盒、电视、相机、显示装置、数字媒体播放器、视频游戏控制 台、车载计算机等。
46.在一些实施例中，云服务器101可以经由信道103将编码后的视频数据(如码流)传 输给终端设备102。信道103可以包括能够将编码后的视频数据从云服务器101传输到终 端设备102的一个或多个媒体和/或装置。
47.在一个实例中，信道103包括使云服务器101能够实时地将编码后的视频数据直接发 射到终端设备102的一个或多个通信媒体。在此实例中，云服务器101可根据通信标准来 调制编码后的视频数据，且将调制后的视频数据发射到终端设备102。其中通信媒体包含 无线通信媒体，例如射频频谱，可选的，通信媒体还可以包含有线通信媒体，例如一根或 多根物理传输线。
48.在另一实例中，信道103包括存储介质，该存储介质可以存储云服务器101编码后的 视频数据。存储介质包含多种本地存取式数据存储介质，例如光盘、dvd、快闪存储器等。 在该实例中，终端设备102可从该存储介质中获取编码后的视频数据。
49.在另一实例中，信道103可包含存储服务器，该存储服务器可以存储云服务器101编 码后的视频数据。在此实例中，终端设备102可以从该存储服务器中下载存储的编码后的 视频数据。可选的，该存储服务器可以存储编码后的视频数据且可以将该编码后的视频数 据发射到终端设备102，例如web服务器(例如，用于网站)、文件传送协议(ftp)服务器等。
50.一些实施例中，云服务器101包含视频编码器及输出接口。其中，输出接口可以包含 调制器/解调器(调制解调器)和/或发射器。
51.在一些实施例中，云服务器101除了包括视频编码器和输入接口外，还可以包括视频 源。
52.视频源可包含视频采集装置(例如，视频相机)、视频存档、视频输入接口、计算机图 形系统中的至少一个，其中，视频输入接口用于从视频内容提供者处接收视频数据，计算 机图形系统用于产生视频数据。
53.视频编码器对来自视频源的视频数据进行编码，产生码流。视频数据可包括一个或多 个图像(picture)或图像序列(sequence of pictures)。码流以比特流的形式包含了图像或 图像序列的编码信息。编码信息可以包含编码图像数据及相关联数据。相关联数据可包含 序列参数集(sequence parameter set，简称sps)、图像参数集(picture parameter set，简称pps) 及其它语法结构。sps可含有应用于一个或多个序列的参数。pps可含有应用于一个或多 个图像的参数。语法结构是指码流中以指定次序排列的零个或多个语法元素的集合。
54.视频编码器经由输出接口将编码后的视频数据直接传输到终端设备102。编码后的视 频数据还可存储于存储介质或存储服务器上，以供终端设备102后续读取。
55.在一些实施例中，终端设备102包含输入接口和视频解码器。
56.在一些实施例中，终端设备102除包括输入接口和视频解码器外，还可以包括显示装 置。
57.其中，输入接口包含接收器及/或调制解调器。输入接口可通过信道接收编码后的视 频数据。
58.视频解码器用于对编码后的视频数据进行解码，得到解码后的视频数据，并将解码后 的视频数据传输至显示装置。
59.显示装置显示解码后的视频数据。显示装置可与终端设备整合或在终端设备外部。显 示装置可包括多种显示装置，例如液晶显示器(lcd)、等离子体显示器、有机发光二极管 (oled)显示器或其它类型的显示装置。
60.可选的，云服务器101可以是一台或多台。云服务器101是多台时，存在至少两台服 务器用于提供不同的服务，和/或，存在至少两台服务器用于提供相同的服务，比如以负 载均衡方式提供同一种服务，本技术实施例对此不加以限定。
61.可选的，上述云服务器101可以是独立的物理服务器，也可以是多个物理服务器构成 的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存 储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network， 内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。云服务器 101也可以成为区块链的节点。
62.在一些实施例中，上述云服务器101为拥有强大计算资源的云服务器，具备高度虚拟 化，高度分布式的特点。
63.在一些实施例中，本技术可应用于图像编解码领域、视频编解码领域、硬件视频编解 码领域、专用电路视频编解码领域、实时视频编解码领域等。例如，本技术的方案可结合 至音视频编码标准(audio video coding standard，简称avs)，例如，h.264/音视频编码 (audio video coding，简称avc)标准，h.265/高效视频编码(high efficiency video coding， 简称hevc)标准以及h.266/多功能视频编码(versatile video coding，简称vvc)标准。 或者，本技术的方案可结合至其它专属或行业标准而操作，所述标准包含itu-th.261、 iso/iecmpeg-1visual、itu-th.262或iso/iecmpeg-2visual、itu-th.263、 iso/iecmpeg-4visual，itu-th.264(还称为iso/iecmpeg-4avc)，包含可分级视频编解 码(svc)及多视图视频编解码(mvc)扩展。应理解，本技术的技术不限于任何特定编解码 标准或技术。
64.下面对本技术实施例涉及的视频编码框架进行介绍。
65.图2是本技术实施例提供的视频编码器的示意性框图。应理解，该视频编码器200可 用于对图像进行有损压缩(lossy compression)，也可用于对图像进行无损压缩(losslesscompression)。该无损压缩可以是视觉无损压缩(visually lossless compression)，也可以 是数学无损压缩(mathematically lossless compression)。
66.该视频编码器200可应用于亮度色度(ycbcr，yuv)格式的图像数据上。
67.例如，该视频编码器200读取视频数据，针对视频数据中的每帧图像，将一帧图像划 分成若干个编码树单元(coding tree unit，ctu)，在一些例子中，ctb可被称作“树型块”、
ꢀ“
最大编码单元”(largest coding unit，简称lcu)或“编码树型块”(coding tree block，简 称ctb)。每一个ctu可以与图像内的具备相等大小的像素块相关联。每一像素可对应一 个亮度(luminance或luma)采样及两个色度(chrominance或chroma)采样。因此，每一个ctu 可与一个亮度采样块及两个色度采样块相关联。一个ctu大小例如为128
×
128、64
×
64、 32
×
32等。一个ctu又可以继续被划分成若干个编码单元(coding unit，cu)进行编码， cu可以为矩形块也可以为方形块。cu可以进一步划分为预测单元(prediction unit，简 称pu)和变换单元(transform unit，简称tu)，进而使得编码、预测、变换分离，处理 的时候更灵活。在一种示例中，ctu以四叉树方式划分为cu，cu以四叉树方式划分为 tu、pu。
68.视频编码器及视频解码器可支持各种pu大小。假定特定cu的大小为2n
×
2n，视 频编码器及视频解码器可支持2n
×
2n或n
×
n的pu大小以用于帧内预测，且支持2n
ꢀ×
2n、2n
×
n、n
×
2n、n
×
n或类似大小的对称pu以用于帧间预测。视频编码器及视 频解码器还可支持2n
×
nu、2n
×
nd、nl
×
2n及nr
×
2n的不对称pu以用于帧间预测。
69.在一些实施例中，如图2所示，该视频编码器200可包括：预测单元210、残差单元 220、变换/量化单元230、反变换/量化单元240、重建单元250、环路滤波单元260、解码 图像缓存270和熵编码单元280。需要说明的是，视频编码器200可包含更多、更少或不 同的功能组件。
70.可选的，在本技术中，当前块(current block)可以称为当前编码单元(cu)或当前 预测单元(pu)等。预测块也可称为预测图像块或图像预测块，重建图像块也可称为重 建块或图像重建图像块。
71.在一些实施例中，预测单元210包括帧间预测单元211和帧内估计单元212。由于视 频的一个帧中的相邻像素之间存在很强的相关性，在视频编解码技术中使用帧内预测的方 法消除相邻像素之间的空间冗余。由于视频中的相邻帧之间存在着很强的相似性，在视频 编解码技术中使用帧间预测方法消除相邻帧之间的时间冗余，从而提高编码效率。
72.帧间预测单元211可用于帧间预测，帧间预测可以参考不同帧的图像信息，帧间预测 使用运动信息从参考帧中找到参考块，根据参考块生成预测块，用于消除时间冗余；帧间 预测所使用的帧可以为p帧和/或b帧，p帧指的是向前预测帧，b帧指的是双向预测帧。 运动信息包括参考帧所在的参考帧列表，参考帧索引，以及运动矢量。运动矢量可以是整 像素的或者是分像素的，如果运动矢量是分像素的，那么需要再参考帧中使用插值滤波做 出所需的分像素的块，这里把根据运动矢量找到的参考帧中的整像素或者分像素的块叫参 考块。有的技术会直接把参考块作为预测块，有的技术会在参考块的基础上再处理生成预 测块。在参考块的基础上再处理生成预测块也可以理解为把参考块作为预测块然后再在预 测块的基础上处理生成新的预测块。
73.目前最常用的帧间预测方法包括：vvc视频编解码标准中的几何划分模式(geometricpartitioning mode，gpm)，以及avs3视频编解码标准中的角度加权预测(angular weightedprediction，awp)。这两种帧内预测模式在原理上有共通之处。
74.帧内估计单元212只参考同一帧图像的信息，预测当前码图像块内的像素信息，用于 消除空间冗余。帧内预测所使用的帧可以为i帧。
75.hevc使用的帧内预测模式有平面模式(planar)、dc和33种角度模式，共35种预 测模式。vvc使用的帧内模式有planar、dc和65种角度模式，共67种预测模式。avs3 使用的帧内模式有dc、plane、bilinear和63种角度模式，共66种预测模式。
76.在一些实施例中，帧内估计单元212可以采用帧内块复制技术和帧内串复制技术实 现。
77.残差单元220可基于cu的像素块及cu的pu的预测块来产生cu的残差块。举例 来说，残差单元220可产生cu的残差块，使得残差块中的每一采样具备等于以下两者之 间的差的值：cu的像素块中的采样，及cu的pu的预测块中的对应采样。
78.变换/量化单元230可量化变换系数。变换/量化单元230可基于与cu相关联的量化 参数(qp)值来量化与cu的tu相关联的变换系数。视频编码器200可通过调整与cu相 关联的qp值来调整应用于与cu相关联的变换系数的量化程度。
79.反变换/量化单元240可分别将逆量化及逆变换应用于量化后的变换系数，以从量化 后的变换系数重建残差块。
80.重建单元250可将重建后的残差块的采样加到预测单元210产生的一个或多个预测块 的对应采样，以产生与tu相关联的重建图像块。通过此方式重建cu的每一个tu的采 样块，视频编码器200可重建cu的像素块。
81.环路滤波单元260可执行消块滤波操作以减少与cu相关联的像素块的块效应。
82.在一些实施例中，环路滤波单元260包括去块滤波单元和样点自适应补偿/自适应环 路滤波(sao/alf)单元，其中去块滤波单元用于去方块效应，sao/alf单元用于去除 振铃效应。
83.解码图像缓存270可存储重建后的像素块。帧间预测单元211可使用含有重建后的
像 素块的参考图像来对其它图像的pu执行帧间预测。另外，帧内估计单元212可使用解码 图像缓存270中的重建后的像素块来对在与cu相同的图像中的其它pu执行帧内预测。
84.熵编码单元280可接收来自变换/量化单元230的量化后的变换系数。熵编码单元280 可对量化后的变换系数执行一个或多个熵编码操作以产生熵编码后的数据。
85.图3是本技术实施例提供的视频解码器的示意性框图。
86.如图3所示，视频解码器300包含：熵解码单元310、预测单元320、反量化/变换单 元330、重建单元340、环路滤波单元350及解码图像缓存360。需要说明的是，视频解 码器300可包含更多、更少或不同的功能组件。
87.视频解码器300可接收码流。熵解码单元310可解析码流以从码流提取语法元素。作 为解析码流的一部分，熵解码单元310可解析码流中的经熵编码后的语法元素。预测单元 320、反量化/变换单元330、重建单元340及环路滤波单元350可根据从码流中提取的语 法元素来解码视频数据，即产生解码后的视频数据。
88.在一些实施例中，预测单元320包括帧内预测单元322和帧间预测单元321。
89.帧内预测单元322可执行帧内预测以产生pu的预测块。帧内预测单元322可使用帧 内预测模式以基于空间相邻pu的像素块来产生pu的预测块。帧内预测单元322还可根 据从码流解析的一个或多个语法元素来确定pu的帧内预测模式。
90.帧间预测单元321可根据从码流解析的语法元素来构造第一参考图像列表(列表0)及 第二参考图像列表(列表1)。此外，如果pu使用帧间预测编码，则熵解码单元310可解析 pu的运动信息。帧间预测单元321可根据pu的运动信息来确定pu的一个或多个参考块。 帧间预测单元321可根据pu的一个或多个参考块来产生pu的预测块。
91.反量化/变换单元330可逆量化(即，解量化)与tu相关联的变换系数。反量化/变换单 元330可使用与tu的cu相关联的qp值来确定量化程度。
92.在逆量化变换系数之后，反量化/变换单元330可将一个或多个逆变换应用于逆量化 变换系数，以便产生与tu相关联的残差块。
93.重建单元340使用与cu的tu相关联的残差块及cu的pu的预测块以重建cu的 像素块。例如，重建单元340可将残差块的采样加到预测块的对应采样以重建cu的像素 块，得到重建图像块。
94.环路滤波单元350可执行消块滤波操作以减少与cu相关联的像素块的块效应。
95.视频解码器300可将cu的重建图像存储于解码图像缓存360中。视频解码器300可 将解码图像缓存360中的重建图像作为参考图像用于后续预测，或者，将重建图像传输给 显示装置呈现。
96.视频编解码的基本流程如下：在编码端，将一帧图像划分成块，针对当前块，预测单 元210使用帧内预测或帧间预测产生当前块的预测块。残差单元220可基于预测块与当前 块的原始块计算残差块，即预测块和当前块的原始块的差值，该残差块也可称为残差信息。 该残差块经由变换/量化单元230变换与量化等过程，可以去除人眼不敏感的信息，以消 除视觉冗余。可选的，经过变换/量化单元230变换与量化之前的残差块可称为时域残差 块，经过变换/量化单元230变换与量化之后的时域残差块可称为频率残差块或频域残差 块。熵编码单元280接收到变化量化单元230输出的量化后的变化系数，可对该量化后的 变化系数进行熵编码，输出码流。例如，熵编码单元280可根据目标上下文模型以及二进 制码
流的概率信息消除字符冗余。
97.在解码端，熵解码单元310可解析码流得到当前块的预测信息、量化系数矩阵等，预 测单元320基于预测信息对当前块使用帧内预测或帧间预测产生当前块的预测块。反量化 /变换单元330使用从码流得到的量化系数矩阵，对量化系数矩阵进行反量化、反变换得 到残差块。重建单元340将预测块和残差块相加得到重建块。重建块组成重建图像，环路 滤波单元350基于图像或基于块对重建图像进行环路滤波，得到解码图像。编码端同样需 要和解码端类似的操作获得解码图像。该解码图像也可以称为重建图像，重建图像可以为 后续的帧作为帧间预测的参考帧。
98.需要说明的是，编码端确定的块划分信息，以及预测、变换、量化、熵编码、环路滤 波等模式信息或者参数信息等在必要时携带在码流中。解码端通过解析码流及根据已有信 息进行分析确定与编码端相同的块划分信息，预测、变换、量化、熵编码、环路滤波等模 式信息或者参数信息，从而保证编码端获得的解码图像和解码端获得的解码图像相同。
99.上述是基于块的混合编码框架下的视频编解码器的基本流程，随着技术的发展，该框 架或流程的一些模块或步骤可能会被优化，本技术适用于该基于块的混合编码框架下的视 频编解码器的基本流程，但不限于该框架及流程。
100.在一些实施例中，本技术实施例的方法可以应用于端云协同编码。端云协同编码指一 种云端和终端协同编码以压缩视频的方案。由于视频内容生产方(云端)和视频内容的消 费方(终端)的计算能力是存在差异的，因此可以两端协同完成一件相对复杂的视频压缩 任务，既可利用云端的资源和强大的计算能力(如编码能力)，减少网络传输的数据量， 也有效利用了终端的计算能力(如解码能力)。可用于云游戏等场景。
101.云服务器与终端设备通过端云协同协议进行数据交互，端云协同协议是指云端服务器 和终端设备进行数据交互的统一协议。
102.终端设备协同接口是指智能终端软硬件模块接口，通过该接口可以与智能终端有效交 互，配置视频编码、渲染参数，获取硬件实时运行性能。
103.解码性能指在特定的解码协议下，对给定的视频尺寸，支持的最高解码帧率和单帧解 码延时。视频尺寸定义如下：360p，576p，720p，1080p，2k，4k。视频帧率定义如下： 30fps，40fps，50fps，60fps，90fps，120fps。
104.终端设备的视频分辨率和视频帧率的定义见表1、表2。
105.表1终端设备的视频分辨率定义
[0106][0107]
[0108]
表2终端设备的视频分辨率和视频帧率的定义
[0109]
视频帧率枚举定义30fps0x140fps0x250fps0x460fps0x890fps0x10120fps0x20
[0110]
可选的，终端设备所支持的解码性能以三元组形式给出，第一个元素是视频分辨率 的枚举定义，第二个元素是视频帧率的枚举定义，第三个元素是视频分辨率和视频帧率下 的单帧解码延时，如设备a的h264解码，在720p@60fps下的单帧解码延时是10ms，则 表示为(4,8,10)。
[0111]
在一些实施例中，终端设备解码能力数据结构要求见表3。
[0112]
表3终端设备解码能力数据结构要求
[0113]
[0114][0115]
云服务器根据智能终端的解码能力，并结合游戏类型、用户网络情况，确定当前设备 最优的解码协议、解码分辨率、视频帧率等编解码配置，以及视频编码参考帧数量、svc 启用等编解码策略。
[0116]
在一些实施例中，本技术实施例的方法可以应用于视频渲染协同。根据终端设备的图 形处理能力，对视频渲染任务进行合理划分，使云服务器和终端设备能有效协同，以提升 视频画质。具体来说，视频渲染协同包括渲染区域协同、渲染任务协同、视频分析和处理 协同等。
[0117]
终端设备渲染能力包含三类：
①
不具备视频图像处理能力，
②
具备部分视频图像处理 能力，
③
具备完全视频图像处理能力。具体的枚举定义如表4所示。
[0118]
表4终端渲染能力定义
[0119][0120][0121]
终端设备具备部分视频图像处理能力或具备完全视频图像处理能力时，终端设备
的 视频处理算法类型如表5所示。
[0122]
表5视频处理算法类型定义
[0123]
视频处理算法类型枚举定义未定义0视频锐化增强1视频hdr增强2视频图像模式3视频复杂度分析1001视频前景背景分析1002
[0124]
在一些实施例中，本技术可以应用于任意画质增强技术领域，例如，在智能任务分析 领域，基于画质增强后的视频进行任务分析时，可以提高任务分析的准确性。
[0125]
在一些实施例中，本发明实施例可应用于各种场景，包括但不限于云技术(例如云游 戏)、人工智能、智慧交通、辅助驾驶等。
[0126]
若本技术实施例应用于云游戏时，云服务器可以根据游戏类型确定需要启用的渲染功 能集合，再通过终端设备上报的设备类型、渲染能力，确定当前设备最优的渲染协同模式。 具体渲染协同策略包括：渲染区域协同、渲染任务协同、视频分析协同。本技术实施例主 要涉及渲染任务协同。
[0127]
渲染任务协同是面向特定的视频增强任务，此类任务可划分为不同的独立的子任务， 每个子任务对应于不同的视频图像增强算法。如图4a所示视频增强任务a由3个独立的 子任务级联而成。
[0128]
渲染任务协同会根据终端的计算能力，让一部分视频图像增强任务在云服务器完成， 另一部分视频图像增强任务在智能终端完成。云服务器完成的视频增强任务是在视频编码 前完成(视频前处理)，智能终端完成的视频增强任务是在视频解码后完成(视频后处理)。
[0129]
(1)对于不具备视频图像处理能力的智能终端设备，视频图像增强在云服务器完成， 流程见图4b。
[0130]
(2)对于具备部分视频图像处理能力的智能终端设备，视频图像增强可实现部分任 务在云服务器完成，部分任务在智能终端完成，流程见图4c。
[0131]
(3)对于具备完全视频图像处理能力的智能终端设备，视频图像增强可完全放在智 能终端完成，流程见图4d。
[0132]
视频渲染协同优化数据结构要求见表6。
[0133]
表6终端设备渲染能力数据结构要求
[0134]
[0135]
[0136][0137]
云服务器根据智能终端的渲染能力，并结合游戏类型，确定当前设备最优的渲染协同 模式，返回智能终端所需的完成的渲染算法、渲染区域、图像识别任务。
[0138]
下面通过一些实施例对本技术实施例的技术方案进行详细说明。下面这几个实施例可 以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
[0139]
首先以编码端为例进行说明。
[0140]
图5为本技术一实施例提供的画质增强方法的流程图，该方法可以应用于图1所示的 云服务器101或应用于图2所示的编码器或应用于图4b至图4d所示的云服务器。
[0141]
本技术实施例的云服务器可以理解为编码器，终端设备可以理解为解码器。
[0142]
如图5所示，本技术实施例的包括如下步骤：
[0143]
s401、确定对应终端设备的画质增强信息。
[0144]
本技术实施例为了降低云服务器的工作负担，在检测到终端设备具备足够的画质增强 能力时，则使用终端设备执行相应的画质增强操作。具体是，云服务器在对待编码的目标 视频进行处理之前，首先确定对应终端设备的画质增强信息，根据终端设备的画质增强信 息确定终端设备的画质增强能力。若终端设备具备足够的画质增强能力时，则确定画质增 强操作由终端设备实现，此时，云服务器不对目标视频进行画质增强操作，而是直接对目 标视频进行编码，得到码流。在该情况下，终端设备得到码流后，对码流进行解码，得到 目标视频，对目标视频进行画质增强操作，得到画质增强后的目标视频。
[0145]
若终端设备的画质增强能力不够时，则确定画质操作由云服务器实现，此时，云服务 器在对目标视频进行编码之前，首先对目标视频进行画质增强，并对画质增强后的目标视 频进行编码，得到第二码流。在该情况下，终端设备得到第二码流后，对第二码流进行解 码，得到目标视频，解码后的目标视频为云服务器画质增强后的视频，此时，终端设备对 目标视频不进行画质增强操作，而是将该解码后的目标视频确定为画质增强后的目标视 频。
[0146]
本技术实施例的画质增强包括锐化等操作，若云服务器实现画质增强还可以包括码率 重新分配。
[0147]
本技术实施例的终端设备的画质增强信息包括终端设备是否具备画质增强功能，以及 终端设备在具备画质增强功能时对应的画质增强计算能力。
[0148]
在一些实施例中，本技术实施例的画质增强计算能力包括终端设备对视频进行画质增 强操作时所消耗的时间、终端设备对视频进行画质增强操作后得到的增强效果等中的至少 一个。
[0149]
本技术实施例对云服务器获取终端设备的画质增强信息的方式不做限制。
[0150]
在一种可能的实现方式中，云服务器在对目标视频进行编码之前，向终端设备发送第 一请求信息，该第一请求信息用于请求终端设备的画质增强信息。终端设备在接收到云服 务器发送的第一请求信息时，将自身的画质增强信息发送给云服务器。
[0151]
在另一种可能的实现方式中，云服务器在对目标视频进行编码之前，首先向终端设备 发送一段测试视频，以获取终端设备的画质增强信息。即上述s401包括如下步骤：
[0152]
s401-a1、获取第一测试码流，并向所述终端设备发送第一请求，该第一请求用于请 求所述终端设备的画质增强能力，该第一请求包括第一测试码流；
[0153]
s401-a2、接收终端设备发送的第一信息，第一信息用于指示终端设备是否具备画质 增强功能，以及用于指示终端设备在具备画质增强功能时对应的画质增强计算能力；
[0154]
s401-a3、根据第一信息，得到终端设备的画质增强信息。
[0155]
本技术实施例，云服务器在对目标视频进行编码之前，首先获取第一测试码流，并将 该第一测试码流发送给终端设备。终端设备接收到该第一测试码流后，对该第一测试码流 进行解码，得到第一测试视频。若终端设备具备画质增强功能时，则终端设备对该第一测 试视频进行画质增强，同时，终端设备确定终端设备对第一测试视频进行画质增强时，终 端设备对应的画质增强计算能力，例如统计终端设备对第一测试视频进行画质增强所消耗 的时间、和/或确定终端设备对第一测试视频进行画质增强后得到的图像的增强效果，即 将增强后的图像与增强前的图像进行比较，得到增强效果。
[0156]
接着，终端设备向云服务器发送第一信息，该第一信息用于指示终端设备是否具备画 质增强功能，以及用于指示终端设备在具备所述画质增强功能时对应的画质增强计算能 力。
[0157]
在一些实施例中，第一信息包括第一标志，该第一标志用于指示终端设备是否具备画 质增强功能。也就是说，终端设备可以通过对第一标志置不同的值来指示终端设备是否具 备画质增强功能。例如，若终端设备不具备画质增强功能时，则将第一标志的值置为第一 数值，若终端设备具备画质增强功能时，则将第一标志的值置为第二数值。
[0158]
本技术实施例中，若终端设备具备画质增强功能时，第一信息除了包括第一标志外， 还包括终端设备对应的画质增强计算能力。
[0159]
本技术实施例对上述第一数值和第二数值的具体取值不做限制。例如，第一数值为0， 第二数值为1。
[0160]
云服务器得到终端设备发送的第一信息后，对该第一信息进行解析，得到终端设备的 画质增强信息，例如，解析第一信息，得到第一标志，若该第一标志的取值为第一数值时， 指示终端设备不具备画质增强功能。若第一标志的取值为第二数值时，指示终端设备具备 画质增强功能，此时，云服务器继续对第一信息进行解析，得到终端设备的画质增强计算 能力。
[0161]
在一些实施例中，终端设备的画质增强计算能力包括终端设备对第一测试视频进行画 质增强时所消耗的第一时间。
[0162]
在一些实施例中，上述第一时间包括：终端设备对第一测试视频中各图像的整张图像 进行画质增强时所消耗的时间。
[0163]
在一些实施例中，上述第一时间包括：终端设备对第一测试视频中各图像的部分图像 区域进行画质增强时所消耗的时间，例如终端设备对第一测试视频中的感兴趣区域进行画 质增强时所消耗的时间。
[0164]
在一些实施例中，第一时间包括：终端设备对第一测试视频进行画质增强时的单帧平 均时长、单帧最大时长和方差中的至少一个。其中方差是指对终端设备对第一测试视频中 的所有图像分别进行画质增强时所花费的时长的方差。
[0165]
在一些实施例中，上述s401包括如下s401-b的步骤：
[0166]
s401-b，若目标视频属于预设类型视频时，则获取终端设备的画质增强信息。
[0167]
也就是说，本技术实施例并不是对所有的场景均执行本技术实施例的方法，而是对预 设的特定应用场景执行本技术实施例的方法。即云服务器获得目标视频后，判断目标视频 的类型，若目标视频属于预设类型视频时，则获取终端设备的画质增强信息，且执行本申 请实施例的方法。
[0168]
本技术实施例对预设类型视频不做限制，例如可以为云游戏类型视频，或车联网类型 视频等。
[0169]
云服务器根据上述方式，得到终端设备的画质增强信息后，执行如下s402和s403的 步骤。
[0170]
s402、若终端设备的画质增强信息指示满足预设的画质增强条件时，则跳过画质增强 操作，并对未进行画质增强的目标视频进行编码，得到第一码流；
[0171]
s403、若终端设备的画质增强信息指示不满足预设的画质增强条件时，则对目标视频 进行画质增强，并对画质增强后的目标视频进行编码，得到第二码流。
[0172]
云服务器根据上述步骤，获得终端设备的画质增强信息，判断终端设备的画质增强信 息是否满足预设的画质增强条件，若终端设备的画质增强信息指示满足预设的画质增强条 件时，则说明终端设备的画质增强能力足够。此时，云服务器不对目标视频进行画质增强， 即云服务器跳过画质增强操作，并对未进行画质增强的目标视频进行编码，得到第一码流。
[0173]
若终端设备的画质增强信息指示不满足预设的画质增强条件时，则说明终端设备的画 质增强能力不够。此时，云服务器对目标视频进行画质增强，并对画质增强后的目标视频 进行编码，得到第二码流。
[0174]
由上述可知，本技术实施例的终端设备的画质增强信息包括终端设备是否具备画质增 强功能，以及终端设备在具备画质增强功能时对应的画质增强计算能力。对应的，预设的 画质增强条件包括预设的画质增强计算能力，此时，云服务器判断终端设备的画质增强信 息是否满足预设的画质增强条件包括如下步骤：
[0175]
步骤11，若终端设备具备画质增强功能，且终端设备对应的画质增强计算能力满足 预设的画质增强计算能力时，则确定终端设备的画质增强信息满足画质增强条件；
[0176]
步骤12，若终端设备不具备画质增强功能，或者终端设备具备画质增强功能、且终 端设备的画质增强计算能力不满足预设的画质增强计算能力时，则确定终端设备的画质增 强信息不满足画质增强条件。
[0177]
具体的，云服务器将终端设备的画质增强信息与预设的画质增强条件进行比较，首先 确定终端设备是否具备画质增强能力。若终端设备不具备画质增强能力时，则确定终端设 备的画质增强信息不满足画质增强条件，此时，云服务器执行上述s403的步骤，对目标 视频进行画质增强，并对画质增强后的目标视频进行编码，得到第二码流。
[0178]
若终端设备具备画质增强能力时，则判断终端设备对应的画质增强计算能力是否满足 预设的画质增强计算能力。若终端设备对应的画质增强计算能力满足预设的画质增强计算 能力时，则确定终端设备的画质增强信息满足画质增强条件，此时，云服务器执行上述 s402的步骤，跳过画质增强操作，并对未进行画质增强的目标视频进行编码，得到第一 码流。若终端设备对应的画质增强计算能力不满足预设的画质增强计算能力时，则确定
终 端设备的画质增强信息不满足画质增强条件，此时，云服务器执行上述s403的步骤，对 目标视频进行画质增强，并对画质增强后的目标视频进行编码，得到第二码流。
[0179]
在一些实施例中，若上述终端设备的画质增强计算能力包括终端设备对第一测试视频 进行画质增强时所消耗的第一时间，对应的，预设的画质增强计算能力包括预设的画质增 强消耗时间。此时，上述步骤11包括如下步骤11-a，上述步骤12中的若终端设备具备 画质增强功能、且终端设备的画质增强计算能力不满足预设的画质增强计算能力时，则确 定终端设备的画质增强信息不满足画质增强条的包括如下步骤12-a：
[0180]
步骤11-a、若终端设备具备画质增强功能，且第一时间小于或等于预设的画质增强 时间时，则确定终端设备的画质增强信息满足预设的画质增强条件。
[0181]
步骤12-a、若终端设备具备画质增强功能、且第一时间大于预设的画质增强时间时， 则确定终端设备的画质增强信息不满足预设的画质增强条件。
[0182]
针对不同的应用场景，预设的画质增强时间对应的限制也有所不同，如云游戏等严格 要求低延迟的场景，对计算能力的要求会更高(如上限为1ms)。
[0183]
本技术实施例的画质增强方法的应用场景包括但不限于如下两种场景：
[0184]
场景1，本技术实施例对目标视频的整张图像进行画质增强操作。也就是说对目标视 频中每一帧图像的整张图像进行画质增强处理。
[0185]
场景2，本技术实施例对目标视频的感兴趣区域进行画质增强操作。也就是说对目标 视频中每一帧图像的部分图像区域进行画质增强处理。
[0186]
感兴趣区域(roi)：是从图像中选择的一个图像区域，这个区域是图像分析所关注的 重点。在视频编码中，感兴趣区域也可以被看作是人眼重点关注的区域。
[0187]
在场景2中，若需要对目标视频的感兴趣区域进行画质增强操作时，则云服务器不仅 需要获得终端设备的画质增强信息，还需要获得终端设备的感兴趣区域检测信息此时，上 述s402包括如下步骤：
[0188]
s402-a1，若终端设备的画质增强信息满足预设的画质增强条件，则获取终端设备的 感兴趣区域检测信息。
[0189]
本技术实施例中，若终端设备的画质增强信息满足预设的画质增强条件，则判断终端 设备是否具备足够的感兴趣区域检测能力，具体是，获取终端设备的感兴趣区域检测信息， 根据终端设备的感兴趣区域检测信息确定终端设备是否具备足够的感兴趣区域检测能力。 若终端设备具备足够的感兴趣区域检测能力，则确定由终端设备执行感兴趣区域检测操 作，即终端设备对解码后的目标视频进行感兴趣区域检测，得到目标视频的感兴趣区域， 并对感兴趣区域进行画质增强，得到画质增强后的目标视频。
[0190]
在一些实施例中，若终端设备不具备足够的感兴趣区域检测能力，则确定由云服务器 执行感兴趣区域检测操作。
[0191]
本技术实施例中，终端设备的感兴趣区域检测信息包括终端设备是否具备感兴趣区域 检测功能，以及终端设备在具备感兴趣区域检测功能时对应的感兴趣区域检测能力。
[0192]
本技术实施例对云服务器获取终端设备的感兴趣区域检测信息的方式不做限制。
[0193]
在一种可能的实现方式中，云服务器在对目标视频编码之前，或者云服务器在确定终 端设备的画质增强信息满足预设的画质增强条件时，向终端设备发送第二请求信息，该第 二请求信息用于请求终端设备感兴趣区域检测信息。终端设备在接收到云服务器发
送的第 二请求信息时，将自身的感兴趣区域检测信息发送给云服务器。
[0194]
在另一种可能的实现方式中，上述s402-a1中获取终端设备的感兴趣区域检测信息包 括如下步骤：
[0195]
s402-a11、获取第二测试码流，并向终端设备发送第二请求，该第二请求用于请求所 述终端设备的感兴趣区域检测能力，该第二请求包括第二测试码流；
[0196]
s402-a12、接收终端设备发送的第二信息，第二信息用于指示终端设备是否具备感兴 趣区域检测功能，以及用于指示终端设备在具备感兴趣区域检测功能时对应的感兴趣区域 检测计算能力；
[0197]
s402-a13、根据第二信息，得到终端设备的感兴趣区域检测信息。
[0198]
本技术实施例，云服务器在对目标视频进行编码之前，首先获取第二测试码流，并将 该第二测试码流发送给终端设备。终端设备接收到该第二测试码流后，对该第二测试码流 进行解码，得到第二测试视频。若终端设备具备感兴趣区域检测功能时，则终端设备对该 第二测试视频进行感兴趣区域检测，同时，终端设备确定终端设备对第二测试视频进行感 兴趣区域检测时，终端设备对应的感兴趣区域检测计算能力，例如统计终端设备对第二测 试视频进行感兴趣区域检测所消耗的时间、和/或确定终端设备对第二测试视频进行感兴 趣区域检测时的准确度，即将检测得到的感兴趣区域与感兴趣区域真值进行比较，得到感 兴趣区域的检测准确度。
[0199]
本技术实施例对感兴趣区域的检测方法不做限制，例如，感兴趣区域检测包括计算图 像各个区域的能量(如方差)，以区分高频区域(不敏感区域)和低频区域(感兴趣区域) 等方法。
[0200]
接着，终端设备向云服务器发送第二信息，该第二信息用于指示终端设备是否具备感 兴趣区域检测功能，以及用于指示终端设备在具备感兴趣区域检测功能时对应的感兴趣区 域检测计算能力。
[0201]
在一些实施例中，第二信息包括第二标志，该第二标志用于指示终端设备是否具备感 兴趣区域检测功能。也就是说，终端设备可以通过对第二标志置不同的值来指示终端设备 是否具备感兴趣区域检测功能。例如，若终端设备不具备感兴趣区域检测功能时，则将第 二标志的值置为第一数值，若终端设备具备感兴趣区域检测功能时，则将第二标志的值置 为第二数值。
[0202]
本技术实施例中，若终端设备具备感兴趣区域检测功能时，第二信息除了包括第二标 志外，还包括终端设备对应的感兴趣区域检测计算能力。
[0203]
本技术实施例对上述第一数值和第二数值的具体取值不做限制。例如，第一数值为0， 第二数值为1。
[0204]
云服务器得到终端设备发送的第二信息后，对该第二信息进行解析，得到终端设备的 感兴趣区域检测信息，例如，解析第二信息，得到第二标志，若该第二标志的取值为第一 数值时，指示终端设备不具备感兴趣区域检测功能。若第二标志的取值为第二数值时，指 示终端设备具备感兴趣区域检测功能，此时，云服务器继续对第二信息进行解析，得到终 端设备的感兴趣区域检测计算能力。
[0205]
在一些实施例中，终端设备的感兴趣区域检测计算能力包括终端设备对第二测试视频 进行感兴趣区域检测时所消耗的第二时间。
[0206]
在一些实施例中，第二时间包括：终端设备对第二测试视频进行感兴趣区域检测时的 单帧平均时长、单帧最大时长和方差中的至少一个。其中方差是指对终端设备对第二测试 视频中的所有图像分别进行感兴趣区域检测时所花费的时长的方差。
[0207]
根据上述步骤，获得终端设备的感兴趣区域检测信息后，执行如下s402-a2的步骤。
[0208]
s402-a2，若终端设备的感兴趣区域检测信息满足预设的感兴趣区域检测条件时，则 跳过画质增强操作和感兴趣区域检测操作，并对未进行画质增强和感兴趣区域检测的目标 视频进行编码，得到第一码流。
[0209]
云服务器根据上述步骤，获得终端设备的感兴趣区域检测信息，判断终端设备的感兴 趣区域检测信息是否满足预设的感兴趣区域检测条件，若终端设备的感兴趣区域检测信息 满足预设的感兴趣区域检测条件时，则说明终端设备的感兴趣区域检测能力足够。此时， 云服务器不对目标视频进行感兴趣区域检测，即云服务器跳过感兴趣区域检测操作，并对 未进行感兴趣区域检测和画质增强的目标视频进行编码，得到第一码流。
[0210]
若终端设备的感兴趣区域检测信息不满足预设的感兴趣区域检测条件时，则说明终端 设备的感兴趣区域检测能力不够。此时，云服务器对目标视频进行感兴趣区域检测。
[0211]
在一些实施例中，若感兴趣区域检测条件包括预设的感兴趣区域检测计算能力，此时， 云服务器判断终端设备的感兴趣区域检测信息是否满足预设的感兴趣区域检测条件包括 如下步骤：
[0212]
步骤21，若终端设备具备感兴趣区域检测功能，且终端设备对应的感兴趣区域检测 计算能力满足预设的感兴趣区域检测计算能力时，则确定终端设备的感兴趣区域检测信息 满足感兴趣区域检测条件；
[0213]
步骤22，若终端设备不具备感兴趣区域检测功能，或者终端设备具备感兴趣区域检 测功能、且终端设备的感兴趣区域检测计算能力不满足预设的感兴趣区域检测计算能力 时，则确定终端设备的感兴趣区域检测信息不满足感兴趣区域检测条件。
[0214]
具体的，云服务器将终端设备的感兴趣区域检测信息与预设的感兴趣区域检测条件进 行比较，首先确定终端设备是否具备感兴趣区域检测能力。若终端设备不具备感兴趣区域 检测能力时，则确定终端设备的感兴趣区域检测信息不满足感兴趣区域检测条件，此时， 则由云服务器实现感兴趣区域检测操作。
[0215]
若终端设备具备感兴趣区域检测能力时，则判断终端设备对应的感兴趣区域检测计算 能力是否满足预设的感兴趣区域检测计算能力。若终端设备对应的感兴趣区域检测计算能 力满足预设的感兴趣区域检测计算能力时，则确定终端设备的感兴趣区域检测信息满足预 设的感兴趣区域检测条件，此时，云服务器跳过感兴趣区域检测操作和画质增强操作，并 对未进行感兴趣区域检测和画质增强的目标视频进行编码，得到第一码流。若终端设备对 应的感兴趣区域检测计算能力不满足预设的感兴趣区域检测计算能力时，则确定终端设备 的感兴趣区域检测信息不满足感兴趣区域检测条件，此时，云服务器执行感兴趣区域检测 操作。
[0216]
在一些实施例中，若上述终端设备的感兴趣区域检测计算能力包括终端设备对第二测 试视频进行感兴趣区域检测时所消耗的第二时间，对应的，预设的感兴趣区域检测计算能 力包括预设的感兴趣区域检测消耗时间。此时，上述步骤21包括如下步骤21-a，步骤
22 包括如下步骤22-a：
[0217]
步骤21-a，若终端设备具备感兴趣区域检测功能，且第二时间小于或等于预设的感 兴趣区域检测时间时，则确定终端设备的感兴趣区域检测信息满足感兴趣区域检测条件。
[0218]
步骤22-a，若终端设备具备感兴趣区域检测功能、且第二时间大于预设的感兴趣区 域检测时间时，则确定终端设备的感兴趣区域检测信息不满足感兴趣区域检测条件。
[0219]
针对不同的应用场景，预设的感兴趣区域检测时间对应的限制也有所不同，如云游戏 等严格要求低延迟的场景，对计算能力的要求会更高(如上限为1ms)。
[0220]
在一些实施例中，本技术实施例的方法还包括：
[0221]
s402-a3，若终端设备的感兴趣区域检测信息不满足感兴趣区域检测条件时，则检测 终端设备是否具备接收外部输入的图像区域信息的功能；
[0222]
s402-a4，若终端设备具备接收外部输入的图像区域信息的功能时，则对目标视频进 行感兴趣区域检测，得到目标视频的感兴趣区域信息，并将感兴趣区域信息发送给终端设 备，且跳过画质增强操作，对未进行画质增强的目标视频进行编码，得到第一码流；
[0223]
s402-a5，若终端设备不具备接收外部输入的图像区域信息的功能时，则对目标视频 进行感兴趣区域检测，得到目标视频的感兴趣区域，并对感兴趣区域进行画质增强，对画 质增强后的目标视频进行编码，得到第二码流。
[0224]
本技术实施例对云服务器检测终端设备是否具备接收外部输入的图像区域信息的功 能的方式不做限制。例如，云服务器向终端设备发送一测试区域信息，若发送成功，则确 定终端设备具备接收外部输入的图像区域信息的功能，若发送失败，则确定终端设备不具 备接收外部输入的图像区域信息的功能。
[0225]
若终端设备具备接收外部输入的图像区域信息的功能时，则说明终端设备可以接收感 兴趣区域信息，进而可以对感兴趣区域进行画质增强。具体的，若终端设备具备接收外部 输入的图像区域信息的功能时，则云服务器对目标视频进行感兴趣区域检测，得到目标视 频的感兴趣区域信息，并将感兴趣区域信息发送给终端设备。同时，在编码前，云服务器 跳过画质增强操作，对未进行画质增强的目标视频进行编码，得到第一码流。终端设备接 收到第一码流后，对第一码流进行解码，得到目标视频。可选的，云服务器可以将上述感 兴趣区域信息编入第一码流，这样终端设备解码第一码流，可以得到感兴趣区域信息。接 着，终端设备根据感兴趣区域信息确定目标视频的感兴趣区域，并对感兴趣区域进行画质 增强，得到画质增强后的目标视频。
[0226]
在一些实施例中，若终端设备不具备接收外部输入的图像区域信息的功能时，则说明 终端设备不可以接收感兴趣区域信息，无法对感兴趣区域进行画质增强。此时，本技术实 施例的方法至少包括如下两种可能的实现方式：
[0227]
在一种可能的实现方式中，云服务器对目标视频进行感兴趣区域检测，得到目标视频 的感兴趣区域，并对感兴趣区域进行画质增强，对画质增强后的目标视频进行编码，得到 第二码流。
[0228]
在另一种可能的实现方式中，云服务器跳过画质增强操作和感兴趣区域检测操作，并 对未进行画质增强和感兴趣区域检测的目标视频进行编码，得到第一码流。终端设备对第 一码流进行解码，得到目标视频，并对目标视频的整帧图像进行画质增强，得到画
质增强 后的目标视频。
[0229]
在一些实施例中，上述第一测试码流和第二测试码流可以为同一个测试码流，即检测 终端设备的画质增强计算能力和感兴趣区域检测计算能力也可以合并成一个检测模块。例 如，在进行正式编码前实时向终端设备传入一小段视频码流。终端设备对解码后得到的视 频帧做感兴趣区域检测并输出，再对感兴趣区域进行画质增强，分别统计感兴趣区域检测 和画质增强的时间消耗。终端设备将统计的感兴趣区域检测和画质增强的时间消耗发送给 云服务器，云服务器判断是终端设备的感兴趣区域检测和画质增强的时间消耗是否分别符 合对应的预设条件。若都不符合对应的预设条件或仅感兴趣区域检测计算能力符合预设条 件，则采用和终端设备不支持画质增强能力时相同的策略，即由云服务器在视频编码之前 完成感兴趣区域的检测和画质增强。若终端设备仅画质增强能力符合预设条件，则云服务 器完成感兴趣区域检测，再将区域信息传送给终端设备。终端设备对感兴趣区域进行画质 增强。若两者均符合对应的预设条件，则终端设备完成感兴趣区域检测和画质增强。
[0230]
本技术实施例提供的画质增强方法，云服务器通过确定对应终端设备的画质增强信 息；若终端设备的画质增强信息指示满足预设的画质增强条件时，则跳过画质增强操作， 并对未进行画质增强的目标视频进行编码，得到第一码流；若终端设备的画质增强信息指 示不满足预设的画质增强条件时，则对目标视频进行画质增强，并对画质增强后的目标视 频进行编码，得到第二码流。即本技术实施例，云服务器根据终端设备的画质增强信息判 断画质增强操作是由终端设备还是云服务器执行，还是云服务器与终端设备协同执行，可 以充分利用解码端的计算能力，也可以节省编码端的计算资源，进而提高编码效率。
[0231]
上文对编码端的画质增强方法进行介绍，下面对解码端的画质增强方法进行介绍。
[0232]
图6为本技术一实施例提供的画质增强方法的流程图，本技术实施例的执行主体可以 为图1所示的终端设备102，也可以是图3所示的解码器，或者为图4b至图4d所示的终 端设备。
[0233]
如图6所示，本技术实施例提供的方法包括：
[0234]
s501、对获取的码流进行解码，得到目标视频。
[0235]
s502、若终端设备的图像画质增强信息指示满足预设的画质增强条件时，则对解码后 的目标视频进行画质增强，得到画质增强后的目标视频；
[0236]
s503、若终端设备的图像画质增强信息指示不满足预设的画质增强条件时，则将解码 后的目标视频，作为画质增强后的目标视频。
[0237]
本技术实施例中，终端设备判断自身的图像画质增强信息是否满足预设的画质增强条 件的方法至少包括如下方式：
[0238]
方式一，云服务器向终端设备发送指示信息，通过该指示信息指示终端设备的图像画 质增强信息是否满足预设的画质增强条件。即云服务器根据上述实施例确定出终端设备的 画质增强能力后，将终端设备的画质增强能力发送给终端设备。
[0239]
方式二，终端设备将自身的图像画质增强信息与预设的画质增强条件进行比较，确定 终端设备的图像画质增强信息是否满足预设的画质增强条件。
[0240]
在一些实施例中，终端设备的画质增强信息包括终端设备是否具备画质增强功
能，以 及终端设备在具备画质增强功能时对应的画质增强计算能力。
[0241]
在一些实施例中，本技术实施例的方法还包括：
[0242]
步骤11，接收云服务器发送的第一请求，所述第一请求用于请求所述终端设备的画 质增强能力，所述第一请求包括第一测试码流；
[0243]
步骤12，对第一测试码流进行解码，得到第一测试视频；
[0244]
步骤13，在确定终端设备具备画质增强功能时，统计对第一测试视频进行画质增强 时所消耗的时间；
[0245]
步骤14，向云服务器发送第一信息，第一信息用于指示终端设备是否具备画质增强 功能，以及用于指示终端设备在具备画质增强功能时对应的画质增强计算能力。
[0246]
在一些实施例中，画质增强条件包括预设的画质增强计算能力，则本技术实施例的方 法还包括：
[0247]
步骤a，若终端设备具备画质增强功能，且终端设备对应的画质增强计算能力满足预 设的画质增强计算能力时，则确定终端设备的画质增强信息满足画质增强条件；
[0248]
步骤b，若终端设备不具备画质增强功能，或者终端设备具备画质增强功能、且终端 设备的画质增强计算能力不满足预设的画质增强计算能力时，则确定终端设备的画质增强 信息不满足画质增强条件。
[0249]
在一些实施例中，若终端设备的画质增强计算能力包括终端设备对第一测试视频进行 画质增强时所消耗的第一时间，对应的，预设的画质增强计算能力包括预设的画质增强消 耗时间；
[0250]
此时，上述步骤a包括步骤a1：若终端设备具备画质增强功能，且第一时间小于或 等于预设的画质增强时间时，则确定终端设备的画质增强信息满足画质增强条件。
[0251]
上述步骤b包括步骤b1：若终端设备具备画质增强功能、且第一时间大于预设的画 质增强时间时，则确定终端设备的画质增强信息不满足画质增强条件。
[0252]
在一些实施例中，第一时间包括：终端设备对第一测试视频中各图像的整张图像进行 画质增强时所消耗的时间，或者，终端设备对第一测试视频中各图像的部分图像区域进行 画质增强时所消耗的时间。
[0253]
在一些实施例中，第一时间包括：终端设备对第一测试视频进行画质增强时的单帧平 均时长、单帧最大时长和方差中的至少一个。
[0254]
在一些实施例中，若本技术实施例应用于对目标视频的感兴趣区域进行画质增强的应 用场景中时，则上述s502包括如下几种情况：
[0255]
情况1，若终端设备的画质增强信息满足预设的画质增强条件，且终端设备的感兴趣 区域检测信息满足预设的感兴趣区域检测条件时，则对解码后的目标视频进行感兴趣区域 检测，得到目标视频的感兴趣区域，并对感兴趣区域进行画质增强，得到画质增强后的目 标视频。
[0256]
情况2，若终端设备的画质增强信息满足预设的画质增强条件，终端设备的感兴趣区 域检测信息不满足感兴趣区域检测条件，且终端设备具备接收外部输入的图像区域信息的 功能时，则接收云服务器发送的目标视频的感兴趣区域信息，并根据感兴趣区域信息，对 目标视频的感兴趣区域进行画质增强，得到增强后的目标视频。
[0257]
在一些实施例中，则上述s502包括如下第三种情况：
[0258]
情况3，若终端设备的画质增强信息满足预设的画质增强条件，终端设备的感兴趣区 域检测信息不满足感兴趣区域检测条件，且终端设备具备不接收外部输入的图像区域信息 的功能时，对目标视频的整张图像进行画质增强，得到增强后的目标视频。
[0259]
在一些实施例中，终端设备的感兴趣区域检测信息包括终端设备是否具备感兴趣区域 检测功能，以及终端设备在具备感兴趣区域检测功能时对应的感兴趣区域检测能力。
[0260]
在一些实施例中，本技术实施例的方法还包括如下步骤：
[0261]
步骤21，接收所述云服务器发送的第二请求，所述第二请求用于请求所述终端设备 的感兴趣区域检测能力，所述第二请求包括第二测试码；
[0262]
步骤22，对第二测试码流进行解码，得到第二测试视频；
[0263]
步骤23，在确定终端设备具备感兴趣区域检测功能时，统计对第二测试视频进行感 兴区域检测时所消耗的第二时间；
[0264]
步骤24，向云服务器发送的第二信息，第二信息用于指示终端设备是否具备感兴趣 区域检测功能，以及用于指示终端设备在具备感兴趣区域检测功能时对应的感兴趣区域检 测计算能力。
[0265]
在一些实施例中，若感兴趣区域检测条件包括预设的感兴趣区域检测计算能力，则上 述判断终端设备的感兴趣区域检测信息是否满足预设的感兴趣区域检测条件包括如下步 骤：
[0266]
步骤31，若终端设备具备感兴趣区域检测功能，且终端设备对应的感兴趣区域检测 计算能力满足预设的感兴趣区域检测计算能力时，则确定终端设备的感兴趣区域检测信息 满足感兴趣区域检测条件；
[0267]
步骤32，若终端设备不具备感兴趣区域检测功能，或者终端设备具备感兴趣区域检 测功能、且终端设备的感兴趣区域检测计算能力不满足预设的感兴趣区域检测计算能力 时，则确定终端设备的感兴趣区域检测信息不满足感兴趣区域检测条件。
[0268]
在一些实施例中，若终端设备的感兴趣区域检测计算能力包括终端设备对第二测试视 频进行感兴趣区域检测时所消耗的第二时间，对应的预设的感兴趣区域检测计算能力包括 预设的感兴趣区域检测消耗时间；则上述步骤31包括如下步骤31-a，上述步骤32包括 如下步骤32-a：
[0269]
步骤31-a，若终端设备具备感兴趣区域检测功能，且第二时间小于或等于预设的感 兴趣区域检测时间时，则确定终端设备的感兴趣区域检测信息满足感兴趣区域检测条件。
[0270]
步骤32-a，若终端设备具备感兴趣区域检测功能、且第二时间大于预设的感兴趣区 域检测时间时，则确定终端设备的感兴趣区域检测信息不满足感兴趣区域检测条件。
[0271]
在一些实施例中，第二时间包括：终端设备对第二测试视频进行感兴趣区域检测时的 单帧平均时长、单帧最大时长和方差中的至少一个。
[0272]
本技术实施例提供的画质增强方法，终端设备通过对获取的码流进行解码，得到目标 视频；若终端设备的图像画质增强信息指示满足预设的画质增强条件时，则对解码后的目 标视频进行画质增强，得到画质增强后的目标视频；若终端设备的图像画质增强信息指示 不满足预设的画质增强条件时，则将解码后的目标视频，作为画质增强后的目标视频。即 本技术实施例，根据终端设备的画质增强信息判断画质增强操作是由终端设备还是
云服务 器执行，还是云服务器与终端设备协同执行，可以充分利用解码端的计算能力，也可以节 省编码端的计算资源，进而提高编码效率。
[0273]
图7为本技术一实施例提供的画质增强方法的流程图，图7为本技术的一种具体实施 例，包括：
[0274]
s601，云服务器确定对应终端设备的画质增强信息。
[0275]
其中，终端设备的画质增强信息包括终端设备是否具备画质增强功能，以及终端设备 在具备画质增强功能时对应的画质增强计算能力；
[0276]
s602，云服务器判断终端设备是否具备画质增强功能。
[0277]
若终端设备具备画质增强功能，则执行s602，若终端设备不具备画质增强功能，则 执行s609。
[0278]
s603，云服务器判断终端设备对应的画质增强计算能力是否满足预设的画质增强计算 能力。
[0279]
若终端设备对应的画质增强计算能力满足预设的画质增强计算能力，则执行s604， 若终端设备对应的画质增强计算能力是否满足预设的画质增强计算能力，则执行s609。
[0280]
s604，云服务器获取终端设备的感兴趣区域检测信息。
[0281]
其中，终端设备的感兴趣区域检测信息包括终端设备是否具备感兴趣区域检测功能， 以及终端设备在具备感兴趣区域检测功能时对应的感兴趣区域检测能力。
[0282]
s605、云服务器判断终端设备是否具备感兴趣区域检测功能。
[0283]
若终端设备具备感兴趣区域检测功能，则执行s606，若终端设备不具备感兴趣区域 检测功能，则执行s608。
[0284]
s606，云服务器判断终端设备对应的感兴趣区域检测计算能力是否满足预设的感兴趣 区域检测计算能力。
[0285]
若终端设备对应的感兴趣区域检测计算能力满足预设的感兴趣区域检测计算能力，则 执行s607，若终端设备对应的感兴趣区域检测计算能力是否满足预设的感兴趣区域检测 计算能力，则执行s608。
[0286]
s607，终端设备进行感兴趣区域检测操作和画质增强操作。
[0287]
s608，云服务器进行感兴趣区域检测操作，终端设备执行画质增强操作。
[0288]
s609，云服务器进行感兴趣区域检测操作和画质增强操作。
[0289]
本技术实施例提供的画质增强方法，云服务器通过获取终端设备的画质增强信息和感 兴趣区域检测信息，根据终端设备的画质增强信息和感兴趣区域检测信息，判断画质增强 操作和感兴趣区域检测操作是由终端设备还由云服务器执行还是由终端设备执行，还是云 服务器与终端设备协同执行，可以充分利用解码端的计算能力，也可以节省编码端的计算 资源，进而提高编码效率。
[0290]
上文分别对解码端和编码端的画质增强方法进行介绍，下面以解码器为终端设备，编 码器为云服务器为例，对终端设备与云服务器之间的画质增强交互方法进行介绍。
[0291]
图8为本技术一实施例提供的画质增强方法交互流程示意图，如图8所示，包括：
[0292]
s801、云服务器通过客户端向终端设备发送渲染能力请求。
[0293]
该渲染能力请求用于请求终端设备的渲染能力，本技术实施例的渲染能力包括终
端设 备的画质增强能力和/或感兴趣区域检测能力。
[0294]
具体的，云服务器通过start客户端向终端设备发起渲染能力请求。
[0295]
可选的，渲染能力请求协议字段包括如下至少一个：协议版本号、视频帧率、渲染算 法类型查询。
[0296]
示例性的，视频渲染能力请求的代码见表7所示：
[0297]
表7视频渲染能力请求
[0298][0299][0300]
本技术实施例中的渲染能力请求可以理解为上述第一请求和/或第二请求，该渲染能 能力请求还包括第一测试码流和/或第二测试码流。其中，第一测试码流用于请求终端设 备的画质增强能力，第二测试码流用于请求终端设备的感兴趣区域检测能力。
[0301]
可选的，第一测试码流与第二测试码流为同一个码流。也就是说，终端设备接收到第 一测试码流后对该第一测试码流进行解码，得到第一测试视频。若终端设备具有画质增强 功能而没有感兴趣区域检测功能时，终端设备对该第一测试视频的整个图像区域进行画质 增强。若终端设备具有画质增强功能和感兴趣区域检测功能时，则终端设备对第一测试视 频进行感兴趣区域检测，并对感兴趣区域进行画质增强。
[0302]
在一种可能的实现方式中，云服务器可以先向终端设备发送第一测试码流，在确定终 端设备具体画质增强功能，且画质增强能力满足条件时，再向终端设备发送第二测试码流， 以获取终端设备的感兴趣区域检测能力。
[0303]
s802、终端设备通过客户端向云服务器返回响应信息。
[0304]
情况1，第一测试码流与第二测试码流为同一个码流。
[0305]
在情况1中，终端设备通过客户端接收到云服务器发送的请求，若终端设备具备画质 增强功能时，则对请求中的第一测试码流进行解码，得到第一测试视频。若终端设备具备 感兴趣检测功能时，则终端设备对第一测试视频进行感兴趣区域检测，并对检测的感兴趣 区域进行画质增强，并将画质增强和感兴趣区域检测所花费的时间等信息发送给云服务 器。
[0306]
在情况1中，终端设备通过客户端接收到云服务器发送的请求，若终端设备具备画质 增强功能时，则对请求中的第一测试码流进行解码，得到第一测试视频。若终端设备不具 备感兴趣检测功能时，则终端设备对第一测试视频的整个图像区域进行画质增强，并将画 质增强所花费的时间等信息发送给云服务器。
[0307]
在情况1中，终端设备通过客户端接收到云服务器发送的请求，若终端设备不具备画 质增强功能时，则终端设备向云服务器发送的响应信息中包括指示终端设备不具备画质增 强功能的信息。
[0308]
情况2，第一测试码流与第二测试码流为不同码流。
[0309]
在情况2中，终端设备通过客户端接收到云服务器发送的请求，若终端设备具备画质 增强功能时，则对请求中的第一测试码流进行解码，得到第一测试视频。终端设备对第一 测试视频的整个图像区域进行画质增强，并经画质增强所消耗的时间信息，以及终端设备 是否具备感兴趣区域检测功能等信息发送给云服务器。
[0310]
云服务器接收到终端设备发送的画质增强所消耗的时间信息，以及终端设备是否具备 感兴趣区域检测功能等信息后，若判断终端设备的画质增强能力满足要求，且终端设备具 备感兴趣区域检测功能时，云服务器通过客户端向终端设备发送第二测试码流，以确定终 端设备的感兴趣区域检测能力。具体是，若终端设备具有感兴趣区域检测功能时，终端设 备对第二测试码流进行解码，得到第二测试视频，并对第二测试视频进行感兴趣区域检测， 将感兴趣区域检测所花费的时间等信息通过客户端发送给云服务器。
[0311]
由上述可知，终端设备在接收到云服务器发送的能力信息获取请求时，返回状态标记 (成功0，失败为具体错误码)、支持的协议版本号、终端设备能力信息(数值定义见表 5)。
[0312]
本技术实施例中，渲染任务包括两个分别为画质渲染任务和感兴趣检测任务，可选的， 可以用render1和render2表示。
[0313]
示例性的，终端设备返回的响应信息包括如下几种示例：
[0314]
示例1，终端设备支持全部请求的渲染算法能力时，视频渲染能力响应信息的代码如 表8所示：
[0315]
表8视频渲染能力响应
[0316]
[0317][0318]
本技术实施例中，若终端设备即支持画质增强任务，又支持感兴趣检测任务时，终端 设备的响应信息格式可以表8所示。
[0319]
示例2，终端设备只支持部分请求的渲染算法能力，视频渲染能力响应信息的代码如 表9所示：
[0320]
表9
[0321][0322]
本技术实施例中，若终端设备只具备画质增强能力，不具备感兴趣区域检测能力，或 者，只具备感兴趣检测能力，不具备画质增强能力时，终端设备的响应信息格式可以如表 9所示。
[0323]
示例3，若终端设备不支持渲染能力，视频渲染能力响应信息的代码如表10所示：
[0324]
表10
[0325]
[0326][0327]
示例4，终端设备能力信息请求失败，视频渲染能力响应信息的代码如表11所示：
[0328]
表11
[0329][0330]
需要说明的是，上述表7至表11为终端设备的响应信息中的一种示例，本技术实施 例中，终端设备返回的响应信息的格式包括但不限于表7至表11所示。
[0331]
s803、云服务器确定最优渲染配置。
[0332]
s804、云服务器通过客户端向终端设备发送最优渲染配置。
[0333]
本技术实施例中，云服务器收到终端渲染能力信息以后，确定当前终端设备最优的渲 染协同配置，把协同任务发送到终端设备。
[0334]
在一些实施例中，本技术实施例中，协同任务的代码如表12所示：
[0335]
表12，视频渲染任务下发
[0336]
检测功能时，统计对所述第二测试视频进行感兴区域检测时所消耗的第二时间；向所述云 服务器发送的第二信息，所述第二信息用于指示所述终端设备是否具备感兴趣区域检测功 能，以及用于指示所述终端设备在具备所述感兴趣区域检测功能时对应的感兴趣区域检测 计算能力。
[0375]
在一些实施例中，所述感兴趣区域检测条件包括预设的感兴趣区域检测计算能力，处 理单元22，还用于若所述终端设备具备所述感兴趣区域检测功能，且所述终端设备对应 的所述感兴趣区域检测计算能力满足所述预设的感兴趣区域检测计算能力时，则确定所述 终端设备的感兴趣区域检测信息满足所述感兴趣区域检测条件；若所述终端设备不具备所 述感兴趣区域检测功能，或者所述终端设备具备所述感兴趣区域检测功能、且所述终端设 备的感兴趣区域检测计算能力不满足所述预设的感兴趣区域检测计算能力时，则确定所述 终端设备的感兴趣区域检测信息不满足所述感兴趣区域检测条件。
[0376]
在一些实施例中，若所述终端设备的感兴趣区域检测计算能力包括所述终端设备对所 述第二测试视频进行感兴趣区域检测时所消耗的第二时间，所述预设的感兴趣区域检测计 算能力包括预设的感兴趣区域检测消耗时间；
[0377]
处理单元22，具体用于若所述终端设备具备所述感兴趣区域检测功能，且所述第二 时间小于或等于所述预设的感兴趣区域检测时间时，则确定所述终端设备的感兴趣区域检 测信息满足所述感兴趣区域检测条件；若所述终端设备具备所述感兴趣区域检测功能、且 所述第二时间大于所述预设的感兴趣区域检测时间时，则确定所述终端设备的感兴趣区域 检测信息不满足所述感兴趣区域检测条件。
[0378]
在一些实施例中，所述第二时间包括：所述终端设备对所述第二测试视频进行感兴趣 区域检测时的单帧平均时长、单帧最大时长和方差中的至少一个。
[0379]
应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施 例。为避免重复，此处不再赘述。具体地，图10所示的装置20可以执行上述方法实施例， 并且装置10中的各个模块的前述和其它操作和/或功能分别为了实现上述图5所示的方法 实施例，为了简洁，在此不再赘述。
[0380]
上文中结合附图从功能模块的角度描述了本技术实施例的装置。应理解，该功能模块 可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组 合实现。具体地，本技术实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成 逻辑电路和/或软件形式的指令完成，结合本技术实施例公开的方法的步骤可以直接体现 为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选 地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可 编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取 存储器中的信息，结合其硬件完成上述方法实施例中的步骤。
[0381]
图11是本技术实施例提供的电子设备的示意性框图，该电子设备可以为上述的云服 务器和/或终端设备。
[0382]
如图11所示，该电子设备40可包括：
[0383]
存储器41和存储器42，该存储器41用于存储计算机程序，并将该程序代码传输给 该存储器42。换言之，该存储器42可以从存储器41中调用并运行计算机程序，以实现 本技术实施例中的方法。
[0384]
例如，该存储器42可用于根据该计算机程序中的指令执行上述方法实施例。
[0385]
在本技术的一些实施例中，该存储器42可以包括但不限于：
[0386]
通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路 (application specific integrated circuit，asic)、现场可编程门阵列(field programmablegate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组 件等等。
[0387]
在本技术的一些实施例中，该存储器41包括但不限于：
[0388]
易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器 (read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可 擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器 (electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(randomaccess memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形 式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储 器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、 双倍数据速率同步动态随机存取存储器(double data rate sdram，ddr sdram)、增 强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取 存储器(synch link dram，sldram)和直接内存总线随机存取存储器(direct rambusram，dr ram)。
[0389]
在本技术的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者 多个模块被存储在该存储器41中，并由该存储器42执行，以完成本技术提供的方法。该 一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述 该计算机程序在该视频制作设备中的执行过程。
[0390]
如图11所示，该电子设备40还可包括：
[0391]
收发器40，该收发器43可连接至该存储器42或存储器41。
[0392]
其中，存储器42可以控制该收发器43与其他设备进行通信，具体地，可以向其他设 备发送信息或数据，或接收其他设备发送的信息或数据。收发器43可以包括发射机和接 收机。收发器43还可以进一步包括天线，天线的数量可以为一个或多个。
[0393]
应当理解，该视频制作设备中的各个组件通过总线系统相连，其中，总线系统除包括 数据总线之外，还包括电源总线、控制总线和状态信号总线。
[0394]
本技术还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算 机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本技术实施例还提供一 种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的 方法。
[0395]
当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序 产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部 分地产生按照本技术实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、 计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或 者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可 以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用 户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个 网
站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能 够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存 储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视 频光盘(digital video disc，dvd))、或者半导体介质(例如固态硬盘(solid state disk， ssd))等。
[0396]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及 算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以 硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可 以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本 申请的范围。
[0397]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通 过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划 分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件 可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示 或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接 耦合或通信连接，可以是电性，机械或其它的形式。
[0398]
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件 可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元 上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如， 在本技术各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独 物理存在，也可以两个或两个以上模块集成在一个模块中。
[0399]
以上内容，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟 悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖 在本技术的保护范围之内。因此，本技术的保护范围应以该权利要求的保护范围为准。

技术特征：
1.一种画质增强方法，其特征在于，应用于云服务器，包括：确定对应终端设备的画质增强信息；若所述终端设备的画质增强信息指示满足预设的画质增强条件时，则云服务器跳过画质增强操作，并对未进行画质增强的目标视频进行编码，得到第一码流；若所述终端设备的画质增强信息指示不满足所述预设的画质增强条件时，则对所述目标视频进行画质增强，并对画质增强后的所述目标视频进行编码，得到第二码流。2.根据权利要求1所述的方法，其特征在于，所述终端设备的画质增强信息包括所述终端设备是否具备画质增强功能，以及所述终端设备在具备所述画质增强功能时对应的画质增强计算能力。3.根据权利要求2所述的方法，其特征在于，所述确定对应终端设备的画质增强信息，包括：获取第一测试码流，并向所述终端设备发送第一请求，所述第一请求用于请求所述终端设备的画质增强能力，所述第一请求包括所述第一测试码流；接收所述终端设备发送的第一信息，所述第一信息用于指示所述终端设备是否具备所述画质增强功能，以及用于指示所述终端设备在具备所述画质增强功能时对应的画质增强计算能力；根据所述第一信息，得到所述终端设备的画质增强信息。4.根据权利要求3所述的方法，其特征在于，所述画质增强条件包括预设的画质增强计算能力，所述方法还包括：若所述终端设备具备所述画质增强功能，且所述终端设备对应的所述画质增强计算能力满足所述预设的画质增强计算能力时，则确定所述终端设备的画质增强信息满足所述画质增强条件；若所述终端设备不具备所述画质增强功能，或者所述终端设备具备所述画质增强功能、且所述终端设备的画质增强计算能力不满足所述预设的画质增强计算能力时，则确定所述终端设备的画质增强信息不满足所述画质增强条件。5.根据权利要求4所述的方法，其特征在于，若所述终端设备的画质增强计算能力包括所述终端设备对第一测试视频进行画质增强时所消耗的第一时间，所述预设的画质增强计算能力包括预设的画质增强消耗时间，所述第一测试视频为所述终端设备对所述第一测试码流解码后得到的视频；所述若所述终端设备具备所述画质增强功能，且所述终端设备对应的所述画质增强计算能力满足所述预设的画质增强计算能力时，则确定所述终端设备的画质增强信息满足所述画质增强条件，包括：若所述终端设备具备所述画质增强功能，且所述第一时间小于或等于所述预设的画质增强时间时，则确定所述终端设备的画质增强信息满足所述画质增强条件；若所述终端设备具备所述画质增强功能、且所述终端设备的画质增强计算能力不满足所述预设的画质增强计算能力时，则确定所述终端设备的画质增强信息不满足所述画质增强条件，包括：若所述终端设备具备所述画质增强功能、且所述第一时间大于预设的画质增强时间时，则确定所述终端设备的画质增强信息不满足所述画质增强条件。
6.根据权利要求5所述的方法，其特征在于，所述第一时间包括：所述终端设备对所述第一测试视频中各图像的整张图像进行画质增强时所消耗的时间，或者，所述终端设备对所述第一测试视频中各图像的部分图像区域进行画质增强时所消耗的时间。7.根据权利要求6所述的方法，其特征在于，所述第一时间包括：所述终端设备对所述第一测试视频进行画质增强时的单帧平均时长、单帧最大时长和方差中的至少一个。8.根据权利要求1-7任一项所述的方法，其特征在于，若所述终端设备的画质增强信息满足预设的画质增强条件，则云服务器跳过画质增强操作，并对未进行画质增强的目标视频进行编码，得到码流，包括：若所述终端设备的画质增强信息满足所述预设的画质增强条件，则获取所述终端设备的感兴趣区域检测信息；若所述终端设备的感兴趣区域检测信息满足预设的感兴趣区域检测条件时，则跳过所述画质增强操作和感兴趣区域检测操作，并对未进行画质增强和感兴趣区域检测的所述目标视频进行编码，得到所述第一码流。9.根据权利要求8所述的方法，其特征在于，所述方法还包括：若所述终端设备的感兴趣区域检测信息不满足所述感兴趣区域检测条件时，则检测所述终端设备是否具备接收外部输入的图像区域信息的功能；若所述终端设备具备接收外部输入的图像区域信息的功能时，则对所述目标视频进行感兴趣区域检测，得到所述目标视频的感兴趣区域信息，并将所述感兴趣区域信息发送给所述终端设备，且跳过所述画质增强操作，对未进行画质增强的目标视频进行编码，得到所述第一码流；若所述终端设备不具备接收外部输入的图像区域信息的功能时，则对所述目标视频进行感兴趣区域检测，得到所述目标视频的感兴趣区域，并对所述感兴趣区域进行画质增强，对画质增强后的所述目标视频进行编码，得到所述第二码流。10.根据权利要求8所述的方法，其特征在于，所述终端设备的感兴趣区域检测信息包括所述终端设备是否具备感兴趣区域检测功能，以及所述终端设备在具备感兴趣区域检测功能时对应的感兴趣区域检测能力。11.根据权利要求10所述的方法，其特征在于，所述获取所述终端设备的感兴趣区域检测信息，包括：获取第二测试码流，并向所述终端设备发送第二请求，所述第二请求用于请求所述终端设备的感兴趣区域检测能力，所述第二请求包括所述第二测试码流；接收所述终端设备发送的第二信息，所述第二信息用于指示所述终端设备是否具备感兴趣区域检测功能，以及用于指示所述终端设备在具备所述感兴趣区域检测功能时对应的感兴趣区域检测计算能力；根据所述第二信息，得到所述终端设备的感兴趣区域检测信息。12.根据权利要求11所述的方法，其特征在于，所述感兴趣区域检测条件包括预设的感兴趣区域检测计算能力，所述方法还包括：若所述终端设备具备所述感兴趣区域检测功能，且所述终端设备对应的所述感兴趣区域检测计算能力满足所述预设的感兴趣区域检测计算能力时，则确定所述终端设备的感兴趣区域检测信息满足所述感兴趣区域检测条件；
若所述终端设备不具备所述感兴趣区域检测功能，或者所述终端设备具备所述感兴趣区域检测功能、且所述终端设备的感兴趣区域检测计算能力不满足所述预设的感兴趣区域检测计算能力时，则确定所述终端设备的感兴趣区域检测信息不满足所述感兴趣区域检测条件。13.根据权利要求12所述的方法，其特征在于，若所述终端设备的感兴趣区域检测计算能力包括所述终端设备对第二测试视频进行感兴趣区域检测时所消耗的第二时间，所述预设的感兴趣区域检测计算能力包括预设的感兴趣区域检测消耗时间，所述第二测试视频为所述终端设备对所述第二测试码流解码后得到的视频；所述若所述终端设备具备所述感兴趣区域检测功能，且所述终端设备对应的所述感兴趣区域检测计算能力满足所述预设的感兴趣区域检测计算能力时，则确定所述终端设备的感兴趣区域检测信息满足所述预设的感兴趣区域检测条件，包括：若所述终端设备具备所述感兴趣区域检测功能，且所述第二时间小于或等于所述预设的感兴趣区域检测时间时，则确定所述终端设备的感兴趣区域检测信息满足所述感兴趣区域检测条件；若所述终端设备具备所述感兴趣区域检测功能、且所述终端设备的感兴趣区域检测计算能力不满足所述预设的感兴趣区域检测计算能力时，则确定所述终端设备的感兴趣区域检测信息不满足所述感兴趣区域检测条件，包括：若所述终端设备具备所述感兴趣区域检测功能、且所述第二时间大于所述预设的感兴趣区域检测时间时，则确定所述终端设备的感兴趣区域检测信息不满足所述感兴趣区域检测条件。14.根据权利要求13所述的方法，其特征在于，所述第二时间包括：所述终端设备对所述第二测试视频进行感兴趣区域检测时的单帧平均时长、单帧最大时长和方差中的至少一个。15.一种画质增强方法，其特征在于，应用于终端设备，包括：对获取的码流进行解码，得到目标视频；若所述终端设备的图像画质增强信息指示满足预设的画质增强条件时，则对解码后的所述目标视频进行画质增强，得到画质增强后的所述目标视频；若所述终端设备的图像画质增强信息指示不满足预设的画质增强条件时，则将解码后的所述目标视频，作为画质增强后的所述目标视频。16.根据权利要求15所述的方法，其特征在于，所述方法还包括：接收云服务器发送的第一请求，所述第一请求用于请求所述终端设备的画质增强能力，所述第一请求包括第一测试码流；对所述第一测试码流进行解码，得到第一测试视频；在确定所述终端设备具备所述画质增强功能时，统计对所述第一测试视频进行画质增强时所消耗的时间；向所述云服务器发送第一信息，所述第一信息用于指示所述终端设备是否具备所述画质增强功能，以及用于指示所述终端设备在具备所述画质增强功能时对应的画质增强计算能力。17.根据权利要求15所述的方法，其特征在于，所述若所述终端设备的图像画质增强信
息满足预设的画质增强条件时，则对解码后的所述目标视频进行画质增强，得到画质增强后的所述目标视频，包括：若所述终端设备的画质增强信息满足所述预设的画质增强条件，且所述终端设备的感兴趣区域检测信息满足预设的感兴趣区域检测条件时，则对解码后的所述目标视频进行感兴趣区域检测，得到所述目标视频的感兴趣区域，并对所述感兴趣区域进行画质增强，得到画质增强后的所述目标视频；若所述终端设备的画质增强信息满足所述预设的画质增强条件，所述终端设备的感兴趣区域检测信息不满足所述感兴趣区域检测条件，且所述终端设备具备接收外部输入的图像区域信息的功能时，则接收云服务器发送的所述目标视频的感兴趣区域信息，并根据所述感兴趣区域信息，对所述目标视频的感兴趣区域进行画质增强，得到增强后的所述目标视频。18.根据权利要求17所述的方法，其特征在于，若所述终端设备的画质增强信息满足所述预设的画质增强条件，所述终端设备的感兴趣区域检测信息不满足所述感兴趣区域检测条件，且所述终端设备具备不接收外部输入的图像区域信息的功能时，所述方法还包括：对所述目标视频的整张图像进行画质增强，得到增强后的所述目标视频。19.根据权利要求17所述的方法，其特征在于，所述方法还包括：接收所述云服务器发送的第二请求，所述第二请求用于请求所述终端设备的感兴趣区域检测能力，所述第二请求包括第二测试码流；对所述第二测试码流进行解码，得到第二测试视频；在确定所述终端设备具备感兴趣区域检测功能时，统计对所述第二测试视频进行感兴区域检测时所消耗的第二时间；向所述云服务器发送的第二信息，所述第二信息用于指示所述终端设备是否具备感兴趣区域检测功能，以及用于指示所述终端设备在具备所述感兴趣区域检测功能时对应的感兴趣区域检测计算能力。20.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求1至14或15至19中任一项所述的方法。

技术总结
本申请提供了一种画质增强方法、装置、设备及存储介质，可以应用于云技术、人工智能、智慧交通、辅助驾驶、视频等各种场景，该方法包括：云服务器确定对应终端设备的画质增强信息，若终端设备的画质增强信息指示满足预设的画质增强条件时，则云服务器跳过画质增强操作，并对未进行画质增强的目标视频进行编码，得到第一码流；若终端设备的画质增强信息指示不满足预设的画质增强条件时，则云服务器对目标视频进行完整的画质增强操作，并对画质增强后的目标视频进行编码，得到第二码流。即本申请，云服务器根据终端设备的画质增强信息判断画质增强操作是由终端设备还是云服务器执行，可以充分利用解码端的计算能力，也可以节省编码端的计算资源，进而提高编码效率。进而提高编码效率。进而提高编码效率。


技术研发人员：陈思佳 曹洪彬 曹健 黄永铖 张佳 杨小祥
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2022.01.27
技术公布日：2023/8/8