时域滤波方法、装置、电子设备及计算机存储介质与流程
未命名
07-23
阅读:72
评论:0
1.本技术实施例涉及计算机技术领域,尤其涉及一种时域滤波方法、装置、电子设备及计算机存储介质。
背景技术:
2.在对图像帧进行编码之前,通常会通过双边滤波器对原始图像帧进行时域层面的滤波处理,这样可以有效地进行视频降噪,提升后续编码的效率。
3.相关时域滤波方案中,为方便操作,通常对于视频流中的各图像帧均采用同一预设的滤波强度进行时域滤波。后续编码结果表明:对采用该种滤波方案得到的滤波后图像帧进行视频编码,率失真性能较差。
技术实现要素:
4.有鉴于此,本技术实施例提供一种时域滤波方案,以至少部分解决上述问题。
5.根据本技术实施例的第一方面,提供了一种时域滤波方法,包括:
6.确定图像组中的待滤波图像帧;
7.提取所述待滤波图像帧的相对运动特征;所述相对运动特征表征所述待滤波图像帧内的图像内容与图像组中其余图像帧图像内容的相对运动复杂程度;
8.确定与所述相对运动特征对应的目标滤波强度,并采用所述目标滤波强度对所述待滤波图像帧进行时域滤波。
9.根据本技术实施例的第二方面,提供了一种编码方法,包括:
10.获取待编码的图像组;
11.确定图像组中的待滤波图像帧;
12.提取所述待滤波图像帧的相对运动特征;所述相对运动特征表征所述待滤波图像帧内的图像内容与图像组中其余图像帧图像内容的相对运动复杂程度;
13.确定与所述相对运动特征对应的目标滤波强度,并采用所述目标滤波强度对所述待滤波图像帧进行时域滤波;
14.对时域滤波操作得到的图像组编码,得到视频比特流。
15.根据本技术实施例的第三方面,提供了一种编码方法,包括:
16.获取待编码的视频数据;
17.确定编码过程所采用的图像组的尺寸,并确定所述图像组中的待滤波视频帧;
18.提取所述待滤波视频帧的相对运动特征;所述相对运动特征表征所述待滤波视频帧内的图像内容与图像组中其余视频帧图像内容的相对运动复杂程度;
19.确定与所述相对运动特征对应的目标滤波强度,并采用所述目标滤波强度对所述待滤波视频帧进行时域滤波;
20.对时域滤波操作得到的图像组编码,得到视频比特流;
21.将所述视频比特流发送至客户端设备,以使所述客户端设备解码所述视频比特流
并播放视频画面。
22.根据本技术实施例的第四方面,提供了一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如第一方面至第三方面任一方面所述方法对应的操作。
23.根据本技术实施例的第五方面,提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面至第三方面任一方面所述的方法。
24.根据本技术实施例提供的时域滤波方案,在确定了图像组中的待滤波图像帧之后,提取了待滤波图像帧中用于表征待滤波图像帧与其余图像帧图像内容相对运动复杂程度的相对运动特征,进而基于相对运动特征,自适应地确定出与上述相对运动复杂度相匹配的目标滤波强度进行时域滤波。因此,本技术实施例,可以自适应地确定出与图像帧相对运动复杂程度相匹配的目标滤波强度进行时域滤波,进而使得对滤波后的图像帧进行编码时,编码结果的率失真性能较好。
附图说明
25.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
26.图1为运动补偿时域滤波的步骤流程图;
27.图2为gop32中各图像帧的时域层级分布图;
28.图3为根据本技术实施例一的一种时域滤波方法的步骤流程图;
29.图4为图3所示实施例中的一种场景示例的示意图;
30.图5为根据本技术实施例二的一种时域滤波方法的步骤流程图;
31.图6为gop32内部的帧间参考关系分布图;
32.图7为图像帧之间静止块传播的示意图;
33.图8为静止块传播的流程图;
34.图9为本技术实施例二对应的场景示意图;
35.图10为根据本技术实施例三的一种编码方法的步骤流程图;
36.图11为根据本技术实施例四的一种编码方法的步骤流程图;
37.图12为图11所示实施例中的一种场景示例的示意图;
38.图13为根据本技术实施例五的一种时域滤波装置的结构框图;
39.图14为根据本技术实施例六的一种电子设备的结构示意图。
具体实施方式
40.为了使本领域的人员更好地理解本技术实施例中的技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本技术实施例一部分实施例,而不是全部的实施例。基于本技术实施例中的实施例,本领域普通技术人员所获得的所有其他实施例,都应当属于本技术实施例保护的范围。
41.在对图像帧进行编码之前,通常会通过双边滤波器对原始图像帧进行时域层面的滤波处理,这样可以有效地进行视频降噪,提升后续编码的效率。
42.参见图1,图1为运动补偿时域滤波的步骤流程图。下面结合图1对运动补偿时域滤波的过程进行说明:
43.第一步,确定图像组内待进行时域滤波的待滤波图像帧。本步骤,可以根据实际情况,基于各图像帧所处的时域层级,从图像组中进行选择。具体地,例如可以根据图像组的类型,得到图像组内各图像帧所处的时域层级的编号,并选择某个或者某几个编号的时域层级作为滤波层,将处于滤波层的图像帧作为待滤波图像帧。其中,进行时域层级划分并引入时域层级的编号,主要是为了便于描述各图像组中各图像帧之间的参考关系规则,具体地:对于具体的某个图像组种类而言,该图像组中的各图像帧所处的时域层级(编号)是根据编码过程中的编码顺序和参考关系预先确定好的,编号越大则时域层级越高,反之,编号越小则时域层级越低,在编码过程中,处于高时域层级的图像帧参考处于同一时域层级或者处于低时域层级的图像帧进行。参见图2,图2为gop(groupof pictures,图像组)32中各图像帧的时域层级分布图,可以选择将t0、t1及t2作为滤波层,进而处于上述滤波层的图像帧(第0帧、第8帧、第16帧、第24帧及第32帧)均为待滤波图像帧,其余图像帧均为时域滤波的参考帧,其中,gop32表示图像组的尺寸为32,也即一个图像组中包含32个连续的图像帧。
44.第二步,针对单个的待滤波图像帧:分别对第i个参考帧进行分层运动估计,得到第i个参考帧对应的运动矢量,i的初始值为1。具体地,可以对待滤波图像帧进行分块划分,得到多个具有相同尺寸的图像块,再针对各图像块,分别对第i个参考帧进行分层运动估计,得到各图像块的运动矢量。
45.第三步,针对单个的待滤波图像帧:基于第二步中得到的运动矢量对第i个参考帧进行运动补偿,得到第i个参考帧对应的运动补偿帧。
46.第四步,重复上述第二步和第三步,直到各待滤波帧的参考帧均完成运动估计和运动补偿。具体地,针对单个的待滤波图像帧,在第三步之后可以判断i是否等于该待滤波图像帧对应的参考帧总数量numref,若是,本步骤执行完毕,之后,执行第五步;否则,i值+1并返回第二步;
47.第五步,时域滤波。具体地,基于公式1,逐像素对待滤波图像帧和从各参考帧得到的运动补偿帧进行加权平均。其中,公式1中各运动补偿帧的加权系数w(j)由公式2计算得到;公式2中bw即为滤波强度。
[0048][0049][0050]
其中,newval(i)为滤波后图像帧中第i个像素点的像素值;orgval(i)为待滤波图像帧中第i个像素点的像素值;numref为待滤波图像帧的参考帧总数量;w(j)为第j个参考帧对应的运动补偿帧的加权系数;s
cur
为与待滤波图像帧所处时域层级相关的固定参数;s
ref
为与参考帧间的距离、参考帧总数量相关的固定参数;σ(qp)表示与qp(quantparameter,量化参数之一)值相关的参数;δi(i)表示与待滤波图像帧的像素参考帧的像素差异值相关的参数。
[0051]
传统的时域滤波方法,在第五步中通常将滤波强度bw设定为固定值,也就是说,对于任何的待滤波图像帧,在进行时域滤波时均是采用相同的滤波强度进行的。后续编码结果表明:对采用该种滤波方案得到的滤波后图像帧进行视频编码,率失真性能较差。
[0052]
而本技术实施例中,在确定了图像组中的待滤波图像帧之后,提取了待滤波图像帧中用于表征待滤波图像帧与其余图像帧图像内容相对运动复杂程度的相对运动特征,进而基于相对运动特征,自适应地确定出与上述相对运动复杂度相匹配的目标滤波强度进行时域滤波。并且在进行滤波强度自适应确定时,相对运动复杂程度越小,则将目标滤波强度设置的越大,这样,对于相对运动较为复杂的图像帧,滤波时适当降低滤波强度,从而保留更多的有效信息以提升后续编码的率失真性能;对于相对运动较为简单的图像帧,滤波时适当增强滤波强度,从而剔除更多的冗余信息以提升后续编码的率失真性能。
[0053]
下面结合本技术实施例附图进一步说明本技术实施例具体实现。
[0054]
实施例一
[0055]
参照图3,图3为根据本技术实施例一的一种图像组尺寸确定方法的步骤流程图。
[0056]
具体地,本实施例提供的图像组尺寸确定方法包括以下步骤:
[0057]
步骤302,确定图像组中的待滤波图像帧。
[0058]
步骤304,提取待滤波图像帧的相对运动特征;相对运动特征表征待滤波图像帧内的图像内容与图像组中其余图像帧图像内容的相对运动复杂程度。
[0059]
具体地,本技术实施例中,对于相对运动特征的具体表征形式不做限定,可以根据实际情况自行设定。例如:可以基于待滤波图像帧与图像组中其余图像帧图像之间的帧间编码代价来表征待滤波图像帧的相对运动特征,其中,帧间编码代价越大,相对运动越复杂;也可以基于待滤波图像帧与图像组中其余图像帧图像之间的像素值差异程度(如方差值等)来表征待滤波图像帧的相对运动特征,其中,像素值差异程度越大,相对运动越复杂;还可以基于待滤波图像帧与图像组中其余图像帧图像之间的静止块数量来表征待滤波图像帧的相对运动特征,其中,静止块数量越小,相对运动越复杂,等等。
[0060]
步骤306,确定与相对运动特征对应的目标滤波强度,并采用目标滤波强度对待滤波图像帧进行时域滤波。
[0061]
进一步地,在确定目标滤波强度时,可以按照如下规则:相对运动复杂程度越小,目标滤波强度越大。这样,对于相对运动较为复杂的图像帧,滤波时适当降低滤波强度,从而保留更多的有效信息以提升后续编码的率失真性能;对于相对运动较为简单的图像帧,滤波时适当增强滤波强度,从而剔除更多的冗余信息以提升后续编码的率失真性能。
[0062]
本技术实施例中,对于确定与相对运动特征对应的目标滤波强度的具体方式不做限定,可以根据实际情况自行设定。
[0063]
具体地,例如,可以预先设定好相对运动特征与滤波强度之前的对应关系,当通过步骤304提取到相对运动特征时,则可以根据上述对应关系,确定出与相对运动特征对应的目标滤波强度;又如,还可以引入滤波增强系数和标准滤波强度,并设定滤波增强系数与相对运动特征之间的对应关系,其中,标准滤波强度为一预设的固定值,当通过步骤304提取到相对运动特征时,则可以根据上述对应关系,确定出与相对运动特征对应的滤波增强系数,再基于滤波增强系数和标准滤波强度,得到目标滤波强度,如:将滤波增强系数和标准滤波强度的乘积确定为目标滤波强度。
[0064]
可选地,例如,以基于待滤波图像帧与图像组中其余图像帧图像之间的静止块数量来表征待滤波图像帧的相对运动特征这一方案而言,步骤304可以包括:计算所述待滤波图像帧中包含的静止块总数量,作为所述待滤波图像帧的相对运动特征;其中,静止块为相对运动复杂程度小于预设阈值的编码单元。
[0065]
进一步地,上述静止块可以指待滤波图像帧和与其具有直接参考关系的非滤波图像帧之间所传递的静止块,也可以包含从各个与待滤波图像帧位于同一参考关系传播路径的非滤波图像帧所传递的累加静止块。也就是说,静止块,可以指从待滤波图像帧的上一时域层级传递而来的静止块,也可以指从最高时域层级,逐层级依次传递、最终累加得到的静止块。
[0066]
对应地,步骤306可以包括:基于所述静止块总数量确定滤波增强系数;将所述滤波增强系数与标准滤波强度的乘积确定为目标滤波强度;其中,所述静止块总数量越大,所述滤波增强系数越大。
[0067]
参见图4,图4为本技术实施例一对应的场景示意图,以下,将参考图4所示的示意图,以一个具体场景示例,对本技术实施例进行说明:
[0068]
获处理图像组,并从该图像组中确定出待滤波图像帧为:图像帧1和图像帧2;对图像帧1进行特征提取,得到相对运动特征1,对图像帧2进行特征提取,得到相对运动特征2;确定出与相对运动特征1对应的目标滤波强度bw1,与相对运动特征2对应的目标滤波强度bw2;采用bw1对图像帧1进行时域滤波,得到滤波后图像帧1,采用bw2对图像帧2进行时域滤波,得到滤波后图像帧2,至此,即完成了对待处理图像组的时域滤波处理。
[0069]
根据本技术实施例提供的时域滤波方案,在确定了图像组中的待滤波图像帧之后,提取了待滤波图像帧中用于表征待滤波图像帧与其余图像帧图像内容相对运动复杂程度的相对运动特征,进而基于相对运动特征,自适应地确定出与上述相对运动复杂度相匹配的目标滤波强度进行时域滤波。并且在进行滤波强度自适应确定时,相对运动复杂程度越小,则将目标滤波强度设置的越大,这样,对于相对运动较为复杂的图像帧,滤波时适当降低滤波强度,从而保留更多的有效信息以提升后续编码的率失真性能;对于相对运动较为简单的图像帧,滤波时适当增强滤波强度,从而剔除更多的冗余信息以提升后续编码的率失真性能。因此,本技术实施例,可以自适应地确定出与图像帧相对运动复杂程度相匹配的目标滤波强度进行时域滤波,进而使得对滤波后的图像帧进行编码时,编码结果的率失真性能较好。
[0070]
本技术实施例一提供的时域滤波方法,可以由视频编码端(编码器)在对视频流进行编码之前执行,用于对图像组中的待滤波图像帧进行时域滤波,进而对经过滤波操作后的图像帧进行后续的编码操作。上述视频编码端可以为客户端,也可以为服务端。本技术实施例提供的方法其可以适用于多种不同的场景,如:视频点播场景,对应的视频编码端为(云)服务端。具体地:(云)服务端设备可以通过本技术实施例提供的时域滤波方法,对(由电影、电视剧等影视作品的视频图像帧组成的)图像组中的待滤波图像帧进行时域滤波,进而对经过滤波操作后的视频数据进行后续的编码操作,得到视频比特流,并下发至客户端设备,以在客户端设备中进行解码,得到对应的视频媒体数据并播放。又如:常规视频游戏的存储和流式传输,具体地:可以通过本技术实施例提供的时域滤波方法,对图像组中的待滤波图像帧进行时域滤波,进而对经过滤波操作后的视频游戏进行后续的编码操作,形成
对应的视频码流,以在视频流服务或者其他类似的应用中存储和传输;又如:视频会议、视频直播等低延时场景,具体地:可以通过视频采集设备采集会议视频数据,再通过本技术实施例提供的时域滤波方法对视频数据进行时域滤波,进而对经过滤波操作后的视频数据进行后续的编码操作,形成对应的视频码流,并发送至会议终端,通过会议终端对视频码流进行解码从而得到对应的会议视频画面;还如:虚拟现实场景,可以通过本技术实施例提供的时域滤波方法对视频数据进行时域滤波,进而对经过滤波操作后的视频数据进行后续的编码操作,形成对应的视频码流,并发送至虚拟现实相关设备(如vr虚拟眼镜等),通过vr设备对视频码流进行解码从而得到对应的视频画面,并基于视频画面实现对应的vr功能,等等。
[0071]
实施例二
[0072]
参照图5,图5为根据本技术实施例一的一种时域滤波方法的步骤流程图。具体地,本实施例提供的时域滤波方法,包括以下步骤:
[0073]
步骤502,确定图像组中的待滤波图像帧。
[0074]
步骤504,确定与图像组的类型对应的帧间参考关系分布图。
[0075]
图像组的类型(尺寸)确定之后,图像组内部各图像帧之间的层级结构及参考关系也相应确定。参见图6,图6为gop32内部的帧间参考关系分布图,从图6可以看出各图像帧之间的参考关系,例如:图像序列号为16的图像帧前向参考图像序列号为0的图像帧、后向参考图像序列号为32的图像帧。
[0076]
步骤506,从帧间参考关系分布图中,确定以待滤波图像帧为终点的参考关系传播路径。
[0077]
对于一个指定的待滤波图像帧而言,可能存在1个以该待滤波图像帧为终点的参考关系传播路径,也可能会存在多个以该待滤波图像帧为终点的参考关系传播路径。例如:从图6所示的帧间参考关系分布图中可以看出,以待滤波图像帧0为终点的参考关系传播路径就有多条,如:从图像帧1开始,经过图像帧2到达图像帧0为一条参考关系传播路径;从图像帧1开始,依次经过图像帧2、图像帧4,到达图像帧0为另一条参考关系传播路径;从图像帧1开始,依次经过图像帧2、图像帧4及图像帧8,到达图像帧0为又一条参考关系传播路径,等等。
[0078]
步骤508,在参考关系传播路径中,按照时域层从高到低的顺序,依次计算上层图像帧中各上层编码单元传递至下层图像帧中各下层编码单元的静止块个数,以得到待滤波图像帧中各编码单元对应的单路径静止块个数。
[0079]
本技术实施例中的单路径静止块,是指沿着单个的参考关系传播路径,从最高时域层级,逐层级依次传递、最终累加到待滤波图像帧的静止块。
[0080]
例如,对于有3个层级的参考关系传播路径,可以先计算从位于最高时域层的图像帧的各编码单元传递至位于中间时域层的图像帧各编码单元的第一静止块个数,再计算从位于中间时域层的图像帧的各编码单元传递至位于最低时域层的图像帧(待滤波图像帧)各编码单元的第二静止块个数,第二静止块个数则为待滤波图像帧中各编码单元对应的单路径静止块个数。其中,要说明的是,在计算从位于中间时域层的图像帧的各编码单元传递至位于最低时域层的图像帧各编码单元的第二静止块个数时,位于中间时域层的图像帧的各编码单元的初始静止块个数(待传递的静止块个数)为第一静止块个数加1,而不是1。
[0081]
可选地,在其中一些实施例中,计算上层图像帧中各上层编码单元传递至下层图
像帧中各下层编码单元的静止块个数,可以通过如下方式:
[0082]
针对上层图像帧中的各上层编码单元,判断该上层编码单元的帧间编码代价是否小于该上层编码单元的帧内编码代价;若是,基于该上层编码单元的帧间编码代价判断该上层编码单元是否进行静止块传播;
[0083]
若确定该上层编码单元进行静止块传播,则基于传递至该上层编码单元的静止块个数、该上层编码单元的位置以及该上层编码单元对应的运动矢量,在下层图像帧中确定目标下层编码单元及传递至各目标下层编码单元的静止块个数;
[0084]
针对下层图像帧中的各下层编码单元,对传递至该下层编码单元的静止块个数求和,得到上层图像帧中各上层编码单元传递至该下层编码单元的静止块个数。
[0085]
具体地,判断该上层编码单元是否进行静止块传播(是否为静止块):
[0086]
一种方式为:判断上层编码单元的帧间编码代价是否小于预设编码代价阈值,若是,则确定上层编码单元进行静止块传播。该种方式,是通过帧间编码代价直接进行判断的,计算过程较为简单,但是,上述判断方式参考因素单一,判断的准确性较低。
[0087]
另一种方式为:计算上层编码单元内各像素点的方差;基于上层编码单元的帧间编码代价和所述方差,确定上层编码单元是否进行静止块传播。进一步地,可以先计算上层编码单元的帧间编码代价与上述方差的比值;若比值小于预设比值阈值,确定上层编码单元进行静止块传播;若比值大于或者等于预设比值阈值,确定上层编码单元不进行静止块传播。该种方式,是同时考虑了帧间编码代价和编码单元内像素值方差的,这样可以防止将运动量较小、但本身内容复杂度较高的编码单元误判为静止块,即提高了静止块(传播)判断的准确度,进而有利于确定出与运动特征更匹配的滤波强度,以进一步提升后续编码的率失真性能。
[0088]
可选地,在其中一些实施例中,基于传递至该上层编码单元的静止块个数、该上层编码单元的位置以及该上层编码单元对应的运动矢量,在下层图像帧中确定目标下层编码单元及传递至各目标下层编码单元的静止块个数,可以包括:
[0089]
若上层编码单元的单向帧间编码代价小于双向帧间编码代价,则基于传递至该上层编码单元的静止块个数、该上层编码单元的位置以及该上层编码单元对应的运动矢量,在下层图像帧中确定目标下层编码单元及传递至各目标下层编码单元的静止块个数。
[0090]
参见图7,图7为图像帧之间静止块传播的示意图。图中,图像帧16为上层图像帧,图像帧0为下层图像帧,静止块从图像帧16中的cu4向图像帧0传递,根据几何关系可知,在图像帧0最多可能有4个下层编码单元能够接收到从图像帧16中的cu4传递来的静止块,也就是说,最多可能有4个目标下层编码单元(具体的目标下层单元是哪个需要通过几何运算得到,此处假设为图像帧0中的cu1、cu2、cu3、cu4),并且每个目标下层编码单元接收到的静止块比例并不一定相同(针对cu1、cu2、cu3、cu4中的任一目标下层编码单元而言,其接收到的静止块比例均等于图7图像帧0中阴影部分在该目标下层编码单元中所占比例,静止块比例的最大值为1,最小值为0)。
[0091]
基于上述分析,本技术实施例中,若上层编码单元的位置为(cux0,cuy0),则目标下层编码单元的坐标分别为:
[0092]
第一目标下层编码单元的坐标为(cux0+dx,cuy0+dy);
[0093]
第二目标下层编码单元的坐标为(cux0+dx+1,cuy0+dy);
[0094]
第三目标下层编码单元的坐标为(cux0+dx,cuy0+dy+1);
[0095]
第四目标下层编码单元的坐标为(cux0+dx+1,cuy0+dy+1)。
[0096]
传递至第一目标下层编码单元的静止块数量s0为:
[0097][0098]
传递至第二目标下层编码单元的静止块数量s1为:
[0099][0100]
传递至第三目标下层编码单元的静止块数量s2为:
[0101][0102]
传递至第四目标下层编码单元的静止块数量s3为:
[0103][0104]
其中,mv.hor为运动矢量的横坐标值;mv.ver为运动矢量的纵坐标值;编码单元尺寸为nxn,运动矢量处理精度为像素精度,isize=n*m;以isize为单位,上层编码单元横坐标与下层编码单元横坐标之间的距离上层编码单元纵坐标与下层编码单元纵坐标之间的距离表示向下取整;y=mv.ver%isize(即y等于mv.ver除以isize的余数),x=mv.hor%isize(即x等于mv.hor除以isize的余数);propagatein为传入上层编码单元的静止块个数,propagatein的初始值为0。
[0105]
若上层编码单元的双向帧间编码代价小于单向帧间编码代价,则说明该上层编码单元还与其他下层图像帧的编码单元之间存在静止块传播(还存在其他的参考关系传播路径),此时,可以先确定分配至该参考关系传播路径的静止块传播权重,也即先确定该上层编码单元与(该参考关系传播路径中)下层图像帧的编码单元之间静止块传播的传播权重,再基于传播权重、传递至该上层编码单元的静止块个数、该上层编码单元的位置以及该上层编码单元对应的运动矢量,在下层图像帧中确定目标下层编码单元及传递至各目标下层编码单元的静止块个数,具体地,目标下层编码单元的位置与单向帧间编码代价小于双向帧间编码代价时的计算方法一致,传递至各目标下层编码单元的静止块数量分别为:
[0106]
传递至第一目标下层编码单元的静止块数量s0为:
[0107][0108]
传递至第二目标下层编码单元的静止块数量s1为:
[0109][0110]
传递至第三目标下层编码单元的静止块数量s2为:
[0111][0112]
传递至第四目标下层编码单元的静止块数量s3为:
[0113][0114]
其中,w为传播权重。
[0115]
参见图8,图8为静止块传播的流程图。下面结合图8对静止块的传播流程进行解释:
[0116]
判断第i个cu(coding unit,编码单元)的帧间编码代价是否小于帧内编码代价;若是,则再计算该cu的帧间编码代价cuintercost与该cu的像素值方差cuvar的比值cuintercost/cuvar,若该比值cuintercost/cuvar小于预设的比值阈值staticthr,则判断该cu的单向帧间编码代价是否小于双向帧间编码代价;若是,则可以根据该cu的运动矢量确定传播至参考帧(下层图像帧)中目标cu的位置,并基于上述公式3-6确定传递至各目标cu的静止块个数;若否(若是双向),则可以先确定该参考关系传播路径对应的传播权重(前向传播权重和/或后向传播权重,进而可以根据向传播权重和/或后向传播权重,将该cu待传递的静止块总数按比例分别拆分给前向和后向),再根据cu的
[0117]
运动矢量确定传播至参考帧中目标cu的位置,并基于上述公式7-10确定传递至各目标cu的静止块个数。
[0118]
步骤510,对于待滤波图像帧中的同一编码单元,对该编码单元对应的各单路径静止块个数求和,得到待滤波图像帧中该编码单元对应的静止块个数。
[0119]
步骤512,基于各编码单元对应的静止块个数进行求和操作,得到待滤波图像帧中包含的静止块总数量,作为待滤波图像帧的相对运动特征。
[0120]
可选地,在其中一些实施例中,在得到各编码单元对应的静止块个数之后,并不是对各编码单元对应的静止块个数均求和,而是从中进行筛选,将像素值方差大于预设方差阈值的编码单元对应的静止块个数求和,以得到待滤波图像帧中包含的静止块总数量,作为待滤波图像帧的相对运动特征。该种方式,在计算静止块总数量时,考虑到编码单元内像素值方差的大小,将方差值较小的编码单元排除,这样可以防止纯色的编码单元或者像素值变化比较平坦的编码单元的干扰,提高了静止块计算的准确度,进而有利于确定出与运动特征更匹配的滤波强度,以进一步提升后续编码的率失真性能。
[0121]
步骤514,基于静止块总数量确定滤波增强系数。
[0122]
其中,静止块总数量越大,滤波增强系数越大。
[0123]
具体地,可以根据静止块总数量直接确定滤波增强系数;也可以对静止块总数量进行运算,根据运算结果确定滤波增强系数,例如:根据静止块总数量与待滤波图像帧中编码单元总数量的比值,确定滤波增强系数。
[0124]
步骤516,将滤波增强系数与标准滤波强度的乘积确定为目标滤波强度,并采用所述目标滤波强度对所述待滤波图像帧进行时域滤波。
[0125]
可选地,在其中一些实施例中,在步骤502确定图像组中的待滤波图像帧之后,还执行如下步骤:从所述待滤波图像帧的各编码单元中确定属于感兴趣区域的感兴趣编码单元。对应地,步骤516中所述采用所述目标滤波强度对所述待滤波图像帧进行时域滤波,则包括:采用预设的兴趣滤波强度对所述待滤波图像帧中的感兴趣编码单元进行时域滤波;采用所述目标滤波强度对所述待滤波图像帧中的非感兴趣编码单元进行时域滤波。
[0126]
具体地,例如:可以对待滤波图像帧中的各编码单元分别添加兴趣区域标志位,兴
趣区域标志位用于表征各编码单元是否属于感兴趣区域。本技术实施例中的属于感兴趣区域可以预先根据各编码单元的图像内容自定义设定,本技术实施例中,对于感兴趣区域的具体设定原则不做限定。
[0127]
由于感兴趣区域通常为人眼主观层面上较为注重的区域,因此,可以将对应的兴趣滤波强度设置成较小的值,甚至可以设置为0,也即:对感兴趣区域不进行滤波操作,或者,采用较弱的滤波强度进行滤波操作,这样,可以提升人眼主观感知的质量。
[0128]
参见图9,图9为本技术实施例二对应的场景示意图,以下,将参考图9所示的示意图,以一个具体场景示例,对本技术实施例进行说明:
[0129]
在确定了图像组中的待滤波图像帧之后,可以对待滤波图像帧中的各cu分别进行如下处理:获取第i个cu的roi(region of interest,感兴趣区域)标志位curoi(i),若curoi(i)>0,则确定该cu为感兴趣编码单元,确定该cu对应的滤波强度为预设的感兴趣滤波强度roibw,即bw=roibw;若curoi(i)≤0,则确定该cu为非感兴趣编码单元;之后,执行如下操作:获取待滤波图像帧第i个cu的静止块个数cus(i)和像素值方差cuvar(i),也即获取第i个cu对应的静止块个数cus(i)和像素值方差cuvar(i);若cuvar(i)>varthr(其中,varthr为预设的方差阈值),则进行帧级静止块累加过程,即:执行frms=frms+cus(i);并在执行完上述累加操作之后,判断待滤波图像帧中的cu是否统计完毕,若未统计完毕,则更新i=i+1,并返回获取待滤波图像帧第i个cu的静止块个数cus(i)和像素值方差cuvar(i)的步骤;若统计完毕,则计算单位cu对应的静止块个数spcu,spcu=frms/cncnt,其中,cncnt为待滤波图像帧中包含的cu总个数;若spcu>highsthr,则确定bw=bw’*enchancet;若spcu<lowsthr,则确定bw=bw’*weakent;若lowsthr<spcu<highsthr,则确定bw不变,即bw=bw’;其中,highsthr和lowsthr为第一预设静止块数量阈值和第二预设静止块数量阈值,且,highsthr>lowsthr;enchancet、weakent均为滤波增强系数,且,enchancet大于1,weakent小于1;bw’为标准滤波强度。综上,在时域滤波时,采用预设的感兴趣滤波强度roibw对感兴趣编码单元进行滤波;采用bw=bw’*enchancet/bw=bw’*weakent/bw=bw’对非感兴趣编码单元进行滤波,其中,具体采用上述三种bw中的哪一种,取决于spcu的大小。
[0130]
根据本技术实施例提供的时域滤波方案,在确定了图像组中的待滤波图像帧之后,提取了待滤波图像帧中用于表征待滤波图像帧与其余图像帧图像内容相对运动复杂程度的相对运动特征,进而基于相对运动特征,自适应地确定出与上述相对运动复杂度相匹配的目标滤波强度进行时域滤波。并且在进行滤波强度自适应确定时,相对运动复杂程度越小,则将目标滤波强度设置的越大,这样,对于相对运动较为复杂的图像帧,滤波时适当降低滤波强度,从而保留更多的有效信息以提升后续编码的率失真性能;对于相对运动较为简单的图像帧,滤波时适当增强滤波强度,从而剔除更多的冗余信息以提升后续编码的率失真性能。因此,本技术实施例,可以自适应地确定出与图像帧相对运动复杂程度相匹配的目标滤波强度进行时域滤波,进而使得对滤波后的图像帧进行编码时,编码结果的率失真性能较好。
[0131]
另外,本技术实施例中,最终得到的待滤波图像帧中包含的静止块总数量,是指沿着各参考关系传播路径,从最高时域层级,逐层级依次传递、最终累加而成的静止块总数量,相比于仅考虑从具有直接参考关系的非滤波图像帧传递而来的静止块总数量,本技术实施例确定出的静止块总数量更能准确地表征待滤波图像帧内的图像内容与图像组中其
余图像帧图像内容的相对运动复杂程度,即更能准确地表征待滤波图像帧的相对运动特征,进而可以确定出更匹配的目标滤波强度,以提升后续编码的率失真性能。
[0132]
实施例三
[0133]
参照图10,图10为根据本技术实施例三的一种编码方法的步骤流程图。该编码方法可以应用于具有编码需求的服务端设备或者客户端设备。具体地,本实施例提供的编码方法包括以下步骤:
[0134]
步骤1002,获取待编码的图像组。
[0135]
其中,上述图像组中可以包含连续的待编码图像帧。
[0136]
步骤1004,确定图像组中的待滤波图像帧。
[0137]
步骤1006,提取待滤波图像帧的相对运动特征;相对运动特征表征待滤波图像帧内的图像内容与图像组中其余图像帧图像内容的相对运动复杂程度。
[0138]
步骤1008,确定与相对运动特征对应的目标滤波强度,并采用目标滤波强度对待滤波图像帧进行时域滤波。
[0139]
步骤1010,对时域滤波操作得到的图像组编码,得到视频比特流。
[0140]
本技术实施例提供的编码方法,可以由视频编码端(编码器)执行,用于对图像组中的待滤波图像帧进行时域滤波,进而对经过滤波操作后的图像帧进行后续的编码操作。上述视频编码端可以为客户端,也可以为服务端。本技术实施例提供的编码方法可以适用于多种不同的场景,如:视频点播场景,对应的视频编码端为(云)服务端。具体地:(云)服务端设备可以通过本技术实施例提供的方法对(由电影、电视剧等影视作品的视频图像帧组成的)图像组中的待滤波图像帧进行时域滤波,进而对经过滤波操作后的视频数据进行后续的编码操作,得到视频比特流,并下发至客户端设备,以在客户端设备中进行解码,得到对应的视频媒体数据并播放。又如:常规视频游戏的存储和流式传输,具体地:可以通过本技术实施例提供的方法,对图像组中的待滤波图像帧进行时域滤波,进而对经过滤波操作后的视频游戏进行后续的编码操作,形成对应的视频码流,以在视频流服务或者其他类似的应用中存储和传输;又如:视频会议、视频直播等低延时场景,对应的视频编码端为客户端-会议终端。具体地:可以通过视频采集设备采集会议视频数据,再通过本技术实施例提供的方法对视频数据进行时域滤波,进而对经过滤波操作后的视频数据进行后续的编码操作,形成对应的视频码流,并发送至会议终端,通过会议终端对视频码流进行解码从而得到对应的会议视频画面;还如:虚拟现实场景,可以通过本技术实施例提供的方法对视频数据进行时域滤波,进而对经过滤波操作后的视频数据进行后续的编码操作,形成对应的视频码流,并发送至虚拟现实相关设备(如vr虚拟眼镜等),通过vr设备对视频码流进行解码从而得到对应的视频画面,并基于视频画面实现对应的vr功能,等等。
[0141]
实施例四
[0142]
参照图11,图11为根据本技术实施例四的一种编码方法的步骤流程图。该编码方法可以应用于具有编码需求的(云)服务端设备。具体地,本实施例提供的编码方法包括以下步骤:
[0143]
步骤1102,获取待编码的视频数据。
[0144]
步骤1104,确定编码过程所采用的图像组的尺寸,并确定图像组中的待滤波视频帧。
[0145]
步骤1106,提取待滤波视频帧的相对运动特征;相对运动特征表征待滤波视频帧内的图像内容与图像组中其余视频帧图像内容的相对运动复杂程度。
[0146]
步骤1108,确定与相对运动特征对应的目标滤波强度,并采用目标滤波强度对待滤波视频帧进行时域滤波。
[0147]
步骤1110,对时域滤波操作得到的图像组编码,得到视频比特流。
[0148]
步骤1112,将视频比特流发送至客户端设备,以使客户端设备解码视频比特流并播放视频画面。
[0149]
参见图12,图12为本技术实施例四对应的场景示意图,以下,将参考图12所示的示意图,以一个具体场景示例,对本技术实施例进行说明:
[0150]
图12对应视频数据点播场景,具体地:服务端设备与各客户端设备(客户端设备1、
……
、客户端设备n)通过网络通信连接;当用户想要观看电影a时,可以通过客户端设备(假设客户端设备1)向服务端设备发送点播请求;服务端设备接收到上述点播请求后,可以在数据库中确定出电影a的电影数据,同时还可以确定出进行编码时的图像组的尺寸;之后,可以采用本技术中任一实施例提供的时域滤波方法对图像组内的待滤波图像帧进行滤波操作;服务端设备,以图像组为基本编码单位,对包含有电影数据的滤波后的图像组进行编码,从而得到视频比特流;服务端设备通过通信网络将上述视频比特流返回至客户端设备1;客户端设备1接收到上述视频比特流之后,可以对其进行解码操作,从而得到电影a的电影数据,并在播放器中进行播放,以供用户观看。
[0151]
实施例五
[0152]
图13为根据本技术实施例五的一种时域滤波装置的结构框图。本技术实施例提供的时域滤波装置包括:
[0153]
待滤波图像帧确定模块1302,用于确定图像组中的待滤波图像帧;
[0154]
特征提取模块1304,用于提取待滤波图像帧的相对运动特征;相对运动特征表征待滤波图像帧内的图像内容与图像组中其余图像帧图像内容的相对运动复杂程度;
[0155]
滤波模块1306,用于确定与相对运动特征对应的目标滤波强度,并采用目标滤波强度对待滤波图像帧进行时域滤波。
[0156]
可选地,在其中一些实施例中,特征提取模块1304,具体用于:计算待滤波图像帧中包含的静止块总数量,作为待滤波图像帧的相对运动特征;
[0157]
滤波模块1306,在执行确定与相对运动特征对应的目标滤波强度的步骤时,具体用于:基于静止块总数量确定滤波增强系数;将滤波增强系数与标准滤波强度的乘积确定为目标滤波强度;其中,静止块总数量越大,滤波增强系数越大。
[0158]
可选地,在其中一些实施例中,特征提取模块1304,具体用于:确定待滤波图像帧中各编码单元对应的静止块个数;基于各编码单元对应的静止块个数进行求和操作,得到待滤波图像帧中包含的静止块总数量,作为待滤波图像帧的相对运动特征。
[0159]
可选地,在其中一些实施例中,特征提取模块1304在执行确定待滤波图像帧中各编码单元对应的静止块个数的步骤时,具体用于:
[0160]
确定与图像组的类型对应的帧间参考关系分布图;
[0161]
从帧间参考关系分布图中,确定以待滤波图像帧为终点的参考关系传播路径;
[0162]
在参考关系传播路径中,按照时域层从高到低的顺序,依次计算上层图像帧中各
上层编码单元传递至下层图像帧中各下层编码单元的静止块个数,以得到待滤波图像帧中各编码单元对应的单路径静止块个数;
[0163]
对于待滤波图像帧中的同一编码单元,对该编码单元对应的各单路径静止块个数求和,得到待滤波图像帧中该编码单元对应的静止块个数。
[0164]
可选地,在其中一些实施例中,特征提取模块1304在执行依次计算上层图像帧中各上层编码单元传递至下层图像帧中各下层编码单元的静止块个数的步骤时,具体用于:
[0165]
针对上层图像帧中的各上层编码单元,判断该上层编码单元的帧间编码代价是否小于帧内编码代价;
[0166]
若是,基于该上层编码单元的帧间编码代价判断该上层编码单元是否进行静止块传播;
[0167]
若确定该上层编码单元进行静止块传播,则基于传递至该上层编码单元的静止块个数、该上层编码单元的位置以及该上层编码单元对应的运动矢量,在下层图像帧中确定目标下层编码单元及传递至各目标下层编码单元的静止块个数;
[0168]
针对下层图像帧中的各下层编码单元,对传递至该下层编码单元的静止块个数求和,得到上层图像帧中各上层编码单元传递至该下层编码单元的静止块个数。
[0169]
可选地,在其中一些实施例中,特征提取模块1304在执行基于该上层编码单元的帧间编码代价判断该上层编码单元是否进行静止块传播的步骤时,具体用于:
[0170]
计算该上层编码单元内各像素点的方差;
[0171]
基于该上层编码单元的帧间编码代价和方差,确定该上层编码单元是否进行静止块传播。
[0172]
可选地,在其中一些实施例中,时域滤波装置还包括:
[0173]
感兴趣编码单元确定模块,用于在确定图像组中的待滤波图像帧之后,从待滤波图像帧的各编码单元中确定属于感兴趣区域的感兴趣编码单元。
[0174]
可选地,在其中一些实施例中,滤波模块1306,在执行采用目标滤波强度对待滤波图像帧进行时域滤波的步骤时,具体用于:
[0175]
采用预设的兴趣滤波强度对待滤波图像帧中的感兴趣编码单元进行时域滤波;
[0176]
采用目标滤波强度对待滤波图像帧中的非感兴趣编码单元进行时域滤波。
[0177]
本实施例的时域滤波装置用于实现前述多个方法实施例中相应的时域滤波方法,并具有相应的方法实施例的有益效果,在此不再赘述。此外,本实施例的时域滤波装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述,在此亦不再赘述。
[0178]
实施例六
[0179]
参照图14,示出了根据本技术实施例六的一种电子设备的结构示意图,本技术具体实施例并不对电子设备的具体实现做限定。
[0180]
如图14所示,该电子设备可以包括:处理器(processor)1402、通信接口(communications interface)1404、存储器(memory)1406、以及通信总线1408。
[0181]
其中:
[0182]
处理器1402、通信接口1404、以及存储器1406通过通信总线1408完成相互间的通信。
[0183]
通信接口1404,用于与其它电子设备或服务器进行通信。
[0184]
处理器1402,用于执行程序1410,具体可以执行上述时域滤波方法或者编码方法实施例中的相关步骤。
[0185]
具体地,程序1410可以包括程序代码,该程序代码包括计算机操作指令。
[0186]
处理器1402可能是cpu,或者是特定集成电路asic(application specific integrated circuit),或者是被配置成实施本技术实施例的一个或多个集成电路。智能设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个cpu;也可以是不同类型的处理器,如一个或多个cpu以及一个或多个asic。
[0187]
存储器1406,用于存放程序1110。存储器1406可能包含高速ram存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
[0188]
程序1410可包括多条计算机指令,程序1410具体可以通过多条计算机指令使得处理器1402执行前述多个方法实施例中任一实施例所描述的时域滤波方法或者编码方法对应的操作。
[0189]
程序1410中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对应的描述,并具有相应的有益效果,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
[0190]
本技术实施例还提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述多个方法实施例中任一实施例所描述的方法。该计算机存储介质包括但不限于:只读光盘(compact disc read-only memory,cd-rom)、随机存储器(randomaccess memory,ram)、软盘、硬盘或磁光盘等。
[0191]
本技术实施例还提供了一种计算机程序产品,包括计算机指令,该计算机指令指示计算设备执行上述多个方法实施例中的任一方法对应的操作。
[0192]
此外,需要说明的是,本技术实施例所涉及到的与用户有关的信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于对模型进行训练的样本数据、用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
[0193]
需要指出,根据实施的需要,可将本技术实施例中描述的各个部件/步骤拆分为更多部件/步骤,也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤,以实现本技术实施例的目的。
[0194]
上述根据本技术实施例的方法可在硬件、固件中实现,或者被实现为可存储在记录介质(诸如cd-rom、ram、软盘、硬盘或磁光盘)中的软件或计算机代码,或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如专用集成电路(application specific integrated circuit,asic)或现场可编辑门阵列(field programmable gate array,fpga))的记录介质上的这样的软件处理。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如,随机存储器(random access memory,ram)、只读存储器(read-only memory,rom)、闪存等),当所述软件或计算机代码被计算机、处理器或硬件访
问且执行时,实现在此描述的方法。此外,当通用计算机访问用于实现在此示出的方法的代码时,代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。
[0195]
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术实施例的范围。
[0196]
以上实施方式仅用于说明本技术实施例,而并非对本技术实施例的限制,有关技术领域的普通技术人员,在不脱离本技术实施例的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本技术实施例的范畴,本技术实施例的专利保护范围应由权利要求限定。
技术特征:
1.一种时域滤波方法,包括:确定图像组中的待滤波图像帧;提取所述待滤波图像帧的相对运动特征;所述相对运动特征表征所述待滤波图像帧内的图像内容与图像组中其余图像帧图像内容的相对运动复杂程度;确定与所述相对运动特征对应的目标滤波强度,并采用所述目标滤波强度对所述待滤波图像帧进行时域滤波。2.根据权利要求1所述的方法,其中,所述提取所述待滤波图像帧的相对运动特征,包括:计算所述待滤波图像帧中包含的静止块总数量,作为所述待滤波图像帧的相对运动特征;所述静止块为相对运动复杂程度小于预设阈值的编码单元;所述确定与所述相对运动特征对应的目标滤波强度,包括:基于所述静止块总数量确定滤波增强系数;将所述滤波增强系数与标准滤波强度的乘积确定为目标滤波强度;其中,所述静止块总数量越大,所述滤波增强系数越大。3.根据权利要求2所述的方法,其中,所述计算所述待滤波图像帧中包含的静止块总数量,包括:确定所述待滤波图像帧中各编码单元对应的静止块个数;基于各编码单元对应的静止块个数进行求和操作,得到所述待滤波图像帧中包含的静止块总数量。4.根据权利要求3所述的方法,其中,所述确定所述待滤波图像帧中各编码单元对应的静止块个数,包括:确定与所述图像组的类型对应的帧间参考关系分布图;从所述帧间参考关系分布图中,确定以所述待滤波图像帧为终点的参考关系传播路径;在所述参考关系传播路径中,按照时域层从高到低的顺序,依次计算上层图像帧中各上层编码单元传递至下层图像帧中各下层编码单元的静止块个数,以得到所述待滤波图像帧中各编码单元对应的单路径静止块个数;对于所述待滤波图像帧中的同一编码单元,对该编码单元对应的各单路径静止块个数求和,得到待滤波图像帧中该编码单元对应的静止块个数。5.根据权利要求4所述的方法,其中,所述依次计算上层图像帧中各上层编码单元传递至下层图像帧中各下层编码单元的静止块个数,包括:针对上层图像帧中的各上层编码单元,判断该上层编码单元的帧间编码代价是否小于帧内编码代价;若是,基于该上层编码单元的帧间编码代价判断该上层编码单元是否进行静止块传播;若确定该上层编码单元进行静止块传播,则基于传递至该上层编码单元的静止块个数、该上层编码单元的位置以及该上层编码单元对应的运动矢量,在下层图像帧中确定目标下层编码单元及传递至各目标下层编码单元的静止块个数;针对下层图像帧中的各下层编码单元,对传递至该下层编码单元的静止块个数求和,
得到上层图像帧中各上层编码单元传递至该下层编码单元的静止块个数。6.根据权利要求5所述的方法,其中,所述基于该上层编码单元的帧间编码代价判断该上层编码单元是否进行静止块传播,包括:计算该上层编码单元内各像素点的方差;基于该上层编码单元的帧间编码代价和所述方差,确定该上层编码单元是否进行静止块传播。7.根据权利要求6所述的方法,其中,所述基于该上层编码单元的帧间编码代价和所述方差,确定该上层编码单元是否进行静止块传播,包括:计算该上层编码单元的帧间编码代价与所述方差的比值;若所述比值小于预设比值阈值,确定该上层编码单元进行静止块传播;若所述比值大于或者等于所述预设比值阈值,确定该上层编码单元不进行静止块传播。8.根据权利要求1所述的方法,其中,在所述确定图像组中的待滤波图像帧之后,所述方法还包括:从所述待滤波图像帧的各编码单元中确定属于感兴趣区域的感兴趣编码单元;所述采用所述目标滤波强度对所述待滤波图像帧进行时域滤波,包括:采用预设的兴趣滤波强度对所述待滤波图像帧中的感兴趣编码单元进行时域滤波;采用所述目标滤波强度对所述待滤波图像帧中的非感兴趣编码单元进行时域滤波。9.一种编码方法,包括:获取待编码的图像组;确定图像组中的待滤波图像帧;提取所述待滤波图像帧的相对运动特征;所述相对运动特征表征所述待滤波图像帧内的图像内容与图像组中其余图像帧图像内容的相对运动复杂程度;确定与所述相对运动特征对应的目标滤波强度,并采用所述目标滤波强度对所述待滤波图像帧进行时域滤波;对时域滤波操作得到的图像组编码,得到视频比特流。10.一种编码方法,包括:获取待编码的视频数据;确定编码过程所采用的图像组的尺寸,并确定所述图像组中的待滤波视频帧;提取所述待滤波视频帧的相对运动特征;所述相对运动特征表征所述待滤波视频帧内的图像内容与图像组中其余视频帧图像内容的相对运动复杂程度;确定与所述相对运动特征对应的目标滤波强度,并采用所述目标滤波强度对所述待滤波视频帧进行时域滤波;对时域滤波操作得到的图像组编码,得到视频比特流;将所述视频比特流发送至客户端设备,以使所述客户端设备解码所述视频比特流并播放视频画面。11.一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-10中任一项所述的方法对应的操作。
12.一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如权利要求1-10中任一所述的方法。13.一种计算机程序产品,包括计算机指令,所述计算机指令指示计算设备执行如权利要求1-10中任一所述方法对应的操作。
技术总结
本申请实施例提供了一种时域滤波方法、装置、电子设备及计算机存储介质。时域滤波方法,包括:缺定图像组中的待滤波图像帧;提取待滤波图像帧的相对运动特征;相对运动特征表征待滤波图像帧内的图像内容与图像组中其余图像帧图像内容的相对运动复杂程度;确定与相对运动特征对应的目标滤波强度,并采用目标滤波强度对待滤波图像帧进行时域滤波。对基于本申请实施例进行时域滤波后的图像帧进行编码,编码结果的率失真性能较好。结果的率失真性能较好。结果的率失真性能较好。
技术研发人员:徐升阳 陈建华 叶琰
受保护的技术使用者:阿里巴巴(中国)有限公司
技术研发日:2023.04.07
技术公布日:2023/7/21
版权声明
本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
飞行汽车 https://www.autovtol.com/
上一篇:油封装置及控制系统的制作方法 下一篇:一种混凝土浇筑设备的制作方法
