滤波网络的训练方法、视频编码方法、装置及电子设备与流程

1.本公开涉及人工智能技术领域，尤其涉及一种滤波网络的训练方法、视频编码方法、装置及电子设备。


背景技术：

2.随着互联网的飞速发展，视频数据量呈指数级增长，为了适应该增长造成的存储和传输压力，选择对视频进行编码压缩。相关技术中，一般选择传统滤波器或神经网络进行编码前的滤波处理，但传统滤波器的算法能力有限，且需要人工调整，不能自行优化；基于神经网络的滤波虽然可以自主学习优化，但是现有方式的训练中需要标注大量标签(像素级标签)，并且图像过滤中没有考虑图像对于视频整体编码的影响，存在标注成本高以及过滤学习不够精准导致视频整体编码效果不佳的问题。


技术实现要素：

3.本公开提供一种滤波网络的训练方法、视频编码方法、装置及电子设备，以至少解决相关技术中如何提升滤波网络的训练效率和精度的问题。本公开的技术方案如下：
4.根据本公开实施例的第一方面，提供一种滤波网络的训练方法，包括：
5.基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行滤波处理，得到至少一个所述样本图像帧各自对应的样本滤波图像；
6.将至少一个所述样本滤波图像输入可导编码器，进行图像编码和重建处理，得到所述多个样本图像帧各自对应的样本重建图像帧以及各自对应的样本码率；所述可导编码器是指用于编码和重建的各模块所使用的函数为可导的或者所述各模块为神经网络；
7.根据多个所述样本重建图像帧和所述多个样本图像帧，确定图像失真信息；
8.基于所述图像失真信息和多个所述样本码率，确定损失信息；
9.利用所述损失信息对所述初始滤波网络进行训练，直至满足损失条件，将所述满足损失条件时对应的初始滤波网络作为目标滤波网络。
10.在一种可能的实现方式中，所述多个样本图像帧包括样本参考图像帧和所述样本参考图像帧的相邻图像帧；所述样本滤波图像包括第一样本滤波图像；所述样本重建图像帧包括第一样本重建图像帧和第二样本重建图像帧；所述样本码率包括第一样本码率和第二样本码率；
11.所述基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行滤波处理，得到至少一个所述样本图像帧各自对应的样本滤波图像，包括：
12.将所述样本参考图像帧以及所述样本参考图像帧的相邻图像帧，输入所述初始滤波网络，对所述样本参考图像帧进行滤波处理，得到所述样本参考图像对应的第一样本滤波图像；
13.所述将至少一个所述样本滤波图像输入可导编码器，进行图像编码和重建处理，得到所述多个样本图像帧各自对应的样本重建图像帧以及各自对应的样本码率，包括：
14.将所述第一样本滤波图像输入所述可导编码器，对所述第一样本滤波图像进行编码和重建处理，得到第一样本重建图像帧以及第一样本码率；
15.将所述第一样本重建图像帧和所述相邻图像帧输入所述可导编码器，对所述相邻图像帧进行编码和重建处理，得到所述相邻图像帧各自对应的第二样本重建图像帧和第二样本码率。
16.在一种可能的实现方式中，所述可导编码器包括可导的运动估计网络、运动补偿网络、变换网络、量化网络、反量化网络、反变换网络、环路滤波网络以及熵编码网络；
17.所述将所述第一样本滤波图像输入所述可导编码器，对所述第一样本滤波图像进行编码和重建处理，得到第一样本重建图像帧以及第一样本码率，包括：
18.基于所述运动估计网络、所述运动补偿网络、所述变换网络和所述量化网络依次对所述第一样本滤波图像进行运动估计、运动补偿、变化编码和量化处理，得到图像量化数据；
19.将所述图像量化数据以及所述运动估计网络输出的运动矢量输入所述熵编码网络进行编码处理，得到所述第一样本码率；
20.利用所述反量化网络、所述反变换网络、所述运动补偿网络以及所述环路滤波网络对所述图像量化数据进行图像重建处理，得到所述第一样本重建图像帧。
21.在一种可能的实现方式中，所述将所述样本参考图像帧以及所述样本参考图像帧的相邻图像帧，输入所述初始滤波网络，对所述样本参考图像帧进行滤波处理，得到所述样本参考图像对应的第一样本滤波图像，包括：
22.对所述相邻图像帧进行运动补偿处理，得到目标相邻图像帧；
23.将所述样本参考图像帧以及所述目标相邻图像帧，输入所述初始滤波网络，对所述样本参考图像帧进行滤波处理，得到所述样本参考图像对应的第一样本滤波图像。
24.在一种可能的实现方式中，所述样本滤波图像包括第二样本滤波图像；所述基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行滤波处理，得到至少一个所述样本图像帧各自对应的样本滤波图像，包括：
25.将所述多个样本图像帧输入所述初始滤波网络，对所述多个样本图像帧进行滤波处理，得到所述多个样本图像帧各自对应的第二样本滤波图像；
26.所述将至少一个所述样本滤波图像输入可导编码器，进行图像编码和重建处理，得到所述多个样本图像帧各自对应的样本重建图像帧以及各自对应的样本码率，包括：
27.将多个所述第二样本滤波图像输入所述可导编码器，对多个所述第二样本滤波图像进行编码和重建处理，得到所述多个样本重建图像帧和所述多个样本码率。
28.在一种可能的实现方式中，所述基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行滤波处理，得到至少一个所述样本图像帧各自对应的样本滤波图像，包括：
29.基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行各自滤波权重的预测处理，得到所述至少一个所述样本图像帧各自对应的样本滤波权重；
30.根据所述样本滤波权重对所述至少一个所述样本图像帧进行加权处理，得到所述至少一个所述样本图像帧各自对应的样本滤波图像。
31.在一种可能的实现方式中，所述根据多个所述样本重建图像帧和所述多个样本图
像帧，确定图像失真信息，包括：
32.确定各样本图像帧与对应的样本重建图像帧之间的图像失真子信息；
33.基于所述多个样本图像帧各自对应的失真权重对多个所述图像失真子信息进行加权处理，得到所述图像失真信息。
34.在一种可能的实现方式中，所述基于所述图像失真信息和多个所述样本码率，确定损失信息，包括：
35.基于所述多个样本图像帧各自对应的码率权重对所述多个样本码率进行加权处理，得到样本联合码率；
36.对所述图像失真信息和所述样本联合码率进行加和处理，得到所述损失信息。
37.在一种可能的实现方式中，所述方法还包括：
38.获取多个样本图像；
39.将所述多个样本图像输入初始可导编码器进行图像编码和重建处理，得到多个样本重建图像和多个预测码率；
40.根据所述多个样本重建图像、所述多个样本图像以及所述多个预测码率，确定编码损失信息；
41.利用所述编码损失信息对所述初始可导编码器进行训练，直至满足损失条件，将所述满足损失条件时对应的初始可导编码器作为所述可导编码器。
42.在一种可能的实现方式中，所述样本滤波图像的分辨率低于所述样本图像帧的分辨率；所述根据多个所述样本重建图像帧和所述多个样本图像帧，确定图像失真信息之前，所述方法还包括：
43.对多个所述样本重建图像帧进行上采样处理，得到多个上采样图像；
44.所述根据多个所述样本重建图像帧和所述多个样本图像帧，确定图像失真信息，包括：
45.根据所述多个上采样图像和所述多个样本图像帧，确定所述图像失真信息。
46.在一种可能的实现方式中，所述对多个所述样本重建图像帧进行上采样处理，得到多个上采样图像，包括：
47.将多个所述样本重建图像帧输入预设上采样网络进行上采样处理，得到所述多个上采样图像；
48.所述方法还包括：利用所述损失信息对所述预设上采样网络进行训练，直至满足损失条件，将所述满足损失条件时对应的预设上采样网络作为目标上采样网络。
49.根据本公开实施例的第二方面，提供一种视频编码方法，包括：
50.基于目标滤波网络对待编码视频的多个待编码图像帧进行滤波处理，得到至少一个所述待编码图像帧各自对应的目标滤波图像；
51.将所述目标滤波图像输入目标编码器进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据；
52.其中，所述目标滤波网络为根据所述权利要求1-9任一项所述方法训练得到的。
53.在一种可能的实现方式中，所述多个待编码图像帧包括目标参考图像帧和所述目标参考图像帧在时域上相邻的相邻图像帧；所述基于目标滤波网络对待编码视频的多个待编码图像帧进行滤波处理，得到至少一个所述待编码图像帧各自对应的目标滤波图像，包
括：
54.将所述目标参考图像帧和所述目标参考图像帧在时域上相邻的相邻图像帧，输入所述目标滤波网络，对所述目标参考图像帧进行滤波处理，得到所述目标参考图像帧对应的第一滤波图像；
55.相应地，所述将所述目标滤波图像输入目标编码器进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据，包括：
56.将所述第一滤波图像和所述目标参考图像帧在时域上相邻的相邻图像帧输入所述目标编码器，进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据。
57.在一种可能的实现方式中，在所述基于目标滤波网络对待编码视频的多个待编码图像帧进行滤波处理，得到至少一个所述待编码图像帧各自对应的目标滤波图像步骤之前，所述方法还包括：
58.获取所述待编码视频中多个待编码的初始图像帧；
59.将所述初始图像帧输入滤波器进行滤波处理，得到所述多个待编码图像帧。
60.在一种可能的实现方式中，在所述基于目标滤波网络对待编码视频的多个待编码图像帧进行滤波处理，得到至少一个所述待编码图像帧各自对应的目标滤波图像步骤之后，所述方法还包括：
61.将所述目标滤波图像输入滤波器进行滤波处理，得到二次滤波图像；
62.所述将所述目标滤波图像输入目标编码器进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据，包括：
63.将所述二次滤波图像输入所述目标编码器进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据。
64.在一种可能的实现方式中，所述目标滤波图像的分辨率低于所述待编码图像帧的分辨率；所述方法还包括：
65.将所述编码图像数据输入目标上采样网络进行上采样处理，得到目标编码数据；所述目标上采样网络为根据所述权利要求11所述方法训练得到的。
66.根据本公开实施例的第三方面，提供一种滤波网络的训练装置，包括：
67.第一滤波模块，被配置为执行基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行滤波处理，得到至少一个所述样本图像帧各自对应的样本滤波图像；
68.编码重建模块，被配置为执行将至少一个所述样本滤波图像输入可导编码器，进行图像编码和重建处理，得到所述多个样本图像帧各自对应的样本重建图像帧以及各自对应的样本码率；所述可导编码器是指用于编码和重建的各模块所使用的函数为可导的或者所述各模块为神经网络；
69.图像失真信息确定模块，被配置为执行根据多个所述样本重建图像帧和所述多个样本图像帧，确定图像失真信息；
70.损失确定模块，被配置为执行基于所述图像失真信息和多个所述样本码率，确定损失信息；
71.训练模块，被配置为执行利用所述损失信息对所述初始滤波网络进行训练，直至满足损失条件，将所述满足损失条件时对应的初始滤波网络作为目标滤波网络。
72.在一种可能的实现方式中，所述多个样本图像帧包括样本参考图像帧和所述样本
参考图像帧的相邻图像帧；所述样本滤波图像包括第一样本滤波图像；所述样本重建图像帧包括第一样本重建图像帧和第二样本重建图像帧；所述样本码率包括第一样本码率和第二样本码率；
73.所述第一滤波模块包括：
74.第一滤波单元，被配置为执行将所述样本参考图像帧以及所述样本参考图像帧的相邻图像帧，输入所述初始滤波网络，对所述样本参考图像帧进行滤波处理，得到所述样本参考图像对应的第一样本滤波图像；
75.相应地，所述编码重建模块包括：
76.参考帧编码重建单元，被配置为执行将所述第一样本滤波图像输入所述可导编码器，对所述第一样本滤波图像进行编码和重建处理，得到第一样本重建图像帧以及第一样本码率；
77.相邻帧编码重建单元，被配置为执行将所述第一样本重建图像帧和所述相邻图像帧输入所述可导编码器，对所述相邻图像帧进行编码和重建处理，得到所述相邻图像帧各自对应的第二样本重建图像帧和第二样本码率。
78.在一种可能的实现方式中，所述可导编码器包括可导的运动估计网络、运动补偿网络、变换网络、量化网络、反量化网络、反变换网络、环路滤波网络以及熵编码网络；
79.所述参考帧编码重建单元包括：
80.图像量化数据获取子单元，被配置为执行基于所述运动估计网络、所述运动补偿网络、所述变换网络和所述量化网络依次对所述第一样本滤波图像进行运动估计、运动补偿、变化编码和量化处理，得到图像量化数据；
81.第一样本码率获取子单元，被配置为执行将所述图像量化数据以及所述运动估计网络输出的运动矢量输入所述熵编码网络进行编码处理，得到所述第一样本码率；
82.第一样本重建图像帧获取子单元，被配置为执行利用所述反量化网络、所述反变换网络、所述运动补偿网络以及所述环路滤波网络对所述图像量化数据进行图像重建处理，得到所述第一样本重建图像帧。
83.在一种可能的实现方式中，所述第一滤波单元包括：
84.运动补偿子单元，被配置为执行对所述相邻图像帧进行运动补偿处理，得到目标相邻图像帧；
85.滤波处理子单元，被配置为执行将所述样本参考图像帧以及所述目标相邻图像帧，输入所述初始滤波网络，对所述样本参考图像帧进行滤波处理，得到所述样本参考图像对应的第一样本滤波图像。
86.在一种可能的实现方式中，所述第一滤波模块包括：
87.第二滤波单元，被配置为执行将所述多个样本图像帧输入所述初始滤波网络，对所述多个样本图像帧进行滤波处理，得到所述多个样本图像帧各自对应的第二样本滤波图像；
88.相应地，所述编码重建模块包括：
89.编码重建单元，被配置为执行将多个所述第二样本滤波图像输入所述可导编码器，对多个所述第二样本滤波图像进行编码和重建处理，得到所述多个样本重建图像帧和所述多个样本码率。
90.在一种可能的实现方式中，所述第一滤波模块包括：
91.滤波权重预测单元，被配置为执行基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行各自滤波权重的预测处理，得到所述至少一个所述样本图像帧各自对应的样本滤波权重；
92.滤波单元，被配置为执行根据所述样本滤波权重对所述至少一个所述样本图像帧进行加权处理，得到所述至少一个所述样本图像帧各自对应的样本滤波图像。
93.在一种可能的实现方式中，所述图像失真信息确定模块包括：
94.图像失真子信息确定单元，被配置为执行确定各样本图像帧与对应的样本重建图像帧之间的图像失真子信息；
95.图像失真加权单元，被配置为执行基于所述多个样本图像帧各自对应的失真权重对多个所述图像失真子信息进行加权处理，得到所述图像失真信息。
96.在一种可能的实现方式中，所述损失确定模块包括：
97.样本联合码率获取单元，被配置为执行基于所述多个样本图像帧各自对应的码率权重对所述多个样本码率进行加权处理，得到样本联合码率；
98.损失信息获取单元，被配置为执行对所述图像失真信息和所述样本联合码率进行加和处理，得到所述损失信息。
99.在一种可能的实现方式中，所述装置还包括：
100.样本图像获取模块，被配置为执行获取多个样本图像；
101.编码预测模块，被配置为执行将所述多个样本图像输入初始可导编码器进行图像编码和重建处理，得到多个样本重建图像和多个预测码率；
102.编码损失信息确定模块，被配置为执行根据所述多个样本重建图像、所述多个样本图像以及所述多个预测码率，确定编码损失信息；
103.可导编码器的迭代训练模块，被配置为执行利用所述编码损失信息对所述初始可导编码器进行训练，直至满足损失条件，将所述满足损失条件时对应的初始可导编码器作为所述可导编码器。
104.在一种可能的实现方式中，所述样本滤波图像的分辨率低于所述样本图像帧的分辨率；所述装置还包括：
105.第一上采样模块，被配置为执行对多个所述样本重建图像帧进行上采样处理，得到多个上采样图像；
106.所述图像失真信息确定模块，还被配置为执行根据所述多个上采样图像和所述多个样本图像帧，确定所述图像失真信息。
107.在一种可能的实现方式中，所述第一上采样模块包括：
108.上采样单元，被配置为执行将多个所述样本重建图像帧输入预设上采样网络进行上采样处理，得到所述多个上采样图像；
109.所述装置还包括：
110.上采样网络训练模块，被配置为执行利用所述损失信息对所述预设上采样网络进行训练，直至满足损失条件，将所述满足损失条件时对应的预设上采样网络作为目标上采样网络。
111.根据本公开实施例的第四方面，提供一种视频编码装置，包括：
112.第二滤波模块，被配置为执行基于目标滤波网络对待编码视频的多个待编码图像帧进行滤波处理，得到至少一个所述待编码图像帧各自对应的目标滤波图像；
113.编码模块，被配置为执行将所述目标滤波图像输入目标编码器进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据；
114.其中，所述目标滤波网络为根据上述第一方面所述的方法训练得到的。
115.在一种可能的实现方式中，所述多个待编码图像帧包括目标参考图像帧和所述目标参考图像帧在时域上相邻的相邻图像帧；所述第二滤波模块包括：
116.第一滤波图像获取单元，被配置为执行将所述目标参考图像帧和所述目标参考图像帧在时域上相邻的相邻图像帧，输入所述目标滤波网络，对所述目标参考图像帧进行滤波处理，得到所述目标参考图像帧对应的第一滤波图像；
117.相应地，所述编码模块包括：
118.第一编码单元，被配置为执行将所述第一滤波图像和所述目标参考图像帧在时域上相邻的相邻图像帧输入所述目标编码器，进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据。
119.在一种可能的实现方式中，所述装置还包括：
120.初始图像帧获取模块，被配置为执行获取所述待编码视频中多个待编码的初始图像帧；
121.待编码图像帧获取模块，被配置为执行将所述初始图像帧输入滤波器进行滤波处理，得到所述多个待编码图像帧。
122.在一种可能的实现方式中，所述装置还包括：
123.二次滤波模块，被配置为执行将所述目标滤波图像输入滤波器进行滤波处理，得到二次滤波图像；
124.所述编码模块包括：
125.第二编码单元，被配置为执行将所述二次滤波图像输入所述目标编码器进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据。
126.在一种可能的实现方式中，所述目标滤波图像的分辨率低于所述待编码图像帧的分辨率；所述装置还包括：
127.第二上采样模块，被配置为执行上采样将所述编码图像数据输入目标上采样网络进行上采样处理，得到目标编码数据；所述目标上采样网络为上述第三方面中训练得到的目标上采样网络。
128.根据本公开实施例的第五方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述第一方面中任一项所述的方法。
129.根据本公开实施例的第六方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例的第一方面中任一所述的方法。
130.根据本公开实施例的第七方面，提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时，使得计算机执行本公开实施例的第一方面中任一项所述的方法。
131.本公开的实施例提供的技术方案至少带来以下有益效果：
132.通过设置初始滤波网络的输入为时域上相关的多个样本图像帧，并且结合可导编码器对滤波后图像进行编码和重建处理，得到多个样本图像帧各自对应的样本重建图像帧以及各自对应的样本码率，从而利用多帧的图像失真信息和多个样本码率得到损失信息，使得损失信息能够有效表征初始滤波网络的滤波能力在后续编码重建中的表现，进而可以更好地指导初始滤波网络的学习，使得训练得到的目标滤波网络能够更加高效精准的进行滤波，从而可以提升视频的整体编码效率和质量；另外，这种使用可导编码器训练初始滤波网络的方式，可以实现无监督、端到端地对初始滤波网络进行优化，不需要标注滤波过程中的像素级标签，节省资源，也进一步提升了训练效率。
133.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
134.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
135.图1是根据一示例性实施例示出的一种应用环境的示意图。
136.图2是根据一示例性实施例示出的一种滤波网络的训练方法的流程图。
137.图3是根据一示例性实施例示出的一种滤波网络的训练流程架构图。
138.图4是根据一示例性实施例示出的一种可导编码器的结构示意图。
139.图5是根据一示例性实施例示出的另一种滤波网络的训练流程架构图。
140.图6是根据一示例性实施例示出的一种视频编码的流程示意图。
141.图7是根据一示例性实施例示出的一种视频编码中两次滤波的结构示意图。
142.图8是根据一示例性实施例示出的另一种视频编码中两次滤波的结构示意图。
143.图9是根据一示例性实施例示出的一种滤波网络和上采样网络的联合训练流程示意图。
144.图10是根据一示例性实施例示出的一种滤波前后分辨率变化情况下的编码流程示意图。
145.图11是根据一示例性实施例示出的一种滤波网络的训练装置框图。
146.图12是根据一示例性实施例示出的一种用于视频编码的电子设备的框图。
147.图13是根据一示例性实施例示出的一种用于滤波网络的训练的电子设备的框图。
具体实施方式
148.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
149.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面
相一致的装置和方法的例子。
150.人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
151.近年来，随着人工智能技术研究和进步，人工智能技术在多个领域得到广泛应用，本技术实施例提供的方案涉及机器学习/深度学习等技术，具体通过如下实施例进行说明。
152.请参阅图1，图1是根据一示例性实施例示出的一种应用环境的示意图，如图1所示，该应用环境可以包括服务器01和终端02。
153.在一个可选的实施例中，服务器01可以用于滤波网络的训练处理。具体的，服务器01可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
154.在一个可选的实施例中，终端02可以用于视频编码和传输。具体的，终端02可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、智能可穿戴设备等类型的电子设备。可选的，电子设备上运行的操作系统可以包括但不限于安卓系统、ios系统、linux、windows等。
155.此外，需要说明的是，图1所示的仅仅是本公开提供的视频编码中滤波网络的训练方法和视频编码方法的一种应用环境。可选地，训练方法和视频编码方法均可以由服务器01执行，本公开对此不作限定。
156.本说明书实施例中，上述服务器01以及终端02可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。
157.需要说明的是，以下图中示出的是一种可能的步骤顺序，实际上并不限定必须严格按照此顺序。有些步骤可以在互不依赖的情况下并行执行。本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息、用户行为信息等)和数据(包括但不限于用于展示的数据、训练的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
158.在介绍本技术提供的方法实施例之前，先对本技术方法实施例中可能涉及的应用场景、相关术语或者名词进行简要介绍，以便于本技术领域技术人员理解。
159.dnn(deep neural network)，深度神经网络。
160.cnn(convolutional neural network)，卷积神经网络。
161.qp(quantization parameter)，量化系数。
162.mse(mean of square error)，均方误差。
163.ssim(structural similarity index)，结构相似性指标。
164.vmaf(video multimethod assessment fusion)，视频质量的多方法融合评价。
165.mc(motion compensation)，运动补偿。
166.me(motion estimation)，运动估计。
167.mv(motion vector)，运动矢量。
168.dct(discrete cosine transform)，离散余弦变换。
169.dst(the discrete cosine transform)，整数离散正弦变换。
170.hevc(high efficiency video coding)，高效视频编码。
171.图2是根据一示例性实施例示出的一种滤波网络的训练方法的流程图。如图2所示，可以包括以下步骤。
172.在步骤s201中，基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行滤波处理，得到至少一个样本图像帧各自对应的样本滤波图像。
173.本说明书实施例中，初始滤波网络可以是指用于训练的深度神经网络dnn，该初始滤波网络的模型参数可以是初始化的，本公开中的初始滤波网络、预设上采样网络等网络可以是指神经网络。样本视频可以是从海量视频中筛选出来的多个视频，本公开对筛选方式不作限定。在时域上相关的多个样本图像帧可以是指在时域上相邻的样本图像帧；或者是指在时域上相邻的样本图像帧中去掉冗余图像帧的样本图像帧，例如，样本视频中帧号为1～8的图像帧，其中，第6和7帧存在大量冗余，比如处于静止状态，这样可以去掉6和7中的一帧，组成多个样本图像帧。或者，可以是基于样本参考图像帧选择的多个样本图像帧，比如，选择样本参考图像帧以及该样本参考图像帧前后相邻的多个相邻图像帧，作为多个样本图像帧。本公开对此不作限定。作为一个示例，样本滤波图像的分辨率可以与滤波前的样本图像帧的分辨率相同或不同，本技术不作限定。
174.在步骤s203中，将至少一个样本滤波图像输入可导编码器，进行图像编码和重建处理，得到多个样本图像帧各自对应的样本重建图像帧以及各自对应的样本码率；该可导编码器是指用于编码和重建的各模块所使用的函数为可导的或者各模块为神经网络，这样使得后续能够基于损失信息进行梯度回传来调整模型参数。
175.在一种可能的实现方式中，考虑滤波与编码中参考帧的关系，选择将滤波与可导编码器进行融合，也就是说，在滤波时就考虑后续编码中帧编码与参考帧的相关性，因此可以设置不仅输入是多帧，并且设置这多帧中包括参考帧。即多个样本图像帧可以是基于样本视频中的样本参考图像帧选择出来的，基于此，多个样本图像帧可以包括样本参考图像帧和样本参考图像帧的相邻图像帧，这里的相邻是指时域上的相邻。相应地，样本滤波图像可以为第一样本滤波图像，即至少一个样本图像帧各自对应的样本滤波图像是指样本参考图像帧对应的第一样本滤波图像。样本重建图像帧可以包括第一样本重建图像帧和第二样本重建图像帧；样本码率可以包括第一样本码率和第二样本码率。其中，样本视频中的样本参考图像帧可以是预先设定的，比如预先设置帧号为8的倍数对应的图像帧为样本参考图像帧，例如第8帧、第16帧、第24帧等。或者，样本视频中的样本参考图像帧可以基于预处理得到，比如可以对样本视频中的各图像帧进行粗编码，从而可以比较粗编码后的编码结果，选择编码结果较佳的图像帧作为样本参考图像帧。本技术对于一个视频在编码中的参考图像帧的选择方式不作限定。
176.相应地，如图3所示，上述步骤s201可以包括：将样本参考图像帧以及样本参考图像帧的相邻图像帧，输入初始滤波网络，对样本参考图像帧进行滤波处理，得到样本参考图像对应的第一样本滤波图像。也就是基于样本参考图像帧在时域上相邻的相邻图像帧对样本参考图像帧进行滤波处理，考虑了滤波中相邻图像帧的时域相关性，能够有效过滤掉后续不利于编码处理的信息。其中，样本参考图像帧的相邻图像帧可以包括样本参考图像帧
之前的m帧：i
t-1
，
…
，i
t-m
，以及样本参考图像帧之后的n帧：i
t+1
，
…
，i
t+n
。n和m可以是大于或等于1的正整数，n与m的关系可以相同或不相同，本公开对此不作限定。需要说明的是，在样本参考图像帧之前的帧的数量小于m或样本参考图像帧之后的帧的数量小于n，则可以允许样本参考图像帧的相邻图像帧的数量小于n+m，即在这种情况下，获取相邻图像帧时，可以获取样本参考图像帧之前的所有图像帧或样本参考图像帧之后的所有图像帧。
177.在上述初始滤波网络的输入为样本参考图像帧以及样本参考图像帧的相邻图像帧的情况下，相应地，上述步骤s203可以包括：将第一样本滤波图像输入可导编码器，对第一样本滤波图像进行编码和重建处理，得到第一样本重建图像帧以及第一样本码率。该第一样本重建图像帧可以是指对第一样本滤波图像进行变换编码和量化后的量化图像数据进行逆向解码得到的。也就是说，可导编码器具有图像编码功能和图像解码功能(图像重建功能)。
178.进一步地，可以将第一样本重建图像帧和相邻图像帧输入可导编码器，对相邻图像帧进行编码和重建处理，得到相邻图像帧各自对应的第二样本重建图像帧和第二样本码率。参见图3的虚线部分，得到第一样本重建图像帧之后，可以依次将第一样本重建图像帧和各相邻图像帧输入可导编码器中，依次对各相邻图像帧进行编码和重建处理，得到各相邻图像帧对应的第二样本重建图像帧和第二样本码率。这样，第一样本码率和第二样本码率可以组成多个样本码率；第一样本重建图像帧和第二样本重建图像帧可以组成多个样本重建图像帧。
179.可选地，上述在执行步骤s203之前，可以将样本滤波图像和样本图像帧进行融合处理后，得到融合滤波图像。相应地，步骤s203可以替换为：将融合滤波图像输入可导编码器进行图像编码和重建处理，得到多个样本重建图像以及各自对应的样本码率。也就是说，输入可导编码器前可以将样本滤波图像与对应的样本图像帧进行融合处理后再输入到可导编码器。对于具有样本参考图像帧的情况下，也可以相应进行这样的融合处理，在此不再赘述。作为一个示例，这里的融合处理可以是指图像加权处理，本公开对此不作限定。
180.通过设置样本参考图像帧，在滤波阶段进行样本参考图像帧的过滤，不需要对所有图像帧均进行过滤处理，可以降低滤波的图像帧数；并且在样本参考图像帧的过滤中，考虑样本参考图像帧在时域上相邻的相邻图像帧，使得样本图像帧的过滤能够更加符合后续编码的需求，实现滤波与编码的有效融合，既能提升编码效率，又可以提升编码效果；也就是说，通过样本参考图像帧和样本参考图像帧的相邻图像帧作为训练样本，使得训练得到的目标滤波网络能够更加精准的进行图像滤波处理，能够更有效地为后续视频整体编码服务，提升视频编码的整体效率和质量。
181.参照图4，在一个示例中，可导编码器中用于编码和重建的各模块可以是神经网络，在此情况下，可导编码器的结构可以如图4所示，可导编码器可以包括可导的运动估计网络me、运动补偿网络mc、变换网络、量化网络、反量化网络、反变换网络、环路滤波网络以及熵编码网络。可选地，如图4所示，还可以包括解码图像帧缓存模块，以用于存储解码图像帧。相应地，将第一样本滤波图像输入可导编码器，对第一样本滤波图像进行编码和重建处理，得到第一样本重建图像帧以及第一样本码率步骤可以包括：基于运动估计网络、运动补偿网络、变换网络和量化网络依次对第一样本滤波图像进行运动估计、运动补偿、变化编码和量化处理，得到图像量化数据；从而可以将图像量化数据以及运动估计网络输出的运动
矢量输入熵编码网络进行编码处理，得到第一样本码率。并且，可以利用反量化网络、反变换网络、运动补偿网络以及环路滤波网络对图像量化数据进行图像重建处理，得到第一样本重建图像帧。
182.具体地，参见图4，可以将第一样本滤波图像输入运动估计网络me，进行运动估计，得到运动矢量mv。将mv作为mc的输入，进行运动补偿处理，得到预测图像。从而可以将第一样本滤波图像与预测图像进行作差处理，得到残差图像。进而可以利用变换网络对残差图像进行变换编码处理，得到变换编码数据；进一步地，可以将变换编码数据输入量化网络利用量化系数qp对变换编码数据进行量化处理，得到量化后的变换编码数据，即图像量化数据。在此基础上，可以将图像量化数据和mv输入熵编码网络进行熵编码处理，得到第一样本码率。
183.相应地，可以对量化后的变换编码数据进行反量化和反变换等逆操作，得到反变换后的残差图像，并可以基于mc对mv进行处理所输出的预测图像和反变换后的残差图像，进行加和处理，得到初始重建图像。在此基础上，可以将初始重建图像输入环路滤波网络进行滤波处理，得到第一样本重建图像帧。
184.需要说明的是，图4虚线中标识的解码可以是指可导编码器中用于解码的结构，其中的mc可以看作是编码和解码共用的网络，也就是说，解码中得到的是mv，所以需要mc进行处理以得到预测图像。可选地，解码也可以得到的是mc输出的预测图像，基于此，图4虚线中标识的解码结构示意图不对本公开进行限定。在上述介绍基础上，重建过程可以基于解码结构实现，因此可以将可导编码器称为可导的编解码器。
185.其中，该第一样本重建图像帧可以存储在解码图像帧缓存模块中，并可以作为可导编码器的输出。通过利用可导的函数或神经网络近似传统编码器，使得编码器能够可导，这样能够实现梯度回传，以自主优化滤波网络的参数；并且本公开中可导编码器的结构简单，使得编码处理更加高效。
186.作为一个示例，可导编码器中的各模块可以基于hevc中的各模块的函数来设置。例如，运动补偿mc可以利用神经网络实现一套与hevc一致的8抽头插值滤波器或者4抽头插值滤波器，使mc可导。变换和反变换网络的可导的变换函数可以为hevc中块级dct或dst等变换函数。量化网络的功能可以根据量化参数对所有变换系数进行均匀标量量化，与hevc的标量量化一致。环路滤波网络可以使用cnn网络进行滤波。熵编码网络可以使用上下文模型对所有量化后的变换系数进行概率建模及熵编码，与hevc的基于上下文的自适应二进制算术编码算法近似。本公开对可导编码器中各模块的具体可导函数或神经网络不作限定。
187.在一种可选地的实施方式中，上述可导编码器可以是预先训练好、并固定参数后用于滤波网络的训练。基于此，可导编码器的训练过程可以包括以下步骤：获取多个样本图像，例如可以获取训练样本视频中的图像作为多个样本图像；进一步地，可以将多个样本图像输入初始可导编码器进行图像编码和重建处理，得到多个样本重建图像和多个预测码率；根据多个样本重建图像、多个样本图像以及多个预测码率，确定编码损失信息；从而可以利用编码损失信息对初始可导编码器进行训练，直至满足损失条件，将满足损失条件时对应的初始可导编码器作为可导编码器。其中，损失条件可以是损失阈值，本公开对此不作限定。
188.具体地，利用编码损失信息对初始可导编码器进行训练可以包括利用编码损失信
息计算梯度，并使用梯度回传方式调整可导编码器中各网络的参数；这样不断迭代，直至损失信息满足损失条件，将满足损失条件时对应的初始可导编码器作为可导编码器。
189.需要说明的是，可导编码器训练过程中对于输入样本图像的处理过程和输出可以参见上述图4的相关介绍，在此不再赘述。
190.在可导编码器的训练过程中，例如输入样本图像为i，经过可导编码器后，输出的样本重建图像计算失真的函数为l()，可导编码器输出的码率为ri，即预测码率可以利用ri表示。并可以给定一个超参λ1控制可导编码器的码率点，优化整个可导编码器的模型参数，使得如下loss函数最小：
[0191][0192]
其中，loss表示编码损失信息；函数l()可以为mse、ssim、vmaf等质量评价函数等中的一种；λ1可以基于压缩需求设置，压缩需求越高，即压缩率越低，也即压缩后越小，可以设置λ1越大。在一个示例中，λ1的取值可以为10～200。
[0193]
可选地，完成可导编码器的训练后，将可导编码器模型参数固定，用于后续滤波网络的训练。
[0194]
在一种可选地实施方式中，参照图5，可以对相邻图像帧进行运动补偿后，再输入到初始滤波网络，这样可以提升样本参考图像帧的过滤效率和精准度。基于此，上述将样本参考图像帧以及样本参考图像帧的相邻图像帧，输入初始滤波网络，对样本参考图像帧进行滤波处理，得到样本参考图像对应的第一样本滤波图像，可以包括：对相邻图像帧进行运动补偿处理，得到目标相邻图像帧；从而可以将样本参考图像帧以及目标相邻图像帧，输入初始滤波网络，对样本参考图像帧进行滤波处理，得到样本参考图像对应的第一样本滤波图像。
[0195]
参照图5所示，对于训练数据中待滤波的当前帧i
t
(即样本视频中的样本参考图像帧)，可以将与当前帧i
t
相邻的前面m帧i
t-1
，
…
，i
t-m
及相邻的后面n帧i
t+1
，
…
，i
t+n
进行运动补偿，再将当前帧i
t
与相邻帧运动补偿后的m+n帧(即目标相邻图像帧)一起输入待训练的初始滤波网络中，由初始滤波网络推理出当前帧的时域滤波结果i
′
t
，即第一样本滤波图像；
[0196]
进一步地，可以将时域滤波结果i
′
t
输入预训练好的可导编码器中，编码得到重建帧及编码码率r
t
，即得到第一样本重建图像帧和第一样本码率。
[0197]
然后，可以将当前帧的重建帧作为相邻帧i
t-1
，
…
，i
t-m
，i
t+1
，
…
，i
t+n
编码的参考帧，依次利用预训练好的可导编码器编码相邻帧i
t-1
，
…
，i
t-m
，i
t+1
，
…
，i
t+n
，编码得到相应的重建帧及编码码率r
t-1
，
…
，r
t-m
，r
t+1
，
…
，r
t+m
，即得到第二样本重建图像帧和第二样本码率。
[0198]
在步骤s205中，根据多个样本重建图像帧和多个样本图像帧，确定图像失真信息。
[0199]
本说明书实施例中，可以基于多帧图像的失真来确定图像失真信息，例如可以确定多个样本重建图像帧和多个样本图像帧的失真平均值，作为图像失真信息。
[0200]
在一种可能的实现方式中，根据多个样本重建图像帧和多个样本图像帧，确定图像失真信息，可以包括：确定各样本图像帧与对应的样本重建图像帧之间的图像失真子信息；并可以基于多个样本图像帧各自对应的失真权重对多个图像失真子信息进行加权处
理，得到图像失真信息。图像失真信息可以用d表示，以图5为例，即以上述i
t
和n+m个相邻图像帧为例，d的计算具体可以如下：
[0201][0202]
其中，ωi为第i个样本图像帧的失真对损失信息loss的权重，即失真权重；ii为第i个样本图像帧；为第i个样本图像帧对应的样本重建图像帧，即第i个样本重建图像帧；l()为计算失真的函数，例如可以是mse、ssim、vmaf等函数中的一个；表示第i个样本图像帧与对应的样本重建图像帧之间的图像失真子信息。
[0203]
在步骤s207中，基于图像失真信息和多个样本码率，确定损失信息。
[0204]
本说明书实施例中，可以使用预设率失真损失函数对图像失真信息和多个样本码率进行损失计算，得到损失信息。本公开对预设率失真损失函数不作限定。
[0205]
在一种可能的实现方式中，基于图像失真信息和多个样本码率，确定损失信息，可以包括：基于多个样本图像帧各自对应的码率权重对多个样本码率进行加权处理，得到样本联合码率；从而可以对图像失真信息和样本联合码率进行加和处理，得到损失信息。
[0206]
以图5为例，样本联合码率r可以通过下面公式计算得到：
[0207][0208]
其中，αi为第i个样本图像帧的样本码率对损失信息loss的权重；ri为第i个样本图像帧的样本码率，样本码率可以包括第一样本码率和第二样本码率。
[0209]
进一步地，损失信息loss可以通过下面公式计算得到：
[0210]
loss＝d+λr
[0211]
其中，λ可以为控制码率点的超参，该λ可以基于压缩需求设置，压缩需求越高，即压缩率越低，也即压缩后越小，可以设置λ越大。在一个示例中，λ的取值可以为10～200。
[0212]
在步骤s209中，利用损失信息对初始滤波网络进行训练，直至满足损失条件，将满足损失条件时对应的初始滤波网络作为目标滤波网络。
[0213]
需要说明的是，初始滤波网络的训练过程中，可导编码器的参数固定。即初始滤波网络的训练过程中，不改变预训练好的可导编码器的参数，只通过梯度下降方法最小化多帧联合率失真代价损失函数loss(即上述损失信息loss)来优化初始滤波网络的模型参数，从而实现了无监督方式端到端优化编码中的初始滤波网络。其中，训练以优化初始滤波网络的模型参数，可以基于损失信息计算梯度，然后利用梯度下降法进行梯度回传以调整初始滤波网络的模型参数，完成一次迭代。重复上述过程，直至损失信息满足损失条件，则可以将满足损失条件时对应的初始滤波网络作为目标滤波网络。其中，在下一次迭代中使用的是上一次迭代进行模型参数更新后的初始滤波网络。
[0214]
通过设置初始滤波网络的输入为时域上相关的多个样本图像帧，并且结合可导编码器对滤波后图像进行编码和重建处理，得到多个样本图像帧各自对应的样本重建图像帧以及各自对应的样本码率，从而利用多帧的图像失真信息和多个样本码率得到损失信息，使得损失信息能够有效表征初始滤波网络的滤波能力在后续编码重建中的表现，进而可以
更好地指导初始滤波网络的学习，使得训练得到的目标滤波网络能够更加高效精准的进行滤波，从而可以提升视频的整体编码效率和质量；例如，单帧输入进行滤波处理时，比如对于一些高频的纹理等噪声可能直接被过滤掉了，但是利用本公开的方案，由于在过滤中考虑了时域相邻帧之间的相关性，对于一些高频的纹理等噪声，在相邻帧也有这个纹理时会选择保留，而不进行去噪，这样更有利于后续编码处理，提升编码效率和编码效果；
[0215]
另外，这种使用可导编码器训练初始滤波网络的方式，可以实现无监督、端到端地对初始滤波网络进行优化，不需要标注滤波过程中的像素级标签，节省资源，也进一步提升了训练效率。
[0216]
在另一种可能的实现方式中，上述初始滤波网络可以是多输入和多输出的方式，即多个样本图像帧不包括样本参考图像帧的情况。基于此，样本滤波图像可以包括第二样本滤波图像。相应地，基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行滤波处理，得到至少一个样本图像帧各自对应的样本滤波图像，可以包括：将多个样本图像帧输入初始滤波网络，对多个样本图像帧进行滤波处理，得到多个样本图像帧各自对应的第二样本滤波图像。
[0217]
在上述多输入多输出基础上，相应地，将至少一个样本滤波图像输入可导编码器，进行图像编码和重建处理，得到多个样本图像帧各自对应的样本重建图像帧以及各自对应的样本码率，可以包括：将多个第二样本滤波图像输入可导编码器，对多个第二样本滤波图像进行编码处理，得到多个样本重建图像帧和多个样本码率。这里各第二样本滤波图像在可导编码器中的编码和重建可以参照样本参考图像帧输入可导编码器中的处理过程，即不需要参考图像帧的编码重建过程，在此不再赘述。这种多输入多输出的方式也考虑了图像帧的时域相关性，可以提升滤波效率和滤波效果。
[0218]
上述的初始滤波网络输出的是滤波后的像素结果，在另一种可能的实现方式中，初始滤波网络的输出也可以是滤波权重，然后使用滤波权重再与样本图像加权得到滤波图像。基于此，上述基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行滤波处理，得到至少一个所述样本图像帧各自对应的样本滤波图像，可以包括：基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行各自滤波权重的预测处理，得到至少一个样本图像帧各自对应的样本滤波权重；并可以根据样本滤波权重对至少一个样本图像帧进行加权处理，得到至少一个样本图像帧各自对应的样本滤波图像。这里的至少一个样本图像帧可以按照上述多输入多输出或多输入一输出来确定，多输入一输出是指有样本参考图像帧的情况，这时的至少一个样本图像帧各自对应的样本滤波权重，可以是指样本参考图像帧对应的样本滤波权重，相应地，可以得到样本参考图像帧对应的第一样本滤波图像。多输入多输出是指没有指定样本参考图像帧的情况，这时的至少一个样本图像帧各自对应的样本滤波权重，可以是指多个样本图像帧各自对应的样本滤波权重。相应地，可以得到多个样本图像帧各自对应的第二样本滤波图像。通过对滤波权重的学习，可以提升训练效率。
[0219]
在上述训练得到目标滤波网络后，可以进行线上应用，即可以利用上述训练方法得到的目标滤波网络进行视频编码。在此基础上，本公开还提供了一种视频编码方法，可以包括：
[0220]
基于目标滤波网络对待编码视频的多个待编码图像帧进行滤波处理，得到至少一
个待编码图像帧各自对应的目标滤波图像。该步骤的处理过程可以参见上述步骤s201的相关内容，在此不再赘述。其中，目标滤波网络可以是基于图像率失真的损失信息对初始滤波网络进行训练得到的，损失信息是基于可导编码器对时域上相关的多个样本图像帧输入初始滤波网络的样本滤波图像进行编码重建得到的样本重建图像、样本码率以及样本图像帧确定的。
[0221]
进一步地，可以将目标滤波图像输入目标编码器进行图像编码处理，得到多个待编码图像帧各自对应的编码图像数据。其中，目标编码器可以与可导编码器不同，可以是传统用于视频编码的编码器，目标编码器的各模块不需要可导。
[0222]
通过使用上述训练方法得到的目标滤波网络进行滤波，并进行后续编码，可以提升视频编码效率和编码质量。
[0223]
本说明书实施例中，在线上应用时，目标滤波网络的输入输出方式也可以包括多输入一输出、多输入多输出这两种方式。具体处理流程可以参见上述训练部分的相关介绍，在此不再赘述。以多输入多输出为例，多个待编码图像帧可以包括目标参考图像帧和目标参考图像帧在时域上相邻的相邻图像帧。相应地，基于目标滤波网络对待编码视频的多个待编码图像帧进行滤波处理，得到至少一个所述待编码图像帧各自对应的目标滤波图像，可以包括：
[0224]
将目标参考图像帧和目标参考图像帧在时域上相邻的相邻图像帧，输入目标滤波网络，对目标参考图像帧进行滤波处理，得到目标参考图像帧对应的第一滤波图像；
[0225]
相应地，将目标滤波图像输入目标编码器进行图像编码处理，得到多个待编码图像帧各自对应的编码图像数据，可以包括：
[0226]
将第一滤波图像和目标参考图像帧在时域上相邻的相邻图像帧输入目标编码器，进行图像编码处理，得到多个待编码图像帧各自对应的编码图像数据，例如码流。
[0227]
通过指定目标参考图像帧，结合时域上相邻的相邻图像帧，对目标参考图像帧进行滤波处理，使得目标参考图像帧的滤波能够更有效地服务于后续编码处理，不仅可以减少滤波针对的帧数，还可以提升后续编码的效率和质量。
[0228]
可选地，在多输入多输出的情况下，可以将待编码视频的多个待编码图像帧输入目标滤波网络，进行滤波处理，得到多个待编码图像帧各自对应的第二滤波图像。
[0229]
在一种可选地实施方式中，若训练的目标滤波网络的输出是滤波权重，则基于目标滤波网络对待编码视频的多个待编码图像帧进行滤波处理，得到至少一个待编码图像帧各自对应的目标滤波图像，可以包括：基于目标滤波网络对待编码视频的多个待编码图像帧，进行各自滤波权重的预测处理，得到至少一个待编码图像帧各自对应的目标滤波权重；从而可以根据目标滤波权重对至少一个待编码图像帧进行加权处理，得到至少一个待编码图像帧各自对应目标滤波图像。具体地过程可以参见上述对样本滤波权重的相关介绍，在此不再赘述。
[0230]
可选地，在进行视频编码的应用中，可以将目标滤波图像与待编码图像帧进行融合处理后，再输入到目标编码器中进行图像编码处理。具体地，可以对目标滤波图像与待编码图像帧进行融合处理，例如图像加权处理，得到融合图像。然后，可以将融合图像输入目标编码器进行图像编码处理，得到多个待编码图像帧各自对应的编码图像数据。
[0231]
参见图7和图8，实际应用中，可以像上述仅使用目标滤波网络，或者也可以结合传
统滤波器一起使用进行两次滤波处理。基于此，在基于目标滤波网络对待编码视频的多个待编码图像帧进行滤波处理，得到至少一个待编码图像帧各自对应的目标滤波图像步骤之前，所述方法还包括：获取待编码视频中多个待编码的初始图像帧；并可以将初始图像帧输入滤波器进行滤波处理，得到多个待编码图像帧。
[0232]
可选地，在所述基于目标滤波网络对待编码视频的多个待编码图像帧进行滤波处理，得到至少一个所述待编码图像帧各自对应的目标滤波图像步骤之后，该方法还可以包括：将目标滤波图像输入滤波器进行滤波处理，得到二次滤波图像；
[0233]
相应地，上述将目标滤波图像输入目标编码器进行图像编码处理，得到多个待编码图像帧各自对应的编码图像数据，包括：将二次滤波图像输入所述目标编码器进行图像编码处理，得到多个待编码图像帧各自对应的编码图像数据。
[0234]
通过将目标滤波网络结合传统滤波器一起使用，进行两次滤波，使得滤波更加精准，提升后续编码效率。
[0235]
在一种可选地实施方式中，初始滤波网络进行滤波处理前后的图像的分辨率是可变的。例如，样本滤波图像的分辨率可以低于样本图像帧的分辨率，这样可以适配于可导编码器的压缩需求。也就是说，在滤波前后图像分辨率可变的情况下，初始滤波网络可以看作是初始下采样网络。基于此，上述根据多个样本重建图像帧和多个样本图像帧，确定图像失真信息之前，该训练方法还可以包括：对多个样本重建图像帧进行上采样处理，得到多个上采样图像。该上采样图像的分辨率可以与对应样本图像帧的分辨率相同。
[0236]
相应地，上述根据多个样本重建图像帧和多个样本图像帧，确定图像失真信息，可以被替换为：根据多个上采样图像和多个样本图像帧，确定图像失真信息，该具体确定过程可以参见上述步骤s205，在此不再赘述。进一步地，可以进行后续步骤s207～s209，以实现对初始滤波网络的训练。
[0237]
通过设置初始滤波网络滤波后的分辨率降低，可以减少可导编码器的处理数据量，从而可以提升初始滤波网络的训练效率。
[0238]
可选地，参见图9，上采样可以通过神经网络来实现，基于此，上述对多个样本重建图像帧进行上采样处理，得到多个上采样图像，可以包括：将多个样本重建图像帧输入预设上采样网络进行上采样处理，得到多个上采样图像。相应地，该训练方法还可以包括：利用损失信息对预设上采样网络进行训练，直至满足损失条件，从而可以将满足损失条件时对应的预设上采样网络作为目标上采样网络。在这种初始滤波网络和预设上采样网络的联合训练中，每次迭代中都根据损失信息对初始滤波网络和预设上采样网络进行模型参数更新，在下一次训练迭代中使用模型参数更新后的初始滤波网络和预设上采样网络重复执行上述的步骤，得到新的损失信息进行下一次训练迭代中初始滤波网络和预设上采样网络的模型参数的更新，重复这样的迭代过程，直至损失信息满足损失条件。这样可以实现对初始上采样网络和预设下采样网络的联合训练，既可以提升训练效率，也可以提升后续图像分辨率变化下的编码效果。
[0239]
参照图10，在上述滤波前后图像分辨率变化的情况下，在视频编码应用中，在目标滤波图像的分辨率低于待编码图像帧的分辨率；上述视频编码方法还可以包括：将编码图像数据输入目标上采样网络进行上采样处理，得到目标编码数据；目标上采样网络为根据上述训练方法得到的。由于目标滤波网络可以降低输入图像的分辨率，使得目标编码器的
处理数据量降低，提升编码效率，结合目标上采样网络可以保持待编码图像的分辨率，使得编码效果和编码效率同时得到提升。
[0240]
图11是根据一示例性实施例示出的一种滤波网络的训练装置框图。参照图11，该装置可以包括：
[0241]
第一滤波模块1101，被配置为执行基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行滤波处理，得到至少一个所述样本图像帧各自对应的样本滤波图像；
[0242]
编码重建模块1103，被配置为执行将至少一个所述样本滤波图像输入可导编码器，进行图像编码和重建处理，得到所述多个样本图像帧各自对应的样本重建图像帧以及各自对应的样本码率；所述可导编码器是指用于编码和重建的各模块所使用的函数为可导的或者所述各模块为神经网络；
[0243]
图像失真信息确定模块1105，被配置为执行根据多个所述样本重建图像帧和所述多个样本图像帧，确定图像失真信息；
[0244]
损失确定模块1107，被配置为执行基于所述图像失真信息和多个所述样本码率，确定损失信息；
[0245]
训练模块1109，被配置为执行利用所述损失信息对所述初始滤波网络进行训练，直至满足损失条件，将所述满足损失条件时对应的初始滤波网络作为目标滤波网络。
[0246]
通过设置初始滤波网络的输入为时域上相关的多个样本图像帧，并且结合可导编码器对滤波后图像进行编码和重建处理，得到多个样本图像帧各自对应的样本重建图像帧以及各自对应的样本码率，从而利用多帧的图像失真信息和多个样本码率得到损失信息，使得损失信息能够有效表征初始滤波网络的滤波能力在后续编码重建中的表现，进而可以更好地指导初始滤波网络的学习，使得训练得到的目标滤波网络能够更加高效精准的进行滤波，从而可以提升视频的整体编码效率和质量；另外，这种使用可导编码器训练初始滤波网络的方式，可以实现无监督、端到端地对初始滤波网络进行优化，不需要标注滤波过程中的像素级标签，节省资源，也进一步提升了训练效率。
[0247]
在一种可能的实现方式中，所述多个样本图像帧包括样本参考图像帧和所述样本参考图像帧的相邻图像帧；所述样本滤波图像包括第一样本滤波图像；所述样本重建图像帧包括第一样本重建图像帧和第二样本重建图像帧；所述样本码率包括第一样本码率和第二样本码率；
[0248]
所述第一滤波模块1101可以包括：
[0249]
第一滤波单元，被配置为执行将所述样本参考图像帧以及所述样本参考图像帧的相邻图像帧，输入所述初始滤波网络，对所述样本参考图像帧进行滤波处理，得到所述样本参考图像对应的第一样本滤波图像；
[0250]
相应地，所述编码重建模块1103可以包括：
[0251]
参考帧编码重建单元，被配置为执行将所述第一样本滤波图像输入所述可导编码器，对所述第一样本滤波图像进行编码和重建处理，得到第一样本重建图像帧以及第一样本码率；
[0252]
相邻帧编码重建单元，被配置为执行将所述第一样本重建图像帧和所述相邻图像帧输入所述可导编码器，对所述相邻图像帧进行编码和重建处理，得到所述相邻图像帧各
自对应的第二样本重建图像帧和第二样本码率。
[0253]
在一种可能的实现方式中，所述可导编码器包括可导的运动估计网络、运动补偿网络、变换网络、量化网络、反量化网络、反变换网络、环路滤波网络以及熵编码网络；
[0254]
所述参考帧编码重建单元包括：
[0255]
图像量化数据获取子单元，被配置为执行基于所述运动估计网络、所述运动补偿网络、所述变换网络和所述量化网络依次对所述第一样本滤波图像进行运动估计、运动补偿、变化编码和量化处理，得到图像量化数据；
[0256]
第一样本码率获取子单元，被配置为执行将所述图像量化数据以及所述运动估计网络输出的运动矢量输入所述熵编码网络进行编码处理，得到所述第一样本码率；
[0257]
第一样本重建图像帧获取子单元，被配置为执行利用所述反量化网络、所述反变换网络、所述运动补偿网络以及所述环路滤波网络对所述图像量化数据进行图像重建处理，得到所述第一样本重建图像帧。
[0258]
在一种可能的实现方式中，所述第一滤波单元包括：
[0259]
运动补偿子单元，被配置为执行对所述相邻图像帧进行运动补偿处理，得到目标相邻图像帧；
[0260]
滤波处理子单元，被配置为执行将所述样本参考图像帧以及所述目标相邻图像帧，输入所述初始滤波网络，对所述样本参考图像帧进行滤波处理，得到所述样本参考图像对应的第一样本滤波图像。
[0261]
在一种可能的实现方式中，所述第一滤波模块1101可以包括：
[0262]
第二滤波单元，被配置为执行将所述多个样本图像帧输入所述初始滤波网络，对所述多个样本图像帧进行滤波处理，得到所述多个样本图像帧各自对应的第二样本滤波图像；
[0263]
相应地，所述编码重建模块1103可以包括：
[0264]
编码重建单元，被配置为执行将多个所述第二样本滤波图像输入所述可导编码器，对多个所述第二样本滤波图像进行编码和重建处理，得到所述多个样本重建图像帧和所述多个样本码率。
[0265]
在一种可能的实现方式中，所述第一滤波模块1101可以包括：
[0266]
滤波权重预测单元，被配置为执行基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行各自滤波权重的预测处理，得到所述至少一个所述样本图像帧各自对应的样本滤波权重；
[0267]
滤波单元，被配置为执行根据所述滤波权重对所述至少一个所述样本图像帧进行加权处理，得到所述至少一个所述样本图像帧各自对应的样本滤波图像。
[0268]
在一种可能的实现方式中，所述图像失真信息确定模块1105可以包括：
[0269]
图像失真子信息确定单元，被配置为执行确定各样本图像帧与对应的样本重建图像帧之间的图像失真子信息；
[0270]
图像失真加权单元，被配置为执行基于所述多个样本图像帧各自对应的失真权重对多个所述图像失真子信息进行加权处理，得到所述图像失真信息。
[0271]
在一种可能的实现方式中，所述损失确定模块1107可以包括：
[0272]
样本联合码率获取单元，被配置为执行基于所述多个样本图像帧各自对应的码率
权重对所述多个样本码率进行加权处理，得到样本联合码率；
[0273]
损失信息获取单元，被配置为执行对所述图像失真信息和所述样本联合码率进行加和处理，得到所述损失信息。
[0274]
在一种可能的实现方式中，所述装置还可以包括：
[0275]
样本图像获取模块，被配置为执行获取多个样本图像；
[0276]
编码预测模块，被配置为执行将所述多个样本图像输入初始可导编码器进行图像编码和重建处理，得到多个样本重建图像和多个预测码率；
[0277]
编码损失信息确定模块，被配置为执行根据所述多个样本重建图像、所述多个样本图像以及所述多个预测码率，确定编码损失信息；
[0278]
可导编码器的迭代训练模块，被配置为执行利用所述编码损失信息对所述初始可导编码器进行训练，直至满足损失条件，将所述满足损失条件时对应的初始可导编码器作为所述可导编码器。
[0279]
在一种可能的实现方式中，所述样本滤波图像的分辨率低于所述样本图像帧的分辨率；所述装置还可以包括：
[0280]
第一上采样模块，被配置为执行对多个所述样本重建图像帧进行上采样处理，得到多个上采样图像；
[0281]
所述图像失真信息确定模块，还被配置为执行根据所述多个上采样图像和所述多个样本图像帧，确定所述图像失真信息。
[0282]
在一种可能的实现方式中，所述第一上采样模块可以包括：
[0283]
上采样单元，被配置为执行将多个所述样本重建图像帧输入预设上采样网络进行上采样处理，得到所述多个上采样图像；
[0284]
所述装置还可以包括：
[0285]
上采样网络训练模块，被配置为执行利用所述损失信息对所述预设上采样网络进行训练，直至满足损失条件，将所述满足损失条件时对应的预设上采样网络作为目标上采样网络。
[0286]
本公开还提供了一种视频编码装置，该视频编码装置可以包括：
[0287]
第二滤波模块，被配置为执行基于目标滤波网络对待编码视频的多个待编码图像帧进行滤波处理，得到至少一个所述待编码图像帧各自对应的目标滤波图像；
[0288]
编码模块，被配置为执行将所述目标滤波图像输入目标编码器进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据；
[0289]
其中，所述目标滤波网络为根据上述训练方法得到的。
[0290]
在一种可能的实现方式中，所述多个待编码图像帧包括目标参考图像帧和所述目标参考图像帧在时域上相邻的相邻图像帧；所述第二滤波模块可以包括：
[0291]
第一滤波图像获取单元，被配置为执行将所述目标参考图像帧和所述目标参考图像帧在时域上相邻的相邻图像帧，输入所述目标滤波网络，对所述目标参考图像帧进行滤波处理，得到所述目标参考图像帧对应的第一滤波图像；
[0292]
相应地，所述编码模块可以包括：
[0293]
第一编码单元，被配置为执行将所述第一滤波图像和所述目标参考图像帧在时域上相邻的相邻图像帧输入所述目标编码器，进行图像编码处理，得到所述多个待编码图像
帧各自对应的编码图像数据。
[0294]
在一种可能的实现方式中，所述视频编码装置还可以包括：
[0295]
初始图像帧获取模块，被配置为执行获取所述待编码视频中多个待编码的初始图像帧；
[0296]
待编码图像帧获取模块，被配置为执行将所述初始图像帧输入滤波器进行滤波处理，得到所述多个待编码图像帧。
[0297]
在一种可能的实现方式中，所述视频编码装置还可以包括：
[0298]
二次滤波模块，被配置为执行将所述目标滤波图像输入滤波器进行滤波处理，得到二次滤波图像；
[0299]
所述编码模块可以包括：
[0300]
第二编码单元，被配置为执行将所述二次滤波图像输入所述目标编码器进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据。
[0301]
在一种可能的实现方式中，所述目标滤波图像的分辨率低于所述待编码图像帧的分辨率；所述视频编码装置还可以包括：
[0302]
第二上采样模块，被配置为执行上采样将所述编码图像数据输入目标上采样网络进行上采样处理，得到目标编码数据；所述目标上采样网络可以为上述训练得到的目标上采样网络。
[0303]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0304]
图12是根据一示例性实施例示出的一种用于视频编码的电子设备的框图，该电子设备可以是终端，其内部结构图可以如图12所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频编码的方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0305]
本领域技术人员可以理解，图12中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0306]
图13是根据一示例性实施例示出的一种用于滤波网络的训练的电子设备的框图，该电子设备可以是服务器，其内部结构图可以如图13所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种滤波网络的训练的方法。
[0307]
本领域技术人员可以理解，图13中示出的结构，仅仅是与本公开方案相关的部分
结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0308]
在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本公开实施例中的滤波网络的训练方法或视频编码方法。
[0309]
在示例性实施例中，还提供了一种计算机可读存储介质，当该计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的滤波网络的训练方法或视频编码方法。计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0310]
在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例中的滤波网络的训练方法或视频编码方法。
[0311]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0312]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0313]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

技术特征：
1.一种滤波网络的训练方法，其特征在于，包括：基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行滤波处理，得到至少一个所述样本图像帧各自对应的样本滤波图像；将至少一个所述样本滤波图像输入可导编码器，进行图像编码和重建处理，得到所述多个样本图像帧各自对应的样本重建图像帧以及各自对应的样本码率；所述可导编码器是指用于编码和重建的各模块所使用的函数为可导的或者所述各模块为神经网络；根据多个所述样本重建图像帧和所述多个样本图像帧，确定图像失真信息；基于所述图像失真信息和多个所述样本码率，确定损失信息；利用所述损失信息对所述初始滤波网络进行训练，直至满足损失条件，将所述满足损失条件时对应的初始滤波网络作为目标滤波网络。2.根据权利要求1所述的方法，其特征在于，所述多个样本图像帧包括样本参考图像帧和所述样本参考图像帧的相邻图像帧；所述样本滤波图像包括第一样本滤波图像；所述样本重建图像帧包括第一样本重建图像帧和第二样本重建图像帧；所述样本码率包括第一样本码率和第二样本码率；所述基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行滤波处理，得到至少一个所述样本图像帧各自对应的样本滤波图像，包括：将所述样本参考图像帧以及所述样本参考图像帧的相邻图像帧，输入所述初始滤波网络，对所述样本参考图像帧进行滤波处理，得到所述样本参考图像对应的所述第一样本滤波图像；所述将至少一个所述样本滤波图像输入可导编码器，进行图像编码和重建处理，得到所述多个样本图像帧各自对应的样本重建图像帧以及各自对应的样本码率，包括：将所述第一样本滤波图像输入所述可导编码器，对所述第一样本滤波图像进行编码和重建处理，得到第一样本重建图像帧以及第一样本码率；将所述第一样本重建图像帧和所述相邻图像帧输入所述可导编码器，对所述相邻图像帧进行编码和重建处理，得到所述相邻图像帧各自对应的第二样本重建图像帧和第二样本码率。3.根据权利要求2所述的方法，其特征在于，所述可导编码器包括可导的运动估计网络、运动补偿网络、变换网络、量化网络、反量化网络、反变换网络、环路滤波网络以及熵编码网络；所述将所述第一样本滤波图像输入所述可导编码器，对所述第一样本滤波图像进行编码和重建处理，得到第一样本重建图像帧以及第一样本码率，包括：基于所述运动估计网络、所述运动补偿网络、所述变换网络和所述量化网络依次对所述第一样本滤波图像进行运动估计、运动补偿、变化编码和量化处理，得到图像量化数据；将所述图像量化数据以及所述运动估计网络输出的运动矢量输入所述熵编码网络进行编码处理，得到所述第一样本码率；利用所述反量化网络、所述反变换网络、所述运动补偿网络以及所述环路滤波网络对所述图像量化数据进行图像重建处理，得到所述第一样本重建图像帧。4.根据权利要求2所述的方法，其特征在于，所述将所述样本参考图像帧以及所述样本参考图像帧的相邻图像帧，输入所述初始滤波网络，对所述样本参考图像帧进行滤波处理，
得到所述样本参考图像对应的第一样本滤波图像，包括：对所述相邻图像帧进行运动补偿处理，得到目标相邻图像帧；将所述样本参考图像帧以及所述目标相邻图像帧，输入所述初始滤波网络，对所述样本参考图像帧进行滤波处理，得到所述样本参考图像对应的第一样本滤波图像。5.根据权利要求1所述的方法，其特征在于，所述样本滤波图像包括第二样本滤波图像；所述基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行滤波处理，得到至少一个所述样本图像帧各自对应的样本滤波图像，包括：将所述多个样本图像帧输入所述初始滤波网络，对所述多个样本图像帧进行滤波处理，得到所述多个样本图像帧各自对应的第二样本滤波图像；所述将至少一个所述样本滤波图像输入可导编码器，进行图像编码和重建处理，得到所述多个样本图像帧各自对应的样本重建图像帧以及各自对应的样本码率，包括：将多个所述第二样本滤波图像输入所述可导编码器，对多个所述第二样本滤波图像进行编码和重建处理，得到所述多个样本重建图像帧和所述多个样本码率。6.根据权利要求1所述的方法，其特征在于，所述基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行滤波处理，得到至少一个所述样本图像帧各自对应的样本滤波图像，包括：基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行各自滤波权重的预测处理，得到所述至少一个所述样本图像帧各自对应的样本滤波权重；根据所述样本滤波权重对所述至少一个所述样本图像帧进行加权处理，得到所述至少一个所述样本图像帧各自对应的样本滤波图像。7.根据权利要求1-6任一项所述的方法，其特征在于，所述根据多个所述样本重建图像帧和所述多个样本图像帧，确定图像失真信息，包括：确定各样本图像帧与对应的样本重建图像帧之间的图像失真子信息；基于所述多个样本图像帧各自对应的失真权重对多个所述图像失真子信息进行加权处理，得到所述图像失真信息。8.根据权利要求7所述的方法，其特征在于，所述基于所述图像失真信息和多个所述样本码率，确定损失信息，包括：基于所述多个样本图像帧各自对应的码率权重对所述多个样本码率进行加权处理，得到样本联合码率；对所述图像失真信息和所述样本联合码率进行加和处理，得到所述损失信息。9.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：获取多个样本图像；将所述多个样本图像输入初始可导编码器进行图像编码和重建处理，得到多个样本重建图像和多个预测码率；根据所述多个样本重建图像、所述多个样本图像以及所述多个预测码率，确定编码损失信息；利用所述编码损失信息对所述初始可导编码器进行训练，直至满足损失条件，将所述满足损失条件时对应的初始可导编码器作为所述可导编码器。10.根据权利要求1所述的方法，其特征在于，所述样本滤波图像的分辨率低于所述样
本图像帧的分辨率；所述根据多个所述样本重建图像帧和所述多个样本图像帧，确定图像失真信息之前，所述方法还包括：对多个所述样本重建图像帧进行上采样处理，得到多个上采样图像；所述根据多个所述样本重建图像帧和所述多个样本图像帧，确定图像失真信息，包括：根据所述多个上采样图像和所述多个样本图像帧，确定所述图像失真信息。11.根据权利要求10所述的方法，其特征在于，所述对多个所述样本重建图像帧进行上采样处理，得到多个上采样图像，包括：将多个所述样本重建图像帧输入预设上采样网络进行上采样处理，得到所述多个上采样图像；所述方法还包括：利用所述损失信息对所述预设上采样网络进行训练，直至满足损失条件，将所述满足损失条件时对应的预设上采样网络作为目标上采样网络。12.一种视频编码方法，其特征在于，包括：基于目标滤波网络对待编码视频的多个待编码图像帧进行滤波处理，得到至少一个所述待编码图像帧各自对应的目标滤波图像；将所述目标滤波图像输入目标编码器进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据；其中，所述目标滤波网络为根据所述权利要求1-11任一项所述方法训练得到的。13.根据权利要求12所述的方法，其特征在于，所述多个待编码图像帧包括目标参考图像帧和所述目标参考图像帧在时域上相邻的相邻图像帧；所述基于目标滤波网络对待编码视频的多个待编码图像帧进行滤波处理，得到至少一个所述待编码图像帧各自对应的目标滤波图像，包括：将所述目标参考图像帧和所述目标参考图像帧在时域上相邻的相邻图像帧，输入所述目标滤波网络，对所述目标参考图像帧进行滤波处理，得到所述目标参考图像帧对应的第一滤波图像；相应地，所述将所述目标滤波图像输入目标编码器进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据，包括：将所述第一滤波图像和所述目标参考图像帧在时域上相邻的相邻图像帧输入所述目标编码器，进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据。14.根据权利要求12或13所述的方法，其特征在于，在所述基于目标滤波网络对待编码视频的多个待编码图像帧进行滤波处理，得到至少一个所述待编码图像帧各自对应的目标滤波图像步骤之前，所述方法还包括：获取所述待编码视频中多个待编码的初始图像帧；将所述初始图像帧输入滤波器进行滤波处理，得到所述多个待编码图像帧。15.根据权利要求12或13所述的方法，其特征在于，在所述基于目标滤波网络对待编码视频的多个待编码图像帧进行滤波处理，得到至少一个所述待编码图像帧各自对应的目标滤波图像步骤之后，所述方法还包括：将所述目标滤波图像输入滤波器进行滤波处理，得到二次滤波图像；所述将所述目标滤波图像输入目标编码器进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据，包括：
将所述二次滤波图像输入所述目标编码器进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据。16.根据权利要求12所述的方法，其特征在于，所述目标滤波图像的分辨率低于所述待编码图像帧的分辨率；所述方法还包括：将所述编码图像数据输入目标上采样网络进行上采样处理，得到目标编码数据；所述目标上采样网络为根据所述权利要求11所述方法训练得到的。17.一种滤波网络的训练装置，其特征在于，包括：第一滤波模块，被配置为执行基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行滤波处理，得到至少一个所述样本图像帧各自对应的样本滤波图像；编码重建模块，被配置为执行将至少一个所述样本滤波图像输入可导编码器，进行图像编码和重建处理，得到所述多个样本图像帧各自对应的样本重建图像帧以及各自对应的样本码率；所述可导编码器是指用于编码和重建的各模块所使用的函数为可导的或者所述各模块为神经网络；图像失真信息确定模块，被配置为执行根据多个所述样本重建图像帧和所述多个样本图像帧，确定图像失真信息；损失确定模块，被配置为执行基于所述图像失真信息和多个所述样本码率，确定损失信息；训练模块，被配置为执行利用所述损失信息对所述初始滤波网络进行训练，直至满足损失条件，将所述满足损失条件时对应的初始滤波网络作为目标滤波网络。18.一种视频编码装置，其特征在于，包括：第二滤波模块，被配置为执行基于目标滤波网络对待编码视频的多个待编码图像帧进行滤波处理，得到至少一个所述待编码图像帧各自对应的目标滤波图像；编码模块，被配置为执行将所述目标滤波图像输入目标编码器进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据；其中，所述目标滤波网络为所述权利要求17所述的目标滤波网络。19.一种电子设备，其特征在于，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如权利要求1至11中任一项所述的训练方法或如权利要求12至16中任一项所述的视频编码方法。20.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至11中任一项所述的训练方法或如权利要求12至16中任一项所述的视频编码方法。

技术总结
本公开关于一种滤波网络的训练方法、视频编码方法、装置及电子设备。该方法包括：基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行滤波处理，得到至少一个样本图像帧各自对应的样本滤波图像；将至少一个样本滤波图像输入可导编码器，进行图像编码和重建处理，得到多个样本图像帧各自对应的样本重建图像帧以及各自对应的样本码率；根据多个样本重建图像帧和多个样本图像帧，确定图像失真信息；基于图像失真信息和多个样本码率确定损失信息；利用损失信息对初始滤波网络进行训练，直至满足损失条件，将满足损失条件时对应的初始滤波网络作为目标滤波网络。根据本公开提供的技术方案，可以提升目标滤波网络的滤波精准度。精准度。精准度。


技术研发人员：霍帅 郭磊 闻兴
受保护的技术使用者：北京达佳互联信息技术有限公司
技术研发日：2023.04.23
技术公布日：2023/8/5