视频插帧方法及装置、电子设备及计算机可读存储介质与流程

1.本技术涉及计算机视觉技术领域，尤其涉及一种视频插帧方法及装置、电子设备及计算机可读存储介质。


背景技术：

2.为了满足功耗和图像质量的需求，当前的视频采集传感器通常只能采集有限帧率的视频信号。视频插帧技术是一种以低帧率视频信号作为输入，通过合成中间帧来产生高帧率信号的一种重要的视频增强技术。如果能够在一段连续时间的任意时刻合成中间帧，这种视频插帧技术就能够将输入视频增强成任意帧率的高帧率视频，从而以任意程度平滑视频中的自然运动，产生慢动作效应。因此，如何实现视频插帧具有非常重要的意义。


技术实现要素：

3.本技术提供一种视频插帧方法及装置、电子设备及计算机可读存储介质。
4.第一方面，提供了一种视频插帧方法，所述方法用于在待插帧视频的第一目标帧和第二目标帧之间插帧，所述第一目标帧的时间戳为第一时间，所述方法包括：
5.获取所述第一目标帧和第一光流，所述第一光流为所述第一时间到第二时间的光流，所述第二时间为所述第一时间与所述第二目标帧的时间戳之间的任意时刻；
6.根据所述第一光流和所述第一目标帧，得到第三目标帧，所述第三目标帧的时间戳为所述第二时间；
7.根据所述第一光流和所述第三目标帧，得到所述第一光流的第一修正量；
8.根据所述第一修正量和所述第三目标帧，得到第四目标帧，作为所述待插帧视频中时间戳为所述第二时间的视频帧。
9.结合本技术任一实施方式，所述根据所述第一修正量和所述第三目标帧，得到第四目标帧，包括：
10.使用所述第一修正量对所述第一光流进行修正，得到第二光流；
11.根据所述第二光流、所述第一目标帧和所述第三目标帧，得到所述第三目标帧中的像素的位置的第二修正量；
12.使用所述第二修正量对所述第三目标帧进行修正，得到所述第四目标帧。
13.结合本技术任一实施方式，所述使用所述第一修正量对所述第一光流进行修正，得到第二光流，包括：
14.对所述第一修正量进行滤波，得到第三修正量；
15.所述使用所述第一修正量对所述第一光流进行修正，得到第二光流，包括：
16.使用所述第三修正量对所述第一光流进行修正，得到所述第二光流。
17.结合本技术任一实施方式，所述对所述第一修正量进行滤波，得到第三修正量，包括：
18.获取所述第二目标帧；
19.对所述第一目标帧、所述第二目标帧、所述第三目标帧、所述第一光流和所述第一修正量进行拼接，得到拼接数据；
20.使用卷积神经网络对所述拼接数据进行处理，得到所述第三修正量。
21.结合本技术任一实施方式，在得到所述第三目标帧中的像素位置的第二修正量之后，在所述使用所述第二修正量对所述第三目标帧进行修正，得到所述第四目标帧之前，所述方法还包括：
22.对所述第二修正量进行滤波，得到第四修正量；
23.所述使用所述第二修正量对所述第三目标帧进行修正，得到所述第四目标帧，包括：
24.使用所述第四修正量对所述第三目标帧进行修正，得到所述第四目标帧。
25.结合本技术任一实施方式，所述根据所述第二光流、所述第一目标帧和所述第三目标帧，得到所述第三目标帧中的像素的位置的第二修正量，包括：
26.根据所述第二光流和所述第三目标帧，预测所述第一时间的视频帧，得到第五目标帧；
27.根据所述第一目标帧与所述第五目标帧的差异，得到预测偏差，所述预测偏差与所述差异呈正相关；
28.计算所述预测偏差的导数，得到所述第二修正量。
29.结合本技术任一实施方式，所述视频插帧方法的隐空间为目标空间；
30.所述根据所述第一光流和所述第三目标帧，得到所述第一光流的第一修正量，包括：
31.获取所述目标空间的均值和所述目标空间的协方差；
32.将所述第一光流从非目标空间转换至所述目标空间，得到第三光流；
33.根据所述目标空间的均值、所述目标空间的协方差、所述第三目标帧和所述第三光流，得到所述目标空间的梯度；
34.将所述目标空间的梯度转换至所述非目标空间，得到所述第一修正量。
35.结合本技术任一实施方式，所述将所述第一光流从非目标空间转换至所述目标空间，得到第三光流，包括：
36.获取可逆卷积核；
37.使用所述可逆卷积核对所述第一光流进行处理，得到所述第三光流。
38.结合本技术任一实施方式，所述待插帧视频还包括第六目标帧和第七目标帧，所述第一目标帧、所述第二目标帧、所述第六目标帧和所述第七目标帧中的任意两个均不同，所述获取第一光流，包括：
39.获取所述第二目标帧、所述第六目标帧和所述第七目标帧；
40.通过对所述第一目标帧、所述第二目标帧、所述第六目标帧和所述第七目标帧进行轨迹拟合，得到所述第一光流。
41.第二方面，提供了一种视频插帧装置，所述装置用于在待插帧视频的第一目标帧和第二目标帧之间插帧，所述第一目标帧的时间戳为第一时间，所述装置包括：
42.获取单元，用于获取所述第一目标帧和第一光流，所述第一光流为所述第一时间到第二时间的光流，所述第二时间为所述第一时间与所述第二目标帧的时间戳之间的任意
时刻；
43.第一处理单元，用于根据所述第一光流和所述第一目标帧，得到第三目标帧，所述第三目标帧的时间戳为所述第二时间；
44.第二处理单元，用于根据所述第一光流和所述第三目标帧，得到所述第一光流的第一修正量；
45.第三处理单元，用于根据所述第一修正量和所述第三目标帧，得到第四目标帧，作为所述待插帧视频中时间戳为所述第二时间的视频帧。
46.结合本技术任一实施方式，所述第三处理单元，用于：
47.使用所述第一修正量对所述第一光流进行修正，得到第二光流；
48.根据所述第二光流、所述第一目标帧和所述第三目标帧，得到所述第三目标帧中的像素的位置的第二修正量；
49.使用所述第二修正量对所述第三目标帧进行修正，得到所述第四目标帧。
50.结合本技术任一实施方式，所述第三处理单元，用于：
51.对所述第一修正量进行滤波，得到第三修正量；
52.使用所述第三修正量对所述第一光流进行修正，得到所述第二光流。
53.结合本技术任一实施方式，所述第三处理单元，用于：
54.获取所述第二目标帧；
55.对所述第一目标帧、所述第二目标帧、所述第三目标帧、所述第一光流和所述第一修正量进行拼接，得到拼接数据；
56.使用卷积神经网络对所述拼接数据进行处理，得到所述第三修正量。
57.结合本技术任一实施方式，所述第三处理单元，还用于：
58.对所述第二修正量进行滤波，得到第四修正量；
59.使用所述第四修正量对所述第三目标帧进行修正，得到所述第四目标帧。
60.结合本技术任一实施方式，所述第三处理单元，用于：
61.根据所述第二光流和所述第三目标帧，预测所述第一时间的视频帧，得到第五目标帧；
62.根据所述第一目标帧与所述第五目标帧的差异，得到预测偏差，所述预测偏差与所述差异呈正相关；
63.计算所述预测偏差的导数，得到所述第二修正量。
64.结合本技术任一实施方式，所述视频插帧方法的隐空间为目标空间；
65.所述第二处理单元，用于：
66.获取所述目标空间的均值和所述目标空间的协方差；
67.将所述第一光流从非目标空间转换至所述目标空间，得到第三光流；
68.根据所述目标空间的均值、所述目标空间的协方差、所述第三目标帧和所述第三光流，得到所述目标空间的梯度；
69.将所述目标空间的梯度转换至所述非目标空间，得到所述第一修正量。
70.结合本技术任一实施方式，所述第二处理单元，用于：
71.获取可逆卷积核；
72.使用所述可逆卷积核对所述第一光流进行处理，得到所述第三光流。
73.结合本技术任一实施方式，所述待插帧视频还包括第六目标帧和第七目标帧，所述第一目标帧、所述第二目标帧、所述第六目标帧和所述第七目标帧中的任意两个均不同，所述获取单元，用于：
74.获取所述第二目标帧、所述第六目标帧和所述第七目标帧；
75.通过对所述第一目标帧、所述第二目标帧、所述第六目标帧和所述第七目标帧进行轨迹拟合，得到所述第一光流。
76.第三方面，提供了一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
77.第四方面，提供了另一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任一实施方式。
78.第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行如上述第一方面及其任一实施方式。
79.第六方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行上述第一方面及其任一实施方式。
80.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本技术。
81.本技术中，视频插帧装置在获取第一目标帧和第一光流的情况下，首先根据第一光流和第一目标帧得到第三目标帧，然后根据第一光流和第三目标帧得到第一光流的第一修正量，最后根据第一修正量和第三目标帧得到第四目标帧。在这个过程中，如果将根据第一光流和第一目标帧得到第三目标帧称为一次迭代过程，将基于第一光流和第三目标帧得到第四目标帧称为第二次迭代过程，那么该过程相当于通过两次迭代过程得到第四目标帧，而且第二次迭代过程是根据第一次迭代过程的结果，对第一次迭代过程进行修正，这样可提高第四目标帧的准确度，进而提升视频插帧的效果。此外，在通过两次迭代过程得到第四目标帧的情况下，任意一次迭代过程的数据处理量均比根据第一目标帧和第一光流直接得到第四目标帧的数据处理量小，因此通过两次迭代过程得到第四目标帧，可减少数据处理量，提高处理速度。
附图说明
82.为了更清楚地说明本技术实施例或背景技术中的技术方案，下面将对本技术实施例或背景技术中所需要使用的附图进行说明。
83.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本技术的实施例，并与说明书一起用于说明本技术的技术方案。
84.图1为本技术实施例提供的一种视频插帧方法的流程示意图；
85.图2为本技术实施例提供的另一种视频插帧方法的流程示意图；
86.图3为本技术实施例提供的一种光流梯度计算模块的结构示意图；
87.图4为本技术实施例提供的一种图像梯度计算模块的结构示意图；
88.图5为本技术实施例提供的一种修正信息输出模块的结构示意图；
89.图6为本技术实施例提供的又一种视频插帧方法的流程示意图；
90.图7为本技术实施例提供的一种视频插帧装置的结构示意图；
91.图8为本技术实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
92.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
93.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
94.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
95.目前的视频插帧方法通常是通过一次前向传播对待插帧视频中的视频帧进行处理，得到需要插入待插帧视频中的视频帧，但由于一次前向传播所得到的结果的准确度低，而且数据处理量大，目前的视频插帧方法的插帧效果差。基于此，本技术实施例提供了一种视频插帧方法，以提高插帧效果。
96.本技术实施例的执行主体为视频插帧装置，其中，视频插帧装置可以是任意一种可执行本技术方法实施例所公开的技术方案的电子设备。可选的，视频插帧装置可以是以下中的一种：计算机、服务器。
97.应理解，本技术方法实施例还可以通过处理器执行计算机程序代码的方式实现。下面结合本技术实施例中的附图对本技术实施例进行描述。请参阅图1，图1是本技术实施例提供的一种视频插帧方法的流程示意图。
98.101、获取上述第一目标帧和第一光流。
99.视频插帧装置通过执行本技术实施例提供的视频插帧方法，可在待插帧视频的第一目标帧和第二目标帧之间插帧，其中，第一目标帧和第二目标帧为待插帧视频中的任意两帧，即第一目标帧和第二目标帧均属于待插帧视频，且第一目标帧的时间戳和第二目标帧的时间戳不同。
100.本技术实施例中，待插帧视频可以是离线视频，也可以是在线视频。其中，离线视频可以是通过摄像头或移动智能设备采集获得的视频。在线视频可以是摄像头实时采集到
的视频。
101.本技术实施例中，第一光流为第一时间到第二时间的光流，其中，第二时间为第一时间与第二目标帧的时间戳之间的任意时刻。例如，第二目标帧的时间戳为第三时间，其中，第三时间比第一时间晚，那么第二时间为位于第一时间与第三时间之间的任意时刻。又例如，第二目标帧的时间戳为第三时间，其中，第三时间比第一时间早，那么第二时间为位于第三时间与第一时间之间的任意时刻。第一光流为第一时间到第二时间的光流，可以理解为第一目标视频帧与待插帧视频中时间戳为第二时间的视频帧之间的光流。
102.在一种获取第一目标帧的实现方式中，视频插帧装置接收用户通过输入组件输入的第一目标帧。上述输入组件包括以下至少一种：键盘、鼠标、触控屏、触控板、音频输入器。
103.在另一种获取第一目标帧的实现方式中，视频插帧装置接收终端发送的第一目标帧。上述终端可以是以下任意一种：手机、计算机、平板电脑、服务器。
104.在又一种获取第一目标帧的实现方式中，视频插帧装置通过在获取待插帧视频的情况下，从待插帧视频中选取一帧作为第一目标帧。
105.在一种获取第一光流的实现方式中，视频插帧装置接收用户通过输入组件输入的第一光流。
106.在另一种获取第一光流的实现方式中，视频插帧装置接收终端发送的第一光流。
107.应理解，本技术实施例中，获取第一目标帧的步骤、获取第一光流的步骤，可以同时执行，也可以分开执行，本技术对此不做限定。
108.102、根据上述第一光流和上述第一目标帧，得到第三目标帧。
109.本技术实施例中，第三目标帧的时间戳为第二时间，即第三目标帧可作为插入待插帧视频的视频帧，且在将第三目标帧插入待插帧视频后，第三目标帧在待插帧视频中的时间戳为第二时间。
110.在一种可能实现的方式中，视频插帧装置使用第一光流，调整第一目标帧中的像素的位置，得到第三目标帧。例如，视频插帧装置通过将第一光流与第一目标帧进行求和，得到第三目标帧。
111.103、根据上述第一光流和上述第三目标帧，得到上述第一光流的第一修正量。
112.本技术实施例中，第一修正量为第一光流的修正量，即第一修正量可用于修正第一光流。在一种可能实现的方式中，视频插帧方法的隐空间为目标空间，其中，隐空间是数据的一种压缩表示的空间，例如，视频插帧方法通过视频插帧模型实现，目标空间即为视频插帧模型的隐空间。可选的，目标空间为在视频插帧方法的过程中所产生的任意两个数据的高阶表示，例如，视频插帧方法的过程中所产生的数据包括第一光流和第三目标帧，那么目标空间为第一光流和第三目标帧的高阶表示。
113.视频插帧装置获取目标空间的均值和目标空间的协方差，可选的，视频插帧装置通过尺寸为3
×
3的卷积核计算得到目标空间的均值和目标空间的协方差，具体的，视频插帧装置通过下式计算得到目标空间的均值和目标空间的协方差：
114.μ，∑-1
＝conv(h
(k)
)
…
公式(1)
115.其中，μ为目标空间的均值，∑-1
为目标空间的协方差，conv(
·
)表示通过尺寸为3
×
3的卷积核所执行的卷积运算，h
(k)
为目标空间。
116.视频插帧装置将第一光流从非目标空间转换至目标空间，得到第三光流。作为一
种可选的实施方式，视频插帧装置获取可逆卷积核，使用可逆卷积核对第一光流进行处理，得到第三光流。可选的，视频插帧装置使用尺寸为1
×
1的可逆卷积核将第一光流从非目标空间转换至目标空间，具体可通过下式实现：
[0117][0118]
其中，表示第三光流，invconv
θ
(
·
)表示通过尺寸为1
×
1的可逆卷积核所执行的可逆卷积运算，表示第一光流。
[0119]
视频插帧装置根据目标空间的均值、目标空间的协方差、第三目标帧和第三光流，得到目标空间的梯度。可选的，视频插帧装置通过下式得到目标空间的梯度：
[0120][0121]
其中，表示目标空间的梯度，∑-1
表示目标空间的协方差，表示第三目标帧，表示第三光流，μ表示目标空间的均值。
[0122]
在得到目标空间的梯度后，视频插帧装置通过将目标空间的梯度转换至非目标空间，可得到第一修正量。可选的，视频插帧装置通过下式将目标空间的梯度转换至非目标空间：
[0123][0124]
其中，为第一修正量，表示通过尺寸为1
×
1的可逆卷积核所执行的可逆卷积运算，且所执行的可逆卷积的权重为公式(2)中所执行的可逆卷积的权重的转置。
[0125]
104、根据上述第一修正量和上述第三目标帧，得到第四目标帧，作为上述待插帧视频中时间戳为上述第二时间的视频帧。
[0126]
由于第三目标帧是基于第一光流和第一目标帧得到的，第一光流的误差将影响第三目标帧作为待插帧视频中时间戳为第二时间的视频帧的准确度，而第一修正量为第一光流的修正量，因此视频插帧装置可通过第一修正量修正第三目标帧，从而提高将第三目标帧作为待插帧视频中时间戳为第二时间的视频帧的准确度。
[0127]
在一种可能实现的方式中，视频插帧装置确定第一修正量与第三目标帧的和，得到第四目标帧，并将第四目标帧作为待插帧视频中时间戳为第二时间的视频帧。
[0128]
本技术实施例中，视频插帧装置在获取第一目标帧和第一光流的情况下，首先根据第一光流和第一目标帧得到第三目标帧，然后根据第一光流和第三目标帧得到第一光流的第一修正量，最后根据第一修正量和第三目标帧得到第四目标帧。在这个过程中，如果将根据第一光流和第一目标帧得到第三目标帧称为一次迭代过程，将基于第一光流和第三目标帧得到第四目标帧称为第二次迭代过程，那么该过程相当于通过两次迭代过程得到第四目标帧，而且第二次迭代过程是根据第一次迭代过程的结果，对第一次迭代过程进行修正，这样可提高第四目标帧的准确度，进而提升视频插帧的效果。此外，在通过两次迭代过程得到第四目标帧的情况下，任意一次迭代过程的数据处理量均比根据第一目标帧和第一光流直接得到第四目标帧的数据处理量小，因此通过两次迭代过程得到第四目标帧，可减少数据处理量，提高处理速度。
[0129]
作为一种可选的实施方式，视频插帧装置在执行步骤104的过程中执行以下步骤：
[0130]
201、使用上述第一修正量对上述第一光流进行修正，得到第二光流。
[0131]
视频插帧装置通过执行步骤201，可修正第一光流，由此得到的第二光流可更准确的表征第一时间到第二时间的光流。
[0132]
203、根据上述第二光流、上述第一目标帧和上述第三目标帧，得到上述第三目标帧中的像素的位置的第二修正量。
[0133]
本技术实施例中，第二修正量为第三目标帧中的像素位置的修正量，即通过第二修正量可将修正第三目标帧中的像素的位置，使第三目标帧中的像素的位置更准确，例如，在第一目标帧中，物体a与物体b均未彼此遮挡，但若在第三目标帧中物体a与物体b遮挡，那么通过第二修正量修正第三目标帧中的像素的位置，可使物体a与物体b不遮挡。
[0134]
204、使用上述第二修正量对上述第三目标帧进行修正，得到上述第四目标帧。
[0135]
在该种实施方式中，视频插帧装置首先使用第一修正量对第一光流进行修正，得到第二光流，然后根据第二光流、第一目标帧和第三目标帧，得到第三目标帧中的像素的位置的第二修正量，最后使用第二修正量对第三目标帧进行修正，得到第四目标帧。这样，将第三目标帧作为待插帧视频中时间戳为第二时间的视频帧，可提高对待插帧视频进行插帧的质量。
[0136]
作为一种可选的实施方式，视频插帧装置在执行步骤201的过程中执行以下步骤：
[0137]
301、对上述第一修正量进行滤波，得到第三修正量。
[0138]
视频插帧装置通过对第一修正量进行滤波，可提升第一修正量的准确度，得到第三修正量。在得到第三修正量后，视频插帧装置在执行步骤201的过程中执行以下步骤：
[0139]
302、使用上述第三修正量对上述第一光流进行修正，得到上述第二光流。
[0140]
在该种实施方式中，视频插帧装置首先对第一修正量进行滤波得到第三修正量，然后使用第三修正量对第一光流进行修正，可提高对第一光流的修正效果，以及降低对第一光流进行修正所产生的数据处理量。
[0141]
作为一种可选的实施方式，视频插帧装置在执行步骤301的过程中执行以下步骤：
[0142]
401、获取第二目标帧。
[0143]
在一种获取第二目标帧的实现方式中，视频插帧装置接收用户通过输入组件输入的第二目标帧。
[0144]
在另一种获取第二目标帧的实现方式中，视频插帧装置接收终端发送的第二目标帧。
[0145]
在又一种获取第二目标帧的实现方式中，视频插帧装置通过在获取待插帧视频的情况下，从待插帧视频中选取与第一目标帧相邻的一帧作为第二目标帧。
[0146]
402、对上述第一目标帧、上述第二目标帧、上述第三目标帧、上述第一光流和上述第一修正量进行拼接，得到拼接数据。
[0147]
403、使用卷积神经网络对上述拼接数据进行处理，得到上述第三修正量。
[0148]
本技术实施例中，卷积神经网络是已训练的，即视频插帧装置在执行步骤403之前，卷积神经网络已通过训练获得先验知识，其中，该先验知识可用于根据第一目标帧、第二目标帧、第三目标帧、第一光流和第一修正量，得到第三修正量。因此，视频插帧装置使用卷积神经网络对拼接数据进行处理，可得到第三修正量。
[0149]
在该种实施方式中，视频插帧装置在获取第二目标帧后，通过对第一目标帧、第二目标帧、第三目标帧、第一光流和第一修正量进行拼接，得到拼接数据。再使用卷积神经网络对拼接数据进行处理，可得到第三修正量，而且由于卷积神经网络通过训练已获得先验知识，使用卷积神经网络对拼接数据进行处理，可实现对第一修正量的滤波得到第三修正量，可降低得到第三修正量的数据，以及提高得到的第三修正量的准确度。
[0150]
作为一种可选的实施方式，视频插帧装置在得到第三目标帧中的像素位置的第二修正量之后，在使用第二修正量对第三目标帧进行修正，得到第四目标帧之前，还执行以下步骤：
[0151]
501、对上述第二修正量进行滤波，得到第四修正量。
[0152]
视频插帧装置通过对第二修正量进行滤波，可提升第二修正量的准确度，得到第四修正量。在得到第四修正量的情况下，视频插帧装置在执行步骤204的过程中执行以下步骤：
[0153]
502、使用上述第四修正量对上述第三目标帧进行修正，得到上述第四目标帧。
[0154]
在该种实施方式中，视频插帧装置首先对第二修正量进行滤波得到第四修正量，然后使用第四修正量对第三目标帧进行修正，可提高对第三目标帧的修正效果，以及降低对第三目标帧进行修正所产生的数据处理量。
[0155]
作为一种可选的实施方式，视频插帧装置在执行步骤203的过程中执行以下步骤：
[0156]
601、根据上述第二光流和上述第三目标帧，预测上述第一时间的视频帧，得到第五目标帧。
[0157]
本技术实施例中，第五目标帧为根据第二光流和第三目标帧预测的第一时间的视频帧，在一种可能实现的方式中，视频插帧装置通过下式预测第一时间的视频帧得到第五目标帧：
[0158][0159]
其中，为第五目标帧，w(
·
)为反向采样函数，为第三目标帧，为第二光流。
[0160]
602、根据上述第一目标帧与上述第五目标帧的差异，得到预测偏差。
[0161]
本技术实施例中，预测偏差与差异呈正相关，即第一目标帧与第五目标帧的差异越大，预测偏差越大。在一种可能实现的方式中，视频插帧装置将第一目标帧与第五目标帧的差异作为预测偏差。在另一种可能实现的方式中，视频插帧装置确定第一目标帧与第五目标帧的差异，将该差异与第一预设值的乘积作为预测偏差，其中，第一预设值大于1。在又一种可能实现的方式中，视频插帧装置确定第一目标帧与第五目标帧的差异，确定该差异与第一预设值的乘积得到中间值，其中，预设值大于1。将中间值与第二预设值的和作为预测偏差，其中，第二预设值大于0。
[0162]
603、计算上述预测偏差的导数，得到上述第二修正量。
[0163]
在视频插帧装置通过计算预测偏差的导数得到第二修正量的情况下，预测偏差越大，第二修正量越大，即预测偏差与第二修正量呈正相关，又因为预测偏差与差异呈正相关，所以第二修正量与该差异呈正相关。换句话说，第一目标帧与第五目标帧的差异越大，第二修正量越大。
[0164]
在该种实施方式中，视频插帧装置首先根据第二光流和第三目标帧，预测第一时间的视频帧得到第五目标帧。然后在根据第一目标帧与第五目标帧的差异得到预测偏差的情况下，计算预测偏差的导数得到第二修正量。也就是说，第五目标帧与第一目标帧的差异越大，第二修正量越大，而第五目标帧与第一目标帧的差异大，说明第三目标帧的准确度低，因此，通过该种方式确定第二修正量，可提高第二修正量的准确度。
[0165]
作为一种可选的实施方式，视频插帧装置通过执行以下步骤获取第一光流：
[0166]
701、获取上述第二目标帧、上述第六目标帧和上述第七目标帧。
[0167]
本技术实施例中，待插帧视频还包括第六目标帧和第七目标帧，其中，第一目标帧、第二目标帧、第六目标帧和第七目标帧中的任意两个均不同。可选的，第一目标帧、第二目标帧、第六目标帧和第七目标帧为待插帧视频中时间戳相邻的四帧视频帧。
[0168]
在一种可能实现的方式中，视频插帧装置在获取待插帧视频后，从待插帧视频中选取三帧视频帧分别作为第二目标帧、第六目标帧和第七目标帧。
[0169]
702、通过对上述第一目标帧、上述第二目标帧、上述第六目标帧和上述第七目标帧进行轨迹拟合，得到上述第一光流。
[0170]
本技术实施例中，若将第一目标帧、第二目标帧、第六目标帧和第七目标帧称为图像序列，轨迹拟合为通过对物体在不同图像中的位置进行拟合得到物体在图像序列中的轨迹，进而可根据该轨迹得到第一光流。可选的，视频插帧装置通过二次函数轨迹模型(quadratic video interpolation.advances in neural information processing systems)对第一目标帧、第二目标帧、第六目标帧和第七目标帧进行轨迹拟合，得到第一光流。
[0171]
在该种实施方式中，视频插帧装置在获取第一目标帧、第二目标帧、第六目标帧和第七目标帧的情况下，通过对第一目标帧、第二目标帧、第六目标帧和第七目标帧进行轨迹拟合得到第一光流，可提高第一光流的准确度。
[0172]
作为一种可选的实施方式，视频插帧装置通过光流估计工具(recurrent all-pairs field transforms for optical flow，raft)，对第一目标帧、第二目标帧、第六目标帧和第七目标帧进行处理，得到第一光流。
[0173]
基于前文提供的技术方案，本技术实施例还提供了另一种视频插帧方法，请参阅图2，图2为本技术实施例提供的另一种视频插帧方法的流程示意图。
[0174]
如图2所示，该视频插帧方法的输入包括i0、i1、f0→
t
、f1→
t
，其中，i0和11为待插帧视频中的相邻两帧，f0→
t
为i0到时间t的光流，f1→
t
为i1到时间t的光流，其中，t为需要在待插帧视频中插帧的位置，即将被插入待插帧视频中的视频帧称为i
t
，那么i
t
在待插帧视频中的时间戳为t。
[0175]
可选的，视频插帧装置获取待插帧视频中的四帧视频帧：i-1
、i0、i1、i2，其中，i-1
、i0、i1、i2为时间戳相邻的四帧视频帧。视频插帧装置通过二次函数轨迹模型对i-1
、i0、i1、12进行处理得到f0→
t
和f1→
t
，视频插帧装置或通过raft对i-1
、i0、11、12进行处理得到f0→
t
和f1→
t
。
[0176]
在图2所示的视频插帧方法的流程示意图中，包括第0次迭代(即learned updated step 0)、第k-1次迭代(即learned updated step k-1)、第k-1次迭代(即learned updated step k-1)共k次迭代，且这k次迭代依次串联，即前一次迭代的输出数据作为下一次迭代的
输入数据输入至下一次迭代。
[0177]
每一次迭代的输入数据包括：h
(k)
、i0、i1、f0→
t
、f1→
t
。为前一次迭代(这里指第k次迭代)输出的t时刻的帧，为前一次迭代(这里指第k次迭代)输出的f0→
t
的修正量，为前一次迭代(这里指第k次迭代)输出的f1→
t
的修正量。h
(k)
为前一次迭代(这里指第k次迭代)输出的隐藏特征图，即h
(k)
为第k次迭代的高维通道。
[0178]
图2还示出了第k次迭代的具体结构，如图2所示，第k次迭代包括：图像梯度计算模块(即图2中的image gradient)、光流梯度计算模块(即图2中的flow gradient)、修正信息输出模块(即图2中的shared cnn)。应理解，图2中的任意两次迭代的结构均相同，即任意一次迭代的结构均与图2所示的第k次迭代的结构相同。接下来将详细描述图像梯度计算模块、光流梯度计算模块、修正信息输出模块，以及如何通过图像梯度计算模块、光流梯度计算模块和修正信息输出模块完成第k次迭代。
[0179]
请参阅图3，图3所示为光流梯度计算模块的结构示意图。如图3所示，光流梯度计算模块的输入数据包括：应理解，在图3中i的取值可以是0、1中的任意一个，即在i＝0的情况下，在i＝1的情况下，
[0180]
图3中的conv为通过尺寸为3
×
3的卷积核所执行的卷积操作，图3中的conv所执行的操作可参见上述公式(1)，即通过conv对h
(k)
进行处理，可得到目标空间的均值和目标空间的协方差，其中，目标空间的均值即为图3中的μ，目标空间的协方差为图3中的∑-1
。图3中的invconv
θ
即为通过尺寸为1
×
1的可逆卷积核所执行的可逆卷积运算，图3中的invconv
θ
所执行的操作可参见上述公式(2)，即通过invconv
θ
对进行处理，可将从非目标空问转换至目标空间。在将从非目标空间转换至目标空间以及得到目标空间的均值、目标空间的协方差后，进而可得到目标空间的梯度，得到目标空间的梯度的实现过程可参见上述公式(3)。最后通过对目标空间的梯度转换至非目标空间可得到光流的梯度，其中，光流的梯度即为光流的修正量。例如，输入至光流梯度计算模块的光流为第一光流，那么光流梯度计算模块输出的修正量为第一光流的修正量，即为第一修正量。可选的，对目标空间的梯度转换至非目标空间的实现，可通过公式(4)实现，即通过图3中的可将目标空间的梯度转换至非目标空间得到
[0181]
请参阅图4，图4所示为图像梯度计算模块的结构示意图。如图4所示，图像梯度计算模块的输入数据包括：f0→
t
、f1→
t
、i0、i1。应理解，在图4中i的取值可以是0、1中的任意一个，即在i＝0的情况下，ii为i0，fi→
t
为f0→
t
，在i＝1的情况下，ii为11，fi→
t
为f1→
t
，为
[0182]
如图4所示，首先通过将与fi→
t
相加实现利用修正fi→
t
，然后再将修正后的结果与一起输入至反向采样函数(即图4中的w)，其中，反向采样函数可参见公式(5)。再将反向采样函数得到的结果与ii做差得到预测偏差，然后对预测偏差求导即可得到图像梯度，其中，图像梯度即为图像中的像素的位置的修正量，具体的，图像梯度为中的像素的位置的修正量。
[0183]
请参阅5，图5所示为修正信息输出模块的结构示意图。如图5所示，修正信息输出模块的输入数据包括：h
(k)
、i0、i1、其中，为图像梯度计算模块输出的图像梯度，为光流梯度计算模块输出的光流的梯度。应理解，在图5中i的取值可以是0、1中的任意一个，即在i＝0的情况下在i＝1的情况下
[0184]
如图5所示，首先对输入至修正信息输出模块的数据进行拼接(即图5中的channel concatenation)，然后对拼接后的数据进行卷积处理得到尺寸为16
××3×
1的特征图，再经2个符合残差网络(residual-in-residual unet，rrub)对该特征图进行处理可得到深层特征，其中，图5还示出了rrub的结构，具体的，rrub包括两个runet。图5还示出了runet的具体结构，其中，runet中的conv均表示卷积处理。最后由分别对该深层特征进行3种不同的卷积处理，分别得到
[0185]
为更方便理解图2所示的视频插帧方法，将图3所示的光流梯度计算模块和图4所示的图像梯度计算模块与图2结合，得到了图6所示的视频插帧方法的流程示意图。
[0186]
作为一种可选的实施方式，在使用图6所示的视频插帧方法进行视频插帧之前，可对图6所示的视频插帧方法进行训练。可选的，该训练的训练函数如下：
[0187][0188]
其中，k是迭代次数，αk是第k次迭代的损失函数的超参，为的真值(ground truth，gt)，||
·
||1。可选的，在所需插帧的数量为8的情况下，k为4，αk为{0.2，0.4，1.0，1.0}。在所需插帧的数量为1的情况下，k为5，αk为1。
[0189]
也就是说，k的取值可根据实际需求确定，具体的，k的取值越大，迭代的次数越多，那么数据处理量越大，但所得到的的准确度就越高，即插帧的效果就越好。
[0190]
基于本技术实施例提供的技术方案，本技术实施例还提供了几种可能的应用场景。
[0191]
如今手机拍摄视频的应用越来越广，对手机拍摄的视频的帧率的要求也越来越高。但由于手机的硬件配置有限，手机拍摄到的视频的帧率较低，而基于本技术实施例提供的技术方案，可对手机拍摄到的视频进行插帧，进而提高视频的帧率。
[0192]
场景a：基于本技术实施例提供的技术方案，可通过手机实现120fps的视频拍摄或240fps的视频拍摄。
[0193]
场景b：基于本技术实施例提供的技术方案提升手机拍摄的视频的帧率，进而可在通过手机进行高倍率镜头拍摄时，提高拍摄的稳定性。
[0194]
场景c：基于本技术实施例提供的技术方案提升手机拍摄的视频的帧率后，进而可基于高帧率视频实现慢动作回放。
[0195]
可选的，在手机基于本技术实施例提供的技术方案对手机拍摄到的视频进行插帧的情况下，手机可输出迭代次数的选项，其中，迭代次数越多，数据处理量越大，但视频插帧的效果就越好。手机在接收到用户输入的迭代次数的选项后，根据用户所输入迭代次数进行视频插帧。
[0196]
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并
不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0197]
若本技术技术方案涉及个人信息，应用本技术技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本技术技术方案涉及敏感个人信息，应用本技术技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
[0198]
上述详细阐述了本技术实施例的方法，下面提供了本技术实施例的装置。
[0199]
请参阅图7，图7为本技术实施例提供的一种视频插帧装置的结构示意图，该视频插帧装置1包括：获取单元11、第一处理单元12、第二处理单元13、第三处理单元14，具体的：
[0200]
所述视频插帧装置1用于在待插帧视频的第一目标帧和第二目标帧之间插帧，所述第一目标帧的时间戳为第一时间，所述装置包括：
[0201]
获取单元11，用于获取所述第一目标帧和第一光流，所述第一光流为所述第一时间到第二时间的光流，所述第二时间为所述第一时间与所述第二目标帧的时间戳之间的任意时刻；
[0202]
第一处理单元12，用于根据所述第一光流和所述第一目标帧，得到第三目标帧，所述第三目标帧的时间戳为所述第二时间；
[0203]
第二处理单元13，用于根据所述第一光流和所述第三目标帧，得到所述第一光流的第一修正量；
[0204]
第三处理单元14，用于根据所述第一修正量和所述第三目标帧，得到第四目标帧，作为所述待插帧视频中时间戳为所述第二时间的视频帧。
[0205]
结合本技术任一实施方式，所述第三处理单元14，用于：
[0206]
使用所述第一修正量对所述第一光流进行修正，得到第二光流；
[0207]
根据所述第二光流、所述第一目标帧和所述第三目标帧，得到所述第三目标帧中的像素的位置的第二修正量；
[0208]
使用所述第二修正量对所述第三目标帧进行修正，得到所述第四目标帧。
[0209]
结合本技术任一实施方式，所述第三处理单元14，用于：
[0210]
对所述第一修正量进行滤波，得到第三修正量；
[0211]
使用所述第三修正量对所述第一光流进行修正，得到所述第二光流。
[0212]
结合本技术任一实施方式，所述第三处理单元14，用于：
[0213]
获取所述第二目标帧；
[0214]
对所述第一目标帧、所述第二目标帧、所述第三目标帧、所述第一光流和所述第一修正量进行拼接，得到拼接数据；
[0215]
使用卷积神经网络对所述拼接数据进行处理，得到所述第三修正量。
[0216]
结合本技术任一实施方式，所述第三处理单元14，还用于：
[0217]
对所述第二修正量进行滤波，得到第四修正量；
[0218]
使用所述第四修正量对所述第三目标帧进行修正，得到所述第四目标帧。
[0219]
结合本技术任一实施方式，所述第三处理单元14，用于：
[0220]
根据所述第二光流和所述第三目标帧，预测所述第一时间的视频帧，得到第五目标帧；
[0221]
根据所述第一目标帧与所述第五目标帧的差异，得到预测偏差，所述预测偏差与所述差异呈正相关；
[0222]
计算所述预测偏差的导数，得到所述第二修正量。
[0223]
结合本技术任一实施方式，所述视频插帧方法的隐空间为目标空间；
[0224]
所述第二处理单元13，用于：
[0225]
获取所述目标空间的均值和所述目标空间的协方差；
[0226]
将所述第一光流从非目标空间转换至所述目标空间，得到第三光流；
[0227]
根据所述目标空间的均值、所述目标空间的协方差、所述第三目标帧和所述第三光流，得到所述目标空间的梯度；
[0228]
将所述目标空间的梯度转换至所述非目标空间，得到所述第一修正量。
[0229]
结合本技术任一实施方式，所述第二处理单元13，用于：
[0230]
获取可逆卷积核；
[0231]
使用所述可逆卷积核对所述第一光流进行处理，得到所述第三光流。
[0232]
结合本技术任一实施方式，所述待插帧视频还包括第六目标帧和第七目标帧，所述第一目标帧、所述第二目标帧、所述第六目标帧和所述第七目标帧中的任意两个均不同，所述获取单元11，用于：
[0233]
获取所述第二目标帧、所述第六目标帧和所述第七目标帧；
[0234]
通过对所述第一目标帧、所述第二目标帧、所述第六目标帧和所述第七目标帧进行轨迹拟合，得到所述第一光流。
[0235]
本技术实施例中，视频插帧装置在获取第一目标帧和第一光流的情况下，首先根据第一光流和第一目标帧得到第三目标帧，然后根据第一光流和第三目标帧得到第一光流的第一修正量，最后根据第一修正量和第三目标帧得到第四目标帧。在这个过程中，如果将根据第一光流和第一目标帧得到第三目标帧称为一次迭代过程，将基于第一光流和第三目标帧得到第四目标帧称为第二次迭代过程，那么该过程相当于通过两次迭代过程得到第四目标帧，而且第二次迭代过程是根据第一次迭代过程的结果，对第一次迭代过程进行修正，这样可提高第四目标帧的准确度，进而提升视频插帧的效果。此外，在通过两次迭代过程得到第四目标帧的情况下，任意一次迭代过程的数据处理量均比根据第一目标帧和第一光流直接得到第四目标帧的数据处理量小，因此通过两次迭代过程得到第四目标帧，可减少数据处理量，提高处理速度。
[0236]
在一些实施例中，本技术实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
[0237]
图8为本技术实施例提供的一种电子设备的硬件结构示意图。该电子设备2包括处理器21，存储器22。可选的，该电子设备2还包括输入装置23，输出装置24。该处理器21、存储
器22、输入装置23和输出装置24通过连接器相耦合，该连接器包括各类接口、传输线或总线等等，本技术实施例对此不作限定。应当理解，本技术的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线、总线等相连。
[0238]
处理器21可以是一个或多个图形处理器(graphics processing unit，gpu)，在处理器21是一个gpu的情况下，该gpu可以是单核gpu，也可以是多核gpu。可选的，处理器21可以是多个gpu构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。可选的，该处理器还可以为其他类型的处理器等等，本技术实施例不作限定。
[0239]
存储器22可用于存储计算机程序指令，以及用于执行本技术方案的程序代码在内的各类计算机程序代码。可选地，存储器包括但不限于是随机存储记忆体(random access memory，ram)、只读存储器(read-only memory，rom)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、或便携式只读存储器(compact disc read-only memory，cd-rom)，该存储器用于相关指令及数据。
[0240]
输入装置23用于输入数据和/或信号，以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件，也可以是一个整体的器件。
[0241]
可理解，本技术实施例中，存储器22不仅可用于存储相关指令，还可用于存储相关数据等等，本技术实施例对于该存储器中具体所存储的数据不作限定。
[0242]
可以理解的是，图8仅仅示出了一种电子设备的简化设计。在实际应用中，电子设备还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、存储器等，而所有可以实现本技术实施例的电子设备都在本技术的保护范围之内。
[0243]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0244]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属领域的技术人员还可以清楚地了解到，本技术各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
[0245]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0246]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目
的。
[0247]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0248]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digital versatile disc，dvd))、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0249]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器(read-only memory，rom)或随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可存储程序代码的介质。

技术特征：
1.一种视频插帧方法，其特征在于，所述方法用于在待插帧视频的第一目标帧和第二目标帧之间插帧，所述第一目标帧的时间戳为第一时间，所述方法包括：获取所述第一目标帧和第一光流，所述第一光流为所述第一时间到第二时间的光流，所述第二时间为所述第一时间与所述第二目标帧的时间戳之间的任意时刻；根据所述第一光流和所述第一目标帧，得到第三目标帧，所述第三目标帧的时间戳为所述第二时间；根据所述第一光流和所述第三目标帧，得到所述第一光流的第一修正量；根据所述第一修正量和所述第三目标帧，得到第四目标帧，作为所述待插帧视频中时间戳为所述第二时间的视频帧。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一修正量和所述第三目标帧，得到第四目标帧，包括：使用所述第一修正量对所述第一光流进行修正，得到第二光流；根据所述第二光流、所述第一目标帧和所述第三目标帧，得到所述第三目标帧中的像素的位置的第二修正量；使用所述第二修正量对所述第三目标帧进行修正，得到所述第四目标帧。3.根据权利要求2所述的方法，其特征在于，所述使用所述第一修正量对所述第一光流进行修正，得到第二光流，包括：对所述第一修正量进行滤波，得到第三修正量；所述使用所述第一修正量对所述第一光流进行修正，得到第二光流，包括：使用所述第三修正量对所述第一光流进行修正，得到所述第二光流。4.根据权利要求3所述的方法，其特征在于，所述对所述第一修正量进行滤波，得到第三修正量，包括：获取所述第二目标帧；对所述第一目标帧、所述第二目标帧、所述第三目标帧、所述第一光流和所述第一修正量进行拼接，得到拼接数据；使用卷积神经网络对所述拼接数据进行处理，得到所述第三修正量。5.根据权利要求2至4中任意一项所述的方法，其特征在于，在得到所述第三目标帧中的像素位置的第二修正量之后，在所述使用所述第二修正量对所述第三目标帧进行修正，得到所述第四目标帧之前，所述方法还包括：对所述第二修正量进行滤波，得到第四修正量；所述使用所述第二修正量对所述第三目标帧进行修正，得到所述第四目标帧，包括：使用所述第四修正量对所述第三目标帧进行修正，得到所述第四目标帧。6.根据权利要求2至5中任意一项所述的方法，其特征在于，所述根据所述第二光流、所述第一目标帧和所述第三目标帧，得到所述第三目标帧中的像素的位置的第二修正量，包括：根据所述第二光流和所述第三目标帧，预测所述第一时间的视频帧，得到第五目标帧；根据所述第一目标帧与所述第五目标帧的差异，得到预测偏差，所述预测偏差与所述差异呈正相关；计算所述预测偏差的导数，得到所述第二修正量。
7.根据权利要求1至6中任意一项所述的方法，其特征在于，所述视频插帧方法的隐空间为目标空间；所述根据所述第一光流和所述第三目标帧，得到所述第一光流的第一修正量，包括：获取所述目标空间的均值和所述目标空间的协方差；将所述第一光流从非目标空间转换至所述目标空间，得到第三光流；根据所述目标空间的均值、所述目标空间的协方差、所述第三目标帧和所述第三光流，得到所述目标空间的梯度；将所述目标空间的梯度转换至所述非目标空间，得到所述第一修正量。8.根据权利要求7所述的方法，其特征在于，所述将所述第一光流从非目标空间转换至所述目标空间，得到第三光流，包括：获取可逆卷积核；使用所述可逆卷积核对所述第一光流进行处理，得到所述第三光流。9.根据权利要求1至8中任意一项所述的方法，其特征在于，所述待插帧视频还包括第六目标帧和第七目标帧，所述第一目标帧、所述第二目标帧、所述第六目标帧和所述第七目标帧中的任意两个均不同，所述获取第一光流，包括：获取所述第二目标帧、所述第六目标帧和所述第七目标帧；通过对所述第一目标帧、所述第二目标帧、所述第六目标帧和所述第七目标帧进行轨迹拟合，得到所述第一光流。10.一种视频插帧装置，其特征在于，所述装置用于在待插帧视频的第一目标帧和第二目标帧之间插帧，所述第一目标帧的时间戳为第一时间，所述装置包括：获取单元，用于获取所述第一目标帧和第一光流，所述第一光流为所述第一时间到第二时间的光流，所述第二时间为所述第一时间与所述第二目标帧的时间戳之间的任意时刻；第一处理单元，用于根据所述第一光流和所述第一目标帧，得到第三目标帧，所述第三目标帧的时间戳为所述第二时间；第二处理单元，用于根据所述第一光流和所述第三目标帧，得到所述第一光流的第一修正量；第三处理单元，用于根据所述第一修正量和所述第三目标帧，得到第四目标帧，作为所述待插帧视频中时间戳为所述第二时间的视频帧。11.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如权利要求1至9中任意一项所述的方法。12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行权利要求1至9中任意一项所述的方法。

技术总结
本申请公开了一种视频插帧方法及装置、电子设备及计算机可读存储介质。所述方法用于在待插帧视频的第一目标帧和第二目标帧之间插帧，所述第一目标帧的时间戳为第一时间，所述方法包括：获取所述第一目标帧和第一光流，所述第一光流为所述第一时间到第二时间的光流，所述第二时间为所述第一时间与所述第二目标帧的时间戳之间的任意时刻；根据所述第一光流和所述第一目标帧，得到第三目标帧，所述第三目标帧的时间戳为所述第二时间；根据所述第一光流和所述第三目标帧，得到所述第一光流的第一修正量；根据所述第一修正量和所述第三目标帧，得到第四目标帧，作为所述待插帧视频中时间戳为所述第二时间的视频帧。间戳为所述第二时间的视频帧。间戳为所述第二时间的视频帧。


技术研发人员：于志洋 张宇 向旭杰 邹冬青 任思捷
受保护的技术使用者：深圳市慧鲤科技有限公司
技术研发日：2023.03.27
技术公布日：2023/8/9