视频处理方法、装置、终端设备以及存储介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种视频处理方法、装置、终端设备以及存储介质。


背景技术：

2.当前的2d数字人视频片段拼接方案，对于整个时间轴，视频并非一次性连续拍摄而成，而是由不同的视频片段直接拼接得到。因此，当各个拼接视频片段的首尾处存在些微不一致时，视频的拼接点处都会不连贯，出现拼接点画面跳变明显的现象。
3.因此，针对当前数字人视频片段拼接中易出现视频拼接处不连贯的问题，有必要提出一种平滑拼接处的视频处理方案。


技术实现要素：

4.本技术的主要目的在于提供一种视频处理方法、装置、终端设备以及存储介质，旨在解决数字人视频片段拼接中易出现视频拼接处不连贯的问题，提高拼接视频的平滑流畅度。
5.为实现上述目的，本技术提供一种视频处理方法，所述视频处理方法包括：
6.获取视频素材；
7.根据所述视频素材确定静默帧和待拼接视频；
8.根据所述静默帧和所述待拼接视频进行插帧，得到插帧后的待拼接视频；
9.将所述插帧后的待拼接视频填充时间轴得到拼接视频。
10.可选地，所述根据所述视频素材确定静默帧和待拼接视频的步骤包括：
11.根据所述视频素材确定静默帧；
12.判断所述视频素材的类型；
13.若所述视频素材的类型为静默状态视频素材，则根据静默状态视频素材确定第一待拼接静默视频。
14.可选地，所述根据所述静默帧和所述待拼接视频进行插帧，得到插帧后的待拼接视频的步骤包括：
15.通过基于光流的图像插帧算法ifrnet对所述静默帧和所述第一待拼接静默视频进行插帧，得到第一中间帧；
16.根据所述静默帧、所述第一中间帧和所述第一待拼接静默视频合并得到第二待拼接静默视频；
17.所述将所述插帧后的待拼接视频填充时间轴得到拼接视频的步骤包括：
18.确定时间轴的静默区间；
19.将所述第二待拼接静默视频插入所述静默区间的开始时间得到静默状态的拼接视频。
20.可选地，所述判断所述视频素材的类型的步骤之后，还包括：
21.若所述视频素材的类型为动作状态视频素材，则根据动作状态视频素材确定第一待拼接动作视频。
22.可选地，所述根据所述静默帧和所述待拼接视频进行插帧，得到插帧后的待拼接视频的步骤包括：
23.通过基于光流的图像插帧算法ifrnet对所述静默帧和所述第一待拼接动作视频进行插帧，得到第二中间帧；
24.根据所述静默帧、所述第二中间帧和所述第一待拼接动作视频合并得到第二待拼接动作视频；
25.所述将所述插帧后的待拼接视频填充时间轴得到拼接视频的步骤包括：
26.确定时间轴的动作区间；
27.将所述第二待拼接动作视频插入所述动作区间的开始时间得到动作状态的拼接视频。
28.可选地，所述根据静默状态视频素材确定第一待拼接静默视频的步骤包括：
29.根据所述静默状态视频素材确定若干段不同时长的第一待拼接静默视频；
30.所述通过基于光流的图像插帧算法ifrnet对所述静默帧和所述第一待拼接静默视频进行插帧，得到第一中间帧的步骤包括：
31.通过基于光流的图像插帧算法ifrnet对所述静默帧和每一段不同时长的第一待拼接静默视频分别进行插帧，得到不同时长的第一待拼接静默视频对应的第一中间帧；
32.所述根据所述静默帧、所述第一中间帧和所述第一待拼接静默视频合并得到第二待拼接静默视频的步骤包括：
33.根据所述静默帧、所述第一中间帧和对应的不同时长的第一待拼接静默视频合并得到所述第二待拼接静默视频。
34.可选地，所述获取视频素材的步骤包括：
35.获取预设时长的静默状态视频素材；和/或，
36.获取开始和结束状态为静默状态的动作状态视频素材。
37.本技术实施例还提出一种视频处理装置，所述视频处理装置包括：
38.获取模块，用于获取视频素材；
39.确定模块，用于根据所述视频素材确定静默帧和待拼接视频；
40.插帧模块，用于根据所述静默帧和所述待拼接视频进行插帧，得到插帧后的待拼接视频；
41.拼接模块，用于将所述插帧后的待拼接视频填充时间轴得到拼接视频。
42.本技术实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频处理程序，所述视频处理程序被所述处理器执行时实现如上所述的视频处理方法的步骤。
43.本技术实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有视频处理程序，所述视频处理程序被处理器执行时实现如上所述的视频处理方法的步骤。
44.本技术实施例提出的视频处理方法、装置、终端设备以及存储介质，通过获取视频素材；根据所述视频素材确定静默帧和待拼接视频；根据所述静默帧和所述待拼接视频进
行插帧，得到插帧后的待拼接视频；将所述插帧后的待拼接视频填充时间轴得到拼接视频。通过从视频素材中确定静默帧和待拼接视频，使用静默帧对待拼接视频进行插帧平滑，将插帧后的待拼接视频填充至时间轴，可以得到平滑后的拼接视频，提升视频整体流畅度。基于本技术方案，通过构建一套2d数字人视频素材，并基于该视频素材运用本技术提出的视频处理方法，有效地解决了当前数字人视频片段拼接中易出现视频拼接处不连贯的问题，使得拼接后的视频图像过渡更加平滑，提高拼接视频的平滑流畅度。
附图说明
45.图1为现有数字人视频片段拼接示意图；
46.图2为本技术视频处理装置所属终端设备的功能模块示意图；
47.图3为本技术视频处理方法第一示例性实施例的流程示意图；
48.图4为本技术视频处理方法第二示例性实施例的静默视频平滑示意图；
49.图5为本技术视频处理方法第二示例性实施例涉及的将插帧后的待拼接视频填充时间轴得到拼接视频的具体流程示意图；
50.图6为本技术视频处理方法第三示例性实施例的动作视频平滑示意图；
51.图7为本技术视频处理方法第三示例性实施例涉及的将插帧后的待拼接视频填充时间轴得到拼接视频的具体流程示意图；
52.图8为本技术视频处理方法第四示例性实施例涉及的若干段不同时长的待拼接静默视频示意图；
53.图9为本技术视频处理方法第四示例性实施例涉及的时间轴的静默区间示意图；
54.图10为本技术视频处理方法第五示例性实施例涉及的平滑前与平滑后的视频片段拼接示意图。
55.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
56.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
57.本技术实施例考虑到，当前数字人视频片段拼接方案，主要是将不同视频片段直接拼接，如图1所示，图1为现有数字人视频片段拼接示意图，其中空白片段为静默视频片段，阴影片段为动作视频片段。对于整个时间轴，视频并非一次性连续拍摄，而是由不同的视频片段拼接得到，因此在拼接点的视频是不连贯的，如图1中的t1、t2、t3等时刻，其图像画面跳变较为明显。
58.因此，针对视频拼接处不连贯这一问题，本技术实施例的主要解决方案是：通过获取视频素材；根据所述视频素材确定静默帧和待拼接视频；根据所述静默帧和所述待拼接视频进行插帧，得到插帧后的待拼接视频；将所述插帧后的待拼接视频填充时间轴得到拼接视频。通过从视频素材中确定静默帧和待拼接视频，使用静默帧对待拼接视频进行插帧平滑，将插帧后的待拼接视频填充至时间轴，可以得到平滑后的拼接视频，提升视频整体流畅度。基于本技术方案，通过构建一套2d数字人视频素材，并基于该视频素材运用本技术提出的视频处理方法，有效地解决了当前数字人视频片段拼接中易出现视频拼接处不连贯的问题，使得拼接后的视频图像过渡更加平滑，提高拼接视频的平滑流畅度。
59.具体地，参照图2，图2为本技术视频处理装置所属终端设备的功能模块示意图。该视频处理装置可以为独立于终端设备的、能够进行视频处理的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端，还可以为具有数据处理功能的固定终端设备或服务器等。
60.在本实施例中，该视频处理装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
61.存储器130中存储有操作系统以及视频处理程序，视频处理装置可以将获取的视频素材，根据视频素材确定的静默帧和待拼接视频，根据静默帧和待拼接视频进行插帧得到的插帧后的待拼接视频，以及将插帧后的待拼接视频填充时间轴得到的拼接视频等信息存储于该存储器130中；输出模块110可为显示屏等。通信模块140可以包括wifi模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
62.其中，存储器130中的视频处理程序被处理器执行时实现以下步骤：
63.获取视频素材；
64.根据所述视频素材确定静默帧和待拼接视频；
65.根据所述静默帧和所述待拼接视频进行插帧，得到插帧后的待拼接视频；
66.将所述插帧后的待拼接视频填充时间轴得到拼接视频。
67.进一步地，存储器130中的视频处理程序被处理器执行时还实现以下步骤：
68.根据所述视频素材确定静默帧；
69.判断所述视频素材的类型；
70.若所述视频素材的类型为静默状态视频素材，则根据静默状态视频素材确定第一待拼接静默视频。
71.进一步地，存储器130中的视频处理程序被处理器执行时还实现以下步骤：
72.通过基于光流的图像插帧算法ifrnet对所述静默帧和所述第一待拼接静默视频进行插帧，得到第一中间帧；
73.根据所述静默帧、所述第一中间帧和所述第一待拼接静默视频合并得到第二待拼接静默视频；
74.确定时间轴的静默区间；
75.将所述第二待拼接静默视频插入所述静默区间的开始时间得到静默状态的拼接视频。
76.进一步地，存储器130中的视频处理程序被处理器执行时还实现以下步骤：
77.若所述视频素材的类型为动作状态视频素材，则根据动作状态视频素材确定第一待拼接动作视频。
78.进一步地，存储器130中的视频处理程序被处理器执行时还实现以下步骤：
79.通过基于光流的图像插帧算法ifrnet对所述静默帧和所述第一待拼接动作视频进行插帧，得到第二中间帧；
80.根据所述静默帧、所述第二中间帧和所述第一待拼接动作视频合并得到第二待拼接动作视频；
81.确定时间轴的动作区间；
82.将所述第二待拼接动作视频插入所述动作区间的开始时间得到动作状态的拼接
视频。
83.进一步地，存储器130中的视频处理程序被处理器执行时还实现以下步骤：
84.根据所述静默状态视频素材确定所述静默帧和若干段不同时长的第一待拼接静默视频；
85.通过基于光流的图像插帧算法ifrnet对所述静默帧和每一段不同时长的第一待拼接静默视频分别进行插帧，得到不同时长的第一待拼接静默视频对应的第一中间帧；
86.根据所述静默帧、所述第一中间帧和对应的不同时长的第一待拼接静默视频合并得到所述第二待拼接静默视频。
87.进一步地，存储器130中的视频处理程序被处理器执行时还实现以下步骤：
88.获取预设时长的静默状态视频素材；和/或，
89.获取开始和结束状态为静默状态的动作状态视频素材。
90.本实施例通过上述方案，具体通过获取视频素材；根据所述视频素材确定静默帧和待拼接视频；根据所述静默帧和所述待拼接视频进行插帧，得到插帧后的待拼接视频；将所述插帧后的待拼接视频填充时间轴得到拼接视频。通过从视频素材中确定静默帧和待拼接视频，使用静默帧对待拼接视频进行插帧平滑，将插帧后的待拼接视频填充至时间轴，可以得到平滑后的拼接视频，提升视频整体流畅度。基于本技术方案，通过构建一套2d数字人视频素材，并基于该视频素材运用本技术提出的视频处理方法，有效地解决了当前数字人视频片段拼接中易出现视频拼接处不连贯的问题，使得拼接后的视频图像过渡更加平滑，提高拼接视频的平滑流畅度。
91.基于上述终端设备架构但不限于上述架构，提出本技术方法实施例。
92.第一实施例
93.本技术实施例方法的执行主体可以是一种视频处理装置，也可以是一种视频处理终端设备或服务器，本实施例以视频处理装置进行举例，该视频处理装置可以集成在具有数据处理功能的智能手机、平板电脑等终端设备上。
94.本实施例方案主要实现对拼接视频尤其是2d数字人拼接视频的平滑，提升视频整体流畅度。
95.参照图3，图3为本技术视频处理方法第一示例性实施例的流程示意图。所述视频处理方法包括：
96.步骤s10，获取视频素材。
97.在本实施例中，视频处理装置首先获取视频素材，其中，获取的视频素材是指包含2d数字人静默状态和/或动作状态的视频。可选地，关于视频素材的获取方法，可以为读取本地存储单元预先存储的视频素材，还可以为接收外部装置发送的视频素材，还可以为通过录像设备拍摄得到的视频素材，还可以为通过ai画图工具制作渲染的视频素材等。在本实施例中，对于视频素材的数量不作具体限制。
98.步骤s20，根据所述视频素材确定静默帧和待拼接视频。
99.在本实施例中，根据获取的视频素材选取符合要求的图像帧确定为静默帧，选取符合要求的视频片段确定为待拼接视频。可选地，对于静默帧的确定，可以从视频素材中选取数字人位姿中立、五官端正、表情平静温和的图像帧作为静默帧。可选地，对于待拼接片段的确定，可以从视频素材中选取特定时长的视频片段或特定动作表现的视频片段作为待
拼接视频。在本实施例中，对于待拼接视频的数量不作具体限制。
100.具体地，对于待拼接片段的确定，首先根据获取的视频素材确定视频素材的类型。若视频素材为静默状态视频素材，即视频中数字人的动作表现为相对静默，则从视频素材中选取特定时长的静默视频片段，或从视频素材中剪辑制作特定时长的静默视频片段作为待拼接视频。若视频素材为动作状态视频素材，即视频中数字人有特定动作表现，则从视频素材中选取符合要求的动作视频片段作为待拼接视频，比如说话、微笑、点头等。
101.步骤s30，根据所述静默帧和所述待拼接视频进行插帧，得到插帧后的待拼接视频。
102.在本实施例中，根据确定的静默帧和待拼接视频进行插帧平滑处理，得到插帧后的待拼接视频。具体地，首先使用静默帧对待拼接视频的起始帧进行插帧平滑，得到起始帧对应的中间帧，然后将静默帧、中间帧和待拼接视频的起始帧依次进行合并，完成对待拼接视频起始帧的平滑；接着，使用静默帧对待拼接视频的终止帧进行插帧平滑，得到终止帧对应的中间帧，然后将待拼接视频的终止帧、中间帧和静默帧依次进行合并，完成对待拼接视频终止帧的平滑，也即合并得到插帧后的待拼接视频。
103.步骤s40，将所述插帧后的待拼接视频填充时间轴得到拼接视频。
104.在本实施例中，对于确定的时间轴，将插帧后的待拼接视频填充至时间轴以得到拼接视频。具体地，确定时间轴以及在该时间轴上插帧后的待拼接视频的开始时间，将插帧后的待拼接视频插入时间轴上对应的开始时间。
105.更为具体地，若存在多段插帧后的待拼接视频，则按照插帧后的待拼接视频的拼接顺序，确定时间轴以及在该时间轴上每段插帧后的待拼接视频的开始时间，将每段插帧后的待拼接视频按照拼接顺序依次插入时间轴上对应的开始时间。
106.本实施例通过上述方案，具体通过获取视频素材；根据所述视频素材确定静默帧和待拼接视频；根据所述静默帧和所述待拼接视频进行插帧，得到插帧后的待拼接视频；将所述插帧后的待拼接视频填充时间轴得到拼接视频。通过从视频素材中确定静默帧和待拼接视频，使用静默帧对待拼接视频进行插帧平滑，将插帧后的待拼接视频填充至时间轴，可以得到平滑后的拼接视频，提升视频整体流畅度。基于本技术方案，通过构建一套2d数字人视频素材，并基于该视频素材运用本技术提出的视频处理方法，有效地解决了当前数字人视频片段拼接中易出现视频拼接处不连贯的问题，使得拼接后的视频图像过渡更加平滑，提高拼接视频的平滑流畅度。
107.第二实施例
108.进一步地，基于上述第一实施例，在本实施例中，上述步骤s20，根据所述视频素材确定静默帧和待拼接视频可以包括：
109.步骤s201，根据所述视频素材确定静默帧；
110.步骤s202，判断所述视频素材的类型；
111.步骤s203，若所述视频素材的类型为静默状态视频素材，则根据静默状态视频素材确定第一待拼接静默视频。
112.具体地，根据获取的视频素材选取符合要求的图像帧确定为静默帧。对获取的视频素材的类型进行判断，若视频素材的类型为静默状态视频素材，即视频中数字人的动作表现为相对静默，则根据静默状态视频素材选取符合要求的静默视频片段确定为第一待拼
接静默视频。
113.可选地，在本实施例中，上述步骤s30，根据所述静默帧和所述待拼接视频进行插帧，得到插帧后的待拼接视频的步骤可以包括：
114.步骤s301，通过基于光流的图像插帧算法ifrnet对所述静默帧和所述第一待拼接静默视频进行插帧，得到第一中间帧；
115.步骤s302，根据所述静默帧、所述第一中间帧和所述第一待拼接静默视频合并得到第二待拼接静默视频。
116.具体地，对于确定的静默帧和第一待拼接静默视频，采用基于光流的图像插帧算法ifrnet对静默帧和第一待拼接静默视频进行插帧平滑处理，得到第一中间帧。根据确定的静默帧、第一中间帧和第一待拼接静默视频，按照顺序依次合并成为第二待拼接静默视频。
117.更为具体地，参照图4，图4为本技术视频处理方法第二示例性实施例的静默视频平滑示意图。从静默状态视频素材中选取数字人位姿中立、五官端正、表情平静温和的图像帧确定为静默帧fs，选取数字人的动作表现相对静止的静默视频片段确定为第一待拼接静默视频vs，首先采用基于光流的图像插帧算法ifrnet对静默帧fs和第一待拼接静默视频vs的起始帧进行插帧，分别得到起始帧的第一中间帧f
1a
、f
2a
……fna
，然后将静默帧fs、起始帧的第一中间帧f
1a
、f
2a
……fna
和第一待拼接静默视频vs的起始帧依次进行合并，完成对第一待拼接静默视频vs起始帧的平滑；接着，同理采用基于光流的图像插帧算法ifrnet对静默帧fs和第一待拼接静默视频vs的终止帧进行插帧，分别得到终止帧的第一中间帧f
1b
、f
2b
……fnb
，然后将第一待拼接静默视频vs的终止帧、终止帧的第一中间帧f
1b
、f
2b
……fnb
和静默帧fs依次进行合并，完成对第一待拼接静默视频vs终止帧的平滑，至此合并得到插帧后的第二待拼接静默视频。
118.进一步地，参照图5，图5为本技术视频处理方法第二示例性实施例涉及的将插帧后的待拼接视频填充时间轴得到拼接视频的具体流程示意图。在本实施例中，上述步骤s40，将所述插帧后的待拼接视频填充时间轴得到拼接视频的步骤可以包括：
119.步骤s401，确定时间轴的静默区间；
120.步骤s402，将所述第二待拼接静默视频插入所述静默区间的开始时间得到静默状态的拼接视频。
121.具体地，对于插帧后的第二待拼接静默视频，首先确定时间轴的静默区间，其中，静默区间包括静默视频的开始时间和结束时间。然后将插帧后的第二待拼接静默视频插入静默区间的开始时间，得到静默状态的拼接视频。
122.更为具体地，首先确定时间轴的静默区间，若在该静默区间内需要将多段插帧后的第二待拼接静默视频进行拼接，则按照插帧后的第二待拼接静默视频的拼接顺序，确定静默区间内每段插帧后的第二待拼接静默视频的开始时间，然后将每段插帧后的第二待拼接静默视频按照拼接顺序依次插入静默区间内对应的开始时间，得到静默状态的拼接视频。
123.本实施例通过上述方案，具体通过获取视频素材；根据所述视频素材确定静默帧和待拼接视频；根据所述静默帧和所述待拼接视频进行插帧，得到插帧后的待拼接视频；将所述插帧后的待拼接视频填充时间轴得到拼接视频。通过从视频素材中确定静默帧和待拼
接视频，使用静默帧对待拼接视频进行插帧平滑，将插帧后的待拼接视频填充至时间轴，可以得到平滑后的拼接视频，提升视频整体流畅度。基于本技术方案，通过构建一套2d数字人视频素材，并基于该视频素材运用本技术提出的视频处理方法，有效地解决了当前数字人视频片段拼接中易出现视频拼接处不连贯的问题，使得拼接后的视频图像过渡更加平滑，提高拼接视频的平滑流畅度。
124.第三实施例
125.进一步地，基于上述第二实施例，在本实施例中，上述步骤s202，判断所述视频素材的类型之后，还可以包括：
126.步骤s204，若所述视频素材的类型为动作状态视频素材，则根据动作状态视频素材确定第一待拼接动作视频。
127.具体地，对获取的视频素材的类型进行判断，若视频素材的类型为动作状态视频素材，即视频中数字人有特定动作表现，则根据动作状态视频素材选取符合要求的动作视频片段确定为第一待拼接动作视频。
128.需要说明的是，为保证插帧后的待拼接静默视频与插帧后的待拼接动作视频的首尾的一致性，选取的用于插帧的静默帧是相同的。
129.可选地，在本实施例中，上述步骤s30，根据所述静默帧和所述待拼接视频进行插帧，得到插帧后的待拼接视频的步骤可以包括：
130.步骤s303，通过基于光流的图像插帧算法ifrnet对所述静默帧和所述第一待拼接动作视频进行插帧，得到第二中间帧；
131.步骤s304，根据所述静默帧、所述第二中间帧和所述第一待拼接动作视频合并得到第二待拼接动作视频。
132.具体地，对于确定的静默帧和第一待拼接动作视频，采用基于光流的图像插帧算法ifrnet对静默帧和第一待拼接动作视频进行插帧平滑处理，得到第二中间帧。根据确定的静默帧、第二中间帧和第一待拼接动作视频，按照顺序依次合并成为第二待拼接动作视频。
133.更为具体地，参照图6，图6为本技术视频处理方法第三示例性实施例的动作视频平滑示意图。从动作状态视频素材中选取数字人有特定动作表现的动作视频片段确定为第一待拼接动作视频va，首先采用基于光流的图像插帧算法ifrnet对静默帧fs和第一待拼接动作视频va的起始帧进行插帧，分别得到起始帧的第二中间帧f
1c
、f
2c
……fnc
，然后将静默帧fs、起始帧的第二中间帧f
1c
、f
2c
……fnc
和第一待拼接动作视频va的起始帧依次进行合并，完成对第一待拼接动作视频va起始帧的平滑；接着，同理采用基于光流的图像插帧算法ifrnet对静默帧fs和第一待拼接动作视频va的终止帧进行插帧，分别得到终止帧的第二中间帧f
1d
、f
2d
……fnd
，然后将第一待拼接动作视频va的终止帧、终止帧的第二中间帧f
1d
、f
2d
……fnd
和静默帧fs依次进行合并，完成对第一待拼接动作视频va终止帧的平滑，至此合并得到插帧后的第二待拼接动作视频。
134.进一步地，参照图7，图7为本技术视频处理方法第三示例性实施例涉及的将插帧后的待拼接视频填充时间轴得到拼接视频的具体流程示意图。在本实施例中，上述步骤s40，将所述插帧后的待拼接视频填充时间轴得到拼接视频的步骤可以包括：
135.步骤s403，确定时间轴的动作区间；
136.步骤s404，将所述第二待拼接动作视频插入所述动作区间的开始时间得到动作状态的拼接视频。
137.具体地，对于插帧后的第二待拼接动作视频，首先确定时间轴的动作区间，其中，动作区间包括动作视频的开始时间和结束时间。然后将插帧后的第二待拼接动作视频插入动作区间的开始时间，得到动作状态的拼接视频。
138.更为具体地，若存在多段插帧后的第二待拼接动作视频，则确定每段插帧后的第二待拼接动作视频对应的动作区间，将每段插帧后的第二待拼接动作视频依次插入对应的动作区间的开始时间，得到动作状态的拼接视频。
139.本实施例通过上述方案，具体通过获取视频素材；根据所述视频素材确定静默帧和待拼接视频；根据所述静默帧和所述待拼接视频进行插帧，得到插帧后的待拼接视频；将所述插帧后的待拼接视频填充时间轴得到拼接视频。通过从视频素材中确定静默帧和待拼接视频，使用静默帧对待拼接视频进行插帧平滑，将插帧后的待拼接视频填充至时间轴，可以得到平滑后的拼接视频，提升视频整体流畅度。基于本技术方案，通过构建一套2d数字人视频素材，并基于该视频素材运用本技术提出的视频处理方法，有效地解决了当前数字人视频片段拼接中易出现视频拼接处不连贯的问题，使得拼接后的视频图像过渡更加平滑，提高拼接视频的平滑流畅度。
140.第四实施例
141.进一步地，基于上述第二实施例或第三实施例，在本实施例中，上述根据静默状态视频素材确定第一待拼接静默视频的步骤可以包括：
142.步骤s2011，根据所述静默状态视频素材确定若干段不同时长的第一待拼接静默视频。
143.具体地，若视频素材为静默状态视频素材，则根据静默状态视频素材选取若干段不同时长的静默视频片段确定为第一待拼接静默视频。在本实施例中，选取的若干段不同时长的静默视频片段的数量不少于两段。示例性地，参考图8，选取若干段时长为略小于2s、4s和8s的静默视频片段确认为第一待拼接静默视频，用于结合第一中间帧和静默帧合并得到若干段时长为2s、4s和8s的插帧后的待拼接静默视频。
144.可选地，在本实施例中，上述步骤s301，通过基于光流的图像插帧算法ifrnet对所述静默帧和所述第一待拼接静默视频进行插帧，得到第一中间帧可以包括：
145.步骤s3011，通过基于光流的图像插帧算法ifrnet对所述静默帧和每一段不同时长的第一待拼接静默视频分别进行插帧，得到不同时长的第一待拼接静默视频对应的第一中间帧。
146.具体地，对于确定的静默帧和若干段不同时长的第一待拼接静默视频，采用基于光流的图像插帧算法ifrnet对静默帧和每一段不同时长的第一待拼接静默视频分别进行插帧平滑处理，得到每一不同时长的第一待拼接静默视频对应的第一中间帧。
147.可选地，在本实施例中，上述步骤s302，根据所述静默帧、所述第一中间帧和所述第一待拼接静默视频合并得到第二待拼接静默视频可以包括：
148.步骤s3021，根据所述静默帧、所述第一中间帧和对应的不同时长的第一待拼接静默视频合并得到所述第二待拼接静默视频。
149.具体地，对于每一不同时长的第一待拼接静默视频，根据确定的静默帧、对应的第
一中间帧和第一待拼接静默视频，按照顺序依次合并成为不同时长的第二待拼接静默视频。
150.由于在不同时长的静默视频中，数字人的相对静默状态会在微表情、微动作上存在不同，因此，通过根据静默状态视频素材确定若干段不同时长的待拼接静默视频，根据静默帧和若干段不同时长的待拼接静默视频进行插帧平滑，将插帧后的不同时长的待拼接静默视频填充至时间轴得到静默状态的拼接视频，可以有效增加拼接后的静默视频的多样性。
151.可选地，参照图9，图9为本技术视频处理方法第四示例性实施例涉及的时间轴的静默区间示意图，上述步骤s401，确定时间轴的静默区间可以包括：
152.步骤s4011，确定静默时长；
153.步骤s4012，根据所述静默时长确定静止帧和不同时长的第二待拼接静默视频的数量；
154.步骤s4013，根据所述数量获取对应数量的所述静默帧和所述不同时长的第二待拼接静默视频填充时间轴得到所述静默区间。
155.具体地，为了确定静默区间，首先确定静默时长ls，根据确定的静默时长ls确定静止帧的数量和不同时长的第二待拼接静默视频的数量，然后根据静止帧的数量获取对应数量的静止帧，根据不同时长的第二待拼接静默视频的数量获取对应数量的不同时长的第二待拼接静默视频，结合获取到的静止帧和不同时长的第二待拼接静默视频依次填充至时间轴得到静默区间。
156.示例性地，对于本实施例选取的若干段时长为2s、4s和8s的第二待拼接静默视频，可以通过以下公式1-5确定静止帧和不同时长的第二待拼接静默视频的数量：
157.静默时长ls与静止帧、不同时长的第二待拼接静默视频的数量关系为：
158.ls＝a*8+b*4+c*2+d/frate
ꢀꢀ
(1)
159.其中，
160.a＝ls//8
ꢀꢀ
(2)
161.b＝(l
s-a*8)//4
ꢀꢀ
(3)
162.c＝(l
s-a*8-b*4)//2
ꢀꢀ
(4)
163.d＝(l
s-a*8-b*4-c*2)*frate
ꢀꢀ
(5)
164.上述公式中，a为v
s8
的数量，v
s8
为时长8s的第二待拼接静默视频，b为v
s4
的数量，v
s4
为时长4s的第二待拼接静默视频，c为v
s2
的数量，v
s2
为时长2s的第二待拼接静默视频，d为静默帧fs的数量，*为乘，//为整除，frate为帧率。
165.本实施例通过上述方案，具体通过获取视频素材；根据所述视频素材确定静默帧和待拼接视频；根据所述静默帧和所述待拼接视频进行插帧，得到插帧后的待拼接视频；将所述插帧后的待拼接视频填充时间轴得到拼接视频。通过从视频素材中确定静默帧和待拼接视频，使用静默帧对待拼接视频进行插帧平滑，将插帧后的待拼接视频填充至时间轴，可以得到平滑后的拼接视频，提升视频整体流畅度。基于本技术方案，通过构建一套2d数字人视频素材，并基于该视频素材运用本技术提出的视频处理方法，有效地解决了当前数字人视频片段拼接中易出现视频拼接处不连贯的问题，使得拼接后的视频图像过渡更加平滑，提高拼接视频的平滑流畅度。
166.第五实施例
167.进一步地，基于上述实施例，在本实施例中，上述步骤s10，获取视频素材可以包括：
168.步骤s101，获取预设时长的静默状态视频素材；和/或，
169.步骤s102，获取开始和结束状态为静默状态的动作状态视频素材。
170.具体地，视频处理装置获取预设时长的静默状态视频素材，和/或，获取数字人的开始和结束状态为静默状态的动作状态视频素材。可选地，为保持视频的观感平滑流畅，选取数字人动作为匀速运动，且开始和结束状态为静默状态的动作状态视频素材。
171.可选地，在本实施例中以获取预设时长的静默状态视频素材以及开始和结束状态为静默状态的动作状态视频素材为例；在其他实施例中，可以获取预设时长的静默状态视频素材，或，获取开始和结束状态为静默状态的动作状态视频素材。
172.更为具体地，参照图10，图10为本技术视频处理方法第五示例性实施例涉及的平滑前与平滑后的视频片段拼接示意图。视频处理装置首先获取预设时长的静默状态视频素材，和获取数字人的开始和结束状态为静默状态的动作状态视频素材。
173.然后，根据获取的视频素材确定静默帧和待拼接视频，其中，对于静默帧的确定，从静默状态视频素材中选取数字人位姿中立、五官端正、表情平静温和的图像帧作为静默帧；对于待拼接片段的确定，若视频素材为动作状态视频素材，即视频中数字人有特定动作表现，则从动作状态视频素材中选取符合要求的动作视频片段作为第一待拼接动作视频，比如说话、微笑、点头等；若视频素材为静默状态视频素材，即视频中数字人的动作表现为相对静默，则从静默状态视频素材中选取若干段特定时长的静默视频片段，或从静默状态视频素材中剪辑制作若干段特定时长的静默视频片段作为第一待拼接静默视频；其中，在本实施例中，若干段特定时长的静默视频片段的数量不少于两段。
174.接着，根据确定的静默帧和待拼接视频进行插帧平滑处理，得到插帧后的待拼接视频。具体地，对于确定的静默帧和第一待拼接动作视频，采用基于光流的图像插帧算法ifrnet对静默帧和第一待拼接动作视频进行插帧平滑处理，得到第二中间帧，根据确定的静默帧、第二中间帧和第一待拼接动作视频，按照顺序依次合并成为第二待拼接动作视频；对于确定的静默帧和若干段不同时长的第一待拼接静默视频，采用基于光流的图像插帧算法ifrnet对静默帧和每一段不同时长的第一待拼接静默视频分别进行插帧平滑处理，得到每一不同时长的第一待拼接静默视频对应的第一中间帧，根据所述静默帧、所述第一中间帧和对应的不同时长的第一待拼接静默视频合并得到所述第二待拼接静默视频。
175.之后，将插帧后的待拼接视频填充时间轴得到拼接视频。具体地，对于插帧后的第二待拼接动作视频，首先确定时间轴的动作区间，其中，动作区间包括动作视频的开始时间和结束时间，然后将插帧后的第二待拼接动作视频插入动作区间的开始时间，得到动作状态的拼接视频；对于剩余时间轴以及插帧后的第二待拼接静默视频，首先确定时间轴的静默区间，其中，静默区间包括静默视频的开始时间和结束时间，然后将插帧后的第二待拼接静默视频插入静默区间的开始时间，得到静默状态的拼接视频，至此，即可得到平滑后的拼接视频。
176.需要说明的，为保证整体视频的流畅度，除时间轴开始第一段插入的插帧后的待拼接视频外(一般为插帧后的待拼接静默视频)，在确定其它插帧后的待拼接视频的开始时
间时，将上一段插帧后的待拼接视频的结束时间确定为下一段插帧后的待拼接视频的开始时间。
177.本实施例通过上述方案，具体通过获取视频素材；根据所述视频素材确定静默帧和待拼接视频；根据所述静默帧和所述待拼接视频进行插帧，得到插帧后的待拼接视频；将所述插帧后的待拼接视频填充时间轴得到拼接视频。通过从视频素材中确定静默帧和待拼接视频，使用静默帧对待拼接视频进行插帧平滑，将插帧后的待拼接视频填充至时间轴，可以得到平滑后的拼接视频，提升视频整体流畅度。基于本技术方案，通过构建一套2d数字人视频素材，并基于该视频素材运用本技术提出的视频处理方法，有效地解决了当前数字人视频片段拼接中易出现视频拼接处不连贯的问题，使得拼接后的视频图像过渡更加平滑，提高拼接视频的平滑流畅度。
178.相比现有技术，即平滑前的拼接视频，通过本实施例方案得到的平滑后的视频图像过渡更加平滑，视频整体流畅度更高。
179.此外，本技术实施例还提出一种视频处理装置，所述视频处理装置包括：
180.获取模块，用于获取视频素材；
181.确定模块，用于根据所述视频素材确定静默帧和待拼接视频；
182.插帧模块，用于根据所述静默帧和所述待拼接视频进行插帧，得到插帧后的待拼接视频；
183.拼接模块，用于将所述插帧后的待拼接视频填充时间轴得到拼接视频。
184.本实施例实现视频处理的原理及实施过程，请参照上述各实施例，在此不再一一赘述。
185.此外，本技术实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频处理程序，所述视频处理程序被所述处理器执行时实现如上所述的视频处理方法的步骤。
186.由于本视频处理程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
187.此外，本技术实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有视频处理程序，所述视频处理程序被处理器执行时实现如上所述的视频处理方法的步骤。
188.由于本视频处理程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
189.相比现有技术，本技术实施例提出的视频处理方法、装置、终端设备以及存储介质，通过获取视频素材；根据所述视频素材确定静默帧和待拼接视频；根据所述静默帧和所述待拼接视频进行插帧，得到插帧后的待拼接视频；将所述插帧后的待拼接视频填充时间轴得到拼接视频。通过从视频素材中确定静默帧和待拼接视频，使用静默帧对待拼接视频进行插帧平滑，将插帧后的待拼接视频填充至时间轴，可以得到平滑后的拼接视频，提升视频整体流畅度。基于本技术方案，通过构建一套2d数字人视频素材，并基于该视频素材运用本技术提出的视频处理方法，有效地解决了当前数字人视频片段拼接中易出现视频拼接处
不连贯的问题，使得拼接后的视频图像过渡更加平滑，提高拼接视频的平滑流畅度。
190.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
191.另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
192.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
193.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本技术每个实施例的方法。
194.以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。

技术特征：
1.一种视频处理方法，其特征在于，所述视频处理方法包括：获取视频素材；根据所述视频素材确定静默帧和待拼接视频；根据所述静默帧和所述待拼接视频进行插帧，得到插帧后的待拼接视频；将所述插帧后的待拼接视频填充时间轴得到拼接视频。2.如权利要求1所述的视频处理方法，其特征在于，所述根据所述视频素材确定静默帧和待拼接视频的步骤包括：根据所述视频素材确定静默帧；判断所述视频素材的类型；若所述视频素材的类型为静默状态视频素材，则根据静默状态视频素材确定第一待拼接静默视频。3.如权利要求2所述的视频处理方法，其特征在于，所述根据所述静默帧和所述待拼接视频进行插帧，得到插帧后的待拼接视频的步骤包括：通过基于光流的图像插帧算法ifrnet对所述静默帧和所述第一待拼接静默视频进行插帧，得到第一中间帧；根据所述静默帧、所述第一中间帧和所述第一待拼接静默视频合并得到第二待拼接静默视频；所述将所述插帧后的待拼接视频填充时间轴得到拼接视频的步骤包括：确定时间轴的静默区间；将所述第二待拼接静默视频插入所述静默区间的开始时间得到静默状态的拼接视频。4.如权利要求2所述的视频处理方法，其特征在于，所述判断所述视频素材的类型的步骤之后，还包括：若所述视频素材的类型为动作状态视频素材，则根据动作状态视频素材确定第一待拼接动作视频。5.如权利要求4所述的视频处理方法，其特征在于，所述根据所述静默帧和所述待拼接视频进行插帧，得到插帧后的待拼接视频的步骤包括：通过基于光流的图像插帧算法ifrnet对所述静默帧和所述第一待拼接动作视频进行插帧，得到第二中间帧；根据所述静默帧、所述第二中间帧和所述第一待拼接动作视频合并得到第二待拼接动作视频；所述将所述插帧后的待拼接视频填充时间轴得到拼接视频的步骤包括：确定时间轴的动作区间；将所述第二待拼接动作视频插入所述动作区间的开始时间得到动作状态的拼接视频。6.如权利要求3所述的视频处理方法，其特征在于，所述根据静默状态视频素材确定第一待拼接静默视频的步骤包括：根据所述静默状态视频素材确定若干段不同时长的第一待拼接静默视频；所述通过基于光流的图像插帧算法ifrnet对所述静默帧和所述第一待拼接静默视频进行插帧，得到第一中间帧的步骤包括：通过基于光流的图像插帧算法ifrnet对所述静默帧和每一段不同时长的第一待拼接
静默视频分别进行插帧，得到不同时长的第一待拼接静默视频对应的第一中间帧；所述根据所述静默帧、所述第一中间帧和所述第一待拼接静默视频合并得到第二待拼接静默视频的步骤包括：根据所述静默帧、所述第一中间帧和对应的不同时长的第一待拼接静默视频合并得到所述第二待拼接静默视频。7.如权利要求1所述的视频处理方法，其特征在于，所述获取视频素材的步骤包括：获取预设时长的静默状态视频素材；和/或，获取开始和结束状态为静默状态的动作状态视频素材。8.一种视频处理装置，其特征在于，所述视频处理装置包括：获取模块，用于获取视频素材；确定模块，用于根据所述视频素材确定静默帧和待拼接视频；插帧模块，用于根据所述静默帧和所述待拼接视频进行插帧，得到插帧后的待拼接视频；拼接模块，用于将所述插帧后的待拼接视频填充时间轴得到拼接视频。9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频处理程序，所述视频处理程序被所述处理器执行时实现如权利要求1-7中任一项所述的视频处理方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有视频处理程序，所述视频处理程序被处理器执行时实现如权利要求1-7中任一项所述的视频处理方法的步骤。

技术总结
本申请公开了一种视频处理方法、装置、终端设备以及存储介质，其视频处理方法包括：获取视频素材；根据所述视频素材确定静默帧和待拼接视频；根据所述静默帧和所述待拼接视频进行插帧，得到插帧后的待拼接视频；将所述插帧后的待拼接视频填充时间轴得到拼接视频。本申请解决了数字人视频片段拼接中易出现视频拼接处不连贯的问题，提高了拼接视频的平滑流畅度。度。度。


技术研发人员：毛萌 朱勰戎 李国鸣 钱学成
受保护的技术使用者：招商银行股份有限公司
技术研发日：2023.04.24
技术公布日：2023/7/13