特效弹幕交互方法、装置、设备以及存储介质与流程

1.本技术涉及视频互动领域，尤其涉及一种特效弹幕交互方法、装置、设备以及存储介质。


背景技术：

2.相关技术中，随着视频互动文化越来越大众化，用户在观看视频的过程中往往会通过发送文字弹幕、或者爱心礼物等特效弹幕的方式对呈现的视频内容发表认可、喜爱或者不赞同等看法。
3.但是，特效弹幕只是显示在视频播放界面中的预设区域，或者在视频播放界面中沿设定的路径移动，而与视频播放中的人物并无关联，从而造成用户与视频内容之间的互动性差，影响了视频内容在用户侧的趣味性和吸引力，用户体验不佳。
4.申请内容
5.本技术的主要目的在于提供一种特效弹幕交互方法、装置、设备以及存储介质，旨在解决现有特效弹幕和视频内容互动性差的技术问题。
6.为实现上述目的，本技术提供一种特效弹幕交互方法，方法包括：
7.在播放视频数据时，响应于用户对视频播放界面上特效弹幕控件的触发操作，获取三维虚拟形象；其中，三维虚拟形象具有模型朝向和动画效果；
8.将三维虚拟形象的显示时刻对应的待播放视频帧作为目标视频帧；其中，目标视频帧包括目标角色对象；
9.基于目标视频帧的画面信息，确定目标角色对象在视频场景中的角色朝向；
10.根据角色朝向，调整三维虚拟形象的模型朝向，获得模型朝向和角色朝向满足预设条件的目标三维虚拟形象；
11.基于目标三维虚拟形象和动画效果，生成特效动画；
12.当播放目标视频帧时，在视频播放界面上播放特效动画。
13.在本技术可能的一实施例中，根据角色朝向，调整三维虚拟形象的模型朝向，获得模型朝向和角色朝向满足预设条件的目标三维虚拟形象，包括：
14.在虚拟环境中生成三维虚拟形象；其中，虚拟环境与视频环境的三维坐标系一致；
15.基于角色朝向和模型朝向，确定三维虚拟形象在每个坐标轴上的旋转参数；
16.基于旋转参数，控制三维虚拟形象绕至少一个坐标轴旋转，获得模型朝向和角色朝向满足预设条件的目标三维虚拟形象。
17.在本技术可能的一实施例中，基于目标视频帧的画面信息，确定目标角色对象在视频场景中的角色朝向，包括：
18.基于目标视频帧的画面信息，识别出目标角色对象的第一预设部位的关键特征点；
19.确定各个关键特征点在视频场景中的空间坐标信息；
20.基于空间坐标信息，确定角色朝向。
21.在本技术可能的一实施例中，基于目标三维虚拟形象和动画效果，生成特效动画，包括：
22.基于目标视频帧的画面信息，确定目标三维虚拟形象在视频播放界面中的起始点和最终停留点；
23.基于起始点和最终停留点，生成移动路径；
24.基于目标三维虚拟形象、动画效果和移动路径，生成特效动画。
25.在本技术可能的一实施例中，基于目标视频帧的画面信息，确定目标三维虚拟形象在视频播放界面中的起始点，包括：
26.基于目标视频帧的画面信息，识别出目标角色对象的第一预设部位的部位中心点；
27.基于部位中心点和视频播放界面的尺寸信息，生成多个待选点；各个待选点分布在播放界面平面坐标系的不同象限区域内，播放界面平面坐标系为以视频播放界面的中心点为原点构建的平面坐标系；
28.基于角色朝向，从多个待选点中确定出起始点。
29.在本技术可能的一实施例中，基于目标视频帧的画面信息，确定目标三维虚拟形象在视频播放界面中的最终停留点，包括：
30.基于目标视频帧的画面信息，识别出目标角色对象的第一预设部位的部位中心点；
31.基于目标视频帧的画面信息，确定出目标角色对象的第二预设部位在视频场景中的实际朝向向量；
32.确定从起始点到部位中心点的指向向量；
33.基于实际朝向向量和指向向量，确定出意向向量；
34.确定目标角色对象和目标三维虚拟形象之间的间距信息；
35.基于部位中心点、意向向量和间距信息，确定目标三维虚拟形象在视频播放界面中的最终停留点。
36.在本技术可能的一实施例中，在播放视频数据时，响应于用户对视频播放界面上特效弹幕控件的触发操作，获取三维虚拟形象，包括：
37.在播放视频数据时，响应于用户对视频播放界面上特效弹幕控件的触发操作，获取初始三维虚拟形象，并展示至少一个动画效果设置控件；
38.响应于用户对其中一个动画效果设置控件的触发操作，确定出目标动画效果；
39.基于动画效果和模型姿态映射表，确定出目标动画效果对应的目标模型姿态；动画效果和模型姿态映射表包括动画效果和模型姿态之间的对应关系；
40.基于目标模型姿态对初始三维虚拟形象进行调整，获得三维虚拟形象。
41.第二方面，本技术还提供了一种特效弹幕交互装置，包括：
42.虚拟形象触发模块，用于在播放视频数据时，响应于用户对视频播放界面上特效弹幕控件的触发操作，获取三维虚拟形象；其中，三维虚拟形象具有模型朝向和动画效果；
43.视频帧确定模块，用于将三维虚拟形象的显示时刻对应的待播放视频帧作为目标视频帧；其中，目标视频帧包括目标角色对象；
44.角色朝向确定模块，用于基于目标视频帧的画面信息，确定目标角色对象在视频
场景中的角色朝向；
45.形象更改模块，用于根据角色朝向，调整三维虚拟形象的模型朝向，获得模型朝向和角色朝向满足预设条件的目标三维虚拟形象；
46.动画生成模块，用于基于目标三维虚拟形象和动画效果，生成特效动画；
47.形象展示模块，用于当播放目标视频帧时，在视频播放界面上播放特效动画。
48.第三方面，本技术还提供了一种特效弹幕交互设备，包括：处理器，存储器以及存储在所述存储器中的特效弹幕交互程序，所述特效弹幕交互程序被所述处理器运行时实现如上所述特效弹幕交互方法的步骤。
49.第四方面，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有特效弹幕交互程序，所述特效弹幕交互程序被处理器执行时实现如上所述的特效弹幕交互方法。
50.本技术提出的一种特效弹幕交互方法，所述方法包括：在播放视频数据时，响应于用户对视频播放界面上特效弹幕控件的触发操作，获取三维虚拟形象；其中，所述三维虚拟形象具有模型朝向和动画效果；将所述三维虚拟形象的显示时刻对应的待播放视频帧作为目标视频帧；其中，所述目标视频帧包括目标角色对象；基于所述目标视频帧的画面信息，确定所述目标角色对象在视频场景中的角色朝向；根据所述角色朝向，调整所述三维虚拟形象的模型朝向，获得所述模型朝向和所述角色朝向满足预设条件的目标三维虚拟形象；基于目标三维虚拟形象和所述动画效果，生成特效动画；当播放所述目标视频帧时，在所述视频播放界面上播放所述特效动画。
51.由此可见，本技术中，用户观看视频时，可通过三维虚拟形象和视频数据中的目标角色对象进行特效互动，且在具体播放时，所述三维虚拟形象的模型朝向和所述目标角色对象的角色朝向满足预设条件，从而提高了三维虚拟形象和目标角色对象的互动性，进而提高了用户的沉浸度，提高了用户体验。
附图说明
52.图1为本技术实施例方案涉及的硬件运行环境的特效弹幕交互设备的结构示意图；
53.图2为本技术特效弹幕交互方法第一实施例的流程示意图；
54.图3为本技术视频播放界面的特效交互控件的示意图；
55.图4为本技术目标视频帧中笛卡尔空间坐标系的示意图；
56.图5为本技术特效弹幕交互方法第二实施例的流程示意图；
57.图6为本技术目标视频帧中视频界面平面坐标系的示意图；
58.图7为本技术目标角色对象的角色朝向的示意图；
59.图8为本技术最终停留点的示意图；
60.图9为本技术特效弹幕交互方法第三实施例的流程示意图；
61.图10为本技术视频播放界面的动画效果设置控件的示意图；
62.图11为本技术特效弹幕交互装置的功能模块示意图。
63.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
64.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
65.随着视频互动文化越来越大众化，用户在观看视频的过程中往往会通过一些发送字词弹幕、或者爱心、火箭等礼物特效弹幕的方式对呈现的视频内容发表认可、喜爱或者不赞同等看法。但是上述字词弹幕或者礼物特效弹幕都是采用贴图技术。以爱心弹幕为例，在用户观看电视剧集时，用户特别喜爱电视剧集的主角，当用户发送爱心特效弹幕时，用户在视频播放界面上点击的位置就是“爱心”显示的位置，在视频播放界面上的指定区域贴上爱心特效弹幕贴图，以达到送爱心的特效效果。而当视频跳到下一视频帧后“爱心”弹幕的位置可能已经不再适用。
66.但是，弹幕、或者爱心等礼物特效只是显示在视频播放界面中的预设区域，或者在视频播放界面中沿设定的路径移动，而与视频播放中的人物并无关联，从而造成用户与视频内容之间的互动性差，影响了视频内容在用户侧的趣味性和吸引力，用户体验不佳。
67.此外，特效弹幕等均为固定元素，如爱心特效或者点赞特效等，没有使用用户的相关元素，不容易引起用户的共鸣。
68.为此，本技术提供了一种解决方案，通过将具体展示的特效弹幕设置为三维虚拟形象类型的弹幕，且三维虚拟形象在具体展示时，其模型朝向和所述目标角色对象的角色朝向满足预设条件，从而提高了三维虚拟形象和目标角色对象的互动性，进而提高了用户的沉浸度，提高了用户体验，以为用户提供一种新颖的观看视频的互动体验。
69.下面结合一些具体实施例进一步阐述本技术的发明构思。
70.以下对本技术涉及到的技术和术语进行解释：
71.计算机视觉技术(computer vi s i on,cv)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(opt ica l character recognit ion，ocr)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，本技术实施例提供的方法通过计算机视觉技术对视频帧中的人脸特征等进行识别。进一步的，本技术实施例提供的方法通过计算机视觉技术可以进行人脸配准，即自动定位出视频帧中的脸部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等。
72.三维虚拟形象：采用三维显示技术创建出的三维立体的三维虚拟形象，如avatar(化身)等，可以为人形形象、动物形象或者其他的自定义形象，人形形象可以是根据真人头像进行三维建模后得到的真人形象等。或者，近年来，随着cv技术的不断发展，针对人或物体的3d重建成为可能，通过3d重建能够得到与人或物体相似度较高的写实3d三维虚拟形象。
73.本技术实施例以下，将对本技术技术实现中应用到的特效弹幕交互设备进行说明：
74.参照图1，图1为本技术实施例方案涉及的硬件运行环境的特效弹幕交互设备的结构示意图。
75.如图2所示，该特效弹幕交互设备可以包括：处理器1001，例如中央处理器(centra l process i ng unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(di sp l ay)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wi re l ess-fi de l ity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)存储器，也可以是稳定的非易失性存储器(non-vo l at i l e memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
76.本领域技术人员可以理解，图2中示出的结构并不构成对特效弹幕交互设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
77.如图2所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及按键功能配置程序。
78.在图2所示的特效弹幕交互设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本技术特效弹幕交互设备中的处理器1001、存储器1005可以设置在特效弹幕交互设备中，特效弹幕交互设备通过处理器1001调用存储器1005中存储的特效弹幕交互程序，并执行本技术实施例提供的特效弹幕交互方法。
79.基于上述硬件结构但不限于上述硬件结构，本技术提供一种特效弹幕交互方法第一实施例。参照图3，图3示出了申请特效弹幕交互方法第一实施例的流程示意图。
80.需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
81.本实施例中，方法包括：
82.步骤s101、在播放视频数据时，响应于用户对视频播放界面上特效弹幕控件的触发操作，获取三维虚拟形象。
83.其中，三维虚拟形象具有模型朝向和动画效果。
84.本实施例中，方法的执行主体为终端设备和/或视频服务器中的视频播放应用。其中，视频服务器可以为包含一独立主机的物理服务器，或者该服务器可以为主机集群承载的虚拟服务器。在运行过程中，服务器可以运行视频播放应用的服务器侧的程序，以实现视频播放应用的相关业务功能，比如响应于终端设备的播放请求，将视频数据发送至终端设备。视频服务器通过多种类型的有线或无线网络和终端设备连接。终端设备可以包括诸如下述类型的电子设备：智能手机、平板设备、笔记本电脑、掌上电脑(pdas，persona ldi gita l ass i stants)等，本说明书一个或多个实施例并不对此进行限制。在运行过程中，终端设备可以运行视频播放用户侧的程序，以实现该应用的相关业务功能。如在视频播放界面上展示特效弹幕控件，并在用户触发该特效弹幕控件时，向服务器发送展示互动特效请求。
85.本实施例中，当用户想要观看某一视频数据时，打开终端设备上的视频播放应用，并通过输入的视频数据名称，或者点击相应的视频名称向视频服务器发送一视频播放请求。视频服务器接收到该视频播放请求后，返回视频数据源地址，终端设备访问该视频数据
源地址而在终端设备上播放该视频数据。
86.可以理解的，终端设备的显示屏上播放视频数据时，展示一视频播放界面s。参阅图3，视频播放界面s可以包括用于播放视频数据的显示区域，即视频播放器窗口。视频播放界面还包括用于对视频数据进行处理的控件，在检测到控件被触发时，对视频数据进行对应的处理，如倍数播放控件、音量调整控件、清晰度调整控件，以及拆条操作控件等。
87.本实施例中，视频播放界面还包括特效弹幕控件k1。可以理解的，特效弹幕控件k1和倍数播放控件、音量调整控件、清晰度调整控件等均可悬浮于视频播放器窗口上，并在未接收到预设操作，如用户拖动鼠标时隐藏显示，而在接收到预设操作后，方才悬浮显示于视频播放器窗口上。
88.在用户观看视频中，产生发送特效弹幕的需求时，用户可通过在终端设备的触控屏上点击特效弹幕控件k1，从而触发本实施例提供的交互步骤。当然，可以理解的，在一些实施例中，用户还可通过在终端设备的触摸屏上输入预设手势或者通过键盘等输入预设指令触发特效弹幕控件k1。
89.在检测到特效弹幕控件k1被触发后，视频播放应用从本地或者云端调取出三维虚拟形象。可以理解的，每个三维虚拟形象均具有至少一个设定的动画效果，如同一用户的三维虚拟形象具有至少3种动画效果，如怦然心动动画效果，为你打call动画效果和嫌弃动画效果等。或者同一用户具有多个三维虚拟对象，而不同的三维虚拟对象的动画效果不同。
90.也即是在本实施例中，显示在视频播放界面上进行互动的并不是现有的爱心贴图、点赞贴图或者火箭贴图，而是采用三维显示技术创建出的三维虚拟形象。
91.三维虚拟形象可以是用户的数字人。数字人可以是用户提前登陆视频播放应用后定制或者生成的三维虚拟形象。本实施例中，通过用户的数字人和视频内容里面的角色进行特效交互，可以明显地提高用户的沉浸感，进而提高用户体验。下文以三维虚拟形象为用户的数字人进行具体阐述。
92.可以理解的，三维虚拟形象具有相应的模型朝向，如针对数字人而言，其包括头部、躯干、四肢等，乃至于服装、装饰、工具等模型构件。因此，对于一具体的数字人而言，其模型朝向可以是数字人的脸部朝向方向。当然，在其他实施例中，模型朝向还可以是数字人的装饰构件的朝向方向。如在一示例中，用户为其数字人装饰有一仙女棒，具体展示为数字人的手部构件上握持有一仙女棒，且仙女棒指向一方向。此时，模型朝向可以是仙女棒指向的方向。
93.步骤s102、将三维虚拟形象的显示时刻对应的待播放视频帧作为目标视频帧。
94.其中，目标视频帧包括目标角色对象。
95.步骤s103、基于目标视频帧的画面信息，确定目标角色对象在视频场景中的角色朝向。
96.具体而言，对于视频剧集而言，每一视频帧中包括但不限于背景和角色。其中，对于任一视频剧集而言，其包括至少一个角色对象。而用户在观看过程中，可能会因为至少一个角色对象中任一角色对象产生发送特效弹幕的动机。如对于一电视剧集a，其包括男主一、男主二、女主一和女主二。而用户在观看过程中，对男主二特别喜爱，想要向男主二发送特效弹幕，从而可以在某一时刻触发特效弹幕控件。
97.用户确定了发送特效弹幕后，视频播放应用根据用户的指令具体下达时间或者其
他规则，确定出弹幕显示的具体时间戳，即显示时刻。进而，视频播放应用可以基于该显示时刻确定出此时播放的目标视频帧。
98.如在一示例中，终端设备在05：00:05接收到用户对视频播放界面上特效弹幕控件的触发操作，则视频播放应用根据提前配置的弹幕显示规则，确定在05：00:55显示对应的特效弹幕。此时，视频播放应用可以基于05：00:55这一时间戳，从视频数据中确定出于05：00:55显示的视频帧，并将其作为目标视频帧。
99.本实施例中，目标角色对象可以是视频剧集的默认主角，还可以是基于用户在视频播放界面上对视频角色的选择确定。如当用户触发特效弹幕控件时，在视频播放界面上展示一特效弹幕送达对象选择界面。该特效弹幕送达对象选择界面展示有视频数据中至少一个角色的名称、图像或者三维虚拟形象中的至少一者。用户可在特效弹幕送达对象选择界面中选择出对应的目标角色对象。
100.当然，本实施例中，目标角色对象还可以基于用户的观看历史和弹幕发送等大数据得出。如用户发送过“好喜欢xxx(女主)”等文字弹幕，则可以确定目标角色对象为视频数据中的女主。
101.由此，值得一提的是，为了提高互动性，在确定目标视频帧时，其中的其他规则可以是参考用户的喜好来确定。如视频播放应用确定目标角色对象后，则可以在确定根据用户的指令具体下达时间的基础上，再从至少一个待播放视频帧中确定出具有目标角色对象的多个待播放视频帧，然后从具有目标角色对象的多个待播放视频帧中，基于提前配置的弹幕显示规则，确定出三维虚拟形象的显示时刻，最终确定出目标视频帧。
102.可以理解的，根据目标视频帧的画面，可以确定目标角色对象在目标视频帧中具有相应的姿势，如可以是站立姿势、卧倒姿势或者奔跑姿势等。从而，目标角色对象也就在视频场景中具有相应的角色朝向。其中，视频场景为视频数据中由背景画面和目标角色之间的方位关系，以及多个角色对象之间站位关系形成的虚拟空间。可以理解的，该视频场景最终呈现在平面的视频播放界面上。
103.值得一提的是，目标角色对象在视频场景中包括头部、躯干、四肢等，乃至于服装、装饰、工具等。因此，对于一目标角色对象而言，其角色朝向可以是角色的脸部朝向方向。当然，在其他实施例中，角色朝向还可以是目标角色对象的躯干朝向方向或者工具等的指向方向。如在一示例中，目标角色对象在目标视频帧中表现为手持长剑的打斗姿态，此时，角色朝向可以是长剑的剑尖指向的方向。
104.步骤s104、根据角色朝向，调整三维虚拟形象的模型朝向，获得模型朝向和角色朝向满足预设条件的目标三维虚拟形象。
105.在确定出角色朝向和模型朝向后，即可对三维虚拟形象进行调整，调整三维虚拟形象在虚拟环境中的模型朝向，使得调整后的目标三维虚拟形象的模型朝向和角色朝向满足预设条件，即使得三维虚拟形象和目标角色对象之间产生互动。
106.值得一提的是，预设条件可以是模型朝向和角色朝向彼此相对、彼此正对或者是彼此背离等，本实施例对此并不限制。在具体实施例中，预设条件可由视频服务器根据视频剧集的剧情或者用户的个人大数据等提前配置。
107.如对于一女性用户发送的献爱心互动特效弹幕，此时，用户的数字人的模型朝向和其喜爱的男主一的角色朝向满足的彼此正对，以体现出喜爱之情。
108.或者，对于一女性用户发送的嫌弃互动特效弹幕，此时，用户的数字人的模型朝向和其讨厌的女主一的角色朝向满足的彼此垂直或者背离，以最终体现出嫌弃之情。
109.步骤s105、基于目标三维虚拟形象和动画效果，生成特效动画。
110.步骤s106、当播放目标视频帧时，在视频播放界面上播放特效动画。
111.在调整好三维虚拟形象后，即可基于目标三维虚拟形象和动画效果，生成一段新的特效动画，并在播放目标视频帧时，在视频播放界面上播放该新的特效动画。如此，在播放目标视频帧时，在视频播放界面上生成并显示目标三维虚拟形象，并展示三维虚拟形象的预定动画效果，从而使得最终展示时，三维虚拟形象和视频播放界面上的目标角色对象好似在虚拟环境中产生互动，从而为用户提供一种新颖的观看视频的互动体验。
112.通过上述描述，不难发现，本实施例通过将具体展示的特效弹幕设置为三维虚拟形象类型的弹幕，且三维虚拟形象在具体展示时，其模型朝向和目标角色对象的角色朝向满足预设条件，从而提高了三维虚拟形象和目标角色对象的互动性，进而提高了用户的沉浸度，提高了用户体验。
113.值得一提的是，在本实施例中，确定目标角色对象的角色朝向可以通过构建的脸部朝向神经网络模型等识别出来，或者作为本实施例的一种选择，步骤s103具体包括：
114.步骤s1031、基于所述目标视频帧的画面信息，识别出所述目标角色对象的第一预设部位的关键特征点。
115.步骤s1032、确定各个关键特征点在视频场景中的空间坐标信息。
116.步骤s1033、基于空间坐标信息，确定角色朝向。
117.具体的，确定角色朝向可以通过角色的各个关键点在空间内的坐标信息计算得到。
118.其中，第一预设部位可以根据视频数据中角色的展示画面的具体情况来确定。如对于古偶剧集，视频数据中会大量存在目标角色对象的脸部画面，此时第一预设部分可以是目标角色对象的脸部。相应的，关键特征点可以是人脸关键特征点，如人脸边角点等。当然，在一些武侠剧中，第一预设部位可以是角色的武器。
119.从而，视频播放应用可以基于人脸识别技术从目标视频帧中识别出目标角色对象的人脸特征关键点。然后以人脸特征关键点确定人脸中心点，从而以人脸中心点为原点，以在视频场景中构建一笛卡尔三维坐标系。其中，参阅图4，沿视频播放界面的水平方向构建笛卡尔三维坐标系的x轴，沿视频播放界面的竖直方向构建笛卡尔三维坐标系的y轴，然后构建一和y轴、x轴均呈135度夹角的z轴。
120.构建出笛卡尔三维坐标系后，即可计算得到人脸边角点在笛卡尔三维坐标系中的空间坐标信息。进而根据空间坐标信息计算得到角色朝向。
121.如，识别得到主人公人脸的左上a、右上b、右下c、左上d四个边角点，计算得到主人公人脸的左上、右上、右下、左上四个点在笛卡尔坐标系三维空间x轴、y轴、z轴上的坐标分别为a(x1,y1,z1)、b(x2,y2,z2)、c(x3,y3,z3)、d(x4,y4,z4)。然后基于上述4个点的坐标，即可计算出主人公头部围绕x、y、z三个轴旋转的角度分别为(pitch1，yaw-，ro l l 1
)。
122.作为一个实施例，步骤s104具体包括：
123.步骤s1041、在虚拟环境中生成三维虚拟形象。
124.其中，虚拟环境与视频环境的三维坐标系一致。
125.步骤s1042、基于角色朝向和模型朝向，确定三维虚拟形象在每个坐标轴上的旋转参数。
126.步骤s1043、基于旋转参数，控制三维虚拟形象绕至少一个坐标轴旋转，获得模型朝向和角色朝向满足预设条件的目标三维虚拟形象。
127.可以理解的，可以在和视频环境的三维坐标系一致的笛卡尔三维坐标系中生成三维虚拟形象，此时的三维虚拟形象具有初始的模型朝向。以模型朝向可以是数字人的脸部朝向方向为例，模型朝向可表示为(p itch0，yaw0，ro l l0)。然后即可根据前述计算得到的角色朝向在笛卡尔三维坐标系中的表示参数，即主人公头部围绕x、y、z三个轴旋转的角度分别为(pitch1，yaw1，ro l l 1
)和预设条件，对(pitch0，yaw0，ro l l0)和(pitch1，yaw1，ro l l 1
)进行计算处理，即可计算得到三维虚拟形象在每个坐标轴上的旋转参数，使得根据该旋转参数控制三维虚拟形象绕至少一个坐标轴旋转，则可以获得模型朝向和角色朝向满足预设条件的目标三维虚拟形象。
128.可以理解的，此时，若预设条件为彼此正对，则数字人在视频播放界面中出现的角度与主人公面对面，目标三维虚拟形象的模型朝向在笛卡尔三维坐标系中的表示参数为：绕x、y、z轴旋转的角度为(-pt ich1，pi+yaw1，-ro l l 1
)，其中pi＝180。根据(-pt ich1，pi+yaw1，-ro l l 1
)和(p itch0，yaw0，ro l l0)，即可计算得到三维虚拟形象在每个坐标轴上的旋转参数。
129.如在一具体示例中，如果主人公的角色朝向表示为：绕x、y、z轴旋转角度分别为(0，0，0)，则调整后的数字人的模型朝向表示为：绕x、y、z轴旋转角度分别为(0，180，0)，数字人的模型朝向为(30,20,0)，可根据(0，180，0)和(30,20,0)，确定数字人在笛卡尔三维坐标系中每个坐标轴上的具体旋转参数。
130.基于上述实施例，本技术提供一种特效弹幕交互方法第二实施例。参阅图5，图5为特效弹幕交互方法第二实施例的流程示意图。
131.需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
132.本实施例中，步骤s105具体包括：
133.步骤s1051、基于目标视频帧的画面信息，确定目标三维虚拟形象在视频播放界面中的起始点和最终停留点。
134.步骤s1052、基于起始点和最终停留点，生成移动路径。
135.步骤s1053、基于目标三维虚拟形象、动画效果和移动路径，生成特效动画。
136.具体的，为了进一步提高互动性，以使得三维虚拟形象可以和目标对象角色产生自然的交互，本实施例中，还为三维虚拟形象配置有移动路径。移动路径具体包括起始点位置和最终停留点位置。也即是，在视频播放界面播放到目标视频帧时，数字人等三维虚拟形象不会突兀地出现在屏幕上，而是先从屏幕的一边出现，然后移动到目标角色对象附近。
137.可以理解的，起始点可以为预设点，如屏幕的四个角点，还可以是四边的中点等。
138.或者，作为一个实施例中，步骤s1051具体包括：
139.步骤s10511、基于目标视频帧的画面信息，识别出目标角色对象的第一预设部位的部位中心点；
140.步骤s10512基于部位中心点和视频播放界面的尺寸信息，生成多个待选点。
141.各个待选点分布在播放界面平面坐标系的不同象限区域内，播放界面平面坐标系为以视频播放界面的中心点为原点构建的平面坐标系；
142.步骤s10513、基于部位中心点和角色朝向，确定起始点。
143.具体而言，本实施例中，参阅图6，以目标视频帧的画面中心为原点，以水平方向为x轴，竖直方向为y轴构建一平面坐标系。当然，可以理解的，平面坐标系还可以和水平方向呈一定角度，本实施例对此并不限制，如x轴相对于水平方向向上倾斜45
°
等。
144.然后利用人脸识别技术对目标视频帧的画面信息进行识别，从而识别出目标角色对象的第一预设部位的部位中心点。如上，本实施例中第一预设部分为人脸，则中心点为人脸中心点。人脸部位中心点表示为(x1，y1)。在计算出人脸部位中心点后，根据角色朝向可以计算出以较为相关的起始点。
145.可以理解的，起始点的具体位置可以根据虚拟角色对象的动画效果决定。如对于献爱心特效，互动感最好的方式在角色朝向上，由远到近的献上爱心。此时，在平面坐标系上，以部位中心点为顶点，角色朝向所覆盖的90
°
夹角区域内确定。
146.本实施例中，为了降低计算量，提前在视频播放界面上配置有若干个待选点。如待选点可以是4个，分别布置在4个象限内。
147.在一示例中，待选点为l1(x1，-h/2)，l2(w/2,y1)，l3(x1,h/2)，l4(-w/2,y1)。其中，w为视频播放界面的宽度，h为视频播放界面的高度。x需要从中确定出起始点d。
148.然后根据角色朝向，从中选择出和动画效果交互效果贴合的起始点。
149.如在一示例中，动画效果为献上爱心，则当主人公头部绕y轴旋转的角度为yaw。其中，参阅图7，当yaw＝0时表示主人公正面朝观众，当yaw＝90时表示主人公面朝观众左手边，当yaw＝180时表示主人公背朝观众，当yaw＝270时表示主人公面朝观众右手边。
150.此时，视频播放设备可以根据预设角色朝向和待选点映射表，从多个待选点中确定出起始点。其中，预设角色朝向和待选点映射表包括角色朝向和待选点之间的对应关系。可以理解的，预设角色朝向和待选点映射表可以根据动画效果提前配置。
151.如在一示例中，当yaw≤45||yaw》315时，数字人从l1(x1，-h/2)出场，当45《yaw≤135时，数字人从l4(-w/2,y1)出场，当135《yaw≤225时，数字人从l3(x1,h/2)出场，当225《yaw≤315时，数字人从l2(w/2,y1)出场。
152.步骤s10514、基于目标视频帧的画面信息，确定出目标角色对象的第二预设部位在视频场景中的实际朝向向量。
153.步骤s10515、确定从起始点到部位中心点的指向向量。
154.步骤s10516、基于实际朝向向量和指向向量，确定出意向向量。
155.步骤s10517、确定目标角色对象和目标三维虚拟形象之间的间距信息。
156.步骤s10518、基于部位中心点、意向向量和间距信息，确定目标三维虚拟形象在视频播放界面中的最终停留点。
157.具体的，为了达到比较好的互动效果，三维虚拟形象的停留位置需要与主人公有一个互动性比较明显的交互。此时，第二预设部分可以根据视频数据的类型或者剧情等确定。如，在偶像剧中，第二预设部分可以是目标角色对象的眼睛。或者，在一些武侠剧中，第二预设部分可以是目标角色对象的武器等。
158.下面以第二预设部分为眼睛为例具体说明。此时，为了达到比较好的互动效果，数
字人的停留位置需要与主人公有一个眼神的交互，因此可计算主人公眼睛看向的方向，结中数字人出场的起始点，计算数字人的最终停留点。
159.具体的，参阅图8，基于人脸识别技术，识别得到主人公眼睛看向的方向，即实际朝向向量为以起始点为起点，以主人公的脸部中心点为终点，作单位向量，得到指向向量为：然后得到意向向量为：
160.当然，可以理解的，意向向量并不必然限制为实际朝向向量和指向向量的差值，其可根据动画效果来调整。
161.此时，最终点e为：在以主人公脸部中心点为起点，方向与向量：方向一致，离主人公脸部中心点距离为d的地方。其中，d为距离信息。
162.作为本实施例的一种选择，间距信息可根据以下方式确定：确定目标角色对象在视频场景中的缩放信息；基于缩放信息，对预设互动距离进行缩小，得到间距信息。
163.具体的，在表示亲密关系中，人体之间的最佳亲密距离为46～76cm，本实施例取中间值，设人体之间实际最佳亲密距离，也即是预设互动距离为d1＝56cm。而正常成年人的头部长度为18～25cm，本实施例取中间值为width1＝21cm。基于人脸识别技术，计算出目标视频帧中主人公的头部长度为wi dth2，则视频中主人公的缩放比例rat ion为：rat io＝width2/width1。
164.将缩放比例rat ion代入到预设互动距离中，则：
165.rat ion＝d/d1，则d＝d i 1*width2/width1。
166.值得一提的是，当动画效果为嫌弃或者打call等动画效果中，预设互动距离可以由视频服务器提前配置。
167.在确定出起始点和最终停留点后，即可生成相应的移动路径。
168.此时，当播放目标视频帧时，在视频播放界面上生成并显示目标三维虚拟形象，并控制三维虚拟形象沿移动路径移动。
169.在调整好三维虚拟形象后，并确定出移动路径后，即可在播放目标视频帧时，在视频播放界面上的起始点生成并显示目标三维虚拟形象，然后控制目标三维虚拟形象沿移动路径移动，直至停留在最终停留位置，且其模型朝向和角色朝向满足预设条件，并展示三维虚拟形象的预定动画效果，从而使得最终展示时，三维虚拟形象可以更加自然的显示于视频播放界面上，并和视频播放界面上的目标角色对象好似在虚拟环境中产生互动，从而为用户提供一种新颖的观看视频的互动体验。
170.基于上述实施例，提出本技术特效弹幕交互方法第三实施例。参阅图9，图为特效弹幕交互方法第三实施例的流程示意图。
171.本实施例中，在播放视频数据时，响应于用户对视频播放界面上特效弹幕控件的触发操作，获取三维虚拟形象，包括：
172.步骤s301、在播放视频数据时，响应于用户对视频播放界面上特效弹幕控件的触发操作，获取初始三维虚拟形象，并展示至少一个动画效果设置控件。
173.具体的，初始三维虚拟形象可以是根据真人头像进行三维建模后得到的真人形象。如随着cv技术的不断发展，针对人或物体的3d重建成为可能，通过3d重建能够得到与人
或物体相似度较高的写实3d三维虚拟形象。因此，三维虚拟形象可以是用户的数字人。
174.但是初始三维虚拟形象具体在展示时最终送出的礼物特效由用户确定。因此，参阅图10，在接收到对视频播放界面上特效弹幕控件的触发操作后，视频播放界面上还可以悬浮展示至少一个动画效果设置控件k2。动画效果设置控件k2可以包括但不限于“666”动画效果设置控件、亲亲动画效果设置控件、以及“踩”动画效果设置控件，“怦然心动”动画效果设置控件等。
175.步骤s302、响应于用户对其中一个动画效果设置控件的触发操作，确定出目标动画效果。
176.步骤s303、基于动画效果和模型姿态映射表，确定出目标动画效果对应的目标模型姿态。
177.用户根据自身实时需求对相应的动画效果设置控件k2进行选择操作，具体的选择操作可以是点击或者输入相应的指令等，本实施例对此并不限制。视频播放应用根据接收到的对动画效果设置控件的触发操作，则确定出对应的目标动画效果。如用户点击了“怦然心动”动画效果设置控件，则确定出三维虚拟形象最终需要展示的为“怦然心动”动画效果。
178.可以理解的，视频播放应用提前设置有动画效果和模型姿态映射表。动画效果和模型姿态映射表包括有动画效果和模型姿态之间的对应关系。
179.如动画效果和模型姿态映射表提前配置有：怦然心动”动画效果对应的模型姿态为奔跑，就最终展示效果为数字人从起始点奔跑至最终停留点，模型朝向和角色朝向满足预设条件，并显示“怦然心动”的动画效果。
180.步骤s304、基于目标模型姿态对初始三维虚拟形象进行调整，获得三维虚拟形象。
181.在确定出目标姿态后，即可对初始三维虚拟形象进行调整，获得呈现出目标姿态的三维虚拟形象。
182.本实施例中，数字人显示在视频播放界面时，还展示有相应的姿态，可以使得三维虚拟形象可以更加生动、活泼、自然的显示于视频播放界面上，并和视频播放界面上的目标角色对象好似在虚拟环境中产生互动，从而为用户提供一种新颖的观看视频的互动体验。
183.第二方面，基于同一发明构思，参阅图11，本技术还提供了一种特效弹幕交互装置，包括：
184.虚拟形象触发模块，用于在播放视频数据时，响应于用户对视频播放界面上特效弹幕控件的触发操作，获取三维虚拟形象；其中，三维虚拟形象具有模型朝向和动画效果；
185.视频帧确定模块，用于将三维虚拟形象的显示时刻对应的待播放视频帧作为目标视频帧；其中，目标视频帧包括目标角色对象；
186.角色朝向确定模块，用于基于目标视频帧的画面信息，确定目标角色对象在视频场景中的角色朝向；
187.形象更改模块，用于根据角色朝向，调整三维虚拟形象的模型朝向，获得模型朝向和角色朝向满足预设条件的目标三维虚拟形象；
188.动画生成模块，用于基于目标三维虚拟形象和动画效果，生成特效动画；
189.形象展示模块，用于当播放目标视频帧时，在视频播放界面上播放特效动画。
190.值得一提的，本实施例提供的特效弹幕交互装置可以配置在终端设备还可以配置在视频服务器，或者还可以部分配置于终端设备，部分配置于视频服务器。如在一示例中，
三维虚拟形象触发模块和形象展示模块配置于终端设备，而角色朝向确定模块和形象更改模块配置于视频服务器。
191.需要说明的是，本实施例中的关于特效弹幕交互装置的各实施方式以及其达到的技术效果可参照前述实施例中特效弹幕交互方法的各种实施方式，这里不再赘述。
192.此外，本技术实施例还提出一种计算机存储介质，存储介质上存储有特效弹幕交互程序，特效弹幕交互程序被处理器执行时实现如上文的特效弹幕交互方法的步骤。因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本技术所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本技术方法实施例的描述。确定为示例，程序指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
193.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(read-on l ymemory，rom)或随机存储记忆体(random accessmemory，ram)等。
194.另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本技术提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
195.通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用cpu、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本技术而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、u盘、移动硬盘、只读存储器(rom，read-on l ymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例的方法。
196.以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。

技术特征：
1.一种特效弹幕交互方法，其特征在于，所述方法包括：在播放视频数据时，响应于用户对视频播放界面上特效弹幕控件的触发操作，获取三维虚拟形象；其中，所述三维虚拟形象具有模型朝向和动画效果；将所述三维虚拟形象的显示时刻对应的待播放视频帧作为目标视频帧；其中，所述目标视频帧包括目标角色对象；基于所述目标视频帧的画面信息，确定所述目标角色对象在视频场景中的角色朝向；根据所述角色朝向，调整所述三维虚拟形象的模型朝向，获得所述模型朝向和所述角色朝向满足预设条件的目标三维虚拟形象；基于目标三维虚拟形象和所述动画效果，生成特效动画；当播放所述目标视频帧时，在所述视频播放界面上播放所述特效动画。2.根据权利要求1所述的特效弹幕交互方法，其特征在于，所述根据所述角色朝向，调整所述三维虚拟形象的模型朝向，获得所述模型朝向和所述角色朝向满足预设条件的目标三维虚拟形象，包括：在虚拟环境中生成所述三维虚拟形象；其中，所述虚拟环境与所述视频环境的三维坐标系一致；基于所述角色朝向和所述模型朝向，确定所述三维虚拟形象在每个坐标轴上的旋转参数；基于所述旋转参数，控制所述三维虚拟形象绕至少一个所述坐标轴旋转，获得所述模型朝向和所述角色朝向满足预设条件的目标三维虚拟形象。3.根据权利要求1所述的特效弹幕交互方法，其特征在于，所述基于所述目标视频帧的画面信息，确定所述目标角色对象在视频场景中的角色朝向，包括：基于所述目标视频帧的画面信息，识别出所述目标角色对象的第一预设部位的关键特征点；确定各个所述关键特征点在所述视频场景中的空间坐标信息；基于所述空间坐标信息，确定所述角色朝向。4.根据权利要求1所述的特效弹幕交互方法，其特征在于，所述基于目标三维虚拟形象和所述动画效果，生成特效动画，包括：基于所述目标视频帧的画面信息，确定所述目标三维虚拟形象在所述视频播放界面中的起始点和最终停留点；基于所述起始点和所述最终停留点，生成移动路径；基于目标三维虚拟形象、所述动画效果和所述移动路径，生成特效动画。5.根据权利要求4所述的特效弹幕交互方法，其特征在于，所述基于所述目标视频帧的画面信息，确定所述目标三维虚拟形象在所述视频播放界面中的起始点，包括：基于所述目标视频帧的画面信息，识别出所述目标角色对象的第一预设部位的部位中心点；基于所述部位中心点和所述视频播放界面的尺寸信息，生成多个待选点；各个所述待选点分布在播放界面平面坐标系的不同象限区域内，所述播放界面平面坐标系为以所述视频播放界面的中心点为原点构建的平面坐标系；基于所述角色朝向，从多个待选点中确定出所述起始点。
6.根据权利要求4所述的特效弹幕交互方法，其特征在于，所述基于所述目标视频帧的画面信息，确定所述目标三维虚拟形象在所述视频播放界面中的最终停留点，包括：基于所述目标视频帧的画面信息，识别出所述目标角色对象的第一预设部位的部位中心点；基于所述目标视频帧的画面信息，确定出所述目标角色对象的第二预设部位在所述视频场景中的实际朝向向量；确定从所述起始点到所述部位中心点的指向向量；基于所述实际朝向向量和所述指向向量，确定出意向向量；确定所述目标角色对象和所述目标三维虚拟形象之间的间距信息；基于所述部位中心点、所述意向向量和所述间距信息，确定所述目标三维虚拟形象在所述视频播放界面中的最终停留点。7.根据权利要求1至6任一项所述的特效弹幕交互方法，其特征在于，所述在播放视频数据时，响应于用户对视频播放界面上特效弹幕控件的触发操作，获取三维虚拟形象，包括：在播放视频数据时，响应于用户对视频播放界面上特效弹幕控件的触发操作，获取初始三维虚拟形象，并展示至少一个动画效果设置控件；响应于用户对其中一个所述动画效果设置控件的触发操作，确定出目标动画效果；基于动画效果和模型姿态映射表，确定出所述目标动画效果对应的目标模型姿态；所述动画效果和模型姿态映射表包括动画效果和模型姿态之间的对应关系；基于所述目标模型姿态对所述初始三维虚拟形象进行调整，获得所述三维虚拟形象。8.一种特效弹幕交互装置，其特征在于，包括：虚拟形象触发模块，用于在播放视频数据时，响应于用户对视频播放界面上特效弹幕控件的触发操作，获取三维虚拟形象；其中，所述三维虚拟形象具有模型朝向和动画效果；视频帧确定模块，用于将所述三维虚拟形象的显示时刻对应的待播放视频帧作为目标视频帧；其中，所述目标视频帧包括目标角色对象；角色朝向确定模块，用于基于所述目标视频帧的画面信息，确定所述目标角色对象在视频场景中的角色朝向；形象更改模块，用于根据所述角色朝向，调整所述三维虚拟形象的模型朝向，获得所述模型朝向和所述角色朝向满足预设条件的目标三维虚拟形象；动画生成模块，用于基于目标三维虚拟形象和所述动画效果，生成特效动画；形象展示模块，用于当播放所述目标视频帧时，在所述视频播放界面上播放所述特效动画。9.一种特效弹幕交互设备，其特征在于，包括：处理器，存储器以及存储在所述存储器中的特效弹幕交互程序，所述特效弹幕交互程序被所述处理器运行时实现如权利要求1-7中任一项所述特效弹幕交互方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有特效弹幕交互程序，所述特效弹幕交互程序被处理器执行时实现如权利要求1至7任一项所述的特效弹幕交互方法。

技术总结
本申请公开了一种特效弹幕交互方法、装置、设备以及存储介质，涉及视频互动领域。方法包括：在播放视频数据时，响应于用户对视频播放界面上特效弹幕控件的触发操作，获取三维虚拟形象；将三维虚拟形象的显示时刻对应的待播放视频帧作为目标视频帧；其中，目标视频帧包括目标角色对象；基于目标视频帧的画面信息，确定目标角色对象在视频场景中的角色朝向；根据角色朝向，调整三维虚拟形象的模型朝向，获得模型朝向和角色朝向满足预设条件的目标三维虚拟形象；基于目标三维虚拟形象和动画效果，生成特效动画；当播放目标视频帧时，在视频播放界面上播放特效动画。本申请提高了三维虚拟形象和目标角色对象的互动性，进而提高了用户的沉浸度。户的沉浸度。户的沉浸度。


技术研发人员：于芹 李小海 季焕文 刘超 陶杰
受保护的技术使用者：中国移动通信集团有限公司
技术研发日：2023.02.08
技术公布日：2023/7/19