互动画面的渲染方法、装置、设备、存储介质及程序产品与流程

1.本技术涉及计算机技术领域，尤其涉及一种互动画面的渲染方法、装置、设备、计算机可读存储介质及计算机程序产品。


背景技术：

2.随着计算机技术与网络技术的发展，虚拟角色直播在视频直播业务中占据着越来越大的比例，虚拟角色直播是以特定的虚拟角色替代真实人物的真实形象(即中之人)进行视频直播。相关技术中在涉及真实角色(真人演员)和中之人同台互动演出的情况时，通常是真实角色在舞台上表演，中之人在动捕棚中进行动捕数据的捕捉，然后通过电脑使用中之人的动捕数据还原虚拟角色，实时在真人舞台上进行合成，以呈现真实角色与虚拟角色同台演出的画面。
3.然而，上述方式中，由于真实角色和中之人在拍摄过程中不在同一个空间中，彼此独立表演，缺乏互动，导致在合成的画面中真实角色和虚拟角色很难做到真正眼神上的交流，使得互动不自然，给人不好的观感体验。


技术实现要素：

4.本技术实施例提供一种互动画面的渲染方法、装置、设备、计算机可读存储介质及计算机程序产品，能够提高真实角色与虚拟角色之间的互动自然度。
5.本技术实施例的技术方案是这样实现的：
6.本技术实施例提供一种互动画面的渲染方法，包括：
7.获取同台互动的至少两个真实角色的互动数据、以及所述至少两个真实角色中目标角色的动捕数据；
8.其中，所述动捕数据，用于驱动所述目标角色对应的虚拟角色执行与所述目标角色一致的互动动作；
9.基于所述互动数据及所述动捕数据进行画面渲染，得到所述虚拟角色与所述至少两个真实角色中除所述目标角色之外的其他角色进行同台互动的画面。
10.本技术实施例提供一种互动画面的渲染装置，包括：
11.获取模块，用于获取同台互动的至少两个真实角色的互动数据、以及所述至少两个真实角色中目标角色的动捕数据；
12.其中，所述动捕数据，用于驱动所述目标角色对应的虚拟角色执行与所述目标角色一致的互动动作；
13.渲染模块，用于基于所述互动数据及所述动捕数据进行画面渲染，得到所述虚拟角色与所述至少两个真实角色中除所述目标角色之外的其他角色进行同台互动的画面。
14.上述方案中，所述获取模块，还用于获取挂载在机械臂上的真实相机录制的所述同台互动的至少两个真实角色的原始数据；其中，所述机械臂与所述真实相机通过机械臂末端执行器连接；确定所述真实相机与所述机械臂之间的第一坐标转换关系，以及所述机
械臂与用于进行所述画面渲染的虚拟相机之间的第二坐标转换关系；基于所述第一坐标转换关系及所述第二坐标转换关系，对所述原始数据进行映射处理，得到所述原始数据在所述虚拟相机中的映射数据，以将所述映射数据作为获取的所述同台互动的至少两个真实角色的互动数据。
15.上述方案中，所述获取模块，还用于获取所述真实相机与所述机械臂末端执行器之间的第三坐标转换关系，以及所述机械臂末端执行器与机械臂底座坐标系之间的第四坐标转换关系；基于所述第三坐标转换关系及所述第四坐标转换关系，确定所述真实相机与所述机械臂之间的第一坐标转换关系。
16.上述方案中，当所述原始数据包括背景数据时，所述获取模块，还用于当所述至少两个真实角色未同台互动时，控制所述机械臂以目标轨迹进行运动，并在所述机械臂运动过程中，控制挂载在所述机械臂上的真实相机录制不包括所述至少两个真实角色的第一背景数据；当所述至少两个真实角色同台互动时，控制所述机械臂以所述目标轨迹进行运动，并在所述机械臂运动过程中，控制所述真实相机录制包括同台互动的所述至少两个真实角色的原始互动数据，所述原始互动数据包括第二背景数据；将所述第一背景数据及所述原始互动数据，确定为所述同台互动的至少两个真实角色的原始数据。
17.上述方案中，所述获取模块，还用于响应于接收到的针对所述所述机械臂的运动指令，控制控制所述机械臂以所述目标轨迹进行运动；获取所述运动指令的接收时刻，以及将所述原始互动数据由所述真实相机传递至所述虚拟相机所需的目标时长；在从所述接收时刻达到所述目标时长时，接收到针对所述第一背景数据的播放指令，并响应于所述播放指令，播放所述第一背景数据，以将播放的所述第一背景数据与录制的所述原始互动数据确定为所述同台互动的至少两个真实角色的原始数据。
18.上述方案中，所述获取模块，还用于基于所述第一坐标转换关系及所述第二坐标转换关系，对所述第一背景数据进行映射处理，得到所述第一背景数据在所述虚拟相机中的第一映射数据；基于所述第一坐标转换关系及所述第二坐标转换关系，对所述原始互动数据进行映射处理，得到所述原始互动数据在所述虚拟相机中的第二映射数据；将所述第一映射数据及所述第二映射数据作为所述原始数据在所述虚拟相机中的映射数据。
19.上述方案中，所述渲染模块，还用于分别对所述第一映射数据及所述第二映射数据进行画面渲染，得到对应的第一渲染画面和第二渲染画面；基于所述机械臂的运动数据创建所述目标角色对应的空间遮罩，并对所述空间遮罩进行画面渲染，得到第三渲染画面；基于所述动捕数据，在所述目标角色关联的位置处创建所述目标角色对应的虚拟角色，并对所述虚拟角色进行画面渲染，得到包括所述虚拟角色的第四渲染画面；将所述第一渲染画面、所述第二渲染画面、所述第三渲染画面及所述第四渲染画面进行画面叠加处理，得到所述虚拟角色与所述至少两个真实角色中除所述目标角色之外的其他角色进行同台互动的画面。
20.上述方案中，所述基于所述互动数据及所述动捕数据进行画面渲染之前，所述装置还包括：同步模块，用于将所述第一背景数据及所述第二背景数据映射至时间轴上，并在所述时间轴上展示所述第一背景数据对应的至少一个第一关键帧以及所述第二背景数据对应的至少一个第二关键帧；从所述至少一个第二关键帧中筛选出与所述至少一个第一关键帧中的第一目标关键帧相对应的第二目标关键帧；获取所述第一目标关键帧与所述第二
目标关键帧对应的时间差，并当所述时间差大于第一时间阈值时，调整所述第一背景数据及所述第二背景数据在所述时间轴上的位置，直至所述时间差低于第二时间阈值。
21.上述方案中，所述获取模块，还用于获取所述真实相机与所述虚拟相机之间的色彩映射关系；基于所述色彩映射关系，对所述原始数据进行色彩空间转换处理，得到所述原始数据在所述虚拟相机中的映射数据；相应的，所述渲染模块，还用于基于所述互动数据及所述动捕数据进行画面渲染，得到所述虚拟角色与所述至少两个真实角色中除所述目标角色之外的其他角色进行同台互动的初始渲染画面；基于所述色彩映射关系，对所述初始渲染画面进行色彩空间逆转换处理，得到最终渲染画面，以输出所述最终渲染画面。
22.上述方案中，所述获取模块，还用于当所述至少两个真实角色中目标角色穿戴有动作捕捉设备时，获取真实相机捕捉的所述动作捕捉设备上的标记点的位置变化数据，并将所述位置变化数据作为所述目标角色的动作数据，其中，所述标记点与所述目标角色的骨骼关键点相对应；当所述目标角色挂载有表情捕捉设备时，获取所述表情捕捉设备捕捉的所述目标角色的表情数据；当所述目标角色挂载有声音采集设备时，获取所述声音采集设备采集的所述目标角色的声音数据；将所述目标角色的动作数据、所述表情数据及所述声音数据中至少之一作为所述动捕数据。
23.上述方案中，所述渲染模块，还用于对所述互动数据进行画面渲染，得到包括所述至少两个真实角色进行同台互动的第一互动画面；创建所述目标角色对应的空间遮罩，并将所述空间遮罩渲染至所述第一互动画面中，以将所述目标角色替换为所述空间遮罩，得到所述至少两个真实角色中除所述目标角色之外的其他角色与所述空间遮罩进行互动的第二互动画面；在所述空间遮罩所在位置处创建所述目标角色对应的虚拟角色，并基于所述动捕数据将所述虚拟角色渲染至所述第二互动画面中，得到所述虚拟角色与所述其他角色进行的同台互动的画面。
24.本技术实施例提供一种电子设备，包括：
25.存储器，用于存储可执行指令；
26.处理器，用于执行所述存储器中存储的可执行指令时，实现本技术实施例提供的互动画面的渲染方法。
27.本技术实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本技术实施例提供的互动画面的渲染方法。
28.本技术实施例提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时，实现本技术实施例提供的互动画面的渲染方法。
29.本技术实施例具有以下有益效果：
30.应用本技术实施例，在多个真实角色同台互动过程中，真实角色之间可直接进行眼神、肢体等配合互动，如此，由于进行画面渲染所使用的是至少两个真实角色同台互动的互动数据及目标角色的动捕数据，故将目标角色替换为虚拟角色时，由于虚拟角色是由目标角色的动捕数据驱动的，故虚拟角色执行的是与目标角色完全一致的动作，因此在渲染得到的替换后的虚拟角色与其他真实角色进行同台互动的画面中，虚拟角色与其他真实角色之间的互动比较生动自然，提高了用户观感体验。
附图说明
31.图1为本技术实施例提供的互动画面的渲染系统100的架构示意图；
32.图2为本技术实施例提供的电子设备500的结构示意图；
33.图3为本技术实施例提供的互动画面的渲染方法的流程示意图；
34.图4为本技术实施例提供的互动画面的渲染系统的架构示意图；
35.图5a为本技术实施例通过的互动画面的渲染方法的流程示意图；
36.图5b为本技术实施例通过的互动画面的渲染方法的流程示意图；
37.图6为本技术实施例通过的拍摄示意图；
38.图7为本技术实施例通过的渲染示意图；
39.图8为本技术实施例通过的渲染示意图；
40.图9为本技术实施例通过的渲染示意图；
41.图10为本技术实施例通过的渲染示意图；
42.图11为本技术实施例通过的渲染示意图。
具体实施方式
43.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
44.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
45.在以下的描述中，所涉及的术语“第一\第二
…”
仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二
…”
在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
46.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
47.参见图1，图1为本技术实施例提供的互动画面的渲染系统100的架构示意图，为实现支撑一个示例性应用，终端(示例性示出了终端400-1和终端400-2)通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。
48.终端可以为具有数据采集(如视频采集)功能的设备，如增强现实(ar，augmented reality)设备、虚拟现实(vr，virtual reality)设备、混合现实(mr，mixed reality)设备等；又如，ar设备可以为具有ar功能的智能手机、平板电脑、笔记本电脑、ar眼镜等各种类型的用户终端，还可以为具有ar功能的台式计算机、电视机或者这些数据处理设备中任意两个或多个的组合；服务器200既可以为单独配置的支持各种业务的一个服务器，亦可以配置为一个服务器集群，还可以为云服务器等。
49.在实际应用中，当用户通过终端上的数据采集设备采集同台互动的至少两个真实角色的互动数据、以及至少两个真实角色中目标角色的动捕数据后，可将互动数据及动捕
数据发送至服务器，服务器基于互动数据及动捕数据进行画面渲染，得到虚拟角色与至少两个真实角色中除目标角色之外的其他角色进行同台互动的画面进行显示；由于采集的是至少两个真实角色同台互动的互动数据，在同台互动过程中，真实角色之间可直接进行眼神、肢体等配合互动，如此，在基于互动数据及目标角色的动捕数据进行画面渲染时，将目标角色替换为虚拟角色时，由于虚拟角色是由目标角色的动捕数据驱动的，故虚拟角色执行的是与目标角色完全一致的动作，故在渲染得到的替换后的虚拟角色与其他真实角色进行同台互动的画面中，虚拟角色与其他真实角色之间的互动比较生动自然，提高了用户观感体验。
50.参见图2，图2为本技术实施例提供的电子设备500的结构示意图，在实际应用中，电子设备500可以为图1中的终端或服务器200，以电子设备为图1所示的终端为例，对实施本技术实施例的互动画面的渲染方法的电子设备进行说明。图2所示的电子设备500包括：至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。电子设备500中的各个组件通过总线系统540耦合在一起。可理解，总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统540。
51.处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(dsp，digital signal processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
52.用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
53.存储器550可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。
54.存储器550包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(rom，read only memory)，易失性存储器可以是随机存取存储器(ram，random access memory)。本技术实施例描述的存储器550旨在包括任意适合类型的存储器。
55.在一些实施例中，存储器550能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
56.操作系统551，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
57.网络通信模块552，用于经由一个或多个(有线或无线)网络接口520到达其他计算设备，示例性的网络接口520包括：蓝牙、无线相容性认证(wifi)、和通用串行总线(usb，universal serial bus)等；
58.呈现模块553，用于经由一个或多个与用户接口530相关联的输出装置531(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户
接口)；
59.输入处理模块554，用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
60.在一些实施例中，本技术实施例提供的互动画面的渲染装置可以采用软件方式实现，图2示出了存储在存储器550中的互动画面的渲染装置555，其可以是程序和插件等形式的软件，包括以下软件模块：获取模块5551和渲染模块5552，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分，将在下文中说明各个模块的功能。
61.在另一些实施例中，本技术实施例提供的互动画面的渲染装置可以采用硬件方式实现，作为示例，本技术实施例提供的互动画面的渲染装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本技术实施例提供的互动画面的渲染方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(asic，application specific integrated circuit)、dsp、可编程逻辑器件(pld，programmable logic device)、复杂可编程逻辑器件(cpld，complex programmable logic device)、现场可编程门阵列(fpga，field-programmable gate array)或其他电子元件。
62.在一些实施例中，终端或服务器可以通过运行计算机程序来实现本技术实施例提供的互动画面的渲染方法。举例来说，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(native)应用程序(app，application)，即需要在操作系统中安装才能运行的程序，如直播app或者即时通信app；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意app中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。
63.基于上述对本技术实施例的提供的互动画面的渲染系统的说明，下面对本技术实施例的提供的互动画面的渲染方法进行说明，在实际实施时，该方法可由图1所示的终端或服务器200单独实施，还可由图1所示的终端和服务器200协同实施。接下来将结合图1及图3，图3为本技术实施例提供的互动画面的渲染方法的流程示意图，以图1所示的服务器单独实施本技术实施例提供的互动画面的渲染方法为例进行说明。
64.步骤101：服务器获取同台互动的至少两个真实角色的互动数据、以及至少两个真实角色中目标角色的动捕数据。
65.这里，在实际应用中，终端为具有数据采集(如视频采集)功能的设备，当通过终端上的数据采集设备采集同台互动的至少两个真实角色的互动数据以及目标角色的动捕数据后，可将互动数据及动捕数据发送至服务器进行画面渲染。
66.其中，真实角色是同台互动的真实互动对象，如可以是在同台互动(如同台直播、演出等)的真实人物、真实动物等；互动数据是真实角色之间互动的相关数据，如可以包括互动过程中的声音、动作、表情等相关数据；动捕数据与目标角色相对应，包括但不限于目标角色的声音数据、动作数据、表情数据，动捕数据用于驱动目标角色对应的虚拟角色执行与目标角色一致的互动动作。
67.步骤102：基于互动数据及动捕数据进行画面渲染，得到虚拟角色与至少两个真实角色中除目标角色之外的其他角色进行同台互动的画面。
68.这里，服务器在接收到至少两个真实对象的互动数据及目标角色的动捕数据后，基于互动数据及动捕数据进行画面渲染，在渲染过程中将目标角色替换为目标角色对应的
虚拟角色，以得到虚拟对象与其他真实角色之间进行同台互动的画面；其中，虚拟角色可以包括虚拟人物形象、虚拟动物形象、虚拟卡通形象、虚拟物体等，本技术实施例并不对虚拟角色的显示样式进行限定。
69.以终端中的数据采集设备采集的真实角色的数量为两个为例，如真实角色1和真实角色2在同一个舞台上进行互动时，终端中的数据采集设备对真实角色1和真实角色2的互动过程进行录制得到相应的互动数据，对真实角色2的动作、声音、表情等相关数据进行捕捉得到真实角色2的动捕数据，并将得到的互动数据和动捕数据发送至服务器中，服务器基于互动数据和动捕数据进行画面渲染，得到真实角色1与真实角色2对应的虚拟角色进行同台互动的画面，即在渲染时，采用与真实角色2执行完全一致动作的虚拟角色替换真实角色2，实现了同台互动的真实角色转换为虚拟角色与真实角色之间的同台互动。
70.在一些实施例中，服务器可通过如下方式基于互动数据及动捕数据进行画面渲染，得到虚拟角色与至少两个真实角色中除目标角色之外的其他角色进行同台互动的画面：对互动数据进行画面渲染，得到包括至少两个真实角色进行同台互动的第一互动画面；创建目标角色对应的空间遮罩，并将空间遮罩渲染至第一互动画面中，以将目标角色替换为空间遮罩，得到至少两个真实角色中除目标角色之外的其他角色与空间遮罩进行互动的第二互动画面；在空间遮罩所在位置处创建目标角色对应的虚拟角色，并基于动捕数据将虚拟角色渲染至第二互动画面中，得到虚拟角色与其他角色进行同台互动的画面。
71.这里，对互动数据进行画面渲染得到互动动画的过程，实质是对录制的每一帧互动数据进行渲染得到一帧帧图像，然后由一帧帧图像拼接组成一段互动动画的过程。以渲染得到一帧图像为例，为了更好地体现目标角色与虚拟角色(与目标角色相对应)的立体形象，采用三维的图像遮罩作为空间遮罩，以遮挡目标角色所在图层(或图层的黑白通道)，对目标角色进行遮挡替换，当将空间遮罩设在目标角色之上时，空间遮罩为遮罩层，目标角色为被遮罩层，遮罩层与被遮罩层中相重叠的地方被遮挡，也即，被遮罩层中被遮罩层遮挡的相应位置的对象是看不见的。
72.服务器接收到互动数据和动捕数据之后，服务器对互动数据进行画面渲染，得到包括至少两个真实角色进行同台互动的第一互动画面，创建目标角色对应的空间遮罩，并将空间遮罩渲染至第一互动画面中，以将目标角色替换为空间遮罩，即得到用空间遮罩遮挡目标角色以及未被遮挡的其他真实角色进行互动的第二互动动画，在实际应用中，为了使得渲染画面更加自然，可对遮罩渲染层所渲染的像素值进行调整，如像素值设置的越低，羽化效果越明显，融合越自然。然后将目标角色的动捕数据连接至目标角色对应的虚拟角色，以驱动虚拟角色执行与目标角色一致的动作，得到虚拟角色与其他未被遮挡的真实角色进行互动的动画。
73.在一些实施例中，服务器可通过如下方式获取至少两个真实角色中目标角色的动捕数据：当至少两个真实角色中目标角色穿戴有动作捕捉设备时，获取真实相机捕捉的动作捕捉设备上的标记点的位置变化数据，并将位置变化数据作为目标角色的动作数据，其中，标记点与目标角色的骨骼关键点相对应；当目标角色挂载有表情捕捉设备时，获取表情捕捉设备捕捉的目标角色的表情数据；当目标角色挂载有声音采集设备时，获取声音采集设备采集的目标角色的声音数据；将目标角色的动作数据、表情数据及声音数据中至少之一作为动捕数据。
74.其中，动作捕捉设备包括穿在目标角色身上的衣服及戴在目标角色手上的手套等，衣服用于捕捉目标角色的肢体动作，手套用于捕捉目标角色的手部动作，动作捕捉设备包含多个标记点，每个标记点与目标角色骨骼的关键点相对应。例如，可以在动作捕捉设备与目标角色骨骼的各个关节(如膝关节、肘关节、指关节等)对应处设置标记点，标记点可以通过特定材料(如纳米材料)制成，并可通过摄像头获取特征点的位置变化数据，并将位置变化数据作为目标角色的动作数据。为了实现对目标角色对应的虚拟对象的驱动，虚拟对象包括了与该多个标记点相匹配的受控点，例如，目标角色的肘关节的标记点与虚拟对象的肘关节受控点相匹配，也即，目标角色的骨骼关键点与虚拟对象的骨骼关键点之间存在一一对应关系，如此，在获取到目标角色的肘关节的标记点的位置变化数据后，即可驱动虚拟对象的肘关节进行相应的改变，进而由多个受控点的变化形成虚拟对象的动作变化。
75.同样的，当目标角色挂载有表情捕捉设备时，表情捕捉设备捕捉目标角色的表情数据后，将目标角色的表情数据传递给服务器，服务器根据目标角色的表情数据驱动目标角色对应的虚拟角色做出与目标角色一致的表情动作；当目标角色挂载有声音采集设备时，声音采集设备采集目标角色的声音数据后，将目标角色的声音数据传递给服务器，服务器根据目标角色的声音数据驱动目标角色对应的虚拟角色发出与目标角色的声音数据内容一致的声音。
76.需要说明的是，动作捕捉设备、表情捕捉设备和声音采集设备可集成在一个设备中，如动作捕捉设备可包括摄像头，摄像头用于捕捉目标角色的表情数据，动作捕捉设备还可以包括声音捕捉设备(比如麦克风等)，以采集目标角色的声音数据。
77.在一些实施例中，服务器可通过如下方式获取同台互动的至少两个真实角色的互动数据：获取挂载在机械臂上的真实相机录制的同台互动的至少两个真实角色的原始数据；其中，机械臂与真实相机通过机械臂末端执行器连接；确定真实相机与机械臂之间的第一坐标转换关系，以及机械臂与用于进行画面渲染的虚拟相机之间的第二坐标转换关系；基于第一坐标转换关系及第二坐标转换关系，对原始数据进行映射处理，得到原始数据在虚拟相机中的映射数据，以将映射数据作为获取的同台互动的至少两个真实角色的互动数据。
78.这里，可通过挂载在机械臂的真实相机对同台互动的至少两个真实角色的互动过程进行录制，其中，真实相机与机械臂通过机械臂末端执行器连接，为了在渲染画面的虚拟相机中还原真实相机所拍摄的画面，需要对真实相机录制的原始数据进行映射处理，得到原始数据在虚拟相机中的映射数据，将映射数据作为同台互动的至少两个真实角色的互动数据，以基于互动数据进行画面渲染。
79.在对真实相机录制的同台互动的至少两个真实对象的原始数据进行映射处理时，需获取真实相机与机械臂之间的第一坐标转换关系，以基于第一坐标转换关系先将原始数据映射至机械臂坐标系中得到中间映射数据，再获取机械臂与虚拟相机之间的第二坐标转换关系，以基于第二坐标转换关系将中间映射数据映射至虚拟相机坐标系中得到最终映射数据，并将得到的最终映射数据作为服务器所获取的同台互动的至少两个真实对象的互动数据。
80.在一些实施例中，服务器可通过如下方式确定真实相机与机械臂之间的第一坐标转换关系：获取真实相机与机械臂末端执行器之间的第三坐标转换关系，以及机械臂末端
执行器与机械臂底座坐标系之间的第四坐标转换关系；基于第三坐标转换关系及第四坐标转换关系，确定真实相机与机械臂之间的第一坐标转换关系。
81.这里，为了标记真实相机与机械臂之间的第一坐标转换关系，需先获取真实相机与机械臂末端执行器之间的第三坐标转换关系，以及机械臂末端执行器与机械臂底座坐标系之间的第四坐标转换关系，并基于第三坐标转换关系及第四坐标转换关系，如将第三坐标转换关系与第四坐标转换关系相乘，得到真实相机与机械臂之间的第一坐标转换关系。
82.在一些实施例中，当原始数据包括背景数据时，服务器可通过如下方式获取挂载在机械臂上的真实相机录制的同台互动的至少两个真实角色的原始数据：当至少两个真实角色未同台互动时，控制机械臂以目标轨迹进行运动，并在机械臂运动过程中，控制挂载在机械臂上的真实相机录制不包括至少两个真实角色的第一背景数据；当至少两个真实角色同台互动时，控制机械臂以目标轨迹进行运动，并在机械臂运动过程中，控制真实相机录制包括同台互动的至少两个真实角色的原始互动数据，原始互动数据包括第二背景数据；将第一背景数据及原始互动数据，确定为同台互动的至少两个真实角色的原始数据。
83.这里，当所有(上述至少两个)真实角色在具备一定背景场景下进行同台互动时，可通过挂载有真实相机的机械臂先对背景场景进行录制，如控制机械臂按照预设的目标轨迹进行运动，以带动挂载在机械臂上的真实相机跟随机械臂按照目标轨迹进行运动，并在运动过程中对背景场景进行录制得到第一背景数据，此时第一背景数据中并不包括真实角色之间互动的相关数据。在得到第一背景数据后，当所有真实角色在相同背景场景下进行同台互动时，控制机械臂按照原先的目标轨迹进行运动，以录制同台互动的所有真实角色进行互动的原始互动数据，其中，原始互动数据包括原先背景场景在内的第二背景数据。在机械臂录制得到原始互动数据后，将第一背景数据及原始互动数据作为同台互动的所有真实角色的原始数据。
84.在一些实施例中，服务器可通过如下方式控制机械臂以目标轨迹进行运动：响应于接收到的针对所述机械臂的运动指令，控制控制机械臂以目标轨迹进行运动；相应的，服务器可通过如下方式将第一背景数据及原始互动数据，确定为同台互动的至少两个真实角色的原始数据：获取运动指令的接收时刻，以及将原始互动数据由真实相机传递至虚拟相机所需的目标时长；在从接收时刻达到目标时长时，接收到针对第一背景数据的播放指令，并响应于播放指令，播放第一背景数据，以将播放的第一背景数据与录制的原始互动数据确定为所述同台互动的至少两个真实角色的原始数据。
85.这里，可根据所需拍摄内容设置机械臂的运动轨迹(如目标轨迹)，在机械臂以目标轨迹运动过程中，带动真实相机以目标轨迹预先拍摄背景场景的第一背景数据(即背景画面或空境画面)，此时，第一背景数据中不包括至少两个真实角色互动的相关数据，并将第一背景数据缓存至内存中。当至少两个真实角色在相同背景场景下同台互动时，对触发第一背景数据播放指令的时间及触发机械臂运动指令的时间进行同步处理，以使虚拟相机中所播放第一背景数据的播放进度与第二背景数据的播放进度相一致。其中，播放指令用于触发播放预先拍摄的第一背景数据(即空境画面)，运动指令用于触发机械臂以目标轨迹开始运动以拍摄包括至少两个真实角色之间的互动画面。
86.在理想情况(如数据传输不存在延迟)下，需要在开始播放预先拍摄的第一背景数据(空境画面)的同时，启动机械臂开始运动以拍摄包括至少两个真实角色之间的互动画面
以及与第一背景数据相同的背景画面(统称为人物画面)。假设在第一时刻触发播放指令(即在第一时刻开始播放预先拍摄的空境画面)，在第二时刻触发运动指令(即在第二时刻启动机械臂以目标轨迹开始运动)，理想情况下，第一时刻应该与第二时刻为同一时刻。但在实际实施时，鉴于数据传输会有延迟，若在触发播放指令的同时触发运动指令(即在开始播放预先拍摄的空境画面的同时启动机械臂开始运动)，就会造成所播放预先录制的空境画面和虚拟相机所显示人物画面中的背景画面不匹配的情况。例如，将机械臂运动过程中真实相机拍摄的包括真人演员和中之人同台互动画面的互动数据传输至虚拟相机中需要花费目标时间(如1秒)，若在开始播放预先拍摄的空境画面的同时启动机械臂开始运动，则将导致所播放相同内容的预先拍摄的空境画面早于虚拟相机所显示的画面(早于1秒)，故为了使得所播放相同内容的预先拍摄的空境画面始终与虚拟相机所显示的画面相一致，需将第一时刻设置为相对第二时刻延后目标时间(如1秒)，即在触发运动指令目标时间(如1秒)后再触发播放指令，并将播放的第一背景数据与录制的原始互动数据确定为同台互动的至少两个真实角色的原始数据。
87.在一些实施例中，服务器可通过如下方式基于第一坐标转换关系及第二坐标转换关系，对原始数据进行映射处理，得到原始数据在虚拟相机中的映射数据：基于第一坐标转换关系及第二坐标转换关系，对第一背景数据进行映射处理，得到第一背景数据在虚拟相机中的第一映射数据；基于第一坐标转换关系及第二坐标转换关系，对原始互动数据进行映射处理，得到原始互动数据在虚拟相机中的第二映射数据；将第一映射数据及第二映射数据作为原始数据在虚拟相机中的映射数据。
88.这里，当原始数据包括第一背景数据和原始互动数据时，分别基于第一坐标转换关系及第二坐标转换关系，对第一背景数据和原始互动数据进行映射处理，如基于第一坐标转换关系先将第一背景数据映射至机械臂坐标系中得到中间背景映射数据，再基于第二坐标转换关系将中间背景映射数据映射至虚拟相机坐标系中得到第一映射数据；同样地，基于第一坐标转换关系先将原始互动数据映射至机械臂坐标系中得到中间原始映射数据，再基于第二坐标转换关系将中间原始映射数据映射至虚拟相机坐标系中得到第二映射数据，以将第一映射数据与第二映射数据作为原始数据在虚拟相机中的映射数据。
89.在一些实施例中，服务器可通过如下方式基于互动数据及动捕数据进行画面渲染，得到虚拟角色与至少两个真实角色中除目标角色之外的其他角色进行同台互动的画面：分别对第一映射数据及第二映射数据进行画面渲染，得到对应的第一渲染画面和第二渲染画面；基于机械臂的运动数据创建目标角色对应的空间遮罩，并对空间遮罩进行画面渲染，得到第三渲染画面；基于动捕数据，在目标角色关联的位置处创建目标角色对应的虚拟角色，并对虚拟角色进行画面渲染，得到包括所述虚拟角色的第四渲染画面；将第一渲染画面、第二渲染画面、第三渲染画面及第四渲染画面进行画面叠加处理，得到虚拟角色与至少两个真实角色中除目标角色之外的其他角色进行同台互动的画面。
90.在实际实施时，渲染处理通过渲染层实现，其中，渲染层包括空境渲染层、实拍渲染层、虚拟角色渲染层和遮罩渲染层，在渲染时，服务器可先通过空境渲染层对不包括真实角色之间互动的相关数据的第一背景数据在虚拟相机中的第一映射数据进行画面渲染得到第一渲染画面，然后通过实拍渲染层对原始互动数据(包括真实角色之间互动的相关数据的第二背景数据)在虚拟相机中的第二映射数据进行画面渲染得到第二渲染画面；由于
在获取互动数据和捕捉数据之前，对挂载在机械臂上的真实相机进行标定，得到真实相机的内参矩阵(表征相机的镜头视角和畸变参数)和外参矩阵(表征相机在某个三维空间中的位置和朝向)。随着机械臂的运动，所拍摄真实角色的角度、所在位置等均会随着变化，为了更好地体现目标角色与虚拟角色(与目标角色相对应)的立体形象，故获取机械臂的运动数据以创建目标角色对应的空间遮罩，并通过遮罩渲染层对空间遮罩层进行渲染，得到第三渲染画面；通过虚拟角色渲染层基于动捕数据，在目标角色关联的位置处创建目标角色对应的虚拟角色，并对虚拟角色进行画面渲染，得到包括虚拟角色的第四渲染画面，即第四渲染画面中虚拟角色执行与目标角色一致的动作；最后将第一渲染画面、第二渲染画面、第三渲染画面及第四渲染画面进行画面叠加处理，得到的画面中虚拟角色替换目标角色，以与其他真实角色进行同台互动。
91.在一些实施例中，服务器基于互动数据及动捕数据进行画面渲染之前，还可对第一背景数据和原始互动数据中的第二背景数据的播放进度进行同步处理，以使第二背景数据的播放进度与第一背景数据的播放进度相一致。
92.这里，需要对预先录制的第一背景数据(不包括真人演员和中之人的相关数据)和第二背景数据(包括真人演员和中之人的相关数据)的播放进度进行同步处理，以使第一背景数据与第二背景数据中每帧画面均能匹配上。
93.在一些实施例中，服务器可通过如下方式对第一背景数据及原始互动数据中的第二背景数据的播放进度进行同步处理：将第一背景数据及第二背景数据映射至时间轴上，并在时间轴上展示第一背景数据对应的至少一个第一关键帧以及第二背景数据对应的至少一个第二关键帧；从至少一个第二关键帧中筛选出与至少一个第一关键帧中的第一目标关键帧相对应的第二目标关键帧；获取第一目标关键帧与第二目标关键帧对应的时间差，并当时间差大于第一时间阈值时，调整第一背景数据及第二背景数据在时间轴上的位置，直至时间差低于第二时间阈值。
94.这里，在同步处理时，假设第一背景数据和第二背景数据对应的时长均为30秒，则通过游戏引擎中的timeline对第一背景数据和第二背景数据进行同步处理，例如，将第一背景数据及第二背景数据映射至时间轴上，并在时间轴上展示第一背景数据对应的至少一个第一关键帧以及第二背景数据对应的至少一个第二关键帧，其中，时间轴的纵坐标表征第一背景数据对应的各第一关键帧和第二背景数据对应的各第二关键帧，横坐标表征相应的时间；从至少一个第二关键帧中筛选出与至少一个第一关键帧中的第一目标关键帧相对应的第二目标关键帧(第一目标关键帧与第二目标关键帧所对应的背景内容一致)，比较第一目标关键帧与第二目标关键帧对应的时间差，并当时间差大于第一时间阈值时，调整第一背景数据及第二背景数据在时间轴上的位置，直至时间差低于第二时间阈值，如将时间差调整为0时，第一背景数据与第二背景数据中每帧画面均能匹配上。
95.在一些实施例中，服务器可通过如下方式对原始数据进行映射处理，得到原始数据在虚拟相机中的映射数据：获取真实相机与虚拟相机之间的色彩映射关系；基于色彩映射关系，对原始数据进行色彩空间转换处理，得到原始数据在虚拟相机中的映射数据；相应的，服务器可通过如下方式基于互动数据及动捕数据进行画面渲染，得到虚拟角色与至少两个真实角色中除目标角色之外的其他角色进行同台互动的画面：基于互动数据及动捕数据进行画面渲染，得到虚拟角色与至少两个真实角色中除目标角色之外的其他角色进行同
台互动的初始渲染画面；基于色彩映射关系，对初始渲染画面进行色彩空间逆转换处理，得到最终渲染画面，以输出最终渲染画面。
96.在实际应用中，为了更好的使虚拟相机还原真实相机的拍摄效果，在渲染前，可对真实相机采集的原始数据(如第一背景数据、原始互动数据、动捕数据等)进行色彩空间转换，例如，获取真实相机与虚拟相机之间的色彩映射关系，基于色彩映射关系，对原始数据进行色彩空间转换处理，得到原始数据在虚拟相机中的映射数据。假设真实相机拍摄的画面(原始数据)色域是rec709，亮度(gamma)为2.4，而虚拟相机中使用的是srgb线性的色彩空间，由于rec709和srgb的色域一致，但是亮度gamma不一致，故采用以下色彩映射关系对gamma进行数据转换，c_lin＝pow(c_rec709,2.4)，其中，c_lin为转换后的线性数据，c_rec709为转换前的原始709数据；相应的，最后输出的合成画面需要对整体的gamma从线性的转换为rec709的2.4，来匹配最终输出效果，c_rec709＝pow(c_lin,1/2.4)。
97.可以理解的是，在本技术实施例中，涉及到用真实对象的互动数据和动捕数据等相关的数据实质是用户相关数据，当本技术实施例运用到具体产品或技术中时系，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
98.下面，将说明本技术实施例在一个实际的应用场景中的示例性应用。本技术实施例提供的互动画面的渲染方法可应用于直播、游戏、虚拟制片等应用场景中，以直播为例，相关技术在涉及真人演员(即真实角色)和中之人(目标角色)同台互动演出的情况时，通常是真人演员在舞台上表演，中之人在动捕棚中进行动捕数据的捕捉，然后通过电脑使用中之人的动捕数据还原虚拟角色，实时在真人舞台上进行合成，以呈现真人演员与虚拟角色同台演出的画面。然而，上述方式中，由于真人演员和中之人在拍摄过程中不在同一个空间中，彼此独立表演，缺乏互动，导致在合成的画面中真实角色和虚拟角色很难做到真正眼神上的交流，使得互动不自然，给人不好的观感体验；而如果让真人演员和中之人同台演出，运动镜头下又无法实时的扣除拍摄到的中之人。
99.为此，本技术实施例提供一种互动画面的渲染方法，通过预先确定好挂载有真实相机的电子机械臂中真实相机(镜头)的运动轨迹，在拍摄同台互动的真人演员和中之人时，对真实相机的运动轨迹进行复原，实现实时扣除中之人在真实相机中的画面，能够让真人演员和中之人同台演出，提高真人演员和中之人互动自然度。
100.参见图4，图4为本技术实施例提供的互动画面的渲染系统的架构示意图，该架构包括机械臂、挂载在机械臂上的真实相机、挂载在中之人身上的面捕摄像头、动捕摄像头、麦克风、合成计算机、动捕计算机、导播台等组成。其中，机械臂采集自身的运动轨迹数据，并将运动轨迹数据发送至合成计算机；挂载在机械臂上的真实相机用于采集同台演出的真人演员和中之人的互动数据，并将互动数据发送至合成计算机(即上述的服务器，内嵌有用于进行画面渲染的组件或设备，如游戏引擎)；动捕摄像头用于捕捉中之人的动作数据，麦克风用于采集真人演员和中之人的声音数据，面捕摄像头用于捕捉中之人的表情数据，面捕摄像头、动捕摄像头将采集的数据(统称为动捕数据)发送至动捕计算机，由动捕计算机将中之人的动捕数据发送至合成计算机，麦克风将采集的声音数据发送至导播台；合成计算机接收到运动轨迹数据、互动数据和动捕数据之后，基于运动轨迹数据、互动数据和动捕数据进行画面渲染，得到以虚拟角色替换中之人、且虚拟角色与真人演员同台演出的画面，
并将合成的画面发送主导播台，由导播台基于合成画面和声音数据实时输出中之人对应的虚拟角色与真人演员同台演出互动的画面。
101.在虚拟制片这一应用场景中，参见图5a，图5a为本技术实施例通过的互动画面的渲染方法的流程示意图，该方法包括：
102.步骤201：当真人演员与中之人未在背景场景下同台互动时，机械臂按照目标轨迹进行运动，并在机械臂运动过程中，控制挂载在机械臂上的真实相机采集背景场景下的第一背景数据。
103.这里的背景场景可以是虚拟摄影棚中的led背景墙(led背景墙是指led墙体结构的连续部分，可以是扁平的矩形或弯曲的矩形)，它呈现的高精度图像相当于实景，真人演员、中之人和摄影师可以更加自然地进行表演、取景。
104.在实际应用中，可根据所需拍摄内容设置机械臂的运动轨迹(如目标轨迹)，用重复的运动轨迹进行拍摄就能够使用多次拍摄的形式用来做物体替换；在机械臂运动过程中，带动真实相机以目标轨迹进行拍摄背景场景的第一背景数据(即背景画面或空境画面)，此时，第一背景数据中不包括真实演员和中之人的相关数据，如图6所示，图6为本技术实施例通过的拍摄示意图，通过机械臂上的真实相机拍摄无真人演员和中之人的空境画面。
105.步骤202：当真人演员与中之人在相同背景场景下同台互动时，控制机械臂按照目标轨迹进行运动，以录制同台互动的真人演员和中之人进行互动的原始互动数据。
106.在实际应用中，挂载在真人演员上的面捕摄像头、动捕摄像头、麦克风等可集成在机械臂上，以通过机械臂录制得到真人演员中之人进行互动的原始互动数据，其中，原始互动数据包括原先背景场景在内的第二背景数据。
107.步骤203：确定真实相机与机械臂之间的第一坐标转换关系，以及机械臂与合成计算机中虚拟相机之间的第二坐标转换关系。
108.其中，虚拟相机用于进行画面渲染，可内嵌于游戏引擎中。为了使虚拟相机能够还原真实相机的运动轨迹以虚拟角色替换中之人，需对挂载在机械臂上的真实相机进行标定，得到真实相机的内参矩阵和外参矩阵，其中，内参矩阵表征相机的镜头视角和畸变参数，外参矩阵表征相机在某个三维空间中的位置和朝向(位置偏移)。
109.在对真实相机标定后，在确定真实相机与机械臂之间的第一坐标转换关系时，需先获取真实相机与机械臂末端执行器(用于连接机械臂和真实相机)之间的第三坐标转换关系，以及机械臂末端执行器与机械臂底座坐标系之间的第四坐标转换关系，并基于第三坐标转换关系及第四坐标转换关系，如将第三坐标转换关系与第四坐标转换关系相乘，得到真实相机与机械臂之间的第一坐标转换关系。同样的，需确定机械臂与虚拟相机之间的第二坐标转换关系，以将真实相机拍摄的数据映射至虚拟相机中。
110.步骤204：对第一背景数据和原始互动数据中的第二背景数据的播放进度进行同步处理，以使第二背景数据的播放进度与第一背景数据的播放进度相一致。
111.这里，需要对预先录制的第一背景数据(不包括真人演员和中之人的相关数据)和第二背景数据(包括真人演员和中之人的相关数据)的播放进度进行同步处理，以使第一背景数据与第二背景数据中每帧画面均能匹配上。
112.在同步处理时，假设第一背景数据和第二背景数据对应的时长均为30秒，则通过
游戏引擎中的timeline将第一背景数据及第二背景数据映射至时间轴上，并在时间轴上展示第一背景数据对应的至少一个第一关键帧以及第二背景数据对应的至少一个第二关键帧，其中，时间轴的纵坐标表征第一背景数据对应的各第一关键帧和第二背景数据对应的各第二关键帧，横坐标表征相应的时间；从至少一个第二关键帧中筛选出与至少一个第一关键帧中的第一目标关键帧相对应的第二目标关键帧；获取第一目标关键帧与第二目标关键帧对应的时间差，并当时间差大于第一时间阈值时，调整第一背景数据及第二背景数据在时间轴上的位置，直至时间差低于第二时间阈值，如将时间差调整为0时，虚拟相机中播放的第一背景数据与第二背景数据中每帧画面均能匹配上。
113.步骤205：基于第一坐标转换关系及第二坐标转换关系，分别对第一背景数据和原始互动数据进行映射处理，得到对应的第一映射数据和第二映射数据。
114.这里，在将第二背景数据的播放进度调整为第一背景数据的播放进度一致的情况下，基于第一坐标转换关系及第二坐标转换关系，对第一背景数据进行映射处理，得到第一背景数据在虚拟相机中的第一映射数据，如基于第一坐标转换关系先将第一背景数据映射至机械臂坐标系中得到中间背景映射数据，再基于第二坐标转换关系将中间背景映射数据映射至虚拟相机坐标系中得到第一映射数据；同样地，基于第一坐标转换关系及第二坐标转换关系，对原始互动数据进行映射处理，得到原始互动数据在虚拟相机中的第二映射数据，如基于第一坐标转换关系先将原始互动数据映射至机械臂坐标系中得到中间原始映射数据，再基于第二坐标转换关系将中间原始映射数据映射至虚拟相机坐标系中得到第二映射数据。
115.步骤206：对第一映射数据进行画面渲染，得到对应的第一渲染画面。
116.步骤207：对第二映射数据进行画面渲染，得到对应的第二渲染画面。
117.步骤208：基于机械臂的运动数据创建中之人对应的空间遮罩，并对空间遮罩进行画面渲染，得到第三渲染画面。
118.步骤209：在中之人关联的位置处创建目标角色对应的虚拟角色，并基于中之人的动捕数据对虚拟角色进行画面渲染，得到包括虚拟角色的第四渲染画面。
119.步骤210：将第一渲染画面、第二渲染画面、第三渲染画面及第四渲染画面进行画面叠加处理，得到中之人对应的虚拟角色与真人演员进行同台互动的合成画面。
120.步骤211：基于合成画面和声音数据实时输出中之人对应的虚拟角色与真人演员同台演出互动的画面。
121.通过上述方式，在虚拟制片这一应用场景中，通过实时led墙镜头内进行虚拟制作，如在真人演员与中之人背后的led墙投射实时图像，并将实时图像中的中之人替换为虚拟角色，如此，实时引擎中虚拟相机的图像输出与真实相机跟随结合，生成完全位于镜头内的最终图像，以实现真人演员和中之人对应的虚拟角色同台拍电影的效果。
122.在直播这一应用场景中，参见图5b，图5b为本技术实施例通过的互动画面的渲染方法的流程示意图，该方法包括：
123.步骤301：当真人演员与中之人未在背景场景下同台互动时，机械臂按照目标轨迹进行运动，并在机械臂运动过程中，控制挂载在机械臂上的真实相机采集背景场景下的第一背景数据。
124.这里，可根据所需拍摄内容设置机械臂的运动轨迹(如目标轨迹)，在机械臂以目
标轨迹运动过程中，带动真实相机以目标轨迹预先拍摄背景场景的第一背景数据(即背景画面或空境画面)，此时，第一背景数据中不包括真实演员和中之人的相关数据，并将第一背景数据缓存至内存中。
125.步骤302：确定真实相机与机械臂之间的第一坐标转换关系，以及机械臂与合成计算机中虚拟相机之间的第二坐标转换关系。
126.其中，虚拟相机用于进行画面渲染，可内嵌于合成计算机的游戏引擎中。为了使虚拟相机能够还原真实相机的运动轨迹以虚拟角色替换中之人，需对挂载在机械臂上的真实相机进行标定，得到真实相机的内参矩阵和外参矩阵，其中，内参矩阵表征相机的镜头视角和畸变参数，外参矩阵表征相机在某个三维空间中的位置和朝向(位置偏移)。
127.在对真实相机标定后，在确定真实相机与机械臂之间的第一坐标转换关系时，需先获取真实相机与机械臂末端执行器(用于连接机械臂和真实相机)之间的第三坐标转换关系，以及机械臂末端执行器与机械臂底座坐标系之间的第四坐标转换关系，并基于第三坐标转换关系及第四坐标转换关系，如将第三坐标转换关系与第四坐标转换关系相乘，得到真实相机与机械臂之间的第一坐标转换关系。同样的，需确定机械臂与虚拟相机之间的第二坐标转换关系，以将真实相机拍摄的数据映射至虚拟相机中。
128.步骤303：当真人演员与中之人在相同背景场景下同台互动时，对触发第一背景数据播放指令的时间及触发机械臂运动指令的时间进行同步处理。
129.其中，播放指令用于触发播放预先拍摄的第一背景数据(即空境画面)，运动指令用于触发机械臂以目标轨迹开始运动以拍摄人物画面(包括真人演员与中之人之间的互动画面以及背景画面)。在进行同步处理时，设置虚拟相机(游戏引擎)以真实相机的时间码同步，比如同步保持25fps的帧率，对于预先录制好的第一背景数据做缓存处理，避免硬盘内存的卡顿，通过游戏引擎中的timeline对第一背景数据和第二背景数据进行同步处理。
130.在理想情况(如数据传输不存在延迟)下，需要在开始播放预先拍摄的空境画面的同时启动机械臂开始运动以拍摄人物画面，假设在第一时刻触发播放指令(即在第一时刻开始播放预先拍摄的空境画面)，在第二时刻触发运动指令(即在第二时刻启动机械臂以目标轨迹开始运动)，理想情况下，第一时刻应该与第二时刻为同一时刻。但在实际实施时，鉴于数据传输会有延迟，若在触发播放指令的同时触发运动指令(即在开始播放预先拍摄的空境画面的同时启动机械臂开始运动)，就会造成所播放预先录制的空境画面和虚拟相机所显示人物画面中的背景画面不匹配的情况。例如，将机械臂运动过程中真实相机拍摄的包括真人演员和中之人同台互动画面的互动数据传输至虚拟相机中需要花费目标时间(如1秒)，若在开始播放预先拍摄的空境画面的同时启动机械臂开始运动，则将导致所播放相同内容的预先拍摄的空境画面早于虚拟相机所显示的背景画面(早于1秒)，故为了使得所播放相同内容的预先拍摄的空境画面始终与虚拟相机所显示的画面相一致，需将第一时刻设置为相对第二时刻延后目标时间(如1秒)，即在触发运动指令目标时间(如1秒)后再触发播放指令。
131.步骤304：在第二时刻控制机械臂按照目标轨迹进行运动，以录制同台互动的真人演员和中之人进行互动的原始互动数据，并在第一时刻播放预先录制的第一背景数据。
132.这里，在对触发第一背景数据播放指令的时间及触发机械臂运动指令的时间进行同步处理之后，即可按照同步处理后的时间控制机械臂运动及针对第一背景数据的播放。
133.步骤305：基于第一坐标转换关系及第二坐标转换关系，分别对第一背景数据和原始互动数据进行映射处理，得到对应的第一映射数据和第二映射数据。
134.这里，基于第一坐标转换关系及第二坐标转换关系，对第一背景数据进行映射处理，如基于第一坐标转换关系先将第一背景数据映射至机械臂坐标系中得到中间背景映射数据，再基于第二坐标转换关系将中间背景映射数据映射至虚拟相机坐标系中得到第一映射数据。同样地，基于第一坐标转换关系及第二坐标转换关系，对原始互动数据进行映射处理，得到原始互动数据在虚拟相机中的第二映射数据，如基于第一坐标转换关系先将原始互动数据映射至机械臂坐标系中得到中间原始映射数据，再基于第二坐标转换关系将中间原始映射数据映射至虚拟相机坐标系中得到第二映射数据。
135.步骤306：对第一映射数据进行画面渲染，得到对应的第一渲染画面。
136.步骤307：对第二映射数据进行画面渲染，得到对应的第二渲染画面。
137.步骤308：基于机械臂的运动数据创建中之人对应的空间遮罩，并对空间遮罩进行画面渲染，得到第三渲染画面。
138.步骤309：在中之人关联的位置处创建目标角色对应的虚拟角色，并基于中之人的动捕数据对虚拟角色进行画面渲染，得到包括虚拟角色的第四渲染画面。
139.步骤310：将第一渲染画面、第二渲染画面、第三渲染画面及第四渲染画面进行画面叠加处理，得到中之人对应的虚拟角色与真人演员进行同台互动的合成画面。
140.步骤311：基于合成画面和声音数据实时输出中之人对应的虚拟角色与真人演员同台演出互动的画面。
141.通过上述步骤208-步骤212、或步骤306-步骤310的渲染处理通过渲染层实现，这几个步骤可并行执行也可串行执行，其中，渲染层包括空境渲染层、实拍渲染层、虚拟角色渲染层和遮罩渲染层，在渲染时，如图7所示，图7为本技术实施例通过的渲染示意图，虚拟相机(或游戏引擎)可通过先空境渲染层对不包括真人演员和中之人互动的相关数据的第一背景数据在虚拟相机中的第一映射数据进行画面渲染，得到第一渲染画面。如图8所示，图8为本技术实施例通过的渲染示意图，通过实拍渲染层对包括原始互动数据(包括真人演员和中之人互动之间互动的相关数据)在虚拟相机中的第二映射数据进行画面渲染，得到第二渲染画面。
142.由于在获取互动数据和捕捉数据之前，对挂载在机械臂上的真实相机进行标定，得到真实相机的内参矩阵(表征相机的镜头视角和畸变参数)和外参矩阵(表征相机在某个三维空间中的位置和朝向)，为了更好地体现目标角色与虚拟角色(与目标角色相对应)的立体形象以完全匹配中之人，获取机械臂的运动数据以创建目标角色对应的空间遮罩(三维)，并通过遮罩渲染层对空间遮罩层进行渲染，得到第三渲染画面，如图9所示，图9为本技术实施例通过的渲染示意图。为了使得渲染画面更加自然，可对遮罩渲染层所渲染的像素值进行调整，如像素值设置的越低，羽化效果越明显，融合越自然。
143.步骤209或步骤309中通过面捕摄像头、动捕摄像头所采集获取的动捕数据实质是真实相机所采集的原始动捕数据，这里可采用上述同样方式将原始动捕数映射至虚拟相机中得到在虚拟相机中的动捕数据，在中之人关联的位置处创建中之人对应的虚拟角色，并通过虚拟角色渲染层基于虚拟相机中的动捕数据，对虚拟角色进行画面渲染，得到包括虚拟角色的第四渲染画面，如图10所示，图10为本技术实施例通过的渲染示意图，第四渲染画
面中虚拟角色执行与中之人一致的动作。
144.最后参见图11，图11为本技术实施例通过的渲染示意图，将第一渲染画面、第二渲染画面、第三渲染画面及第四渲染画面进行画面叠加处理，得到的画面中以虚拟角色替换中之人、中之人与其他真实角色进行同台互动。
145.需要说明的是，在实际应用中，为了更好的使虚拟相机还原真实相机的拍摄效果，在渲染前，可对真实相机采集的原始数据(如第一背景数据、原始互动数据、动捕数据等)进行色彩空间转换，例如，获取真实相机与虚拟相机之间的色彩映射关系，基于色彩映射关系，对原始数据进行色彩空间转换处理，得到原始数据在虚拟相机中的映射数据。假设真实相机拍摄的画面(原始数据)色域是rec709，亮度(gamma)为2.4，而虚拟相机中使用的是srgb线性的色彩空间，由于rec709和srgb的色域一致，但是亮度gamma不一致，故采用以下色彩映射关系对gamma进行数据转换，c_lin＝pow(c_rec709,2.4)，其中，c_lin为转换后的线性数据，c_rec709为转换前的原始709数据；相应的，最后输出的合成画面需要对整体的gamma从线性的转换为rec709的2.4，来匹配最终输出效果，c_rec709＝pow(c_lin,1/2.4)。
146.通过上述方式，通过预先确定好挂载有真实相机的电子机械臂中真实相机(镜头)的运动轨迹，在拍摄同台互动的真人演员和中之人时，对真实相机的运动轨迹进行复原，实现实时扣除中之人在真实相机中的画面，能够让真人演员和中之人同台演出，提高真人演员和中之人互动自然度。
147.下面继续说明本技术实施例提供的互动画面的渲染装置555的实施为软件模块的示例性结构，在一些实施例中，存储在图2中存储器550的互动画面的渲染装置555中的软件模块可以包括：获取模块5551，用于获取同台互动的至少两个真实角色的互动数据、以及所述至少两个真实角色中目标角色的动捕数据；其中，所述动捕数据，用于驱动所述目标角色对应的虚拟角色执行与所述目标角色一致的互动动作；渲染模块5552，用于基于所述互动数据及所述动捕数据进行画面渲染，得到所述虚拟角色与所述至少两个真实角色中除所述目标角色之外的其他角色进行同台互动的画面。
148.在一些实施例中，所述获取模块，还用于获取挂载在机械臂上的真实相机录制的所述同台互动的至少两个真实角色的原始数据；其中，所述机械臂与所述真实相机通过机械臂末端执行器连接；确定所述真实相机与所述机械臂之间的第一坐标转换关系，以及所述机械臂与用于进行所述画面渲染的虚拟相机之间的第二坐标转换关系；基于所述第一坐标转换关系及所述第二坐标转换关系，对所述原始数据进行映射处理，得到所述原始数据在所述虚拟相机中的映射数据，以将所述映射数据作为获取的所述同台互动的至少两个真实角色的互动数据。
149.在一些实施例中，所述获取模块，还用于获取所述真实相机与所述机械臂末端执行器之间的第三坐标转换关系，以及所述机械臂末端执行器与机械臂底座坐标系之间的第四坐标转换关系；基于所述第三坐标转换关系及所述第四坐标转换关系，确定所述真实相机与所述机械臂之间的第一坐标转换关系。
150.在一些实施例中，当所述原始数据包括背景数据时，所述获取模块，还用于当所述至少两个真实角色未同台互动时，控制所述机械臂以目标轨迹进行运动，并在所述机械臂运动过程中，控制挂载在所述机械臂上的真实相机录制不包括所述至少两个真实角色的第一背景数据；当所述至少两个真实角色同台互动时，控制所述机械臂以所述目标轨迹进行
运动，并在所述机械臂运动过程中，控制所述真实相机录制包括同台互动的所述至少两个真实角色的原始互动数据，所述原始互动数据包括第二背景数据；将所述第一背景数据及所述原始互动数据，确定为所述同台互动的至少两个真实角色的原始数据。
151.在一些实施例中，所述获取模块，还用于响应于接收到的针对所述所述机械臂的运动指令，控制控制所述机械臂以所述目标轨迹进行运动；获取所述运动指令的接收时刻，以及将所述原始互动数据由所述真实相机传递至所述虚拟相机所需的目标时长；在从所述接收时刻达到所述目标时长时，接收到针对所述第一背景数据的播放指令，并响应于所述播放指令，播放所述第一背景数据，以将播放的所述第一背景数据与录制的所述原始互动数据确定为所述同台互动的至少两个真实角色的原始数据。
152.在一些实施例中，所述获取模块，还用于基于所述第一坐标转换关系及所述第二坐标转换关系，对所述第一背景数据进行映射处理，得到所述第一背景数据在所述虚拟相机中的第一映射数据；基于所述第一坐标转换关系及所述第二坐标转换关系，对所述原始互动数据进行映射处理，得到所述原始互动数据在所述虚拟相机中的第二映射数据；将所述第一映射数据及所述第二映射数据作为所述原始数据在所述虚拟相机中的映射数据。
153.在一些实施例中，所述渲染模块，还用于分别对所述第一映射数据及所述第二映射数据进行画面渲染，得到对应的第一渲染画面和第二渲染画面；基于所述机械臂的运动数据创建所述目标角色对应的空间遮罩，并对所述空间遮罩进行画面渲染，得到第三渲染画面；基于所述动捕数据，在所述目标角色关联的位置处创建所述目标角色对应的虚拟角色，并对所述虚拟角色进行画面渲染，得到包括所述虚拟角色的第四渲染画面；将所述第一渲染画面、所述第二渲染画面、所述第三渲染画面及所述第四渲染画面进行画面叠加处理，得到所述虚拟角色与所述至少两个真实角色中除所述目标角色之外的其他角色进行同台互动的画面。
154.在一些实施例中，所述基于所述互动数据及所述动捕数据进行画面渲染之前，所述装置还包括：同步模块，用于将所述第一背景数据及所述第二背景数据映射至时间轴上，并在所述时间轴上展示所述第一背景数据对应的至少一个第一关键帧以及所述第二背景数据对应的至少一个第二关键帧；从所述至少一个第二关键帧中筛选出与所述至少一个第一关键帧中的第一目标关键帧相对应的第二目标关键帧；获取所述第一目标关键帧与所述第二目标关键帧对应的时间差，并当所述时间差大于第一时间阈值时，调整所述第一背景数据及所述第二背景数据在所述时间轴上的位置，直至所述时间差低于第二时间阈值。
155.在一些实施例中，所述获取模块，还用于获取所述真实相机与所述虚拟相机之间的色彩映射关系；基于所述色彩映射关系，对所述原始数据进行色彩空间转换处理，得到所述原始数据在所述虚拟相机中的映射数据；相应的，所述渲染模块，还用于基于所述互动数据及所述动捕数据进行画面渲染，得到所述虚拟角色与所述至少两个真实角色中除所述目标角色之外的其他角色进行同台互动的初始渲染画面；基于所述色彩映射关系，对所述初始渲染画面进行色彩空间逆转换处理，得到最终渲染画面，以输出所述最终渲染画面。
156.在一些实施例中，所述获取模块，还用于当所述至少两个真实角色中目标角色穿戴有动作捕捉设备时，获取真实相机捕捉的所述动作捕捉设备上的标记点的位置变化数据，并将所述位置变化数据作为所述目标角色的动作数据，其中，所述标记点与所述目标角色的骨骼关键点相对应；当所述目标角色挂载有表情捕捉设备时，获取所述表情捕捉设备
捕捉的所述目标角色的表情数据；当所述目标角色挂载有声音采集设备时，获取所述声音采集设备采集的所述目标角色的声音数据；将所述目标角色的动作数据、所述表情数据及所述声音数据中至少之一作为所述动捕数据。
157.在一些实施例中，所述渲染模块，还用于对所述互动数据进行画面渲染，得到包括所述至少两个真实角色进行同台互动的第一互动画面；创建所述目标角色对应的空间遮罩，并将所述空间遮罩渲染至所述第一互动画面中，以将所述目标角色替换为所述空间遮罩，得到所述至少两个真实角色中除所述目标角色之外的其他角色与所述空间遮罩进行互动的第二互动画面；在所述空间遮罩所在位置处创建所述目标角色对应的虚拟角色，并基于所述动捕数据将所述虚拟角色渲染至所述第二互动画面中，得到所述虚拟角色与所述其他角色进行的同台互动的画面。
158.本技术实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本技术实施例上述的互动画面的渲染方法。
159.本技术实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本技术实施例提供的互动画面的渲染方法，例如，如图3示出的方法。
160.在一些实施例中，计算机可读存储介质可以是fram、rom、prom、eprom、eeprom、闪存、磁表面存储器、光盘、或cd-rom等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
161.在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
162.作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(html，hyper text markup language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
163.作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
164.以上所述，仅为本技术的实施例而已，并非用于限定本技术的保护范围。凡在本技术的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本技术的保护范围之内。

技术特征：
1.一种互动画面的渲染方法，其特征在于，所述方法包括：获取同台互动的至少两个真实角色的互动数据、以及所述至少两个真实角色中目标角色的动捕数据；其中，所述动捕数据，用于驱动所述目标角色对应的虚拟角色执行与所述目标角色一致的互动动作；基于所述互动数据及所述动捕数据进行画面渲染，得到所述虚拟角色与所述至少两个真实角色中除所述目标角色之外的其他角色进行同台互动的画面。2.如权利要求1所述的方法，其特征在于，所述获取同台互动的至少两个真实角色的互动数据，包括：获取挂载在机械臂上的真实相机录制的所述同台互动的至少两个真实角色的原始数据；其中，所述机械臂与所述真实相机通过机械臂末端执行器连接；确定所述真实相机与所述机械臂之间的第一坐标转换关系，以及所述机械臂与用于进行所述画面渲染的虚拟相机之间的第二坐标转换关系；基于所述第一坐标转换关系及所述第二坐标转换关系，对所述原始数据进行映射处理，得到所述原始数据在所述虚拟相机中的映射数据，以将所述映射数据作为获取的所述同台互动的至少两个真实角色的互动数据。3.如权利要求2所述的方法，其特征在于，所述确定所述真实相机与所述机械臂之间的第一坐标转换关系，包括：获取所述真实相机与所述机械臂末端执行器之间的第三坐标转换关系，以及所述机械臂末端执行器与机械臂底座坐标系之间的第四坐标转换关系；基于所述第三坐标转换关系及所述第四坐标转换关系，确定所述真实相机与所述机械臂之间的第一坐标转换关系。4.如权利要求2所述的方法，其特征在于，当所述原始数据包括背景数据时，所述获取挂载在机械臂上的真实相机录制的所述同台互动的至少两个真实角色的原始数据，包括：当所述至少两个真实角色未同台互动时，控制所述机械臂以目标轨迹进行运动，并在所述机械臂运动过程中，控制挂载在所述机械臂上的真实相机录制不包括所述至少两个真实角色的第一背景数据；当所述至少两个真实角色同台互动时，控制所述机械臂以所述目标轨迹进行运动，并在所述机械臂运动过程中，控制所述真实相机录制包括同台互动的所述至少两个真实角色的原始互动数据，所述原始互动数据包括第二背景数据；将所述第一背景数据及所述原始互动数据，确定为所述同台互动的至少两个真实角色的原始数据。5.如权利要求4所述的方法，其特征在于，所述控制所述机械臂以所述目标轨迹进行运动，包括：响应于接收到的针对所述所述机械臂的运动指令，控制所述机械臂以所述目标轨迹进行运动；所述将所述第一背景数据及所述原始互动数据，确定为所述同台互动的至少两个真实角色的原始数据，包括：获取所述运动指令的接收时刻，以及将所述原始互动数据由所述真实相机传递至所述
虚拟相机所需的目标时长；在从所述接收时刻达到所述目标时长时，接收到针对所述第一背景数据的播放指令，并响应于所述播放指令，播放所述第一背景数据，以将播放的所述第一背景数据与录制的所述原始互动数据确定为所述同台互动的至少两个真实角色的原始数据。6.如权利要求4所述的方法，其特征在于，基于所述第一坐标转换关系及所述第二坐标转换关系，对所述原始数据进行映射处理，得到所述原始数据在所述虚拟相机中的映射数据，包括：基于所述第一坐标转换关系及所述第二坐标转换关系，对所述第一背景数据进行映射处理，得到所述第一背景数据在所述虚拟相机中的第一映射数据；基于所述第一坐标转换关系及所述第二坐标转换关系，对所述原始互动数据进行映射处理，得到所述原始互动数据在所述虚拟相机中的第二映射数据；将所述第一映射数据及所述第二映射数据作为所述原始数据在所述虚拟相机中的映射数据。7.如权利要求6所述的方法，其特征在于，所述基于所述互动数据及所述动捕数据进行画面渲染，得到所述虚拟角色与所述至少两个真实角色中除所述目标角色之外的其他角色进行同台互动的画面，包括：分别对所述第一映射数据及所述第二映射数据进行画面渲染，得到对应的第一渲染画面和第二渲染画面；基于所述机械臂的运动数据创建所述目标角色对应的空间遮罩，并对所述空间遮罩进行画面渲染，得到第三渲染画面；基于所述动捕数据，在所述目标角色关联的位置处创建所述目标角色对应的虚拟角色，并对所述虚拟角色进行画面渲染，得到包括所述虚拟角色的第四渲染画面；将所述第一渲染画面、所述第二渲染画面、所述第三渲染画面及所述第四渲染画面进行画面叠加处理，得到所述虚拟角色与所述至少两个真实角色中除所述目标角色之外的其他角色进行同台互动的画面。8.如权利要求5所述的方法，其特征在于，所述基于所述互动数据及所述动捕数据进行画面渲染之前，所述方法还包括：将所述第一背景数据及所述第二背景数据映射至时间轴上，并在所述时间轴上展示所述第一背景数据对应的至少一个第一关键帧以及所述第二背景数据对应的至少一个第二关键帧；从所述至少一个第二关键帧中筛选出与所述至少一个第一关键帧中的第一目标关键帧相对应的第二目标关键帧；获取所述第一目标关键帧与所述第二目标关键帧对应的时间差，并当所述时间差大于第一时间阈值时，调整所述第一背景数据及所述第二背景数据在所述时间轴上的位置，直至所述时间差低于第二时间阈值。9.如权利要求2所述的方法，其特征在于，所述对所述原始数据进行映射处理，得到所述原始数据在所述虚拟相机中的映射数据，包括：获取所述真实相机与所述虚拟相机之间的色彩映射关系；基于所述色彩映射关系，对所述原始数据进行色彩空间转换处理，得到所述原始数据
在所述虚拟相机中的映射数据；所述基于所述互动数据及所述动捕数据进行画面渲染，得到所述虚拟角色与所述至少两个真实角色中除所述目标角色之外的其他角色进行同台互动的画面，包括：基于所述互动数据及所述动捕数据进行画面渲染，得到所述虚拟角色与所述至少两个真实角色中除所述目标角色之外的其他角色进行同台互动的初始渲染画面；基于所述色彩映射关系，对所述初始渲染画面进行色彩空间逆转换处理，得到最终渲染画面，以输出所述最终渲染画面。10.如权利要求1所述的方法，其特征在于，所述获取所述至少两个真实角色中目标角色的动捕数据，包括：当所述至少两个真实角色中目标角色穿戴有动作捕捉设备时，获取真实相机捕捉的所述动作捕捉设备上的标记点的位置变化数据，并将所述位置变化数据作为所述目标角色的动作数据，其中，所述标记点与所述目标角色的骨骼关键点相对应；当所述目标角色挂载有表情捕捉设备时，获取所述表情捕捉设备捕捉的所述目标角色的表情数据；当所述目标角色挂载有声音采集设备时，获取所述声音采集设备采集的所述目标角色的声音数据；将所述目标角色的动作数据、所述表情数据及所述声音数据中至少之一作为所述动捕数据。11.如权利要求1所述的方法，其特征在于，所述基于所述互动数据及所述动捕数据进行画面渲染，得到所述虚拟角色与所述至少两个真实角色中除所述目标角色之外的其他角色进行同台互动的画面，包括：对所述互动数据进行画面渲染，得到包括所述至少两个真实角色进行同台互动的第一互动画面；创建所述目标角色对应的空间遮罩，并将所述空间遮罩渲染至所述第一互动画面中，以将所述目标角色替换为所述空间遮罩，得到所述至少两个真实角色中除所述目标角色之外的其他角色与所述空间遮罩进行互动的第二互动画面；在所述空间遮罩所在位置处创建所述目标角色对应的虚拟角色，并基于所述动捕数据将所述虚拟角色渲染至所述第二互动画面中，得到所述虚拟角色与所述其他角色进行的同台互动的画面。12.一种互动画面的渲染装置，其特征在于，所述装置包括：获取模块，用于获取同台互动的至少两个真实角色的互动数据、以及所述至少两个真实角色中目标角色的动捕数据；其中，所述动捕数据，用于驱动所述目标角色对应的虚拟角色执行与所述目标角色一致的互动动作；渲染模块，用于基于所述互动数据及所述动捕数据进行画面渲染，得到所述虚拟角色与所述至少两个真实角色中除所述目标角色之外的其他角色进行同台互动的画面。13.一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至11任一项所述
的互动画面的渲染方法。14.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于被处理器执行时，实现权利要求1至11任一项所述的互动画面的渲染方法。15.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时，实现权利要求1至11任一项所述的互动画面的渲染方法。

技术总结
本申请提供了一种互动画面的渲染方法、装置、设备、计算机可读存储介质及计算机程序产品；方法包括：获取同台互动的至少两个真实角色的互动数据、以及所述至少两个真实角色中目标角色的动捕数据；其中，所述动捕数据，用于驱动所述目标角色对应的虚拟角色执行与所述目标角色一致的互动动作；基于所述互动数据及所述动捕数据进行画面渲染，得到所述虚拟角色与所述至少两个真实角色中除所述目标角色之外的其他角色进行同台互动的画面。通过本申请，能够提高真实角色与虚拟角色之间的互动自然度。度。度。


技术研发人员：李锐
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2022.06.07
技术公布日：2023/8/1