通话过程中XR动效的实现方法、装置、设备及存储介质与流程

通话过程中xr动效的实现方法、装置、设备及存储介质
技术领域
1.本技术涉及通信技术领域，尤其涉及一种通话过程中xr动效的实现方法、装置、设备及存储介质。


背景技术：

2.随着移动通信网络技术的快速发展，以及移动终端设备性能的提高，越来越多的移动终端设备进入日常生活和工作当中。用户可以使用移动终端设备完成各种音视频通话，并且在用户的音视频通话过程中，运营商利用长期演进语音承载(voice over long term evolution，volte)技术，能够在基础多媒体通话业务之上，为用户提供更加丰富多彩的增值业务。
3.但是，现有技术中，运营商提供的增值业务通常应用在音视频通话前的早期媒体阶段，而对于音视频通话中的媒体阶段，目前尚无相关的增值业务可以为用户提供娱乐交互服务。因此，在音视频通话的过程中，缺少趣味性，导致用户的体验感差，满意度低。


技术实现要素：

4.本技术提供一种通话过程中扩展现实(extended reality，xr)动效的实现方法、装置、设备及存储介质，可以在基于volte技术的通话过程中叠加xr动效，提高用户的使用体验。
5.第一方面，本技术提供一种通话过程中xr动效的实现方法，应用于实现装置，实现装置与核心网网元连接，且与动效资源库连接，该方法包括：从核心网网元获取第一终端向第二终端传输的基于volte技术通话的媒体资源流；确定xr动效申请；xr动效申请用于指示待申请的xr动效；根据xr动效申请从动效资源库中申请对应的目标xr动效；将目标xr动效叠加至媒体资源流得到合成媒体资源流；将合成媒体资源流发送给第二终端。
6.本技术提供的一种通话过程中xr动效的实现方法，通过核心网网元获取第一终端向第二终端传输的基于volte技术通话的媒体资源流，进一步确定xr动效申请，从而根据xr动效申请从动效资源库中申请对应的目标xr动效，然后将目标xr动效叠加至媒体资源流得到合成媒体资源流，最后将合成媒体资源流发送给第二终端。本技术实现了在基于volte技术的通话过程中叠加xr动效，弥补了现有技术中在通话过程中没有增值业务的不足，使得用户在volte通话过程中可以使用xr动效进行互动，满足了用户多样化的需求，提高了通话过程的趣味性和用户的互动体验感。
7.一种可能的实现方式，xr动效申请包含来自第一终端的指令标识和第二终端的配置信息，根据xr动效申请从动效资源库中申请对应的目标xr动效包括：根据指令标识，从动效资源库中查询与指令标识对应的xr动效；根据配置信息，对xr动效的质量进行调整，得到目标xr动效。
8.另一种可能的实现方式，目标xr动效包括：画面动效和/或音频动效；根据配置信息，对xr动效的质量进行调整包括：在目标xr动效包括画面动效的情况下，根据配置信息，
对xr动效的画面细节进行调整；画面细节用于反映画面的清晰程度；在目标xr动效包括音频动效的情况下，根据配置信息，对xr动效的音频细节进行调整；音频细节用于反映音频的保真程度。
9.又一种可能的实现方式，在目标xr动效包括画面动效和音频动效的情况下，将目标xr动效叠加至媒体资源流得到合成媒体资源流，包括：确定媒体资源流中是否存在用户说话的音频数据；若是，将画面动效叠加至媒体资源流，得到合成媒体资源流；若否，将画面动效以及音频动效叠加至媒体资源流，得到合成媒体资源流。
10.又一种可能的实现方式，将画面动效叠加至媒体资源流，包括：对画面动效和媒体资源流解码；将画面动效和媒体资源流的时间和像素位置对齐；将画面动效和媒体资源流的像素进行叠加。
11.又一种可能的实现方式，在第一终端是主叫终端的情况下，第二终端是被叫终端；在第一终端是被叫终端的情况下，第二终端是主叫终端。
12.又一种可能的实现方式，在从核心网网元获取第一终端向第二终端传输的基于volte技术通话的媒体资源流之前，方法还包括：查询第一终端和/或第二种终端是否支持xr动效功能。
13.第二方面，本技术提供一种通话过程中xr动效的实现装置，该装置包括：获取模块、确定模块、申请模块、合成模块以及发送模块。获取模块用于，从核心网网元获取第一终端向第二终端传输的基于volte技术通话的媒体资源流；确定模块用于，确定xr动效申请；xr动效申请用于指示待申请的xr动效；申请模块用于，根据xr动效申请从动效资源库中申请对应的目标xr动效；合成模块用于，将目标xr动效叠加至媒体资源流得到合成媒体资源流；发送模块用于，将合成媒体资源流发送给第二终端。
14.一种可能的实现方式，xr动效申请包含来自第一终端的指令标识和第二终端的配置信息，申请模块具体用于，根据指令标识，从动效资源库中查询与指令标识对应的xr动效；根据配置信息，对xr动效的质量进行调整，得到目标xr动效。
15.另一种可能的实现方式，目标xr动效包括：画面动效和/或音频动效；申请模块具体用于，在目标xr动效包括画面动效的情况下，根据配置信息，对xr动效的画面细节进行调整；画面细节用于反映画面的清晰程度；在目标xr动效包括音频动效的情况下，根据配置信息，对xr动效的音频细节进行调整；音频细节用于反映音频的保真程度。
16.又一种可能的实现方式，在目标xr动效包括画面动效和音频动效的情况下，合成模块具体用于，确定媒体资源流中是否存在用户说话的音频数据；若是，将画面动效叠加至媒体资源流，得到合成媒体资源流；若否，将画面动效以及音频动效叠加至媒体资源流，得到合成媒体资源流。
17.又一种可能的实现方式，合成模块具体用于，对画面动效和媒体资源流解码；将画面动效和媒体资源流的时间和像素位置对齐；将画面动效和媒体资源流的像素进行叠加。
18.又一种可能的实现方式，在第一终端是主叫终端的情况下，第二终端是被叫终端；在第一终端是被叫终端的情况下，第二终端是主叫终端。
19.又一种可能的实现方式，还包括查询模块；查询模块用于，查询第一终端和/或第二种终端是否支持xr动效功能。
20.第三方面，本技术提供一种电子设备，该电子设备包括：处理器和存储器；存储器
存储有处理器可执行的指令；处理器被配置为执行指令时，使得电子设备实现上述第一方面的方法。
21.第四方面，本技术提供一种计算机可读存储介质，该计算机可读存储介质包括：计算机软件指令；当计算机软件指令在电子设备中运行时，使得电子设备实现上述第一方面的方法。
22.第五方面，本技术提供一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面描述的相关方法的步骤，以实现上述第一方面的方法。
23.上述第二方面至第五方面的有益效果参考第一方面的对应描述，不再赘述。
附图说明
24.图1为本技术提供的一种通话过程中xr动效的实现方法的应用环境示意图；
25.图2为本技术提供的一种通话过程中xr动效的实现装置的架构图；
26.图3为本技术提供的一种通话过程中xr动效的实现方法流程示意图；
27.图4为本技术提供的另一种通话过程中xr动效的实现方法流程示意图；
28.图5为本技术提供的又一种通话过程中xr动效的实现方法流程示意图；
29.图6为本技术提供的又一种通话过程中xr动效的实现方法流程示意图；
30.图7为本技术提供的又一种通话过程中xr动效的实现方法流程示意图；
31.图8为本技术提供的又一种通话过程中xr动效的实现方法流程示意图；
32.图9为本技术提供的一种应用环境架构示意图；
33.图10为本技术提供的又一种通话过程中xr动效的实现方法流程示意图；
34.图11为本技术提供的又一种通话过程中xr动效的实现方法流程示意图；
35.图12为本技术提供的一种通话过程中xr动效的实现装置的组成示意图；
36.图13为本技术提供的一种电子设备的组成示意图。
具体实施方式
37.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
38.需要说明的是，本技术实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
39.为了便于清楚描述本技术实施例的技术方案，在本技术的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不是在对数量和执行次序进行限定。
40.xr是指通过计算机将真实与虚拟相结合，打造一个可人机交互的虚拟环境，这也是增强现实(augmented reality，ar)、虚拟现实(virtual reality，vr)、混合现实(mixed reality，mr)等多种技术的统称。通过将三者的视觉交互技术相融合，为体验者带来虚拟世
界与现实世界之间无缝转换的“沉浸感”。随着移动通信网络技术的快速发展，目前xr技术在互联网电视(over the top，ott)类通信中和互联网直播场景中大量引入，通过有趣的交互动性，吸引了大量用户。然而移动通话作为最重要的基础通信业务，受限于媒体技术，并未在通话过程中为用户提供xr服务。
41.目前运营商利用volte技术，在移动通话过程中，为用户提供基础多媒体通话业务和丰富多彩的增值业务。但是这些增值业务通常应用在通话前早期媒体阶段，对于通话中的媒体阶段，尚无相关业务的增值业务为用户提供xr动效服务。运营商提供的基础多媒体通话流程如下：被叫开通了视频彩铃业务，并且支持彩振业务，主叫用户呼叫被叫用户时，被叫域彩铃业务平台在通话接通前为主叫用户和被叫用户播放一段视频媒体替代普通音频彩铃业务，接通后停止视频彩铃播放，双方进入通话状态，但通话过程中没有可以为用户提供娱乐交互的增值业务。因此，在基于volte技术的通话过程中，当前运营商提供的多媒体音视频业务已经不能够满足用户需求，用户的体验感差、满意度低。
42.综上所述，目前亟需一种在通话过程中，实现用户间娱乐交互的方式，基于此，本技术实施例提供一种通话过程中xr动效的实现方法，该方法中，通过核心网网元获取第一终端向第二终端传输的基于volte技术通话的媒体资源流，进一步确定xr动效申请，从而根据xr动效申请从动效资源库中申请对应的目标xr动效，然后将目标xr动效叠加至媒体资源流得到合成媒体资源流，最终将合成媒体资源流发送给第二终端。本技术实施例实现了在基于volte技术的通话过程中叠加xr动效，弥补了现有技术中在通话过程中没有增值业务的不足，使得用户在volte通话过程中可以使用xr动效进行互动，满足了用户多样化的需求，提高了通话过程的趣味性和用户的互动体验感。
43.本技术提供的通话过程中xr动效的实现方法，可应用于如图1所示的应用环境中。如图1所示，该应用环境包括：通话过程中xr动效的实现装置101(可简称为实现装置，还可以称为xr通话平台应用服务器(application server，as))、核心网网元102、第一终端103和第二终端104，其中，实现装置101与核心网网元102之间相互连接，第一终端103和核心网网元102之间相互连接，第二终端104和核心网网元102之间相互连接。
44.在一些实施例中，实现装置101可以是多个服务器组成的服务器集群、或者单个服务器、又或者计算机、又或者服务器或计算机中的处理器或处理芯片等。本技术实施例对实现装置101的具体设备形态不作限制。图1中以实现装置101为单个服务器为例示出。
45.在一些实施例中，核心网网元102可以是多个服务器组成的服务器集群、或者单个服务器、又或者计算机、又或者服务器或计算机中的处理器或处理芯片等。本技术实施例对核心网网元102的具体设备形态不作限制。图1中以核心网网元102为单个服务器为例示出。
46.在一些实施例中，上述第一终端103和第二终端104可以是一种具有无线收发功能的设备，例如手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本、个人数字助理(personal digital assistant，pda)等。本发明实施例对第一终端103和第二终端104的具体种类不作限制，图1中以智能手机终端为例示出。
47.在一些实施例中，第一终端和第二终端之间的基于volte技术的通话过程都经过核心网网元，即第一终端和第二终端之间通话的媒体资源流都经过核心网网元发送给对
方，当第一终端和第二终端开始通话时，实现装置可以利用信令从核心网网元中获取第一终端和第二终端之间通话的媒体资源流，进一步对获取的媒体资源流进行处理得到合成媒体资源流，最终将合成的媒体资源流发送给第二终端。
48.图2为本技术实施例提供的通话过程中xr动效的实现装置的架构图。如图2所示，实现装置可以包括：交互模块201和xr动效合成模块202。
49.在一些实施例中，交互模块201用于处理与核心网网元的通话信令监护和媒体交互，即与核心网网元进行交互，获取媒体资源流以及发送合成媒体资源流。xr动效合成模块202用于在获取的媒体资源流中叠加xr动效。另外，实现装置与核心网网元之间连接，能够通过核心网网元接收来自第一终端和/或第二终端的用户呼叫。
50.图3为本技术实施例提供的一种通话过程中xr动效的实现方法的流程示意图。如图3所示，本技术提供的通话过程中xr动效的实现方法，可以通过上述实现装置实现，具体包括以下步骤：
51.s301、实现装置从核心网网元获取第一终端向第二终端传输的基于volte技术通话的媒体资源流。
52.其中，媒体资源流可以是视频流、音频流或者是音视频流。作为一种示例，该媒体资源流是实时传输协议(real-time transport protocol，rtp)视频流。
53.在一些实施例中，实现装置与核心网网元连接，当第一终端和第二终端通过核心网网元进行通话时，实现装置可以从核心网网元中获取第一终端向第二终端传输的基于volte技术通话的媒体资源流。
54.示例性的，实现装置可以通过核心网网元检测第一终端和第二终端之间的通话，当检测到第一终端和第二终端进行通话时，实现装置的交互模块可以与核心网网元建立通信通道，第一终端和第二终端之间的媒体资源流可以流经该实现装置，以便于实现装置后续对媒体资源流进行处理。
55.s302、实现装置确定xr动效申请。
56.其中，xr动效申请用于指示待申请的xr动效。
57.在一些实施例中，实现装置在获取第一终端向第二终端传输的媒体资源流之后，进一步可以确定xr动效申请，以申请对应的xr动效对媒体资源流进行处理。
58.示例性的，实现装置在获取媒体资源流之后，还可以通过核心网网元获取第一终端的指令标识和第二终端的配置信息，进而根据第一终端的指令标识和第二终端的配置信息确定xr动效申请。
59.s303、实现装置根据xr动效申请从动效资源库中申请对应的目标xr动效。
60.在一些实施例中，实现装置确定xr动效申请后，可以根据xr动效申请从动效资源库中申请对应的目标xr动效。
61.示例性的，动效资源库与实现装置之间相互连接，动效资源库中存储着多个不同风格不同类型的xr动效。实现装置可以将该xr动效申请发送至动效资源库，并接收动效资源库响应的xr动效，进一步对该xr动效进行处理后得到目标xr动效。
62.s304、实现装置将目标xr动效叠加至媒体资源流得到合成媒体资源流。
63.在一些实施例中，实现装置得到对应的目标xr动效之后，实现装置中的xr动效合成模块可以将目标xr动效叠加至上述获取的媒体资源流中，得到合成媒体资源流。
64.s305、实现装置将合成媒体资源流发送给第二终端。
65.在一些实施例中，实现装置得到合成媒体资源流之后，可以将合成媒体资源流通过核心网网元发送给第二终端。
66.应理解，在第一终端是主叫终端的情况下，第二终端是被叫终端，在第一终端是被叫终端的情况下，第二终端是主叫终端。即实现装置可以实现在主叫终端向被叫终端传输的媒体资源流上叠加xr动效，也可以实现在被叫终端向主叫终端传输的媒体资源流上叠加xr动效。另外，实现装置还可以在主叫终端和被叫终端进行交互的过程中，对任一方传输的媒体资源流进行处理后发送至对方终端进行显示，进而实现双方基于xr动效的交互。
67.上述实施例提供的技术方案至少带来以下有益效果，本技术实施例提供的通话过程中xr动效的实现方法，通过核心网网元获取第一终端向第二终端传输的基于volte技术通话的媒体资源流，进一步确定xr动效申请，从而根据xr动效申请从动效资源库中申请对应的目标xr动效，然后将目标xr动效叠加至媒体资源流得到合成媒体资源流，最终将合成媒体资源流发送给第二终端。本技术实施例实现了在基于volte技术的通话过程中叠加xr动效，弥补了现有技术中在通话过程中没有增值业务的不足，使得用户在volte通话过程中可以使用xr动效进行互动，满足了用户多样化的需求，提高了通话过程的趣味性和用户的互动体验感。
68.以下结合具体实施例与说明书附图对本技术实施例提供的通话过程中xr动效的实现方法进行详细说明。
69.如图4所示，本技术提供的通话过程中xr动效的实现方法具体可以包括以下步骤：
70.s401、实现装置查询第一终端和/或第二种终端是否支持xr动效功能。
71.在一些实施例中，实现装置在第一终端和第二终端通话前，可以查询第一终端和/或第二种终端是否支持xr动效功能，以确定第一终端和/或第二种终端的终端配置能否支持xr动效的显示。
72.示例性的，实现装置首先可以查询第一终端和/或第二终端是否开通了xr动效业务。若第一终端和第二终端其中一方开通了xr动效业务，则实现装置可以为第一终端和第二终端直接的通话过程提供相应的xr动效服务，否则，实现装置无法提供相应的服务。进一步的，实现装置还可以通过核心网查询第一终端和/或第二种终端是否支持xr动效功能，避免出现由于第一终端和/或第二终端的终端配置不支持xr动效的原因，导致xr动效无法显示或显示不正确的现象。
73.s402、实现装置从核心网网元获取第一终端向第二终端传输的基于volte技术通话的媒体资源流。
74.s403、实现装置确定xr动效申请。
75.其中，xr动效申请用于指示待申请的xr动效。
76.上述s402-s403的相关描述可以参见前述s301-s302的描述，在此不再重复赘述。
77.s404、实现装置根据xr动效申请从动效资源库中申请对应的目标xr动效。
78.在一些实施例中，xr动效申请包含来自第一终端的指令标识和第二终端的配置信息，实现装置可以根据第一终端的指令标识和第二终端的配置信息从动效资源库中申请对应的目标xr动效。具体的，如图5所示，s404具体可以实现为如下s4041-s4042。
79.s4041、实现装置根据指令标识，从动效资源库中查询与指令标识对应的xr动效。
80.在一些实施例中，实现装置可以通过核心网网元获取第一终端的指令标识，进而对指令标识进行处理得到对应的关键词，从而根据关键词在动效资源库中查询对应的xr动效。其中，指令标识为第一终端的用户操作，用户操作包括但不限于按键操作、搜索框输入操作等。
81.示例性的，第一终端上的多个不同的按键对应多个不同的常用xr动效。其中，每个按键对应的xr动效可以由管理员根据实际情况进行设置，本技术对此不做限制。实现装置可以通过核心网网元获取第一终端用户的按键操作，然后根据按键与xr动效的对应关系从动效资源库中申请对应的xr动效。实现装置还可以在第一终端的通话界面上设置一个xr动效搜索框，用户可以在搜索框中输入关键字，实现装置可以根据用户输入的关键字从动效资源库中申请对应的xr动效。
82.s4042、实现装置根据配置信息，对xr动效的质量进行调整，得到目标xr动效。
83.在一些实施例中，实现装置获取第二终端的配置信息，根据配置信息对上述申请的xr动效的质量进行调整，从而得到目标xr动效。其中，目标xr动效包括：画面动效和/或音频动效。具体的，如图6所示，s4042具体可以实现为如下s4042a-s4042b。
84.s4042a、在目标xr动效包括画面动效的情况下，实现装置根据配置信息，对xr动效的画面细节进行调整。
85.其中，画面细节用于反映画面的清晰程度。
86.在一些实施例中，在目标xr动效包括画面动效的情况下，实现装置可以根据第二终端的配置信息对xr动效的画面细节进行调整。其中，画面细节用于反映画面的清晰程度。
87.示例性的，实现装置可以从核心网网元获取第二终端用户预先设定的终端配置信息，从而确定该终端配置信息对应的xr动效的画面细节程度，如果终端配置的配置越高，该终端配置对应的xr动效的画面越清晰；终端配置的配置越低，该终端配置对应的xr动效的画面越模糊。其中，画面细节包括的但不限于：画面的分辨率、画面的比特率、画面的编码类型、画面的帧率、画面的像素以及画面的尺寸。
88.s4042b、在目标xr动效包括音频动效的情况下，实现装置根据配置信息，对xr动效的音频细节进行调整。
89.其中，音频细节用于反映音频的保真程度。
90.在一些实施例中，在目标xr动效包括音频动效的情况下，实现装置可以根据第二终端的配置信息对xr动效的音频细节进行调整。其中，音频细节用于反映音频的保真程度。
91.示例性的，实现装置可以从核心网网元获取第二终端用户预先设定的终端配置信息，从而确定该终端配置信息对应的xr动效的音频细节程度，如果终端配置的配置越高，该终端配置对应的xr动效的音频保真度越高；终端配置的配置越低，该终端配置对应的xr动效的音频保真度越低。其中，音频细节包括但不限于：音频的失真度、音频的频率响应、音频的信噪比、音频的动态范围、音频的瞬态响应、音频的立体声分离度以及音频的立体声平衡度。
92.s405、实现装置将目标xr动效叠加至媒体资源流得到合成媒体资源流。
93.在一些实施例中，实现装置将得到的目标xr动效叠加至上述获取的媒体资源流中，可以得到合成媒体资源流。具体的，在目标xr动效包括画面动效和音频动效的情况下，如图7所示，s405具体可以实现为如下s4051-s4053。
94.s4051、实现装置确定媒体资源流中是否存在用户说话的音频数据。
95.在一些实施例中，实现装置得到目标xr动效后，可以判断上述获取的媒体资源流中是否存在用户说话的音频数据，从而进一步确定是否将目标xr动效中的音频动效叠加至媒体资源流。
96.示例性的，实现装置可以对获取的媒体视频流中的用户图像进行人脸识别，从媒体资源流的起始帧开始，逐帧检测媒体资源流中是否存在满足用户说话识别条件的视频帧序列，进一步判断媒体资源流中是否存在用户说话的音频数据，从而确定是否将目标xr动效中的音频动效叠加至媒体资源流。其中，用户说话识别条件为连续多帧均包含预设的人脸口部特征点集合对应的特征数据，另外，人脸口部特征点集合包含的特征点具体可由管理人员根据实际情况进行设置，本技术实施例对此不作限定。
97.s4052、若是，实现装置将画面动效叠加至媒体资源流，得到合成媒体资源流。
98.在一些实施例中，实现装置确定媒体资源流中存在用户说话的音频数据后，可以将xr动效中的画面动效叠加至媒体资源流，从而得到合成媒体资源流。具体的，如图8所示，s4052具体可以实现为如下s4052a-s4052c。
99.s4052a、实现装置对画面动效和媒体资源流解码。
100.在一些实施例中，实现装置确定将xr动效中的画面动效叠加至媒体资源流后，对xr动效中的画面动效和媒体资源流进行解封装和解码，得到解码后的画面动效和媒体资源流。其中，实现装置对画面动效和媒体资源流进行解码处理具体方式，可以采用音视频编解码技术领域的相关解码方式，只需对画面动效和媒体资源流进行解码即可，本技术实施例对此不作限定。
101.s4052b、实现装置将画面动效和媒体资源流的时间和像素位置对齐。
102.在一些实施例中，xr动效的画面特效可以在媒体资源流中的任意位置进行叠加，也可以在特定的位置进行叠加，例如：比心、戴眼镜/帽子、虚拟背景、烟花、兔子耳朵等画面特效。因此，实现装置得到解码后的画面动效和媒体资源流之后，可以根据媒体资源流中用户的人物图像所在的位置根据确定画面特效的叠加位置，另外，实现装置还可以根据第一终端用户触发xr动效的时间确定画面特效的叠加时间，从而根据叠加位置和叠加时间将解码后的画面动效和媒体资源流的时间和像素位置对齐。
103.s4052c、实现装置将画面动效和媒体资源流的像素进行叠加。
104.在一些实施例中，实现装置将画面动效和媒体资源流的时间和像素位置对齐之后，可以基于现有技术中图像叠加的算法将画面动效和媒体资源流对应位置的像素进行叠加，得到合成媒体资源流。
105.s4053、若否，实现装置将画面动效以及音频动效叠加至媒体资源流，得到合成媒体资源流。
106.在一些实施例中，实现装置确定媒体资源流中不存在用户说话的音频数据后，可以将xr动效中的画面动效和音频动效一起叠加至媒体资源流，从而得到合成媒体资源流。
107.示例性的，实现装置可以基于上述s4052a-s4052c的方法将xr动效中的画面动效叠加至媒体资源流，然后实现装置对xr动效中的音频特效和媒体资源流中的音频数据进行处理，使得音频特效和媒体资源流中的音频数据的采样率、通道数、采样精度保持一致，最终实现装置基于音频混音算法将处理后的音频特效叠加至媒体资源流。其中，音频混音算
法可以为以下算法中的任一种：线性叠加算法、平均权重算法、归一化算法、自适应加权混音算法以及自动对齐算法等。
108.s406、实现装置将合成媒体资源流发送给第二终端。
109.上述s406的相关描述可以参见前述s305的描述，在此不再重复赘述。
110.应理解，在第一终端的用户和第二终端的用户进行通话的过程中，第一终端的用户可以发起一次或多次不同的xr动效申请，即用户可以多次触发终端设备上的按键操作或多次在搜索框中输入关键字，实现装置可以根据每次的动效申请分别基于上述方法得到每次的合成媒体资源流，实现装置可以将得到的最新的合成媒体资源流发送给第二终端替换上一次动效申请对应的合成媒体资源流，从而实现用户切换不同的xr动效，提高了用户的互动体验感和通话过程中的娱乐效果，进而可以吸引用户订购本技术的xr动效业务。另外，本技术的xr动效的实现方法也可以应用在基于新空口承载语音(voice over new radio，vonr)技术的通话过程中。
111.具体的，作为一种示例，第一终端用户和第二终端用户连续两次触发xr动效操作的效果如表1所示。
112.表1
[0113][0114]
如表1所示，其中a表示叠加第一终端和第二终端用户操作对应xr动效；b表示第一终端用户操作对应的xr动效；c表示第二终端用户操作对应的xr动效。第一终端和第二终端的用户可以在申请xr动效前，选择xr动效的展示方向，其中，xr动效的展示方向包括：向对方展示都xr动效，向自己展示xr动效以及向双方展示xr动效。
[0115]
当第一终端和第二终端只进行一次xr动效申请操作时，如果第一终端用户选择向对方展示xr动效，第二终端用户选择向自己展示xr动效，则第一终端无xr动效显示，第二终端显示叠加第一终端和第二终端用户操作对应的xr动效。如果第一终端用户选择向自己展示xr动效，第二终端选择向对方展示xr动效，则第一终端显示叠加第一终端和第二终端用
户操作对应的xr动效，第二终端无xr动效显示。如果第一终端用户和第二终端用户都选择双向展示xr动效，则第一终端和第二终端都显示叠加第一终端和第二终端用户操作对应的xr动效。
[0116]
当第一终端和第二终端进行连续两次xr动效申请操作时，第一终端用户第一次和第二次都选择向对方展示xr动效，第二终端用户第一次选择向对方展示xr动效，第二次选择双向展示xr动效，则第一终端两次都显示第二终端用户操作对应的xr动效，第二终端首先显示第一终端用户操作对应的xr动效，然后显示叠加第一终端和第二终端用户操作对应的xr动效。第一终端用户第一次和第二次都选择向自己展示xr动效，第二终端用户第一次选择双向展示xr动效，第二次选择向对方展示xr动效，则第一终端两次都显示叠加第一终端和第二终端用户操作对应的xr动效，第二终端只显示第二终端第一次用户操作对应的xr动效。第一终端用户第一次和第二次都选择双向展示xr动效，第二终端用户第一次和第二次都选择向自己展示xr动效，则第一终端两次都显示第一终端用户操作对应的xr动效，第二终端两次都显示叠加第一终端和第二终端用户操作对应的xr动效。其中，用户每进行一次xr动效申请时，实现装置结束用户上一次发起的xr动效申请，基于最新的xr动效申请生成合成媒体资源流进行显示。
[0117]
上述实施例提供的技术方案至少带来以下有益效果，本技术实施例提供的通话过程中xr动效的实现方法，通过核心网网元获取第一终端向第二终端传输的基于volte技术通话的媒体资源流，进一步确定xr动效申请，从而根据xr动效申请从动效资源库中申请对应的目标xr动效，然后将目标xr动效叠加至媒体资源流得到合成媒体资源流，最终将合成媒体资源流发送给第二终端。本技术实施例实现了在基于volte技术的通话过程中叠加xr动效，弥补了现有技术中在通话过程中没有增值业务的不足，使得用户在volte通话过程中可以使用xr动效进行互动，满足了用户多样化的需求，提高了通话过程的趣味性和用户的互动体验感。
[0118]
进一步的，本技术还可以根据第一终端的指令标识和第二终端的配置信息对xr动效的质量进行调整，使得调整后的xr动效与媒体资源流叠加后，符合第二终端的配置要求和用户需求，从而避免出现由于用户终端配置较低，而导致在播放xr动效时影响用户终端性能的情况，提高了xr动效的适配性，保证用户良好的使用体验感。
[0119]
图9为本技术实施例的一种应用环境架构图，包括：xr通话平台as901，网络协议多媒体子系统(internet protocol multimedia subsystem，ims)核心网902，主叫终端903以及被叫终端904。
[0120]
xr通话平台as901(即实现装置)与ims核心网902(即核心网网元)之间相互连接，主叫终端903(即第一终端)与ims核心网902之间相互连接，被叫终端904(即第二终端)与ims核心网902之间相互连接。其中，主叫终端903和被叫终端904之间的基于volte技术的通话过程都经过ims核心网902，即主叫终端903和被叫终端904之间通话的媒体资源流都经过ims核心网902发送给对方，当主叫终端903和被叫终端904开始通话时，xr通话平台as901可以利用信令从ims核心网902中获取主叫终端903和被叫终端904之间通话的媒体资源流，进一步对获取的媒体资源流进行处理得到合成媒体资源流，最终将视频流+xr流(即合成媒体资源流)发送给被叫终端904。
[0121]
下面就一个具体的实施例对本技术实施例的通话过程中xr动效的实现方法进行
介绍，本方法具体实施过程如图10所示。
[0122]
当主叫终端(即第一终端)视频呼叫被叫终端(即第二终端)时，核心网查询到主叫用户开通ar动效业务，将所有呼叫信令送xr通话平台(即实现装置)。xr通话平台接收呼叫，查询用户是否有xr特效功能。有则在主被叫通话中，桥接音视频媒体，所有主被叫的语音流都经过平台(第一终端与第二终端的通话过程经过核心网网元，实现装置与核心网连接)。主被叫用户进行视频通话，通话中主叫用户在终端进行按键操作(即第一终端的指令标识)，比如5#,代表烟花(按键5#对应烟花xr动效)。xr通话平台识别用户按键内容，触发xr特效功能(即确定xr动效申请，从动效资源库中获取目标xr动效)，将被叫终端的音视频流(即媒体资源流)与特效模块(目标xr动效)进行桥接，并将生成的xr特效(合成媒体资源流)推送给被叫。主被叫视频通话，被叫用户可看到按键对应的特效。
[0123]
下面就一个具体的实施例对本技术实施例的通话过程中xr动效的实现方法进行介绍，本方法具体实施过程如图11所示。
[0124]
主叫终端(即第一终端)、ims核心网的呼叫会话控制功能(call session control function，cscf)模块、xr通话平台as(即实现装置)以及xr动效合成模块组成本次通话过程中的主叫域。a.当主叫终端和被叫终端(即第二终端)建立视频通话后，1.主叫终端用户点击已预设对应xr动效的按键，进行按键操作(即指令标识)，1-1.xr通话平台as可以通过ims核心网的cscf模块获取主叫终端和被叫终端通话的媒体资源流和主叫终端用户的按键操作，2.xr通话平台as解析按键操作目的为申请xr动效功能，发起xr动效申请，将申请信息转发到xr动效合成模块，3.xr动效合成模块响应xr动效申请，从动效资源库中获取目标xr动效，4.xr通话平台as将目标xr动效叠加至媒体资源流得到合成媒体资源流，并将合成媒体资源流发送给被叫终端。在主叫终端和被叫终端的通话过程中，被叫终端可以看到主叫终端按键对应的xr动效。
[0125]
需要说明的是，上述图9、图10和图11都是基于主叫终端和被叫终端通话过程中，主叫终端发起xr动效申请这一种情况进行的详细描述，本技术实施例还存在其他两种情况，在主叫终端和被叫终端通话过程中，被叫终端发起xr动效申请，或者主叫终端和被叫终端同时发起xr动效申请，这两种情况的详细描述参考上述主叫终端发起动效申请的描述，不再赘述，其中，当主叫终端和被叫终端同时发起动效申请时，实现装置可以对主叫终端和被叫终端的动效申请分别进行处理后在发送给对方终端。另外，主叫终端和被叫终端的通话可以是音视频通话，也可以是音频通话，若为音频通话，则xr动效叠加仅叠加对应的音频动效即可。
[0126]
在示例性的实施例中，本装置可申请还提供一种通话过程中xr动效的实现装置。该通话过程中xr动效的实现以包括一个或多个功能模块，用于实现以上方法实施例的通话过程中xr动效的实现方法。
[0127]
例如，图12为本技术实施例提供的一种通话过程中xr动效的实现装置示意图。如图12所示，该通话过程中xr动效的实现装置包括：获取模块1201、确定模块1202、申请模块1203、合成模块1204以及发送模块1205。
[0128]
获取模块1201用于，从核心网网元获取第一终端向第二终端传输的基于volte技术通话的媒体资源流。确定模块1202用于，确定xr动效申请，xr动效申请用于指示待申请的xr动效。申请模块1203用于，根据xr动效申请从动效资源库中申请对应的目标xr动效。合成
模块1204用于，将目标xr动效叠加至媒体资源流得到合成媒体资源流。发送模块1205用于，将合成媒体资源流发送给第二终端。
[0129]
在一些实施例中，xr动效申请包含来自第一终端的指令标识和第二终端的配置信息，申请模块1203具体用于，根据指令标识，从动效资源库中查询与指令标识对应的xr动效，根据配置信息，对xr动效的质量进行调整，得到目标xr动效。
[0130]
在另一些实施例中，目标xr动效包括：画面动效和/或音频动效，合成模块1204具体用于，在目标xr动效包括画面动效的情况下，根据配置信息，对xr动效的画面细节进行调整，画面细节用于反映画面的清晰程度，在目标xr动效包括音频动效的情况下，根据配置信息，对xr动效的音频细节进行调整，音频细节用于反映音频的保真程度。
[0131]
在另一些实施例中，在目标xr动效包括画面动效和音频动效的情况下，合成模块1204具体用于，确定媒体资源流中是否存在用户说话的音频数据，若是，将画面动效叠加至媒体资源流，得到合成媒体资源流，若否，将画面动效以及音频动效叠加至媒体资源流，得到合成媒体资源流。
[0132]
在另一些实施例中，合成模块1204具体用于，对画面动效和媒体资源流解码，将画面动效和媒体资源流的时间和像素位置对齐，将画面动效和媒体资源流的像素进行叠加。
[0133]
在另一些实施例中，在第一终端是主叫终端的情况下，第二终端是被叫终端；在第一终端是被叫终端的情况下，第二终端是主叫终端。
[0134]
在另一些实施例中，还包括查询模块1206，查询模块1206用于，查询第一终端和/或第二种终端是否支持xr动效功能。
[0135]
在示例性的实施例中，本技术实施例还提供了一种电子设备，该电子设备可以是上述方法实施例中的通话过程中xr动效的实现装置。图13为本技术实施例提供的通话过程中xr动效的实现装置的结构示意图。如图13所示，该通话过程中xr动效的实现装置可以包括：处理器1301和存储器1302；存储器1302存储有处理器1301可执行的指令；处理器1301被配置为执行指令时，使得电子设备或网络设备或管理器实现如前述方法实施例中描述的方法。
[0136]
在示例性的实施例中，本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令；当计算机程序指令被计算机执行时，使得计算机实现如前述实施例中描述的方法。计算机可读存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0137]
在示例性的实施例中，本技术实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关方法步骤，以实现上述实施例中的通话过程中xr动效的实现方法。
[0138]
以上，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何在本技术揭露的技术范围内的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。

技术特征：
1.一种通话过程中扩充现实xr动效的实现方法，其特征在于，应用于实现装置，所述实现装置与核心网网元连接，且与动效资源库连接；所述方法包括：从所述核心网网元获取第一终端向第二终端传输的基于长期演进语音承载volte技术通话的媒体资源流；确定xr动效申请；所述xr动效申请用于指示待申请的xr动效；根据所述xr动效申请从所述动效资源库中申请对应的目标xr动效；将所述目标xr动效叠加至所述媒体资源流得到合成媒体资源流；将所述合成媒体资源流发送给所述第二终端。2.根据权利要求1所述的方法，其特征在于，所述xr动效申请包含来自所述第一终端的指令标识和所述第二终端的配置信息，所述根据所述xr动效申请从所述动效资源库中申请对应的目标xr动效包括：根据所述指令标识，从所述动效资源库中查询与所述指令标识对应的xr动效；根据所述配置信息，对所述xr动效的质量进行调整，得到所述目标xr动效。3.根据权利要求2所述的方法，其特征在于，所述目标xr动效包括：画面动效和/或音频动效；所述根据所述配置信息，对所述xr动效的质量进行调整包括：在所述目标xr动效包括所述画面动效的情况下，根据所述配置信息，对所述xr动效的画面细节进行调整；所述画面细节用于反映画面的清晰程度；在所述目标xr动效包括所述音频动效的情况下，根据所述配置信息，对所述xr动效的音频细节进行调整；所述音频细节用于反映音频的保真程度。4.根据权利要求3所述的方法，其特征在于，在所述目标xr动效包括所述画面动效和所述音频动效的情况下，所述将所述目标xr动效叠加至所述媒体资源流得到合成媒体资源流，包括：确定所述媒体资源流中是否存在用户说话的音频数据；若是，将所述画面动效叠加至所述媒体资源流，得到所述合成媒体资源流；若否，将所述画面动效以及所述音频动效叠加至所述媒体资源流，得到所述合成媒体资源流。5.根据权利要求4所述的方法，其特征在于，所述将所述画面动效叠加至所述媒体资源流，包括：对所述画面动效和所述媒体资源流解码；将所述画面动效和所述媒体资源流的时间和像素位置对齐；将所述画面动效和所述媒体资源流的像素进行叠加。6.根据权利要求1至5任一项所述的方法，其特征在于，在所述第一终端是主叫终端的情况下，所述第二终端是被叫终端；在所述第一终端是所述被叫终端的情况下，所述第二终端是所述主叫终端。7.根据权利要求1所述的方法，其特征在于，在所述从所述核心网网元获取第一终端向第二终端传输的基于volte技术通话的媒体资源流之前，所述方法还包括：查询所述第一终端和/或所述第二种终端是否支持所述xr动效功能。8.一种通话过程中xr动效的实现装置，其特征在于，所述装置包括：获取模块、确定模块、申请模块、合成模块以及发送模块；
所述获取模块用于，从所述核心网网元获取第一终端向第二终端传输的基于长期演进语音承载volte技术通话的媒体资源流；所述确定模块用于，确定xr动效申请；所述xr动效申请用于指示待申请的xr动效；所述申请模块用于，根据所述xr动效申请从所述动效资源库中申请对应的目标xr动效；所述合成模块用于，将所述目标xr动效叠加至所述媒体资源流得到合成媒体资源流；所述发送模块用于，将所述合成媒体资源流发送给所述第二终端。9.根据权利要求8所述的装置，其特征在于，所述xr动效申请包含来自所述第一终端的指令标识和所述第二终端的配置信息，所述申请模块具体用于，根据所述指令标识，从所述动效资源库中查询与所述指令标识对应的xr动效；根据所述配置信息，对所述xr动效的质量进行调整，得到所述目标xr动效。10.根据权利要求9所述的装置，其特征在于，所述目标xr动效包括：画面动效和/或音频动效；所述申请模块具体用于在所述目标xr动效包括所述画面动效的情况下，根据所述配置信息，对所述xr动效的画面细节进行调整；所述画面细节用于反映画面的清晰程度；在所述目标xr动效包括所述音频动效的情况下，根据所述配置信息，对所述xr动效的音频细节进行调整；所述音频细节用于反映音频的保真程度。11.根据权利要求10所述的装置，其特征在于，在所述目标xr动效包括所述画面动效和所述音频动效的情况下，所述合成模块具体用于，确定所述媒体资源流中是否存在用户说话的音频数据；若是，将所述画面动效叠加至所述媒体资源流，得到所述合成媒体资源流；若否，将所述画面动效以及所述音频动效叠加至所述媒体资源流，得到所述合成媒体资源流。12.根据权利要求11所述的装置，其特征在于，所述合成模块具体用于，对所述画面动效和所述媒体资源流解码；将所述画面动效和所述媒体资源流的时间和像素位置对齐；将所述画面动效和所述媒体资源流的像素进行叠加。13.根据权利要求8至12任一项所述的装置，其特征在于，在所述第一终端是主叫终端的情况下，所述第二终端是被叫终端；在所述第一终端是所述被叫终端的情况下，所述第二终端是所述主叫终端。14.根据权利要求8所述的装置，其特征在于，还包括查询模块；所述查询模块用于，查询所述第一终端和/或所述第二种终端是否支持所述xr动效功能。15.一种电子设备，其特征在于，所述电子设备包括：处理器和存储器；所述存储器存储有所述处理器可执行的指令；所述处理器被配置为执行所述指令时，使得所述电子设备实现如权利要求1-7任一项所述的方法。16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括：计算机软件指令；当所述计算机软件指令的电子设备中运行时，使得所述电子设备实现如权利要求1-7任一项所述的方法。

技术总结
本申请提供一种通话过程中XR动效的实现方法、装置、设备及存储介质，涉及通信技术领域，可以在VOLTE技术的通话过程中叠加XR动效，提高用户的使用体验。该方法包括：从核心网网元获取第一终端向第二终端传输的基于VOLTE技术通话的媒体资源流，进一步确定XR动效申请，XR动效申请用于指示待申请的XR动效，根据XR动效申请从动效资源库中申请对应的目标XR动效，将目标XR动效叠加至媒体资源流得到合成媒体资源流，最终将合成媒体资源流发送给第二终端。本申请可用于基于VOLTE技术的通话过程中，用于解决通话过程中无法实现XR动效互动的问题。题。题。


技术研发人员：乔治 张晶晶 李雪欣 李韩 邹西山 罗岚 常洁玮 王子宇
受保护的技术使用者：中国联合网络通信集团有限公司
技术研发日：2023.06.07
技术公布日：2023/8/13