用于向5G设备递送5GAR/MR认知体验的方法和装置与流程

用于向5g设备递送5g ar/mr认知体验的方法和装置
相关申请的交叉引用
1.本技术要求在美国专利商标局于2021年11月3日提交的美国临时申请第63/275,371号以及于2022年10月31日提交的美国申请第17/977,560号的优先权，上述申请的全部公开内容通过引用并入本文。
技术领域
2.本公开内容总体上涉及第五代(5
th generation，5g)增强现实(augmented reality，ar)/混合现实(mixed reality，mr)，并且特别地，涉及用于向5g设备提供与认知体验有关的ar/mr内容的方法和装置。


背景技术：

3.第3代合作伙伴关系计划(3rd generation partnership project，3gpp)ts26.501定义了用于第5代(5g)网络的媒体流式传输架构。3gpp启动了关于支持增强现实(ar)/混合现实(mr)应用的技术报告。3gpp tr 26.998定义了在5g网络中对眼镜型ar/mr设备的支持。考虑了两个设备类别：完全能够解码并播放复杂ar/mr内容的设备(即，独立ar(stand-alone ar，star))；以及如下设备(边缘相关ar(edge dependent ar，edgar))：具有较小的计算资源和/或较小的物理尺寸(即，较小的电池)，并且仅在较大部分的计算在5g边缘服务器、网络或云上而不是在设备上执行的情况下才能够运行这样的应用。
4.3gpp tr 26.998定义了用于与star设备相关联的认知应用的调用流程。然而，调用流程不是高效的。此外，没有提供用于edgar设备的调用流程。


技术实现要素：

5.根据本公开内容的一方面，一种用于递送第5代(5g)增强现实(ar)/混合现实(mr)体验的方法包括：建立用于流式传输ar/mr媒体内容的ar/mr会话以通过5g媒体流式传输(5g media streaming，5gms)网络传输；接收与多个ar/mr场景相关联的ar/mr媒体内容更新；迭代地接收包括在多个ar/mr场景中的相应的ar/mr场景；渲染相应的ar/mr场景；获取与相应的ar/mr场景对应的认知信息和姿态信息；以及在流式传输ar/mr媒体内容时将认知信息和姿态信息发送至认知沉浸式服务器。
6.根据本公开内容的一方面，一种用于递送第五代(5g)增强现实(ar)/混合现实(mr)体验的设备包括：至少一个存储器，其被配置成存储程序代码；以及至少一个处理器，其被配置成读取程序代码并且按照程序代码所指示的进行操作，程序代码包括：建立代码，其被配置成使至少一个处理器建立用于流式传输ar/mr媒体内容的ar/mr会话以通过5g媒体流式传输(5gms)网络传输；第一接收代码，其被配置成使至少一个处理器接收与多个ar/mr场景相关联的ar/mr媒体内容更新；第二接收代码，其被配置成使至少一个处理器迭代地接收包括在多个ar/mr媒体场景中的相应的ar/mr场景；第一渲染代码，其被配置成使至少一个处理器渲染相应的ar/mr场景；获取代码，其被配置成使至少一个处理器获取与ar/mr
场景对应的认知信息和姿态信息；以及发送代码，其被配置成使至少一个处理器在流式传输ar/mr媒体内容时将认知信息和姿态信息发送至认知沉浸式服务器。
7.根据本公开内容的一方面，一种存储指令的非暂态计算机可读介质，所述指令包括：一个或更多个指令，当一个或更多个指令由用于递送第五代(5g)增强现实(ar)/混合现实(mr)体验的设备的一个或更多个处理器执行时，使一个或更多个处理器进行以下操作：建立用于流式传输ar/mr媒体内容的ar/mr会话以通过5g媒体流式传输(5gms)网络传输；接收与多个ar/mr场景相关联的ar/mr媒体内容更新；迭代地接收包括在多个ar/mr媒体场景中的相应的ar/mr场景；渲染相应的ar/mr场景；获取与相应的ar/mr场景对应的认知信息和姿态信息；以及在流式传输ar/mr媒体内容时将认知信息和姿态信息发送至认知沉浸式服务器。
附图说明
8.根据以下详细描述和附图，所公开主题的另外的特征、性质和各种优点将更加明显，在附图中：
9.图1是根据实施方式的可以实现本文中描述的方法、装置和系统的环境的图。
10.图2是图1的一个或更多个设备的示例部件的框图。
11.图3是根据实施方式的用于媒体上行链路流式传输的媒体架构的图。
12.图4是根据实施方式的用于媒体下行链路流式传输的媒体架构的图。
13.图5是根据实施方式的独立增强现实(ar)(star)第五代媒体流式传输下行链路(5
th generation media streaming downlink，5gmsd)下载架构的图。
14.图6a、图6b和图6c是根据实施方式的基于star的5g下行链路流式传输的操作流程的图。
15.图7a和图7b是根据实施方式的边缘相关增强现实(ar)(edgar)第五代媒体流式传输下行链路(5gmsd)下载架构的图。
16.图8a、图8b和图8c是根据实施方式的基于edgar的5g下行链路流式传输的操作流程的图。
17.图9是根据实施方式的基于star的5g下行链路流式传输的方法的流程图。
具体实施方式
18.图1是根据实施方式的可以实现本文中描述的方法、装置和系统的环境100的图。如图1所示，环境100可以包括用户设备110、平台120和网络130。环境100的设备可以经由有线连接、无线连接或者有线连接与无线连接的组合进行互连。
19.用户设备110包括能够接收、生成、存储、处理以及/或者提供与平台120相关联的信息的一个或更多个设备。例如，用户设备110可以包括计算设备(例如，台式计算机、膝上型计算机、平板计算机、手持式计算机、智能扬声器、服务器等)、移动电话(例如，智能电话、无线电话等)、可穿戴设备(例如，一副智能眼镜或智能手表)或类似设备。在一些实现方式中，用户设备110可以从平台120接收信息并且/或者向平台120发送信息。
20.平台120包括如本文中其他地方所描述的一个或更多个设备。在一些实现方式中，平台120可以包括云服务器或一组云服务器。在一些实现方式中，平台120可以被设计成模
块化的，使得可以根据特定需要换入或换出软件部件。因此，可以容易地和/或快速地重新配置平台120以用于不同的用途。
21.在一些实现方式中，如图所示，平台120可以被托管在云计算环境122中。值得注意的是，虽然本文中描述的实现方式将平台120描述为托管在云计算环境122中，但是在一些实现方式中，平台120可以不是基于云的(即，可以在云计算环境之外实现)或者可以是部分基于云的。
22.云计算环境122包括对平台120进行托管的环境。云计算环境122可以提供计算、软件、数据访问、存储等服务，这些服务不需要终端用户(例如，用户设备110)知道托管平台120的系统和/或设备的物理位置和配置。如图所示，云计算环境122可以包括一组计算资源124(被统称为“计算资源(computing resources)124”以及单独称为“计算资源(computing resource)124”)。
23.计算资源124包括一个或更多个个人计算机、工作站计算机、服务器设备或其他类型的计算设备和/或通信设备。在一些实现方式中，计算资源124可以对平台120进行托管。云资源可以包括：在计算资源124中执行的计算实例、在计算资源124中提供的存储设备、由计算资源124提供的数据传输设备等。在一些实现方式中，计算资源124可以经由有线连接、无线连接或者有线连接与无线连接的组合与其他计算资源124通信。
24.如进一步在图1中示出的，计算资源124包括一组云资源，例如一个或更多个应用(“application，app”)124-1、一个或更多个虚拟机(“virtual machine，vm”)124-2、虚拟化存储装置(“virtualized storage，vs”)124-3、一个或更多个管理程序(“hypervisor，hyp”)124-4等。
25.应用124-1包括可以提供给用户设备110和/或平台120或者由用户设备110和/或平台120访问的一个或更多个软件应用。应用124-1可以消除在用户设备110上安装和执行软件应用的需求。例如，应用124-1可以包括与平台120相关联的软件和/或能够经由云计算环境122提供的任何其他软件。在一些实现方式中，一个应用124-1可以经由虚拟机124-2向一个或更多个其他应用124-1发送/从一个或更多个其他应用124-1接收信息。
26.虚拟机124-2包括执行像物理机之类的程序的机器(例如，计算机)的软件实现。虚拟机124-2可以是系统虚拟机或进程虚拟机，这取决于虚拟机124-2对任何真实机的使用和对应程度。系统虚拟机可以提供支持完整操作系统(operating system，os)的执行的完整系统平台。进程虚拟机可以执行单个程序，并且可以支持单个进程。在一些实现方式中，虚拟机124-2可以代表用户(例如，用户设备110)执行，并且可以管理云计算环境122的基础架构，例如数据管理、同步或长持续时间数据传输。
27.虚拟化存储装置124-3包括在计算资源124的存储系统或设备内使用虚拟化技术的一个或更多个存储系统和/或一个或更多个设备。在一些实现方式中，在存储系统的环境内，虚拟化的类型可以包括块虚拟化和文件虚拟化。块虚拟化可以是指逻辑存储从物理存储的提取(或分离)，使得可以在不考虑物理存储或异构结构的情况下访问存储系统。分离可以允许存储系统的管理者在管理者如何管理针对终端用户的存储方面的灵活性。文件虚拟化可以消除在文件级别访问的数据与物理地存储文件的位置之间的相关性。这可以使得能够优化存储使用、服务器整合和/或非中断性文件迁移的性能。
28.管理程序124-4可以提供允许多个操作系统(例如，“访客操作系统”)在诸如计算
资源124的主计算机上同时执行的硬件虚拟化技术。管理程序124-4可以向访客操作系统呈现虚拟操作平台，并且可以管理访客操作系统的执行。各种操作系统的多个实例可以共享虚拟化的硬件资源。
29.网络130包括一个或更多个有线网络和/或无线网络。例如，网络130可以包括蜂窝网络(例如，第5代(fifth generation，5g)网络、长期演进(long-term evolution，lte)网络、第三代(third generation，3g)网络、码分多址(code division multiple access，cdma)网络等)、公共陆地移动网络(public land mobile network，plmn)、局域网(local area network，lan)、广域网(wide area network，wan)、城域网(metropolitan area network，man)、电话网络(例如，公共交换电话网络(public switched telephone network，pstn))、专用网络、自组织网络、内联网、因特网、基于光纤的网络等，以及/或者这些或其他类型的网络的组合。
30.图1所示的设备和网络的数目和布置作为示例来提供。实践中，可以存在与图1所示的设备和/或网络相比附加的设备和/或网络、更少的设备和/或网络、不同的设备和/或网络、或者不同布置的设备和/或网络。此外，图1所示的两个或更多个设备可以在单个设备内实现，或者图1所示的单个设备可以被实现为多个分布式设备。附加地或替选地，环境100的一组设备(例如，一个或更多个设备)可以执行被描述为由环境100的另一组设备执行的一个或更多个功能。
31.图2是图1的一个或更多个设备的示例部件的框图。设备200可以对应于用户设备110和/或平台120。如图2所示，设备200可以包括总线210、处理器220、存储器230、存储部件240、输入部件250、输出部件260和通信接口270。
32.总线210包括允许设备200的部件之间进行通信的部件。处理器220以硬件、固件、或者硬件与软件的组合来实现。处理器220是中央处理单元(central processing unit，cpu)、图形处理单元(graphics processing unit，gpu)、加速处理单元(accelerated processing unit，apu)、微处理器、微控制器、数字信号处理器(digital signal processor，dsp)、现场可编程门阵列(field-programmable gate array，fpga)、专用集成电路(application-specific integrated circuit，asic)或另一类型的处理部件。在一些实现方式中，处理器220包括能够被编程成执行功能的一个或更多个处理器。存储器230包括随机存取存储器(random access memory，ram)、只读存储器(read only memory，rom)以及/或者存储供处理器220使用的信息和/或指令的另一类型的动态或静态存储设备(例如，闪速存储器、磁存储器和/或光学存储器)。
33.存储部件240存储与设备200的操作和使用有关的信息和/或软件。例如，存储部件240可以包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘)、致密盘(compact disc，cd)、数字通用盘(digital versatile disc，dvd)、软盘、盒式存储器、磁带和/或另一类型的非易失性计算机可读介质以及对应的驱动器。
34.输入部件250包括允许设备200例如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关和/或麦克风)接收信息的部件。附加地或替选地，输入部件250可以包括用于感测信息的传感器(例如，全球定位系统(global positioning system，gps)部件、加速计、陀螺仪和/或致动器)。输出部件260包括提供来自设备200的输出信息的部件(例如，显示器、扬声器和/或一个或更多个发光二极管(light-emitting diode，led))。
control function，pcf)/网络开放功能(network exposure function，nef)api参数的集合，这些参数特定于5gms应用提供者以及还有所产生的pcc规则。策略模板id可以标识期望的策略模板，5gmsd应用功能(application function，af)使用该策略模板来为5g系统选择适当的pcf/nef api，使得pcf可以编译期望的pcc规则。媒体播放器条目可以是指定义媒体呈现的文档或者指向定义媒体呈现的文档的指针(例如，dash的媒体呈现描述(media presentation description，mpd)或者视频剪辑文件的统一资源定位符(uniform resource locator，url))。媒体流送器条目可以是指定义上行链路媒体流式传输会话的入口点的指针(例如，以url的形式)。呈现条目可以是指定义应用呈现的文档(例如html5文档)或指向定义应用呈现的文档的指针。
42.供应会话可以是指由5gmsd应用提供者在接口(m1d)处供应的数据结构，该数据结构配置与一组5gmsd感知应用相关的5gmsd特征。5gmsd媒体播放器可以是指如下ue功能，该ue功能使得能够基于媒体播放条目进行媒体呈现的回放和渲染，并且向5gmsd感知应用开放一些基本控制，例如播放、暂停、搜索、停止。服务器访问信息可以是指激活流式传输会话的接收所需的一组参数和地址(包括5gmsd af地址和5gmsd as地址)。服务和内容发现可以是指由5gmsd应用提供者提供给5gms感知应用的功能和过程，其使得终端用户能够发现可用的流式传输服务和内容提供并且选择特定服务或内容项目以进行访问。服务通知可以是指在5gms感知应用与5gms应用提供者之间进行的过程，使得5gms感知应用能够直接地或以对该信息的引用的形式来获得5gms服务访问信息。
43.第三方播放器可以是指应用的如下部分，该部分使用api来运用所选择的5gmsd功能以回放媒体内容。第三方上行链路流送器可以是指应用的如下部分，该部分使用api来运用所选择的5gmsu功能以捕获和流式传输媒体内容。
44.图3是根据实施方式的用于媒体上行链路流式传输的媒体架构300的图。5gmsu应用提供者301可以将5gmsu用于上行链路流式传输服务。5gmsu应用提供者301可以在ue 303上提供5gmsu感知应用302以利用5gmsu客户端304以及使用5gmsu中定义的接口和api的网络功能。5gmsu as可以是专用于5g媒体上行链路流式传输的as。5gmsu客户端304可以是专用于5g媒体上行链路流式传输的ue 303内部功能。
45.5gmsu af 306和5gmsu as 305可以是数据网络(data network，dn)307功能。可信dn中的功能可以受到运营商网络的信任。因此，可信dn中的af可以与所有5g核心功能直接通信。外部dn中的功能仅可以使用链路320经由nef 308与5g核心功能通信。
46.媒体架构300可以连接用于5g媒体上行链路流式传输的ue 303内部功能和相关网络功能。因此，媒体架构300可以包括许多功能。例如，ue 303上的5gmsu客户端304可以是可以通过接口/api访问的5gmsu服务的发起者。5gmsu客户端304可以包括两个子功能：媒体会话处理器309和媒体流送器310。媒体会话处理器309可以与5gmsu af 306通信以建立、控制和支持媒体会话的递送。媒体会话处理器309可以开放可以由5gmsu感知应用302使用的api。媒体流送器310可以与5gmsu as 305通信以流式传输媒体内容并且向5gmsu感知应用302提供用于媒体捕获和流式传输的服务，并且向媒体会话处理器309提供用于媒体会话控制的服务。5gmsu感知应用302可以通过实现外部应用或内容服务提供者特定逻辑并且使得能够建立媒体会话来控制5gmsu客户端304。例如，5gmsu as 305可以托管5g媒体功能并且可以实现为内容递送网络(content delivery network，cdn)。5gmsu应用提供者301可以是
411处理的请求或者与其他网络功能交互。
51.媒体架构400可以包括许多不同的接口。例如，链路421可以与m1d有关，m1d可以是由5gmsd af 406开放以供应媒体架构400的使用并获得反馈的5gmsd供应api。链路422可以与m2d有关，m2d可以是由5gmsd as 405开放的5gmsd摄入api，并且在诸如dn 407的可信dn中的5gmsd as 405被选择用于接收用于流式传输服务的内容时使用。链路423可以与m3d有关，m3d可以是用于在诸如dn 407的可信dn内交换针对托管在5gmsd as 405上的内容的信息的内部api。链路424可以与m4d有关，m4d可以是由5gmsd as 423向媒体播放器410开放以流式传输媒体内容的媒体下行链路流式传输api。链路425可以与m5d有关，m5d可以是由5gmsd af 405向媒体会话处理器开放以用于媒体会话处理、控制和协助——还包括适当的安全机制，例如授权和认证——的媒体会话处理api。链路426可以与m6d有关，m6d可以是由媒体会话处理器409向5gmsd感知应用402开放以利用5gmsd功能的ue 403媒体会话处理api。链路427可以与m7d有关，m7d可以是由媒体播放器410向5gmsd感知应用402和媒体会话处理器409开放以利用媒体播放器410的ue媒体播放器api。链路428可以与m8d有关，m8d可以是用于在5gmsd感知应用402与5gmsd应用提供者401之间进行信息交换以例如向5gmsd感知应用402提供服务访问信息的应用api。
52.图5是根据实施方式的独立增强现实(ar)(star)5gmsd下载架构500的图。也可以将ar star 5gmsd架构500应用于混合现实(mr)。架构500包括5g star ue 502、5g系统504(即，5g服务器和计算)和ar/mr应用提供者506。5g star ue 502包括ar运行环境508、ar场景管理器510、媒体访问功能512和ar/mr应用514。ar运行环境508包括扩展现实(extended reality，xr)计算模块516、姿态校正模块518和声场映射模块520。ar场景管理器510包括场景图处理器(scene graph handler，sgh)521、合成器522、沉浸式视觉渲染器523和沉浸式音频渲染器524。媒体访问功能512包括媒体会话处理器526和媒体客户端528。媒体客户端528包括二维(two dimensional，2d)编解码器530、沉浸式媒体解码器532、场景描述递送模块534、内容递送模块536和xr空间描述递送模块538。5g star ue 502包括与5g系统504的5g节点(gnb)542通信的5g系统(uu)540。
53.5g系统504包括媒体af 544和媒体as 546。ar/mr应用提供者506包括ar功能548和ar场景模块550。媒体客户端528通过m4接口582与媒体as 546通信。媒体会话处理器526通过m5接口586与媒体af 544通信。ar/mr应用514通过m8接口588与ar/mr应用提供者506通信。ar/mr应用514可以从ar运行环境508接收用户输入591和ar运行环境api 590的数据。ar运行环境508可以从摄像装置592和传感器593接收数据，并且可以将数据输出至显示器594和扬声器595。
54.在实施方式中，可以使用包括两个环路的调用流程来操作架构500。例如，可以在调用流程的外环路中将来自5g star ue 502的认知信息递送至媒体as 546，而可以使用内环路来递送媒体对象的从5g star ue 502到媒体as 546的上行链路流式传输以及重构场景的媒体对象的从媒体as 546到5g star ue 502的下行链路流式传输。
55.在实施方式中，媒体会话处理器526和媒体客户端528中的一个或更多个可以被包括在认知沉浸式客户端中或被称为认知沉浸式客户端，并且ar/mr应用提供者506中的一个或更多个、媒体af 544和媒体as 546可以被包括在认知沉浸式服务器中或被称为认知沉浸式服务器。
56.图6a、图6b和图6c是根据实施方式的基于star的5g下行链路流式传输的操作流程的图。执行图6的操作流程的系统可以包括ar/mr应用607、ar运行环境608、ar/mr场景管理器610、媒体客户端612和媒体会话处理器614，它们可以是star ue 602的一部分(此外，媒体客户端612和媒体会话处理器614可以是媒体访问功能的一部分)。系统还可以包括媒体af 616和媒体as 618。系统还可以包括ar/mr应用提供者620。ar/mr应用提供者620可以被称为场景服务器。
57.在实施方式中，这些元件可以对应于以上参照图5讨论的元件中的一个或更多个。例如，在实施方式中，star ue 602可以对应于5g star ue 502，ar/mr应用607可以对应于ar/mr应用514，ar运行环境608可以对应于ar运行环境508，ar/mr场景管理器610可以对应于ar场景管理器510，媒体客户端612可以对应于媒体客户端528，媒体会话处理器614可以对应于媒体会话处理器526，媒体af 616可以对应于媒体af 544，媒体as 618可以对应于媒体as 546，并且ar/mr应用提供者620可以对应于ar/mr应用提供者506。在实施方式中，媒体客户端612和媒体会话处理器614可以被包括在认知沉浸式客户端604中或被称为认知沉浸式客户端604，并且媒体af 616、媒体as 618和ar/mr应用提供者620可以被包括在认知沉浸式服务器606中或被称为认知沉浸式服务器606。
58.在操作630中，可以建立场景服务器，并且由媒体as 618摄取场景内容。在操作632中，由ar/mr应用607触发服务通告和内容递送。服务访问信息包括媒体客户端入口，或者通过m8d接口提供对服务访问信息的引用。在操作634中，选择媒体内容/场景。在操作636中，根据需要获取或更新服务访问信息(即，操作636可以是可选的)。在操作638中，ar/mr应用607利用入口点(即，完整场景描述)url来初始化ar/mr场景管理器610。
59.在操作640中，媒体客户端612在ar/mr场景管理器610与场景服务器之间建立用于场景会话的传输会话。在操作641中，由ar/mr场景管理器610处理入口点(例如场景描述)，并且创建场景会话。在操作642中，ar/mr场景管理器610从ar运行环境608请求创建新ar/mr会话。在操作644中，ar/mr场景管理器将入口点通知发送到媒体会话处理器614，并且创建ar/mr会话。
60.操作646至操作684涉及外环路，该外环路可以被称为场景会话环路。在场景会话环路中，发送认知和姿态信息，并且接收和渲染经更新的场景。
61.在操作646中，由ar/mr场景管理器610获取最新的交互和姿态信息，并且通过m4d接口与媒体客户端612共享最新的交互和姿态信息。媒体客户端612将该信息发送至媒体as 618和场景服务器。在操作648中，由ar/mr应用607获取最新的认知数据以及附加的交互和姿态信息，并且通过m8d接口将最新的认知数据以及附加的交互和姿态信息发送至认知沉浸式服务器606。在操作在操作650中，在媒体客户端与媒体as 618之间建立上行链路传输协议。在操作652中，媒体客户端612配置媒体管线以用于捕获和编码上行链路内容。在操作654中，媒体客户端612将认知媒体数据(例如捕获的媒体)发送至媒体as 618。在操作656中，认知沉浸式服务器606处理认知数据并创建认知媒体和对应的场景。在实施方式中，该认知处理可以包括例如语义感知、空间定位和映射。在操作658中，认知沉浸式服务器606将媒体对象(例如认知媒体对象)提供给媒体as 618。
62.在实施方式中，以上操作646至操作658在以下操作660至操作684期间继续工作。
63.在操作660中，场景服务器通过媒体as 618和媒体客户端612将任何场景更新或替
换的场景(例如包括认知媒体对象)发送至ar/mr场景管理器。例如，场景更新或替换的场景可以基于认知处理的结果来获得，并且可以包括认知媒体。
64.在操作662中，创建流式传输会话。媒体客户端612和/或ar/mr场景管理器610可以将必要的服务质量(quality of service，qos)信息提供给媒体会话处理器614。在操作664中，配置流式传输会话。媒体会话处理器614可以与媒体af 616共享信息，在一些实施方式中，该信息包括期望的qos信息。基于ar/mr应用提供者620的现有供应，媒体af 616可以请求对协议数据单元(protocol data unit，pdu)会话的qos修改。
65.在操作667至操作674，流式传输会话建立用于媒体对象的传输会话并且配置媒体管线。在操作667中，建立用于递送清单的传输会话。对于所需的媒体内容，媒体客户端612建立传输会话以获取递送清单信息。在操作668中，媒体客户端612从媒体as 618请求并接收递送清单。在操作670中，媒体客户端612处理递送清单。媒体客户端612例如确定媒体获取所需的传输会话的数目。媒体客户端612被配置成使用递送清单信息来初始化用于每个媒体流的媒体管线。
66.在操作672中，ar/mr场景管理器610和媒体客户端612对渲染媒体管线和递送媒体管线进行配置。在操作674中，媒体客户端612建立传输会话以获取媒体内容。
67.操作676至操作684在场景会话环路(例如，外会话环路)内建立媒体会话环路(例如，内会话环路)。媒体会话环路可以操作成渲染和呈现媒体内容，而外环路建立会话并接收对媒体内容的更新。当内会话环路正在渲染内容时，可以将更新从外会话环路发送至内会话环路。
68.在操作678中，媒体客户端612根据经处理的递送清单请求沉浸式媒体数据。媒体客户端612可以考虑姿态信息(例如，视口相关流式传输)。在操作680中，媒体客户端612接收沉浸式数据并且相应地触发媒体渲染管线，包括将ar内容注册到真实世界中。在操作682中，媒体客户端612解码并处理媒体数据。对于加密的媒体数据，媒体客户端612还可以执行解密。在操作684中，媒体客户端612将媒体数据传递至ar/mr场景管理器610。在操作672中，ar/mr场景管理器610对媒体进行渲染并且将所渲染的媒体传递至ar运行环境608。ar运行环境608可以执行进一步的处理，例如将ar内容注册到真实世界、进行姿态校正等。
69.可以在流式传输至star设备期间动态地更新ar/mr场景，并且因此可以在流式传输会话期间完全改变场景。通过双环路调用流程来实现star设备的场景更新，其中，在内环路中，对场景的媒体对象进行流式传输，而在外环路中，更新或改变场景。通过本文中公开的实施方式，每当场景被改变和更新时，内环路被中断并且用与新场景相关的新媒体对象替换先前的媒体对象，并且因此对于在新场景中不再相关的媒体对象没有浪费流式传输带宽。
70.图7a和图7b是根据实施方式的边缘相关增强现实(ar)(edgar)5gmsd下载架构700的图。也可以将ar edgar 5gmsd架构700应用于混合现实(mr)。架构700包括5g edgar ue 702、云/边缘服务器704和ar/mr应用提供者706。5g edgar ue 702包括ar运行环境708、轻量级场景管理器710、5gms客户端712和基本ar/mr应用714。ar运行环境708包括视觉引擎/同时定位和映射(simultaneous localization and mapping，slam)716、姿态校正模块718和声场映射模块720。轻量级场景管理器710包括基本场景图处理器(sgh)722和合成器724。5gms客户端712包括媒体会话处理器(包括边缘会话)726和媒体客户端728。媒体客户端728
包括场景描述递送模块730、内容递送模块732和基本编解码器734。5g edgar ue 702包括与云/边缘服务器704的5g系统(gnb)738通信的5g轻量级系统(uu)736。
71.云/边缘服务器704包括ar/mr应用740和媒体递送功能742。媒体递送功能742包括媒体af 744和媒体as 746。媒体as 746包括内容递送功能748、场景描述功能(scene description function，sdf)750、解码器752和编码器754。ar/mr应用740包括ar场景管理器756、ar功能764、语义感知模块766、社交融合模块768和媒体资产数据库770。ar场景管理器756包括场景图生成器758、沉浸式视觉渲染器760和沉浸式音频渲染器762。
72.ar/mr应用提供者706包括沉浸式媒体服务器774。沉浸式媒体服务器774包括场景描述模块776、清单服务器778和段服务器780。
73.媒体客户端728通过m4接口782向内容递送模块748进行发送(例如，发送姿态和交互)。内容递送模块748通过m4接口784向媒体客户端728进行发送(例如，发送预渲染的媒体)。媒体会话处理器726通过m5d接口786与媒体af 744通信。基本ar/mr应用714通过m8接口788与ar/mr应用740通信。基本ar/mr应用714可以从ar运行环境708接收用户输入791和ar数据790。ar运行环境708可以从摄像装置792和传感器793接收数据，并且可以将数据输出至显示器794和扬声器795。
74.在实施方式中，媒体会话处理器726和媒体客户端728中的一个或更多个可以被包括在认知沉浸式客户端中或被称为认知沉浸式客户端，并且ar/mr应用提供者706中的一个或更多个、媒体af 744和媒体as 746可以被包括在认知沉浸式服务器中或被称为认知沉浸式服务器。
75.图8a、图8b和图8c是根据实施方式的基于edgar的5g下行链路流式传输的操作流程的图。执行图8a至图8c的操作流程的系统可以包括基本ar/mr应用807、ar运行环境808、ar/mr场景管理器810、媒体客户端812和媒体会话处理器814，它们可以是edgar ue 802的一部分(此外，媒体客户端812和媒体会话处理器814可以是媒体访问功能的一部分)。系统还包括媒体af 816、媒体as 818，它们可以是云/边缘服务器704的一部分。系统还可以包括ar/mr应用提供者820。ar/mr应用提供者820可以被称为场景服务器。
76.在实施方式中，这些元件可以对应于以上参照图7a至图7b讨论的元件中的一个或更多个。例如，在实施方式中，edgar ue 802可以对应于5g edgar ue 702，基本ar/mr应用807可以对应于基本ar/mr应用714，ar运行环境808可以对应于ar运行环境708，ar/mr场景管理器810可以对应于轻量级场景管理器710，媒体客户端812可以对应于5gms客户端712，媒体会话处理器814可以对应于媒体会话处理器726，媒体af 816可以对应于媒体af 744，媒体as 818可以对应于媒体as 746，并且ar/mr应用提供者820可以对应于ar/mr应用提供者706。在实施方式中，媒体客户端812和媒体会话处理器814可以被包括在认知沉浸式客户端804中或被称为认知沉浸式客户端804，并且媒体af 816、媒体as 818和ar/mr应用提供者820可以被包括在认知沉浸式服务器806中或被称为认知沉浸式服务器806。
77.在操作830中，由媒体as 818摄取场景内容。在操作832中，由基本ar/mr应用807触发服务通告和内容递送。服务访问信息包括媒体客户端入口，或者通过m8d接口提供对服务访问信息的引用。在操作834中，选择媒体内容/场景。在操作836中，根据需要获取或更新服务访问信息(即，操作836可以是可选的)。在操作838中，基本ar/mr应用807利用入口点(即，完整场景描述)url来初始化ar/mr场景管理器810。在操作840中，媒体客户端812建立用于
接收入口点的传输会话。在操作841中，媒体客户端812请求并接收入口点或对场景描述的更新。在操作842中，处理入口点。如本文中所提及的，场景描述可以是包括关于场景的信息(例如入口点、持续时间、分辨率、比特率和/或与场景有关的其他信息)的数据表。完整场景描述可以包括完整场景的入口点，并且简化场景描述可以包括简化场景的入口点。完整场景描述可以是指场景开始处的入口点，并且简化场景描述可以是指完整场景的一部分(例如，完整场景的该部分可以是简化场景)的入口点。因此，可以基于完整场景描述来得出简化场景描述。例如，完整场景可以包括时间点t0至t4，并且完整场景描述可以指示完整场景的入口点是时间点t0。简化场景可以包括完整场景的从时间点t2至时间点t3的部分，并且简化场景描述可以指示简化场景的入口点是时间点t2。
78.在操作844中，系统基于场景描述和设备能力来选择媒体as 818，并且实例化边缘处理。基于经处理的场景描述和设备能力，选择媒体as 818，并且使用在边缘服务器704中定义的处理来实例化边缘处理。ar/mr场景管理器810可以将场景描述和设备能力发送至媒体as 818。媒体as 818得出边缘as(edge as，eas)关键性能指标(key performance indicator，kpi)，并且如果需要，则基于新kpi选择新as/eas(例如，通过媒体af 816)。开始边缘处理，并且将新入口点url提供给ar/mr场景管理器810。替选地，在一些实施方式中，ar/mr场景管理器810可以从场景描述和设备能力得出eas kpi，并且请求媒体af 816提供合适的eas列表。ar/mr场景管理器810可以选择as/eas并且请求开始as中的边缘处理(例如，所选择的as可以是媒体as 818)。开始边缘处理，并且将新入口点url提供给ar/mr场景管理器。
79.在操作846中，ar/mr场景管理器810请求简化场景入口点/场景描述。边缘处理从完整场景描述得出简化场景入口/描述，并且将其提供给ar/mr场景管理器。在操作848中，处理简化入口点(即，简化场景描述)。
80.在操作850中，建立用于上行链路流和下行链路流的传输会话。在操作852中，媒体客户端812配置上行链路媒体管线和下行链路媒体管线。在操作854中，媒体as 818发起并开始媒体会话。媒体会话形成专用于ue的状态化会话环路(即，操作856至操作876)。
81.在操作856中，由ar/mr场景管理器810获取最新的交互和姿态信息，并且与媒体客户端812共享最新的交互和姿态信息。在操作858中，然后，媒体客户端812发送最新的交互和姿态信息，媒体客户端812又将最新的交互和姿态信息发送至媒体as 818和场景服务器。在操作860中，基本ar/mr应用807通过m8d接口将最新的认知数据以及附加的交互和姿态信息发送至认知沉浸式服务器806。在操作862中，媒体客户端812通过上行链路传输将认知媒体数据流式传输至媒体as 818和场景服务器。在操作864中，场景服务器基于接收到的认知数据创建或更新场景描述。例如，场景服务器可以执行认知处理，该认知处理可以包括例如语义感知、空间定位和映射。在操作866中，场景服务器可以将经更新的媒体对象和场景描述提供给媒体as 818。例如，经更新的媒体对象可以基于认知处理的结果来获得，并且可以包括认知媒体。
82.在操作868中，媒体客户端812可以请求沉浸式媒体，并且媒体as 818可以执行媒体的预渲染。预渲染可以包括对沉浸式媒体进行解码和渲染以及对渲染的(2d)媒体进行编码。在操作870中，由媒体as 818将预渲染的媒体发送至媒体客户端812。在操作872中，媒体客户端812对媒体数据进行解码和处理。对于加密的媒体数据，媒体客户端812还可以执行
解密。在操作880中，媒体客户端812将媒体数据传递至ar/mr场景管理器810。在操作874中，ar/mr场景管理器810对媒体进行渲染并且将渲染的媒体传递至ar运行环境808。在操作876处，ar运行环境808执行进一步的处理，例如将ar内容注册到真实世界、合成和进行姿态校正。
83.在实施方式中，可以在流式传输至star和/或edgar设备期间连续动态地更新ar/mr场景的认知信息和媒体数据，并且因此可以在流式传输会话期间完全改变所生成的场景。
84.在实施方式中，可以在调用流程的外环路中将来自star设备的认知信息递送至应用服务器，而使用内环路来递送媒体对象的从设备到应用服务器的上行链路流式传输以及重构场景的媒体对象的从应用服务器到star设备的下行链路流式传输。使用这种方法，每当认知信息从根本上改变时(例如全新的位置或场景)，内环路可以被中断并且用与新场景相关的媒体对象替换，并且因此对于新场景中不再相关的媒体对象不浪费流式传输带宽。
85.在实施方式中，edgar设备到设备的认知信息更新是与将媒体对象从应用服务器流式传输到edge设备相同的环路的一部分，其中场景更新在媒体应用服务器处使用认知信息和媒体数据发生，并且因此edgar设备将任何场景更新视为视频流式传输会话的连续部分。
86.因此，实施方式可以提供用于利用可更新场景来将认知沉浸式体验递送至ar/mr设备的方法，其中，认知信息和媒体对象被流式传输至应用服务器，并且场景基于该信息而生成并且被向下流式传输至设备。在实施方式中，star设备和edgar设备均可以接收经更新的沉浸式场景。在实施方式中，对于star设备，调用流程可以包括双环路，其中，外环路将认知数据向上流式传输至应用服务器并且将场景更新向下流式传输至设备，并且在内环路中，将捕获的媒体对象向上流式传输至网络，同时将所构建的场景的媒体对象向下流式传输至设备。在实施方式中，对于edgar设备，媒体对象的上行链路和下行链路流式传输发生在单个环路中，在该单个环路中应用服务器使用从设备连续接收的认知信息和媒体对象来构建场景描述和媒体对象，并且将包含总体ar/mr体验的流式传输视频提供给edgar设备。
87.图9是根据实施方式的用于递送5g ar/mr体验的过程900的流程图。
88.在操作902中，过程900包括建立用于流式传输ar/mr媒体内容的ar/mr会话。在操作904中，过程900包括接收与多个ar/mr场景相关联的ar/mr媒体内容更新。在操作906中，过程900包括迭代地接收包括在ar/mr媒体内容中的相应的ar/mr场景。在操作908中，过程900包括渲染相应的ar/mr场景。在操作910中，过程900包括获取与相应的ar/mr场景对应的认知信息和姿态信息。在操作912中，过程900包括在流式传输ar/mr媒体内容时将认知信息和姿态信息发送至认知沉浸式服务器。在操作914中，过程900包括基于认知信息和姿态信息接收包括认知媒体数据的新ar/mr场景。在操作916中，过程900包括渲染新ar/mr场景。
89.在实施方式中，可以通过基于认知信息和姿态信息执行语义感知、空间定位和映射中的至少一个来生成认知媒体数据。
90.在实施方式中，ar/mr媒体内容可以包括独立增强现实(star)媒体内容。
91.在实施方式中，可以在外会话环路中创建ar/mr会话，并且可以在外会话环路中将认知信息和姿态信息发送至认知沉浸式服务器。
92.在实施方式中，可以在外会话环路内的内会话环路中渲染相应的ar/mr场景，并且
可以通过在内会话环路渲染ar/mr媒体内容时将新ar/mr场景提供给内会话环路，利用新ar/mr场景来更新相应的ar/mr场景。
93.在实施方式中，ar/mr媒体内容可以包括边缘相关ar(edgar)媒体内容。
94.在实施方式中，ar/mr会话可以包括单个环路，在该单个环路中，接收相应的ar/mr场景，发送认知信息和姿态信息，并且接收新ar/mr场景。
95.虽然图9示出了过程900的示例块，但是在一些实现方式中，过程900可以包括与图9中所描绘的那些块相比附加的块、更少的块、不同的块或不同地布置的块。附加地或替选地，可以并行地执行过程900的两个或更多个块。
96.此外，所提出的方法可以由处理电路系统(例如，一个或更多个处理器或一个或更多个集成电路)来实现。在一个示例中，一个或更多个处理器执行存储在非暂态计算机可读介质中的程序以执行所提出的方法中的一个或更多个。
97.上述技术可以使用计算机可读指令被实现为计算机软件并且被物理地存储在一个或更多个计算机可读介质中。
98.本公开内容的实施方式可以单独地使用或以任何顺序组合地使用。此外，实施方式(和其方法)中的每一个可以由处理电路系统(例如，一个或更多个处理器或一个或更多个集成电路)来实现。在一个示例中，一个或更多个处理器执行存储在非暂态计算机可读介质中的程序。
99.前述公开内容提供了说明和描述，但是并非旨在穷举性的或者将实现方式限制为所公开的精确形式。可以根据以上公开内容进行修改和变型，或者可以从实现方式的实践中获取修改和变型。
100.如本文中所使用的，术语部件旨在被广义地解释为硬件、固件或者硬件与软件的组合。
101.即使在权利要求中记载和/或在说明书中公开了特征的组合，这些组合也不旨在限制可能的实现方式的公开内容。实际上，这些特征中的许多特征可以以未在权利要求中具体记载以及/或者未在说明书中公开的方式组合。虽然所附权利要求书中列出的每个从属权利要求可以直接引用仅一个权利要求，但是可能的实现方式的公开内容包括每个从属权利要求与权利要求集中的每个其他权利要求的组合。
102.除非明确地如此描述，否则本文中使用的元素、动作或指令均不应当被解释为关键的或必要的。此外，如本文中使用的，冠词“一(a)”和“一个(an)”旨在包括一个或更多个项，并且可以与“一个或更多个”互换使用。此外，如本文中所使用的，术语“集合”旨在包括一个或更多个项(例如，相关项、不相关项、相关和不相关项的组合等)，并且可以与“一个或更多个”互换使用。在仅意指一个项的情况下，使用术语“一个”或类似语言。此外，如本文中使用的，术语“有(has)”、“具有(have)”、“含有(having)”等旨在为开放式术语。此外，除非另外明确地说明，否则短语“基于”旨在表示“至少部分地基于”。

技术特征：
1.一种用于递送第五代(5g)增强现实(ar)/混合现实(mr)体验的方法，所述方法包括：建立用于流式传输ar/mr媒体内容的ar/mr会话以通过5g媒体流式传输(5gms)网络传输；接收与多个ar/mr场景相关联的ar/mr媒体内容更新；迭代地接收包括在所述多个ar/mr场景中的相应的ar/mr场景；渲染所述相应的ar/mr场景；获取与所述相应的ar/mr场景对应的认知信息和姿态信息；以及在流式传输所述ar/mr媒体内容时将所述认知信息和所述姿态信息发送至认知沉浸式服务器。2.根据权利要求1所述的方法，其中，通过基于所述认知信息和所述姿态信息执行语义感知、空间定位和映射中的至少一个来生成所述认知媒体数据。3.根据权利要求1所述的方法，其中，所述ar/mr媒体内容包括独立增强现实(star)媒体内容。4.根据权利要求3所述的方法，其中，所述ar/mr会话是在外会话环路中创建的，并且其中，在所述外会话环路中将所述认知信息和所述姿态信息发送至所述认知沉浸式服务器。5.根据权利要求4所述的方法，其中，所述方法还包括：基于所述认知信息和所述姿态信息接收包括认知媒体数据的新ar/mr场景；以及渲染所述新ar/mr场景，其中，在所述外会话环路内的内会话环路中渲染所述相应的ar/mr场景，并且其中，通过在所述内会话环路渲染所述ar/mr媒体内容时将所述新ar/mr场景提供给所述内会话环路，利用所述新ar/mr场景来更新所述相应的ar/mr场景。6.根据权利要求1所述的方法，其中，所述ar/mr媒体内容包括边缘相关ar(edgar)媒体内容。7.根据权利要求6所述的方法，其中，所述方法还包括：基于所述认知信息和所述姿态信息接收包括认知媒体数据的新ar/mr场景；以及渲染所述新ar/mr场景，并且其中，所述ar/mr会话包括单个环路，在所述单个环路中，接收所述相应的ar/mr场景，发送所述认知信息和所述姿态信息，以及接收所述新ar/mr场景。8.一种用于递送第五代(5g)增强现实(ar)/混合现实(mr)体验的设备，所述设备包括：至少一个存储器，其被配置成存储程序代码；以及至少一个处理器，其被配置成读取所述程序代码并且按照所述程序代码指示的进行操作，所述程序代码包括：建立代码，其被配置成使所述至少一个处理器建立用于流式传输ar/mr媒体内容的ar/mr会话以通过5g媒体流式传输(5gms)网络传输；第一接收代码，其被配置成使所述至少一个处理器接收与多个ar/mr场景相关联的ar/mr媒体内容更新；
第二接收代码，其被配置成使所述至少一个处理器迭代地接收包括在所述多个ar/mr媒体场景中的相应的ar/mr场景；第一渲染代码，其被配置成使所述至少一个处理器渲染所述相应的ar/mr场景；获取代码，其被配置成使所述至少一个处理器获取与所述ar/mr场景对应的认知信息和姿态信息；以及发送代码，其被配置成使所述至少一个处理器在流式传输所述ar/mr媒体内容时将所述认知信息和所述姿态信息发送至认知沉浸式服务器。9.根据权利要求8所述的设备，其中，通过基于所述认知信息和所述姿态信息执行语义感知、空间定位和映射中的至少一个来生成所述认知媒体数据。10.根据权利要求8所述的设备，其中，所述ar/mr媒体内容包括独立增强现实(star)媒体内容。11.根据权利要求10所述的设备，其中，所述ar/mr会话是在外会话环路中创建的，并且其中，在所述外会话环路中将所述认知信息和所述姿态信息发送至所述认知沉浸式服务器。12.根据权利要求11所述的设备，其中，所述程序代码还包括：第三接收代码，其被配置成使所述至少一个处理器基于所述认知信息和所述姿态信息接收包括认知媒体数据的新ar/mr场景；以及第二渲染代码，其被配置成使所述至少一个处理器渲染所述新ar/mr场景，其中，在所述外会话环路内的内会话环路中渲染所述相应的ar/mr场景，并且其中，通过在所述内会话环路渲染所述ar/mr媒体内容时将所述新ar/mr场景提供给所述内会话环路，利用所述新ar/mr场景来更新所述相应的ar/mr场景。13.根据权利要求8所述的设备，其中，所述ar/mr媒体内容包括边缘相关ar(edgar)媒体内容。14.根据权利要求13所述的设备，其中，所述程序代码还包括：第三接收代码，其被配置成使所述至少一个处理器基于所述认知信息和所述姿态信息接收包括认知媒体数据的新ar/mr场景；以及第二渲染代码，其被配置成使所述至少一个处理器渲染所述新ar/mr场景，并且其中，所述ar/mr会话包括单个环路，在所述单个环路中，接收所述ar/mr场景，发送所述认知信息和所述姿态信息，以及接收所述新ar/mr场景。15.一种存储指令的非暂态计算机可读介质，所述指令包括：一个或更多个指令，当所述一个或更多个指令由用于递送第五代(5g)增强现实(ar)/混合现实(mr)体验的设备的一个或更多个处理器执行时，使所述一个或更多个处理器进行以下操作：建立用于流式传输ar/mr媒体内容的ar/mr会话以通过5g媒体流式传输(5gms)网络传输；接收与多个ar/mr场景相关联的ar/mr媒体内容更新；迭代地接收包括在所述多个ar/mr场景中的相应的ar/mr场景；渲染所述相应的ar/mr场景；
获取与所述相应的ar/mr场景对应的认知信息和姿态信息；以及在流式传输所述ar/mr媒体内容时将所述认知信息和所述姿态信息发送至认知沉浸式服务器。16.根据权利要求15所述的非暂态计算机可读介质，其中，通过基于所述认知信息和所述姿态信息执行语义感知、空间定位和映射中的至少一个来生成所述认知媒体数据。17.根据权利要求15所述的非暂态计算机可读介质，其中，所述ar/mr媒体内容包括独立增强现实(star)媒体内容。18.根据权利要求17所述的非暂态计算机可读介质，其中，所述一个或更多个指令还使所述一个或更多个处理器进行以下操作：基于所述认知信息和所述姿态信息接收包括认知媒体数据的新ar/mr场景；以及渲染所述新ar/mr场景，其中，所述ar/mr会话是在外会话环路中创建的，其中，在所述外会话环路中将所述认知信息和所述姿态信息发送至所述认知沉浸式服务器，其中，在所述外会话环路内的内会话环路中渲染所述相应的ar/mr场景，并且其中，通过在所述内会话环路渲染所述ar/mr媒体内容时将所述新ar/mr场景提供给所述内会话环路，利用所述新ar/mr场景来更新所述相应的ar/mr场景。19.根据权利要求15所述的非暂态计算机可读介质，其中，所述ar/mr媒体内容包括边缘相关ar(edgar)媒体内容。20.根据权利要求19所述的非暂态计算机可读介质，其中，所述方法还包括：基于所述认知信息和所述姿态信息接收包括认知媒体数据的新ar/mr场景；以及渲染所述新ar/mr场景，并且其中，所述ar/mr会话包括单个环路，在所述单个环路中，接收所述相应的ar/mr场景，发送所述认知信息和所述姿态信息，以及接收所述新ar/mr场景。

技术总结
一种用于递送第五代(5G)增强现实(AR)/混合现实(MR)体验的方法，包括：建立用于流式传输AR/MR媒体内容的AR/MR会话以通过5G媒体流式传输(5GMS)网络传输；接收与多个AR/MR场景相关联的AR/MR媒体内容更新；迭代地接收包括在多个AR/MR场景中的相应的AR/MR场景；渲染相应的AR/MR场景；获取与相应的AR/MR场景对应的认知信息和姿态信息；以及在流式传输AR/MR媒体内容时将认知信息和姿态信息发送至认知沉浸式服务器。浸式服务器。浸式服务器。


技术研发人员：伊拉吉
受保护的技术使用者：腾讯美国有限责任公司
技术研发日：2022.11.02
技术公布日：2023/8/13