用于提供多个视点视角的视频内容的方法和设备与流程

用于提供多个视点视角的视频内容的方法和设备
1.相关申请的交叉引用
2.本技术要求于2022年2月8日提交的、申请号为63/307,849的美国临时申请的权益，本技术还要求于2022年6月13日提交的、申请号为17/839,419的美国非临时申请的权益，上述申请的全部内容通过引用并入本文。
技术领域
3.本公开的示例性实施例总体上涉及用于使多个通信设备在通信期间向其他通信设备同时传送来自多个视角(perspective)的沉浸式视频内容的方法和装置。


背景技术：

4.通常，许多可穿戴设备对于与其他用户共享视频内容而言，可能无法从与正采集该视频内容的可穿戴设备相关联的用户的多个视点(point of view)来提供沉浸式视频体验。例如，一个或多个用户同与正采集视频内容的可穿戴设备相关联的用户一起参与视频通话/会议，一些可穿戴设备可以使该一个或多个用户能够观看与该可穿戴设备相关联的用户所能观看到的视角，但是可能无法同时使参与该视频通话/会议的一个或多个用户观看到与该可穿戴设备相关联的用户。在通信期间无法观看到与正采集视频内容的可穿戴设备相关联的用户的多个视点和视角可能是令人感到负担且不方便的，并且可能会降低用户体验。
5.考虑到前述缺点，提供高效且可靠的机制以在视频通信期间同时提供与用户相关联的多个视点(viewpoint)和视角是有益的。


技术实现要素：

6.描述了用于使多个通信设备传送来自各种视点和视角(例如，第一人称视角、第三人称视角等)的沉浸式视频内容通信和/或网络视频直播的示例性实施例。
7.示例性实施例可以利用多个通信设备(例如，智能手表、智能眼镜、充电盒和其他合适的设备)的摄像头能力，来提供与各种视点和视角相关联的视频内容。
8.示例性实施例可以通过使多个用户能够观看/共享从第一人称视角和第三人称视角采集到的真实世界环境中多个对象的视频内容，来提供沉浸式视频通话/会议和/或网络视频直播体验。在一些实例中，一些示例性实施例可以使多个用户能够在第一通信设备(例如，智能眼镜等)的摄像头和第二通信设备(例如，智能手表、智能平板等)的摄像头之间进行切换，从而仅提供第一人称视角或第三人称视角。在这方面，一些示例性实施例可以使多个用户能够在通信(例如，视频通话/会议、网络视频直播)期间在第一人称视角和第三人称视角之间进行反复切换。
9.在一个示例实施例中，提供了一种方法。该方法可以包括：接收由第一通信设备采集到的第一视频内容。该第一视频内容可以与第一视点视角(viewpoint perspective)相关联，该第一视点视角指示与第一用户在观看环境时通过第一通信设备所观看到的视域相
关联的第一视频数据。该方法还可以包括：接收由第二通信设备采集到的第二视频内容。该第二视频内容可以与第二视点视角相关联，该第二视点视角与指示以下中的至少一者的第二视频数据相关联：第一用户、或该环境内的一个或多个对象。该方法还可以包括：在与多个设备相关联的通信期间，向一个或多个通信设备同时提供与第一视点视角相关联的第一视频数据和与第二视点视角相关联的第二视频数据。
10.在另一个示例实施例中，提供了一种设备。该设备可以包括一个或多个处理器以及包括多个计算机程序代码指令的存储器。该存储器和多个计算机程序代码指令被配置为，利用上述处理器中的至少一个处理器，使该设备至少执行多个操作，该多个操作包括接收由第一通信设备采集到的第一视频内容。该第一视频内容可以与第一视点视角相关联，该第一视点视角指示与第一用户在观看环境时通过第一通信设备所观看到的视域相关联的第一视频数据。该存储器和多个计算机程序代码指令还被配置为，利用处理器，使该设备接收由第二通信设备采集到的第二视频内容。该第二视频内容可以与第二视点视角相关联，该第二视点视角与指示以下中的至少一者的第二视频数据相关联：第一用户、或该环境内的一个或多个对象。该存储器和多个计算机程序代码指令还被配置为，利用处理器，使设备在与多个设备相关联的通信期间，向一个或多个通信设备同时提供与第一视点视角相关联的第一视频数据和与第二视点视角相关联的第二视频数据。
11.在又一个示例实施例中，提供了一种计算机程序产品。该计算机程序产品包括至少一个计算机可读存储介质，该至少一个计算机可读存储介质具有存储在其中的多个计算机可执行程序代码指令。该多个计算机可执行程序代码指令可以包括被配置为接收由第一通信设备采集到的第一视频内容的多个程序代码指令。该第一视频内容可以与第一视点视角相关联，该第一视点视角指示与第一用户在观看环境时通过第一通信设备所观看到的视域相关联的第一视频数据。该多个计算机可执行程序代码指令还可以包括被配置为接收由第二通信设备采集到的第二视频内容的多个程序代码指令。该第二视频内容可以与第二视点视角相关联，该第二视点视角与指示以下中的至少一者的第二视频数据相关联：第一用户、或环境内的一个或多个对象。该多个计算机可执行程序代码指令还可以包括被配置为在与多个设备相关联的通信期间，向一个或多个通信设备同时提供与第一视点视角相关联的第一视频数据和与第二视点视角相关联的第二视频数据的多个程序代码指令。
12.将在下面的描述中部分地阐述附加的优点，或者可以通过实践来获知这些优点。这些优点将借助于所附权利要求中所特别指出的元件和组合而得以实现和达到。应当理解的是，如所主张的，前述的概括描述和下面的详细描述均仅是示例性的和说明性的，而不是限制性的。
附图说明
13.发明内容以及下面的具体实施方式在结合附图阅读时将得到进一步理解。出于说明所公开的主题的目的，在附图中示出了所公开的主题的示例性实施例；然而，所公开的主题不限于所公开的特定方法、构成和设备。此外，附图不一定是按比例绘制的。在附图中：
14.图1是根据示例性实施例的示例性网络环境的示意图。
15.图2示出了根据本发明示例性实施例的包括头戴式视图器的人工现实系统。
16.图3是根据示例性实施例的示例性通信设备的示意图。
17.图4是根据示例性实施例的示例性计算系统的示意图。
18.图5是根据示例性实施例的同时提供来自多个视角和/或视点的视频内容的过程的示意图。
19.图6示出了根据本发明示例性实施例的操作。
20.这些附图仅出于说明的目的而描绘了各种实施例。本领域的技术人员将从以下论述中容易地认识到，在不脱离本文所描述的原理的情况下，可以采用本文所说明的结构和方法的替代实施例。
具体实施方式
21.现在将在下文中参考附图对本发明的一些实施例进行更全面地描述，在这些附图中，示出了本发明的一些实施例而非全部实施例。实际上，本发明的各种实施例可以以许多不同的形式来体现，并且不应被解释为受限于本文所阐述的实施例。相似的参考标记始终表示相似的元件。如本文中所使用的，根据本发明的实施例，术语“数据”、“内容”、“信息”及类似术语可以互换地使用，以指代能够被发送、接收和/或存储的数据。此外，如本文所使用的，术语“示例性”不被提供用以传达任何定性评估，而是仅传达对示例的说明。因此，任何此类术语的使用不应被视为限制本发明的实施例的精神和范围。如本文所定义的，指代非暂态的、物理或有形的存储介质(例如，易失性或非易失性存储器设备)的“计算机可读存储介质”，可以与指代电磁信号的“计算机可读传输介质”区分开。
22.如本文所提到的，第一人称视角或视点(point of view，pov)可以例如是采集到的、示出了用户正观看的环境中内容的视频/图像，该内容如由图像/视频采集设备所表示。第一人称视角可以在显示器上呈现给一个或多个其他用户。
23.如本文所提到的，第三人称视角或视点可以例如是采集到的、部分地示出了由图像/视频采集设备采集到的环境中用户和/或多个对象的视频/图像，该第三人称视角或视点可以在显示器上呈现给一个或多个其他用户。
24.应当理解的是，本文中所描述的方法及系统不限于特定方法、特定部件或特定实施方式。还应当理解的是，本文中所使用的术语仅出于描述特定实施例的目的，而不旨在进行限制。
25.示例性系统架构
26.现在参考图1，图1是根据示例性实施例的系统的框图。如图1所示，系统100可以包括一个或多个通信设备105、110、115和120以及网络设备160。另外，系统100可以包括任何合适的网络，例如网络140。作为示例而非通过限制的方式，网络140的一个或多个部分可以包括自组网(ad hoc network)、内联网、外联网、虚拟专用网络(virtual private network，vpn)、局域网(local area network，lan)、无线lan(wireless lan，wlan)、广域网(wide area network，wan)、无线wan(wireless wan，wwan)、城域网(metropolitan area network，man)、互联网的一部分、公共交换电话网络(public switched telephone network，pstn)的一部分、蜂窝电话网络、或上述网络中的两者或更多者的组合。网络140可以包括一个或多个网络140。
27.多条链路150可以将通信设备105、110、115和120连接到网络140、网络设备160，和/或将这些通信设备彼此连接。本公开考虑任何合适的链路150。在一些示例性实施例中，
一条或多条链路150可以包括一条或多条有线(例如，数字用户线路(digital subscriber line，dsl)或电缆数据服务接口规范(data over cable service interface specification，docsis))链路、一条或多条无线(例如，wi-fi或全球微波互联接入(worldwide interoperability for microwave access，wimax))链路、或一条或多条光学(例如，同步光网络(synchronous optical network，sonet)或同步数字体系(synchronous digital hierarchy，sdh))链路。在一些示例性实施例中，一条或多条链路150可以各自包括自组网、内联网、外联网、vpn、lan、wlan、wan、wwan、man、互联网的一部分、pstn的一部分、基于蜂窝技术的网络、基于卫星通信技术的网络、另一条链路150、或两条或更多条此类链路150的组合。在整个系统100中，多条链路150不必都是相同的。一条或多条第一链路在一个或多个方面可以不同于一条或多条第二链路。
28.在一些示例性实施例中，通信设备105、110、115、120可以是包括硬件、软件、或嵌入式逻辑部件、或两个或更多个此类部件的组合、并且能够执行由通信设备105、110、115、120实施或支持的适当功能的电子设备。作为示例而非通过限制的方式，通信设备105、110、115、120可以是计算机系统，例如台式计算机、笔记本或膝上型计算机、上网本、平板计算机(例如，智能平板)、电子书阅读器、全球定位系统(global positioning system，gps)设备、摄像头、个人数字助理(personal digital assistant，pda)、手持电子设备、蜂窝电话、智能电话、智能眼镜、增强/虚拟现实设备、智能手表、充电盒、或任何其他合适的电子设备、或它们的任何合适的组合。通信设备105、110、115、120可以使一个或多个用户能够接入网络140。通信设备105、110、115、120可以使一个或多个用户能够与其他通信设备105、110、115、120处的其他用户通信。
29.网络设备160可以由系统100中的其他部件直接地访问或经由网络140访问。作为示例而非通过限制的方式，通信设备105、110、115、120可以使用web浏览器或与网络设备160相关联的本地应用程序(例如，移动社交网络应用程序、消息传递应用程序、另一合适的应用程序或它们的任何组合)，来直接地或经由网络140访问网络设备160。在特定示例性实施例中，网络设备160可以包括一个或多个服务器162。每个服务器162可以是单一服务器或跨越多个计算机或多个数据中心的分布式服务器。服务器162可以是各种类型的，例如但不限于web服务器、新闻服务器、邮件服务器、消息服务器、广告服务器、文件服务器、应用服务器、交换服务器、数据库服务器、代理服务器、适于执行本文中所描述的功能或过程的另一服务器、或它们的任何组合。在特定示例性实施例中，每个服务器162可以包括用于执行由服务器162实施和/或支持的适当功能的硬件、软件、或嵌入式逻辑部件、或两个或更多个此类部件的组合。在特定示例性实施例中，网络设备160可以包括一个或多个数据存储区164。数据存储区164可以用于存储各种类型的信息。在特定示例性实施例中，可以根据特定数据结构来组织存储在数据存储区164中的信息。在特定示例性实施例中，每个数据存储区164可以是关系数据库、列式数据库、关联数据库(correlation database)或其他合适的数据库。尽管本公开描述或示出了特定类型的数据库，但是本公开考虑了任何合适类型的数据库。特定示例性实施例可以提供多个接口，这些接口使通信设备105、110、115、120和/或另一系统(例如，第三方系统)能够对存储在数据存储区164中的信息进行管理、检索、修改、添加或删除。
30.网络设备160可以向系统100的多个用户提供与其他用户通信和交互的能力。在特
定示例性实施例中，网络设备160可以向多个用户提供由网络设备160支持的对各种类型的项目或对象采取动作的能力。在特定示例性实施例中，网络设备160可能够连接各种实体。作为示例而非通过限制的方式，网络设备160可以使多个用户能够彼此交互以及接收来自其他系统(例如，第三方系统)或其他实体的内容，或者允许用户经由应用编程接口(application programming interface，api)或其他通信信道与这些实体交互。
31.应当指出的是，尽管图1示出了一个网络设备160和四个通信设备105、110、115和120，但是在不脱离本公开的精神和范围的情况下，任何合适数量的网络设备160和通信设备105、110、115和120可以是图1中的系统的一部分。
32.示例性人工现实系统
33.图2示出了示例人工现实系统200。人工现实系统200(在本文中也称为人工现实设备200)可以包括头戴式显示器(head-mounted display，hmd)210(例如，智能眼镜)，该hmd 210包括框架212、一个或多个显示器214和计算设备208(在本文中也称为计算机208)。在一些示例性实施例中，hmd 210可以是通信设备105、110、115、120中的一者或多者。显示器214可以是透明的或半透明的，允许正佩戴着hmd 210的用户透过显示器214观看真实世界(例如，真实世界环境)，并且同时向用户显示视觉人工现实内容。hmd 210可以包括音频设备206(例如，图3中的扬声器/传声器38)，该音频设备206可以向用户提供音频人工现实内容。hmd 210可以包括一个或多个摄像头216、218，该一个或多个摄像头216、218可以采集环境的图像和/或视频。在一个示例性实施例中，hmd 210可以包括摄像头218，摄像头218可以是追踪用户双眼的移动和/或视线的后置摄像头。
34.多个摄像头216中的一者可以是采集正佩戴着hmd 210的用户可以看到的环境的图像和/或视频的前置摄像头。hmd 210可以包括用于追踪正佩戴着hmd 210的用户的辐辏运动的眼动追踪系统。在一个示例性实施例中，摄像头218可以是眼动追踪系统。hmd 210可以包括音频设备206中用于采集来自用户的语音输入的传声器。人工现实系统200(例如增强现实系统)还可以包括控制器，该控制器包括触控板和一个或多个按钮。控制器可以接收来自用户的输入，并且将这些输入转送到计算设备208。控制器还可以向一个或多个用户提供触觉反馈。计算设备208可以通过电缆或无线连接连接到hmd 210和控制器。计算设备208可以控制hmd 210和控制器，以向一个或多个用户提供增强现实内容以及接收来自一个或多个用户的输入。在一些示例实施例中，控制器可以是独立的控制器或可以集成在hmd 210内。计算设备208可以是独立主机计算机设备、与hmd 210集成的机载计算机设备、移动设备或能够向用户提供人工现实内容及接收来自用户的输入的任何其它硬件平台。在一些示例性实施例中，hmd 210可以包括增强现实系统/虚拟现实系统。
35.示例性通信设备
36.图3示出了通信设备的示例性硬件/软件架构的框图，该通信设备例如为用户设备(user equipment，ue)30。在一些示例性实施例中，ue 30可以是通信设备105、110、115、120中的任一者。在一些示例性实施例中，ue30可以是计算机系统，例如台式计算机、笔记本或膝上型计算机、上网本、平板计算机(例如，智能平板)、电子书阅读器、gps设备、摄像头、个人数字助理、手持电子设备、蜂窝电话、智能电话、智能眼镜、增强/虚拟现实设备、智能手表、充电盒或任何其他合适的电子设备。如图3所示，ue 30(在本文中也称为节点30)可以包括：处理器32；不可移动存储器(non-removable memory)44；可移动存储器46；扬声器/传声
access technology，rat)进行通信，这些无线接入技术例如为，通用地面无线电接入(universal terrestrial radio access，utra)和电气与电子工程师协会(institute of electrical and electronics engineers，ieee 802.11)。
41.处理器32可以从任何类型的合适存储器访问信息，并且可以将数据存储在任何类型的合适存储器中，上述合适存储器例如为，不可移动存储器44和/或可移动存储器46。例如，如上所述，处理器32可以将会话上下文存储在处理器32的存储器中。不可移动存储器44可以包括随机存取存储器(ram)、只读存储器(rom)、硬盘或任何其他类型的存储器存储设备。可移动存储器46可以包括用户识别模块(subscriber identity module，sim)卡、记忆棒、安全数字(secure digital，sd)存储卡等。在其他示例性实施例中，处理器32可以访问来自物理上不位于节点30上的存储器(例如，位于服务器或家用计算机上的存储器)的信息，并且可以将数据存储在该存储器中。
42.处理器32可以接收来自电源48的电力，并且可以被配置为将电力分配和/或控制到节点30中的其他部件。电源48可以是用于为节点30供电的任何合适的设备。例如，电源48可以包括一个或多个干电池(例如，镍镉(nickel-cadmium，nicd)、镍锌(nickel-zinc，nizn)、镍金属氢化物(nickel metal hydride，nimh)、锂离子(lithium-ion，li-ion)等)、太阳能电池、燃料电池等。处理器32还可以耦接到gps芯片组50，该gps芯片组50可以被配置为提供与节点30的当前位置相关的位置信息(例如，经度和纬度)。应当理解的是，节点30可以通过任何合适的位置确定方法来获取位置信息，同时仍然符合一示例性实施例。
43.示例性计算系统
44.图4是示例性计算系统400的框图。在一些示例性实施例中，网络设备160可以是计算系统400。计算系统400可以包括计算机或服务器，并且可以主要由多个计算机可读指令所控制，该多个计算机可读指令可以是软件的形式，无论此类软件存储在何处或在何处访问此类软件，或者无论此类软件以何种方式存储或以何种方式访问此类软件。可以在处理器内执行此类计算机可读指令，以使计算系统400运行，该处理器例如为，中央处理单元(central processing unit，cpu)91。在许多工作站、服务器和个人计算机中，可以由被称为微处理器的单芯片cpu来实现中央处理单元91。在其它机器中，中央处理单元91可以包括多个处理器。协作处理器81可以是与cpu 91(即，主cpu)不同的、执行附加功能或辅助cpu 91的可选处理器。
45.运行时，cpu 91读取指令、对指令进行解码并执行指令，并且经由计算系统的主数据传输路径(系统总线80)将信息传送到其他资源且经由该计算系统的主数据传输路径传送来自其他资源的信息。此类系统总线连接计算系统400中的各个部件，并且定义用于数据交换的媒介。系统总线80通常包括用于传送数据的数据线、用于传送地址的地址线、以及用于传送中断的控制线和用于操作系统总线的控制线。此类系统总线80的示例是外围部件互连(peripheral component interconnect，pci)总线。
46.耦接到系统总线80的多个存储器包括ram 82和rom 93。此类存储器可以包括使信息能够被存储和检索的电路。rom 93通常包含不容易被修改的存储数据。存储在ram 82中的数据可以由cpu 91或其它硬件设备读取或改变。对ram 82和/或rom 93的访问可以由存储器控制器92控制。存储器控制器92可以提供在指令被执行时，将虚拟地址转换为物理地址的地址转换功能。存储器控制器92还可以提供将系统内的多个进程进行隔离以及将系统
进程与用户进程进行隔离的存储器保护功能。因此，以第一模式运行的程序仅可以访问由该程序自身进程的虚拟地址空间所映射的存储器；该程序无法访问另一进程的虚拟地址空间内的存储器，除非已经建立了在这些进程之间共享的存储器。
47.另外，计算系统400可以包含外围设备控制器83，该外围设备控制器83负责将指令从cpu 91传送到外围设备，例如，打印机94、键盘84、鼠标95和磁盘驱动器85。
48.显示器86由显示器控制器96控制，该显示器86用于显示计算系统400生成的视觉输出。此类视觉输出可以包括文本、图形、动画图形和视频。显示器86可以使用基于阴极射线管(cathode-ray tube，crt)的视频显示器、基于液晶显示器(liquid-crystal display，lcd)的平板显示器、基于气体等离子体的平板显示器、或触控面板来实现。显示器控制器96包括生成发送到显示器86的视频信号所需的多个电子部件。
49.此外，计算系统400可以包含通信电路，例如网络适配器97，该通信电路可以用于将计算系统400连接到外部通信网络，例如图3中的网络12，以使计算系统400能够与网络中的其他节点(例如，ue 30)通信。
50.示例性系统操作
51.示例性实施例可以实现同时来自多个视角和视点(例如，第一人称视角和/或第三人称视角)的视频通话/会议和/或网络视频直播。
52.一些示例性实施例可以充分利用多个通信设备(例如，智能眼镜、人工现实设备或头戴式显示器、智能手表、智能平板、充电盒等)的组合能力，以在视频通话/会议和/或网络视频直播中提供更沉浸式的体验。在一些示例实施例中，用户所佩戴的智能眼镜可以提供正被采集的第一人称视角的视频内容，并且一个或多个其他通信设备(例如，智能手表、智能平板等)可以提供正被采集的第三人称视角的视频内容。
53.例如，出于说明而非限制的目的，考虑以下示例：诸如朱利安(julian)(虚构的人)的用户正在其位于山景城的家的厨房中烘烤酸面包(sourdough bread)。朱利安可以通过其智能眼镜(例如hmd 210)接收视频通话/会议，并且可以应答该视频通话。网络设备(例如，网络设备160)可以促进该视频通话的连接。在该示例中，朱利安的女朋友玛雅(maya)(虚构的人)正在呼叫朱利安。在过去的几个月，玛雅一直住在瑞士。假设一旦朱利安应答了该视频通话，他就转身并打开配套的充电盒(例如，ue 30)。充电盒内部的摄像头(例如，摄像头54)可以开启，并促进朱利安和玛雅在视频上的无缝连接。例如，充电盒内部的摄像头所采集到的视频流可以提供给网络设备，该网络设备可以将充电盒视频提供给该视频通话。作为示例，充电盒视频可以采集朱利安的第三人称视角的视频，并将该视频提供给该视频通话。假设烤箱中的酸面包已经准备好。由于朱利安尝试了新的酸面包配方，因此朱利安想要向玛雅展示酸面包的结果如何。就这一点而言，朱利安可以开启智能眼镜上的摄像头(例如，通过敲/触摸智能眼镜、或通过经由智能眼镜的另一输入机制)，这可以使在同一视频通话/会议上开始第二网络视频直播，该第二网络视频直播示出了朱利安的视角(例如，第一人称视角或视点)，而朱利安正在从烤箱中取出酸面包。就这一点而言，第二网络视频直播可以在玛雅的智能设备(例如，智能平板等)上向她呈现：朱利安通过他的智能眼镜看到/观看到的内容。当充电盒放置在厨房柜台上，通过充电盒的摄像头拍摄朱利安在厨房中的一举一动的视频时，上述两种视频采集可同时发生。面包做得很棒。在该示例中，当朱利安正从烤箱取出面包时，由于视频是由朱利安的智能眼镜采集的，因此玛雅可以观看正通
过她的智能设备所呈现的朱利安的体验。在同一时间(例如，同时地)，玛雅可以通过其智能设备看到朱利安在他从烤箱中取出酸面包时的兴奋，这是因为该视频正被充电盒所采集。以这种方式，玛雅可以(在视频通话上实时地)共享朱利安基于其所尝试的新的酸面包配方而结果酸面包做的很棒的体验。在该示例中，在视频通话期间，同时具有第一人称视域和第三人称视域可以实现沉浸式体验，例如，提供第一人称视角和第三人称视角的无缝视频通话。
54.出于说明而非限制的目的，考虑另一示例：诸如詹妮弗(jennifer)(虚构的人)的用户是具有超过一百万位世界各地的追随者的社交媒体影响者。在该示例中，假设詹妮弗正在参加音乐会，并且想要向她的社交媒体追随者直播她的体验。在音乐会现场，假设詹妮弗开启其智能眼镜(例如，hmd 210)，并且还可以通过社交网络服务选择针对网络视频直播的选项；当智能眼镜开启时，智能眼镜可以开始网络视频直播，该网络视频直播与詹妮弗例如从其第一人称视角所观看到的、音乐会的环境中的内容相关联。就这一点而言，詹妮弗的社交媒体追随者可以观看到(在其智能设备上)詹妮弗通过她的智能眼镜所观看/看到的内容，这是因为该视频流内容正在音乐会上被智能眼镜所采集。例如，智能眼镜可以向网络设备(例如，网络设备160)提供采集到的视频流内容，并且该网络设备可以将采集到的视频流内容传送到詹妮弗的社交媒体追随者。另外，考虑一个场景：詹妮弗具有智能眼镜的配套的充电盒，并且打开该充电盒且开启该充电盒中的摄像头(例如，摄像头54)，以开始采集视频内容。该充电盒内部的摄像头可以开始经由网络视频直播与詹妮弗的粉丝(即，詹妮弗的社交媒体追随者)共享采集到的视频内容，而该视频内容可以显示詹妮弗如何享受音乐会(例如与她的朋友们一起)。例如当充电盒指向詹妮弗和/或她的朋友们时，该充电盒可以采集示出了詹妮弗和/或她的朋友们在其经历音乐会时的视频。詹妮弗和/或她的朋友们的视频采集来自第三人称视角。以这种方式，詹妮弗的世界各地的追随者可以通过其智能设备以詹妮弗的视角(例如，第一人称视角)看到乐队在音乐会舞台上的表演。詹妮弗的追随者也可以通过其智能设备同时看到在与音乐会相关联的整个网络直播现场詹妮弗正在做什么(例如，第三人称视角)，并且追随者可以实时地做出反应。通过充电盒内部的显示器(例如，显示器42)，詹妮弗可以看到来自她的一些或全部粉丝(例如，詹妮弗的社交媒体追随者)的反应，并且可以在音乐会的网络直播现场期间实时地做出响应。
55.如上所述，网络设备可以接收来自智能眼镜的采集到的视频流，并且网络设备可以在网络直播中将采集到的视频流内容提供(例如，经由通信链路(例如，链路150))给詹妮弗的社交媒体追随者。另外，在示例实施例中，充电盒可以通过将采集到的视频内容提供(例如，经由通信链路(例如，链路150))给网络设备(例如，网络设备160)来共享该充电盒所采集的视频内容，从而网络设备可以向詹妮弗的社交媒体追随者同时网络直播由充电盒采集到的视频和由智能眼镜采集到的视频。以这种方式，网络设备可以同时提供如由不同通信设备(在此示例中的智能眼镜及充电盒)采集到的来自第一人称视角及第三人称视角的视频内容的网络直播。
56.现在参考图5，提供了示出了同时提供来自多个视角和/或视点的视频内容的过程的示例性实施例的示意图。在图5的示例中，在步骤502，诸如吉尔(jill)(虚构的人)的用户可以收到诸如凯瑟琳(catherine)(虚构的人)的用户的来电(例如，视频通话)。该来电可以被吉尔所佩戴的智能手表(例如，ue 30)收到。在图5的示例中，吉尔和凯瑟琳这两个用户计
划在下午晚些时候见面，并且当吉尔正在附近的一家咖啡馆里享用她的晨间咖啡时，吉尔通过智能手表收到了凯瑟琳的来电。
57.在步骤504，吉尔可以解锁智能手表以应答凯瑟琳的来电，并且可以使用问候语(例如，嗨！凯瑟琳)应答该来电。在吉尔解锁智能手表并应答该来电的实例中，吉尔所佩戴的智能眼镜(例如，hmd 210)可以采集环境(例如，咖啡馆)中的、吉尔使用该智能眼镜(例如，从第一人称视点)所看到的视域的视频内容，并且可以在通话期间将采集到的视频内容呈现给凯瑟琳的智能设备。在一个示例实施例中，出于说明而非限制的目的，吉尔所佩戴的智能手表的摄像头可以采集吉尔的面部图像，并且智能手表可以利用与该面部图像相关联的面部识别特征来解锁智能手表，从而允许吉尔应答该来电。作为另一示例，出于说明而非限制的目的，智能手表可以响应于吉尔通过/经由智能眼镜看向智能手表而解锁，从而应答该来电。在一些示例性实施例中，诸如吉尔的用户可以经由智能眼镜看向(例如，注视)智能手表达预定时间段(例如，2秒、3秒等)来解锁智能手表，并应答该来电。作为又一示例，出于说明而非限制的目的，可以通过检测来自吉尔的语音命令来解锁智能手表，以允许吉尔应答该来电。附加地或替代地，作为另一示例，智能手表可以接收来自吉尔的输入(例如，输入一输入代码、按压按钮等)，以解锁吉尔所佩戴的智能手表并接受该来电。智能手表可以根据任何其他合适的方式而被解锁以用于应答来电，并且不受出于说明的目的而提供的上述这些示例的限制。
58.在步骤506，当佩戴在吉尔的手臂上的智能手表在通话期间接收到来自与凯瑟琳相关联的智能设备(例如，智能眼镜)的对凯瑟琳的视频采集，并且在通话期间在该智能手表的显示器上显示凯瑟琳时，该智能手表可指示该智能手表的电量低(例如，电池耗尽至阈值水平以下)。
59.在步骤508，智能手表可以从与该智能手表相关联的底座(cradle)移出，并且可以对接在配套盒(例如，配套充电盒)内，以开始对智能手表充电。以这种方式，当吉尔处于智能手表的摄像头的视野中时，智能手表可以(例如，从第三人称视点)采集吉尔的和/或一个或多个对象的视频，并且即使在该智能手表正在充电时，该智能手表也可以在通话期间将采集到的视频呈现给凯瑟琳的智能设备。在图5的示例中，用户吉尔可以将智能手表从底座移出，并且将智能手表对接在配套盒中，以促进对智能手表的充电。因此，用户吉尔能够通过将智能手表对接在配套盒内对智能手表进行充电，而不中断通话。
60.在步骤510，吉尔所佩戴的智能眼镜(例如，hmd 210)可以在与凯瑟琳的通话期间，通过例如敲/触摸该智能眼镜而在智能手表的摄像头与智能眼镜的摄像头之间切换，来促进在第一人称视点和第三人称视点之间的反复切换。在其他示例中，吉尔所佩戴的智能眼镜(例如，hmd 210)可以在与凯瑟琳的通话期间，通过例如检测一个或多个语音命令和/或手势而在智能手表的摄像头与智能眼镜的摄像头之间切换，来促进在第一人称视点和第三人称视点之间的反复切换。就这一点而言，作为在通话期间向凯瑟琳同时显示第一人称视点和第三人称视点的替代，可以仅向凯瑟琳显示吉尔选择的视域。在一些示例性实施例中，可以由智能眼镜向网络设备(例如，网络设备160)提供接收到的敲/触摸智能眼镜的指示，使得网络设备可以通过在智能手表的摄像头与智能眼镜的摄像头之间进行切换，来促进第一人称视点与第三人称视点之间的切换。另外，出于说明而非限制的目的，一次敲可以关闭或暂停充电盒的摄像头，而使智能眼镜的摄像头保持开启，如此，可以在通话期间仅将智能
眼镜采集到的视频(例如，由智能眼镜采集到的第一人称视点的视频)呈现给与凯瑟琳相关联的智能设备。作为另一示例，对智能眼镜的第二次敲可以关闭或暂停智能眼镜的摄像头，而使配套盒的摄像头保持开启，这可以在通话期间仅将由配套盒采集到的视频(例如，由配套盒采集到的第三人称视点的视频)呈现给与凯瑟琳相关联的智能设备。作为又一示例，对智能眼镜的第三次敲可以开启智能眼镜的摄像头和配套盒的摄像头这两者，使得可以在通话期间将由智能眼镜和配套盒采集到的视频(例如，第一人称视点和第三人称视点)呈现给与凯瑟琳相关联的智能设备。
61.在步骤512，当智能眼镜和智能手表均放置(例如，对接)在配套盒内时，配套盒可以对智能眼镜和智能手表这两者充电。对于这一点而言，例如，在与凯瑟琳进行的关于吉尔和凯瑟琳的下午计划的通话之后，吉尔可以在在配套盒中对智能眼镜和智能手表这两者充电的同时，喝完她的咖啡。在智能眼镜和智能手表都充满电的情况下，吉尔则可以拿上配套盒、智能眼镜和智能手表，离开咖啡馆，并且启程与凯瑟琳在市区见面。
62.尽管上述示例描述了采集第三人称视点的配套盒，但是应当指出的是，其他合适的通信设备(例如，智能平板、智能手表、膝上型电脑等)也可以在视频通话/会议和/或网络视频直播中采集第三人称视点，以便向用户呈现相关联的视频内容。
63.图6示出了根据示例性实施例的示出了用于在通信期间同时提供多个视角的视频内容的操作的示例流程图。在操作602，设备(例如，网络设备160)可以接收由第一通信设备采集到的第一视频内容。第一视频内容可以与第一视点视角(例如，第一人称视点)相关联，该第一视点视角指示与第一用户在观看环境时通过第一通信设备所观看到的视域相关联的第一视频数据。该第一通信设备可以例如是智能眼镜(例如，hmd 210)、人工现实设备(例如，人工现实设备200)或任何其他合适的智能设备。第一视点视角和第二视点视角可以不同。例如，在第二视点视角下，一个或多个其他用户可能无法观看到与第一用户通过第一通信设备以第一视点视角观看环境时所观看到的环境中视点相同的环境中视点。
64.在操作604，设备(例如，网络设备160)可以接收由第二通信设备采集到的第二视频内容。第二视频内容可以与第二视点视角(例如，第三人称视点)相关联，该第二视点视角与指示以下中的至少一者的第二视频数据相关联：第一用户、或环境内的一个或多个对象。该第二通信设备(例如，ue30)可以例如是智能手表、充电盒、智能平板或其他智能设备。在操作606，设备(例如，网络设备160)可以在与多个设备相关联的通信期间，向一个或多个通信设备同时提供与第一视点视角相关联的第一视频数据和与第二视点视角相关联的第二视频数据。该通信可以例如是视频通话、视频会议或网络视频直播。
65.在示例性实施例中，设备(例如，网络设备160)可以经由通信链路(例如，链路150)向一个或多个通信设备同时提供第一视频数据和第二视频数据。设备(例如，网络设备160)可以在单个通信馈送中向一个或多个通信设备同时提供第一视频数据和第二视频数据。设备(例如，网络设备160)将来自第一视点视角(例如，第一人称视点)的第一视频数据和来自第二视点视角(例如，第三人称视点)的第二视频数据提供给一个或多个通信设备，可以使该一个或多个通信设备的显示设备能够在通信期间同时显示第一视频数据和第二视频数据。与该一个或多个通信设备相关联的显示设备(例如，显示器42)可以例如在该显示设备上并排显示第一视频数据和第二视频数据。在另一示例实施例中，与该一个或多个通信设备相关联的显示设备(例如，显示器42)可在显示/呈现第一视频数据的显示窗口内(例如，
以画中画(picture-in-picture，pip)方式)显示/呈现第二视频数据。
66.替代实施例
67.出于说明的目的，已经呈现了实施例的以上描述，这并不旨在是详尽的，也不旨在将专利权限制为所公开的精确形式。相关领域的技术人员可以理解的是，根据以上公开内容，可以进行许多修改和变化。
68.本描述的一些部分描述了对信息操作的算法和符号表示方面的实施例。这些算法描述和表示通常被数据处理领域的技术人员用来向本领域的其它技术人员有效地传达其工作的实质内容。这些操作尽管是在功能上、计算上或逻辑上描述的，但被理解为是由计算机程序或等效电路、微代码等实现的。此外，事实证明，在不失一般性的情况下，有时为了方便将这些操作的布置称为模块。所描述的操作和其相关联模块可以体现在软件、固件、硬件或它们的任何组合中。
69.可以使用一个或多个硬件或软件模块单独或者与其它设备结合来执行或实现本文中所描述的步骤、操作或过程中的任何。在一个实施例中，使用包括计算机可读介质的计算机程序产品来实现软件模块，该计算机可读介质包含计算机程序代码，计算机程序代码可以被计算机处理器执行，以执行所描述的步骤、操作或过程中的任何或全部。
70.实施例还可以涉及一种用于执行本文中的操作的装置。该装置可以为所需目的而专门构造，和/或该装置可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的计算设备。这种计算机程序可以存储在非暂态有形计算机可读存储介质中、或者适合于存储电子指令的任何类型的介质中，上述介质可以耦接到计算机系统总线。此外，本说明书中提到的任何计算系统可以包括单个处理器，或者可以是使用多个处理器设计来增加计算能力的架构。
71.实施例还可以涉及一种由本文所描述的计算过程产生的产品。这种产品可以包括从计算过程产生的信息，其中，该信息存储在非暂态有形计算机可读存储介质上，并且这种产品可以包括计算机程序产品的任何实施例或本文所描述的其它数据组合。
72.最后，本说明书中使用的语言主要是出于可读性和指导目的而选择的，并且该语言可能不是为了划定或限制创造性主题而选择的。因此，旨在专利权的范围不受该详细描述限制，而是受基于本文的申请上所公布的任何权利要求限制。因此，这些实施例的公开内容旨在对专利权的范围进行说明而不是限制，该专利权的范围在所附权利要求中得到阐述。

技术特征：
1.一种用于提供多个视点视角的视频内容的方法，包括：接收由第一通信设备采集到的第一视频内容，所述第一视频内容与第一视点视角相关联，所述第一视点视角指示与第一用户在观看环境时通过所述第一通信设备所观看到的视域相关联的第一视频数据；接收由第二通信设备采集到的第二视频内容，所述第二视频内容与第二视点视角相关联，所述第二视点视角与指示以下中的至少一者的第二视频数据相关联：所述第一用户、或所述环境内的一个或多个对象；以及在与多个设备相关联的通信期间，向所述多个设备中的一个或多个通信设备同时提供与所述第一视点视角相关联的所述第一视频数据和与所述第二视点视角相关联的所述第二视频数据。2.根据权利要求1所述的方法，其中，所述第一视点视角和所述第二视点视角不同。3.根据权利要求1所述的方法，其中，所述通信包括视频通话、视频会议或网络视频直播。4.根据权利要求1所述的方法，其中，向所述一个或多个通信设备同时提供所述第一视频数据和所述第二视频数据，包括：经由通信链路向所述一个或多个通信设备同时提供所述第一视频数据和所述第二视频数据。5.根据权利要求1所述的方法，其中，所述第一通信设备包括头戴式显示器。6.根据权利要求1所述的方法，其中，所述第二通信设备包括智能手表或充电盒。7.根据权利要求1所述的方法，还包括：在所述通信期间响应于接收到与所述第一通信设备相关联的至少一次敲或触摸的指示，实现所述第一视点视角和所述第二视点视角之间的切换。8.根据权利要求1所述的方法，还包括：在所述通信期间响应于接收到与所述第一通信设备相关联的至少一次敲或触摸的指示，实现与所述第一通信设备相关联的第一摄像头和与所述第二通信设备相关联的第二摄像头之间的切换。9.一种用于提供多个视点视角的视频内容的设备，包括：一个或多个处理器；以及至少一个存储器，所述至少一个存储器存储有多个指令，所述多个指令在被所述一个或多个处理器执行时，使所述设备：接收由第一通信设备采集到的第一视频内容，所述第一视频内容与第一视点视角相关联，所述第一视点视角指示与第一用户在观看环境时通过所述第一通信设备所观看到的视域相关联的第一视频数据；接收由第二通信设备采集到的第二视频内容，所述第二视频内容与第二视点视角相关联，所述第二视点视角与指示以下中的至少一者的第二视频数据相关联：所述第一用户、或所述环境内的一个或多个对象；以及在与多个设备相关联的通信期间，向所述多个设备中的一个或多个通信设备同时提供与所述第一视点视角相关联的所述第一视频数据和与所述第二视点视角相关联的所述第二视频数据。10.根据权利要求9所述的设备，其中，所述第一视点视角和所述第二视点视角不同。
11.根据权利要求9所述的设备，其中，所述通信包括视频通话、视频会议或网络视频直播。12.根据权利要求9所述的设备，其中，当所述一个或多个处理器进一步执行所述多个指令时，所述设备被配置为：通过经由通信链路向所述一个或多个通信设备同时提供所述第一视频数据和所述第二视频数据，来提供所述第一视频数据和所述第二视频数据。13.根据权利要求9所述的设备，其中，所述第一通信设备包括头戴式显示器。14.根据权利要求9所述的设备，其中，所述第二通信设备包括智能手表或充电盒。15.根据权利要求9所述的设备，其中，当所述一个或多个处理器进一步执行所述多个指令时，所述设备被配置为：在所述通信期间响应于接收到与所述第一通信设备相关联的至少一次敲或触摸的指示，实现所述第一视点视角和所述第二视点视角之间的切换。16.根据权利要求9所述的设备，其中，当所述一个或多个处理器进一步执行所述多个指令时，所述设备被配置为：在所述通信期间响应于接收到与所述第一通信设备相关联的至少一次敲或触摸的指示，实现与所述第一通信设备相关联的第一摄像头和与所述第二通信设备相关联的第二摄像头之间的切换。17.一种计算机可读介质，所述计算机可读介质存储有多个指令，所述多个指令在被执行时使得：接收由第一通信设备采集到的第一视频内容，所述第一视频内容与第一视点视角相关联，所述第一视点视角指示与第一用户在观看环境时通过所述第一通信设备所观看到的视域相关联的第一视频数据；接收由第二通信设备采集到的第二视频内容，所述第二视频内容与第二视点视角相关联，所述第二视点视角与指示以下中的至少一者的第二视频数据相关联：所述第一用户、或所述环境内的一个或多个对象；以及在与多个设备相关联的通信期间，向所述多个设备中的一个或多个通信设备同时提供与所述第一视点视角相关联的所述第一视频数据和与所述第二视点视角相关联的所述第二视频数据。18.根据权利要求17所述的计算机可读介质，其中，所述多个指令在被执行时进一步使得：通过经由通信链路向所述一个或多个通信设备同时提供所述第一视频数据和所述第二视频数据，来提供所述第一视频数据和所述第二视频数据。19.根据权利要求17所述的计算机可读介质，其中，所述多个指令在被执行时进一步使得：在所述通信期间响应于接收到与所述第一通信设备相关联的至少一次敲或触摸的指示，实现所述第一视点视角和所述第二视点视角之间的切换。20.根据权利要求17所述的计算机可读介质，其中，所述多个指令在被执行时进一步使得：在所述通信期间响应于接收到与所述第一通信设备相关联的至少一次敲或触摸的指
示，实现与所述第一通信设备相关联的第一摄像头和与所述第二通信设备相关联的第二摄像头之间的切换。

技术总结
公开了一种用于在通信期间同时提供多个视角的视频内容的系统。该系统可以接收由第一通信设备采集到的第一视频内容。该第一视频内容可以与第一视点视角相关联，该第一视点视角指示与第一用户在观看环境时通过第一通信设备所观看到的视域相关联的第一视频数据。该系统可以接收由第二通信设备采集到的第二视频内容。该第二视频内容可以与第二视点视角相关联，该第二视点视角与指示以下中的至少一者的第二视频数据相关联：第一用户、或该环境内的一个或多个对象。系统可以在与多个设备相关联的通信期间，向一个或多个通信设备同时提供与第一视点视角相关联的第一视频数据和与第二视点视角相关联的第二视频数据。视点视角相关联的第二视频数据。视点视角相关联的第二视频数据。


技术研发人员：弗朗西斯科
受保护的技术使用者：元平台公司
技术研发日：2023.02.07
技术公布日：2023/8/14