提供虚拟会议中的发送参与者的3D表示的制作方法

提供虚拟会议中的发送参与者的3d表示
技术领域
1.本公开涉及用于提供虚拟会议中的发送参与者的三维(3d)表示的方法、用于提供虚拟会议中的发送参与者的3d表示的表示提供器、以及用于提供虚拟会议中的发送参与者的3d表示的计算机程序。


背景技术：

2.对远程虚拟会议的需求不断增加。尽管二维(2d)视频(例如经由microsoft teams)在当今很常见，但由更强大的扩展现实(xr)设备驱动的三维(3d)沉浸式通信很快会将虚拟会议的用户体验提升到新的水平。xr是增强现实(ar)、虚拟现实(vr)等的总称。
3.为了使3d虚拟会议工作，应当例如基于诸如激光雷达、雷达或立体成像之类的技术，使用3d成像设备来捕获每个参与者。但是，3d成像导致在参与者的用户设备之间传输大量数据。
4.对于虚拟会议来说，实时从3d成像设备、3d流(例如点云)捕获数据并且对数据进行编码仍然是一个挑战。对于带宽变化很大的网络(临时尖峰/中断)，并且考虑到3d捕获流的带宽需求，这也是一个问题。另一个问题是网络延迟抖动，其对会议体验产生显著的负面影响。


技术实现要素：

5.一个目的是减少3d虚拟会议的资源使用，特别是诸如带宽之类的网络资源使用。
6.根据第一方面，提供了一种用于提供虚拟会议中的发送参与者的三维3d表示的方法。所述方法在表示提供器中执行。所述方法包括：获得人的至少一部分的非实时3d模型；获得所述虚拟会议的所述发送参与者的部分实时3d数据；以及将所述非实时3d模型与所述部分实时3d数据进行组合，从而产生所述发送参与者的组合3d表示。
7.根据第二方面，提供了一种用于提供虚拟会议中的发送参与者的三维3d表示的表示提供器。所述表示提供器包括处理器和存储指令的存储器，所述指令在由所述处理器执行时使得所述表示提供器：获得人的至少一部分的非实时3d模型；获得所述虚拟会议的所述发送参与者的部分实时3d数据；以及将所述非实时3d模型与所述部分实时3d数据进行组合，从而产生所述发送参与者的组合3d表示。
8.根据第三方面，提供了一种用于提供虚拟会议中的发送参与者的3d表示的计算机程序。所述计算机程序包括计算机程序代码，所述计算机程序代码当在表示提供器上被执行时使得所述表示提供器：获得人的至少一部分的非实时3d模型；获得所述虚拟会议的所述发送参与者的部分实时3d数据；以及将所述非实时3d模型与所述部分实时3d数据进行组合，从而产生所述发送参与者的组合3d表示。
9.根据第四方面，提供了一种计算机程序产品，其包括根据第三方面的计算机程序和所述计算机程序被存储在其上的计算机可读装置。
10.在本上下文中，部分实时3d数据被理解为是表示发送参与者的部分(例如特定身
体部分，如参与者的头部)的实时摄像机流。在虚拟会议期间实时捕获实时摄像机流。人的至少一部分的非实时3d模型被理解为是表示发送参与者的3d模型，基于非实时3d模型，可以通过将部分实时3d数据与非实时3d模型进行组合来导出发送参与者的完整表示。非实时3d模型是预先生成的(非实时)，并且可以是例如用于与发送参与者具有相同性别和体型的人的通用模型，或者是特定于发送参与者的模型。通过在虚拟会议期间仅发送部分实时3d数据而不是参与者的完整表示，并且将部分实时3d数据与非实时3d模型进行组合，降低了会议期间对网络带宽的要求。
11.通常，除非本文另外明确定义，否则权利要求中使用的所有术语将根据其在技术领域中的普通含义来解释。除非另外明确说明，否则对一/一个/该元件、装置、组件、部件、步骤等的所有引用应公开地解释为是指该元件、装置、组件、部件、步骤等的至少一个实例。除非明确说明，否则本文公开的任何方法的步骤不必以所公开的确切顺序执行。
附图说明
12.现在参考附图通过示例的方式来描述各方面和实施例，其中：
13.图1是示出其中可以针对虚拟会议应用本文提供的实施例的环境的示意图；
14.图2是示出图1所示的参与者的虚拟会议的示意图；
15.图3是示出组合3d数据的实施例的示意图，其中非实时3d模型基于2d摄像机源；
16.图4是示出组合3d数据的实施例的示意图，其中非实时3d模型基于3d摄像机源；
17.图5是示出3d建模实施例的调用流程的序列图，其中非实时3d模型和部分实时3d数据在服务器中被组合；
18.图6是示出3d建模实施例的调用流程的序列图，其中非实时3d模型和部分实时3d数据由接收者用户设备组合；
19.图7是示出3d建模实施例的调用流程的序列图，其中个性化3d模型和部分实时3d数据在服务器中被组合；
20.图8是示出3d建模实施例的调用流程的序列图，其中个性化3d模型和部分实时3d数据由接收者用户设备组合；
21.图9示出了基于2d图像输入而生成的3d模型；
22.图10示出了来自点云的部分3d数据；
23.图11是示出基于来自服务器的视觉反馈对组合3d表示与实时流进行交叉验证的调用流程的序列图；
24.图12a-12b是示出用于提供虚拟会议中的发送参与者的3d表示的方法的实施例的流程图；
25.图13是示出表示提供器的组件的示意图；
26.图14是示出根据实施例的图13的表示提供器1的功能模块的示意图；以及
27.图15示出了包括计算机可读装置的计算机程序产品的示例。
具体实施方式
28.现在将在以下参考附图更全面地描述本公开的各方面，在附图中示出了本发明的特定实施例。但是，这些方面可以以多种不同的形式体现，并且不应被解释为限制；而是，通
过示例的方式提供这些实施例以使得本公开详尽并完整，并且将本发明的所有方面的范围完全传达给本领域技术人员。说明书中相同的编号指相同的元件。
29.本文提供的实施例通过将部分实时3d数据(由发送参与者处的成像设备实时捕获)与非实时3d模型进行组合，提供了虚拟会议中的参与者的资源高效的3d表示。与依赖于3d计算机生成的化身(avatar)的现有技术相比，本文提供的实施例通过用由3d成像设备捕获的实时3d数据增强发送参与者的3d模型，来提供会议参与者的真实表示。因为完整的3d捕获深度图像(其提供发送参与者的完整捕获表示)是带宽密集的并且对延迟要求很高，所以本文提供的实施例将从3d成像设备实时捕获的部分实时3d数据与参与者的非实时3d模型表示进行组合，以提供真实的3d表示和降低的网络要求两者。
30.在本文提供的实施例中，部分实时3d数据(例如以流的形式)从参与者(在本文中表示为发送参与者)的3d成像设备被实时发送到网络中的服务器(例如边缘云服务器)，在该服务器中，该部分实时3d数据被与训练后的非实时3d模型进行组合，以提供发送参与者的组合3d表示。这降低了传送实时3d数据对网络的带宽要求，并且将服务器中的参与者的3d模型与部分地表示参与者的实时3d流进行组合，以提供发送参与者的完整3d表示以用于由接收用户设备呈现。非实时3d模型可选地被加密以保护隐私。其目的是让发送参与者控制3d模型的使用方式，即，未经同意不得重用3d模型。
31.本文提供的实施例降低了对网络的实时带宽和延迟以及延迟抖动要求。与当今的2d视频通信相比，3d虚拟会议向参与者提供3d沉浸式体验。要注意的是，虚拟会议在此被解释为允许在至少两个参与者之间使用3d设备实现虚拟存在的任何连接，例如被解释为3d视频电话、3d虚拟商务会议、3d虚拟庭审等。
32.实施例能够基于移动运营商域中的所谓边缘云中的服务器，通过这种方式能够针对虚拟3d通信提供新的服务产品，并且可选地保护从边缘云服务器到用户设备的3d通信。
33.与否则可能的情况相比，降低的带宽、延迟和延迟抖动要求允许在网络的更大部分处(即，在网络的更深处，例如在小区边缘，包括深度室内位置)提供虚拟3d通信服务。
34.图1是示出其中可以针对虚拟会议应用本文提供的实施例的环境的示意图。存在第一参与者5a、第二参与者5b和第三参与者。不同实体之间的通信由通信网络6来实现。通信网络可以是基于互联网协议(ip)的网络。该网络可以例如包括本地无线网络、蜂窝网络、有线局域网、广域网(例如互联网)等中的任何一个或多个。
35.第一参与者5a在第一物理空间7a(例如家或办公室)中，并且具有能够呈现3d内容的第一用户设备2a。例如，第一用户设备2a可以是xr设备，例如采取眼镜、智能电话或平板电脑的形式。提供了第一3d成像设备4a以捕获第一参与者5a的3d图像。可选地，第一3d成像设备4a形成第一用户设备2a的一部分(未示出)。第一用户设备2a和第一3d成像设备4a中的每一个都直接(如图所示)或经由另一个本地设备(例如经由第一用户设备2a)被连接到通信网络6。
36.第二参与者5b在第二物理空间7b(例如家或办公室)中，并且具有能够呈现3d内容的第二用户设备2b。例如，第二用户设备2b可以是xr设备，例如采取眼镜或智能电话的形式。提供了第二3d成像设备4b以捕获第二参与者5b的3d图像。可选地，第二3d成像设备4b形成第二用户设备2b的一部分(未示出)。第二用户设备2b和第二3d成像设备4b中的每一个都直接(如图所示)或经由另一个本地设备(例如经由第二用户设备2b)被连接到通信网络6。
37.第三参与者5c在第三物理空间7c(例如家或办公室)中，并且具有能够呈现3d内容的第三用户设备2c。例如，第三用户设备2c可以是xr设备，例如采取眼镜或智能电话的形式。提供了第三3d成像设备4c以捕获第三参与者5c的3d图像。可选地，第三3d成像设备4c形成第三用户设备2c的一部分(未示出)。第三用户设备2c和第三3d成像设备4c中的每一个都直接(如图所示)或经由另一个本地设备(例如经由第三用户设备2c)被连接到通信网络6。
38.3d成像设备4a-4c可以使用任何一种合适的技术(例如激光雷达、雷达、立体成像等)或这些技术的组合来实现。来自3d成像设备4a-4c的输出可以是任何合适的格式，例如点云、rgb(红绿蓝)深度、网格(mesh)等。
39.提供了被连接到通信网络6的服务器3。服务器3可以形成由云服务提供商提供的云服务的一部分。服务器3使用单个物理计算机来实现，或者使用单个位置中或跨越多个位置的多个计算机来实现。
40.使用图1中公开的组件，参与者5a、5b、5c可以建立虚拟会议，从而提供其他参与者的视觉3d呈现。
41.图2是示出图1所示的参与者的虚拟会议的示意图。图2中的视图是虚拟会议的3d环境的虚拟透视图，其具有第一参与者5a的第一表示5a’、第二参与者5b的第二表示5b’和第三参与者5c的第三表示5c’。在相应的用户设备2a、2b、2c的实际呈现中，视图被呈现为从相应的表示5a’、5b’、5c’看到的视图。
42.以下提供了其中描述一个参与者的表示的实施例。该参与者被表示为发送参与者，并且观看发送参与者的参与者被称为接收参与者。但是，要注意的是，可以向所有其他参与者类似地表示虚拟会议的所有参与者。换言之，本文提供的实施例可以被应用于具有至少一个发送参与者的多个参与者。换言之，例如如果发送参与者正在演讲，则可以在一个或多个接收参与者的用户设备上呈现该发送参与者。替代地或附加地，可以在其他参与者的用户设备上呈现两个或更多个发送参与者。
43.图3是示出3d数据组合的实施例的示意图，其中非实时3d模型基于2d摄像机源。这示出了基于将训练后的非实时3d模型与部分实时3d数据进行组合的实施例。2d摄像机流可以被用于构造非实时3d模型。例如，这可以基于在feng等人的“joint 3d face reconstruction and dense alignment with position map regression network(用位置图回归网络进行联合三维人脸重建和密集对齐)”(在提交本技术时，可以在https://arxiv.org/abs/1803.07835处获得)中描述的方法，其公开了基于2d图像来导出人脸的3d形状。
44.附加地，在图3的下部，部分实时3d数据通过网络被发送到表示提供器1(在服务器3或接收参与者的用户设备中实现)，表示提供器1将非实时3d模型与部分实时3d数据进行组合，以生成参与者的真实3d表示。
45.要注意的是，2d摄像机和3d成像设备(例如3d摄像机)表示图像捕获系统，并且可以共同位于一个摄像机中或者在单独的设备中提供。这同样适用于本公开中描述的其他实施例。
46.要注意的是，尽管在图3和图4中示出了猫，但实施例主要被应用于人类参与者。
47.图4是示出3d数据组合的实施例的示意图，其中非实时3d模型基于3d成像设备源。在该实施例中，服务器3预先生成参与者的完整3d表示，并且将其存储在例如在边缘云中的
服务器上。所生成的3d表示可以特定用于每个参与者，并且在虚拟会议之前生成。这减少了虚拟会议期间的带宽需求。附加地，服务器可以优化3d摄像机流输入以用于生成非实时3d模型(例如背景去除)。预先生成的非实时3d模型可以例如从不同角度捕获参与者的3d表示。在运行时期间，非实时3d模型被与来自3d成像设备的部分实时3d数据进行组合，以提供虚拟会议中的参与者的真实3d表示。组合在表示提供器1中进行，表示提供器1可以在服务器3中或者在接收参与者的用户设备中实现。
48.图5是示出3d建模实施例的调用流程的序列图，其中非实时3d模型和部分实时3d数据在服务器中被组合。要注意的是，对于所有序列图，“捕获系统”形成发送参与者的用户设备的一部分，并且可以包括2d摄像机和3d成像设备之一或两者。
49.对于图3所示的实施例，示出了训练和执行阶段。在训练阶段，通过考虑大型流数据集(例如包括深度图像和纹理图像的点云)，2d和3d摄像机流被用于训练非实时3d模型。每当在本公开中使用点云时，点云包含3d空间中的一组点(例如作为笛卡尔坐标)。点云可以包含大量的点，例如多达数万个点或者甚至数百万个点。
50.在执行阶段，2d摄像机图像被用于基于训练后的非实时3d模型来构造3d模型。此外，部分实时3d数据从3d成像设备被发送到服务器，在服务器中将其与非实时3d模型进行组合。组合3d表示被提供给接收参与者的用户设备。
51.图6是示出3d建模实施例的调用流程的序列图，其中非实时3d模型和部分实时3d数据由接收者用户设备组合。在训练之后，生成的非实时3d模型被提供给用户设备，并且在执行期间，2d图像和部分实时3d数据被提供给用户设备。只要可行，3d模型便可以预先被传输到用户设备，以减少会议期间的实时带宽需求。每当在该实施例或本文提供的任何其他实施例中传输3d模型时，3d模型可以被加密以保护隐私。
52.图7是示出3d建模实施例的调用流程的序列图，其中3d个性化模型和部分实时3d数据在服务器3中被组合。
53.该实施例可以被与图4的实施例进行组合。在训练阶段，从不同角度表示未来发送参与者的3d流被提供给服务器，服务器针对未来发送参与者构建个性化3d模型储存库。在执行阶段，基于3d成像设备的方位和发送参与者的身份，从服务器中选择正确的3d模型。该模型被与从3d成像设备接收的部分实时3d数据进行组合，并且组合3d表示被提供给用户设备。
54.图8是示出3d建模实施例的调用流程的序列图，其中3d个性化模型和部分实时3d数据由接收者用户设备组合。组合在接收参与者的用户设备中发生。可以在虚拟会议之前将预先生成的非实时3d模型提供给用户设备。在虚拟会议期间，3d成像设备的方位被提供给用户设备以选择非实时3d模型，并且部分实时3d数据被提供给用户设备。非实时3d模型和部分实时3d数据两者的组合由用户设备执行。非实时3d模型被传输到用户设备以减少实时带宽需求。
55.图9示出了基于2d图像输入而生成的3d数据。图9的上部示出了可以在表示提供器1中(其在服务器或用户设备中)基于2d图像输入而生成的输出3d模型。图9的下部示出了具有头发和颈部的计算机建模的化身的完整头部。
56.对于实际方面，参与者头部的表示可以被分成多个部分，例如颈部、脸部和头发。使用该实施例，组合3d表示可以被制作成动画，并且如果需要，则可以基于部分实时3d数据
来调整旋转。
57.图10示出了从点云导出的部分3d数据，示出了脸部、前颈部和上半身。注意，在该点云中不包括头发。
58.图11是示出基于来自表示提供器的视觉反馈对组合3d表示与实时流进行交叉验证的调用流程的序列图。组合3d表示可以作为来自表示提供器的视觉反馈被提供给捕获系统，即，发送参与者的用户设备。发送参与者的用户设备使用组合3d表示对组合3d表示与来自3d成像设备的实时流进行交叉验证。可以向表示设备提供反馈。反馈可以是对交叉验证的简单确认，或者也可以包括流的特定区域中的错误指示，从而允许表示设备改进它对组合3d表示的生成。
59.交叉验证可以在虚拟会议开始时发生、周期性地发生或者在需要时发生，例如如果组合中的错误级别高于特定阈值，则发送所生成的模型以进行交叉验证。要注意的是，交叉验证可以被应用于本文提供的任何实施例。
60.图12a-12b是示出用于提供虚拟会议中的发送参与者的3d表示的方法的实施例的流程图。方法的实施例在表示提供器1中执行，表示提供器1可以在接收参与者的用户设备中或者在服务器中被实现。
61.在可选的生成非实时3d模型步骤40中，表示提供器1基于摄像机数据来生成非实时3d模型，例如如上所述。摄像机数据包括来自2d摄像机或来自3d成像设备的数据。非实时3d模型可以例如恰好在虚拟会议之前(如作为建立过程的一部分)被与虚拟会议一起适配。这能够确保非实时3d模型包含发送参与者的当前外观(例如发型、衣服、化妆、晒黑、光照条件等)的最新信息。
62.在获得非实时3d模型步骤42中，表示提供器1获得人的至少一部分的非实时3d模型。
63.非实时3d模型可以是特定用于发送参与者5a的模型。
64.替代地，非实时3d模型是作为能够被用于多个不同的发送参与者的通用模型的模型。在这种情况下，可以基于发送参与者5a的特性(例如性别、年龄等)，从多个非实时3d模型中选择非实时3d模型。
65.在获得部分实时3d数据步骤44中，表示提供器1获得虚拟会议的发送参与者5a的部分实时3d数据。部分实时3d数据由发送参与者处的3d成像设备捕获，并且包含描绘发送参与者的3d数据。
66.在组合步骤46中，表示提供器1将非实时3d模型与部分实时3d数据进行组合，从而产生发送参与者5a的组合3d表示。
67.当实时部分实时3d数据暂时不可用时，该步骤可以包括：将非实时3d模型与最近接收的部分实时3d数据进行组合，以及生成发送参与者的表示不可用性的外观。例如，可以生成组合3d表示，其中发送参与者正在看向一侧，从而指示发送参与者未关注。随着时间的推移，参与者将了解到这是网络问题的指示，该指示被以直观和自然的方式来指示。
68.可选地，表示提供器1形成服务器3的一部分。在这种情况下，在可选的向接收者发送组合步骤47中，表示提供器1向接收参与者的用户设备2a发送组合3d表示，以用于由该用户设备2a针对接收参与者来呈现。
69.在可选的向源发送组合步骤48中，表示提供器1向发送参与者的用户设备2a发送
组合3d表示。这使得发送参与者的用户设备能够针对发送参与者呈现组合表示，从而允许发送参与者观看他(她)们的如由接收参与者看到的视觉表示。视觉表示包括例如由于网络质量的变化而导致的通信效果。例如，发送参与者可以看到接收参与者何时观察到发送参与者的不可用性。可选地，成功的呈现和/或成功的组合3d表示的指示被提供给发送参与者的用户设备。
70.在可选的接收性能指示步骤50中，表示提供器1从发送参与者的用户设备2a接收性能指示。
71.现在转到图12b，其是示出组合步骤46的可选子步骤的流程图。
72.在可选的识别非实时3d模型中的身体特征子步骤46a中，表示提供器1识别非实时3d模型中的至少一个身体特征。这种身体特征可以例如是颈部、眼睛、嘴唇、张口、脸部、头发等中的任何一个或多个。
73.在可选的识别实时3d数据中的身体特征子步骤46b中，表示提供器1识别实时3d数据中的至少一个身体特征。
74.在可选的生成子步骤46c中，表示提供器1基于非实时3d模型和实时3d数据两者来生成发送参与者5a的组合3d表示。在此生成中，对于形成非实时3d模型和实时3d数据两者的一部分的身体特征(在此表示为共同身体特征)，对实时3d数据给予更多的考虑。这可以通过对非实时3d模型和实时3d数据应用不同的权重来实现。可选地，当网络带宽减小时，对实时3d数据应用更多的考虑。
75.对于共同身体特征，可以针对实时3d数据分配更高的权重(脸部周围的关键信息例如可以被优先化)。
76.加权也可以基于部分实时3d数据的质量，例如当部分实时3d数据的质量非常高时，仅部分实时3d数据被用于这些区域，而当质量低时，或者在未接收部分实时3d数据的中断期间，部分实时3d数据被跳过或减少。
77.对于仅非实时3d模型有贡献的部分(例如身体部位)，仅来自非实时3d模型的数据被用于生成组合3d表示。
78.在组合步骤46中，非实时3d模型和部分实时3d数据的组合可以以不同的方式发生，例如来自3d模型和部分实时3d数据两者的点云坐标的叠加。这可以包括多个可选步骤来改进组合。
79.在一个实施例中，部分实时3d数据中与参与者的特定身体特征相对应的部分在预处理中由服务器或摄像机来识别。这种部分与部分实时3d数据一起被详细说明，例如作为辅助数据。这种部分可以例如对应于被认为对视觉体验非常重要的区域(例如眼睛或嘴部周围的区域)。
80.可选地，当在服务器中执行时，组合还基于与接收用户的用户设备的连接性。例如，当网络连接性良好时，生成和发送基于共同和非共同部分的完整3d表示，而当网络条件差时，仅发送组合后的共同部分。
81.当组合在用户设备中发生时，组合可以取决于用户设备的处理和能量要求。组合还可以取决于通信能力，例如实时3d数据中的内容的范围。
82.例如，通过采用可以被实时执行的训练后的机器学习(ml)/人工智能(ai)模型，组合可以被自动化。
83.组合3d表示被显示在接收参与者的用户设备上，从而允许接收参与者以实时3d数据和非实时3d模型的组合来可视化发送参与者。
84.如上所述，表示提供器可以被实现为接收参与者的用户设备的一部分，并且如上所述，接收参与者的用户设备可以是xr设备。
85.使用本文提供的实施例，能够部署3d捕获(例如，使用点云)，而没有现有技术的巨大带宽要求的挑战。此外，不使用点云压缩标准，因为这些标准不太适合于实时通信。
86.此外，本文提供的一些实施例基于发送参与者捕获的实时3d数据的最相关部分。与2d到3d转换相比，这种解决方案导致极大提高的质量。
87.图13是示出表示提供器1的组件的示意图。要注意的是，当实现为主机设备(例如服务器3或接收用户设备2b)的一部分时，所提到的一个或多个组件可以与主机设备共享。使用以下中的一项或多项的任何组合来提供处理器60：合适的中央处理单元(cpu)、图形处理单元(gpu)、多处理器、微控制器、数字信号处理器(dsp)等，它们能够执行存储在存储器64中的软件指令67，存储器64因此可以是计算机程序产品。替代地，处理器60可以使用专用集成电路(asic)、现场可编程门阵列(fpga)等来实现。处理器60可以被配置为执行上面参考图12a-12b描述的方法。
88.存储器64可以是随机存取存储器(ram)和/或只读存储器(rom)的任何组合。存储器64还包括永久性存储装置，其例如可以是磁存储器、光存储器、固态存储器或甚至远程安装的存储器中的任何一个或组合。
89.还提供了数据存储器66，用于在处理器60中执行软件指令期间读取和/或存储数据。数据存储器66可以是ram和/或rom的任何组合。
90.表示提供器1还包括用于与外部和/或内部实体通信的i/o接口62。可选地，i/o接口62还包括用户接口。
91.表示提供器1的其他组件被省略，以免使本文提供的概念模糊不清。
92.图14是示出根据一个实施例的图13的表示提供器1的功能模块的示意图。使用软件指令(例如在表示提供器1中执行的计算机程序)来实现模块。替代地或附加地，使用硬件来实现模块，这些硬件例如是专用集成电路(asic)、现场可编程门阵列(fpga)或离散逻辑电路中的任何一个或多个。模块对应于图12a和12b所示方法中的步骤。
93.非实时3d模型生成器70对应于步骤40。非实时3d模型获得器72对应于步骤42。部分实时3d数据获得器74对应于步骤44。组合器76对应于步骤46。3d模型身体特征识别器76a对应于子步骤46a。3d数据身体特征识别器76b对应于子步骤46b。生成器76c对应于子步骤46c。组合到接收者发送器77对应于步骤47。组合到源发送器78对应于步骤48。性能指示接收器80对应于步骤50。
94.图15示出了包括计算机可读装置的计算机程序产品90的一个示例。在该计算机可读装置上，可以存储计算机程序91，该计算机程序可以使得处理器执行根据本文描述的实施例的方法。在该示例中，计算机程序产品采取可移动固态存储器(例如通用串行总线(usb)驱动器)的形式。如上所述，计算机程序产品还可以体现在设备的存储器中，例如图13的计算机程序产品64。尽管计算机程序91在此被示意性地示为可移动固态存储器的一部分，但计算机程序可以以适合于计算机程序产品的任何方式被存储，例如另一种类型的可移动固态存储器或光盘，例如光盘(cd)、数字多功能光盘(dvd)或蓝光光盘。
95.上面参考几个实施例主要描述了本公开的各方面。但是，如本领域技术人员容易理解的，在由所附专利权利要求限定的本发明的范围内，上面公开的实施例之外的其他实施例同样也是可能的。因此，尽管本文公开了各个方面和实施例，但其他方面和实施例对本领域技术人员来说将是显而易见的。本文公开的各个方面和实施例是为了说明目的而并非旨在作为限制，并且真正的范围和精神由以下权利要求来指示。

技术特征：
1.一种用于提供虚拟会议中的发送参与者(5a)的三维3d表示的方法，所述方法在表示提供器(1)中执行，所述方法包括以下步骤：获得(42)人的至少一部分的非实时3d模型；获得(44)所述虚拟会议的所述发送参与者(5a)的部分实时3d数据；以及将所述非实时3d模型与所述部分实时3d数据进行组合(46)，从而产生所述发送参与者(5a)的组合3d表示。2.根据权利要求1所述的方法，其中，将所述非实时3d模型与所述部分实时3d数据进行组合(46)的步骤包括以下子步骤：识别(46a)所述非实时3d模型中的至少一个身体特征；识别(46b)所述实时3d数据中的至少一个身体特征；基于所述非实时3d模型和所述实时3d数据两者，生成(46c)所述发送参与者(5a)的所述组合3d表示，其中，对于形成所述非实时3d模型和所述实时3d数据两者的一部分的身体特征，对所述实时3d数据给予更多的考虑。3.根据权利要求2所述的方法，其中，生成(46c)子步骤包括：通过对所述非实时3d模型和所述实时3d数据应用不同的权重，对所述实时3d数据应用更多的考虑。4.根据权利要求2或3所述的方法，其中，生成(46c)子步骤包括：当网络带宽减小时，对所述实时3d数据应用更多的考虑。5.根据前述权利要求中任一项所述的方法，其中，将所述非实时3d模型与所述部分实时3d数据进行组合(46)的步骤包括：当实时部分实时3d数据暂时不可用时，将所述非实时3d模型与最近接收的部分实时3d数据进行组合(46)，以及生成所述发送参与者的表示不可用性的外观。6.根据前述权利要求中任一项所述的方法，还包括以下步骤：基于摄像机数据，生成(40)所述非实时3d模型。7.根据权利要求6所述的方法，其中，所述摄像机数据包括来自2d摄像机的数据。8.根据权利要求6或7所述的方法，其中，所述摄像机数据包括来自3d成像设备的数据。9.根据前述权利要求中任一项所述的方法，其中，所述非实时3d模型是特定用于所述发送参与者(5a)的模型。10.根据前述权利要求中任一项所述的方法，其中，所述非实时3d模型是作为能够被用于多个不同的发送参与者的通用模型的模型。11.根据权利要求10所述的方法，其中，基于所述发送参与者(5a)的特性，从多个非实时3d模型中选择所述非实时3d模型。12.根据前述权利要求中任一项所述的方法，还包括以下步骤：向所述发送参与者的用户设备(2a)发送(48)所述组合3d表示。13.根据权利要求12所述的方法，还包括以下步骤：从所述发送参与者的所述用户设备(2a)接收(50)性能指示。14.根据前述权利要求中任一项所述的方法，其中，所述表示提供器(1)形成接收参与者(5b)的用户设备(2b)的一部分。15.根据权利要求14所述的方法，其中，所述接收参与者的所述用户设备(2b)是扩展现实xr设备。
16.根据权利要求1至14中任一项所述的方法，其中，所述表示提供器(1)形成服务器(3)的一部分。17.根据权利要求16所述的方法，还包括以下步骤：向所述接收参与者的用户设备(2b)发送(47)所述组合3d表示。18.一种用于提供虚拟会议中的发送参与者(5a)的三维3d表示的表示提供器(1)，所述表示提供器(1)包括：处理器(60)；以及存储器(64)，其存储指令(67)，所述指令(67)在由所述处理器执行时使得所述表示提供器(1)：获得人的至少一部分的非实时3d模型；获得所述虚拟会议的所述发送参与者(5a)的部分实时3d数据；以及将所述非实时3d模型与所述部分实时3d数据进行组合，从而产生所述发送参与者(5a)的组合3d表示。19.根据权利要求18所述的表示提供器(1)，其中，用于将所述非实时3d模型与所述部分实时3d数据进行组合的指令包括指令(67)，所述指令(67)在由所述处理器执行时使得所述表示提供器(1)：识别所述非实时3d模型中的至少一个身体特征；识别所述实时3d数据中的至少一个身体特征；基于所述非实时3d模型和所述实时3d数据两者，生成所述发送参与者(5a)的所述组合3d表示，其中，对于形成所述非实时3d模型和所述实时3d数据两者的一部分的身体特征，对所述实时3d数据给予更多的考虑。20.根据权利要求19所述的表示提供器(1)，其中，用于生成的指令包括指令(67)，所述指令(67)在由所述处理器执行时使得所述表示提供器(1)：通过对所述非实时3d模型和所述实时3d数据应用不同的权重，对所述实时3d数据应用更多的考虑。21.根据权利要求19或20所述的表示提供器(1)，其中，用于生成的指令包括指令(67)，所述指令(67)在由所述处理器执行时使得所述表示提供器(1)：当网络带宽减小时，对所述实时3d数据应用更多的考虑。22.根据权利要求18至21中任一项所述的表示提供器(1)，其中，用于将所述非实时3d模型与所述部分实时3d数据进行组合的指令包括指令(67)，所述指令(67)在由所述处理器执行时使得所述表示提供器(1)：当实时部分实时3d数据暂时不可用时，将所述非实时3d模型与最近接收的部分实时3d数据进行组合，以及生成所述发送参与者的表示不可用性的外观。23.根据权利要求18至22中任一项所述的表示提供器(1)，还包括指令(67)，所述指令(67)在由所述处理器执行时使得所述表示提供器(1)：基于摄像机数据，生成所述非实时3d模型。24.根据权利要求23所述的表示提供器(1)，其中，所述摄像机数据包括来自2d摄像机的数据。25.根据权利要求23或24所述的表示提供器(1)，其中，所述摄像机数据包括来自3d成像设备的数据。
26.根据权利要求18至25中任一项所述的表示提供器(1)，其中，所述非实时3d模型是特定用于所述发送参与者(5a)的模型。27.根据权利要求18至26中任一项所述的表示提供器(1)，其中，所述非实时3d模型是作为能够被用于多个不同的发送参与者的通用模型的模型。28.根据权利要求27所述的表示提供器(1)，其中，基于所述发送参与者(5a)的特性，从多个非实时3d模型中选择所述非实时3d模型。29.根据权利要求18至28中任一项所述的表示提供器(1)，还包括指令(67)，所述指令(67)在由所述处理器执行时使得所述表示提供器(1)：向所述发送参与者的用户设备(2a)发送所述组合3d表示。30.根据权利要求29所述的表示提供器(1)，还包括指令(67)，所述指令(67)在由所述处理器执行时使得所述表示提供器(1)：从所述发送参与者的所述用户设备(2a)接收性能指示。31.一种接收参与者(5b)的用户设备(2b)，包括根据权利要求18至30中任一项所述的表示提供器(1)。32.根据权利要求31所述的用户设备(2b)，其中，所述用户设备(2b)是扩展现实xr设备。33.一种服务器(3)，包括根据权利要求18至30中任一项所述的表示提供器(1)。34.根据权利要求33所述的服务器(3)，还包括指令(67)，所述指令(67)在由所述处理器执行时使得所述表示提供器(1)：向所述接收参与者的用户设备(2b)发送所述组合3d表示。35.一种用于提供虚拟会议中的发送参与者(5a)的三维3d表示的计算机程序(67，91)，所述计算机程序包括计算机程序代码，所述计算机程序代码当在表示提供器(1)上被执行时使得所述表示提供器(1)：获得人的至少一部分的非实时3d模型；获得所述虚拟会议的所述发送参与者(5a)的部分实时3d数据；以及将所述非实时3d模型与所述部分实时3d数据进行组合，从而产生所述发送参与者(5a)的组合3d表示。36.一种计算机程序产品(64，90)，包括根据权利要求35所述的计算机程序和所述计算机程序被存储在其上的计算机可读装置。

技术总结
提供了一种用于提供虚拟会议中的发送参与者的三维(3D)表示的方法。该方法在表示提供器(1)中执行，并且包括：获得人的至少一部分的非实时3D模型；获得虚拟会议的发送参与者的部分实时3D数据；以及将非实时3D模型与部分实时3D数据进行组合，从而产生发送参与者的组合3D表示。表示。表示。


技术研发人员：A
受保护的技术使用者：瑞典爱立信有限公司
技术研发日：2021.07.07
技术公布日：2023/7/12