不同时空人物在同时空交互的系统、方法和设备与流程

1.本发明涉及虚拟现实技术领域，尤其涉及一种不同时空人物在同时空交互的系统、方法和设备。


背景技术：

2.现实生活中，在某些活动中，需要将多个用户在同一时刻集中到同一个地点进行相关活动。如进行会议或者需要进行表演彩排的过程中，需要将相关人员在同一时刻集中在一起从而实现会议或彩排的顺利进行。
3.相关技术中，由于时间、空间距离限制及费用等问题，并不是所有的人员都有足够的时间聚到一起，因而如何克服时间、空间距离的限制，实现不同时空人物在同时空的有效交互，是本领域技术人员亟需解决的问题。


技术实现要素：

4.针对现有技术中的问题，本发明实施例提供一种不同时空人物在同时空交互的系统、方法和设备。
5.具体地，本发明实施例提供了以下技术方案：
6.第一方面，本发明实施例提供了一种不同时空人物在同时空交互的系统，包括：
7.服务器端后台系统、多个用户端交互系统、与每一用户端交互系统所配合的穿戴显示设备和穿戴动捕设备；其中，
8.用户端交互系统用于响应于用户的输入，确定用户对应的数字孪生人物和数字孪生人物所在的目标虚拟场景；
9.穿戴动捕设备用于实时捕获用户的动作信息，并发送至服务器端后台系统；
10.穿戴显示设备用于实时捕获用户在目标区域中的位置信息，并发送至服务器端后台系统；目标区域为与目标虚拟场景大小相同的区域；
11.服务器端后台系统用于确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信息和位置信息，并发送至穿戴显示设备；
12.穿戴显示设备还用于实时显示多个用户对应的多个数字孪生人物在同一个目标虚拟场景中的动作和位置信息，以供用户进行实时的动作和/或位置调整。
13.进一步地，服务器端后台系统用于在同一时刻接收到多个用户的动作信息和位置信息的情况下，确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信息和位置信息。
14.进一步地，服务器端后台系统分别在不同时刻接收到不同用户的动作信息以及用户在目标区域中的位置信息的情况下，确定多个用户对应的多个数字孪生人物在同一个目标虚拟场景中的动作和位置信息。
15.进一步地，服务器端后台系统用于分别在不同时刻接收到不同用户的动作信息和位置信息的情况下，确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信
息和位置信息。
16.进一步地，服务器端后台系统用于分别在不同时刻接收到不同用户的动作信息和位置信息的情况下，将不同时刻接收到的不同用户的动作信息和位置信息进行同步，确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信息和位置信息。
17.进一步地，服务器端还用于接收用户活动时所播放的的音乐信息；服务器端后台系统用于分别在不同时刻接收到不同用户的动作信息和位置信息的情况下，将音乐信息作为目标同步信息，根据音乐信息播放的内容和/或音乐信息播放的时刻，将不同用户的动作信息和位置信息进行同步，确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信息和位置信息。
18.第二方面，本发明实施例还提供了一种不同时空人物在同时空交互的方法，包括：
19.获取基于用户端交互系统输入的与用户对应的字孪生人物和数字孪生人物所在的目标虚拟场景；
20.基于实时捕获的用户的动作信息以及用户在目标区域中的位置信息，确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信息和位置信息；其中，目标区域为与目标虚拟场景大小相同的区域；
21.发送显示信息，显示信息用于显示多个用户对应的多个数字孪生人物在同一个目标虚拟场景中的动作和位置信息，以供用户进行实时的动作和/或位置调整。
22.第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如第二方面所述不同时空人物在同时空交互的方法。
23.第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第二方面所述不同时空人物在同时空交互的方法。
24.第五方面，本发明实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第二方面所述不同时空人物在同时空交互的方法。
25.本发明实施例提供的不同时空人物在同时空交互的系统、方法和设备，用户端交互系统根据用户的输入，确定用户对应的数字孪生人物和数字孪生人物所在的目标虚拟场景，从而实现了对用户和真实活动场景的准确模拟和仿真，提升了模拟和仿真的真实度；穿戴动捕设备实时捕获用户动作，穿戴显示设备实时捕获用户在目标区域中的位置信息，由于目标区域为与目标虚拟场景大小相同的区域，而目标虚拟场景和用户实际活动区域的大小为1:1，从而也就可以准确的模拟和仿真用户在真实活动场景中的位置和动作，达到模拟和仿真用户在真实活动场景中的活动效果；服务器端后台系统在接收到多个用户的动作信息以及用户在目标区域中的位置信息的情况下，服务器端后台系统用于确定多个用户对应的多个数字孪生人物在同一个目标虚拟场景中的动作和位置信息，从而可以准确模拟和仿真出多个用户同时在真实活动场景中进行交互的效果，使得用户可以实时的观察到各个用户在实际活动场景中的动作、走位、位置及与其他用户的配合是否准确和合理，从而也就可以指导用户进行动作、位置的调整，有效的解决了多用户交互过程中存在的时间、空间距离限制及费用等问题，实现了不同时空人物在同时空的有效交互。
附图说明
26.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
27.图1是本发明实施例提供的不同时空人物在同时空交互的系统的示意图；
28.图2是本发明实施例提供的用户端交互系统系统的示意图；
29.图3是本发明实施例提供的穿戴动捕设备捕获用户动作的示意图；
30.图4是本发明实施例提供的穿戴动捕设备捕获用户动作的另一示意图；
31.图5是本发明实施例提供的穿戴显示设备捕获用户位置的示意图；
32.图6是本发明实施例提供的仿真不同时间不同用户在真实演出舞台进行彩排的示意图；
33.图7是本发明实施例提供的不同时空人物在同时空交互方法的流程示意图；
34.图8是本发明实施例提供的电子设备的结构示意图。
具体实施方式
35.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.本发明实施例的方法可以应用于虚拟现实场景中，准确模拟和仿真出多个用户同时在实际演出的舞台进行彩排的效果，有效的解决了由于时间、空间距离限制及费用等问题，导致在演出前所有演员很难有足够的时间聚到一起进行彩排走台，从而严重影响舞台表演效果的问题，提升了彩排的效率和效果。
37.相关技术中，由于时间、空间距离限制及费用等问题，并不是所有的人员都有足够的时间聚到一起，因而如何克服时间、空间距离的限制，实现不同时空人物在同时空的有效交互，是本领域技术人员亟需解决的问题。
38.本发明实施例的不同时空人物在同时空交互的系统，用户端交互系统根据用户的输入，确定用户对应的数字孪生人物和数字孪生人物所在的目标虚拟场景，从而实现了对用户和真实活动场景的准确模拟和仿真，提升了模拟和仿真的真实度；穿戴动捕设备实时捕获用户动作，穿戴显示设备实时捕获用户在目标区域中的位置信息，由于目标区域为与目标虚拟场景大小相同的区域，而目标虚拟场景和用户实际活动区域的大小为1:1，从而也就可以准确的模拟和仿真用户在真实活动场景中的位置和动作，达到模拟和仿真用户在真实活动场景中的活动效果；服务器端后台系统在接收到多个用户的动作信息以及用户在目标区域中的位置信息的情况下，服务器端后台系统用于确定多个用户对应的多个数字孪生人物在同一个目标虚拟场景中的动作和位置信息，从而可以准确模拟和仿真出多个用户同时在真实活动场景中进行交互的效果，使得用户可以实时的观察到各个用户在实际活动场景中的动作、走位、位置及与其他用户的配合是否准确和合理，从而也就可以指导用户进行动作、位置的调整，有效的解决了多用户交互过程中存在的时间、空间距离限制及费用等问
题，实现了不同时空人物在同时空的有效交互。
39.下面结合图1-图8以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
40.图1是本发明实施例提供的不同时空人物在同时空交互的系统一实施例的流程示意图。如图1所示，本实施例提供的系统，包括：
41.服务器端后台系统、多个用户端交互系统、与每一用户端交互系统所配合的穿戴显示设备和穿戴动捕设备；其中，
42.用户端交互系统用于响应于用户的输入，确定用户对应的数字孪生人物和数字孪生人物所在的目标虚拟场景；
43.穿戴动捕设备用于实时捕获用户的动作信息，并发送至服务器端后台系统；
44.穿戴显示设备用于实时捕获用户在目标区域中的位置信息，并发送至服务器端后台系统；目标区域为与目标虚拟场景大小相同的区域；
45.服务器端后台系统用于确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信息和位置信息，并发送至穿戴显示设备；
46.穿戴显示设备还用于实时显示多个用户对应的多个数字孪生人物在同一个目标虚拟场景中的动作和位置信息，以供用户进行实时的动作和/或位置调整。
47.具体地，演艺集团在全国各地演出时，因艺术家经常在不同城市且时间档期不同，很难在演出前有足够的时间聚到一起进行彩排走台，并且每次演出的剧场、表演舞台、环境不一，艺术家需要提前熟悉环境，导演也需要对彩排做出部署安排。而且即便将艺术家聚集到一起，租场地也需要时间和费用，如果不能按需租赁，还会造成资金的浪费。
48.本发明实施例中通过不同时空人物在同时空交互的系统，可以有效解决上述由于时间、空间距离限制及费用等问题，导致在演出前所有演员很难有足够的时间聚到一起进行彩排走台，从而严重影响舞台表演效果的问题。
49.本发明实施例中的不同时空人物在同时空交互的系统包括服务器端后台系统103、用户端交互系统101、穿戴显示设备104和穿戴动捕设备102。
50.可选地，用户端交互系统101可以接收用户的输入，确定用户对应的数字孪生人物和数字孪生人物所在的目标虚拟场景；可选地，用户的输入可以为用户的选择操作，即用户从用户端交互系统中选择用于表示用户的数字孪生人物和数字孪生人物所在的目标虚拟场景；可选地，用户的输入也可以是用户输入的自身照片信息或其他信息，用户端交互系统101根据用户的输入，生成用户1比1的数字孪生人物；可选地，用户的输入也可以是用户在用户端交互系统101预设的数字孪生人物进行在线编辑调整后的人物形象；可选地，用户对应的数字孪生人物可以在用户的穿戴显示设备104上进行显示。可选地，数字孪生人物所在的目标虚拟场景可以为演员需要进行彩排和演出的舞台所对应的虚拟场景，即演员实际演出的舞台所对应的虚拟场景；可选地，数字孪生人物所在的目标虚拟场景也可以在用户的穿戴显示设备104上进行显示。可选地，用户对应的数字孪生人物与用户的大小可以为1:1的比例，数字孪生人物所在的目标虚拟场景和演员实际演出的舞台也为1:1的场景，从而可以更加准确的模拟和仿真用户及用户的彩排现场，提升模拟和仿真的真实度，从而提升演员的彩排效果。
51.例如，如图2所示，用户端交互系统101包括账户管理模块、数字场景管理模块、人物模型管理模块、物料模型管理模块、互动记录模块、动作及位置收发模块；可选地，用户端交互系统可以安装于用户终端，也可以安装于穿戴显示设备104上；可选地，用户端交互系统101中的账户管理模块用于用户登录验证；数字场景管理模块用于预设目标虚拟场景并供用户进行选择；人物模型管理模块用于供用于选择对应的数字孪生人物或根据用户输入的信息生成用户对应的数字孪生人物；物料模型管理模块用于根据用户输入的信息配置目标虚拟场景和/或数字孪生人物的道具、服饰等；互动记录模块用于多个用户之间的语音等方式交流并记录交流信息；动作及位置收发模块用于用户自身交互动作、交互语音、交互位置的发送以及其他用户交互动作、语音位置的接收。
52.可选地，穿戴动捕设备102用于实时捕获用户的动作信息，并发送至服务器端后台系统；穿戴显示设备104用户捕获用户在目标区域中的位置信息；目标区域为与目标虚拟场景大小相同的区域。
53.例如，如图3和图4所示，穿戴动捕设备102可以捕获用户的动作，并在穿戴显示设备104上显示；可选地，如图5所示，穿戴显示设备104用于捕获用户在目标区域中的位置信息并在穿戴显示设备104上显示；其中，用户的目标区域为与目标虚拟场景大小相同的区域，从而可以准确的模拟和仿真用户在目标虚拟场景的位置及位置变化情况，由于目标虚拟场景和演员实际演出的舞台的大小为1:1，从而也就可以准确的模拟和仿真用户在实际演出舞台的位置和动作，提升模拟和仿真的真实度，达到用户在实际演出舞台进行彩排的效果。可选地，穿戴动捕设备102在捕获用户的动作和穿戴显示设备104在捕获用户在目标区域中的位置信息后，将捕获到的信息发送至服务器端后台系统103。
54.可选地，如图6所示，服务器端后台系统103在接收到多个用户的动作信息以及用户在目标区域中的位置信息的情况下，服务器端后台系统用于确定多个用户对应的多个数字孪生人物在同一个目标虚拟场景中的动作和位置信息，也就是将多个用户的动作和位置信息实时在同一个目标虚拟场景中显示，由于目标虚拟场景和演员实际演出的舞台的大小为1:1，从而可以准确模拟和仿真出多个用户同时在实际演出的舞台进行彩排的效果，达到了不同时空人物在同时空交互的目的，解决了由于时间、空间距离限制及费用等问题，导致在演出前所有演员很难有足够的时间聚到一起进行彩排走台，从而严重影响舞台表演的效果的问题，有效的提升了彩排的效率和效果。可选地，服务器端后台系统在生成多个用户对应的多个数字孪生人物同时在同一个目标虚拟场景中的动作和位置信息后，将其发送至各个演员的穿戴显示设备上；可选地，也可以将其发送至导演等特定人员对应的穿戴显示设备上。
55.可选地，穿戴显示设备104在接收到服务器端后台系统103发送的多个用户对应的多个数字孪生人物同时在同一个目标虚拟场景中的动作和位置信息后，就可以在穿戴显示设备104上显示，从而使得演员和导演可以实时的观察到各个演员在实际演出舞台的动作、走位、位置及与其他演员的配合是否准确和合理，从而也就可以指导演员进行彩排动作、位置的调整，辅助导演发现彩排过程中存在的问题，提高彩排效果。可选地，本技术中不同时空人物在同时空交互系统中的各个模块的连接方式如图1所示，其连接方式不限于上述方式，也可以根据实际组网情况进行各个模块连接方式的调整，本发明实施例中不作具体限制。
56.上述实施例的系统，用户端交互系统根据用户的输入，确定用户对应的数字孪生人物和数字孪生人物所在的目标虚拟场景，从而实现了对用户和真实活动场景的准确模拟和仿真，提升了模拟和仿真的真实度；穿戴动捕设备实时捕获用户动作，穿戴显示设备实时捕获用户在目标区域中的位置信息，由于目标区域为与目标虚拟场景大小相同的区域，而目标虚拟场景和用户实际活动区域的大小为1:1，从而也就可以准确的模拟和仿真用户在真实活动场景中的位置和动作，达到模拟和仿真用户在真实活动场景中的活动效果；服务器端后台系统在接收到多个用户的动作信息以及用户在目标区域中的位置信息的情况下，服务器端后台系统用于确定多个用户对应的多个数字孪生人物在同一个目标虚拟场景中的动作和位置信息，从而可以准确模拟和仿真出多个用户同时在真实活动场景中进行交互的效果，使得用户可以实时的观察到各个用户在实际活动场景中的动作、走位、位置及与其他用户的配合是否准确和合理，从而也就可以指导用户进行动作、位置的调整，有效的解决了多用户交互过程中存在的时间、空间距离限制及费用等问题，实现了不同时空人物在同时空的有效交互。
57.在一实施例中，服务器端后台系统用于在同一时刻接收到多个用户的动作信息和位置信息的情况下，确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信息和位置信息。
58.具体地，服务器端后台系统可以在同一时刻接收多个用户的动作信息以及用户在目标区域中的位置信息，也就是应用于多个演员在相同时间不同空间场景下进行彩排工作的场景。当服务器端后台系统在同一时刻接收到多个用户的动作信息以及用户在目标区域中的位置信息的情况下，服务器端后台系统通过确定该时刻各个演员对应的数字孪生人物在同一个目标虚拟场景中的动作和位置信息，然后将该时刻各个演员对应的数字孪生人物在同一个目标虚拟场景中的动作和位置信息结合显示到一起，即可以得到该时刻下所有演员对应的所有数字孪生人物在同一个目标虚拟场景中的动作和位置信息，从而也就实时的准确模拟和仿真出该时刻多个演员在实际演出的舞台进行彩排的效果，实现了多个演员在相同时间时间不同空间中的演出彩排。可选地，各地的多个演员在同一时间段内连续进行彩排的情况下，例如所有的演员在全国不同的城市，但所有演员在a日的上午9点-10点均有时间进行彩排，则服务器端后台系统可以在同一时间段内多个连续时刻接收到多个用户的动作信息以及用户在目标区域中的位置信息，从而实时的得到该时段内各个时刻下的所有演员对应的所有数字孪生人物在同一个目标虚拟场景中的动作和位置信息，也就得到了该时段下所有演员对应的所有数字孪生人物在同一个目标虚拟场景中的动作和位置信息，实现了实时的准确模拟和仿真出该时段内多个演员在实际演出的舞台进行彩排的效果，提升了彩排的效率和效果。
59.上述实施例的方法，当服务器端后台系统在同一时刻接收到多个用户的动作信息以及用户在目标区域中的位置信息情况下，服务器端后台系统通过确定该时刻各个演员对应的数字孪生人物在同一个目标虚拟场景中的动作和位置信息，然后将该时刻各个演员对应的数字孪生人物在同一个目标虚拟场景中的动作和位置信息显示到一起，即可以得到该时刻下所有演员对应的所有数字孪生人物在同一个目标虚拟场景中的动作和位置信息，从而也就实现了实时的准确模拟和仿真出该时刻所有演员在实际演出舞台进行彩排的效果，实现了多个演员在相同时间段内不同空间中的演出彩排，提升了彩排的效率和效果。
60.在一实施例中，服务器端后台系统用于分别在不同时刻接收到不同用户的动作信息和位置信息的情况下，确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信息和位置信息。
61.具体地，服务器端后台系统可以在不同时刻接收多个用户的动作信息以及用户在目标区域中的位置信息，也就是应用于多个演员在不同时间不同空间场景下进行彩排的场景。当服务器端后台系统在不同时刻接收到多个用户的动作信息以及用户在目标区域中的位置信息情况下，例如在a日的上午9点演员a有时间进行彩排，b日的下午3点演员b有时间进行彩排，则服务器端后台系统通过确定上午9点演员a对应的数字孪生人物在目标虚拟场景中的动作和位置信息，确定下午3点演员b对应的数字孪生人物在目标虚拟场景中的动作和位置信息，而且由于演员a与演员b彩排的是同一个舞蹈，则可以演员b在下午3点进行彩排的过程中，将上午9点演员a对应的数字孪生人物在目标虚拟场景中的动作和位置信息和下午3点演员b对应的数字孪生人物在目标虚拟场景中的动作和位置信息结合显示到一起，即进行同步显示，从而可以在演员b下午3点彩排的过程中，观看到演员a和演员b对应的所有数字孪生人物在同一个目标虚拟场景中的动作和位置信息，从而也就实现了实时的准确模拟和仿真出多个演员同时在实际演出的舞台进行彩排的效果，实现了多个演员在不同时间段内不同空间中的演出彩排，提升了彩排的效率和效果。
62.上述实施例的方法，当多个演员在不同时间不同空间场景下进行彩排的过程中，服务器端后台系统会在不同时刻接收多个用户的动作信息以及用户在目标区域中的位置信息，通过将不同演员对应的数字孪生人物在目标虚拟场景中的动作和位置信息进行结合并同步进行显示，从而可以得到所有演员对应的所有数字孪生人物在同一个目标虚拟场景中的动作和位置信息，从而也就实现了准确模拟和仿真出多个演员同时在实际演出的舞台进行彩排的效果，实现了多个演员在不同时间段内不同空间中的演出彩排，提升了彩排的效率和效果。
63.在一实施例中，服务器端后台系统用于分别在不同时刻接收到不同用户的动作信息和位置信息的情况下，将不同时刻接收到的不同用户的动作信息和位置信息进行同步，确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信息和位置信息。
64.具体地，本发明实施例中通过将不同时刻接收到的不同用户的动作信息以及用户在目标区域中的位置信息进行同步，确定多个用户对应的多个数字孪生人物在同一个目标虚拟场景中的动作和位置信息，通过将不同时间不同空间的各个演员的演出彩排进行同步，准确地模拟和仿真出多个演员同时在实际演出的舞台进行彩排的效果，避免了不同演员在不同时间不同空间进行彩排，即解决了所有演员无法在实际演出的舞台同时进行彩排的问题，提升了彩排的效率和效果。
65.在一实施例中，服务器端后台系统用于分别在不同时刻接收到不同用户的动作信息和位置信息的情况下，根据目标同步信息将不同时刻接收到的不同用户的动作信息和位置信息进行同步，确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信息和位置信息。
66.具体地，服务器端后台系统分别在不同时刻接收到不同用户的动作信息以及用户在目标区域中的位置信息的情况下，也就是各个演员在不同时间不同空间进行彩排的情况下，为了解决所有演员无法在实际演出的舞台同时进行彩排的问题，需要将不同时间不同
空间的各个演员的彩排进行同步，从而准确模拟和仿真出多个演员同时在实际演出的舞台进行彩排的效果。可选地，为了提升对不同时间不同空间的各个演员彩排同步的准确性，本发明实施例中服务器端后台系统通过目标同步信息将不同时刻接收到的不同用户的动作信息以及用户在目标区域中的位置信息进行同步。例如，在a日的上午9点演员a有时间进行彩排，b日的下午3点演员b有时间进行彩排，则可以根据目标同步信息将演员a的上午9点的彩排动作和位置与演员b的下午3点彩排动作和位置进行同步，从而可以观看到所有演员在实际演出的舞台同时进行彩排的效果。可选地，如果同步错误，则可能将演员a的上午9点的彩排动作和位置与演员b的下午3点1分的彩排动作和位置进行同步，导致同步错误，从而使得导演和演员无法准确识别出彩排时的问题，从而也就无法达到发现和解决彩排问题的效果。可选地，同步信息可以为指示信息或标识信息，因为所有演员彩排的为同一个演出，则可以通过在所有演员的彩排演出中增加相同的标识信息或指示信息，通过相同的标识信息或指示信息，从而实现多个不同时间不同空间的不同演员的彩排演出的同步。例如，所有演员开始表演时都报彩排的“演出名称”，或者喊“开始”等信息，则可以根据“演出名称”或“开始”等指示信息或标识信息进行各个不同时间不同空间的不同演员的彩排演出的同步，从而实现不同演员在不同时间不同空间进行彩排时，准确的模拟和仿真出所有演员在实际演出的舞台同时进行彩排的效果。
67.上述实施例的方法，服务器端后台系统分别在不同时刻接收到不同用户的动作信息以及用户在目标区域中的位置信息的情况下，也就是各个演员在不同时间不同空间进行彩排的情况下，通过目标同步信息进行各个不同时间不同空间的不同演员彩排演出的同步，从而准确的模拟和仿真出所有演员在实际演出的舞台同时进行彩排的效果。
68.在一实施例中，服务器端还用于接收用户活动时所播放的的音乐信息；服务器端后台系统用于分别在不同时刻接收到不同用户的动作信息和位置信息的情况下，将音乐信息作为目标同步信息，根据音乐信息播放的内容和/或音乐信息播放的时刻，将不同用户的动作信息和位置信息进行同步，确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信息和位置信息。
69.具体地，服务器端后台系统分别在不同时刻接收到不同用户的动作信息以及用户在目标区域中的位置信息的情况下，也就是各个演员在不同时间不同空间进行彩排的情况下，为了解决所有演员无法同时在实际演出的舞台进行彩排的问题，需要将不同时间不同空间的各个演员的彩排演出进行同步，从而准确模拟和仿真出多个演员同时在实际演出的舞台进行彩排的效果。可选地，为了提升对不同时间不同空间的各个演员彩排同步的准确性，本发明实施例中将音乐信息作为目标同步信息，也就是所有演员在不同时间不同空间进行同一演出彩排的过程中，除了会采集用户的动作和位置信息，还会采集用户彩排过程中播放的音乐信息，从而根据彩排过程中的音乐信息，准确的将不同演员在不同时间不同空间的彩排进行同步，提升了不同演员在不同时间不同空间彩排同步的准确性；而且通过音乐信息将不同演员在不同时间不同空间的彩排进行同步的过程中，可以将音乐播放过程中所有时刻的各个演员的彩排动作和位置都进行同步，从而不仅实现了同步的准确性，还提升了同步的完整性。
70.可选地，可以将音乐播放到第1时刻下的各个用户的动作和位置进行同步，将音乐播放到第2时刻下的各个用户的动作和位置进行同步，依次完成音乐播放所有时刻下的各
个用户的动作和位置同步，从而根据音乐信息，实现了音乐播放时段内所有用户的动作和位置的同步，从而将多个用户的彩排演出同步后同时显示到实际演出的舞台，实现不同用户不同时间不同空间彩排的准确和完整同步。
71.上述实施例的方法，将音乐信息作为目标同步信息，也就是所有演员在不同时间不同空间进行同一演出彩排的过程中，除了会采集用户的动作和位置信息，还会采集用户彩排过程中播放的音乐信息，从而根据彩排过程中的音乐信息，实现不同用户不同时间不同空间彩排的准确和完整同步，提升了不同演员在不同时间不同空间彩排同步的准确性和完整性。
72.下面对本发明提供的不同时空人物在同时空交互的方法进行描述，下文描述的不同时空人物在同时空交互的方法与上文描述的不同时空人物在同时空交互的系统可相互对应参照。
73.图7是本发明提供的不同时空人物在同时空交互的方法的流程示意图。本实施例提供的不同时空人物在同时空交互的方法，包括：
74.步骤701、获取基于用户端交互系统输入的与用户对应的字孪生人物和数字孪生人物所在的目标虚拟场景；
75.步骤702、基于实时捕获的用户的动作信息以及用户在目标区域中的位置信息，确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信息和位置信息；其中，目标区域为与目标虚拟场景大小相同的区域；
76.步骤703、发送显示信息，显示信息用于显示多个用户对应的多个数字孪生人物在同一个目标虚拟场景中的动作和位置信息，以供用户进行实时的动作和/或位置调整。
77.具体地，首先接收用户的输入，确定用户对应的数字孪生人物和数字孪生人物所在的目标虚拟场景；可选地，用户的输入可以为用户选择用于表示用户的数字孪生人物和数字孪生人物所在的目标虚拟场景；可选地，数字孪生人物所在的目标虚拟场景可以为演员需要进行彩排和演出的舞台所对应的虚拟场景，即演员实际演出的舞台所对应的虚拟场景。可选地，用户对应的数字孪生人物与用户的大小可以为1:1的比例，数字孪生人物所在的目标虚拟场景和演员实际演出的舞台也为1:1的场景，从而可以更加准确的模拟和仿真用户及用户的彩排现场，提升模拟和仿真的真实度，从而提升演员的彩排效果。
78.可选地，目标区域为与目标虚拟场景大小相同的区域；可选地，在接收到多个用户的动作信息以及用户在目标区域中的位置信息的情况下，就可以确定多个用户对应的多个数字孪生人物在同一个目标虚拟场景中的动作和位置信息，也就是将多个用户的动作和位置信息实时在同一个目标虚拟场景中显示，由于目标虚拟场景和演员实际演出的舞台的大小为1:1，从而可以准确模拟和仿真出多个用户同时在实际演出的舞台进行彩排的效果，达到了不同时空人物在同时空交互的目的，解决了由于时间、空间距离限制及费用等问题，导致在演出前所有演员很难有足够的时间聚到一起进行彩排走台，从而严重影响舞台表演的效果的问题，有效的提升了彩排的效率和效果。可选地，在生成多个用户对应的多个数字孪生人物同时在同一个目标虚拟场景中的动作和位置信息后，将其发送至各个演员的穿戴显示设备上；可选地，也可以将其发送至导演等特定人员对应的穿戴显示设备上，从而使得演员和导演可以实时的观察到各个演员在实际演出舞台的动作、走位、位置及与其他演员的配合是否准确和合理，从而也就可以指导演员进行彩排动作、位置的调整，辅助导演发现彩
排过程中存在的问题，提高彩排效果。
79.上述实施例的系统，根据用户的输入，确定用户对应的数字孪生人物和数字孪生人物所在的目标虚拟场景，从而实现了对用户和真实彩排舞台的准确模拟和仿真，提升了模拟和仿真的真实度，从而可以有效提升演员的彩排效果；通过实时捕获用户动作及用户在目标区域中的位置信息，由于目标区域为与目标虚拟场景大小相同的区域，而目标虚拟场景和演员实际演出的舞台的大小为1:1，从而也就可以准确的模拟和仿真用户在实际演出舞台的位置和动作，达到用户在实际演出舞台进行彩排的效果。在接收到多个用户的动作信息以及用户在目标区域中的位置信息的情况下，通过确定多个用户对应的多个数字孪生人物在同一个目标虚拟场景中的动作和位置信息，从而可以准确模拟和仿真出多个用户同时在实际演出的舞台进行彩排的效果，使得演员和导演可以实时的观察到各个演员在实际演出舞台的动作、走位、位置及与其他演员的配合是否准确和合理，从而也就可以指导演员进行彩排动作、位置的调整，辅助导演发现彩排过程中存在的问题，有效的解决了由于时间、空间距离限制及费用等问题，导致在演出前所有演员很难有足够的时间聚到一起进行彩排走台，从而严重影响舞台表演效果的问题，提升了彩排的效率和效果。
80.示例性的，基于不同时空人物在同时空交互的系统进行不同时空人物在同时空交互的方法如下：
81.基于不同时空人物在同时空交互的系统包括：一套服务器端后台系统，后台系统集成全部场景模型、人物模型、衣服模型、交互记录等，并收集和分发用户端的交互信息；
82.一套用户终端交互系统，交互系统预制场景及用户模型，并根据从服务器端传来的各用户的动作及位置信息，渲染用户端场景，并通过显示设备投影到用户设备，且提供第一人称视角、第三人称视角、上帝视角等多个观看视角；
83.每个用户端一套穿戴显示设备，设备安装用户端交互系统，并可更新场景、人物等数据信息，显示设备实时将位置信息传送至服务器端；此发明需要用户端有一套穿戴显示设备：如vr显示眼镜、头盔，mr显示眼镜、头盔。
84.每个用户端一套穿戴动捕设备，可根据动捕点位需求的多少，配置不同数量的动捕设备，动捕设备将动作信息实时传送至服务器端。
85.可选地，用户进入用户端交互系统的显示界面后，可将自身1比1数字孪生，也可使用公用人物加在线编辑调整形象，并可在数字场馆中通过mr设备相互看到和听到；可添加场地的1比1数字孪生场地，用户进入后可选择需要参与互动的场地，进入互动；其中，虚拟用户的走场位置，和用户实际相对位置实时对应；虚拟用户动作和实际动作实时对应；“导演”用户可以以不同视角查看虚拟用户总体走台效果，并可语音指挥；动作、位置可记录并回看，并可根据虚拟记录继续参与，和更新记录。
86.可选地，上述方法可应用于多个需提前排演行业，例如：舞蹈、演艺、异地会议等场景；解决类似舞蹈排练，需要看到并指导对方动作、舞台站位的需求，以及通过音乐引导排演、走台以及录屏回看的需求；解决现实生活中，因为时间、空间距离限制，演员们不能聚在一起排练、走台。因演员在正式表演前需熟悉舞台，导演需根据舞台布置演员位置和动作，所以利用本方法一比一实现排练中的沟通、互动、舞蹈、演艺问题，可以实现让多个处在不同时空的人，在同一空间实现相互看到、相互交流、相互动作、且实现在此空间进行相互位置实时移动的方法和系统。
87.上述方法可以应用于演艺集团演员的异地排练，通过一比一孪生出数字表演场馆和一比一孪生出数字艺术家，并将处于异地的艺术家，集中在同一数字表演场馆，由导演在线上实现如同实景的编排表演。艺术家端也实现如同实景般的演出体验，可以彻底解决当下的问题，可以极大的解放表演者，方便表演者在实际表演前的表演、彩排、走场。
88.本发明实施例的装置，其用于执行前述任一方法实施例中的方法，其实现原理和技术效果类似，此次不再赘述。
89.图8示例了一种电子设备的实体结构示意图，该电子设备可以包括：处理器(processor)810、通信接口(communications interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行不同时空人物在同时空交互的方法，该方法包括：获取基于用户端交互系统输入的与用户对应的字孪生人物和数字孪生人物所在的目标虚拟场景；基于实时捕获的用户的动作信息以及用户在目标区域中的位置信息，确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信息和位置信息；其中，目标区域为与目标虚拟场景大小相同的区域；发送显示信息，显示信息用于显示多个用户对应的多个数字孪生人物在同一个目标虚拟场景中的动作和位置信息，以供用户进行实时的动作和/或位置调整。
90.此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
91.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的不同时空人物在同时空交互的方法，该方法包括：获取基于用户端交互系统输入的与用户对应的字孪生人物和数字孪生人物所在的目标虚拟场景；基于实时捕获的用户的动作信息以及用户在目标区域中的位置信息，确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信息和位置信息；其中，目标区域为与目标虚拟场景大小相同的区域；发送显示信息，显示信息用于显示多个用户对应的多个数字孪生人物在同一个目标虚拟场景中的动作和位置信息，以供用户进行实时的动作和/或位置调整。
92.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的不同时空人物在同时空交互的方法，该方法包括：获取基于用户端交互系统输入的与用户对应的字孪生人物和数字孪生人物所在的目标虚拟场景；基于实时捕获的用户的动作信息以及用户在目标区域中的位置信息，确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信息和位置信息；其中，目标区域为与目标虚拟场景大小相同的区域；发送显示信息，显示信息用于显示
多个用户对应的多个数字孪生人物在同一个目标虚拟场景中的动作和位置信息，以供用户进行实时的动作和/或位置调整。
93.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
94.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
95.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种不同时空人物在同时空交互的系统，其特征在于，包括：服务器端后台系统、多个用户端交互系统、与每一用户端交互系统所配合的穿戴显示设备和穿戴动捕设备；其中，所述用户端交互系统用于响应于用户的输入，确定用户对应的数字孪生人物和所述数字孪生人物所在的目标虚拟场景；所述穿戴动捕设备用于实时捕获用户的动作信息，并发送至所述服务器端后台系统；所述穿戴显示设备用于实时捕获用户在目标区域中的位置信息，并发送至所述服务器端后台系统；所述目标区域为与所述目标虚拟场景大小相同的区域；所述服务器端后台系统用于确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信息和位置信息，并发送至所述穿戴显示设备；所述穿戴显示设备还用于实时显示多个用户对应的多个数字孪生人物在同一个目标虚拟场景中的动作和位置信息，以供所述用户进行实时的动作和/或位置调整。2.根据权利要求1所述的不同时空人物在同时空交互的系统，其特征在于，所述服务器端后台系统用于在同一时刻接收到多个用户的动作信息和位置信息的情况下，确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信息和位置信息。3.根据权利要求1或2所述的不同时空人物在同时空交互的系统，其特征在于，所述服务器端后台系统用于分别在不同时刻接收到不同用户的动作信息和位置信息的情况下，确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信息和位置信息。4.根据权利要求3所述的不同时空人物在同时空交互的系统，其特征在于，所述服务器端后台系统用于分别在不同时刻接收到不同用户的动作信息和位置信息的情况下，将不同时刻接收到的不同用户的动作信息和位置信息进行同步，确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信息和位置信息。5.根据权利要求4所述的不同时空人物在同时空交互的系统，其特征在于，所述服务器端后台系统用于分别在不同时刻接收到不同用户的动作信息和位置信息的情况下，根据目标同步信息将不同时刻接收到的不同用户的动作信息和位置信息进行同步，确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信息和位置信息。6.根据权利要求5所述的不同时空人物在同时空交互的系统，其特征在于，所述所述服务器端还用于接收用户活动时所播放的的音乐信息；所述服务器端后台系统用于分别在不同时刻接收到不同用户的动作信息和位置信息的情况下，将所述音乐信息作为目标同步信息，根据所述音乐信息播放的内容和/或所述音乐信息播放的时刻，将不同用户的动作信息和位置信息进行同步，确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信息和位置信息。7.一种不同时空人物在同时空交互的方法，其特征在于，应用于如权利要求1-6任一项所述的不同时空人物在同时空交互的系统，包括：获取基于所述用户端交互系统输入的与用户对应的字孪生人物和所述数字孪生人物所在的目标虚拟场景；基于实时捕获的用户的动作信息以及用户在目标区域中的位置信息，确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信息和位置信息；其中，所述目标区域为与所述目标虚拟场景大小相同的区域；发送显示信息，所述显示信息用于显示多个用户对应的多个数字孪生人物在同一个目
标虚拟场景中的动作和位置信息，以供所述用户进行实时的动作和/或位置调整。8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求7所述的不同时空人物在同时空交互的方法。9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求7的不同时空人物在同时空交互的方法。10.一种计算机程序产品，其上存储有可执行指令，其特征在于，该指令被处理器执行时使处理器实现如权利要求7所述的不同时空人物在同时空交互的方法。

技术总结
本发明提供一种不同时空人物在同时空交互的系统、方法和设备，该系统包括：服务器端后台系统、多个用户端交互系统、与每一用户端交互系统所配合的穿戴显示设备和穿戴动捕设备；其中，用户端交互系统用于响应于用户的输入，确定用户对应的数字孪生人物和数字孪生人物所在的目标虚拟场景；穿戴动捕设备用于实时捕获用户的动作信息；穿戴显示设备用于实时捕获用户在目标区域中的位置信息；服务器端后台系统用于确定每一用户对应的数字孪生人物在同一个目标虚拟场景中的动作信息和位置信息；穿戴显示设备还用于实时显示多个用户对应的多个数字孪生人物在同一个目标虚拟场景中的动作和位置信息。本发明的系统实现了不同时空人物在同时空的有效交互。物在同时空的有效交互。物在同时空的有效交互。


技术研发人员：贺德祥 李占兵 贺立
受保护的技术使用者：北京加立技术有限公司
技术研发日：2023.05.26
技术公布日：2023/9/23