虚拟形象驱动方法、装置、设备和介质与流程

1.本公开涉及人工智能技术领域，尤其涉及计算机视觉、虚拟现实、增强现实等技术，可用于元宇宙场景。


背景技术：

2.动作捕捉是在运动物体的关键部位设置跟踪器，通过捕捉跟踪器位置，并对所捕捉的位置数据进行处理，得到三维坐标数据，通过将三维数据作用于虚拟形象，将真实运动物体的动作转录为虚拟形象的动作，广泛应用于动画或游戏领域。


技术实现要素：

3.本公开提供了一种虚拟形象驱动方法、装置、设备和介质。
4.根据本公开的一方面，提供了一种虚拟形象驱动方法，包括：
5.获取包括真实形象的原始图片帧；
6.确定真实形象在原始图片帧中的形象区域，以及形象区域所携带的形象特征数据；
7.根据形象区域的区域属性信息和形象特征数据，确定所透视投影情况下，述真实形象对应虚拟形象，在虚拟空间的虚拟位移数据；其中，原始图片帧所处全局二维空间为虚拟空间的透射投影结果；
8.根据虚拟位移数据，驱动并展示虚拟形象。
9.根据本公开的另一方面，还提供了一种电子设备，包括：
10.至少一个处理器；以及
11.与至少一个处理器通信连接的存储器；其中，
12.存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开实施例提供的任意一种虚拟形象驱动方法。
13.根据本公开的另一方面，还提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开实施例所提供的任意一种虚拟形象驱动方法。
14.根据本公开的技术，提高了虚拟形象位移驱动的泛化性和驱动效果准确度。
15.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
16.附图用于更好地理解本方案，不构成对本公开的限定。其中：
17.图1是本公开实施例提供的一种虚拟形象驱动方法的流程图；
18.图2是本公开实施例提供的另一种虚拟形象驱动方法的流程图；
19.图3是本公开实施例提供的另一种虚拟形象驱动方法的流程图；
20.图4是本公开实施例提供的另一种虚拟形象驱动方法的流程图；
21.图5a是本公开实施例提供的一种虚拟形象驱动系统的结构框图；
22.图5b是本公开实施例提供的另一种虚拟形象驱动方法的流程图；
23.图6是本公开实施例提供的一种虚拟形象驱动装置的结构图；
24.图7是用来实现本公开实施例的虚拟形象驱动方法的电子设备的框图。
具体实施方式
25.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
26.现有技术在进行动作捕捉时，通常会采集包括真实形象的原始图片帧，并识别原始图片帧中真实形象的关键点，确定关键点的真实位移数据，并按照预设比例系数，将原始图片帧中的真实位移数据转化为真实形象对应虚拟形象，在虚拟空间中的虚拟位移数据，从而根据虚拟位移数据，在虚拟空间中驱动并展示虚拟形象。
27.然而，上述所采用的预设比例系数，需要随着虚拟形象和虚拟场景的变化情况，适应性调整，致使虚拟形象的位移驱动过程不具备泛化性和普适性，甚至还会出现虚拟形象与空间地面或画布穿模的情况，影响位移驱动效果。
28.本公开实施例提供的虚拟形象驱动方法和装置，适用于在虚拟形象位移驱动的场景下，解决上述泛化性和驱动效果较差的问题。本公开实施例所提供的各虚拟形象驱动方法，可以由虚拟形象驱动装置执行，该装置可以采用软件和/或硬件实现，并具体配置于具备一定运算能力的电子设备中，该电子设备可以是终端设备或服务器，本公开对此不作任何限定。
29.为了便于理解，首先对虚拟形象驱动方法进行详细说明。
30.参见图1所示的虚拟形象驱动方法，包括：
31.s101、获取包括真实形象的原始图片帧。
32.其中，真实形象与虚拟形象相对应，可以理解为动作捕捉过程中实际运动物体的形象。虚拟形象可以理解为按照真实形象的动作，在虚拟空间中对应运动的形象。其中，虚拟形象可以是人物形象、动物形象或其他ip（intellectual property，知识产权）形象等，本公开对此不作任何限定。
33.其中，原始图片帧可以理解为所捕捉的真实形象的动作视频中的视频帧。其中，原始图片帧的数量为至少一个；不同原始图片帧按照捕获时间顺序组合，即为所捕捉的动作视频。需要说明的是，本公开对不同原始图片帧采用相同的虚拟形象驱动方法，因此，后续描述过程中的原始图片帧针对任一原始图片帧均可适用。
34.可选的，可以直接由执行虚拟形象驱动方法的执行设备，捕捉获取包括真实形象的原始图片帧；或者可选的，由动作捕捉设备捕捉包括真实形象的原始图片帧，并将原始图片帧存储至与执行虚拟形象驱动方法的执行设备通信连接的存储设备中，相应的，从存储设备中获取所存储的原始图片帧。
35.s102、确定真实形象在原始图片帧中的形象区域，以及形象区域所携带的形象特
征数据。
36.由于原始图片帧中未完全充满真实形象，也即原始图片帧中除真实形象对应形象区域之外，还包括背景区域，而背景区域未包含实际意义的信息，因此，需要提取出原始图片帧中的形象区域，以及形象区域所携带的具备实际意义有效信息。其中，形象区域可以为真实形象的外接矩形框所在区域。在一个可选实施例中，为了保证所确定外接矩形框的一致性，以及后续运算的便捷性，通常，外接矩形框设置为水平方向或竖直方向上的最大外接矩形框。
37.其中，形象特征数据可以理解为，形象区域中真实形象所携带的roi（region of interest，感兴趣区域）特征，可以包括头部特征、躯干特征和肢体特征等中的至少一种。
38.在一个可选实施例中，可以基于目标检测网络，确定真实形象在原始图片帧中的形象区域，并基于特征提取网络，提取形象区域中的roi特征，作为形象特征数据。其中，目标检测网络和特征提取网络可以基于现有技术中的至少一种神经网络实现，本公开对目标检测网络和特征提取网络的具体网络结构和训练方式不作任何限定。
39.为了提高特征提取网络所提取形象特征数据的丰富性和全面性，在一个可选实施例中，可以基于头部特征提取网络，提取形象区域中的头部特征数据；基于躯干特征提取网络，提取形象区域中的躯干特征数据；基于肢体特征提取网络，提取形象区域中的肢体特征数据；生成包括头部特征数据、躯干特征数据和肢体特征数据中的至少一种的形象特征数据。
40.s103、根据形象区域的区域属性信息和形象特征数据，确定透视投影情况下，真实形象对应虚拟形象，在虚拟空间的虚拟位移数据。
41.其中，原始图片帧所处全局二维空间为虚拟空间的透射投影结果。其中，全局二维空间为原始图片帧所构建的二维空间，且该二维空间的边界由原始图片帧的边缘进行约束。值得注意的是，原始图片帧中形象区域所处二维空间，可以称为全局二维空间中的局部二维空间。其中，基于针孔成像模型（又称中心透视投影模型），将三维物体的信息映射到二维平面上，称之为透射投影。
42.其中，区域属性信息用于表征形象区域的基础属性，可以包括尺寸属性对应的区域尺寸信息和位置属性对应的区域位置信息。示例性的，区域尺寸属性可以包括区域边框大小、区域内真实形象的相对尺度大小等。其中，相对尺度大小可以通过区域边框的对角线长度加以表征。示例性的，区域位置信息可以包括区域中心的位置坐标。
43.其中，虚拟位移数据用于表征虚拟形象在虚拟空间中，与原始图片帧中真实形象在全局二维空间中的真实位移数据，相匹配的位移数据。
44.在一个可选实施例中，可以将形象区域的区域属性信息和形象特征数据，输入至预先训练好的虚拟位移确定网络，得到虚拟位移数据。其中，虚拟位移确定网络可以基于现有的至少一种机器学习或深度学习模型加以实现，本公开对虚拟位移确定网络的具体网络结构不作任何限定。示例性的，可以将样本图片帧中形象区域的区域属性信息和样本图片帧对应形象区域的形象特征数据作为训练样本，输入至待训练的虚拟位移确定网络，并将网络输出结果映射回样本图片帧，根据映射结果与原始的样本图片帧之间的位移差异，对预先构建的虚拟位移确定网络进行模型训练。
45.s104、根据虚拟位移数据，驱动并展示虚拟形象。
46.按照虚拟位移数据驱动虚拟形象的形象模型（例如可以是蒙皮骨骼模型），并展示驱动结果。
47.由于虚拟位移数据中可能存在部分噪声干扰信息，将会在多帧原始图片帧顺序进行虚拟形象驱动的情况下，出现画面抖动的情况，影响虚拟形象的驱动展示效果。为了避免上述情况发生，还可以对虚拟位移数据进行平滑处理，并根据平滑结果，驱动并展示虚拟形象。由于平滑处理过程能够滤除掉至少部分噪声，因此，基于平滑结果进行虚拟形象的驱动和展示，画面中的位移过程的流畅性更好。
48.可选的，可以采用拉普拉斯平滑、卡尔曼滤波或中值滤波等方式中的至少一种，对虚拟位移数据进行平滑处理，本公开对平滑处理所采用的平滑方式不作任何限定。
49.本公开实施例通过引入原始图片帧中形象区域的区域属性信息和形象特征数据，确定虚拟空间内虚拟形象的虚拟位移数据，从而将原始图片帧在形象区域所处局部二维空间下的位移数据，转化为虚拟空间下的位移数据。由于虚拟空间为全局二维空间的透射投影结果，因此，在虚拟空间下的虚拟位移数据确定过程中，综合考虑了全局二维空间以及局部二维空间内真实形象的形象特征数据的影响，提高了虚拟位移数据确定结果的准确度，从而避免了出现虚拟形象驱动过程中穿模情况的发生，提高了位移驱动效果。另外，上述虚拟形象驱动过程中，能够适配各种虚拟形象和虚拟场景，无需根据虚拟形象的形象类别和虚拟场景的场景类别，进行变动，更具泛化性和普适性。
50.在上述各技术方案的基础上，本公开还提供了一个可选实施例，在该可选实施例中，对虚拟位移数据的生成机制进行了优化改进。需要说明的是，在本公开实施例中未详述部分，可参见其他实施例的相关表述，在此不再赘述。
51.参见图2所示的一种虚拟形象驱动方法，包括：
52.s201、获取包括真实形象的原始图片帧。
53.s202、确定真实形象在原始图片帧中的形象区域，以及形象区域所携带的形象特征数据。
54.s203、根据区域尺寸信息和形象特征数据，确定形象区域对应的局部投影参数。
55.其中，区域尺寸信息用于表征真实形象在原始图片帧中的形象区域对应的尺寸大下。示例性的，区域尺寸信息可以包括区域边缘尺寸和区域焦距尺寸中的至少一种。在一个具体实现方式中，若形象区域通过矩形框加以限定，则区域边缘尺寸可以理解为区域边框尺寸，也即矩形框尺寸，例如矩形框的最长边框尺寸；相应的，区域焦距尺寸可以为矩形框对角线尺寸，用于作为虚拟焦距，表征真实形象与原始图片帧采集设备之间的相对距离。
56.其中，局部投影参数为将真实形象对应的虚拟形象，从自身所处虚拟空间，弱透视投影到形象区域所处局部二维空间的投影参数。其中，原始图片帧所处全局二维空间为虚拟空间的透射投影结果。
57.需要说明的是，透射投影一般来说是非线性的，其不保留原始元素的大部分几何属性，如平行、角度等，具备物体成像会近大远小、平行线会相交的成像特点。在透射投影基础上，假设当焦距无限大时，在成像平面上会存在一个保留平行关系的正交投影，其每条投影线均平行。正交投影的尺度大小与原始物体的大小相一致。而弱透视投影，即为考虑到正交投影的尺度缩放时对应的正交投影。
58.弱透视投影可以理解为弱透视投影模型的投影过程。而弱透视投影模型实质为透
视投影对应针孔成像模型的进一步简化：物体投影时各个点与小孔的距离，都用物体的平均距离代替。由于不再存在近大远小，均采用相同的平均距离代替，因此这样成像的大小由成像平面与针孔距离，以及物体与针孔距离之间的比例决定。
59.其中，局部投影参数可以包括尺度参数和位移参数。其中，尺度参数用于表征弱透视投影时的缩放尺度；位移参数用于表征形象区域中的关键点在虚拟空间中的位置偏移情况。其中，上述关键点可以是形象区域的中心点。
60.可以理解的是，通过引入虚拟空间向局部二维空间的弱透视投影，能够建立形象区域对应局部二维空间与虚拟空间之间的映射关系，从而能够精准把控真实形象的动作细节。
61.s204、根据区域位置信息、区域尺寸信息和局部投影参数，确定透视投影情况下，虚拟形象在虚拟空间的虚拟位移数据。
62.由于弱透视投影用于表征局部二维空间与虚拟空间之间的映射关系，而局部二维空间无法表征真实形象与真实空间之间的相对位置关系，因此，直接使用弱透视投影参数进行虚拟位移数据的确定，所确定虚拟位移数据为0，也即虚拟形象不再存在位移移动。为了保证虚拟形象的移动能力，需要将前述局部弱透视投影，转换为全局二维空间与虚拟空间之间的全局透视投影，此时即可通过局部二维空间与全局二维空间之间的相对位置关系，赋予虚拟形象在虚拟空间的移动能力。
63.在一个可选实施例中，可以基于弱透视投影与透视投影之间的变换关系，根据区域位置信息、区域尺寸信息和局部投影参数，确定透视投影情况下，虚拟形象在虚拟空间的虚拟位移数据。
64.可选的，可以根据局部投影参数中的尺度参数、局部投影参数中的位移参数、区域尺寸信息中的区域边缘尺寸和形象区域的区域中心坐标，确定虚拟形象在虚拟空间中与全局二维空间平行的第一空间维度上的虚拟位移数据；根据局部投影参数中的尺度参数、区域尺寸信息中的区域焦距尺寸和形象区域的区域边缘尺寸和原始图片帧的标准边缘尺寸，确定虚拟形象在虚拟空间中第一空间维度的垂直空间维度上的虚拟位移数据。
65.示例性的，根据局部投影参数中的尺度参数、局部投影参数中的位移参数、区域尺寸信息中的区域边缘尺寸和形象区域的区域中心坐标，确定虚拟形象在虚拟空间中与全局二维空间平行的第一空间维度上的虚拟位移数据，可以是：根据局部投影参数中的尺度参数、区域尺寸信息中的区域边缘尺寸和形象区域的区域中心坐标，确定虚拟形象在虚拟空间中与全局二维空间平行的第一空间维度上的位移变量；根据局部投影参数中的位移参数和位移变量，确定虚拟形象在虚拟空间中与全局二维空间平行的第一空间维度上的虚拟位移数据。
66.具体的，可以采用以下公式，确定与全局二维空间平行的第一空间维度上的虚拟位移数据：
67.；
68.其中，为局部投影参数中的尺度参数；为局部投影参数中的位移参数；
为形象区域的区域中心坐标；为形象区域的区域边缘尺寸（例如可以是形象区域对应矩形框的最大边框长度）；为虚拟形象在虚拟空间中与全局二维空间平行的第一空间维度上的虚拟位移数据。
69.示例性的，根据局部投影参数中的尺度参数、区域尺寸信息中的区域焦距尺寸和形象区域的区域边缘尺寸和原始图片帧的标准边缘尺寸，确定虚拟形象在虚拟空间中第一空间维度的垂直空间维度上的虚拟位移数据，可以是：根据局部投影参数中的尺度参数和原始图片帧的标准边缘尺寸，确定第一空间维度的垂直空间维度上的物距增大结果；根据物距增大结果、区域尺寸信息中的区域焦距尺寸和形象区域的区域边缘尺寸和原始图片帧的标准边缘尺寸，确定虚拟形象在虚拟空间中第一空间维度的垂直空间维度上的虚拟位移数据。
70.具体的，可以采用以下公式，确定第一空间维度的垂直空间维度z上的虚拟位移数据：
71.；
72.其中，为理想焦距，可以根据经验值进行设定，例如5000；为原始图片帧的标准边缘尺寸，也即透视投影情况下的期望的尺寸，可以由技术人员根据实际情况进行设定；为局部投影参数中的尺度参数；为物距增大结果；为形象区域的区域边缘尺寸（例如可以是形象区域对应矩形框的最大边框长度）；为区域尺寸信息中的区域焦距尺寸（例如可以是形象区域对应矩形框的对角线长度）；为第一空间维度的垂直空间维度z上的虚拟位移数据。
73.可以理解的是，通过上述方式能够实现全局透视投影与局部弱透视投影之间的转换，便于还原出虚拟形象在三维虚拟空间中的位移情况，运算量小，准确度高。
74.s205、根据虚拟位移数据，驱动并展示虚拟形象。
75.本公开实施例通过引入虚拟空间向局部二维空间的弱透视投影，能够建立形象区域对应局部二维空间与虚拟空间之间的映射关系，从而能够精准把控真实形象的动作细节；通过引入区域位置信息、区域尺寸信息实现局部弱透视投影向全局透视投影的转化，从而将弱透视投影中隐藏的全局位移数据进行有效还原，提高了所确定的虚拟位移数据的准确度，同时避免了真实形象动作细节的丢失，有助于提升虚拟形象的驱动和展示效果。
76.在上述各技术方案的基础上，本公开还提供了一个可选实施例。在该可选实施例中，对虚拟形象的驱动展示过程进行了优化改进。需要说明的是，在本公开实施例中未详述部分，可参见其他实施例的相关表述，在此不再赘述。
77.参见图3所示的一种虚拟形象驱动方法，包括：
78.s301、获取包括真实形象的原始图片帧。
79.s302、确定真实形象在原始图片帧中的形象区域，以及形象区域所携带的形象特征数据。
80.s303、根据形象区域的区域属性信息和形象特征数据，确定透视投影情况下，真实形象对应虚拟形象在虚拟空间的虚拟位移数据。
81.其中，原始图片帧所处全局二维空间为虚拟空间的透射投影结果。
82.s304、将虚拟位移数据编码至位移隐变量空间，得到位移编码数据。
83.其中，位移隐变量空间，可以理解为虚拟位移数据中能够决定位移属性的至少一个维度的位移隐变量，所构建的特征空间。其中，位移编码数据，可以理解为对虚拟位移数据编码所得的位移隐变量的统一描述，从而实现对虚拟位移数据的变分推断。其中，虚拟位移数据的数据空间为相对高维的数据空间，而位移隐变量空间为相对低维的数据空间，在位移隐变量空间中，剔除了虚拟位移数据中无关于位移属性的干扰隐变量，从而达到了降噪的目的。在一个具体实现方式中，位移编码数据可以是基于各位移隐变量的概率分布，对各位移隐变量进行随机采样所得的结果向量。
84.s305、将位移编码数据解码至标准位移空间，得到位移解码数据。
85.其中，标准位移空间，可以理解为重构出的虚拟位移数据的理想位移空间。在该位移空间中，能够还原出与虚拟位移数据中能够决定位移属性的数据，而不再包含虚拟位移数据中无关位移属性的其他数据。
86.其中，位移解码数据，可以理解为仅保留决定位移属性部分的虚拟位移数据。
87.示例性的，可以根据位移编码数据进行虚拟位移数据重构，还原出虚拟位移数据的近似概率分布，从而得到虚拟位移数据对应的位移解码数据。
88.s306、根据位移解码数据，驱动并展示虚拟形象。
89.本公开实施例采用剔除虚拟位移数据中的无关干扰信息后所得的位移解码数据，替代虚拟位移数据，作为虚拟形象的驱动依据，能够在基于多个连续的原始图片帧顺序进行虚拟形象驱动的情况下，避免了时序上的虚拟形象抖动。同时，上述方案能够避免由于万向节点上作用失效，而出现虚拟形象平躺、倾斜或抬手后仰等问题，能够提升虚拟形象位移动作的流畅性和自然度。
90.在上述各技术方案的基础上，本公开还提供了另一可选实施例，在该可选实施例中，在进行虚拟形象驱动时，还引入了真实形象的形态姿态数据，从而使得虚拟空间内的虚拟形象具备真实形象的姿态映射能力。需要说明的是，在本公开实施例中未详述部分，可参见其他实施例的相关表述，在此不再赘述。
91.参见图4所示的一种虚拟形象驱动方法，包括：
92.s401、获取包括真实形象的原始图片帧。
93.s402、确定真实形象在原始图片帧中的形象区域，以及形象区域所携带的形象特征数据。
94.s403、根据形象区域的区域属性信息和形象特征数据，分别确定透视投影情况下，真实形象对应虚拟形象在虚拟空间的虚拟位移数据，以及形象区域内真实形象的形象姿态数据。
95.其中，原始图片帧所处全局二维空间为虚拟空间的透射投影结果
96.其中，形象姿态数据用于表征真实形象中不同部位所呈现姿势形态。
97.在一个可选实施例中，可以将区域属性信息和形象特征数据，输入至预先训练好的姿态识别网络，得到形象姿态数据。其中，姿态识别网络可以基于现有的至少一种机器学
习或深度学习模型加以实现，本公开对姿态识别网络的具体网络结构不作任何限定。示例性的，可以将样本图片帧中形象区域的区域属性信息和样本图片帧对应形象区域的形象特征数据作为训练样本，输入至待训练的虚拟位移确定网络，并将网络输出结果映射回样本图片帧，根据映射结果与原始的样本图片帧之间的姿态差异，对预先构建的虚拟位移确定网络进行模型训练。
98.需要说明的是，本公开所采用的姿态识别网络，与前述虚拟位移确定网络可以分别独立训练或联合训练，本公开对两者的训练方式不作任何限定。为了避免出现独立训练好的两网络出现特征抑制的情况，通常对姿态识别网络和虚拟位移确定网络进行联合训练。
99.另外，本公开所涉及的姿态识别网络可以与前述虚拟位移确定网络的网络结构相同或不同。在一个具体实现方式中，两者可以融合为同一综合网络，该综合网络具备姿态识别能力和虚拟位移确定能力，从而达到简化网络复杂度的目的。
100.s404、根据虚拟位移数据和形象姿态数据，驱动并展示虚拟形象。
101.根据虚拟位移数据和形象姿态数据，联合驱动并展示虚拟形象，使得虚拟形象在虚拟空间中，能够呈现出与原始图片帧中真实形象相一致的位置和姿态，提高了虚拟形象的位姿还原能力，进而提高了虚拟形象的展示效果。
102.由于形象姿态数据中可能存在部分噪声干扰信息，将会在多针原始图片帧顺序进行虚拟形象驱动的情况下，出现画面抖动的情况，影响虚拟形象的驱动展示效果。为了避免上述情况的发生，还可以对形象姿态数据进行平滑处理，以更新形象姿态数据。由于平滑过程中能滤除掉至少部分噪声，因此，基于更新后的形象姿态数据进行虚拟形象的驱动和展示，动作画面的流畅性更好。
103.可选的，可以采用拉普拉斯平滑、卡尔曼滤波或中值滤波等方式中的至少一种，对形象姿态数据进行平滑处理，本公开对平滑处理所采用的平滑方式不作任何限定。
104.需要说明的是，对形象姿态数据进行平滑所采用的平滑方式，与前述对虚拟位移数据进行平滑所采用的平滑方式，两者可以相同或不同，本公开对此不作任何限定。
105.由于上述平滑过程存在万向节点失效的情况，可能出现虚拟形象平躺、倾斜或抬手后仰等问题，影响虚拟形象动作的流畅性和自然度。为了避免上述情况发生，还可以采用以下方式进行虚拟形象的驱动和展示：将形象姿态数据编码至姿态隐变量空间，得到姿态编码数据；将姿态编码数据解码至标准姿态空间，得到姿态解码数据；根据姿态解码数据，驱动并展示虚拟形象。
106.其中，姿态隐变量空间，可以理解为形象姿态数据中能够决定姿态属性的至少一个维度的姿态隐变量，所构建的特征空间。其中，姿态编码数据，可以理解为对形象姿态数据编码所得的姿态隐变量的统一描述，从而实现对形象姿态数据的变分推断。其中，形象姿态数据的数据空间为相对高维的数据空间，而姿态隐变量空间为相对低维的数据空间，在姿态隐变量空间中，剔除了形象姿态数据中无关于姿态属性的干扰隐变量，从而达到了降噪的目的。在一个具体实现方式中，姿态编码数据可以是基于各姿态隐变量的概率分布，对各姿态隐变量进行随机采样所得的结果向量。
107.其中，标准姿态空间，可以理解为重构出的形象姿态数据的理想姿态空间。在该姿态空间中，能够还原出与形象姿态数据中能够决定姿态属性的数据，而不再包含形象姿态
数据中无关姿态属性的其他数据。
108.其中，姿态解码数据，可以理解为仅保留决定姿态属性部分的形象姿态数据。
109.示例性的，可以根据姿态编码数据进行形象姿态数据重构，还原出形象姿态数据的近似概率分布，从而得到形象姿态数据对应的姿态解码数据；相应的，采用姿态解码数据替代形象姿态数据，作为虚拟形象的驱动依据。
110.本公开实施例采用剔除形象姿态数据中的无关干扰信息后所得的姿态解码数据，替代形象姿态数据，作为虚拟形象的驱动依据，能够在基于多个连续的原始图片帧顺序进行虚拟形象驱动的情况下，避免了时序上的虚拟形象抖动。同时，上述方案能够避免由于万向节点上作用失效，而出现虚拟形象平躺、倾斜或抬手后仰等问题，能够提升虚拟形象的姿态动作的流畅性和自然度。
111.在上述各技术方案的基础上，本公开提供了一个实现虚拟形象驱动的优选实施例。以下将结合图5a所示的虚拟形象驱动系统的结构框图和图5b所示的虚拟形象驱动方法的流程图，进行详细说明。
112.参见图5b所示的虚拟形象驱动方法，包括：
113.s501、获取包括真实形象的原始图片帧。
114.s502、通过目标检测网络，确定原始图片帧中真实形象的形象矩形框。
115.其中，目标检测网络可以复用现有技术中的成熟网络结构，或与后续特征提取网络和/或位姿识别网络联合训练得到。
116.s503、基于特征提取网络，提取形象矩形框中的roi特征。
117.其中，特征提取网络可以复用现有技术中的至少一种成熟网络结构，或与目标检测网络和/或位姿识别网络联合训练得到。
118.在一个可选实施例中，形象矩形框包括整个真实形象的整体矩形框。其中，整体矩形框可以拆分为包括头部区域的头部矩形框、包括躯干区域的躯干矩形框和包括肢体区域的肢体矩形框。相应的，特征提取网络可以包括头部特征提取网络、躯干特征提取网络和肢体特征提取网络中的至少一种；基于头部特征提取网络，提取头部矩形框内的头部roi特征；基于躯干特征提取网络，提取躯干roi特征；以及，基于肢体特征提取网络，提取肢体roi特征。
119.s504、将形象矩形框的较长边框长度作为区域边框尺寸，以及，将形象矩形框的对角线尺寸作为区域焦距尺寸。
120.s505、将roi特征、区域边框尺寸和区域焦距尺寸输入位姿识别网络中，得到形象姿态数据和虚拟空间弱透视投影至形象矩形框时对应的弱透视投影参数。
121.其中，位姿识别网络基于现有的至少一种机器学习模型或深度学习模型构建得到，本公开对位姿识别网络的具体网络结构不作任何限定。
122.s506、将局部弱透视投影转化为向原始图片帧的全局透视投影，得到将虚拟空间投影至原始图片帧情况下，虚拟形象对应的虚拟位移数据。
123.示例性的，可以采用以下公式，确定虚拟形象对应的虚拟位移数据：
124.；
125.其中，为局部投影参数中的尺度参数；为局部投影参数中的位移参数；为原始图片帧的标准边缘尺寸，也即透视投影情况下的期望的尺寸，可以由技术人员根据实际情况进行设定；为形象区域的区域中心坐标；为形象区域的区域边缘尺寸（例如可以是形象区域对应矩形框的最大边框长度）；为理想焦距，可以根据经验值进行设定，例如5000；为物距增大结果；为区域尺寸信息中的区域焦距尺寸（例如可以是形象区域对应矩形框的对角线长度）；为虚拟形象在虚拟空间中的虚拟位移数据。
126.s507、分别对虚拟位移数据和形象姿态数据进行平滑处理，并根据平滑结果驱动并展示虚拟形象。
127.示例性的，可以将虚拟位移数据编码至位移隐变量空间，得到位移编码数据，并将位移编码数据解码至标准位移空间，得到位移解码数据；将位移解码数据作为虚拟位移数据的平滑结果。以及，将形象姿态数据编码至姿态隐变量空间，得到姿态编码数据，并将姿态编码数据解码至标准姿态空间，得到姿态解码数据；将姿态加码数据作为形象姿态数据的平滑结果。
128.在进行位姿识别网络训练时，通过目标检测网络确定样本图片帧中真实形象的形象矩形框；基于特征提取网络，提取形象矩形框中的roi特征；将形象矩形框的较长边框长度作为区域边框尺寸，以及将形象矩形框的对角线尺寸作为区域焦距尺寸；将大量样本图片帧的roi特征、区域边框尺寸和区域焦距尺寸作为训练样本，输入至位姿识别网络，得到样本形象姿态数据和样本弱透视投影参数；将局部弱透视投影转化为向原始图片帧的全局透视投影，得到将虚拟空间投影至样本图片帧情况下，虚拟形象对应的样本虚拟位移数据。将样本虚拟位移数据编码至位移隐变量空间，得到样本位移编码数据，并将样本位移编码数据解码至标准位移空间，得到样本位移解码数据；以及，将样本形象姿态数据编码至姿态隐变量空间，得到样本姿态编码数据，并将样本姿态编码数据解码至标准姿态空间，得到样本姿态解码数据。基于区域焦距尺寸和形象矩形框的中心坐标，映射回样本图片帧；根据映射结果与原始的样本图片帧之间的差异情况，调节位姿识别网络的网络参数。其中，差异情况可以通过现有技术中的至少一种损失函数加以实现，本公开对所采用的具体损失函数不作任何限定。
129.需要说明的是，对位姿识别网络进行训练时所采用的设备，与使用位姿识别网络进行虚拟形象驱动展示所采用的设备可以相同或不同，本公开对此不作任何限定。
130.作为上述各虚拟形象驱动方法的实现，本公开还提供了一种实施上述各虚拟形象
驱动方法的执行装置的可选实施例。
131.参见图6所示的虚拟形象驱动装置600，包括：原始图片帧获取模块601、形象区域确定模块602、虚拟位移数据确定模块603和驱动展示模块604。其中，
132.原始图片帧获取模块601，用于获取包括真实形象的原始图片帧；
133.形象区域确定模块602，用于确定所述真实形象在所述原始图片帧中的形象区域，以及所述形象区域所携带的形象特征数据；
134.虚拟位移数据确定模块603，用于根据所述形象区域的区域属性信息和所述形象特征数据，确定透视投影情况下，所述真实形象对应虚拟形象在虚拟空间的虚拟位移数据；其中，所述原始图片帧所处全局二维空间为所述虚拟空间的透射投影结果；
135.驱动展示模块604，用于根据所述虚拟位移数据，驱动并展示所述虚拟形象。
136.本公开实施例通过引入原始图片帧中形象区域的区域属性信息和形象特征数据，确定虚拟空间内虚拟形象的虚拟位移数据，从而将原始图片帧在形象区域所处局部二维空间下的位移数据，转化为虚拟空间下的位移数据。由于虚拟空间为全局二维空间的透射投影结果，因此，在虚拟空间下的虚拟位移数据确定过程中，综合考虑了全局二维空间以及局部二维空间内真实形象的形象特征数据的影响，提高了虚拟位移数据确定结果的准确度，从而避免了出现虚拟形象驱动过程中穿模情况的发生，提高了位移驱动效果。另外，上述虚拟形象驱动过程中，能够适配各种虚拟形象和虚拟场景，无需根据虚拟形象的形象类别和虚拟场景的场景类别，进行变动，更具泛化性和普适性。
137.在一个可选实施例中，所述区域属性信息包括区域尺寸信息和区域位置信息；
138.所述虚拟位移数据确定模块603，包括：
139.局部投影参数确定单元，用于根据所述区域尺寸信息和所述形象特征数据，确定所述形象区域对应的局部投影参数；其中，所述局部投影参数为将所述真实形象对应的虚拟形象，从自身所处虚拟空间，弱透视投影到所述形象区域所处局部二维空间的投影参数；
140.虚拟位移数据确定单元，用于根据所述区域位置信息、所述区域尺寸信息和所述局部投影参数，确定透视投影情况下，所述虚拟形象在所述虚拟空间的虚拟位移数据。
141.在一个可选实施例中，所述虚拟位移数据确定单元，包括：
142.第一确定子单元，用于根据所述局部投影参数中的尺度参数、所述局部投影参数中的位移参数、所述区域尺寸信息中的区域边缘尺寸和所述形象区域的区域中心坐标，确定所述虚拟形象在所述虚拟空间中与所述全局二维空间平行的第一空间维度上的虚拟位移数据；
143.第二确定子单元，用于根据所述局部投影参数中的尺度参数、所述区域尺寸信息中的区域焦距尺寸和所述形象区域的区域边缘尺寸和所述原始图片帧的标准边缘尺寸，确定所述虚拟形象在所述虚拟空间中所述第一空间维度的垂直空间维度上的虚拟位移数据。
144.在一个可选实施例中，所述区域尺寸信息包括区域边框尺寸和区域焦距尺寸。
145.在一个可选实施例中，所述驱动展示模块604，包括：
146.位移编码单元，用于将所述虚拟位移数据编码至位移隐变量空间，得到位移编码数据；
147.位移解码单元，用于将所述位移编码数据解码至标准位移空间，得到位移解码数据；
148.位移驱动展示单元，用于根据所述位移解码数据，驱动并展示所述虚拟形象。
149.在一个可选实施例中，所述装置600还包括：
150.形象姿态数据确定模块，用于根据所述区域属性信息和所述形象特征数据，确定所述形象区域内真实形象的形象姿态数据；
151.所述驱动展示模块，还用于根据所述形象姿态数据，驱动并展示所述虚拟形象。
152.在一个可选实施例中，所述驱动展示模块604，还包括：
153.姿态编码单元，用于将所述形象姿态数据编码至姿态隐变量空间，得到姿态编码数据；
154.姿态解码单元，用于将所述姿态编码数据解码至标准姿态空间，得到姿态解码数据；
155.姿态驱动展示单元，用于根据所述姿态解码数据，驱动并展示所述虚拟形象。
156.上述虚拟形象驱动装置可执行本公开任意实施例所提供的虚拟形象驱动方法，具备执行各虚拟形象驱动方法相应的功能模块和有益效果。
157.本公开的技术方案中，所涉及的包括真实形象的原始图片帧等数据的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
158.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
159.图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
160.如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器（rom）702中的计算机程序或者从存储单元708加载到随机访问存储器（ram）703中的计算机程序，来执行各种适当的动作和处理。在ram 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、rom 702以及ram 703通过总线704彼此相连。输入/输出（i/o）接口705也连接至总线704。
161.设备700中的多个部件连接至i/o接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
162.计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元（cpu）、图形处理单元（gpu）、各种专用的人工智能（ai）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（dsp）、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如虚拟形象驱动方法。例如，在一些实施例中，虚拟形象驱动方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由rom 702和/或通信单元709而被载入和/或安装到设备700上。当计
算机程序加载到ram 703并由计算单元701执行时，可以执行上文描述的虚拟形象驱动方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行虚拟形象驱动方法。
163.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列（fpga）、专用集成电路（asic）、专用标准产品（assp）、芯片上系统的系统（soc）、复杂可编程逻辑设备（cpld）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
164.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
165.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦除可编程只读存储器（eprom或快闪存储器）、光纤、便捷式紧凑盘只读存储器（cd-rom）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
166.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，crt（阴极射线管）或者lcd（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
167.可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（lan）、广域网（wan）和互联网。
168.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计
算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
169.人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。
170.云计算（cloud computing），指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。
171.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。
172.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

技术特征：
1.一种虚拟形象驱动方法，包括：获取包括真实形象的原始图片帧；确定所述真实形象在所述原始图片帧中的形象区域，以及所述形象区域所携带的形象特征数据；根据所述形象区域的区域属性信息和所述形象特征数据，确定透视投影情况下，所述真实形象对应虚拟形象在虚拟空间的虚拟位移数据；其中，所述原始图片帧所处全局二维空间为所述虚拟空间的透射投影结果；根据所述虚拟位移数据，驱动并展示所述虚拟形象。2.根据权利要求1所述的方法，其中，所述区域属性信息包括区域尺寸信息和区域位置信息；所述根据所述形象区域的区域属性信息和所述形象特征数据，确定透视投影情况下，所述真实形象对应虚拟形象在虚拟空间的虚拟位移数据，包括：根据所述区域尺寸信息和所述形象特征数据，确定所述形象区域对应的局部投影参数；其中，所述局部投影参数为将所述真实形象对应的虚拟形象，从自身所处虚拟空间，弱透视投影到所述形象区域所处局部二维空间的投影参数；根据所述区域位置信息、所述区域尺寸信息和所述局部投影参数，确定透视投影情况下，所述虚拟形象在所述虚拟空间的虚拟位移数据。3.根据权利要求2所述的方法，其中，所述根据所述区域位置信息、所述区域尺寸信息和所述局部投影参数，确定透视投影情况下，所述虚拟形象在所述虚拟空间的虚拟位移数据，包括：根据所述局部投影参数中的尺度参数、所述局部投影参数中的位移参数、所述区域尺寸信息中的区域边缘尺寸和所述形象区域的区域中心坐标，确定所述虚拟形象在所述虚拟空间中与所述全局二维空间平行的第一空间维度上的虚拟位移数据；根据所述局部投影参数中的尺度参数、所述区域尺寸信息中的区域焦距尺寸和所述形象区域的区域边缘尺寸和所述原始图片帧的标准边缘尺寸，确定所述虚拟形象在所述虚拟空间中所述第一空间维度的垂直空间维度上的虚拟位移数据。4.根据权利要求2所述的方法，其中，所述区域尺寸信息包括区域边框尺寸和区域焦距尺寸。5.根据权利要求1-4任一项所述的方法，其中，所述根据所述虚拟位移数据，驱动并展示所述虚拟形象，包括：将所述虚拟位移数据编码至位移隐变量空间，得到位移编码数据；将所述位移编码数据解码至标准位移空间，得到位移解码数据；根据所述位移解码数据，驱动并展示所述虚拟形象。6.根据权利要求1-4任一项所述的方法，其中，所述方法还包括：根据所述区域属性信息和所述形象特征数据，确定所述形象区域内真实形象的形象姿态数据；根据所述形象姿态数据，驱动并展示所述虚拟形象。7.根据权利要求6所述的方法，其中，所述根据所述形象姿态数据，驱动并展示所述虚拟形象，包括：
将所述形象姿态数据编码至姿态隐变量空间，得到姿态编码数据；将所述姿态编码数据解码至标准姿态空间，得到姿态解码数据；根据所述姿态解码数据，驱动并展示所述虚拟形象。8.一种虚拟形象驱动装置，包括：原始图片帧获取模块，用于获取包括真实形象的原始图片帧；形象区域确定模块，用于确定所述真实形象在所述原始图片帧中的形象区域，以及所述形象区域所携带的形象特征数据；虚拟位移数据确定模块，用于根据所述形象区域的区域属性信息和所述形象特征数据，确定透视投影情况下，所述真实形象对应虚拟形象在虚拟空间的虚拟位移数据；其中，所述原始图片帧所处全局二维空间为所述虚拟空间的透射投影结果；驱动展示模块，用于根据所述虚拟位移数据，驱动并展示所述虚拟形象。9.根据权利要求8所述的装置，其中，所述区域属性信息包括区域尺寸信息和区域位置信息；所述虚拟位移数据确定模块，包括：局部投影参数确定单元，用于根据所述区域尺寸信息和所述形象特征数据，确定所述形象区域对应的局部投影参数；其中，所述局部投影参数为将所述真实形象对应的虚拟形象，从自身所处虚拟空间，弱透视投影到所述形象区域所处局部二维空间的投影参数；虚拟位移数据确定单元，用于根据所述区域位置信息、所述区域尺寸信息和所述局部投影参数，确定透视投影情况下，所述虚拟形象在所述虚拟空间的虚拟位移数据。10.根据权利要求9所述的装置，其中，所述虚拟位移数据确定单元，包括：第一确定子单元，用于根据所述局部投影参数中的尺度参数、所述局部投影参数中的位移参数、所述区域尺寸信息中的区域边缘尺寸和所述形象区域的区域中心坐标，确定所述虚拟形象在所述虚拟空间中与所述全局二维空间平行的第一空间维度上的虚拟位移数据；第二确定子单元，用于根据所述局部投影参数中的尺度参数、所述区域尺寸信息中的区域焦距尺寸和所述形象区域的区域边缘尺寸和所述原始图片帧的标准边缘尺寸，确定所述虚拟形象在所述虚拟空间中所述第一空间维度的垂直空间维度上的虚拟位移数据。11.根据权利要求9所述的装置，其中，所述区域尺寸信息包括区域边框尺寸和区域焦距尺寸。12.根据权利要求8-11任一项所述的装置，其中，所述驱动展示模块，包括：位移编码单元，用于将所述虚拟位移数据编码至位移隐变量空间，得到位移编码数据；位移解码单元，用于将所述位移编码数据解码至标准位移空间，得到位移解码数据；位移驱动展示单元，用于根据所述位移解码数据，驱动并展示所述虚拟形象。13.根据权利要求8-11任一项所述的装置，其中，所述装置还包括：形象姿态数据确定模块，用于根据所述区域属性信息和所述形象特征数据，确定所述形象区域内真实形象的形象姿态数据；所述驱动展示模块，还用于根据所述形象姿态数据，驱动并展示所述虚拟形象。14.根据权利要求13所述的装置，其中，所述驱动展示模块，还包括：姿态编码单元，用于将所述形象姿态数据编码至姿态隐变量空间，得到姿态编码数据；
姿态解码单元，用于将所述姿态编码数据解码至标准姿态空间，得到姿态解码数据；姿态驱动展示单元，用于根据所述姿态解码数据，驱动并展示所述虚拟形象。15.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的虚拟形象驱动方法。16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-7中任一项所述的虚拟形象驱动方法。

技术总结
本公开提供了一种虚拟形象驱动方法、装置、设备和介质，涉及人工智能技术领域，尤其涉及计算机视觉、虚拟现实、增强现实等技术，可用于元宇宙场景。具体实现方案为：获取包括真实形象的原始图片帧；确定真实形象在原始图片帧中的形象区域，以及形象区域所携带的形象特征数据；根据形象区域的区域属性信息和形象特征数据，确定透视投影情况下，真实形象对应虚拟形象在虚拟空间的虚拟位移数据；其中，原始图片帧所处全局二维空间为虚拟空间的透射投影结果；根据虚拟位移数据，驱动并展示虚拟形象。根据本公开的技术，提高了虚拟形象位移驱动的泛化性和驱动效果准确度。泛化性和驱动效果准确度。泛化性和驱动效果准确度。


技术研发人员：陈毅 郭紫垣 赵亚飞 范锡睿 张世昌 杜宗财 王志强
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2023.06.08
技术公布日：2023/7/18