三维虚拟形象生成方法、装置、设备以及存储介质与流程

1.本公开涉及计算机视觉、深度学习等人工智能技术领域，尤其涉及三维虚拟形象生成方法、装置、设备以及存储介质。


背景技术：

2.在项目上线后，用户可通过项目对应的程序或应用上传个人的面部图像，以获得携带有用户的面部特征的三维虚拟形象。
3.相关技术中，在进行用户的三维虚拟模型构建时，会先构建不包括用户的面部特征的三维虚拟形象，并根据三维虚拟形象对应的脸型基底和表情基底，采用三维可变形人脸模型(three-dimensional morphable model，3dmm)算法对该三维虚拟形象的面部进行重建，以得到包括有用户的面部特征的三维虚拟形象。


技术实现要素：

4.本公开提供了一种三维虚拟形象生成方法、装置、设备以及存储介质。
5.根据本公开的一方面，提供了一种三维虚拟形象生成方法，包括：
6.获取第一模型、第二模型和参考虚拟形象，其中，所述第一模型为根据目标对象的图像信息进行三维重建得到的所述目标对象的三维模型，所述第二模型为参考对象的三维模型，所述参考虚拟形象为根据所述参考对象构建的三维虚拟形象；
7.计算所述第一模型和所述第二模型的差异信息；
8.根据所述差异信息对所述参考虚拟形象的三维坐标进行调整，得到所述目标对象的三维虚拟形象。
9.根据本公开的另一方面，提供了一种三维虚拟形象生成装置，包括：
10.获取模块，用于获取第一模型、第二模型和参考虚拟形象，其中，所述第一模型为根据目标对象的图像信息进行三维重建得到的所述目标对象的三维模型，所述第二模型为参考对象的三维模型，所述参考虚拟形象为根据所述参考对象构建的三维虚拟形象；
11.计算模块，用于计算所述第一模型和所述第二模型的差异信息；
12.调整模块，用于根据所述差异信息对所述参考虚拟形象的三维坐标进行调整，得到所述目标对象的三维虚拟形象。
13.根据本公开的另一方面，提供了一种电子设备，包括：
14.至少一个处理器；以及
15.与所述至少一个处理器通信连接的存储器；其中，
16.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开提供的三维虚拟形象生成方法。
17.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开提供的三维虚拟形象生成方法。
18.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算
机程序在被处理器执行时实现本公开提供的三维虚拟形象生成方法。
19.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
20.附图用于更好地理解本方案，不构成对本公开的限定。其中：
21.图1是本公开提供的一种三维虚拟形象生成方法的流程图；
22.图2是本公开提供的另一种三维虚拟形象生成方法的流程图；
23.图3a至图3c是本公开提供的三维虚拟形象生成装置的结构图；
24.图4是用来实现本公开实施例的三维虚拟形象生成方法的电子设备的框图。
具体实施方式
25.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
26.请参见图1，图1是本公开提供的一种三维虚拟形象生成方法的流程图，如图1所示，包括以下步骤：
27.步骤s101、获取第一模型、第二模型和参考虚拟形象。
28.其中，所述第一模型为根据目标对象的图像信息进行三维重建得到的所述目标对象的三维模型，所述第二模型为参考对象的三维模型，所述参考虚拟形象为根据所述参考对象构建的三维虚拟形象。
29.上述目标对象可以为人脸；上述目标对象的图像信息可以通过摄像头、相机、智能手机等设备采集得到；上述参考对象为泛化的标准人脸，参考对象可通过综合或汇总多个自然人的人脸特征(如：鼻特征、嘴特征、眼特征等)的公共部分来得到。
30.举例来说，上述第一模型可以为根据用户a的面部图像进行三维重建得到的用户a的面部三维模型，上述第二模型可以为泛化的标准人脸的面部三维模型，上述参考虚拟形象可以为根据泛化的标准人脸构建的三维虚拟形象(如：卡通动物玩偶的虚拟形象、卡通人物的虚拟形象等)。
31.步骤s102、计算所述第一模型和所述第二模型的差异信息。
32.上述差异信息用于指示第一模型的模型形状和第二模型的模型形状之间的差异，其中，模型形状可以为构建模型的多个三维点之间的坐标关系。
33.上述第一模型和上述第二模型为同一类型的三维模型，也即是说，上述第一模型包括的三维点的数目和上述第二模型包括的三维点的数目相同，且第一模型包括的多个三维点和第二模型包括的多个三维点一一对应；针对相互对应的第一模型的三维点和第二模型的三维点来说，两者的点标识相同，点坐标可以相同也可以不同。
34.上述参考虚拟形象包括的三维点的数目和上述第一模型包括的三维点的数目不同。
35.在一示例中，可以将第一模型的多个三维点和第二模型的多个三维点之间的点坐
标差异作为所述差异信息。
36.在另一示例中，可以对第一模型和第二模型分别进行特征提取，以得到第一模型对应的形状特征和第二模型对应的形状特征，并将第一模型对应的形状特征和第二模型对应的形状特征之间的特征差异作为所述差异信息。
37.步骤s103、根据所述差异信息对所述参考虚拟形象的三维坐标进行调整，得到所述目标对象的三维虚拟形象。
38.在本公开中，由于第二模型和参考虚拟形象均对应参考对象，因此，第二模型的三维点与参考虚拟形象的三维点之间存在特征映射关系，基于该特征映射关系可建立参考虚拟形象的三维点和第二模型的三维点的点标识之间的关联，之后根据点标识对应的差异信息对关联的参考虚拟形象的三维点的三维坐标进行调整，即可得到所述目标对象的三维虚拟形象。
39.其中，特征映射关系可以为：第二模型的n个三维点和参考虚拟形象的m个三维点对应参考对象的同一特征，n和m均为正整数。
40.应用中，可以通过应用三维可变形人脸模型(three-dimensional morphable model，3dmm)算法的重建基底组生成前述第一模型和第二模型，通过目标基底生成前述参考虚拟形象，其中，上述重建基底组包括重建基底、对应重建基底的脸型基底、对应重建基底的表情基底；所述目标基底用于生成匹配数字项目的形象要求的三维虚拟形象，一个数字项目对应一个目标基底。
41.在相关技术中，为完成数字项目的上线工作，需根据目标基底构建目标基底组，所述目标基底组包括：目标基底、对应目标基底的脸型基底、对应目标基底的表情基底；以便根据构建得到的目标基底组使用3dmm算法进行目标对象的人脸重建操作，进而生成目标对象的三维虚拟形象；其中，对应目标基底的脸型基底以及对应目标基底的表情基底的构建流程繁琐，使得数字项目在上线准备阶段的耗时较多，这导致数字项目的上线效率低下。
42.而在本公开中，通过获取第一模型、第二模型以及参考虚拟形象，并利用既关联第一模型又关联参考虚拟形象的第二模型，建立第一模型和参考虚拟形象之间的关联，以根据第一模型与第二模型之间的差异完成对参考虚拟形象的三维坐标的调整，从而获得目标对象的三维虚拟形象，这能省去数字项目对应目标基底的脸型基底和表情基底的构建步骤，缩短数字项目在上线准备阶段的耗时，令数字项目的上线效率得到提升。
43.在本公开应用于直播场景或视频录制场景时，通过摄像头采集的用户面部图像即为前述目标对象的图像信息，而目标对象的三维虚拟形象则为携带有用户的面部特征的虚拟卡通形象。
44.在一个实施例中，所述计算所述第一模型和所述第二模型的差异信息，包括：
45.获取所述第一模型对应目标标识的三维点的第一坐标和所述第二模型对应所述目标标识的三维点的第二坐标，其中，所述第一模型和所述第二模型为同一类型的三维模型，所述目标标识为所述同一类型的三维模型中任一三维点的点标识；
46.计算所述第一坐标和所述第二坐标之间的坐标差异，所述差异信息包括所述坐标差异。
47.该实施例中，基于对应相同点标识的第一模型的三维点和第二模型的三维点之间的坐标差异，对参考虚拟形象的三维点的三维坐标进行调整，从三维点的细粒度层级进行
参考虚拟形象的调整操作，可令生成的目标对象的三维虚拟形象与目标对象更加相似。
48.其中，上述点标识可以为对应三维点用于区别于所述同一类型的三维模型中其他三维点的标识，例如：点编号、点序号等。
49.需要说明的是，对于某一点标识来说，除了根据所述点标识计算对应的坐标差异外，还可以根据所述点标识在参考虚拟形象中识别对应的标识三维点，以建立第一模型和参考虚拟形象之间的关联，其中，所述点标识在第二模型中所对应三维点指示的参考对象的特征和所述标识三维点指示的参考对象的特征相同。
50.在一个实施例中，所述根据所述差异信息对所述参考虚拟形象的三维坐标进行调整，得到所述目标对象的三维虚拟形象，包括：
51.在所述参考虚拟形象中识别关联所述目标标识的目标三维点；
52.根据所述坐标差异确定所述目标三维点的坐标调整数据；
53.根据所述坐标调整数据对所述参考虚拟形象的第一部位的三维坐标进行调整，得到所述目标对象的三维虚拟形象，所述第一部位为所述参考虚拟形象包括的多个部位中的一个部位，且所述第一部位与所述目标对象匹配。
54.该实施例中，根据目标标识快速建立参考虚拟形象和第一模型之间的关联，并相应识别目标三维点，以通过目标三维点的坐标调整完成对参考虚拟形象的第一部位的坐标调整，能缩短参考虚拟形象的第一部位的坐标调整耗时，令目标对象的三维虚拟形象的生成效率得到提升。
55.其中，目标三维点可以为参考虚拟形象中所指示参考对象的特征和目标标识在第二模型中所指示参考对象的特征相同的三维点。
56.示例性的，所述参考虚拟形象包括的多个部位可以为：躯干部位、肢体部位、头部部位等。
57.所述第一部位与所述目标对象匹配可以为：所述目标对象指代的人体部位与所述第一部位指代的人体部位相同；或者，所述第一部位与所述目标对象匹配也可以为：所述目标对象指代的人体部位包含于所述第一部位指代的人体部位中。
58.在一个实施例中，所述差异信息包括多个三维点的所述坐标差异，所述根据所述坐标差异确定对所述目标三维点的坐标调整数据，包括：
59.对所述多个三维点的所述坐标差异进行加权计算，得到所述坐标调整数据。
60.该实施例中，所述目标三维点和所述目标标识为一对多的关系，利用加权计算的方式，通过多个所述目标标识对应的多个三维点来确定目标三维点的坐标调整数据，可令计算得到的坐标调整数据更加可靠，进而使候选生成的目标对象的三维虚拟形象与目标对象更加相似。
61.其中，上述加权计算的权重值可以根据所述多个三维点中每一三维点和所述目标三维点之间的点距确定，所述多个三维点中每一三维点和所述目标三维点之间的点距越小，对应的权重值越大。
62.在一个实施例中，所述根据所述坐标调整数据对所述参考虚拟形象的第一部位的三维坐标进行调整，得到所述目标对象的三维虚拟形象，包括：
63.对目标函数进行求解，得到目标调整信息，其中，所述目标函数的函数输入为用于调整所述参考虚拟形象的第一部位的三维坐标的候选调整信息，所述目标函数的函数输出
为所述参考虚拟形象的第一部位的三维坐标在经过调整后的坐标偏差值，所述目标函数的函数约束条件包括：在所述候选调整信息调整的三维点为所述目标三维点时，经过所述候选调整信息调整后的三维点的坐标偏差数据和所述坐标调整数据相同，所述目标调整信息为所述坐标偏差值取最小值时对应的候选调整信息；
64.根据所述目标调整信息对所述参考虚拟形象的第一部位的三维坐标进行调整，得到所述目标对象的三维虚拟形象。
65.其中，目标函数的函数输出的数值越大，则说明基于对应函数输入对参考虚拟形象进行后调整的形象与数字项目的形象要求之间的匹配度越低；而满足函数约束条件的函数输入，则能使基于对应函数输入对参考虚拟形象进行后调整的形象与目标对象更加相似。
66.该实施例中，将坐标调整数据引入函数约束条件，并求解目标函数最优解的方式，不仅能令所得到的目标对象的三维虚拟形象与数字项目的形象要求更加匹配，也能使基于所得到的目标对象的三维虚拟形象与目标对象更加相似。
67.在一个实施例中，所述坐标偏差值包括：
68.第一三维点的坐标偏差和第二三维点的坐标偏差之间的差值，其中，所述第一三维点和所述第二三维点为所述参考虚拟形象中的任意两个相邻的三维点，所述第一三维点的坐标偏差为所述第一三维点在所述参考虚拟形象中的坐标和所述第一三维点经过候选调整信息调整后的坐标之间的坐标偏差，所述第二三维点的坐标偏差为所述第二三维点在所述参考虚拟形象中的坐标和所述第二三维点经过候选调整信息调整后的坐标之间的坐标偏差。
69.该实施例中，利用参考虚拟形象中相邻三维点在调整前后的坐标偏差之间的差异作为函数输出，能对前述匹配度进行更加准确地表示，并使所确定的目标调整信息更加可靠。
70.示例性的，上述目标函数的函数表示如式(1)所示：
71.f(δx)＝
72.∑i∑
j∈n(i)
||δx
i-δxj||2+∑i∑
j∈n(i)
||δy
i-δyj||2+∑i∑
j∈n(i)
||δz
i-δzj||2ꢀꢀ
(1)
73.上述函数约束条件的函数表示如式(2)至式(4)所示：
74.s.t.hk(δxk)＝x
k k＝1，2，
…kꢀꢀ
(2)
75.hk(δyk)＝y
k k＝1，2，
…kꢀꢀ
(3)
76.hk(δzk)＝z
k k＝1，2，
…kꢀꢀ
(4)
77.式(1)中，δx表示所述目标函数的函数输入，n(i)表示参考虚拟形象的第一部位包括的三维点数目，δxi表示参考虚拟形象的第一部位的第i点根据函数输入进行调整后与调整前在x轴上的坐标偏差量，δyi表示参考虚拟形象的第一部位的第i点根据函数输入进行调整后与调整前在y轴上的坐标偏差量，δzi表示参考虚拟形象的第一部位的第i点根据函数输入进行调整后与调整前在z轴上的坐标偏差量，δxj表示参考虚拟形象的第一部位的第j点根据函数输入进行调整后与调整前在x轴上的坐标偏差量，δyi表示参考虚拟形象的第一部位的第j点根据函数输入进行调整后与调整前在y轴上的坐标偏差量，δzi表示参考虚拟形象的第一部位的第j点根据函数输入进行调整后与调整前在z轴上的坐标偏差
量，第i点和第j点相邻，x轴、y轴、z轴相互配合以构成参考虚拟形象所在的三维坐标系。
78.式(2)至式(4)中，hk(δxk)表示参考虚拟形象的第一部位的第k点根据函数输入进行调整后与调整前在x轴上的坐标偏差量(也即参考虚拟形象的第一部位的第k点的坐标偏差数据在x轴上的分量)，xk表示参考虚拟形象的第一部位的第k点对应的坐标调整数据在x轴上的分量；
79.hk(δyk)表示参考虚拟形象的第一部位的第k点根据函数输入进行调整后与调整前在y轴上的坐标偏差量(也即参考虚拟形象的第一部位的第k点的坐标偏差数据在y轴上的分量)，yk表示参考虚拟形象的第一部位的第k点对应的坐标调整数据在y轴上的分量；
80.hk(δzk)表示参考虚拟形象的第一部位的第k点根据函数输入进行调整后与调整前在z轴上的坐标偏差量(也即参考虚拟形象的第一部位的第k点的坐标偏差数据在z轴上的分量)，zk表示参考虚拟形象的第一部位的第k点对应的坐标调整数据在z轴上的分量；
81.k为参考虚拟形象包括的目标三维点的数目。
82.在一个实施例中，所述在所述参考虚拟形象中识别关联所述目标标识的目标三维点，包括：
83.根据所述参考虚拟形象对所述第二模型进行变形处理，得到第三模型，其中，所述第三模型也为所述同一类型的三维模型，且所述第三模型和所述参考虚拟形象的第一部位的形状匹配；
84.在所述参考虚拟形象中将投影点位于目标三角区域，且与投影点之间的点距小于第一阈值的三维点识别为所述目标三维点，其中，所述目标三角区域为所述第三模型中对应所述目标标识的三角区域。
85.该实施例中，通过点投影以及点距的阈值判断，构建参考虚拟形象中的三维点和第三模型的三角区域之间的点面映射关联，并基于所述点面映射关联对第二模型的三维点与参考虚拟形象的三维点之间存在的特征映射关系进行表示，以最终建立参考虚拟形象的三维点和第一模型的三维点之间的一对多关系，能使计算得到的坐标调整数据更加准确。
86.这其中，虽然参考虚拟形象和第二模型均是基于参考对象构建的，但参考虚拟形象包括的三维点数量和第二模型包括的三维点数量不同，这使得参考虚拟形象对参考对象的特征表示和第二模型对参考对象的特征表示存在差异，因此，在构建参考虚拟形象中的三维点和第三模型的三角区域之间的点面映射关联之前，会应用变形处理的措施，将第二模型调整为第三模型，第三模型对参考对象的特征表示与参考虚拟形象对参考对象的特征表示相同，这能提升所构建的点面映射关联的准确性。
87.示例性的，在参考对象为预设的标准人脸时，第三模型对参考对象的特征表示与参考虚拟形象对参考对象的特征表示相同可以为：第三模型所表示的人脸可以贴合于参考虚拟形象的面部区域。
88.示例性的，对第二模型进行变形处理以得到第三模型的过程可以为：
89.在第二模型中识别对应五官特征的第一点集，在参考虚拟形象中识别对应所述五官特征的第二点集，根据所述第一点集和所述第二点集构建五官点对，根据非刚性的点云配准算法对所述五官点对进行配准，以得到变换矩阵m，并根据变换矩阵m对第二模型进行对齐变换，得到中间模型。
90.在保持中间模型的拓扑不变的情况下，对中间模型进行坐标变形，以得到所述第
三模型。
91.其中，中间模型的拓扑不变可以为：中间模型包括的三维点的数量不变、中间模型包括的三角面片的数量不变、中间模型包括的多个三维点之间的连接关系不变。
92.可以通过设计师手动操作的方式完成前述坐标变形处理，也可以通过三角网格形变迁移(deformation transfer for triangle meshes，dt)算法完成前述坐标变形处理，还可以通过变形软件(如：warp4d)完成前述坐标变形处理，本公开对坐标变形处理的具体实现方式不作限定。但需要指出的是，基于手动操作方式完成的坐标变形处理的处理精度高于基于变形软件完成的坐标变形处理的处理精度，而基于变形软件完成的坐标变形处理的处理精度又高于基于dt算法完成的坐标变形处理的处理精度。
93.该实施例中，在参考虚拟形象中识别到目标三维点时，可以对目标三维点、目标三角区域对应的三个点标识、目标三维点在目标三角区域内的重心坐标进行记录；在后续计算目标三维点的坐标调整数据时，可以先获取目标三角区域对应的三个点标识分别关联的三个坐标差异，并基于前述重心坐标确定三个坐标差异所分别对应的权重值，而后进行加权计算，以得到目标三维点的坐标调整数据。
94.举例来说，若目标三角区域对应的三个点标识分别为a1、a2、a3，目标三维点在目标三角区域内的重心坐标为(w1，w2，w3)，w1对应a1，w2对应a2，w3对应a3，a1关联的坐标差异为a1，a2关联的坐标差异为a2，a3关联的坐标差异为a3，则目标三维点的坐标调整数据为w1a1+w2a2+w3a3，其中，w1+w2+w3＝1。
95.在一个实施例中，所述目标对象包括：人脸，所述参考对象包括：预设的标准人脸，所述三维虚拟形象包括：人脸和肢体。
96.该实施例中，将人脸作为目标对象，以对用户的个人特征进行充分体现，可提升最终生成的目标对象的三维虚拟形象的辨识度。
97.需要说明的是，在一些实施方式中，前述目标对象还可以包括：躯干和四肢，同理，所述参考对象还可以包括：预设的标准躯干和预设标准四肢，在三维虚拟形象聚会的场景中，将躯干和四肢作为目标对象，以对不同用户的高矮、胖瘦等特征差异进行表示，使得聚会场景中不同用户之间的辨识更加容易。
98.为方便理解，示例说明如下：
99.如图2所示，根据预设的标准人脸构建第二模型以及参考虚拟形象，通过对第二模型进行对齐和变形处理，以得到第三模型，其中，所述第三模型的拓扑结构和所述第二模型的拓扑结构一致，所述第三模型的形状和参考虚拟形象的形状一致。
100.将第三模型迁入参考虚拟形象所在的三维坐标系，并识别参考虚拟形象中的三维点和第三模型的三角区域之间的点面映射关联。
101.随后获取根据目标对象的图像信息重建的第一模型，并求解前述目标函数，以得到目标调整信息，其中，目标函数的函数约束即为前述点面映射关联。
102.最后根据目标调整信息对参考虚拟形象的头部的三维点进行拓扑重构，得到目标对象的三维虚拟形象，其中，目标对象的三维虚拟形象的拓扑结构和参考虚拟形象的拓扑结构一致，目标对象的三维虚拟形象的形状和第一模型的形状一致。
103.需要强调的是，本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
104.请参见图3a，图3a是本公开提供的一种三维虚拟形象生成装置，如图3a所示，三维虚拟形象生成装置300，包括：
105.获取模块301，用于获取第一模型、第二模型和参考虚拟形象，其中，所述第一模型为根据目标对象的图像信息进行三维重建得到的所述目标对象的三维模型，所述第二模型为参考对象的三维模型，所述参考虚拟形象为根据所述参考对象构建的三维虚拟形象；
106.计算模块302，用于计算所述第一模型和所述第二模型的差异信息；
107.调整模块303，用于根据所述差异信息对所述参考虚拟形象的三维坐标进行调整，得到所述目标对象的三维虚拟形象。
108.在一个实施例中，如图3b所示，所述计算模块302，包括：
109.坐标获取单元3021，用于获取所述第一模型对应目标标识的三维点的第一坐标和所述第二模型对应所述目标标识的三维点的第二坐标，其中，所述第一模型和所述第二模型为同一类型的三维模型，所述目标标识为所述同一类型的三维模型中任一三维点的点标识；
110.差异计算单元3022，用于计算所述第一坐标和所述第二坐标之间的坐标差异，所述差异信息包括所述坐标差异。
111.在一个实施例中，如图3c所示，所述调整模块303，包括：
112.识别单元3031，用于在所述参考虚拟形象中识别关联所述目标标识的目标三维点；
113.确定单元3032，用于根据所述坐标差异确定所述目标三维点的坐标调整数据；
114.调整单元3033，用于根据所述坐标调整数据对所述参考虚拟形象的第一部位的三维坐标进行调整，得到所述目标对象的三维虚拟形象，所述第一部位为所述参考虚拟形象包括的多个部位中的一个部位，且所述第一部位与所述目标对象匹配。
115.在一个实施例中，所述差异信息包括多个三维点的所述坐标差异，所述确定单元3032，用于：
116.对所述多个三维点的所述坐标差异进行加权计算，得到所述坐标调整数据。
117.在一个实施例中，所述调整单元3033，用于：
118.对目标函数进行求解，得到目标调整信息，其中，所述目标函数的函数输入为用于调整所述参考虚拟形象的第一部位的三维坐标的候选调整信息，所述目标函数的函数输出为所述参考虚拟形象的第一部位的三维坐标在经过调整后的坐标偏差值，所述目标函数的函数约束条件包括：在所述候选调整信息调整的三维点为所述目标三维点时，经过所述候选调整信息调整后的三维点的坐标偏差数据和所述坐标调整数据相同，所述目标调整信息为所述坐标偏差值取最小值时对应的候选调整信息；
119.根据所述目标调整信息对所述参考虚拟形象的第一部位的三维坐标进行调整，得到所述目标对象的三维虚拟形象。
120.在一个实施例中，所述坐标偏差值包括：
121.第一三维点的坐标偏差和第二三维点的坐标偏差之间的差值，其中，所述第一三维点和所述第二三维点为所述参考虚拟形象中的任意两个相邻的三维点，所述第一三维点的坐标偏差为所述第一三维点在所述参考虚拟形象中的坐标和所述第一三维点经过候选调整信息调整后的坐标之间的坐标偏差，所述第二三维点的坐标偏差为所述第二三维点在
所述参考虚拟形象中的坐标和所述第二三维点经过候选调整信息调整后的坐标之间的坐标偏差。
122.在一个实施例中，所述识别单元3031，用于：
123.根据所述参考虚拟形象对所述第二模型进行变形处理，得到第三模型，其中，所述第三模型也为所述同一类型的三维模型，且所述第三模型和所述参考虚拟形象的第一部位的形状匹配；
124.在所述参考虚拟形象中将投影点位于目标三角区域，且与投影点之间的点距小于第一阈值的三维点识别为所述目标三维点，其中，所述目标三角区域为所述第三模型中对应所述目标标识的三角区域。
125.在一个实施例中，所述目标对象包括：人脸，所述参考对象包括：预设的标准人脸，所述三维虚拟形象包括：人脸和肢体。
126.本公开提供的信息检索装置能够实现本公开提供的三维虚拟形象生成方法实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。
127.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
128.图4示出了可以用来实施本公开的实施例的示例电子设备400的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
129.如图4所示，设备400包括计算单元401，其可以根据存储在只读存储器(read-only memory，rom)402中的计算机程序或者从存储单元408加载到随机访问存储器(random access memory，ram)403中的计算机程序，来执行各种适当的动作和处理。在ram 403中，还可存储设备400操作所需的各种程序和数据。计算单元401、rom 402以及ram 403通过总线404彼此相连。输入/输出(i/o)接口405也连接至总线404。
130.设备400中的多个部件连接至i/o接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
131.计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(central processing unit，cpu)、图形处理单元(graphic process unit，gpu)、各种专用的人工智能(artificial intelligence，ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(digital signal processing，dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理，例如三维虚拟形象生成方法。例如，在一些实施例中，三维虚拟形象生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由rom 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到ram 403并由计算单元401执行时，可
以执行上文描述的三维虚拟形象生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行三维虚拟形象生成方法。
132.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(field－programmable gate array，fpga)、专用集成电路(application specific integrated circuit，asic)、专用标准产品(application specific standard product，assp)、芯片上系统的系统(system on chip，soc)、复杂可编程逻辑设备(complex programmable logic device，cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
133.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
134.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
135.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
136.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
137.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
138.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
139.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

技术特征：
1.一种三维虚拟形象生成方法，其特征在于，包括：获取第一模型、第二模型和参考虚拟形象，其中，所述第一模型为根据目标对象的图像信息进行三维重建得到的所述目标对象的三维模型，所述第二模型为参考对象的三维模型，所述参考虚拟形象为根据所述参考对象构建的三维虚拟形象；计算所述第一模型和所述第二模型的差异信息；根据所述差异信息对所述参考虚拟形象的三维坐标进行调整，得到所述目标对象的三维虚拟形象。2.根据权利要求1所述的方法，其中，所述计算所述第一模型和所述第二模型的差异信息，包括：获取所述第一模型对应目标标识的三维点的第一坐标和所述第二模型对应所述目标标识的三维点的第二坐标，其中，所述第一模型和所述第二模型为同一类型的三维模型，所述目标标识为所述同一类型的三维模型中任一三维点的点标识；计算所述第一坐标和所述第二坐标之间的坐标差异，所述差异信息包括所述坐标差异。3.根据权利要求2所述的方法，其中，所述根据所述差异信息对所述参考虚拟形象的三维坐标进行调整，得到所述目标对象的三维虚拟形象，包括：在所述参考虚拟形象中识别关联所述目标标识的目标三维点；根据所述坐标差异确定所述目标三维点的坐标调整数据；根据所述坐标调整数据对所述参考虚拟形象的第一部位的三维坐标进行调整，得到所述目标对象的三维虚拟形象，所述第一部位为所述参考虚拟形象包括的多个部位中的一个部位，且所述第一部位与所述目标对象匹配。4.根据权利要求3所述的方法，其中，所述差异信息包括多个三维点的所述坐标差异，所述根据所述坐标差异确定对所述目标三维点的坐标调整数据，包括：对所述多个三维点的所述坐标差异进行加权计算，得到所述坐标调整数据。5.根据权利要求3所述的方法，其中，所述根据所述坐标调整数据对所述参考虚拟形象的第一部位的三维坐标进行调整，得到所述目标对象的三维虚拟形象，包括：对目标函数进行求解，得到目标调整信息，其中，所述目标函数的函数输入为用于调整所述参考虚拟形象的第一部位的三维坐标的候选调整信息，所述目标函数的函数输出为所述参考虚拟形象的第一部位的三维坐标在经过调整后的坐标偏差值，所述目标函数的函数约束条件包括：在所述候选调整信息调整的三维点为所述目标三维点时，经过所述候选调整信息调整后的三维点的坐标偏差数据和所述坐标调整数据相同，所述目标调整信息为所述坐标偏差值取最小值时对应的候选调整信息；根据所述目标调整信息对所述参考虚拟形象的第一部位的三维坐标进行调整，得到所述目标对象的三维虚拟形象。6.根据权利要求5所述的方法，其中，所述坐标偏差值包括：第一三维点的坐标偏差和第二三维点的坐标偏差之间的差值，其中，所述第一三维点和所述第二三维点为所述参考虚拟形象中的任意两个相邻的三维点，所述第一三维点的坐标偏差为所述第一三维点在所述参考虚拟形象中的坐标和所述第一三维点经过候选调整信息调整后的坐标之间的坐标偏差，所述第二三维点的坐标偏差为所述第二三维点在所述
参考虚拟形象中的坐标和所述第二三维点经过候选调整信息调整后的坐标之间的坐标偏差。7.根据权利要求4所述的方法，其中，所述在所述参考虚拟形象中识别关联所述目标标识的目标三维点，包括：根据所述参考虚拟形象对所述第二模型进行变形处理，得到第三模型，其中，所述第三模型也为所述同一类型的三维模型，且所述第三模型和所述参考虚拟形象的第一部位的形状匹配；在所述参考虚拟形象中将投影点位于目标三角区域，且与投影点之间的点距小于第一阈值的三维点识别为所述目标三维点，其中，所述目标三角区域为所述第三模型中对应所述目标标识的三角区域。8.根据权利要求1至7中任一项所述的方法，其中，所述目标对象包括：人脸，所述参考对象包括：预设的标准人脸，所述三维虚拟形象包括：人脸和肢体。9.一种三维虚拟形象生成装置，其特征在于，包括：获取模块，用于获取第一模型、第二模型和参考虚拟形象，其中，所述第一模型为根据目标对象的图像信息进行三维重建得到的所述目标对象的三维模型，所述第二模型为参考对象的三维模型，所述参考虚拟形象为根据所述参考对象构建的三维虚拟形象；计算模块，用于计算所述第一模型和所述第二模型的差异信息；调整模块，用于根据所述差异信息对所述参考虚拟形象的三维坐标进行调整，得到所述目标对象的三维虚拟形象。10.根据权利要求9所述的装置，其中，所述计算模块，包括：坐标获取单元，用于获取所述第一模型对应目标标识的三维点的第一坐标和所述第二模型对应所述目标标识的三维点的第二坐标，其中，所述第一模型和所述第二模型为同一类型的三维模型，所述目标标识为所述同一类型的三维模型中任一三维点的点标识；差异计算单元，用于计算所述第一坐标和所述第二坐标之间的坐标差异，所述差异信息包括所述坐标差异。11.根据权利要求10所述的装置，其中，所述调整模块，包括：识别单元，用于在所述参考虚拟形象中识别关联所述目标标识的目标三维点；确定单元，用于根据所述坐标差异确定所述目标三维点的坐标调整数据；调整单元，用于根据所述坐标调整数据对所述参考虚拟形象的第一部位的三维坐标进行调整，得到所述目标对象的三维虚拟形象，所述第一部位为所述参考虚拟形象包括的多个部位中的一个部位，且所述第一部位与所述目标对象匹配。12.根据权利要求11所述的装置，其中，所述差异信息包括多个三维点的所述坐标差异，所述确定单元用于：对所述多个三维点的所述坐标差异进行加权计算，得到所述坐标调整数据。13.根据权利要求11所述的装置，其中，所述调整单元用于：对目标函数进行求解，得到目标调整信息，其中，所述目标函数的函数输入为用于调整所述参考虚拟形象的第一部位的三维坐标的候选调整信息，所述目标函数的函数输出为所述参考虚拟形象的第一部位的三维坐标在经过调整后的坐标偏差值，所述目标函数的函数约束条件包括：在所述候选调整信息调整的三维点为所述目标三维点时，经过所述候选调
整信息调整后的三维点的坐标偏差数据和所述坐标调整数据相同，所述目标调整信息为所述坐标偏差值取最小值时对应的候选调整信息；根据所述目标调整信息对所述参考虚拟形象的第一部位的三维坐标进行调整，得到所述目标对象的三维虚拟形象。14.根据权利要求13所述的装置，其中，所述坐标偏差值包括：第一三维点的坐标偏差和第二三维点的坐标偏差之间的差值，其中，所述第一三维点和所述第二三维点为所述参考虚拟形象中的任意两个相邻的三维点，所述第一三维点的坐标偏差为所述第一三维点在所述参考虚拟形象中的坐标和所述第一三维点经过候选调整信息调整后的坐标之间的坐标偏差，所述第二三维点的坐标偏差为所述第二三维点在所述参考虚拟形象中的坐标和所述第二三维点经过候选调整信息调整后的坐标之间的坐标偏差。15.根据权利要求12所述的装置，其中，所述识别单元，用于：根据所述参考虚拟形象对所述第二模型进行变形处理，得到第三模型，其中，所述第三模型也为所述同一类型的三维模型，且所述第三模型和所述参考虚拟形象的第一部位的形状匹配；在所述参考虚拟形象中将投影点位于目标三角区域，且与投影点之间的点距小于第一阈值的三维点识别为所述目标三维点，其中，所述目标三角区域为所述第三模型中对应所述目标标识的三角区域。16.根据权利要求9至15中任一项所述的装置，其中，所述目标对象包括：人脸，所述参考对象包括：预设的标准人脸，所述三维虚拟形象包括：人脸和肢体。17.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至8中任一项所述的方法。18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1至8中任一项所述的方法。19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1至8中任一项所述的方法。

技术总结
本公开提供了一种三维虚拟形象生成方法、装置、设备以及存储介质，涉及人工智能领域，具体涉及计算机视觉、深度学习等技术领域。具体实现方案为：获取第一模型、第二模型和参考虚拟形象，其中，所述第一模型为根据目标对象的图像信息进行三维重建得到的所述目标对象的三维模型，所述第二模型为参考对象的三维模型，所述参考虚拟形象为根据所述参考对象构建的三维虚拟形象；计算所述第一模型和所述第二模型的差异信息；根据所述差异信息对所述参考虚拟形象的三维坐标进行调整，得到所述目标对象的三维虚拟形象。本公开能缩短数字项目在上线准备阶段的耗时，提升数字项目的上线效率。提升数字项目的上线效率。提升数字项目的上线效率。


技术研发人员：刘豪杰 陈睿智 赵晨
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2023.03.13
技术公布日：2023/7/25