手部图像生成方法、装置以及设备与流程

1.本公开涉及人工智能领域，具体涉及图像处理、深度学习和计算机视觉技术领域，可以应用于元宇宙、数字人等场景。


背景技术：

2.随着元宇宙时代的到来，人类社会进入虚拟化高速发展阶段，虚拟化发展离不开虚拟现实(virtual reality，vr)、增强现实(augmented reality，ar)技术，而三维手势交互是vr、ar技术中至关重要的交互方式。
3.目前，三维手势交互的核心技术是基于深度学习算法检测手部关节点，由于深度学习算法的本质是对数据集进行充分训练，因此，支撑精确且实时的三维手势交互技术的基础是：提供大量的、高质量的和不同应用场景的手部数据集。相关技术中的手部数据增广方法主要分为两类：一类是通过图像退化函数以及刚性变换的方式对手部数据进行增广；另一类是利用现有手部三维模型合成手部数据。


技术实现要素：

4.本公开实施例提出了一种手部图像生成方法、装置、设备、存储介质以及程序产品。
5.第一方面，本公开实施例提出了一种手部图像生成方法，包括：获取目标手部三维关键点和参考手部图像；基于目标手部三维关键点，生成目标手部姿势特征；基于参考手部图像，生成第一完整手部纹理图；基于目标手部姿势特征和第一完整手部纹理图，生成目标手部图像。
6.第二方面，本公开实施例提出了一种手部图像生成装置，包括：获取模块，被配置成获取目标手部三维关键点和参考手部图像；第一生成模块，被配置成基于目标手部三维关键点，生成目标手部姿势特征；第二生成模块，被配置成基于参考手部图像，生成第一完整手部纹理图；基于目标手部姿势特征和第一完整手部纹理图，生成目标手部图像。
7.第三方面，本公开实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。
8.第四方面，本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。
9.第五方面，本公开实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面中任一实现方式描述的方法。
10.本公开实施例提供的手部图像生成方法，通过改变参考手部图像提供不同的手部纹理，通过改变目标手部三维关键点提供不同的手部姿势，可以生成多样化和高真实度的目标手部图像，提升已有手部图像的丰富程度，进而提升手势估计的精度。
11.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
12.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本公开的限定。其中：
13.图1是根据本公开的手部图像生成方法的一个实施例的流程图；
14.图2是根据本公开的手部图像生成方法的又一个实施例的流程图；
15.图3是手部图像生成网络的结构图；
16.图4是自适应对齐模块的结构图；
17.图5是根据本公开的手部图像生成方法的另一个实施例的流程图；
18.图6是循环生成式训练的示意图；
19.图7是根据本公开的手部图像生成装置的一个实施例的结构示意图；
20.图8是用来实现本公开实施例的手部图像生成方法的电子设备的框图。
具体实施方式
21.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
22.需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
23.图1示出了根据本公开的手部图像生成方法的一个实施例的流程100。该手部图像生成方法包括以下步骤：
24.步骤101，获取目标手部三维关键点和参考手部图像。
25.在本实施例中，手部图像生成方法的执行主体可以获取目标手部三维关键点和参考手部图像。
26.其中，目标手部三维关键点可以是目标手部的各个关键点的三维坐标，用于控制生成的目标手部图像中的手部姿势。通过设置不同的目标手部三维关键点，可以生成不同手部姿势的目标手部图像，从而扩充手部图像的多样性。参考手部图像可以是任意手部姿势的手部图像，提供手部纹理，用于指导目标手部图像的生成。由于目标手部图像参考这个参考手部图像的手部纹理，因此为了提高生成的目标手部图像的真实度，可以对真实手部进行图像采集，得到参考手部图像。
27.步骤102，基于目标手部三维关键点，生成目标手部姿势特征。
28.在本实施例中，上述执行主体可以基于目标手部三维关键点，生成目标手部姿势特征。
29.由于目标手部三维关键点可以控制生成的目标手部图像中的手部姿势，因此对目标手部三维关键点进行特征提取，可以得到目标手部姿势特征。其中，目标手部姿势特征可
以是目标手部图像中的手部姿势的特征。
30.步骤103，基于参考手部图像，生成第一完整手部纹理图。
31.在本实施例中，上述执行主体可以基于参考手部图像，生成第一完整手部纹理图。
32.由于在参考手部图像中可以看见部分参考手部，因此可以从中提取到参考手部的可见部分的纹理，基于可见部分的纹理进行纹理补全，可以得到完整的参考手部的纹理，即，第一完整手部纹理图。第一完整手部纹理图可以以图像的形式展示参考手部的三维纹理，能够清楚地展现手背手掌纹理的细节，从而能够更好地指导任意姿势的手部增广图像的生成。
33.步骤104，基于目标手部姿势特征和第一完整手部纹理图，生成目标手部图像。
34.在本实施例中，上述执行主体可以基于目标手部姿势特征和第一完整手部纹理图，生成目标手部图像。
35.通常，基于目标手部姿势特征可以确定目标手部的姿势，基于第一完整手部纹理图可以确定目标手部的纹理，进而能够生成目标手部图像。例如，对第一完整手部纹理图进行特征提取，得到第一完整手部纹理图特征；将目标手部姿势特征与第一完整手部纹理图特征进行融合，得到融合特征；基于融合特征，生成目标手部图像。其中，融合特征既包含纹理又包含姿势，因此，基于融合特征生成的目标手部图像，既具有目标手部三维关键点提供的手部姿势，又具有参考手部图像提供的手部纹理。
36.在一些实施例中，利用目标手部三维关键点对目标手部图像进行标注，可以得到标注目标手部图像。通常，通过改变参考手部图像提供不同的手部纹理，通过改变目标手部三维关键点提供不同的手部姿势，可以生成多样化和高真实度的目标手部图像。并且，生成的目标手部图像可以直接用目标手部三维关键点作为标注，无需重新标注，可以快速地生成标注目标手部图像，不仅提高了标注目标手部图像的生成效率，还降低了标注目标手部图像的生成成本。
37.在一些实施例中，将标注目标手部图像加入训练样本集；利用训练样本集进行模型训练，得到手部三维关键点检测模型。其中，训练样本集中的训练样本是标注有手部三维关键点的手部图像。由于训练样本集中加入了大量的高质量训练样本，因此提升了训练出的手部三维关键点检测模型的检测效果。
38.本公开实施例提供的手部图像生成方法，通过改变参考手部图像提供不同的手部纹理，通过改变目标手部三维关键点提供不同的手部姿势，可以生成多样化和高真实度的目标手部图像，提升已有手部图像的丰富程度，进而提升手势估计的精度。
39.继续参考图2，其示出了根据本公开的手部图像生成方法的又一个实施例的流程200。该手部图像生成方法包括以下步骤：
40.步骤201，获取目标手部三维关键点和参考手部图像。
41.在本实施例中，步骤201的具体操作已在图1所示的实施例中步骤101中进行了详细的介绍，在此不再赘述。
42.步骤202，将目标手部三维关键点输入至姿势提取网络，得到目标手部姿势特征。
43.在本实施例中，手部图像生成方法的执行主体可以将目标手部三维关键点输入至姿势提取网络，得到目标手部姿势特征。其中，目标手部姿势特征可以是目标手部图像中的手部姿势的特征。
44.步骤203，将参考手部图像输入至纹理图提取网络，得到参考手部纹理图。
45.在本实施例中，上述执行主体可以将参考手部图像输入至纹理图提取网络，得到参考手部纹理图。其中，参考手部纹理图可以包括参考手部的可见部分的纹理。
46.步骤204，将参考手部纹理图输入至纹理补全网络，得到第一完整手部纹理图。
47.在本实施例中，上述执行主体可以将参考手部纹理图输入至纹理补全网络，得到第一完整手部纹理图。其中，第一完整手部纹理图可以包括完整的参考手部的纹理，以图像的形式展示参考手部的三维纹理，能够清楚地展现手背手掌纹理的细节，从而能够更好地指导任意姿势的手部增广图像的生成。
48.这里，手部图像生成网络可以用于生成手部图像。手部图像生成网络可以包括两个分支：一个是姿势提取分支；一个是纹理图提取与补全分支。其中，姿势提取分支的输入是目标手部三维关键点，主要用于控制生成的目标手部图像中的手部姿势。纹理图提取与补全分支的输入是参考手部图像，通过纹理图提取网络提取参考手部的可见部分的纹理，然后通过纹理图补全网络补全得到完整的参考手部的纹理。
49.步骤205，将第一完整手部纹理图输入至特征提取网络，得到第一完整手部纹理图特征。
50.在本实施例中，上述执行主体可以将第一完整手部纹理图输入至特征提取网络，得到第一完整手部纹理图特征。其中，特征提取网络可以用于提取图像特征。
51.步骤206，基于目标手部姿势特征与第一完整手部纹理图特征，计算形变矩阵。
52.在本实施例中，上述执行主体可以基于目标手部姿势特征与第一完整手部纹理图特征，计算形变矩阵。
53.其中，第一完整手部纹理图和目标手部三维关键点通过各自的特征提取网络，得到第一完整手部纹理图特征和目标手部姿势特征，然后，通过第一完整手部纹理图特征和目标手部姿势特征计算二者的形变矩阵。其中，形变矩阵编码着从第一完整手部纹理图得到目标手部姿势所需要的纹理。形变矩阵表达的是第一完整手部纹理图到目标手部姿势对应图像的形变，其训练采用自适应的方式，无需显式的监督。
54.步骤207，利用形变矩阵对第一完整手部纹理图特征进行形变，得到变形特征。
55.在本实施例中，上述执行主体可以利用形变矩阵对第一完整手部纹理图特征进行形变，得到变形特征。
56.由于形变矩阵编码着从第一完整手部纹理图得到目标手部姿势所需要的纹理，因此利用形变矩阵对第一完整手部纹理图特征进行形变操作，得到的变形特征包含目标手部的纹理。
57.步骤208，将变形特征与目标手部姿势特征进行结合，得到融合特征。
58.在本实施例中，上述执行主体可以将变形特征与目标手部姿势特征进行结合，得到融合特征。其中，融合特征既包含纹理又包含姿势。
59.步骤209，将融合特征输入至解码网络，得到目标手部图像。
60.在本实施例中，上述执行主体可以将融合特征输入至解码网络，得到目标手部图像。
61.由于融合特征既包含纹理又包含姿势，因此，基于融合特征生成的目标手部图像，既具有目标手部三维关键点提供的手部姿势，又具有参考手部图像提供的手部纹理。
62.从图2中可以看出，与图1对应的实施例相比，本实施例中的手部图像生成方法的流程200突出了图像生成步骤和特征对齐步骤。由此，本实施例描述的方案利用手部图像生成网络生成手部图像，提高了图像生成效率。手部图像生成网络的姿势提取分支控制生成的目标手部图像中的手部姿势特征，手部图像生成网络的纹理图提取与补全分支提取参考手部的可见部分的纹理图，并补全得到完整的参考手部的纹理图。纹理图进一步输入至特征提取网络进行特征提取，再与手部姿势特征进行融合。并且，在融合过程中引入自适应对齐模块，促使手心手背纹理生成至手部图像正确的位置。最后将融合特征送入解码网络，得到最终的目标手部图像。
63.图3示出了手部图像生成网络的结构图。如图3所示，手部图像生成网络可以包括两个分支。一个是姿势提取分支：将目标手部三维关键点输入至姿势提取网络，输出目标手部姿势特征。另一个是纹理图提取与补全分支：将参考手部图像输入至纹理图提取网络，输出参考手部纹理图，进一步输入至纹理图补全网络，输出第一完整手部纹理图。将第一完整手部纹理图输入至特征提取网络，输出第一完整手部纹理图特征。将目标手部姿势特征与第一完整手部纹理图特征进行特征对齐，融合得到融合特征。融合特征输入至解码网络，输出目标手部图像。其中，目标手部图像既具有目标手部三维关键点提供的手部姿势，又具有参考手部图像提供的手部纹理。
64.为了促使手心手背纹理生成至手部图像正确的位置，在特征融合过程中引入自适应对齐模块。图4示出了特征自适应对齐模块的结构图。如图4所示，第一完整手部纹理图和目标手部三维关键点通过各自的特征提取网络，得到第一完整手部纹理图特征f_s和目标手部姿势特征f_t，然后，通过第一完整手部纹理图特征f_s和目标手部姿势特征f_t计算二者的形变矩阵e。其中，形变矩阵e编码着从第一完整手部纹理图得到目标手部姿势所需要的纹理。利用形变矩阵e对第一完整手部纹理图特征f_s进行形变操作，得到的变形特征f_w。其中，变形特征f_w包含目标手部的纹理。将变形特征f_w与目标手部姿势特征f_t进行结合，得到融合特征f_a。其中，融合特征f_a既包含纹理又包含姿势。
65.进一步参考图5，其示出了根据本公开的手部图像生成方法的另一个实施例的流程500。该手部图像生成方法包括以下步骤：
66.步骤501，获取目标手部三维关键点和参考手部图像。
67.步骤502，将目标手部三维关键点输入至姿势提取网络，得到目标手部姿势特征。
68.步骤503，将参考手部图像输入至纹理图提取网络，得到参考手部纹理图。
69.步骤504，将参考手部纹理图输入至纹理补全网络，得到第一完整手部纹理图。
70.步骤505，将第一完整手部纹理图输入至特征提取网络，得到第一完整手部纹理图特征。
71.步骤506，基于目标手部姿势特征与第一完整手部纹理图特征，计算形变矩阵。
72.步骤507，利用形变矩阵对第一完整手部纹理图特征进行形变，得到变形特征。
73.步骤508，将变形特征与目标手部姿势特征进行结合，得到融合特征。
74.步骤509，将融合特征输入至解码网络，得到目标手部图像。
75.在本实施例中，步骤501-509的具体操作已在图2所示的实施例中步骤201-209中进行了详细的介绍，在此不再赘述。
76.步骤510，将目标手部图像输入至纹理提取网络，得到目标手部纹理图。
77.在本实施例中，上述执行主体可以将目标手部图像输入至纹理提取网络，得到目标手部纹理图。其中，纹理提取网络可以用于提取目标手部的可见部分的纹理。
78.步骤511，将目标手部纹理图输入至纹理补全网络，得到第二完整手部纹理图。
79.在本实施例中，上述执行主体可以将目标手部纹理图输入至纹理补全网络，得到第二完整手部纹理图。其中，纹理补全网络可以用于基于目标手部的可见部分的纹理补全得到完整的目标手部的纹理。
80.步骤512，基于第一完整手部纹理图和第二完整手部纹理图，计算损失。
81.在本实施例中，上述执行主体可以基于第一完整手部纹理图和第二完整手部纹理图，计算损失。
82.由于目标手部图像具有参考手部图像提供的手部纹理。因此，目标手部图像与参考手部图像对应同一套纹理。也就是说，第一完整手部纹理图和第二完整手部纹理图相等。这里，基于第一完整手部纹理图和第二完整手部纹理图，计算损失，可以监督纹理提取网络和纹理补全网络学习。
83.步骤513，基于损失，优化纹理提取网络和纹理补全网络。
84.在本实施例中，上述执行主体可以基于损失，优化纹理提取网络和纹理补全网络。具体地，基于损失调整纹理提取网络和纹理补全网络的参数，直至收敛。
85.从图5中可以看出，与图2对应的实施例相比，本实施例中的手部图像生成方法的流程500增加了循环生成式训练步骤。由此，本实施例描述的方案为了保证生成的目标手部图像与参考手部图像具有相似的纹理，采用循环生成式训练方法。在通过手部图像生成网络获得目标手部图像后，将目标手部图像再送入到手部图像生成网络中的纹理图提取网络和纹理图补全网络，得到第二完整手部纹理图。基于第一完整手部纹理图和第二完整手部纹理图相等的原则，优化纹理图提取网络和纹理图补全网络。
86.图6示出了循环生成式训练的示意图。如图6所示，在通过手部图像生成网络获得目标手部图像后，将目标手部图像再送入到纹理图提取网络和纹理图补全网络，得到其对应的纹理补全图，记为纹理补全图1。将参考手部图像生成的纹理补全图记为纹理补全图2。因为两者对应于同一套纹理，所以纹理补全图1和纹理补全图2应该相等。基于以上思考，通过二者计算一个l1损失来优化纹理图提取网络和纹理图补全网络。
87.进一步参考图7，作为对上述各图所示方法的实现，本公开提供了一种手部图像生成装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
88.如图7所示，本实施例的手部图像生成装置700可以包括：获取模块701、第一生成模块702、第二生成模块703和第三生成模块704。其中，获取模块701，被配置成获取目标手部三维关键点和参考手部图像；第一生成模块702，被配置成基于目标手部三维关键点，生成目标手部姿势特征；第二生成模块703，被配置成基于参考手部图像，生成第一完整手部纹理图；第三生成模块704，被配置成基于目标手部姿势特征和第一完整手部纹理图，生成目标手部图像。
89.在本实施例中，手部图像生成装置700中：获取模块701、第一生成模块702、第二生成模块703和第三生成模块704的具体处理及其所带来的技术效果可分别参考图1对应实施例中的步骤101-104的相关说明，在此不再赘述。
90.在本实施例的一些可选的实现方式中，第三生成模块704包括：提取子模块，被配置成对第一完整手部纹理图进行特征提取，得到第一完整手部纹理图特征；融合子模块，被配置成将目标手部姿势特征与第一完整手部纹理图特征进行融合，得到融合特征；生成子模块，被配置成基于融合特征，生成目标手部图像。
91.在本实施例的一些可选的实现方式中，第一生成模块702进一步被配置成：将目标手部三维关键点输入至姿势提取网络，得到目标手部姿势特征。
92.在本实施例的一些可选的实现方式中，第二生成模块703进一步被配置成：将参考手部图像输入至纹理图提取网络，得到参考手部纹理图；将参考手部纹理图输入至纹理补全网络，得到第一完整手部纹理图。
93.在本实施例的一些可选的实现方式中，提取子模块进一步被配置成：将第一完整手部纹理图输入至特征提取网络，得到第一完整手部纹理图特征。
94.在本实施例的一些可选的实现方式中，生成子模块进一步被配置成：将融合特征输入至解码网络，得到目标手部图像。
95.在本实施例的一些可选的实现方式中，融合子模块进一步被配置成：基于目标手部姿势特征与第一完整手部纹理图特征，计算形变矩阵；利用形变矩阵对第一完整手部纹理图特征进行形变，得到变形特征；将变形特征与目标手部姿势特征进行结合，得到融合特征。
96.在本实施例的一些可选的实现方式中，手部图像生成装置700还包括：提取模块，被配置成将目标手部图像输入至纹理提取网络，得到目标手部纹理图；补全模块，被配置成将目标手部纹理图输入至纹理补全网络，得到第二完整手部纹理图；计算模块，被配置成基于第一完整手部纹理图和第二完整手部纹理图，计算损失；优化模块，被配置成基于损失，优化纹理提取网络和纹理补全网络。
97.在本实施例的一些可选的实现方式中，手部图像生成装置700还包括：标注模块，被配置成利用目标手部三维关键点对目标手部图像进行标注，得到标注目标手部图像。
98.在本实施例的一些可选的实现方式中，手部图像生成装置700还包括：加入模块，被配置成将标注目标手部图像加入训练样本集，其中，训练样本集中的训练样本是标注有手部三维关键点的手部图像；训练模块，被配置成利用训练样本集进行模型训练，得到手部三维关键点检测模型。
99.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
100.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
101.图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
102.如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中
的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
103.设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
104.计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如手部图像生成方法。例如，在一些实施例中，手部图像生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到ram 803并由计算单元801执行时，可以执行上文描述的手部图像生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行手部图像生成方法。
105.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
106.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
107.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
108.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
109.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
110.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。
111.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。
112.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

技术特征：
1.一种手部图像生成方法，包括：获取目标手部三维关键点和参考手部图像；基于所述目标手部三维关键点，生成目标手部姿势特征；基于所述参考手部图像，生成第一完整手部纹理图；基于所述目标手部姿势特征和所述第一完整手部纹理图，生成目标手部图像。2.根据权利要求1所述的方法，其中，所述基于所述目标手部姿势特征和所述第一完整手部纹理图，生成目标手部图像，包括：对所述第一完整手部纹理图进行特征提取，得到第一完整手部纹理图特征；将所述目标手部姿势特征与所述第一完整手部纹理图特征进行融合，得到融合特征；基于所述融合特征，生成所述目标手部图像。3.根据权利要求2所述的方法，其中，所述基于所述目标手部三维关键点，生成目标手部姿势，包括：将所述目标手部三维关键点输入至姿势提取网络，得到所述目标手部姿势特征。4.根据权利要求3所述的方法，其中，所述基于所述参考手部图像，生成第一完整手部纹理图，包括：将所述参考手部图像输入至纹理图提取网络，得到参考手部纹理图；将所述参考手部纹理图输入至纹理补全网络，得到所述第一完整手部纹理图。5.根据权利要求4所述的方法，其中，所述对所述第一完整手部纹理图进行特征提取，得到第一完整手部纹理图特征，包括：将所述第一完整手部纹理图输入至特征提取网络，得到所述第一完整手部纹理图特征。6.根据权利要求5所述的方法，其中，所述基于所述融合特征，生成目标手部图像，包括：将所述融合特征输入至解码网络，得到所述目标手部图像。7.根据权利要求2所述的方法，其中，所述将所述目标手部姿势特征与所述第一完整手部纹理图特征进行融合，得到融合特征，包括：基于所述目标手部姿势特征与所述第一完整手部纹理图特征，计算形变矩阵；利用所述形变矩阵对所述第一完整手部纹理图特征进行形变，得到变形特征；将所述变形特征与所述目标手部姿势特征进行结合，得到所述融合特征。8.根据权利要求4所述的方法，其中，所述方法还包括：将所述目标手部图像输入至所述纹理提取网络，得到目标手部纹理图；将所述目标手部纹理图输入至所述纹理补全网络，得到第二完整手部纹理图；基于所述第一完整手部纹理图和所述第二完整手部纹理图，计算损失；基于所述损失，优化所述纹理提取网络和所述纹理补全网络。9.根据权利要求1-8中任一项所述的方法，其中，所述方法还包括：利用所述目标手部三维关键点对所述目标手部图像进行标注，得到标注目标手部图像。10.根据权利要求9所述的方法，其中，所述方法还包括：将所述标注目标手部图像加入训练样本集，其中，所述训练样本集中的训练样本是标
注有手部三维关键点的手部图像；利用所述训练样本集进行模型训练，得到手部三维关键点检测模型。11.一种手部图像生成装置，包括：获取模块，被配置成获取目标手部三维关键点和参考手部图像；第一生成模块，被配置成基于所述目标手部三维关键点，生成目标手部姿势特征；第二生成模块，被配置成基于所述参考手部图像，生成第一完整手部纹理图；第三生成模块，被配置成基于所述目标手部姿势特征和所述第一完整手部纹理图，生成目标手部图像。12.根据权利要求11所述的装置，其中，所述第三生成模块包括：提取子模块，被配置成对所述第一完整手部纹理图进行特征提取，得到第一完整手部纹理图特征；融合子模块，被配置成将所述目标手部姿势特征与所述第一完整手部纹理图特征进行融合，得到融合特征；生成子模块，被配置成基于所述融合特征，生成目标手部图像。13.根据权利要求12所述的装置，其中，所述第一生成模块进一步被配置成：将所述目标手部三维关键点输入至姿势提取网络，得到所述目标手部姿势特征。14.根据权利要求13所述的装置，其中，所述第二生成模块进一步被配置成：将所述参考手部图像输入至纹理图提取网络，得到参考手部纹理图；将所述参考手部纹理图输入至纹理补全网络，得到所述第一完整手部纹理图。15.根据权利要求14所述的装置，其中，所述提取子模块进一步被配置成：将所述第一完整手部纹理图输入至特征提取网络，得到所述第一完整手部纹理图特征。16.根据权利要求15所述的装置，其中，所述生成子模块进一步被配置成：将所述融合特征输入至解码网络，得到所述目标手部图像。17.根据权利要求12所述的装置，其中，所述融合子模块进一步被配置成：基于所述目标手部姿势特征与所述第一完整手部纹理图特征，计算形变矩阵；利用所述形变矩阵对所述第一完整手部纹理图特征进行形变，得到变形特征；将所述变形特征与所述目标手部姿势特征进行结合，得到所述融合特征。18.根据权利要求14所述的装置，其中，所述装置还包括：提取模块，被配置成将所述目标手部图像输入至所述纹理提取网络，得到目标手部纹理图；补全模块，被配置成将所述目标手部纹理图输入至所述纹理补全网络，得到第二完整手部纹理图；计算模块，被配置成基于所述第一完整手部纹理图和所述第二完整手部纹理图，计算损失；优化模块，被配置成基于所述损失，优化所述纹理提取网络和所述纹理补全网络。19.根据权利要求11-18中任一项所述的装置，其中，所述装置还包括：标注模块，被配置成利用所述目标手部三维关键点对所述目标手部图像进行标注，得到标注目标手部图像。
20.根据权利要求19所述的装置，其中，所述装置还包括：加入模块，被配置成将所述标注目标手部图像加入训练样本集，其中，所述训练样本集中的训练样本是标注有手部三维关键点的手部图像；训练模块，被配置成利用所述训练样本集进行模型训练，得到手部三维关键点检测模型。21.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。22.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的方法。23.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。

技术总结
本公开提供了一种手部图像生成方法、装置以及设备，涉及人工智能领域，具体涉及图像处理、深度学习和计算机视觉技术领域，可以应用于元宇宙、数字人等场景。该方法包括：获取目标手部三维关键点和参考手部图像；基于目标手部三维关键点，生成目标手部姿势特征；基于参考手部图像，生成第一完整手部纹理图；基于目标手部姿势特征和第一完整手部纹理图，生成目标手部图像。该实施方式可以生成多样化和高真实度的手部图像。度的手部图像。度的手部图像。


技术研发人员：张雨蒙 叶晓青
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2023.03.29
技术公布日：2023/8/4