人体三维模型构建方法、电子设备及存储介质与流程

1.本技术涉及机器学习领域，尤其涉及一种人体三维模型构建方法、电子设备及存储介质。


背景技术：

2.人体三维模型的构建应用于各类场景中，例如，电影以及游戏的角色建模、服装设计以及虚拟试衣等场景中，然而，目前相关的人体三维模型构建方法存在对构建模型的条件严苛、过程复杂以及无法实时构建人体模型的问题，如若不能降低人体模型构建的复杂性，将难以实时在上述场景中构建出人体模型，导致上述场景相关的行业发展受到影响。


技术实现要素：

3.鉴于以上内容，有必要提供一种人体三维模型构建方法、电子设备及存储介质，能够简化人体模型的构建流程并实时构建出人体模型。
4.一方面，本技术提供一种人体三维模型构建方法，所述方法包括：获取待检测图像，根据多个预设关键点的预设坐标以及每个预设关键点在所述待检测图像中对应的检测关键点的检测坐标，计算相似变换矩阵，根据所述相似变换矩阵对所述待检测图像进行变换，得到人体对齐图像，基于预设的深度学习模型对所述人体对齐图像进行预测，得到所述人体对齐图像对应的人体向量，将所述人体向量输入至预设的人体构建模型中，得到所述待检测图像对应的目标人体三维模型。
5.在一些实施例中，所述人体构建模型包括性别检测模型、变分自编器模型以及每个性别对应的基础人体模型，所述将所述人体向量输入至预设的人体构建模型中，得到所述待检测图像对应的目标人体三维模型包括：使用所述性别检测模型对所述人体向量进行预测，得到所述人体向量对应的预测性别以及所述预测性别的性别概率，若所述性别概率大于或者等于预设值，从所述基础人体模型中选取所述预测性别对应的目标人体模型，根据所述人体向量对所述目标人体模型进行调整，得到初始人体三维模型，将所述初始人体三维模型输入至所述变分自编码器模型进行重构，得到所述目标人体三维模型。
6.在一些实施例中，所述目标人体模型包括多个网格顶点以及多个模型关节点，所述人体向量包括形状向量以及姿态向量，所述根据所述人体向量对所述目标人体模型进行调整，得到初始人体三维模型包括：根据所述形状向量以及所述目标人体模型对应的顶点位移分量，计算每个网格顶点的顶点偏移量，并根据所述顶点偏移量控制所述目标人体模型中相应的顶点进行偏移，得到第一调整模型，根据所述姿态向量以及每个模型关节点的旋转关系，计算每个模型关节点的关节偏移量，并根据所述关节偏移量控制所述第一调整模型中相应的模型关节点进行旋转，得到第二调整模型，根据所述多个模型关节点对每个网格顶点的影响权重矩阵，控制所述第二调整模型中的网格顶点进行变换，得到所述初始人体三维模型。
7.在一些实施例中，所述根据所述多个模型关节点对每个网格顶点的影响权重矩
阵，控制所述第二调整模型中的网格顶点进行变换，得到所述初始人体三维模型包括：根据所述多个模型关节点的位置计算出所述影响权重矩阵，根据所述影响权重矩阵、每个模型关节点在所述第二调整模型中的坐标以及所述第二调整模型中每个模型关节点对应的仿射变换矩阵，计算目标顶点位置矩阵，其中，所述目标顶点位置包括所述第二调整模型中每个网格顶点的目标顶点位置，将每个网格顶点在所述第二调整模型中的初始顶点位置变换为所述目标顶点位置矩阵中对应的目标顶点位置，得到所述初始人体三维模型。
8.在一些实施例中，所述多个预设关键点包括预设人体中心关键点以及预设根节点，所述根据多个预设关键点的预设坐标以及每个预设关键点在所述待检测图像中对应的检测关键点的检测坐标，计算相似变换矩阵包括：使用关键点检测算法对待检测图像进行检测，得到所述多个检测关键点以及每个检测关键点的检测坐标，并从所述多个检测关键点中选取所述预设人体中心关键点对应的检测人体中心关键点以及所述预设根节点对应的检测根节点，根据所述检测人体中心关键点以及所述检测根节点对应的检测坐标，计算目标关键点的目标坐标，根据所述检测人体中心关键点、所述检测根节点对应的检测坐标与所述目标坐标对应的检测向量以及多个所述预设坐标对应的预设向量，计算所述相似变换矩阵。
9.在一些实施例中，所述根据所述检测人体中心关键点以及所述检测根节点对应的检测坐标，计算目标关键点的目标坐标包括：根据所述检测人体中心关键点对应的检测坐标以及所述检测根节点对应的检测坐标，计算所述检测人体中心关键点与所述检测根节点之间的关键点距离，确定所述检测人体中心关键点与所述检测根节点构成的第一检测直线，并确定经过所述检测人体中心关键点且与所述第一检测直线垂直的第二检测直线，根据所述检测人体中心关键点在所述第二检测直线上的位置以及所述关键点距离，在所述第二检测直线上确定所述目标关键点以及所述目标关键点的目标坐标。
10.在一些实施例中，所述根据所述检测人体中心关键点、所述检测根节点对应的检测坐标与所述目标坐标对应的检测向量以及多个所述预设坐标对应的预设向量，计算所述相似变换矩阵包括：根据所述检测向量、所述预设向量、所述检测向量对应的预设参数矩阵以及所述预设参数矩阵的参数逆矩阵，构建向量等式，其中，所述预设参数矩阵中包括多个预设参数，使用最小二乘法或者奇异值分解法对所述向量等式进行求解，得到所述预设参数矩阵中每个预设参数对应的参数值，将所述预设参数矩阵中的每个预设参数替换为对应的参数值，得到所述相似变换矩阵。
11.在一些实施例中，每个检测坐标包括检测横坐标以及检测纵坐标，所述相似变换矩阵包括每个检测横坐标进行平移操作所对应的第一平移值以及每个检测纵坐标进行平移操作所对应的第二平移值，所述根据所述相似变换矩阵对所述待检测图像进行变换，得到人体对齐图像包括：根据所述第一平移值对所述待检测图像中每个检测关键点的检测横坐标进行平移，并根据所述第二平移值对所述检测关键点的检测纵坐标进行平移，得到所述人体对齐图像。
12.另一方面，本技术提供一种人体三维模型构建装置，所述人体三维模型构建装置包括：获取单元，用于获取待检测图像；计算单元，用于根据多个预设关键点的预设坐标以及每个预设关键点在所述待检测图像中对应的检测关键点的检测坐标，计算相似变换矩阵；变换单元，用于根据所述相似变换矩阵对所述待检测图像进行变换，得到人体对齐图
像；预测单元，用于基于预设的深度学习模型对所述人体对齐图像进行预测，得到所述人体对齐图像对应的人体向量；输入单元，用于将所述人体向量输入至预设的人体构建模型中，得到所述待检测图像对应的目标人体三维模型。
13.另一方面，本技术提供一种电子设备，所述电子设备包括：存储器，存储至少一个指令；及处理器，执行所述至少一个指令以实现所述的人体三维模型构建方法。
14.另一方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现所述的人体三维模型构建方法。
15.由上述技术方案可知，由于所述多个预设关键点为标准人体图像中的多个关键点以及所述标准人体图像为人物呈现标准站姿或者标准躺姿的人体图像，根据所述相似变换矩阵对所述待检测图像进行变换，能够使得所述人体对齐图像中的人体姿态为标准姿态，从而更便于对所述人体对齐图像中人体的关节点进行检测，所述人体向量包括形状向量以及姿态向量，由于所述深度学习模型是通过不同姿态的人体图像、多张人体头部图像、多张男性图像、多张女性图像以及每张图像的标注结果等数据进行训练后生成的模型，通过所述深度学习模型能够对所述人体对齐图像中人体的形状以及姿态进行准确检测，因此能够直接计算出所述姿态向量以及所述形状向量，由于本技术无需进行相机校正，也并不需要精密的光学设备获取数据，更不需要目标人物穿戴特质服装，因此，能够简化人体三维模型的构建流程，提高人体三维模型的构建速度，然后直接将所述人体向量输入至人体构建模型，能够直接得到所述待检测图像中的目标人体三维模型。此外，当所述待检测图像中人体的姿态或者人体形状出现变化时，所述深度学习模型能够实时对变化的人体姿态以及人体形状进行实时检测，因此能够确保人体三维模型构建的实时性。此外，本技术只需要包含人体的待检测图像就能够构建出所述待检测图像中人体三维模型，而并不需要所述待检测图像中的人体佩戴特质设备，也不需要精密设计的光学设备，因此能够简化人体三维模型构建的方法流程。
16.可以理解地，所述电子设备以及所述计算机可读存储介质均与上述的人体三维模型构建方法对应，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
附图说明
17.图1是本技术一实施例提供的电子设备的结构图。
18.图2是本技术一实施例提供的人体三维模型构建方法的流程图。
19.图3是本技术一实施例提供的第一像素坐标系的示意图。
20.图4是本技术一实施例提供的多个预设关键点在标准人体图像中的分布示意图。
21.图5是本技术一实施例提供的多个检测关键点在待检测图像中的分布示意图。
22.图6是本技术一实施例提供的相似变换矩阵的计算方法的流程图。
23.图7是本技术一实施例提供的目标人体三维模型的示意图。
24.图8是本技术一实施例提供的目标人体三维模型的生成方法的流程图。
25.图9是本技术另一实施例提供的相似变换矩阵的计算方法的流程图。
26.图10是本技术一实施例提供的初始人体三维模型的生成方法的流程图。
27.图11是本技术一实施例提供的人体三维模型构建装置的功能模块图。
具体实施方式
28.需要说明的是，本技术中“至少一个”是指一个或者多个，“多个”是指两个或多于两个。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a，b可以是单数或者复数。本技术的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不是用于描述特定的顺序或先后次序。
29.在本技术实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
30.为了使本技术的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本技术进行详细描述。
31.近些年来，伴随着硬件算力的不断提高以及科技技术的飞速发展，人们对于三维数据的受众程度也开始日益增加。三维数据，相比于文本、图像、视频等其它数字媒体媒介，具有更加丰富的立体呈现，与三维世界更为贴合。因此，如何快速、低成本的生成人体三维模型成为了重点研究对象。传统方法对处理的数据有很高的要求。采集设备往往是精密设计的多相机光学系统，需要进行精准的相机矫正和同步。另外，被捕捉人物也需要穿戴特制的动作捕捉服装，或佩戴一些特制标识物进行定位。在数据收集之后，也需要经过耗时且复杂的离线处理，才能够得到目标人物的人体三维模型，难以满足实时性以及简易性的要求。这些对高端设备和受控环境的苛刻要求，使得传统方法难以应用到低端设备和日常场景中，导致与构建人体三维模型相关的行业发展受到影响。
32.为了解决上述技术问题，本技术的实施例提供一种人体三维模型构建方法、电子设备及存储介质，能够简化人体模型的构建流程并实时构建出人体模型，下文将结合相应的附图进行详细说明。
33.本技术实施例提供的人体三维模型构建方法可应用于一个或者多个电子设备中。
34.如图1所示，是本技术一实施例提供的电子设备的结构图。在图1中，电子设备1包括，但不限于，存储器12、处理器13，以及存储在存储器12中并可在处理器13上运行的计算机程序，例如人体三维模型构建程序。
35.所述电子设备1是一种能够按照事先设定或存储的指令，自动进行参数值计算和/或信息处理的设备，其硬件包括，但不限于：微处理器、专用集成电路(applicationspecificintegratedcircuit，asic)、可编程门阵列(field-programmablegatearray，fpga)、数字信号处理器(digitalsignalprocessor，dsp)、嵌入式设备等。
36.所述电子设备1可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(personaldigitalassistant，pda)、游戏机、交互式网络电视(internetprotocoltelevision，iptv)、智能式穿戴式设备、车载设备等。
37.所述电子设备1还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(cloudcomputing)
的由大量主机或网络服务器构成的云。图1仅仅是电子设备1的示例，并不构成对电子设备1的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备1还可以包括输入输出设备、网络接入设备、总线等。
38.所述电子设备1所处的网络包括但不限于：互联网、广域网、城域网、局域网、虚拟专用网络(virtualprivatenetwork，vpn)等。
39.如图2所示，是本技术一实施例提供的人体三维模型构建方法的流程图。根据不同的需求，该流程图中各个步骤的顺序可以根据实际要求进行调整，某些步骤可以省略。所述方法的执行主体为电子设备，例如图1所示的电子设备1。
40.s11，获取待检测图像。
41.所述待检测图像可以是需要进行人体关键点检测的图像。
42.在一实施例中，所述电子设备可以将拍摄设备对人物进行拍摄后生成的rgb图像作为所述待检测图像，或者，所述电子设备也可以从任意包含人物的视频中截取一帧或多帧图像作为所述待检测图像。其中，所述拍摄设备包括，但不限于：外接的摄像机或者电子设备中的摄像头等等。
43.s12，根据多个预设关键点的预设坐标以及每个预设关键点在所述待检测图像中对应的检测关键点的检测坐标，计算相似变换矩阵。
44.在一实施例中，所述多个预设关键点为标准人体图像中的多个关键点，所述预设坐标包括每个预设关键点在所述标准人体图像对应的第一像素坐标系中的位置坐标，所述标准人体图像可以是人物呈现标准站姿或者标准躺姿的人体图像，所述多个预设关键点包括，但不限于：预设人体中心关键点(例如，所述标准人体图像中的人体盆骨中心点)、所述预设人体中心关键点对应的预设体外关键点以及预设根节点，例如，所述预设根节点可以在所述标准人体图像中位于人体头部的上方。所述检测关键点包括，但不限于：检测人体中心关键点(所述待检测图像中的人体盆骨中心点)以及预设根节点，所述预设体外关键点在所述待检测图像中对应的目标关键点需要通过所述检测人体中心关键点与所述预设根节点确定。每个检测关键点均存在与其对应的预设关键点。例如，若任一预设关键点为人体盆骨中心点，则所述任一预设关键点在所述待检测图像中对应的检测关键点也为人体盆骨中心点，或者，若任一预设关键点为根节点，则所述任一预设关键点在所述待检测图像中对应的检测关键点也为根节点。
45.其中，所述预设人体中心关键点与所述预设根节点构成第一关键点直线，所述预设人体中心关键点与所述预设体外关键点构成第二关键点直线，所述预设根节点与所述预设体外关键点构成第三关键点直线，所述第一关键点直线与所述第二关键点直线相互垂直，所述第一关键点直线、所述第二关键点直线与所述第三关键点直线构成等腰直角三角形。
46.所述电子设备根据所述预设人体中心关键点的第一预设坐标与所述预设根节点的第二预设坐标计算所述预设人体中心关键点与所述预设根节点之间的第一关键点距离，并根据所述预设人体中心关键点的第一预设坐标与所述预设体外关键点的第三预设坐标计算所述预设人体中心关键点与所述预设体外体外关键点之间的第二关键点距离，所述第一关键点距离以及所述第二关键点距离包括，但不限于：欧式距离、曼哈顿距离以及切比雪夫距离等等。所述第一关键点距离与所述第二关键点距离相等，所述第一预设坐标、所述第
二预设坐标以及所述第三预设坐标均为所述标准人体图像对应的第一像素坐标系中的坐标。
47.如图3所示，是本技术一实施例提供的第一像素坐标系的示意图。所述电子设备以所述标准人体图像的第一行第一列的像素点o
uv
为原点，以第一行像素点所在的平行线为u轴，以第一列像素点所在的垂直线为v轴构建所述第一像素坐标系。上述第一像素坐标系的建立仅为举例说明，实际应用中不局限于此。
48.如图4所示，是本技术一实施例提供的多个预设关键点在标准人体图像中的分布示意图。在图4中，a点为所述预设人体中心关键点，b点为所述预设根节点，c点为所述预设人体中心关键点对应的体外关键点。a点、b点构成的第一关键点直线与a点、c点构成的第二关键点直线相互垂直，a点、b点之间的第一关键点距离与a点、c点之间的第二关键点距离相等。
49.如图5所示，是本技术一实施例提供的多个检测关键点在待检测图像中的分布示意图。在图5中，a点为所述预设人体中心关键点在所述待检测图像中对应的检测人体中心关键点，b点为所述预设根节点在所述待检测图像中对应的检测根节点，通常情况下，所述检测根节点在所述待检测图像中位于人体头部的上方，c点为所述体外关键点对在所述待检测图像中对应的目标关键点，c点需要通过a点以及b点共同确定。
50.在一些实施例中，所述相似变换矩阵为所述待检测图像与所述标准人体图像之间的变换关系，所述电子设备对所述相似变换矩阵进行计算的详细步骤可参考下文对图6所示流程的详细介绍。
51.s13，根据所述相似变换矩阵对所述待检测图像进行变换，得到人体对齐图像。
52.在一实施例中，所述人体对齐图像为对所述待检测图像进行平移和/或旋转变换操作后生成的图像。所述待检测图像中每个关键检测点的检测坐标包括检测横坐标以及检测纵坐标，所述相似变换矩阵包括每个检测横坐标进行平移操作所对应的第一平移值以及每个检测纵坐标进行平移操作所对应的第二平移值。
53.在一实施例中，所述电子设备根据所述相似变换矩阵对所述待检测图像进行变换，得到人体对齐图像包括：所述电子设备根据所述第一平移值对所述待检测图像中每个检测关键点的检测横坐标进行平移，并根据所述第二平移值对所述检测关键点的检测纵坐标进行平移，得到所述人体对齐图像。
54.在本实施例中，由于所述预设坐标为每个预设关键点在所述标准人体图像对应的第一像素坐标系中的位置坐标，所述标准人体图像为人物呈现标准站姿或者标准躺姿的人体图像，因此根据所述相似变换矩阵对所述待检测图像进行变换，能够使得变换后的人体对齐图像中的人体姿态为标准姿态，从而更便于对所述变换后的人体对齐图像的人体关键点进行检测。
55.s14，基于预设的深度学习模型对所述人体对齐图像进行预测，得到所述人体对齐图像对应的人体向量。
56.在一些实施例中，所述深度学习模型为使用不同姿态的人体图像、多张人体头部图像、多张男性图像、多张女性图像以及每张图像的标注结果等数据对深度学习网络进行训练后生成的模型，多张人体图像中的人体可以具有多种姿态，所述标注结果包括每张男性图像以及女性图像的性别标签、每张人体头部图像的高精度扫描的面部数据、每张人体
图像的位姿矩阵等等，所述深度学习网络的骨干网络可以为改进后的mobilenetv2网络，所述改进后的mobilenetv2网络包括，但不限于：卷积层、池化层以及全连接层等等，所述全连接层的输出为85维度的向量。
57.在一些实施例中，所述人体向量包括，但不限于：形状向量、姿态向量和拍摄设备位置向量，所述全连接层的输出可以是85维度的向量，因此所述人体向量的维度为85维，其中，所述形状向量为10维，所述姿态向量为72维，所述拍摄设备位置向量为3维。
58.所述形状向量用于描述所述待检测图像中人体的面部表情、人体的高、矮、胖、瘦等身体特征的变化情况，所述形状向量中的10个向量值的范围以及每个向量值所代表的身体特征的变化均可以自行设置，本技术对此不作限制。例如，所述10个向量值的范围可以[-10，10]。所述10个向量值分别代表不同的形状变化。例如，向量值-3代表肚子变大，向量值9代表肩膀变宽以及向量值-5表示肚子变大以及身体其它部分变小等等。
[0059]
在本技术一实施例中，所述姿态向量包括所述待检测图像中人体对应的24个关键点的关键信息，所述24个关键点包括23个姿态关节点和一个检测根节点(rootorientation)，所述检测根节点用于对所述待检测图像中人体的整个骨架进行旋转和平移，所述24个关键点中每个关键点的关键信息包括人体肢体旋转的三个欧拉角，分别为：偏航角(yaw)、横滚角(roll)以及俯仰角(pitch)，所述姿态关节点包括下巴、左手腕、右手腕、左膝、右膝、左脚踝、右脚踝以及胸口等等多个关节点。
[0060]
所述拍摄设备位置向量包括所述拍摄设备对应的偏航角、横滚角以及俯仰角，所述拍摄设备位置向量中的3个参数用于将三维的坐标投影至二维平面。
[0061]
在一些实施例中，所述电子设备基于预设的深度学习模型对所述人体对齐图像进行预测，生成所述人体向量的详细步骤可参考相关技术中根据所述24个关键点构建人体关节树，并通过人体关节树对所述待检测图像中人体姿势进行表示以及通过主成分分析算法对所述待检测图像中人体形状进行映射(principalcomponentanalysis,pca)的方法，所述人体关节树中每个子关节点(joint)都有一个父关节点(parentjoint)，并且是一个父关节点和一个子关节点连接成一个关节，所述子关节点以及所述父关节点的划分方式可以自行设置，本技术对此不作限制。
[0062]
在本实施例中，由于所述深度学习模型是通过不同姿态的人体图像、多张人体头部图像、多张男性图像、多张女性图像以及每张图像的标注结果等数据进行训练后生成的模型，通过所述深度学习模型能够对所述人体对齐图像中人体的形状以及姿态进行准确检测，因此能够直接计算出所述姿态向量以及所述形状向量，由于本技术无需进行相机校正，也并不需要精密的光学设备获取数据，更不需要目标人物穿戴特质服装，因此，能够简化人体三维模型的构建流程，提高人体三维模型的构建速度。
[0063]
s15，将所述人体向量输入至预设的人体构建模型中，得到所述待检测图像对应的目标人体三维模型。
[0064]
在一些实施例中，所述人体构建模型可以为skinnedmulti-personlinearmodel(smpl)系列的模型，所述人体构建模型包括性别检测模型、变分自编器模型、每个性别对应的基础人体模型以及默认人体模型。所述性别检测模型用于对性别进行预测，所述性别预测模型可以为使用大量的训练人体图像以及每张训练人体图像的性别标签对分类器进行训练后生成的模型。例如，所述分类器可以为逻辑回归算法、决策树算法或者支持向量机算
法等等。
[0065]
所述变分自编码器模型为通过多个训练人体模型对变分自编码器进行训练后生成的模型。所述变分自编码器模型包括编码器(encoder)以及解码器(decoder)。所述训练人体模型可以为不同姿态的人体三维模型，所述不同姿态包括人体能够做到的普通动作姿态以及人体不能做到的极限动作姿态。所述普通动作姿态包括抬手以及抬腿等动作姿态，所述极限动作可以为人体双腿劈叉270度等动作姿态。
[0066]
所述基础人体模型包括女性对应的人体模型以及男性对应的人体模型，所述默认人体模型为当无法确认所述待检测图像中人体的性别时所选用的模型，所述基础人体模型以及所述默认人体模型均为所述人体构建模型中预先存储的人体三维模型。所述基础人体模型以及所述默认人体模型均由6890个网格顶点、23个模型关节点以及1个模型根节点组成，所述模型根节点用于对所述基础人体模型以及所述默认人体模型进行旋转和平移，所述6890个网格顶点构成所述基础人体模型以及所述默认人体模型的皮肤，每个网格顶点、每个模型关节点以及所述模型根节点均对应一个三维坐标。由于不同性别的人体会有较大区别，因此男性对应的基础人体模型与女性对应的基础人体模型的模型关节点的位置也会存在较大区别。
[0067]
在本实施例中，由于对所述变分自编码器的训练数据中包括人体能够做到的普通动作姿态以及人体不能做到的极限动作姿态，因此能够使得训练后生成的变分自编码器模型能够对所述初始人体三维模型进行合理性判断，并在确定所述初始人体三维模型不合理时，重构出合理的目标人体三维模型。
[0068]
如图7所示，是本技术一实施例提供的目标人体三维模型的示意图。图7中所示的目标人体三维模型能够很好地还原出所述待检测图像中的人体作出的抬手等动作。
[0069]
在一些实施例中，所述目标人体三维模型的生成方法可参考如图8所示的流程介绍。
[0070]
由上述技术方案可知，由于所述多个预设关键点为标准人体图像中的多个关键点以及所述标准人体图像为人物呈现标准站姿或者标准躺姿的人体图像，根据所述相似变换矩阵对所述待检测图像进行变换，能够使得所述人体对齐图像中的人体姿态为标准姿态，从而更便于对所述人体对齐图像中人体的关节点进行检测，所述人体向量包括形状向量以及姿态向量，由于所述深度学习模型是通过不同姿态的人体图像、多张人体头部图像、多张男性图像、多张女性图像以及每张图像的标注结果等数据进行训练后生成的模型，通过所述深度学习模型能够对所述人体对齐图像中人体的形状以及姿态进行准确检测，因此能够直接计算出所述姿态向量以及所述形状向量，由于本技术无需进行相机校正，也并不需要精密的光学设备获取数据，更不需要目标人物穿戴特质服装，因此，能够简化人体三维模型的构建流程，提高人体三维模型的构建速度，然后直接将所述人体向量输入至人体构建模型，能够直接得到所述待检测图像中的目标人体三维模型。此外，当所述待检测图像中人体的姿态或者人体形状出现变化时，所述深度学习模型能够实时对变化的人体姿态以及人体形状进行实时检测，因此能够确保人体三维模型构建的实时性。此外，本技术只需要包含人体的待检测图像就能够构建出所述待检测图像中人体三维模型，而并不需要所述待检测图像中的人体佩戴特质设备，也不需要精密设计的光学设备，因此能够简化人体三维模型构建的方法流程。
[0071]
如图6所示，是本技术一实施例提供的相似变换矩阵的计算方法的流程图。具体包括以下步骤：
[0072]
s21，所述电子设备使用关键点检测算法对待检测图像进行检测，得到所述多个检测关键点以及每个检测关键点的检测坐标。
[0073]
在一些实施例中，所述电子设备使用关键点检测算法对所述待检测图像进行目标检测，框选出包含人体的人体区域，并对所述人体区域进行识别，得到所述待检测图像中的多个检测关键点以及每个检测关键点的检测坐标。所述多个检测关键点包括，但不限于：根节点、人体盆骨中心点、鼻子、左眼、有眼、左耳、右耳、左肩、右肩、髋部中点、左肘、右肘、左手腕、右手腕、左臀、右臂、左膝、右膝、左脚踝以及右脚踝等等。可以理解的是，所述多个检测关键点包括了上述的24个关键点。
[0074]
其中，所述关键点检测算法可以为人体姿态评估算法openpose。使用所述人体姿态评估算法openpose对所述人体区域进行框选以及对所述人体区域进行识别的方法可参考相关技术中对锚框的选取以及识别的相关步骤。
[0075]
s22，所述电子设备从所述多个检测关键点中选取所述预设人体中心关键点对应的检测人体中心关键点以及所述预设根节点对应的检测根节点。
[0076]
在一些实施例中，检测出的每个检测关键点具有对应的关键点名称。例如，所述多个检测关键点以及每个检测关键点的坐标可以为鼻子(20，30)、根节点(20，5)以及人体中心关键点(150，200)等等。所述电子设备可根据所述关键点名称从所述多个检测关键点中选取所述预设人体中心关键点对应的检测人体中心关键点以及所述预设根节点对应的检测根节点。
[0077]
在本实施例中，由于每个检测关键点具有对应的关键点名称，因此能够直接通过所述关键点名称从所述多个检测关键点中快速选取到所述检测人体中心关键点以及所述检测根节点。
[0078]
s23，所述电子设备根据所述检测人体中心关键点以及所述检测根节点对应的检测坐标，计算目标关键点的目标坐标。
[0079]
在一些实施例中，所述目标关键点为所述预设体外关键点在所述待检测图像中对应的检测体外关键点。
[0080]
在一些实施例中，所述电子设备根据所述检测人体中心关键点以及所述检测根节点对应的检测坐标，计算目标关键点的目标坐标包括：所述电子设备根据所述检测人体中心关键点对应的检测坐标以及所述检测根节点对应的检测坐标，计算所述检测人体中心关键点与所述检测根节点之间的第三关键点距离，然后所述电子设备确定所述检测人体中心关键点与所述检测根节点构成的第一检测直线，并确定经过所述检测人体中心关键点且与所述第一检测直线垂直的第二检测直线，所述电子设备根据所述检测人体中心关键点在所述第二检测直线上的位置以及所述第三关键点距离，在所述第二检测直线上确定所述目标关键点以及所述目标关键点的目标坐标。
[0081]
在一些实施例中，所述第三关键点距离包括，但不限于：欧式距离、曼哈顿距离以及切比雪夫距离等等。所述第三关键点距离的计算方式可参考相关技术中欧式距离、曼哈顿距离以及切比雪夫距离的计算公式。所述第一检测直线为连接所述检测人体中心关键点与所述检测根节点的直线，所述第一检测直线与所述第二检测直线相互垂直。
[0082]
在一些实施例中，所述电子设备将所述第二检测直线上且与所述检测人体中心关键点相距所述关键点距离的点确定为所述目标关键点，并将所述目标关键点在所述待检测图像对应的第二像素坐标系中的坐标确定为所述目标坐标。其中，所述第二像素坐标系的生成方式与所述第一像素坐标系的生成方式基本相同，故本技术不再重复描述。
[0083]
在本实施例中，由于所述目标关键点为所述预设体外关键点在所述待检测图像中对应的关键点，因此，通过所述检测人体中心关键点、所述目标关键点与所述检测根节点之间的关联关系，能够快速地确定出所述目标关键点的目标坐标。
[0084]
s24，所述电子设备根据所述检测人体中心关键点、所述检测根节点对应的检测坐标与所述目标坐标对应的检测向量以及多个所述预设坐标对应的预设向量，计算所述相似变换矩阵。
[0085]
在一些实施例中，所述电子设备通过所述检测向量以及所述预设向量对所述相似变换矩阵进行计算的详细步骤可参考如图8所示的流程介绍。
[0086]
如图8所示，是本技术一实施例提供的目标人体三维模型的生成方法的流程图。具体包括以下步骤：
[0087]
s51，所述电子设备使用所述性别检测模型对所述人体向量进行预测，得到所述人体向量对应的预测性别以及所述预测性别的性别概率。
[0088]
在一些实施例中，所述性别检测模型包括性别分类器，所述电子设备使用独热编码(one-hot)对两种性别(男性和女性)进行编码，得到多个编码向量，所述电子设备使用所述性别分类器计算所述人体向量与每个编码向量计算所述人体向量属于每个性别的预测概率，然后所述电子设备将最大的预测概率所对应的性别确定为所述预测性别，并将所述最大的预测概率确定为所述性别概率。
[0089]
其中，所述性别分类器可以为softmax分类器，所述电子设备使用所述softmax分类器计算所述人体向量与每个编码向量计算所述预测概率的方式可参考相关技术中softmax函数的公式的应用。
[0090]
在本实施例中，预测出所述人体向量的性别，为下文选取目标人体模型提供了条件。
[0091]
s52，所述电子设备将所述性别概率与预设值进行比较。
[0092]
在一些实施例中，所述预设值可以自行设置，本技术对此不作限制。例如，所述预设值可以为0.8或者0.9。
[0093]
s53，若所述性别概率大于或者等于预设值，所述电子设备从所述基础人体模型中选取所述预测性别对应的目标人体模型。
[0094]
在一些实施例中，所述电子设备将所述预测性别对应的基础人体模型确定为所述目标人体模型。
[0095]
在本实施例中，由于男性对应的基础人体模型与女性对应的基础人体模型的模型关节点的位置也会存在较大区别，因此选用所述预测性别对应的基础人体模型，能够使得生成的初始人体三维模型更加准确。
[0096]
s54，所述电子设备根据所述人体向量对所述目标人体模型进行调整，得到初始人体三维模型。
[0097]
在一些实施例中，所述电子设备对所述目标人体模型进行调整，得到所述初始人
体三维模型的详细步骤可参考如图10所示的流程介绍。
[0098]
s55，所述电子设备将所述初始人体三维模型输入至所述变分自编码器模型进行重构，得到所述目标人体三维模型。
[0099]
在一些实施例中，所述电子设备将所述初始人体三维模型输入至所述变分自编码器模型中的编码器进行压缩，得到压缩后的隐向量(latentspace)，并将所述隐向量输入至所述变分自编码器模型中的解码器用进行解压，得到所述目标人体三维模型。
[0100]
在本实施例中，由于压缩能够去除所述初始人体三维模型中的噪声，因此，能够使得重构出的目标人体三维模型更加准确。
[0101]
s56，若所述性别预测概率小于所述预设值，所述电子设备将所述人体构建模型中的默认人体模型确定为所述目标人体模型。
[0102]
如图9所示，是本技术另一实施例提供的相似变换矩阵的计算方法的流程图。具体包括以下步骤：
[0103]
s241，所述电子设备根据所述检测向量、所述预设向量、所述检测向量对应的预设参数矩阵以及所述预设参数矩阵的参数逆矩阵，构建向量等式。
[0104]
其中，所述预设参数矩阵的维度可以为2x3，因此所述预设参数矩阵中包括6个预设参数，所述多个预设参数可以自行设置，本技术对此不作限制。例如，所述多个预设参数可以为q1、q2、q3
……
q6。
[0105]
在一些实施例中，所述向量等式可以如公式(1)所示：
[0106]
a＝m-1
bm；
ꢀꢀꢀ
(1)
[0107]
其中，a表示所述预设向量，b表示所述检测向量，m表示所述预设参数矩阵，m-1
表示所述参数逆矩阵，所述参数逆矩阵为所述预设参数矩阵的逆矩阵，所述参数逆矩阵的可参考相关技术中通过单位矩阵求出逆矩阵的方法。
[0108]
s242，所述电子设备使用最小二乘法(leastsquaremethod)或者奇异值分解法(singularvaluedecomposition，svd)对所述向量等式进行求解，得到所述预设参数矩阵中每个预设参数对应的参数值。
[0109]
在一些实施例中，通过所述最小二乘法对所述向量等式进行求解的方式可参考相关技术中matlab软件的lsqr语句的运用方式，通过所述奇异值分解法对所述向量等式进行求解的方式可参考相关技术中matlab软件的svd语句的运用方式。
[0110]
在其它实施例中，还可以通过其它方式对所述向量等式进行求解，例如，当所述检测坐标的数量较少时可结合多个检测坐标构成的多个等式对所述预设参数矩阵中每个预设参数对应的参数值进行求解，或者，在通过所述最小二乘法或者所述奇异值分解法进行求解时也可以采用其它求解语句，本技术对此不作限制。
[0111]
s243，所述电子设备将所述预设参数矩阵中的每个预设参数替换为对应的参数值，得到所述相似变换矩阵。
[0112]
在一些实施例中，所述相似变换矩阵中包括对每个检测横坐标进行平移操作所对应的值以及对每个检测纵坐标进行平移操作所对应的值。为了更清楚地对所述相似变换矩阵的组成进行描述，下文将结合公式(2)进行详细介绍。
[0113]
[0114]
其中，m表示所述相似变换矩阵，r
00
等于r
11
相等，r
01
与r
10
互为相反数，t
x
为对每个检测横坐标进行平移操作所对应的值，ty为对每个检测纵坐标进行平移操作所对应的值。
[0115]
如图10所示，是本技术一实施例提供的初始人体三维模型的生成方法的流程图。具体包括以下步骤：
[0116]
s531，所述电子设备根据所述形状向量以及所述目标人体模型对应的顶点位移分量计算每个网格顶点的顶点偏移量，并根据所述顶点偏移量控制所述目标人体模型中相应的顶点进行偏移，得到第一调整模型。
[0117]
在一些实施例中，所述顶点偏移分量为预设的向量，所述顶点位移分量中向量值的数量与所述形状向量中向量值的数量相同，所述顶点偏移量的计算公式(3)为：
[0118][0119]
其中，bs()表示所述顶点偏移量，βn表示所述形状向量中的第n个向量值，表示所述形状向量中向量值的数量，sn表示顶点位移分量中的第n个向量值。
[0120]
在一些实施例中，所述电子设备根据所述顶点偏移量对所述目标人体模型中相应的顶点的位置进行变换，得到所述第一调整模型。
[0121]
在本实施例中，由于所述形状向量包括了所述待检测图像中人体的面部表情、人体的高、矮、胖、瘦等身体特征的变化情况，因此，通过由所述形状向量计算出的顶点偏移量控制所述目标人体模型中相应的顶点进行偏移，能够使得所述第一调整模型相应还原出所述待检测图像中人体的身材以及表情特征。
[0122]
s532，所述电子设备根据所述姿态向量以及每个模型关节点的旋转关系计算每个模型关节点的关节偏移量，并根据所述关节偏移量控制所述第一调整模型中相应的模型关节点进行旋转，得到第二调整模型。
[0123]
在一些实施例中，所述旋转关系为预设的矩阵，所述关节偏移量的计算公式(4)为：
[0124][0125]
其中，b
p
(θ)表示所述关节偏移量，k表示所述第一调整模型中模型关节点的数量(所述第一调整模型中模型关节点的数量为23)，rn(θ)表示所述姿态向量中23个姿态关节点对应的第一姿态旋转矩阵中的第n个元素值，
[0126]rn
(θ
*
)表示所述基础人体模型中23个模型关节点对应的第二姿态旋转矩阵中的第n个元素值，p
p
表示所述旋转关系。所述第一姿态旋转矩阵可通过sin函数以及cos函数对所述23姿态关节点对应的偏航角、横滚角以及俯仰角进行计算得到。由于所述23个姿态关节点中每个姿态关节点的姿态旋转矩阵为3x3的矩阵，所述第一姿态旋转矩阵为23个3x3的姿态旋转矩阵的拼接结果，因此所述第一姿态旋转矩阵中包括207＝23*3*3个元素值，所述第二旋转矩阵可通过所述第一调整模型中23个模型关节点的位置计算得到，所述第二旋转矩阵与所述第一旋转矩阵均包括207个元素值。
[0127]
在本实施例中，由于所述姿态向量包括所述待检测图像中人体对应的24个关键点的关键信息，因此，通过由所述姿态向量计算出的关节偏移量控制所述第一调整模型中相应的模型关节点进行旋转，能够使得旋转后生成的第二调整模型中的身材特征得到进一步
的修正。
[0128]
s533，所述电子设备根据所述多个模型关节点对每个网格顶点的影响权重矩阵控制所述第二调整模型中的网格顶点进行变换，得到所述初始人体三维模型。
[0129]
在一些实施例中，所述影响权重矩阵为每个网格顶点受每个模型关节点的影响程度，通常与每个网格顶点距离越近的模型关节点对所述网格顶点的影响越大(影响权重矩阵越大)。所述变换包括旋转和/或平移。
[0130]
在一些实施例中，所述电子设备根据所述第二调整模型中的多个模型关节点的位置的加权平均值计算出所述影响权重矩阵，并根据所述影响权重矩阵、每个网格顶点在所述第二调整模型中的初始顶点位置以及所述第二调整模型中每个模型关节点对应的仿射变换矩阵计算出目标顶点位置矩阵，其中，所述目标顶点位置包括所述第二调整模型中每个网格顶点的目标顶点位置，然后所述电子设备将每个网格顶点在所述第二调整模型中的初始顶点位置变换为所述目标顶点位置矩阵中对应的目标顶点位置，得到所述初始人体三维模型。
[0131]
在一些实施例中，通过所述第二调整模型中的多个模型关节点的位置的加权平均值计算出所述影响权重矩阵的方式可参考相关技术中变换矩阵(transform)的计算方式，所述仿射变换矩阵的计算方式可参考相关技术中通过最小二乘法对多个三维坐标进行求解的计算方式，所述目标顶点位置矩阵的计算公式(5)为：
[0132][0133]
其中，p
*
表示所述目标顶点位置矩阵，所述目标顶点位置矩阵的维度为[n，3]，其中，n为所述第二调整模型中网格顶点的数量，m表示所述第二调整模型中模型关节点的数量，wj表示第j个影响权重矩阵，tj表示所述第二调整模型中第j个模型关节点的仿射变换矩阵，每个仿射变换矩阵的维度为[m，4，4]，p表示由所有的网格顶点在所述第二调整模型中多个初始顶点位置构成的初始顶点位置矩阵，其中，所述初始顶点位置矩阵与所述目标顶点位置矩阵中的坐标相对应。
[0134]
在本实施例中，由于所述影响权重矩阵为每个网格顶点受每个模型关节点的影响程度，因此，在所述第二调整模型中的每个模型关节点进行旋转和/或者平移时，该模型关节点对应的网格顶点也会随之进行对应的旋转和/或者平移，从而完成了给所述第二调整模型加上相应动作姿态，使得所述初始人体三维模型还原了所述待检测图像中人体的动作姿态。
[0135]
如图11所示，是本技术一实施例提供的人体三维模型构建装置的功能模块图。所述人体三维模型构建装置11包括获取单元110、计算单元111、变换单元112、预测单元113、以及输入单元114。本技术所称的模块/单元是指一种能够被图1中的处理器13所获取，并且能够完成固定功能的一系列计算机可读指令段，其存储在图1中的存储器12中。在本实施例中，关于各模块/单元的功能将在后续的实施例中详述。
[0136]
所述获取单元110，用于获取待检测图像；所述计算单元111，用于根据多个预设关键点的预设坐标以及每个预设关键点在所述待检测图像中对应的检测关键点的检测坐标，计算相似变换矩阵；所述变换单元112，用于根据所述相似变换矩阵对所述待检测图像进行变换，得到人体对齐图像；所述预测单元113，用于基于预设的深度学习模型对所述人体对齐图像进行预测，得到所述人体对齐图像对应的人体向量；所述输入单元114，用于将所述
人体向量输入至预设的人体构建模型中，得到所述待检测图像对应的目标人体三维模型。
[0137]
在本技术一实施例中，所述人体构建模型包括性别检测模型、变分自编器模型以及每个性别对应的基础人体模型，所述输入单元114，还用于：使用所述性别检测模型对所述人体向量进行预测，得到所述人体向量对应的预测性别以及所述预测性别的性别概率，若所述性别概率大于或者等于预设值，从所述基础人体模型中选取所述预测性别对应的目标人体模型，根据所述人体向量对所述目标人体模型进行调整，得到初始人体三维模型，将所述初始人体三维模型输入至所述变分自编码器模型进行重构，得到所述目标人体三维模型。
[0138]
在本技术一实施例中，所述目标人体模型包括多个网格顶点以及多个模型关节点，所述人体向量包括形状向量以及姿态向量，所述输入单元114，还用于：根据所述形状向量以及所述目标人体模型对应的顶点位移分量，计算每个网格顶点的顶点偏移量，并根据所述顶点偏移量控制所述目标人体模型中相应的顶点进行偏移，得到第一调整模型，根据所述姿态向量以及每个模型关节点的旋转关系，计算每个模型关节点的关节偏移量，并根据所述关节偏移量控制所述第一调整模型中相应的模型关节点进行旋转，得到第二调整模型，根据所述多个模型关节点对每个网格顶点的影响权重矩阵，控制所述第二调整模型中的网格顶点进行变换，得到所述初始人体三维模型。
[0139]
在本技术一实施例中，所述变换单元112，还用于：根据所述多个模型关节点的位置计算出所述影响权重矩阵，根据所述影响权重矩阵、每个模型关节点在所述第二调整模型中的坐标以及所述第二调整模型中每个模型关节点对应的仿射变换矩阵，计算目标顶点位置矩阵，其中，所述目标顶点位置包括所述第二调整模型中每个网格顶点的目标顶点位置，将每个网格顶点在所述第二调整模型中的初始顶点位置变换为所述目标顶点位置矩阵中对应的目标顶点位置，得到所述初始人体三维模型。
[0140]
在本技术一实施例中，所述多个预设关键点包括预设人体中心关键点以及预设根节点，所述计算单元111，还用于：使用关键点检测算法对待检测图像进行检测，得到所述多个检测关键点以及每个检测关键点的检测坐标，并从所述多个检测关键点中选取所述预设人体中心关键点对应的检测人体中心关键点以及所述预设根节点对应的检测根节点，根据所述检测人体中心关键点以及所述检测根节点对应的检测坐标，计算目标关键点的目标坐标，根据所述检测人体中心关键点、所述检测根节点对应的检测坐标与所述目标坐标对应的检测向量以及多个所述预设坐标对应的预设向量，计算所述相似变换矩阵。
[0141]
在本技术一实施例中，所述计算单元111，还用于：根据所述检测人体中心关键点对应的检测坐标以及所述检测根节点对应的检测坐标，计算所述检测人体中心关键点与所述检测根节点之间的关键点距离，确定所述检测人体中心关键点与所述检测根节点构成的第一检测直线，并确定经过所述检测人体中心关键点且与所述第一检测直线垂直的第二检测直线，根据所述检测人体中心关键点在所述第二检测直线上的位置以及所述关键点距离，在所述第二检测直线上确定所述目标关键点以及所述目标关键点的目标坐标。
[0142]
在本技术一实施例中，所述计算单元111，还用于：根据所述检测向量、所述预设向量、所述检测向量对应的预设参数矩阵以及所述预设参数矩阵的参数逆矩阵，构建向量等式，其中，所述预设参数矩阵中包括多个预设参数，使用最小二乘法或者奇异值分解法对所述向量等式进行求解，得到所述预设参数矩阵中每个预设参数对应的参数值，将所述预设
参数矩阵中的每个预设参数替换为对应的参数值，得到所述相似变换矩阵。
[0143]
在本技术一实施例中，每个检测坐标包括检测横坐标以及检测纵坐标，所述相似变换矩阵包括每个检测横坐标进行平移操作所对应的第一平移值以及每个检测纵坐标进行平移操作所对应的第二平移值，所述变换单元112，还用于：根据所述第一平移值对所述待检测图像中每个检测关键点的检测横坐标进行平移，并根据所述第二平移值对所述检测关键点的检测纵坐标进行平移，得到所述人体对齐图像。
[0144]
由上述技术方案可知，由于所述多个预设关键点为标准人体图像中的多个关键点以及所述标准人体图像为人物呈现标准站姿或者标准躺姿的人体图像，根据所述相似变换矩阵对所述待检测图像进行变换，能够使得所述人体对齐图像中的人体姿态为标准姿态，从而更便于对所述人体对齐图像中人体的关节点进行检测，所述人体向量包括形状向量以及姿态向量，由于所述深度学习模型是通过不同姿态的人体图像、多张人体头部图像、多张男性图像、多张女性图像以及每张图像的标注结果等数据进行训练后生成的模型，通过所述深度学习模型能够对所述人体对齐图像中人体的形状以及姿态进行准确检测，因此能够直接计算出所述姿态向量以及所述形状向量，由于本技术无需进行相机校正，也并不需要精密的光学设备获取数据，更不需要目标人物穿戴特质服装，因此，能够简化人体三维模型的构建流程，提高人体三维模型的构建速度，然后直接将所述人体向量输入至人体构建模型，能够直接得到所述待检测图像中的目标人体三维模型。此外，当所述待检测图像中人体的姿态或者人体形状出现变化时，所述深度学习模型能够实时对变化的人体姿态以及人体形状进行实时检测，因此能够确保人体三维模型构建的实时性。此外，本技术只需要包含人体的待检测图像就能够构建出所述待检测图像中人体三维模型，而并不需要所述待检测图像中的人体佩戴特质设备，也不需要精密设计的光学设备，因此能够简化人体三维模型构建的方法流程。
[0145]
在一实施例中，接续前文对图1中的电子设备的描述，处理器13可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器13是电子设备1的运算核心和控制中心，利用各种接口和线路连接整个电子设备1的各个部分，及获取电子设备1的操作系统以及安装的各类应用程序、程序代码等。
[0146]
处理器13获取电子设备1的操作系统以及安装的各类应用程序。处理器13获取应用程序以实现上述各个人体三维模型构建方法实施例中的步骤，例如图2、图6、图8、图9以及图10所示的步骤。
[0147]
示例性的，计算机程序可以被分割成一个或多个模块/单元，例如加速单元，一个或者多个模块/单元被存储在存储器12中，并由处理器13获取，以完成本技术。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在电子设备1中的获取过程。
[0148]
存储器12可用于存储计算机程序和/或模块，处理器13通过运行或获取存储在存储器12内的计算机程序和/或模块，以及调用存储在存储器12内的数据，实现电子设备1的
各种功能。存储器12可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器12可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
[0149]
存储器12可以是电子设备1的外部存储器和/或内部存储器。进一步地，存储器12可以是具有实物形式的存储器，如内存条、tf卡(trans-flashcard)等等。
[0150]
电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器获取时，可实现上述各个方法实施例的步骤。
[0151]
其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可获取文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-onlymemory，rom)。
[0152]
结合图2，电子设备1中的存储器12存储多个指令以实现一种人体三维模型构建方法，处理器13可获取多个指令从而实现：获取待检测图像；根据多个预设关键点的预设坐标以及每个预设关键点在所述待检测图像中对应的检测关键点的检测坐标，计算相似变换矩阵；根据所述相似变换矩阵对所述待检测图像进行变换，得到人体对齐图像；基于预设的深度学习模型对所述人体对齐图像进行预测，得到所述人体对齐图像对应的人体向量；将所述人体向量输入至预设的人体构建模型中，得到所述待检测图像对应的目标人体三维模型。
[0153]
具体地，处理器13对上述指令的具体实现方法可参考图2对应实施例中相关步骤的描述，在此不赘述。
[0154]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0155]
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以处于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选取其中的部分或者全部模块来实现本实施例方案的目的。
[0156]
另外，在本技术各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
[0157]
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本技术的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本技术内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
[0158]
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。本技术中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
[0159]
最后应说明的是，以上实施例仅用以说明本技术的技术方案而非限制，尽管参照较佳实施例对本技术进行了详细说明，本领域的普通技术人员应当理解，可以对本技术的技术方案进行修改或等同替换，而不脱离本技术技术方案的精神和范围。

技术特征：
1.一种人体三维模型构建方法，其特征在于，所述方法包括：获取待检测图像；根据多个预设关键点的预设坐标以及每个预设关键点在所述待检测图像中对应的检测关键点的检测坐标，计算相似变换矩阵；根据所述相似变换矩阵对所述待检测图像进行变换，得到人体对齐图像；基于预设的深度学习模型对所述人体对齐图像进行预测，得到所述人体对齐图像对应的人体向量；将所述人体向量输入至预设的人体构建模型中，得到所述待检测图像对应的目标人体三维模型。2.如权利要求1所述的人体三维模型构建方法，其特征在于，所述人体构建模型包括性别检测模型、变分自编器模型以及每个性别对应的基础人体模型，所述将所述人体向量输入至预设的人体构建模型中，得到所述待检测图像对应的目标人体三维模型包括：使用所述性别检测模型对所述人体向量进行预测，得到所述人体向量对应的预测性别以及所述预测性别的性别概率；若所述性别概率大于或者等于预设值，从所述基础人体模型中选取所述预测性别对应的目标人体模型；根据所述人体向量对所述目标人体模型进行调整，得到初始人体三维模型；将所述初始人体三维模型输入至所述变分自编码器模型进行重构，得到所述目标人体三维模型。3.如权利要求2所述的人体三维模型构建方法，其特征在于，所述目标人体模型包括多个网格顶点以及多个模型关节点，所述人体向量包括形状向量以及姿态向量，所述根据所述人体向量对所述目标人体模型进行调整，得到初始人体三维模型包括：根据所述形状向量以及所述目标人体模型对应的顶点位移分量，计算每个网格顶点的顶点偏移量，并根据所述顶点偏移量控制所述目标人体模型中相应的顶点进行偏移，得到第一调整模型；根据所述姿态向量以及每个模型关节点的旋转关系，计算每个模型关节点的关节偏移量，并根据所述关节偏移量控制所述第一调整模型中相应的模型关节点进行旋转，得到第二调整模型；根据所述多个模型关节点对每个网格顶点的影响权重矩阵，控制所述第二调整模型中的网格顶点进行变换，得到所述初始人体三维模型。4.如权利要求3所述的人体三维模型构建方法，其特征在于，所述根据所述多个模型关节点对每个网格顶点的影响权重矩阵，控制所述第二调整模型中的网格顶点进行变换，得到所述初始人体三维模型包括：根据所述多个模型关节点的位置计算出所述影响权重矩阵；根据所述影响权重矩阵、每个网格顶点在所述第二调整模型中的初始顶点位置以及所述第二调整模型中每个模型关节点对应的仿射变换矩阵，计算目标顶点位置矩阵，其中，所述目标顶点位置包括所述第二调整模型中每个网格顶点的目标顶点位置；将每个网格顶点在所述第二调整模型中的初始顶点位置变换为所述目标顶点位置矩阵中对应的目标顶点位置，得到所述初始人体三维模型。
5.如权利要求1所述的人体三维模型构建方法，其特征在于，所述多个预设关键点包括预设人体中心关键点以及预设根节点，所述根据多个预设关键点的预设坐标以及每个预设关键点在所述待检测图像中对应的检测关键点的检测坐标，计算相似变换矩阵包括：使用关键点检测算法对待检测图像进行检测，得到所述多个检测关键点以及每个检测关键点的检测坐标，并从所述多个检测关键点中选取所述预设人体中心关键点对应的检测人体中心关键点以及所述预设根节点对应的检测根节点；根据所述检测人体中心关键点以及所述检测根节点对应的检测坐标，计算目标关键点的目标坐标；根据所述检测人体中心关键点、所述检测根节点对应的检测坐标与所述目标坐标对应的检测向量以及多个所述预设坐标对应的预设向量，计算所述相似变换矩阵。6.如权利要求5所述的人体三维模型构建方法，其特征在于，所述根据所述检测人体中心关键点以及所述检测根节点对应的检测坐标，计算目标关键点的目标坐标包括：根据所述检测人体中心关键点对应的检测坐标以及所述检测根节点对应的检测坐标，计算所述检测人体中心关键点与所述检测根节点之间的关键点距离；确定所述检测人体中心关键点与所述检测根节点构成的第一检测直线，并确定经过所述检测人体中心关键点且与所述第一检测直线垂直的第二检测直线；根据所述检测人体中心关键点在所述第二检测直线上的位置以及所述关键点距离，在所述第二检测直线上确定所述目标关键点以及所述目标关键点的目标坐标。7.如权利要求5所述的人体三维模型构建方法，其特征在于，所述根据所述检测人体中心关键点、所述检测根节点对应的检测坐标与所述目标坐标对应的检测向量以及多个所述预设坐标对应的预设向量，计算所述相似变换矩阵包括：根据所述检测向量、所述预设向量、所述检测向量对应的预设参数矩阵以及所述预设参数矩阵的参数逆矩阵，构建向量等式，其中，所述预设参数矩阵中包括多个预设参数；使用最小二乘法或者奇异值分解法对所述向量等式进行求解，得到所述预设参数矩阵中每个预设参数对应的参数值；将所述预设参数矩阵中的每个预设参数替换为对应的参数值，得到所述相似变换矩阵。8.如权利要求1所述的人体三维模型构建方法，其特征在于，每个检测坐标包括检测横坐标以及检测纵坐标，所述相似变换矩阵包括每个检测横坐标进行平移操作所对应的第一平移值以及每个检测纵坐标进行平移操作所对应的第二平移值，所述根据所述相似变换矩阵对所述待检测图像进行变换，得到人体对齐图像包括：根据所述第一平移值对所述待检测图像中每个检测关键点的检测横坐标进行平移，并根据所述第二平移值对所述检测关键点的检测纵坐标进行平移，得到所述人体对齐图像。9.一种电子设备，其特征在于，所述电子设备包括：存储器，存储至少一个指令；及处理器，执行所述至少一个指令以实现如权利要求1至8中任意一项所述的人体三维模型构建方法。10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现如权利要求1至8中任意一项
所述的人体三维模型构建方法。

技术总结
本申请提供一种人体三维模型构建方法、电子设备及存储介质。所述方法包括：获取待检测图像，根据多个预设关键点的预设坐标以及每个预设关键点在待检测图像中对应的检测关键点的检测坐标，计算相似变换矩阵，根据相似变换矩阵对待检测图像进行变换，得到人体对齐图像，基于预设的深度学习模型对人体对齐图像进行预测，得到人体对齐图像对应的人体向量，将人体向量输入至预设的人体构建模型中，得到待检测图像对应的目标人体三维模型。利用上述方法，能够简化人体模型的构建流程并实时构建出人体模型。人体模型。人体模型。


技术研发人员：吉祥
受保护的技术使用者：抖动科技（深圳）有限公司
技术研发日：2023.04.27
技术公布日：2023/8/4