一种基于多视角同步拍摄的三维人体建模与动作获取方法

1.本发明属于三维人体重建技术领域，具体涉及一种基于多视角同步拍摄的三维人体建模与动作获取方法。


背景技术：

2.人体的数字化主要是将目标人体通过重建的方式保存在计算机中。在计算机视觉和计算机图形学领域中，人体重建问题一直是处于长期研究的困难课题，其难点主要在于人体的复杂的几何结构。近几年，虚拟数字人技术越来越频繁地应用于视频带货、新闻直播等行业。同时，随着ar与vr技术的逐步发展，以及全息通信技术的不断进步，或许在不久的将来人们的生活和通信方式会迎来翻天覆地性的改变。基于上述背景，人体的数字化，特别是其中的3d人体建模与动作获取技术，成为了一个日趋重要的研究方向。
3.人体的几何结构受体型、姿态、性别等影响，特别是人体姿态的改变，会产生复杂的大尺度非刚性形变，这也使得广泛运用于体型的主成分分析(pca)和运用于人脸的形状混合(blendshape)等线性的变形方法无法直接用于人体姿态的变形。此外，由于在真实世界中人体都会穿着服饰，服饰自然会对人体的真实体态产生一定的遮挡，穿戴物与人体间的复杂交互，显著地增加了人体形状建模的复杂程度，并且有些人体重建工作还对人体的衣物进行建模，而对各式各样服饰纹理信息的提取与重建又是一件非常困难的工作。
4.在电影，游戏等领域，普遍采用复杂的采集系统来解决人体重建问题，在采集设备上，通常都是精密的多相机配置，并且需要经过精准的相机矫正和同步，同时被捕捉者还需要穿戴特制的动捕服装，或者标记上用于定位关键点的标示物。采集完数据后，还需要经过不仅复杂而且耗时的数据处理阶段，才能得到最终满足需求的高精度数字化形象。采集设备的要求苛刻，限制了这类技术的使用范围。
5.人体重建工作还有一种基于rgb-d数据的方法。使用这类方法，通常在rgb-d相机扫描过程中，就可以逐步重建人物形状。只不过专业的3d扫描仪价格昂贵，而且相比简单易得的rgb数据rgb-d数据的获取难度更大，数据采集设备和采集环境要求更加严苛。所以如何从rgb图像中重建人体就是一个值得思考的问题。
6.与rgb-d图像不同，rgb图像没有深度信息，由于透视投影带来的歧义，很有可能会重建出错误的人体姿态。而且虽然rgb图像容易获得，但是大多都是单目图像，拥有3d真实标注的数据集也十分有限，这也导致很多依赖大量数据训练的优秀的深度学习算法无法充分发挥原有的性能。


技术实现要素：

7.鉴于上述，本发明的目的是提供一种基于多视角同步拍摄的三维人体建模与动作获取方法，避免了复杂的采集系统和特制的动捕服装，以低成本实现三维人体的重建。
8.为实现上述发明目的，实施例还提供了一种基于多视角同步拍摄的三维人体建模与动作获取方法，包括以下步骤：
9.步骤1，获取多视角同步拍摄人物的跟踪视频；
10.步骤2，从跟踪视频的每一帧中提取二维人体关键点和二维手部关键点；
11.步骤3，基于二维人体关键点并通过优化多视角人体约束函数得到人体参数化模型的手臂参数，其中，手臂参数包括手臂形状参数和手臂姿态参数；
12.步骤4，基于二维手部关键点优化手部约束函数得到手部模型的参数；
13.步骤5，根据人体参数化模型的手臂参数确定肩关节位置和肘关节位置，根据手部模型的参数确定腕关节位置后，基于肩关节位置、肘关节位置以及腕关节位置并采用几何方法确定符合腕关节位置的实际肘关节位置；
14.步骤6，根据实际肘关节位置、肩关节位置计算肩关节的摆动旋转矩阵，根据肩关节运动的初始图像与结束图像，运用神经逆运动力学得到肩关节的扭动旋转矩阵，将摆动旋转矩阵和扭动旋转矩阵更新到人体参数化模型的手臂姿态参数中；
15.步骤7，将手臂姿态参数更新的人体参数化模型与手部模型对齐，完成三维人体建模和动作获取。
16.在一个实施例中，所述基于人体关键点并通过优化多视角人体约束函数得到人体参数化模型的手臂参数，包括：
17.计算各视角下人体参数化模型投影的二维人体关键点∏k(r
θ
(j(β))i)，计算人体参数化模型的三维人体关键点r
θ
(j(β))i，采用循环对极几何计算三维人体关键点j
3d,i
，则构建人体重建的二维关键点约束l
2d
和三维关键点约束l
3d
，表示为：
[0018][0019][0020]
其中，r
θ
(j(β))i表示基于混合线性蒙皮变形，由人体参数化模型的姿态参数θ和形状参数β共同作用下回归出得到的三维人体关键点坐标，∏k(
·
)表示使用相机参数k将人体参数化模型的r
θ
(j(β))i投影到相机二维像素坐标系，ρ(
·
)表示描述两个坐标之间差距的函数，γi，ωi分别表示人体关键点i的权重和置信度，j
2d,i
表示二维人体关键点；
[0021]
基于l
3d
和l
2d
构建多视角人体约束函数l
multi
，表示为：
[0022][0023]
基于l
multi
构建总损失函数l
total
，表示为：
[0024]
l
total
＝min(l
multi
+a
p
l
prior
)
[0025]
其中，v表示相机视角索引，取值为0-n，λv、λw以及λ
p
均表示损失权重，l
2d,v
表示在相机视角v下的二维关键点损失，l
prior
表示人体关节的先验损失，例如人体手肘关节不可能反向弯曲，是根据人主观对于身体结构的认知来设置的损失项；
[0026]
利用总损失函数l
total
优化人体参数化模型的手臂参数。
[0027]
在一个实施例中，所述利用总损失函数l
total
优化人体参数化模型的手臂参数，包括：阶段一优化人体参数化模型的全局位移参数和全局旋转参数，阶段二优化人体参数化
模型的形状参数，阶段三忽略手部关键影响优化躯干姿态参数，阶段四增加手部关键点影响细化手臂姿态参数，最后得到人体参数化模型的手臂参数，该手臂参数是指模型中躯干姿态参数的一部分，具体为手臂姿态参数。
[0028]
在一个实施例中，采用循环对极几何计算三维人体关键点j
3d
，包括：
[0029][0030]
其中，循环对两两相机组合v1，v2使用对极几何eg计算对应关键点的三维坐标，最后根据权重γ
v1,v2
和置信度ω
v1,v2
加权求和三维坐标，得到最终的三维人体关键点坐标j
3d
，其中λ
v1,v2
为比例系数，j
2d,v1
，j
2d,v2
分别为两个相机下二维人体关键点坐标，k
v1
，k
v2
分别表示两个相机的参数。
[0031]
在一个实施例中，所述基于手部关键点并通过优化手部约束函数得到手部模型的参数，包括：
[0032]
基于二维手部关键点，并结合相机参数，使用循环对极几何计算三维手部关键点以此的空间位置作为目标，固定步骤4确定的形状参数β来拟合手部模型的姿态参数θ，使得模型回归出的三维手部关键点与配准，采用的手部约束函数为：
[0033][0034]
其中，i表示手部关键点索引，m为手部关键点数量，‖
·
‖表示二范数，γ表示全局位移，α表示缩放因子，p(θi)为手部模型的姿态先验。
[0035]
在一个实施例中，所述基于肩关节位置、肘关节位置以及腕关节位置并采用几何方法确定符合腕关节位置的实际肘关节位置，包括：
[0036]
依据肩关节位置和实际肘关节位置e
′
确定上臂长度bu，依据实际肘关节位置e
′
和腕关节位置确定前臂长度bf，依据肩关节位置和腕关节位置确定另一长度sw
′
，依据三个长度确定唯一三角形，并以sw
′
为轴，将三角形在空间中旋转一周，可以确定e
′
在空间中唯一的轨迹圆，在确定轨迹圆和半径后，根据已知的原始肘关节位置e求得轨迹圆上距离e最近的点为实际肘关节位置e
′
。
[0037]
在一个实施例中，所述根据实际肘关节位置、肩关节位置计算肩关节的摆动旋转矩阵，根据肩关节运动的初始图像与结束图像，运用神经逆运动力学得到肩关节的扭动旋转矩阵，包括：
[0038]
根据实际肘关节位置和肩关节位置确定目标旋转向量，依据目标旋转向量和初始旋转向量计算摆动旋转矩阵；
[0039]
依据肩关节运动的初始图像与结束图像计算扭动旋转角度，依据扭动旋转角度和初始旋转向量计算扭动旋转矩阵。
[0040]
在一个实施例中，所述将摆动旋转矩阵和扭动旋转矩阵更新到人体参数化模型的手臂姿态参数中，包括：
[0041]
将肩关节的原始姿态参数转换为原始旋转矩阵，将原始旋转矩阵按顺序左乘以扭动旋转矩阵r
tw
和摆动旋转矩阵r
sw
，得到修正完肘关节的肩关节的新旋转矩阵，将该新旋转矩阵转换为x，y，z三个轴的轴角覆盖肩关节的姿态参数，得到更新的人体参数化模型的手
臂姿态参数。
[0042]
在一个实施例中，所述将手臂姿态参数更新的人体参数化模型与手部模型对齐，包括：
[0043]
融合手臂参数更新的人体参数化模型和手部模型的表面点云建立缺失的手腕部分面片索引文件；
[0044]
基于缺失的手腕部分面片索引文件将手部模型与人体参数化模型在手部默认姿态下对齐，对齐后的模型由于带有姿态参数能够实现动作获取。
[0045]
在一个实施例中，所述融合手臂参数更新的人体参数化模型和手部模型的表面点云建立缺失的手腕部分面片索引文件，包括：
[0046]
处理人体参数化模型的表面点云，将双手部分的点云及其关联的三角面片全部去除，得到去除双手的人体参数化模型；
[0047]
将手部模型的点云依次排列在去除双手的人体参数化模型之后；
[0048]
整理手部模型的面片索引文件，使手部模型和人体参数化模型的表面并存；
[0049]
对缺失的手腕部分点云进行缝合，建立缺失的手腕部分面片索引文件。
[0050]
与现有技术相比，本发明具有的有益效果至少包括：
[0051]
本发明采用分治思想的模型解耦配准优化方案，将完整的身体模型分解为左右手独立的手部模型，并保留人体参数化模型的躯干部分，模型重建的表达自由度更高。在原先使用人体参数化模型进行人体重建时只有唯一的一个形状参数来控制人体参数化模型的并不能很好地重建真实的体型，特别是在需求高精度重建的双手的场景下。本发明弥补了一般使用人体参数化模型进行姿态重建时，手部形状与骨骼长度受限于形状参数的问题。其次，本发明利用多视角约束消除人体三维重建结果的歧义性。一般的人体重建需要精密复杂的采集系统，人物需要穿戴特制的动捕服装。本发明只需演员穿着常服即可，降低了动作采集过程中人物的挑选难度。
附图说明
[0052]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
[0053]
图1是实施例提供的基于多视角同步拍摄的三维人体建模与动作获取方法的流程图；
[0054]
图2是实施例提供的人体重建流程图；
[0055]
图3是实施例提供的全身模型解耦示意图；
[0056]
图4是实施例提供的手部关键点配准流程图；
[0057]
图5是实施例提供的身体躯干重建流程图；
[0058]
图6是实施例提供的求解手臂数学问题抽象示意图。
具体实施方式
[0059]
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本
发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
[0060]
图1是实施例提供的基于多视角同步拍摄的三维人体建模与动作获取方法的流程图。图2是实施例提供的人体重建流程图。如图1所示，实施例提供的基于多视角同步拍摄的三维人体建模与动作获取方法，包括以下步骤：
[0061]
步骤1，获取多视角同步拍摄人物的跟踪视频。
[0062]
实施例中，人物穿着常服站在拍摄区域内，然后用分布于拍摄区域周围的4个相机从各个视角记录人物的运动过程，得到相应数量的跟踪视频。
[0063]
步骤2，从跟踪视频的每一帧中提取二维人体关键点和二维手部关键点。
[0064]
实施例中，如图3所示，将人体参数化模型(也就是身体模型)解耦成手部模型和模型身份躯干部分。在获得跟踪视频基础上，提取跟踪视频中每一帧二维图像中的人体关键点和手部关键点的像素级精度位置。具体地可以采用任何一种已经公开的人体关键点提取方法，本实施例采用二维人体姿态估计器估计2d人体关键点和2d手部关键点。
[0065]
接下来，从视频的第一帧开始迭代步骤3到步骤6的操作，直到视频中的每一帧都迭代结束。
[0066]
步骤3，基于当前帧的二维人体关键点并通过优化多视角人体约束函数得到人体参数化模型的手臂参数，其中，手臂参数包括手臂形状参数和手臂姿态参数。
[0067]
实施例中，在优化人体参数化模型的手臂参数时，首先，计算各视角下人体参数化模型投影的二维人体关键点∏k(r
θ
(j(β))i)，计算人体参数化模型的三维人体关键点r
θ
(j(β))i，采用循环对极几何计算三维人体关键点j
3d,i
，具体计算公式为：
[0068][0069]
其中，循环对两两相机组合v1，v2使用对极几何eg计算对应关键点的三维坐标，最后根据权重γ
v1,v2
和置信度ω
v1,v2
加权求和三维坐标，得到最终的三维人体关键点坐标j
3d
，其中λ
v1,v2
为比例系数，j
2d,v1
，j
2d,v2
分别为两个相机下二维人体关键点坐标，k
v1
，k
v2
分别表示两个相机的参数。
[0070]
各个视角下的人体参数化模型投影的∏k(r
θ
(j(β))i)与j
2d,i
之间的二维关键点约束l
2d
，人体参数化模型的r
θ
(j(β))i与循环对极几何计算的j
3d,i
之间的三维关键点约束l
3d
，分别表示为：
[0071][0072][0073]
其中，r
θ
(j(β))i表示基于混合线性蒙皮变形，由人体参数化模型的姿态参数θ和形状参数β共同作用下回归出得到的三维人体关键点坐标，∏k(
·
)表示使用相机参数k将人体参数化模型的r
θ
(j(β))i投影到相机二维像素坐标系，ρ(
·
)表示描述两个坐标之间差距的函数，γi，ωi分别表示人体关键点i的权重和置信度，j
2d,i
表示二维人体关键点；
[0074]
基于l
3d
和l
2d
构建多视角人体约束函数l
multi
，表示为：
[0075][0076]
基于l
multi
构建总损失函数l
total
，表示为：
[0077][0078]
其中，v表示相机视角索引，取值为0-n，λv、λw以及λ
p
均表示损失权重，l
2d,v
表示在相机视角v下的二维关键点损失，l
prior
表示人体关节的先验损失，例如人体手肘关节不可能反向弯曲，是根据人主观对于身体结构的认知来设置的损失项。
[0079]
利用总损失函数l
total
优化人体参数化模型的参数，如图5所示，具体分阶段优化，包括：阶段一优化人体参数化模型的全局位移参数和全局旋转参数，阶段二优化人体参数化模型的体型参数(形状参数)，阶段三忽略手部关键影响优化躯干姿态参数，阶段四增加手部关键点影响细化手臂姿态参数，最后得到人体参数化模型的手臂参数，该手臂参数是指模型中躯干姿态参数的一部分，具体为手臂姿态参数。
[0080]
步骤4，基于当前帧的二维手部关键点并通过优化手部约束函数得到手部模型的参数。
[0081]
实施例中，基于二维手部关键点，并结合相机参数，使用循环对极几何计算三维手部关键点其中，m表示手部关键点数量，3表示三维坐标，以此的空间位置作为目标，固定步骤4确定的状态参数β来拟合手部模型的姿态参数使得模型回归出的三维手部关键点与配准，采用的手部约束函数为：
[0082][0083]
其中，i表示手部关键点索引，‖
·
‖表示二范数，γ表示全局位移，α表示缩放因子，p(θi)为手部模型的姿态先验，j(θi,β,γ,α)表示手部模型根据当前时间步的姿态参数计算的手指关键点位置。
[0084]
步骤5，根据人体参数化模型的手臂参数确定肩关节位置和肘关节位置，根据手部模型的参数确定腕关节位置后，采用几何方法确定符合腕关节位置的实际肘关节位置。
[0085]
实施例中，如图6所示，在获得人体参数化模型的手臂参数和手部模型的参数后，根据人体参数化模型的手臂参数确定肩关节s位置(xs,ys,zs)和肘关节e位置(xe,ye,ze)，上臂长度为bu，前臂长度为bf。根据手部模型的参数(姿态参数和形状参数)确定腕关节w
′
位置
(xw′
,yw′
,zw′
)，为了调整手臂姿态，对齐手腕关键点的空间位置，需要计算实际手肘关键点e
′
的空间坐标(xe′
,ye′
,ze′
)。因为s(xs,ys,zs)，w
′
(xw′
,yw′
,zw′
)的空间位置已知，即sw
′
的长度与位置已知，并且又已知se
′
＝bu,e
′w′
＝bf，在已知三角形三条边的长度时，可以确定唯一的三角形形状，接着以边sw
′
为轴，将三角形在空间中旋转一周，可以确定e
′
在空间中唯一的轨迹圆。可以得到如下公式：
[0086][0087][0088][0089][0090]
其中由于人体关节角度的约束，必定大于等于零，o定义为世界坐标系原点，则圆心坐标c(xc,yc,zc),可以通过空间向量得出，其中u(
·
)函数为向量的单位化函数：
[0091][0092][0093][0094]
在确定了e
′
的轨迹圆心和半径后，需要根据已知的原始肘部关键点e(xe,ye,ze)，求得轨迹圆上距离e最近的点为实际肘关节位置e
′
(xe′
,ye′
,ze′
)，其中，为的方向向量,为向量在向量上的投影,最后e
′
的空间坐标(xe′
,ye′
,ze′
),可由空间向量得出：
[0095][0096][0097][0098][0099]
步骤6，根据实际肘关节位置、肩关节位置计算肩关节的摆动旋转矩阵，根据肩关节运动的初始图像与结束图像，运用神经逆运动力学得到肩关节的扭动旋转矩阵，将摆动旋转矩阵和扭动旋转矩阵更新到人体参数化模型的手臂姿态参数中。
[0100]
实施例中，姿态参数表示原始旋转矩阵，该原始旋转矩阵到目标旋转矩阵的过程中需要经过一个姿态旋转，这个姿态旋转矩阵可以表示为r，r可以被分解为扭动旋转矩阵r
tw
和摆动旋转矩阵r
sw
。从初始旋转向量到目标旋转向量初始的旋转向量是初始状态时，由肩关节作为起点，肘关节作为终点的向量，是原始旋转矩阵的一种表示方式，目标旋
转向量是在目标状态时，由肩关节作为起点，实际肘关节作为终点的向量，是目标旋转矩阵的一种表现方式。满足其中姿态旋转矩阵r可以被表示为：
[0101][0102]
其中，φ是由神经网络估计的扭动旋转角度，采用hybrik的方法，从初始状态的初始图像和目标状态的结束图像的像素预测得到。d
sw
(
·
)为用于求解摆动旋转矩阵的函数，d
tw
(
·
)为将扭动旋转角度φ转换为扭动旋转矩阵的函数。对于摆动旋转，存在一个垂直于和的轴
[0103][0104]
摆动角度α满足：
[0105][0106]
因此，摆动旋转矩阵r
sw
的解可由罗德里格斯(rodrigues)旋转公式导出，其中是的斜对称矩阵，i是单位矩阵。
[0107][0108]
扭动旋转是围绕的旋转，因此，以本身为轴，φ为扭转角度，可以确定扭动旋转矩阵r
tw
为：
[0109][0110]
在获得的r
sw
和r
tw
之后，进行人体参数化模型的姿态参数的更新，具体包括：将肩关节的原始姿态参数转换为原始旋转矩阵，将原始旋转矩阵按顺序左乘以扭动旋转矩阵r
tw
和摆动旋转矩阵r
sw
，得到修正完肘关节的肩关节的新旋转矩阵，将该新旋转矩阵转换为x，y，z三个轴的轴角覆盖肩关节的姿态参数，得到更新的人体参数化模型的手臂姿态参数。
[0111]
步骤7，将手臂姿态参数更新的人体参数化模型与手部模型对齐，完成三维人体建模和动作获取。
[0112]
实施例中，将姿态参数更新的人体参数化模型与手部模型对齐时，融合手臂参数更新的人体参数化模型和手部模型的表面点云建立缺失的手腕部分面片索引文件；然后，基于缺失的手腕部分面片索引文件将手部模型与人体参数化模型在手部默认姿态下对齐，得到融合模型，将人体参数化模型的参数与手部模型的参数导入融合模型，得到人体重建结果。对齐后的融合模型由于带有姿态参数能够实现动作获取。
[0113]
其中，融合手臂参数更新的人体参数化模型和手部模型的表面点云建立缺失的手腕部分面片索引文件，包括：处理人体参数化模型的表面点云，将双手部分的点云及其关联的三角面片全部去除，得到去除双手的人体参数化模型；将手部模型的点云依次排列在去除双手的人体参数化模型之后；整理手部模型的面片索引文件，使手部模型和人体参数化模型的表面并存；对缺失的手腕部分点云进行缝合，建立缺失的手腕部分面片索引文件。
[0114]
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于多视角同步拍摄的三维人体建模与动作获取方法，其特征在于，包括以下步骤：步骤1，获取多视角同步拍摄人物的跟踪视频；步骤2，从跟踪视频的每一帧中提取二维人体关键点和二维手部关键点；步骤3，基于二维人体关键点并通过优化多视角人体约束函数得到人体参数化模型的手臂参数，其中，手臂参数包括手臂形状参数和手臂姿态参数；步骤4，基于二维手部关键点优化手部约束函数得到手部模型的参数；步骤5，根据人体参数化模型的手臂参数确定肩关节位置和肘关节位置，根据手部模型的参数确定腕关节位置后，基于肩关节位置、肘关节位置以及腕关节位置并采用几何方法确定符合腕关节位置的实际肘关节位置；步骤6，根据实际肘关节位置、肩关节位置计算肩关节的摆动旋转矩阵，根据肩关节运动的初始图像与结束图像，运用神经逆运动力学得到肩关节的扭动旋转矩阵，将摆动旋转矩阵和扭动旋转矩阵更新到人体参数化模型的手臂姿态参数中；步骤7，将手臂姿态参数更新的人体参数化模型与手部模型对齐，完成三维人体建模和动作获取。2.根据权利要求1所述的基于多视角同步拍摄的三维人体建模与动作获取方法，其特征在于，所述基于人体关键点并通过优化多视角人体约束函数得到人体参数化模型的手臂参数，包括：计算各视角下人体参数化模型投影的二维人体关键点∏
k
(r
θ
(j(β))
i
)，计算人体参数化模型的三维人体关键点r
θ
(j(β))
i
，采用循环对极几何计算三维人体关键点j
3d,i
，则构建人体重建的二维关键点约束l
2d
和三维关键点约束l
3d
，表示为：，表示为：其中，r
θ
(j(β))
i
表示基于混合线性蒙皮变形，由人体参数化模型的姿态参数θ和形状参数β共同作用下回归出得到的三维人体关键点坐标，∏
k
(
·
)表示使用相机参数k将人体参数化模型的r
θ
(j(β))
i
投影到相机二维像素坐标系，ρ(
·
)表示描述两个坐标之间差距的函数，γ
i
，ω
i
分别表示人体关键点i的权重和置信度，j
2d,i
表示二维人体关键点；基于l
3d
和l
2d
构建多视角人体约束函数l
multi
，表示为：基于l
multi
构建总损失函数l
total
，表示为：l
total
＝min(l
multi
+λ
p
l
prior
)其中，v表示相机视角索引，取值为0-n，λ
v
、λ
w
以及λ
p
均表示损失权重，l
2d,v
表示在相机视角v下的二维关键点损失，l
prior
表示人体关节的先验损失；利用总损失函数l
total
优化人体参数化模型的手臂参数。
3.根据权利要求2所述的基于多视角同步拍摄的三维人体建模与动作获取方法，其特征在于，所述利用总损失函数l
total
优化人体参数化模型的手臂参数，包括：阶段一优化人体参数化模型的全局位移参数和全局旋转参数，阶段二优化人体参数化模型的形状参数，阶段三忽略手部关键影响优化躯干姿态参数，阶段四增加手部关键点影响细化手臂姿态参数，最后得到人体参数化模型的手臂参数，该手臂参数是指模型中躯干姿态参数的一部分，具体为手臂姿态参数。4.根据权利要求2所述的基于多视角同步拍摄的三维人体建模与动作获取方法，其特征在于，采用循环对极几何计算三维人体关键点j
3d
，包括：其中，循环对两两相机组合v1，v2使用对极几何e
g
计算对应关键点的三维坐标，最后根据权重γ
v1,v2
和置信度ω
v1,v2
加权求和三维坐标，得到最终的三维人体关键点坐标j
3d
，其中λ
v1,v2
为比例系数，j
2d,v1
，j
2d,v2
分别为两个相机下二维人体关键点坐标，k
v1
，k
v2
分别表示两个相机的参数。5.根据权利要求1所述的基于多视角同步拍摄的三维人体建模与动作获取方法，其特征在于，所述基于手部关键点并通过优化手部约束函数得到手部模型的参数，包括：基于二维手部关键点，并结合相机参数，使用循环对极几何计算三维手部关键点以此的空间位置作为目标，固定步骤4确定的形状参数β来拟合手部模型的姿态参数θ，使得模型回归出的三维手部关键点与配准，采用的手部约束函数为：其中，i表示手部关键点索引，m为手部关键点数量，‖
·
‖表示二范数，γ表示全局位移，α表示缩放因子，p(θ
i
)为手部模型的姿态先验，j(θ
i
,β,γ,α)表示手部模型根据当前时间步的姿态参数计算的手指关键点位置。6.根据权利要求1所述的基于多视角同步拍摄的三维人体建模与动作获取方法，其特征在于，所述基于肩关节位置、肘关节位置以及腕关节位置并采用几何方法确定符合腕关节位置的实际肘关节位置，包括：依据肩关节位置和实际肘关节位置e
′
确定上臂长度b
u
，依据实际肘关节位置e
′
和腕关节位置确定前臂长度b
f
，依据肩关节位置和腕关节位置确定另一长度sw
′
，依据三个长度确定唯一三角形，并以sw
′
为轴，将三角形在空间中旋转一周，可以确定e
′
在空间中唯一的轨迹圆，在确定轨迹圆和半径后，根据已知的原始肘关节位置e求得轨迹圆上距离e最近的点为实际肘关节位置e
′
。7.根据权利要求1所述的基于多视角同步拍摄的三维人体建模与动作获取方法，其特征在于，所述根据实际肘关节位置、肩关节位置计算肩关节的摆动旋转矩阵，根据肩关节运动的初始图像与结束图像，运用神经逆运动力学得到肩关节的扭动旋转矩阵，包括：根据实际肘关节位置和肩关节位置确定目标旋转向量，依据目标旋转向量和初始旋转向量计算摆动旋转矩阵；
依据肩关节运动的初始图像与结束图像计算扭动旋转角度，依据扭动旋转角度和初始旋转向量计算扭动旋转矩阵。8.根据权利要求1所述的基于多视角同步拍摄的三维人体建模与动作获取方法，其特征在于，所述将摆动旋转矩阵和扭动旋转矩阵更新到人体参数化模型的手臂姿态参数中，包括：将肩关节的原始姿态参数转换为原始旋转矩阵，将原始旋转矩阵按顺序左乘以扭动旋转矩阵r
tw
和摆动旋转矩阵r
sw
，得到修正完肘关节的肩关节的新旋转矩阵，将该新旋转矩阵转换为x，y，z三个轴的轴角覆盖肩关节的姿态参数，得到更新的人体参数化模型的手臂姿态参数。9.根据权利要求1所述的基于多视角同步拍摄的三维人体建模与动作获取方法，其特征在于，所述将手臂姿态参数更新的人体参数化模型与手部模型对齐，包括：融合手臂参数更新的人体参数化模型和手部模型的表面点云建立缺失的手腕部分面片索引文件；基于缺失的手腕部分面片索引文件将手部模型与人体参数化模型在手部默认姿态下对齐，对齐后的模型由于带有姿态参数能够实现动作获取。10.根据权利要求9所述的基于多视角同步拍摄的三维人体建模与动作获取方法，其特征在于，所述融合手臂参数更新的人体参数化模型和手部模型的表面点云建立缺失的手腕部分面片索引文件，包括：处理人体参数化模型的表面点云，将双手部分的点云及其关联的三角面片全部去除，得到去除双手的人体参数化模型；将手部模型的点云依次排列在去除双手的人体参数化模型之后；整理手部模型的面片索引文件，使手部模型和人体参数化模型的表面并存；对缺失的手腕部分点云进行缝合，建立缺失的手腕部分面片索引文件。

技术总结
本发明公开了一种基于多视角同步拍摄的三维人体建模与动作获取方法。获取多视角同步拍摄人物的跟踪视频，并从每帧中提取二维人体关键点和二维手部关键点；接着，利用二维人体关键点优化人体参数化模型的手臂参数。之后，基于二维手部关键点优化手部模型的参数；根据手腕位置，矫正手臂位置，得到人体参数化模型的手臂参数。通过整理手部模型点云和人体参数化模型点云，建立点与三角面片的索引，得到融合模型，将人体参数化模型的参数与手部模型的参数导入融合模型，得到人体重建的结果。本发明能利用多视角图像进行包含手部的人体建模与动作获取，并且不需要精密的多相机配置和动捕服装。捕服装。捕服装。


技术研发人员：耿卫东 王宇超 朱俊威 厉向东 梁秀波
受保护的技术使用者：浙江大学
技术研发日：2023.03.16
技术公布日：2023/7/12