一种基于视觉检测的手部动作捕捉方法与流程

1.本发明涉及计算机技术领域，具体为一种基于视觉检测的手部动作捕捉方法。


背景技术：

2.随着计算机技术、传感器技术以及虚拟现实产业的高速发展，运动捕捉技术的发展异常迅速并且应用范围日益广泛，尤其是在体育行业、游戏制作、动画制作以及影视特效制作等诸多领域中起着举足轻重的作用，其形成了一种新型的艺术与技术的相互渗透和融合的方式，并将成为未来的一种发展趋势。
3.现有的光学捕捉技术假设人体的每根骨骼都是刚体，基于此假设重建出演员的骨骼模型，该假设下，只能将标记点放置到人体的骨节点处。
4.针对于手部捕捉，因此现有的光学捕捉技术存在以下缺点，首先无法重建出与演员手部匹配的三维手部模型，无法自定义放置标记点的位置，其次，手指的骨骼有肌肉附着，且骨节点很小，与刚体的假设相违背。基于以上原因，现有的光学捕捉技术无法很好地捕捉手部动作。


技术实现要素：

5.(一)解决的技术问题
6.针对现有技术的不足，本发明提供了一种基于视觉检测的手部动作捕捉方法。
7.(二)技术方案
8.为实现上述目的，本发明提供如下技术方案：一种基于视觉检测的手部动作捕捉方法，包括以下步骤：
9.s1：在手部的各个关节处均布置标记点，使用多台rgb相机同步采集布置有标记点的手部运动，获得初始帧的多张手部原始图像；
10.s2：选择当前帧的一张手部原始图像，接着对当前手部原始图像进行yuv色域转换，获得对应的v色域手部图像，根据标记点阈值对当前v色域手部图像进行二值化，获得对应的手部标记点图像，接着利用轮廓跟踪算法提取手部标记点图像的标记点轮廓，获得对应的标记点轮廓图；根据标记点轮廓图，使用最小包围圆法提取各个标记点在当前手部原始图像上的二维位置；
11.s3：对s2中的v色域手部图像进行手部各个关节的确定，获得当前手部原始图像的各个关节名称和关节二维位置；
12.s4：采用匈牙利算法将各个标记点在当前手部标记点图像上的二维位置和还原后的裸手图像中各个关节二维位置进行位置匹配，获得当前手部原始图像下各个标记点所属的关节名称和标记点二维位置；
13.s5：确定附着在手部的第一标记对象的空间位置以及第一标记对象位于手部的部位的标签信息；利用第一标记对象的空间位置以及标签信息对初始手部姿态模型进行调整，生成与手部对应的基准手部姿态模型；
14.s6：通过使手部做出特定手部动作，设置初始手部姿态模型中的手部动作参数，在手部动作参数确定的情况下，获取第一标记对象在手部做出特定手部动作的情况下的空间位置以及标签信息；
15.s7：利用手部动作参数、空间位置以及标签信息，对初始手部姿态模型的形状参数进行调整，生成与手部对应的基准手部姿态模型；
16.s8：确定第一标记对象在手部的分布情况；在预先设置的手部动作库中选择满足分布情况的至少一个手部动作；在确定至少一个手部动作不存在有歧义的手部动作的情况下，利用至少一个手部动作确定为先验手部动作；利用先验手部动作建立先验手部动作模型；
17.s9：响应于手部所做出的当前手部动作，获取第一标记对象的当前空间位置以及当前标签信息；利用当前空间位置、当前标签信息以及与先验手部动作对应的先验手部动作模型对基准手部姿态模型进行调整，获取手部的当前手部姿态模型，以用于捕捉手部的当前手部动作。
18.在本发明实施例中，所述手部的动作过程分为开始、稳定、结束三个阶段，当处于稳定阶段时手是保持不变的，而在开始和结束阶段都有手的运动。
19.在本发明实施例中，所述s1中，手部的各个关节包括各根手指从手指根部到指尖方向依次排布的第一指间关节、第二指间关节和第三指间关节以及腕关节，其中手部的食指、中指、无名指和小指之间的相邻关节的标记点颜色不同。
20.在本发明实施例中，所述s3具体为：
21.k1：根据手部阈值对s2中的v色域手部图像进行二值化，获得除标记点外的手部图像，利用轮廓跟踪算法提取除标记点外的手部图像的手部轮廓，获得初始手部轮廓图；
22.k2：根据s中的标记点轮廓图和初始手部轮廓图，获得去除标记点的手部轮廓图，再利用曲线拟合法对去除标记点的手部轮廓图进行轮廓拟合，获得手部轮廓还原图；采用轮廓内部填充算法对手部轮廓还原图进行区域处理，获得手部区域图，将手部区域图与对应的手部标记点图像进行像素值相乘，获得待填补的标记点区域；
23.k3：基于当前手部原始图像，利用基于扩散的图像还原算法填补待填补的标记点区域的手部纹理颜色，获得还原后的裸手图像；
24.k4：利用深度学习算法提取还原后的裸手图像中各个关节名称和关节二维位置，即当前手部原始图像的各个关节名称和关节二维位置。
25.在本发明实施例中，所述s2中还对轮廓跟踪算法提取获得的标记点轮廓图进行去噪，具体为：先利用douglas-peuker算法对轮廓跟踪算法提取获得的标记点轮廓图中的各个标记点区域进行筛选，获得筛选出的标记点区域；然后，再计算筛选出的标记点区域覆盖的像素面积，选择像素面积大于面积阈值筛选出的标记点区域并记为有效标记点区域，由此获得去噪后的标记点轮廓图，将去噪后的标记点轮廓图作为最终的标记点轮廓图。
26.在本发明实施例中，所述s2中，使用最小包围圆法计算标记点轮廓图中各个标记点区域对应的包围圆的圆心与半径，根据各个包围圆的圆心与半径计算对应标记点区域的最小包围圆面积acircle，根据标记点区域的最小包围圆面积acircle，判断各个标记点区域为独立标记点还是重叠标记点，当为独立标记点时，则将当前独立标记点对应包围圆的圆心所在二维位置作为当前标记点的二维位置；当为重叠标记点时，根据标记点颜色将重
叠标记点进行分离，获得两个标记点，接着利用最小包围圆法确定像素点面积较大的标记点的圆心；同时利用最小包围矩形法确定像素点面积较小的标记点的包围矩形，根据包围矩形与像素点面积较小的标记点之间相切像素的位置来重构像素点面积较小的标记点的圆心，将两个标记点圆心所在二维位置作为两个标记点的二维位置。
27.在本发明实施例中，还包括：确定与所述手部执行互动的互动道具；通过在所述互动道具上附着的道具标记对象，获取所述互动道具的道具空间位置及道具标签信息；利用所述道具空间位置以及道具标签信息，对与所述互动道具对应的基本道具姿态模型进行调整，生成当前道具姿态模型，以用于捕捉所述互动道具的运动。
28.在本发明实施例中，还包括：通过在所述互动道具上附着的道具标记对象，获取所述互动道具的道具空间位置及道具标签信息包括：从所述道具标记对象中按照预设选择方式选择第一道具标记对象；获取第一道具标记对象的空间位置并将第一道具标记对象的空间位置确定为所述道具空间位置；获取第一道具标记对象的道具标签信息并将第一道具标记对象的道具标签信息确定为所述道具标签信息。
29.(三)有益效果
30.与现有技术相比，本发明提供了一种基于视觉检测的手部动作捕捉方法，具备以下有益效果：
31.该一种基于视觉检测的手部动作捕捉方法，通过能够在不对第一标记对象进行约束的情况下仅利用第一标记对象的空间位置以及标签信息即可确定与手部对应的基准手部姿态模型，无需将第一标记对象限制在骨骼点上，使用起来更加灵活，能够更加灵活且方便地获取与手部对应的基准手部姿态模型。
具体实施方式
32.下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.一种基于视觉检测的手部动作捕捉方法，包括以下步骤：
34.s1：在手部的各个关节处均布置标记点，使用多台rgb相机同步采集布置有标记点的手部运动，获得初始帧的多张手部原始图像；
35.s2：选择当前帧的一张手部原始图像，接着对当前手部原始图像进行yuv色域转换，获得对应的v色域手部图像，根据标记点阈值对当前v色域手部图像进行二值化，获得对应的手部标记点图像，接着利用轮廓跟踪算法提取手部标记点图像的标记点轮廓，获得对应的标记点轮廓图；根据标记点轮廓图，使用最小包围圆法提取各个标记点在当前手部原始图像上的二维位置；
36.s3：对s2中的v色域手部图像进行手部各个关节的确定，获得当前手部原始图像的各个关节名称和关节二维位置；
37.s4：采用匈牙利算法将各个标记点在当前手部标记点图像上的二维位置和还原后的裸手图像中各个关节二维位置进行位置匹配，获得当前手部原始图像下各个标记点所属的关节名称和标记点二维位置；
38.s5：确定附着在手部的第一标记对象的空间位置以及第一标记对象位于手部的部位的标签信息；利用第一标记对象的空间位置以及标签信息对初始手部姿态模型进行调整，生成与手部对应的基准手部姿态模型；
39.s6：通过使手部做出特定手部动作，设置初始手部姿态模型中的手部动作参数，在手部动作参数确定的情况下，获取第一标记对象在手部做出特定手部动作的情况下的空间位置以及标签信息；
40.s7：利用手部动作参数、空间位置以及标签信息，对初始手部姿态模型的形状参数进行调整，生成与手部对应的基准手部姿态模型；
41.s8：确定第一标记对象在手部的分布情况；在预先设置的手部动作库中选择满足分布情况的至少一个手部动作；在确定至少一个手部动作不存在有歧义的手部动作的情况下，利用至少一个手部动作确定为先验手部动作；利用先验手部动作建立先验手部动作模型；
42.s9：响应于手部所做出的当前手部动作，获取第一标记对象的当前空间位置以及当前标签信息；利用当前空间位置、当前标签信息以及与先验手部动作对应的先验手部动作模型对基准手部姿态模型进行调整，获取手部的当前手部姿态模型，以用于捕捉手部的当前手部动作。
43.在本发明实施例中，手部的动作过程分为开始、稳定、结束三个阶段，当处于稳定阶段时手是保持不变的，而在开始和结束阶段都有手的运动。
44.在本发明实施例中，s1中，手部的各个关节包括各根手指从手指根部到指尖方向依次排布的第一指间关节、第二指间关节和第三指间关节以及腕关节，其中手部的食指、中指、无名指和小指之间的相邻关节的标记点颜色不同。
45.在本发明实施例中，s3具体为：
46.k1：根据手部阈值对s2中的v色域手部图像进行二值化，获得除标记点外的手部图像，利用轮廓跟踪算法提取除标记点外的手部图像的手部轮廓，获得初始手部轮廓图；
47.k2：根据s中的标记点轮廓图和初始手部轮廓图，获得去除标记点的手部轮廓图，再利用曲线拟合法对去除标记点的手部轮廓图进行轮廓拟合，获得手部轮廓还原图；采用轮廓内部填充算法对手部轮廓还原图进行区域处理，获得手部区域图，将手部区域图与对应的手部标记点图像进行像素值相乘，获得待填补的标记点区域；
48.k3：基于当前手部原始图像，利用基于扩散的图像还原算法填补待填补的标记点区域的手部纹理颜色，获得还原后的裸手图像；
49.k4：利用深度学习算法提取还原后的裸手图像中各个关节名称和关节二维位置，即当前手部原始图像的各个关节名称和关节二维位置。
50.在本发明实施例中，s2中还对轮廓跟踪算法提取获得的标记点轮廓图进行去噪，具体为：先利用douglas-peuker算法对轮廓跟踪算法提取获得的标记点轮廓图中的各个标记点区域进行筛选，获得筛选出的标记点区域；然后，再计算筛选出的标记点区域覆盖的像素面积，选择像素面积大于面积阈值筛选出的标记点区域并记为有效标记点区域，由此获得去噪后的标记点轮廓图，将去噪后的标记点轮廓图作为最终的标记点轮廓图。
51.在本发明实施例中，s2中，使用最小包围圆法计算标记点轮廓图中各个标记点区域对应的包围圆的圆心与半径，根据各个包围圆的圆心与半径计算对应标记点区域的最小
包围圆面积acircle，根据标记点区域的最小包围圆面积acircle，判断各个标记点区域为独立标记点还是重叠标记点，当为独立标记点时，则将当前独立标记点对应包围圆的圆心所在二维位置作为当前标记点的二维位置；当为重叠标记点时，根据标记点颜色将重叠标记点进行分离，获得两个标记点，接着利用最小包围圆法确定像素点面积较大的标记点的圆心；同时利用最小包围矩形法确定像素点面积较小的标记点的包围矩形，根据包围矩形与像素点面积较小的标记点之间相切像素的位置来重构像素点面积较小的标记点的圆心，将两个标记点圆心所在二维位置作为两个标记点的二维位置。
52.在本发明实施例中，还包括：确定与手部执行互动的互动道具；通过在互动道具上附着的道具标记对象，获取互动道具的道具空间位置及道具标签信息；利用道具空间位置以及道具标签信息，对与互动道具对应的基本道具姿态模型进行调整，生成当前道具姿态模型，以用于捕捉互动道具的运动。
53.在本发明实施例中，还包括：通过在互动道具上附着的道具标记对象，获取互动道具的道具空间位置及道具标签信息包括：从道具标记对象中按照预设选择方式选择第一道具标记对象；获取第一道具标记对象的空间位置并将第一道具标记对象的空间位置确定为道具空间位置；获取第一道具标记对象的道具标签信息并将第一道具标记对象的道具标签信息确定为道具标签信息。
54.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种基于视觉检测的手部动作捕捉方法，其特征在于，包括以下步骤：s1：在手部的各个关节处均布置标记点，使用多台rgb相机同步采集布置有标记点的手部运动，获得初始帧的多张手部原始图像；s2：选择当前帧的一张手部原始图像，接着对当前手部原始图像进行yuv色域转换，获得对应的v色域手部图像，根据标记点阈值对当前v色域手部图像进行二值化，获得对应的手部标记点图像，接着利用轮廓跟踪算法提取手部标记点图像的标记点轮廓，获得对应的标记点轮廓图；根据标记点轮廓图，使用最小包围圆法提取各个标记点在当前手部原始图像上的二维位置；s3：对s2中的v色域手部图像进行手部各个关节的确定，获得当前手部原始图像的各个关节名称和关节二维位置；s4：采用匈牙利算法将各个标记点在当前手部标记点图像上的二维位置和还原后的裸手图像中各个关节二维位置进行位置匹配，获得当前手部原始图像下各个标记点所属的关节名称和标记点二维位置；s5：确定附着在手部的第一标记对象的空间位置以及第一标记对象位于手部的部位的标签信息；利用第一标记对象的空间位置以及标签信息对初始手部姿态模型进行调整，生成与手部对应的基准手部姿态模型；s6：通过使手部做出特定手部动作，设置初始手部姿态模型中的手部动作参数，在手部动作参数确定的情况下，获取第一标记对象在手部做出特定手部动作的情况下的空间位置以及标签信息；s7：利用手部动作参数、空间位置以及标签信息，对初始手部姿态模型的形状参数进行调整，生成与手部对应的基准手部姿态模型；s8：确定第一标记对象在手部的分布情况；在预先设置的手部动作库中选择满足分布情况的至少一个手部动作；在确定至少一个手部动作不存在有歧义的手部动作的情况下，利用至少一个手部动作确定为先验手部动作；利用先验手部动作建立先验手部动作模型；s9：响应于手部所做出的当前手部动作，获取第一标记对象的当前空间位置以及当前标签信息；利用当前空间位置、当前标签信息以及与先验手部动作对应的先验手部动作模型对基准手部姿态模型进行调整，获取手部的当前手部姿态模型，以用于捕捉手部的当前手部动作。2.根据权利要求1所述的一种基于视觉检测的手部动作捕捉方法，其特征在于，所述手部的动作过程分为开始、稳定、结束三个阶段，当处于稳定阶段时手是保持不变的，而在开始和结束阶段都有手的运动。3.根据权利要求1所述的一种基于视觉检测的手部动作捕捉方法，其特征在于，所述s1中，手部的各个关节包括各根手指从手指根部到指尖方向依次排布的第一指间关节、第二指间关节和第三指间关节以及腕关节，其中手部的食指、中指、无名指和小指之间的相邻关节的标记点颜色不同。4.根据权利要求1所述的一种基于视觉检测的手部动作捕捉方法，其特征在于，所述s3具体为：k1：根据手部阈值对s2中的v色域手部图像进行二值化，获得除标记点外的手部图像，利用轮廓跟踪算法提取除标记点外的手部图像的手部轮廓，获得初始手部轮廓图；
k2：根据s中的标记点轮廓图和初始手部轮廓图，获得去除标记点的手部轮廓图，再利用曲线拟合法对去除标记点的手部轮廓图进行轮廓拟合，获得手部轮廓还原图；采用轮廓内部填充算法对手部轮廓还原图进行区域处理，获得手部区域图，将手部区域图与对应的手部标记点图像进行像素值相乘，获得待填补的标记点区域；k3：基于当前手部原始图像，利用基于扩散的图像还原算法填补待填补的标记点区域的手部纹理颜色，获得还原后的裸手图像；k4：利用深度学习算法提取还原后的裸手图像中各个关节名称和关节二维位置，即当前手部原始图像的各个关节名称和关节二维位置。5.根据权利要求1所述的一种基于视觉检测的手部动作捕捉方法，其特征在于，所述s2中还对轮廓跟踪算法提取获得的标记点轮廓图进行去噪，具体为：先利用douglas-peuker算法对轮廓跟踪算法提取获得的标记点轮廓图中的各个标记点区域进行筛选，获得筛选出的标记点区域；然后，再计算筛选出的标记点区域覆盖的像素面积，选择像素面积大于面积阈值筛选出的标记点区域并记为有效标记点区域，由此获得去噪后的标记点轮廓图，将去噪后的标记点轮廓图作为最终的标记点轮廓图。6.根据权利要求1所述的一种基于视觉检测的手部动作捕捉方法，其特征在于，所述s2中，使用最小包围圆法计算标记点轮廓图中各个标记点区域对应的包围圆的圆心与半径，根据各个包围圆的圆心与半径计算对应标记点区域的最小包围圆面积acircle，根据标记点区域的最小包围圆面积acircle，判断各个标记点区域为独立标记点还是重叠标记点，当为独立标记点时，则将当前独立标记点对应包围圆的圆心所在二维位置作为当前标记点的二维位置；当为重叠标记点时，根据标记点颜色将重叠标记点进行分离，获得两个标记点，接着利用最小包围圆法确定像素点面积较大的标记点的圆心；同时利用最小包围矩形法确定像素点面积较小的标记点的包围矩形，根据包围矩形与像素点面积较小的标记点之间相切像素的位置来重构像素点面积较小的标记点的圆心，将两个标记点圆心所在二维位置作为两个标记点的二维位置。7.根据权利要求1所述的一种基于视觉检测的手部动作捕捉方法，其特征在于，还包括：确定与所述手部执行互动的互动道具；通过在所述互动道具上附着的道具标记对象，获取所述互动道具的道具空间位置及道具标签信息；利用所述道具空间位置以及道具标签信息，对与所述互动道具对应的基本道具姿态模型进行调整，生成当前道具姿态模型，以用于捕捉所述互动道具的运动。8.根据权利要求1所述的一种基于视觉检测的手部动作捕捉方法，其特征在于，还包括：通过在所述互动道具上附着的道具标记对象，获取所述互动道具的道具空间位置及道具标签信息包括：从所述道具标记对象中按照预设选择方式选择第一道具标记对象；获取第一道具标记对象的空间位置并将第一道具标记对象的空间位置确定为所述道具空间位置；获取第一道具标记对象的道具标签信息并将第一道具标记对象的道具标签信息确定为所述道具标签信息。

技术总结
本发明公开了一种基于视觉检测的手部动作捕捉方法，包括以下步骤：S1：在手部的各个关节处均布置标记点，使用多台RGB相机同步采集布置有标记点的手部运动，获得初始帧的多张手部原始图像。通过能够在不对第一标记对象进行约束的情况下仅利用第一标记对象的空间位置以及标签信息即可确定与手部对应的基准手部姿态模型，无需将第一标记对象限制在骨骼点上，使用起来更加灵活，能够更加灵活且方便地获取与手部对应的基准手部姿态模型。获取与手部对应的基准手部姿态模型。


技术研发人员：池前程
受保护的技术使用者：武汉奥贝赛维数码科技有限公司
技术研发日：2023.05.09
技术公布日：2023/8/6