一种手势识别方法、装置、设备和介质与流程

一种手势识别方法、装置、设备和介质
1.本技术要求在2022年12月29日提交中国专利局、申请号为202211715130.4、申请名称为“一种手势识别方法、装置、设备和介质”的中国专利申请的优先权，其全部内容通过引用结合在本技术中。
技术领域
2.本技术涉及手势识别技术领域，尤其涉及一种手势识别方法、装置、设备和介质。


背景技术：

3.在冬天、高压电等工作环境下，工作人员需要戴手套进行工作，因此如何实现对戴手套的手势识别就成为亟待解决的技术问题。
4.现有的手势识别方法是实时采集施工人员的戴手套的手势动作作为样本，并制作手势动作视频序列；通过图卷积神经网络来提取视频序列中的手势动作特征；利用手势动作特征训练手势动作分类模型，获得训练好的手势动作分类模型；利用训练好的手势动作分类模型实时判断识别施工人员手势动作。
5.但是现有技术的技术方案中是只针对戴特定款式手套的手势才能成功识别出手势，而在戴其他款式的手套时，图卷积神经网络无法识别出手部区域并提取出手势动作特征，从而导致无法成功识别手势，因此现有技术中戴手套的手势识别方法的通用性较差。


技术实现要素：

6.本技术提供了一种手势识别方法、装置、设备和介质，用以解决现有技术中戴手套的手势识别方法的通用性较差的问题。
7.第一方面，本技术提供了一种手势识别方法，所述方法包括：
8.获取待识别图像中的手肘和手腕处的骨骼点的坐标；
9.根据所述骨骼点的坐标，预测得到最大手部预测框和最小手部预测框；根据预设种子点采用基于颜色的区域增长算法在所述待识别图像中进行图像分割，得到区域边缘位于所述最小手部预测框和所述最大手部预测框之间的每个分割候选区域；
10.根据所述每个分割候选区域的像素点集合，确定采用凸包检测的方法检测出手部轮廓区域，对所述待识别图像中所述手部轮廓区域的区域图像采用预设像素值进行肤色填充，并将肤色填充后的区域图像输入到预先保存的手势识别模型，得到输出的手势识别结果。
11.进一步地，所述根据所述骨骼点的坐标，预测得到最大手部预测框和最小手部预测框包括：
12.根据所述骨骼点的坐标，确定所述手肘和所述手腕之间的小臂长度，根据所述小臂长度确定最大手部预测框的第一边长，根据所述小臂长度与预设数值的比值确定最小手部预测框的第二边长；
13.根据所述骨骼点的坐标、所述小臂长度以及角度值确定函数，确定垂直于摄像头
所在平面的法线、与所述手肘向所述手腕的延长线的夹角的角度值，根据所述角度值的正弦函数值、所述第一边长以及所述第二边长，确定所述正弦函数值与所述第一边长的第一乘积值的一半值、以及所述正弦函数值与所述第二边长的第二乘积值的一半值；
14.根据所述手肘向所述手腕的延长线，确定中心位于所述延长线且距中心距所述手腕的距离为所述第一乘积值的一半值，边长为第一边长的正方形区域为所述最大手部预测框、以及中心位于所述延长线且距所述手腕的距离为所述第二乘积值的一半值，边长为第二边长的正方形区域为所述最小手部预测框。
15.进一步地，所述根据预设种子点采用基于颜色的区域增长算法在所述待识别图像中进行图像分割，得到区域边缘位于所述最小手部预测框和所述最大手部预测框之间的每个分割候选区域包括：
16.根据预设种子点的像素值、以及所述预设种子点的预设邻域范围的每个第一像素点的像素值，确定所述每个第一像素点中与所述预设种子点的颜色相似度大于预设颜色相似度阈值的目标第一像素点，将所述预设种子点和所述目标第一像素点保存在像素点集合中，将所述目标第一像素点作为下一轮区域生长的目标种子点，直到确定没有目标种子点则确定所述像素点集合中像素点组成的分割区域停止生长；
17.根据所述分割区域以及所述最小手部预测框，判断所述分割区域是否达到所述最小手部预测框的边缘；若所述分割区域未达到所述最小手部预测框的边缘，则确定所述手肘向所述手腕的延长线与所述分割区域的相交点的邻接点，将所述邻接点作为下一轮区域生长的目标种子点直到分割区域停止生长；
18.若所述分割区域达到所述最小手部预测框的边缘，则确定所述分割区域为分割候选区域，根据所述分割区域的最后一轮区域生长的目标种子点，确定最后一轮区域生长的目标种子点的预设邻域范围的每个第二像素点，将所述每个第二像素点中不位于所述分割候选区域的目标第二像素点作为下一分割候选区域生长的更新后的预设种子点，基于所述更新后的预设种子点进行区域生长得到下一分割候选区域，直到区域边缘达到所述最大手部预测框的边缘得到最后一个分割候选区域。
19.进一步地，所述确定所述分割区域为分割候选区域之后，所述根据所述分割区域的最后一轮区域生长的目标种子点，确定最后一轮区域生长的目标种子点的预设邻域范围的每个第二像素点之前，所述方法还包括：
20.若所述分割候选区域的像素点集合中的像素点数量小于预设数量阈值，则将所述分割候选区域的像素点集合与相邻的前一分割候选区域的像素点集合进行合并，确定出更新后的分割候选区域；和/或
21.若所述分割候选区域的像素点集合中像素点的第一平均像素值、与相邻的前一分割候选区域的像素点集合中像素点的第二平均像素值的差值小于预设像素值阈值，则确定所述分割候选区域与相邻的前一分割候选区域的颜色差异小，将所述分割候选区域的像素点集合与相邻的前一分割候选区域的像素点集合进行合并，确定出更新后的分割候选区域。
22.进一步地，所述根据所述每个分割候选区域的像素点集合，确定采用凸包检测的方法检测出手部轮廓区域包括：
23.针对所述每个分割候选区域，对该分割候选区域的像素点集合中的像素点进行凸
包检测，检测出每个凸顶点和每个凸包缺陷点；
24.针对所述每个凸包缺陷点，根据该凸包缺陷点以及相邻两侧的凸顶点，判断该凸包缺陷点的凸包缺陷深度是否满足握拳的第一预设缺陷深度条件、或手指伸开的第二预设缺陷深度条件，若所述每个凸包缺陷点的凸包缺陷深度均满足所述第一预设缺陷深度条件或所述第二预设缺陷深度条件，将该分割候选区域确定为手部轮廓区域。
25.进一步地，所述根据该凸包缺陷点以及相邻两侧的凸顶点，判断该凸包缺陷点的凸包缺陷深度是否满足握拳的第一预设缺陷深度条件包括：
26.若该凸包缺陷点与相邻两侧的凸顶点形成的，在该凸包缺陷点的第一夹角的第一角度值大于第一预设角度值阈值，则确定该凸包缺陷点的凸包缺陷深度小。
27.进一步地，所述根据该凸包缺陷点以及相邻两侧的凸顶点，判断该凸包缺陷点的凸包缺陷深度是否满足手指伸开的第二预设缺陷深度条件包括：
28.确定该凸包缺陷点与所述手腕的骨骼点的第一连线长度、以及该凸包缺陷点的相邻任一侧的凸顶点与所述手腕的骨骼点的第二连线长度，若所述第二连线长度与所述第一连线长度中的最小值位于预设数值范围、且所述手腕的骨骼点和该凸包缺陷点以及每一侧的凸顶点形成的，在所述手腕的骨骼点的每个第二夹角的第二角度值均小于第二预设角度值阈值、且所述第一连线长度和所述第二连线长度中的最小值与最大值的比值不大于预设数值阈值、且该凸包缺陷点分别与每一侧的凸顶点的两个连线长度中的最大值与最小值中的比值不小于所述预设数值阈值，则确定该凸包缺陷点的凸包缺陷深度满足手指伸开的第二预设缺陷深度条件。
29.第二方面，本技术提供了一种手势识别装置，所述装置包括：
30.获取模块，用于获取待识别图像中的手肘和手腕处的骨骼点的坐标；
31.确定模块，用于根据所述骨骼点的坐标，预测得到最大手部预测框和最小手部预测框；根据预设种子点采用基于颜色的区域增长算法在所述待识别图像中进行图像分割，得到区域边缘位于所述最小手部预测框和所述最大手部预测框之间的每个分割候选区域，根据所述每个分割候选区域的像素点集合，确定采用凸包检测的方法检测出手部轮廓区域；
32.识别模块，用于对所述待识别图像中所述手部轮廓区域的区域图像采用预设像素值进行肤色填充，并将肤色填充后的区域图像输入到预先保存的手势识别模型，得到输出的手势识别结果。
33.进一步地，所述确定模块，具体用于根据所述骨骼点的坐标，确定所述手肘和所述手腕之间的小臂长度，根据所述小臂长度确定最大手部预测框的第一边长，根据所述小臂长度与预设数值的比值确定最小手部预测框的第二边长；根据所述骨骼点的坐标、所述小臂长度以及角度值确定函数，确定垂直于摄像头所在平面的法线、与所述手肘向所述手腕的延长线的夹角的角度值，根据所述角度值的正弦函数值、所述第一边长以及所述第二边长，确定所述正弦函数值与所述第一边长的第一乘积值的一半值、以及所述正弦函数值与所述第二边长的第二乘积值的一半值；根据所述手肘向所述手腕的延长线，确定中心位于所述延长线且距中心距所述手腕的距离为所述第一乘积值的一半值，边长为第一边长的正方形区域为所述最大手部预测框、以及中心位于所述延长线且距所述手腕的距离为所述第二乘积值的一半值，边长为第二边长的正方形区域为所述最小手部预测框。
34.进一步地，所述确定模块，具体用于根据预设种子点的像素值、以及所述预设种子点的预设邻域范围的每个第一像素点的像素值，确定所述每个第一像素点中与所述预设种子点的颜色相似度大于预设颜色相似度阈值的目标第一像素点，将所述预设种子点和所述目标第一像素点保存在像素点集合中，将所述目标第一像素点作为下一轮区域生长的目标种子点，直到确定没有目标种子点则确定所述像素点集合中像素点组成的分割区域停止生长；
35.根据所述分割区域以及所述最小手部预测框，判断所述分割区域是否达到所述最小手部预测框的边缘；若所述分割区域未达到所述最小手部预测框的边缘，则确定所述手肘向所述手腕的延长线与所述分割区域的相交点的邻接点，将所述邻接点作为下一轮区域生长的目标种子点直到分割区域停止生长；
36.若所述分割区域达到所述最小手部预测框的边缘，则确定所述分割区域为分割候选区域，根据所述分割区域的最后一轮区域生长的目标种子点，确定最后一轮区域生长的目标种子点的预设邻域范围的每个第二像素点，将所述每个第二像素点中不位于所述分割候选区域的目标第二像素点作为下一分割候选区域生长的更新后的预设种子点，基于所述更新后的预设种子点进行区域生长得到下一分割候选区域，直到区域边缘达到所述最大手部预测框的边缘得到最后一个分割候选区域。
37.进一步地，所述确定模块，还用于所述确定所述分割区域为分割候选区域之后，所述根据所述分割区域的最后一轮区域生长的目标种子点，确定最后一轮区域生长的目标种子点的预设邻域范围的每个第二像素点之前，若所述分割候选区域的像素点集合中的像素点数量小于预设数量阈值，则将所述分割候选区域的像素点集合与相邻的前一分割候选区域的像素点集合进行合并，确定出更新后的分割候选区域；和/或若所述分割候选区域的像素点集合中像素点的第一平均像素值、与相邻的前一分割候选区域的像素点集合中像素点的第二平均像素值的差值小于预设像素值阈值，则确定所述分割候选区域与相邻的前一分割候选区域的颜色差异小，将所述分割候选区域的像素点集合与相邻的前一分割候选区域的像素点集合进行合并，确定出更新后的分割候选区域。
38.进一步地，所述确定模块，具体用于针对所述每个分割候选区域，对该分割候选区域的像素点集合中的像素点进行凸包检测，检测出每个凸顶点和每个凸包缺陷点；针对所述每个凸包缺陷点，根据该凸包缺陷点以及相邻两侧的凸顶点，判断该凸包缺陷点的凸包缺陷深度是否满足握拳的第一预设缺陷深度条件、或手指伸开的第二预设缺陷深度条件，若所述每个凸包缺陷点的凸包缺陷深度均满足所述第一预设缺陷深度条件或所述第二预设缺陷深度条件，将该分割候选区域确定为手部轮廓区域。
39.进一步地，所述确定模块，具体用于若该凸包缺陷点与相邻两侧的凸顶点形成的，在该凸包缺陷点的第一夹角的第一角度值大于第一预设角度值阈值，则确定该凸包缺陷点的凸包缺陷深度满足握拳的第一预设缺陷深度条件。
40.进一步地，所述确定模块，具体用于确定该凸包缺陷点与所述手腕的骨骼点的第一连线长度、以及该凸包缺陷点的相邻任一侧的凸顶点与所述手腕的骨骼点的第二连线长度，若所述第二连线长度与所述第一连线长度中的最小值位于预设数值范围、且所述手腕的骨骼点和该凸包缺陷点以及每一侧的凸顶点形成的，在所述手腕的骨骼点的每个第二夹角的第二角度值均小于第二预设角度值阈值、且所述第一连线长度和所述第二连线长度中
的最小值与最大值的比值不大于预设数值阈值、且该凸包缺陷点分别与每一侧的凸顶点的两个连线长度中的最大值与最小值中的比值不小于所述预设数值阈值，则确定该凸包缺陷点的凸包缺陷深度满足手指伸开的第二预设缺陷深度条件。
41.第三方面，本技术提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
42.所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器实现上述手势识别方法中任一所述方法的步骤。
43.第四方面，本技术提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述手势识别方法中任一所述方法的步骤。
44.本技术提供了一种手势识别方法、装置、设备和介质，由于本技术中获取待识别图像中的手肘和手腕处的骨骼点的坐标，根据骨骼点的坐标预测出最大手部预测框和最小手部预测框，用户戴的手套上有多种颜色，根据预设种子点通过采用基于颜色的区域增长算法，进行图像分割得到区域边缘位于所述最小手部预测框和所述最大手部预测框之间的每个分割候选区域，每一分割候选区域即为手套一种颜色的轮廓区域，通过凸包检测的方法确定出手套边缘的手部轮廓区域，可能是握拳状态，也可能是手指伸开状态，对手部轮廓区域的区域图像采用预设像素值进行肤色填充，去除手套颜色对于手势识别的影响，将肤色填充后的区域图像输入到预先保存的手势识别模型，得到输出的手势识别结果，从而实现在用户在戴不同手套时通用地识别出手势。
附图说明
45.为了更清楚地说明本技术中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
46.图1为本技术提供的一种手势识别方法的过程示意图；
47.图2为本技术提供的一种待识别图像的示意图；
48.图3为本技术提供的一种对待识别图像进行3d人体姿态估计算法处理后的示意图；
49.图4为本技术提供的一种手部示意图；
50.图5为本技术提供的一种在待识别图像中预测出手部预测框的示意图；
51.图6为本技术提供的一种凸包检测后的手部轮廓区域的示意图；
52.图7为本技术提供的一种肤色填充后的手部轮廓区域的区域图像的示意图；
53.图8为本技术提供的一种手部预测框的示意图；
54.图9为本发明实施例提供的一种最大手部预测框的示意图；
55.图10为本发明实施例提供的一种分割区域的示意图；
56.图11为本技术提供的一种分割区域未达到最小手部预测框的边缘时，手肘向手腕的延长线与分割区域的相交点的邻接点的示意图；
57.图12为本技术提供的一种手部轮廓区域的示意图；
58.图13为本技术提供的一种确定手部轮廓区域的示意图；
59.图14为本技术提供的一种手势识别装置的结构示意图；
60.图15为本技术提供的一种电子设备结构示意图。
具体实施方式
61.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
62.为了提高戴手套的手势识别方法的通用性，本技术提供了一种手势识别方法、装置、设备和介质。
63.图1为本技术提供的一种手势识别方法的过程示意图，该过程包括以下步骤：
64.s101：获取待识别图像中的手肘和手腕处的骨骼点的坐标。
65.为了提高戴手套的手势识别方法的通用性，本技术公开的一种手势识别方法应用于电子设备，其中该电子设备可以是主机、平板电脑、笔记本电脑、智能手机等智能终端设备，也可以是服务器，其中该服务器可以是本地服务器，也可以是云端服务器，本发明实施例对此不做限制。
66.该电子设备获取待识别图像，具体可以是该电子设备自身的图像采集装置采集待识别图像，也可以是接收与该电子设备连接的其他电子设备发送的，其中图像采集装置可以是rgb摄像头，待识别图像即为彩色图像，图像采集装置也可以是红外摄像头，待识别图像即为黑白图像。图2为本技术提供的一种待识别图像的示意图，如图2所示，待识别图像中的用户戴的黑色手套。
67.对获取到的待识别图像进行识别确定出手肘和手腕处的骨骼点的坐标，具体是通过3d人体姿态估计算法从待识别图像中估计出每个关节点的三维坐标(x,y,z)，从每个关节点的三维坐标中确定出手肘和手腕处的骨骼点的坐标，手肘处包括左手肘和右手肘，手腕包括左手腕和右手腕。
68.其中，3d人体姿态估计本质上是一个回归问题，是一项通过分析2d图像中人体的运动特征，将其转化成在相应3d空间下的人体运动情况的任务，在完成2d人体姿态估计后引入人体运动力学先验知识，设计了带人体参数约束函数项，并利用连续帧间骨骼点运动的连续性进行3d人体姿态估计，例如3d人体姿态估计算法可以是videopose3d。
69.图3为本技术提供的一种对待识别图像进行3d人体姿态估计算法处理后的示意图，如图3所示，识别出的关节点包括手腕、手肘、肩膀、胯部。
70.s102：根据所述骨骼点的坐标，预测得到最大手部预测框和最小手部预测框；根据预设种子点采用基于颜色的区域增长算法在所述待识别图像中进行图像分割，得到区域边缘位于所述最小手部预测框和所述最大手部预测框之间的每个分割候选区域。
71.该电子设备根据骨骼点的坐标，进行手部区域的预测，由于手腕可以做旋后/旋前、屈曲/伸展、和外展/内收，共计由三个自由度的倾覆节距和挠度，手部自由度是手腕的固有属性，基于该手部自由度，根据小臂长度和小臂的方向，能够预测出手部预测框(hroi)。
72.图4为本技术提供的一种手部示意图，如图4所示，当小臂朝向与摄像头的角度不
同时，由于手部自由度的限制，手部的区域会有不同的表现，但在确定待识别图像中的手部预测框时，待识别图像中的手部均位于小臂的延长线上。
73.其中，手部预测框包括最大手部预测框(hroi
max
)和最小手部预测框(hroi
min
)，最大手部预测框是为了对接下来的基于颜色的区域增长算法的范围具有指导作用，由于一般的时尚手套会倾向于在手套背部制作好看的图案，最小手部预测框是为了防止手套背部的图案影响分割候选区域的选择。
74.图5为本技术提供的一种在待识别图像中预测出手部预测框的示意图，如图5所示，图5中用户的左手处存在两个框，大框即为最大手部预测框，小框即为最小手部预测框。
75.该电子设备在预测得到最大手部预测框和最小手部预测框后，根据预设种子点，采用基于颜色的区域增长算法在待识别图像中进行图像分割，得到每个出每种颜色的分割候选区域，并根据每个分割候选区域的区域边缘的像素点的坐标，确定出区域边缘的像素点的坐标全部未达到最小手部预测框的边缘、以及区域边缘的任一像素点的坐标达到最大手部预测框的边缘的分割候选区域删除，剩余区域边缘位于最小手部预测框和最大手部预测框之间的每个分割候选区域。
76.s103：根据所述每个分割候选区域的像素点集合，确定采用凸包检测的方法检测出手部轮廓区域，对所述待识别图像中所述手部轮廓区域的区域图像采用预设像素值进行肤色填充，并将肤色填充后的区域图像输入到预先保存的手势识别模型，得到输出的手势识别结果。
77.根据确定出的每个分割候选区域的像素点集合，该电子设备采用凸包检测的方法对每个分割候选区域的像素点集合进行检测，检测出符合预设条件的手部分割区域为手部轮廓区域。
78.图6为本技术提供的一种凸包检测后的手部轮廓区域的示意图，图6中的每个圆点即为凸包检测出的顶点。
79.由于手部轮廓区域的色彩是手套的颜色，手套的颜色会影响手势识别的准确率，为了去除手套颜色对手势识别的影响，该电子设备对待识别图像中手部轮廓区域的区域图像采用预设像素值进行肤色填充，其中预设像素值为皮肤的肤色的像素值，得到肤色填充后的区域图像。
80.图7为本技术提供的一种肤色填充后的手部轮廓区域的区域图像的示意图，如图7所示，肤色填充后的手部轮廓区域相当于未戴手套的手部区域。
81.将肤色填充后的区域图像输入到预先保存的手势识别模型，得到输出的手势识别结果，其中手势识别模型可以预先训练完成用于识别不戴手套的手势的模型，也可以是现有的手势识别的模型，手势识别模型可以是神经网络模型，也可以是生成器判别器网络模型，本技术对此不做限制。
82.由于在本技术中，获取待识别图像中的手肘和手腕处的骨骼点的坐标，根据骨骼点的坐标预测出最大手部预测框和最小手部预测框，用户戴的手套上有多种颜色，根据预设种子点通过采用基于颜色的区域增长算法，进行图像分割得到区域边缘位于所述最小手部预测框和所述最大手部预测框之间的每个分割候选区域，每一分割候选区域即为手套一种颜色的轮廓区域，通过凸包检测的方法确定出手套边缘的手部轮廓区域，可能是握拳状态，也可能是手指伸开状态，对手部轮廓区域的区域图像采用预设像素值进行肤色填充，去
除手套颜色对于手势识别的影响，将肤色填充后的区域图像输入到预先保存的手势识别模型，得到输出的手势识别结果，从而实现在用户在戴不同手套时通用地识别出手势。
83.为了预测得到手部预测框，在上述实施例的基础上，在本技术中，所述根据所述骨骼点的坐标，预测得到最大手部预测框和最小手部预测框包括：
84.根据所述骨骼点的坐标，确定所述手肘和所述手腕之间的小臂长度，根据所述小臂长度确定最大手部预测框的第一边长，根据所述小臂长度与预设数值的比值确定最小手部预测框的第二边长；
85.根据所述骨骼点的坐标、所述小臂长度以及角度值确定函数，确定垂直于摄像头所在平面的法线、与所述手肘向所述手腕的延长线的夹角的角度值，根据所述角度值的正弦函数值、所述第一边长以及所述第二边长，确定所述正弦函数值与所述第一边长的第一乘积值的一半值、以及所述正弦函数值与所述第二边长的第二乘积值的一半值；
86.根据所述手肘向所述手腕的延长线，确定中心位于所述延长线且距中心距所述手腕的距离为所述第一乘积值的一半值，边长为第一边长的正方形区域为所述最大手部预测框、以及中心位于所述延长线且距所述手腕的距离为所述第二乘积值的一半值，边长为第二边长的正方形区域为所述最小手部预测框。
87.为了预测得到手部预测框，该电子设备根据手肘和手腕的骨骼点的坐标，确定出手肘和手腕之间的小臂长度，例如手肘的骨骼点的坐标为(x
elbow
，y
elbow
，z
elbow
)，手腕的骨骼点的坐标为(x
wrist
，y
wrist
，z
wrist
)，确定小臂长度l。
88.其中
89.根据确定出的小臂长度，该电子设备将小臂长度确定为最大手部预测框的第一边长，即l
max
＝l；根据小臂长度以及预设数值，确定出小臂长度与预设数值的比值，其中预设数值不小于2，例如可以是2、3、4等数值，将比值确定为最小手部预测框的第二边长，例如l
min
＝l/3。
90.为了确定出最小手部预测框和最大手部预测框，该电子设备根据手肘和手腕的骨骼点的坐标、小臂长度以及角度值确定函数确定垂直于摄像头所在平面的法线、与手肘向手腕的延长线的夹角的角度值；具体是根据手肘和手腕的骨骼点的深度方向的坐标值的差值绝对值，确定差值绝对值与小臂长度的比值，并对比值进行反余弦函数的计算得到角度值，该角度值即为垂直于摄像头所在平面的法线、与手肘向手腕的延长线的夹角的角度值。
91.由于手部自由度限制，人体的手部不可能活动到手肘和手腕之间，但由于摄像机和胳膊的相对角度不同，在二维画面中成像时有可能手部预测框的中心落在手腕与手肘之间的位置，所以手部预测框的中心的位置受小臂的角度影响，要在小臂连线延长线上增加sina*l/2的距离；其中确定最大手部预测框的中心距手腕的距离时，l取值为l
max
，确定最小手部预测框的中心距手腕的距离时，l取值为l
min
。∠a通常在[0
°
,90
°
]范围内。
[0092]
根据该角度值的正弦函数值、第一边长以及第二边长，确定正弦函数值与第一边长的第一乘积值的一半值，第一乘积值的一半值即为最大手部预测框的中心距手腕的距离，并确定正弦函数值与第二边长的第二乘积值的一半值，第二乘积值的一半值即为最小手部预测框的中心距手腕的距离。
[0093]
根据手肘向手腕的延长线，确定中心位于延长线上且中心距离手腕的距离为第一乘积值的一半值，边长为第一边长的正方形区域，将其确定为最大手部预测框，并确定中心位于延长线上且中心距离手腕的距离为第二乘积值的一半值，边长为第二边长的正方形区域，将其确定为最小手部预测框。
[0094]
图8为本技术提供的一种手部预测框的示意图，如图8所示，手肘的坐标为(x
elbow
，y
elbow
)，手腕的坐标为(x
wrist
，y
wrist
)，手肘和手腕之间的小臂长度为l，当∠a为90
°
时，右(图3中的左右)侧的大框为最大手部预测框，小框为最小手部预测框，大框中心的圆点即为最大手部预测框的中心点，小框中心的圆点即为最小手部预测框的中心点。
[0095]
为了确定出每个分割候选区域，在上述各实施例的基础上，在本技术中，所述根据预设种子点采用基于颜色的区域增长算法在所述待识别图像中进行图像分割，得到区域边缘位于所述最小手部预测框和所述最大手部预测框之间的每个分割候选区域包括：
[0096]
根据预设种子点的像素值、以及所述预设种子点的预设邻域范围的每个第一像素点的像素值，确定所述每个第一像素点中与所述预设种子点的颜色相似度大于预设颜色相似度阈值的目标第一像素点，将所述预设种子点和所述目标第一像素点保存在像素点集合中，将所述目标第一像素点作为下一轮区域生长的目标种子点，直到确定没有目标种子点则确定所述像素点集合中像素点组成的分割区域停止生长；
[0097]
根据所述分割区域、以及所述最小手部预测框，若所述分割区域未达到所述最小手部预测框的边缘，则确定所述手肘向所述手腕的延长线与所述分割区域的相交点的邻接点，将所述邻接点作为下一轮区域生长的目标种子点直到分割区域停止生长；
[0098]
若所述分割区域达到所述最小手部预测框的边缘，则确定所述分割区域为分割候选区域，根据所述分割区域的最后一轮区域生长的目标种子点，确定最后一轮区域生长的目标种子点的预设邻域范围的每个第二像素点，将所述每个第二像素点中不位于所述分割候选区域的目标第二像素点作为下一分割候选区域生长的更新后的预设种子点，基于所述更新后的预设种子点进行区域生长得到下一分割候选区域，直到区域边缘达到所述最大手部预测框的边缘得到最后一个分割候选区域。
[0099]
为了确定出每个分割候选区域，该电子设备保存有预设种子点的坐标，其中预设种子点是用户预先设置的，例如预设种子点可以是手腕的骨骼点，也可以是手腕附近的骨骼点，图9为本发明实施例提供的一种最大手部预测框的示意图，如图9所示，图9中左(图中的左右)边框线中手腕所在区域的线段中任一点均可以是预设种子点。
[0100]
该电子设备首先从预设种子点开始进行基于颜色的区域增长，具体是根据预设种子点的像素值、以及预设种子点的预设邻域范围的每个第一像素点的像素值，其中预设邻域范围可以是四邻域范围，也可以是八邻域范围，将预设种子点与预设邻域范围的每个第一像素点进行颜色相似度比较，确定每个第一像素点与预设种子点的颜色相似度。
[0101]
为了实现基于颜色的区域增长，该电子设备还保存有预设颜色相似度阈值，其中预设颜色相似度阈值可以是用户预先设置的，若希望提高确定的分割候选区域的准确度，则可以将预设颜色相似度阈值设置地较小一些，若希望提高确定分割候选区域的效率，则可以将预设颜色相似度阈值设置地较大一些。
[0102]
根据预设颜色相似度阈值、以及每个第一像素点与预设种子点的颜色相似度，确定颜色相似度大于预设颜色相似度阈值的第一像素点为目标第一像素点，并将目标第一像
素点与预设种子点保存在像素点集合中，具体可以是保存像素点的编号，也可以是保存像素点的坐标。
[0103]
该电子设备将目标第一像素点作为下一轮区域生长的目标种子点，并基于目标种子点进行区域生长，确定目标种子点的预设邻域范围的每个第一像素点中，从每个第一像素点中确定出与目标种子点的颜色相似度大于预设颜色相似度阈值的目标第一像素点，将其保存到像素点集合中并确定为新的目标种子点，直到确定没有目标种子点则确定像素点集合中像素点组成的分割区域停止生长。
[0104]
图10为本发明实施例提供的一种分割区域的示意图，如图10所示，以手腕的骨骼点作为预设种子点，预设种子点为黑色，基于黑色进行区域增长后确定的每个黑色像素点组成分割区域。
[0105]
根据确定出的分割区域，以及最小手部预测框，该电子设备判断分割区域是否达到最小手部预测框的边缘，具体可以是确定出手腕的骨骼点与分割区域的区域边缘的最远像素点的连线，判断该连线是否经过最小手部预测框的任一框线，若是则确定分割区域达到最小手部预测框的边缘，若否则确定分割区域未达到最小手部预测框的边缘。
[0106]
若分割区域未达到最小手部预测框的边缘时，则继续进行像素点集合中像素点组成的分割区域的区域生长，确定手肘向手腕的延长线与分割区域的相交点的邻接点，其中该邻接点位于分割区域的区域外，并将邻接点作为下一轮区域生长的目标种子点，基于目标种子点继续进行区域生长，直到例如确定没有新的目标种子点等时，则确定像素点集合中像素点组成的分割区域停止生长；若分割区域达到最小手部预测框的边缘，则将分割区域确定为分割候选区域。
[0107]
图11为本技术提供的一种分割区域未达到最小手部预测框的边缘时，手肘向手腕的延长线与分割区域的相交点的邻接点的示意图，如图11所示，图11中的斜直线为手肘向手腕的延长线，位于图11的小框中的轮廓线形成的区域为分割区域，延长线与分割区域的交点在延长线方向还临接有一个圆点，该圆点即为手肘向手腕的延长线与分割区域的相交点的邻接点。
[0108]
根据分割区域的最后一轮区域生长的目标种子点，该电子设备确定出目标种子点的预设邻域范围的每个第二像素点，根据每个第二像素点的坐标，确定出每个第二像素点中不位于分割候选区域的目标第二像素点，将目标第二像素点作为下一分割候选区域进行区域生长的更新后的预设种子点，并基于更新后的预设种子点，采用上述相同的区域生长的方法得到下一分割候选区域，直到得到某一分割候选区域的区域边缘达到最大手部预测框的边缘，确定其为最后一个分割候选区域。
[0109]
为了更准确地确定出每个分割候选区域，在上述各实施例的基础上，在本技术中，所述确定所述分割区域为分割候选区域之后，所述根据所述分割区域的最后一轮区域生长的目标种子点，确定最后一轮区域生长的目标种子点的预设邻域范围的每个第二像素点之前，所述方法还包括：
[0110]
若所述分割候选区域的像素点集合中的像素点数量小于预设数量阈值，则将所述分割候选区域的像素点集合与相邻的前一分割候选区域的像素点集合进行合并，确定出更新后的分割候选区域；和/或，
[0111]
若所述分割候选区域的像素点集合中像素点的第一平均像素值、与相邻的前一分
割候选区域的像素点集合中像素点的第二平均像素值的差值小于预设像素值阈值，则确定所述分割候选区域与相邻的前一分割候选区域的颜色差异小，将所述分割候选区域的像素点集合与相邻的前一分割候选区域的像素点集合进行合并，确定出更新后的分割候选区域。
[0112]
该电子设备确定分割区域为分割候选区域之后，为了提高确定的分割候选区域的准确度，该电子设备进行分割候选区域的合并，具体包括两种方法，第一种方法是分割候选区域的像素点集合中像素点较少时与相邻前一分割候选区域合并，第二种方法是颜色差异较小的两个分割候选区域合并。
[0113]
在第一种方法中，该电子设备预先保存有预设数量阈值，其中预设数量阈值是用户预先设置的，若希望提高确定分割候选区域的准确度，则可以将预设数量阈值设置地较小一些，若希望在保证分割候选区域的准确度的同时提高手部轮廓区域确定的效率，则可以将预设数量阈值设置地较大一些，例如该预设数量阈值为l/20，其中l表示小臂长度，l的单位可以为像素。
[0114]
根据分割候选区域的像素点集合中的像素点数量、以及预设数量阈值，判断像素点数量是否小于预设数量阈值，若确定像素点数量小于预设数量阈值，则将分割候选区域的像素点集合、以及相邻的前一分割候选区域的像素点集合进行合并，得到合并后的像素点集合中的像素点组成的更新后的分割候选区域；若确定像素点数量不小于预设数量阈值，则不对该分割候选区域进行任何处理。
[0115]
在第二种方法中，该电子设备根据分割候选区域的像素点集合中像素点的第一平均像素值、以及相邻的前一分割候选区域的像素点集合中像素点的第二平均像素值，确定第一平均像素值与第二平均像素值的差值。
[0116]
为了合并具有接近颜色的像素点集合，该电子设备还预先保存有预设像素值阈值，若希望提高确定分割候选区域的准确度，则可以将预设像素值阈值设置地较小一些，若希望在保证分割候选区域的准确度的同时提高手部轮廓区域确定的效率，则可以将预设数量阈值设置地较大一些。
[0117]
若差值小于预设像素值阈值，则确定分割候选区域与相邻的前一分割候选区域的颜色差异小，则将分割候选区域的像素点集合、以及相邻的前一分割候选区域的像素点集合进行合并，得到合并后的像素点集合中的像素点组成的更新后的分割候选区域；若差值不小于预设像素值阈值，则不对该分割候选区域进行任何处理。
[0118]
该电子设备可以仅实施第一种方法或第二种方法的步骤，也可以实施第一种方法和第二种方法的步骤，具体可以是在第一种方法实施后再实施第二种方法，也可以是在第二种方法实施后再实施第一种方法，也可以同时实施第一种方法和第二种方法，从而得到更新后的分割候选区域，本技术对第一种方法和第二种方法的执行顺序不作具体限定，可以根据需求灵活设置。
[0119]
为了确定出手部轮廓区域，在上述各实施例的基础上，在本技术中，所述根据所述每个分割候选区域的像素点集合，确定采用凸包检测的方法检测出手部轮廓区域包括：
[0120]
针对所述每个分割候选区域，对该分割候选区域的像素点集合中的像素点进行凸包检测，检测出每个凸顶点和每个凸包缺陷点；
[0121]
针对所述每个凸包缺陷点，根据该凸包缺陷点以及相邻两侧的凸顶点，判断该凸
包缺陷点的凸包缺陷深度是否满足握拳的第一预设缺陷深度条件、或手指伸开的第二预设缺陷深度条件，若所述每个凸包缺陷点的凸包缺陷深度均满足所述第一预设缺陷深度条件或所述第二预设缺陷深度条件，将该分割候选区域确定为手部轮廓区域。
[0122]
为了检测出手部轮廓区域，该电子设备针对每个分割候选区域，对该分割候选区域的像素点集合中的像素点进行凸包检测，检测出每个凸顶点和每个凸包缺陷点。
[0123]
针对每个凸包缺陷点，根据该凸包缺陷点以及相邻两侧的凸顶点，该电子设备确定出该凸包缺陷点的凸包缺陷深度是否满足握拳的第一预设缺陷深度条件，或者是判断该凸包缺陷点的凸包缺陷深度是否满足手指伸开的第一预设缺陷深度条件。
[0124]
若每个凸包缺陷点的凸包缺陷深度均满足第一预设缺陷深度条件，则确定该分割候选区域为手部轮廓区域；若每个凸包缺陷点的凸包缺陷深度均满足第二预设缺陷深度条件，则确定该分割候选区域为手部轮廓区域；图12为本技术提供的一种手部轮廓区域的示意图，图12中的分割候选区域的边缘形成手部轮廓。
[0125]
为了确定凸包缺陷点的凸包缺陷深度是否满足握拳的第一预设缺陷深度条件，在本发明实施例中，所述根据该凸包缺陷点以及相邻两侧的凸顶点，判断该凸包缺陷点的凸包缺陷深度是否满足握拳的第一预设缺陷深度条件包括：
[0126]
若该凸包缺陷点与相邻两侧的凸顶点形成的，在该凸包缺陷点的第一夹角的第一角度值大于第一预设角度值阈值，则确定该凸包缺陷点的凸包缺陷深度满足握拳的第一预设缺陷深度条件。
[0127]
该凸包缺陷点与相邻两侧的凸顶点相连的两条边，作为在该凸包缺陷点的第一夹角的两个边，形成在该凸包缺陷点的第一夹角，若第一夹角的第一角度值大于第一预设角度值阈值，则确定该凸包缺陷点的凸包缺陷深度小，其中第一预设角度值阈值可以是150度、121度、125度等数值，本技术对比不做限制。
[0128]
该电子设备在对每个凸包缺陷点均进行比较后，若确定出每个凸包缺陷点的凸包缺陷深度均小，则确定检测出的顶点满足的握拳的第一预设缺陷深度条件，将该分割候选区域确定为手部轮廓区域。
[0129]
例如该电子设备将凸包缺陷点确定为b点，将凸包缺陷点相邻两侧的凸顶点分别确定为a点和d点，确定出在b点的第一夹角∠abd大于120度，则确定凸包缺陷点的凸包缺陷深度满足握拳的第一预设缺陷深度条件。
[0130]
为了确定凸包缺陷点的凸包缺陷深度是否满足握拳的第二预设缺陷深度条件，在本发明实施例中，所述根据该凸包缺陷点以及相邻两侧的凸顶点，判断该凸包缺陷点的凸包缺陷深度是否满足手指伸开的第二预设缺陷深度条件包括：
[0131]
确定该凸包缺陷点与所述手腕的骨骼点的第一连线长度、以及该凸包缺陷点的相邻任一侧的凸顶点与所述手腕的骨骼点的第二连线长度，若所述第二连线长度与所述第一连线长度中的最小值位于预设数值范围、且所述手腕的骨骼点和该凸包缺陷点以及每一侧的凸顶点形成的，在所述手腕的骨骼点的每个第二夹角的第二角度值均小于第二预设角度值阈值、且所述第一连线长度和所述第二连线长度中的最小值与最大值的比值不大于预设数值阈值、且该凸包缺陷点分别与每一侧的凸顶点的两个连线长度中的最大值与最小值中的比值不小于所述预设数值阈值，则确定该凸包缺陷点的凸包缺陷深度满足手指伸开的第二预设缺陷深度条件。
[0132]
针对每个凸包缺陷点，确定该凸包缺陷点的凸包缺陷深度是否满足第二预设缺陷深度条件，其中第二预设缺项条件包括4个子条件，若4个子条件中的每个条件均满足，则确定该凸包缺陷点的凸包缺陷深度是否满足第二预设缺陷深度条件；若任一条件不满足，则确定该凸包缺陷点的凸包缺陷深度是否满足第二预设缺陷深度条件。
[0133]
该电子设备确定该凸包缺陷点与手腕的骨骼点的第一连线长度、以及该凸包缺陷点的相邻任一侧的凸顶点与手腕的骨骼点的第二连线长度，判断第二连线长度与第一连线长度中的最小值是否位于预设数值范围内，若是，则确定满足第一个子条件，若否，则确定不满足第一个子条件；其中预设数值范围是由用户预先设置的，例如该预设数值范围是0.1r到1.3r，其中r为手部分割候选区域的质心到所有凸顶点的距离的平均值。
[0134]
根据手腕的骨骼点、该凸包缺陷点以及每一侧的凸顶点形成两个三角形，确定在每个三角形内的手腕的骨骼点的每个第二夹角的第二角度值，判断每个第二角度值是否均小于第二预设角度值阈值，若是，则确定满足第二个子条件，若否，则确定不满足第二个子条件；其中第二预设角度值阈值是用户预先设置的，例如该第二预设角度值阈值可以是44度、45度、46度等，较佳的，该第二预设角度值阈值是45度。
[0135]
根据第一连线长度和第二连线长度，确定第一连线长度与第二连线长度中的最小值与最大值，并确定出最小值与最大值的比值，判断比值是否不大于预设数值阈值，若是，则确定满足第三个子条件，若否，则确定不满足第三个子条件；其中预设数值阈值是用户预先设置的，该预设数值阈值可以是0.8、0.85、0.7等数值，较佳的，该预设数值阈值是0.8。
[0136]
根据该凸包缺陷点以及该凸包缺陷点两侧的每一侧的凸顶点，确定该凸包缺陷点与每一侧的凸顶点的两个连线长度，并根据两个连线长度确定最大值和最小值的比值，判断比值是否不小于预设数值阈值，若是，则确定满足第四个子条件，若否，则确定不满足第四个子条件。
[0137]
该电子设备针对每个凸包缺陷点进行判断，若确定每个凸包缺陷点的凸包缺陷深度均满足第二预设缺陷深度条件，则确定将该分割候选区域确定为手部轮廓区域。
[0138]
图13为本技术提供的一种确定手部轮廓区域的示意图，如图13所示，凸顶点a、d和其中间的凸包缺陷点b构成一个三角形abd，a、b及手腕点c构成三角形abc，点b靠近掌心圆的圆周或在圆周上；由于根据手指伸开时的特征，ab和bd过短时，a、d不是指尖点；ac和bc长度接近时，a不是指尖点；ab和bd长度接近时，a、d为指尖点；因此当同时满足条件(1)当ac》bc时，0.1r≤bc≤1.3r；当ac《bc时，0.1r≤ac≤1.3r，其中r为手部分割候选区域的质心到所有凸顶点的距离的平均值；条件(2)∠acb《45
°
和∠bcd《45
°
；条件(3)min(bc,ac)/max(bc,ac)≤0.8，其中，min(bc,ac)表示bc和ac中的最小值，max(bc,ac)表示bc和ac中的最大值；条件(4)max(ab,bd)/min(ad,bd)≥0.8，其中，max(ab,bd)表示ab和bd中的最大值，min(ad,bd)表示ad和bd中的最小值；则确定凸包缺陷点b满足手指伸开的第二缺陷深度条件；当确定每个凸包缺陷点均满足第二缺陷深度条件时，确定手指处于伸开状态。
[0139]
图14为本技术提供的一种手势识别装置的结构示意图，如图14所示，该装置包括：
[0140]
获取模块1401，用于获取待识别图像中的手肘和手腕处的骨骼点的坐标；
[0141]
确定模块1402，用于根据所述骨骼点的坐标，预测得到最大手部预测框和最小手部预测框；根据预设种子点采用基于颜色的区域增长算法在所述待识别图像中进行图像分割，得到区域边缘位于所述最小手部预测框和所述最大手部预测框之间的每个分割候选区
域，根据所述每个分割候选区域的像素点集合，确定采用凸包检测的方法检测出手部轮廓区域；
[0142]
识别模块1403，用于对所述待识别图像中所述手部轮廓区域的区域图像采用预设像素值进行肤色填充，并将肤色填充后的区域图像输入到预先保存的手势识别模型，得到输出的手势识别结果。
[0143]
进一步地，所述确定模块1402，具体用于根据所述骨骼点的坐标，确定所述手肘和所述手腕之间的小臂长度，根据所述小臂长度确定最大手部预测框的第一边长，根据所述小臂长度与预设数值的比值确定最小手部预测框的第二边长；根据所述骨骼点的坐标、所述小臂长度以及角度值确定函数，确定垂直于摄像头所在平面的法线、与所述手肘向所述手腕的延长线的夹角的角度值，根据所述角度值的正弦函数值、所述第一边长以及所述第二边长，确定所述正弦函数值与所述第一边长的第一乘积值的一半值、以及所述正弦函数值与所述第二边长的第二乘积值的一半值；根据所述手肘向所述手腕的延长线，确定中心位于所述延长线且距中心距所述手腕的距离为所述第一乘积值的一半值，边长为第一边长的正方形区域为所述最大手部预测框、以及中心位于所述延长线且距所述手腕的距离为所述第二乘积值的一半值，边长为第二边长的正方形区域为所述最小手部预测框。
[0144]
进一步地，所述确定模块1402，具体用于根据预设种子点的像素值、以及所述预设种子点的预设邻域范围的每个第一像素点的像素值，确定所述每个第一像素点中与所述预设种子点的颜色相似度大于预设颜色相似度阈值的目标第一像素点，将所述预设种子点和所述目标第一像素点保存在像素点集合中，将所述目标第一像素点作为下一轮区域生长的目标种子点，直到确定没有目标种子点则确定所述像素点集合中像素点组成的分割区域停止生长；根据所述分割区域以及所述最小手部预测框，判断所述分割区域是否达到所述最小手部预测框的边缘；若所述分割区域未达到所述最小手部预测框的边缘，则确定所述手肘向所述手腕的延长线与所述分割区域的相交点的邻接点，将所述邻接点作为下一轮区域生长的目标种子点直到分割区域停止生长；
[0145]
若所述分割区域达到所述最小手部预测框的边缘，则确定所述分割区域为分割候选区域，根据所述分割区域的最后一轮区域生长的目标种子点，确定最后一轮区域生长的目标种子点的预设邻域范围的每个第二像素点，将所述每个第二像素点中不位于所述分割候选区域的目标第二像素点作为下一分割候选区域生长的更新后的预设种子点，基于所述更新后的预设种子点进行区域生长得到下一分割候选区域，直到区域边缘达到所述最大手部预测框的边缘得到最后一个分割候选区域。
[0146]
进一步地，所述确定模块1402，还用于所述确定所述分割区域为分割候选区域之后，所述根据所述分割区域的最后一轮区域生长的目标种子点，确定最后一轮区域生长的目标种子点的预设邻域范围的每个第二像素点之前，若所述分割候选区域的像素点集合中的像素点数量小于预设数量阈值，则将所述分割候选区域的像素点集合与相邻的前一分割候选区域的像素点集合进行合并，确定出更新后的分割候选区域；和/或若所述分割候选区域的像素点集合中像素点的第一平均像素值、与相邻的前一分割候选区域的像素点集合中像素点的第二平均像素值的差值小于预设像素值阈值，则确定所述分割候选区域与相邻的前一分割候选区域的颜色差异小，将所述分割候选区域的像素点集合与相邻的前一分割候选区域的像素点集合进行合并，确定出更新后的分割候选区域。
[0147]
进一步地，所述确定模块1402，具体用于针对所述每个分割候选区域，对该分割候选区域的像素点集合中的像素点进行凸包检测，检测出每个凸顶点和每个凸包缺陷点；针对所述每个凸包缺陷点，根据该凸包缺陷点以及相邻两侧的凸顶点，判断该凸包缺陷点的凸包缺陷深度是否满足握拳的第一预设缺陷深度条件、或手指伸开的第二预设缺陷深度条件，若所述每个凸包缺陷点的凸包缺陷深度均满足所述第一预设缺陷深度条件或所述第二预设缺陷深度条件，将该分割候选区域确定为手部轮廓区域。
[0148]
进一步地，所述确定模块1402，具体用于若该凸包缺陷点与相邻两侧的凸顶点形成的，在该凸包缺陷点的第一夹角的第一角度值大于第一预设角度值阈值，则确定该凸包缺陷点的凸包缺陷深度满足握拳的第一预设缺陷深度条件。
[0149]
进一步地，所述确定模块1402，具体用于确定该凸包缺陷点与所述手腕的骨骼点的第一连线长度、以及该凸包缺陷点的相邻任一侧的凸顶点与所述手腕的骨骼点的第二连线长度，若所述第二连线长度与所述第一连线长度中的最小值位于预设数值范围、且所述手腕的骨骼点和该凸包缺陷点以及每一侧的凸顶点形成的，在所述手腕的骨骼点的每个第二夹角的第二角度值均小于第二预设角度值阈值、且所述第一连线长度和所述第二连线长度中的最小值与最大值的比值不大于预设数值阈值、且该凸包缺陷点分别与每一侧的凸顶点的两个连线长度中的最大值与最小值中的比值不小于所述预设数值阈值，则确定该凸包缺陷点的凸包缺陷深度满足手指伸开的第二预设缺陷深度条件。
[0150]
图15为本技术提供的一种电子设备结构示意图，在上述各实施例的基础上，本技术还提供了一种电子设备，如图15所示，包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。
[0151]
所述存储器1503中存储有计算机程序，当所述程序被所述处理器1501执行时，使得所述处理器1501执行上述实施例的手势识别方法的步骤。
[0152]
上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0153]
通信接口1502用于上述电子设备与其他设备之间的通信。
[0154]
存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0155]
上述处理器可以是通用处理器，包括中央处理器、网络处理器(network processor，np)等；还可以是数字指令处理器(digital signal processing，dsp)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
[0156]
在上述各实施例的基础上，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由处理器执行的计算机程序，当所述程序在所述处理器上运行时，使得所述处理器执行时实现上实施例的手势识别方法的步骤。
[0157]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序
产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0158]
本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0159]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0160]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0161]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

技术特征：
1.一种手势识别方法，其特征在于，所述方法包括：获取待识别图像中的手肘和手腕处的骨骼点的坐标；根据所述骨骼点的坐标，预测得到最大手部预测框和最小手部预测框；根据预设种子点采用基于颜色的区域增长算法在所述待识别图像中进行图像分割，得到区域边缘位于所述最小手部预测框和所述最大手部预测框之间的每个分割候选区域；根据所述每个分割候选区域的像素点集合，确定采用凸包检测的方法检测出手部轮廓区域，对所述待识别图像中所述手部轮廓区域的区域图像采用预设像素值进行肤色填充，并将肤色填充后的区域图像输入到预先保存的手势识别模型，得到输出的手势识别结果。2.根据权利要求1所述的方法，其特征在于，所述根据所述骨骼点的坐标，预测得到最大手部预测框和最小手部预测框包括：根据所述骨骼点的坐标，确定所述手肘和所述手腕之间的小臂长度，根据所述小臂长度确定最大手部预测框的第一边长，根据所述小臂长度与预设数值的比值确定最小手部预测框的第二边长；根据所述骨骼点的坐标、所述小臂长度以及角度值确定函数，确定垂直于摄像头所在平面的法线、与所述手肘向所述手腕的延长线的夹角的角度值，根据所述角度值的正弦函数值、所述第一边长以及所述第二边长，确定所述正弦函数值与所述第一边长的第一乘积值的一半值、以及所述正弦函数值与所述第二边长的第二乘积值的一半值；根据所述手肘向所述手腕的延长线，确定中心位于所述延长线且距中心距所述手腕的距离为所述第一乘积值的一半值，边长为第一边长的正方形区域为所述最大手部预测框、以及中心位于所述延长线且距所述手腕的距离为所述第二乘积值的一半值，边长为第二边长的正方形区域为所述最小手部预测框。3.根据权利要求1所述的方法，其特征在于，所述根据预设种子点采用基于颜色的区域增长算法在所述待识别图像中进行图像分割，得到区域边缘位于所述最小手部预测框和所述最大手部预测框之间的每个分割候选区域包括：根据预设种子点的像素值、以及所述预设种子点的预设邻域范围的每个第一像素点的像素值，确定所述每个第一像素点中与所述预设种子点的颜色相似度大于预设颜色相似度阈值的目标第一像素点，将所述预设种子点和所述目标第一像素点保存在像素点集合中，将所述目标第一像素点作为下一轮区域生长的目标种子点，直到确定没有目标种子点则确定所述像素点集合中像素点组成的分割区域停止生长；根据所述分割区域以及所述最小手部预测框，判断所述分割区域是否达到所述最小手部预测框的边缘；若所述分割区域未达到所述最小手部预测框的边缘，则确定所述手肘向所述手腕的延长线与所述分割区域的相交点的邻接点，将所述邻接点作为下一轮区域生长的目标种子点直到分割区域停止生长；若所述分割区域达到所述最小手部预测框的边缘，则确定所述分割区域为分割候选区域，根据所述分割区域的最后一轮区域生长的目标种子点，确定最后一轮区域生长的目标种子点的预设邻域范围的每个第二像素点，将所述每个第二像素点中不位于所述分割候选区域的目标第二像素点作为下一分割候选区域生长的更新后的预设种子点，基于所述更新后的预设种子点进行区域生长得到下一分割候选区域，直到区域边缘达到所述最大手部预测框的边缘得到最后一个分割候选区域。
4.根据权利要求3所述的方法，其特征在于，所述确定所述分割区域为分割候选区域之后，所述根据所述分割区域的最后一轮区域生长的目标种子点，确定最后一轮区域生长的目标种子点的预设邻域范围的每个第二像素点之前，所述方法还包括：若所述分割候选区域的像素点集合中的像素点数量小于预设数量阈值，则将所述分割候选区域的像素点集合与相邻的前一分割候选区域的像素点集合进行合并，确定出更新后的分割候选区域；和/或若所述分割候选区域的像素点集合中像素点的第一平均像素值、与相邻的前一分割候选区域的像素点集合中像素点的第二平均像素值的差值小于预设像素值阈值，则确定所述分割候选区域与相邻的前一分割候选区域的颜色差异小，将所述分割候选区域的像素点集合与相邻的前一分割候选区域的像素点集合进行合并，确定出更新后的分割候选区域。5.根据权利要求1所述的方法，其特征在于，所述根据所述每个分割候选区域的像素点集合，确定采用凸包检测的方法检测出手部轮廓区域包括：针对所述每个分割候选区域，对该分割候选区域的像素点集合中的像素点进行凸包检测，检测出每个凸顶点和每个凸包缺陷点；针对所述每个凸包缺陷点，根据该凸包缺陷点以及相邻两侧的凸顶点，判断该凸包缺陷点的凸包缺陷深度是否满足握拳的第一预设缺陷深度条件、或手指伸开的第二预设缺陷深度条件，若所述每个凸包缺陷点的凸包缺陷深度均满足所述第一预设缺陷深度条件或所述第二预设缺陷深度条件，将该分割候选区域确定为手部轮廓区域。6.根据权利要求5所述的方法，其特征在于，所述根据该凸包缺陷点以及相邻两侧的凸顶点，判断该凸包缺陷点的凸包缺陷深度是否满足握拳的第一预设缺陷深度条件包括：若该凸包缺陷点与相邻两侧的凸顶点形成的，在该凸包缺陷点的第一夹角的第一角度值大于第一预设角度值阈值，则确定该凸包缺陷点的凸包缺陷深度满足握拳的第一预设缺陷深度条件。7.根据权利要求5所述的方法，其特征在于，所述根据该凸包缺陷点以及相邻两侧的凸顶点，判断该凸包缺陷点的凸包缺陷深度是否满足手指伸开的第二预设缺陷深度条件包括：确定该凸包缺陷点与所述手腕的骨骼点的第一连线长度、以及该凸包缺陷点的相邻任一侧的凸顶点与所述手腕的骨骼点的第二连线长度，若所述第二连线长度与所述第一连线长度中的最小值位于预设数值范围、且所述手腕的骨骼点和该凸包缺陷点以及每一侧的凸顶点形成的，在所述手腕的骨骼点的每个第二夹角的第二角度值均小于第二预设角度值阈值、且所述第一连线长度和所述第二连线长度中的最小值与最大值的比值不大于预设数值阈值、且该凸包缺陷点分别与每一侧的凸顶点的两个连线长度中的最大值与最小值中的比值不小于所述预设数值阈值，则确定该凸包缺陷点的凸包缺陷深度满足手指伸开的第二预设缺陷深度条件。8.一种手势识别装置，其特征在于，所述装置包括：获取模块，用于获取待识别图像中的手肘和手腕处的骨骼点的坐标；确定模块，用于根据所述骨骼点的坐标，预测得到最大手部预测框和最小手部预测框；根据预设种子点采用基于颜色的区域增长算法在所述待识别图像中进行图像分割，得到区域边缘位于所述最小手部预测框和所述最大手部预测框之间的每个分割候选区域，根据所
述每个分割候选区域的像素点集合，确定采用凸包检测的方法检测出手部轮廓区域；识别模块，用于对所述待识别图像中所述手部轮廓区域的区域图像采用预设像素值进行肤色填充，并将肤色填充后的区域图像输入到预先保存的手势识别模型，得到输出的手势识别结果。9.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1-7任一项所述手势识别方法的步骤。10.一种计算机可读存储介质，其特征在于，其存储有可由处理器执行的计算机程序，当所述程序在所述处理器上运行时，使得所述处理器执行权利要求1-7任一项所述手势识别方法的步骤。

技术总结
本申请公开了一种手势识别方法、装置、设备和介质，由于本申请获取待识别图像中的手肘和手腕处的骨骼点的坐标，根据骨骼点的坐标预测出最大手部预测框和最小手部预测框，用户戴的手套上有多种颜色，根据预设种子点通过采用基于颜色的区域增长算法，进行图像分割得到区域边缘位于最小手部预测框和最大手部预测框之间的每个分割候选区域，每个分割候选区域即为手套一种颜色的轮廓区域，通过凸包检测的方法确定出手部轮廓区域，对手部轮廓区域的区域图像采用预设像素值进行肤色填充，去除手套颜色对于手势识别的影响，将肤色填充后的区域图像输入到预先保存的手势识别模型，得到输出的手势识别结果，从而实现在用户在戴不同手套时通用地识别出手势。通用地识别出手势。通用地识别出手势。


技术研发人员：张玉 刘帅帅 孙萁浩 田友强
受保护的技术使用者：海信集团控股股份有限公司
技术研发日：2023.03.10
技术公布日：2023/10/7