一种用于智能变电站运维培训系统的手势识别方法与流程

1.本发明涉及一种用于智能变电站运维培训系统的手势识别方法，属于智能变电站运维培训系统技术领域。


背景技术：

2.智能变电站运维培训系统是一种利用现代化技术手段如虚拟现实、图像处理等结合实际变电站运维经验进行培训的系统。该系统可以通过各种交互技术，如手势识别等，对变电站的设备、运行状态进行模拟展示，让学员在虚拟环境中练习和掌握实际操作技能，以达到提高操作技能、降低操作失误以及减少培训成本的目的。
3.手势识别是一种计算机视觉和模式识别技术，它可以自动识别并理解手部动作的意义，如手势的方向、速度、姿态等。在人机交互、游戏控制、安全认证、手语翻译等领域有着广泛的应用。有人通过双通道卷积神经网络(dc-cnn)算法提高手势运动的识别率，该算法根据不同的实验，所提出的方法对不同手势的识别率为98.02％，优于现有的算法，然而，这项工作属于静态手势识别，并没有专注于动态手势数据的识别。还有学者的研究文献记载：开发一个盲文草图，并将基于手势的运动传感器与移动设备相连，以克服盲人的导航问题。提出的模型的准确性达到最大范围，上下手势为99.9％和99.5％，左右手势为95.5％和94.23％。从实验中可以看出，所提出的模型产生了较高的精度和理想的执行力。然而，该模型并没有关注分析手势数据的计算时间。对于通过使用深度学习算法识别手势运动，研究表明：该算法结果在实时应用中获得了98.3％的识别手势数据的准确率。然而，作者只使用了10个人类手势数据来进行分割和识别。这些数据对于分析所提出的算法的优越性来说是非常有限的用于分析所提出的算法的优越性。


技术实现要素：

4.本发明要解决的技术问题是：提供一种用于智能变电站运维培训系统的手势识别方法，解决现有技术无法在训练样本数量不足的情况下进行分类的问题、以及解决现有技术容易受到噪声和图像变形等因素的影响导致识别准确率低下的问题和现有技术缺乏可解释性的问题。
5.本发明采取的技术方案为：一种用于智能变电站运维培训系统的手势识别方法，该方法包括以下步骤：
6.步骤1、采集手势图像数据；
7.步骤2、对采集到的手势图像进行去噪处理；
8.步骤3、构建去噪后的手势图像节点网络进行特征提取；
9.步骤4、采用卷积和池化技术获得特征样本；
10.步骤5、通过深度神经网络(cnn)进行端到端训练，以学习手势识别模型；
11.步骤6、采用哈里斯鹰优化算法(hho)对cnn的网络超参数进行调整；
12.步骤7、将训练结果输入贝叶斯分类器中进行分类预测，以实现手势识别。
13.进一步地，上述步骤1中手势图像数据包括10个不同的手势文件夹，手势文件夹对应数字(0-9)从公共数据库kaggle收集，每个文件夹都有2000张不同的手势图像。
14.进一步地，上述步骤2中去噪处理方法包括：
15.(1)数据二值化，是将灰度图像转换为黑白二值图像的过程，具体过程如下：
16.a、将灰度图像读入计算机中，并将其转换为二维数组；
17.b、针对每个像素点，将其灰度值与一个阈值进行比较，如果灰度值大于阈值，则该像素点为白色，否则为黑色；
18.c、将所有像素点的颜色值设置为二值化后的颜色值，即黑色或白色；
19.(2)高斯滤波器具体步骤如下：
20.2.1、对于步骤c中处理好的数据，选择一个二维的正态分布函数，以用来平滑处理图像，高斯核的大小和标准差决定了平滑程度的大小；
21.2.2、将高斯核覆盖在图像的每一个像素上，计算相邻像素的加权平均值，该加权平均值的权重是根据高斯核的值计算，即与中心像素点距离越远的像素点所占的权重越小；
22.2.3、将所有像素点的颜色值设置为经过高斯滤波器平滑处理后的颜色值，即完成图像的平滑处理。
23.进一步地，上述步骤3中特征提取具体实现方法为：手势的手关闭值的整数值为0，手势打开则为整数值1，这个过程对所有的手势数据都是重复的，接下来，使用整数编码，对考虑的数据集中分配的2个整数值设置二进制向量长度2的映射，即“手势关闭”标记为0，“手势打开”标记为1，如果数据集序列是打开手势，表示它的整数编码为1。
24.进一步地，上述步骤4中卷积层使用损失函数来正则化图像的权重，池化层使用relu函数来去除分组图像的负值，全连接层使用softmax函数对图像进行分类。
25.进一步地，上述步骤5中深度神经网络的全连接层从扁平层获得输入，扁平层是一维的层，输入数据首先经过affine函数，再经过非线性函数，第一个全连接层从特征分析获得输入，并通过权重预测正确的标签，全连接输出层则给出每个标签的最终概率，根据需要的分类模型的深度添加多个隐藏层，最后一个隐藏层的输出送入softmax函数，得到最终的类别总数集的概率分布。
26.进一步地，上述步骤5中深度神经网络采用dropout技术，即随机将一些节点与输入输出之间的连接移除。
27.进一步地，上述步骤5中深度神经网络的损失函数使用交叉熵损失函数作为评估标准。
[0028][0029]
式中，c为损失，m为样本总数，y和a分别为真实值和网络输出值，x为输入样本个数。
[0030]
进一步地，上述朴素贝叶斯分类器分类预测方法如下：
[0031]
设t是一个样本的训练集，每个样本都有它们的类标签，有k个类，c1，c2，
……
，ck，每个样本由一个n维向量表示，x＝{x1，x2，
…
，xn}，分别描述了n个属性的n个测量值，a1，a2，
…
，an；
[0032]
给定一个样本x，分类器将预测x属于具有最高后验概率的类别，以x为条件，即预测x属于ci，并且只有当p(ci|x)＞p(cj|x)for1≤j≤m,j≠i；
[0033]
由此找到最大化p(ci|x)的类，p(ci|x)最大的类ci被称为最大后验假设，贝叶斯定理为：
[0034][0035]
由于p(x)对所有类都是相同的，所以只有p(x|ci)p(ci)需要最大化，如果类a的先验概率p(ci)不知道，那么通常假设这些类是等可能的，即p(c1)＝p(c2)＝
…
＝p(ck)，因此将最大化为p(x|ci)，否则，最大化为p(x|c)p(ci)。本发明的有益效果：与现有技术相比，本发明的效果如下：
[0036]
1)本发明通过采用hho算法对cnn网络进行超参数调整，从而使得手势识别的分类性能得到了显著的提高，达到了99.9％的准确率，优于其他现有方法；
[0037]
2)本发明可以快速地收敛到最优解，从而减少了手势识别的训练时间，这一点在实际应用中尤为重要，因为手势识别的实时性要求非常高；
[0038]
3)本发明通过对cnn网络进行优化，可以提高手势识别的泛化能力，使得手势识别算法能够更好地适应不同的手势数据集，提高了算法的实用性。
附图说明
[0039]
图1为深度卷积神经网络流程图；
[0040]
图2为手势识别流程图。
具体实施方式
[0041]
下面结合附图及具体的实施例对本发明进行进一步介绍。
[0042]
实施例1：如图1-2所示，一种用于智能变电站运维培训系统的手势识别方法，该方法包括以下步骤：
[0043]
步骤1、采集手势图像数据。
[0044]
用于实验的手势数据集包括10个不同的手势文件夹，如10个不同的手势文件夹相应的数字(0-9)从公共数据库kaggle收集。每个文件夹都有2000张不同的手势图像。
[0045]
步骤2、对采集到的手势图像进行去噪处理。
[0046]
(1)数据二值化，是将灰度图像转换为黑白二值图像的过程。
[0047]
1.1将灰度图像读入计算机中，并将其转换为二维数组。
[0048]
1.2针对每个像素点，将其灰度值与一个阈值进行比较。如果灰度值大于阈值，则该像素点为白色，否则为黑色。
[0049]
1.3将所有像素点的颜色值设置为二值化后的颜色值，即黑色或白色。
[0050]
(2)高斯滤波器，是一种常见的图像平滑滤波器，可以通过去除图像中的噪声和细节，使图像更加平滑和清晰。
[0051]
2.1对于上步骤1.3中处理好的数据，选择一个合适的高斯核，通常是一个二维的正态分布函数，以用来平滑处理图像，高斯核的大小和标准差决定了平滑程度的大小。
[0052]
2.2将高斯核覆盖在图像的每一个像素上，计算相邻像素的加权平均值。这个加权
平均值的权重是根据高斯核的值来计算的，即与中心像素点距离越远的像素点所占的权重越小。
[0053]
2.3将所有像素点的颜色值设置为经过高斯滤波器平滑处理后的颜色值，即完成了图像的平滑处理。
[0054]
步骤3.构建去噪后的手势图像节点网络进行特征提取。
[0055]
手势的手关闭值的整数值为0，手势打开则为整数值1。这个过程对所有的手势数据都是重复的。接下来，使用整数编码，对考虑的数据集中分配的2个整数值设置二进制向量长度2的映射，如“手势关闭”标记为0，而“手势打开”标记为1。如果数据集序列是打开手势，可以表示它的整数编码为1。
[0056]
步骤4.采用卷积和池化技术获得特征样本：
[0057]
在这里，卷积层有助于将输入的图像与不同的超参数进行卷积，并将其结果传递给后续的图层。卷积层使用损失函数来正则化图像的权重。池化层有助于将输入的图像分离成一组不重叠的矩形。池化层使用relu函数来去除分组图像的负值。全连接层使用softmax函数对图像进行分类，如图1所示。
[0058]
卷积层：卷积层是在原始图像或其他特征图上应用过滤器的层。卷积层是网络中大多数可以被用户指定的参数的地方。最重要的参数是卷积核的数量和尺寸。假设有n个图像样本，每个样本有m个特征，利用卷积核(尺寸为5x3或3x3)对原始图像进行卷积运算。公式(1)表示了卷积操作的过程。
[0059][0060]
其中，h
mn
为在隐藏层第m层的第n个通道的输出，为在隐藏层第m-1层的第j个通道的输出，“*”代表着卷积操作，为第m层的第n个特征图的第j个滤波器的权重，为第i层的偏置项。
[0061]
(1)池化层：池化层与卷积层类似，但它们执行不同的功能。例如，最大池化(公式(2))会取过滤区域中的最大值，而平均池化(公式(3))会取平均值。这种操作通常用于降低网络的维数。因为最大池化能够保留特征区域中的最优因子，所以本技术使用最大池化。
[0062][0063][0064]
步骤5、通过深度神经网络(cnn)进行端到端训练，以学习手势识别模型。
[0065]
(1)全连接层：全连接层从扁平层获得输入，扁平层是一维的层。输入数据首先经过affine函数，再经过非线性函数。这个组合称为fc或隐藏层。第一个全连接层从特征分析获得输入，并通过权重预测正确的标签。全连接输出层则给出每个标签的最终概率。可以根据需要的分类模型的深度添加多个隐藏层。最后一个隐藏层的输出送入softmax函数，得到最终的类别总数集的概率分布。
[0066]
(2)dropout技术：在深度学习中，为避免过拟合问题，采用dropout技术，即随机将
一些节点与输入输出之间的连接移除。
[0067]
(3)损失函数：损失函数是一个评估模型预测输出与实际目标输出差距的函数；它反映了模型对训练数据的拟合程度。训练时，目标是使模型的预测和真实输出之间的差距最小。本发明使用交叉熵损失函数作为评估标准。
[0068][0069]
式中c为损失，m为样本总数，y和a分别为真实值和网络输出值，x为输入样本个数。
[0070]
步骤6、哈里斯鹰优化算法(hho)对网络超参数进行调整。
[0071]
算法hho被用于cnn的超参数调整，以增强手势识别。hho算法具有收敛速度快、在较大程度上避免了局部最优化等缺陷。
[0072]
算法1描述了一个伪代码形式的完整hho算法
[0073]
[0074][0075]
步骤7.将训练结果输入贝叶斯分类器中进行分类预测，以实现手势识别。
[0076]
该方法是基于朴素贝叶斯分类器(nbc)设计的。选择nbc是因为它允许以一种更简单的方式来理解和证明模型的预测。此外，一些研究表明，使用nbc获得的结果与其他技术相比具有竞争力。具体的分类过程如下：
[0077]
设t是一个样本的训练集，每个样本都有它们的类标签，有k个类，c1，c2，
……
，ck，
每个样本由一个n维向量表示，x＝{x1，x2，
…
，xn}，分别描述了n个属性的n个测量值，a1，a2，
…
，an；
[0078]
给定一个样本x，分类器将预测x属于具有最高后验概率的类别，以x为条件，即预测x属于ci，并且只有当p(ci|x)＞p(cj|x)for1≤j≤m,j≠i；
[0079]
由此找到最大化p(ci|x)的类，p(ci|x)最大的类ci被称为最大后验假设，贝叶斯定理为：
[0080][0081]
由于p(x)对所有类都是相同的，所以只有p(x|ci)p(ci)需要最大化，如果类a的先验概率p(ci)不知道，那么通常假设这些类是等可能的，即p(c1)＝p(c2)＝
…
＝p(ck)，因此将最大化为p(x|ci)，否则，最大化为p(x|c)p(ci)。
[0082]
本发明具有如下优点：
[0083]
1、分类性能提高：本发明采用了hho算法对cnn网络进行超参数调整，从而使得手势识别的分类性能得到了显著的提高，，准确率达到了99.9％，优于其他现有方法。
[0084]
2、速度快：本发明结合了cnn神经网络和hho算法的优势，显著提高了分类性能，减少了训练时间。通过采用hho算法对cnn网络进行超参数调整，可以快速地收敛到最优解，从而减少了手势识别的训练时间。这一点在实际应用中尤为重要，因为手势识别的实时性要求非常高。
[0085]
3、应用范围广：本发明在多组广泛的实验中，提高了手势识别的分类性能。这说明本发明的方法能够适应不同的手势数据集，提高了算法的实用性。
[0086]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内，因此，本发明的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种用于智能变电站运维培训系统的手势识别方法，其特征在于：该方法包括以下步骤：步骤1、采集手势图像数据；步骤2、对采集到的手势图像进行去噪处理；步骤3、构建去噪后的手势图像节点网络进行特征提取；步骤4、采用卷积和池化技术获得特征样本；步骤5、通过深度神经网络进行端到端训练，以学习手势识别模型；步骤6、采用哈里斯鹰优化算法对cnn的网络超参数进行调整；步骤7、将训练结果输入贝叶斯分类器中进行分类预测，以实现手势识别。2.根据权利要求1所述的一种用于智能变电站运维培训系统的手势识别方法，其特征在于：步骤1中手势图像数据包括10个不同的手势文件夹，手势文件夹对应数字从公共数据库kaggle收集，对应数字为0-9，每个文件夹都有2000张不同的手势图像。3.根据权利要求2所述的一种用于智能变电站运维培训系统的手势识别方法，其特征在于：步骤2中去噪处理方法包括：(1)数据二值化，是将灰度图像转换为黑白二值图像的过程，具体过程如下：a、将灰度图像读入计算机中，并将其转换为二维数组；b、针对每个像素点，将其灰度值与一个阈值进行比较，如果灰度值大于阈值，则该像素点为白色，否则为黑色；c、将所有像素点的颜色值设置为二值化后的颜色值，即黑色或白色；(2)高斯滤波器具体步骤如下：2.1、对于步骤c中处理好的数据，选择一个二维的正态分布函数，以用来平滑处理图像；2.2、将高斯核覆盖在图像的每一个像素上，计算相邻像素的加权平均值，该加权平均值的权重是根据高斯核的值计算；2.3、将所有像素点的颜色值设置为经过高斯滤波器平滑处理后的颜色值，即完成图像的平滑处理。4.根据权利要求3所述的一种用于智能变电站运维培训系统的手势识别方法，其特征在于：步骤3中特征提取具体实现方法为：手势的手关闭值的整数值为0，手势打开则为整数值1，使用整数编码，对考虑的数据集中分配的2个整数值设置二进制向量长度2的映射，即“手势关闭”标记为0，“手势打开”标记为1，如果数据集序列是打开手势，表示它的整数编码为1。5.根据权利要求4所述的一种用于智能变电站运维培训系统的手势识别方法，其特征在于：步骤4中卷积层使用损失函数来正则化图像的权重，池化层使用relu函数来去除分组图像的负值，全连接层使用softmax函数对图像进行分类。6.根据权利要求5所述的一种用于智能变电站运维培训系统的手势识别方法，其特征在于：步骤5中深度神经网络的全连接层从扁平层获得输入，扁平层是一维的层，输入数据首先经过affine函数，再经过非线性函数，第一个全连接层从特征分析获得输入，并通过权重预测正确的标签，全连接输出层则给出每个标签的最终概率，根据需要的分类模型的深度添加多个隐藏层，最后一个隐藏层的输出送入softmax函数，得到最终的类别总数集的概
率分布。7.根据权利要求6所述的一种用于智能变电站运维培训系统的手势识别方法，其特征在于：步骤5中深度神经网络采用dropout技术，即随机将一些节点与输入输出之间的连接移除。8.根据权利要求7所述的一种用于智能变电站运维培训系统的手势识别方法，其特征在于：步骤5中深度神经网络的损失函数使用交叉熵损失函数作为评估标准。式中，c为损失，m为样本总数，y和a分别为真实值和网络输出值，x为输入样本个数。9.根据权利要求8所述的一种用于智能变电站运维培训系统的手势识别方法，其特征在于：朴素贝叶斯分类器分类预测方法如下：设t是一个样本的训练集，每个样本都有它们的类标签，有k个类，c1，c2，
……
，ck，每个样本由一个n维向量表示，x＝{x1，x2，
…
，xn}，分别描述了n个属性的n个测量值，a1，a2，
…
，an；给定一个样本x，分类器将预测x属于具有最高后验概率的类别，以x为条件，即预测x属于ci，并且只有当p(c
i
|x)＞p(c
j
|x)for1≤j≤m,j≠i；由此找到最大化p(ci|x)的类，p(ci|x)最大的类ci被称为最大后验假设，贝叶斯定理为：由于p(x)对所有类都是相同的，所以只有p(x|ci)p(ci)需要最大化，如果类a的先验概率p(ci)不知道，那么通常假设这些类是等可能的，即p(c1)＝p(c2)＝
…
＝p(ck)，因此将最大化为p(x|ci)，否则，最大化为p(x|c)p(ci)。

技术总结
本发明公开了一种用于智能变电站运维培训系统的手势识别方法，该方法中通过构建去噪后的手势图像节点网络进行特征提取，采用卷积和池化技术获得特征样本，并通过深度神经网络进行端到端训练。同时，结合哈里斯鹰优化算法(HHO算法)对网络超参数进行调整，并将训练结果输入贝叶斯分类器中进行分类预测。本发明通过采用HHO算法对CNN网络进行超参数调整，从而使得手势识别的分类性能得到了显著的提高，达到了99.9％的准确率，解决现有技术无法在训练样本数量不足的情况下进行分类的问题、以及解决现有技术容易受到噪声和图像变形等因素的影响导致识别准确率低下的问题和现有技术缺乏可解释性的问题。乏可解释性的问题。乏可解释性的问题。


技术研发人员：龙玉江 李洵 甘润东 王策 钟掖 卢仁猛 龙娜 吴忠
受保护的技术使用者：贵州电网有限责任公司
技术研发日：2023.06.06
技术公布日：2023/9/5