一种机器人仿人多手指联合触觉感知方法、系统和设备

warping)、窗口裁剪(cropping)。
13.进一步地，步骤3中对每个样本每个时间序列进行特征提取的具体过程为：
14.步骤3-1，对每个时间序列，使用长度为的窗口划分子序列，得到子序列集合：
15.；
16.其中，为第个时间序列的时间步数，n为样本数量，为划分得到的个子序列，任意第个子序列为：
[0017][0018]
步骤3-2，采用sfa方法将各子序列按照字符串目标长度和字符表转换成对应的字符串；
[0019]
步骤3-3，使用直方图统计每个时间序列对应包括每种字符串的数量，得到每个时间序列对应的特征向量。
[0020]
进一步地，步骤3-2具体过程为：
[0021]
（1）近似：对每个子序列进行dtf变换，取前个频率分量对各自子序列进行近似得到傅里叶系数矩阵；其中任意第个频率分量为；对所有n个时间序列的第个子序列集合并行操作，得到傅里叶系数矩阵为：
[0022]
；
[0023]
式中，为傅里叶系数矩阵中的第列，；为字符串目标长度；
[0024]
（2）量化：将矩阵每一列都按照从小到大的原则排序得到新排序的矩阵；通过等深分箱的方法（数据量与箱数可整除时，每两个断点中的数据量相同；不可整除时向下取整，剩余量按顺序逐一分给前面的箱子，每一个箱子中的数字映射为同一字母）获得各列矩阵的个断点，每相邻两个断点之间区间分别映射到字符表中的个字符；将新排序的矩阵中第行第列元素，根据其在所在列的断点区间进行字母映射，即：
[0025][0026]
式中，和表示第列相邻的第个断点，为字母表中的第个字母；为元素映射得到的字母。之后将该字母放置对应的字符矩阵，其在字符矩阵中的位置同排序前的位置，则每个子序列对应得到包括个字符的字符串。
[0027]
进一步地，在经步骤3-2得到个子序列对应的个字符串后，对相邻的字符串进行比较，若相同则删除其中1个字符串，直到每相邻两个字符串均不同，再执行步骤3-3的字符串数量统计。
[0028]
进一步地，窗口长度、字符串目标长度以及字符表的字符个数的确定方法为：将、、共同作为超参数并设置搜索范围和搜索次数，循环执行步骤3-5，以测试集在步骤5的最终决策准确率最大化为目标进行超参数搜索，确定最终的窗口长度、字符串目标长度以及字符表的字符个数。
[0029]
进一步地，设某个手指经步骤3提取得到的特征向量与对应标签为，则步骤4对该手指对应b-elm网络进行训练的方法为：
[0030]
首先设置b-elm网络的隐藏节点数，最大迭代次数，期望误差，初始误差矩阵；
[0031]
然后开始迭代：，并做判断获取新增节点对应的权值与偏置：
[0032]
；
[0033]
其中：表示均匀分布，和分别是sigmoid函数与min-max归一化函数，和表示对应逆函数，表示输入的广义逆矩阵，是方差，是误差反馈矩阵且：
[0034][0035]
上式中是第个节点对应的输出权值且：
[0036][0037]
而隐藏节点的输出矩阵可以表示为：
[0038][0039]
最后更新误差矩阵；当训练误差达到期望误差以下或迭代次数达到时，循环终止，保留迭代过程中每个隐藏节点的权值与偏置，形成网络隐藏层的权值与偏置，并根据elm相关理论根据获得网络最终的输出权值，其中是网络隐藏层输出的广义逆矩阵，；否则继续迭代训练。
[0040]
本发明结合块增量elm的初始化方法，将b-elm的初始隐藏层数设置为非0（初始节点的权值与偏置均为随机采样），以减少迭代次数和训练时间，进而提高训练速度。为了获得最佳性能，在训练中通过对测试集进行评估，将迭代过程中测试集准确率最高时的模型
保存并用于后续集成决策。
[0041]
进一步地，步骤5使用软投票机制对各分类器的输出进行决策表示为：
[0042][0043]
式中，为手指数，为手指索引，为物体类别数，为第个手指对应的分类器的输出，为第个手指对应分类器输出所有类物体类别的概率，最终通过最大概率原则，选择中数值最大的数对应的物体类别作为决策得到的类别标签。
[0044]
一种机器人仿人多手指联合触觉感知系统，包括：
[0045]
样本获取与标记模块，用于：使用多指机械手爪对不同类物体进行抓取试验，对试验过程中各手指上的触觉传感器返回的触觉多维信息进行采样获得多维时间序列，并对各时间序列进行物体类别标记；
[0046]
样本增强模块，用于：标签样本进行增强处理，获得增强样本集；
[0047]
特征向量提取模块，用于：对增强样本集中的每个样本，通过窗口划分、sfa变换以及直方图统计操作，对样本中各个手指的多维时间序列进行特征提取并拼接，得到不同手指对应的特征向量；
[0048]
分类器训练模块，用于：以增强样本集中的所有样本中不同手指对应的特征向量作为输入，以样本对应的物体类别标记作为输出，分别训练手指对应的b-elm网络作为分类器；
[0049]
物体类别决策模块，用于：使用软投票机制对各分类器的输出进行决策，确定多指机械手爪中的物体类别。
[0050]
一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现上述任一项所述的机器人仿人多手指联合触觉感知方法。
[0051]
有益效果
[0052]
本发明可以自动地从多指机械手爪的原始力/触觉信号中提取特征并对抓取物体进行快速分类，避免了传统分类方法中需要进行大量的特征工程和算法优化的问题以及深度学习方法中需要大量的训练数据和计算资源等问题，相比现有技术而言具有更好的分类准确率和较强的鲁棒性。
附图说明
[0053]
图1为本发明实施例所述方法的流程图；
[0054]
图2为本发明实施例单指基于boss特征提取模块与b-elm分类模块训练示意图；
[0055]
图3为本发明实施例多指力/触觉信息分类的集成决策示意图；
[0056]
图4为本发明实施例中三维力的数据增强展示图，其中4（a）为原样本集，4（b）为增强样本集；
[0057]
图5为本发明实施例基于boss特征提取的效果图，其中5（a）为时间序列样本，5（b）为时间序列窗口划分示意图，5（c）是每个子序列提取得到的字符串，5（d）为直方图统计结果；
[0058]
图6为本发明实施例添加0均值、不同标准差的高斯噪声后的分类准确率。
具体实施方式
[0059]
下面对本发明的实施例作详细说明，本实施例以本发明的技术方案为依据开展，给出了详细的实施方式和具体的操作过程，对本发明的技术方案作进一步解释说明。
[0060]
本发明实施例提供一种机器人仿人多手指联合触觉感知方法，参考图1-3所示，包括以下步骤：
[0061]
步骤1：实施例中将力/触觉传感器安装在三爪机器手的三个手指上，通过抓取挤压物体，得到了试验过程中手指的三维力、力的二范数以及手指位置信息，因此样本的每个手指有5个时间序列特征，步长为50。其中被抓取物体有19类，包括手爪空放，一共20类物体标签数据。每一类数据有100个样本，共2000个样本，原始数据集形状为(3, 2000, 50, 5)。另有存在一个小型数据集，包含120个样本，代表真实世界数据，用于对模型进行验证。
[0062]
步骤2：采用z-score标准化对样本中各个时间序列进行预处理，然后通过（1）乘以均值为1、标准差为0.1的随机因子(scaling)和（2）时间扭曲(time warping)得到增强数据。
[0063]
时间扭曲是通过从均值为1、标准差为0.2的正态分布中选择时间比例因子，并在每个时间序列上通过插值的方法进行拉伸或压缩，导致时间间隔被平滑扭曲，某些时间步上的信号发生移动。图4为某次试验传感器的三维力信息以及数据增强后的结果。每个样本增强4次，包括原始样本共得到10000个数据样本，因此增强后的样本集形状为(3, 10000, 50, 5 )。实施例中分别对原始样本集和增强后的样本集进行学习与分类决策说明该方法的有效性，并通过增加均值为0，标准差不同的高斯噪声来验证模型的鲁棒性。原始样本集和增强样本集均按照8:2划分训练集、测试集。
[0064]
步骤3：通过boss模型对多指力/触觉信息进行特征提取。
[0065]
实施例中由于时间序列步长较少，根据经验和参数搜索结果，确定了boss模型的相关参数分别为：窗口长度，字符长度，字母表的大小。即依次并行截取集合中所有序列连续的24个实值作为窗口，通过sfa变换将其压缩并量化为对应长度为4，字母类别数不超过3的字符串（例如），因此至多有种字符串，即每个时间序列经特征提取后的特征向量大小不超过。
[0066]
提取过程中为了避免过度提取信号平稳区域的特征，应用了数据块消减（numerosity reduction），即当上一个窗口与本次窗口提取得到的字符串相同时，本次窗口结果不参与直方图统计。例如，当连续窗口经过上述变换后得到的字符串依次为
[0067][0068]
应用数据块消减后得到：
[0069][0070]
因此直方图统计结果为
[0071][0072]
例如对图5（a）所示的时间序列，按图5（b）进行子序列划分，所有子序列对应得到图5（c）所示的子符串，最终统计得到图5（d）所示的字符串直方图。
[0073]
步骤4：每个b-elm的最大迭代次数250（即b-elm最多有250个隐藏节点），初始隐藏节点数50，期望误差。
[0074]
通过步骤3操作后，将三个手指训练集的特征向量分别输入到对应的b-elm分类器进行训练，训练中隐藏节点数从0开始递增，迭代次数达到250或训练误差到期望误差以下时停止训练，并保留训练过程中对应测试集准确率最大时的模型最为单指训练的最终模型。
[0075]
步骤5：完成网络训练后，通过图3的多指分类的集成决策方法对测试集进行测试，得到模型的分类预测结果，并计算分类准确率。
[0076]
步骤6：对窗口长度，字符串长度以及字母表的大小进行超参数搜索，设置搜索范围如表1所示，搜索次数为150，循环执行步骤3、步骤4和步骤5，搜索目的在于集成分类决策得到的测试集准确率最高。
[0077][0078]
按照上述方法完成实验后，进行了十次交叉验证，得到的结果对比数据集来源论文中相关模型的验证集分类准确率，结果如表2：
[0079][0080]
可以看到该分类方法在本实施例的准确率上并不输于神经网络和深度学习模型。同时，为了验证该方法的鲁棒性，在原始样本集和增强样本集进行z-score归一化后，对每个时间序列随机增加均值为0，标准差不同的高斯噪声并进行十次交叉验证，实验得到的平均结果如图6所示。可以看到，在信号严重变形（30%的噪声干扰）的情况下，该方法仍然保持着不低于50%的分类准确率，证实了本发明在基于多指力/触觉信息的物体分类问题上具有较好的鲁棒性。
[0081]
以上实施例为本技术的优选实施例，本领域的普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本技术总的构思的前提下，这些变换或改进都应当属于本技术要求保护的范围之内。

技术特征：
1.一种机器人仿人多手指联合触觉感知方法，其特征在于，包括：步骤1，使用多指机械手爪对不同类物体进行抓取试验，对试验过程中各手指上的触觉传感器返回的触觉多维信息进行采样获得多维时间序列，并对各时间序列进行物体类别标记；步骤2，对步骤1的标签样本进行增强处理，获得增强样本集；步骤3，对增强样本集中的每个样本，通过窗口划分、sfa变换以及直方图统计操作，对样本中各个手指的多维时间序列进行特征提取并拼接，得到不同手指对应的特征向量；步骤4，使用增强样本集中的所有样本中不同手指对应的特征向量作为输入，样本对应的物体类别标记作为输出，分别训练手指对应的b-elm网络作为分类器；步骤5，对于多指机械手爪中未知分类的物体，从多指机械手爪各手指的触觉传感器返回的触觉信息进行采样获得时间序列，提取各手指对应的特征向量并输入对应的分类器中，最终使用软投票机制对各分类器的输出进行决策，确定多指机械手爪中的物体类别。2.根据权利要求1所述的机器人仿人多手指联合触觉感知方法，其特征在于，步骤2中的增强处理，包括以下任意一种或多种操作方式：添加高斯噪声、乘以随机因子、幅值扭曲、时间扭曲、窗口裁剪。3.根据权利要求1所述的机器人仿人多手指联合触觉感知方法，其特征在于，步骤3中对每个样本每个时间序列进行特征提取的具体过程为：步骤3-1，对每个时间序列，使用长度为的窗口划分子序列，得到子序列集合：；其中，为第个时间序列的时间步数，n为样本数量，为划分得到的个子序列，任意第个子序列为：；步骤3-2，采用sfa方法将各子序列按照字符串目标长度和字符表转换成对应的字符串；步骤3-3，使用直方图统计每个时间序列对应包括每种字符串的数量，得到每个时间序列对应的特征向量。4.根据权利要求3所述的机器人仿人多手指联合触觉感知方法，其特征在于，步骤3-2具体过程为：（1）近似：对每个子序列进行dtf变换，取前个频率分量对各自子序列进行近似得到傅里叶系数矩阵；其中任意第个频率分量为；对所有n个时间序列的第个子序列集合并行操作，得到傅里叶系数矩阵为：；式中，为傅里叶系数矩阵中的第列，；为字符串目标长度；
（2）量化：将矩阵的每一列都按照从小到大的原则排序得到新排序的矩阵；通过等深分箱的方法获得各列矩阵的个断点，每相邻两个断点之间区间分别映射到字符表中的个字符；将新排序的矩阵中第行第列元素，根据其在所在列的断点区间进行字母映射，即：；式中，和表示第列相邻的第个断点，为字母表中的第个字母；为元素映射得到的字母；之后将该字母放置对应的字符矩阵，其在字符矩阵中的位置同排序前的位置，则每个子序列对应得到包括个字符的字符串。5.根据权利要求3所述的机器人仿人多手指联合触觉感知方法，其特征在于，在经步骤3-2得到个子序列对应的个字符串后，对相邻的字符串进行比较，若相同则删除其中1个字符串，直到每相邻两个字符串均不同，再执行步骤3-3的字符串数量统计。6.根据权利要求3所述的机器人仿人多手指联合触觉感知方法，其特征在于，窗口长度、字符串目标长度以及字符表的字符个数的确定方法为：将、、共同作为超参数并设置搜索范围和搜索次数，循环执行步骤3-5，以测试集在步骤5的最终决策准确率最大化为目标进行超参数搜索，确定最终的窗口长度、字符串目标长度以及字符表的字符个数。7.根据权利要求1所述的机器人仿人多手指联合触觉感知方法，其特征在于，设某个手指经步骤3提取得到的特征向量与对应标签为，则步骤4对该手指对应b-elm网络进行训练的方法为：首先设置b-elm网络的隐藏节点数，最大迭代次数，期望误差，初始误差矩阵；然后开始迭代：，并做判断获取新增节点对应的权值与偏置：；其中：表示均匀分布，和分别是sigmoid函数与min-max归一化函数，和表示对应逆函数，表示输入的广义逆矩阵，是方差，是误差反馈矩阵且：；上式中是第个节点对应的输出权值且： ；
而隐藏节点的输出矩阵可以表示为：；最后更新误差矩阵；当训练误差达到期望误差以下或迭代次数达到时，循环终止，保留迭代过程中每个隐藏节点的权值与偏置，形成网络隐藏层的权值与偏置，并根据elm相关理论根据获得网络最终的输出权值，其中是网络隐藏层输出的广义逆矩阵，；否则继续迭代训练。8.根据权利要求1所述的机器人仿人多手指联合触觉感知方法，其特征在于，步骤5使用软投票机制对各分类器的输出进行决策表示为：；式中，为手指数，为手指索引，为物体类别数，为第个手指对应的分类器的输出，为第个手指对应分类器输出所有类物体类别的概率，最终通过最大概率原则，选择中数值最大的数对应的物体类别作为决策得到的类别标签。9.一种机器人仿人多手指联合触觉感知系统，其特征在于，包括：样本获取与标记模块，用于：使用多指机械手爪对不同类物体进行抓取试验，对试验过程中各手指上的触觉传感器返回的触觉多维信息进行采样获得多维时间序列，并对各时间序列进行物体类别标记；样本增强模块，用于：标签样本进行增强处理，获得增强样本集；特征向量提取模块，用于：对增强样本集中的每个样本，通过窗口划分、sfa变换以及直方图统计操作，对样本中各个手指的多维时间序列进行特征提取并拼接，得到不同手指对应的特征向量；分类器训练模块，用于：以增强样本集中的所有样本中不同手指对应的特征向量作为输入，以样本对应的物体类别标记作为输出，分别训练手指对应的b-elm网络作为分类器；物体类别决策模块，用于：使用软投票机制对各分类器的输出进行决策，确定多指机械手爪中的物体类别。10.一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1～8中任一项所述的方法。

技术总结
本发明公开了一种机器人仿人多手指联合触觉感知方法、系统和设备，方法为：使用多指机械手爪对不同类物体抓取试验，采样触觉多维信息获得多维时间序列并标记物体类别；对标签样本增强处理；对增强样本集每个样本各个手指的多维时间序列进行特征提取并拼接，得到不同手指对应的特征向量；使用增强样本集中各样本不同手指对应的特征向量为输入，对应物体类别标记为输出，分别训练手指对应的B-ELM网络作为分类器；对于多指机械手爪中未知分类的物体，根据采样时间序列提取各手指对应的特征向量并输入对应的分类器中，最终使用软投票机制对各分类器的输出进行决策，确定多指机械手爪中的物体类别。本发明具有较好的分类准确率和较强的鲁棒性。强的鲁棒性。强的鲁棒性。


技术研发人员：梁桥康 龙建勇 肖文星 秦海 欧阳松涛
受保护的技术使用者：湖南大学
技术研发日：2023.07.07
技术公布日：2023/8/13