康复机器人交互行为的控制方法及系统

1.本技术涉及康复机器人技术领域，且更为具体地，涉及一种康复机器人交互行为的控制方法及系统。


背景技术：

2.目前，康复机器人在实现患者康复过程中起到了重要作用，康复机器人的应用已经成为康复治疗中越来越重要的组成部分。但由于每个患者的身体状态和康复进程都是不同的，因此如何实现个性化的康复服务一直是一个挑战。传统的康复机器人控制方法通常是通过固定的康复任务模板，缺乏个性化的康复任务，难以满足患者的个性化康复训练需求。
3.因此，期望一种优化的康复机器人交互行为的控制方案。


技术实现要素：

4.本技术提供一种康复机器人交互行为的控制方法及系统，其首先获取被监测患者在预定时间段的肌电信号、在所述预定时间段内多个预定时间点的呼吸频率值和心率值，以及，所述被监测患者的康复进程文本描述；然后，通过人工智能和深度学习技术进行所述患者的肌电信号、呼吸频率值和心率值的时序协同关联特征和所述患者的康复进程文本描述的语义理解特征之间的关联性特征分布信息的充分表达，以此来准确地进行患者的康复状态检测评估，从而根据患者当前康复需求，选择合适的康复任务类型，实现更精准的康复机器人交互行为控制。
5.第一方面，提供了一种康复机器人交互行为的控制方法，所述方法包括：获取被监测患者在预定时间段的肌电信号，以及，在所述预定时间段内多个预定时间点的呼吸频率值和心率值；对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值；将所述多个预定时间点的呼吸频率值和心率值，以及，所述多个肌电频域统计特征值排列为参数聚合矩阵；将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量；获取所述被监测患者的康复进程文本描述；对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量；对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵；对分类特征矩阵进行特征优化以得到优化分类特征矩阵；以及，将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签。
6.第二方面，提供了一种康复机器人交互行为的控制系统，所述系统包括：数据获取模块，用于获取被监测患者在预定时间段的肌电信号，以及，在所述预定时间段内多个预定时间点的呼吸频率值和心率值；频域变换模块，用于对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值；排列矩阵模块，用于将所述多个预定时间点的呼吸频率值和心率值，以及，所述多个肌电频域统计特征值排列为参数聚合矩阵；卷积编
码模块，用于将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量；文本获取模块，用于获取所述被监测患者的康复进程文本描述；语义编码模块，用于对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量；关联编码模块，用于对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵；特征优化模块，用于对分类特征矩阵进行特征优化以得到优化分类特征矩阵；以及，分类模块，用于将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签。
7.第三方面，提供了一种芯片，该芯片包括输入输出接口、至少一个处理器、至少一个存储器和总线，该至少一个存储器用于存储指令，该至少一个处理器用于调用该至少一个存储器中的指令，以执行第一方面中的方法。
8.第四方面，提供了一种计算机可读介质，用于存储计算机程序，所述计算机程序包括用于执行上述第一方面中的方法。
9.第五方面，提供了一种包括指令的计算机程序产品，当计算机运行所述计算机程序产品的所述指时，所述计算机执行上述第一方面中的方法。
10.本技术提供的一种康复机器人交互行为的控制方法及系统，其首先获取被监测患者在预定时间段的肌电信号、在所述预定时间段内多个预定时间点的呼吸频率值和心率值，以及，所述被监测患者的康复进程文本描述；然后，通过人工智能和深度学习技术进行所述患者的肌电信号、呼吸频率值和心率值的时序协同关联特征和所述患者的康复进程文本描述的语义理解特征之间的关联性特征分布信息的充分表达，以此来准确地进行患者的康复状态检测评估，从而根据患者当前康复需求，选择合适的康复任务类型，实现更精准的康复机器人交互行为控制。
附图说明
11.图1是本技术实施例的康复机器人交互行为的控制方法的示意性流程图。
12.图2是本技术实施例的康复机器人交互行为的控制方法的模型架构的示意图。
13.图3是本技术实施例的康复机器人交互行为的控制方法中对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量的示意性流程图。
14.图4是本技术实施例的康复机器人交互行为的控制方法中将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签的示意性流程图。
15.图5是本技术实施例的康复机器人交互行为的控制系统的示意性框图。
具体实施方式
16.下面将结合附图，对本技术中的技术方案进行描述。
17.这里由于涉及到基于深度学习的深度神经网络模型，下面先对本技术实施例可能涉及的深度神经网络模型的相关术语和概念进行介绍。
18.在深度神经网络模型中，隐藏层可以是卷积层和池化层。卷积层对应的一组权重
值被称为滤波器，也被称为卷积核。滤波器和输入特征值都被表示为一个多维矩阵，对应地，表示成多维矩阵的滤波器也称为滤波器矩阵，表示成多维矩阵的输入特征值也称为输入特征矩阵，当然，除了可以输入特征矩阵，也可以输入特征图像，特征向量，这里只是以输入特征矩阵进行举例。卷积层的运算称为卷积运算，该卷积运算指的是，输入特征矩阵的一部分特征值与滤波器矩阵的权重值进行内积操作。
19.深度神经网络模型中每一个卷积层的运算过程可以被编成软件，然后通过在运算装置中运行该软件，得到每层网络的输出结果，即输出特征矩阵。例如，软件通过滑动窗口的方式，以每层网络的输入特征矩阵的左上角为起点，以滤波器大小为窗口，每次从特征值矩阵中提取一个窗口的数据与滤波器进行内积操作。当输入特征矩阵的右下角窗口的数据与滤波器完成内积操作后，便可得到每层网络的一个二维的输出特征矩阵。软件重复上述过程，直至产生每层网络的整个输出特征矩阵。
20.卷积层运算的过程为，将一个滤波器大小的窗口滑动过整个输入图像(即输入特征矩阵)，在每个时刻对窗口内覆盖的输入特征值与该滤波器进行内积运算，其中，窗口滑动的步长为1。具体地，以输入特征矩阵的左上角为起点，以滤波器大小为窗口，窗口滑动的步长为1，每次从特征值矩阵中提取一个窗口的输入特征值与滤波器进行内积操作，当输入特征矩阵的右下角的数据与滤波器完成内积操作后，便可得到该输入特征矩阵的一个二维的输出特征矩阵。
21.由于常常需要减少训练参数的数量，因此卷积层之后常常需要周期性的引入池化层，在图像处理过程中，池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子，以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外，就像卷积层中用权重矩阵的大小应该与图像尺寸相关一样，池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸，池化层输出的图像中每个像素点表示输入池化层的图像的对应子区域的平均值或最大值。
22.由于实际在深度神经网络中需要模拟的函数往往是非线性的，而前面卷积和池化只能模拟线性函数，为了在深度神经网络模型中，引入非线性因素，以增加整个网络的表征能力，在池化层过后还会设置有激活层，激活层中设置有激活函数，常用的激励函数有sigmoid、tanh、relu函数等。
23.如上所述，康复机器人的应用已经成为康复治疗中越来越重要的组成部分。但由于每个患者的身体状态和康复进程都是不同的，因此如何实现个性化的康复服务一直是一个挑战。传统的康复机器人控制方法通常是通过固定的康复任务模板，缺乏个性化的康复任务，难以满足患者的个性化康复训练需求。因此，期望一种优化的康复机器人交互行为的控制方案。
24.相应地，考虑到在实际进行康复机器人的交互行为控制过程中，为了保证康复机器人提供的康复训练满足患者的个性化需求，机器人系统则需要基于患者当前的身体状态和康复进程，选择合适的康复任务和场景。因此，在本技术的技术方案中，期望基于患者的肌电信号，以及呼吸频率值和心率值来综合进行分析，并对患者的康复进程文本描述进行语义理解，以此来进行康复任务类型的推荐。应可以理解，这里，患者的肌电信号、呼吸频率
值和心率值参数能够提供关于患者身体状态的有用信息，例如肌电信号可以反映患者肌肉的运动情况和运动强度等，而呼吸频率值和心率值则可反映患者的生理状况和身体健康情况，而患者的康复进程文本描述能够帮助识别和了解患者正在接受的康复项目，推测其需要进行的具体康复任务类型。但是，由于所述患者的肌电信号、以及呼吸频率值和心率值之间具有着时序的协同关联特征，并且其与患者的康复进程文本描述的语义理解特征之间具有着关联性的特征信息。因此，在此过程中，难点在于如何进行所述患者的肌电信号、呼吸频率值和心率值的时序协同关联特征和所述患者的康复进程文本描述的语义理解特征之间的关联性特征分布信息的充分表达，以此来准确地进行患者的康复状态检测评估，从而根据患者当前康复需求，选择合适的康复任务类型，实现更精准的康复机器人交互行为控制。
25.近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述患者的肌电信号、呼吸频率值和心率值的时序协同关联特征和所述患者的康复进程文本描述的语义理解特征之间的关联性特征分布信息提供了新的解决思路和方案。
26.具体地，在本技术的技术方案中，首先，获取被监测患者在预定时间段的肌电信号，以及，在所述预定时间段内多个预定时间点的呼吸频率值和心率值。应可以理解，对于康复机器人交互行为的控制，需要考虑患者当前的身体状态和康复进程等因素，而所述肌电信号、所述呼吸频率值和所述心率值参数能够提供关于所述被监测患者的身体状态有用信息。具体来说，所述肌电信号可以反映患者肌肉的运动情况和运动强度等，而所述呼吸频率值和所述心率值则可反映患者的生理状况和身体健康情况。因此，获取所述被监测患者在预定时间段的肌电信号和呼吸频率值和心率值等参数，能够帮助康复机器人更好地了解患者当前的身体情况，并根据身体情况选择合适的康复任务和场景，从而实现针对性更强、效果更好的康复机器人交互行为控制。
27.接着，考虑到由于所述肌电信号为时域连续信号，其在采集的过程中极易受到噪声干扰，导致对于所述肌电信号的分析精度下降，影响后续的康复任务类型推荐。并且，还考虑到由于所述呼吸频率值和所述心率值为离散信号，为了能够更准确地捕捉这三者数据之间的时域协同关联特征信息，在本技术的技术方案中，进一步对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值，并将所述多个预定时间点的呼吸频率值和心率值，以及，所述多个肌电频域统计特征值排列为参数聚合矩阵，以此来整合所述患者的肌电信号、呼吸频率值和心率值在时序上的分布信息。
28.然后，使用在隐含关联特征提取方面具有优异表现的作为过滤器的卷积神经网络模型来进行所述参数聚合矩阵的特征挖掘，以提取出所述患者的肌电信号、呼吸频率值和心率值在时间维度上的时序协同关联特征分布信息，从而得到参数关联特征向量。
29.进一步地，为了能够提高对于所述被监测患者的康复进程分析，需要获取所述被监测患者的康复进程文本描述，以更好地理解和分析患者当前状态下需要进行的康复任务类型。应可以理解，在进行康复机器人交互行为控制时，仅考虑所述患者的肌电信号、呼吸频率值和心率值等参数可能无法完全反映该患者当前的康复需求和实际情况。而通过获取所述被监测患者的康复进程文本描述，可以进一步识别和了解该患者正在接受的康复项目，推测其需要进行的具体康复任务类型，例如提高某个关节灵活性、改善特定运动能力和
恢复步态等，从而根据患者当前康复需求，选择合适的康复任务和场景，并最终实现更精准的康复机器人交互行为控制。
30.接着，考虑到由于所述被监测患者的康复进程文本描述是由多个词组成的，并且各个词之间具有着上下文的语义关联关系，因此，为了能够进行所述被监测患者的康复进程文本描述的语义理解，以此来提高康复任务类型的推荐精准度，在本技术的技术方案中，需要进一步对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器中进行编码，以提取出所述被监测患者的康复进程文本描述中基于全局的上下文语义关联特征信息，从而得到康复进程语义理解特征向量。
31.然后，对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵，以此来表示所述患者的各参数时序协同关联特征和所述患者康复进程的语义理解特征之间的关联性特征分布信息，这样能够有利于进行患者当前康复状态的检测评估。进一步地，再将所述分类特征矩阵通过分类器中进行分类处理，以得到用于表示推荐的康复任务类型标签的分类结果。也就是，在本技术的技术方案中，所述分类器的标签为推荐的康复任务类型标签，因此，在得到所述分类结果后，可基于所述分类结果来进行康复任务的推荐。例如，如果患者正在恢复步态，机器人可以选择模拟步态运动并提供支持。
32.特别地，在本技术的技术方案中，对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码得到所述分类特征矩阵时，在逐位置关联编码的情况下，例如，所述分类特征矩阵的每个行向量可以看作为所述参数关联特征向量的每个特征值与所述康复进程语义理解特征向量整体的关联特征向量，或者，所述分类特征矩阵的每个列向量可以看作为参数关联特征向量整体与所述康复进程语义理解特征向量的每个特征值的关联特征向量。因此，以前一种情况为例，所述分类特征矩阵可以被看作为各个行特征向量拼接得到的特征矩阵，由此，在将所述分类特征矩阵作为整体通过分类器进行分类回归时，期望通过提高所述分类特征矩阵的特征分布的整体性来提升分类效果。
33.基于此，本技术的申请人对所述分类特征矩阵，例如记为mc进行向量谱聚类代理学习融合优化，表示为：其中，v1~vn表示所述分类特征矩阵mc的各个行特征向量，且dv是相应的特征向量之间的距离组成的距离矩阵。
34.这里，在所述分类特征矩阵的各个行特征向量拼接后通过分类器进行分类回归时，由于各个行特征向量的内部类回归语义特征会与合成噪声特征发生混淆，从而导致有意义的类回归语义特征与噪声特征之间分界的模糊性，因此，所述向量谱聚类代理学习融合优化通过引入用于表示特征向量间的空间布局和语义相似性的谱聚类代理学习，来利用类回归语义特征和类回归场景之间的关联的概念化信息，对各个行特征向量间的潜在关联属性进行隐性监督传播，从而提高合成特征的整体分布依赖性，由此提升所述分类特征矩阵通过分类器进行分类回归的分类效果。这样，能够准确地进行患者的康复状态检测评估，从而根据患者当前康复需求，选择合适的康复任务类型，实现更精准的康复机器人交互行为控制。
35.以上在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
36.图1是本技术实施例的康复机器人交互行为的控制方法的示意性流程图。如图1所示，所述康复机器人交互行为的控制方法，包括：s110，获取被监测患者在预定时间段的肌电信号，以及，在所述预定时间段内多个预定时间点的呼吸频率值和心率值；s120，对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值；s130，将所述多个预定时间点的呼吸频率值和心率值，以及，所述多个肌电频域统计特征值排列为参数聚合矩阵；s140，将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量；s150，获取所述被监测患者的康复进程文本描述；s160，对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量；s170，对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵；s180，对分类特征矩阵进行特征优化以得到优化分类特征矩阵；以及，s190，将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签。
37.图2是本技术实施例的康复机器人交互行为的控制方法的模型架构的示意图。如图2所示，所述康复机器人交互行为的控制方法的模型架构的输入分别为被监测患者在预定时间段的肌电信号、在所述预定时间段内多个预定时间点的呼吸频率值和心率值，以及，所述被监测患者的康复进程文本描述。首先，对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值。然后，将所述多个预定时间点的呼吸频率值和心率值，以及，所述多个肌电频域统计特征值排列为参数聚合矩阵。接着，将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量。同时，对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量。再然后，对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵，并对分类特征矩阵进行特征优化以得到优化分类特征矩阵。最后，将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签。
38.步骤s110，获取被监测患者在预定时间段的肌电信号，以及，在所述预定时间段内多个预定时间点的呼吸频率值和心率值。应理解，于康复机器人交互行为的控制，需要考虑患者当前的身体状态和康复进程等因素，而所述肌电信号、所述呼吸频率值和所述心率值参数能够提供关于所述被监测患者的身体状态有用信息。具体来说，所述肌电信号可以反映患者肌肉的运动情况和运动强度等，而所述呼吸频率值和所述心率值则可反映患者的生理状况和身体健康情况。因此，获取所述被监测患者在预定时间段的肌电信号和呼吸频率值和心率值等参数，能够帮助康复机器人更好地了解患者当前的身体情况，并根据身体情况选择合适的康复任务和场景，从而实现针对性更强、效果更好的康复机器人交互行为控制。
39.步骤s120，对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值。应理解，考虑到由于所述肌电信号为时域连续信号，其在采集的过程中极易受到噪声干扰，导致对于所述肌电信号的分析精度下降，影响后续的康复任务类型推荐，因此，对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值。
40.步骤s130，将所述多个预定时间点的呼吸频率值和心率值，以及，所述多个肌电频域统计特征值排列为参数聚合矩阵。应理解，考虑到由于所述呼吸频率值和所述心率值为离散信号，为了能够更准确地捕捉这三者数据之间的时域协同关联特征信息，在本技术的技术方案中，进一步将所述多个预定时间点的呼吸频率值和心率值，以及，所述多个肌电频域统计特征值排列为参数聚合矩阵，以此来整合所述患者的肌电信号、呼吸频率值和心率值在时序上的分布信息。
41.步骤s140，将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量。应理解，考虑到所述患者的肌电信号、呼吸频率值和心率值在时序上蕴含丰富的信息，而作为过滤器的卷积神经网络模型在隐含关联特征提取方面具有优异表现，因此，使用作为过滤器的卷积神经网络模型来进行所述参数聚合矩阵的特征挖掘，以提取出所述患者的肌电信号、呼吸频率值和心率值在时间维度上的时序协同关联特征分布信息，从而得到参数关联特征向量。
42.可选地，在本技术一实施例中，将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量，包括：使用所述卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：基于卷积核对所述输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行基于特征矩阵的全局均值池化处理以生成池化特征图；以及，对所述池化特征图中各个位置的特征值进行非线性激活以生成激活特征图；其中，所述卷积神经网络模型的最后一层的输出为所述参数关联特征向量，所述卷积神经网络模型的第二层至最后一层的输入为上一层的输出，所述卷积神经网络模型的输入为所述参数聚合矩阵。
43.可选地，在本技术的另一实施例中，将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量，包括：使用所述作为特征提取器的卷积神经网络模型以如下公式对所述参数聚合矩阵进行处理以得到所述参数关联特征向量；其中，所述公式为：其中，f
i-1
为第i层卷积神经网络模型的输入，fi为第i层卷积神经网络模型的输出，ni为第i层卷积神经网络模型的过滤器，且bi为第i层卷积神经网络模型的偏置矩阵，sigmoid表示非线性激活函数，且gap表示对特征图的每个特征矩阵进行局部特征池化操作。
44.步骤s150，获取所述被监测患者的康复进程文本描述。应理解，为了能够提高对于所述被监测患者的康复进程分析，需要获取所述被监测患者的康复进程文本描述，以更好地理解和分析患者当前状态下需要进行的康复任务类型。应可以理解，在进行康复机器人交互行为控制时，仅考虑所述患者的肌电信号、呼吸频率值和心率值等参数可能无法完全反映该患者当前的康复需求和实际情况。而通过获取所述被监测患者的康复进程文本描述，可以进一步识别和了解该患者正在接受的康复项目，推测其需要进行的具体康复任务类型，例如提高某个关节灵活性、改善特定运动能力和恢复步态等，从而根据患者当前康复需求，选择合适的康复任务和场景，并最终实现更精准的康复机器人交互行为控制。
45.步骤s160，对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌
入层的语义编码器以得到康复进程语义理解特征向量。应理解，考虑到由于所述被监测患者的康复进程文本描述是由多个词组成的，并且各个词之间具有着上下文的语义关联关系，因此，为了能够进行所述被监测患者的康复进程文本描述的语义理解，以此来提高康复任务类型的推荐精准度，在本技术的技术方案中，需要进一步对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器中进行编码，以提取出所述被监测患者的康复进程文本描述中基于全局的上下文语义关联特征信息，从而得到康复进程语义理解特征向量。
46.图3是本技术实施例的康复机器人交互行为的控制方法中对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量的示意性流程图。可选地，在本技术一实施例中，对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量，包括：s210，对所述被监测患者的康复进程文本描述进行分词处理以得到康复词序列；s220，将所述康复词序列通过所述语义编码器的词嵌入层以得到康复词嵌入向量的序列；s230，将所述康复词嵌入向量的序列通过所述语义编码器的基于转换器的bert模型以得到多个康复词语义特征向量；以及，s240，将所述多个康复词语义特征向量进行级联以得到所述康复进程语义理解特征向量。
47.步骤s170，对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵。应理解，对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵，以此来表示所述患者的各参数时序协同关联特征和所述患者康复进程的语义理解特征之间的关联性特征分布信息，这样能够有利于进行患者当前康复状态的检测评估，可选地，在本技术一实施例中，对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵，包括：以如下关联编码公式对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到所述分类特征矩阵；其中，所述关联编码公式为：其中表示向量相乘，m表示所述分类特征矩阵，va表示所述参数关联特征向量，vb表示所述康复进程语义理解特征向量，表示所述康复进程语义理解特征向量的转置。
48.步骤s180，对分类特征矩阵进行特征优化以得到优化分类特征矩阵。应理解，本技术的技术方案中，对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码得到所述分类特征矩阵时，在逐位置关联编码的情况下，例如，所述分类特征矩阵的每个行向量可以看作为所述参数关联特征向量的每个特征值与所述康复进程语义理解特征向量整体的关联特征向量，或者，所述分类特征矩阵的每个列向量可以看作为参数关联特征向量整体与所述康复进程语义理解特征向量的每个特征值的关联特征向量。因此，以前一种情况为例，所述分类特征矩阵可以被看作为各个行特征向量拼接得到的特征矩阵，由此，在将所述分类特征矩阵作为整体通过分类器进行分类回归时，期望通过提高所述分类特征矩阵的特征分布的整体性来提升分类效果。
49.可选地，在本技术一实施例中，对分类特征矩阵进行特征优化以得到优化分类特
征矩阵，包括：以如下优化公式对所述分类特征矩阵进行向量谱聚类代理学习融合优化以得到所述优化分类特征矩阵；其中，所述优化公式为：其中，mc是所述分类特征矩阵，m'c是所述优化分类特征矩阵，v1~vn表示所述分类特征矩阵的各个行特征向量，且dv是所述分类特征矩阵的每两个相应行特征向量之间的距离组成的距离矩阵，exp（
·
）表示矩阵的指数运算，所述矩阵的指数运算表示以矩阵中各个位置特征值为幂的自然指数函数值，
⊙
和
⊕
分别表示按位置点乘和矩阵加法。
50.这里，在所述分类特征矩阵的各个行特征向量拼接后通过分类器进行分类回归时，由于各个行特征向量的内部类回归语义特征会与合成噪声特征发生混淆，从而导致有意义的类回归语义特征与噪声特征之间分界的模糊性，因此，所述向量谱聚类代理学习融合优化通过引入用于表示特征向量间的空间布局和语义相似性的谱聚类代理学习，来利用类回归语义特征和类回归场景之间的关联的概念化信息，对各个行特征向量间的潜在关联属性进行隐性监督传播，从而提高合成特征的整体分布依赖性，由此提升所述分类特征矩阵通过分类器进行分类回归的分类效果。这样，能够准确地进行患者的康复状态检测评估，从而根据患者当前康复需求，选择合适的康复任务类型，实现更精准的康复机器人交互行为控制。
51.步骤s190，将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签。应理解，在本技术的技术方案中，所述分类器的标签为推荐的康复任务类型标签，因此，在得到所述分类结果后，可基于所述分类结果来进行康复任务的推荐。例如，如果患者正在恢复步态，机器人可以选择模拟步态运动并提供支持。
52.图4是本技术实施例的康复机器人交互行为的控制方法中将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签的示意性流程图。可选地，在本技术一实施例中，将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签，包括：s310，将所述优化分类特征矩阵按照行向量或列向量展开为分类特征向量；s320，使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到全连接编码特征向量；以及，s330，将所述全连接编码特征向量输入所述分类器的softmax分类函数以得到所述分类结果。
53.可选地，在本技术另一实施例中，将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签，包括：将所述优化分类特征矩阵按照行向量或列向量展开为分类特征向量；以及，使用所述分类器以如下分类公式对所述分类特征向量进行处理以得到所述分类结果；其中，所述分类公式为：
其中0为所述分类特征向量，wi和bi分别为第i个分类对应的权重和偏置向量，exp（
·
）表示以向量中各个位置的特征值为幂的自然指数函数值，x所述分类特征向量。
54.综上，本技术提供的一种康复机器人交互行为的控制方法，其首先获取被监测患者在预定时间段的肌电信号、在所述预定时间段内多个预定时间点的呼吸频率值和心率值，以及，所述被监测患者的康复进程文本描述；然后，通过人工智能和深度学习技术进行所述患者的肌电信号、呼吸频率值和心率值的时序协同关联特征和所述患者的康复进程文本描述的语义理解特征之间的关联性特征分布信息的充分表达，以此来准确地进行患者的康复状态检测评估，从而根据患者当前康复需求，选择合适的康复任务类型，实现更精准的康复机器人交互行为控制。
55.图5是本技术实施例的康复机器人交互行为的控制系统的示意性框图。如图5所示，所述康复机器人交互行为的控制系统100，包括：数据获取模块110，用于获取被监测患者在预定时间段的肌电信号，以及，在所述预定时间段内多个预定时间点的呼吸频率值和心率值；频域变换模块120，用于对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值；排列矩阵模块130，用于将所述多个预定时间点的呼吸频率值和心率值，以及，所述多个肌电频域统计特征值排列为参数聚合矩阵；卷积编码模块140，用于将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量；文本获取模块150，用于获取所述被监测患者的康复进程文本描述；语义编码模块160，用于对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量；关联编码模块170，用于对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵；特征优化模块180，用于对分类特征矩阵进行特征优化以得到优化分类特征矩阵；以及，分类模块190，用于将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签。
56.可选地，在本技术一实施例中，所述卷积编码模块140，用于：使用所述卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：基于卷积核对所述输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行基于特征矩阵的全局均值池化处理以生成池化特征图；以及对所述池化特征图中各个位置的特征值进行非线性激活以生成激活特征图；其中，所述卷积神经网络模型的最后一层的输出为所述参数关联特征向量，所述卷积神经网络模型的第二层至最后一层的输入为上一层的输出，所述卷积神经网络模型的输入为所述参数聚合矩阵。
57.可选地，在本技术一实施例中，所述语义编码模块160，包括：分词处理单元，用于对所述被监测患者的康复进程文本描述进行分词处理以得到康复词序列；词嵌入单元，用于将所述康复词序列通过所述语义编码器的词嵌入层以得到康复词嵌入向量的序列；转换
器编码单元，用于将所述康复词嵌入向量的序列通过所述语义编码器的基于转换器的bert模型以得到多个康复词语义特征向量；以及，级联单元，用于将所述多个康复词语义特征向量进行级联以得到所述康复进程语义理解特征向量。
58.可选地，在本技术一实施例中，所述关联编码模块170，用于：以如下关联编码公式对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到所述分类特征矩阵；其中，所述关联编码公式为：其中表示向量相乘，m表示所述分类特征矩阵，va表示所述参数关联特征向量，vb表示所述康复进程语义理解特征向量，表示所述康复进程语义理解特征向量的转置。
59.可选地，在本技术一实施例中，所述特征优化模块180，用于：以如下优化公式对所述分类特征矩阵进行向量谱聚类代理学习融合优化以得到所述优化分类特征矩阵；其中，所述优化公式为：其中，mc是所述分类特征矩阵，m'c是所述优化分类特征矩阵，v1~vn表示所述分类特征矩阵的各个行特征向量，且 dv是所述分类特征矩阵的每两个相应行特征向量之间的距离组成的距离矩阵，exp（
·
）表示矩阵的指数运算，所述矩阵的指数运算表示以矩阵中各个位置特征值为幂的自然指数函数值，
⊙
和
⊕
分别表示按位置点乘和矩阵加法。
60.可选地，在本技术一实施例中，所述分类模块190，包括：分类特征向量获取单元，用于将所述优化分类特征矩阵按照行向量或列向量展开为分类特征向量；全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到全连接编码特征向量；以及，分类结果获取单元，用于将所述全连接编码特征向量输入所述分类器的softmax分类函数以得到所述分类结果。
61.这里，本领域技术人员可以理解，上述康复机器人交互行为的控制系统中的各个模块或单元的具体操作已经在上面参考图1到图4的康复机器人交互行为的控制方法的描述中得到了详细介绍，并因此，将省略其重复描述。
62.本发明实施例还提供一种芯片系统，芯片系统包括至少一个处理器，当程序指令在该至少一个处理器中执行时，使得本技术实施例提供的方法得以实现。
63.本发明实施例还提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得，该计算机执行上述方法实施例的方法。
64.本发明实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。
65.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质
中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，dvd))、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
66.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
67.在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
68.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
69.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

技术特征：
1.一种康复机器人交互行为的控制方法，其特征在于，包括：获取被监测患者在预定时间段的肌电信号，以及，在所述预定时间段内多个预定时间点的呼吸频率值和心率值；对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值；将所述多个预定时间点的呼吸频率值和心率值，以及，所述多个肌电频域统计特征值排列为参数聚合矩阵；将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量；获取所述被监测患者的康复进程文本描述；对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量；对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵；对所述分类特征矩阵进行特征优化以得到优化分类特征矩阵；以及将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签。2.根据权利要求1所述的康复机器人交互行为的控制方法，其特征在于，将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量，包括：使用所述卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：基于卷积核对所述输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行基于特征矩阵的全局均值池化处理以生成池化特征图；以及对所述池化特征图中各个位置的特征值进行非线性激活以生成激活特征图；其中，所述卷积神经网络模型的最后一层的输出为所述参数关联特征向量，所述卷积神经网络模型的第二层至最后一层的输入为上一层的输出，所述卷积神经网络模型的输入为所述参数聚合矩阵。3.根据权利要求2所述的康复机器人交互行为的控制方法，其特征在于，对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量，包括：对所述被监测患者的康复进程文本描述进行分词处理以得到康复词序列；将所述康复词序列通过所述语义编码器的词嵌入层以得到康复词嵌入向量的序列；将所述康复词嵌入向量的序列通过所述语义编码器的基于转换器的bert模型以得到多个康复词语义特征向量；以及将所述多个康复词语义特征向量进行级联以得到所述康复进程语义理解特征向量。4.根据权利要求3所述的康复机器人交互行为的控制方法，其特征在于，对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵，包括：以如下关联编码公式对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到所述分类特征矩阵；其中，所述关联编码公式为：
其中表示向量相乘，m表示所述分类特征矩阵，v
a
表示所述参数关联特征向量，v
b
表示所述康复进程语义理解特征向量，表示所述康复进程语义理解特征向量的转置。5.根据权利要求4所述的康复机器人交互行为的控制方法，其特征在于，对所述分类特征矩阵进行特征优化以得到优化分类特征矩阵，包括：以如下优化公式对所述分类特征矩阵进行向量谱聚类代理学习融合优化以得到所述优化分类特征矩阵；其中，所述优化公式为：其中，m
c
是所述分类特征矩阵，m'
c
是所述优化分类特征矩阵，v1~v
n
表示所述分类特征矩阵的各个行特征向量，且d
v
是所述分类特征矩阵的每两个相应行特征向量之间的距离组成的距离矩阵，exp（
·
）表示矩阵的指数运算，所述矩阵的指数运算表示以矩阵中各个位置特征值为幂的自然指数函数值，
⊙
和
⊕
分别表示按位置点乘和矩阵加法。6.根据权利要求5所述的康复机器人交互行为的控制方法，其特征在于，将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示推荐的康复任务类型标签，包括：将所述优化分类特征矩阵按照行向量或列向量展开为分类特征向量；使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到全连接编码特征向量；以及将所述全连接编码特征向量输入所述分类器的softmax分类函数以得到所述分类结果。7.一种康复机器人交互行为的控制系统，其特征在于，包括：数据获取模块，用于获取被监测患者在预定时间段的肌电信号，以及，在所述预定时间段内多个预定时间点的呼吸频率值和心率值；频域变换模块，用于对所述肌电信号进行基于傅里叶变换的频域变换以得到多个肌电频域统计特征值；排列矩阵模块，用于将所述多个预定时间点的呼吸频率值和心率值，以及，所述多个肌电频域统计特征值排列为参数聚合矩阵；卷积编码模块，用于将所述参数聚合矩阵通过作为过滤器的卷积神经网络模型以得到参数关联特征向量；文本获取模块，用于获取所述被监测患者的康复进程文本描述；语义编码模块，用于对所述被监测患者的康复进程文本描述进行分词处理后通过包含词嵌入层的语义编码器以得到康复进程语义理解特征向量；关联编码模块，用于对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到分类特征矩阵；特征优化模块，用于对分类特征矩阵进行特征优化以得到优化分类特征矩阵；以及分类模块，用于将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果
用于表示推荐的康复任务类型标签。8.根据权利要求7所述的康复机器人交互行为的控制系统，其特征在于，所述关联编码模块，用于：以如下关联编码公式对所述参数关联特征向量和所述康复进程语义理解特征向量进行关联编码以得到所述分类特征矩阵；其中，所述关联编码公式为：其中表示向量相乘，m表示所述分类特征矩阵，v
a
表示所述参数关联特征向量，v
b
表示所述康复进程语义理解特征向量，表示所述康复进程语义理解特征向量的转置。9.根据权利要求8所述的康复机器人交互行为的控制系统，其特征在于，所述特征优化模块，用于：以如下优化公式对所述分类特征矩阵进行向量谱聚类代理学习融合优化以得到所述优化分类特征矩阵；其中，所述优化公式为：其中，m
c
是所述分类特征矩阵，m'
c
是所述优化分类特征矩阵，v1~v
n
表示所述分类特征矩阵的各个行特征向量，且d
v
是所述分类特征矩阵的每两个相应行特征向量之间的距离组成的距离矩阵，exp（
·
）表示矩阵的指数运算，所述矩阵的指数运算表示以矩阵中各个位置特征值为幂的自然指数函数值，
⊙
和
⊕
分别表示按位置点乘和矩阵加法。10.根据权利要求9所述的康复机器人交互行为的控制系统，其特征在于，所述分类模块，包括：分类特征向量获取单元，用于将所述优化分类特征矩阵按照行向量或列向量展开为分类特征向量；全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到全连接编码特征向量；以及分类结果获取单元，用于将所述全连接编码特征向量输入所述分类器的softmax分类函数以得到所述分类结果。

技术总结
本申请涉及康复机器人技术领域，其具体地公开了一种康复机器人交互行为的控制方法及系统，其首先获取被监测患者在预定时间段的肌电信号、在所述预定时间段内多个预定时间点的呼吸频率值和心率值，以及，所述被监测患者的康复进程文本描述；然后，通过人工智能和深度学习技术进行所述患者的肌电信号、呼吸频率值和心率值的时序协同关联特征和所述患者的康复进程文本描述的语义理解特征之间的关联性特征分布信息的充分表达，以此来准确地进行患者的康复状态检测评估，从而根据患者当前康复需求，选择合适的康复任务类型，实现更精准的康复机器人交互行为控制。康复机器人交互行为控制。康复机器人交互行为控制。


技术研发人员：盛振文 王桂云 盛明 何静 王素琴
受保护的技术使用者：山东协和学院
技术研发日：2023.06.01
技术公布日：2023/7/17