基于健身衬衫评估运动中神经肌肉活动水平的方法和系统

1.本发明涉及机器学习，更具体地，涉及一种基于健身衬衫评估运动中神经肌肉活动水平的方法和系统。


背景技术：

2.力量训练是近年来最吸引人的运动。默认情况下，力量训练的目的在于增强力量、肌肉质量和关节力量。如果人们在锻炼过程中专注于动作和肌肉的使用，训练效果会更好。在整个运动过程中有意识地将注意力集中于肌肉和动作可以增加肌肉纤维的激活水平，这被称为注意力集中。注意力集中的概念对力量训练具有重要意义，将注意力集中于肌肉的训练会在最大自主收缩期间产生更大的肌肉力量。
3.虽然目前针对健身和锻炼的可穿戴设备进行了大量研究，但这些设备的关注点在于检测用户活动时的姿势和形态、动作跟踪等。在力量训练的实际场景中，主要挑战是开发能够识别不同健身动作、注意力是否集中以及重量百分比的模型。许多研究人员已经使用eeg(脑电波)信号研究了脑波和肌肉运动之间的关系，以映射皮层信号的动态来源。然而，力量训练需要剧烈的运动，会产生高伪影，从而导致eeg信号不可用。迄今为止，已经在数百项研究中认识到，注意力集中是提高运动效果的一个重要因素，但挑战在于使注意力集中的概念在现实世界中有用。然而，对于终端用户来说，目前仍然没有系统可用于在实际环境中检测是否注意力集中。


技术实现要素：

4.本发明的目的是克服上述现有技术的缺陷，提供一种基于健身衬衫评估运动中神经肌肉活动水平的方法和系统。
5.根据本发明的第一方面，提供一种基于健身衬衫评估运动中神经肌肉活动水平的方法。该方法包括以下步骤：
6.利用健身衬衫上集成的emg传感器，采集人体运动时产生的多通道emg信号；
7.对所采集的多通道emg信号进行归一化、滤波和端点切段处理，以确定有效信号起始点和结束点，并提取出有效emg信号；
8.从所述有效emg信号中，提取多个特征；
9.将所述多个特征输入到经训练的分类模型，获得动作类型，是否集中注意力以及重量百分比的识别结果；
10.将所述识别结果通过智能终端对用户进行反馈，以指导用户运动。
11.根据本发明的第二方面，提供一种基于健身衬衫评估运动中神经肌肉活动水平的系统。该系统包括：
12.信号采集模块：用于利用健身衬衫上集成的emg传感器，采集人体运动时产生的多通道emg信号；
13.信号处理模块：用于对所采集的多通道emg信号进行归一化、滤波和端点切段处
理，以确定有效信号起始点和结束点，并提取出有效emg信号；
14.特征提取模块：用于从所述有效emg信号中，提取多个特征；
15.模型分类模块：用于将所述多个特征输入到经训练的分类模型，获得动作类型，是否集中注意力以及重量百分比的识别结果；
16.结果反馈模块：用于所述识别结果通过智能终端对用户进行反馈，以指导用户运动。
17.与现有技术相比，本发明的优点在于，只利用emg(肌电)信号而不是eeg(脑电波)信号来研究神经与肌肉功能的关系，判断是否将注意力集中在肌肉上，从而避免了eeg信号易受活动影响而产生高伪影的缺点。并且，本发明将不同动作的识别，是否注意力集中，不同的重量百分比识别集成到一个模型中，能够更好地监测和指导用户运动。本发明的检测方式新颖，设备集成在健身衬衫上方便穿戴、用户舒适度高且对人体无害。
18.通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
19.被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
20.图1是根据本发明一个实施例的一种基于健身衬衫的评估运动中神经肌肉活动水平的方法的流程图；
21.图2是根据本发明一个实施例的带有8通道emg传感器的健身衬衫效果示意图；
22.图3是根据本发明一个实施例的多任务多分类神经网络框架示意图；
23.图4是根据本发明一个实施例的基于健身衬衫的评估运动中神经肌肉活动水平的系统的框架结构示意图；
具体实施方式
24.现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
25.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
26.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
27.在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
28.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
29.参见图1所示，所提供的基于健身衬衫的评估运动中神经肌肉活动水平的方法包括以下步骤：
30.步骤s110，利用健身衬衫上集成的emg传感器，采集人体运动时产生的多通道emg
信号。
31.如图2所示，设计了一款与emg传感器集成的健身衬衫以提供可靠的信号记录。衬衫与8通道emg传感器整合。8个emg传感器放置在主要上肢肌肉群中，例如，两个emg传感器位于胸部，两个位于肩部，两个位于三头肌，另外两个位于二头肌上。此外，健身衬衫上放置了集成的无线传输终端电路。由干电极收集的emg信号通过模拟前端、带通硬件滤波器、信号放大器和512hz a/d转换器，其以700增益和1000hz采样率可靠地记录emg信号，并由微处理器(stm32f103rct6，32位arm cortex-m4)和蓝牙串行模块hc-05传输。
32.通过将8通道emg传感器分别布置于健身衬衫上，用户穿上衬衫执行各种健身动作过程中，emg传感器采集人体执行健身动作时产生的声学信号。
33.步骤s120，对所采集的多通道emg信号进行归一化、滤波和端点切段处理，以确定有效信号起始点和结束点，并提取出有效emg信号。
34.在一个实施例中，步骤s120包括以下子步骤：
35.步骤s121，对于emg传感器接收到的原始信号，根据传感器的数据幅值范围，以0为最小值，4096为最大值分别将8个通道的数据归一化到0
–
1的范围，以便于后续使用。
36.例如，归一化处理公式表示为：其中x和y分别对应归一化前后的emg信号，x
min
是归一化前的最小值，x
max
是归一化前的最大值。
37.步骤s122，对归一化后的多通道信号进行取平均操作和滤波。
38.例如，对来自8个通道的数据进行平均，得到平均信号。然后，对平均信号进行高通滤波(截止频率为1hz)去除直流分量以便于后续信号分割。最终得到去噪后的信号s。
39.步骤s23，对连续的信号s进行分割，以获得每个运动的单个信号。
40.具体来说，采用基于帧能量阈值的方法，将帧长度取为0.25s，将帧步长取为0.1s以计算帧能量。将信号阈值设置为ξ，当帧能量超过ξ时，将其记录为起始帧fs；当帧能量低于ξ时，它被记录为结束帧fe。进一步地，去除持续时间小于1.5s或最大能量低于阈值δ的信号，然后获得原始信号的相应起点ts和终点te(ts＝fs
×
帧步长；te＝fe
×
帧步长)。将信号分别向前和向后扩展0.15s(30个采样点)，以获得完整的信号并最终获得用于特征提取的单个运动中的emg信号的8通道数据，作为有效emg信号。
41.步骤s130，从有效emg信号中提取多个特征。
42.例如，对8个通道的活动信号进行统计特征分析，进而提取每个通道7个统计特征均方根(root mean square)、波形长度(waveform length)、平均绝对值(mean absolute value)、emg的方差(variance)、过零(zero crossing)、修正中值频率(modified median frequency)、修正平均频率(modified mean frequency)，最终总共提取得到56个特征。
43.需要说明的是，所提取的特征数量可根据对识别精确度和识别效率的要求进行适当的增加或删减。
44.步骤s140，将有效信号对应的多个特征输入到经训练的分类模型，获得动作类型，是否集中注意力以及重量百分比的识别结果。
45.分类模型可采用多种类型的深度学习模型，例如，卷积神经网络模型或循环神经网络模型等。
46.在一个实施例中，构造多任务多任分类的神经网络模型作为分类模型。在该分类
模型中，将不同的动作(任务a)、重量百分比(任务b)和是否注意力集中(任务c)视为三个子任务，并对它们进行统一分类。参见图3的分类模型架构，模型的输入由从emg信号中提取的56个特征组成(八个通道，每个通道有七个特征)。三个子任务共享相同的输入，三个子任务的共享特征通过两个全连接层(后接一个丢弃层)从输入数据中提取(全连接层使用sigmoid函数激活)。然后，通过三个子任务分支的全连接层提取子任务独有特征并分类。子任务a对不同的动作进行分类，例如，分类为卧推、前举、划船等。子任务b识别运动过程中是否集中注意力。子任务c识别运动负载相对最大负载的百分比。任务b(重量百分比的分类)没有与其他两个任务并行，其分类取决于特定的动作和是否注意力集中，因为对于不同的练习，不同的重量百分比可以生成具有相似能量的emg信号。因此，任务b的分类层之前设计了一个融合层，该融合层将任务a和c的输出向量与分类之前任务b的特征向量相结合。通过融合层，将动作信息和注意力信息引入任务b，以便它可以缩小特征空间的范围并正确识别重量百分比。
47.在构造分类模型后，可利用设定的损失函数进行预训练。在训练阶段，将为每个信号的动作类型，是否有集中注意力(例如0表示没有集中注意力，1表示有集中注意力)，重量百分比(例如0表示67％，1表示85％，2表示100％)进行标注作为多标签数据集，用于分类模型训练。
48.在一个实施例中，将每个子任务的输出向量定义为一个损失函数，然后将总体损失函数定义为这些子任务损失函数的(加权)和。例如，总体损失函数表示为：
[0049][0050]
其中a、b和c表示三个子任务，x是输入，y是实际标签，是预测输出，t是任务空间，t是任务空间集合{a、b、c}，t是任务空间集合。每个子任务的损失函数可以都是类别交叉熵。一组超级参数ω
t
定义了子任务对总体损失函数的贡献度。
[0051]
在预训练分类模型并进行测试后，即可用于实际的神经肌肉活动水平评估，从而根据实际提取的emg信号特征，得到识别结果。
[0052]
应理解的是，图3示例的分类模型，其中全连接层的数量，各层包含的神经元数量等可根据实际需要进行设置，对此本发明不进行限制。
[0053]
步骤s150，将识别结果通过智能终端app对用户进行反馈，以指导用户运动。
[0054]
智能终端可以包括智能手机、平板电子设备、台式电脑、个人数字助理(pda)、智能穿戴设备等。其中所述智能穿戴设备可以包括智能手表、智能手环等。
[0055]
相应地，本发明还提供一种基于健身衬衫的评估运动中神经肌肉活动水平的系统，用于实现上述方法的一个方面或多个方面。
[0056]
例如，参见图4所示，该系统包括：信号采集模块，用于采集人体运动时身体多个肌肉位置的emg信号；信号处理模块，用于对emg传感器接收到的声学信号进行归一化、去噪和端点分割；特征提取模块，用于提取分割出的活动信号的统计特征；模型分类模块，用于将提取的特征输入经训练的分类模型进行运动识别；结果反馈模块，用于将识别结果对用户进行反馈，并进行显示在终端设备上。
[0057]
进一步地，所述信号采集模块还包括：
[0058]
信号采集单元，设计一款可以采集多个部位emg信号的运动衬衫，用户穿上衬衫执
行各种健身动作。emg传感器采集人体执行健身动作时产生的声学信号。
[0059]
进一步地，所述信号处理模块还包括：
[0060]
归一化单元，对接收的多通道emg信号分别进行归一化处理，以便于后续使用。
[0061]
滤波单元，对多通道信号进行取平均操作，再利用高通滤波去除直流分量；
[0062]
端点分割单元，利用基于帧能量均方根阈值法检测信号中的活动信号的起始点和结束点，从而分割出单次动作。
[0063]
进一步地，所述特征提取模块还包括：
[0064]
统计特征提取单元，对8个通道的活动信号进行统计特征分析，进而提取每个通道7个统计特征均方根(root mean square)、波形长度(waveform length)、平均绝对值(mean absolute value)、emg的方差(variance)、过零(zero crossing)、修正中值频率(modified median frequency)、修正平均频率(modified mean frequency)，最终总共提取得到56个特征。
[0065]
进一步地，所述模型分类模块还包括：
[0066]
神经网络构造单元，用于构造可以同时识别不同动作，是否集中注意力，重量百分比的多任务多分类模型。
[0067]
训练测试单元，多任务多分类模型具有训练阶段和测试阶段。在训练阶段，将为每个信号的动作类型，是否有集中注意力(0表示没有集中注意力，1表示有集中注意力)，重量百分比(0表示67％，1表示85％，2表示100％)进行标注作为多标签进行模型训练；在测试阶段，基于多任务多分类模型的检测方法，将提取的特征输入多任务多分类模型并得到识别结果。
[0068]
分类单元，将提取emg信号特征输入经训练的多任务多分类模型并得到识别结果。
[0069]
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
[0070]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0071]
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0072]
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++、python等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
[0073]
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0074]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0075]
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0076]
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
[0077]
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨
在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

技术特征：
1.一种基于健身衬衫评估运动中神经肌肉活动水平的方法，包括以下步骤：利用健身衬衫上集成的emg传感器，采集人体运动时产生的多通道emg信号；对所采集的多通道emg信号进行归一化、滤波和端点切段处理，以确定有效信号起始点和结束点，并提取出有效emg信号；从所述有效emg信号中，提取多个特征；将所述多个特征输入到经训练的分类模型，获得动作类型，是否集中注意力以及重量百分比的识别结果；将所述识别结果通过智能终端对用户进行反馈，以指导用户运动。2.根据权利要求1所述的方法，其特征在于，所述健身衬衫上集成8个emg传感器，在穿戴状态下，其中两个emg传感器位于胸部，两个emg传感器位于肩部，两个emg传感器位于三头肌上，两个emg传感器位于二头肌上。3.根据权利要求1所述的方法，其特征在于，所述对所采集的多通道emg信号进行归一化、滤波和端点切段处理包括：对所采集的多通道emg信号分别进行归一化处理；对归一化后的多通道emg信号进行取平均操作，并应用巴特沃斯高通滤波器滤波，去除信号的直流分量；利用基于帧能量均方根阈值法检测emg信号中的活动信号的起始点和结束点，从而分割出单次动作信号，作为所述有效emg信号。4.根据权利要求2所述的方法，其特征在于，针对每个通道的emg信号，分别提取7个特征，包括均方根、波形长度、平均绝对值、emg的方差、过零、修正中值频率、修正平均频率。5.根据权利要求3所述的方法，其特征在于，所述分类模型将识别动作类型、重量百分比和是否注意力集中作为三个子任务，所述分类模型包含多个全连接层、第一分支、第二分支和第三分支，所述多个全连接用于从输入数据中提取三个子任务的共享特征，第一分支用于提取识别动作类型子任务的特征向量并进行分类，第二分支用于提取识别重量百分比子任务的特征向量并进行分类，第三分支用于提取识别是否注意力集中子任务的特征并进行分类，并且第三分支包含融合层，该融合层用于将第一分支提取的特征向量和第三分支提取的特征向量与第三分支分类之前的特征向量相结合。6.根据权利要求5所述的方法，其特征在于，所述多个全连接层设置为两个全连接层，并且每个全连接层使用sigmoid函数激活。7.根据权利要求5所述的方法，其特征在于，训练所述分类模型的总体损失函数设置为：其中，a、b和c表示三个子任务，x是输入，y是实际标签，是预测输出，t是任务空间，t是任务空间集合{a、b、c}，每个子任务的损失函数都是类别交叉熵，ω
t
是超级参数。8.根据权利要求1所述的方法，其特征在于，所述智能终端是手机、平板或可穿戴设备。9.一种基于健身衬衫评估运动中神经肌肉活动水平的系统，包括：信号采集模块：用于利用健身衬衫上集成的emg传感器，采集人体运动时产生的多通道
emg信号；信号处理模块：用于对所采集的多通道emg信号进行归一化、滤波和端点切段处理，以确定有效信号起始点和结束点，并提取出有效emg信号；特征提取模块：用于从所述有效emg信号中，提取多个特征；模型分类模块：用于将所述多个特征输入到经训练的分类模型，获得动作类型，是否集中注意力以及重量百分比的识别结果；结果反馈模块：用于所述识别结果通过智能终端对用户进行反馈，以指导用户运动。10.一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现根据权利要求1至8中任一项所述方法的步骤。

技术总结
本发明公开了一种基于健身衬衫评估运动中神经肌肉活动水平的方法和系统。该方法包括：利用健身衬衫上集成的EMG传感器，采集人体运动时产生的多通道EMG信号；对所采集的多通道EMG信号进行归一化、滤波和端点切段处理，以确定有效信号起始点和结束点，并提取出有效EMG信号；从所述有效EMG信号中，提取多个特征；将所述多个特征输入到经训练的分类模型，获得动作类型，是否集中注意力以及重量百分比的识别结果；将所述识别结果通过智能终端对用户进行反馈，以指导用户运动。本发明能够更好地监测和指导用户运动、方便穿戴、用户舒适度高且对人体无害。对人体无害。对人体无害。


技术研发人员：伍楷舜 王泰华 陈殿楠 陈霞
受保护的技术使用者：深圳大学
技术研发日：2023.05.22
技术公布日：2023/9/12