一种基于腕部穿戴设备的注意力机制人体行为识别方法

1.本发明涉及人体行为识别技术领域，特别是涉及一种基于腕部穿戴设备的注意力机制人体行为识别方法。


背景技术：

2.近年来，随着可穿戴传感器和人工智能技术的发展，基于可穿戴传感器的人体行为识别(human activity recognition，har)被广泛应用于运动跟踪、健康管理、睡眠或跌倒监测等领域。基于视觉传感器的har也是人体行为识别的重要方法之一，但相机覆盖范围有限、计算成本高、隐私等因素限制了此类方法在日常生活辅助中的应用。在基于环境传感器的har识别方法中，大量的传感器被布局到人的活动环境中，使用者需要与这些传感器产生交互；在交互范围之外，传感器将无法检测到行为数据。基于可穿戴传感器的人体行为识别则不受场地限制，使用者可以穿戴传感器在家中或者社区中心自由活动，而且能够有效地避免基于视频数据动作识别带来的隐私泄露等问题，且计算复杂度比视频数据低，使得基于传感器的har 研究更加具有现实意义。
3.传感器佩戴位置是穿戴传感器识别系统的一个重要研究问题。一方面，佩戴于身体不同部位的传感器携带不同的有用信息从而可能得到不同的活动识别率；而且，在多个身体部位同时佩戴传感器可有助于提高活动识别的准确率、可靠性和鲁棒性。然而，布局全身的传感器会提高识别系统的成本和传感器布局的复杂性，在实际应用中还可能会引起有基本独立生活能力的老年佩戴者的不适感、突兀感、甚至抵触。因此，对于日常使用的穿戴传感器活动识别系统，通常把传感器固定在佩戴者身上一个单独的部位，比如胸部、脚踝、头部、腰部等。手腕就是一个研究者和佩戴者们最偏爱的一个佩戴位置，这是因为，首先，大多数日常活动都和腕部活动相关，腕部穿戴传感器可以获取与活动动作相关的丰富数据；其次，手腕上佩戴传感器（比如智能手表）不会影响佩戴者实施大多数的日常行为。
4.特征提取在har中起着重要作用，因此如何提取更好的特征对活动识别至关重要。与传统的手工特征提取相比，深度神经网络具有更强的学习能力，可以为har提取更多有用的特征。长短时记忆网络(long short-term memory，lstm)是通过改变传统递归神经网络(recurrent neural network，rnn)中隐含神经元的结构来革命性地设计的。lstm不同于一般的递归神经网络，它引入了一个新的结构即由输入门、遗忘门和输出门构成的记忆单元，该记忆单元可以作为用来判断信息有用与否的“处理器”，因此lstm特别适合用于处理时间序列。但lstm的固有结构使其无法很好地处理长序列信号。因此为了提取更有价值的特征以提高模型识别率，可以将注意力机制引入基于腕部穿戴传感器的行为识别模型中。


技术实现要素：

5.为了解决现有技术的不足，提取更有价值的特征以提高模型的识别率，本发明提供了一种基于腕部穿戴设备的注意力机制人体行为识别方法，构建包含传感器通道注意力层、自注意力以及全局时间注意力的多阶段注意力模型来进行基于腕部穿戴传感器的人体
行为识别。
6.为实现上述目的，本发明提供了如下方案：一种基于腕部穿戴设备的注意力机制人体行为识别方法，该方法包括以下步骤：利用腕部穿戴设备采集多种人体行为的动作数据；对采集的多种人体行为的动作数据进行预处理；基于预处理后的多种人体行为的动作数据，构建基于注意力机制的多层注意力模型，其中，所述基于注意力机制的多层注意力模型包括传感器通道注意力层、自注意力层和全局时间注意力层；利用构建的基于注意力机制的多层注意力模型，对腕部穿戴设备实时采集的人体行为动作数据进行人体行为识别。
7.进一步地，所述腕部穿戴设备包括三个内置传感器，分别为加速计、陀螺仪和磁力计，用于采集12通道动作数据，包括俯仰角、偏航角、滚动角、三轴加速度、三轴角加速度和三轴磁场强度。
8.进一步地，所述利用腕部穿戴设备采集多种人体行为的动作数据，具体包括：定义四种基本的人体行为：站立、行走、躺下和上下楼梯，作为采集目标；针对每种人体行为，将腕部穿戴设备分别穿戴在用户主导手腕上的四个预定义位置：手腕的顶部、左侧、右侧和底部，进行四轮人体行为的动作数据的采集，并标注每轮采集的人体行为的动作数据的类别、起始时间和终止时间，得到四种人体行为的动作数据。
9.进一步地，针对每种人体行为，进行四轮人体行为的动作数据的采集过程中，每轮人体行为的持续时间需达到设定持续时间。
10.进一步地，所述对采集的多种人体行为的动作数据进行预处理，包括：针对设定持续时间的每轮人体行为的动作数据，去除开始后一段时间以及结束前一段时间的数据；得到多个数据集；每个数据集都被划分为窗口大小为30，窗口重叠率为50%，使用每个窗口中出现频率最高的活动类标签作为窗口的类标签，并将多个数据集按设定比例划分为训练集和测试集。
11.进一步地，所述构建基于注意力机制的多层注意力模型，包括：通过传感器通道注意力层学习多通道时间序列数据的不同注意力权重，确定每个通道时间序列数据的重要性，与对应的人体行为有较高相关性的通道时间序列数据得到更大的权重；通过自注意力层对多通道时间序列数据中每个时间步的数据与其他时间步的数据的相似性给予其不同的权重，然后利用传感器通道注意力层学习到的注意力权重将每个时间步与其他相关时间步进行矩阵变换，得到自注意力层的注意权重值；通过全局时间注意力层根据每个时间步骤对类标签的贡献对自注意力层生成的表征进行排序，然后利用排序生成所有时间步的加权表示，反馈给全连通层和softmax进行活动识别。
12.进一步地，所述方法还包括对构建的基于注意力机制的多层注意力模型进行测试，具体包括：设计三种实验场景将预处理过的多种人体行为的动作数据送入基于注意力机制
的多层注意力模型进行人体行为识别：在场景一中，使用手腕相同位置采集的动作数据来训练和测试模型；在场景二中，使用手腕三个不同位置采集的动作数据进行训练，使用第四个位置的动作数据进行测试；在场景三中，将手腕所有四个位置采集的动作数据混合，然后分成训练数据集和测试数据集，对模型进行训练和测试。
13.根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于腕部穿戴设备的注意力机制人体行为识别方法，利用腕部设备采集行为数据，并对进行数据预处理，构建基于注意力机制的多层注意力模型进行人体行为识别；其中，基于注意力机制的多层注意力模型由传感器通道注意力层、自注意力层和全局时间注意力层构成，用来提取跨传感器通道特征、样本间深层特征和跨样本特征以从人体行为的时间序列数据中提取更有价值的特征以提高模型识别率。基于注意力机制的多层注意力模型在实验中的优异表现证明了注意力机制在人体行为识别模型中的优越性。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
15.图1为本发明基于腕部穿戴设备的注意力机制人体行为识别方法的流程图；图2为本发明基于注意力机制的多层注意力模型的网络结构示意图；图3为lstm模型框架示意图；图4为基于注意力机制的多层注意力模型的测试流程图；图5为三种实验场景的实验比较结果。
具体实施方式
16.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
17.本发明的目的是提供一种基于腕部穿戴设备的注意力机制人体行为识别方法，将注意力机制引入了基于腕部穿戴的行为识别模型中，构建了包含传感器通道注意力层、自注意力以及全局时间注意力的多阶段注意力模型来进行基于腕部穿戴传感器的人体行为识别，提取更有价值的特征以提高模型识别率。
18.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
19.如图1所示，本发明提供的基于腕部穿戴设备的注意力机制人体行为识别方法，包括以下步骤：s1，利用腕部穿戴设备采集多种人体行为的动作数据；
s2，对采集的多种人体行为的动作数据进行预处理；s3，基于预处理后的多种人体行为的动作数据，构建基于注意力机制的多层注意力模型，其中，所述基于注意力机制的多层注意力模型包括传感器通道注意力层、自注意力层和全局时间注意力层；s4，利用构建的基于注意力机制的多层注意力模型，对腕部穿戴设备实时采集的人体行为动作数据进行人体行为识别。
20.其中，所述腕部穿戴设备包括三个内置传感器，分别为加速计、陀螺仪和磁力计，用于采集12通道动作数据，包括俯仰角、偏航角、滚动角、三轴(x, y, z轴)加速度、三轴角加速度和三轴磁场强度。
21.所述利用腕部穿戴设备采集多种人体行为的动作数据，具体包括：定义四种基本的人体行为：站立、行走、躺下和上下楼梯，作为采集目标，如表1所示；针对每种人体行为，将腕部穿戴设备分别穿戴在用户主导手腕上的四个预定义位置：手腕的顶部、左侧、右侧和底部，进行四轮人体行为的动作数据的采集，并标注每轮采集的人体行为的动作数据的类别、起始时间和终止时间，得到四种人体行为的动作数据。其中，为确保采集数据的丰富性，动作数据是在实验室中从10个年轻健康的成年人身上采集的。参与者在做这些行为采集时，都是独立完成的。
22.示例地，针对每种人体行为，进行四轮人体行为的动作数据的采集过程中，每轮人体行为的持续时间需达到设定持续时间，例如150秒。
[0023][0024]
进一步地，所述对采集的多种人体行为的动作数据进行预处理，包括：针对设定持续时间的每轮人体行为的动作数据，去除开始后一段时间（例如15秒）以及结束前一段时间（例如15秒）的数据，得到多个数据集；因此每个参与者采集到的每个行为的有效数据为两分钟左右；每个数据集都被划分为窗口大小为30，窗口重叠率为50%，使用每个窗口中出现频率最高的活动类标签作为窗口的类标签，并将多个数据集按设定比例划分为训练集和测试集。具体地，针对采集到的10个年轻健康的成年人的站立、行走、躺下和上下楼梯四类日常人体行为数据划分训练集和测试集。在数据采集时，每个人根据设定的四个穿戴位置进行四组采集实验，在每组实验中分别执行四类行为。因为从腕部传感器导出来的数据是二维
数据，这两个维度是时间维度和通道维度。本发明在预处理数据时，对采集的数据在时间维度上进行拼接。拼接后，数据的尺寸是(n, 12)，其中n就是拼接后数据点的总数，12就是通道数，参与采集的人越多，拼接后n就越大。对拼接后的数据进行窗口划分，数据集以50%的重叠率进行窗口分割，窗口宽度为30，每个时间窗口的尺寸为 (30，12)，将每个窗口包含的30个样本中出现次数最多的标签作为这个窗口的类别标签。并按7：3的比例将数据集分别划为训练集和测试集，即训练集的尺寸为 (0.7a，30，12)，而测试集的尺寸为 (0.3a，30，12)，其中a表示该数据集的时间窗口总数。一般情况下，训练模型时，数据越多越好。所以一般选用所有处理过的数据，并按照比例划分训练集和测试集。
[0025]
其中，类标签指的是标注的人体动作类型，例如站立、行走、躺下和上下楼梯。
[0026]
其中，本发明采集的数据集中的数据是时间序列数据，对于时间序列数据，滑动窗口，能够提升数据的准确性，将某个点的取值扩大到包含这个点的一段区间，用区间来进行判断，这个区间就是窗口。
[0027]
深度学习中注意力机制的作用就是通过神经网络自主学习出一组权重系数，并以动态加权方式来强化重要信息并同时抑制非重要信息，从而使得模型可以在任务的每个步骤上专注于输入信息的必要部分。标准注意力机制的基本思想是对每个输入项分配一个权重，通过权重大小来表示模型对该输入项的关注程度。自注意力机制的基本思想是利用输入项之间相互关系，自行决定分配输入项权重大小，即对于每个输入项所分配的权重大小取决于输入项之间的相互作用。
[0028]
有别于lstm模型，多层注意力模型是将上述标准注意力机制和自注意力机制结合起来，从活动时间序列数据中提取到更多有用的特征信息。如图2所示，该模型由传感器通道注意力层、自注意力层和全局时间注意力层三部分组成。通过传感器通道注意力层可以得到所有传感器各个轴的注意权值，该注意权值表示每个传感器采集到的数据用于活动识别的重要程度。然后使用一维卷积，将该加权表征按时间维度转换成向量。在一维卷积之后是一个时间窗口位置编码层，位置编码使模型能够识别输入时间序列的顺序，从而更好地学习时间序列的相关性。自注意力层通过缩放点乘运算学习位置编码数据的特征表示。全局时间注意对自注意力层之后的表征产生不同的时间维度的注意权值，从而得到最终的特征表征。由全连接层之后的softmax层得出最终的标签类别概率。
[0029]
通过腕部穿戴设备的三个内置传感器采集到的多种人体行为的动作数据为多通道时间序列数据，基于该数据进行模型构建。
[0030]
具体而言，所述构建基于注意力机制的多层注意力模型，包括：（1）通过传感器通道注意力层学习多通道时间序列数据的不同注意力权重，确定每个通道时间序列数据的重要性，与对应的人体行为有较高相关性的通道时间序列数据得到更大的权重；具体为：从腕部穿戴设备的传感器收集的数据是多通道时间序列，每个通道的数据对活动目标有不同的贡献；为了确定每个通道的重要性，传感器通道的注意力被设计为学习给定12通道数据的不同注意力权重，与活动目标有较高相关性的通道得到更大的权重，学习到的注意力权重表征在公式(1)和(2)中：
[0031]
公式(1)中，表示传感器通道数，表示该传感器通道在时间为时的数据，是学习到的通道的注意力权重，是传感器通道注意力层产生的加权表征。通过传感器通道注意力层学习各传感器通道数据对行为识别的贡献度，称为通道注意力分数。该分数代表每个通道对行为识别的重要程度，通道贡献越大，则获得的注意力分数越大，反之亦然。
[0032]
（2）通过自注意力层对多通道时间序列数据中每个时间步的数据与其他时间步的数据的相似性给予其不同的权重，然后利用传感器通道注意力层学习到的注意力权重将每个时间步与其他相关时间步进行矩阵变换，得到自注意力层的注意权重值；具体地，在自注意力中的查询 (query)、键 (key)和值 (value)是对输入数据通过全连通层的线性变换得到的转换向量。query和key的点积运算可以看作是每个时间步与其他时间步的比较。通过缩放和softmax归一化后的点积值得到时间步的注意分数。然后，每个时间步的加权表示可以通过注意分数和值向量(value)来计算。在实际操作中，上述操作以矩阵的形式并行执行，如公式(3)所示：
[0033]
其中，q、k、v分别代表查询、键和值，表示的维度大小。
[0034]
为了学习更多有用的特征，使用多头注意力来捕捉输入数据。不同的是多头注意力有多个注意力头。在公式(3)中，每个注意头的query、key和value的参数是不同的。最后，通过公式(4)定义的矩阵运算，将每个注意头的输出进行拼接并转换回一个注意头的维度。
[0035][0036]
其中，是一个维度为的参数矩阵，其中为自注意力层中的隐藏单元数。该实施例中设置为128，自注意力头。
[0037]
（3）通过全局时间注意力层根据每个时间步骤对类标签的贡献对自注意力层生成的表征进行排序，然后利用排序生成所有时间步的加权表示，反馈给全连通层和softmax进行活动识别。全局时间注意层的作用是根据每个时间步骤对类标签的贡献对自注意力层生成的表征进行排序。整个计算过程如(5)、(6)、(7)所示。然后利用排序生成所有时间步的加
权表示，反馈给全连通层和softmax进行活动识别。
[0038][0039]
其中，和是训练过程中学习到的参数，参数帮助捕获时间上下文信息，参数表示每个时间步骤的注意分数，是由全局时间注意层产生的加权表示法；是经过自注意力层生成的时刻的时间样本；表示对进行线性特征变换。
[0040]
为了能够更好地测试多阶段注意力模型的性能，所述方法还包括对构建的基于注意力机制的多层注意力模型进行测试，具体包括：设计三种实验场景将预处理过的多种人体行为的动作数据送入基于注意力机制的多层注意力模型进行人体行为识别：在场景一中，使用手腕相同位置采集的动作数据来训练和测试模型；在场景二中，使用手腕三个不同位置采集的动作数据进行训练，使用第四个位置的动作数据进行测试；在场景三中，将手腕所有四个位置采集的动作数据混合，然后分成训练数据集和测试数据集，对模型进行训练和测试。
[0041]
本发明设计了三种情景，将模型送入多层注意力模型，多阶段注意力模型对腕部数据集进行行为识别表现出了较好的结果。
[0042]
具体实施例中，为验证本发明方法的有效性，本实施例中采用本发明提供的基于腕部穿戴设备的注意力机制人体行为识别方法与传统的基于lstm的行为识别方法进行对比，分别对采集的同一个数据集进行行为识别并将结果进行对比。所以又构建了一个基于lstm的人体行为识别模型。
[0043]
构建的一个三层lstm网络作为基准模型的结构如图3所示。三层lstm网络的隐藏单元数量分别为32、128和64。 在每个lstm层之后，增加了一个batch normalization层和一个丢失率为0.1的dropout层。 最后一个lstm层之后是一个两层全连接网络，单元数分别为64和4。在每一轮的训练和测试中，对每个输入数据集进行重塑，其大小为（32, 30, 12）。
[0044]
将预处理过的动作数据送入多层注意力模型进行人体行为识别，其中，从定义的四个手腕位置收集人体行为的动作数据，以模拟在实际使用中传感器沿着手腕滑动到不同位置的情况，来测试模型的性能。
[0045]
本发明中使用了10个受试者中的5个人的动作数据，设置三个场景来研究模型的性能。在场景一中，使用手腕相同位置的数据来训练和测试模型。在场景二，使用三个位置的数据进行训练，使用第四个位置的数据进行测试。这是为了查看分类器对来自新位置的数据的性能变化。在场景三中，来自所有四个位置的数据被混合，然后分成训练数据集和测试数据集。这三种场景基本上可以模拟实际使用中传感器沿手腕发生位移时的分类模型所遇到的情况。实验设置概况如图4所示。标有*的位置表示使用该位置的数据进行测试。
[0046]
即使是同一项人体行为的动作，不同人在执行该动作时的表现也不尽相同。因此，通过考虑每个受试者的数据和上述三种场景下的所有受试者的数据来评估传感器位移。详细实验结果如图5所示。首先，可以看到多阶段注意力模型在所有数据集上的表现都优于lstm模型。只有在底层数据集上，对于被试2和场景1中的所有被试，注意模型的识别精度略高于lstm模型。特别是在场景二中，注意力模型比lstm模型有更好的性能。这进一步验证了注意力机制在提取传感器信号特征方面具有更强大的学习能力。
[0047]
本发明还公开一种电子装置，电子设备与腕部穿戴设备通信连接，所述电子设备包括一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如上述的基于腕部穿戴设备的注意力机制人体行为识别方法。
[0048]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种基于腕部穿戴设备的注意力机制人体行为识别方法，其特征在于，包括以下步骤：利用腕部穿戴设备采集多种人体行为的动作数据；对采集的多种人体行为的动作数据进行预处理；基于预处理后的多种人体行为的动作数据，构建基于注意力机制的多层注意力模型，其中，所述基于注意力机制的多层注意力模型包括传感器通道注意力层、自注意力层和全局时间注意力层；利用构建的基于注意力机制的多层注意力模型，对腕部穿戴设备实时采集的人体行为动作数据进行人体行为识别。2.根据权利要求1所述的基于腕部穿戴设备的注意力机制人体行为识别方法，其特征在于，所述腕部穿戴设备包括三个内置传感器，分别为加速计、陀螺仪和磁力计，用于采集12通道动作数据，包括俯仰角、偏航角、滚动角、三轴加速度、三轴角加速度和三轴磁场强度。3.根据权利要求2所述的基于腕部穿戴设备的注意力机制人体行为识别方法，其特征在于，所述利用腕部穿戴设备采集多种人体行为的动作数据，具体包括：定义四种基本的人体行为：站立、行走、躺下和上下楼梯，作为采集目标；针对每种人体行为，将腕部穿戴设备分别穿戴在用户主导手腕上的四个预定义位置：手腕的顶部、左侧、右侧和底部，进行四轮人体行为的动作数据的采集，并标注每轮采集的人体行为的动作数据的类别、起始时间和终止时间，得到四种人体行为的动作数据。4.根据权利要求3所述的基于腕部穿戴设备的注意力机制人体行为识别方法，其特征在于，针对每种人体行为，进行四轮人体行为的动作数据的采集过程中，每轮人体行为的持续时间需达到设定持续时间。5.根据权利要求4所述的基于腕部穿戴设备的注意力机制人体行为识别方法，其特征在于，所述对采集的多种人体行为的动作数据进行预处理，包括：针对设定持续时间的每轮人体行为的动作数据，去除开始后一段时间以及结束前一段时间的数据，得到多个数据集；每个数据集都被划分为窗口大小为30，窗口重叠率为50%，使用每个窗口中出现频率最高的活动类标签作为窗口的类标签，并将多个数据集按设定比例划分为训练集和测试集。6.根据权利要求1所述的基于腕部穿戴设备的注意力机制人体行为识别方法，其特征在于，所述构建基于注意力机制的多层注意力模型，包括：通过传感器通道注意力层学习多通道时间序列数据的不同注意力权重，确定每个通道时间序列数据的重要性，与对应的人体行为有较高相关性的通道时间序列数据得到更大的权重；通过自注意力层对多通道时间序列数据中每个时间步的数据与其他时间步的数据的相似性给予其不同的权重，然后利用传感器通道注意力层学习到的注意力权重将每个时间步与其他相关时间步进行矩阵变换，得到自注意力层的注意权重值；通过全局时间注意力层根据每个时间步骤对类标签的贡献对自注意力层生成的表征进行排序，然后利用排序生成所有时间步的加权表示，反馈给全连通层和softmax进行活动识别。
7.根据权利要求3所述的基于腕部穿戴设备的注意力机制人体行为识别方法，其特征在于，所述方法还包括对构建的基于注意力机制的多层注意力模型进行测试，具体包括：设计三种实验场景将预处理过的多种人体行为的动作数据送入基于注意力机制的多层注意力模型进行人体行为识别：在场景一中，使用手腕相同位置采集的动作数据来训练和测试模型；在场景二中，使用手腕三个不同位置采集的动作数据进行训练，使用第四个位置的动作数据进行测试；在场景三中，将手腕所有四个位置采集的动作数据混合，然后分成训练数据集和测试数据集，对模型进行训练和测试。

技术总结
本发明公开了一种基于腕部穿戴设备的注意力机制人体行为识别方法，包括：利用腕部穿戴设备采集多种人体行为的动作数据，并进行预处理；基于预处理后的多种人体行为的动作数据，构建基于注意力机制的多层注意力模型，其中，基于注意力机制的多层注意力模型包括传感器通道注意力层、自注意力层和全局时间注意力层；利用构建的基于注意力机制的多层注意力模型，对腕部穿戴设备实时采集的人体行为动作数据进行人体行为识别。本发明构建的多阶段注意力模型包括传感器通道注意力层、自注意力层以及全局时间注意力层，用来提取跨传感器通道特征、样本间深层特征和跨样本特征，以从人体行为的时间序列数据中提取更有价值的特征，提高模型识别率。模型识别率。模型识别率。


技术研发人员：王燕 杨红梅 汪鑫 王瑷珲 路成钢 耿颖睿 温晓许 王海泉
受保护的技术使用者：中原工学院
技术研发日：2023.06.08
技术公布日：2023/8/13