一种用于识别人类活动的残差模块网络设计方法

1.本发明涉及深度学习技术领域，尤其是涉及一种用于识别人类活动的残差模块网络设计方法。


背景技术：

2.通过传感器数据进行人类活动识别，已经是近些年来的一个研究热点，通过嵌入式的传感器来分析人类的各类活动，可以被视为一个时间序列的模式识别问题，利用滑动窗口技术对数据进行分割并提取特征以达到识别分类的结果。目前，基于传感器的人类活动识别广泛应用于智能家居、智能监控系统、医疗健康、行为检测、增强制造和行人导航等方面。
3.人类活动识别通常使用传统的机器学习方法，如多层感知、决策树、支持向量机等，并在这些方面取得了很大的进展。但是传统机器学习方法通常依赖于启发式的手工特征提取，这种特征提取的方式不仅费时费力，还限制了在大多数日常活动识别任务中的广泛应用。随着深度学习的发展，使基于传感器的人类活动识别经历了从特征设计到网络设计的过渡，深度学习能够大大减轻设计特征的工作量，并且已经在计算机视觉和自然语言处理方面中取得无与伦比的性能结果。近年来，由于计算能力的发展，深度学习在har的时间序列上取得了可喜的成果，超过了最先进的需要繁琐的手工提取特征的浅层算法，随着网络大幅度增加的深度可以带来显著的性能提升，但它不可避免地需要大量的内存来存储网络的激活。随着网络越来越深，不断增加的内存负担反而限制了深度学习在人类活动识别上的广泛应用。因此，在人类活动识别方面，如何来减少内存的计算占用，并且有效地提高识别性能成为目前一个重要的课题。


技术实现要素：

4.本发明所要解决的技术问题是提供一种能够减少内存的计算占用，并且有效地提高识别性能的用于识别人类活动的残差模块网络设计方法。
5.本发明所采用的技术方案是，一种用于识别人类活动的残差模块网络设计方法，该方法包括以下步骤：
6.s1、利用低通滤波方法对数据集中的传感器数据进行降噪处理，得到降噪处理后的传感器数据；
7.s2、对得到的降噪处理后的传感器数据进行归一化处理，得到归一化后的传感器数据；
8.s3、使用滑动窗口对归一化后的传感器数据进行分割，得到分割后的传感器数据；
9.s4、构建具有局部损失函数的残差模块网络模型；所述残差模块网络模型依次包括第一残差模块、局部损失函数以及第二残差模块，所述第一残差模块和第二残差模块均依次包括第一卷积层、第一批量归一化层、第一relu激活函数、第二卷积层、第二批量归一化层以及第二relu激活函数；所述局部损失函数由相似匹配损失函数和预测损失函数加权
得到；
10.s5、将步骤s3得到的分割后的传感器数据分成两部分，其中一部分传感器数据输入到步骤s4的残差模块网络模型进行训练，得到训练后的残差模块网络模型，其具体过程包括下列步骤：
11.s5.1、传感器数据yh进入第一残差模块，对传感器数据yh进行映射处理，得到h(yh)，同时，传感器数据yh依次经过第一残差模块的第一卷积层、第一批量归一化层、第一relu激活函数、第二卷积层、第二批量归一化层以及第二relu激活函数处理后，输出结果a2(a1(yh))，将h(yh)和a2(a1(yh))进行加权处理，得到第一残差模块的输出结果：y
h+1
＝h(yh)+a2(a1(yh))；
12.s5.2、将第一残差模块的输出结果y
h+1
输入到局部损失函数中进行相似匹配损失处理和预测损失处理，得到局部损失函数输出结果l(y
h+1
)：l(y
h+1
)＝αls+(1-α)l
p
；其中，ls表示进行相似匹配损失处理，ls＝||s(c(y
h+1
))-s(y)||2，y表示一组单次编码的标签，y＝(y1，y2，...yn)，c(
·
)是相似性匹配损失中的卷积层；s(
·
)是余弦相似度矩阵运算；l
p
表示进行预测损失处理，其中表示线性分类器的权重矩阵，y表示one-hot编码目标的标签矩阵；α表示一个正实数，α＜＝1；crossentropy表示一种交叉熵函数；
13.s5.3、将局部损失函数输出结果l(y
h+1
)输入到第二残差模块，对输出结果l(y
h+1
)进行映射处理，得到h(l(y
h+1
))，同时，输出结果l(y
h+1
)依次经过第二残差模块的第一卷积层、第一批量归一化层、第一relu激活函数、第二卷积层、第二批量归一化层以及第二relu激活函数处理后，输出结果a2(a1(l(y
h+1
)))，将h(l(y
h+1
))和a2(a1(l(y
h+1
)))行加权处理，得到第二残差模块的输出结果：y＝h(l(y
h+1
))+a2(a1(l(y
h+1
)))；通过第二残差模块的输出结果进行活动识别分类；
14.s5.4、按照步骤s5.1～s5.3的方式，多次输入传感器数据进行多次迭代，完成对残差模块网络模型的训练；
15.s6、将其中另一部分传感器数据输入到步骤s5得到的训练后的残差模块网络模型中进行特征提取，获得人类活动的识别结果。
16.本发明的有益效果是：采用上述一种用于识别人类活动的残差模块网络设计方法，本方法使用残差模块可以省略卷积层之间的互连，可以减少网络层的深度，避免训练更深的卷积导致的梯度消失问题，并且因为使用了局部损失函数，它不依赖于全局生成的损失，而且梯度也不会在整个网络中反向传播。也就是说，隐藏的权值可以在前向传递过程中被更新，这与全局反向传播不同。当每个残差块的权重更新后，梯度和激活不再需要保持在内存中，这大大减轻了训练残差网时的内存需求。虽然是同时训练整个网络，但局部生成的损失可以一次一次训练剩余块，也可以减少内存占用。
17.作为优选，在步骤s2中，进行归一化处理的公式为：其中，i＝1，2，...n，表示归一化后的传感器数据，m是通道数，和分别表示第i个传感器通道的最大值和最小值。
18.作为优选，在步骤s3中，所述滑动窗口长度为l，重叠覆盖率为50％。
附图说明
19.图1为本发明一种用于识别人类活动的残差模块网络设计方法的流程框图；
20.图2为采用本发明方法进行活动类别的准确率柱状图。
具体实施方式
21.以下参照附图并结合具体实施方式来进一步描述发明，以令本领域技术人员参照说明书文字能够据以实施，本发明保护范围并不受限于该具体实施方式。
22.本发明涉及一种用于识别人类活动的残差模块网络设计方法，如图1所示，该方法包括以下步骤：
23.s1、采用窗长度为5的均值滤波方法对数据集中的传感器数据进行降噪处理，得到降噪处理后的传感器数据；
24.s2、对得到的降噪处理后的传感器数据进行归一化处理，得到归一化后的传感器数据；这样可以确保所有数据值都在一个接近的范围内来帮助解决模型学习问题；
25.s3、使用滑动窗口长度为200、重叠覆盖率为50％的滑动窗口对归一化后的传感器数据进行分割，得到分割后的传感器数据；
26.s4、构建具有局部损失函数的残差模块网络模型；所述残差模块网络模型依次包括第一残差模块、局部损失函数以及第二残差模块，所述第一残差模块和第二残差模块均依次包括第一卷积层、第一批量归一化层、第一relu激活函数、第二卷积层、第二批量归一化层以及第二relu激活函数；所述局部损失函数由相似匹配损失函数和预测损失函数加权得到；
27.s5、将步骤s3得到的分割后的传感器数据分成两部分，其中一部分传感器数据输入到步骤s4的残差模块网络模型进行训练，得到训练后的残差模块网络模型，其具体过程包括下列步骤：
28.s5.1、传感器数据yh进入第一残差模块，对传感器数据yh进行映射处理，得到h(yh)，同时，传感器数据yh依次经过第一残差模块的第一卷积层、第一批量归一化层、第一relu激活函数、第二卷积层、第二批量归一化层以及第二relu激活函数处理后，输出结果a2(a1(yh))，将h(yh)和a2(a1(yh))进行加权处理，得到第一残差模块的输出结果：y
h+1
＝h(yh)+a2(a1(yh))；
29.s5.2、将第一残差模块的输出结果y
h+1
输入到局部损失函数中进行相似匹配损失处理和预测损失处理，得到局部损失函数输出结果l(y
h+1
)：l(y
h+1
)＝αls+(1-α)l
p
；其中，ls表示进行相似匹配损失处理，ls＝||s(c(y
h+1
))-s(y)||2，y表示一组单次编码的标签，y＝(y1，y2，...yn)，c(
·
)是相似性匹配损失中的卷积层；s(
·
)是余弦相似度矩阵运算；l
p
表示进行预测损失处理，其中表示线性分类器的权重矩阵，y表示one-hot编码目标的标签矩阵；α表示一个正实数，α＜＝1；crossentropy表示一种交叉熵函数】
30.s5.3、将局部损失函数输出结果l(y
h+1
)输入到第二残差模块，对输出结果l(y
h+1
)进行映射处理，得到h(l(y
h+1
))，同时，输出结果l(y
h+1
)依次经过第二残差模块的第一卷积层、第一批量归一化层、第一relu激活函数、第二卷积层、第二批量归一化层以及第二relu
激活函数处理后，输出结果a2(a1(l(y
h+1
)))，将h(l(y
h+1
))和a2(a1(l(y
h+1
)))行加权处理，得到第二残差模块的输出结果：y＝h(l(y
h+1
))+a2(a1(l(y
h+1
)))；通过第二残差模块的输出结果进行活动识别分类；
31.s5.4、按照步骤s5.1～s5.3的方式，多次输入传感器数据进行多次迭代，完成对残差模块网络模型的训练；
32.s6、将其中另一部分传感器数据输入到步骤s5得到的训练后的残差模块网络模型中进行特征提取，获得人类活动的识别结果。
33.采用上述一种用于识别人类活动的残差模块网络设计方法，本方法使用残差模块可以省略卷积层之间的互连，可以减少网络层的深度，避免训练更深的卷积导致的梯度消失问题，并且因为使用了局部损失函数，它不依赖于全局生成的损失，而且梯度也不会在整个网络中反向传播。也就是说，隐藏的权值可以在前向传递过程中被更新，这与全局反向传播不同。当每个残差块的权重更新后，梯度和激活不再需要保持在内存中，这大大减轻了训练残差网时的内存需求。虽然是同时训练整个网络，但局部生成的损失可以一次一次训练剩余块，也可以减少内存占用。
34.在步骤s2中，进行归一化处理的公式为：其中，i＝1，2，...n，表示归一化后的传感器数据，m是通道数，和分别表示第i个传感器通道的最大值和最小值。
35.如表2所示为验证本发明一种用于识别人类活动的残差模块网络设计方法而得到的混淆矩阵：
[0036][0037]
在表2中，其横坐标表示机器预测的活动类别，纵坐标表示实际的动作类别，表格中的数据表示在相应的预测活动类别和实际活动类别下，出现该种情况的样本值，比如，当预测活动类别为站、实际活动类别为走时，该种情况下的样本值为0，即不会出现这种预测情况；当预测活动类别为坐、实际活动类别也为坐时，该种情况下的样本值为439，即预测与实际是相对应的样本有439个；表2中，虽然对于原地走和原地跑这两种动作具有一定的误分类，这是因为这两个动作本身具有一定的相似性，尽管如此，对于其他动作识别依旧取得
了非常好的精确率(如图2所示)，取得了优秀的识别性能。可以看到，采用本说明的方法具有较高的识别性能。

技术特征：
1.一种用于识别人类活动的残差模块网络设计方法，其特征在于：该方法包括以下步骤：s1、利用低通滤波方法对数据集中的传感器数据进行降噪处理，得到降噪处理后的传感器数据；s2、对得到的降噪处理后的传感器数据进行归一化处理，得到归一化后的传感器数据；s3、使用滑动窗口对归一化后的传感器数据进行分割，得到分割后的传感器数据；s4、构建具有局部损失函数的残差模块网络模型；所述残差模块网络模型依次包括第一残差模块、局部损失函数以及第二残差模块，所述第一残差模块和第二残差模块均依次包括第一卷积层、第一批量归一化层、第一relu激活函数、第二卷积层、第二批量归一化层以及第二relu激活函数；所述局部损失函数由相似匹配损失函数和预测损失函数加权得到；s5、将步骤s3得到的分割后的传感器数据分成两部分，其中一部分传感器数据输入到步骤s4的残差模块网络模型进行训练，得到训练后的残差模块网络模型，其具体过程包括下列步骤：s5.1、传感器数据y
h
进入第一残差模块，对传感器数据y
h
进行映射处理，得到h(y
h
)，同时，传感器数据y
h
依次经过第一残差模块的第一卷积层、第一批量归一化层、第一relu激活函数、第二卷积层、第二批量归一化层以及第二relu激活函数处理后，输出结果a2(a1(y
h
))，将h(y
h
)和a2(a1(y
h
))进行加权处理，得到第一残差模块的输出结果：y
h+1
＝h(y
h
)+a2(a1(y
h
))；s5.2、将第一残差模块的输出结果y
h+1
输入到局部损失函数中进行相似匹配损失处理和预测损失处理，得到局部损失函数输出结果l(y
h+1
)：l(y
h+1
)＝αl
s
+(1-α)l
p
；其中，l
s
表示进行相似匹配损失处理，l
s
＝||s(c(y
h+1
))-s(y)||2，y表示一组单次编码的标签，y＝(y1，y2，...yn)，c(
·
)是相似性匹配损失中的卷积层；s(
·
)是余弦相似度矩阵运算；l
p
表示进行预测损失处理，其中表示线性分类器的权重矩阵，y表示one-hot编码目标的标签矩阵；α表示一个正实数，α＜＝1；crossentropy表示一种交叉熵函数；s5.3、将局部损失函数输出结果l(y
h+1
)输入到第二残差模块，对输出结果l(y
h+1
)进行映射处理，得到h(l(y
h+1
))，同时，输出结果l(y
h+1
)依次经过第二残差模块的第一卷积层、第一批量归一化层、第一relu激活函数、第二卷积层、第二批量归一化层以及第二relu激活函数处理后，输出结果a2(a1(l(y
h+1
)))，将h(l(y
h+1
))和a2(a1(l(y
h+1
)))行加权处理，得到第二残差模块的输出结果：y＝h(l(y
h+1
))+a2(a1(l(y
h+1
)))；通过第二残差模块的输出结果进行活动识别分类；s5.4、按照步骤s5.1～s5.3的方式，多次输入传感器数据进行多次迭代，完成对残差模块网络模型的训练；s6、将其中另一部分传感器数据输入到步骤s5得到的训练后的残差模块网络模型中进行特征提取，获得人类活动的识别结果。2.根据权利要求1所述的一种用于识别人类活动的残差模块网络设计方法，其特征在
于：在步骤s2中，进行归一化处理的公式为：其中，i＝1，2，...n，表示归一化后的传感器数据，m是通道数，和分别表示第i个传感器通道的最大值和最小值。3.根据权利要求2所述的一种用于识别人类活动的残差模块网络设计方法，其特征在于：在步骤s3中，所述滑动窗口长度为l，重叠覆盖率为50％。

技术总结
本发明所采用的技术方案是，一种用于识别人类活动的残差模块网络设计方法，包括：利用低通滤波方法对数据集中的传感器数据进行降噪处理；对得到的降噪处理后的传感器数据进行归一化处理；使用滑动窗口对归一化后的传感器数据进行分割；构建具有局部损失函数的残差模块网络模型；残差模块网络模型进行训练，得到训练后的残差模块网络模型；训练后的残差模块网络模型中进行特征提取，获得人类活动的识别结果；本方法大大减轻了训练残差网时的内存需求，也减少内存占用。也减少内存占用。也减少内存占用。


技术研发人员：尚杰 王璕 胡振宇 李润伟
受保护的技术使用者：中国科学院宁波材料技术与工程研究所
技术研发日：2023.04.04
技术公布日：2023/8/4