一种基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法

1.本发明涉及基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法，属于深度学习和模式识别技术领域。


背景技术：

2.步态是指人体在行走时的姿态变化以及行为特征。步态识别是指通过一个人的步态来确定该行人身份。目前的步态识别技术大多数是通过远距离传感器采集到的人体的步态特征来对行人进行识别。相比较于目前已经较为成熟的生物特征识别技术，例如人脸、声纹、指纹、dna等生物特征识别技术，步态识别技术具有非受控、隐匿性高的特点。基于上述优点，步态识别技术可以广泛应用于各种安防领域。然而，步态识别技术在实际应用中会受到很多协变量因素的影响，如服装、携带物和视角的变化。其中，视角的变化会使步态外观发生巨大的改变，所以成为了影响步态识别性能最主要的因素。所以，有效地解决跨视角步态识别的问题，是进一步发展步态识别技术的关键。
3.目前的步态识别技术可以分为两类，即基于模型的方法与基于外观的方法。基于模型的跨视角步态识别方法通过不同方式对人体步态序列进行建模，从模型中提取人体的结构、运动参数或者其他的信息作为特征进行跨视角步态识别。这类方法在对人体建模时需要消耗大量的计算资源，或者在提取人体骨架关键点时需要有较高分辨率的图像等。基于外观的方法的输入数据一般是步态轮廓，步态轮廓是对原始的步态rgb图像经过分割、裁剪、二值化等处理后得到的二值化图像。基于外观的方法可以进一步细化为基于类能量图的方法和基于步态轮廓序列的方法。基于类能量图的方法将轮廓序列按照一定的规则进行叠加，从而将步态的时空信息聚合到一张图片上。此类方法虽然节省计算资源，却忽略了对时序信息的提取。基于步态轮廓序列的方法直接将整个步态轮廓序列作为输入数据，相较于类能量图，步态轮廓序列包含了丰富的时空信息。基于步态轮廓序列的方法一般都是通过人工神经网络提取到具有视角不变性的步态特征。而目前基于步态轮廓序列的方法不能很好地提取到步态特征中所蕴含的丰富的时空信息。
4.因此，如何提取到具有视角不变性的步态特征，有效利用步态序列丰富的时空信息，是提高跨视角步态识别准确率的关键。


技术实现要素：

5.针对现有技术的不足，本发明提供一种基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法。
6.发明概述：
7.一种基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法，包括骨干网络构建、运动特征混合模块构建、细粒度多阶段特征提取模块构建、整体框架训练及跨视角步态识别。
8.为了提取基础的步态特征，设计了骨干网络对输入数据进行特征提取。为了获取丰富的时序信息，构建运动特征混合模块来混合相邻帧之间的特征。为了提取到详细的空间信息，构建细粒度多阶段特征提取模块，使网络能够发现更加细粒度的步态特征，并对空间上的步态特征信息分配不同权重。为了提高整个框架结构的判别能力，联合三元组损失和交叉熵损失对整个模型进行训练。最终利用训练好的网络模型进行跨视角步态识别。
9.术语解释：
10.1、注册数据集(gallery)：指提前录入的已知标签的步态样本所构成的数据集。
11.2、查询数据集(probe)：指用来作为测试输入、待识别的步态样本所构成的数据集。
12.3、步态轮廓序列：指对原始的步态rgb图像序列经过分割、裁剪、二值化等处理后得到的二值化图像序列。
13.4、步态识别：指将查询数据集中的每个样本与注册数据集中的所有样本进行比对，并将查询数据集中的样本识别为与注册数据集中最接近的那个样本标签。
14.5、跨视角步态识别：指注册数据集和查询数据集中的步态样本在不同视角下采集，利用注册数据集中已知的单个视角下的步态样本建模，实现不同视角下采集的查询数据集的识别。
15.本发明的技术方案如下：
16.一种基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法，包括步骤如下：
17.(1)构建特征提取模型的网络架构，并进行训练；包括：
18.a、骨干网络构建
19.骨干网络包括若干卷积层和若干池化层，输入的步态轮廓序列在骨干网络中逐级提取浅层、中层和深层三个阶段的步态特征；
20.b、运动特征混合模块构建
21.运动特征混合模块用于提取步态特征的时序信息；具体是指：对经由步骤a提取到的步态特征，使用运动特征混合模块进行进一步的特征提取，融合相邻帧之间的步态信息，提取时序信息；
22.c、细粒度多阶段特征提取模块构建
23.细粒度多阶段特征提取模块用于：对通过步骤a和步骤b得到的包括时序信息的步态特征进行水平划分实现初步的空间特征提取；在得到初步的空间特征后，引入一个分支进行进一步水平划分，并在此基础上加入空间注意力机制，提取到更加细粒度的特征；
24.d、整体框架训练
25.特征提取模型的网络架构为基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别网络，包括骨干网络、运动特征混合模块以及细粒度多阶段特征提取模块；
26.对经由细粒度多阶段特征提取模块得到的更加细粒度的特征进行拼接，作为最终的特征表示，利用三元组损失和交叉熵损失组合训练整个的基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别网络；
27.(2)跨视角步态识别，包括：将查询数据集的步态轮廓序列送入训练好的基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别网络中提取步态特征，通过与注册数
据集进行特征相似性比对完成查询样本的身份识别。
28.根据本发明优选的，步骤a中，骨干网络构建，包括：
29.骨干网络包括顺序连接的卷积层conv-1、卷积层conv-2、卷积层conv-3、池化层maxpool-1、卷积层conv-4、卷积层conv-5、池化层maxpool-2、卷积层conv-6、卷积层conv-7；输入步态轮廓序列之后，卷积层conv-3输出浅层阶段的步态特征，卷积层conv-5输出中层阶段的步态特征，卷积层conv-7输出深层阶段的步态特征。
30.根据本发明优选的，步骤b中，运动特征混合模块构建，包括：
31.运动特征混合模块包括两个卷积核大小为1
×
1的2d卷积层、一个参数共享的卷积核大小为3
×
3的2d卷积层、拼接单元、sigmoid激活函数层、点乘及加和操作单元、最大值池化层；
32.经由步骤a得到不同阶段的输出特征图其中，s表示一个步态图像序列样本的序列长度，c表示骨干网络对应阶段的输出通道数，h和w分别表示每一帧特征图的长和宽；
33.首先，将不同阶段的输出特征图xn经过一个卷积核大小为1
×
1的2d卷积层，将输出通道降低α倍，α为超参数；
34.然后，对于每一帧输出的特征图将后续的所有帧特征经过一个参数共享的卷积核大小为3
×
3的2d卷积层，将相邻帧之间做相加处理，如式(i)所示：
[0035][0036]
式(i)中，conv3×3(
·
)表示卷积核大小为3
×
3的2d卷积层；表示第t+1帧融合了帧级信息后的特征图，x
t
′
+1
表示x
t
′
的下一帧特征图；
[0037]
再次，在得到融合了帧级信息后的特征图后，将所有帧级特征图通过拼接单元拼接起来并经过一个卷积核为1
×
1的2d卷积层恢复为原始尺寸的特征图，如式(ii)所示：
[0038][0039]
式(ii)中，为融合相邻帧信息后的特征图，conv1×1(
·
)表示卷积核为1
×
1的2d卷积层，concat(
·
)表示沿时序维度的拼接操作；表示第t帧融合了帧级信息后的特征图；
[0040]
最后，在得到融合相邻帧信息后的特征图后，将其经过sigmoid激活函数层的sigmoid激活函数，并通过点乘及加和操作单元与原始的特征图xn进行像素级点乘以及加和操作，得到运动特征混合模块的输出如式(iii)所示：
[0041][0042]
并通过最大值池化层对x
out
进行像素级最大值池化操作，如式(iv)所示：
[0043]fn
＝framemax(x
out
)
ꢀꢀꢀ
(iv)
[0044]
将序列糅合为一帧多阶段特征图即提取到的包括时序信息的步态特征，framemax(
·
)表示像素级最大值池化操作。
[0045]
进一步优选的，α取16。
[0046]
根据本发明优选的，步骤c中，细粒度多阶段特征提取模块构建，包括：
[0047]
粒度多阶段特征提取模块包括上半分支和下半分支；上半分支包括由池化层和全连接层；下半分支包括裁剪操作、池化层、空间注意力模块和全连接层；其中，空间注意力模块包括全连接层、relu激活函数、全连接层、sigmoid激活函数；
[0048]
在提取多阶段特征图fn后，将每一个阶段的特征进行水平划分为k块，得到在w维度进行最大值和均值池化，经过一个全连接层得到一部分特征映射如式(v)及(vi)所示：
[0049]
x
reshape
＝reshapeh(fn)
ꢀꢀꢀ
(v)
[0050][0051]
其中，reshapeh(
·
)表示水平方向的变形操作，avgpoolingw(
·
)和maxpoolingw(
·
)分别表示w维度的均值池化和最大值池化，fc1(
·
)表示全连接层；
[0052]
在得到x
reshape
后，将其沿h维度按照细粒度分块倍率r进行进一步的切分，得到如式(vii)所示：
[0053]
x
slice
＝sliceh(x
reshape
)
ꢀꢀꢀ
(vii)
[0054]
式(vii)中，sliceh(
·
)表示h维度切分操作；
[0055]
对x
slice
在w维度进行最大值和均值池化，然后经过一个全连接层得到细粒度特征如式(viii)所示：
[0056]
xr＝fc2(avgpoolingw(x
slice
)+maxpoolingw(x
slice
))
ꢀꢀꢀ
(viii)
[0057]
将细粒度特征xr送入空间注意力模块中；将xr沿通道维度和最后一个维度进行均值以及最大值池化，然后经过全连接层和relu激活函数，最后再通过一个全连接层和一个sigmoid激活函数得到不同分块上的不同权重系数，并与原来的特征xr相乘后得到有权重的细粒度分块特征如式(ix)所示：
[0058][0059]
其中，sa(
·
)表示空间注意力模块；
[0060]
得到有权重的细粒度分块特征后，将其沿水平分块维度进行最大值池化与均值池化操作，使得到的分块数量恢复到k个，得到特征映射
[0061]
将两部分特征映射与进行拼接并经过一个全连接层，得到每一个阶段最终的特征映射
[0062]
最终，将浅层、中层、深层阶段提取得到的三个最终的特征即更加细粒度的特征映射拼接就得到了最终的行人步态特征表示即最终的特征表示f。
[0063]
根据本发明优选的，步骤d中，整体框架训练，包括：
[0064]
使用三元组损失函数时，三元组损失函数如式(x)所示。
[0065][0066]
式(x)中，为该批次中第i个三元组的锚样本步态特征，表示与锚样本身份相
同的正样本步态特征，表示与锚样本身份不同的负样本步态特征，n
tri
表示在一个批次之中所能构成的三元组的总数，ai表示第i个三元组的锚样本，pi表示第i个三元组的正样本，ni表示第i个三元组的负样本；
[0067]
使用交叉熵损失函数时，将受试者的最终的特征表示f经过一个输出通道数与身份总数n相等的全连接层；接下来，经过softmax激活函数将f中的每一个元素的值fi归一化为一个大小为[0,1]之间的身份概率值表示预测行人身份为i的概率大小，如式(xi)所示：
[0068][0069]
最终得到该样本的行人特征的预测标签分布而对于行人样本的真实标签，使用独热向量来表示，即对于身份为k的行人，构造独热向量令其第k个元素为1，即其他元素值为0；则交叉熵计算如式(xii)所示：
[0070][0071]
式(xii)中，表示身份为k的行人的真实标签分布，表示身份为k的行人的预测标签分布，表示中第i个元素，表示中第i个元素；
[0072]
假设一个批次样本数量为b，交叉熵损失函数定义如式(xiii)：
[0073][0074]
整体框架训练时，采用的损失函数如式(xiv)所示。
[0075][0076]
通过最小化三元组损失和交叉熵损失的组合来完成整个的基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别网络的训练。
[0077]
根据本发明优选的，步骤e中，跨视角步态识别，包括：
[0078]
将注册数据集输入训练好的基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别网络中，将训练好的基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别网络的输出的特征作为每个步态轮廓序列的整体特征表示，最终得到注册数据集的特征数据库；
[0079]
将待识别的查询数据集中的样本送入训练好的基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别网络，输出查询数据集的最终的特征表示；
[0080]
将查询数据集中的每一个步态样本的最终的特征表示与得到的注册数据集中的所有特征进行欧氏距离计算，最终将该查询样本识别为注册数据集中与之欧氏距离最小的特征的标签，输出查询样本的身份标签，完成跨视角步态识别。
[0081]
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理
器执行所述计算机程序时实现基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法的步骤。
[0082]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法的步骤。
[0083]
本发明的有益效果为：
[0084]
1、本发明提出的运动特征混合模块能够实现帧级特征混合，使每一帧步态特征都能融合相邻帧之间的特征，以此来提取运动信息，丰富时序特征。
[0085]
2、本发明提出的细粒度多阶段特征提取模块，实现了空间维度上细化步态特征，并在该模块中加入了空间注意力机制，能够关注到更加有用的细粒度步态特征。
附图说明
[0086]
图1为本发明中运动特征混合模块的网络架构示意图；
[0087]
图2(a)为本发明中细粒度多阶段特征提取模块的网络架构示意图；
[0088]
图2(b)为本发明中细粒度多阶段特征提取模块中空间注意力模块的网络架构示意图；
[0089]
图3为本发明中提出的基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法的整体框架示意图。
具体实施方式
[0090]
下面通过实施例并结合附图对本发明做进一步说明，但不限于此。
[0091]
实施例1
[0092]
一种基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法，如图3所示，包括步骤如下：
[0093]
(1)构建特征提取模型的网络架构，并进行训练；包括：
[0094]
a、骨干网络构建
[0095]
骨干网络包括若干卷积层和若干池化层，输入的步态轮廓序列在骨干网络中逐级提取浅层、中层和深层三个阶段的步态特征；
[0096]
b、运动特征混合模块构建
[0097]
运动特征混合模块用于提取步态特征的时序信息；具体是指：对经由步骤a提取到的步态特征，使用运动特征混合模块进行进一步的特征提取，融合相邻帧之间的步态信息，提取时序信息；
[0098]
c、细粒度多阶段特征提取模块构建
[0099]
细粒度多阶段特征提取模块用于：对通过步骤a和步骤b得到的包括时序信息的步态特征进行水平划分实现初步的空间特征提取；在得到初步的空间特征后，引入一个分支进行进一步水平划分，并在此基础上加入空间注意力机制，提取到更加细粒度的特征；
[0100]
d、整体框架训练
[0101]
特征提取模型的网络架构为基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别网络，包括骨干网络、运动特征混合模块以及细粒度多阶段特征提取模块；
[0102]
对经由细粒度多阶段特征提取模块得到的更加细粒度的特征进行拼接，作为最终
的特征表示，利用三元组损失和交叉熵损失组合训练整个的基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别网络；以得到具有很好的拟合能力以及判别性强的特征提取模型；
[0103]
(2)跨视角步态识别，包括：将查询数据集的步态轮廓序列送入训练好的基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别网络中提取步态特征，通过与注册数据集进行特征相似性比对完成查询样本的身份识别。
[0104]
实施例2
[0105]
根据实施例1所述的一种基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法，其区别在于：
[0106]
步骤a中，骨干网络构建，包括：
[0107]
骨干网络由一系列卷积层和池化层构成，输入的步态轮廓序列在骨干网络中逐级提取浅层、中层和深层三个阶段的步态特征，其网络结构以及参数如表1所示。骨干网络包括顺序连接的卷积层conv-1、卷积层conv-2、卷积层conv-3、池化层maxpool-1、卷积层conv-4、卷积层conv-5、池化层maxpool-2、卷积层conv-6、卷积层conv-7；输入步态轮廓序列之后，将两个池化层(maxpool-1、maxpool-2)应用于相应的卷积层之后，减小了特征图的尺寸并将骨干网络划分为了三个阶段，特征图也根据不同阶段相应的拥有更加高级的语义信息。卷积层conv-3输出浅层阶段的步态特征，卷积层conv-5输出中层阶段的步态特征，卷积层conv-7输出深层阶段的步态特征。卷积层conv-3、conv-5、conv-7的输出作为后续步骤的输入。这样操作的特点就是能够同时提取到步态序列的低级和高级特征，更浅的阶段提取到的更多的是图像的纹理、轮廓等特征，而较深的阶段则更关注于高级、更为抽象的语义信息。能够使得后续网络能够处理更加丰富的信息，并使网络更具拓展性；
[0108]
表1
[0109][0110][0111]
步骤b中，运动特征混合模块构建，运动特征混合模块专注于提取步态特征的时序
信息。对经由步骤a提取到的步态特征，使用运动特征混合模块进行进一步的特征提取，能够融合相邻帧之间的步态信息，以此达到对时序信息的提取，包括：
[0112]
运动特征混合模块包括两个卷积核大小为1
×
1的2d卷积层、一个参数共享的卷积核大小为3
×
3的2d卷积层、拼接单元、sigmoid激活函数层、点乘及加和操作单元、最大值池化层；运动特征混合模块的网络架构如图1所示；
[0113]
经由步骤a得到不同阶段的输出特征图(即浅层、中层和深层三个阶段的步态特征)，其中，s表示一个步态图像序列样本的序列长度，c表示骨干网络对应阶段的输出通道数，h和w分别表示每一帧特征图的长和宽；
[0114]
首先，将不同阶段的输出特征图xn经过一个卷积核大小为1
×
1的2d卷积层，将输出通道降低α倍，α为超参数；α取16。
[0115]
然后，对于每一帧输出的特征图将后续的所有帧特征经过一个参数共享的卷积核大小为3
×
3的2d卷积层，将相邻帧之间做相加处理，如式(i)所示：
[0116][0117]
式(i)中，conv3×3(
·
)表示卷积核大小为3
×
3的2d卷积层；表示第t+1帧融合了帧级信息后的特征图，x
t
′
+1
表示x
t
′
的下一帧特征图；
[0118]
再次，在得到融合了帧级信息后的特征图后，将所有帧级特征图通过拼接单元拼接起来并经过一个卷积核为1
×
1的2d卷积层恢复为原始尺寸的特征图，如式(ii)所示：
[0119][0120]
式(ii)中，为融合相邻帧信息后的特征图，conv1×1(
·
)表示卷积核为1
×
1的2d卷积层，concat(
·
)表示沿时序维度的拼接操作；表示第t帧融合了帧级信息后的特征图；
[0121]
最后，在得到融合相邻帧信息后的特征图后，将其经过sigmoid激活函数层的sigmoid激活函数，并通过点乘及加和操作单元与原始的特征图xn进行像素级点乘以及加和操作，得到运动特征混合模块的输出如式(iii)所示：
[0122][0123]
并通过最大值池化层对x
out
进行像素级最大值池化操作，如式(iv)所示：
[0124]fn
＝framemax(x
out
)
ꢀꢀ
(iv)
[0125]
将序列糅合为一帧多阶段特征图即提取到的包括时序信息的步态特征，framemax(
·
)表示像素级最大值池化操作。不仅可以提取到最明显的时序特征，而且也能合理地减少计算量，便于后续地网络操作；
[0126]
步骤c中，细粒度多阶段特征提取模块构建，细粒度多阶段特征提取模块对通过步骤a和步骤b得到多个阶段的步态特征进行水平划分实现初步的空间特征提取；然后在得到水平划分的特征后，引入一个分支对该特征进行进一步水平划分，并在此基础上加入空间注意力机制，以提取到更加细粒度的特征，包括：
[0127]
粒度多阶段特征提取模块包括上半分支和下半分支；上半分支包括由池化层和全
连接层；下半分支包括裁剪操作、池化层、空间注意力模块和全连接层；其中，空间注意力模块包括全连接层、relu激活函数、全连接层、sigmoid激活函数；
[0128]
细粒度多阶段特征提取模块如附图2(a)所示。在提取多阶段特征图fn后，将每一个阶段的特征进行水平划分为k块，浅层阶段特征包含信息较少，于是，提取整体和分块数目较少的块的特征，将特征图水平分为k＝2块；而深层阶段包含信息较多于是提取分块数目较多的块的细节特征，将特征图水平分为k＝16块；中层阶段将特征图水平分为k＝4块，得到在w维度进行最大值和均值池化，经过一个全连接层得到一部分特征映射如式(v)及(vi)所示：
[0129]
x
reshape
＝reshapeh(fn)
ꢀꢀꢀ
(v)
[0130][0131]
其中，reshapeh(
·
)表示水平方向的变形操作，avgpoolingw(
·
)和maxpoolingw(
·
)分别表示w维度的均值池化和最大值池化，fc1(
·
)表示全连接层；本发明中将全连接层的隐藏层设置为256维；
[0132]
为了发现更加细粒度的特征信息，在得到x
reshape
后，将其沿h维度按照细粒度分块倍率r进行进一步的切分，得到如式(vii)所示：
[0133]
x
slice
＝sliceh(x
reshape
)
ꢀꢀꢀ
(vii)
[0134]
式(vii)中，sliceh(
·
)表示h维度切分操作；
[0135]
对x
slice
在w维度进行最大值和均值池化，然后经过一个全连接层得到细粒度特征如式(viii)所示：
[0136]
xr＝fc2(avgpoolingw(x
slice
)+maxpoolingw(x
slice
))
ꢀꢀꢀ
(viii)
[0137]
将细粒度特征xr送入空间注意力模块中；将xr沿通道维度和最后一个维度进行均值以及最大值池化，然后经过全连接层和relu激活函数，最后再通过一个全连接层和一个sigmoid激活函数得到不同分块上的不同权重系数，并与原来的特征xr相乘后得到有权重的细粒度分块特征如式(ix)所示：
[0138][0139]
其中，sa(
·
)表示空间注意力模块，空间注意力模块如附图2(b)所示；
[0140]
得到有权重的细粒度分块特征后，将其沿水平分块维度进行最大值池化与均值池化操作，使得到的分块数量恢复到k个，得到特征映射
[0141]
将两部分特征映射与进行拼接并经过一个全连接层，得到每一个阶段最终的特征映射
[0142]
最终，将浅层、中层、深层阶段提取得到的三个最终的特征即更加细粒度的特征映射拼接就得到了最终的行人步态特征表示即最终的特征表示f。
[0143]
步骤d中，整体框架训练，对经由细粒度多阶段特征提取模块得到的特征进行拼接作为最终的特征表示，利用三元组损失和交叉熵损失组合训练整个基于运动特征混合和细粒度多阶段特征提取的步态识别网络，以得到具有很好的拟合能力以及判别性强的特征提取模型。包括：
[0144]
使用三元组损失函数时，三元组损失函数如式(x)所示。
[0145][0146]
式(x)中，为该批次中第i个三元组的锚样本步态特征，表示与锚样本身份相同的正样本步态特征，表示与锚样本身份不同的负样本步态特征，n
tri
表示在一个批次之中所能构成的三元组的总数，ai表示第i个三元组的锚样本，pi表示第i个三元组的正样本，ni表示第i个三元组的负样本；
[0147]
使用交叉熵损失函数时，将受试者的最终的特征表示f经过一个输出通道数与身份总数n相等的全连接层；接下来，经过softmax激活函数将f中的每一个元素的值fi归一化为一个大小为[0,1]之间的身份概率值表示预测行人身份为i的概率大小，如式(xi)所示：
[0148][0149]
最终得到该样本的行人特征的预测标签分布而对于行人样本的真实标签，使用独热向量来表示，即对于身份为k的行人，构造独热向量令其第k个元素为1，即其他元素值为0；则交叉熵计算如式(xii)所示：
[0150][0151]
式(xii)中，表示身份为k的行人的真实标签分布，表示身份为k的行人的预测标签分布，表示中第i个元素，表示中第i个元素；
[0152]
假设一个批次样本数量为b，交叉熵损失函数定义如式(xiii)：
[0153][0154]
整体框架训练时，采用的损失函数如式(xiv)所示。
[0155][0156]
通过最小化三元组损失和交叉熵损失的组合来完成整个的基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别网络的训练。这样可以保证特征提取模型能够快速收敛，同时达到较好的识别性能。
[0157]
步骤e中，跨视角步态识别，包括：
[0158]
将注册数据集输入训练好的基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别网络中，将训练好的基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别网络的输出的特征作为每个步态轮廓序列的整体特征表示，最终得到注册数据集的特征数据库；
[0159]
将待识别的查询数据集中的样本送入训练好的基于运动特征混合和细粒度多阶
段特征提取的跨视角步态识别网络，输出查询数据集的最终的特征表示；
[0160]
将查询数据集中的每一个步态样本的最终的特征表示与得到的注册数据集中的所有特征进行欧氏距离计算，最终将该查询样本识别为注册数据集中与之欧氏距离最小的特征的标签，输出查询样本的身份标签，完成跨视角步态识别。
[0161]
本实施例中，将步态轮廓序列尺寸均为64
×
44，在训练阶段，取用每一段步态序列的30帧，在测试阶段，取用步态序列的全部帧。在超参数设置方面，将多阶段金字塔分块数k设置为：浅层时k＝2块、中层时k＝4块、深层时k＝16块，将细粒度分块倍率r设置为：浅层时r1＝4、中层时r1＝2、深层时r1＝1。三元组损失的余量margin固定为0.2，使用sgd优化器训练网络，初始学习率设置为0.1。训练过程中，在第8k次降低学习率为0.01，在第16k次降低为0.001，总共训练30k次。
[0162]
casia-b步态数据集由中国科学院自动化研究所创建，在实验室环境下对124个受试者的步态数据进行了采集，每个受试者包含三种类型的序列：正常类型(normal，nm)、背包类型(bagging，bg)以及着装类型(clothing，cl)。其中，每一个受试者有六段正常类型的步态序列：nm-01、nm-02、nm-03、nm-04、nm-05、nm-06；两段背包类型的步态序列：bg-01、bg-02；两段着装类型的步态序列：cl-01、cl-02。对于每一组不同类型的步态样本，均包括11个视角(0
°
，18
°
，36
°
，54
°
，72
°
，90
°
，108
°
，126
°
，154
°
，162
°
，180
°
)下的不同情况。综上所述，casia-b步态数据集总共包含约124
×
10
×
11
×
13640段步态序列，本实施例实验在casia-b数据集上训练网络模型时使用前74人的全部样本，测试集使用数据集的后50人的样本。测试集中，取nm-01、nm-02、nm-03、nm-04作为注册样本，nm-05、nm-06作为正常类型的查询样本，bg-01、bg-02作为背包类型的查询样本，cl-01、cl-02作为着装类型的查询样本。设置每一个批次大小为128，即挑选8个身份的受试者，每个受试者挑选16段序列。为了验证本发明提出的一种基于时空信息增强和多尺度显著性特征提取的跨视角步态识别方法的先进性，将本发明与现有的7种先进步态识别方法在casia-b数据集上进行比较，包括geinet、cnn-lb、acl、gaitpart、gaitset、gcem、gaitslice。表2为casia-b数据库不同查询视角的跨视角识别平均rank-1准确率(％)。
[0163]
表2
[0164]
[0165][0166]
由表2可看出，本发明方法在所有跨行走条件情况下，均取得了最好的识别效果。在三种类型的行走条件下，本发明方法的识别率超过所有其他先进的对比方法，分别达到了97.7％、93.5％和81.8％。
[0167]
实施例3
[0168]
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现实施例1或2基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法的步骤。
[0169]
实施例4
[0170]
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现实施例1或2基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法的步骤。

技术特征：
1.一种基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法，其特征在于，包括步骤如下：(1)构建特征提取模型的网络架构，并进行训练；包括：a、骨干网络构建骨干网络包括若干卷积层和若干池化层，输入的步态轮廓序列在骨干网络中逐级提取浅层、中层和深层三个阶段的步态特征；b、运动特征混合模块构建运动特征混合模块用于提取步态特征的时序信息；具体是指：对经由步骤a提取到的步态特征，使用运动特征混合模块进行进一步的特征提取，融合相邻帧之间的步态信息，提取时序信息；c、细粒度多阶段特征提取模块构建细粒度多阶段特征提取模块用于：对通过步骤a和步骤b得到的包括时序信息的步态特征进行水平划分实现初步的空间特征提取；在得到初步的空间特征后，引入一个分支进行进一步水平划分，并在此基础上加入空间注意力机制，提取到更加细粒度的特征；d、整体框架训练特征提取模型的网络架构为基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别网络，包括骨干网络、运动特征混合模块以及细粒度多阶段特征提取模块；对经由细粒度多阶段特征提取模块得到的更加细粒度的特征进行拼接，作为最终的特征表示，利用三元组损失和交叉熵损失组合训练整个的基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别网络；(2)跨视角步态识别，包括：将查询数据集的步态轮廓序列送入训练好的基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别网络中提取步态特征，通过与注册数据集进行特征相似性比对完成查询样本的身份识别。2.根据权利要求1所述的一种基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法，其特征在于，步骤a中，骨干网络构建，包括：骨干网络包括顺序连接的卷积层conv-1、卷积层conv-2、卷积层conv-3、池化层maxpool-1、卷积层conv-4、卷积层conv-5、池化层maxpool-2、卷积层conv-6、卷积层conv-7；输入步态轮廓序列之后，卷积层conv-3输出浅层阶段的步态特征，卷积层conv-5输出中层阶段的步态特征，卷积层conv-7输出深层阶段的步态特征。3.根据权利要求1所述的一种基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法，其特征在于，步骤b中，运动特征混合模块构建，包括：运动特征混合模块包括两个卷积核大小为1
×
1的2d卷积层、一个参数共享的卷积核大小为3
×
3的2d卷积层、拼接单元、sigmoid激活函数层、点乘及加和操作单元、最大值池化层；经由步骤a得到不同阶段的输出特征图其中，s表示一个步态图像序列样本的序列长度，c表示骨干网络对应阶段的输出通道数，h和w分别表示每一帧特征图的长和宽；首先，将不同阶段的输出特征图x
n
经过一个卷积核大小为1
×
1的2d卷积层，将输出通道
降低α倍，α为超参数；然后，对于每一帧输出的特征图将后续的所有帧特征经过一个参数共享的卷积核大小为3
×
3的2d卷积层，将相邻帧之间做相加处理，如式(i)所示：式(i)中，conv3×3(
·
)表示卷积核大小为3
×
3的2d卷积层；表示第t+1帧融合了帧级信息后的特征图，x
t
′
+1
表示x
t
′
的下一帧特征图；再次，在得到融合了帧级信息后的特征图后，将所有帧级特征图通过拼接单元拼接起来并经过一个卷积核为1
×
1的2d卷积层恢复为原始尺寸的特征图，如式(ii)所示：式(ii)中，为融合相邻帧信息后的特征图，conv1×1(
·
)表示卷积核为1
×
1的2d卷积层，concat(
·
)表示沿时序维度的拼接操作；表示第t帧融合了帧级信息后的特征图；最后，在得到融合相邻帧信息后的特征图后，将其经过sigmoid激活函数层的sigmoid激活函数，并通过点乘及加和操作单元与原始的特征图x
n
进行像素级点乘以及加和操作，得到运动特征混合模块的输出如式(iii)所示：并通过最大值池化层对x
out
进行像素级最大值池化操作，如式(iv)所示：f
n
＝framemax(x
out
)(iv)将序列糅合为一帧多阶段特征图即提取到的包括时序信息的步态特征，framemax(
·
)表示像素级最大值池化操作。4.根据权利要求3所述的一种基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法，其特征在于，α取16。5.根据权利要求1所述的一种基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法，其特征在于，步骤c中，细粒度多阶段特征提取模块构建，包括：粒度多阶段特征提取模块包括上半分支和下半分支；上半分支包括由池化层和全连接层；下半分支包括裁剪操作、池化层、空间注意力模块和全连接层；其中，空间注意力模块包括全连接层、relu激活函数、全连接层、sigmoid激活函数；在提取多阶段特征图f
n
后，将每一个阶段的特征进行水平划分为k块，得到在w维度进行最大值和均值池化，经过一个全连接层得到一部分特征映射如式(v)及(vi)所示：x
reshape
＝reshape
h
(f
n
)
ꢀꢀꢀꢀ
(v)其中，reshape
h
(
·
)表示水平方向的变形操作，avgpooling
w
(
·
)和maxpooling
w
(
·
)分别表示w维度的均值池化和最大值池化，fc1(
·
)表示全连接层；在得到x
reshape
后，将其沿h维度按照细粒度分块倍率r进行进一步的切分，得到
如式(vii)所示：x
slice
＝slice
h
(x
reshape
)
ꢀꢀꢀꢀ
(vii)式(vii)中，slice
h
(
·
)表示h维度切分操作；对x
slice
在w维度进行最大值和均值池化，然后经过一个全连接层得到细粒度特征如式(viii)所示：x
r
＝fc2(avgpooling
w
(x
slice
)+maxpooling
w
(x
slice
))
ꢀꢀꢀꢀ
(viii)将细粒度特征x
r
送入空间注意力模块中；将x
r
沿通道维度和最后一个维度进行均值以及最大值池化，然后经过全连接层和relu激活函数，最后再通过一个全连接层和一个sigmoid激活函数得到不同分块上的不同权重系数，并与原来的特征x
r
相乘后得到有权重的细粒度分块特征如式(ix)所示：其中，sa(
·
)表示空间注意力模块；得到有权重的细粒度分块特征后，将其沿水平分块维度进行最大值池化与均值池化操作，使得到的分块数量恢复到k个，得到特征映射将两部分特征映射与进行拼接并经过一个全连接层，得到每一个阶段最终的特征映射最终，将浅层、中层、深层阶段提取得到的三个最终的特征即更加细粒度的特征映射拼接就得到了最终的行人步态特征表示即最终的特征表示f。6.根据权利要求1所述的一种基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法，其特征在于，步骤d中，整体框架训练，包括：使用三元组损失函数时，三元组损失函数如式(x)所示：式(x)中，为该批次中第i个三元组的锚样本步态特征，表示与锚样本身份相同的正样本步态特征，表示与锚样本身份不同的负样本步态特征，n
tri
表示在一个批次之中所能构成的三元组的总数，a
i
表示第i个三元组的锚样本，p
i
表示第i个三元组的正样本，n
i
表示第i个三元组的负样本；使用交叉熵损失函数时，将受试者的最终的特征表示f经过一个输出通道数与身份总数n相等的全连接层；接下来，经过softmax激活函数将f中的每一个元素的值f
i
归一化为一个大小为[0,1]之间的身份概率值表示预测行人身份为i的概率大小，如式(xi)所示：最终得到该样本的行人特征的预测标签分布而对于行人样本的真实标签，使用独热向量来表示，即对于身份为k的行人，构造独热向量令其第k个元素为1，即
其他元素值为0；则交叉熵计算如式(xii)所示：式(xii)中，表示身份为k的行人的真实标签分布，表示身份为k的行人的预测标签分布，表示中第i个元素，表示中第i个元素；假设一个批次样本数量为b，交叉熵损失函数定义如式(xiii)：整体框架训练时，采用的损失函数如式(xiv)所示:通过最小化三元组损失和交叉熵损失的组合来完成整个的基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别网络的训练。7.根据权利要求1-6任一所述的一种基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法，其特征在于，步骤e中，跨视角步态识别，包括：将注册数据集输入训练好的基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别网络中，将训练好的基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别网络的输出的特征作为每个步态轮廓序列的整体特征表示，最终得到注册数据集的特征数据库；将待识别的查询数据集中的样本送入训练好的基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别网络，输出查询数据集的最终的特征表示；将查询数据集中的每一个步态样本的最终的特征表示与得到的注册数据集中的所有特征进行欧氏距离计算，最终将该查询样本识别为注册数据集中与之欧氏距离最小的特征的标签，输出查询样本的身份标签，完成跨视角步态识别。8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7任一所述的基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法的步骤。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一所述的基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法的步骤。

技术总结
本发明涉及一种基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法，包括：骨干网络构建：提取基础步态的浅层、中层、深层特征；运动特征混合模块构建：融合相邻帧之间的步态信息，提取时序信息；细粒度多阶段特征提取模块构建：对特征进行水平划分提取初步的空间特征。并引入一个分支进行进一步水平划分，加入空间注意力机制，提取更加细粒度的特征；整体框架训练；跨视角步态识别。本发明能够有效利用步态轮廓序列中的帧级时间信息，以及细粒度的空间信息，在特征提取方面更加有效。效。效。


技术研发人员：贲晛烨 刘畅 王亮 庄兆意 单彩峰 黄永祯 郝敬全 辛国茂 郑其荣 刘大扬 李玉军
受保护的技术使用者：山东大学 中国科学院自动化研究所 山东建筑大学 山东科技大学 银河水滴科技(北京)有限公司 泰华智慧产业集团股份有限公司
技术研发日：2023.06.15
技术公布日：2023/9/7