基于深度学习的行人重识别方法与流程

1.本发明涉及计算机视觉领域，更具体地，涉及一种基于深度学习的行人重识别方法。


背景技术：

2.行人重识别旨在从多个监控相机非重叠区域中实现对指定行人的检索。随着深度学习的发展，成为计算机视觉领域的研究热点。但是行人图像光照不一、姿态多样以及数据集样本太少等因素使得行人重识别任务具有很大的挑战性。行人重识别的研究分为基于传统的方法和基于深度学习的方法。传统的方法主要是依靠手工提取相关底层特征，例如hsv、sift、lbp和hog等。但是传统方法难以实现较高的识别性能。
3.因此，有必要开发一种基于深度学习的行人重识别方法。
4.公开于本发明背景技术部分的信息仅仅旨在加深对本发明的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。


技术实现要素：

5.本发明提出了一种基于深度学习的行人重识别方法，其解决了目前行人重识别网络特征提取能力弱、泛化能力差、模型鲁棒性差等缺陷，提高深度学习算法在行人重识别任务中的识别精度。
6.本公开实施例提供了一种基于深度学习的行人重识别方法，包括：
7.针对行人重识别的输入数据进行批量归一化，获得训练样本；
8.建立深度特征提取网络架构进行特征提取；
9.通过训练样本对所述深度特征提取网络架构进行训练；
10.根据训练好的深度特征提取网络架构进行行人重识别。
11.优选地，针对行人重识别的输入数据进行批量归一化包括：
12.输入个数为n的数据，通过仿射变换得到一组新的数据ξ＝{x(1),x(2),
…
,x(n)}；
13.计算ξ＝{x(1),x(2),
…
,x(n)}的均值μ
ξ
，即：
[0014][0015]
计算ξ＝{x(1),x(2),
…
,x(n)}的方差σ2ξ，即：
[0016][0017]
进行归一化处理，得到即：
[0018][0019]
通过对归一化后的数据进行尺度变化和偏移，得到批量归一化数据：
[0020][0021]
优选地，所述深度特征提取网络架构包括第一分支与第二分支；输入图像经过两个分支进行特征处理后，将两个分支的特征输入到多尺度池化模块中进行池化操作，然后将输出的特征输入到分类器中进行分类。
[0022]
优选地，输入图像经过所述第一分支进行特征处理包括：
[0023]
原始输入特征通过扩展形态学轮廓算法提取形态学特征；
[0024]
通过局部二值模式算法提取纹理特征；
[0025]
将纹理特征和形态学特征进行特征融合，融合方式为对应位置的像素值相加后取平均，得到融合后特征；
[0026]
将融合后特征x送入错序注意力模块，得到h'，然后将h'再次输入到错序注意力模块，得到全局特征图h
″
。
[0027]
优选地，原始输入特征通过扩展形态学轮廓算法提取形态学特征包括：
[0028]
设f(x,y)和g(x,y)为定义在二维离散空间f和g上的两个离散函数，其中f(x,y)为输入图像的每一通道图像在点(x,y)处的灰度函数，g(x,y)为结构元素在点(x,y)处的灰度函数，df为f(x,y)的域，dg为g(x,y)的域，则f(x,y)对g(x,y)的扩展腐蚀和扩展膨胀被分别定义为：
[0029][0030][0031]
其中，dist算子为距离算子，
[0032]
定义扩展开、闭运算分别为：
[0033][0034][0035]
经过多次开闭运算，得到多幅形态学特征图像，将多幅形态学特征图像组合叠加，组成形态学特征。
[0036]
优选地，通过局部二值模式算法提取纹理特征包括：
[0037]
原始的局部二值模式算子定义为在n
l
*m
l
尺寸的窗口内，以窗口中心像素为阈值，将相邻的n
l
·ml
个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，n
l
*m
l
邻域内的n
l
·ml
个点经比较可产生n
l
·ml
位二进制数，即得到该窗口中心像素点的lbp值，并用这个值来反映该区域的纹理信息用公式表示如下：
[0038][0039]
其中，(xc,yc)为中间像素点的值，p为邻域的第p个像素，i
p
为邻域像素的灰度值，
ic为中心像素的灰度值，s(x)为符号函数，定义如下：
[0040][0041]
对输入图像的每个通道提取纹理特征并重新组合得到纹理特征。
[0042]
优选地，所述错序注意力模块进行以下步骤：
[0043]
设特征图x的大小为c
×w×
h，其中c为通道数，两个1
×
1卷积降维得到两个特征图q和k，q和k的大小为c
′×h×
w，c
′
小于c；
[0044]
对q和k进行融合操作得到注意力图a，a的大小为(h+w-1)
×
(w
×
h)，融合操作如下式：
[0045][0046]
其中u表示q中某一位置的像素，qu为一个c
′
的向量，ωu是对应的从k中取与u同行同列的所有像素组成的向量，其维度为(h+w-1)
×c′
，ω
i,u
表示ωu中的第i个向量，其中i＝[1,...,h+w-1]；
[0047]
x通过一个1
×
1卷积得到特征图v，v的大小与x相等，对于特征图v中的每一个位置u，得到一个向量vu∈rc和一个集合φu∈r
(h+w-1)
×c，集合φu是特征图v中所有与u同行同列的像素集合；
[0048]
将特征图a和v进行聚合操作得到上下文信息，聚合操作如下式：
[0049][0050]
其中，h
′u表示位置u和通道i在特征图h
′
中对应的特征向量，xu表示位置u和通道i在特征图x中对应的特征向量。
[0051]
优选地，输入图像经过所述第二分支进行特征处理包括：
[0052]
将原始图片输入到深度可分离卷积模块中，深度可分离卷积和常规卷积核的计算量对比公式如下式所示：
[0053][0054]
其中，ca和cb分别为深度可分离卷积和常规卷积核一次计算所产生的计算量，f
in
为深度可分离卷积模块输入特征图的尺寸，m为深度可分离卷积模块输入特征图的通道数，f
ps
为卷积核的平面尺寸，n为输出特征图的通道数；
[0055]
在通道拼接后连接通道混排进行分组卷积，对分组后的获得的特征图进行重组，所述分组卷积的损失函数包括类别损失l
class
、置信度损失l
cconf
、边界框损失l
bound
：
[0056][0057]
[0058][0059]
其中，α和γ分别为缓解正负样本不平衡与难易样本不平衡问题的超参数，为中心区域图，y
ybc
为预测的中心区域图，n为中心区域正样本总个数，用于规范化分类损失，j为正样本点索引，和分别为偏移量回归与边界框回归在中心区域点处的预测值。
[0060]
优选地，将所述第一分支与第二分支的输出特征输入到多尺度池化模块，其中，多尺度池化模块采用3中尺寸的池化层，分别为3
×
3、5
×
5、7
×
7。
[0061]
优选地，所述分类器为softmax分类函数。
[0062]
其有益效果在于：通过模型整体架构设计及在行人重识别任务中的应用，深度可分离卷积模块、分组卷积及损失函数的设计以及错序注意力模块的设计，能够实现算法模型对行人重识别图像的深度特征提取，采用了多种特征进行融合，能够保证模型对各类特征的深度挖掘，进而提高模型的识别精度，所提出的模型算法具有较高的鲁棒性和泛化能力。
[0063]
本发明的方法具有其它的特性和优点，这些特性和优点从并入本文中的附图和随后的具体实施方式中将是显而易见的，或者将在并入本文中的附图和随后的具体实施方式中进行详细陈述，这些附图和具体实施方式共同用于解释本发明的特定原理。
附图说明
[0064]
通过结合附图对本发明示例性实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施例中，相同的参考标号通常代表相同部件。
[0065]
图1示出了根据本发明的一个实施例的基于深度学习的行人重识别方法的步骤的流程图。
[0066]
图2示出了根据本发明的一个实施例的深度特征提取网络架构的示意图。
具体实施方式
[0067]
下面将更详细地描述本发明的优选实施方式。虽然以下描述了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。
[0068]
为便于理解本发明实施例的方案及其效果，以下给出一个具体应用示例。本领域技术人员应理解，该示例仅为了便于理解本发明，其任何具体细节并非意在以任何方式限制本发明。
[0069]
实施例1
[0070]
图1示出了根据本发明的一个实施例的基于深度学习的行人重识别方法的步骤的流程图。
[0071]
如图1所示，该基于深度学习的行人重识别方法包括：步骤101，针对行人重识别的输入数据进行批量归一化，获得训练样本；步骤102，建立深度特征提取网络架构进行特征
提取；步骤103，通过训练样本对深度特征提取网络架构进行训练；步骤104，根据训练好的深度特征提取网络架构进行行人重识别。
[0072]
在一个示例中，针对行人重识别的输入数据进行批量归一化包括：
[0073]
输入个数为n的数据，通过仿射变换得到一组新的数据ξ＝{x(1),x(2),
…
,x(n)}；
[0074]
计算ξ＝{x(1),x(2),
…
,x(n)}的均值μ
ξ
，即：
[0075][0076]
计算ξ＝{x(1),x(2),
…
,x(n)}的方差σ2ξ，即：
[0077][0078]
进行归一化处理，得到即：
[0079][0080]
通过对归一化后的数据进行尺度变化和偏移，得到批量归一化数据：
[0081][0082]
在一个示例中，深度特征提取网络架构包括第一分支与第二分支；输入图像经过两个分支进行特征处理后，将两个分支的特征输入到多尺度池化模块中进行池化操作，然后将输出的特征输入到分类器中进行分类。
[0083]
在一个示例中，输入图像经过第一分支进行特征处理包括：
[0084]
原始输入特征通过扩展形态学轮廓算法提取形态学特征；
[0085]
通过局部二值模式算法提取纹理特征；
[0086]
将纹理特征和形态学特征进行特征融合，融合方式为对应位置的像素值相加后取平均，得到融合后特征；
[0087]
将融合后特征x送入错序注意力模块，得到h'，然后将h'再次输入到错序注意力模块，得到全局特征图h
″
。
[0088]
在一个示例中，原始输入特征通过扩展形态学轮廓算法提取形态学特征包括：
[0089]
设f(x,y)和g(x,y)为定义在二维离散空间f和g上的两个离散函数，其中f(x,y)为输入图像的每一通道图像在点(x,y)处的灰度函数，g(x,y)为结构元素在点(x,y)处的灰度函数，df为f(x,y)的域，dg为g(x,y)的域，则f(x,y)对g(x,y)的扩展腐蚀和扩展膨胀被分别定义为：
[0090][0091][0092]
其中，dist算子为距离算子，
[0093]
定义扩展开、闭运算分别为：
[0094][0095][0096]
经过多次开闭运算，得到多幅形态学特征图像，将多幅形态学特征图像组合叠加，组成形态学特征。
[0097]
在一个示例中，通过局部二值模式算法提取纹理特征包括：
[0098]
原始的局部二值模式算子定义为在n
l
*m
l
尺寸的窗口内，以窗口中心像素为阈值，将相邻的n
l
·ml
个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，n
l
*m
l
邻域内的n
l
·ml
个点经比较可产生n
l
·ml
位二进制数，即得到该窗口中心像素点的lbp值，并用这个值来反映该区域的纹理信息用公式表示如下：
[0099][0100]
其中，(xc,yc)为中间像素点的值，p为邻域的第p个像素，i
p
为邻域像素的灰度值，ic为中心像素的灰度值，s(x)为符号函数，定义如下：
[0101][0102]
对输入图像的每个通道提取纹理特征并重新组合得到纹理特征。
[0103]
在一个示例中，错序注意力模块进行以下步骤：
[0104]
设特征图x的大小为c
×w×
h，其中c为通道数，两个1
×
1卷积降维得到两个特征图q和k，q和k的大小为c
′×h×
w，c
′
小于c；
[0105]
对q和k进行融合操作得到注意力图a，a的大小为(h+w-1)
×
(w
×
h)，融合操作如下式：
[0106][0107]
其中u表示q中某一位置的像素，qu为一个c
′
的向量，ωu是对应的从k中取与u同行同列的所有像素组成的向量，其维度为(h+w-1)
×c′
，ω
i,u
表示ωu中的第i个向量，其中i＝[1,...,h+w-1]；
[0108]
x通过一个1
×
1卷积得到特征图v，v的大小与x相等，对于特征图v中的每一个位置u，得到一个向量vu∈rc和一个集合φu∈r
(h+w-1)
×c，集合φu是特征图v中所有与u同行同列的像素集合；
[0109]
将特征图a和v进行聚合操作得到上下文信息，聚合操作如下式：
[0110][0111]
其中，h
′u表示位置u和通道i在特征图h
′
中对应的特征向量，xu表示位置u和通道i在特征图x中对应的特征向量。
[0112]
在一个示例中，输入图像经过第二分支进行特征处理包括：
[0113]
将原始图片输入到深度可分离卷积模块中，深度可分离卷积和常规卷积核的计算
量对比公式如下式所示：
[0114][0115]
其中，ca和cb分别为深度可分离卷积和常规卷积核一次计算所产生的计算量，f
in
为深度可分离卷积模块输入特征图的尺寸，m为深度可分离卷积模块输入特征图的通道数，f
ps
为卷积核的平面尺寸，n为输出特征图的通道数；
[0116]
在通道拼接后连接通道混排进行分组卷积，对分组后的获得的特征图进行重组，分组卷积的损失函数包括类别损失l
class
、置信度损失l
cconf
、边界框损失l
bound
：
[0117][0118][0119][0120]
其中，α和γ分别为缓解正负样本不平衡与难易样本不平衡问题的超参数，为中心区域图，y
ybc
为预测的中心区域图，n为中心区域正样本总个数，用于规范化分类损失，j为正样本点索引，和分别为偏移量回归与边界框回归在中心区域点处的预测值。
[0121]
在一个示例中，将第一分支与第二分支的输出特征输入到多尺度池化模块，其中，多尺度池化模块采用3中尺寸的池化层，分别为3
×
3、5
×
5、7
×
7。
[0122]
在一个示例中，分类器为softmax分类函数。
[0123]
具体地，针对行人重识别的输入数据进行批量归一化，获得训练样本。
[0124]
在利用深度学习进行行人重识别的任务时，为了获取具有代表性的特征，一般都会采用层数较深的网络结构，但是随之而来的问题就是参数的数量增多，小部分的参数对于网络是比较容易调节的，其过程也并不复杂，但是参数一旦超过了网络所能承受的最大参数数量，就会给网络的训练带来困难，对参数进行调节也会变得不易，参数的变化是随着梯度的下降而改变的，参数更新后的数据与原数据差距很小，数据的迭代次数和网络的层数都会影响参数的变化，这两个原因会导致参数的变化更加剧烈，参数的变化会直接影响网络的训练。批量归一化能够解决由于参数变化导致的训练困难，批量归一化是专门针对深度领域中的不足提出的，其作用将传输过程中的数据通过某种计算让数据标准化，所有传输的数据进行标准化可以让原始数据原有的表达能力保持不变，传输过程种中的数据也不会发生较大的偏移，同时批量归一化操作也会给训练带来优势，训练的速度会因为批量归一化的加入而加快。本发明采用具体的批量归一化算法过程如下：
[0125]
输入小批量(mini-batch)且个数为n的数据，通过仿射变换得到一组新的数据ξ＝{x(1),x(2),
…
,x(n)}；对ξ＝{x(1),x(2),
…
,x(n)}求均值，得到μ
ξ
，即：
[0126][0127]
对ξ＝{x(1),x(2),
…
,x(n)}求方差，得到σ2ξ，即：
[0128][0129]
进行归一化处理，得到即：
[0130][0131]
为保证分母恒大于0，需使ε是一个大于0且很小的常数。
[0132]
通过对归一化后的数据进行尺度变化和偏移这两个操作得到最终的批量归一化数据：
[0133][0134]
中间引入尺度变化γ和偏移β两个参数，其作用是通过学习将数据恢复成原始状态。
[0135]
图2示出了根据本发明的一个实施例的深度特征提取网络架构的示意图。
[0136]
通过如图2所示的深度特征提取网络架构进行特征提取。输入图像经过两个分支进行特征处理后，将两个分支的特征输入到多尺度池化模块中进行池化操作，然后将输出的特征输入到分类器中进行分类。
[0137]
对于第一分支：
[0138]
首先，原始输入特征经过扩展形态学轮廓算法提取形态学特征。设f(x,y)和g(x,y)为定义在二维离散空间f和g上的两个离散函数，其中f(x,y)为输入图像的每一通道图像在点(x,y)处的灰度函数，g(x,y)为结构元素在点(x,y)处的灰度函数，df为f(x,y)的域，dg为g(x,y)的域，则f(x,y)对g(x,y)的扩展腐蚀和扩展膨胀被分别定义为:
[0139][0140][0141]
其中，dist算子为距离算子。在经典形态学中，开、闭运算是去除比结构元素小的目标的一部分，寻求一种能把比结构元素小的目标作为一个整体直接去除的方法，同时把多尺度分析的概念运用到扩展形态学方法中。
[0142]
因此dist算子的选择是一个关键点，本发明中选择定义如下：
[0143][0144]
定义扩展开、闭运算分别为
[0145][0146][0147]
经过多次开闭运算，得到多幅形态学特征图像。将多幅形态学特征图像组合叠加，组成形态学特征。
[0148]
然后，利用局部二值模式算法提取纹理特征。局部二值模式是一种用来描述图像局部纹理特征的算子，它具有旋转不变性和灰度不变性等显著的优点。原始的局部二值模式算子定义为在n
l
*m
l
尺寸的窗口内，以窗口中心像素为阈值，将相邻的n
l
·ml
个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，n
l
*m
l
邻域内的n
l
·ml
个点经比较可产生n
l
·ml
位二进制数，即得到该窗口中心像素点的lbp值，并用这个值来反映该区域的纹理信息用公式表示如下：
[0149][0150]
其中，(xc,yc)为中间像素点的值，p为邻域的第p个像素，i
p
为邻域像素的灰度值，ic为中心像素的灰度值，s(x)为符号函数，定义如下：
[0151][0152]
对输入图像的每个通道提取纹理特征并重新组合得到纹理特征。
[0153]
然后，将纹理特征和形态学特征进行特征融合，融合方式为对应位置的像素值相加后取平均，得到融合后特征。
[0154]
然后，将融合后的特征x送入错序注意力模块，得到h',然后将h'再次输入到错序注意力模块，得到全局特征图h
″
，接下来将阐述错序注意力模块的细节。
[0155]
错序注意力模块收集水平和垂直方向的上下文信息，以增强像素级代表能力。设特征图x的大小为c
×w×
h，其中c为通道数，首先两个1
×
1卷积降维得到两个特征图q和k，q和k的大小为c
′×h×
w，c
′
小于c。接着对q和k进行融合操作得到注意力图a，a的大小为(h+w-1)
×
(w
×
h)。融合操作如下式：
[0156][0157]
其中u表示q中某一位置的像素，此处认为qu为一个c
′
的向量，ωu是指对应的从k中取与u同行同列的所有像素组成的向量，所以其维度为(h+w-1)
×c′
，ω
i,u
表示ωu中的第i个向量，其中i＝[1,...,h+w-1]。
[0158]
同时x还通过一个1
×
1卷积得到特征图v，v的大小与x相等。对于特征图v中的每一个位置u，可以得到一个向量vu∈rc和一个集合φu∈r
(h+w-1)
×c，集合φu是特征图v中所有与u同行同列的像素集合。最后将特征图a和v进行聚合操作得到上下文信息，聚合操作如下式：
[0159][0160]
其中，h
′u表示位置u和通道i在特征图h
′
中对应的特征向量，xu表示位置u和通道i在特征图x中对应的特征向量。
[0161]
特征图中的每个位置通过预测的稀疏注意力图与处于同一行和同一列中的其他位置连接，将上下文信息添加到局部特征x以增强局部特征并增强像素方式表示。因此，它
具有广泛的上下文视图，并根据空间注意力图选择性地聚合上下文。
[0162]
对于第二分支：
[0163]
首先将原始图片输入到深度可分离卷积模块中，深度可分离卷积和常规卷积核的计算量对比公式如下式所示：
[0164][0165]
其中，ca和cb分别为深度可分离卷积和常规卷积核一次计算所产生的计算量，f
in
为深度可分离卷积模块输入特征图的尺寸，m为深度可分离卷积模块输入特征图的通道数，f
ps
为卷积核的平面尺寸，n为输出特征图的通道数。
[0166]
除了卷积操作以外，本发明采用分组卷积来进一步降低特征提取计算过程中的计算量。在通道拼接后连接通道混排对分组后的获得的特征图进行重组，来提高特征图的泛化性。本发明所使用的损失函数由类别损失l
class
、置信度损失l
cconf
、边界框损失l
bound
三部分，具体如下式所示：
[0167][0168]
其中，α和γ分别为缓解正负样本不平衡与难易样本不平衡问题的超参数，本发明选取α＝5，γ＝2，为中心区域图，y
ybc
为预测的中心区域图。n为中心区域正样本总个数，用于规范化分类损失。
[0169][0170][0171]
其中，j为正样本点索引，和分别为偏移量回归与边界框回归在中心区域点处的预测值。
[0172]
将第一分支与第二分支的输出特征输入到多尺度池化模块，其中，该模块采用3中尺寸的池化层，分别为3
×
3、5
×
5、7
×
7。
[0173]
然后，将池化后的特征输入到分类器中进行分类，本发明采用的分类器为softmax分类函数。
[0174]
通过利用训练样本对上述模型进行训练，将训练好的模型应用到行人重识别任务中进行应用。
[0175]
本领域技术人员应理解，上面对本发明的实施例的描述的目的仅为了示例性地说明本发明的实施例的有益效果，并不意在将本发明的实施例限制于所给出的任何示例。
[0176]
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。

技术特征：
1.一种基于深度学习的行人重识别方法，其特征在于，包括：针对行人重识别的输入数据进行批量归一化，获得训练样本；建立深度特征提取网络架构进行特征提取；通过训练样本对所述深度特征提取网络架构进行训练；根据训练好的深度特征提取网络架构进行行人重识别。2.根据权利要求1所述的基于深度学习的行人重识别方法，其中，针对行人重识别的输入数据进行批量归一化包括：输入个数为n的数据，通过仿射变换得到一组新的数据ξ＝{x(1),x(2),
…
,x(n)}；计算ξ＝{x(1),x(2),
…
,x(n)}的均值μ
ξ
，即：计算ξ＝{x(1),x(2),
…
,x(n)}的方差σ2ξ，即：进行归一化处理，得到即：通过对归一化后的数据进行尺度变化和偏移，得到批量归一化数据：3.根据权利要求1所述的基于深度学习的行人重识别方法，其中，所述深度特征提取网络架构包括第一分支与第二分支；输入图像经过两个分支进行特征处理后，将两个分支的特征输入到多尺度池化模块中进行池化操作，然后将输出的特征输入到分类器中进行分类。4.根据权利要求3所述的基于深度学习的行人重识别方法，其中，输入图像经过所述第一分支进行特征处理包括：原始输入特征通过扩展形态学轮廓算法提取形态学特征；通过局部二值模式算法提取纹理特征；将纹理特征和形态学特征进行特征融合，融合方式为对应位置的像素值相加后取平均，得到融合后特征；将融合后特征x送入错序注意力模块，得到h'，然后将h'再次输入到错序注意力模块，得到全局特征图h
″
。5.根据权利要求4所述的基于深度学习的行人重识别方法，其中，原始输入特征通过扩展形态学轮廓算法提取形态学特征包括：设f(x,y)和g(x,y)为定义在二维离散空间f和g上的两个离散函数，其中f(x,y)为输入图像的每一通道图像在点(x,y)处的灰度函数，g(x,y)为结构元素在点(x,y)处的灰度函数，d
f
为f(x,y)的域，d
g
为g(x,y)的域，则f(x,y)对g(x,y)的扩展腐蚀和扩展膨胀被分别定义为：
其中，dist算子为距离算子，定义扩展开、闭运算分别为：定义扩展开、闭运算分别为：经过多次开闭运算，得到多幅形态学特征图像，将多幅形态学特征图像组合叠加，组成形态学特征。6.根据权利要求4所述的基于深度学习的行人重识别方法，其中，通过局部二值模式算法提取纹理特征包括：原始的局部二值模式算子定义为在n
l
*m
l
尺寸的窗口内，以窗口中心像素为阈值，将相邻的n
l
·
m
l
个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，n
l
*m
l
邻域内的n
l
·
m
l
个点经比较可产生n
l
·
m
l
位二进制数，即得到该窗口中心像素点的lbp值，并用这个值来反映该区域的纹理信息用公式表示如下：其中，(x
c
,y
c
)为中间像素点的值，p为邻域的第p个像素，i
p
为邻域像素的灰度值，i
c
为中心像素的灰度值，s(x)为符号函数，定义如下：对输入图像的每个通道提取纹理特征并重新组合得到纹理特征。7.根据权利要求4所述的基于深度学习的行人重识别方法，其中，所述错序注意力模块进行以下步骤：设特征图x的大小为c
×
w
×
h，其中c为通道数，两个1
×
1卷积降维得到两个特征图q和k，q和k的大小为c
′×
h
×
w，c
′
小于c；对q和k进行融合操作得到注意力图a，a的大小为(h+w-1)
×
(w
×
h)，融合操作如下式：其中u表示q中某一位置的像素，q
u
为一个c
′
的向量，ω
u
是对应的从k中取与u同行同列的所有像素组成的向量，其维度为(h+w-1)
×
c
′
，ω
i,u
表示ω
u
中的第i个向量，其中i＝[1,...,h+w-1]；x通过一个1
×
1卷积得到特征图v，v的大小与x相等，对于特征图v中的每一个位置u，得到一个向量v
u
∈r
c
和一个集合φ
u
∈r
(h+w-1)
×
c
，集合φ
u
是特征图v中所有与u同行同列的像素集合；
将特征图a和v进行聚合操作得到上下文信息，聚合操作如下式：其中，h
′
u
表示位置u和通道i在特征图h
′
中对应的特征向量，x
u
表示位置u和通道i在特征图x中对应的特征向量。8.根据权利要求3所述的基于深度学习的行人重识别方法，其中，输入图像经过所述第二分支进行特征处理包括：将原始图片输入到深度可分离卷积模块中，深度可分离卷积和常规卷积核的计算量对比公式如下式所示：其中，ca和cb分别为深度可分离卷积和常规卷积核一次计算所产生的计算量，f
in
为深度可分离卷积模块输入特征图的尺寸，m为深度可分离卷积模块输入特征图的通道数，f
ps
为卷积核的平面尺寸，n为输出特征图的通道数；在通道拼接后连接通道混排进行分组卷积，对分组后的获得的特征图进行重组，所述分组卷积的损失函数包括类别损失l
class
、置信度损失l
cconf
、边界框损失l
bound
：：：其中，α和γ分别为缓解正负样本不平衡与难易样本不平衡问题的超参数，为中心区域图，y
ybc
为预测的中心区域图，n为中心区域正样本总个数，用于规范化分类损失，j为正样本点索引，和分别为偏移量回归与边界框回归在中心区域点处的预测值。9.根据权利要求3所述的基于深度学习的行人重识别方法，其中，将所述第一分支与第二分支的输出特征输入到多尺度池化模块，其中，多尺度池化模块采用3中尺寸的池化层，分别为3
×
3、5
×
5、7
×
7。10.根据权利要求3所述的基于深度学习的行人重识别方法，其中，所述分类器为softmax分类函数。

技术总结
本申请公开了一种基于深度学习的行人重识别方法。该方法可以包括：针对行人重识别的输入数据进行批量归一化，获得训练样本；建立深度特征提取网络架构进行特征提取；通过训练样本对深度特征提取网络架构进行训练；根据训练好的深度特征提取网络架构进行行人重识别。本发明解决了目前行人重识别网络特征提取能力弱、泛化能力差、模型鲁棒性差等缺陷，提高深度学习算法在行人重识别任务中的识别精度。度学习算法在行人重识别任务中的识别精度。度学习算法在行人重识别任务中的识别精度。


技术研发人员：尚兰芳
受保护的技术使用者：华迪计算机集团有限公司
技术研发日：2023.04.04
技术公布日：2023/7/12