一种基于双域融合和跨批次存储的行人重识别方法

1.本发明属于计算机视觉领域，涉及一种基于双域融合和跨批次存储的行人重识别方法。


背景技术：

2.随着智能监控设备的迅猛发展和公共安全需求的增加，大量的摄像机被部署在机场、社区、街道和校园等公共场所。这些摄像头网络通常跨越大面积的地理区域，拍摄场景各异，并且每天会产生大量的监控视频。由于目前监控系统中部署的摄像头绝大多数分辨率较低，且拍摄的角度和距离不理想，在这些监控视频中无法获取高清的人脸图像，因此无法利用人脸识别技术完成行人的追踪和定位等任务。在人脸识别技术失效的场景中，行人重识别技术可以作为人脸识别的补充技术来完成特定行人的检索与追踪等工作。行人重识别技术在实际场景中应用十分广泛，包括智能安防、智能寻人、智慧城市、公安侦查等。
3.基于有监督学习的行人重识别方法在公开数据集上达到了极高的水平，首位命中率已经接近100％。但是，其代价是耗时和繁琐的行人图像身份标注，高昂的标签制作成本限制了行人重识别模型在现实场景中的实用性。为了缓解行人重识别模型对行人真实身份标签的依赖性，研究人员一直致力于研究基于无监督学习的跨域行人重识别方法。但是，当把在某个场景下训练出来的优良模型直接放在一个未知场景中测试时，模型性能会下降。出现这种退化现象的主要原因在于不同的数据集具有不同的数据分布，这种分布差异也被叫做域漂移或者域偏差，源域和目标域之间不可避免的域偏差在很大程度上限制了无监督域自适应行人重识别模型的泛化性。
4.因此，本发明提出一种基于双域融合和跨批次存储的无监督跨域行人重识别方法，通过在特征层面上对源域显著性特征和目标域显著性特征进行深层次地融合，以此达到降低域差的目的。另外，为了进一步提高跨域行人重识别模型的性能，本发明还设计了一种跨批次存储队列机制用于在更大范围内挖掘困难样本，而不仅仅局限于当前一个批次内的数据。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种基于双域融合和跨批次存储的行人重识别方法。
6.为达到上述目的，本发明提供如下技术方案：
7.一种基于双域融合和跨批次存储的行人重识别方法，该方法包括以下步骤：
8.s1：获取源域和目标域行人图像数据集，并进行相应的预处理操作；
9.s2：构建双域融合模块，并将其嵌入到在resnet-50网络中，得到新的主干网络ddf-net；
10.s3：在每个轮次开始训练之前，首先，使用ddf-net对目标域中的所有行人图像进行特征提取，然后，使用dbscan聚类算法对目标域行人特征进行聚类，最后，根据聚类结果
为每张目标域中的行人图像生成伪标签；
11.s4：在每个轮次开始训练之后，从源域数据中随机选取n张源域图像，从目标域数据中随机选取n张目标域图像，二者组合成一个批次的数据量送入ddf-net中进行特征提取；
12.s5：对ddf-net输出的源域和目标域的原始特征进行如下三种操作：
13.(1)将特征送入混合分类器中并使用交叉熵损失l
ce
对模型进行约束，最终使模型获得分类能力；
14.(2)使用batch-hard三元组损失l
tri
计算特征间的相似度；
15.(3)将特征存储到跨批次存储队列cbmq中并使用加权对比损失l
wcl
在每次迭代过程中将cbmq中的样本分成l组负样本和k组正样本，并根据余弦相似度自适应地为每组正负样本对赋予一定的权重；
16.s6：对ddf-net输出的源域和目标域的融合特征和领域因子分别施加融合损失lf和多样性损失ld；
17.s7：根据s5～s6得在整个训练过程中ddf-net模型的总损失函数为：
18.l
total
＝(1-μ1)
·
l
ce
+μ
·
l
wcl
+μ1·
lf+μ2·
ld19.s8：重复步骤s3～s7，直至训练完成设定的最大迭代轮次，保存模型权重，结束训练；
20.s9：将查询集和候选集中的行人图像送入s8已经训练完毕的模型中进行特征提取，使用距离度量函数计算待查询图像和候选集中所有图像的相似度，并将相似度得分按照从大到小的顺序进行排序，输出排序列表和性能指标。
21.可选的，所述s1具体为：将行人图像分辨率统一调整为256
×
128，使用随机翻转、随机擦除、随机裁减对输入图像进行增强处理。
22.可选的，所述双域融合模块具体放置在resnet-50的stage0和stage1之间。所述一个批次包含n对源域和目标域样本，经过resnet-50的stage0阶段后，每一个样本对都能够输出一个源域特征和一个目标域特征并将二者作为双域融合模块的输入部分；双域融合模块输出部分包括三个特征：源域特征gs、目标域特征g
t
以及将源域特征和目标域特征进行深度融合后得到的融合特征首先，gs和g
t
分别执行全局平均池化和全局最大池化操作得到在源域分支上将特征和特征逐元素相加得到特征在目标域分支上将特征和特征执行同样的操作获得特征接下来和各自经过一个全连接层，并将二者的输出特征向量按照逐元素相加的形式进行合并，接着，合并结果会被送入一个多层感知机中进行维度的改变；之后会输出领域因子a＝[as,a
t
]，其中as和a
t
满足as+a
t
＝1，领域因子的具体计算过程如下：
[0023]
[0024]
其中，δ(g)代表softmax函数；
[0025]
最后，让领域因子as和源域的增强特征执行相乘操作，让领域因子a
t
和目标域的增强特征执行相乘操作，二者得到的结果再逐元素相加得到两个域最终的融合特征融合域特征的计算过程如下：
[0026][0027]
对于输入的单域特征gi，其中i＝[s,t]用于代表源域或者目标域，首先，沿着通道方向分别对gi执行最大池化和平均池化操作得到特征和接着，使用sigmoid函数处理和得到权重矩阵和然后，让和与gi每个通道中的特征图分别进行元素级别的相乘操作，得到通道维度上的显著性特征和最后，将显著性特征和显著性特征逐元素相加得到增强特征增强特征的具体计算过程如下所示：
[0028][0029]
其中，φ(g)代表sigmoid函数；cmp(g)和cap(g)分别代表沿着通道方向的最大池化函数和平均池化函数。
[0030]
可选的，对所述融合特征施加融合约束，对所述领域因子施加多样性约束；
[0031]
所述融合约束保证融合特征位于源域和目标域的最短测定路径上并与源域特征和目标域特征保持正确的距离关系，让源域和目标域之间特征分布最小化，让整个域迁移过程更加平滑，融合损失的具体计算过程如下：
[0032][0033]
其中，n代表批次的大小；k代表域标签；代表mini-batch中第i个样本对经过双域融合模块输出的领域因子；代表当前批次中第i个样本对经过双域融合模块输出的源域特征和目标域特征；代表当前批次中第i个样本对经过双域融合模块输出的融合域特征；
[0034]
通过最大化每个领域因子的标准差来避免融合域特征对源域或者目标域其中一个过度适应，多样性损失定义如下：
[0035][0036]
其中，σ(g)代表标准差；n代表批次的大小。
[0037]
可选的，所述s5中，混合分类器的组成部分如下：一个l2正则化层、一个具有cs+c
t
维度的全连接层和一个softmax激活函数，其中，cs代表源域数据中真实行人身份类别数，c
t
代表目标域中伪标签的个数。
[0038]
可选的，所述跨批次存储队列cbmq的工作流程为：首先在内存中建立一个队列q，以表示，其中代表队列中第i个行人的特征向量，为特征对应的身份标签；在源域中为行人图像的真实标签；在目标域中为行人图像特征经过聚类得到的伪标签；在ddf-net模型开始训练之前，首先初始化q的值为0，初始化q的长度为m，其中m的计算过程如下所示：
[0039]
m＝(ns+n
t
)
·r[0040]
其中，ns和n
t
分别代表源域数据和目标域数据中的行人图像数量；内存系数r表示一个可以控制队列长度的超参数，其中r∈[0,1]；
[0041]
ddf-net以队列的形式来维护和更新cbmq；当一个批次的样本数据到来时，首先使用ddf-net提取当前批次内所有行人图像的特征，然后判断队列是否已满：如果队列q不满的话，直接将当前批的特征及标签压入队列；如果队列q已满的话，则先将位于队首的一个批次大小的数据剔除出队列，然后再将当前批次的数据送进队列中，在整个更新过程中始终保持队列q的长度为m。
[0042]
可选的，在所述cbmq中使用加权对比损失在不同批次间挖掘困难的正负样本对，具体过程为：根据当前批次中每个锚样本的标签信息将cbmq中的所有样本分成l组负样本和k组正样本，并根据余弦相似度自适应地为每组正负样本对赋予一定的权重，从而让模型更加有效地挖掘出困难样本对；加权对比损失计算过程如下所示：
[0043][0044]
其中，γ代表放缩因子；和分别代表负、正样本对的权重系数；α代表阈值；和s
ip
分别代表当前批次中锚样本和cbmq中负、正样本之间的余弦相似度。
[0045]
本发明的有益效果在于：
[0046]
(1)针对无监督跨域行人重识别中源域和目标域存在较大域偏差的问题，本发明对resnet-50网络进行改进，在resnet-50中添加双域融合模块形成ddf-net网络，双域融合模块能够对源域和目标域的显著特征进行深层次地融合，并通过融合损失和多样性损失保证了融合特征的有效性，能够在特征层面上大幅度地降低域偏差；
[0047]
(2)本发明设计了一种跨批次存储队列机制，cbmq能够存储源域和目标域中所有行人图像的特征及其身份标签，在cbmq中使用加权对比损失能够为当前批次内的每个锚样本选择更多的困难样本，进一步提升无监督跨域行人重识别模型的性能。
[0048]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0049]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优
选的详细描述，其中：
[0050]
图1为本发明方法的整体框架图；
[0051]
图2为双域融合模块的架构图；
[0052]
图3为显著特征生成的过程图；
[0053]
图4为混合分类器的架构图；
[0054]
图5为cbmq的架构图；
[0055]
图6为本发明方法的流程图。
具体实施方式
[0056]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0057]
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0058]
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0059]
请参阅图1～图6，本发明提出一种基于双域融合和跨批次存储的无监督跨域行人重识别方法，如图1所示为本发明方法的整体框架图，具体包括以下步骤：
[0060]
s1：获取源域和目标域行人图像数据集，并进行相应的预处理操作；
[0061]
s2：构建双域融合模块，并将其嵌入到在resnet-50网络中，得到双域融合网络ddf-net；
[0062]
图2为双域融合模块示意图，该模块的整个操作过程为：
[0063]
在一个批次中共包含n对源域和目标域样本，经过resnet-50的stage0阶段后，每一个样本对都可以输出一个源域特征和一个目标域特征并将二者作为双域融合模块的输入部分。双域融合模块输出部分包括三个特征：源域特征gs、目标域特征g
t
以及将源域特征和目标域特征进行深度融合后得到的融合特征首先，gs和g
t
分别执行全局平均池化和全局最大池化操作得到在源域分支上将特征和特征逐元素相加得到特征在目标域分支上将特征和特征执行同样的操作获得特征接下来和各自经过一个全连接层，
并将二者的输出特征向量按照逐元素相加的形式进行合并，接着，合并结果会被送入一个多层感知机中进行维度的改变。之后会输出领域因子a＝[as,a
t
]，其中as和a
t
满足as+a
t
＝1，领域因子的具体计算过程如下：
[0064][0065]
其中，δ(g)代表softmax函数。
[0066]
最后，让领域因子as和源域的增强特征执行相乘操作，让领域因子a
t
和目标域的增强特征执行相乘操作，二者得到的结果再逐元素相加得到两个域最终的融合特征融合域特征的计算过程如下：
[0067][0068]
图3为增强特征生成过程示意图，整个操作过程为：
[0069]
对于输入的单域特征gi，其中i＝[s,t]用于代表源域或者目标域，首先，沿着通道方向分别对gi执行最大池化和平均池化操作得到特征和接着，使用sigmoid函数处理和得到权重矩阵和然后，让si
cmp
和与gi每个通道中的特征图分别进行元素级别的相乘操作，得到通道维度上的显著性特征和最后，将显著性特征和显著性特征逐元素相加得到增强特征增强特征的具体计算过程如下所示：
[0070][0071]
其中，φ(g)代表sigmoid函数；cmp(g)和cap(g)分别代表沿着通道方向的最大池化函数和平均池化函数。
[0072]
s3：在每个轮次开始训练之前，首先，使用ddf-net对目标域中的所有行人图像进行特征提取，然后，使用dbscan聚类算法对目标域行人特征进行聚类，最后，根据聚类结果为每张目标域中的行人图像生成伪标签；
[0073]
s4：在每个轮次开始训练之后，从源域数据中随机选取n张源域图像，从目标域数据中随机选取n张目标域图像，二者组合成一个批次的数据量送入ddf-net中进行特征提取；
[0074]
s5：对ddf-net输出的源域和目标域的原始特征进行如下三种操作：(1)将特征送入混合分类器中并使用交叉熵损失l
ce
对模型进行约束，最终使模型获得分类能力；(2)使用batch-hard三元组损失l
tri
计算特征间的相似度；(3)将特征存储到跨批次存储队
列cbmq中并使用加权对比损失l
wcl
在每次迭代过程中将cbmq中的样本分成l组负样本和k组正样本，并根据余弦相似度自适应地为每组正负样本对赋予一定的权重；
[0075]
图4为混合分类器的示意图，整个操作过程为：
[0076]
ddf-net网络输出的特征首先经过一个l2正则化层进行正则操作，然后经过一个具有cs+c
t
维度的全连接层进行降维操作，最后经过一个softmax激活函数对特征进行预测。
[0077]
图5为cbmq的示意图，整个操作过程为：
[0078]
首先在内存中建立一个队列q，以表示，其中代表队列中第i个行人的特征向量，为特征对应的身份标签。在源域中为行人图像的真实标签；在目标域中为行人图像特征经过聚类得到的伪标签。在ddf-net模型开始训练之前，首先初始化q的值为0，初始化q的长度为m，其中m的计算过程如下所示：
[0079]
m＝(ns+n
t
)
·r[0080]
其中，ns和n
t
分别代表源域数据和目标域数据中的行人图像数量；内存系数r表示一个可以控制队列长度的超参数，其中r∈[0,1]。
[0081]
ddf-net以队列的形式来维护和更新cbmq。当一个批次的样本数据到来时，首先使用ddf-net提取当前批次内所有行人图像的特征，然后判断队列是否已满：如果队列q不满的话，直接将当前批的特征及标签压入队列；如果队列q已满的话，则先将位于队首的一个批次大小的数据剔除出队列，然后再将当前批次的数据送进队列中，在整个更新过程中始终保持队列q的长度为m。
[0082]
在cbmq中使用加权对比损失在不同批次间挖掘困难的正负样本对，具体过程如下：根据当前批次中每个锚样本的标签信息将cbmq中的所有样本分成l组负样本和k组正样本，并根据余弦相似度自适应地为每组正负样本对赋予一定的权重，从而让模型更加有效地挖掘出困难样本对。加权对比损失计算过程如下所示：
[0083][0084]
其中，γ代表放缩因子；和分别代表负、正样本对的权重系数；α代表阈值；和分别代表当前批次中锚样本和cbmq中负、正样本之间的余弦相似度。
[0085]
s6：对ddf-net输出的源域和目标域的融合特征和领域因子分别施加融合损失lf和多样性损失ld，融合损失lf和多样性损失ld具体计算过程如下所示：
[0086][0087][0088]
s7：根据s5～s6可得在整个训练过程中ddf-net模型的总损失函数为：
[0089]
l
total
＝(1-μ1)
·
l
ce
+μ
·
l
wcl
+μ1·
lf+μ2·
ld[0090]
s8：重复步骤s3～s7，直至训练完成设定的最大迭代轮次，保存模型权重，结束训练；
[0091]
s9：将查询集和候选集中的行人图像送入s8已经训练完毕的模型中进行特征提取，使用距离度量函数计算待查询图像和候选集中所有图像的相似度，并将相似度得分按
照从大到小的顺序进行排序，输出排序列表和性能指标。
[0092]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

技术特征：
1.一种基于双域融合和跨批次存储的行人重识别方法，其特征在于：该方法包括以下步骤：s1：获取源域和目标域行人图像数据集，并进行相应的预处理操作；s2：构建双域融合模块，并将其嵌入到在resnet-50网络中，得到新的主干网络ddf-net；s3：在每个轮次开始训练之前，首先，使用ddf-net对目标域中的所有行人图像进行特征提取，然后，使用dbscan聚类算法对目标域行人特征进行聚类，最后，根据聚类结果为每张目标域中的行人图像生成伪标签；s4：在每个轮次开始训练之后，从源域数据中随机选取n张源域图像，从目标域数据中随机选取n张目标域图像，二者组合成一个批次的数据量送入ddf-net中进行特征提取；s5：对ddf-net输出的源域和目标域的原始特征进行如下三种操作：(1)将特征送入混合分类器中并使用交叉熵损失l
ce
对模型进行约束，最终使模型获得分类能力；(2)使用batch-hard三元组损失l
tri
计算特征间的相似度；(3)将特征存储到跨批次存储队列cbmq中并使用加权对比损失l
wcl
在每次迭代过程中将cbmq中的样本分成l组负样本和k组正样本，并根据余弦相似度自适应地为每组正负样本对赋予一定的权重；s6：对ddf-net输出的源域和目标域的融合特征和领域因子分别施加融合损失l
f
和多样性损失l
d
；s7：根据s5～s6得在整个训练过程中ddf-net模型的总损失函数为：l
total
＝(1-μ1)
·
l
ce
+μ
·
l
wcl
+μ1·
l
f
+μ2·
l
d
s8：重复步骤s3～s7，直至训练完成设定的最大迭代轮次，保存模型权重，结束训练；s9：将查询集和候选集中的行人图像送入s8已经训练完毕的模型中进行特征提取，使用距离度量函数计算待查询图像和候选集中所有图像的相似度，并将相似度得分按照从大到小的顺序进行排序，输出排序列表和性能指标。2.根据权利要求1所述的一种基于双域融合和跨批次存储的行人重识别方法，其特征在于：所述s1具体为：将行人图像分辨率统一调整为256
×
128，使用随机翻转、随机擦除、随机裁减对输入图像进行增强处理。3.根据权利要求1所述的一种基于双域融合和跨批次存储的行人重识别方法，其特征在于：所述双域融合模块具体放置在resnet-50的stage0和stage1之间；该模块的构建过程主要包括：所述一个批次包含n对源域和目标域样本，经过resnet-50的stage0阶段后，每一个样本对都能够输出一个源域特征和一个目标域特征并将二者作为双域融合模块的输入部分；双域融合模块输出部分包括三个特征：源域特征g
s
、目标域特征g
t
以及将源域特征和目标域特征进行深度融合后得到的融合特征首先，g
s
和g
t
分别执行全局平均池化和全局最大池化操作得到在源域分支上将特征和特征逐元素相加得到特征在目标域分支上将特征和特征执行同样的操作获得特征接下来和各自经过一个全连接层，
并将二者的输出特征向量按照逐元素相加的形式进行合并，接着，合并结果会被送入一个多层感知机中进行维度的改变；之后会输出领域因子a＝[a
s
,a
t
]，其中a
s
和a
t
满足a
s
+a
t
＝1，领域因子的具体计算过程如下：其中，δ(g)代表softmax函数；最后，让领域因子a
s
和源域的增强特征执行相乘操作，让领域因子a
t
和目标域的增强特征执行相乘操作，二者得到的结果再逐元素相加得到两个域最终的融合特征融合域特征的计算过程如下：对于输入的单域特征g
i
，其中i＝[s,t]用于代表源域或者目标域，首先，沿着通道方向分别对g
i
执行最大池化和平均池化操作得到特征和接着，使用sigmoid函数处理和得到权重矩阵和然后，让和与g
i
每个通道中的特征图分别进行元素级别的相乘操作，得到通道维度上的显著性特征和最后，将显著性特征和显著性特征逐元素相加得到增强特征增强特征的具体计算过程如下所示：其中，φ(g)代表sigmoid函数；cmp(g)和cap(g)分别代表沿着通道方向的最大池化函数和平均池化函数。4.根据权利要求1所述的一种基于双域融合和跨批次存储的行人重识别方法，其特征在于：对所述融合特征施加融合约束，对所述领域因子施加多样性约束；所述融合约束保证融合特征位于源域和目标域的最短测定路径上并与源域特征和目标域特征保持正确的距离关系，让源域和目标域之间特征分布最小化，让整个域迁移过程更加平滑，融合损失的具体计算过程如下：其中，n代表批次的大小；k代表域标签；代表mini-batch中第i个样本对经过双域融合模块输出的领域因子；代表当前批次中第i个样本对经过双域融合模块输出的源域特
征和目标域特征；代表当前批次中第i个样本对经过双域融合模块输出的融合域特征；通过最大化每个领域因子的标准差来避免融合域特征对源域或者目标域其中一个过度适应，多样性损失定义如下：其中，σ(g)代表标准差；n代表批次的大小。5.根据权利要求1所述的一种基于双域融合和跨批次存储的行人重识别方法，其特征在于：所述s5中，混合分类器的组成部分如下：一个l2正则化层、一个具有c
s
+c
t
维度的全连接层和一个softmax激活函数，其中，c
s
代表源域数据中真实行人身份类别数，c
t
代表目标域中伪标签的个数。6.根据权利要求1所述的一种基于双域融合和跨批次存储的行人重识别方法，其特征在于：所述跨批次存储队列cbmq的工作流程为：首先在内存中建立一个队列q，以表示，其中代表队列中第i个行人的特征向量，为特征对应的身份标签；在源域中为行人图像的真实标签；在目标域中为行人图像特征经过聚类得到的伪标签；在ddf-net模型开始训练之前，首先初始化q的值为0，初始化q的长度为m，其中m的计算过程如下所示：m＝(n
s
+n
t
)
·
r其中，n
s
和n
t
分别代表源域数据和目标域数据中的行人图像数量；内存系数r表示一个可以控制队列长度的超参数，其中r∈[0,1]；ddf-net以队列的形式来维护和更新cbmq；当一个批次的样本数据到来时，首先使用ddf-net提取当前批次内所有行人图像的特征，然后判断队列是否已满：如果队列q不满的话，直接将当前批的特征及标签压入队列；如果队列q已满的话，则先将位于队首的一个批次大小的数据剔除出队列，然后再将当前批次的数据送进队列中，在整个更新过程中始终保持队列q的长度为m。7.根据权利要求1所述的一种基于双域融合和跨批次存储的行人重识别方法，其特征在于：在所述cbmq中使用加权对比损失在不同批次间挖掘困难的正负样本对，具体过程为：根据当前批次中每个锚样本的标签信息将cbmq中的所有样本分成l组负样本和k组正样本，并根据余弦相似度自适应地为每组正负样本对赋予一定的权重，从而让模型更加有效地挖掘出困难样本对；加权对比损失计算过程如下所示：其中，γ代表放缩因子；和分别代表负、正样本对的权重系数；α代表阈值；和分别代表当前批次中锚样本和cbmq中负、正样本之间的余弦相似度。

技术总结
本发明涉及一种基于双域融合和跨批次存储的行人重识别方法，属于计算机视觉领域。该方法在ResNet-50的Stage0和Stage1之间嵌入一个双域融合模块，该模块可以在特征层面上对经过增强处理的源域特征和目标域特征进行融合，并且使用融合损失和多样性损失共同保证融合特征的有效性。为了进一步提升无监督跨域行人重识别模型的性能，本发明在双域融合网络的基础上设计了一种跨批次存储队列机制，该机制能够在更大范围内挖掘困难样本，而不仅仅局限于当前一个批次内的数据，从整体上提高模型在目标域上的匹配性能。标域上的匹配性能。标域上的匹配性能。


技术研发人员：雒江涛 刘杨 许国良
受保护的技术使用者：重庆邮电大学
技术研发日：2023.04.13
技术公布日：2023/7/12