基于标签增量精炼和对称评分的目标重识别方法及系统

1.本发明属于目标重识别技术领域，具体涉及一种基于标签增量精炼和对称评分的目标重识别方法及系统。


背景技术：

2.计算机视觉是人工智能领域的一个重要分支，旨在使用计算机算法来模拟和理解人类视觉系统。它通过分析图像和视频数据来获得有用的信息，以解决多种实际问题，例如物体识别、目标定位和异常检测等。目标重识别是计算机视觉领域的一个重要任务，通常涉及识别行人和车辆等对象。在行人重识别任务中，目标是识别和跟踪不同行人的身份，即使他们在不同的时间和地点出现，并且能够在视频序列中进行跟踪。而车辆重识别任务则是在不同摄像头拍摄的图像中找到特定的车辆，并通过检索出相同车辆实现进一步的锁定跟踪。目标重识别任务在安全监控、智能交通等许多领域都有广泛应用，对于人工智能在现代生活中的应用具有重要意义。
3.然而，目前的目标重识别仍然高度依赖于大规模精确标注的数据。现有的大规模图像或视频通常是由计算机自动标注的，但由于姿态、遮挡、形变、光照等因素，很容易出现错误的标注，即使在昂贵的人工标注下，也很难准确地识别相似的图像。因此，标签噪声问题很难避免。传统的目标重识别研究主要集中在提高识别准确度或模型网络方面，未充分考虑标签噪声带来的负面影响。一些在特定领域具有抗噪性能的方法往往仅限于单一任务，缺乏泛化能力。例如，图像分类领域的标签噪声方法在行人或车辆重识别领域并不适用或无法达到理想效果。一些行人或车辆重识别任务中的方法也未能纠正错误标签或充分利用样本之间的关系信息。最新的研究利用邻域标签优化来改善标签，然而当噪声标签较多时，邻域标签的可靠性也无法保证。
4.目前存在针对标签噪声的方法在图像分类任务中取得了显著的结果，但在图像分类任务只涉及几个类别，每个类别包含数千张图像。然而，行人重识别任务涉及许多不同的身份，每个身份的样本通常不超过30张图像。因此，在图像分类中表现良好的方法或标签优化方法可能不适用于具有标签噪声的行人重识别任务。一些研究已经探索了这个问题，例如，purifynet在purifynet: a robust person re-identification model with noisy labels一文中提出了一种硬感知实例重新加权策略，将具有正确标签的困难样本分配更高的权重，从而优化损失函数；core在collaborative refining for person re-identification with label noise一文提出了一种标签和网络联合优化的自标签细化策略。这些研究都使用模型来优化标签，然而，模型在预测正确标签时会受到标签噪声和由于跨设备而存在的“类内差异大，类间差异小”等问题的影响。前面提到的这些方法均是将每个样本视为孤立的个体，而忽略了邻域信息，该信息对于优化噪声标签时是较为重要的。此外，还有一些目标识别的工作采用稀疏成对损失，利用少数适当对来自适应的正向挖掘策略，以动态适应不同类别内的变化或者通过生成缺失图像部分来提高目标识别的准确性。然而，这些方法并没有充分解决存在遮挡、光照以及跨设备等因素引起的标签噪声问题。
5.综上所述，目前对于具有标签噪声的行人重识别任务，仍然需要更深入的研究并设计出更适用的方法来解决这一问题。


技术实现要素：

6.有鉴于此，本发明提出了一种基于标签增量精炼和对称评分的目标重识别方法及系统，用于解决无法有效降低标签噪声的影响的问题。
7.本发明第一方面，公开一种基于标签增量精炼和对称评分的目标重识别方法，所述方法包括：使用含有噪声标签的数据预训练第一深度模型，通过第一深度模型提取所有样本的特征；计算提取的样本特征到所属类中心的距离，根据距离大小将样本划分为干净样本和可疑样本；计算每个可疑样本到干净样本的特征距离，并构建特征距离矩阵；根据特征距离矩阵生成标签扩散权重矩阵，基于标签扩散权重矩阵，将干净样本的标签扩散给可疑样本，得到可疑样本的优化标签；利用干净样本和其标签、可疑样本和其优化标签训练第二深度模型来进行目标重识别。
8.在以上技术方案的基础上，优选的，所述计算提取的样本特征到所属类中心的距离，根据距离大小将样本划分为干净样本和可疑样本具体包括：计算提取的样本特征到所属类别中心的距离；计算每一个类别中的样本到类别中心的平均距离；将小于等于所在类别的平均距离的样本被作为干净样本，大于所在类别的平均距离的样本作为可疑样本。
9.在以上技术方案的基础上，优选的，所述计算每个可疑样本到干净样本的特征距离，并构建特征距离矩阵具体包括：计算可疑样本i到干净样本j的特征距离：
10.ifk代表样本i的第k维特征，jfk代表样本j的第k维特征，k=1,2,...,n，n为样本特征的维度；使用softmax函数对进行归一化，得到归一化的特征距离：
11.根据归一化的特征距离构建n
×
n的特征距离矩阵s，其中为s的第i行第j列元素。
12.在以上技术方案的基础上，优选的，所述根据特征距离矩阵生成标签扩散权重矩
阵的公式为：
13.其中为标签扩散权重矩阵p的第i行第j列元素。
14.在以上技术方案的基础上，优选的，所述基于标签扩散权重矩阵，将干净样本的标签扩散给可疑样本，得到可疑样本的优化标签具体包括：计算可疑样本的新标签矩阵：
15.为可疑样本的新标签矩阵，为可疑样本的原标签矩阵，为n行c列矩阵，c为样本类别总数；对于可疑样本i，优化后的标签为：
16.其中，c代表第c个类别，c=1,2,...,c，为新标签矩阵的第i行第c列。
17.在以上技术方案的基础上，优选的，所述利用干净样本和其标签、可疑样本和其优化标签训练第二深度模型来进行目标重识别的过程中，对可疑样本进行加权，权重计算公式为：
18.其中，为可疑样本i的个体权重参数，代表模型训练所在的轮次。
19.在以上技术方案的基础上，优选的，所述利用干净样本和其标签、可疑样本和其优化标签训练第二深度模型来进行目标重识别的过程中，通过个体对称评分机制计算损失函数：
20.其中，l代表损失函数，ce=plnq、rce=qlnp分别为可疑样本i的标准交叉熵、逆交叉熵，p为真实标签分布，q为模型预测类别分布。
21.本发明第二方面，公开一种基于标签增量精炼和对称评分的目标重识别系统，所述系统包括：特征提取模块：与使用含有噪声标签的数据预训练第一深度模型，通过第一深度模型提取所有样本的特征；样本划分模块：用于计算提取的样本特征到所属类中心的距离，根据距离大小将样本划分为干净样本和可疑样本；标签优化模块：用于计算每个可疑样本到干净样本的特征距离，并构建特征距离矩阵；根据特征距离矩阵生成标签扩散权重矩阵，基于标签扩散权重矩阵，将干净样本的标签扩散给可疑样本，得到可疑样本的优化标签；
目标重识别模块：用于利用干净样本和其标签、可疑样本和其优化标签训练第二深度模型来进行目标重识别。
22.本发明第三方面，公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现如本发明第一方面所述的方法。
23.本发明第四方面，公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使计算机实现如本发明第一方面所述的方法。
24.本发明相对于现有技术具有以下有益效果：1）本发明利用提取的特征以及类内平均距离来区分出干净样本和可疑样本，并根据可疑样本和干净样本的相似度作为干净样本标签的扩散权重来精炼可疑样本的标签，从而降低标签噪声，可以克服噪声标签较多时样本的邻域标签大多为错误标签时优化算法失效的问题。
25.2）本发明在训练过程中使用个体对称评分来度量模型对可疑样本的学习程度，并增加模型预测结果作为评分参数，平衡了模型对潜在的噪声样本和距离类中心较远的硬样本的学习，从而提高对标签噪声的容错率，使模型可以更好地适应标签噪声的存在，并尽可能减小对错误标签的敏感度，进一步降低潜在的标签噪声对深度模型的影响。
附图说明
26.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
27.图1为本发明的基于标签增量精炼和对称评分的目标重识别方法流程图。
具体实施方式
28.下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
29.请参阅图1，本发明提出一种基于标签增量精炼和对称评分的目标重识别方法，所述方法包括：s1、使用含有噪声标签的样本数据预训练第一深度模型，通过第一深度模型提取所有样本的特征。
30.可采用resnet50、卷积神经网络等作为第一深度模型，使用含有噪声标签的样本数据进行训练，提取所有样本的特征。
31.s2、计算提取的样本特征到所属类中心的距离，根据距离大小将样本划分为干净样本和可疑样本。
32.划分为干净样本和可疑样本的具体方式为：计算提取的样本特征到所属类别中心的欧式距离；计算每一个类别中的样本到类别中心的平均距离；将小于等于所在类别的平均距离的样本被作为干净样本，大于所在类别的平均距离的样本作为可疑样本。
33.由于样本数据中含有噪声标签，样本的特征必然存在不准确的情况，影响目标重识别的准确度。因此，本发明通过计算类内平均距离来区分干净样本和可疑样本，以便于后续对可疑样本进行标签优化。
34.s3、计算每个可疑样本到干净样本的特征距离，并构建特征距离矩阵。
35.为了便于计算，设置一个n*n的矩阵s用来保存样本之间的特征距离，n是样本的数量，s
ij
代表可疑样本i和干净样本j的特征距离，如果样本j为可疑样本则s
ij
=0。如果样本i为干净样本，则矩阵s中只有s
ii
=1，i行其他列都为0。
36.采用如下公式计算可疑样本i到干净样本j的特征距离：
37.其中，ifk代表样本i的第k维特征，jfk代表样本j的第k维特征，k=1,2,...,n，n为样本的特征维度。
38.使用softmax函数对进行归一化，得到归一化的特征距离：
39.根据归一化的特征距离构建n
×
n的特征距离矩阵s，其中为s的第i行第j列元素，i,j=1,2,...,n。
40.s4、根据特征距离矩阵生成标签扩散权重矩阵，基于标签扩散权重矩阵，将干净样本的标签扩散给可疑样本，得到可疑样本的优化标签。
41.所述根据特征距离矩阵生成标签扩散权重矩阵的公式为：
42.其中为标签扩散权重矩阵p的第i行第j列元素，标签扩散权重矩阵p为n行n列的矩阵，其中p
ij
代表样本i和j的相似度。通过对p的每一行按照行升序排序并记录每一行排序后的前k个排序前所在的列数可以找到与每个样本最相似的k个干净样本。如果样本j不是样本i的前k个邻居，则p
ij
=0。通过这种方式可以建立邻域关系。
43.通过标签扩散权重矩阵p计算可疑样本的新标签矩阵：
44.为可疑样本的新标签矩阵，为可疑样本的原标签矩阵，为n行c列矩阵，c为样本类别总数；
对于可疑样本i，优化后的标签为：
45.其中，c代表第c个类别，c=1,2,...,c，为新标签矩阵的第i行第c列。
46.本发明通过度量干净样本到可疑样本之间的特征距离，得到所有与可疑样本最相似的干净样本，并将每个可疑样本到这些干净样本的特征距离归一化，根据归一化结果得到的相似度作为干净样本扩散标签信息给可疑样本生成新标签的权重，根据标签扩散结果找到权重最大的标签类别即为新的优化标签，可以克服噪声标签较多时样本的邻域标签大多为错误标签时优化算法失效的问题。
47.s5、利用干净样本和其标签、可疑样本和其优化标签训练第二深度模型来进行目标重识别。
48.利用干净样本和其标签、可疑样本和其优化标签训练第二深度模型来进行目标重识别的过程中，对可疑样本进行加权，权重计算公式为：
49.其中，为可疑样本i的个体权重参数。
50.此外，针对可疑样本，通过个体对称评分机制计算损失函数：
51.其中，l代表损失函数，即可疑样本的个体对称评分。ce=plnq、rce=qlnp分别为可疑样本i的标准交叉熵、逆交叉熵，代表模型训练所在的轮次，p为真实标签分布，q为模型预测类别分布。
52.对于干净样本，个体对称评分默认为，权重默认为1。
53.在含有标签噪声的训练数据下，模型的真实标签可能是错误的，因此原始分布p不一定能代表真正的分布，此时，由模型预测的分布q反而具有一定代表性，因此本发明基于个体对称评分机制增加模型预测结果q作为lnp的系数，通过实现交换模型预测结果和原标签分布来达到降低标签噪声危害的目的，从而提高对标签噪声的容错率。这样，在训练过程中，模型可以更好地适应标签噪声的存在，并尽可能减小对错误标签的敏感度。此外，个体对称评分机制对可疑样本和干净样本进行分别评分，实现了每个个体实例级的评分，通过该评分间接地衡量模型的学习程度，有助于平衡困难样本和可能存在错误标注的样本的学习过程，并为模型提供较为准确的反馈，提高模型在目标重识别任务中的性能和鲁棒性。
54.与上述方法实施例相对应，本发明还提出一种基于标签增量精炼和对称评分的目标重识别系统，所述系统包括：特征提取模块：与使用含有噪声标签的数据预训练第一深度模型，通过第一深度模型提取所有样本的特征；样本划分模块：用于计算提取的样本特征到所属类中心的距离，根据距离大小将样本划分为干净样本和可疑样本；
标签优化模块：用于计算每个可疑样本到干净样本的特征距离，并构建特征距离矩阵；根据特征距离矩阵生成标签扩散权重矩阵，基于标签扩散权重矩阵，将干净样本的标签扩散给可疑样本，得到可疑样本的优化标签；目标重识别模块：用于利用干净样本和其标签、可疑样本和其优化标签训练第二深度模型来进行目标重识别。
55.以上系统实施例和方法实施例是一一对应的，系统实施例简述之处请参阅方法实施例即可。
56.本发明还公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现本发明前述的方法。
57.本发明还公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明实施例所述方法的全部或部分步骤。所述存储介质包括：u盘、移动硬盘、只读存储器rom、随机存取存储器ram、磁碟或者光盘等各种可以存储程序代码的介质。
58.以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以分布到多个网络单元上。本领域普通技术人员在不付出创造性的劳动的情况下，可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
59.以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于标签增量精炼和对称评分的目标重识别方法，其特征在于，所述方法包括：使用含有噪声标签的数据预训练第一深度模型，通过第一深度模型提取所有样本的特征；计算提取的样本特征到所属类中心的距离，根据距离大小将样本划分为干净样本和可疑样本；计算每个可疑样本到干净样本的特征距离，并构建特征距离矩阵；根据特征距离矩阵生成标签扩散权重矩阵，基于标签扩散权重矩阵，将干净样本的标签扩散给可疑样本，得到可疑样本的优化标签；利用干净样本和其标签、可疑样本和其优化标签训练第二深度模型来进行目标重识别。2.根据权利要求1所述的基于标签增量精炼和对称评分的目标重识别方法，其特征在于，所述计算提取的样本特征到所属类中心的距离，根据距离大小将样本划分为干净样本和可疑样本具体包括：计算提取的样本特征到所属类别中心的距离；计算每一个类别中的样本到类别中心的平均距离；将小于等于所在类别的平均距离的样本被作为干净样本，大于所在类别的平均距离的样本作为可疑样本。3.根据权利要求1所述的基于标签增量精炼和对称评分的目标重识别方法，其特征在于，所述计算每个可疑样本到干净样本的特征距离，并构建特征距离矩阵具体包括：计算可疑样本i到干净样本j的特征距离：；if
k
代表样本i的第k维特征，jf
k
代表样本j的第k维特征，k=1,2,...,n，n为样本特征的维度；使用softmax函数对进行归一化，得到归一化的特征距离：；根据归一化的特征距离构建n
×
n的特征距离矩阵s，其中为s的第i行第j列元素。4.根据权利要求3所述的基于标签增量精炼和对称评分的目标重识别方法，其特征在于，所述根据特征距离矩阵生成标签扩散权重矩阵的公式为：；其中为标签扩散权重矩阵p的第i行第j列元素。5.根据权利要求4所述的基于标签增量精炼和对称评分的目标重识别方法，其特征在
于，所述基于标签扩散权重矩阵，将干净样本的标签扩散给可疑样本，得到可疑样本的优化标签具体包括：计算可疑样本的新标签矩阵：；为可疑样本的新标签矩阵，为可疑样本的原标签矩阵，为n行c列矩阵，c为样本类别总数；对于可疑样本i，优化后的标签为：；其中，c代表第c个类别，c=1,2,...,c，为新标签矩阵的第i行第c列。6.根据权利要求1所述的基于标签增量精炼和对称评分的目标重识别方法，其特征在于，所述利用干净样本和其标签、可疑样本和其优化标签训练第二深度模型来进行目标重识别的过程中，对可疑样本进行加权，权重计算公式为：；其中，为可疑样本i的个体权重参数，代表模型训练所在的轮次。7.根据权利要求6所述的基于标签增量精炼和对称评分的目标重识别方法，其特征在于，所述利用干净样本和其标签、可疑样本和其优化标签训练第二深度模型来进行目标重识别的过程中，通过个体对称评分机制计算损失函数：；其中，l代表损失函数，ce=plnq、rce=qlnp分别为可疑样本i的标准交叉熵、逆交叉熵，p为真实标签分布，q为模型预测类别分布。8.一种基于标签增量精炼和对称评分的目标重识别系统，其特征在于，所述系统包括：特征提取模块：与使用含有噪声标签的数据预训练第一深度模型，通过第一深度模型提取所有样本的特征；样本划分模块：用于计算提取的样本特征到所属类中心的距离，根据距离大小将样本划分为干净样本和可疑样本；标签优化模块：用于计算每个可疑样本到干净样本的特征距离，并构建特征距离矩阵；根据特征距离矩阵生成标签扩散权重矩阵，基于标签扩散权重矩阵，将干净样本的标签扩散给可疑样本，得到可疑样本的优化标签；目标重识别模块：用于利用干净样本和其标签、可疑样本和其优化标签训练第二深度模型来进行目标重识别。9.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，
以实现如权利要求1~7任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令使计算机实现如权利要求1~7任一项所述的方法。

技术总结
本发明公开了一种基于标签增量精炼和对称评分的目标重识别方法及系统，所述方法包括：使用含有噪声标签的数据预训练第一深度模型，通过第一深度模型提取所有样本的特征；计算提取的样本特征到所属类中心的距离，根据距离大小将样本划分为干净样本和可疑样本；计算每个可疑样本到干净样本的特征距离，并构建特征距离矩阵；根据特征距离矩阵生成标签扩散权重矩阵，基于标签扩散权重矩阵，将干净样本的标签扩散给可疑样本，得到可疑样本的优化标签；利用干净样本和其标签、可疑样本和其优化标签训练第二深度模型来进行目标重识别。本发明将样本划分为干净样本和可疑样本，并根据标签散权重来精炼可疑样本的标签，从而有效降低标签噪声。标签噪声。标签噪声。


技术研发人员：黄文心 苏帅朋 韩希钰 钟忺 刘文璇 贾雪梅 赵石磊 巫世峰
受保护的技术使用者：湖北大学
技术研发日：2023.09.05
技术公布日：2023/10/11