一种弱监督多标签分布外样本分类检测方法

1.本发明涉及图像分类领域，特别涉及一种弱监督多标签分布外样本分类检测方法。


背景技术：

2.典型的弱监督信息有三种类型。第一种为不完全监督或者半监督，给定训练数据中，通常只有极小部分数据被完整标注，其余部分为无标注数据。常见的应用场景是通过人工标注的方式获取小部分全监督信息，再通过互联网获取大量无标注数据，最后同时利用二者进行模型训练。第二种为粗粒度监督或者不精确监督，指的是所有训练数据的监督信息为粗粒度信息，例如仅为目标定位或目标分割任务提供图像级的分类监督信息，而非对象级或像素级的监督信息。第三种为不准确监督或者部分监督，训练数据中的每个训练示例均具有监督信息，但对应监督信息不完全或者含有部分噪声，比如多标签图像分类任务中的各个多标签图像仅被给定一个类别的标注信息，或者给定的标注信息含有部分错误。图1展示了一张多标签图像的不同程度的监督信息。
3.针对于第三种弱监督信息，常见的处理方式有两种：第一种为直接忽略所有未知标注信息，仅利用已有的标签引导模型学习；第二种方式假设所有未知标签为负标签，可以得到大量有效的监督信息，但也引入了噪声标签，可能损害模型的训练效果。由于前者会损失大量潜在的监督信息，因此更倾向于采用后者处理未知标注信息。在此基础上，若能有效发现噪声标签并进行处理，能够较大程度地减小噪声标签对模型训练的负面影响。arpit等人通过研究发现了一个关于噪声标签的有趣现象，即深度学习网络除了能够学习到真实数据特征，还会记忆噪声数据。但网络倾向于优先学习干净数据，再记忆噪声数据，干净标签对应损失值首先下降，其次才是噪声标签对应损失值下降。kim等人发现，在多标签场景下，该损失效应同样存在。在单标签图像分类领域中，该特性已得到充分探索和广泛应用，并取得了令人瞩目的效果。
4.现有多标签分布外样本检测方法要求训练数据具有完整的全监督信息，但该类训练数据的标注量高，尤其是在专业技术要求较高的领域中，普遍存在标注慢、标注难的问题，高昂的标注代价变得难以企及。


技术实现要素：

5.针对现有多标签分布外样本检测方法要求具有全监督强度下的训练数据的问题，本发明提出了一种基于噪声标签损失效应的分布外样本检测方法。在训练阶段，该方法利用弱监督强度下的噪声标签损失效应引导模型进行参数学习，同时利用多标签数据标签空间天然存在的稀疏性对噪声标签引起的异常损失进行自适应调整。最后在推断阶段，利用训练完成的模型可以实现弱监督强度下的多标签分布外样本检测。
6.为解决上述技术问题，本发明采用如下技术方案：一种弱监督多标签分布外样本分类检
7.测方法，包括如下步骤：
8.s1:原始图像标签预处理，对于多标签图像xi，其原始标签中有且仅有一项将其所有未知标注信息均设为负标签，xi原始弱监督信息经负标签假设预处理后，xi标签变为
[0009][0010]
s2:对cnn模型进行训练：
[0011]
经过s1标签预处理后的图像和其标签构成未增强图像对所有未增强图像进行混合数据增强预处理生成增强图像然后将增强图像和其对应的未增强图像的标签作为训练样本所有训练样本构成训练集；
[0012]
将训练集中样本分批次输出cnn中进行训练，当损失函数的值不再下降时训练结束，得到训练好的模型；
[0013]
s3:采用训练好的模型对目标图像进行检测
[0014]
将目标图像输入训练好的模型，训练好的模型对其进行分类预测并给出预测结果yi，然后利用预测结果yi与人工赋予的全负标签计算多标签分类损失：
[0015][0016]
其中，l为标签空间中类别的数量，表示人工赋予的全负标签，其值全为0；
[0017]
基于式(1.2)计算得到全负标签损失值以后，通过识别噪声标签引起的过大损失值，计算得到分布外样本检测得分：
[0018][0019]
其中
[0020]
若score《λ，则目标图像为分布外样本，否则为分布内样本，αi表示损失惩罚项；
[0021]
作为优选，所述s2中混合数据增强预处理的过程如下：
[0022]
从所在训练批次中随机采样另一未增强图像然后随机生成一个裁剪框{zh,zv,w,h}，其中zh与zv分别代表该裁剪框在图像xa和图像xb中的左上起始坐标点的横坐标值与纵坐标值，用于标记该裁剪框的起始位置，w与h则分别代表该裁剪框的宽与高，用于标记该裁剪框的大小；获取裁剪框后，该裁剪框先从图像xb中裁剪出图像区域regb，该图像区域起始位置和大小与裁剪框一致，随后对该图像区域regb随机进行现有数据增强操作得到图像区域regb′
；最后，再根据前面获取的裁剪框在图像xa中标记待掩盖图像区域rega，然后用图像区域regb′
替代该待掩盖图像区域rega，生成最终的增强图像以上过程可被形式化的表示为：
[0023][0024]
其中m∈{0,1}w×h为一个二值矩阵，其值为0时表示丢弃图像对应位置的像素值，其值为1时表示保留对应位置的像素值，1为元素值全为1的矩阵。
[0025]
作为优选，所述s2中采用的损失函数如式(1.5)所示：
[0026][0027]
其中λi为损失惩罚项，其值介于[0,1]区间，当时，αi＝1，此时对应标签为准确无误的正标签，无需进行矫正，反之，当且对应li大于损失阈值δ，代表对应标签为噪声标签的可能性较高，此时令αi＝0，表示丢弃该损失值；
[0028]
损失惩罚项的取值如下：
[0029][0030]
其中δ为损失阈值。
[0031]
作为优选，所述损失阈值调整方法为：即选定当前训练批次中前(∈
×
100)％大的损失值
[0032]
中的最小值作为损失阈值δ的取值：
[0033]
δ＝min(top
∈
(li)),#(1.7)
[0034]
其中∈为稀疏控制参数，是一个超参数，用于衡量了数据集的标签稀疏程度。
[0035]
相对于现有技术，本发明至少具有如下优点：
[0036]
在训练阶段，首先假设所有未知标签为负标签，引入噪声标签，然后对图像进行混合数据增强预处理，能够较大程度地抑制模型在分布外样本上产生过高的置信度，再基于噪声标签损失效应去识别噪声标签引起大损失值，并对其进行调整以进行模型训练，同时与标签稀疏性相结合，使得算法能够自适应识别不同训练阶段的噪声标签损失值，使得模型能够一定程度地减少训练数据标注信息的制约；在推断阶段，赋予分布内样本与分布外样本全负标签，通过结合噪声标签效应与标签稀疏性，识别出具有噪声标签的分布内样本，从而实现分布外样本的检测。
附图说明
[0037]
图1为不同监督强度下的多标签图像，其中√表示图像中存在对应类别，
×
表示不存在对应类别，“？”代表未知是否存在对应类别。(a)给定所有正标签与负标签的全监督信息；(b)给定部分正标签与部分负标签的弱监督信息；(c)有且仅有一个正标签的弱监督信息。
[0038]
图2为本发明wsml-ood方法概览图。
[0039]
图3为混合数据增强处理过程。
[0040]
图4为pascalvoc2012数据集(a)、microsoftcoco数据集(b)与nus-wide数据集(c)上分布内样本的真阳性率tpr随λ变化的曲线。当tpr为95％时，对应的λ作为弱监督多标签分布外样本检测器的决策阈值。
[0041]
具体实施方式
[0042]
下面对本发明作进一步详细说明。
[0043]
本发明方法简称为wsml-ood，另外对于“分布内数据”和“分布外数据”做如下解释：假设数据集共有q个类别，属于这q个类别的所有图像构成的数据为分布内数据，不属于q类别中任一类别的其余图像构成的数据为分布外数据。
[0044]
给定图像数据其对应的标签空间为其中l为标签空间中类别的数量，表示实数集合，w表示图像宽度，h表示图像高度，c表示图像通道数，u表示未知的图像标签，表示正标签构成的标签空间，代表未知标签构成的标签空间，表示第j个标签；令表示负标签构成的标签空间，单正标签弱监督强度下，对任意多标签图像xi，其原始标签中有且仅有一项代表该示例中存在类别k的目标对象(k可能为1～l范围内的任何实整数)，其余均为未知标注信息。
[0045]
为合理处理并有效利用此类标签信息，wsml-ood采取了“负标签假设(assumenegative，an)”的标签预处理步骤，通过假设所有未知标签为负标签，得到了同时包含了真正标签、真负标签以及假正标签的监督信息。同时为了减轻模型的过拟合与过置信度现象，减少预测结果对分布外样本检测效果的负面影响，wsml-ood提出了“混合数据增强(mixedaugment，mixaug)”图像预处理步骤，对多标签图像数据进行数据增强。在训练阶段，基于噪声标签损失效应与标签稀疏性，不断迭代调整噪声标签引起的大损失值，引导训练得到多标签图像分类模型。最后在分布外样本检测阶段，通过为所有未知样本赋予全负标签，人为引入了噪声标签，然后结合噪声标签损失效应与标签稀疏性，获取分布外样本得分，实现弱监督多标签分布外样本检测。
[0046]
参见图2和图3，一种弱监督多标签分布外样本分类检测方法，包括如下步骤：
[0047]
s1:为最大程度地利用已有监督信息，假设所有未知标注信息均为负标签，使得其中一部分为真负标签，另一部分为假负标签。此类未知标签可被假设为正标签，也可被假设为负标签，因为标签空间的稀疏性是多标签数据的天然属性，一个多标签图像样本中同时出现的目标类别数目总是远小于标签空间的类别总数。因此假设未知标签为负标签可以使得真实标签所占比例大于噪声标签所占比例。
[0048]
原始图像标签预处理，对于多标签图像xi，其原始标签中有且仅有一项将其所有未知标注信息均设为负标签，xi原始弱监督信息经负标签假设预处理后，xi标签变为
[0049][0050]
通过将原始未知标注信息假设为负标签，引入了大量的真负标签以及少量的假负标签。真负标签为模型训练提供了有效的监督信息，而假负标签作为噪声标签，模型能够基于噪声标签损失效应与标签稀疏性进行一定的识别，并从损失值的角度进行处理以进行模
型训练。
[0051]
s2:对cnn模型进行训练：
[0052]
经过s1标签预处理后的图像和其标签构成未增强图像对所有未增强图像进行混合数据增强预处理生成增强图像然后将增强图像和其对应的未增强图像的标签作为训练样本所有训练样本构成训练集。引入混合数据增强作为数据预处理手段，在训练过程中对训练数据进行增强，以期抑制分类模型过于自信地对未知类别产生过高置信度，减少对分布外样本检测的干扰。
[0053]
将训练集中样本分批次输出cnn中进行训练，当损失函数的值不再下降时训练结束，得到训练好的模型。
[0054]
s3:采用训练好的模型对目标图像进行检测：
[0055]
在检测阶段模型面对的输入目标图像既可能为分布内样本，也可能为分布外样本。对于分布内样本，其图像中含有若干类别的目标对象，其真实标签具有部分正标签，而分布外样本图像中不含有任何目标对象，因此其真实标签为全负标签。因此，对分布外样本进行检测，首先为所有推断样本赋予全负标签使得分布内样本标签中含有了部分噪声标签，而分布外样本不含有任何噪声标签。再结合噪声标签损失效应与标签稀疏性，可以从损失角度对分布内样本与分布外样本进行有效区分。
[0056]
将目标图像输入训练好的模型，训练好的模型对其进行分类预测并给出预测结果yi，然后利用预测结果yi与人工赋予的全负标签计算多标签分类损失：
[0057][0058]
根据噪声标签损失效应，具有噪声标签的分布内样本相较于不含有任何目标类别的分布外样本产生了更多更大的损失值，同时得益于数据增强对模型过置信度现象的抑制，分布内样本与分布外样本在损失值维度的差异性更加凸显。
[0059]
其中，l为标签空间中类别的数量，表示人工赋予的全负标签，其值全为0。
[0060]
基于式(1.2)计算得到全负标签损失值以后，通过识别噪声标签引起的过大损失值，计算得到分布外样本检测得分：
[0061][0062]
其中
[0063]
若score《λ，则目标图像为分布外样本，否则为分布内样本，αi表示损失惩罚项。与训练阶段调整噪声标签异常损失时选择舍弃过大损失值不同，在分布外样本检测步骤中，需保留大损失值而舍弃小损失值用于计算分布外样本检测得分。因为具有大损失值表示对应标签为假负噪声标签，意味着对应样本为分布内样本，应该获取较高的分布外样本得分。
[0064]
最终，本章提出的基于噪声标签损失效应的分布外样本检测方法wsml-ood可被形式化地表示为：
[0065][0066]
其中λ为分布外样本检测决策阈值，需使得正样本率大于等于95％。
[0067]
具体的，所述s2中混合数据增强预处理的过程如下：
[0068]
从所在训练批次中随机采样另一未增强图像然后随机生成一个裁剪框{zh,zv,w,h}，其中zh与zv分别代表该裁剪框在图像xa和图像xb中的左上起始坐标点的横坐标值与纵坐标值，用于标记该裁剪框的起始位置，w与h则分别代表该裁剪框的宽与高，用于标记该裁剪框的大小；获取裁剪框后，该裁剪框先从图像xb中裁剪出图像区域regb，该图像区域起始位置和大小与裁剪框一致，随后对该图像区域regb随机进行现有数据增强操作【现有数据增强操作包括水平翻转、垂直翻转、旋转、移位以及高斯噪声等】得到图像区域regb′
；最后，再根据前面获取的裁剪框在图像xa中标记待掩盖图像区域rega，然后用图像区域regb′
替代该待掩盖图像区域rega，生成最终的增强图像以上过程可被形式化的表示为：
[0069][0070]
其中m∈{0,1}w×h为一个二值矩阵，其值为0时表示丢弃图像对应位置的像素值，其值为1时表示保留对应位置的像素值，1为元素值全为1的矩阵。
[0071]
具体的，在训练阶段中，通过假设单正标签弱监督信息中的所有未知标签为负标签，多标签图像的监督信息变为由一个真正标签、若干真负标签以及若干假负标签的组成的标签组合。根据多标签数据标签空间具有稀疏性可知，负标签中真负标签所占比例大于假负标签所占比例。标签组合中的真正标签与真负标签能够正确地引导多标签图像分类模型进行参数学习，因此如何识别并利用负标签中的假负标签这一噪声标签成为关键。
[0072]
在模型训练过程中，噪声标签会引起过大的损失值，通过识别此类异常损失值，可以很容易地识别出假负标签，再通过处理此类异常损失，可以在原本未知相关类别标签信息的情况下，引导模型进行正确的训练。
[0073]
因此，为对含有噪声损失的模型训练过程进行矫正，所述s2中损失函数如式(1.5)所示：
[0074][0075]
其中λi为损失惩罚项，其值介于[0,1]区间，当i∈y
pos
时，αi＝1，此时对应标签为准确无误的正标签，无需进行矫正，反之，当i∈y
un
且对应li大于损失阈值δ，代表对应标签为噪声标签的可能性较高，此时令αi＝0，表示丢弃该损失值，以减小噪声标签对模型训练的影响；
[0076]
损失惩罚项的取值如下：
[0077][0078]
其中δ为损失阈值。
[0079]
具体的，在模型的迭代训练过程中，噪声标签与非噪声标签得到的损失值是不断变化的，且随着训练轮次的增加，二者对应损失值均在不断收敛，因此如何在训练过程中自适应地选取正确的损失阈值δ以合理界定噪声标签引起的“过大”损失值是噪声标签异常损失调整的关键。在单正标签弱监督信息下，给定的准确的正标签有且仅有一个，因此假负噪声标签的数量应是其中为多标签图像真实标签的数目，故而噪声标签所占标签总数比例应与标签空间的稀疏程度相接近。
[0080]
所述损失阈值调整方法为：即选定当前训练批次中前(∈
×
100)％大的损失值中的最小值作为损失阈值δ的取值：
[0081]
δ＝min(top
∈
(li)),#(1.7)
[0082]
其中∈为稀疏控制参数，是一个超参数，用于衡量了数据集的标签稀疏程度。
[0083]
实验结果及分析
[0084]
1.实验环境
[0085]
表1 wsml-ood方法的实验环境
[0086][0087][0088]
2.实验设置
[0089]
为模拟单正标签的弱监督情形，本章采用现有文件multi-label learning from single positive labels；即基于单个正标签的多标签学习中的设定，在pascalvoc2012、microsoftcoco以及nus-wide全监督多标签数据集上，通过随机保留一个正标签，并将剩余标签视作未知标签，得到单正标签数据集。
[0090]
本实验选择在imagenet-1k数据集上预训练的resnet-50深度学习网络模型作为多标签图像分类模型，并在分布内数据集的训练集上进行训练。分布内数据集的训练集样本首先进行混合数据增强处理，然后统一调整为256
×
256分辨率后输入多标签图像分类模型。训练阶段，多标签图像分类模型通过自适应矩估计优化器进行网络模型参数优化，学习率为0.01，共计训练30轮。
[0091]
3实验结果
[0092]
为验证本发明方法wsml-ood在弱监督多标签分布外样本检测任务上的可行性及有效性，下面分别在单正标签弱监督强度下的pascalvoc2012—imagenet-for-voc-coco、microsoftcoco—imagenet-for-voc-coco与nus-wide—imagenet-for-nus-wide三种分布内/外数据集组合上进行了实验，并将实验结果与一些性能优越的分布外样本检测方法进行了对比。除wsml-ood方法外，其余方法均为全监督强度下的多标签或单标签分布外样本检测方法，其中jointenergy方法为全监督多标签分布外样本检测方法，其余方法皆为全监督单标签分布外样本检测方法。
[0093]
isolationforest方法是一种基于树的方法，根据根节点到终止节点的路径长度
进行分布外样本检测。lof方法使用k近邻(knn)方法进行局部密度估计，通过分布内样本与分布外样本的密度差异进行区分；msp方法、maxlogit方法、odin方法以及mahalanobis方法主要基于置信度或距离设计一个分布外样本检测器，通过统计所有类别上的最大值得出分布外样本得分，以此进行分布外样本检测。上述所有方法均基于同一训练完成的卷积神经网络作为骨干网络。
[0094]
表2、表3与表4记录了wsml-ood分别在三种分布内/外数据集组合下的实验结果，及其与其他分布外样本检测方法的性能对比情况，每个方法均在使用混合数据增强(+mixaug)与不使用混合数据增强两种设置下进行了实验。由表2、表3与表4可知，wsml-ood在三种分布内/外数据集组合下，fpr@95、auroc与aupr指标几乎均达到了最优结果，仅在pascalvoc2012—imagenet-for-voc-coco组合下的aupr指标获得了次优结果。在pascalvoc2012—imagenet-for-voc-coco组合下，相较于次优多标签分布外样本检测方法jointenergy，wsml-ood方法在fpr@95、auroc与aupr指标上分别取得了1.05％、0.49％与0.79％的提升。类似地，在microsoftcoco—imagenet-for-voc-coco组合下，wsml-ood方法在jointenergy方法的基础之上，三个指标分别提升了0.97％、0.42％与0.34％。在nus-wide—imagenet-for-nus-wide组合下，三个指标分别增加了0.35％、0.24％与0.21％。以上实验结果表明了将wsml-ood应用于弱监督多标签分布外样本检测是行之有效的。
[0095]
另一方面，在均不使用混合数据增强进行模型训练的情况下，wsml-ood方法仍能取得最优的性能表现，有力地证明了通过人为赋予未知样本全负标签，从而为分布内样本引入噪声标签，再基于噪声标签损失效应与标签稀疏性，从损失值的维度对分布内样本与分布外样本进行区分的可行性与有效性。与此同时，通过应用混合数据增强手段，几乎所有分布外样本检测方法均取得了较大的性能提升，例如在pascalvoc2012—imagenet-for-voc-coco组合下，使用混合数据增强的jointenergy方法比不使用混合数据增强的jointenergy方法在fpr@95、auroc与aupr三个指标上分别得到了2.71％、0.47％和0.29％的效果提升，使用混合数据增强的wsml-ood方法比不使用混合数据增强的wsml-ood方法在三个指标上分别提升了2.65％、0.47％和0.23％。以上实验结果表明了混合数据增强手段能够在一定程度上抑制模型产生过高置信度，从而提升弱监督多标签分布外样本检测效果。
[0096]
除此之外，相比于单标签分布外样本检测方法，无论是wsml-ood方法，还是全监督多标签分布外样本检测方法jointenergy，其弱监督强度下的多标签分布外样本检测性能表现均更加优异。例如，在三种分布内/外数据集组合下，与表现最佳的全监督单标签分布外样本检测方法相比，jointenergy方法在fpr@95指标上分别提高了1.06％、5.65％和1.41％，wsml-ood方法更是在该指标上分别提升了2.11％、6.62％和1.76％。以上实验结果表明，相比于单标签分布外样本检测任务，更加贴合现实世界的多标签分布外样本检测任务，尤其是弱监督多标签分布外样本检测任务，更加复杂也更具挑战性，值得对其进行深入研究与探索。
[0097]
表2为弱监督强度下，不同方法在pascalvoc2012—imagenet-for-voc-coco分布内/外数据集组合上的多标签分布外样本检测性能(％)。
“↓”
表示数值愈小，性能愈好；
“↑”
表示数值愈大，性能愈好。+mixaug”代表使用了混合数据增强，否则表示未使用混合数据增强。加粗字体表示该分布内/外数据集组合下的最佳实验结果，下划线字体表示次优实验结
果。
[0098]
表2
[0099][0100]
表3为弱监督强度下，不同方法在microsoftcoco—imagenet-for-voc-coco分布内/外数据集组合上的多标签分布外样本检测性能(％)。
[0101]
表3
[0102][0103]
表4为弱监督强度下，不同方法在nus-wide—imagenet-for-nus-wide分布内/外数据集组合上的多标签分布外样本检测性能(％)。
[0104]
表4
[0105][0106]
为进一步验证方法超参数对方法性能的影响，本节分别在前述三种不同的分布内/外数据集组合下进行了消融实验。
[0107]
4.消融实验
[0108]
①
不同∈取值对方法性能的影响
[0109]
不同∈取值，即不同标签稀疏性假设下，wsml-ood方法在三种分布内/外数据集组合下的性能表现，本节分别令∈＝0.05、∈＝0.10以及∈＝0.30进行了分布外样本检测实验，其中0.05
+
、0.10
+
和0.30
+
表示使用了混合数据增强，否则表示未使用混合数据增强，实验结果如表5所示。
[0110]
表5实验结果表明，在三种分布内/外数据集组合下，当∈＝0.10时，方法取得了最佳表现，当增大稀疏性或减小稀疏性时，方法的性能均有不同程度的下降。例如在pascalvoc2012—imagenet-for-voc-coco分布内/外数据集组合下，∈＝0.10时，wsml-ood方法相较于∈＝0.05与∈＝0.30时的最佳结果在fpr@95指标上分别提升了35.93％和0.79％。当∈较小时，代表假设数据集标签数目较少，特别是在pascalvoc2012分布内数据集中，∈＝0.05的稀疏程度假设使得样本的平均标签数仅为1，显然与实际情况不符；而过大的∈表示着假设的数据集标签数目过多，不符合多标签数据天然的稀疏属性，使得方法无法正确甄别噪声标签引起的过大损失值。综上可知，令∈＝0.10时，是一种较好的数据集稀疏性假设，能够取得较好的性能表现。
[0111]
与此同时，几乎在所有设置下，混合数据增强的加持均能不同程度地提升方法的性能表现。比如在三种分布内/外数据集组合下，当∈＝0.10时，使用了混合数据增强的wsml-ood方法能够比未使用混合数据增强的wsml-ood方法在fpr@95指标上分别提升2.65％、13.63％和2.76％。这也进一步证明了采用混合数据增强手段抑制模型过高置信度现象以提升弱监督多标签分布外样本检测效果的有效性。
[0112]
表5不同∈取值设置下的wsml-ood方法性能表现
[0113][0114]
②
分布外样本检测决策阈值λ的选择
[0115]
阈值λ为弱监督多标签分布外样本检测器的决策阈值，其取值需使分布内样本的真阳性率(tpr)大于等于95％。当一个样本的分布外样本检测评分大于等于λ时，该样本被认为属于分布内数据，否则属于分布外数据。图4展示了λ与分布内样本的真阳性率之间的变化关系，由图可知，当真阳性率为95％时，pascalvoc2012、microsoftcoco以及nus-wide分布内数据集上的λ取值分别在2、9与2左右。
[0116]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

技术特征：
1.一种弱监督多标签分布外样本分类检测方法，其特征在于，包括如下步骤：s1:原始图像标签预处理，对于多标签图像x
i
，其原始标签中有且仅有一项将其所有未知标注信息均设为负标签，x
i
原始弱监督信息经负标签假设预处理后，x
i
标签变为标签变为s2:对cnn模型进行训练：经过s1标签预处理后的图像和其标签构成未增强图像对所有未增强图像进行混合数据增强预处理生成增强图像然后将增强图像和其对应的未增强图像的标签作为训练样本所有训练样本构成训练集；将训练集中样本分批次输出cnn中进行训练，当损失函数的值不再下降时训练结束，得到训练好的模型；s3:采用训练好的模型对目标图像进行检测将目标图像输入训练好的模型，训练好的模型对其进行分类预测并给出预测结果y
i
，然后利用预测结果y
i
与人工赋予的全负标签计算多标签分类损失：其中，l为标签空间中类别的数量，其中，l为标签空间中类别的数量，表示人工赋予的全负标签，其值全为0；基于式(1.2)计算得到全负标签损失值以后，通过识别噪声标签引起的过大损失值，计算得到分布外样本检测得分：其中若score<λ，则目标图像为分布外样本，否则为分布内样本，α
i
表示损失惩罚项。2.如权利要求1所述的弱监督多标签分布外样本分类检测方法，其特征在于：所述s2混合数据增强预处理的过程如下：从所在训练批次中随机采样另一未增强图像然后随机生成一个裁剪框{z
h
，z
v
，w，h}，其中z
h
与z
v
分别代表该裁剪框在图像x
a
和图像x
b
中的左上起始坐标点的横坐标值与纵坐标值，用于标记该裁剪框的起始位置，w与h则分别代表该裁剪框的宽与高，用于标记该裁剪框的大小；获取裁剪框后，该裁剪框先从图像x
b
中裁剪出图像区域reg
b
，该图像区域起始位置和大小与裁剪框一致，随后对该图像区域reg
b
随机进行现有数据增强操作得到图像区域reg
b
′
；最后，再根据前面获取的裁剪框在图像x
a
中标记待掩盖图像区域reg
a
，然后用图像区域reg
b
′
替代该待掩盖图像区域reg
a
，生成最终的增强图像以上过程
可被形式化的表示为：其中m∈{0，1}
w
×
h
为一个二值矩阵，其值为0时表示丢弃图像对应位置的像素值，其值为1时表示保留对应位置的像素值，1为元素值全为1的矩阵。3.如权利要求2所述的弱监督多标签分布外样本分类检测方法，其特征在于：所述s2中采用的损失函数如式(1.5)所示：其中λ
i
为损失惩罚项，其值介于[0，1]区间，当时，α
i
＝1，此时对应标签为准确无误的正标签，无需进行矫正，反之，当且对应l
i
大于损失阈值δ，代表对应标签为噪声标签的可能性较高，此时令α
i
＝0，表示丢弃该损失值；损失惩罚项的取值如下：其中δ为损失阈值。4.如权利要求3所述的弱监督多标签分布外样本分类检测方法，其特征在于：所述损失阈值调整方法为：即选定当前训练批次中前(∈
×
100)％大的损失值中的最小值作为损失阈值δ的取值：δ＝min(top
∈
(l
i
))，#(1.7)其中∈为稀疏控制参数，是一个超参数，用于衡量了数据集的标签稀疏程度。

技术总结
本发明涉及一种弱监督多标签分布外样本分类检测方法，在训练阶段，首先假设所有未知标签为负标签，引入噪声标签，然后对图像进行混合数据增强预处理，再基于噪声标签损失效应去识别噪声标签引起大损失值，并对其进行调整以进行模型训练，同时与标签稀疏性相结合，使得方法能够自适应识别不同训练阶段的噪声标签损失值；在检测阶段，赋予分布内样本与分布外样本全负标签，通过结合噪声标签效应与标签稀疏性，识别出具有噪声标签的分布内样本，从而实现分布外样本的检测。而实现分布外样本的检测。而实现分布外样本的检测。


技术研发人员：黄晟 王磊 严杰轩 朱翔 徐玲 葛永新 洪明坚 杨梦宁 张小洪
受保护的技术使用者：重庆大学
技术研发日：2023.04.19
技术公布日：2023/7/21