一种目标检测方法、装置、存储介质、传感器及控制器与流程

1.本发明属于人工智能ai(artificial intelligence)技术领域，尤其涉及一种目标检测方法、装置、存储介质、传感器及控制器。


背景技术：

2.目标检测是人工智能ai的重要分支，基于智能算法的机器视觉作为重要支撑，已取得了长足的发展；相关应用已在图像分类、目标检测、语义分割等领域部分或一定程度地达到了替代人类工作的水平。
3.以工业领域应用为例，基于深度学习的自动化检测已经能够部分替代人类目检过程，进而可达到节省人力资源、提高检测速度等效果，并可有效避免人员疲劳和情绪波动等引入的检出率波动。
4.与常规目标检测不同的是，大多数工业缺陷检测任务要求缺陷类别的召回率达到100％；其中，工业缺陷的识别难度一方面来自于其受限的样本空间，另一方面来自于识别过程自身的难度。
5.基于上述原因，如何在训练数据有限、缺陷类别不平衡、缺陷难以区分等场景下实现更为可靠、稳定的目标检测，成为工业缺陷检测过程中亟需克服的关键技术问题。


技术实现要素：

6.本发明实施例公开了一种目标检测方法，包括第一正负样本构建步骤、第二监督对比学习步骤；其第一正负样本构建步骤基于标签分配过程获取正负样本集，该标签分配过程基于无锚定框anchor free结构的锚定点anchor point进行标签分配,也可以于锚定框anchor based结构中确定用于输出结果的锚定框并向应当输出结果的锚定框分配标签；于模型训练期间预设的第一训练数据集中，使同一类目标所匹配到的锚定框之间互为正样本，使不同类别目标所匹配到的锚定框互为负样本。
7.进一步地，其第二监督对比学习步骤使用与实际目标匹配到的锚定框进行对比学习；该对比学习过程使用目标的类别信息辅助表征学习。
8.具体地，该目标检测方法实施中，其标签分配过程向一个标签分配多个锚定框进行预测，以确保目标检测过程的检出率达到100％或尽量的高。
9.其中，检测过程中可采用解耦头作为检测头；该解耦头采用单独的分类特征图抽取特征向量。
10.具体地，若第二监督对比学习步骤采用特征金字塔结构fpn，则仅在fpn的同一层之内进行对比学习。
11.进一步地，基于特征金字塔的层序号、标签分配到的所有所述锚定框的个数、特征金字塔所有层总共分配的所述锚定框的个数及所述第一训练数据集内所有匹配到的所述锚定框的序号结合同类别的锚定框和余下的锚定框构造了损失函数l，该损失函数l结合质量系数qi用于表征锚定框输出的回归坐标与对应目标的真实区域的重叠度，进而对检测数
据进行筛分；其中，该目标检测方法的对比学习过程可采用如下的损失函数l
contrasive
，使得：
[0012][0013]
式中，l∈l为特征金字塔的层序号，n
l
为该层标签分配到的所有锚定框的个数，n
total
为特征金字塔所有层总共分配的锚定框的个数，i∈i为第一训练数据集内所有匹配到的锚定框的序号，p9i)为与i同类别的锚定框，a(i)为除了i以外其他的锚定框；qi和q
p
为0和1之间的质量系数qi；其质量系数qi用以表征锚定框输出的回归坐标与对应目标的真实区域的重叠度。
[0014]
进一步地，基于锚定框预测出的回归坐标、锚定框对应样本的真实位置给出了所述质量系数qi的优化过程；其中，i代表锚定框的编号；用于将所述质量系数qi回归分支的信息引入到所述对比学习的所述损失函数中，动态地调整不同正样本间的权重；其中，该目标检测方法还可引入第三样本质量筛选步骤；该第三样本质量筛选步骤采用如下的质量系数qi；使得：
[0015][0016]
式中，i为对应锚定框的编号，pi为基于该锚定框预测出的回归坐标，gi为该锚定框对应样本的真实位置；其质量系数qi将回归分支的信息引入到对比学习的损失函数中，动态地调整不同正样本间的权重。
[0017]
进一步地，还采用了包括用于所述学习过程的检测框类别损失函数和坐标损失函数；所述检测框类别损失函数和所述坐标损失函数用以和所述损失函数l集成构造全局损失函数，进而按照预设的权重wi实现对检测框信息和坐标信息的叠加；其中，学习过程还可采用检测框类别损失函数l
cls
和坐标损失函数l
cor
；使得目标检测过程的损失函数l
overall
满足：
[0018]
l
overall
＝w
cls
·
l
cls
+w
cor
·
l
cor
+w
contrasive
·
l
contrasive
；
[0019]
式中，wi为各损失函数的权重。
[0020]
相应地，本发明实施例还公开一种目标检测装置，包括第一正负样本构建单元、第二监督对比学习单元；其第一正负样本构建单元基于标签分配过程获取正负样本集，标签分配过程基于无锚定框anchor free结构的锚定点anchor point进行标签分配，也可以于锚定框anchor based结构中确定用于输出结果的锚定框并向应当输出结果的锚定框分配标签；于模型训练期间预设的第一训练数据集中，使同一类目标所匹配到的锚定框之间互为正样本，不同类别目标所匹配到的锚定框互为负样本。
[0021]
其中，第二监督对比学习单元使用与实际目标匹配到的锚定框进行对比学习；其对比学习过程使用目标的类别信息辅助表征学习。
[0022]
同样地，为了改善检出率，其标签分配过程可向一个标签分配多个锚定框进行预测。具体地，可采用解耦头作为检测头；该类解耦头采用单独的分类特征图抽取特征向量。其中：若第二监督对比学习单元采用特征金字塔结构fpn，则仅在fpn的同一层之内进行所述对比学习。
[0023]
进一步地，基于特征金字塔的层序号、标签分配到的所有所述锚定框的个数、特征
金字塔所有层总共分配的所述锚定框的个数及所述第一训练数据集内所有匹配到的所述锚定框的序号结合同类别的锚定框和余下的锚定框构造了损失函数l，该损失函数l结合质量系数qi用于表征锚定框输出的回归坐标与对应目标的真实区域的重叠度，进而对检测数据进行筛分；其中，其对比学习可采用如下的损失函数l
contrasive
，使得：
[0024][0025]
式中，l∈l为特征金字塔的层序号，n
l
为该层标签分配到的所有锚定框的个数，n
total
为特征金字塔所有层总共分配的锚定框的个数，i∈i为第一训练数据集内所有匹配到的锚定框的序号，p(i)为与i同类别的锚定框，a(i)为除了i以外其他的锚定框；qi和q
p
为0和1之间的质量系数qi；质量系数qi用以表征锚定框输出的回归坐标与对应目标的真实区域的重叠度。
[0026]
进一步地，基于锚定框预测出的回归坐标、锚定框对应样本的真实位置给出了所述质量系数qi的优化过程；其中，i代表锚定框的编号；用于将所述质量系数qi回归分支的信息引入到所述对比学习的所述损失函数中，动态地调整不同正样本间的权重；其中，该目标检测装置还可设置第三样本质量筛选单元，并引入如下的质量系数qi；使得：
[0027][0028]
式中，i为对应锚定框的编号，pi为基于该锚定框预测出的回归坐标，gi为该锚定框对应样本的真实位置；该质量系数q将回归分支的信息引入到对比学习的损失函数中，动态地调整不同正样本间的权重。
[0029]
具体地，还可采用了包括用于所述学习过程的检测框类别损失函数和坐标损失函数；所述检测框类别损失函数和所述坐标损失函数用以和所述损失函数l集成构造全局损失函数，进而按照预设的权重wi实现对检测框信息和坐标信息的叠加；其中，学习过程还可采用检测框类别损失函数l
cls
和坐标损失函数l
cor
；使得目标检测过程的损失函数l
overall
满足：
[0030]
l
overall
＝w
cls
·
l
cls
+w
cor
·
l
cor
+w
contrasive
·
l
contrasive
；
[0031]
式中，wi为各损失函数的权重。
[0032]
相应地，上述方法和产品还可在计算机存储介质、传感器或控制器中得到实施。
[0033]
具体地，其计算机存储介质可设置用于存储计算机程序的存储介质本体；其计算机程序在被微处理器执行时，可实现如上任一项目标检测方法；其传感器可设置如上任一项的目标检测装置和/或计算机存储介质，并实现同样的检测方案；其控制器的实现过程与传感器的方案类似；不再赘述。
[0034]
综上，本发明基于监督目标检测框架，通过引入自监督对比学习过程，加强了对类别特征向量(embedding)的学习能力；进而在拉近同类别特征向量的同时推远了其他类别的特征向量；利于在小数据量场景下对难于识别的少量实例进行区分；同时，基于特征对比学习过程的目标检测方法，还引入了候选框质量自适应的对比损失函数，可进一步提升目标检测效果，改善学习过程的收敛速度；其产品可用于工业缺陷检测领域，在确保召回率的同时，节省人力并提高检测速度；此外，其方法和产品可集成于已有的目标检测系统，利于现有系统升级。
[0035]
需要说明的是，在本文中采用的“第一”、“第二”等类似的语汇，仅仅是为了描述技术方案中的各组成要素，并不构成对技术方案的限定，也不能理解为对相应要素重要性的指示或暗示；带有“第一”、“第二”等类似语汇的要素，表示在对应技术方案中，该要素至少包含一个。
附图说明
[0036]
为了更加清晰地说明本发明的技术方案，利于对本发明的技术效果、技术特征和目的进一步理解，下面结合附图对本发明进行详细的描述，附图构成说明书的必要组成部分，与本发明的实施例一并用于说明本发明的技术方案，但并不构成对本发明的限制。
[0037]
附图中的同一标号代表相同的部件，具体地：
[0038]
图1为耦合头与解耦头检测过程对比示意图。
[0039]
图2为本发明实施例基于标签分配的正负样本构建过程示意图。
[0040]
图3为本发明实施例锚定(anchor)质量对比示意图。
[0041]
图4为本发明低压传感器lps(low pressure sensor)数据集缺陷类别图像举例。
[0042]
图5为本发明lps数据特征实施例主成分分析pca(principal component analysis)可视化结果对比举例。
[0043]
图6为本发明实施例lps数据特征pca方差可解释性对比结果。
[0044]
图7为本发明实施例与现有方法对比结果。
[0045]
图8为本发明实施例少样本目标检测能力提升效果对比举例。
[0046]
图9为本发明方法实施例流程示意图。
[0047]
图10为本发明装置实施例组成结构示意图。
[0048]
图11为本发明产品实施例布局结构示意图一。
[0049]
图12为本发明产品实施例布局结构示意图二。
[0050]
图13为本发明产品实施例布局结构示意图三。
[0051]
其中：
[0052]
010-细部特征数据；
[0053]
110-耦合头ch(coupled head)共用特征图fm(feature map)模式；
[0054]
111-第一一检测特征集df(detection features)；
[0055]
113-第一三检测结果集dr(detection result)；
[0056]
120-解耦头dh(decoupled head)分类特征图cfm(classified fm)模式；
[0057]
121-第二一分类器特征集cf21；
[0058]
123-第二三位置特征集pf23；
[0059]
125-第二五检测结果；
[0060]
127-第二七对象数据；
[0061]
129-第二九对象数据；
[0062]
210-训练时的一个小批量mib(mini batch)输入数据；
[0063]
220-特征图fm中与不同目标相匹配的锚定框ab anchor box)示意图；
[0064]
230-正负样本生成过程示意图；
[0065]
311、312、313、314、315、316-第三一类锚定框；
[0066]
321、322-第三二类锚定框；
[0067]
410-待检测的lps数据集；
[0068]
411-lps数据集局部放大图一；
[0069]
413-lps数据集局部放大图三；
[0070]
420-键合线弯曲图片样本；
[0071]
430-位置偏离图片样本；
[0072]
440-零件污染图片样本；
[0073]
501-lps数据由原x版君一瞥yolox(you only look once x)目标检测方法匹配到的特征金字塔fpn(feature pyramid networks)第一层anchor特征可视化图；
[0074]
502-lps数据由原yolox方法匹配到的fpn第二层anchor特征可视化图；
[0075]
503-lps数据由原yolox方法匹配到的fpn第三层anchor特征可视化图；
[0076]
511-lps数据由本发明实施例匹配到的fpn第一层anchor特征可视化图；
[0077]
512-lps数据由本发明实施例匹配到的fpn第二层anchor特征可视化图；
[0078]
513-lps数据由本发明实施例匹配到的fpn第三层anchor特征可视化图；
[0079]
610-第一样本构建步骤；
[0080]
620-第二对比学习步骤；
[0081]
630-第三标签优化步骤；
[0082]
700-目标检测装置；
[0083]
710-第一样本构建单元；
[0084]
720-第二对比学习单元；
[0085]
730-第三标签优化单元；
[0086]
800-传感器；
[0087]
900-车辆；
[0088]
901-控制器；
[0089]
903-计算机存储介质。
具体实施方式
[0090]
下面结合附图和实施例，对本发明作进一步的详细说明。当然，下列描述的具体实施例只是为了解释本发明的技术方案，而不是对本发明的限定。此外，实施例或附图中表述的部分，也仅仅是本发明相关部分的举例说明，而不是本发明的全部。
[0091]
如图9所示的目标检测方法，包括第一正负样本构建步骤610、第二监督对比学习步骤620；其中，第一正负样本构建步骤610基于标签分配过程获取正负样本集，标签分配过程于预先放置的锚定框中确定用于输出结果的锚定框并向应当输出结果的锚定框分配标签；于模型训练期间预设的第一训练数据集中，使同一类目标所匹配到的锚定框之间互为正样本，不同类别目标所匹配到的锚定框互为负样本；其第二监督对比学习步骤620使用与实际目标匹配到的锚定框进行对比学习；其对比学习过程使用目标的类别信息辅助表征学习。
[0092]
具体地，其标签分配过程可向一个标签分配多个锚定框进行预测；其中，可采用解耦头作为检测头；其解耦头采用单独的分类特征图抽取特征向量。
[0093]
进一步地，若第二监督对比学习步骤620采用特征金字塔结构fpn，则仅在fpn的同一层之内进行对比学习。
[0094]
具体地，基于特征金字塔的层序号、标签分配到的所有所述锚定框的个数、特征金字塔所有层总共分配的所述锚定框的个数及所述第一训练数据集内所有匹配到的所述锚定框的序号结合同类别的锚定框和余下的锚定框构造了损失函数l，该损失函数l结合质量系数qi用于表征锚定框输出的回归坐标与对应目标的真实区域的重叠度，进而对检测数据进行筛分；其中，其对比学习可采用如下的损失函数l
contrasive
，使得：
[0095][0096]
式中，l∈l为特征金字塔的层序号，n
l
为该层标签分配到的所有锚定框的个数，n
total
为特征金字塔所有层总共分配的锚定框的个数，i∈i为所述第一训练数据集内所有匹配到的锚定框的序号，p(i)为与i同类别的锚定框，a(i)为除了i以外其他的锚定框；qi和q
p
为0和1之间的质量系数qi；其质量系数qi用以表征锚定框输出的回归坐标与对应目标的真实区域的重叠度。
[0097]
进一步地，基于锚定框预测出的回归坐标、锚定框对应样本的真实位置给出了所述质量系数qi的优化过程；其中，i代表锚定框的编号；用于将所述质量系数qi回归分支的信息引入到所述对比学习的所述损失函数中，动态地调整不同正样本间的权重；其中，该目标检测方法还设有第三样本质量筛选步骤630；并引入了如下的质量系数qi；使得：
[0098][0099]
式中，i为对应锚定框的编号，pi为基于该锚定框预测出的回归坐标，gi为该锚定框对应样本的真实位置；其质量系数q将回归分支的信息引入到对比学习的损失函数中，动态地调整不同正样本间的权重。
[0100]
具体地，还可采用了包括用于所述学习过程的检测框类别损失函数和坐标损失函数；所述检测框类别损失函数和所述坐标损失函数用以和所述损失函数l集成构造全局损失函数，进而按照预设的权重wi实现对检测框信息和坐标信息的叠加；其中，其学习过程还可采用检测框类别损失函数l
cls
和坐标损失函数l
cor
；使得目标检测过程的损失函数l
overall
满足：
[0101]
l
overall
＝w
cls
·
l
cls
+w
cor
·
l
cor
+w
contrasive
·
l
contrasive
；
[0102]
式中，wi为各损失函数的权重。
[0103]
相应地，如图10所示的目标检测装置700包括第一正负样本构建单元710、第二监督对比学习单元720；其第一正负样本构建单元710基于标签分配过程获取正负样本集，该标签分配过程于预先放置的锚定框中确定用于输出结果的锚定框并向应当输出结果的锚定框分配标签；于模型训练期间预设的第一训练数据集中，使同一类目标所匹配到的锚定框之间互为正样本，不同类别目标所匹配到的锚定框互为负样本。
[0104]
其中，第二监督对比学习单元720使用与实际目标匹配到的锚定框进行对比学习；该对比学习过程使用目标的类别信息辅助表征学习。
[0105]
其中，为了保证检出率，其标签分配过程可向一个标签分配多个锚定框进行预测。此外，为了避免分类、回归任务共用特征图造成的冲突问题，可采用解耦头作为检测头；该
解耦头采用单独的分类特征图抽取特征向量。
[0106]
进一步地，若第二监督对比学习单元720采用特征金字塔结构fpn，则仅在fpn的同一层之内进行对比学习。
[0107]
具体地，基于特征金字塔的层序号、标签分配到的所有所述锚定框的个数、特征金字塔所有层总共分配的所述锚定框的个数及所述第一训练数据集内所有匹配到的所述锚定框的序号结合同类别的锚定框和余下的锚定框构造了损失函数l，该损失函数l结合质量系数qi用于表征锚定框输出的回归坐标与对应目标的真实区域的重叠度，进而对检测数据进行筛分；其中，对比学习过程可采用如下的损失函数l
contrasive
，使得：
[0108][0109]
式中，l∈l为特征金字塔的层序号，n
l
为该层标签分配到的所有锚定框的个数，n
total
为特征金字塔所有层总共分配的锚定框的个数，i∈i为所述第一训练数据集内所有匹配到的锚定框的序号，p(i)为与i同类别的锚定框，a(i)为除了i以外其他的锚定框；qi和q
p
为0和1之间的质量系数qi；该质量系数qi用以表征锚定框输出的回归坐标与对应目标的真实区域的重叠度。
[0110]
进一步地，基于锚定框预测出的回归坐标、锚定框对应样本的真实位置给出了所述质量系数qi的优化过程；其中，i代表锚定框的编号；用于将所述质量系数qi回归分支的信息引入到所述对比学习的所述损失函数中，动态地调整不同正样本间的权重；其中，该目标检测装置700还设置了第三样本质量筛选单元730，并引入了如下的质量系数qi；使得：
[0111][0112]
式中，i为对应锚定框的编号，pi为基于该锚定框预测出的回归坐标，gi为该锚定框对应样本的真实位置；其质量系数q将回归分支的信息引入到对比学习的损失函数中，动态地调整不同正样本间的权重。
[0113]
具体地，还可采用了包括用于所述学习过程的检测框类别损失函数和坐标损失函数；所述检测框类别损失函数和所述坐标损失函数用以和所述损失函数l集成构造全局损失函数，进而按照预设的权重wi实现对检测框信息和坐标信息的叠加；其中，学习过程还可采用检测框类别损失函数l
cls
和坐标损失函数l
cor
；使得目标检测过程的损失函数l
overall
满足：
[0114]
l
overall
＝w
cls
·
l
cls
+w
cor
·
l
cor
+w
contrasive
·
l
contrasive
；
[0115]
式中，wi为各损失函数的权重。
[0116]
实际应用中，本发明所公开目标检测方法在现有监督目标检测算法框架下引入自监督对比学习，以此加强算法对类别特征向量(embedding)的学习能力，拉近同类别特征向量的同时推远其他类别特征向量，使得算法更容易区分难例且能在小数据量下有更好的表现。
[0117]
同时，基于这种引入了特征对比学习过程的目标检测方法，通过有监督的、基于候选框质量自适应的对比损失函数来提升目标检测效果。
[0118]
另外，本发明方法的框架结构可继续引入大多数已有的目标检测过程，而不需要对原有算法进行改动。
[0119]
其中，包括基于监督对比学习的目标检测算法框架；有别于经典的自监督对比学习方法主要基于图像分类数据进行表征学习，训练好后冻结权重供下游任务使用；不再采用同一张图片增强方法生成来生成正样本对，或者将其他图像生成的样本对应为负样本；本发明的方法对比学习的目标在于拉近正样本之间的距离的同时推远正负样本间的距离。具体地，对于目标检测任务而言，图片中存在多个目标且目标类别不确定情形；此外，还需要定位目标的位置；因此，本发明实施例改进了原有的基于监督对比学习的目标检测算法框架。
[0120]
通过引入解耦头dh(decoupled head)，在检测算法方法中改善了特征抽取的效率，避免了耦合(coupled)检测头中分类、回归任务共用特征图(feature map)造成的冲突问题。
[0121]
具体地，如下图1所示的非解耦头，即耦合头ch(coupled head)共用特征图fm(feature map)模式110的回归与分类共用特征；而解耦头，即解耦头dh(decoupled head)分类特征图cfm(classified fm)模式120采用了单独的分类特征图，可用于抽取特征向量。
[0122]
进一步地，如图2所示给出了基于标签分配(label assignment)的正负样本构建过程；通常，现有的对比学习主要是基于分类任务构建正负样本的，即正样本为同一张图像经过两种不同增强后的图像，负样本则为除自身以外的其他图像；而本实施例采用的是基于目标检测标签分配的正负样本构建方法。
[0123]
具体地，由于目标检测任务中目标的位置和数量往往不确定，现有的算法主要是在图像上预先放置许多锚定框(anchor box)，而标签分配过程则是用于确定应当输出结果的锚定框且给其分配对应的标签的过程。
[0124]
其中，如图2所示，为了保证算法的检出率，标签分配时往往需要给一个标签分配多个锚定框进行预测；本实施例正负样本构建方法基于标签分配的结果，在训练时的一个批次(batch)图像集内，认定同一类目标所匹配到的锚定框间互为正样本，而不同类别目标匹配到的锚定框互为负样本。
[0125]
具体地，对于使用特征金字塔结构fpn(feature pyramid network)的算法而言，其对比学习仅在同一层之内进行。
[0126]
进一步地，本实施例引入了基于锚定框质量的有监督对比学习损失函数。
[0127]
其中，如图3所示，其正负样本构建方法使用所有与实际目标匹配到的锚定框进行对比学习；然而，由于标签分配时通常为了保证检出率会尽量多的为目标分配锚定框。具体地，图中的目标匹配了8个锚定框311至316即锚定框321、322；但基于不同锚定框进行预测的难度明显不同；其中，锚定框321、322相比其他锚定框更能代表目标；其他位置，如左上角的锚定框312与目标重叠区域很小，这就导致基于上文提到的正负样本构建方法可能存在质量差异，训练时可能导致网络不收敛。
[0128]
同时，基于对比学习的目标检测算法框架相比传统对比学习方法而言使用目标的类别信息辅助表征学习，使得同类表征相似度更高、异类之间相似度更低。
[0129]
于是，本实施例相应的公开了了一种基于锚定框质量的有监督对比学习损失函数l
contrasive
，使得:
[0130][0131]
式中，l∈l为特征金字塔的层序号，n
l
为该层标签分配到的所有锚定框的个数，n
total
为特征金字塔所有层总共分配的锚定框个数，i∈i为整个数据集内所有匹配到的锚定框的序号，p(i)为与i同类别的锚定框，a(i)为除了i以外其他的锚定框。
[0132]
其中，损失函数式中qi∈[0,1],代表锚定框对应的质量系数，通过该锚定框输出的回归坐标与对应的目标真实区域重叠度来表示，即：
[0133][0134]
式中，i为对应的锚定框编号，pi为基于该锚定框预测出的回归坐标，gi为该锚定框对应样本的真实位置。即通过质量系数qi可以将目标检测算法中坐标回归分支的信息引入到对比学习损失函数中，动态的调整不同正样本间的权重，帮助算法收敛。
[0135]
因此，其整体的损失函数可表示为：
[0136]
l
overall
＝w
cls
·
l
cls
+w
cor
·
l
cor
+w
contrasive
·
l
contrasive
；
[0137]
其中，l
cls
、l
cor
为目标检测过程中的检测框类别和坐标损失函数，wi为各损失函数的权重。
[0138]
如图5所示，给出了lps数据特征实施例的主成分分析pca(principal component analysis)可视化结果，基于君一瞥(you only look once)yolox目标检测方法，使用了本实施例的结构，并分别在lps(966张训练、119张验证)与dss(467张训练、89张验证)两个零部件缺陷检测数据集上进行验证测试。
[0139]
其中，如图4所示两个工业检测数据集相比于公开数据集有数据量更少、类别更难区分的特点，进一步验证了本实施例的有效性。
[0140]
具体地，如图5所示，以lps(low pressure sensor)数据集为例，其特征可视化图给出了本实施例对于表征学习的效果：基于lps数据集训练了原yolox及本实施例方法的两个模型，并对yolox中3层特征金字塔下所匹配到的锚定框类别特征分别进行了pca可视化。
[0141]
其中，对应的pca方差可解释性如图6所示；可以看出，本实施例可以使同类别表征更加相似；同时，可推远不同类别的特征；特别是在前两层特征金字塔层上效果更加明显，可更容易地区分不同目标类别。
[0142]
如图7所示，还给出了目标检测表现对比数据，在两个产品缺陷检测数据集分别进行验证；其中，可以看到本实施例对于检测精度均有不同程度的提升，尤其是对于hard class表示的数据集中较难区分的类别，取得了明显的改进。
[0143]
此外，如图8所示，还进一步给出了基于dss数据集的表现；对于少样本目标检测任务，仅使用了一半数据进行训练和验证；图中给出了难例类别的精度，可以看到，在少样本目标检测任务中本实施例仍旧能够帮助算法提升精度，并且对于较难区分的类别精度提升更大。
[0144]
进一步地，亦可将锚定框的质量引入到标签分配阶段，以增加一个新的优化项用于构建新的标签分配方法。
[0145]
相应的，如图11至13还给出了计算机存储介质903、传感器800和控制器901的实施
例及相应的集成结构；其中，计算机存储介质903包括用于存储计算机程序的存储介质本体；计算机程序在被微处理器执行时，可实现如上任一项目标检测方法；其传感器800包括如上任一项的目标检测装置700和/或计算机存储介质903；其控制器901的实现方法类似，不再赘述。
[0146]
需要说明的是，上述实施例仅是为了更清楚地说明本发明的技术方案，本领域技术人员可以理解，本发明的实施方式不限于以上内容，基于上述内容所进行的明显变化、替换或替代，均不超出本发明技术方案涵盖的范围；在不脱离本发明构思的情况下，其它实施方式也将落入本发明的范围。

技术特征：
1. 一种目标检测方法，其特征在于，包括第一正负样本构建步骤（610）、第二监督对比学习步骤（620）；其中，所述第一正负样本构建步骤（610）基于标签分配过程获取正负样本集，所述标签分配过程基于无锚定框anchor free结构的锚定点anchor point进行标签分配和/或于锚定框anchor based结构中确定用于输出结果的所述锚定框并向应当输出结果的所述锚定框分配标签；于模型训练期间预设的第一训练数据集中，使同一类目标所匹配到的所述锚定框之间互为正样本，不同类别目标所匹配到的锚定框互为负样本；所述第二监督对比学习步骤（620）使用与实际目标匹配到的所述锚定框进行对比学习；所述对比学习过程使用目标的类别信息辅助表征学习。2.如权利要求1所述的目标检测方法，其中：所述标签分配过程向一个标签分配多个锚定框进行预测。3.如权利要求2所述的目标检测方法，其中：采用解耦头作为检测头；所述解耦头采用单独的分类特征图抽取特征向量。4.如权利要求1-3任一项所述的目标检测方法，其中：若所述第二监督对比学习步骤（620）采用特征金字塔结构fpn，则仅在所述fpn的同一层之内进行所述对比学习。5.如权利要求4所述的目标检测方法，其中：所述对比学习过程基于特征金字塔的层序号、标签分配到的所有所述锚定框的个数、特征金字塔所有层总共分配的所述锚定框的个数及所述第一训练数据集内所有匹配到的所述锚定框的序号结合同类别的锚定框和余下的锚定框构造了损失函数l，该损失函数l结合质量系数qi用于表征锚定框输出的回归坐标与对应目标的真实区域的重叠度，进而对检测数据进行筛分。6.如权利要求5所述的目标检测方法，还包括第三样本质量筛选步骤（630）；所述第三样本质量筛选步骤（630）基于锚定框预测出的回归坐标、锚定框对应样本的真实位置给出了所述质量系数qi的优化过程；其中，i代表锚定框的编号；用于将所述质量系数qi回归分支的信息引入到所述对比学习的所述损失函数中，动态地调整不同正样本间的权重。7.如权利要求5或6所述的目标检测方法，还包括用于所述学习过程的检测框类别损失函数和坐标损失函数；所述检测框类别损失函数和所述坐标损失函数用以和所述损失函数l集成构造全局损失函数，进而按照预设的权重wi实现对检测框信息和坐标信息的叠加。8. 一种目标检测装置（700），包括第一正负样本构建单元（710）、第二监督对比学习单元（720）；其中，所述第一正负样本构建单元（710）基于标签分配过程获取正负样本集，所述标签分配过程基于无锚定框anchor free结构的锚定点anchor point进行标签分配和/或于锚定框anchor based结构中确定用于输出结果的所述锚定框并向应当输出结果的所述锚定框分配标签；于模型训练期间预设的第一训练数据集中，使同一类目标所匹配到的所述锚定框之间互为正样本，不同类别目标所匹配到的锚定框互为负样本；所述第二监督对比学习单元（720）使用与实际目标匹配到的所述锚定框进行对比学习；所述对比学习过程使用目标的类别信息辅助表征学习。9.如权利要求8所述的目标检测装置（700），其中：所述标签分配过程向一个标签分配多个锚定框进行预测。10.如权利要求9所述的目标检测装置（700），其中：采用解耦头作为检测头；所述解耦头采用单独的分类特征图抽取特征向量。11.如权利要求8-10任一项所述的目标检测装置（700），其中：若所述第二监督对比学
习单元（720）采用特征金字塔结构fpn，则仅在所述fpn的同一层之内进行所述对比学习。12.如权利要求11所述的目标检测装置（700），其中：所述对比学习过程基于特征金字塔的层序号、标签分配到的所有所述锚定框的个数、特征金字塔所有层总共分配的所述锚定框的个数及所述第一训练数据集内所有匹配到的所述锚定框的序号结合同类别的锚定框和余下的锚定框构造了损失函数l，该损失函数l结合质量系数qi用于表征锚定框输出的回归坐标与对应目标的真实区域的重叠度，进而对检测数据进行筛分。13.如权利要求11所述的目标检测装置（700），还包括第三样本质量筛选单元（730）；所述第三样本质量筛选单元（630）基于锚定框预测出的回归坐标、锚定框对应样本的真实位置给出了所述质量系数qi的优化过程；其中，i代表锚定框的编号；用于将所述质量系数qi回归分支信息引入到所述对比学习的所述损失函数中，动态地调整不同正样本间的权重。14.如权利要求12或13所述的目标检测装置（700），还采用了包括用于所述学习过程的检测框类别损失函数和坐标损失函数；所述检测框类别损失函数和所述坐标损失函数用以和所述损失函数l集成构造全局损失函数，进而按照预设的权重wi实现对检测框信息和坐标信息的叠加。15.一种计算机存储介质（903），包括用于存储计算机程序的存储介质本体；所述计算机程序在被微处理器执行时，实现如权利要求1至7任一项所述的目标检测方法。16.一种传感器（800），包括如权利要求8至14任一项所述的目标检测装置（700）和/或如权利要求15任一项所述的计算机存储介质（903）。17.一种控制器（901），包括如权利要求8至14任一项所述的目标检测装置（700）；和/或如权利要求15任一项所述的计算机存储介质（903）；和/或如权利要求16任一项所述的传感器（800）。

技术总结
本发明属于人工智能AI（Artificial Intelligence）技术领域，尤其涉及一种目标检测方法、装置、存储介质、传感器及控制器；基于监督目标检测框架，通过引入自监督对比学习过程，加强了对类别特征向量（Embedding）的学习能力；进而在拉近同类别特征向量的同时推远了其他类别的特征向量；利于在小数据量场景下对难于识别的少量实例进行区分；同时，基于特征对比学习过程的目标检测方法，还引入了候选框质量自适应的对比损失函数，可进一步提升目标检测效果，改善学习过程的收敛速度；其产品可用于工业缺陷检测领域，在确保召回率的同时，节省人力并提高检测速度；此外，其方法和产品可集成于已有的目标检测系统，利于现有系统升级。级。级。


技术研发人员：刘鹏 陆唯佳 孙林 张璨 马通
受保护的技术使用者：联合汽车电子有限公司
技术研发日：2023.04.07
技术公布日：2023/7/22