一种用于区分前景与背景的目标检测方法及系统

1.本技术涉及图像识别领域，具体涉及一种用于区分前景与背景的目标检测方法及系统。


背景技术：

2.随着深度学习的不断发展，目标检测已经从需要基于手动特征提取的传统目标检测算法，发展到了可以自发学习图像特征的基于深度学习的目标检测算法。基于深度学习的目标检测的核心是找出图像或视频中感兴趣的目标，并检测出它们的位置和大小，而目标识别的准确程度直接影响预测框的定位精度。背景特征的复杂性、多变性以及背景与前景目标样本的不均衡分布特征是影响前景目标识别的关键因素。为了提高网络模型对感兴趣目标的识别能力，将目标视为前景，与图像或视频中的背景区分开来，以期利用前景-背景的特征对比提高目标识别能力，并为预测框定位提供基础信息。
3.目前，大多数强化目标检测网络对前景与背景的区分能力是通过对网络模型添加约束实现的。现存的技术当中：
4.1)通过局部蒸馏的方式分离前景背景，然后强制学生模型学习教师模型学习到的前景特征，以提升学生模型在目标检测任务中的前景目标识别能力。
5.上述方法只让学生模型学习前景特征虽然能够提升网络模型的目标识别能力，但是在局部蒸馏中使用二进制掩码的方式将强制去除背景信息，削弱了前景与背景之间的差异。之后虽然其也使用了全局蒸馏对局部蒸馏丢失的信息进行补全，但在补全的过程中没有强调前景信息的重要性，使网络模型在全局蒸馏的过程中赋予了前景信息和背景信息相同的关注度，进而影响网络模型的目标识别能力。
6.2)通过计算图像实际灰度值与全局平均灰度值的欧氏距离差，以此突出前景像素点，抑制背景像素点，增大前景背景的对比度，减小了背景对后续目标检测的干扰。
7.但是，在图像中前景和背景的分布不平衡，导致在训练过程中背景样本占主导地位，该方法没有进一步突出少量前景信息的重要性，可能会导致网络模型对较难的前景样本的学习效果差。


技术实现要素：

8.为解决上述背景中的技术问题，本技术提供一种前景背景特征对比学习下的深度学习目标检测网络模型，旨在解决背景特征复杂、多变且样本数远多于目标样本导致的现有深度学习网络模型对前景目标识别能力差等问题，有效提高深度学习网络模型的目标检测精度。
9.为实现上述目的，本技术提供了一种用于区分前景与背景的目标检测方法，步骤包括：
10.基于多尺度特征融合，提取待检测目标的前景特征图和背景特征图；
11.对所述前景特征图和所述背景特征图使用注意力模块进行增强，得到第一前景特
征图和第一背景特征图；
12.基于所述第一前景特征图，生成预测框；
13.利用所述预测框和所述第一前景特征图，计算前景特征向量；利用所述第一背景特征图，计算背景特征向量；利用真实框和所述第一前景特征图，计算真实特征向量；
14.基于所述前景特征向量、所述背景特征向量、所述真实特征向量和所述预测框，构建对比损失函数、前景显著性引导损失函数和预测框损失函数；
15.结合所述对比损失函数、所述前景显著性引导损失函数和所述预测框损失函数，提高目标的前景与背景的区分度，完成目标检测。
16.优选的，提取所述前景特征图和所述背景特征图的方法包括：首先使用特征提取网络对待检测目标进行特征提取；然后使用多尺度特征融合网络对提取后的特征进行多尺度特征融合得到所述前景特征图和所述背景特征图。
17.优选的，增强所述前景特征图和所述背景特征图的方法包括：设计交互式反向注意力模块，利用背景注意力反向求解前景特征图权重，同时利用前景注意力反向求解背景特征图权重，得到所述第一前景特征图和所述第一背景特征图；计算所述前景特征图权重和所述背景特征图权重的公式如下：
[0018][0019]
其中，fi表示前景特征图；b表示背景特征图；att表示自注意力操作；softmax表示归一化操作；wi表示前景特征图权重；w表示背景特征图权重。
[0020]
优选的，增强所述前景特征图和所述背景特征图的方法还包括：设计交互式注意力查询模块，获取所述前景特征图和背景特征图的特征映射：查询值、关键值和价值，利用所述前景特征图和所述背景特征图的查询值对对方的关键值进行查询，利用查询后的结果构建权重，并将所述权重赋给被查询特征图的价值，得到所述第一前景特征图和所述第一背景特征图；公式包括：e
[0021][0022]
其中，qi、ki和vi表示前景特征图的查询值、关键值和价值；q、k和v表示背景特征图的查询值、关键值和价值；d
ki
和dk表示ki和k的维度；wi表示前景特征图权重；w表示背景特征图权重；f
′i表示交互式注意力模块更新的前景特征图，b
′
表示交互式注意力模块更新的背景特征图。
[0023]
优选的，生成所述预测框的方法包括：在所属第一前景特征图上预测前景目标中心点和目标边界框，得到所述预测框。
[0024]
优选的，利用所述预测框和所述第一前景特征图，计算前景特征向量；利用所述第一背景特征图，计算背景特征向量；利用真实框和所述第一前景特征图，计算真实特征向量。
[0025]
优选的，基于所述前景特征向量和所述背景特征向量之间的相似度，构建所述对
比损失函数；基于所述前景特征向量和所述真实特征向量，构建所述前景显著性引导损失函数；利用前景目标中心点和目标边界框，构建所述预测框损失函数。
[0026]
优选的，基于所述对比损失函数、所述前景显著性引导损失函数和所述预测框损失函数，构建总损失函数；利用所述总损失函数训练网络模型；并利用所述网络模型，完成目标识别。
[0027]
本技术还提供了一种用于区分前景与背景的目标检测系统，包括：提取模块、增强模块、生成模块、计算模块、构建模块和预测模块；
[0028]
所述提取模块用于基于多尺度特征融合，提取待检测目标的前景特征图和背景特征图；
[0029]
所述增强模块用于对所述前景特征图和所述背景特征图使用注意力模块进行增强，得到第一前景特征图和第一背景特征图；
[0030]
所述生成模块用于基于所述第一前景特征图，生成预测框；
[0031]
所述计算模块用于利用所述预测框和所述第一前景特征图，计算前景特征向量；利用所述第一背景特征图，计算背景特征向量；利用真实框和所述第一前景特征图，计算真实特征向量；
[0032]
所述构建模块用于基于所述前景特征向量、所述背景特征向量、所述真实特征向量和所述预测框，构建对比损失函数、前景显著性引导损失函数和预测框损失函数；
[0033]
所述预测模块用于结合所述对比损失函数、所述前景显著性引导损失函数和所述预测框损失函数，提高目标的前景与背景的区分度，完成目标检测。
[0034]
与现有技术相比，本技术的有益效果如下：
[0035]
通过设计交互式注意力模块使目标检测算法学习前景与背景信息，在此基础上用前景中的目标信息与背景信息之间的相似度构建对比损失函数。提出的该种方法分别从权重以及前景背景之间的特征差异两个方面引导网络模型的学习，使网络模型不仅学习到前景与背景本身的信息，还可以学习到前景与背景之间的差异；通过利用所述对比损失函数来约束网络模型，使其更好地学习到前景和背景信息之间的差异，提升网络模型区分前景与背景的能力。
附图说明
[0036]
为了更清楚地说明本技术的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0037]
图1为本技术实施例的方法流程示意图；
[0038]
图2为本技术实施例的交互式注意力模块示意图；
[0039]
图3为本技术实施例的交互式注意力查询模块示意图；
[0040]
图4为本技术实施例的整体网络流程示意图；
[0041]
图5为本技术实施例的系统结构示意图。
具体实施方式
[0042]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0043]
为使本技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本技术作进一步详细的说明。
[0044]
实施例一
[0045]
如图1所示，为本实施例的方法流程示意图，步骤包括：
[0046]
s1.基于多尺度特征融合，提取待检测目标的前景特征图和背景特征图。
[0047]
为了获取目标的位置和类别信息，首先利用特征提取网络提取输入图像中必要的特征信息，为网络后续的任务奠定基础；然后利用多尺度融合网络对特征提取网络中提取到的特征进行融合，融合网络中深度不同的特征图以丰富多尺度融合网络提取到的特征信息；最后用卷积的方式将多尺度融合网络融合后的特征区分为前景特征图fi和背景特征图b，其中i为类别。
[0048]
在本实施例中，特征提取网络可选用vgg、resnet，darknet等；本实施例中，多尺度特征融合网络可选用fpn、panet等。
[0049]
s2.对前景特征图和背景特征图使用注意力模块进行增强，得到第一前景特征图和第一背景特征图。
[0050]
本实施例中，增强方法采用两种交互式注意力模块之一，来增强前景特征图和背景特征图；两种交互式注意力模块分别如图2的交互式反向注意力模块和图3的交互式注意力查询模块所示。
[0051]
利用交互式反向注意力模块(如图2所示)对提取到的前景特征图和背景特征图进行增强。步骤包括：利用背景注意力反向求解前景特征图权重，同时利用前景注意力反向求解背景特征图权重；具体的，分别对前景特征图fi和背景特征图b做自注意力操作，得到前景特征图的权重wi和背景特征图的权重w，该过程公式如下：
[0052][0053]
其中，fi表示前景特征图；b表示背景特征图；att表示自注意力操作；softmax表示归一化操作；wi表示前景特征图权重；w表示背景特征图权重。
[0054]
在此基础上对前景特征图和背景特征图进行交互式注意力计算，为使背景特征越显著，对前景特征图权重越小；前景特征越显著，对背景特征图权重越小，构建如下公式：
[0055][0056]
其中，其中，f
′i表示交互式注意力模块更新后的前景特征图；b
′
表示交互式注意力模块更新后的背景特征图。
[0057]
利用交互式注意力查询模块(如图3所示)分别获取前景特征图和背景特征图的特征映射：查询值(query)、关键值(key)和价值(value)，使用背景特征图的查询值和前景特征图的关键值和价值构建注意力机制得到第一前景特征图；使用前景特征图的查询值和背
景特征图的关键值和价值构建注意力机制得到第一背景特征图。步骤包括：
[0058]
计算所述前景特征图的特征映射查询值qi(queryi)、关键值ki(keyi)和价值vi(valuei)；计算所述背景特征图的特征映射查询值q(query)、关键值k(key)和价值v(value)。首先利用卷积模块计算前景和背景特征图的查询值、关键值和价值：
[0059][0060]
其中，w
iq
、和w
iv
分别表示计算qi、ki和vi时卷积的权重值；wq、wk和wv分别表示计算q、k和v时卷积的权重值。
[0061]
使用背景特征图和前景特征图的查询值q和qi，对前景特征图和背景特征图的关键值ki和k进行查询，为防止查询后的结果过大，通过关键值的维度值来降低查询后的结果，再使用softmax对查询后的结果进行归一化，以此得到前景特征图的权重wi和背景特征图的权重w；最后，使用前景特征图的权重wi和前景特征图的价值vi相乘得到第一前景特征图，使用背景特征图的权重w和背景特征图的价值v相乘得到第一背景特征图。该过程公式如下：
[0062][0063]
其中，d
ki
和dk表示ki和k的维度；f
′i表示交互式注意力模块更新的前景特征图，b
′
表示交互式注意力模块更新的背景特征图。
[0064]
通过上述步骤，得到第一前景特征图和第一背景特征图。
[0065]
s3.基于第一前景特征图，生成预测框。
[0066]
计算第一前景特征图上每个像素点映射回原图上的位置，如果位置位于真实框的中心区域时则将其点视为预测中心点，并根据预测中心点距离真实框中心点的距离计算中心点的中心性。在预测中心点上预测一个4d向量，表示预测中心点到预测框上侧、下侧、左侧和右侧的距离，以此得到预测框。
[0067]
在第一前景特征图上预测前景目标中心点和目标边界框，得到预测框。具体步骤包括：
[0068]
针对交互式注意力模块的前景特征图的每一个点(x，y)，若该点落在真实框的中心区域则将该点视为正样本，并预测该点的分类概率p
x,y
；反之则视为负样本，并令p
x,y
＝0，其中真实框的中心区域为以真实框中心(c
x
，cy)为中心点，以r为半径的矩形区域(c
x-r，c
y-r，c
x
+r，cy+r)。
[0069]
为了筛选高质量中心点，计算每个预测中心点与真实中心点的直线距离，并将所有距离映射到(0,1)之间得到d
x,y
，使用以下公式计算中心点参数o
x,y
：
[0070]ox,y
＝1-d
x,y
(5)
[0071]
中心点参数o
x,y
表示特征图上的正样本点距离目标真实中心的远近程度，与目标
真实中心点越近，该参数越接近1；与目标真实中心点越远，该参数越接近0。根据每一个位置的中心点参数o
x,y
与该位置的分类概率p
x,y
计算该位置的中心性s
x,y
，该过程公式如下：
[0072][0073]
如果特征图上的某一个点同时落到了多个真实框的中心区域时，默认将该点分配给面积小的真实框。在此基础上给不同尺度的第一前景特征图设置尺度阈值，使不同尺度的特征图只负责预测对应尺度阈值内的目标。
[0074]
真实框可表示为一个4d向量其中，l
t
、t
t
、r
t
和b
t
表示该点到真实框四个边的距离，计算它们的公式如下：
[0075][0076]
其中，x0、y0、x1、y1为真实框左上角横纵坐标值和右下角横纵坐标值，s为原始图像到当前尺度特征图映射的下采样率。网络模型在预测时会生成一个4d向量：t
x,y
＝(l，t，r，b)，以此作为网络模型预测的目标边界框信息。其中计算t
x,y
的公式如下：
[0077][0078]
其中，w
l
、w
t
、wr和wb为计算l、t、r和b时卷积的权重值。
[0079]
使用预测中心点和预测目标边界框信息t
x,y
即可在网络模型推理过程中得到预测框。
[0080]
s4.利用预测框和第一前景特征图，计算前景特征向量；利用第一背景特征图，计算背景特征向量；利用真实框和第一前景特征图，计算真实特征向量。
[0081]
利用预测框和第一前景特征图计算前景特征向量，利用第一背景特征图计算背景特征向量，在第一前景特征图上，利用真实框取出真实目标对应的像素计算真实特征向量，用于后续显著性引导损失函数构建。
[0082]
具体的，使用s3中预测框取出第一前景特征图中预测框内的像素点，并将其均值和方差作为前景的特征向量xi；将第一背景特征图中所有像素点的均值方差作为背景的特征向量x；使用真实框取出上述第一前景特征图中真实框内的像素点，并将其均值和方差作为真实的特征向量x
t
。随迭代更新上述三种特征向量，以保证每个向量能够描述全局数据特征。
[0083]
s5.基于前景特征向量、背景特征向量、真实特征向量和预测框，构建对比损失函数、前景显著性引导损失函数和预测框损失函数。
[0084]
计算前景特征向量和背景特征向量之间的相似度，并以此构建最大化前景特征与背景特征差距的对比损失函数。利用前景特征向量和真实特征向量，构建使网络关注前景显著性响应较低样本的前景显著性引导损失函数。利用前景目标中心点和目标边界框，构
建使网络对目标定位以及分类更准确的预测框损失函数。具体的，对同类之间的前景特征向量和背景特征向量计算余弦相似度并构建对比损失函数，使前景中同类目标的相似度尽量大、前景与背景的相似度尽量小。使用前景特征向量与真实特征向量计算前景显著性响应，构建前景显著性引导损失函数以引导网络关注前景显著性响应较低的目标。利用预测框中心点和4d向量的预测值与真实值构建分类损失、回归损失和中心点损失，以此组成预测框损失函数。步骤包括：
[0085]
当某一次迭代中计算出的前景特征向量与上一次迭代保存下来的前景特征向量属于同一类时，计算两者之间的余弦相似度，得到第i类前景与前景的相似度使用该次迭代中计算出的前景特征向量与之前保存下来的背景特征向量进行余弦相似度计算，得到第i类前景与背景的相似度simbi。计算余弦相似度的公式如下：
[0086][0087]
其中，x
′i为与xi表示同一类的上一次迭代保存下来的前景特征向量，x
′
表示上一次迭代保存下来的背景特征向量。
[0088]
为使前景目标与背景相差尽量大，构建如下对比损失函数：
[0089][0090]
其中，ni为该次迭代中计算出的前景特征向量与上一次迭代保存下来的前景特征向量中属于同一类的类别数。
[0091]
为了使前景在网络学习中具有引导性的地位，构建如下前景显著性引导损失函数：
[0092][0093]
其中，p
x,y
和y
x,y
分别表示第一前景特征图上点(x，y)处的预测概率和真实值；l
ce
表示交叉熵损失函数；表示第一前景特征图上点(x，y)处的对应类别的前景显著性相应，前景显著性相应的计算公式为：
[0094][0095]
为使网络定位以及分类更准确的预测框，构建由分类损失l
cls
、定位损失l
reg
和中心点损失l
cen
组成的预测框损失函数如下：
[0096][0097]
其中，l
cls
为与二值交叉熵结合的焦点损失函数；l
reg
为giou损失函数；l
cen
为二值交叉熵损失函数；n为正样本数，p
x,y
为特征图(x，y)点处预测的每类目标的得分；为特征图(x，y)点处真实的类别标签；为特征图(x，y)点被匹配为正样本时为1，否则为0；t
x,y
为特征图(x，y)点处预测的目标边界框信息；为特征图(x，y)点处真实的目标边界框信息；s
x,y
为特征图(x，y)点处预测的中心性；为特征图(x，y)点处真实的中心性。其中特征图(x，y)点处真实的中心性计算公式如下：
[0098][0099]
s6.结合对比损失函数、前景显著性引导损失函数和预测框损失函数，提高目标的前景与背景的区分度，完成目标检测。
[0100]
综合上述三种损失函数训练网络模型(本实施例的整体网络流程图如图4所示)，提高模型对前景背景特征的区分能力，进而提高目标识别能力。步骤包括：
[0101]
将目标函数作为神经网络的损失函数，通过反向梯度计算更新网络模型中的权重，使神经网络能够充分区分前景背景特征，整体损失函数如下：
[0102]
l
total
＝l
anchor
+λl
sim
+γl
fsg
ꢀꢀ
(15)
[0103]
其中，l
total
为总损失函数，λ和γ为可调参数，使对预测框损失函数、比损失函数和前景显著性引导损失函数起到适当的作用。
[0104]
最后通过上述监测模型完成对目标的检测。
[0105]
实施例二
[0106]
如图5所示，为本实施例的系统结构示意图，包括：提取模块、增强模块、生成模块、计算模块、构建模块和预测模块。其中，提取模块用于基于多尺度特征融合，提取待检测目标的前景特征图和背景特征图；增强模块用于对前景特征图和背景特征图使用注意力模块进行增强，得到第一前景特征图和第一背景特征图；生成模块用于基于第一前景特征图，生成预测框；计算模块用于利用预测框和第一前景特征图，计算前景特征向量；利用第一背景特征图，计算背景特征向量；利用真实框和第一前景特征图，计算真实特征向量；构建模块用于基于前景特征向量、背景特征向量、真实特征向量和预测框，构建对比损失函数、前景显著性引导损失函数和预测框损失函数；预测模块用于结合对比损失函数、前景显著性引导损失函数和预测框损失函数，提高目标的前景与背景的区分度，完成目标检测。
[0107]
下面将结合本实施例，详细说明本技术如何解决实际生活中的技术问题。
[0108]
首先，利用提取模块基于多尺度特征融合，提取待检测目标的前景特征图和背景特征图。
[0109]
为了获取目标的位置和类别信息，首先利用特征提取网络提取输入图像中必要的特征信息，为网络后续的任务奠定基础；然后利用多尺度融合网络对特征提取网络中提取到的特征进行融合，融合网络中深度不同的特征图以丰富多尺度融合网络提取到的特征信息；最后用卷积的方式将多尺度融合网络融合后的特征区分为前景特征图fi和背景特征图b，其中i为类别。
[0110]
在本实施例中，特征提取网络可选用vgg、resnet，darknet等；本实施例中，多尺度特征融合网络可选用fpn、panet等。
[0111]
之后利用增强模块对前景特征图和背景特征图使用注意力模块进行增强，得到第一前景特征图和第一背景特征图。
[0112]
本实施例中，增强模块采用两种交互式注意力模块之一，来增强前景特征图和背景特征图；两种交互式注意力模块分别如图2的交互式反向注意力模块和图3的交互式注意力查询模块所示。
[0113]
利用交互式反向注意力模块(如图2所示)对提取到的前景特征图和背景特征图进行增强。流程包括：利用背景注意力反向求解前景特征图权重，同时利用前景注意力反向求解背景特征图权重；具体的，分别对前景特征图fi和背景特征图b做自注意力操作，得到前景特征图的权重wi和背景特征图的权重w，该过程公式如下：
[0114][0115]
其中，fi表示前景特征图；b表示背景特征图；att表示自注意力操作；softmax表示归一化操作；wi表示前景特征图权重；w表示背景特征图权重。
[0116]
在此基础上对前景特征图和背景特征图进行交互式注意力计算，为使背景特征越显著，对前景特征图权重越小；前景特征越显著，对背景特征图权重越小，构建如下公式：
[0117][0118]
其中，其中，f
′i表示交互式注意力模块更新后的前景特征图；b
′
表示交互式注意力模块更新后的背景特征图。
[0119]
利用交互式注意力查询模块(如图3所示)分别获取前景特征图和背景特征图的特征映射：查询值(query)、关键值(key)和价值(value)，使用背景特征图的查询值和前景特征图的关键值和价值构建注意力机制得到第一前景特征图；使用前景特征图的查询值和背景特征图的关键值和价值构建注意力机制得到第一背景特征图。流程包括：
[0120]
计算所述前景特征图的特征映射查询值qi(queryi)、关键值ki(keyi)和价值vi(valuei)；计算所述背景特征图的特征映射查询值q(query)、关键值k(key)和价值v(value)。首先利用卷积模块计算前景和背景特征图的查询值、关键值和价值：
[0121]
[0122]
其中，w
iq
、和w
iv
分别表示计算qi、ki和vi时卷积的权重值；wq、wk和wv分别表示计算q、k和v时卷积的权重值。
[0123]
使用背景特征图和前景特征图的查询值q和qi，对前景特征图和背景特征图的关键值ki和k进行查询，为防止查询后的结果过大，通过关键值的维度值来降低查询后的结果，再使用softmax对查询后的结果进行归一化，以此得到前景特征图的权重wi和背景特征图的权重w；最后，使用前景特征图的权重wi和前景特征图的价值vi相乘得到第一前景特征图，使用背景特征图的权重w和背景特征图的价值v相乘得到第一背景特征图。该过程公式如下：
[0124][0125]
其中，d
ki
和dk表示ki和k的维度；f
′i表示交互式注意力模块更新的前景特征图，b
′
表示交互式注意力模块更新的背景特征图。
[0126]
通过上述流程，得到第一前景特征图和第一背景特征图。
[0127]
生成模块基于第一前景特征图，生成预测框。
[0128]
计算第一前景特征图上每个像素点映射回原图上的位置，如果位置位于真实框的中心区域时则将其点视为预测中心点，并根据预测中心点距离真实框中心点的距离计算中心点的中心性。在预测中心点上预测一个4d向量，表示预测中心点到预测框上侧、下侧、左侧和右侧的距离，以此得到预测框。
[0129]
在第一前景特征图上预测前景目标中心点和目标边界框，得到预测框。具体流程包括：
[0130]
针对交互式注意力模块的前景特征图的每一个点(x，y)，若该点落在真实框的中心区域则将该点视为正样本，并预测该点的分类概率p
x,y
；反之则视为负样本，并令p
x,y
＝0，其中真实框的中心区域为以真实框中心(c
x
，cy)为中心点，以r为半径的矩形区域(c
x-r，c
y-r，c
x
+r，cy+r)。
[0131]
为了筛选高质量中心点，计算每个预测中心点与真实中心点的直线距离，并将所有距离映射到(0,1)之间得到d
x,y
，使用以下公式计算中心点参数o
x,y
：
[0132]ox,y
＝1-d
x,y
ꢀꢀ
(5)
[0133]
中心点参数o
x,y
表示特征图上的正样本点距离目标真实中心的远近程度，与目标真实中心点越近，该参数越接近1；与目标真实中心点越远，该参数越接近0。根据每一个位置的中心点参数o
x,y
与该位置的分类概率p
x,y
计算该位置的中心性s
x,y
，该过程公式如下：
[0134][0135]
如果特征图上的某一个点同时落到了多个真实框的中心区域时，默认将该点分配给面积小的真实框。在此基础上给不同尺度的第一前景特征图设置尺度阈值，使不同尺度的特征图只负责预测对应尺度阈值内的目标。
[0136]
真实框可表示为一个4d向量其中，l
t
、t
t
、r
t
和b
t
表示该点到真
实框四个边的距离，计算它们的公式如下：
[0137][0138]
其中，x0、y0、x1、y1为真实框左上角横纵坐标值和右下角横纵坐标值，s为原始图像到当前尺度特征图映射的下采样率。网络模型在预测时会生成一个4d向量：t
x,y
＝(l，t，r，b)，以此作为网络模型预测的目标边界框信息。其中计算t
x,y
的公式如下：
[0139][0140]
其中，w
l
、w
t
、wr和wb为计算l、t、r和b时卷积的权重值。
[0141]
使用预测中心点和预测目标边界框信息t
x,y
即可在网络模型推理过程中得到预测框。
[0142]
计算模块利用预测框和第一前景特征图，计算前景特征向量；利用第一背景特征图，计算背景特征向量；利用真实框和第一前景特征图，计算真实特征向量。
[0143]
利用预测框和第一前景特征图计算前景特征向量，利用第一背景特征图计算背景特征向量，在第一前景特征图上，利用真实框取出真实目标对应的像素计算真实特征向量，用于后续显著性引导损失函数构建。
[0144]
具体的，使用预测框取出第一前景特征图中预测框内的像素点，并将其均值和方差作为前景的特征向量xi；将第一背景特征图中所有像素点的均值方差作为背景的特征向量x；使用真实框取出上述第一前景特征图中真实框内的像素点，并将其均值和方差作为真实的特征向量x
t
。随迭代更新上述三种特征向量，以保证每个向量能够描述全局数据特征。
[0145]
构建模块基于前景特征向量、背景特征向量、真实特征向量和预测框，构建对比损失函数、前景显著性引导损失函数和预测框损失函数。
[0146]
计算前景特征向量和背景特征向量之间的相似度，并以此构建最大化前景特征与背景特征差距的对比损失函数。利用前景特征向量和真实特征向量，构建使网络关注前景显著性响应较低样本的前景显著性引导损失函数。利用前景目标中心点和目标边界框，构建使网络对目标定位以及分类更准确的预测框损失函数。具体的，对同类之间的前景特征向量和背景特征向量计算余弦相似度并构建对比损失函数，使前景中同类目标的相似度尽量大、前景与背景的相似度尽量小。使用前景特征向量与真实特征向量计算前景显著性响应，构建前景显著性引导损失函数以引导网络关注前景显著性响应较低的目标。利用预测框中心点和4d向量的预测值与真实值构建分类损失、回归损失和中心点损失，以此组成预测框损失函数。流程包括：
[0147]
当某一次迭代中计算出的前景特征向量与上一次迭代保存下来的前景特征向量属于同一类时，计算两者之间的余弦相似度，得到第i类前景与前景的相似度使用该
次迭代中计算出的前景特征向量与之前保存下来的背景特征向量进行余弦相似度计算，得到第i类前景与背景的相似度计算余弦相似度的公式如下：
[0148][0149]
其中，x
′i为与xi表示同一类的上一次迭代保存下来的前景特征向量，x
′
表示上一次迭代保存下来的背景特征向量。
[0150]
为使前景目标与背景相差尽量大，构建如下对比损失函数：
[0151][0152]
其中，ni为该次迭代中计算出的前景特征向量与上一次迭代保存下来的前景特征向量中属于同一类的类别数。
[0153]
为了使前景在网络学习中具有引导性的地位，构建如下前景显著性引导损失函数：
[0154][0155]
其中，p
x,y
和y
x,y
分别表示第一前景特征图上点(x，y)处的预测概率和真实值；l
ce
表示交叉熵损失函数；表示第一前景特征图上点(x，y)处的对应类别的前景显著性相应，前景显著性相应的计算公式为：
[0156][0157]
为使网络定位以及分类更准确的预测框，构建由分类损失l
cls
、定位损失l
reg
和中心点损失l
cen
组成的预测框损失函数如下：
[0158][0159]
其中，l
cls
为与二值交叉熵结合的焦点损失函数；l
reg
为giou损失函数；l
cen
为二值交叉熵损失函数；n为正样本数，p
x,y
为特征图(x，y)点处预测的每类目标的得分；为特征图(x，y)点处真实的类别标签；为特征图(x，y)点被匹配为正样本时为1，否则为0；t
x,y
为特征图(x，y)点处预测的目标边界框信息；为特征图(x，y)点处真实的目标边界框信息；s
x,y
为特征图(x，y)点处预测的中心性；为特征图(x，y)点处真实的中心性。其中特征图(x，y)点处真实的中心性计算公式如下：
[0160][0161]
预测模块结合对比损失函数、前景显著性引导损失函数和预测框损失函数，提高目标的前景与背景的区分度，完成目标检测。
[0162]
综合上述三种损失函数训练网络模型(本实施例的整体网络流程图如图4所示)，提高模型对前景背景特征的区分能力，进而提高目标识别能力。流程包括：
[0163]
将目标函数作为神经网络的损失函数，通过反向梯度计算更新网络模型中的权重，使神经网络能够充分区分前景背景特征，整体损失函数如下：
[0164]
l
total
＝l
anchor
+λl
sim
+γl
fsg
ꢀꢀ
(15)
[0165]
其中，l
total
为总损失函数，λ和γ为可调参数，使对预测框损失函数、比损失函数和前景显著性引导损失函数起到适当的作用。
[0166]
最后通过上述监测模型完成对目标的检测。
[0167]
以上所述的实施例仅是对本技术优选方式进行的描述，并非对本技术的范围进行限定，在不脱离本技术设计精神的前提下，本领域普通技术人员对本技术的技术方案做出的各种变形和改进，均应落入本技术权利要求书确定的保护范围内。

技术特征：
1.一种用于区分前景与背景的目标检测方法，其特征在于，步骤包括：基于多尺度特征融合，提取待检测目标的前景特征图和背景特征图；对所述前景特征图和所述背景特征图使用注意力模块进行增强，得到第一前景特征图和第一背景特征图；基于所述第一前景特征图，生成预测框；利用所述预测框和所述第一前景特征图，计算前景特征向量；利用所述第一背景特征图，计算背景特征向量；利用真实框和所述第一前景特征图，计算真实特征向量；基于所述前景特征向量、所述背景特征向量、所述真实特征向量和所述预测框，构建对比损失函数、前景显著性引导损失函数和预测框损失函数；结合所述对比损失函数、所述前景显著性引导损失函数和所述预测框损失函数，提高目标的前景与背景的区分度，完成目标检测。2.根据权利要求1所述的用于区分前景与背景的目标检测方法，其特征在于，提取所述前景特征图和所述背景特征图的方法包括：首先使用特征提取网络对待检测目标进行特征提取；然后使用多尺度特征融合网络对提取后的特征进行多尺度特征融合得到所述前景特征图和所述背景特征图。3.根据权利要求1所述的用于区分前景与背景的目标检测方法，其特征在于，增强所述前景特征图和所述背景特征图的方法包括：设计交互式反向注意力模块，利用背景注意力反向求解前景特征图权重，同时利用前景注意力反向求解背景特征图权重，得到所述第一前景特征图和所述第一背景特征图；计算所述前景特征图权重和所述背景特征图权重的公式如下：其中，f
i
表示前景特征图；b表示背景特征图；att表示自注意力操作；softmax表示归一化操作；w
i
表示前景特征图权重；w表示背景特征图权重。4.根据权利要求1所述的用于区分前景与背景的目标检测方法，其特征在于，增强所述前景特征图和所述背景特征图的方法还包括：设计交互式注意力查询模块，获取所述前景特征图和背景特征图的特征映射：查询值、关键值和价值，利用所述前景特征图和所述背景特征图的查询值对对方的关键值进行查询，利用查询后的结果构建权重，并将所述权重赋给被查询特征图的价值，得到所述第一前景特征图和所述第一背景特征图；公式包括：其中，q
i
、k
i
和v
i
表示前景特征图的查询值、关键值和价值；q、k和v表示背景特征图的查询值、关键值和价值；d
ki
和d
k
表示k
i
和k的维度；w
i
表示前景特征图权重；w表示背景特征图权重；f
′
i
表示交互式注意力模块更新的前景特征图，b
′
表示交互式注意力模块更新的背景特征图。5.根据权利要求1所述的用于区分前景与背景的目标检测方法，其特征在于，生成所述
预测框的方法包括：在所属第一前景特征图上预测前景目标中心点和目标边界框，得到所述预测框。6.根据权利要求1所述的用于区分前景与背景的目标检测方法，其特征在于，利用所述预测框和所述第一前景特征图，计算前景特征向量；利用所述第一背景特征图，计算背景特征向量；利用真实框和所述第一前景特征图，计算真实特征向量。7.根据权利要求6所述的用于区分前景与背景的目标检测方法，其特征在于，基于所述前景特征向量和所述背景特征向量之间的相似度，构建所述对比损失函数；基于所述前景特征向量和所述真实特征向量，构建所述前景显著性引导损失函数；利用前景目标中心点和目标边界框，构建所述预测框损失函数。8.根据权利要求7所述的用于区分前景与背景的目标检测方法，其特征在于，基于所述对比损失函数、所述前景显著性引导损失函数和所述预测框损失函数，构建总损失函数；利用所述总损失函数训练网络模型；并利用所述网络模型，完成目标识别。9.一种用于区分前景与背景的目标检测系统，其特征在于，包括：提取模块、增强模块、生成模块、计算模块、构建模块和预测模块；所述提取模块用于基于多尺度特征融合，提取待检测目标的前景特征图和背景特征图；所述增强模块用于对所述前景特征图和所述背景特征图使用注意力模块进行增强，得到第一前景特征图和第一背景特征图；所述生成模块用于基于所述第一前景特征图，生成预测框；所述计算模块用于利用所述预测框和所述第一前景特征图，计算前景特征向量；利用所述第一背景特征图，计算背景特征向量；利用真实框和所述第一前景特征图，计算真实特征向量；所述构建模块用于基于所述前景特征向量、所述背景特征向量、所述真实特征向量和所述预测框，构建对比损失函数、前景显著性引导损失函数和预测框损失函数；所述预测模块用于结合所述对比损失函数、所述前景显著性引导损失函数和所述预测框损失函数，提高目标的前景与背景的区分度，完成目标检测。

技术总结
本申请公开了一种用于区分前景与背景的目标检测方法及系统，其中方法步骤包括：基于多尺度特征融合，提取待检测目标的前景特征图和背景特征图；对前景特征图和背景特征图进行增强，得到第一前景特征图和第一背景特征图；基于第一前景特征图，生成预测框；利用预测框和第一前景特征图，计算前景特征向量；利用第一背景特征图，计算背景特征向量；利用真实框和第一前景特征图，计算真实特征向量；基于前景特征向量、背景特征向量、真实特征向量和预测框，构建对比损失函数、前景显著性引导损失函数和预测框损失函数；结合对比损失函数、前景显著性引导损失函数和预测框损失函数，提高目标的前景与背景的区分度，完成目标检测。完成目标检测。完成目标检测。


技术研发人员：赵雪梅 刘全 刘壮
受保护的技术使用者：桂林电子科技大学
技术研发日：2023.05.08
技术公布日：2023/8/9