一种用于目标检测和图像分类的特征增强损失方法及系统
未命名
10-19
阅读:129
评论:0
1.本发明属于目标检测技术领域,尤其涉及一种用于目标检测和图像分类的特征增强损失方法及系统。
背景技术:
2.目前,目标检测是计算机视觉研究中最基本和最具挑战性的关键任务之一,它试图从自然图像中找到预先定义类别的目标实例。深度学习是一种功能强大的特征提取工具,通过它可以直接从数据中学习特征表示,正是由于它强大的特征学习能力促使了目标检测领域的重大突破。基于深度学习的目标检测算法主要有两类:一类是单阶段目标检测算法,另一类是两阶段目标检测算法。
3.两阶段目标检测算法需要先生成候选区域,然后将候选区域送入神经网络进行分类与定位。ross girshick等人提出的r-cnn算法首先通过选择性搜索算法从输入图像中提取约2000个候选区域,然后使用alexnet网络从候选区域提取特征,最后通过svm分类器和回归器确定对象的类别和位置。r-cnn算法较传统的目标检测算法在精度上有大幅度的提升,但是r-cnn算法要求输入的图像具有固定的尺寸。针对此问题,he等人提出了sppnet算法,该算法通过在全连接层前插入一个采样层将卷积层生成的特征图采样成规定的尺寸使得特征向量的维数与输入的图像尺寸无关,增加网络模型的鲁棒性,该采样层称为空间池化金字塔层。并且sppnet算法先进行特征提取后生成候选区域,较r-cnn算法的先生成区域再进行特征提取的方法效率提高了24~102倍,并且精度也得到了进一步提升。ross girshick等人受到sppnet的启发,提出了fast r-cnn网络,该网络以vgg-16为特征提取网络,将pascal voc 2007的精度提高到了70.0%。无论是sppnet还是fast r-cnn都依赖于区域建议算法来推测目标位置,ren等人在提出的faster r-cnn算法中引入了区域建议网络rpn。rpn网络与检测网络共享完整的卷积特征,实现了无成本的区域建议,在pascal voc 2007数据集上达到了73.2%的精度,并且将检测速度从fast r-cnn的每秒3帧提高到了每秒7帧。
4.单阶段目标检测算法中省略了候选区域的生成阶段,只需要一次评估就能从完整的图像预测边界框和类概率。redomn等人在2016年提出了yolov1目标检测算法,其检测速度达到了惊人的每秒45帧。后来,刘等人在yolov1基础上提出来ssd目标检测算法,ssd目标检测算法将边界框的输出空间离散为一组不同长宽比和尺度的先验框。在pascal voc 2007数据集上将精度提升到了76.8%,检测速度提高到了每秒59帧。redomn等人对yolov1算法的不足之处进行改进,提出yolov2算法,在pascal voc 2007上的精度达到了78.6%,随后又相继提出yolov3算法,检测精度和速度得到进一步提升,除此之外还有许多优秀的单阶段目标检测算法,例如retinanet、efficientdet等。
5.图像分类同样是计算机视觉邻域中的一项重要任务,它的目标是将图像归类到不同的类别中。它构成了其它计算机视觉任务的基础。早期的图像分类方法主要是基于传统的机器学习算法,例如支持向量机、随机森林等。这些方法首先使用特征描述符从图像中提
取手工制作的特征,并将其作为可训练分类器的输入。因此,在大规模的、高维的图像数据上进行分类效果不佳,也很难达到实际应用的要求。随着深度学习技术的发展,卷积神经网络(cnn)成为了图像分类的主流算法。cnn具有自动提取特征的能力,可以避免传统方法中手工设计特征的问题。在alexnet之后,又出现了一系列的改进算法,包括vgg、googlenet、resnet等。这些算法在网络的深度、宽度、参数量等方面有所不同,但都取得了不错的性能。其中,resnet在解决深层网络梯度消失的问题上有重大贡献,并在imagenet比赛中取得了最好的成绩其中最著名的是alexnet,它在2012年imagenet图像分类比赛中取得了压倒性的胜利,使得cnn在图像分类中得到了广泛的应用。另外,为了提高图像分类的泛化能力和效果,还出现了很多技术和方法,如迁移学习、数据增强、正则化、网络剪枝等。这些技术可以有效地减少过拟合问题,提高分类的准确性和泛化能力。
6.注意力机制对提升目标检测和图像分类的精度有着重要作用,其中,将通道注意力模块插入卷积块引起了很多人的研究,在性能改进方面显示出来巨大的潜力。代表性方法之一就是挤压与激励网路(senet),它学习每个卷积块的通道注意力,为各种深度cnn架构带来明显的性能增益。在senet提出之后,一些研究通过捕获更复杂的通道相关性或结合额外的空间注意力来改善se块,一些研究是通过各种方法降低模型的复杂度。
7.通道注意力的发展大致可分为两个方向:1)增强特征聚合;2)以低模型复杂性学习有效的信道注意力。具体而言,在增强特征聚合方面,cbam使用平均池和最大池来聚合特征。gsop通过协方差的形式体现了通道与通道之间的关系。ge使用深度卷积探索空间扩展以聚集特征。在降低模型复杂性方面,gcnet与非局部神经网络共享类似的原理,开发了一个简化的nl网络,并与se块集成形成轻量级模块,用于长期依赖性。gctnet提出一种通道规范化层用于降低参数与计算量从而降低了模型的复杂性,eca通过只考虑每个信道与其k近邻之间的直接交互,而不是间接对应降低了模型的复杂性。
8.通过上述分析,现有技术存在的问题及缺陷为:
9.(1)现有目标检测方法中,网络的特征表示能力欠佳。
10.(2)基于深度学习算法的图像分类方法在大规模、高维的图像数据上进行分类的效果不佳,也很难达到实际应用的要求。
技术实现要素:
11.针对现有技术存在的问题,本发明提供了一种用于目标检测和图像分类的特征增强损失方法及系统。
12.本发明是这样实现的,一种用于目标检测和图像分类的特征增强损失方法,用于目标检测和图像分类的特征增强损失方法包括:分析senet中的通道注意力模块,对senet中的通道注意力模块给定输入特征;利用se块为每个通道使用全局平均池化,并连接两个具有非线性的完全连接层;由sigmoid函数生成每个通道的注意力权重,利用se模块生成的注意力权重实现目标检测和图像分类的特征增强损失。
13.进一步,用于目标检测和图像分类的特征增强损失方法包括以下步骤:
14.步骤一,在骨干网络中加入通道注意力机制;
15.步骤二,利用通道注意模块生成的注意力权重计算该通道注意力模块的所有注意力权重与注意力权重最大值的差的平方和的平均值,进而计算总的特征增强损失;
16.步骤三,在模型的损失函数中加入特征增强损失函数,模型在训练过程中通过对特征增强损失函数优化使得模型学习更多重要特征;
17.步骤四,准备数据集,设置参数值,开始训练模型。
18.进一步,步骤一中,在骨干网络中加入通道注意力机制,利用通道注意力机制显示建模通道之间的相互依赖性,自适应校准通道特征响应。
19.进一步,设卷积块的输出为其中w、h和c是宽度、高度和通道维度,通道维度为滤波器的数量,则通道注意力权重s的计算公式为:
20.s=fse(x,θ)=σ(w2δ(w1gap(x)));
21.x=sx;
22.其中,表示信道全局平均池,δ表示relu函数,
23.进一步,步骤二中,单个通道注意力模块特征增强损失计算公式为:
[0024][0025]
其中,smax表示注意力权重中最大的权重,si表示注意力权重中第i个通道的权重,c表示特征的总通道数。
[0026]
进一步,步骤三中,总的损失函数表达式为:
[0027]
lossfunction=αlorigin+(1-α)lfeature-augmentation;
[0028][0029]
式中,lorigin函数是原始损失函数,lfeature-augmentation函数是特征增强损失函数;α是平衡因子,用于平衡原始损失函数和特征增强损失函数之间的关系;n是加入通道注意力模块的总数,是第i个通道注意力模块中的s2值。
[0030]
本发明的另一目的在于提供一种用于目标检测和图像分类的特征增强损失系统,用于目标检测和图像分类的特征增强损失系统包括:
[0031]
通道注意力机制模块,用于在骨干网络中加入通道注意力机制;
[0032]
特征增强损失计算模块,用于通过计算某个通道注意力模块的所有注意力权重与注意力权重最大值的差的平方和的平均值,进而计算得到总的特征增强损失;
[0033]
特征增强损失优化模块,用于在模型的损失函数中加入特征增强损失函数,在训练过程中通过对特征增强损失函数优化使得模型学习更多重要特征;
[0034]
本发明的另一目的在于提供一种计算机设备,计算机设备包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行所述的用于目标检测和图像分类的特征增强损失方法的步骤。
[0035]
本发明的另一目的在于提供一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行所述的用于目标检测和图像分类的特征增强损失方法的步骤。
[0036]
本发明的另一目的在于提供一种信息数据处理终端,信息数据处理终端用于实现
所述的用于目标检测和图像分类的特征增强损失系统。
[0037]
结合上述的技术方案和解决的技术问题,本发明所要保护的技术方案所具备的优点及积极效果为:
[0038]
第一,本发明提供的用于目标检测和图像分类的特征增强损失方法,首先分析了senet中的通道注意力模块,对senet中的通道注意力模块给定输入特征,se块首先独立的为每个通道使用全局平均池化,然后连接两个具有非线性的完全连接层,最后由sigmoid函数生成每个通道的注意力权重;在对se块生成的注意力权重进行分析后发现每个通道的注意力权重离散程度很大,如图2a~图2f所示,这说明训练的网络学习到的特征重要程度区别很大。
[0039]
仿真实验结果表明,本发明的特征增强损失方法比原来的方法提高2.07%的top 1准确率,比深层的resnet-101的76.74%的top 1准确率高出0.43%;当使用resnet-101作为骨干网络时,在不增加网络模型复杂度的情况下,用特征增强损失函数训练的网络取得78.03%的top 1准确率,比用resnet-101和se-resnet-101训练的分类模型取得的76.74%和77.51%的top 1准确率分别高了1.29%和0.52%;当使用resnet-152作为骨干网络时,在不增加网络模型复杂度的情况下,用特征增强损失函数训练的网络达到了78.82%的top 1准确率,比用resnet-152和se-resnet-152训练的分类模型的top 1准确率分别高出1.34%和0.48%;比较使用不同骨干网络的测试结果发现,本发明的方法优于其他方法;通过在原始损失函数中加入额外的惩罚项,模型的复杂性保持不变。
[0040]
本发明在添加se模块后,原模型的检测精度明显提高,se模块将resnet-50的平均精度(ap)指标从37.1%提高到38.6%(提高1.5%),resnet-101从39.9%提高到41.1%(提高1.2%)。ap50和ap75指标也都有改善;利用特征增强损失函数训练的模型比原始resnet的ap指标分别提高了2.1%和1.7%。从实验结果可以看出,利用特征增强损失函数训练可以明显提高物体检测器的检测精度。计算它们注意力权重的s2值,使用特征增强损失函数训练的s2比senet网络的要小,说明使用特征增强损失函数训练的网络能学习到更多重要的特征。
[0041]
第二,注意力权重离散度很大说明模型学习到的特征重要程度区别很大,网络学习到了一些不太重要的特征,故本发明提出了一种新的损失函数,名为“特征增强损失函数”,通过该损失函数使网络学习到更多重要特征,增强特征表示。本发明的特征增强损失函数会使网络学习到更多更加重要的特征,从而减小这种离散度;同时,将“特征增强损失函数”添加到模型中并不会增加模型的复杂度,仅在模型的训练阶段以可以忽略不计的计算开销获得模型性能的提升。
[0042]
第三,作为本发明的权利要求的创造性辅助证据,还体现在以下几个重要方面:
[0043]
本发明的技术方案转化后的预期收益和商业价值为:
[0044]
本发明的技术方案可应用在安全安防领域、无人驾驶、零售业、医疗健康和工业制造等领域。在安全安防领域,对可疑人员进行比对时提高目标身份识别的准确率;对火灾烟雾,区域入侵等事件进行准确检测;加强家庭防盗、公共场所和生成环境的安全监控力度;在无人驾驶邻域,提高车辆的安全性和驾驶体验。保障人们生命财产安全。在零售业,可以实现智能化货架、智能支付等功能提高零售业的服务效率和利润率;在医疗健康领域,可以用于医疗影像分析、医学诊断、健康监测等方面,提高医疗效率和准确度;在工业制造方面,
可以用于质量控制、自动化生产、物流管理等方面,提高工业制造的效率和质量,减少成本,从而增加企业的利润和竞争力。
附图说明
[0045]
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
[0046]
图1是本发明实施例提供的用于目标检测和图像分类的特征增强损失方法流程图;
[0047]
图2a是本发明实施例提供的imagenet上se-resnet-50 se_2_3模块中的激发引起的激活,模块命名为
‘
se staged blockid’;
[0048]
图2b是本发明实施例提供的imagenet上se-resnet-50 se_3_4模块中的激发引起的激活,模块命名为
‘
se staged blockid’;
[0049]
图2c是本发明实施例提供的imagenet上se-resnet-50 se_4_6模块中的激发引起的激活,模块命名为
‘
se staged blockid’;
[0050]
图2d是本发明实施例提供的imagenet上se-resnet-50 se_5_1模块中的激发引起的激活,模块命名为
‘
se staged blockid’;
[0051]
图2e是本发明实施例提供的imagenet上se-resnet-50 se_5_2模块中的激发引起的激活,模块命名为
‘
se staged blockid’;
[0052]
图2f是本发明实施例提供的imagenet上se-resnet-50 se_5_3模块中的激发引起的激活,模块命名为
‘
se staged blockid’;
[0053]
图3是本发明实施例提供的在imagenet-1k上的top 1准确率验证曲线图;
[0054]
图4a是本发明实施例提供的imagenet上使用特征增强损失函数训练的se-resnet-50 se_2_3模块中的激发引起的激活,模块命名为
‘
se staged blockid’;
[0055]
图4b是本发明实施例提供的imagenet上使用特征增强损失函数训练的se-resnet-50 se_3_4模块中的激发引起的激活,模块命名为
‘
se staged blockid’;
[0056]
图4c是本发明实施例提供的imagenet上使用特征增强损失函数训练的se-resnet-50 se_4_6模块中的激发引起的激活,模块命名为
‘
se staged blockid’;
[0057]
图4d是本发明实施例提供的imagenet上使用特征增强损失函数训练的se-resnet-50 se_5_3模块中的激发引起的激活,模块命名为
‘
se staged blockid’。
具体实施方式
[0058]
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
[0059]
针对现有技术存在的问题,本发明提供了一种用于目标检测和图像分类的特征增强损失方法及系统,下面结合附图对本发明作详细的描述。
[0060]
术语解释:目标检测是计算机视觉中最基本和最具挑战性的关键任务之一,其目
的是从图像中检测并定位到特定目标;图像分类是计算机视觉邻域的一个重要研究方向,它的目的是将输入的图像归类到不同的预定义类别中。
[0061]
如图1所示,本发明实施例提供的用于目标检测和图像分类的特征增强损失方法包括以下步骤:
[0062]
s101,在骨干网络中加入通道注意力机制;
[0063]
s102,计算单个通道注意力模块的所有注意力权重与注意力权重最大值的差的平方和的平均值,进而计算总的特征增强损失;
[0064]
s103,在模型的损失函数中加入特征增强损失函数,模型在训练过程中通过对特征增强损失函数优化使得模型学习更多重要特征;
[0065]
s104,准备数据集,设置参数值,开始训练模型。
[0066]
本发明实施例提供的用于目标检测和图像分类的特征增强损失方法,首先分析senet中的通道注意力模块,对senet中的通道注意力模块给定输入特征,se块首先独立的为每个通道使用全局平均池化,然后连接两个具有非线性的完全连接层,最后由sigmoid函数生成每个通道的注意力权重;在对se块生成的注意力权重进行分析后发现每个通道的注意力权重离散程度很大(见图2a~图2f),这说明训练的网络学习到的特征重要程度区别很大。
[0067]
作为优选实施例,本发明实施例提供的用于目标检测和图像分类的特征增强损失方法具体包括以下步骤:
[0068]
步骤1:首先在骨干网络中加入通道注意力机制,通道注意力机制可以显示的建模通道之间的相互依赖性,自适应地校准通道特征响应。设一个卷积块的输出为其中w、h和c是宽度、高度和通道维度(即滤波器的数量),因此通道注意力权重s的计算方式如式(1)所示:
[0069]
s=fse(x,θ)=σ(w2δ(w1gap(x)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0070]
x=sx
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0071]
其中,是信道全局平均池,δ表示relu函数,
[0072]
步骤2:计算该层所有注意力权重与该层注意力权重最大值的差的平方和的平均值,用于计算该层特征增强损失,如式(3)所示:
[0073][0074]
其中,smax是该层注意力权重中最大的权重,si代表某层注意力权重中第i个通道的权重,c表示某层特征的总通道数。
[0075]
步骤3:在模型的损失函数中加入特征增强损失函数,模型在训练过程中通过对特征增强损失函数优化使得模型学习到更多重要特征。
[0076]
其中,总的损失函数如式(4)所示:
[0077]
lossfunction=αlorigin+(1-α)lfeature-augmentation
ꢀꢀꢀꢀꢀꢀꢀ
(4)
[0078]
[0079]
在式(4)中,lorigin函数是原始损失函数,lfeature-augmentation函数是特征增强函数,α是平衡因子,用于平衡两者关系。在式(5)中式,n是加入通道注意力模块的总数。是第i个通道注意力模块中的s2值。
[0080]
步骤4:准备数据集,设置参数值,开始训练模型。
[0081]
本发明实施例提供的用于目标检测和图像分类的特征增强损失系统包括:
[0082]
通道注意力机制模块,用于在骨干网络中加入通道注意力机制;
[0083]
特征增强损失计算模块,用于通过计算单个通道注意力模块的所有注意力权重与该层注意力权重最大值的差的平方和的平均值,进而计算得到总的特增强损失;
[0084]
特征增强损失优化模块,用于在模型的损失函数中加入特征增强损失函数,模型在训练过程中通过对特征增强损失函数优化使得模型学习更多重要特征;
[0085]
作为本发明实施例的一种主要运用,植物病虫害的端到端检测仪:数据收集:获取足够植物病虫害图片数据,并且对其进行标注。
[0086]
作为本发明实施例的一种主要运用,网络模型的搭建:将resnet50作为骨干网络搭建分类模型,在resnet50网络中加入通道注意力模块,并且计算单个通道注意力模块的特征增强损失,进而可以获取总的特征增强损失,将总的特征增强损失加入到原始损失中。
[0087]
作为本发明实施例的一种主要运用,模型训练:将标注的植物病虫害图片数据送入分类模型进行训练,通过相关的指标选取训练的最优模型。
[0088]
作为本发明实施例的一种主要运用,模型移植:将训练好的模型移植到移动端,进行检测。
[0089]
本发明实施例在研发或者使用过程中取得了一些积极效果,和现有技术相比的确具备很大的优势,下面内容结合试验过程的数据、图表等进行描述。
[0090]
1.实施细节
[0091]
使用resnet-50、resnet-101和resnet-152作为骨干模型,评估了特征增强损失函数对imagenet分类的有效性。本发明采用相同的优化方案进行训练,包括在使用resnet作为骨干网络时将输入图像随机裁剪为224
×
224并进行水平翻转。网络参数使用随机梯度下降法(sgd)进行优化,权重衰减为5e-4,动量为0.9。所有模型都训练了200个历时,初始学习率为0.1,每60个历时减少10个系数,在pytorch中实现。
[0092]
使用faster rcnn对ms coco 2017数据集进行评估,使用resnet-50和resnet-101作为骨干模型,并使用pytorch工具包实现所有检测器。具体来说,对于ms coco数据集,输入图像的短边被设置为800,所有模型都使用梯度下降算法优化,权重衰减为1e-4,动量为0.9。学习率最初被设定为0.01,并在8次和11次迭代后分别降低10倍的系数。
[0093]
使用的通道注意力模块为se模块,具体实施步骤如下:
[0094]
(1)在不同骨干网络中加入通道注意力模块;
[0095]
(2)计算每个通道注意力的s2值;
[0096]
(3)在模型中加入特征增强损失;
[0097]
(4)训练模型。
[0098]
2.评价指标
[0099]
图像分类任务中采用top1准确率和top5准确率指标,其中top1准确率是在模型预
测的类别中取概率最大的作为预测结果,如果最大的那个预测的分类结果正确就正确,若不正确则不正确。top5准确率是在模型预测的类别中取概率最大的前五个,在这五个预测类别中如果有一个预测正确,则预测分类结果正确,若这五个预测分类全部错误则预测分类结果错误。
[0100]
目标检测中采用ap50、ap75和ap作为评价指标。ap50指的是当目标检测算法输出的边界框与真实边界框的iou大于等于0.5时,正确检测到的目标数量占所有真实目标数量的比例,再对这个比例进行平均。ap75的计算方法类似,只不过将iou阈值提高到了0.75。ap是所有iou阈值下的平均精度的平均值。
[0101]
3.图像分类
[0102]
在imagenet数据集上使用不同的resnet骨架评估了特征增强损失函数的有效性,结果如表1所示。对于resnet-50,本发明以resnet-50为骨干网络,se-resnet-50分类模型,以及在se-resnet-50中加入特征增强损失函数的分类模型,训练了三种分类模型。从图3可以看出,本发明的方法比原来的方法提高了2.07%的top 1准确率,比深层的resnet-101的76.74%的top 1准确率高出0.43%。当使用resnet-101作为骨干网络时,在不增加网络模型复杂度的情况下,用特征增强损失函数训练的网络取得了78.03%的top 1准确率,比用resnet-101和se-resnet-101训练的分类模型取得的76.74%和77.51%的top 1准确率分别高了1.29%和0.52%。同样,当使用resnet-152作为骨干网络时,在不增加网络模型复杂度的情况下,用特征增强损失函数训练的网络达到了78.82%的top 1准确率,比用resnet-152和se-resnet-152训练的分类模型的top 1准确率分别高出1.34%和0.48%。比较使用不同骨干网络的测试结果发现,本发明的方法优于其他方法。通过在原始损失函数中加入额外的惩罚项,模型的复杂性保持不变。训练过程中的模型的top-1准确率变化曲线如图3所示。
[0103]
表1在imagenet数据集上的测试结果
[0104][0105]
4.目标检测
[0106]
使用faster r-cnn物体检测算法评估了本发明提出的特征增强损失函数。使用不同深度的神经网络resnet骨干网络。
[0107]
使用faster r-cnn目标检测模型,以resnet-50和resnet-101作为骨干模型,并在ms coco 2017数据集上评估检测结果。由表2显示,添加se模块后,原模型的检测精度明显提高,se模块将resnet-50的平均精度(ap)指标从37.1%提高到38.6%(提高1.5%),resnet-101从39.9%提高到41.1%(提高1.2%)。ap50和ap75指标也都有改善。用特征增强损失函数训练的模型比原始resnet的ap指标分别提高了2.1%和1.7%。从实验结果可以看出,用特征增强损失函数训练可以明显提高物体检测器的检测精度。
[0108]
表2在coco 2017数据集上的检测结果
[0109][0110]
5.ms coco 2017数据集上注意力权重离散度比较
[0111]
se_2_3通道数为256,采样间隔为5,se_3_4通道数为512,采样间隔为10,se_4_6通道数为1024,采样间隔为15,se_5_3通道数为2048,采样间隔为20。计算它们注意力权重的s2值,从图4a~图4d中可以看出使用特征增强损失函数训练的s2比senet网络的要小,说明使用特征增强损失函数训练的网络能学习到更多重要的特征。
[0112]
应当注意,本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现;软件部分可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、cd或dvd-rom的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用由各种类型的处理器执行的软件实现,也可以由上述硬件电路和软件的结合例如固件来实现。
[0113]
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。
技术特征:
1.一种用于目标检测和图像分类的特征增强损失方法,其特征在于,用于目标检测和图像分类的特征增强损失方法包括:分析senet中的通道注意力模块,对senet中的通道注意力模块给定输入特征;利用se块为每个通道使用全局平均池化,并连接两个具有非线性的完全连接层;由sigmoid函数生成每个通道的注意力权重,利用se模块生成的注意力权重进而实现目标检测和图像分类的特征增强损失。2.如权利要求1所述用于目标检测和图像分类的特征增强损失方法,其特征在于,用于目标检测和图像分类的特征增强损失方法包括以下步骤:步骤一,在骨干网络中加入通道注意力机制;步骤二,利用通道注意模块生成的注意力权重计算该通道注意力模块的所有注意力权重与注意力权重最大值的差的平方和的平均值,进而计算总的特征增强损失;步骤三,在模型的损失函数中加入特征增强损失函数,模型在训练过程中通过对特征增强损失函数优化使得模型学习更多重要特征;步骤四,准备数据集,设置参数值,开始训练模型。3.如权利要求2所述用于目标检测和图像分类的特征增强损失方法,其特征在于,步骤一中,在骨干网络中加入通道注意力机制,利用通道注意力机制显示建模通道之间的相互依赖性,自适应校准通道特征响应。4.如权利要求3所述用于目标检测和图像分类的特征增强损失方法,其特征在于,设卷积块的输出为其中w、h和c是宽度、高度和通道维度,通道维度为滤波器的数量,则通道注意力权重s的计算公式为:s=fse(x,θ)=σ(w2δ(w1gap(x)));x=sx;其中,表示信道全局平均池,δ表示relu函数,5.如权利要求2所述用于目标检测和图像分类的特征增强损失方法,其特征在于,步骤二中,单个通道注意力模块特征增强损失计算公式为:其中,smax表示注意力权重中最大的权重,si表示注意力权重中第i个通道的权重,c表示特征的总通道数。6.如权利要求2所述用于目标检测和图像分类的特征增强损失方法,其特征在于,步骤三中,总的损失函数表达式为:lossfunction=αlorigin+(1-α)lfeature-augmentation;式中,lorigin函数是原始损失函数,lfeature-augmentation函数是特征增强损失函数;α是平衡因子,用于平衡原始损失函数和特征增强损失函数之间的关系;n是加入通道注意力模块的总数,是第i个通道注意力模块中的s2值。
7.一种应用如权利要求1~6任意一项所述用于目标检测和图像分类的特征增强损失方法的用于目标检测和图像分类的特征增强损失系统,其特征在于,用于目标检测和图像分类的特征增强损失系统包括:通道注意力机制模块,用于在骨干网络中加入通道注意力机制;特征增强损失计算模块,用于通过计算单个通道注意力模块的所有注意力权重与注意力权重最大值的差的平方和的平均值,进而计算得到总的特征增强损失;特征增强损失优化模块,用于在模型的损失函数中加入特征增强损失函数,在训练过程中通过对特征增强损失函数优化使得模型学习更多重要特征。8.一种计算机设备,其特征在于,计算机设备包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行如权利要求1~6任意一项所述用于目标检测和图像分类的特征增强损失方法的步骤。9.一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行如权利要求1~6任意一项所述用于目标检测和图像分类的特征增强损失方法的步骤。10.一种信息数据处理终端,其特征在于,信息数据处理终端用于实现如权利要求7所述用于目标检测和图像分类的特征增强损失系统。
技术总结
本发明属于目标检测技术领域,公开了一种用于目标检测和图像分类的特征增强损失方法及系统,在骨干网络中加入通道注意力机制;计算所有注意力权重与注意力权重最大值的差的平方和的平均值,进而计算总的特征增强损失;在模型的损失函数中加入特征增强损失函数,模型在训练过程中通过对特征增强损失函数优化使得模型学习更多重要特征;准备数据集,设置参数值,开始训练模型。本发明通过损失函数使网络学习到更多重要特征,增强特征表示;特征增强损失函数会使网络学习到更多更加重要的特征,从而减小这种离散度;将“特征增强损失函数”添加到模型中并不会增加模型的复杂度,仅在模型的训练阶段以可以忽略不计的计算开销获得模型性能的提升。获得模型性能的提升。获得模型性能的提升。
技术研发人员:杨贤昭 刘雄彪 赵帅通 刘震
受保护的技术使用者:武汉科技大学
技术研发日:2023.04.19
技术公布日:2023/9/23
版权声明
本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
飞行汽车 https://www.autovtol.com/
