目标检测模型的训练方法、目标检测方法及相关装置与流程
未命名
07-15
阅读:136
评论:0
1.本技术属于目标检测技术领域,具体涉及一种目标检测模型的训练方法、目标检测方法及相关装置。
背景技术:
2.近年来,移动机器人行业发展迅速,前沿算法不断更新,基于视觉的目标检测技术逐步成为移动机器人领域的研究热点。
3.目前绝大部分高精度的目标检测模型过深,参数量过大,对计算设备的算力需要较高,导致在嵌入式平台上部署的难度较高,也会造成实时检测帧率较低。而过于轻量化的目标检测模型可能会出现误检、多噪点等问题,会导致检测准确率低。因此有必要提出一种新的目标检测方法。
技术实现要素:
4.本技术提供一种目标检测模型的训练方法、目标检测方法及相关装置,以保证较高检测精度的同时,减少网络参数量以及所需的计算力,弥补目前主流深度目标检测方法运行时间长占用资源多的缺点,提高实时目标检测帧率,使得目标检测方法更适用于移动机器人的目标检测任务。
5.为解决上述技术问题,本技术采用的一个技术方案是:提供一种目标检测模型的训练方法,所述训练方法包括:对样本图像进行特征提取以获得特征提取图像;对所述特征提取图像进行特征融合以获得特征融合图像;基于无锚框算法对所述特征融合图像进行预测以获得相应的第一损失、以及基于有锚框算法对所述特征融合图像进行预测以获得相应的第二损失;基于所述第一损失以及所述第二损失获得总损失;基于所述总损失调整所述目标检测模型的参数,以使得将待测图像输入至训练后的所述目标检测模型后能够基于无锚框算法获得相应的预测目标框。
6.为解决上述技术问题,本技术采用的另一个技术方案是:提供一种目标检测方法,包括:将待测图像输入至训练后的目标检测模型中以获得所述目标检测模型中基于无锚框算法预测的预测目标框;其中,所述目标检测模型利用上述任一实施例中所述的训练方法训练获得;基于所述预测目标框获得目标检测结果。
7.为解决上述技术问题,本技术采用的另一个技术方案是:提供一种电子设备,包括相互耦接的存储器和处理器,所述存储器中存储有程序,所述处理器用于执行所述程序以实现上述任一实施例中所述的训练方法或目标检测方法。
8.为解决上述技术问题,本技术采用的另一个技术方案是:提供一种存储装置,存储有能够被处理器运行的程序,所述程序用于实现上述任一实施例中所述的训练方法或目标检测方法。
9.一般而言,anchor(锚),也称为anchor box(锚框),是在训练之前,在训练集上利用k means等方法聚类出来的一组矩形框,代表数据集中目标主要分布的长宽尺度。当前主
流的目标检测技术可以大致分为有锚框(anchor-based)和无锚框(anchor-free)。其中,anchor-free目标检测技术存在检测精度差、模型可靠性不足的缺点;而anchor-based目标检测技术虽然检测精度高,但由于锚框的尺寸固定,存在普适性较差、参数量过大的缺点。因此,两者均不易于目标检测模型的工程落地。
10.基于此,区别于现有技术情况,本技术将两者进行优势互补,提出一种结合anchor-free和anchor-based的目标检测算法。具体地,在目标检测模型的训练阶段,利用有锚框算法anchor-based的第二预测网络辅助无锚框算法anchor-free的第一预测网络进行训练,以提高无锚框算法anchor-free的第一预测网络检测框回归质量。在目标检测模型的应用阶段,仅采用无锚框算法anchor-free的第一预测网络进行预测,降低了对计算资源的占用,保证了目标检测方法在计算资源受限平台上仍能有较好表现。总之,本技术所提供的目标检测方法在保证较高检测精度的同时,可以减少网络参数量及所需计算力,弥补目前主流深度目标检测算法运行时间长占用资源多的缺点,提高实时目标检测帧率,使得目标检测方法更适用于移动机器人的目标检测任务。
附图说明
11.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图,其中:
12.图1为本技术目标检测模型一实施方式的结构示意图;
13.图2为本技术目标检测模型的训练方法一实施方式的流程示意图;
14.图3为图1中目标检测模型对应的一实施方式的结构示意图;
15.图4为混合网络块(shufflenet block)一实施方式的结构示意图;
16.图5为幻影块(ghost block)一实施方式的结构示意图;
17.图6为本技术目标检测方法一实施方式的流程示意图;
18.图7为本技术目标检测模型的训练装置一实施方式的结构示意图;
19.图8为本技术电子设备一实施方式的结构示意图;
20.图9为本技术存储装置一实施方式的结构示意图。
具体实施方式
21.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本技术的一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本技术保护的范围。
22.为了便于理解,先介绍一下本技术目标检测模型的大体结构。具体地,请参阅图1,图1为本技术目标检测模型一实施方式的结构示意图。该目标检测模型包括特征提取网络10、特征融合网络12、以及并排设置的基于无锚框算法anchor-free的第一预测网络14和基于有锚框算法anchor-based的第二预测网络16;其中,特征提取网络10可以视为目标检测模型的backbone(主干网络)部分,特征融合网络12可以视为目标检测模型的neck部分,第
一预测网络14和第二预测网络16可以视为目标检测模型的head(检测头)部分。且可以看到,特征提取网络10的输出为特征融合网络12的输入,特征融合网络12的输出为第一预测网络14和第二预测网络16的输入。此外,第一预测网络14为基于anchor-free算法的预测网络,其预测网络结构可以为cornernet、extremenet、centernet、fcos等。第二预测网络16为基于anchor-based算法的预测网络,其预测网络结构可以为faster r cnn、ssd、yolo v2/v3等。图1中第二预测网络16之所以以虚线表示,是因为第二预测网络16仅在目标检测模型的训练过程中利用到,第二预测网络16在目标检测模型的实际应用过程中并不会利用到。
23.进一步,请参阅图2,图2为本技术目标检测模型的训练方法一实施方式的流程示意图,该目标检测模型的训练方法具体包括:
24.s101:对样本图像进行特征提取以获得特征提取图像。
25.具体地,如图1所示,可以将样本图像输入至特征提取网络10以获得特征提取图像,即特征提取网络10用于对样本图像进行特征提取以获得特征提取图像。
26.在一个应用场景中,请参阅图3,图3为图1中目标检测模型对应的一实施方式的结构示意图。其中,特征提取网络10包括多个轻量级特征提取模块100,每个轻量级特征提取模块100输出一个特征提取图像至特征融合网络12;且相邻的两个轻量级特征提取模块100中的一个轻量级特征提取模块100的输出为另一个轻量级特征提取模块100的输入,不同轻量级特征提取模块100输出的特征提取图像的尺寸不同。例如,图3中示意画出三个轻量级特征提取模块100,在远离输入方向上,三个轻量级特征提取模块100输出的特征提取图像的尺寸逐渐降低。举例而言,图3中三个轻量级特征提取模块100可以输出的三个特征提取图像,分别为p3、p4和p5,且p3的尺寸大于p4的尺寸,p4的尺寸大于p5的尺寸。
27.一方面,通过引入轻量级特征提取模块100可以降低特征提取网络10的大小,降低特征提取网络10的计算量;另一方面,当上述轻量级特征提取模块100的个数为三个时,三个轻量级特征提取模块100可以分别输出大、中、小三个尺寸的特征提取图像至后续的特征融合网络12中,在降低计算量的同时可以保证计算精度。
28.可选地,上述轻量级特征提取模块100包括混合网络块(shufflenet block)。具体地,如图4所示,图4为混合网络块(shufflenet block)一实施方式的结构示意图。混合网络块(shufflenet block)通过利用深度可分离卷积层(dwconv)和通道混合层(channel shuffle),在保证精确度的同时显著的降低了网络的计算量。
29.此外,请再次参阅图3,特征提取网络10还可以包括其他结构层,例如,在多个轻量级特征提取模块100之前还包括下采样层102和最大池化层104,且最大池化层104可以位于下采样层102和多个轻量级特征提取模块100之间。
30.进一步,请再次参阅图3,上述步骤s101的具体实现过程可以包括:
31.a1、对样本图像依次进行下采样和最大池化操作以获得样本特征图。
32.具体地,上述步骤a1可以通过下采样层102和最大池化层104实现;例如,在上述步骤a1之前,可以对样本图像进行标准化处理,以使得样本图像的尺寸为320*320,通道为3;进一步,可以利用下采样层102对样本图像进行卷积核为3、步长为2的下采样操作,此时样本图像的输出通道变为24;接着利用最大池化层104对下采样后的样本图像进行步长为2的最大池化操作以获得样本特征图;此时样本特征图的尺寸为80*80,通道数为24。
33.b1、对样本特征图进行特征提取以获得第一特征提取图像p3。
34.具体地,上述步骤b1可通过标号为100a的轻量级特征提取模块对样本特征图进行步长为2的混合网络块(shufflenet block)操作,输出的第一特征提取图像p3的尺寸为40*40,通道数为116。
35.c1、对第一特征提取图像p3进行特征提取以获得第二特征提取图像p4。
36.具体地,上述步骤c1可通过标号为100b的轻量级特征提取模块对第一特征提取图像p3进行步长为2的混合网络块(shufflenet block)操作,输出的第二特征提取图像p4的尺寸为20*20,通道数为232。
37.d1、对第二特征提取图像p4进行特征提取以获得第三特征提取图像p5。
38.具体地,上述步骤d1可通过标号为100c的轻量级特征提取模块对第二特征提取图像p4进行步长为2的混合网络块(shufflenet block)操作,输出的第三特征提取图像p5的尺寸为10*10,通道数为464。
39.可以看到,上述步骤s101的具体实现过程较为简单,且可以输出大、中、小三个尺寸的特征提取图像至后续的特征融合网络12中,在降低计算量的同时可以保证计算精度。
40.s102:对特征提取图像进行特征融合以获得特征融合图像。
41.具体地,如图1所示,可以将特征提取图像输入至特征融合网络12以获得特征融合图像;即特征融合网络12用于对特征提取图像进行特征融合以获得特征融合图像。
42.其中,特征融合网络12是目标检测模型中承上启下的关键环节,起到对特征提取网络10提取到的重要特征进行特征融合的目的,该特征融合网络12有利于下一步第一预测网络14或第二预测网络16的具体任务的特征学习。可选地,如图3所示,特征融合网络12中包括多个轻量级特征融合模块120,且相邻的两个轻量级特征融合模块120中的一个轻量级特征融合模块120的输入与另一个轻量级特征融合模块120的输出以及其中一个特征提取图像相关。例如,在图3中从输入至输出方向上,标记为120a的轻量级特征融合模块与标记为120b的轻量级特征融合模块相邻,且标记为120b的轻量级特征融合模块的输入与第一特征提取图像p3和标记为120a的轻量级特征融合模块的输出相关。
43.可选地,轻量级特征融合模块包括幻影块(ghost block)。具体地,如图5所示,图5为幻影块(ghost block)一实施方式的结构示意图。幻影块(ghost block)能够通过很小的代价生成更多的特征图,能够增强特征融合效果,在降低计算量的同时可以保证计算精度。
44.此外,请再次参阅图3,特征融合网络12还可以包括其他结构层,例如,上采样层、卷积层、通道级联层、下采样层等,本技术对此不作具体描述。
45.进一步,请再次参阅图3,上述步骤s102具体包括:
46.a2、基于第二特征提取图像p4和第三特征提取图像p5获得第一中间融合图像m4。
47.在一个具体的应用场景中,如图3所示,经过步骤s101可以获得第一特征提取图像p3、第二特征提取图像p4、第三特征提取图像p5,且第一特征提取图像p3的尺寸为40*40、通道数为116;第二特征提取图像p4的尺寸为20*20、通道数为232;第三特征提取图像p5的尺寸为10*10、通道数为464。下面为了便于说明,第一特征提取图像p3直接简写为p3、第二特征提取图像p4直接简写为p4、第三特征提取图像p5直接简写为p5。
48.进一步,上述步骤a2的具体实现过程包括:使用1*1的卷积核将p5的通道数从464压缩为96,并进行上采样,获得尺寸为20*20的m5;使用1*1的卷积核将p4的通道压缩由232变为96,获得尺寸为20*20的p4';将p4'与m5进行通道级联操作获得t1,将t1通过标记为
120a的幻影块进行特征融合,输出通道为256,尺寸为20*20的m4。
49.b2、基于第一特征提取图像p3和第一中间融合图像m4获得第一特征融合图像h3。
50.在一个具体的应用场景中,如图3所示,上述步骤b2的具体实现过程包括:将m4进行上采样,获得尺寸为40*40的u4;使用1*1的卷积核将p3的通道压缩为96,获得尺寸为40*40的p3';将p3'与u4进行通道级联操作获得t2,再通过标记为120b的幻影块进行特征融合,输出通道为96,尺寸为40*40的第一特征融合图像h3。
51.c2、基于第一特征融合图像h3和第一中间融合图像m4获得第二特征融合图像h4。
52.在一个具体的应用场景中,如图3所示,上述步骤c2的具体实现过程包括:将h3进行下采样,获得尺寸变为20*20的d3;将d3与m4进行通道级联操作获得t3,将t3通过标记为120c的幻影块进行特征融合,输出通道为96,尺寸为20*20的第二特征融合图像h4。
53.d2、基于第二特征融合图像h4和第三特征提取图像p5获得第三特征融合图像h5。
54.在一个具体的应用场景中,如图3所示,上述步骤d2的具体实现过程包括:将h4进行下采样,获得尺寸变为10*10的d4;将d4与p5进行通道级联操作获得t4,将t4通过幻影块120d进行特征融合,输出通道为96,尺寸为10*10的第三融合特征图像h5。
55.可以看到,上述步骤s102的具体实现过程较为简单,在降低计算量的同时可以保证计算精度。
56.s103:基于无锚框算法对特征融合图像进行预测以获得相应的第一损失、以及基于有锚框算法对特征融合图像进行预测以获得相应的第二损失。
57.具体地,如图1所示,可以将特征融合图像输入至第一预测网络14以获得第一损失、以及将特征融合图像输入至第二预测网络16以获得第二损失。
58.进一步,上述步骤s103的具体实现过程包括:获得基于无锚框算法对特征融合图像进行预测得到的多个第一样本、以及基于有锚框算法对特征融合图像进行预测得到的多个第二样本;基于第一样本分配方式从多个第一样本和多个第二样本中获得多个正样本;基于无锚框算法对多个正样本进行预测以获得相对应的第一损失、以及基于有锚框算法对多个正样本进行预测以获得相对应的第二损失。可选地,第一样本分配算法包括simota算法。
59.一般而言,预测网络需要根据正样本回归出目标框,所以第一样本分配算法会极大影响目标检测算法的性能。因此,在训练目标检测模型时需要选择合适的样本分配算法。常规的样本分配算法通常设置固定的正样本数目,然而此类样本分配算法无法灵活的应用于不同的数据集上。simota作为一种灵活的样本分配方式,可以针对不同的目标确定合适的正样本数量。simota应用于anchor-free的第一预测网络时,涵盖的正样本更多。相较于anchor-based的第二预测网络时,anchor-free的第一预测网络的召回率更高,正样本选择范围较大,但框回归的精准度较低。本技术中将simota应用于第一预测网络和第二预测网络中后,anchor-free的第一预测网络中的锚点所处的grid(网格)与anchor-based的第二预测网络中的预设锚框一同使用simota进行正样本选择,该设计方式可以帮助anchor-free的第一预测网络选择更加合适的正样本进行回归,使得回归的正样本位置更加准确。
60.需要说明的是,如图3所示,当特征融合图像的个数为多个,且各个特征融合图像的尺寸不同时,可以针对每个尺寸分别设置相应尺寸的第一预测网络14和第二预测网络16。
61.例如,在一个具体地应用场景中,如图3所示,基于anchor-free的第一预测网络的个数为三个,且尺度分别与输出的h3、h4、h5对应;此时,可以分别将h3、h4、h5作为输入,先经过卷积核为1*1,步长为1的卷积操作,然后进行卷积核为3*3,步长为1的卷积操作,各尺度输出尺寸分别为40*40、20*20、10*10,各尺度上的输出维度分别为3*(类别数+中心点值四个边框的距离+置信度);其中,此处的“+”并非代表数学领域的相加,可以理解为“和”的意思,即各尺度上的输出均包含类别数、中心点至四个边框的距离以及置信度。
62.如图3所示,基于anchor-based的第二预测网络的个数为三个,且尺度分别与输出的h3、h4、h5对应;分别将h3、h4、h5作为输入,先经过卷积核为1*1,步长为1的卷积操作,然后分为分类分支和回归分支两个分支,各分支上分别进行卷积核为3*3,步长为1的卷积操作,各尺度输出尺寸分别为40*40、20*20、10*10,分类分支通道数为类别数,回归分支的输出维度分别为中心点至四个边框的距离和置信度。
63.s104:基于第一损失以及第二损失获得总损失。
64.具体地,上述步骤s104的具体实现过程可以为:获得第一损失lossa与第一权重α的第一乘积、以及第二损失lossb与第二权重β的第二乘积;其中,第一权重α大于0、第二权重β大于0、且第一权重α大于第二权重β;将第一乘积与第二乘积之和作为总损失loss;以公式表示如下:
65.loss=αlossa+βlossb。
66.可选地,第一损失lossa可以为相应的分类损失、回归损失和置信度损失的和值、或者加权求和的和值;第二损失lossb可以为相应的分类损失、回归损失和置信度损失的和值、或者加权求和的和值。
67.可以看到,上述获得总损失的过程较为简单,且由于是利用anchor-based的第二预测网络辅助anchor-free的第一预测网络进行训练,故计算总损失时,第一预测网络对应的损失权重较大,以使得后续基于该总损失调整后的目标检测模型的第一预测网络的输出更为精确。
68.s105:基于总损失调整目标检测模型的参数,以使得将待测图像输入至训练后的目标检测模型后能够基于无锚框算法获得相应的预测目标框。
69.总之,本技术所提供的目标检测方法在保证较高检测精度的同时,可以减少网络参数量及所需计算力,弥补目前主流深度目标检测算法运行时间长占用资源多的缺点,提高实时目标检测帧率,使得目标检测方法更适用于移动机器人的目标检测任务。
70.请参阅图6,图6为本技术目标检测方法一实施方式的流程示意图,该目标检测方法包括:
71.s201:将待测图像输入至训练后的目标检测模型中以获得目标检测模型中基于无锚框算法预测的预测目标框。
72.具体地,目标检测模型利用上述任一实施例中所提及的训练方法训练获得,在此不再赘述。
73.s202:基于预测目标框获得目标检测结果。
74.具体地,如图3所示,通过目标检测模型的多个第一预测网络可以分别获得相应的预测目标框,后续可以基于多个预测目标框确定出最终的输出目标框,该输出目标框对应的内容即为目标检测结果。
75.可以看到,本技术提出一种结合anchor-free和anchor-based的目标检测算法。具体地,在目标检测模型的训练阶段,利用有锚框算法anchor-based的第二预测网络辅助无锚框算法anchor-free的第一预测网络进行训练,以提高无锚框算法anchor-free的第一预测网络检测框回归质量。在目标检测模型的应用阶段,仅采用无锚框算法anchor-free的第一预测网络进行预测,降低了对计算资源的占用,保证了目标检测方法在计算资源受限平台上仍能有较好表现。总之,本技术所提供的目标检测方法在保证较高检测精度的同时,可以减少网络参数量及所需计算力,弥补目前主流深度目标检测算法运行时间长占用资源多的缺点,提高实时目标检测帧率,使得目标检测方法更适用于移动机器人的目标检测任务。
76.请参阅图7,图7为本技术目标检测模型的训练装置一实施方式的结构示意图。该训练装置包括特征提取模块20、特征融合模块22、第一预测模块24、第二预测模块26、获得模块28和调整模块21;
77.其中,特征提取模块20用于对样本图像进行特征提取以获得特征提取图像;特征融合模块22与特征提取模块20连接,用于对特征提取图像进行特征融合以获得特征融合图像;第一预测模块24与特征融合模块22连接,用于基于无锚框算法对特征融合图像进行预测以获得第一损失;第二预测模块26与特征融合模块22连接,用于基于有锚框算法对特征融合图像进行预测以获得第二损失;获得模块28与第一预测模块24和第二预测模块26连接,用于基于第一损失以及第二损失获得总损失;调整模块21与获得模块28连接,用于基于总损失调整目标检测模型的参数,以使得将待测图像输入至训练后的目标检测模型后能够基于无锚框算法获得相应的预测目标框。
78.请参阅图8,图8为本技术电子设备一实施方式的结构示意图。该电子设备包括:相互耦接的存储器32和处理器30,存储器32中存储有程序,处理器30用于执行程序以实现上述任一训练方法或目标检测方法。具体地,电子设备包括但不限于:台式计算机、笔记本电脑、平板电脑、服务器等,在此不做限定。此外,处理器30还可以称为cpu(center processing unit,中央处理单元)。处理器30可能是一种集成电路芯片,具有信号处理能力。处理器30还可以是、通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器30可以由集成电路芯片共同实现。
79.请参阅图9,图9为本技术存储装置一实施方式的结构示意图,该存储装置40存储有能够被处理器运行的程序400,程序400用于实现上述任一训练方法或目标检测方法。该存储装置包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
80.总之,本技术为了解决anchor-free目标检测方法目标框回归质量差的问题,在训练阶段,采用anchor-based的第二预测网络对anchor-free的第一预测网络进行辅助训练。在推理阶段,仅采用anchor-free的第一预测网络进行目标框回归,降低了对计算资源的占用,保证了该目标检测方法在计算资源受限平台仍能有较好表现,本技术所提供的目标检测方法更适合移动端的检测需求。
81.其次,本技术在解决anchor-free和anchor-based的样本分配问题时,使用
anchor-based辅助anchor-free为其选择更加合适的正样本,使得回归的目标框位置更加准确。相比常规样本分配方式,本技术所采用的simota样本分配方法更能结合anchor-free和anchor-based两类方法样本选择上的优势。
82.再次,本技术为了提升移动机器人中目标检测方法的实时性和易用性,在目标检测模型搭建的过程中使用shufflenet block来减少特征提取网络的参数量,在进行特征融合时采用了幻影块ghost block减少特征融合网络的计算量。相比传统的目标检测方法,本技术所提供的目标检测方法具有可扩展性好、调试便捷、轻量化、灵活性高等优点。
83.以上所述仅为本技术的实施例,并非因此限制本技术的专利范围,凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本技术的专利保护范围内。
技术特征:
1.一种目标检测模型的训练方法,其特征在于,所述训练方法包括:对样本图像进行特征提取以获得特征提取图像;对所述特征提取图像进行特征融合以获得特征融合图像;基于无锚框算法对所述特征融合图像进行预测以获得相应的第一损失、以及基于有锚框算法对所述特征融合图像进行预测以获得相应的第二损失;基于所述第一损失以及所述第二损失获得总损失;基于所述总损失调整所述目标检测模型的参数,以使得将待测图像输入至训练后的所述目标检测模型后能够基于无锚框算法获得相应的预测目标框。2.根据权利要求1所述的训练方法,其特征在于,所述基于所述第一目标框对应的第一损失以及所述第二目标框对应的第二损失获得总损失的步骤,包括:基于所述第一目标框与所述样本图像的真实值获得所述第一损失、以及基于所述第二目标框与所述样本图像的真实值获得所述第二损失;其中,所述第一损失和所述第二损失分别包括相应的分类损失、回归损失和置信度损失;获得所述第一损失与第一权重的第一乘积、以及所述第二损失与第二权重的第二乘积;其中,所述第一权重大于0、所述第二权重大于0、且所述第一权重大于所述第二权重;将所述第一乘积与所述第二乘积之和作为所述总损失。3.根据权利要求1所述的训练方法,其特征在于,所述基于无锚框算法对所述特征融合图像进行预测以获得相应的第一损失、以及基于有锚框算法对所述特征融合图像进行预测以获得相应的第二损失的步骤,包括:获得基于无锚框算法对所述特征融合图像进行预测得到的多个第一样本、以及基于有锚框算法对所述特征融合图像进行预测得到的多个第二样本;基于第一样本分配方式从所述多个第一样本和所述多个第二样本中获得多个正样本;基于无锚框算法对所述多个正样本进行预测以获得相对应的第一损失、以及基于有锚框算法对所述多个正样本进行预测以获得相对应的第二损失。4.根据权利要求3所述的训练方法,其特征在于,所述第一样本分配算法包括simota算法。5.根据权利要求1所述的训练方法,其特征在于,所述对样本图像进行特征提取以获得特征提取图像的步骤,包括:对所述样本图像依次进行下采样和最大池化操作以获得样本特征图;对所述样本特征图进行特征提取以获得第一特征提取图像;对所述第一特征提取图像进行特征提取以获得第二特征提取图像;对所述第二特征提取图像进行特征提取以获得第三特征提取图像;所述对所述特征提取图像进行特征融合以获得特征融合图像的步骤,包括:基于所述第二特征提取图像和所述第三特征提取图像获得第一中间融合图像;基于所述第一特征提取图像和所述第一中间融合图像获得第一特征融合图像;基于所述第一特征融合图像和所述第一中间融合图像获得第二特征融合图像;基于所述第二特征融合图像和所述第三特征提取图像获得第三特征融合图像。6.根据权利要求1所述的训练方法,其特征在于,所述目标检测模型包括特征提取网络和特征融合网络、以及并排设置的基于无锚框算法的第一预测网络和基于有锚框算法的第二预测网络;其中,
所述特征提取网络用于对样本图像进行特征提取以获得特征提取图像;所述特征融合网络与所述特征提取网络连接,用于对所述特征提取图像进行特征融合以获得特征融合图像;所述第一预测网络与所述特征融合网络连接,用于基于无锚框算法对所述特征融合图像进行预测以获得相应的第一损失;所述第二预测网络与所述特征融合网络连接,用于基于有锚框算法对所述特征融合图像进行预测以获得相应的第二损失。7.根据权利要求6所述的训练方法,其特征在于,所述特征提取网络包括多个轻量级特征提取模块,每个所述轻量级特征提取模块输出一个特征提取图像至所述特征融合网络;且相邻的两个轻量级特征提取模块中的一个轻量级特征提取模块的输出为另一个轻量级特征提取模块的输入,不同轻量级特征提取模块输出的特征提取图像的尺寸不同。8.根据权利要求7所述的训练方法,其特征在于,所述轻量级特征提取模块包括混合网络块shufflenet block。9.根据权利要求6所述的训练方法,其特征在于,所述特征融合网络包括多个轻量级特征融合模块,且相邻的两个轻量级特征融合模块中的一个轻量级特征融合模块的输入与另一个轻量级特征融合模块的输出以及其中一个特征提取图像相关。10.根据权利要求9所述的训练方法,其特征在于,所述轻量级特征融合模块包括幻影块ghost block。11.一种目标检测方法,其特征在于,包括:将待测图像输入至训练后的目标检测模型中以获得所述目标检测模型中基于无锚框算法预测的预测目标框;其中,所述目标检测模型利用权利要求1-10中任一项所述的训练方法训练获得;基于所述预测目标框获得目标检测结果。12.一种电子设备,其特征在于,包括相互耦接的存储器和处理器,所述存储器中存储有程序,所述处理器用于执行所述程序以实现权利要求1至10中任一项所述的训练方法或权利要求11中所述的目标检测方法。13.一种存储装置,其特征在于,存储有能够被处理器运行的程序,所述程序用于实现权利要求1至10中任一项所述的训练方法或权利要求11中所述的目标检测方法。
技术总结
本申请提供一种目标检测模型的训练方法、目标检测方法及相关装置,该训练方法包括:对样本图像进行特征提取以获得特征提取图像;对所述特征提取图像进行特征融合以获得特征融合图像;基于无锚框算法对所述特征融合图像进行预测以获得相应的第一损失、以及基于有锚框算法对所述特征融合图像进行预测以获得相应的第二损失;基于所述第一损失以及所述第二损失获得总损失;基于所述总损失调整所述目标检测模型的参数,以使得将待测图像输入至训练后的所述目标检测模型后能够基于无锚框算法获得相应的预测目标框。通过上述方式,本申请能够保证较高检测精度的同时,减少网络参数量以及所需的计算力。及所需的计算力。及所需的计算力。
技术研发人员:张树钺 张诚成 马子昂
受保护的技术使用者:杭州华橙软件技术有限公司
技术研发日:2023.01.12
技术公布日:2023/7/12
版权声明
本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
飞行汽车 https://www.autovtol.com/
