一种多特征融合的多分支目标检测方法、系统及设备

1.本发明涉及目标检测技术领域，尤其是涉及一种多特征融合的多分支目标检测方法、系统及设备。


背景技术：

2.在目标检测网络中，大概将其分为三到四个部分，分别是负责特征提取的骨干特征提取主干网络，负责进行特征检测的头部网络，以及在骨干特征提取网络和头部网络之间的颈部网络，颈部网络主要目的在于将特征提取网络提取到的特征进行多尺度的融和更好的利用骨干特征提取网络提取到的特征。然而，如果仅仅单一的使用骨干特征提取网络最后输出的特征图，该特征图一般已经进行了多个层次的卷积，最后输出的特征图仅具有很低的分辨率。虽然具有较大的感受野，但因其经过了较多层的最大池化下采样和卷积，不可避免的丢失很多信息，这对于目标检测来说是十分不友好的，没有办法同时满足针对不同尺寸或是尺寸差距很大的目标的目标检测。如果使用针对小目标的模型检测大目标数据，会造成信息过多、感受野过小的问题；如果使用针对大目标的检测进行小目标的检测，就会损失过多的图片细节，很难检测出完整的小目标物体，降低小目标检测的准确度。


技术实现要素：

3.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种多特征融合的多分支目标检测方法、系统及设备，能够在避免丢失信息的同时，做到相应的增强各个细节信息内容，以此提高各个尺寸的目标检测的准确度。
4.第一方面，本发明实施例提供了一种多特征融合的多分支目标检测方法，所述多特征融合的多分支目标检测方法包括：
5.获取目标检测图像数据集；
6.将所述目标检测图像数据集输入至骨干特征提取网络中进行多尺度特征提取，获得多种尺度的第一特征图；
7.采用空洞卷积模块对所述多种尺度的第一特征图增加感受野，获得多种尺度的第二特征图；
8.将所述多种尺度的第二特征图采用ca注意力机制进行特征加权，获得多种尺度的加权特征图；
9.采用融合特征金字塔的颈部网络对所述多种尺度的加权特征图进行多次特征融合，获得多尺度的融合特征图；
10.将所述多尺度的融合特征图输入头部网络进行多分支目标检测，获得多种尺寸图像的目标检测结果。
11.与现有技术相比，本发明第一方面具有以下有益效果：
12.本方法将目标检测图像数据集输入至骨干特征提取网络中进行多尺度特征提取，获得多种尺度的第一特征图，采用空洞卷积模块对多种尺度的第一特征图增加感受野，获
得多种尺度的第二特征图，通过空洞卷积模块对多种尺度的第一特征图增加了感受野并且增强细节信息，提高了语义表征能力；将多种尺度的第二特征图采用ca注意力机制进行特征加权，获得多种尺度的加权特征图，将骨干特征提取网络输出的特征图采用ca注意力机制进行特征加权，能够提高特征提取能力，获得更好的特征；采用融合特征金字塔的颈部网络对多种尺度的加权特征图进行多次特征融合，获得多尺度的融合特征图，将多尺度的融合特征图输入头部网络进行多分支目标检测，获得多种尺寸图像的目标检测结果，通过融合特征金字塔的颈部网络将高层次的具有高语义信息但低分辨率的特征与低层次的具有高分辨率但低语义信息的特征进行融合，能够避免丢失很多信息，能够满足目标检测的需求。因此，将多尺度的融合特征图输入头部网络进行多分支目标检测，提高每种尺寸图像的目标检测的准确度，并且通过头部网络进行多分支目标检测，能够同时获得微小图像、中等图像、大图像等不同尺寸的图像目标检测结果。
13.根据本发明的一些实施例，所述骨干特征提取网络包括多个特征层和多个卷积层，每个所述特征层包含融入了空洞卷积的下采样和堆叠卷积。
14.根据本发明的一些实施例，所述将所述目标检测图像数据集输入至骨干特征提取网络中进行多尺度特征提取，获得多种尺度的第一特征图，包括：
15.将所述目标检测图像数据集输入至多个卷积层进行特征提取，获得卷积特征图；
16.将所述卷积特征图输入至第一特征层、第二特征层、第三特征层、第四特征层进行特征提取，获得多种尺度的第一特征图；其中，所述第一特征层增加了用于微小物体检测的预测头。
17.根据本发明的一些实施例，所述第四特征层输出的第一特征图采用空间金字塔池化模块进行尺寸固定，所述空间金字塔池化模块采用多个softpool池化层。
18.根据本发明的一些实施例，在采用融合特征金字塔的颈部网络对所述多种尺度的加权特征图进行多次特征融合之前，所述多特征融合的多分支目标检测方法还包括：
19.采用图神经网络对所述融合特征金字塔的颈部网络进行结构性剪枝，获得剪枝后的颈部网络；
20.在所述剪枝后的颈部网络中设置学习权重参数，对所述多种尺度的加权特征图进行特征学习。
21.根据本发明的一些实施例，所述采用融合特征金字塔的颈部网络对所述多种尺度的加权特征图进行多次特征融合，获得多尺度的融合特征图，包括：
22.采用三分支结构的空洞卷积，对每次所述融合特征金字塔的颈部网络对所述多种尺度的加权特征图进行特征融合后的特征图进行训练，获得多个训练后的第一融合特征图；
23.采用结构重参数化对所述多个训练后的第一融合特征图进行推理，获得多尺度的融合特征图。
24.根据本发明的一些实施例，所述头部网络采用wiou损失函数。
25.第二方面，本发明实施例还提供了一种多特征融合的多分支目标检测系统，所述多特征融合的多分支目标检测系统包括：
26.数据获取单元，用于获取目标检测图像数据集；
27.特征提取单元，用于将所述目标检测图像数据集输入至骨干特征提取网络中进行
多尺度特征提取，获得多种尺度的第一特征图；
28.感受野增加单元，用于采用空洞卷积模块对所述多种尺度的第一特征图增加感受野，获得多种尺度的第二特征图；
29.特征加权单元，用于将所述多种尺度的第二特征图采用ca注意力机制进行特征加权，获得多种尺度的加权特征图；
30.特征融合单元，用于采用融合特征金字塔的颈部网络对所述多种尺度的加权特征图进行多次特征融合，获得多尺度的融合特征图；
31.目标检测单元，用于将所述多尺度的融合特征图输入头部网络进行多分支目标检测，获得多种尺寸图像的目标检测结果。
32.第三方面，本发明实施例还提供了一种多特征融合的多分支目标检测设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上所述的一种多特征融合的多分支目标检测方法。
33.第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的一种多特征融合的多分支目标检测方法。
34.可以理解的是，上述第二方面至第四方面与相关技术相比存在的有益效果与上述第一方面与相关技术相比存在的有益效果相同，可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
35.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
36.图1是本发明一实施例的一种多特征融合的多分支目标检测方法的流程图；
37.图2是本发明另一实施例的一种多特征融合的多分支目标检测方法的流程图；
38.图3是本发明一实施例的骨干特征提取网络的示意图；
39.图4是本发明一实施例的mp结构下采样的示意图；
40.图5是本发明一实施例的dp结构下采样的示意图；
41.图6是本发明一实施例的空间金字塔池化模块的示意图；
42.图7是本发明一实施例的空洞卷积模块的示意图；
43.图8是本发明一实施例的ca注意力机制的示意图；
44.图9是本发明一实施例的ca注意力机制融入到骨干特征提取输出的特征层中的示意图；
45.图10是本发明一实施例的普通的卷积与空洞卷积区别的示意图；
46.图11是本发明一实施例的三分支结构的并联空洞卷积结构的示意图；
47.图12是本发明一实施例的训练结构的示意图；
48.图13是本发明一实施例的推理结构的示意图；
49.图14是本发明一实施例的一种多特征融合的多分支目标检测系统的结构图。
具体实施方式
50.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
51.在本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
52.在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
53.本发明的描述中，需要说明的是，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
54.在目标检测网络中，其分为三到四个部分，分别是负责特征提取的骨干特征提取主干网络，负责进行特征检测的头部网络，以及在骨干特征提取网络和头部网络之间的颈部网络，颈部网络主要目的在于将特征提取网络提取到的特征进行多尺度的融和更好的利用骨干特征提取网络提取到的特征。然而，如果仅仅单一的使用骨干特征提取网络最后输出的特征图，该特征图一般已经进行了多个层次的卷积，最后输出的特征图仅具有很低的分辨率，虽然具有较大的感受野，但因其经过了较多层的最大池化下采样和卷积，不可避免的丢失很多信息，这对于多尺寸数据集的目标检测来说是十分不友好的，没有办法同时满足针对不同尺寸或是尺寸差距很大的目标的目标检测。如果使用针对小目标的模型进行大目标的检测，会造成信息过多、感受野过小的问题，降低大目标检测的准确度；如果使用针对大目标的检测进行小目标的检测，就会损失过多的图片细节，很难检测出完整的小目标物体，降低小目标检测的准确度。
55.为解决上述问题，本发明将目标检测图像数据集输入至骨干特征提取网络中进行多尺度特征提取，获得多种尺度的第一特征图，采用空洞卷积模块对多种尺度的第一特征图增加感受野，获得多种尺度的第二特征图，通过空洞卷积模块对多种尺度的第一特征图增加了感受野并且增强细节信息，提高了语义表征能力；将多种尺度的第二特征图采用ca注意力机制进行特征加权，获得多种尺度的加权特征图，将骨干特征提取网络输出的特征图采用ca注意力机制进行特征加权，能够提高特征提取能力，获得更好的特征；采用融合特征金字塔的颈部网络对多种尺度的加权特征图进行多次特征融合，获得多尺度的融合特征图，将多尺度的融合特征图输入头部网络进行多分支目标检测，获得多种尺寸图像的目标检测结果，通过融合特征金字塔的颈部网络将高层次的具有高语义信息但低分辨率的特征与低层次的具有高分辨率但低语义信息的特征进行融合，能够避免丢失很多信息，不仅满足大目标检测分类的需求，也能够满足目标检测的需求，接着将多尺度的融合特征图输入头部网络进行多分支目标检测，提高每种尺寸图像的目标检测的准确度，并且通过头部网络进行多分支目标检测，能够同时获得微小图像、中等图像、大图像等不同尺寸的图像目标检测结果。
56.参照图1至图2，本发明实施例提供了一种多特征融合的多分支目标检测方法，本多特征融合的多分支目标检测方法包括但不限于步骤s100至步骤s600，其中：
57.步骤s100、获取目标检测图像数据集；
58.步骤s200、将目标检测图像数据集输入至骨干特征提取网络中进行多尺度特征提取，获得多种尺度的第一特征图；
59.步骤s300、采用空洞卷积模块对多种尺度的第一特征图增加感受野，获得多种尺度的第二特征图；
60.步骤s400、将多种尺度的第二特征图采用ca注意力机制进行特征加权，获得多种尺度的加权特征图；
61.步骤s500、采用融合特征金字塔的颈部网络对多种尺度的加权特征图进行多次特征融合，获得多尺度的融合特征图；
62.步骤s600、将多尺度的融合特征图输入头部网络进行多分支目标检测，获得多种尺寸图像的目标检测结果。
63.在一些实施例的步骤s100至步骤s600中，为了增加了感受野并且增强细节信息，提高语义表征能力，本实施例通过获取目标检测图像数据集，将目标检测图像数据集输入至骨干特征提取网络中进行多尺度特征提取，获得多种尺度的第一特征图，采用空洞卷积模块对多种尺度的第一特征图增加感受野，获得多种尺度的第二特征图；为了提高特征提取能力，获得更好的特征，本实施例通过将多种尺度的第二特征图采用ca注意力机制进行特征加权，获得多种尺度的加权特征图；为了能够避免丢失很多信息，提高目标检测的准确度，本实施例通过采用融合特征金字塔的颈部网络对多种尺度的加权特征图进行多次特征融合，获得多尺度的融合特征图，将多尺度的融合特征图输入头部网络进行多分支目标检测，获得多种尺寸图像的目标检测结果。本实施例通过头部网络进行多分支目标检测，能够同时获得微小图像、中等图像、大图像等不同尺寸的图像目标检测结果。
64.在一些实施例中，骨干特征提取网络包括多个特征层和多个卷积层，每个特征层包含融入了空洞卷积的下采样和堆叠卷积。
65.在本实施例中，采用空洞卷积替换骨干特征提取网络中的下采样结构，能够保存较多的图像细节。
66.在一些实施例中，将目标检测图像数据集输入至骨干特征提取网络中进行多尺度特征提取，获得多种尺度的第一特征图，包括：
67.将目标检测图像数据集输入至多个卷积层进行特征提取，获得卷积特征图；
68.将卷积特征图输入至第一特征层、第二特征层、第三特征层、第四特征层进行特征提取，获得多种尺度的第一特征图；其中，第一特征层增加了用于微小物体检测的预测头。
69.在本实施例中，添加用于微小物体检测的预测头，能够具有高分辨率的特性，对微小物体更加敏感，提高特征提取的准确度和完整性，各个层面保持分而治之的思想进行各自不同分辨率图像的目标检测，如微小目标、小目标、大目标等目标检测。
70.在一些实施例中，第四特征层输出的第一特征图采用空间金字塔池化模块进行尺寸固定，空间金字塔池化模块采用多个softpool池化层。
71.在本实施例中，使用softpool池化层来进行网络中空间金字塔池化模块的池化，能够最大限度的减少信息的损失。
72.在一些实施例中，在采用融合特征金字塔的颈部网络对多种尺度的加权特征图进行多次特征融合之前，多特征融合的多分支目标检测方法还包括：
73.采用图神经网络对融合特征金字塔的颈部网络进行结构性剪枝，获得剪枝后的颈部网络；
74.在剪枝后的颈部网络中设置学习权重参数，对多种尺度的加权特征图进行特征学习。
75.在本实施例中，采用图神经网络对融合特征金字塔的颈部网络进行结构性剪枝，能够在不影响网络学习的情况下减少更多的计算量；设置学习权重参数，对多种尺度的加权特征图进行特征学习，让网络学习每层不同尺寸的特征的重要性，对不同尺寸的检测目标采用不同的权重，从而实现分而治之。
76.在一些实施例中，采用融合特征金字塔的颈部网络对多种尺度的加权特征图进行多次特征融合，获得多尺度的融合特征图，包括：
77.采用三分支结构的空洞卷积，对每次融合特征金字塔的颈部网络对多种尺度的加权特征图进行特征融合后的特征图进行训练，获得多个训练后的第一融合特征图；
78.采用结构重参数化对多个训练后的第一融合特征图进行推理，获得多尺度的融合特征图。
79.在本实施例中，采用三分支结构的空洞卷积对颈部网络中的多分支堆叠模块进行修改，在不增加参数量的同时增加感受野，保持骨干特征提取中的多分支堆叠模块不变。
80.在一些实施例中，头部网络采用wiou损失函数。
81.在本实施例中，采用wiou损失函数能够有效解决目标检测中类别不平衡问题，从而提高目标检测的准确度。
82.为方便本领域人员理解，以下提供一组最佳实施例：
83.(1)获取一组图片，并对图片进行预处理，再使用骨干特征提取网络对预处理后的图片进行多尺度特征提取，输出四种不同尺度的第一特征图。参照图3，骨干特征提取网络包括多个特征层和多个卷积层，通过多个卷积层进行特征提取后，再通过多个特征层输出三层不同尺度的第一特征图以及增加了用于微小目标检测的预测头的最浅层次特征层提取的第一特征图，在最后一个特征层中使用了空间金字塔池化模块(spp模块)来调整特征尺寸。
84.在骨干特征提取网络中采用dp结构下采样和堆叠模块来进行特征提取，该dp结构下采样是通过采用不同尺寸的空洞卷积(dilated/atrous convolution)并联来替换mp(max-pooling)结构进行下采样形成的。具体为：
85.现有的下采样方式主要有两种：一是用步长为2的卷积层实现：卷积过程导致的图像变小是为了提取特征，下采样的过程是一个信息损失的过程，而池化层是不可学习的，用步长为2的可学习卷积层来代替池化可以得到更好的效果，同时也增加了一定的计算量。二是用步长为2的池化层实现：池化下采样是为了降低特征的维度，如最大池化(max-pooling)和平均池化(average-pooling)，目前通常使用max-pooling，因为max-pooling计算简单而且能够更好的保留纹理特征。融合上述两种下采样方式形成的mp结构如图4所示。然而max-pooling仍然会对图像造成不避免的损失，因此采用不同尺寸的空洞卷积(dilated/atrous convolution)并联来替换max-pooling进行下采样，形成dp结构下采样，
如图5所示，其中卷积模块，包含卷积层、bn归一化层和silu激活函数。
86.在最后一个特征层中使用了空间金字塔池化模块(spp模块)来调整特征尺寸。具体为：
87.softpool池化层能够降低特征图的大小以及网络计算量，目前网络中使用到的都为最大池化，虽然最大池化计算很快，内存占用很少，但是最大池化会极大的丢失网络中的信息，不利于网络检测目标物体，因此使用基于softmax加强进行特征图的池化操作。
88.定义大小为c
×h×
w的特征图a的局部区域为r，r表示2d空间区域，大小等同于池化核大小。softpool池化层核心思想在于利用softmax，根据特征值非线性的计算局部区域r的特征值权重：
[0089][0090]
其中，ai和aj表示该r区域内的每一个方格内的值，权重wi能够保证重要特征的传递，区域r内的特征值在反向传递时都至少会有预设的最小梯度，在得到权重wi后，通过加权区域r内的特征值得到输出
[0091][0092]
softpool池化层能够很好的参照区域内的激活值分布，服从一定的概率分布，而基于最大池化和平均池化的方法的输出是无分布的。
[0093]
使用softpool来进行网络中spp模块的池化，能够最大限度的减少信息的损失，结构如图6所示。
[0094]
需要说明的是，本实施例采用现有技术对图片进行预处理，主要是对图片进行增强，本实施例不作具体描述。
[0095]
(2)参照图7，采用空洞卷积模块对骨干特征提取网络输出的不同尺度的特征图增加感受野，获得不同尺度的第二特征图。该空洞卷积模块为采用多个扩张率不同的卷积核进行空洞卷积。
[0096]
(3)在骨干特征提取网络的输出层中融入ca注意力机制，将获得的不同尺度的第二特征图输入到ca注意力机制中，更好地关注到骨干特征提取网络需要观测到的特征。具体为：
[0097]
ca注意力机制将通道注意力分解为两个一维特征编码过程，分别沿两个空间方向聚合特征。其中，可以沿一个空间方向捕获远程依赖关系，同时可以沿另一空间方向保留精确的位置信息。然后将生成的特征图分别编码为一对方向感知和位置敏感的attention map，可以将其互补地应用于输入特征图，以增强关注对象的表示。具体操作分为coordinate信息嵌入和coordinate attention生成两个步骤，结构如图8所示。通过残差模块减少梯度爆炸发生的概率，构建更深的网络，通过批量样本归一化，有效防止梯度消失和梯度爆炸，防止过拟合。
[0098]
再将该ca注意力机制融入到骨干特征提取网络输出的特征层中，以使骨干特征提取网络能够更好的关注到想要关注的部分，结构如图9所示。
[0099]
(4)将不同尺度的第二特征图输入到融合特征金字塔模块的颈部网络(即图3中的
多尺度融合颈部模块)中进行多尺度特征融合，颈部网络中在每一次拼接(即concat，用于聚合多个卷积块)融合之后，使用空洞卷积改进后的多分支堆叠模块进行卷积和训练，而推断则使用普通卷积进行一卷到底(即结构重参数化)，获得多尺度的融合特征图。具体为：
[0100]
在神经网络中，高层次网络往往具有高语义低细节的特点，没有办法更好的满足目标检测的需要，因此在颈部网络中会融合特征金字塔模块来进行多层次的特征融合，将高层次具有高语义信息但低分辨率的特征与低层次具有高分辨率但低语义信息的特征进行融合，以满足目标检测的需求。
[0101]
多尺度特征的处理和表示一直是目标检测的难点，金字塔网络(fpn)作为开创性的结构，其提出通过自上而下进行特征融合来组合多尺度特征，接着路径聚合网络(panet)在单项特征融合的基础上添加了自下而上的双向特征融合，也证明了其有效性。
[0102]
然而，因双向特征融合的计算量几乎增加一倍，因此通过图神经网络进行结构性剪枝，对上述双向特征融合的网络进行修改，例如，对神经网络中只有一个输入边的节点进行删除，因为通常认为输入越少的节点对于整个图神经网络的影响会越小，因此删除该节点对网络的影响也不会太大，但是可以减少相当的计算量。同样在神经网络中不同层次的输出特征有不同的分辨率，而不同的分辨率对于不同尺寸目标检测的贡献也不相等，因此设置一个可以学习的权重在网络中共享，让网络学习每层不同尺寸特征的重要性，对不同尺寸的检测目标采用不同的权重，实现分而治之。
[0103]
颈部网络中在每一次concat融合之后，使用空洞卷积改进后的多分支堆叠模块进行卷积和训练。具体为：
[0104]
空洞卷积也叫做膨胀卷积或者扩张卷积，空洞卷积的使用可以在增加感受野的同时保持特征图的尺寸不变，同时减少了图片信息的损失。与正常的卷积不同的是，空洞卷积引入了一个称为“扩张率(dilation rate)”的超参数，该参数定义了卷积核处理数据时各值的间距。扩张率中文也叫空洞数。以3*3的卷积为例，展示普通卷积与空洞卷积的区别，如图12所示。
[0105]
图10中左图为普通的卷积过程，dilation rate＝1，卷积后的感受野为3；图10中右图为空洞卷积，dilation rate＝2，卷积后的感受野为5，可以认为普通卷积是空洞卷积的一种特殊情况。从图10中右图中可以看出来，同样一个3*3的空洞卷积，可以起到5*5的普通卷积是的效果，空洞卷积在不增加参数量以及不做pooling的前提下，增大了感受野，防止了由于参数量过大过拟合的现象，也防止了pooling丢失信息的情况。然而空洞卷积如果仅仅通过多次叠加dilation rate＝2的3*3卷积的话，就会出现卷积之后的特征图不连续，因为不是所有的像素都被计算了。因此采用hdc(混合空洞卷积)来解决不连续性的问题，使用多个dilation rate不同的卷积核进行空洞卷积代替池化层实现池化层的作用，对特征进行提取。使用三分支结构的并联空洞卷积结构对多分支堆叠模块进行更替，结构如图11所示。
[0106]
推断则使用普通卷积进行一卷到底(即结构重参数化)，获得多尺度的融合特征图。具体为：
[0107]
结构重参数化指的是先构造一系列结构(一般用于训练)，例如，构造三分支结构的并联空洞卷积结构的训练结构如图12所示，并将其参数等价转换为另一组参数(一般用于推理)，其推理结构如图13所示，从而将这一系列结构等价转换为另一系列结构。在现实
场景中，训练资源一般是相对丰富的，推理时的开销和性能更为重要，因此训练时的结构较大，具备好的某种性质(更高的精度或其他有用的性质，如稀疏性)，转换得到的推理时的结构较小且保留这种性质(相同的精度或其他有用的性质)。换句话说，“结构重参数化”这个词的本意就是用一个结构的一组参数转换为另一组参数，并用转换得到的参数来参数化(parameterize)另一个结构。只要参数的转换是等价的，这两个结构的替换就是等价的。
[0108]
(5)接着将多尺度的融合特征图输入到头部网络中进行分类回归，将头部网络的损失函数更新为wiou损失函数进行分类结果和位置回归结果的输出。具体为：
[0109]
头部网络采用wiou损失函数(即基于动态非单调聚焦机制的边界框损失)，wiou损失函数提出了基于注意力的损失wiou v1，设计了单调fm(即静态聚焦机制)的wiou v2和具有动态非单调的wiou v3。其中：
[0110]
wiou v1损失的计算公式如下：
[0111]
l
iou
＝1-iou
[0112]
l
wiou v1
＝r
wiou
l
iou
[0113][0114]
其中，wg和hg分别表示最小包围框的宽和高，r
wiou
表示wiou损失函数的惩罚项。为了防止r
wiou
产生阻碍收敛的梯度，x，y和x
gt
，y
gt
分别表示锚框中心点的位置和目标框中心点的位置，wg和hg从计算图中分离出来(上标*表示此操作)。因为它有效地消除了阻碍收敛的因素，所以没有引入新的度量，例如纵横比。
[0115]
wiou v2在wiou的基础上构造了l
wiou v1
的单调聚焦系数公式如下：
[0116][0117]
训练过程中，梯度增益随着l
iou
的减小而减小，导致收敛速度缓慢，因此引入平均值作为因子：
[0118][0119]
wiou v3定义离群度描述锚框的质量β：
[0120][0121]
离群度小意味着锚框的质量高，利用离群度构造一个非单调聚焦系数r应用于wiou v1，计算公式为：
[0122]
l
wiou v3
＝rl
wiou v1
[0123]
其中，表示梯度增益，iou表示用于度量目标检测任务中预测框与真实框的重叠程度，表示iou的均值，γ表示，r表示梯度增益，α、δ表示超参数。
[0124]
参照图14，本发明实施例还提供了一种多特征融合的多分支目标检测系统，本多特征融合的多分支目标检测系统包括数据获取单元100、特征提取单元200、感受野增加单元300、特征加权单元400、特征融合单元500和目标检测单元600，其中：
[0125]
数据获取单元100，用于获取目标检测图像数据集；
[0126]
特征提取单元200，用于将目标检测图像数据集输入至骨干特征提取网络中进行多尺度特征提取，获得多种尺度的第一特征图；
[0127]
感受野增加单元300，用于采用空洞卷积模块对多种尺度的第一特征图增加感受野，获得多种尺度的第二特征图；
[0128]
特征加权单元400，用于将多种尺度的第二特征图采用ca注意力机制进行特征加权，获得多种尺度的加权特征图；
[0129]
特征融合单元500，用于采用融合特征金字塔的颈部网络对多种尺度的加权特征图进行多次特征融合，获得多尺度的融合特征图；
[0130]
目标检测单元600，用于将多尺度的融合特征图输入头部网络进行多分支目标检测，获得多种尺寸图像的目标检测结果。
[0131]
需要说明的是，由于本实施例中的一种多特征融合的多分支目标检测系统与上述的一种多特征融合的多分支目标检测方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于本系统实施例，此处不再详述。
[0132]
本发明实施例还提供了一种多特征融合的多分支目标检测设备，包括：至少一个控制处理器和用于与至少一个控制处理器通信连接的存储器。
[0133]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0134]
实现上述实施例的一种多特征融合的多分支目标检测方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的一种多特征融合的多分支目标检测方法，例如，执行以上描述的图1中的方法步骤s100至步骤s600。
[0135]
以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0136]
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，可使得上述一个或多个控制处理器执行上述方法实施例中的一种多特征融合的多分支目标检测方法，例如，执行以上描述的图1中的方法步骤s100至步骤s600的功能。
[0137]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、
cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0138]
以上是对本技术实施例的较佳实施进行了具体说明，但本技术实施例并不局限于上述实施方式，熟悉本领域的技术人员在不违背本技术实施例精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术实施例权利要求所限定的范围内。

技术特征：
1.一种多特征融合的多分支目标检测方法，其特征在于，所述多特征融合的多分支目标检测方法包括：获取目标检测图像数据集；将所述目标检测图像数据集输入至骨干特征提取网络中进行多尺度特征提取，获得多种尺度的第一特征图；采用空洞卷积模块对所述多种尺度的第一特征图增加感受野，获得多种尺度的第二特征图；将所述多种尺度的第二特征图采用ca注意力机制进行特征加权，获得多种尺度的加权特征图；采用融合特征金字塔的颈部网络对所述多种尺度的加权特征图进行多次特征融合，获得多尺度的融合特征图；将所述多尺度的融合特征图输入头部网络进行多分支目标检测，获得多种尺寸图像的目标检测结果。2.根据权利要求1所述的多特征融合的多分支目标检测方法，其特征在于，所述骨干特征提取网络包括多个特征层和多个卷积层，每个所述特征层包含融入了空洞卷积的下采样和堆叠卷积。3.根据权利要求2所述的多特征融合的多分支目标检测方法，其特征在于，所述将所述目标检测图像数据集输入至骨干特征提取网络中进行多尺度特征提取，获得多种尺度的第一特征图，包括：将所述目标检测图像数据集输入至多个卷积层进行特征提取，获得卷积特征图；将所述卷积特征图输入至第一特征层、第二特征层、第三特征层、第四特征层进行特征提取，获得多种尺度的第一特征图；其中，所述第一特征层增加了用于微小物体检测的预测头。4.根据权利要求3所述的多特征融合的多分支目标检测方法，其特征在于，所述第四特征层输出的第一特征图采用空间金字塔池化模块进行尺寸固定，所述空间金字塔池化模块采用多个softpool池化层。5.根据权利要求1所述的多特征融合的多分支目标检测方法，其特征在于，在采用融合特征金字塔的颈部网络对所述多种尺度的加权特征图进行多次特征融合之前，所述多特征融合的多分支目标检测方法还包括：采用图神经网络对所述融合特征金字塔的颈部网络进行结构性剪枝，获得剪枝后的颈部网络；在所述剪枝后的颈部网络中设置学习权重参数，对所述多种尺度的加权特征图进行特征学习。6.根据权利要求1所述的多特征融合的多分支目标检测方法，其特征在于，所述采用融合特征金字塔的颈部网络对所述多种尺度的加权特征图进行多次特征融合，获得多尺度的融合特征图，包括：采用三分支结构的空洞卷积，对每次所述融合特征金字塔的颈部网络对所述多种尺度的加权特征图进行特征融合后的特征图进行训练，获得多个训练后的第一融合特征图；采用结构重参数化对所述多个训练后的第一融合特征图进行推理，获得多尺度的融合
特征图。7.根据权利要求1所述的多特征融合的多分支目标检测方法，其特征在于，所述头部网络采用wiou损失函数。8.一种多特征融合的多分支目标检测系统，其特征在于，所述多特征融合的多分支目标检测系统包括：数据获取单元，用于获取目标检测图像数据集；特征提取单元，用于将所述目标检测图像数据集输入至骨干特征提取网络中进行多尺度特征提取，获得多种尺度的第一特征图；感受野增加单元，用于采用空洞卷积模块对所述多种尺度的第一特征图增加感受野，获得多种尺度的第二特征图；特征加权单元，用于将所述多种尺度的第二特征图采用ca注意力机制进行特征加权，获得多种尺度的加权特征图；特征融合单元，用于采用融合特征金字塔的颈部网络对所述多种尺度的加权特征图进行多次特征融合，获得多尺度的融合特征图；目标检测单元，用于将所述多尺度的融合特征图输入头部网络进行多分支目标检测，获得多种尺寸图像的目标检测结果。9.一种多特征融合的多分支目标检测设备，其特征在于，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至7任一项所述的多特征融合的多分支目标检测方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的多特征融合的多分支目标检测方法。

技术总结
本发明公开了一种多特征融合的多分支目标检测方法、系统及设备，本方法通过获取目标检测图像数据集；将目标检测图像数据集输入至骨干特征提取网络中进行多尺度特征提取，获得多种尺度的第一特征图；采用空洞卷积模块对多种尺度的第一特征图增加感受野，获得多种尺度的第二特征图；将多种尺度的第二特征图采用CA注意力机制进行特征加权，获得多种尺度的加权特征图；采用融合特征金字塔的颈部网络对多种尺度的加权特征图进行多次特征融合，获得多尺度的融合特征图；将多尺度的融合特征图输入头部网络进行多分支目标检测，获得多种尺寸图像的目标检测结果。本发明能够避免丢失很多不同尺度的特征信息，提高目标检测的准确度。提高目标检测的准确度。提高目标检测的准确度。


技术研发人员：任胜兵 周佳蕾 王嘉伟
受保护的技术使用者：中南大学
技术研发日：2023.07.31
技术公布日：2023/10/11