基于变换器和跳跃路径聚合FPN的航拍目标检测方法

基于变换器和跳跃路径聚合fpn的航拍目标检测方法
技术领域
1.本发明涉及目标检测技术领域，特别涉及一种基于变换器和跳跃路径聚合fpn的航拍目标检测方法。


背景技术：

2.航拍目标检测技术是一种结合了无人机(uav)、高分辨率摄像头、计算机视觉和深度学习算法的技术，旨在实现对地面目标的自动识别、定位和追踪。近年来，由于无人机技术的快速发展和计算能力的提升，航拍目标检测技术在智能交通、农业监测、安防监控等领域得到了广泛的应用。目标检测技术主要分为传统目标检测方法和基于深度学习的目标检测方法。传统目标检测方法主要包括基于滑动窗口的检测方法、基于聚类的检测方法和基于图像分割的检测方法。这些方法依赖于手工设计的特征提取器，如sift、hog、lbp等，具有计算速度快、实时性好的优点。但是，这些方法对于目标尺寸、形状、姿态、光照等因素的变化较为敏感，容易导致检测性能下降。基于深度学习的目标检测方法主要包括两大类：基于区域的卷积神经网络(r-cnn系列)和基于单阶段的目标检测网络(如yolo、ssd等)。r-cnn系列方法主要包括r-cnn、fast r-cnn、faster r-cnn等。这些方法首先利用区域提议网络(rpn)生成候选目标区域，然后利用卷积神经网络(cnn)对这些区域进行特征提取，并通过全连接层进行目标分类和位置回归。r-cnn系列方法具有较高的检测精度，但计算速度较慢，实时性较差。单阶段目标检测网络如yolo、ssd等，直接在整幅图像上进行特征提取和目标检测，无需生成候选区域。这些方法具有较快的计算速度和较好的实时性，但检测精度相对较低。
3.航拍图像相较于传统地面图像具有以下特点：高分辨率、大视场、视角变化大、目标尺度和姿态多样等。这些特点为航拍目标检测技术提出了更高的要求，使得传统目标检测方法在航拍图像上的表现不尽如人意。针对航拍图像的特点，研究者们提出了许多适应性更强的目标检测方法。其中，一种常见的方法是将深度学习与传统特征提取方法相结合，利用深度学习的强大表征能力和传统特征提取方法的稳定性，提高航拍目标检测的准确性。另一种方法是对现有的深度学习目标检测网络进行改进，如引入多尺度特征融合、注意力机制等，以适应航拍图像中目标尺度和姿态的多样性。但现有的技术在航拍小目标检测领域仍不尽如人意，需要进一步的改进。


技术实现要素：

4.本发明提供一种基于变换器和跳跃路径聚合fpn的航拍目标检测方法，在无人机航拍视角图像上具有很高的小目标检测精度。
5.本发明第一方面实施例提供一种基于变换器和跳跃路径聚合fpn的航拍目标检测方法，包括以下步骤：获取待检测的航拍图像数据；将所述待检测的航拍图像数据输入预先训练好的航拍小目标检测网络模型进行目标检测，得到所述待检测的航拍图像数据的目标检测结果；其中，所述航拍小目标检测网络模型为利用可变形卷积和变换器模块结合的深
度聚合残差变换网络进行特征提取，利用跳跃路径聚合特征金字塔网络进行特征融合，利用双路路解耦检测头进行目标检测。
6.可选地，在本发明的一个实施例中，所述航拍小目标检测网络模型包括骨干网络、颈部网络、区域提取网络、感兴趣区域池化层和检测头；
7.所述骨干网络包括一个起始处理层和四个阶段处理层，起始处理层由3个3x3卷积和一个最大池化层组成；每个阶段处理层由多个结合可变形卷积和变换器的聚合残差变换瓶颈层级联组成，通过所述四个阶段处理层输出航拍图像数据的四层特征图；
8.所述颈部网络包括所述跳跃路径聚合特征金字塔网络，用于从所述骨干网络获取所述四层特征图，并经过卷积模块降低通道后输入所述跳跃路径聚合特征金字塔网络，所述跳跃路径聚合特征金字塔网络的输出送入所述区域提取网络和所述感兴趣区域池化层；
9.所述区域提取网络用于生成候选区域；
10.所述感兴趣区域池化层用于利用所述区域提取网络生成的候选区域在所述跳跃路径聚合特征金字塔网络输出的特征图上进行感兴趣区域特征图提取，利用感兴趣区域池化使得所有特征图输出尺寸相同，并将特征图送入所述检测头；
11.所述检测头为级联rcnn多阶段结构，每个阶段使用双路解耦检测头，对于所述感兴趣区域池化层输出的特征图，一路使用四个卷积层处理后进行边界框回归，得到航拍图像数据的目标检测框，另一路使用两层全连接层处理后进行分类，得到航拍图像数据的目标分类结果。
12.可选地，在本发明的一个实施例中，所述感兴趣区域池化层中的池化方式为调制可变形感兴趣区域池化。
13.本发明第二方面实施例提供一种基于变换器和跳跃路径聚合fpn的航拍目标检测装置，包括：获取模块，用于获取待检测的航拍图像数据；
14.检测模块，用于将所述待检测的航拍图像数据输入预先训练好的航拍小目标检测网络模型进行目标检测，得到所述待检测的航拍图像数据的目标检测结果；其中，所述航拍小目标检测网络模型为利用可变形卷积和变换器模块结合的深度聚合残差变换网络进行特征提取，利用跳跃路径聚合特征金字塔网络进行特征融合，利用双路路解耦检测头进行目标检测。
15.可选地，在本发明的一个实施例中，所述航拍小目标检测网络模型包括骨干网络、颈部网络、区域提取网络、感兴趣区域池化层和检测头；
16.所述骨干网络包括一个起始处理层和四个阶段处理层，起始处理层由3个3x3卷积和一个最大池化层组成；每个阶段处理层由多个结合可变形卷积和变换器的聚合残差变换瓶颈层级联组成，通过所述四个阶段处理层输出航拍图像数据的四层特征图；
17.所述颈部网络包括所述跳跃路径聚合特征金字塔网络，用于从所述骨干网络获取所述四层特征图，并经过卷积模块降低通道后输入所述跳跃路径聚合特征金字塔网络，所述跳跃路径聚合特征金字塔网络的输出送入所述区域提取网络和所述感兴趣区域池化层；
18.所述区域提取网络用于生成候选区域；
19.所述感兴趣区域池化层用于利用所述区域提取网络生成的候选区域在所述跳跃路径聚合特征金字塔网络输出的特征图上进行感兴趣区域特征图提取，利用感兴趣区域池化使得所有特征图输出尺寸相同，并将特征图送入所述检测头；
20.所述检测头为级联rcnn多阶段结构，每个阶段使用双路解耦检测头，对于所述感兴趣区域池化层输出的特征图，一路使用四个卷积层处理后进行边界框回归，得到航拍图像数据的目标检测框，另一路使用两层全连接层处理后进行分类，得到航拍图像数据的目标分类结果。
21.可选地，在本发明的一个实施例中，所述感兴趣区域池化层中的池化方式为调制可变形感兴趣区域池化。
22.本发明第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以执行如上述实施例所述的基于变换器和跳跃路径聚合fpn的航拍目标检测方法。
23.本发明第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以执行如上述实施例所述的基于变换器和跳跃路径聚合fpn的航拍目标检测方法。
24.本发明实施例的基于变换器和跳跃路径聚合fpn的航拍目标检测方法，结合可变形卷积和变换器的聚合残差变换瓶颈层，能够自适应调整感受野，捕获图像的长距离依赖，同时强调重要通道信息抑制噪声。本发明提出的跳跃路径聚合金字塔网络，能够更好的融合多尺度特征信息，尤其是大分辨率的小目标信息。本发明将检测头解耦，分别使用卷积和全连接两条支路进行边界框回归和分类，使得分类更关注中心的内容区域，回归更关注边缘信息，提升了检测效果。
25.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
26.本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
27.图1为根据本发明实施例提供的一种基于变换器和跳跃路径聚合fpn的航拍目标检测方法的流程图；
28.图2为根据本发明实施例提供的航拍小目标检测网络模型结构示意图；
29.图3为根据本发明实施例提供的变换器结构图；
30.图4为根据本发明实施例提供的结合可变形卷积和变换器的聚合残差变换瓶颈层结构图；
31.图5为根据本发明实施例提供的跳跃路径聚合特征金字塔结构图；
32.图6为根据本发明实施例的基于变换器和跳跃路径聚合fpn的航拍目标检测装置的示例图；
33.图7为发明实施例提供的电子设备的结构示意图。
具体实施方式
34.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
35.图1为根据本发明实施例提供的一种基于变换器和跳跃路径聚合fpn的航拍目标检测方法的流程图。
36.如图1所示，该基于变换器和跳跃路径聚合fpn的航拍目标检测方法包括以下步骤：
37.在步骤s101中，获取待检测的航拍图像数据。
38.在本发明的实施例中，航拍图像数据中的目标可以包括行人、骑行人员、自行车、电动车、汽车、货车、公交车等多种类别。
39.在步骤s102中，将待检测的航拍图像数据输入预先训练好的航拍小目标检测网络模型进行目标检测，得到待检测的航拍图像数据的目标检测结果；其中，航拍小目标检测网络模型为利用可变形卷积和变换器模块结合的深度聚合残差变换网络进行特征提取，利用跳跃路径聚合特征金字塔网络进行特征融合，利用双路路解耦检测头进行目标检测。
40.将待检测的航拍图像数据的输入预先训练好的航拍小目标检测网络模型进行目标检测，即可得到航拍图像中的目标位置以及目标所属的类别。
41.本发明的实施例利用无人机采集航拍图像数据，并进行标注得到数据集，将数据集划分为训练集，验证集合测试集，利用其对航拍小目标检测网络模型为进行训练、验证和测试，得到训练好的航拍小目标检测网络模型。
42.本发明的实施例使用可变形卷积、变换器模块结合的深度聚合残差变换网络作为骨干网络，提出跳跃路径聚合特征金字塔网络加强小目标特征融合，采用级联rcnn检测框架思路，并使用双路解耦检测头，构建出航拍小目标检测网络模型，称为dtdhc rcnn。
43.在训练集上对dtdhc rcnn算法进行训练，训练时采用多种数据增强策略，并通过验证集进行参数调优，得到最佳的权重文件。
44.将训练出来的最佳权重文件加载到dtdhc rcnn算法得到目标检测网络，然后在测试集上测试检测结果，并对后续采集的航拍图像进行检测。
45.在本发明的实施例中，如图2所示，航拍小目标检测网络模型包括骨干网络、颈部网络、区域提取网络(rpn)、感兴趣区域池化层和检测头。
46.骨干网络包括一个起始处理层和四个阶段处理层，起始处理层由3个3x3卷积和一个最大池化层组成；每个阶段处理层由多个结合可变形卷积和变换器的聚合残差变换瓶颈层级联组成，通过四个阶段处理层输出航拍图像数据的p2、p3、p4、p5四层特征图。如图3所示，展示了变换器结构。如图4所示，展示了结合可变形卷积和变换器的聚合残差变换瓶颈层结构。
47.颈部网络包括跳跃路径聚合特征金字塔网络，用于从骨干网络获取四层特征图，并经过卷积模块降低通道后输入跳跃路径聚合特征金字塔网络，跳跃路径聚合特征金字塔网络的输出送入区域提取网络和感兴趣区域池化层。如图5所示，展示了跳跃路径聚合特征金字塔结构图。
48.区域提取网络用于生成候选区域。
49.感兴趣区域池化层用于利用区域提取网络生成的候选区域在跳跃路径聚合特征金字塔网络输出的特征图上进行感兴趣区域特征图提取，利用感兴趣区域池化使得所有特征图输出尺寸相同，并将特征图送入检测头；其中的池化方式使用的调制可变形感兴趣区域池化。
50.检测头为级联rcnn多阶段结构，每个阶段使用双路解耦检测头，对于感兴趣区域池化层输出的特征图，一路使用四个卷积层处理后进行边界框回归，得到航拍图像数据的目标检测框，另一路使用两层全连接层处理后进行分类，得到航拍图像数据的目标分类结果。
51.在对航拍小目标检测网络模型进行训练时，使用带权重衰减的自适应动量估计优化器作为优化器，初始学习率设置为1e-2、最小学习率为0.0002、权值衰减系数为0.05、网络共训练24个轮次、每次训练的样本数量设置为16、学习率调度策略为余弦退火。
52.根据本发明实施例提出的基于变换器和跳跃路径聚合fpn的航拍目标检测方法，结合可变形卷积和变换器的聚合残差变换瓶颈层，能够自适应调整感受野，捕获图像的长距离依赖，同时强调重要通道信息抑制噪声。本发明提出的跳跃路径聚合金字塔网络，能够更好的融合多尺度特征信息，尤其是大分辨率的小目标信息。本发明将检测头解耦，分别使用卷积和全连接两条支路进行边界框回归和分类，使得分类更关注中心的内容区域，回归更关注边缘信息，提升了检测效果。在无人机航拍视角拍摄的图片中，本发明能够达到更高的检测精度，尤其是在有大量小目标存在的场景中。
53.其次参照附图描述根据本发明实施例提出的基于变换器和跳跃路径聚合fpn的航拍目标检测装置。
54.图6为根据本发明实施例的基于变换器和跳跃路径聚合fpn的航拍目标检测装置的示例图。
55.如图6所示，该基于变换器和跳跃路径聚合fpn的航拍目标检测装置10包括：获取模块100和检测模块200。
56.其中，获取模块100，用于获取待检测的航拍图像数据。检测模块200，用于将待检测的航拍图像数据输入预先训练好的航拍小目标检测网络模型进行目标检测，得到待检测的航拍图像数据的目标检测结果；其中，航拍小目标检测网络模型为利用可变形卷积和变换器模块结合的深度聚合残差变换网络进行特征提取，利用跳跃路径聚合特征金字塔网络进行特征融合，利用双路路解耦检测头进行目标检测。
57.在本发明的实施例中，航拍小目标检测网络模型包括骨干网络、颈部网络、区域提取网络、感兴趣区域池化层和检测头；
58.骨干网络包括一个起始处理层和四个阶段处理层，起始处理层由3个3x3卷积和一个最大池化层组成；每个阶段处理层由多个结合可变形卷积和变换器的聚合残差变换瓶颈层级联组成，通过四个阶段处理层输出航拍图像数据的四层特征图；
59.颈部网络包括跳跃路径聚合特征金字塔网络，用于从骨干网络获取四层特征图，并经过卷积模块降低通道后输入跳跃路径聚合特征金字塔网络，跳跃路径聚合特征金字塔网络的输出送入区域提取网络和感兴趣区域池化层；
60.区域提取网络用于生成候选区域；
61.感兴趣区域池化层用于利用区域提取网络生成的候选区域在跳跃路径聚合特征金字塔网络输出的特征图上进行感兴趣区域特征图提取，利用感兴趣区域池化使得所有特征图输出尺寸相同，并将特征图送入检测头；
62.检测头为级联rcnn多阶段结构，每个阶段使用双路解耦检测头，对于感兴趣区域池化层输出的特征图，一路使用四个卷积层处理后进行边界框回归，得到航拍图像数据的
目标检测框，另一路使用两层全连接层处理后进行分类，得到航拍图像数据的目标分类结果。
63.在本发明的实施例中，感兴趣区域池化层中的池化方式为调制可变形感兴趣区域池化。
64.需要说明的是，前述对基于变换器和跳跃路径聚合fpn的航拍目标检测方法实施例的解释说明也适用于该实施例的基于变换器和跳跃路径聚合fpn的航拍目标检测装置，此处不再赘述。
65.根据本发明实施例提出的基于变换器和跳跃路径聚合fpn的航拍目标检测装置，结合可变形卷积和变换器的聚合残差变换瓶颈层，能够自适应调整感受野，捕获图像的长距离依赖，同时强调重要通道信息抑制噪声。本发明提出的跳跃路径聚合金字塔网络，能够更好的融合多尺度特征信息，尤其是大分辨率的小目标信息。本发明将检测头解耦，分别使用卷积和全连接两条支路进行边界框回归和分类，使得分类更关注中心的内容区域，回归更关注边缘信息，提升了检测效果。
66.图7为本发明实施例提供的电子设备的结构示意图。该电子设备可以包括：
67.存储器701、处理器702及存储在存储器701上并可在处理器702上运行的计算机程序。
68.处理器702执行程序时实现上述实施例中提供的基于变换器和跳跃路径聚合fpn的航拍目标检测方法。
69.进一步地，电子设备还包括：
70.通信接口703，用于存储器701和处理器702之间的通信。
71.存储器701，用于存放可在处理器702上运行的计算机程序。
72.存储器701可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
73.如果存储器701、处理器702和通信接口703独立实现，则通信接口703、存储器701和处理器702可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(industry standard architecture，简称为isa)总线、外部设备互连(peripheral component，简称为pci)总线或扩展工业标准体系结构(extended industry standard architecture，简称为eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
74.可选的，在具体实现上，如果存储器701、处理器702及通信接口703，集成在一块芯片上实现，则存储器701、处理器702及通信接口703可以通过内部接口完成相互间的通信。
75.处理器702可能是一个中央处理器(central processing unit，简称为cpu)，或者是特定集成电路(application specific integrated circuit，简称为asic)，或者是被配置成实施本发明实施例的一个或多个集成电路。
76.本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上的基于变换器和跳跃路径聚合fpn的航拍目标检测方法。
77.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不
必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
78.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“n个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
79.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
80.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
81.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

技术特征：
1.一种基于变换器和跳跃路径聚合fpn的航拍目标检测方法，其特征在于，包括以下步骤：获取待检测的航拍图像数据；将所述待检测的航拍图像数据输入预先训练好的航拍小目标检测网络模型进行目标检测，得到所述待检测的航拍图像数据的目标检测结果；其中，所述航拍小目标检测网络模型为利用可变形卷积和变换器模块结合的深度聚合残差变换网络进行特征提取，利用跳跃路径聚合特征金字塔网络进行特征融合，利用双路路解耦检测头进行目标检测。2.根据权利要求1所述的方法，其特征在于，所述航拍小目标检测网络模型包括骨干网络、颈部网络、区域提取网络、感兴趣区域池化层和检测头；所述骨干网络包括一个起始处理层和四个阶段处理层，起始处理层由3个3x3卷积和一个最大池化层组成；每个阶段处理层由多个结合可变形卷积和变换器的聚合残差变换瓶颈层级联组成，通过所述四个阶段处理层输出航拍图像数据的四层特征图；所述颈部网络包括所述跳跃路径聚合特征金字塔网络，用于从所述骨干网络获取所述四层特征图，并经过卷积模块降低通道后输入所述跳跃路径聚合特征金字塔网络，所述跳跃路径聚合特征金字塔网络的输出送入所述区域提取网络和所述感兴趣区域池化层；所述区域提取网络用于生成候选区域；所述感兴趣区域池化层用于利用所述区域提取网络生成的候选区域在所述跳跃路径聚合特征金字塔网络输出的特征图上进行感兴趣区域特征图提取，利用感兴趣区域池化使得所有特征图输出尺寸相同，并将特征图送入所述检测头；所述检测头为级联rcnn多阶段结构，每个阶段使用双路解耦检测头，对于所述感兴趣区域池化层输出的特征图，一路使用四个卷积层处理后进行边界框回归，得到航拍图像数据的目标检测框，另一路使用两层全连接层处理后进行分类，得到航拍图像数据的目标分类结果。3.根据权利要求2所述的方法，其特征在于，所述感兴趣区域池化层中的池化方式为调制可变形感兴趣区域池化。4.一种基于变换器和跳跃路径聚合fpn的航拍目标检测装置，其特征在于，包括：获取模块，用于获取待检测的航拍图像数据；检测模块，用于将所述待检测的航拍图像数据输入预先训练好的航拍小目标检测网络模型进行目标检测，得到所述待检测的航拍图像数据的目标检测结果；其中，所述航拍小目标检测网络模型为利用可变形卷积和变换器模块结合的深度聚合残差变换网络进行特征提取，利用跳跃路径聚合特征金字塔网络进行特征融合，利用双路路解耦检测头进行目标检测。5.根据权利要求4所述的装置，其特征在于，所述航拍小目标检测网络模型包括骨干网络、颈部网络、区域提取网络、感兴趣区域池化层和检测头；所述骨干网络包括一个起始处理层和四个阶段处理层，起始处理层由3个3x3卷积和一个最大池化层组成；每个阶段处理层由多个结合可变形卷积和变换器的聚合残差变换瓶颈层级联组成，通过所述四个阶段处理层输出航拍图像数据的四层特征图；所述颈部网络包括所述跳跃路径聚合特征金字塔网络，用于从所述骨干网络获取所述四层特征图，并经过卷积模块降低通道后输入所述跳跃路径聚合特征金字塔网络，所述跳
跃路径聚合特征金字塔网络的输出送入所述区域提取网络和所述感兴趣区域池化层；所述区域提取网络用于生成候选区域；所述感兴趣区域池化层用于利用所述区域提取网络生成的候选区域在所述跳跃路径聚合特征金字塔网络输出的特征图上进行感兴趣区域特征图提取，利用感兴趣区域池化使得所有特征图输出尺寸相同，并将特征图送入所述检测头；所述检测头为级联rcnn多阶段结构，每个阶段使用双路解耦检测头，对于所述感兴趣区域池化层输出的特征图，一路使用四个卷积层处理后进行边界框回归，得到航拍图像数据的目标检测框，另一路使用两层全连接层处理后进行分类，得到航拍图像数据的目标分类结果。6.根据权利要求2所述的装置，其特征在于，所述感兴趣区域池化层中的池化方式为调制可变形感兴趣区域池化。7.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-3任一项所述的基于变换器和跳跃路径聚合fpn的航拍目标检测方法。8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-3任一项所述的基于变换器和跳跃路径聚合fpn的航拍目标检测方法。

技术总结
本发明公开了一种基于变换器和跳跃路径聚合FPN的航拍目标检测方法，包括：获取待检测的航拍图像数据；将待检测的航拍图像数据输入预先训练好的航拍小目标检测网络模型进行目标检测，得到待检测的航拍图像数据的目标检测结果；其中，航拍小目标检测网络模型为利用可变形卷积和变换器模块结合的深度聚合残差变换网络进行特征提取，利用跳跃路径聚合特征金字塔网络进行特征融合，利用双路路解耦检测头进行目标检测。在无人机航拍视角拍摄的图片中，能够达到更高的检测精度，尤其是在有大量小目标存在的场景中。小目标存在的场景中。小目标存在的场景中。


技术研发人员：杨绿溪 郑志刚 谢昂 张翅 王潇祎 徐琴珍 俞菲
受保护的技术使用者：东南大学
技术研发日：2023.04.21
技术公布日：2023/7/20