基于层级图交互注意力网络的遥感目标检测方法和装置

1.本说明书涉及人工智能技术领域，特别涉及一种基于层级图交互注意力网络的遥感目标检测方法和装置。


背景技术：

2.随着遥感传感器和空间技术的快速发展，大量空间高分辨率遥感图像(hsri)可用于满足多种特定需求。遥感目标检测作为大多数基于遥感图像的应用的一项基础性和关键性任务，越来越受到重视。然而目前光学遥感目标检测方法的性能不高，无法满足需求。


技术实现要素：

3.本说明书实施例提供一种基于层级图交互注意力网络的遥感目标检测方法和装置，以提高遥感目标检测的性能。本说明书实施例的技术方案如下。
4.本说明书实施例提供了一种基于层级图交互注意力网络的遥感目标检测方法，包括：
5.通过遥感模型中的空间图构建模块，针对遥感图像样本构建空间图，所述空间图包括空间节点和空间边，所述空间节点表示遥感图像样本中遥感目标的空间位置信息，所述空间边表示遥感图像样本中遥感目标之间的位置关系；
6.通过遥感模型中的语义图构建模块，根据遥感图像样本的标签构建语义图，所述语义图包括语义节点和语义边，所述语义节点表示标签的语义信息，所述语义边表示标签在遥感图像样本中的共现关系，所述标签表示遥感目标的类别；
7.通过遥感模型中的预测模块，对空间图和语义图进行遥感目标检测；
8.根据遥感目标检测结果，调整遥感模型的参数，得到训练后的遥感模型，训练后的遥感模型用于对待检测的遥感图像进行遥感目标检测。
9.本说明书实施例还提供了一种基于层级图交互注意力网络的遥感目标检测方法，包括：
10.空间图构建模块，用于针对遥感图像样本构建空间图，所述空间图包括空间节点和空间边，所述空间节点表示遥感图像样本中遥感目标的空间位置信息，所述空间边表示遥感图像样本中遥感目标之间的位置关系；
11.语义图构建模块，用于根据遥感图像样本的标签构建语义图，所述语义图包括语义节点和语义边，所述语义节点表示标签的语义信息，所述语义边表示标签在遥感图像样本中的共现关系，所述标签表示遥感目标的类别；
12.预测模块，用于对空间图和语义图进行遥感目标检测；
13.调整模块，用于根据遥感目标检测结果，调整遥感模型的参数，得到训练后的遥感模型，训练后的遥感模型用于对待检测的遥感图像进行遥感目标检测。
14.通过本说明书实施例，可以通过遥感模型中的空间图构建模块，针对遥感图像样本构建空间图，所述空间图包括空间节点和空间边，所述空间节点表示遥感图像样本中遥
感目标的空间位置信息，所述空间边表示遥感图像样本中遥感目标之间的位置关系；可以通过遥感模型中的语义图构建模块，根据遥感图像样本的标签构建语义图，所述语义图包括语义节点和语义边，所述语义节点表示标签的语义信息，所述语义边表示标签在遥感图像样本中的共现关系；可以通过遥感模型中的预测模块，对空间图和语义图进行遥感目标检测；可以根据遥感目标检测结果，调整遥感模型的参数，得到训练后的遥感模型。这样可以结合遥感目标的空间分布信息和语义相关信息来训练遥感模型。通过空间分布信息和语义相关信息的互补作用，可以提高遥感模型的训练效果。从而，在使用训练后的遥感模型用于对待检测的遥感图像进行遥感目标检测时，能提高遥感目标检测的性能。
附图说明
15.为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
16.图1为本说明书实施例中遥感模型的架构示意图；
17.图2为本说明书实施例中自注意力模块的架构示意图；
18.图3为本说明书实施例中交叉注意力模块的架构示意图；
19.图4为本说明书实施例中遥感目标检测方法的流程示意图；
20.图5为本说明书实施例中遥感目标检测装置的结构示意图；
21.图6为本说明书实施例中遥感模型的检测结果示意图。
具体实施方式
22.下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。基于所描述的本公开的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本公开保护的范围。另外，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
23.目前的光学遥感目标检测方法可以包括传统检测方法和基于深度学习的检测方法。
24.传统检测方法通常从感兴趣区域(roi)的生成开始，伴随着基于图像像素的聚类和使用一些传统手工图像特征的目标检测的实现。尽管传统手工图像特征在一些特定的对象检测任务中表现出了令人印象深刻的性能，但他们在遥感目标检测方面仍然存在一定的局限性。例如，传统检测方法缺乏捕获高级语义信息的能力，而这些高级语义信息可以用于区分多个对象类别，特别是在视觉识别任务变得更具挑战性的情况下。基于深度学习的检测方法可以包括两阶段方法和一阶段方法。所述两阶段方法通常将输入图像分解为多个候选区域，以迭代和优化的方式选择贡献最大的候选区域，然后将贡献最大的候选区域输入分类器，用于遥感目标类别的预测和位置的估计。所述一阶段方法可以将遥感目标检测的
实现作为端到端的过程，旨在同时预测边界框、目标置信度和相应目标类别的概率。然而，无论一阶段方法还是两阶段方法，他们均存在着由拍摄角度、遥感目标分布和成像范围等引起的一些问题，也很难满足高分辨率遥感图像对目标检测任务日益增长的需求。
25.遥感图像中不同类别遥感目标的空间分布复杂，并且相同或者不同类别的遥感目标之间具有较高的感知模糊性。为此，若能够将遥感目标的空间分布和遥感目标标签的语义进行互补，基于互补的方式训练遥感模型。则有望提高遥感模型对于遥感目标检测的性能。例如提高地理空间对象位置检测的准确性和/或地理空间对象类别检测的准确性。
26.请参阅图1。本说明书实施例提供一种遥感模型的架构。所述遥感模型用于遥感目标检测。所述遥感目标可以包括地理空间对象，例如飞机、港口、船舶等。通过所述遥感模型，可以获得遥感目标的位置和/或类别。具体的，所述遥感模型可以包括基于层级图交互注意力网络(ha-mhgen)。所述遥感模型可以包括特征图构建模块、感兴趣区域检测模块、空间图构建模块、空间图处理模块、空间自注意力模块、语义图构建模块、语义图处理模块、语义自注意力模块、交叉注意力模块、预测模块中的多个。
27.在一些实施例中，所述特征图构建模块可以包括主干网络模型。所述主干网络模型可以包括lenet-5网络、alexnet网络、vggnet网络、googlenet网络、resnet网络等。所述特征图构建模块用于获得遥感图像在多个分辨率尺度下的特征图(feature map)。所述多个分辨率尺度下的特征图形成了多个层级或者层次。由于遥感目标的特征随分辨率尺度的不同而变化。通过多个分辨率尺度下的特征图，有助于获得遥感目标在多个分辨率尺度下的空间分布信息，从而提高遥感目标的性能。
28.在一些实施例中，所述感兴趣区域检测模块可以包括faster r-cnn模型等。所述感兴趣区域检测模块用于分别在每个特征图中检测遥感目标的感兴趣区域，获得遥感目标的空间位置信息。所述空间位置信息可以包括感兴趣区域在特征图中的位置数据和尺寸数据等，所述位置数据可以包括感兴趣区域左上角的坐标数据，所述尺寸数据可以包括感兴趣区域的高度和宽度。例如，所述感兴趣区域检测模块可以在第c个特征图中检测遥感目标的感兴趣区域，得到p表示第c个特征图中遥感目标的数量。(o
x
,oy)表示第c个特征图中第i个遥感目标所对应感兴趣区域的位置数据，w表示第c个特征图中第i个遥感目标所对应感兴趣区域的宽度，h表示第c个特征图中第i个遥感目标所对应感兴趣区域的高度。所述感兴趣区域检测模块具体可以根据roi align等算法检测感兴趣区域。
29.在一些实施例中，所述空间图构建模块用于分别针对每个特征图构建相应的空间图。所述空间图表示在某一分辨率尺度下遥感目标的空间分布信息。所述空间图构建模块可以根据感兴趣区域在特征图中的空间位置信息确定空间节点；可以根据感兴趣区域在特征图中的位置关系确定空间边；可以根据空间节点和空间边，构建空间图。所述空间图可以包括空间节点和空间边。每个空间节点对应一个遥感目标。所述空间节点用于表示遥感目标的空间位置信息。每个空间边关联两个遥感目标。所述空间边用于表示所述两个遥感目标之间的位置关系。具体的，若两个遥感目标相邻，则所述两个遥感目标对应的两个空间节点可以通过空间边相连。所述两个遥感目标相邻，可以是所述两个遥感目标之间的距离小于或等于设定阈值，所述两个遥感目标之间的距离可以根据所述两个遥感目标之间的空间
位置信息计算得到。
30.所述空间图构建模块可以分别针对每个特征图构建空间图。使得，空间图中的空间节点可以用于表示一个特征图中遥感目标的空间位置信息。另外，该空间图中的空间边可以根据该特征图确定得到。具体的，若在该特征图内部，两个遥感目标相邻，则所述两个遥感目标对应的两个空间节点可以通过空间边相连。当然，该空间图中的空间边还可以根据其他特征图确定得到。具体的，若在该特征图内部，两个遥感目标不相邻，但所述两个遥感目标在其他特征图内部相邻，则所述两个遥感目标对应的两个空间节点也可以通过空间边相连。
31.在一些场景示例中，所述特征图的数量可以为c个。所述空间图构建模块可以根据所述c个特征图构建c个空间图。其中，第i个特征图所对应的空间图可以包括空间节点集合vc和空间边集合{ew,ea}。所述空间节点集合vc包括第i个特征图中的遥感目标所对应的空间节点。ew包括根据第i个特征图所确定的空间边。具体的，若两个遥感目标和在第i个特征图内部相邻，则所述两个遥感目标所对应的两个空间节点可以通过空间边相连，ea包括根据所述c个特征图中除第i个特征图以外的其他特征图所确定的空间边。具体的，若两个遥感目标和在第i个特征图内部不相邻，但在除第i个特征图以外的其他任一特征图内部相邻，则所述两个遥感目标所对应的两个空间节点可以通过空间边相连，
32.空间图中的空间边还可以具有权重。所述权重用于表示空间边所关联的两个遥感目标之间的距离。所述权重具体可以与所述距离反相关。例如，所述权重可以通过公式目标之间的距离。所述权重具体可以与所述距离反相关。例如，所述权重可以通过公式得到。vi和vj表示遥感目标，‖v
i-vj‖2表示vi和vj之间的距离，δ表示参数。可以为空间图构建邻接矩阵。所述邻接矩阵可以包括权重。例如，数。可以为空间图构建邻接矩阵。所述邻接矩阵可以包括权重。例如，a
spa
表示邻接矩阵。需要说明的是，若两个遥感目标没有通过空间边相连，则在所述邻接矩阵中可以认为相应权重为特定数值。所述特定数值例如可以包括0等。
33.在一些实施例中，所述空间图处理模块可以包括图神经网络(gcn)等，所述图神经网络可以包括基于谱的图神经网络。所述空间图处理模块可以对空间图进行处理，得到空间图特征。所述空间图特征能够表示遥感目标的空间上下文关系。从而实现了空间关系推理。
34.所述空间图处理模块的数量可以等于分辨率尺度的数量。从而，所述空间图处理模块的数量也可以等于特征图的数量或者空间图的数量等。每个空间图处理模块可以对应一个分辨率尺度，可以对该分辨率尺度下的空间图进行处理，得到空间图特征。
35.在一些场景示例中，请参阅图2。以下以gcn为例，介绍对空间图的一种处理过程。
36.gcn运算可以视作gcn到图域的一个生成。他可以有效地增强导出的空间图特征的关系表达能力。对于给定xc中的图卷积等价于与滤波器核g
θ
的乘积。这样gcn运算的矩阵向量形式可以表示为其中，g
θ
表示对角矩阵，g
θ
中的数据元素为函数θ
的参数化特征值，l表示归一化拉普拉斯，l＝i
n-d-1/2
ad-1/2
，a表示邻接矩阵，d表示度矩阵。根据图laplacian的chebyshev展开，公式的一阶近似可定义为的一阶近似可定义为然后，矩阵形式在每个图卷积层上的广义运算可以表示为其中和分别表示图神经网络第l层的输入和图神经网络第l+1层的输出。w
l
表示学习的权重矩阵。从而使得，每个图神经网络层的操作可以表示为一个非线性函数其中，leakyrelu表示负输入斜率等于0.01的非线性运算，用于归一化最终的层次空间关系。如此，对于空间图的邻接矩阵a
spa
。多层gcn中相应空间关系推导的图形传播可通过公式表达。和分别表示空间图形卷积层的输入和输出，是相应的学习空间关系权重矩阵。
37.需要说明的是，在图2中，表示输入，query、key、value分别表示在基于注意力机制计算过程的参数。
38.在一些实施例中，所述空间自注意力模块用于通过自注意力机制对多个空间图特征进行融合。融合后的空间图特征用于表示遥感目标跨越分辨率尺度的空间上下文关系。
39.在一些实施例中，所述语义图构建模块用于根据遥感图像中遥感目标的标签构建语义图。所述标签表示遥感目标的类别。所述语义图表示标签的语义相关信息。所述语义图构建模块可以根据遥感目标的标签确定语义节点；可以根据标签在遥感图像中的共现关系确定语义边；可以根据语义节点和语义边，构建语义图。所述语义图可以包括语义节点和语义边。每个语义节点对应一个遥感目标的标签。所述语义节点表示标签的语义信息。每个语义边关联两个遥感目标的标签。所述语义边表示所述两个标签在遥感图像中的共现关系。具体的，若两个标签在遥感图像中同时出现，则所述两个标签对应的两个语义节点可以通过语义边相连。当然共现关系还可以通过其他方式确定。例如，若两个标签在遥感图像中同时出现的概率大于或等于设定阈值，则所述两个标签对应的两个语义节点可以通过语义边相连。所述两个标签在遥感图像中同时出现的概率可以通过以下方式计算得到：获取所述两个标签在遥感图像中同时出现的次数作为第一次数，获取所述两个标签中任一标签在遥感图像中出现的次数作为第二次数，将第一次数与第二次数的比值作为所述两个标签在遥感图像中同时出现的概率。
40.在一些场景示例中，所述语义图包括语义节点集合v
sem
和语义边集合e
sem
。所述语义节点集合v
sem
包括语义图中标签所对应的语义节点。p表示遥感图像中遥感目标的数量，k表示第i个遥感目标标签的单词数量，s1、s2、
…
、sk分别表示第1、2、
…
、k个单词的嵌入表示。所述语义边集合e
sem
包括语义图中的语义边。具体的，若两个标签和在遥感图像中同时出现的概率大于或等于设定阈值，则所述两个标签所对应的两个语义节点可以通过语义边相连。两个标签和在遥感图像中同时出现的概率可以通过公式p＝m/q计算得到。m表示两个标签和
在遥感图像中同时出现的次数，q表示标签或标签在遥感图像中出现的次数。
41.可以为语义图构建邻接矩阵。例如，语义图的邻接矩阵a
sem
可以包括数值0和/或数值1。所述数值0表示两个标签没有通过语义边相连，所述数值1表示两个标签通过语义边相连。具体的，例如，所述邻接矩阵可以通过公式计算得到，
42.在一些实施例中，所述语义图处理模块可以包括图神经网络(gcn)等，所述图神经网络可以包括基于谱的图神经网络。所述语义图处理模块可以对语义图进行处理，得到语义图特征。所述语义图特征能够表示遥感目标的语义上下文关系。从而实现了语义关系推理。所述语义图处理模块对语义图进行处理的过程，可以参见所述空间图处理模块对空间图的处理过程。这里不再赘述。
43.在一些实施例中，所述语义自注意力模块用于通过自注意力机制对语义图特征进行处理。处理后的语义图特征用于表示遥感目标的语义上下文关系。
44.在一些实施例中，所述交叉注意力模块，用于利用交叉注意力机制对融合后的空间图特征和处理后的语义图特征进行融合处理，得到交叉特征。所述交叉特征可以同时表示遥感目标的空间分布信息和语义相关信息。从而便于通过空间分布信息和语义相关信息的相互作用，提高遥感模型的训练效果。请参阅图3。所述交叉注意力模块可以包括多头交叉注意力模块。所述多头交叉注意力模块可以学习空间信息和语义信息之间的交叉关系特征表示。具体的，通过对头交叉注意力模块，可以将层次空间关系特征和上下文语义关系特征进行融合，得到跨模交叉特征。
45.在一些实施例中，可以对交叉特征和融合后的空间图特征进行拼接。所述预测模块可以对拼接结果进行遥感目标检测，获得遥感目标的位置和类别。具体的，所述预测模块可以包括回归模块和分类模块。所述回归模块用于确定位置，所述分类模块用于确定类别。
46.当然，例如，还可以对融合后的空间图特征进行全局最大池化处理，可以将全局最大池化处理结果和交叉特征进行拼接。所述预测模块可以对拼接结果进行遥感目标检测。
47.基于上述遥感模型，本说明书实施例提供一种遥感目标检测方法。所述遥感目标检测方法可以应用于服务器等计算机设备。本说明书实施例并不限定所述计算机设备的类型或者结构，只要能够实现本说明书实施例中的方法步骤即可。例如，所述训练方法中的多个方法步骤可以由一个服务器实现，或者，也可以将所述多个方法步骤分布在多个服务器中实现。
48.请参阅图4。所述遥感目标检测方法可以包括以下方法步骤。
49.步骤41：通过遥感模型中的空间图构建模块，针对遥感图像样本构建空间图，所述空间图包括空间节点和空间边，所述空间节点表示遥感图像样本中遥感目标的空间位置信息，所述空间边表示遥感图像样本中遥感目标之间的位置关系。
50.在一些实施例中，所述遥感图像样本可以包括用于对遥感模型进行训练的遥感图像(hsri)。所述遥感图像样本中可以包括一个或多个遥感目标。具体的，所述遥感图像样本中的遥感目标可以属于相同的类别，或者，也可以属于不同的类别。所述遥感目标可以包括地理空间对象，例如飞机、港口、船舶等。例如，所述遥感图像样本中可以包括3架飞机、1个
港口、5艘船舶等。每个遥感目标可以对应有标签。所述标签用于表示遥感目标的类别。所述标签可以包括飞机、港口、船舶等。所述遥感图像样本的数量为一个或多个。
51.在一些实施例中，所述空间图用于表示遥感目标的空间分布信息。所述空间分布信息可以包括遥感目标的空间位置信息和遥感目标之间的位置关系。具体的，所述空间图可以包括空间节点和空间边。每个空间节点对应一个遥感目标。所述空间节点用于表示遥感目标的空间位置信息。每个空间边关联两个遥感目标。所述空间边表示所述两个遥感目标之间的位置关系。具体的，若两个遥感目标相邻，则所述两个遥感目标对应的两个空间节点可以通过空间边相连。所述两个遥感目标相邻，可以是所述两个遥感目标之间的距离小于或等于设定阈值。所述两个遥感目标之间的距离可以根据所述两个遥感目标之间的空间位置信息计算得到。
52.在一些实施例中，可以通过遥感模型中的特征图构建模块，获得遥感图像样本的特征图。可以通过遥感模型中的感兴趣区域检测模块，在特征图中检测遥感目标的感兴趣区域，获得遥感目标的空间位置信息。所述空间位置信息包括感兴趣区域在特征图中的位置数据和尺寸数据。可以通过遥感模型中的空间图构建模块，结合感兴趣区域，针对特征图构建空间图。具体的，可以根据感兴趣区域在特征图中的空间位置信息确定空间节点，可以根据感兴趣区域在特征图中的位置关系确定空间边，可以根据空间节点和空间边构建空间图。
53.在一些实施例中，可以通过遥感模型中的特征图构建模块，获得遥感图像样本的一个特征图。可以通过遥感模型中的感兴趣区域检测模块，在所述一个特征图中检测遥感目标的感兴趣区域，获得遥感目标的空间位置信息。可以通过遥感模型中的空间图构建模块，针对所述一个特征图构建一个空间图。或者，还可以通过遥感模型中的特征图构建模块，获得遥感图像样本在多个分辨率尺度下的特征图。还可以通过遥感模型中的感兴趣区域检测模块，分别在每个特征图中检测遥感目标的感兴趣区域，获得遥感目标的空间位置信息。还可以通过遥感模型中的空间图构建模块，分别针对每个特征图构建相应的空间图。
54.步骤42：通过遥感模型中的语义图构建模块，根据遥感图像样本的标签构建语义图，所述语义图包括语义节点和语义边，所述语义节点表示标签的语义信息，所述语义边表示标签在遥感图像样本中的共现关系，所述标签表示遥感目标的类别。
55.在一些实施例中，所述语义图表示标签的语义相关信息。所述语义相关信息可以包括遥感目标标签的语义和遥感目标标签的共现关系。具体的，所述语义图可以包括语义节点和语义边。每个语义节点对应一个遥感目标的标签。所述语义节点表示标签的语义信息。每个语义边关联两个遥感目标的标签。所述语义边表示所述两个标签在遥感图像中的共现关系。若两个标签在遥感图像中同时出现，则所述两个标签对应的两个语义节点可以通过语义边相连。当然共现关系还可以通过其他方式确定。例如，若两个标签在遥感图像中同时出现的概率大于或等于设定阈值，则所述两个标签对应的两个语义节点可以通过语义边相连。所述两个标签在遥感图像中同时出现的概率可以通过以下方式计算得到：获取所述两个标签在遥感图像中同时出现的次数作为第一次数，获取所述两个标签中任一标签在遥感图像中出现的次数作为第二次数，将第一次数与第二次数的比值作为所述两个标签在遥感图像中同时出现的概率。
56.在一些实施例中，可以通过遥感模型中的语义图构建模块，根据遥感图像样本的
标签构建语义图。具体的，可以通过遥感模型中的语义图构建模块，根据遥感目标的标签确定语义节点，根据标签在遥感图像中的共现关系确定语义边，根据语义节点和语义边构建语义图。
57.其中，可以获取遥感图像样本中标签的嵌入表示(embedding)。可以根据嵌入表示构建语义图。例如，可以通过遥感模型中的语义图构建模块，根据嵌入表示确定语义节点。
58.步骤43：通过遥感模型中的预测模块，对空间图和语义图进行遥感目标检测。
59.在一些实施例中，可以通过遥感模型中的空间图处理模块，对空间图进行处理，得到空间图特征；可以通过遥感模型中的语义图处理模块，对语义图进行处理，得到语义图特征；可以通过遥感模型中的预测模块，对空间图特征和语义图特征进行遥感目标检测。
60.在一些实施例中，所述空间图处理模块的数量为多个，每个空间图处理模块对应一个分辨率尺度。所述空间图的数量为多个，每个空间图对应一个分辨率尺度。如此，可以通过每个分辨率尺度的空间图处理模块，对该分辨率尺度下的空间图进行处理，得到该分辨率尺度下的空间图特征；可以通过遥感模型中的空间自注意力模块，利用自注意力机制对多个分辨率尺度下的空间图特征进行融合处理，得到融合后的空间图特征。融合后的空间图特征用于表示遥感目标跨越分辨率尺度的空间关系。另外，还可以通过遥感模型中的语义自注意力模块，利用自注意力机制对语义图特征进行处理。处理后的语义图特征用于表示遥感目标的语义上下文关系。可以通过遥感模型中的预测模块，对融合后的空间图特征和处理后的语义图特征进行遥感目标检测。这样可以结合遥感目标的空间信息和语义信息来训练遥感模型。
61.在一些实施例中，可以通过遥感模型中的交叉注意力模块，利用交叉注意力机制对空间图特征和语义图特征进行融合处理，得到能够同时表示空间分布信息和语义相关信息的交叉特征；可以通过遥感模型中的预测模块，对交叉特征进行遥感目标检测。由于所述交叉特征能够表示遥感目标的空间分布信息和语义相关信息的互补作用，从而有利于提高训练效果。
62.其中，可以通过遥感模型中的预测模块，直接对交叉特征进行遥感目标检测。或者，还可以对交叉特征和空间图特征进行拼接；可以通过遥感模型中的预测模块，对拼接结果进行遥感目标检测。具体的，所述预测模块可以进一步包括回归模块和分类模块。可以通过回归模块对空间图特征进行遥感目标检测，得到遥感图像样本中遥感目标的位置。可以通过分类模块对拼接结果进行遥感目标检测，得到遥感图像样本中遥感目标的类别。例如，可以通过回归模块对融合后的空间图特征进行遥感目标检测，得到遥感图像样本中遥感目标的位置。可以通过分类模块对拼接结果进行遥感目标检测，得到遥感图像样本中遥感目标的类别。
63.步骤44：根据遥感目标检测结果，调整遥感模型的参数，得到训练后的遥感模型，训练后的遥感模型用于对待检测的遥感图像进行遥感目标检测。
64.在一些实施例中，所述遥感目标检测结果可以包括遥感目标的位置和类别。可以根据遥感目标检测结果，计算损失信息；可以根据损失信息，调整遥感模型的参数，从而实现对遥感模型进行训练。所述遥感模型的参数可以包括特征图模块、感兴趣区域检测模块、空间图构建模块、空间图处理模块、空间自注意力模块、语义图构建模块、语义图处理模块、语义自注意力模块、交叉注意力模块、预测模块中多个的参数。
65.其中，可以根据遥感目标检测结果中的位置结果，以及遥感图像样本中预先标注的遥感目标的位置，计算第一子损失信息；可以根据遥感目标检测结果中的类别结果，以及遥感图像样本中预先标注的标签，计算第二子损失信息。所述第一子损失信息用于表示位置损失。所述第二子损失信息用于表示类别损失。可以根据第一子损失信息和第二子损失信息，计算所述损失信息。例如，可以将第一子损失信息和第二子损失信息相加，得到所述损失信息。
66.其中，可以根据损失信息，通过梯度下降法等，调整遥感模型的参数。
67.在一些实施例中，训练后的遥感模型可以用于对待检测的遥感图像进行遥感目标检测。例如，可以将待检测遥感图像输入训练后的遥感模型，得到检测结果。所述检测结果用于表示待检测遥感图像中遥感目标的位置和类别。具体的，例如，可以通过训练后遥感模型中的空间图构建模块，针对待检测遥感图像构建空间图；可以通过训练后遥感模型中的预测模块，对构建的空间图进行遥感目标检测，得到所述检测结果。
68.可以通过训练后遥感模型中的特征图构建模块，获得待检测遥感图像在多个分辨率尺度下的特征图。可以通过训练后遥感模型中的感兴趣区域检测模块，分别在每个特征图中检测遥感目标的感兴趣区域，获得遥感目标的空间位置信息。可以通过训练后遥感模型中的空间图构建模块，分别针对每个特征图构建相应的空间图。可以通过训练后遥感模型中的多个空间图处理模块，对多个空间图进行处理，得到多个空间图特征。可以通过训练后遥感模型中的空间自注意力模块，利用自注意力机制对多个空间图特征进行融合处理，得到融合后的空间图特征。融合后的空间图特征用于表示遥感目标跨越分辨率尺度的空间关系。可以通过训练后遥感模型中的预测模块，对融合后的空间图特征进行遥感目标检测，得到所述检测结果。
69.通过本说明书实施例，可以通过遥感模型中的空间图构建模块，针对遥感图像样本构建空间图，所述空间图包括空间节点和空间边，所述空间节点表示遥感图像样本中遥感目标的空间位置信息，所述空间边表示遥感图像样本中遥感目标之间的位置关系；可以通过遥感模型中的语义图构建模块，根据遥感图像样本的标签构建语义图，所述语义图包括语义节点和语义边，所述语义节点表示标签的语义信息，所述语义边表示标签在遥感图像样本中的共现关系；可以通过遥感模型中的预测模块，对空间图和语义图进行遥感目标检测；可以根据遥感目标检测结果，调整遥感模型的参数，得到训练后的遥感模型。这样可以结合遥感目标的空间分布信息和语义相关信息来训练遥感模型。通过空间分布信息和语义相关信息的互补作用，可以提高遥感模型的训练效果。从而，在使用训练后的遥感模型用于对待检测的遥感图像进行遥感目标检测时，能提高遥感目标检测的性能。
70.另外，本说明书实施例结合了空间图构建模块、空间图处理模块、交叉注意力模块和预测模块等，提供了遥感模型。本说明书实施例可以具有以下有益效果。
71.1)本说明书实施例中的遥感模型包括空间图构建模块，用于构建多分辨率尺度下的空间图，所述空间图是在感兴趣区域检测模块在特征图上提供的感兴趣区域的基础上实现的。本说明书实施例中的遥感模型还包括语义图构建模块，用于有效地构建语义图，所述语义图用于表示类别标签之间的语义关系。结合空间图和语义图，可以提高遥感模型的区分能力。
72.2)本说明书实施例中的遥感模型包括空间自注意力模块和语义自注意力模块，用
于捕获遥感目标的空间关系和语义关系。自注意力机制的引入，可以促进遥感模型自适应地关注更有效、更重要的跨空间和语义的对象间和对象内关联。另外，由自注意力机制引导出的空间图特征和语义图特征，为区分负载遥感目标之间的细微差异提供了更高的分辨率。
73.3)本说明书实施例中的遥感模型包括交叉注意力模块，用于探索学习到的空间图特征和语义图特征之间的互补性，进一步增强它们对遥感目标检测的区分能力。所述交叉注意力模块可以采用多头注意力机制将一种图形形态引导到另一种图形模式，从而能够学习语义和空间图形特征之间的最佳关联，并使融合的特征赋予更强大的鉴别能力，提高检测性能。
74.请参阅图5。本说明书实施例还提供一种遥感目标检测装置，包括：
75.空间图构建模块51，用于针对遥感图像样本构建空间图，所述空间图包括空间节点和空间边，所述空间节点表示遥感图像样本中遥感目标的空间位置信息，所述空间边表示遥感图像样本中遥感目标之间的位置关系；
76.语义图构建模块52，用于根据遥感图像样本的标签构建语义图，所述语义图包括语义节点和语义边，所述语义节点表示标签的语义信息，所述语义边表示标签在遥感图像样本中的共现关系，所述标签表示遥感目标的类别；
77.预测模块53，用于对空间图和语义图进行遥感目标检测；
78.调整模块54，用于根据遥感目标检测结果，调整遥感模型的参数，得到训练后的遥感模型，训练后的遥感模型用于对待检测的遥感图像进行遥感目标检测。
79.请参阅图6。以下介绍本说明书实施例的场景示例，以更好的说明本说明书实施例的技术效果。
80.在dota数据集上，分别采用了本说明书实施例所提供的遥感模型和几种现有遥感目标检测方法，获得了一系列定量实验结果。如表1所示。所述几种现有遥感目标检测方法可以包括cornernet、faster r-cnn、fcos、retinanet、ylol-v3、sraf-net、fpn、fmssd、centernet、mgcn、stgcn。本说明书实施例所提供的遥感模型可以包括ha-mhgen。airplane、bd、bridge、ship、gtf、bc、sv、lv、tc、st、sbf、ra、sp、harbor、hc分别为标签。map表示全类平均正确率(一种性能指标)。根据表1可知，无论是两级段方法还是一阶段方法，本说明书实施例的遥感模型相比现有的遥感目标检测方法实现了更高的性能指标，达到78.32％。具体的，与faster r-cnn和fpn等两阶段方法相比，本说明书实施例遥感模型的性能指标分别提高了22.54％(78.32％对55.78％)和6.32％(78.32％对72％)。主要原因是faster r-cnn仅采用backbone的最后一个特征层进行区域提议提取，无法对一些空间分布密集的小目标进行准确的预测和定位。fpn虽然采用多尺度特征层进行区域提议提取，但它也忽略了目标检测的隐含空间关系，这也导致了一些不满意的检测结果。通过在map方面与一些著名的现有一阶段方法(包括retinanet、yolo-v3和fmssd等)进行比较，本说明书实施例遥感模型的性能指标分别提高了15.05％(78.32％对63.27％)、12.65％(78.32％对65.67％)和5.89％(78.32％对72.43％)。一般来说，上述现一阶段方法的回归和预测总是无法提供丰富的接收场来区分具有大尺度空间跨度的多类对象。因此，上述现一阶段方法也不能提供令人满意的检测结果。此外，还在dota数据集上与一些最近的基于无锚点的一阶段方法进行了定量比较，包括cornernet、fcos、sraf-net和centernet等。与这些基于无锚点的一阶段方法
相比，就map而言，本说明书实施例的遥感模型比cornernet、fcos、sraf-net和centernet的性能指标高出了22.54％(78.32％对55.78％)、15.63％(78.32％对62.69％)、12.59％(78.32％对65.73％)和4.38％(78.32％对73.94％)。从技术上讲，这些基于无锚点的一阶段方法的提议区域总是难以克服在大尺度空间跨度内连续目标尺度表示的过拟合问题。此外，由于光学遥感场景中复杂的背景干扰和多样化的目标外观模糊度识别挑战，这些基于无锚点的一阶段方法也无法实现理想的检测性能。
81.图6示出了某一遥感图像的12个子图像，每个子图像对应所述遥感图像的一个区域。子图像中的方框示出了遥感图像中遥感目标的位置。图6下方的airplane、bd、bridge、ship为所述遥感图像中遥感目标的标签。不同的标签以不同的颜色进行区分。
82.表1
[0083][0084]
表1中，数值表示map值。最后一列(map列)表示遥感目标检测方法相对于airplane、bd、bridge、ship、gtf、bc、sv、lv、tc、st、sbf、ra、sp、harbor、hc等标签的综合值。所述综合值可以包括平均值等。
[0085]
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。另外，可以理解的是，本领域技术人员在阅读本说明书文件之后，可以无需创造性劳动想到将本说明书列举的部分或全部实施例进行任意组合，这些组合也在本说明书公开和保护的范围内。
[0086]
虽然通过实施例描绘了本说明书，本领域普通技术人员知道，本说明书有许多变形和变化，希望所附的权利要求包括这些变形和变化而不脱离本说明书的精神。

技术特征：
1.一种基于层级图交互注意力网络的遥感目标检测方法，其特征在于，包括：通过遥感模型中的空间图构建模块，针对遥感图像样本构建空间图，所述空间图包括空间节点和空间边，所述空间节点表示遥感图像样本中遥感目标的空间位置信息，所述空间边表示遥感图像样本中遥感目标之间的位置关系；通过遥感模型中的语义图构建模块，根据遥感图像样本的标签构建语义图，所述语义图包括语义节点和语义边，所述语义节点表示标签的语义信息，所述语义边表示标签在遥感图像样本中的共现关系，所述标签表示遥感目标的类别；通过遥感模型中的预测模块，对空间图和语义图进行遥感目标检测；根据遥感目标检测结果，调整遥感模型的参数，得到训练后的遥感模型，训练后的遥感模型用于对待检测的遥感图像进行遥感目标检测。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过遥感模型中的特征图构建模块，确定遥感图像样本在多个分辨率尺度下的特征图；在构建空间图的步骤中包括：通过遥感模型中的空间图构建模块，针对多个特征图构建相应的多个空间图。3.根据权利要求1或2所述的方法，其特征在于，在构建空间图的步骤中包括：通过遥感模型中的感兴趣区域检测模块，在特征图中检测遥感目标的感兴趣区域；通过遥感模型中的空间图构建模块，根据遥感目标的感兴趣区域构建空间图。4.根据权利要求3所述的方法，其特征在于，在构建空间图的步骤中包括：根据感兴趣区域在特征图中的空间位置信息确定空间节点；根据感兴趣区域在特征图中的位置关系确定空间边；根据空间节点和空间边，构建空间图。5.根据权利要求1所述的方法，其特征在于，在构建语义图的步骤中包括：根据遥感图像样本中遥感目标的标签确定语义节点；根据标签在遥感图像样本中的共现关系确定语义边；根据语义节点和语义边，构建语义图。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过遥感模型中的空间图处理模块，对空间图进行处理，得到空间图特征；通过遥感模型中的语义图处理模块，对语义图进行处理，得到语义图特征；在进行遥感目标检测的步骤中包括：通过遥感模型中的预测模块，对空间图特征和语义图特征进行遥感目标检测。7.根据权利要求6所述的方法，其特征在于，所述空间图处理模块的数量为多个，每个空间图处理模块对应一个分辨率尺度，所述空间图的数量为多个，每个空间图对应一个分辨率尺度；在对空间图进行处理的步骤中包括：通过每个分辨率尺度的空间图处理模块，对该分辨率尺度下的空间图进行处理；在进行遥感目标检测的步骤中包括：通过遥感模型中的空间自注意力模块，利用自注意力机制对多个空间图特征进行融合处理；通过遥感模型中的语义自注意力模块，利用自注意力机制对语义图特征进行处理；通过遥感模型中的预测模块，对融合后的空间图特征和处理后的语义图特征进行遥感目标检
测。8.根据权利要求6所述的方法，其特征在于，在进行遥感目标检测的步骤中包括：通过遥感模型中的交叉注意力模块，利用交叉注意力机制对空间图特征和语义图特征进行融合处理，得到能够同时表示空间分布信息和语义相关信息的交叉特征；通过遥感模型中的预测模块，对交叉特征进行遥感目标检测。9.根据权利要求8所述的方法，其特征在于，在进行遥感目标检测的步骤中包括：对交叉特征和空间图特征进行拼接；通过遥感模型中的预测模块，对拼接结果进行遥感目标检测。10.一种基于层级图交互注意力网络的遥感目标检测装置，其特征在于，包括：空间图构建模块，用于针对遥感图像样本构建空间图，所述空间图包括空间节点和空间边，所述空间节点表示遥感图像样本中遥感目标的空间位置信息，所述空间边表示遥感图像样本中遥感目标之间的位置关系；语义图构建模块，用于根据遥感图像样本的标签构建语义图，所述语义图包括语义节点和语义边，所述语义节点表示标签的语义信息，所述语义边表示标签在遥感图像样本中的共现关系，所述标签表示遥感目标的类别；预测模块，用于对空间图和语义图进行遥感目标检测；调整模块，用于根据遥感目标检测结果，调整遥感模型的参数，得到训练后的遥感模型，训练后的遥感模型用于对待检测的遥感图像进行遥感目标检测。

技术总结
本说明书涉及人工智能技术领域，特别涉及一种基于层级图交互注意力网络的遥感目标检测方法和装置。所述遥感目标检测方法包括：通过遥感模型中的空间图构建模块，针对遥感图像样本构建空间图，所述空间图包括空间节点和空间边；通过遥感模型中的语义图构建模块，根据遥感图像样本的标签构建语义图，所述语义图包括语义节点和语义边；通过遥感模型中的预测模块，对空间图和语义图进行遥感目标检测；根据遥感目标检测结果，调整遥感模型的参数，得到训练后的遥感模型，训练后的遥感模型用于对待检测的遥感图像进行遥感目标检测。本说明书实施例可以提高遥感目标检测的性能。施例可以提高遥感目标检测的性能。施例可以提高遥感目标检测的性能。


技术研发人员：田澍 曹林 杜康宁 郭亚男 李昊伦 刘祺 张帆 赵宗民
受保护的技术使用者：北京信息科技大学
技术研发日：2023.05.11
技术公布日：2023/8/14