跨俯仰角SAR图像目标识别方法、装置和计算机设备

跨俯仰角sar图像目标识别方法、装置和计算机设备
技术领域
1.本技术涉及合成孔径雷达技术领域，特别是涉及一种跨俯仰角sar图像目标识别方法、装置和计算机设备。


背景技术：

2.合成孔径雷达(sar)是一种主动式微波成像传感器，它可以穿透云、雨、雪和烟雾，具有全天时、全天候的成像观测能力。
3.随着人工智能领域的不断进步，深度学习与sar图像解译工作的紧密结合，有利于提升sar图像目标识别任务的性能。卷积神经网络是深度学习图像分类识别任务中最常用的模型，但其对训练数据具有极强的依赖性，当训练数据与测试数据之间存在明显特征分布差异时，网络泛化性能会急剧下降。基于深度神经网络的目标识别方法主要是将卷积神经网络作为骨干网络，再嵌入一些提升sar目标识别性能的模块到网络中，例如加入电磁散射特征模块，可解释模块，注意力机制模块，伪标签模块，特征融合模块等。
4.现有的深度学习方法在sar目标识别领域中取得了良好的性能，但通常只使用带标签的源域数据进行监督训练。这种方法要求训练和测试数据来自相同或类似的概率分布，然而当这个条件难以满足时，神经网络模型的性能便会大幅度下降。sar图像对成像条件参数非常敏感，即使在同一传感器下成像，成像条件参数不相同也会导致训练和测试数据分布不匹配，这会显著降低模型的泛化能力。sar图像的俯仰角是指雷达信号与地面水平方向之间的夹角，不同的俯仰角成像下会对sar图像的分辨率、几何畸变和目标识别能力等方面产生影响。在车辆目标识别任务中，由于不同俯仰角下的同一目标成像存在巨大差异，跨俯仰角目标检测是一项极具挑战的任务，尤其是跨大俯仰角的情况。如何解决跨俯仰角sar图像目标识别为代表的不同成像条件sar图像目标识别是极具研究意义的。
5.仿真技术可以直接将成像条件和目标3d模型映射成sar图像，因此仿真sar图像可以反映成像条件对图像特征的直接影响，有部分研究将仿真sar图像引入了sar图像目标识别流程中。不过他们考虑的均是soc这种成像差异不大的情况，并且未考虑到仿真sar图像与实测sar图像之间也存在差异。深度学习和域适配方法的结合现如今是迁移学习的研究热点，经典的方法使用一个域适配正则化项来对齐源域与目标域的边缘特征概率分布。但是由于sar目标识别数据量小，并且成像差异过大时，仅仅通过对齐边缘分布难以充分提升识别性能。


技术实现要素：

6.基于此，有必要针对上述技术问题，提供一种跨俯仰角sar图像目标识别方法、装置和计算机设备。
7.一种跨俯仰角sar图像目标识别方法，所述方法包括：
8.根据获取的不同俯仰角条件下的仿真sar图像和实测sar图像进行仿真图像真实化处理，生成对应俯仰角条件下的生成图像；所述实测sar图像包括源域和目标域的实测
sar图像，所述生成图像包括源域与目标域的生成图像。
9.将源域与目标域的生成图像以及源域与目标域的实测sar图像输入到目标识别模型对其进行迭代训练，得到训练后的目标分类模型；训练过程包括两个阶段，第一训练阶段：利用源域与目标域的生成图像进行有监督分类训练和对齐边缘分布的无监督域适配训练；第二训练阶段：利用源域与目标域的实测sar图像进行有监督分类训练和对齐联合分布的无监督域适配训练。
10.获取目标域的实测sar图像，将所述实测sar图像输入训练后的目标分类模型对所述实测sar图像中的目标类别进行分类。
11.一种跨俯仰角sar图像目标识别装置，所述装置包括：
12.仿真图像真实化处理模块，用于根据获取的不同俯仰角条件下的仿真sar图像和实测sar图像进行仿真图像真实化处理，生成对应俯仰角条件下的生成图像；所述实测sar图像包括源域和目标域的实测sar图像，所述生成图像包括源域与目标域的生成图像。
13.目标识别模型训练模块，用于将源域与目标域的生成图像以及源域与目标域的实测sar图像输入到目标识别模型对其进行迭代训练，得到训练后的目标分类模型；训练过程包括两个阶段，第一训练阶段：利用源域与目标域的生成图像进行有监督分类训练和对齐边缘分布的无监督域适配训练；第二训练阶段：利用源域与目标域的实测sar图像进行有监督分类训练和对齐联合分布的无监督域适配训练。
14.目标识别模块，用于获取目标域的实测sar图像，将所述实测sar图像输入训练后的目标分类模型对所述实测sar图像中的目标类别进行分类。
15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
16.根据获取的不同俯仰角条件下的仿真sar图像和实测sar图像进行仿真图像真实化处理，生成对应俯仰角条件下的生成图像；所述实测sar图像包括源域和目标域的实测sar图像，所述生成图像包括源域与目标域的生成图像。
17.将源域与目标域的生成图像以及源域与目标域的实测sar图像输入到目标识别模型对其进行迭代训练，得到训练后的目标分类模型；训练过程包括两个阶段，第一训练阶段：利用源域与目标域的生成图像进行有监督分类训练和对齐边缘分布的无监督域适配训练；第二训练阶段：利用源域与目标域的实测sar图像进行有监督分类训练和对齐联合分布的无监督域适配训练。
18.获取目标域的实测sar图像，将所述实测sar图像输入训练后的目标分类模型对所述实测sar图像中的目标类别进行分类。
19.上述跨俯仰角sar图像目标识别方法、装置和计算机设备，该方法包括：通过仿真图像真实化处理、实测sar图像之间对齐联合分布域适配、真实化处理后的生成图像之间对齐边缘分布域适配并优化目标识别模型，采用该目标识别模型对目标域的实测sar图像中的目标类别进行分类。本方法的识别性能上远胜于其他对比域适配方法，提高了跨俯仰角sar图像目标识别的准确度。
附图说明
20.图1为一个实施例中跨俯仰角sar图像目标识别方法的流程示意图；
21.图2为另一个实施例中目标域的实测sar图像识别流程示意图；
22.图3为另一个实施例中仿真图像进行真实化处理流程示意图；
23.图4为另一个实施例中cyclegan数据流图；
24.图5为另一个实施例中第一训练阶段的流程示意图；
25.图6为另一个实施例中经典的基于对抗学习的域适配方法框架图；
26.图7为另一个实施例中第二阶段训练的流程示意图；
27.图8为另一个实施例中resnet的残差学习模块；
28.图9为另一个实施例中基于resnet-18网络的sar图像目标识别流程；
29.图10为一个实施例中跨俯仰角sar图像目标识别装置的结构框图；
30.图11为一个实施例中计算机设备的内部结构图。
具体实施方式
31.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
32.同一传感器在不同成像条件下得到的sar图像之间依旧存在巨大差异，尤其是在不同俯仰角下成像时目标的轮廓、阴影区域以及背景信息等都会有很大的差异。针对这一问题，本技术提出一种基于仿真图像与对齐联合分布域适配(simulation image and alignment joint distribution domain adaptation，sjdda)方法的跨俯仰角sar图像目标识别方法，结合仿真数据的先验信息以及域适配技术来提升神经网络模型在不同俯仰角条件下的泛化能力。
33.针对不同俯仰角下图像背景与目标本体均存在显著差异，从域适配的角度出发，本技术提出的跨俯仰角sar图像目标识别方法的核心思想如下：首先，考虑到完备的实测sar数据集难以获取，仿真技术能够直接反映成像条件与sar图像的关系，完备的sar仿真图像相对容易获取，通过降低对不同成像条件下的仿真sar图像之间的域偏移，可以间接降低成像条件带来的差异。其次，仿真sar图像与实测sar图像之间存在一定的固有差异，为了消除这部分差异带来的影响，对仿真sar图像进行真实化处理，生成与实测sar图像更相似的生成图像。然后，将真实化后的生成图像引入识别流程，一方面进行源域与目标域生成图像的有监督分类训练和对齐边缘分布的无监督域适配训练，另一方面进行源域与目标域实测sar图像的有监督分类训练和对齐联合分布的无监督域适配训练。最后，将训练得到的模型对目标域实测sar图像，即测试集进行测试，来验证模型的有效性。
34.在一个实施例中，如图2所示，提供了一种跨俯仰角sar图像目标识别方法，该方法包括以下步骤：
35.步骤100：根据获取的不同俯仰角条件下的仿真sar图像和实测sar图像进行仿真图像真实化处理，生成对应俯仰角条件下的生成图像；实测sar图像包括源域和目标域的实测sar图像，生成图像包括源域与目标域的生成图像。
36.具体的，同一俯仰角条件下获得的仿真sar图像与实测sar图像依旧存在一定的差异，例如目标本体的强散射点以及背景的纹理信息。这些差异是由于目标cad模型精度和电磁散射计算等原因造成的，为此数据集中存在的固有差异会造成神经网络分类性能下降。
为了降低仿真sar图像与实测sar图像之间的差异，采用cyclegan方法实现仿真图像真实化处理。
37.值得说明的是对仿真sar图像的真实化处理除了cyclegan方法以外，还有类似于pix2pix这类的图到图翻译网络。
38.步骤102：将源域与目标域的生成图像以及源域与目标域的实测sar图像输入到目标识别模型对其进行迭代训练，得到训练后的目标分类模型；训练过程包括两个阶段，第一训练阶段：利用源域与目标域的生成图像进行有监督分类训练和对齐边缘分布的无监督域适配训练；第二训练阶段：利用源域与目标域的实测sar图像进行有监督分类训练和对齐联合分布的无监督域适配训练。
39.具体的，在第一训练阶段中，对真实化处理后的生成图像进行对齐边缘分布的域适配。通过真实化后的目标生成图像与目标域实测sar图像具有相似的概率特征分布，并且仿真sar图像在成像过程中就带有类别标签信息，将目标域生成图像进行有监督训练来优化特征提取器与分类器参数。该步骤的目的是通过生成图像之间的域适配来降低不同俯仰角成像带来的成像差异，使得分类器参数更加适应目标域图像的数据特征概率分布，这将提升第二训练阶段过程中对目标域实测sar图像预测的准确性。
40.在第二训练阶段中，对源域实测sar图像与目标域实测sar图像进行对齐联合分布的域适配。相比于经典的对齐边缘分布的域适配方法，对齐联合分布的域适配方法在对齐两个域整体的同时能够按类别进行细粒度对齐，可以提取到特征中关于类别信息的“多峰结构”。该步骤的目的是，使得模型能提升跨俯仰角的识别能力，其提升跨俯仰角能力体现在特征提取器能提取不同俯仰角sar图像的共有特征。
41.该方法包括两个阶段，第一阶段为仿真sar图像真实化阶段，即步骤100。第二阶段为域适配阶段，在每一个iteration内步骤102中第一训练阶段和第二训练阶段交替进行，交替优化。训练完成后就进入测试阶段。
42.步骤104：获取目标域的实测sar图像，将实测sar图像输入训练后的目标分类模型对实测sar图像中的目标类别进行分类。
43.具体的，对目标域实测sar图像进行测试。在此步骤中，固定上述第一训练阶段和第二训练阶段训练好的特征提取器以及分类器的参数，在测试目标域实测sar图像时，不进行梯度反向回传来更新模型参数。通过模型预测的类别以及目标域实测sar图像自带的标签信息可以计算得出识别率。
44.目标域的实测sar图像识别流程如图2所示。获取目标域的实测sar图像，将实测sar图像输入训练后的目标分类模型对实测sar图像中，采用特征提取器进行特征提取，然后通过全局平均池化操作，得到目标域特征f
t
，目标域特征f
t
通过分类器后，得到目标分类预测结果。
45.上述跨俯仰角sar图像目标识别方法中，该方法包括：通过仿真图像真实化处理、实测sar图像之间对齐联合分布域适配、真实化处理后的生成图像之间对齐边缘分布域适配并优化目标识别模型，采用该目标识别模型对目标域的实测sar图像中的目标类别进行分类。本方法的识别性能上远胜于其他对比域适配方法，提高了跨俯仰角sar图像目标识别的准确度。
46.在其中一个实施例中，步骤100包括：将第一俯仰角的仿真sar图像和实测sar图像
分别作为第一俯仰角的源域数据和目标域数据；将第一俯仰角的源域数据和目标域数据输入到cyclegan中对仿真sar图像进行真实化处理，生成第一俯仰角的生成图像；第一俯仰角的生成图像是以第一俯仰角的仿真sar图像为原始图像，以第一俯仰角的实测sar图像为目标图像的生成图像；对其他俯仰角条件下的仿真sar图像和实测sar图像同样采用cyclegan方法实现仿真图像真实化处理，得到其他俯仰角条件下的生成图像。
47.具体的，仿真sar图像进行真实化处理流程示意图如图3所示，将17
°
仿真sar图像作为源域数据，17
°
实测sar图像作为目标域数据输入cyclegan中，经过模型训练生成以17
°
仿真sar图像为原始图像，17
°
实测sar图像为目标图像的17
°
生成图像，其具备与17
°
仿真sar图像相似的内容信息(目标轮廓、阴影等)，具备17
°
实测sar图像相似的背景纹理、明暗等特征和目标区域散射强度。同样的操作在30
°
和45
°
仿真sar图像与实测sar图像之间分别进行。
48.本技术在仿真图像真实化处模块中采用图到图风格迁移方法的目的是降低不同传感器下异源sar图像之间的视觉风格差异，具体方式是经过训练，以源域sar图像为待迁移图像，生成与目标域sar图像目视风格相近的中间域sar图像，后者与目标域图像在特征空间的概率分布更加接近。在以往的研究中，图到图风格迁移方法主要是以图像对的形式进行有监督学习，例如经典的pix2pix方法，然而异源sar图像目标识别难以满足这样严苛的要求，一方面是构建图像对(两幅sar图像之间仅存在一种成像差异，其他成像条件保持一致)形式的sar数据集难度较大另一方面实际应用中由于测试数据的未知性，进行有监督域适配是不现实的。因此，不依赖于图像对形式训练数据的无监督学习方法更加适合sar目标识别任务，cyclegan方法就是其中的典型方法。
49.对于cyclegan任务来说，将源域记为x，其包含n个样本，表示为目标域记为y，其包含m个样本，表示为两者的概率分布分别表示为x～p
data
(x)和y～p
data
(y)。如图4所示，cyclegan方法中包含两个生成器(generator)和两个判别器(discriminator)，分别表示为g1、g2和d
x
、dy。g1的功能是将源域x中的样本映射到目标域y中，g2的作用是将目标域y中的样本映射到源域x中。由两个生成器生成的图像g1(x)和g2(y)组成迁移图像域，其与生成前的图像具有相似的内容信息，与目标图像具有相似的目视风格效果，在特征空间的概率分布也与目标图像更接近，当源域确定时，迁移图像域中从该源域生成出来的图像组成中间域，例如确源域为x时，中间域为g1(x)，源域若为y，则中间域为g2(y)。判别器d
x
的任务是区分输入其中的样本是来自源域x或者迁移图像域g2(y)，同理判别器dy的任务是判别输入其中的样本是来自目标域y或者迁移图像域g1(x)。
50.cyclegan需要优化的目标函数有两项，如图4所示，第一项是对抗损失l
gan
，其作用是确保生成的中间域图像与目标图像具有相似的目视风格(亮度、对比度、纹理等信息耦合成的图像风格)，即拥有比较接近的概率特征分布；第二项是循环一致损失l
cyc
，其作用是确保生成的中间域图像与来源图像具有同样的内容信息(目标摆放、目标轮廓、阴影位置等)。其中，l
gan
是判别器d
x
和dy分别计算出来的，数据流程如图4中实线与虚线所示，具体公式表述如下：
[0051][0052]
[0053]
循环一致损失l
cyc
的目标是降低重构图像与原始图像之间的差异，重构图像是由对应中间域图像输入到另一个生成器中重构得出，数据流程如图4中双点划线所示。重构得到的图像分别用g2(g1(x))和g1(g2(y))表示，得到的重构图原始图像在内容信息和目标效果上均保持一致，即表示为：
[0054]
x
→
g1(x)
→
g2(g1(x))≈x
ꢀꢀ
(3)
[0055]y→
g2(y)
→
g1(g2(y))≈y
ꢀꢀ
(4)
[0056]
要保持重构图像与原始图像的一致性，即可近似要求图像之间的差异||g2(g1(x))-x||1和||g1(g2(y))-y||1的值尽可能的小，因此循环一致损失的定义为：
[0057][0058]
因此，cyclegan的总体目标函数可以表示为：
[0059]
l
cyclegan
(g1,g2,d
x
,dy)＝l
gan
(g1,dy,x,y)+l
gan
(g2,d
x
,y,x)+αl
cyc
(g1,g2)
ꢀꢀ
(6)
[0060]
其中，α是控制循环一致损失l
cyc
的权重因子，其值越大模型会更加注重保留图像原有的目标内容信息。本技术在图像风格迁移的过程中需要尽量保证风格迁移后的图像保持原有的内容信息，故需将α取一个较大的值，默认为10。
[0061]
由于经典的gan的目标函数训练不稳定，为了得到更稳定的训练过程以及更可靠的训练结果，本技术使用最小均方损失函数替换负对数似然损失函数：
[0062][0063][0064]
像素层迁移模块的总体的目标函数如下表示：
[0065]
l
plt
(g1,g2,d
x
,dy)＝l
lsgan
(g1,dy,x,y)+l
lsgan
(g2,d
x
,y,x)+αl
cyc
(g1,g2)
ꢀꢀ
(9)
[0066]
在其中一个实施例中，第一阶段训练模型包括：目标识别模型和第一域判别器；目标识别模型包括特征提取器和分类器；利用源域与目标域的生成图像进行有监督分类训练和对齐边缘分布的无监督域适配训练，包括：将源域与目标域的生成图像输入到特征提取器中进行特征提取，并对提取的特征图进行全局平均池化层处理，得到源域生成图像特征和目标域生成图像特征；将源域生成图像特征和目标域生成图像特征输入到第一域判别器进行域标签判别，通过特征提取器与第一域判别器之间的对抗学习，得到第一域判别预测；根据第一域判别预测与生成图像中的域标签进行有监督训练来优化所述特征提取器和所述第一域判别器的参数；将目标域生成图像特征输入到分类器中，得到目标分类预测；根据目标分类预测与目标域的生成图像中的类别标签进行有监督训练来优化对特征提取器和分类器的参数。
[0067]
具体的，第一阶段训练的流程示意图如图5所示。该步骤主要将源域生成图像(由与源域实测sar图像成像条件一致的仿真sar图像真实化得到)与目标域生成图像(由与目标域实测sar图像成像条件一致的仿真sar图像真实化后得到)提取得到的特征和输入第一域判别器进行域标签判别，通过特征提取器与第一域判别器之间的对抗学习过程，使得特征提取器得到的特征同时具备目标类别区分性以及域不变性。
[0068]
在其中一个实施例中，第一域判别器包括一个二分类器；第一域判别器的损失函数为：
[0069][0070]
其中，l(
·
)代表交叉熵损失函数，h(
·
)代表将特征空间特征映射到域标签空间标签的映射函数，其中包含了梯度反转层，表示源域生成图像，表示目标域生成图像，设置源域的域标签值li为0，目标域的域标签值l
t
为1。
[0071]
目标域生成图像的分类损失函数为：
[0072][0073]
其中，为目标域生成图像的分类损失函数，为目标域生成图像，为目标域生成图像的类别标签。
[0074]
具体的，神经网络提取得到的特征中，浅层特征的可迁移性较强，主要包含边缘、纹理、明暗等特征，高层特征的可迁移性差，主要包含了与任务相关的语义信息，在特征空间中减少概率分布之间的差异可以显著提升所对应层次特征的可迁移性。如图6所示，特征对齐模块的目的是通过进一步拉近特征提取器提取的关于源域和目标域的特征fs和f
t
的概率分布，以此达到提升模型跨域目标识别能力的目的。
[0075]
在域适配方法中，基于对抗学习的域适配方法能很好地拉近特征概率分布。经典的基于对抗学习的域适配方法在域适配方面主要包含两个部分，域判别器和梯度反转层(gradient reverse layer，grl)。通常来说，域判别器是一个二分类器，它的主要目的是判别从特征提取器提取到的特征是来自源域或者目标域。在这阶段对抗学习的“对抗”思想体现在，域判别器的优化目的是最小化域判别损失ld，而特征提取器的优化目的是最大化域判别损失ld。为了实现端到端的对抗学习过程而非分阶段训练，在域判别器与特征提取器之间加入了一个梯度反转层，其功能是在前向传播过程中，不对输入域判别器的特征进行额外处理，在反向传播的过程中，将从域判别器输入至特征提取器的梯度取反。综上，第一域判别器的损失函数描述为：
[0076][0077]
式中，l(
·
)代表交叉熵损失函数，h(
·
)代表将特征空间特征映射到域标签空间标签的映射函数，其中包含了梯度反转层。表示源域生成图像，表示目标域生成图像。设置源域的域标签值li为0，目标域的域标签值l
t
为1。
[0078]
在第一域判别器获取域判别损失的同时，卷积神经网络同时根据目标域生成图像及其类别标签计算得到分类损失如公式(11)所示。
[0079]
第二域判别器与第一域判别器的区别主要是在输入的内容上，前者输入特征向量fs与类别预测向量的叉积后的向量，以及特征向量f
t
与类别预测向量的叉积后的向量，后者输入提取的特征向量和
[0080]
在其中一个实施例中，第二阶段训练模型包括：目标识别模型和第二域判别器；目
标识别模型包括特征提取器和分类器；利用源域与目标域的实测sar图像进行有监督分类训练和对齐联合分布的无监督域适配训练，包括：将源域与目标域的实测sar图像输入到特征提取器中进行特征提取，并对提取的特征进行全局平均池化层处理，得到源域特征和目标域特征；将源域特征和目标域特征分别输入到两个分类器中，得到源域目标分类预测和目标域分类预测；将源域特征与源域目标分类预测进行叉积操作，将目标域特征与目标域分类预测进行叉积操作，得到新源域特征和新目标域特征；将新源域特征和新目标域特征分别展平成特征向量后输入到第二域判别器中进行域标签判别，通过特征提取器与第二域判别器之间的对抗学习，得到第二域判别预测；根据第二域判别预测与实测sar图像中的域标签进行有监督训练来优化特征提取器和第二域判别器的参数；根据源域目标分类预测、目标域分类预测、源域和目标域的实测sar图像中的类别标签进行有监督训练来优化对特征提取器和分类器的参数。
[0081]
具体的，第二阶段训练的流程示意图如图7所示。该步骤主要将源域实测sar图像与目标域实测sar图像提取得到的特征fs和f
t
与得到的对应目标分类预测向量和进行叉积操作，得到一个新的特征图，再将其展平成特征向量之后输入第二域判别器进行域标签判别，通过特征提取器与第二域判别器之间的对抗学习过程，使得特征提取器得到的特征同时具备目标类别区分性以及域不变性。
[0082]
第二域判别器的主要作用是通过对抗学习的方式对齐源域与目标域的联合概率分布，同时降低源域与目标域之间的域偏移和获取目标域目标类别的细粒度信息，分类器在训练阶段能获取该类信息，有利于测试阶段对目标域图像的判别。第一域判别器与第二域判别器最大区别是，在域适配的过程中对齐边缘分布而非联合分布，即第一域判别器没有去获取目标域生成图像的类别细粒度信息，因为通过目标域生成图像有监督识别训练能更加好地获取目标域图像的细粒度类别信息。
[0083]
在其中一个实施例中，第二域判别器采用联合概率分布与适配方法；第二域判别器的损失函数为：
[0084][0085]
式中，l(
·
)代表交叉熵损失函数，k(
·
)代表将特征空间特征映射到域标签空间标签的映射函数，其中包含了梯度反转层，表示源域的样本图像，表示目标域的样本图像，设置源域的域标签值li为0，目标域的域标签值l
t
为1；
[0086]
源域实测sar图像分类预测损失为：
[0087][0088]
其中，为源域实测sar图像，为域实测sar图像的类别标签，为源域实测sar图像分类预测损失。
[0089]
在其中一个实施例中，目标识别模型的训练过程分为两阶段，其中第一阶段的优化目标为：
[0090]
l
cyclegan
(g1,g2,d
x
,dy)(15)
[0091]
第二阶段的优化目标为：
[0092][0093]
其中，为目标域生成图像分类预测损失，为源域实测sar图像分类预测损失，第一域判别器的损失函数，第二域判别器的损失函数、α、β、γ为3个权重因子。作为优选，α默认取1，β默认取1，γ默认取0.5。
[0094]
具体的，域适配方法通常可以根据对齐方式的不同分为三类：
[0095]
(1)边缘概率分布域适配(marginal distribution domain adaptation)
[0096]
边缘概率分布域适配(也称边缘分布域适配)方法将源域和目标域的边缘分布(即数据在每个特征维度上的分布)对齐。其核心思想是通过最小化两个域之间的距离来实现对齐。如式(13)所示，式中：dis
mar
(ds,d
t
)代表边缘分布差异度量，p(xs)代表源域样本分布，p(x
t
)代表目标域样本分布。
[0097][0098]
(2)条件概率分布域适配(conditional distribution domain adaptation)
[0099]
条件概率分布域适配(也称条件分布域适配)该类方法将源域和目标域的条件分布(即给定一个特征向量时，输出的条件概率分布)进行对齐。其核心思想是通过学习一个条件变换函数，将源域的条件分布映射到目标域的条件分布上。如式(14)所示，式中：dis
con
(ds,d
t
)代表条件分布差异度量，p(ys∣xs)代表了源域样本的条件分布，p(y
t
∣x
t
)代表了目标域样本的条件分布。
[0100][0101]
(3)联合概率分布域适配(joint distribution domain adaptation)
[0102]
联合概率分布域适配(也称联合分布域适配)该类方法将源域和目标域的联合分布进行对齐。其核心思想是学习一个新的联合分布，使得源域和目标域都能从中获得相似的样本，并且在该分布下分类器的性能也比较好。如式(15)所示，式中：dis
mar+con
(ds,d
t
)代表联合分布差异度量。
[0103][0104]
为了达到对齐联合分布的效果，本技术将输入特征向量fs与类别预测向量的叉积后的向量，以及特征向量f
t
与类别预测向量的叉积后的向量作为新的特征向量输入第二域判别器。第二域判别器的损失函数描述如式(13)所示。
[0105]
在第二域判别器获取域判别损失的同时，卷积神经网络同时根据源域实测sar图像及其类别标签计算得到分类损失如公式(14)所示。
[0106]
综上，整个训练过程分为两阶段。第一阶段的优化目标为l
cyclegan
(g1,g2,d
x
,dy)。第二阶段的优化目标如式(16)所示。
[0107]
在其中一个实施例中，目标识别模型包括特征提取器和分类器；其中，特征提取器为resnet的特征提取部分，分类器包括全连接层。
[0108]
具体的，resnet网络的最大贡献是将残差模块嵌入了卷积神经网络中，有效解决
了深层网络优化过程出现的梯度消失，使得其可以通过加深网络深度来不断提升网络非线性拟合能力。因此，resnet在大量基于深度卷积神经网络的相关任务中被用作特征提取器或者直接作为模型的骨干网络(backbone)。残差学习模块由浅层网络和嵌入的自映射层构成，如图8所示，x是输入；x经过两个权重层和relu后的输出为f(x)，称为残差函数；总输出为h(x)。alexnet和vgg这类简单的卷积神经网络难以直接学习总输出h(x)，resnet通过引入残差学习模型解决了这一问题，通过学习残差函数f(x)，然后通过h(x)＝f(x)+x这一简单的映射函数来间接学习总输出h(x)，让其逼近希望输出。
[0109]
作为优选，使用resnet-18作为特征提取器，如图9所示，将输入的sar目标图像x经过9次卷积操作之后降维成特征图的形式。由sar图像降维得到的特征图会输入全局平均池化层(global average pooling layer，gap)进行池化操作，然后被展平成特征向量，再输入全连接层(fully connected layer，fc)得到输入图像的类别预测f(x)，将fc视为分类器。目标分类损失由模型网络的类别预测f(x)和目标图像标签y计算得出。损失函数选择的是交叉熵损失函数，则目标分类损失函数lc定义如下：
[0110][0111]
其中，l(
·
)表示交叉熵损失函数，f(
·
)表示将图像输入空间映射到类别预测的输出空间的映射函数，xn为图像样本，yn为图像对应的标签，n为图像样本数量。
[0112]
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0113]
在一个验证性实施例中，对本方法进行实验验证分析，证明其有效性。从实验数据介绍、实验数据设置、超参数设置、对比方法以及实验结果与分析五个方面展开。
[0114]
(1)实验数据介绍
[0115]
本实验用到了mstar数据集，以及对照该标准数据集制作的电磁散射仿真数据集，接下来详细介绍这两个数据集。
[0116]
1)mstar数据集
[0117]
mstar(moving and stationary target acquisition and recognition)是一种地面静止目标合成孔径雷达(sar)图像数据集，由美国国防部和sandia实验室发布。在上世纪九十年代初期，该数据集被用于军事车辆的目标识别。后来，darpa公布了该数据集，mstar数据集在sar图像目标识别研究中被广泛使用。至今，mstar数据集仍然是sar车辆目标识别领域公认的基准数据集。
[0118]
mstar数据集主要包括静止车辆的sar切片图像，涵盖了15
°
、17
°
、30
°
和45
°
四种不同俯仰角下的10类车辆目标图像，图10展示了其中四类目标2s1(自行榴弹炮)、brdm2(装甲侦察车)、t72(坦克)和zsu234(自行高炮)。mstar数据集中图像分辨率为0.3m，成像自x波段，极化方式为hh极化。
[0119]
mstar数据集原始sar切片图像尺寸并非一致，我们感兴趣的区域是切片图像中心
的目标及其阴影区域，相同的训练图像尺寸有助于神经网络模型训练，因此对原始数据集进行中心裁剪操作，提取出128
×
128像素包含各类目标的切片图像作为训练和测试数据，后边所用mstar数据均为经过中心裁剪的图像。
[0120]
2)电磁散射仿真数据集
[0121]
电磁散射仿真数据集由fastem-ambienter软件生成，该仿真技术基于射线追踪的高分辨率单视sar图像快速生成，利用一次射线追踪完成单站成像。成像模式为圆周单站二维sar成像。仿真数据包括了4个车辆目标类别(2s1、brdm2、t72和zsu234)，基于2种地物背景(干燥沙地和稀疏干燥草地)。雷达参数设置中，中心频率为9.6ghz，带宽591mhz，方位角扫描宽度为1度，距离向和方位向分辨率为0.3m，hh极化方式，距离向和方位向像素间隔为0.2m。
[0122]
仿真条件对照mstar数据集的标准工作条件(soc)和扩展工作条件(eoc)。soc情况下，训练与测试数据的成像条件差异很小，俯仰角分别为15
°
和17
°
。eoc情况下，训练与测试数据成像条件存在较大差别，具体有以下三类：eoc-1代表大俯仰角情况，例如训练集数据成像俯仰角为17
°
，测试集为30
°
；eoc-2是车辆配置不同，即目标上一些部件的增加和拆除，如t62拆掉坦克油罐；eoc-3是车辆版本和功能不同，例如原本车辆变化为运输车、侦察车等。
[0123]
本实施例用到的仿真数据对应eoc-1条件，包括3个俯仰角(17
°
、30
°
和45
°
)，包含四类目标2s1、brdm2、t72和zsu234，每类包含0-359
°
方位角的图像360幅，方位角间隔1
°
，成像背景为草地背景，共17280幅图像。
[0124]
(2)实验数据设置
[0125]
为了验证sjdda的有效性，本实施例将用上述两个异源sar图像数据集进行实验。考虑到soc条件下，图像差异较小，现有的神经网络方法能达到99％左右的识别性能，本实施例中便不再复现经典的soc分类实验。
[0126]
表1四类车辆型号在17
°
、30
°
、45
°
俯角下的图像数量
[0127][0128]
主要考虑eoc情况，考虑在17
°
、30
°
和45
°
这三个俯仰角数据之间做交叉实验，将17
°
度俯仰角下面的实测数据作为训练集，30
°
俯仰角下的数据作为测试集时，将该实验记为实验“17
°→
30
°”
，类似的实验还有“30
°→
17
°”
、“17
°→
45
°”
、“45
°→
17
°”
、“30
°→
45
°”
和“45
°→
30
°”
。每个实验均使用对应的仿真sar图像，例如按照域适配的数据划分模式，“17
°→
30
°”
实验中，17
°
实测sar图像作为训练集以及源域实测sar图像，17
°
仿真sar图像作为训练集以及源域仿真sar图像，30
°
实测sar图像作为测试集以及目标域实测sar图像，30
°
仿真sar图像作为训练集以及目标域仿真sar图像。每种俯仰角下各类实测目标如表1表示，仿真sar图像则是每类目标在各俯仰角下的360幅全方位角图像均参与训练。
[0129]
(3)超参数设置
[0130]
基于仿真图像与对齐联合分布域适配方法包含两个步骤的训练，每一个步骤的训练都是分开进行的。第一步，训练仿真图像真实化模块cyclegan，将其训练轮次设置为200，其他主要参数如表2所示。由该模块生成的图像尺寸为256
×
256像素。
[0131]
表2cyclegan训练超参数
[0132][0133]
表3训练超参数设置
[0134][0135]
基于仿真图像与对齐联合分布域适配方法(sjdda)包含的超参数如表3所示，包含了对第一训练阶段和第二训练阶段优化调整。初始学习率lr设置为0.01，批次大小batch_size设置为8，总共训练60轮次。训练过程中没有额外引入数据扩增的手段。训练完成后的骨干网络即可用来对测试集进行测试。在训练过程中将所有随机化的过程交由随机种子控制，包括网络初始化、训练过程以及cudnn的随机化过程，选取随机种子1-5进行5次实验。
[0136]
实验环境为：训练测试使用机器主板型号为b360m，cpu型号为intel core i7-8700，显卡型号为nvidia gef1orce rtx 2080ti，内存容量为32g，操作系统为ubuntu 18.04。
[0137]
(4)对比方法
[0138]
在实施例中，使用骨干网络resnet-18作为baseline，在域适配领域中又称为source-only方法，以下所有对比方法均使用resnet-18作为模型的骨干网络。
[0139]
考虑到本实施例所涉及到的目标识别任务都是异源情况下的，故采用的对比方法均是域适配方法，具体有dan、jan、dann、adda和cdan。dan：在特征提取器之后，对提取到的特征采用多核极大均值差异mk-mmd来降低域偏移。jan：相比于dan对齐边缘分布，jan将分类器预测的类别向量引入，同特征一起降低域偏移，目的是对齐源域与目标域之间的联合分布。dann：dann的主要创新包含一个域判别器和一个梯度反转层，通过后者的作用使得整个网络通过特征提取器最大化域判别损失，域判别器最小化域判别损失可以实现端到端的
处理，实现对抗学习的过程，使得特征提取器提取到的特征具有域不变性。adda:在dann的基础上采用分步训练的思路，将源域特征提取器同目标域特征提取器分隔开来，使得后者的参数分布更加贴近目标域数据的分布。cdan：思路同jan相似，在dann的基础上，将分类器的类别预测向量与特征详细进行叉积运算，得到的新向量输入域判别器进行对抗训练，这个步骤的优势是可以提取到特征中关于类别信息的“多峰结构”，在保证域适配性能的同时，进一步提升模型的分类性能。
[0140]
(5)实验结果分析
[0141]
1)仿真图像真实化结果分析
[0142]
本实施例对仿真sar图像真实化结果的进行分析，首先，17
°
俯仰角和30
°
俯仰角下的真实化生成图像在目视效果上与实测sar图像十分相似，但可以看出仿真sar图像的目标在强散射点和目标轮廓等信息上与实测sar图像之间存在着差异，由于本实施例在仿真sar图像真实化步骤中把循环一致损失的权重因子设置为10，让真实化处理之后的图像保持了与原始图像一致的内容信息，可知这部分差异难以通过像素层的域适配方法来减少。在45
°
俯仰角的实验结果中，有一个明显的错误是目标阴影的位置在进行风格迁移后发生了变化，以及阴影形状的产生了改变，相比于17
°
俯仰角、30
°
俯仰角下的真实化结果，45
°
俯仰角下的真实化结果显得没有那么可靠。不过真实化后的图像在背景的纹理、明暗等信息上与实测sar图像更为相近，通过仿真sar图像之间的域适配也能在一定程度上降低源域与目标域实测数据之间的域偏移。
[0143]
2)分类识别率
[0144]
为验证本技术方法有效性，在17
°→
30
°
、30
°→
17
°
、17
°→
45
°
、45
°→
17
°
、30
°→
45
°
和45
°→
30
°
条件下进行了6组实验，并与其他域适配方法进行了对比，实验结果如表4所示，数值表示的含义是“识别率均值
±
标准差”，该值由5次固定随机种子的结果统计所得，由于所有随机过程被随机种子固定，该部分数值均可准确复现。average的值表示为六个实验的平均识别率的均值，用来衡量模型整体的识别性能。表5为sjdda在1-10这10个随机种子下得到的识别率，实验为17
°→
45
°
。根据表4和表5，可得如下结论：
[0145]
(i)俯仰角差异导致图像域适配性能变化巨大，实验17
°→
30
°
与30
°→
17
°
的域适配分类性能最高，30
°→
45
°
和45
°→
30
°
其次，最低的是17
°→
45
°
与45
°→
17
°
，俯仰角差异越大，域适配方法的性能越低。对于source-only方法，采用相同的17
°
俯仰角源域数据，对30
°
俯仰角数据的识别性能为98.43％，但是对45
°
俯仰角数据的识别性能只有50.19％。可见，无论是source-only还是域适配方法，深度模型的泛化性能都会随着成像条件差异的增大而降低；
[0146]
(ii)本文提出的方法直接对齐实测sar图像之间的联合分布，从目标域数据挖掘知识，识别性能为90.51％，取得了比所有对比方法更高的识别性能，证明相比于对齐源域与目标域之间的边缘分布，对齐条件分布更能进一步拉近源域与目标域之间的类间和类内差异。使用仿真sar图像之间做域适配，进一步降低不同操作条件带来的成像差异，同时使用真实化后的目标域仿真sar图像有监督地优化分类器，使卷积神经网络能够直接捕获目标的类别细粒度信息，提升模型整体性能。17
°→
45
°
和30
°→
45
°
识别性能相较于其他实验相对较差，分析有两个原因导致，45
°
下的数据特征概率分布差异更大，在做45
°
仿真sar图像真实化时，结果的可靠性不如17
°
和30
°
下的实验；
[0147]
表4不同俯仰角下目标识别率(％)
[0148][0149]
(iii)17
°→
45
°
和45
°→
17
°
的域适配任务中，sjdda的识别率达到88.00％和98.71％，高出经典无监督域适配方法中的最高识别率10.89％和7.02％，在30
°→
45
°
高出第二名7.95％，在45
°→
30
°
高出第二名3.77％，在实验17
°→
30
°
中亦是最高的识别率100％，在实验30
°→
17
°
中仅低于第一名0.02％，在训练了60轮的情况下sjdda可以稳定地达到最佳性能。这说明在训练充足情况下，当俯仰角差异较小时，基于特征的域适配方法足以改善模型泛化能力不足的问题，但是当俯仰角差异增大时，特征分布分化程度高，经典无监督域适配无法彻底对齐特征分布，而本方法通过仿真sar图像之间进行域适配来降低跨俯仰角的差异，对齐实测数据之间特征的联合分布能够在将源域知识迁移到目标域的同时，使网络自适应具有更大差异的目标域数据，因而本方法在俯仰角差异条件更大的情况下具有更高的分类准确率。根据表5所示，本技术方法在随机种子为9的实验中识别率达到了98.01％，即通过适合sjdda的随机初始化，可以取得很高的识别性能。
[0150]
表5sjdda在10颗随机种子下的识别率，17
°→
45
°
实验
[0151][0152]
3)消融实验以及各类目标识别率
[0153]
首先，针对sjdda在训练过程中的三个步骤进行消融实验，验证各个步骤的有效性。其中第一训练阶段和第二训练阶段是搭配使用的，即如果没有使用第一训练阶段的话，步骤101的仿真sar图像真实化没有实际意义。消融实验结果如表6所示，从结果可知所提步骤均单独有效，并且三者结合能将识别率提升至最高。
[0154]
表6对sjdda进行消融实验的平均识别率
[0155][0156]
4)特征可视化
[0157]
本实施例采用t-sne降维方法，针对俯仰角变化17
°→
30
°
，17
°→
45
°
和30
°→
45
°
的域适配任务，将source-only，dan，jan，dann，cdan以及sjdda的网络中域适配层的特征在二
维空间可视化。本技术方法所有对比方法的域适配均设为网络输出层的前一层。
[0158]
针对仅在源域数据训练的模型的目标域数据特征分布，在俯仰角不同的数据之间存在较大的分布差异，目标域数据特征与源域数据特征分布相差较远，提取到的目标域特征聚集成堆，可分性差，所以分类识别性能表现最差。对比实验中基于对抗学习的域适配方法dann和cdan能够拉近17
°→
30
°
和30
°→
45
°
的源域和目标域数据特征分布，但是在17
°→
45
°
上依然效果甚微，其中dan方法在适配过程中，源域数据的可分性明显降低，域适配损失项造成了源域泛化误差增大，这说明域适配损失项在网络训练过程中起正则化约束作用，虽然拉近源域和目标域分布能够提升一定性能，但是对源域数据的任务分类性能造成了破坏，导致最终目标域泛化误差依然存在。本技术方法对所有六组实验的特征可视化结果表明：相比于其他对比方法，本技术方法对源域与目标域数据的对齐程度是最好的，在六组实验中几乎都完成了对齐的任务，其中17
°→
45
°
和30
°→
45
°
的对齐程度相对差一些，虽然在各个类别上未能精细化对齐，但是整体上的对齐效果相比于对比方法已有显著提升，从侧面支持了识别率的结果。
[0159]
在一个实施例中，如图10所示，提供了一种跨俯仰角sar图像目标识别装置，包括：仿真图像真实化处理模块、目标识别模型训练模块和目标识别模块，其中：
[0160]
仿真图像真实化处理模块，用于根据获取的不同俯仰角条件下的仿真sar图像和实测sar图像进行仿真图像真实化处理，生成对应俯仰角条件下的生成图像；实测sar图像包括源域和目标域的实测sar图像，生成图像包括源域与目标域的生成图像。
[0161]
目标识别模型训练模块，用于将源域与目标域的生成图像以及源域与目标域的实测sar图像输入到目标识别模型对其进行迭代训练，得到训练后的目标分类模型；训练过程包括两个阶段，第一训练阶段：利用源域与目标域的生成图像进行有监督分类训练和对齐边缘分布的无监督域适配训练；第二训练阶段：利用源域与目标域的实测sar图像进行有监督分类训练和对齐联合分布的无监督域适配训练。
[0162]
目标识别模块，用于获取目标域的实测sar图像，将实测sar图像输入训练后的目标分类模型对实测sar图像中的目标类别进行分类。
[0163]
在其中一个实施例中，仿真sar图像真实化处理模块，还用于将第一俯仰角的仿真sar图像和实测sar图像分别作为第一俯仰角的源域数据和目标域数据；将第一俯仰角的源域数据和目标域数据输入到cyclegan中对仿真sar图像进行真实化处理，生成第一俯仰角的生成图像；第一俯仰角的生成图像是以第一俯仰角的仿真sar图像为原始图像，以第一俯仰角的实测sar图像为目标图像的生成图像；对其他俯仰角条件下的仿真sar图像和实测sar图像同样采用cyclegan方法实现仿真图像真实化处理，得到其他俯仰角条件下的生成图像。
[0164]
在其中一个实施例中，第一阶段训练模型包括：目标识别模型和第一域判别器；目标识别模型包括特征提取器和分类器；目标识别模型训练模块，用于将源域与目标域的生成图像输入到特征提取器中进行特征提取，并对提取的特征图进行全局平均池化层处理，得到源域生成图像特征和目标域生成图像特征；将源域生成图像特征和目标域生成图像特征输入到第一域判别器进行域标签判别，通过特征提取器与第一域判别器之间的对抗学习，得到第一域判别预测；根据第一域判别预测与生成图像中的域标签进行有监督训练来优化特征提取器和第一域判别器的参数；将目标域生成图像特征输入到分类器中，得到目
标分类预测；根据目标分类预测与目标域的生成图像中的类别标签进行有监督训练来优化对特征提取器和分类器的参数。
[0165]
在其中一个实施例中，第一阶段训练模型种第一域判别器包括一个二分类器；第一域判别器的损失函数如式(10)所示。目标域生成图像的分类损失函数如式(11)所示。
[0166]
在其中一个实施例中，第二阶段训练模型包括：目标识别模型和第二域判别器；目标识别模型包括特征提取器和分类器；目标识别模型训练模块，用于将源域与目标域的实测sar图像输入到特征提取器中进行特征提取，并对提取的特征进行全局平均池化层处理，得到源域特征和目标域特征；将源域特征和目标域特征分别输入到两个分类器中，得到源域目标分类预测和目标域分类预测；将源域特征与源域目标分类预测进行叉积操作，将目标域特征与目标域分类预测进行叉积操作，得到新源域特征和新目标域特征；将新源域特征和新目标域特征分别展平成特征向量后输入到第二域判别器中进行域标签判别，通过特征提取器与第二域判别器之间的对抗学习，得到第二域判别预测；根据第二域判别预测与实测sar图像中的域标签进行有监督训练来优化特征提取器和第二域判别器的参数；根据源域目标分类预测、目标域分类预测、源域和目标域的实测sar图像中的类别标签进行有监督训练来优化对特征提取器和分类器的参数。
[0167]
在其中一个实施例中，第二阶段训练过程中第二域判别器采用联合概率分布与适配方法；第二域判别器的损失函数如式(13)所示。源域实测sar图像分类预测损失如式(14)所示。
[0168]
在其中一个实施例中，目标识别模型训练模块中目标识别模型的训练过程分为两阶段，其中第一阶段的优化目标如式(15)所示；第二阶段的优化目标如式(16)所示。
[0169]
在其中一个实施例中，目标识别模型训练模块中目标识别模型包括特征提取器和分类器；其中，特征提取器为resnet网络的特征提取部分，分类器包括全连接层。
[0170]
关于跨俯仰角sar图像目标识别装置的具体限定可以参见上文中对于跨俯仰角sar图像目标识别方法的限定，在此不再赘述。上述跨俯仰角sar图像目标识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0171]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种跨俯仰角sar图像目标识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0172]
本领域技术人员可以理解，图11中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0173]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
[0174]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0175]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.一种跨俯仰角sar图像目标识别方法，其特征在于，所述方法包括：根据获取的不同俯仰角条件下的仿真sar图像和实测sar图像进行仿真图像真实化处理，生成对应俯仰角条件下的生成图像；所述实测sar图像包括源域和目标域的实测sar图像，所述生成图像包括源域与目标域的生成图像；将源域与目标域的生成图像以及源域与目标域的实测sar图像输入到目标识别模型对其进行迭代训练，得到训练后的目标分类模型；训练过程包括两个阶段，第一训练阶段：利用源域与目标域的生成图像进行有监督分类训练和对齐边缘分布的无监督域适配训练；第二训练阶段：利用源域与目标域的实测sar图像进行有监督分类训练和对齐联合分布的无监督域适配训练；获取目标域的实测sar图像，将所述实测sar图像输入训练后的目标分类模型对所述实测sar图像中的目标类别进行分类。2.根据权利要求1所述的方法，其特征在于，根据获取的不同俯仰角条件下的仿真sar图像和实测sar图像进行仿真图像真实化处理，生成对应俯仰角条件下的生成图像，包括：将第一俯仰角的仿真sar图像和实测sar图像分别作为第一俯仰角的源域数据和目标域数据；将第一俯仰角的源域数据和目标域数据输入到cyclegan中对仿真sar图像进行真实化处理，生成第一俯仰角的生成图像；所述第一俯仰角的生成图像是以第一俯仰角的仿真sar图像为原始图像，以第一俯仰角的实测sar图像为目标图像的生成图像；对其他俯仰角条件下的仿真sar图像和实测sar图像同样采用cyclegan方法实现仿真图像真实化处理，得到其他俯仰角条件下的生成图像。3.根据权利要求1所述的方法，其特征在于，第一阶段训练模型包括：所述目标识别模型和第一域判别器；所述目标识别模型包括特征提取器和分类器；利用源域与目标域的生成图像进行有监督分类训练和对齐边缘分布的无监督域适配训练，包括：将源域与目标域的生成图像输入到特征提取器中进行特征提取，并对提取的特征图进行全局平均池化层处理，得到源域生成图像特征和目标域生成图像特征；将所述源域生成图像特征和所述目标域生成图像特征输入到第一域判别器进行域标签判别，通过所述特征提取器与所述第一域判别器之间的对抗学习，得到第一域判别预测；根据所述第一域判别预测与所述生成图像中的域标签进行有监督训练来优化所述特征提取器和所述第一域判别器的参数；将所述目标域生成图像特征输入到所述分类器中，得到目标分类预测；根据所述目标分类预测与所述目标域的生成图像中的类别标签进行有监督训练来优化对所述特征提取器和所述分类器的参数。4.根据权利要求3所述的方法，其特征在于，所述第一域判别器包括一个二分类器；第一域判别器的损失函数为：其中，l(
·
)代表交叉熵损失函数，h(
·
)代表将特征空间特征映射到域标签空间标签
的映射函数，其中包含了梯度反转层，表示源域生成图像，表示目标域生成图像，l
i
为源域的域标签值，取值为0，l
t
为目标域的域标签值，取值为1；目标域生成图像的分类损失函数为：其中，为目标域生成图像的分类损失函数，为目标域生成图像，为目标域生成图像的类别标签。5.根据权利要求1所述的方法，其特征在于，第二阶段训练模型包括：所述目标识别模型和第二域判别器；所述目标识别模型包括特征提取器和分类器；利用源域与目标域的实测sar图像进行有监督分类训练和对齐联合分布的无监督域适配训练，包括：将源域与目标域的实测sar图像输入到特征提取器中进行特征提取，并对提取的特征进行全局平均池化层处理，得到源域特征和目标域特征；将所述源域特征和所述目标域特征分别输入到两个分类器中，得到源域目标分类预测和目标域分类预测；将所述源域特征与所述源域目标分类预测进行叉积操作，将所述目标域特征与所述目标域分类预测进行叉积操作，得到新源域特征和新目标域特征；将所述新源域特征和所述新目标域特征分别展平成特征向量后输入到第二域判别器中进行域标签判别，通过特征提取器与第二域判别器之间的对抗学习，得到第二域判别预测；根据所述第二域判别预测与所述实测sar图像中的域标签进行有监督训练来优化所述特征提取器和所述第二域判别器的参数；根据所述源域目标分类预测、所述目标域分类预测、所述源域和目标域的实测sar图像中的类别标签进行有监督训练来优化对所述特征提取器和所述分类器的参数。6.根据权利要求5所述的方法，其特征在于，所述第二域判别器采用联合概率分布与适配方法；所述第二域判别器的损失函数为：式中，l(
·
)代表交叉熵损失函数，k(
·
)代表将特征空间特征映射到域标签空间标签的映射函数，其中包含了梯度反转层，表示源域的样本图像，表示目标域的样本图像，设置源域的域标签值l
i
为0，目标域的域标签值l
t
为1；源域实测sar图像分类预测损失为：其中，为源域实测sar图像，为域实测sar图像的类别标签，为源域实测sar图像分类预测损失。
7.根据权利要求1所述的方法，其特征在于，所述目标识别模型的训练过程分为两阶段，其中第一阶段的优化目标为：l
cyclegan
(g1,g2,d
x
,d
y
)第二阶段的优化目标为：其中，为目标域生成图像分类预测损失，为源域实测sar图像分类预测损失，第一域判别器的损失函数，第二域判别器的损失函数、α、β、γ为3个权重因子。8.根据权利要求1所述的方法，其特征在于，所述目标识别模型包括特征提取器和分类器；其中，所述特征提取器为resnet网络的特征提取部分，所述分类器包括全连接层。9.一种跨俯仰角sar图像目标识别装置，其特征在于，所述装置包括：仿真图像真实化处理模块，用于根据获取的不同俯仰角条件下的仿真sar图像和实测sar图像进行仿真图像真实化处理，生成对应俯仰角条件下的生成图像；所述实测sar图像包括源域和目标域的实测sar图像，所述生成图像包括源域与目标域的生成图像；目标识别模型训练模块，用于将源域与目标域的生成图像以及源域与目标域的实测sar图像输入到目标识别模型对其进行迭代训练，得到训练后的目标分类模型；训练过程包括两个阶段，第一训练阶段：利用源域与目标域的生成图像进行有监督分类训练和对齐边缘分布的无监督域适配训练；第二训练阶段：利用源域与目标域的实测sar图像进行有监督分类训练和对齐联合分布的无监督域适配训练；目标识别模块，用于获取目标域的实测sar图像，将所述实测sar图像输入训练后的目标分类模型对所述实测sar图像中的目标类别进行分类。10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

技术总结
本申请涉及一种跨俯仰角SAR图像目标识别方法、装置和计算机设备，该方法包括：通过仿真图像真实化处理、实测SAR图像之间对齐联合分布域适配、真实化处理后的生成图像之间对齐边缘分布域适配并优化目标识别模型，采用该目标识别模型对目标域的实测SAR图像中的目标类别进行分类。本方法的识别性能上远胜于其他对比域适配方法，提高了跨俯仰角SAR图像目标识别的准确度。的准确度。的准确度。


技术研发人员：赵凌君 陈卓 张思乾 雷琳 熊博莅 计科峰 匡纲要
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：2023.07.13
技术公布日：2023/10/11