基于多源图像跨域融合的目标识别方法

1.本发明属于信息融合及目标识别技术领域，尤其涉及一种基于多源图像跨域融合的目标识别方法。


背景技术：

2.在信息融合目标识别中，红外成像传感器和可见光成像传感器是两种常见的信源。由于可见光图像可以反映特征轮廓、纹理信息，而红外图像可以反映物体的辐射信息，二者具有一定的互补性，因此也经常被融合处理以提高目标识别准确率。但是受限于红外设备的成本以及可能存在遮挡、干扰等问题，信源中会存在部分数据类别缺失即类别不完备的情况，即不能够获得一些目标的红外图像。
3.迁移学习是机器学习中解决训练数据不足问题的重要方法，它将知识从源领域转移到目标领域，源领域(源域)是指已知标签的数据，是要进行迁移的对象，而目标领域(目标域)则是最终要被赋予知识、标注的对象。在图像目标识别中，通常认为关于目标的信息存在于不同成像传感器所捕获的不同领域中。
4.当将在某一源域的目标识别方法应用于其他领域时(例如将可见光图像进行分类识别的方法应用到红外图像上)，从源域学习的解决方案的性能往往会下降，这是由典型领域适应任务中的领域偏移引起的。现有可以进行跨域识别的方法包括零样本深度域适应方法和领域泛化方法。零样本深度域适应方法将数据分为任务相关类数据(待识别目标)和任务无关类数据(非识别目标)，利用领域性适应以及传感器融合的方法对任务无关的源域目标域双域训练数据进行学习，并在目标域的任务相关数据上进行分类识别。领域泛化方法则不提供或者使用任务无关类数据，而是通过源域数据学习到泛化能力较强的模型，并在目标域上进行测试。
5.需要说明的是零样本深度域适应方法和领域泛化方法均存在无法获得目标域中任务相关类的红外数据的情况下，如何提高红外图像进行目标分类识别精度的技术问题。


技术实现要素：

6.本发明的目的是提供一种基于多源图像跨域融合的目标识别方法，以解决在无法获得目标域中任务相关类的红外数据的情况下，无法实现对目标域中红外任务相关类图像分类识别的问题。
7.本发明采用以下技术方案：
8.本发明提供了一种基于多源图像跨域融合的目标识别方法，该方法包括以下步骤：
9.步骤1：调用pix2pix网络，将可见光任务无关类图像转换为伪红外任务无关类图像；同时对可见光任务无关类图像进行灰度和灰度反转转换，获得灰度和灰度反转任务无关类图像；将灰度或灰度反转任务无关类图像以及伪红外任务无关类图像组合构成源域ii；
10.步骤2：将灰度、灰度反转任务无关类图像分别与红外任务无关类图像进行任务无关类图像相似性评估，得到任务无关类图像相似性评估结果，任务无关类图像相似性评估结果用于表征灰度图像或灰度反转图像分别与红外图像的相似性；
11.根据任务无关类图像相似性评估结果以及可见光任务相关类图像，获得灰度或灰度反转任务相关类图像；同时调用pix2pix网络，将可见光任务相关类图像转换为伪红外任务相关类图像；将灰度或灰度反转任务相关类图像以及伪红外任务相关类图像组合构成源域i；
12.步骤3：将源域i、源域ii以及源域iii分别作为跨域图像目标识别网络的输入，通过特征提取，分别获得源域i的第一数据特征、源域ii的第二数据特征以及源域iii的第三数据特征，其中，源域iii的构成是则将步骤2中红外任务无关类图像进行复制，获得的两组红外任务无关类图像；
13.根据第一数据特征对伪红外任务相关类图像进行分类，计算分类损失；
14.同时对第二数据特征和第三数据特征进行分布度量，计算分布度量损失；
15.根据分布度量损失和分类损失构成的总损失，更新第一数据特征获得源域i的第四数据特征；
16.根据第四数据特征对伪红外任务相关类图像进行分类。
17.可选地，可见光任务无关类图像进行灰度和灰度反转转换的方法包括：
18.获取可见光任务无关类图像rgb三个色彩通道下每个像素点的像素值；
19.根据每个像素点的像素值形成灰度任务无关类图像；
20.通过像素最大值与每个通道下每个像素点的像素值，获得灰度反转任务无关类图像。
21.可选地，对灰度、灰度反转任务无关类图像分别与红外任务无关类图像进行任务无关类图像相似性评估的方法包括：
22.分别计算灰度任务无关类图像、灰度反转任务无关类图像分别与红外任务无关类图像的均方根误差、峰值信噪比、结构相似性、弗雷切特起始距离以及可学习感知图像块相似度的综合评价结果；
23.根据综合评价结果得到任务无关类图像相似性评估结果。
24.可选地，步骤3中跨域图像目标识别网络的总损失为分类损失和分布对齐损失的加权之和，总损失的具体为：
25.l＝l
cla
+λl
dis
，
26.其中，l
cla
为分类损失，l
dis
为分类对齐损失，λ为平衡分类损失和分布对齐损失的超参数，l为跨域图像目标识别网络的总损失。
27.可选地，分类损失的计算方式为：
[0028][0029]
其中，代表源域i中第i个样本，代表源域i中第i个样本的样本标签，p代表神经网络输出样本的分类概率，代表源域i中包含样本的数量，l
cla
为分类损失。
[0030]
可选地，分布对齐损失的计算方式为：
[0031][0032]
其中，代表源域ii中的第j个样本、代表源域iii中的第j个样本，代表源域ii所包含样本的数量，代表源域iii中所包含样本的数量，f代表样本经过特征提取器后的特征输出，代表再生希尔伯特空间，φ代表高斯核函数，l
dis
代表源域ii和源域iii的图像分布对齐损失。
[0033]
本发明的有益效果是：首先，通过调用pix2pix网络，通过该网络学习可见光图像与红外图像的映射关系，将可见光任务相关类图像转换为伪红外任务相关类图像，从而通过获得伪红外任务相关类图像替代无法获得的红外任务相关类图像；此外，通过将可见光任务无关类图像转化得到的灰度/灰度反转任务无关类图像、伪红外任务无关类图像、红外任务无关类图像、灰度/灰度反转任务相关类图像以及获得的伪红外任务相关类图像分别化源域i、源域ii以及源域iii，通过对生成的伪红外任务相关类图像进行目标识别，结合灰度、灰度反转任务无光类图像提供辅助信息，从而提高对红外任务相关类图像中目标识别精度。
附图说明
[0034]
图1为本发明提供的一种混合源域的生成过程示意图；
[0035]
图2为本发明提供的一种跨域融合目标识别过程示意图；
具体实施方式
[0036]
下面结合附图和具体实施方式对本发明进行详细说明。
[0037]
需要说明的是，本发明的涉及的数据类别可分为两部分，分别为任务相关类和任务无关类，每部分分别获取目标在同一视角下的可见光图像及红外图像。和分别代表从源域和目标域获取的任务相关类样本，类似地，和分别表示从源域和目标域获取的任务无关类样本，该发明的主要任务，一是在现实中无法获得与目标域中红外任务相关类图像，采用pix2pix网络生成伪红外任务相关类图像；二是借助带有标签信息的三部分样本数据对红外目标域任务相关类数据进行分类识别。
[0038]
为了可以获得与红外任务相关类图像比较接近的伪红外任务相关类图像，首先构建图像翻译网络，利用经典的pix2pix网络学习可见光-红外类图像在任务无关类上的映射关系，并且利用这种映射关系将可见光任务相关类图像转化为伪红外任务相关类图像。
[0039]
本发明提供了一种基于多源图像跨域融合的目标识别方法，该方法包括以下步骤：
[0040]
步骤1：调用pix2pix网络，将可见光任务无关类图像转换为伪红外任务无关类图像；同时对可见光任务无关类图像进行灰度和灰度反转转换，获得灰度和灰度反转任务无关类图像；将灰度或灰度反转任务无关类图像以及伪红外任务无关类图像组合构成源域ii；
[0041]
在一种实施例中，如图1中，首先调用pix2pix网络，将可见光任务相关类图像作为已经训练好的pix2pix网络的输入，根据可见光-红外图像在任务无关类上的映射关系，输出伪红外任务相关类图像。由于图像翻译转换方法注重实现风格上的迁移，但是会忽略像素级别的转换，导致生成图像缺失部分细节纹理信息，即所生成的转换后的伪红外数据会缺失细节纹理信息，而灰度/灰度反转图像一定程度上具有红外图像的特性，并且可以较好保留可见光图像的细节信息，因此引入灰度/灰度反转图像，以此方式补充图像细节信息。为此，进一步对可见光任务无关类图像进行灰度/灰度反转，获得灰度和灰度反转任务无关类图像。需要说明的是，此处还需对灰度、灰度反转任务无关类图像分别与红外任务无关类图像进行任务无关类图像相似性评估，确定灰度任务无关类图像或灰度反转任务无关类图像与生成的伪红外任务无关类图像更加相似，以此得到相似性更高的灰度或灰度反转任务无关类图像以及伪红外任务无关类图像组合,构成源域ii。
[0042]
步骤2：将灰度、灰度反转任务无关类图像分别与红外任务无关类图像进行任务无关类图像相似性评估，得到任务无关类图像相似性评估结果，任务无关类图像相似性评估结果表征灰度图像或灰度反转图像分别与红外图像的相似性；
[0043]
根据任务无关类图像相似性评估结果以及可见光任务相关类图像，获得灰度或灰度反转任务相关类图像；将灰度或灰度反转任务相关类图像以及伪红外任务相关类图像组合构成源域i；
[0044]
在一种实施例中，在生成与红外图像相似的伪红外任务相关类图像时，需要学习生成伪红外任务无关类图像时，灰度任务无关类图像与红外任务无关类图像的相似性更好还是灰度反转任务无关类图像与红外任务无关类图像之间的相似性更好，以此作为任务无关类图像相似性评估，来决定根据哪种图像生成伪红外任务相关类图像，保证生成的伪红外任务相关类图像与灰度或灰度反转任务相关类图像的相似性更高，图像损失更小。根据得到任务无关类图像相似性评估结果，例如：如果任务无关类图像相似性评估结果表明灰度任务无关类图像与红外任务无关类图像相似性更高，则在调用pix2pix网络，将可见光任务相关类图像转换为伪红外任务相关类图像时，也采用将可见光任务相关类图像转换为灰度任务相关类图像；如果任务无关类图像相似性评估结果表明灰度反转任务无关类图像与红外任务无关类图像相似性更高，则再调用pix2pix网络，将可见光任务相关类图像转换为伪红外任务相关类图像时，也采用将可见光任务相关类图像转换为灰度反转任务相关类图像。在此时，根据相似性结果将生成对应的灰度任务相关类图像或灰度反转任务相关类图像与生成的伪红外任务相关类图像组合构成源域i。
[0045]
具体地，如图1中，通过pix2pix网络，使用成对的可见光任务无关类图像红外任务无关类图像样本学习可见光图像(目标域)与红外图像(源域)之间的映射转换关系，再根据训练好的pix2pix网络将可见光任务相关类图像样本向红外图像目标域进行转换，生成伪红外任务相关类图像(伪目标域)，记作
[0046]
虽然利用图像翻译进行转换与理想情况存在差异，以及此处是学习任务无关类数据之间的信息并在任务相关类样本上进行转换，不能将转换后的图像认定为完美的红外图像，但是其仍可以学习到一些有用信息有利于后续的分类识别任务。
[0047]
步骤3：将源域i、源域ii以及源域iii分别作为跨域图像目标识别网络的输入，通
过特征提取，分别获得源域i的第一数据特征、源域ii的第二数据特征以及源域iii的第三数据特征，其中，源域iii的构成是则将步骤2中红外任务无关类图像进行复制，获得的两组红外任务无关类图像；
[0048]
根据第一数据特征对伪红外任务相关类图像进行分类，计算分类损失；
[0049]
同时对第二数据特征和第三数据特征进行分布度量，计算分布度量损失；
[0050]
根据分布度量损失和分类损失构成的总损失，更新第一数据特征获得源域i的第四数据特征；
[0051]
根据第四数据特征对伪红外任务相关类图像进行分类。
[0052]
在一种实施例中，需要说明的是源域iii生成作用与步骤1的作用相似，虽然任务无关类图像与任务相关类图像为两种不同的数据，但是其中依然保留许多用于任务相关类图像识别的相关信息，为了进一步补充可见光图像与红外图像的关联信息，补充跟源域ii数量相同的图像，使得源域iii跟源域ii数量一致。如图1所示，为此将现有的红外任务无关类图像进行复制，构成源域iii。
[0053]
需要说明的是为了可以更好地对源域i中生成的伪红外任务相关类图像进行分类识别，进而构造源域ii和源域iii提供辅助信息。
[0054]
经过上述步骤中构造好的混合域源域i、源域ii以及源域iii作为跨域图像目标识别网络的输入，采用深度域泛化网络综合利用各源域上的信息进行跨域融合目标识别，如图2所示，分别对域源域i数据流、源域ii数据流以及源域iii数据流分别进行特征提取，提取出源域i的第一数据特征、源域ii的第二数据特征、源域iii的第三数据特征；然后通过分类器根据源域i的第一数据特征对源域i的数据进行分类，得到初次分类结果并计算源域i的分类损失；与此同时对源域ii的第二数据特征、源域iii的第三数据特征进行分布对齐，获得分布度量结果中源域ii和源域iii分布对齐损失；根据该分类损失和分布对齐损失构成的跨域图像目标识别网络的总损失按照一定的梯度优化主干网络的网络参数，重新对源域i的数据流进行特征提取，得到源域i的第四数据特征，第四数据特征是对第一数据特征进行更新后的数据特征，根据源域i的数据重新进行分类，直至满足分类精度要求为止。
[0055]
在本实施例中，通过以源域i的数据特征为主，源域ii和源域iii的数据特征为辅，以达到借助源域和目标域任务无关类数据捕捉源域和目标域之间的域不变特征，以便跨域识别任务进行，解决在无法获得目标域中任务相关类的红外数据的情况下，无法实现通过源域中任务无关类的可见光数据进行目标域中目标分类识别的技术问题的问题。
[0056]
可选地，可见光任务无关类图像进行灰度和灰度反转转换的方法包括：
[0057]
获取可见光任务无关类图像rgb三个色彩通道下每个像素点的像素值；
[0058]
根据每个像素点的像素值形成灰度任务无关类图像；
[0059]
通过像素最大值与每个通道下每个像素点的像素值，获得灰度反转任务无关类图像。
[0060]
在一种实施例中，将可见光图像转换为灰度/灰度反转图像本质上是对应像素值之间的转换，例如，将可见光图像上每个坐标点(p
x
,py)的像素值记为i(p
x
,py)，同时其rgb三个色彩通道的像素值分别记为ir(p
x
,py)、ig(p
x
,py)和ib(p
x
,py)，则该像素点经过转换后的像素值i'(p
x
,py)可以由如下方式计算：
[0061][0062]
其中，n代表像素最大值，此处将其选取为255，wr代表r通道像素转换系数、wg代表g通道像素转换系数和wb分别代表b通道像素转换系数。例如，通常wr选取为0.299、wg选取为0.587和wg选取为0.114。
[0063]
通过上述可见光图像的灰度、灰度反转方法，可以当处理的对像为可见光任务无关类图像，则获取可见光任务无关类图像rgb三个色彩通道下每个像素点的像素值，将可见光任务无关类图像转换为灰度任务无关类图像，或转换为灰度反转任务无关类图像。
[0064]
需要说明的是，对于可见光任务相关类图像转灰度任务相关类图像或灰度反转任务相关类图像与上述方法一致。
[0065]
可选地，对灰度、灰度反转任务无关类图像分别与红外任务无关类图像进行任务无关类图像相似性评估的方法包括：
[0066]
分别计算灰度任务无关类图像、灰度反转任务无关类图像分别与红外任务无关类图像的均方根误差、峰值信噪比、结构相似性、弗雷切特起始距离以及可学习感知图像块相似度的综合评价结果；
[0067]
根据综合评价结果得到任务无关类图像相似性评估结果。
[0068]
在一种实施例中，对于将可见光任务相关类图像转换成灰度任务相关类图像或灰度反转任务相关类图像，取决于根据可见光任务无关类图像生成伪红外任务无关类图像过程中，对灰度、灰度反转任务无关类图像分别与红外任务无关类图像之间图像相似性评估结果。
[0069]
因为是通过任务无关类图像的相似性评估指导任务相关类图像类型选取，所以需要考虑进行尽量全面的相似性评价。常见的可用于图像类型转换的评价指标分为客观评价指标和主观评价指标，在客观评价指标方面选取的相似性评价指标有均方根误差(rootmeansquarederror，rmse)、峰值信噪比(peaksignal-to-noiseratio，psnr)和结构相似性(structuralsimilarityindexmeasure，ssim)。除了客观评价指标外，同时考虑可以体现主观的视觉感知误差的指标，所采用的评估指标包括弗雷切特起始距离(frechetinceptiondistance，fid)和可学习感知图像块相似度(learnedperceptualimagepatchsimilarity，lpips)，通过根据这五种评价标准，统计出这五种评价标准中灰度或灰度反转图像中与红外任务无关类图像的相似性更大，来确定在可见光任务相关类图像进行伪红外任务祥光图像转换时应该采用灰度或灰度反转图像，使得其与得到的伪红外任务相关类图像更加相似。
[0070]
为此计算灰度任务无关类图像、灰度反转任务无关类图像分别与红外任务无关类图像的均方根误差、峰值信噪比、结构相似性、弗雷切特起始距离以及可学习感知图像块相似度的综合评价结果值的具体方式如下：
[0071]
1、rmse可以反映变量间的差异程度，是一种基于像素误差的图像质量客观评价指标，用于衡量待评价图像和真实图像之间的差异，其计算表达式如下：
[0072]
[0073]
其中，i是像素索引，n
p
是单幅图像像素数总和，yi代表像素i红外任务无关类图像的灰度值，分别代表像素i处灰度或灰度反转任务无关类图像的灰度值。
[0074]
2、psnr是用来衡量图像重建质量中使用最广泛的评价指标之一，该指标由图像的最大像素值和均方误差定义，其计算表达式如下：
[0075][0076]
其中，变量i、n
p
、yi和的定义与rmse中定义相同，此外maxi代表一幅图像i中的最大灰度值，这里中选取为255。
[0077]
3、ssim是一种衡量待评价图像和真实图像之间相似度的方法，也是一种基于感知的模型，需综合考虑亮度、对比度与结构的影响，其计算表达式如下：
[0078][0079]
其中，μy为红外任务无关类图像y的均值和为灰度或灰度反转任务无关类图像y
*
的均值，同时为红外任务无关类图像y的方差和为灰度或灰度反转任务无关类图像y
*
的方差，为二者的协方差，c1为第一非零常数和c2为第二非零常数。
[0080]
4、fid评价指标将红外任务无关类图像与灰度或灰度反转任务无关类图像分别输入在imagenet数据集上完成预训练的incepionv3图像分类模型(最后一个池化层作为输出层)，得到红外任务无关类图像与灰度或灰度反转任务无关类图像的多维(此处选取为2048维)特征向量f
real
和f
fake
后进行误差计算，fid计算表达式如下：
[0081][0082]
其中，f
real
为红外任务无关类图像的特征向量，f
fake
为灰度或灰度反转任务无关类图像的特征向量，m1为特征向量f
real
的特征均值，m2为特征向量f
fake
的特征均值，c1为特征向量f
real
的协方差矩阵，c2为特征向量f
fake
的协方差矩阵，tr为矩阵的迹。
[0083]
5、lpips评价指标强制生成器学习从灰度或灰度反转任务无关类图像重构所得红外任务无关类图像的反向映射，并优先处理两者之间的感知相似度，其从l层网络中提取特征堆并在通道维度中进行单位归一化，利用向量ω
l
对激活通道进行缩放，并计算l2距离，最后在空间上对特征进行平均并在通道上求和，其计算表达式如下：
[0084][0085]
其中，l代表网络层数，为红外任务无关类图像经过l层网络后所提取特征图和为灰度/灰度反转任务无关类图像经过l层网络后所提取特征图，ω
l
为特征图和在每个通道中的权重，h代表特征图的高度和ω代表特征图的宽度。
[0086]
根据上述五种相似性评估指标，对任务无关类的灰度和灰度反转图像与任务无关类的红外图像进行相似性评估，选取出最相似于红外图像的转换方式，统计灰度任务无关
类图像与灰度反转任务无关类图像对应的综合评价结果，例如，五种指标中四中指标表明灰度任务无关类图像与红外任务无关类图像相似，则对于根据任务相关类图像生成伪红外任务相关类图像过程选择将可见光任务相关类图像转换为灰度任务相关类图像；反之，则对于根据任务相关类图像生成伪红外任务相关类图像过程选择将可见光任务相关类图像转换为灰度反转任务相关类图像。
[0087]
可选地，步骤3中的分类损失的计算方式如下：
[0088]
在一种实施例中，通过综合利用各源域间的信息，设计跨域图像目标识别网络，下面将具体介绍损失函数的设计思路。
[0089]
对于进行分类识别的源域i，在设计分类损失时参照经验风险最小化策略，该策略目的是样本训练阶段在源域i上达到最小分类损失时，将真实红外图像输入网络并进行分类测试。分类损失l
cla
由以下方式进行计算：
[0090][0091]
其中，代表源域i中第i个样本，代表源域i中第i个样本的样本标签，p代表神经网络输出样本的分类概率，代表源域i中包含样本的数量，l
cla
为分类损失。
[0092]
可选地，步骤3中分布对齐损失的计算方式如下：
[0093]
对于进行辅助识别的源域ii和源域iii，为了能够尽可能多地捕获两个领域之间的共同特征，以此实现分布对齐。尽管源域ii和源域iii中样本类别均是任务无关类，但是两个领域中存在的域相关信息对于实现跨域识别是有用的。在网络中设计了一个分布对齐损失，使用最大均值差异距离进行测度，所设计进行分布度量损失l
dis
计算公式如下：
[0094][0095]
其中，代表源域ii中的第j个样本、代表源域iii中的第j个样本，代表源域ii所包含样本的数量，代表源域iii中所包含样本的数量，f代表样本经过特征提取器后的特征输出，代表再生希尔伯特空间，φ代表高斯核函数，l
dis
代表源域ii和源域iii的图像分布对齐损失。
[0096]
需要说明的是，最终所提出的跨域图像目标识别网络的损失l包含两部分损失，分别为源域i中任务相关类样本分类损失l
cla
和源域ii与源域iii中任务无关类样本之间进行分布度量损失l
dis
，其计算公式如下：
[0097]
l＝l
cla
+λl
dis
ꢀꢀꢀ
(9)
[0098]
其中，λ为平衡上述分类损失和分布对齐损失的超参数。
[0099]
跨域图像识别网络可以利用源域数据进行训练，并对伪红外任务相关类图像数据进行识别，其损失函数考虑了源域i的分类损失以及源域ii和iii之间进行分布度量损失，分类损失遵循经验风险最小化准则，分布对齐损失则是为了捕捉混合源域(伪红外任务无关类图像与灰度/灰度反转任务无关类图像)与真实的红外任务无关类图像之间的共有特征，从而提升目标识别准确率。
[0100]
本发明还提供了一种pix2pix网络的训练方法，使其输入可见光图像能输出伪红
外图像。
[0101]
训练阶段可获取的是红外任务无关类图像、可见光任务无关类图像以及可见光任务相关类图像。首先可以学习可见光与红外图像域之间任务无关类图像的映射转换关系。如果根据所学习到的映射关系将可见光任务相关类图像转换伪红外任务相关类图像，将会有利于后续红外任务相关类的分类识别任务的进行。
[0102]
进行上述图像转换的最本质任务是从像素中预测像素，这属于图像翻译的范畴。图像翻译方法中最为经典的是pix2pix网络，它是实现像素级转换的最初始的通用框架，其能够在不同图像间实现风格迁移。与pix2pix网络中场景在本质上是类似的甚至更为容易，因为可见光图像往往比红外图像包含更多的纹理细节以及场景信息。
[0103]
需要说明的是，pix2pix网络由生成器和鉴别器两部分组成，生成器用于生成图像，而鉴别器用于鉴别生成器所产生图像的真伪。pix2pix网络的目标损失l
*
包括两部分，一部分是条件对抗损失：
[0104]
l
cgan
(g,d)＝e
x,y
[logd(x,y)]+e
x,z
[log(1-d(x,g(x,z)))] (10)
[0105]
其中，g代表生成器，d代表鉴别器，x代表输入数据，y代表输出数据，z代表高斯噪声。
[0106]
需要说明的是在训练阶段，这里的输入数据选取为可见光任务无关类图像这里输出数据伪红外任务无关类图像
[0107]
pix2pix网络的目标损失l
*
的另一部分为l1像素损失：
[0108]
l
l1
(g)＝e
x,y,z
[||y-g(x,z)||1] (11)
[0109]
其中，||y-g(x,z)||1表示生成器的输出与输入的可见光任务无关类图像之间的l1范数。
[0110]
pix2pix网络的最终目标损失l
*
如下：
[0111][0112]
其中，生成器g试图减少目标损失而鉴别器d试图将其增大，α是用来平衡条件对抗损失和像素损失的平衡系数。
[0113]
本发明还提供了一种基于多源图像跨域融合的目标识别方可行性的验证实验，具体内容如下：
[0114]
对于可见光图像和红外图像之间的跨域识别任务，选取了包含成对可见光和红外图像的vais船舶数据集进行实验，如表1所示。为了进一步模拟真实识别任务，在实验设置时在vais船舶数据集中设定了如下实验场景：
[0115]
场景
①
：选取样本数量较少的3类(中型其他船、客船、拖船)图像作为任务无关类图像，将剩余样本数量较多的3类(货船、帆船、小型船)图像作为任务相关类图像进行识别。
[0116]
表1vais船舶数据集基本信息
[0117]
[0118][0119]
评价指标
[0120]
考虑到vais船舶数据集中存在类别不平衡的情况，为了全面评估本目标识别方法的性能，实验将利用精确率(precision)、召回率(recall)、f1分数(f1score)和准确率(accuracy)四种评价指标进行模型评价，其中主要针对f1分数和准确率，精确率和召回率主要表示经过运算可以得到f1分数。
[0121]
现给出每种指标的定义，定义中的tp表示多分类测试样本中真正例(truepositive)数目，tn表示多分类测试样本中真反例(truenegative)数目，fp表示多分类测试样本中假正例(falsepositive)数目和fn表示多分类测试样本中假反例(falsenegative)数目。
[0122]
其中，精确率(precision)：表示被预测为正例中真正例的比例，其计算公式如下：
[0123][0124]
召回率(recall)：表示所有正例中被正确分类的比例，其计算公式如下：
[0125][0126]
f1分数(f1score)：表示精确率和召回率的调和平均数，其计算公式如下：
[0127][0128]
准确率(accuracy)：表示被分类正确的样本占总样本的比例，其计算公式如下：
[0129][0130]
实验结果
[0131]
以下表2为vais船舶数据集对任务无关类样本与红外任务无关类图像进行相似性评估的结果。在数值越大相似性越好的指标后放置
↑
符号，反之则放置
↓
符号。
[0132]
表2vais船舶数据集中任务无关类图像相似性评估结果
[0133][0134][0135]
通过表2，可以发现在vais船舶数据集中，除了fid指标，其他灰度反转图像的主观客观相似性指标均比灰度图像占优，所以在该数据集场景下进行基于图像类型转换的源域混合时，均采取将可见光任务相关类图像转换为灰度反转任务相关类图像的转换方式。
[0136]
从深度域泛化问题解决方法和零样本深度域适应问题解决方法两方面分别选取具有代表性的方法进行对比实验。在深度域泛化方法中，选取了经验风险最小化(empiricalriskminimization，erm)、逻辑“与”掩码(andmask)、表征自挑战(representationself-challenging，rsc)和混合(mixup)学习原则四种具有代表性的方法与本方法进行对比实验。在零样本深度域适应方法中，选取基于解耦特征协同学习的零样本领域适应方法进行实验。
[0137]
在vais船舶数据集上进行了对比实验，在源域中选取80％数据作为训练集，20％作为验证集，将目标域的任务相关类数据作为测试集统计各项指标的平均值以及标准差)，实验结果如表3所示。其中作为对比方法的df-zsda只能实现从单个源域到目标域的零样本领域适应，同时其任务无关类必须为多数类别(任务无关类的类别数》2)，故在场景
①
的部分识别情况中不能进行对比实验。
[0138]
表3vais船舶数据集在场景
①
下进行分类识别的实验结果(％)
[0139]
[0140]
[0141][0142]
通过表3可以发现，在大多数的任务场景下，所提出的基于多源图像跨域融合的目标识别方法均可以实现优于其他方法的实验性能。四种深度域泛化方法(erm、andmask、rsc和mixup)在单个可见光图像或者单个灰度/灰度反转图像域上进行模型训练时，由于源域数量较少，难以学习到泛化能力较强的模型，同时源域和目标域本身存在一定的领域偏移，如果在源域图像上进行训练，不可避免会面临目标域图像分类识别效果不佳的情况。从信息利用程度来分析，深度域泛化方法则没有利用源域任务无关类图像以及目标域任务无关类图像的信息，不能够充分利用已有信息。在vais船舶数据集中，使用多个源域图像的深度域泛化结果与单个源域进行深度域泛化差别不大，这是由于多个源域(可见光图像、灰度图像)间并未形成较好的互补信息补充。
[0143]
对于零样本深度域适应方法df-zsda，其使用场景受限于单个源域并且任务无关类必须为多数类别，在vais船舶数据集中，同等设定情况下其识别性能优于其他深度域泛化方法。通常，如果能够实现在源域任务相关类图像、源域任务无关类图像和目标域任务无关类图像上同时达到较好的分类识别性能，那么这样方法具有一定的泛化性也可能会损失掉对于目标域任务相关类图像的一些分类特性，即该方法可能会产生分类中存在的“广而不精”的问题。
[0144]
本方法则充分挖掘源域和目标域之间的信息相关性，无论是进行图像翻译还是进行灰度/灰度反转操作，都能够充分利用现有源域任务无关类图像、源域任务相关类图像和目标域任务无关类图像的信息，同时基于图像类型转换的源域混合能够最大化利用已有信息，所设计的深度域泛化目标识别方法则兼顾风险最小策略以及提取源域与目标域间共同特征的能力，可以较好地完成领域泛化并识别目标域任务相关类的任务。在vais船舶数据集中，在场景
①
分类识别任务下利用resnet18骨干网络，相比于其他对比方法，实现了至少6.72％的f1分数提升以及5.65％的准确率提升；利用resnet50骨干网络则实现了至少12.94％的f1分数提升以及11.41％的准确率提升；同时可以发现，本方法具有较高的f1分数以及准确率，其相应标准差数值也较小，表明该方法在具有较好的目标识别准确性的同时，也具备一定的模型鲁棒性。

技术特征：
1.一种基于多源图像跨域融合的目标识别方法，其特征在于，该方法包括以下步骤：步骤1：调用pix2pix网络，将可见光任务无关类图像转换为伪红外任务无关类图像；对可见光任务无关类图像进行灰度和灰度反转转换，获得灰度和灰度反转任务无关类图像；将所述灰度或灰度反转任务无关类图像以及所述伪红外任务无关类图像组合构成源域ii；步骤2：将所述灰度、灰度反转任务无关类图像分别与红外任务无关类图像进行任务无关类图像相似性评估，得到任务无关类图像相似性评估结果，所述任务无关类图像相似性评估结果用于表征灰度图像或灰度反转图像分别与红外图像的相似性；根据所述任务无关类图像相似性评估结果以及可见光任务相关类图像，获得灰度或灰度反转任务相关类图像；同时调用pix2pix网络，将所述可见光任务相关类图像转换为伪红外任务相关类图像；将所述灰度或灰度反转任务相关类图像以及所述伪红外任务相关类图像组合构成源域i；将步骤2中所述红外任务无关类图像进行复制，获得两组所述红外任务无关类图像构成源域iii；步骤3：将所述源域i、所述源域ii以及源域iii分别作为跨域图像目标识别网络的输入，通过特征提取，分别获得所述源域i的第一数据特征、所述源域ii的第二数据特征以及所述源域iii的第三数据特征，其中所述源域iii的构成是则将步骤2中所述红外任务无关类图像进行复制，获得的两组所述红外任务无关类图像；根据所述第一数据特征对所述伪红外任务相关类图像进行分类，计算分类损失；同时对所述第二数据特征和所述第三数据特征进行分布度量，计算分布度量损失；根据所述分布度量损失和所述分类损失构成的总损失，更新所述第一数据特征获得所述源域i的第四数据特征；根据所述第四数据特征对所述伪红外任务相关类图像进行分类。2.如权利要求1所述的一种基于多源图像跨域融合的目标识别方法，其特征在于，对可见光任务无关类图像进行灰度和灰度反转转换的方法包括：获取所述可见光任务无关类图像rgb三个色彩通道下每个像素点的像素值；根据每个像素点的所述像素值形成所述灰度任务无关类图像；通过像素最大值与每个通道下每个像素点的像素值，获得灰度反转任务无关类图像。3.如权利要求1所述的一种基于多源图像跨域融合的目标识别方法，其特征在于，对所述灰度、灰度反转任务无关类图像分别与红外任务无关类图像进行任务无关类图像相似性评估的方法包括：分别计算所述灰度任务无关类图像、所述灰度反转任务无关类图像分别与红外任务无关类图像的均方根误差、峰值信噪比、结构相似性、弗雷切特起始距离以及可学习感知图像块相似度的综合评价结果；根据所述综合评价结果得到所述任务无关类图像相似性评估结果。4.如权利要求1所述的一种基于多源图像跨域融合的目标识别方法，其特征在于，所述步骤3中跨域图像目标识别网络的总损失为分类损失和分布对齐损失的加权之和，所述总损失的具体为：l＝l
cla
+λl
dis
，
其中，l
cla
为所述分类损失，l
dis
为所述分类对齐损失，λ为平衡所述分类损失和所述分布对齐损失的超参数，l为跨域图像目标识别网络的总损失。5.如权利要求4所述的一种基于多源图像跨域融合的目标识别方法，其特征在于，所述分类损失的计算方式为：其中，代表源域i中第i个样本，代表源域i中第i个样本的样本标签，p代表神经网络输出样本的分类概率，代表源域i中包含样本的数量，l
cla
为分类损失。6.如权利要求4所述的一种基于多源图像跨域融合的目标识别方法，其特征在于，所述分布对齐损失的计算方式为：其中，代表源域ii中的第j个样本、代表源域iii中的第j个样本，代表源域ii所包含样本的数量，代表源域iii中所包含样本的数量，f代表样本经过特征提取器后的特征输出，代表再生希尔伯特空间，φ代表高斯核函数，l
dis
代表源域ii和源域iii的图像分布对齐损失。

技术总结
本发明公开了一种基于多源图像跨域融合的目标识别方法，该方法通过调用Pix2pix网络，通过该网络学习可见光图像与红外图像的映射关系，将可见光任务相关类图像转换为伪红外任务相关类图像；此外，通过可见光的灰度/灰度反转任务无关类图像、红外任务无关类图像、可见光的灰度/灰度反转任务相关类图像构建的混合源域对伪红外任务相关类图像进行目标识别。解决在无法获得目标域中任务相关类的红外数据的情况下，实现如何提高对目标域中红外任务相关类图像分类识别精度的问题。关类图像分类识别精度的问题。关类图像分类识别精度的问题。


技术研发人员：刘准钆 郭钊瑞 熊杰轩 潘泉 吕洋
受保护的技术使用者：西北工业大学
技术研发日：2023.04.26
技术公布日：2023/8/6