可见光遥感图像舰船目标检测的数据扩增方法、电子设备与流程

1.本发明涉及可见光遥感图像目标检测与识别技术领域，尤其涉及一种可见光遥感图像舰船目标检测的数据扩增方法、设备及存储介质。


背景技术：

2.目标检测是计算机视觉中四大关键任务之一，其不仅在资源勘测、环境监测、城市规划等民用领域有重要作用，而且在目标信息获取、目标捕捉、等其他领域也扮演着重要角色。随着深度学习的蓬勃发展和卷积神经网络的提出，基于深度学习的目标检测方法已全面超越传统手工提取特征的方法，引领了目标检测领域的发展。
3.可见光遥感图像作为重要的对地观测手段之一，其具有很高的分辨率和丰富的信息，相比于其他遥感图像而言，更符合人眼视觉特性。在以可见光遥感图像为数据的遥感图像目标检测及识别领域已经取得了不错的效果。但由于功能用途的不同，不同种类的舰船数量有很大差异，客观导致了可见光遥感数据集中的舰船数量呈现长尾分布特征。采用具有长尾分布特征的可见光遥感数据集作为训练集来训练模型时，会导致模型偏向多数类，而使得对于少数类识别精度较低。在实际应用场景中，少数类的种类数量往往比多数类的种类数量多，其中也不乏重要的目标类，因此需要采取合理策略提高模型训练中的少数类样本的比重，进而使得模型更加均衡。
4.数据扩增的方法能够很好地弥补样本数量不足的问题，但传统的样本扩增方法面向的是图像，通过对整张图像进行旋转、颜色抖动、模糊处理和缩放等方式，其重点更多是增加整个数据集的数据量和进行一些数据增强基于深度学习的方法具有很大的优势，其能够通过直接生成少样本目标的图像来进行类间平衡，但是现有的深度学习方法对于高分辨率图像而言，生成的图像较为模糊，引入数据集时会引入更多的噪声，从而产生干扰，且训练时间较长。copy-paste是一个面向实例的数据扩增方法，其能够解决类间不平衡问题，但由于遥感图像下的目标特征与自然图像下有所不同，且遥感图像下的目标具有明显的语义信息，因此需要做进一步的工作。


技术实现要素：

5.为解决上述现有技术中存在的技术问题，本发明的目的在于提供一种的可见光遥感图像舰船目标检测的数据扩增方法、设备及存储介质，实现舰船少数类的自动扩增，解决因训练集类间不平衡导致训练出来模型偏向于多数类，而对少数类识别精度下降的问题。
6.为实现上述发明目的，本发明提供一种可见光遥感图像舰船目标检测的数据扩增方法，包括以下步骤：
7.步骤s1、获取原始可见光遥感图像数据集及其标注文件；
8.步骤s2、确定需要进行扩增的舰船类别；
9.步骤s3、引入语义评估模块，得到能够扩增的合理区域；
10.步骤s4、依据原始可见光遥感图像数据集的标注文件，提取原始各类舰船切片样
本；
11.步骤s5、对原始各类舰船切片样本进行超分辨率重建，构建舰船扩增样例库；
12.步骤s6、将原始可见光遥感图像和舰船扩增样例库进行图像合成处理，得到扩增后的图像；
13.步骤s7、对扩增后的图像进行质量评估，筛选替换原始图像。
14.根据本发明的一个方面，所述步骤s1中的原始可见光遥感图像数据集的标注文件至少包括针对舰船目标的旋转区域标注信息以及舰船目标的类别标签。
15.根据本发明的一个方面，在所述步骤s2中，设计自适应类间平衡评估模块对原始数据集的类间平衡状态进行评估，确定需要进行扩增的舰船类别，具体包括：
16.步骤s21、对原始可见光遥感数据集中各舰船数量进行统计，得到各舰船数量numberi，其中，i代表第i类舰船；
17.步骤s22、提取舰船旋转区域标注信息，计算各类舰船所占区域像素areai；
18.步骤s23、利用各类舰船所占区域像素areai，计算各类舰船的像素平均占比，公式如下：
[0019][0020]
其中，n为总的舰船类别数量，i代表第i类舰船；
[0021]
步骤s24、计算每一类舰船目标数量与平均像素的乘积numberi×
sappi，并将其中的最大值规定为标准值balancestandard，对于未达到标准值的种类，通过得到平衡时的数量，确定每一类未平衡舰船需要的进行扩增的数量。
[0022]
根据本发明的一个方面，在所述步骤s3中，引入语义评估模块，采用海陆分割和先验标注信息结合的方式，得到能够扩增的合理区域，具体包括：
[0023]
步骤s31、采用海陆分割算法，对可见光遥感图像进行海域和陆地的基础划分，得到掩膜文件；
[0024]
步骤s32、在海陆分割的基础上，引入舰船目标的位置区域先验标注信息；
[0025]
步骤s33、将舰船目标的位置区域先验标注信息添加进入掩膜文件中，得到能够扩增的合理区域。
[0026]
根据本发明的一个方面，在所述步骤s5中，具体包括：
[0027]
步骤s51、引入超分辨率重建网络，对所述步骤s4中得到的所有的原始各类舰船切片样本进行特征增强，增加细节信息，突出不同种类的舰船特征；
[0028]
步骤s52、采用目标识别算法，以上述完成特征增强后的图像作为输入，并将输出的结果中的负样本剔除，构建得到少数类舰船扩增实例库。
[0029]
根据本发明的一个方面，所述步骤s51中，所述超分辨率重建网络基于lgcnet超分网络模型，引入注意力模块，对网络进行引导，进而实现舰船切片的特征增强；
[0030]
所述步骤s52中，所述目标识别算法为oriented r-cnn算法。
[0031]
根据本发明的一个方面，在所述步骤s6中，具体包括：
[0032]
步骤s61、依据步骤s31中得到的掩膜文件，采用随机选取的方法，从合理放置区域中选取得到舰船嵌入点；
[0033]
步骤s62、对舰船切片图像进行数据增强操作，得到数据增强后的舰船切片图像；
[0034]
步骤s63、采用泊松融合方法将舰船切片嵌入到原始可见光遥感图像中，最后得到合成图像。
[0035]
根据本发明的一个方面，在所述步骤s7中，具体包括：
[0036]
选取结构相似度作为评估指标对扩增后的图像进行质量评估，将扩增后图像和原始图像进行对比，剔除差异极大的图像，筛选得到高质量图像，替换原始图像，完成少数类舰船目标的扩增。
[0037]
根据本发明的一个方面，提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如上述技术方案中任一项所述的一种可见光遥感图像舰船目标检测的数据扩增方法。
[0038]
根据本发明的一个方面，提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，实现如上述技术方案中任一项所述一种可见光遥感图像舰船目标检测的数据扩增方法。
[0039]
本发明与现有技术相比，具有如下有益效果：
[0040]
本发明提出了一种可见光遥感图像舰船目标检测的数据扩增方法、设备及存储介质，实现了舰船少数类的自动扩增，解决了现有技术中可见光遥感数据集中舰船目标因客观长尾分布导致的类间不平衡使得基于此类数据集进行目标检测模型训练的模型出现偏向多数类而使得少数类目标的识别精度较低的问题，进而提升模型的准确性和泛化性能，能够作为系统的可见光遥感图像目标识别任务的数据集的数据增强流程。
附图说明
[0041]
为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]
图1示意性表示根据本发明一个实施例中提供的可见光遥感图像舰船目标检测的数据扩增方法流程图；
[0043]
图2示意性表示根据本发明一种实施方式的超分辨率重建网络的实现流程图；
[0044]
图3示意性表示根据本发明一种实施方式的注意力模块结构示意图；
[0045]
图4示意性表示根据本发明一种实施方式的空间注意力模块结构示意图；
[0046]
图5示意性表示根据本发明一种实施方式的通道注意力模块结构示意图。
具体实施方式
[0047]
此说明书实施方式的描述应与相应的附图相结合，附图应作为完整的说明书的一部分。在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中各结
构的部分将以分别描述进行说明，值得注意的是，图中未示出或未通过文字进行说明的元件，为所属技术领域中的普通技术人员所知的形式。
[0048]
此处实施例的描述，有关方向和方位的任何参考，均仅是为了便于描述，而不能理解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合，这些特征可能独立存在或者组合存在，本发明并不特别地限定于优选的实施方式。本发明的范围由权利要求书所界定。
[0049]
如图1所示，本发明的一种可见光遥感图像舰船目标检测的数据扩增方法，包括以下步骤：
[0050]
步骤s1、获取原始可见光遥感图像数据集及其标注文件；
[0051]
步骤s2、确定需要进行扩增的舰船类别；
[0052]
步骤s3、引入语义评估模块，得到能够扩增的合理区域；
[0053]
步骤s4、依据原始可见光遥感图像数据集的标注文件，提取原始各类舰船切片样本；
[0054]
步骤s5、对原始各类舰船切片样本进行超分辨率重建，构建舰船扩增样例库；
[0055]
步骤s6、将原始可见光遥感图像和舰船扩增样例库进行图像合成处理，得到扩增后的图像；
[0056]
步骤s7、对扩增后的图像进行质量评估，筛选替换原始图像。
[0057]
在该实施例中，通过获取原始可见光遥感图像数据集及其标注文件，并对原始可见光遥感图像数据集进行类间平衡状态进行评估，确定需要进行扩增的舰船类别，能够减少无效的数据扩增，利用语义评估模块，采用海陆分割和先验标签信息结合的方式，实现扩增区域的合理选择，有利于快速进行合理嵌入位置确定，提高少数类扩增效率，再根据原始可见光遥感图像数据集的标注文件对可见光遥感图像进行切割，得到原始各类舰船切片样本，并利用超分辨率重建网络对舰船切片进行信息增强，构建舰船扩增样例库，有利于提升扩增样本质量，利用图像合成模块完成原始可见光遥感图像和舰船扩增样例库的图像合成处理，得到扩增后的图像，对扩增后图像和原始图像进行对比，剔除差异极大的图像，最终得到高质量图像，将其替换原来图像。
[0058]
通过上述技术方案，实现了舰船少数类的自动扩增，解决了现有技术中可见光遥感数据集中舰船目标因客观长尾分布导致的类间不平衡使得基于此类数据集进行目标检测模型训练的模型出现偏向多数类而使得少数类目标的识别精度较低的问题，进而提升模型的准确性和泛化性能，能够作为系统的可见光遥感图像目标识别任务的数据集的数据增强流程。
[0059]
在本发明的一个实施例中，优选地，所述步骤s1中的原始可见光遥感图像数据集的标注文件至少包括针对舰船目标的旋转区域标注信息以及舰船目标的类别标签，即在原始可见光遥感图像数据集中，舰船目标已经被一个旋转框划定了目标范围，并且将其进行了类别的标注。
[0060]
在本发明的一个实施例中，优选地，在所述步骤s2中，设计自适应类间平衡评估模块对原始数据集的类间平衡状态进行评估，确定需要进行扩增的舰船类别，具体包括：
[0061]
步骤s21、对原始可见光遥感数据集中各舰船数量进行统计，得到各舰船数量numberi，其中，i代表第i类舰船；
[0062]
步骤s22、提取舰船旋转区域标注信息，计算各类舰船所占区域像素areai；
[0063]
步骤s23、利用各类舰船所占区域像素areai，计算各类舰船的像素平均占比(ship average pixel percentage,sapp)，公式如下：
[0064][0065]
其中，n为总的舰船类别数量，i代表第i类舰船；
[0066]
步骤s24、计算每一类舰船目标数量与平均像素的乘积numberi×
sappi，并将其中的最大值规定为标准值balancestandard，对于未达到标准值的种类，通过得到平衡时的数量，确定每一类未平衡舰船需要的进行扩增的数量。
[0067]
在本发明的一个实施例中，优选地，在所述步骤s3中，引入语义评估模块，采用海陆分割和先验标注信息结合的方式，得到能够扩增的合理区域，具体包括：
[0068]
步骤s31、采用海陆分割算法，对可见光遥感图像进行海域和陆地的基础划分，得到掩膜文件；
[0069]
步骤s32、在海陆分割的基础上，引入舰船目标的位置区域先验标注信息；
[0070]
步骤s33、将舰船目标的位置区域先验标注信息添加进入掩膜文件中，得到能够扩增的合理区域。
[0071]
在该实施例中，海陆分割方法采用deeplabv3语义分割算法，在使用专门的海陆分割数据集来对模型进行训练之后，迁移应用至需要使用的可见光遥感图像数据集中，实现下游应用，从而得到了整个数据集的海陆分割掩膜文件。
[0072]
利用原始标注文件中的舰船区域信息，将其叠加到生成的掩膜文件中，生成新的掩膜文件。新的掩膜文件将海洋、陆地以及舰船进行了不同分割，因此可以避免后续的舰船样本嵌入过程出现不合理位置选择，如舰船嵌入到陆地上或者舰船与原有舰船出现了重叠等，保证遥感图像的基本语义信息正确。
[0073]
在步骤s4中，依据原始可见光遥感图像数据集的标注文件，提取原始各类舰船切片样本，具体包括：
[0074]
依据原始舰船旋转框标注信息，首先对遥感图像以舰船为中心进行舰船旋转角度的反方向旋转，使得图像中的舰船方向变为水平。然后依据原始标注信息，进行新的四点坐标计算，依据结果进行图像切割，从而得到舰船切片样本。
[0075]
在本发明的一个实施例中，优选地，在所述步骤s5中，具体包括：
[0076]
步骤s51、引入超分辨率重建网络，对所述步骤s4中得到的所有的原始各类舰船切片样本进行特征增强，增加细节信息，突出不同种类的舰船特征；
[0077]
具体地，如图2所示，首先对舰船切片图像进行特征提取，在进行卷积的同时引入了注意力模块来对其进行引导。在特征提取后，进行全局-局部特征联合，从而实现多尺度特征融合。全局-局部特征联合主要是将不同层的卷积结果相连接，最后进行合并，得到联合特征。在联合特征的基础上，利用一个卷积层来进行重建。
[0078]
如图3所示，注意力模块由通道注意力和空间注意力两部分组成，通道注意力的网
络结构如图4所示，空间注意力的网络结构如图5所示。在计算过程中，先进行通道注意力计算，再进行空间注意力计算。
[0079]
通道注意力计算：将获得的原始特征图a和其转置特征图进行矩阵乘法，然后应用一个softmax层来获得通道注意力图。通道注意力图的计算公式为：
[0080][0081]
其中，x
ji
表示第i个通道对于第j个通道的影响。此外，将原始特征图与通道特征图相乘，从而得到新的特征图b，其计算公式为：
[0082][0083]
其中，α是一个尺度参数。
[0084]
将此时新的特征图b再进行空间注意力：将b做卷积得到新的特征图c、d和e。然后b与c做矩阵乘法运算，经过一个softmax层得到空间注意力特征图，计算公式为:
[0085][0086]
其中，s
ji
代表第i个位置对于第j个位置的影响。然后用特征图e与空间注意力特征图做矩阵乘法，从而得到最终的特征图f，计算公式为：
[0087][0088]
步骤s52、采用目标识别算法，以上述完成特征增强后的图像作为输入，并将输出的结果中的负样本剔除，构建得到少数类舰船扩增实例库。
[0089]
在本发明的一个实施例中，优选地，所述步骤s52中，所述目标识别算法为oriented r-cnn算法。
[0090]
在本发明的一个实施例中，优选地，在所述步骤s6中，具体包括：
[0091]
步骤s61、依据步骤s31中得到的掩膜文件，采用随机选取的方法，从合理放置区域中选取得到舰船嵌入点；
[0092]
步骤s62、对舰船切片图像进行数据增强操作，得到数据增强后的舰船切片图像，其中，数据增强操作可以包括任意旋转、颜色抖动、高斯模糊等基础图像增强方法；
[0093]
步骤s63、采用泊松融合方法将舰船切片嵌入到原始可见光遥感图像中，最后得到合成图像。
[0094]
在本发明的一个实施例中，优选地，在所述步骤s7中，具体包括：
[0095]
选取结构相似度作为评估指标对扩增后的图像进行质量评估，将扩增后图像和原始图像进行对比，剔除差异极大的图像，筛选得到高质量图像，替换原始图像，完成少数类舰船目标的扩增。
[0096]
在该实施例中，对扩增后的图像做的质量评估为选取结构相似度作为评估指标，对扩增后图像和原始图像进行对比，剔除差异极大的图像。最终得到高质量图像，将其替换原来图像。具体的，结构相似度计算的计算公式为：
[0097][0098]
其中，u
x
、uy分别代表图像x和图像y的均值，σ
x
、σy分别代表图像x和图像y的标准差，σ
xy
代表图像x和图像y的协方差，c1和c2是避免分母为0而维持稳定的常数。
[0099]
根据本发明的一个方面，提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如上述技术方案中任一项的一种可见光遥感图像舰船目标检测的数据扩增方法。
[0100]
根据本发明的一个方面，提供了一种计算机可读存储介质，用于存储计算机指令，计算机指令被处理器执行时，实现如上述技术方案中任一项一种可见光遥感图像舰船目标检测的数据扩增方法。
[0101]
本发明的一种可见光遥感图像舰船目标检测的数据扩增方法、设备及存储介质，可见光遥感图像舰船目标检测的数据扩增方法包括：步骤s1、获取原始可见光遥感图像数据集及其标注文件；步骤s2、确定需要进行扩增的舰船类别；步骤s3、引入语义评估模块，得到能够扩增的合理区域；步骤s4、依据原始可见光遥感图像数据集的标注文件，提取原始各类舰船切片样本；步骤s5、对原始各类舰船切片样本进行超分辨率重建，构建舰船扩增样例库；步骤s6、将原始可见光遥感图像和舰船扩增样例库进行图像合成处理，得到扩增后的图像；步骤s7、对扩增后的图像进行质量评估，筛选替换原始图像，实现了舰船少数类的自动扩增，解决了现有技术中可见光遥感数据集中舰船目标因客观长尾分布导致的类间不平衡使得基于此类数据集进行目标检测模型训练的模型出现偏向多数类而使得少数类目标的识别精度较低的问题，进而提升模型的准确性和泛化性能，能够作为系统的可见光遥感图像目标识别任务的数据集的数据增强流程。
[0102]
此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
[0103]
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0104]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处
理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0105]
还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0106]
最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

技术特征：
1.一种可见光遥感图像舰船目标检测的数据扩增方法，其特征在于，包括以下步骤：步骤s1、获取原始可见光遥感图像数据集及其标注文件；步骤s2、确定需要进行扩增的舰船类别；步骤s3、引入语义评估模块，得到能够扩增的合理区域；步骤s4、依据原始可见光遥感图像数据集的标注文件，提取原始各类舰船切片样本；步骤s5、对原始各类舰船切片样本进行超分辨率重建，构建舰船扩增样例库；步骤s6、将原始可见光遥感图像和舰船扩增样例库进行图像合成处理，得到扩增后的图像；步骤s7、对扩增后的图像进行质量评估，筛选替换原始图像。2.根据权利要求1所述的可见光遥感图像舰船目标检测的数据扩增方法，其特征在于，所述步骤s1中的原始遥感图像数据集的标注文件至少包括针对舰船目标的旋转区域标注信息以及舰船目标的类别标签。3.根据权利要求2所述的可见光遥感图像舰船目标检测的数据扩增方法，其特征在于，在所述步骤s2中，设计自适应类间平衡评估模块对原始数据集的类间平衡状态进行评估，确定需要进行扩增的舰船类别，具体包括：步骤s21、对原始可见光遥感数据集中各舰船数量进行统计，得到各舰船数量number
i
，其中，i代表第i类舰船；步骤s22、提取舰船旋转区域标注信息，计算各类舰船所占区域像素area
i
；步骤s23、利用各类舰船所占区域像素area
i
，计算各类舰船的像素平均占比，公式如下：其中，n为总的舰船类别数量，i代表第i类舰船；步骤s24、计算每一类舰船目标数量与平均像素的乘积number
i
×
sapp
i
，并将其中的最大值规定为标准值balancestandard，对于未达到标准值的种类，通过得到平衡时的数量，确定每一类未平衡舰船需要的进行扩增的数量。4.根据权利要求3所述的可见光遥感图像舰船目标检测的数据扩增方法，其特征在于，在所述步骤s3中，引入语义评估模块，采用海陆分割和先验标注信息结合的方式，得到能够扩增的合理区域，具体包括：步骤s31、采用海陆分割算法，对可见光遥感图像进行海域和陆地的基础划分，得到掩膜文件；步骤s32、在海陆分割的基础上，引入舰船目标的位置区域先验标注信息；步骤s33、将舰船目标的位置区域先验标注信息添加进入掩膜文件中，得到能够扩增的合理区域。5.根据权利要求1所述的可见光遥感图像舰船目标检测的数据扩增方法，其特征在于，在所述步骤s5中，具体包括：步骤s51、引入超分辨率重建网络，对所述步骤s4中得到的所有的原始各类舰船切片样
本进行特征增强，增加细节信息，突出不同种类的舰船特征；步骤s52、采用目标识别算法，以上述完成特征增强后的图像作为输入，并将输出的结果中的负样本剔除，构建得到少数类舰船扩增实例库。6.根据权利要求5所述的可见光遥感图像舰船目标检测的数据扩增方法，其特征在于，所述步骤s51中，所述超分辨率重建网络基于lgcnet超分网络模型，引入注意力模块，对网络进行引导，进而实现舰船切片的特征增强；所述步骤s52中，所述目标识别算法为oriented r-cnn算法。7.根据权利要求4所述的可见光遥感图像舰船目标检测的数据扩增方法，其特征在于，在所述步骤s6中，具体包括：步骤s61、依据步骤s31中得到的掩膜文件，采用随机选取的方法，从合理放置区域中选取得到舰船嵌入点；步骤s62、对舰船切片图像进行数据增强操作，得到数据增强后的舰船切片图像；步骤s63、采用泊松融合方法将舰船切片嵌入到原始可见光遥感图像中，最后得到合成图像。8.根据权利要求1所述的可见光遥感图像舰船目标检测的数据扩增方法，其特征在于，在所述步骤s7中，具体包括：选取结构相似度作为评估指标对扩增后的图像进行质量评估，将扩增后图像和原始图像进行对比，剔除差异极大的图像，筛选得到高质量图像，替换原始图像，完成少数类舰船目标的扩增。9.一种电子设备，其特征在于，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如权利要求1至8中任一项所述的可见光遥感图像舰船目标检测的数据扩增方法。10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1至8中任一项所述的可见光遥感图像舰船目标检测的数据扩增方法。

技术总结
本发明涉及一种可见光遥感图像舰船目标检测的数据扩增方法、设备及存储介质，获取原始可见光遥感图像数据集及其标注文件；确定需要进行扩增的舰船类别；引入语义评估模块，得到能够扩增的合理区域；依据原始可见光遥感图像数据集的标注文件，提取原始各类舰船切片样本；对原始各类舰船切片样本进行超分辨率重建，构建舰船扩增样例库；将原始可见光遥感图像和舰船扩增样例库进行图像合成处理，得到扩增后的图像；对扩增后的图像进行质量评估，筛选替换原始图像。本发明，实现了舰船少数类的自动扩增，解决因训练集类间不平衡导致训练出来模型偏向于多数类，而对少数类识别精度下降的问题。的问题。的问题。


技术研发人员：杨云超 张拯宁 冯鹏铭 贺广均 梁颖 刘世烁 常江 梁银川
受保护的技术使用者：北京卫星信息工程研究所
技术研发日：2023.04.17
技术公布日：2023/7/12