一种海洋环境下目标检测识别方法、装置、设备及介质

1.本发明涉及目标检测技术领域，特别涉及一种海洋环境下目标检测识别方法、装置、设备及介质。


背景技术：

2.海洋资源的开发和生态系统的平衡对人类的生活有着重要的作用，许多海洋管理战略利用遥感探测海洋生物和生境。近年来由于部署在自主水下航行器和无人水下航行器上的数字相机的广泛使用，水下图像的可用性呈指数级增长，因此基于深度学习的海洋目标检测为许多海洋目标提供了潜在的前所未有的研究机会，海洋环境下目标检测具有重要的研究价值和应用前景，可以为海洋鱼类等生物资源的监测、保护及可持续开发提供技术支持。
3.目标检测的任务是找出图像中有价值的目标，确定它们坐在的位置和类别。除了图像分类以外，目标检测所面临的问题是：目标可能出现在图像的任何位置；目标有各种不同的大小；目标有各种不同的形状。
4.现有的目标检测算法分为传统的目标检测方法和基于深度学习的目标检测方法。传统的目标检测算法存在提取特征难度大和泛化能力弱的缺点，其检测精度很难取得理想的效果。随着人工智能的不断发展，基于深度学习的目标检测算法逐渐成为了新的研究重点。基于深度学习的目标检测算法大致分为三类：基于回归的一阶段算法，如yolo(you only look once，只需要浏览一次就可以识别出图中的物体的类别和位置)，ssd(single shot multibox detector，一种物体检测算法)；基于分类的两阶段算法，如faster r-cnn(region with cnn features)；基于密集预测思想的端到端检测框架，如detr(detection transformer，基于transformer的端到端目标检测网络)。基于卷积神经网络是深度学习的基础，使用反向传播算法进行反馈学习，通过自动化的特征提取提升了学习能力，相比于传统的人工特征提取的检测方法，基于深度学习的目标检测方法的学习效果更好。作为计算机视觉的一个分支，基于深度学习的目标检测算法己被广泛应用于交通、农业、遥感等领域。
5.由于海洋环境复杂，各类物体有不同的大小、形状、姿态，且有很多遮挡目标以及信息不完整的目标，加上海洋环境中的光的散射现象，对比度低等问题导致图像模糊与特征不明显。近年来的目标检测算法运用在海洋目标检测方面首先需要进行图像增强，进而进行检测识别，存在效率低下，算力消耗较高等问题，并且识别精度不高。


技术实现要素：

6.有鉴于此，本发明的目的在于提供一种海洋环境下目标检测识别方法、装置、设备和介质，能够更适应于实际的水下环境，提高识别效率与识别精度，降低算力消耗。其具体方案如下：
7.第一方面，本技术公开了一种海洋环境下目标检测识别方法，包括：
8.将获取到的海洋环境下拍摄的图像数据集进行预设处理，以得到处理后数据集；
9.将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以得到特征信息；
10.将所述特征信息输入至特征融合网络执行预设特征融合操作，以得到融合后特征信息；
11.利用所述融合后特征信息对分类预测网络进行定位训练以及分类训练，以得到训练后的海洋图像检测识别模型。
12.可选的，所述将获取到的海洋环境下拍摄的图像数据集进行预设处理，以得到处理后数据集，包括：
13.通过标签标注软件对所述图像数据集中的每张图像进行目标物种类型标注，以得到标注后图像数据集；
14.按照预设比例将所述标注后图像数据集划分为训练集、验证集以及测试集。
15.可选的，所述将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以得到特征信息，包括：
16.将所述训练集输入至初始模型的骨干网络的四个中间特征层，以得到对应的多尺度的输出特征图；
17.将多尺度的所述输出特征图输入至对应的横向卷积层，以得到每个所述输出特征图对应的所述特征信息。
18.可选的，所述将所述特征信息输入至特征融合网络执行预设特征融合操作，以得到融合后特征信息，包括：
19.将所述特征信息输入至所述特征融合网络，并将当前执行次数设置为0；所述特征信息包含第一特征信息、第二特征信息、第三特征信息、第四特征信息；
20.对所述特征信息进行横向卷积，以得到对应的卷积特征图；其中，所述卷积特征图包含第一卷积特征图、第二卷积特征图、第三卷积特征图、第四卷积特征图；
21.对所述第四特征信息进行下采样，以得下采样后第四特征信息；
22.对所述第二特征信息进行上采样，以得上采样后第二特征信息；
23.将所述下采样后第四特征信息、两个所述第三卷积特征图以及所述上采样后第二特征信息相加，得到第一目标特征图；
24.对所述第三卷积特征图进行下采样，以得下采样后第三卷积特征图；
25.对所述第一卷积特征图进行上采样，以得上采样后第一卷积特征图；
26.将所述下采样后第三卷积特征图、两个所述第二卷积特征图以及所述上采样后第一卷积特征图相加，得到第二目标特征图；
27.对所述第二卷积特征图进行下采样，以得下采样后第二卷积特征图；
28.将所述下采样后第二卷积特征图以及所述第一卷积特征图相加，得到第三目标特征图；
29.将所述当前执行次数加1，得到执行完成次数，判断所述执行完成次数是否达到预设执行次数；
30.若所述执行完成次数未达到所述预设执行次数，则将所述第一目标特征图、所述第二目标特征图、所述第三目标特征图、所述第四卷积特征图确定为所述特征信息，并重新
进入将所述特征信息输入至所述特征融合网络的步骤；
31.若所述执行完成次数已达到所述预设执行次数，则将所述第一目标特征图、所述第二目标特征图、所述第三目标特征图、所述第四卷积特征图确定为输出特征图，并将所述第四特征信息输入至特征增强区域，以得到增强后第四特征信息；
32.将最后一次执行输出的所述第四卷积特征图确定为目标卷积特征图，并将所述目标卷积特征图与所述增强后第四特征信息相加，以得到所述融合后特征信息。
33.可选的，所述将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以得到特征信息之后，还包括：
34.在所述特征信息上设置一致性监督区域，并通过所述一致性监督区域将区域建议网络与所述输出特征图结合，以得到预设数量个roi区域；
35.利用roi align方法获取所述roi区域对应的roi特征；
36.对所述roi特征进行多重分类操作以及框回归操作，得到辅助损失。
37.可选的，所述利用所述融合后特征信息对分类预测网络进行定位训练以及分类训练，包括：
38.将所述融合后特征信息输入所述分类预测网络的类预测网络classnet以及边界框预测网络boxnet进行对应的所述定位训练以及所述分类训练。
39.可选的，所述利用所述融合后特征信息对分类预测网络进行定位训练以及分类训练之后，还包括：
40.判断当前训练次数是否达到预设次数；
41.若所述当前训练次数未达到所述预设次数，则重新进入所述将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以得到特征信息的步骤；
42.若所述当前训练次数已达到所述预设次数，则判断当前损失值是否收敛；
43.若所述当前损失值已收敛，则判定最后一次训练得到的模型为所述训练后的海洋图像检测识别模型。
44.第二方面，本技术公开了一种海洋环境下目标检测识别装置，包括：
45.图像数据集处理模块，用于将获取到的海洋环境下拍摄的图像数据集进行预设处理，以得到处理后数据集；
46.特征提取模块，用于将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以得到特征信息；
47.特征融合模块，用于将所述特征信息输入至特征融合网络执行预设特征融合操作，以得到融合后特征信息；
48.分类预测模块，用于利用所述融合后特征信息对分类预测网络进行定位训练以及分类训练，以得到训练后的海洋图像检测识别模型。
49.第三方面，本技术公开了一种电子设备，包括：
50.存储器，用于保存计算机程序；
51.处理器，用于执行所述计算机程序，以实现如前述公开的海洋环境下目标检测识别方法的步骤。
52.第四方面，本技术公开了一种计算机可读介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如前述公开的海洋环境下目标检测识别方法。
53.可见，本技术提供了一种海洋环境下目标检测识别方法，包括：将获取到的海洋环境下拍摄的图像数据集进行预设处理，以得到处理后数据集；将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以得到特征信息；将所述特征信息输入至特征融合网络执行预设特征融合操作，以得到融合后特征信息；利用所述融合后特征信息对分类预测网络进行定位训练以及分类训练，以得到训练后的海洋图像检测识别模型。由此可见，本技术搭建包含包括骨干网络、特征融合网络和分类预测网络的海洋图像检测识别模型，通过设计特征融合网络提高对目标物特征信息的提取能力，增强了网络的多尺度特征融合能力，使网络更适应于实际的水下环境，提高了识别效率与识别精度，降低了算力消耗。
附图说明
54.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
55.图1为本技术公开的一种海洋环境下目标检测识别方法流程图；
56.图2为本技术公开的一种具体的海洋环境下目标检测识别方法流程图；
57.图3为本技术公开的一种具体的海洋环境下目标检测识别方法流程图；
58.图4为本技术公开的目标检测识别模型的整体结构示意图；
59.图5为本技术公开的骨干网络fasternet的结构示意图；
60.图6为本技术公开的增强的双向特征金字塔网络awbifpn结构的示意图；
61.图7为本技术公开的残差特征增强模块的结构示意图；
62.图8为本技术公开的分类预测网络对目标物进行分类和定位的结构示意图；
63.图9为本技术公开的海洋生物目标识别设备的结构简易框图；
64.图10为本技术提供的海洋环境下目标检测识别装置结构示意图；
65.图11为本技术提供的一种电子设备结构图。
具体实施方式
66.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
67.目前，由于海洋环境复杂，各类物体有不同的大小、形状、姿态，且有很多遮挡目标以及信息不完整的目标，加上海洋环境中的光的散射现象，对比度低等问题导致图像模糊与特征不明显。近年来的目标检测算法运用在海洋目标检测方面首先需要进行图像增强，进而进行检测识别，存在效率低下，算力消耗较高等问题，并且识别精度不高。为此，本技术提供了一种海洋环境下目标检测识别方法，能够更适应于实际的水下环境，提高识别效率与识别精度，降低算力消耗。
68.本发明实施例公开了一种海洋环境下目标检测识别方法，参见图1所示，该方法包括：
69.步骤s11：将获取到的海洋环境下拍摄的图像数据集进行预设处理，以得到处理后数据集。
70.本实施例中，将获取到的海洋环境下拍摄的图像数据集进行预设处理，以得到处理后数据集。具体的，通过标签标注软件对所述图像数据集中的每张图像进行目标物种类型标注，以得到标注后图像数据集；按照预设比例将所述标注后图像数据集划分为训练集、验证集以及测试集。也即获取若干海洋环境下拍摄的图像数据集，通过标签标注软件进行目标物种类的标注，并划分为训练集、验证集和测试集。
71.可以理解的是，对下载的海洋生物数据集通过标准软件进行人工标注，数据集格式为经典的目标检测数据集coco(common objects in context，用来进行图像识别的数据集)格式，并按照7:2:1(比例可以根据不同情况进行修改)将数据集划分为训练集、验证集和测试集。例如从多个不同场景的人工智能检测平台和海洋机器人拍摄平台获取海洋物体数据集，并对其进行筛选，去掉无目标物的图像，最终保留的有效图片共12000张图像。
72.步骤s12：将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以得到特征信息。
73.本实施例中，将获取到的海洋环境下拍摄的图像数据集进行预设处理，以得到处理后数据集之后，将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以得到特征信息。具体的，将所述训练集输入至初始模型的骨干网络的四个中间特征层，以得到对应的多尺度的输出特征图；将多尺度的所述输出特征图输入至对应的横向卷积层，以得到每个所述输出特征图对应的所述特征信息。可以理解的是，如图2所示，获取若干种海洋环境下图像，通过标签标注软件进行目标类的标注，数据集格式为coco，并将标注后的图像划分为训练集、验证集和测试集；以fasternet网络模型为基础搭建深度学习的目标检测算法模型，所述算法模型包括骨干网络、特征融合网络和分类预测网络三部分；本发明所述的骨干网络为fasternet网络，用于对图像特征进行初步提取；所述设计的特征融合网络用于对目标物的细节、纹理和背景的多尺度特征信息进行进一步的融合增强；所述分类预测网络用于对图像中的目标信息进行定位和分类；设置算法模型的训练参数，使用训练集对模型进行训练，使得模型参数在训练过程中不断进行优化；将测试集的图像输入到训练好的模型中，输出检测结果进行验证。
74.在将所述处理后数据集输入至初始模型的骨干网络进行特征提取之前，先设置初始算法模型的训练参数，例如设置训练周期设置为12，批量大小设置为4，初始学习率设置为0.001，其中学习率使用预热学习率方法。
75.可以理解的是，将获取到的训练集输入至初始模型中，首先通过骨干网络，骨干网络中设置有多个层，将每一批次的训练图像输入至对应的层中，骨干网络得到对应的多尺度特征图(即p1层、p2层、p3层、p4层)；其中，每一批次中包含图像的数量根据批量大小决定。然后将得到的多尺度特征图分别经过四个横向的1x1卷积层获得通道之间的相互依赖性并且降低通道数，生成m1层、m2层、m3层、m4层，此时m1层、m2层、m3层、m4层即为当前批次输入的4张训练图像对应的特征信息。
76.步骤s13：将所述特征信息输入至特征融合网络执行预设特征融合操作，以得到融合后特征信息。
77.本实施例中，将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以
得到特征信息之后，将所述特征信息输入至特征融合网络执行预设特征融合操作，以得到融合后特征信息。可以理解的是，将上述m1层、m2层、m3层、m4层作为做为新的特征层输入至特征融合网络(即增强的双向特征金字塔网络awbifpn)，在特征融合网络中执行预设特征融合操作后，特征融合网络的输出为c1层、c2、c3层、c4层，即融合后特征信息。
78.步骤s14：利用所述融合后特征信息对分类预测网络进行定位训练以及分类训练，以得到训练后的海洋图像检测识别模型。
79.本实施例中，将所述特征信息输入至特征融合网络执行预设特征融合操作，以得到融合后特征信息之后，利用所述融合后特征信息对分类预测网络进行定位训练以及分类训练，以得到训练后的海洋图像检测识别模型。可以理解的是，将所述融合后特征信息输入所述分类预测网络的类预测网络classnet以及边界框预测网络boxnet进行对应的所述定位训练以及所述分类训练。将上述c1层、c2、c3层、c4层输入至分类预测网络来进行对目标的定位和分类。同时，根据设置的训练周期对上述三个网络进行多次训练，使得模型参数在训练过程中不断进行优化。
80.进一步的，利用所述融合后特征信息对分类预测网络进行定位训练以及分类训练，以得到训练后的海洋图像检测识别模型之后，将测试集的图像输入到训练好的模型中，输出检测结果进行验证。
81.本发明提供了一种海洋环境下目标检测识别方法，本发明中特征融合网络的构建提高了神经网络对目标物特征信息的提取能力，尤其是对堆叠目标、小目标以及伪装目标的特征信息提取，提高了识别的精准率，且特征融合网络的处理结果用于增强的双向特征金字塔网络awbifpn，增强了网络的多尺度特征融合能力，使网络更适应于实际的水下环境。具体的，由于顶部特征图具有丰富的语义信息，因此用残差特征增强模块可以丰富顶层特征的语义表示，而底部特征图具有高分辨率，使用一致性监督模块能缩小多尺度特征之间的语义差距，增加模块的收敛速度，减少训练资源，进一步提升检测精度于效率。
82.可见，本技术提供了一种海洋环境下目标检测识别方法，包括：将获取到的海洋环境下拍摄的图像数据集进行预设处理，以得到处理后数据集；将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以得到特征信息；将所述特征信息输入至特征融合网络执行预设特征融合操作，以得到融合后特征信息；利用所述融合后特征信息对分类预测网络进行定位训练以及分类训练，以得到训练后的海洋图像检测识别模型。由此可见，本技术搭建包含包括骨干网络、特征融合网络和分类预测网络的海洋图像检测识别模型，通过设计特征融合网络提高对目标物特征信息的提取能力，增强了网络的多尺度特征融合能力，使网络更适应于实际的水下环境，提高了识别效率与识别精度，降低了算力消耗。
83.参见图3所示，本发明实施例公开了一种海洋环境下目标检测识别方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。
84.步骤s21：将获取到的海洋环境下拍摄的图像数据集进行预设处理，以得到处理后数据集。
85.步骤s22：将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以得到特征信息。
86.本实施例中，以fasternet网络模型为基础搭建深度学习的目标检测算法模型，所述算法模型包括骨干(特征提取)网络、特征融合网络和分类预测网络三部分，模型的整体
结构如图4所示：
87.骨干(特征提取)网络：骨干(特征提取)网络对图像特征进行初步提取。fasternet网络由4个blocks堆叠构成，其结构如图5所示。通过骨干(特征提取)网络可以得到4个多尺度特征层，其中p1、p2、p3、p4特征进入下一步处理。
88.特征融合网络：特征融合网络对目标物的细节、纹理、背景的特征信息进行进一步的提取，具体结构如图6所示。特征融合网络的具体结构及处理过程如下：将主干特征提取网络的中间特征层p1层、p2层、p3层和p4层作为特征融合网络的输入，在输入之前所述p1层、p2、p3层、p4层分别通过四个横向的1x1卷积层来获得通道之间的相互依赖性并且降低通道数，从而生成m1层、m2层、m3层、m4层，并将m1层、m2层、m3层、m4层做为新的特征层输入到特征融合网络，即增强的双向特征金字塔网络awbifpn，特征融合网络输出为c1层、c2层、c3层、c4层，最后将c1层、c2层、c3层、c4层输入到分类预测网络中进行对目标的定位和分类。
89.步骤s23：在所述特征信息上设置一致性监督区域，并通过所述一致性监督区域将区域建议网络与所述输出特征图结合，以得到预设数量个roi区域。
90.本实施例中，将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以得到特征信息之后，在所述特征信息上设置一致性监督区域，即在m1层、m2层、m3层、m4层增加一致性监督模块以缩减各层级特征的语义信息差距，并通过所述一致性监督区域将区域建议网络与所述输出特征图结合，以得到预设数量个roi(region of interest，感兴趣区域)区域。可以理解的是，增强的双向特征金字塔网络awbifpn在bifpn(bidirectional feature pyramid network，加权双向特征金字塔网络)的基础上增加了一致性监督模块和残差特征增强模块。一致性监督模块在m1层、m2层、m3层、m4层将区域建议网络(region proposal networks，rpn)与特征金字塔c1层、c2层、c3层、c4层相结合之后，生成了多个的roi区域。
91.步骤s24：利用roi align方法获取所述roi区域对应的roi特征，并对所述roi特征进行多重分类操作以及框回归操作，得到辅助损失。
92.本实施例中，通过所述一致性监督区域将区域建议网络与所述输出特征图结合，以得到预设数量个roi区域之后，利用roi align方法获取所述roi区域对应的roi特征，并对所述roi特征进行多重分类操作以及框回归操作，得到辅助损失。也即使用roi align方法来获得m1层、m2层、m3层、m4层的每个级别的roi特征，然后在对这些特征进行多重分类和框回归后，生成辅助损失。
93.可以理解的是，不同的特征图可以通过跨级别共享这些分类和回归头的参数来学习相似的语义信息，为了平衡一致监督的辅助损失和原始损失设计了如下损失函数：
[0094][0095]
其中l
cls,m
，l
loc,m
是与m1层、m2层、m3层、m4层上的辅助损失相对应的目标函数，而l
cls,c
，l
loc,c
是c1层、c2层、c3层、c4层上的原始损失函数。中间层和最终金字塔层预测分别显示在pm、dm和p、d中。λ表示用于平衡辅助损失和原始损失的重量β用于稳定分类和定位的损失。定义的公式如下：
[0096][0097]
在通过双向路径将顶部特征图p4与其他层次特征融合的过程中，由于通道的数量不可避免地减少，存在语义信息丢失的可能性。此外，这种方法只包含单尺度的上下文信息，这可能导致与其他水平的结果特征不兼容，从而限制其有效性。本发明设计了一个残差特征增强模块改进顶层特征的表示，如图7所示，使用残差设计生成不同的空间上下文信息，然后将c4与其合并。为创建多个上下文特征，对尺寸为s的p4特征图进行固定规模的自适应池化，并产生不同尺寸大小的(α1×
s,α2×
s,...αn×
s)的多个上下文特性，然后将上下文特征与1x1进行卷积，将特征信道维度减少到256，继而使用双线性插值将其上采样到s。为了更好地集成这些特征，本发明设计了自适应空间融合(adaptive spatial fusion，asf)方法将其有效集成，将m5加到输出特征c4中，以进行最终预测。
[0098]
步骤s25：将所述特征信息输入至特征融合网络执行预设特征融合操作，以得到融合后特征信息。
[0099]
本实施例中，将所述特征信息输入至特征融合网络执行预设特征融合操作，以得到融合后特征信息。具体的，将所述特征信息输入至所述特征融合网络，并将当前执行次数设置为0；所述特征信息包含第一特征信息、第二特征信息、第三特征信息、第四特征信息；对所述特征信息进行横向卷积，以得到对应的卷积特征图；其中，所述卷积特征图包含第一卷积特征图(m1_td)、第二卷积特征图(m2_td)、第三卷积特征图(m3_td)、第四卷积特征图(m4_td、m4_out)；对所述第四特征信息进行下采样，以得下采样后第四特征信息；对所述第二特征信息进行上采样，以得上采样后第二特征信息(m2_out)；将所述下采样后第四特征信息、两个所述第三卷积特征图以及所述上采样后第二特征信息(m2_out)相加，得到第一目标特征图(m3_out)；对所述第三卷积特征图(m3_td)进行下采样，以得下采样后第三卷积特征图；对所述第一卷积特征图进行上采样，以得上采样后第一卷积特征图(m1_out)；将所述下采样后第三卷积特征图、两个所述第二卷积特征图(m2_td)以及所述上采样后第一卷积特征图相加，得到第二目标特征图(m2_out)；对所述第二卷积特征图(m2_td)进行下采样，以得下采样后第二卷积特征图；将所述下采样后第二卷积特征图以及所述第一卷积特征图相加，得到第三目标特征图(m1_out)；将所述当前执行次数加1，得到执行完成次数，判断所述执行完成次数是否达到预设执行次数；若所述执行完成次数未达到所述预设执行次数，则将所述第一目标特征图、所述第二目标特征图、所述第三目标特征图、所述第四卷积特征图确定为所述特征信息，并重新进入将所述特征信息输入至所述特征融合网络的步骤，即将上述步骤中得到特征图m4_out，m3_out，m2_out，m1_out重复输入(输入次数自定义，例如3次)，以进入将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以得到特征信息的步骤，最后的输出c1，c2，c3，c4；若所述执行完成次数已达到所述预设执行次数，则将所述第一目标特征图、所述第二目标特征图、所述第三目标特征图、所述第四卷积特征图确定为输出特征图(c1，c2，c3，c4)，并将所述第四特征信息输入至特征增强区域，以得到增强后第四特征信息；将最后一次执行输出的所述第四卷积特征图确定为目标卷积特征图，并将所述目标卷积特征图与所述增强后第四特征信息相加，以得到所述融合后特征信息，也即将m4(m4为顶层特征)通过残差特征增强模块得到m5，将m5与c4相加，得到所述融
合后特征信息。
[0100]
步骤s26：利用所述融合后特征信息对分类预测网络进行定位训练以及分类训练，以得到训练后的海洋图像检测识别模型。
[0101]
本实施例中，利用所述融合后特征信息对分类预测网络进行定位训练以及分类训练，以得到训练后的海洋图像检测识别模型之后，判断当前训练次数是否达到预设次数；若所述当前训练次数未达到所述预设次数，则重新进入所述将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以得到特征信息的步骤；若所述当前训练次数已达到所述预设次数，则判断当前损失值是否收敛；若所述当前损失值已收敛，则判定最后一次训练得到的模型为所述训练后的海洋图像检测识别模型。
[0102]
可以理解的是，分类预测网络由类预测网络classnet和边界框预测网络boxnet组成，如图8所示，分别生成对象类和边界框位置；所述类预测网络classnet由2次256通道的卷积和1次num_anchors x num_classes的卷积组成，用于预测该特征层上每一个网格点上每一个预测框对应的种类，所述numanchors指的是该特征层所拥有的先验框数量，所述num_classes指的是网络一共对多少类的目标进行检测；其中，每个特征层所用的classnet是同一个classnet；每个特征层所用的boxnet是同一个boxnet。
[0103]
进一步的，对搭建完成的算法模型进行训练时，例如训练可以在linux系统上进行，所需的gpu(graphics processing unit，图形处理器)版本为nvidia(nvidia corporation，英伟达)gtx(giga texel shader extreme，高端显卡)3090，24gb ram(random access memory，随机存取存储器)。软件平台包括mmdetection 2.0，设置标签注释文，根据类别信息设置训练所需的训练集和验证集的标签信息，在模型训练文件train.py中设置训练参数，训练周期train epochs设置为12；batch size(训练集样本数量)设置为4；初始学习率initial learning rate设置为0.005，使用预热学习率，然后运行训练文件train.py即可开始训练，当训练12个epoch(周期)后，模型训练好的权值文件会在对应的权值文件夹生成。
[0104]
训练结束后，对训练完成的模型进行测试，训练结果预测需要用到预测文件predict.py，首先需要修改模型路径model-path以及类别路径classes_pathomodel_path指向训练好的权值文件，classes_path指向检测类别所对应的txt，完成以上操作就可以运行predict.py进行检测。输入测试图片的路径，即可输出检测结果。
[0105]
可以理解的是，海洋生物目标检测算法模型搭建完成后，在实际场景的使用过程当中步骤如下：获取海洋生物图像；将获取的图像输入到如上所述的搭建方法所搭建的检测算法模型中；模型处理后获取海洋生物目标的种类。在一种具体实施方式中，如图9所示，本发明同时提供了一种海洋生物目标识别的设备，设备包括至少一个处理器和至少一个存储器，同时还包括通信接口和内部总线；存储器中存储有搭建好的的检测算法模型的程序；处理器执行所述存储器存储的执行程序时，可以实现海洋生物目标检测识别。采集设备是带有光源的水下高清摄像头；其中内部总线可以是工业标准体系结构(industry standard architecture，isa)总线、外部设备互连(peripheral component interconnect，pci)总线或扩展工业标准体系结构(extended industry standard architecture bus，eisa)总线等。总线可以分为地址总线、数据总线、控制总线等，本技术附图中的总线并不限定仅有一根总线或一种类型的总线。其中存储器可能包含高速ram存储器，也可能还包括非易失性存
储nvm(node version manager)，例如至少一个磁盘存储器，还可以为u盘、移动硬盘、只读存储器、磁盘或光盘等。
[0106]
关于上述步骤s21的具体内容可以参考前述实施例中公开的相应内容，在此不再进行赘述。
[0107]
可见，本技术实施例通过将获取到的海洋环境下拍摄的图像数据集进行预设处理，以得到处理后数据集；将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以得到特征信息；在所述特征信息上设置一致性监督区域，并通过所述一致性监督区域将区域建议网络与所述输出特征图结合，以得到预设数量个roi区域；利用roi align方法获取所述roi区域对应的roi特征；对所述roi特征进行多重分类操作以及框回归操作，得到辅助损失；将所述特征信息输入至特征融合网络执行预设特征融合操作，以得到融合后特征信息；利用所述融合后特征信息对分类预测网络进行定位训练以及分类训练，以得到训练后的海洋图像检测识别模型，更适应于实际的水下环境，提高了识别效率与识别精度，降低了算力消耗。
[0108]
参见图10所示，本技术实施例还相应公开了一种海洋环境下目标检测识别装置，包括：
[0109]
图像数据集处理模块11，用于将获取到的海洋环境下拍摄的图像数据集进行预设处理，以得到处理后数据集；
[0110]
特征提取模块12，用于将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以得到特征信息；
[0111]
特征融合模块13，用于将所述特征信息输入至特征融合网络执行预设特征融合操作，以得到融合后特征信息；
[0112]
分类预测模块14，用于利用所述融合后特征信息对分类预测网络进行定位训练以及分类训练，以得到训练后的海洋图像检测识别模型。
[0113]
可见，本技术包括：将获取到的海洋环境下拍摄的图像数据集进行预设处理，以得到处理后数据集；将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以得到特征信息；将所述特征信息输入至特征融合网络执行预设特征融合操作，以得到融合后特征信息；利用所述融合后特征信息对分类预测网络进行定位训练以及分类训练，以得到训练后的海洋图像检测识别模型。由此可见，本技术搭建包含包括骨干网络、特征融合网络和分类预测网络的海洋图像检测识别模型，通过设计特征融合网络提高对目标物特征信息的提取能力，增强了网络的多尺度特征融合能力，使网络更适应于实际的水下环境，提高了识别效率与识别精度，降低了算力消耗。
[0114]
在一些具体实施例中，所述图像数据集处理模块11，具体包括：
[0115]
类型标注单元，用于通过标签标注软件对所述图像数据集中的每张图像进行目标物种类型标注，以得到标注后图像数据集；
[0116]
数据集划分单元，用于按照预设比例将所述标注后图像数据集划分为训练集、验证集以及测试集。
[0117]
在一些具体实施例中，所述特征提取模块12，具体包括：
[0118]
输出特征图获取单元，用于将所述训练集输入至初始模型的骨干网络的四个中间特征层，以得到对应的多尺度的输出特征图；
[0119]
特征信息获取单元，用于将多尺度的所述输出特征图输入至对应的横向卷积层，以得到每个所述输出特征图对应的所述特征信息；
[0120]
一致性监督区域设置单元，用于在所述特征信息上设置一致性监督区域；
[0121]
roi区域获取单元，用于通过所述一致性监督区域将区域建议网络与所述输出特征图结合，以得到预设数量个roi区域；
[0122]
roi特征获取单元，用于利用roi align方法获取所述roi区域对应的roi特征；
[0123]
辅助损失获取单元，用于对所述roi特征进行多重分类操作以及框回归操作，得到辅助损失。
[0124]
在一些具体实施例中，所述特征融合模块13，具体包括：
[0125]
第一特征信息输入单元，用于将所述特征信息输入至所述特征融合网络；所述特征信息包含第一特征信息、第二特征信息、第三特征信息、第四特征信息；
[0126]
当前执行次数设置单元，用于将当前执行次数设置为0；
[0127]
横向卷积单元，用于对所述特征信息进行横向卷积，以得到对应的卷积特征图；其中，所述卷积特征图包含第一卷积特征图、第二卷积特征图、第三卷积特征图、第四卷积特征图；
[0128]
第一下采样单元，用于对所述第四特征信息进行下采样，以得下采样后第四特征信息；
[0129]
第一上采样单元，用于对所述第二特征信息进行上采样，以得上采样后第二特征信息；
[0130]
第一目标特征图获取单元，用于将所述下采样后第四特征信息、两个所述第三卷积特征图以及所述上采样后第二特征信息相加，得到第一目标特征图；
[0131]
第二下采样单元，用于对所述第三卷积特征图进行下采样，以得下采样后第三卷积特征图；
[0132]
第二上采样单元，用于对所述第一卷积特征图进行上采样，以得上采样后第一卷积特征图；
[0133]
第二目标特征图获取单元，用于将所述下采样后第三卷积特征图、两个所述第二卷积特征图以及所述上采样后第一卷积特征图相加，得到第二目标特征图；
[0134]
第三下采样单元，用于对所述第二卷积特征图进行下采样，以得下采样后第二卷积特征图；
[0135]
第三目标特征图获取单元，用于将所述下采样后第二卷积特征图以及所述第一卷积特征图相加，得到第三目标特征图；
[0136]
执行完成次数获取单元，用于将所述当前执行次数加1，得到执行完成次数；
[0137]
执行完成次数判断单元，用于判断所述执行完成次数是否达到预设执行次数；
[0138]
特征信息确定单元，用于若所述执行完成次数未达到所述预设执行次数，则将所述第一目标特征图、所述第二目标特征图、所述第三目标特征图、所述第四卷积特征图确定为所述特征信息；
[0139]
第二特征信息输入单元，用于重新进入将所述特征信息输入至所述特征融合网络的步骤；
[0140]
输出特征图确定单元，用于若所述执行完成次数已达到所述预设执行次数，则将
所述第一目标特征图、所述第二目标特征图、所述第三目标特征图、所述第四卷积特征图确定为输出特征图；
[0141]
第四特征信息增强单元，用于将所述第四特征信息输入至特征增强区域，以得到增强后第四特征信息；
[0142]
目标卷积特征图确定单元，用于将最后一次执行输出的所述第四卷积特征图确定为目标卷积特征图；
[0143]
融合后特征信息获取单元，用于将所述目标卷积特征图与所述增强后第四特征信息相加，以得到所述融合后特征信息。
[0144]
在一些具体实施例中，所述分类预测模块14，具体包括：
[0145]
融合后特征信息输入单元，用于将所述融合后特征信息输入所述分类预测网络的类预测网络classnet以及边界框预测网络boxnet进行对应的所述定位训练以及所述分类训练；
[0146]
前训练次数判断单元，用于判断当前训练次数是否达到预设次数；
[0147]
处理后数据集输入单元，用于若所述当前训练次数未达到所述预设次数，则重新进入所述将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以得到特征信息的步骤；
[0148]
收敛判断单元，用于若所述当前训练次数已达到所述预设次数，则判断当前损失值是否收敛；
[0149]
模型确定单元，用于若所述当前损失值已收敛，则判定最后一次训练得到的模型为所述训练后的海洋图像检测识别模型。
[0150]
进一步的，本技术实施例还提供了一种电子设备。图11是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本技术的使用范围的任何限制。
[0151]
图11为本技术实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的海洋环境下目标检测识别方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
[0152]
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
[0153]
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
[0154]
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是windows server、netware、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的海洋环境下目标检测识别方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
[0155]
进一步的，本技术实施例还公开了一种介质，所述介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的海洋环境下目标检测识别方法步骤。
[0156]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0157]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0158]
以上对本发明所提供的一种海洋环境下目标检测识别方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种海洋环境下目标检测识别方法，其特征在于，包括：将获取到的海洋环境下拍摄的图像数据集进行预设处理，以得到处理后数据集；将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以得到特征信息；将所述特征信息输入至特征融合网络执行预设特征融合操作，以得到融合后特征信息；利用所述融合后特征信息对分类预测网络进行定位训练以及分类训练，以得到训练后的海洋图像检测识别模型。2.根据权利要求1所述的海洋环境下目标检测识别方法，其特征在于，所述将获取到的海洋环境下拍摄的图像数据集进行预设处理，以得到处理后数据集，包括：通过标签标注软件对所述图像数据集中的每张图像进行目标物种类型标注，以得到标注后图像数据集；按照预设比例将所述标注后图像数据集划分为训练集、验证集以及测试集。3.根据权利要求2所述的海洋环境下目标检测识别方法，其特征在于，所述将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以得到特征信息，包括：将所述训练集输入至初始模型的骨干网络的四个中间特征层，以得到对应的多尺度的输出特征图；将多尺度的所述输出特征图输入至对应的横向卷积层，以得到每个所述输出特征图对应的所述特征信息。4.根据权利要求1所述的海洋环境下目标检测识别方法，其特征在于，所述将所述特征信息输入至特征融合网络执行预设特征融合操作，以得到融合后特征信息，包括：将所述特征信息输入至所述特征融合网络，并将当前执行次数设置为0；所述特征信息包含第一特征信息、第二特征信息、第三特征信息、第四特征信息；对所述特征信息进行横向卷积，以得到对应的卷积特征图；其中，所述卷积特征图包含第一卷积特征图、第二卷积特征图、第三卷积特征图、第四卷积特征图；对所述第四特征信息进行下采样，以得下采样后第四特征信息；对所述第二特征信息进行上采样，以得上采样后第二特征信息；将所述下采样后第四特征信息、两个所述第三卷积特征图以及所述上采样后第二特征信息相加，得到第一目标特征图；对所述第三卷积特征图进行下采样，以得下采样后第三卷积特征图；对所述第一卷积特征图进行上采样，以得上采样后第一卷积特征图；将所述下采样后第三卷积特征图、两个所述第二卷积特征图以及所述上采样后第一卷积特征图相加，得到第二目标特征图；对所述第二卷积特征图进行下采样，以得下采样后第二卷积特征图；将所述下采样后第二卷积特征图以及所述第一卷积特征图相加，得到第三目标特征图；将所述当前执行次数加1，得到执行完成次数，判断所述执行完成次数是否达到预设执行次数；若所述执行完成次数未达到所述预设执行次数，则将所述第一目标特征图、所述第二目标特征图、所述第三目标特征图、所述第四卷积特征图确定为所述特征信息，并重新进入
将所述特征信息输入至所述特征融合网络的步骤；若所述执行完成次数已达到所述预设执行次数，则将所述第一目标特征图、所述第二目标特征图、所述第三目标特征图、所述第四卷积特征图确定为输出特征图，并将所述第四特征信息输入至特征增强区域，以得到增强后第四特征信息；将最后一次执行输出的所述第四卷积特征图确定为目标卷积特征图，并将所述目标卷积特征图与所述增强后第四特征信息相加，以得到所述融合后特征信息。5.根据权利要求4所述的海洋环境下目标检测识别方法，其特征在于，所述将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以得到特征信息之后，还包括：在所述特征信息上设置一致性监督区域，并通过所述一致性监督区域将区域建议网络与所述输出特征图结合，以得到预设数量个roi区域；利用roi align方法获取所述roi区域对应的roi特征；对所述roi特征进行多重分类操作以及框回归操作，得到辅助损失。6.根据权利要求1所述的海洋环境下目标检测识别方法，其特征在于，所述利用所述融合后特征信息对分类预测网络进行定位训练以及分类训练，包括：将所述融合后特征信息输入所述分类预测网络的类预测网络classnet以及边界框预测网络boxnet进行对应的所述定位训练以及所述分类训练。7.根据权利要求1至6任一项所述的海洋环境下目标检测识别方法，其特征在于，所述利用所述融合后特征信息对分类预测网络进行定位训练以及分类训练之后，还包括：判断当前训练次数是否达到预设次数；若所述当前训练次数未达到所述预设次数，则重新进入所述将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以得到特征信息的步骤；若所述当前训练次数已达到所述预设次数，则判断当前损失值是否收敛；若所述当前损失值已收敛，则判定最后一次训练得到的模型为所述训练后的海洋图像检测识别模型。8.一种海洋环境下目标检测识别装置，其特征在于，包括：图像数据集处理模块，用于将获取到的海洋环境下拍摄的图像数据集进行预设处理，以得到处理后数据集；特征提取模块，用于将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以得到特征信息；特征融合模块，用于将所述特征信息输入至特征融合网络执行预设特征融合操作，以得到融合后特征信息；分类预测模块，用于利用所述融合后特征信息对分类预测网络进行定位训练以及分类训练，以得到训练后的海洋图像检测识别模型。9.一种电子设备，其特征在于，包括：存储器，用于保存计算机程序；处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的海洋环境下目标检测识别方法的步骤。10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的海洋环境下目标检测识别方法。

技术总结
本申请公开了一种海洋环境下目标检测识别方法、装置、设备及介质，涉及目标检测技术领域，包括：将获取到的海洋环境下拍摄的图像数据集进行预设处理，以得到处理后数据集；将所述处理后数据集输入至初始模型的骨干网络进行特征提取，以得到特征信息；将所述特征信息输入至特征融合网络执行预设特征融合操作，以得到融合后特征信息；利用所述融合后特征信息对分类预测网络进行定位训练以及分类训练，以得到训练后的海洋图像检测识别模型。本申请通过设计特征融合网络提高对目标物特征信息的提取能力，增强了网络的多尺度特征融合能力，使网络更适应于实际的水下环境，提高了识别效率与识别精度，降低了算力消耗。降低了算力消耗。降低了算力消耗。


技术研发人员：张永辉 高锦雄 唐浩 尤佳 耿旭 王容 邵凯旋 王景博
受保护的技术使用者：海南大学
技术研发日：2023.07.06
技术公布日：2023/10/7