一种水下浑浊强散射的视觉同步定位与建图方法及系统

1.本发明涉及水下视觉同步定位与建图技术领域，尤其涉及一种水下浑浊强散射的视觉同步定位与建图方法及系统。


背景技术：

2.水下视觉同步定位与建图，是指利用水下视觉技术对水下环境进行实时的定位和建图，从而实现对海底地形、水下设施、海底生物等信息的全面、精确、高效获取和处理。这项技术在海洋勘探、海洋资源开发、海洋环境保护、海底文物保护等方面都有着重要的应用价值。但是，由于水下视觉的局限性和长期作业的误差积累，影响了图像的清晰度和对比度，导致图像降质，降低特征点的提取和匹配能力，同时增加了特征点的错误匹配率，进而严重影响基于特征点提取的水下视觉同步定位与建图在水下环境中的性能，进而影响其的准确性和可靠性，所以，如何在水下浑浊强散射环境中提高水下视觉同步定位与建图的精度，对于本领域技术人员来说是仍待解决的技术问题。
3.在现有技术中，存在神经网络算法对水下浑浊强散射图像进行预处理，然后运行水下视觉同步定位与建图，但是这种方法是两阶段的，限制了神经网络算法在水下机器人上的部署，如何保证算法在水下嵌入式设备上的实时性，仍然是亟待解决的技术问题。
4.因此，提出一种水下浑浊强散射的视觉同步定位与建图方法及系统，来解决现有技术存在的困难，是本领域技术人员亟需解决的问题。


技术实现要素：

5.有鉴于此，本发明提供了一种水下浑浊强散射的视觉同步定位与建图方法及系统，采用浑浊强散射图像增强网络和特征点提取网络共用主特征提取网络的方式，有效解决了水下浑浊强散射环境中视觉同步定位与建图定位精度低的问题。
6.为了实现上述目的，本发明采用如下技术方案：
7.一种水下浑浊强散射的视觉同步定位与建图方法，包括以下步骤：
8.s1.获取图像步骤：获取浑浊图像和清晰图像；
9.s2.图像预处理步骤：对获取的浑浊图像和清晰图像进行预处理，得到变换后的浑浊图像和清晰图像；
10.s3.建立主特征提取网络步骤：建立浑浊强散射图像增强网络和特征点提取网络共用的主特征提取网络；
11.s4.主特征提取网络训练步骤：将变换后的浑浊图像和清晰图像输入主特征提取网络，对主特征提取网络进行训练，得到训练好的主特征提取网络；
12.s5.视觉同步定位与建图步骤：向训练好的主特征提取网络中输入待提取图像，输出待提取图像的特征点分数、位置和坐标。
13.上述的方法，可选的，s2中利用图像单应变换网络对获取的浑浊图像和清晰图像进行预处理。
14.上述的方法，可选的，s3中建立主特征提取网络步骤的具体内容为：
15.将变换后的浑浊图像和清晰图像输入主特征提取网络；
16.利用浑浊强散射图像增强网络对输入的图像进行图像增强处理，得到图像增强处理后的图像；
17.利用特征点提取网络对图像增强处理后的图像进行图像特征点提取；
18.输出图像特征点的分数、位置和坐标。
19.上述的方法，可选的，s4中主特征提取网络训练步骤的具体内容为：
20.利用对抗损失的减小生成的样本分布与真实样本分布之间的距离；
21.利用逐像损失函数，用于测量生成的图像输出与对应的真实清晰图像之间的像素差；
22.利用角损失函数来稳健图像；
23.利用对抗学习压缩损失函数实现增强性能和推理速度；
24.利用整体损失函数将图像增强的损失函数和特征点提取的损失函数相加。
25.上述的方法，可选的，通过建立浑浊强散射图像增强网络和特征点提取网络共用的主特征提取网络，使得浑浊强散射图像增强网络和特征点提取网络之间的信息共享。
26.一种水下浑浊强散射的视觉同步定位与建图系统，应用上述任一项的一种水下浑浊强散射的视觉同步定位与建图方法，包括：获取图像模块、图像预处理模块、建立主特征提取网络模块、主特征提取网络训练模块、视觉同步定位与建图模块；
27.获取图像模块，与图像预处理模块的输入端连接，用于获取浑浊图像和清晰图像；
28.图像预处理模块，与建立主特征提取网络模块的输入端连接，用于对获取的浑浊图像和清晰图像进行预处理，得到变换后的浑浊图像和清晰图像；
29.建立主特征提取网络模块，与主特征提取网络训练模块的输入端连接，用于建立浑浊强散射图像增强网络和特征点提取网络共用的主特征提取网络；
30.主特征提取网络训练模块，与视觉同步定位与建图模块的输入端连接，用于将变换后的浑浊图像和清晰图像输入主特征提取网络，对主特征提取网络进行训练，得到训练好的主特征提取网络；
31.视觉同步定位与建图模块，用于向训练好的主特征提取网络中输入待提取图像，输出待提取图像的特征点分数、位置和坐标。
32.经由上述的技术方案可知，与现有技术相比，本发明提供了一种水下浑浊强散射的视觉同步定位与建图方法及系统，其有益效果为：采用浑浊强散射图像增强网络和特征点提取网络共用主特征提取网络的方式，有效解决了水下浑浊强散射环境中水下视觉同步定位与建图定位精度低的问题；通过共用的主特征提取网络，可以信息共享的同时，减少了整个模型的参数量，保证了在水下嵌入式设备上的实时部署。浑浊强散射图像增强网络，解决了水下连续帧图像增强效果不稳定的问题，此外，由于使用了知识蒸馏和共用主干网络的方法压缩网络，提高系统性能的同时，保证了系统的实时性和可移植性。同时提高了特征点检测的泛化能力，并且在此基础上提高了水下视觉同步定位与建图的定位精度。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
34.图1为本发明提供的一种水下浑浊强散射的视觉同步定位与建图方法及流程图；
35.图2为本发明提供的一种水下浑浊强散射的视觉同步定位与建图方法总体框架图；
36.图3为本发明提供的一种水下浑浊强散射的视觉同步定位与建图系统框图。
具体实施方式
37.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.参照图1所示，本发明公开了一种水下浑浊强散射的视觉同步定位与建图方法，包括以下步骤：
39.s1.获取图像步骤：获取浑浊图像和清晰图像；
40.s2.图像预处理步骤：对获取的浑浊图像和清晰图像进行预处理，得到变换后的浑浊图像和清晰图像；
41.s3.建立主特征提取网络步骤：建立浑浊强散射图像增强网络和特征点提取网络共用的主特征提取网络；
42.s4.主特征提取网络训练步骤：将变换后的浑浊图像和清晰图像输入主特征提取网络，对主特征提取网络进行训练，得到训练好的主特征提取网络；
43.s5.视觉同步定位与建图步骤：向训练好的主特征提取网络中输入待提取图像，输出待提取图像的特征点分数、位置和坐标。
44.具体的，水下浑浊图像为在水体浑浊度高水下采集到的出现颜色衰退、对比度低及细节模糊等现象的水下图像；水下清晰图像为水下真实的清晰图像。
45.进一步的，s2中利用图像单应变换网络对获取的浑浊图像和清晰图像进行预处理。
46.进一步的，s3中建立主特征提取网络步骤的具体内容为：
47.将变换后的浑浊图像和清晰图像输入主特征提取网络；
48.利用浑浊强散射图像增强网络对输入的图像进行图像增强处理，得到图像增强处理后的图像；
49.利用特征点提取网络对图像增强处理后的图像进行图像特征点提取；
50.输出图像特征点的分数、位置和坐标。
51.进一步的，s4中主特征提取网络训练步骤的具体内容为：
52.利用对抗损失的减小生成的样本分布与真实样本分布之间的距离；
53.利用逐像损失函数，用于测量生成的图像输出与对应的真实清晰图像之间的像素差；
54.利用角损失函数来稳健图像；
55.利用对抗学习压缩损失函数实现增强性能和推理速度；
56.利用整体损失函数将图像增强的损失函数和特征点提取的损失函数相加。
57.进一步的，通过建立浑浊强散射图像增强网络和特征点提取网络共用的主特征提取网络，使得浑浊强散射图像增强网络和特征点提取网络之间的信息共享。
58.在一个具体实施例中，具体内容如下：
59.参见图2所示，其中，绿色方框为浑浊强散射图像增强网络，红色方框为特征提取网络，这两个部分共享相同的主特征提取网络(在蓝色框中)。黄色框则是模型的输出结果。
60.在主特征提取网络中，有图像增强网络以及特征点提取两个网络。图像增强网络同时接收输入的浑浊图像以及清晰图像，实现基于全监督学习的清晰化之后的图像输出，从而更好的解决新的特征点匹配。同时输入水下强散射图像以及清晰图像的目的是让图像增强网络向着特征点提取数量增多的方向优化。
61.主干特征提取网络，接受一个输入图像，并为每个子任务生成中间特征映射表示，其中前七个卷积层是对称连接的。按照每个特层32个卷积核，每个卷积核的大小3x3，步长为1，后面是线性整流激活函数，最后一个卷积层后面是双曲正切激活函数。最后四对卷积层由三个最大池化层分隔，其步幅和内核大小为2。在每个池化层之后，后续卷积层的通道数量翻倍来构建特征提取网络。8个卷积层的通道数为32-32-64-64-128-128-256-256。每个池化层的样本是特征图高度和宽度的两倍，而整个主干样本是特征图高度和宽度的八倍。最终输出中的一个条目对应于输入图像中的8
×
8个区域。因此，对于480
×
640的输入图像，网络将返回(480/8)
×
(640/8)＝4800个条目，在每个子任务上以完全卷积的方式处理每个条目，以输出特征点描述符、分数和位置。
62.为了保证水下连续帧图像增强后前后帧之间可能出现的颜色不平衡，输入前后五帧的连续帧图像，保证纹理信息、颜色、等连续帧图像增强前后帧之间不失真，同时可以用于提升网络对连续帧水下浑浊强散射图像的增强和特征点的提取。
63.为了实现从原域到目标域的水下图像增强，本发明提出条件对抗学习损失，它可以实现更多的自然和现实的基于全监督的图像输出，为了在目标域中生成合理的图像输出，对抗损失函数为：
[0064][0065]
其中，x和y分别为x和y的图像样本，x为浑浊图像，y为真实清晰图像，d(
·
)为一个判别模型，d(x,y)为判别输入的数据是来自生成模型还是训练数据，g(
·
)为一个生成模型，gs(x)为学生生成器，d(x,gs(x))为判别输入的数据是来自学生生成器生成的还是样本数据x。
[0066]
对抗损失的可以减小生成的样本分布与真实样本分布之间的距离。
[0067]
逐像损失函数，用于测量生成的图像输出与对应的真实清晰图像之间的像素
差，
[0068]
为了进一步提高合成输出的自然度，本发明采用了角损失以获得更好的图像合成。对于水下一些关键的过欠暴露问题，角损失函数可以带来更好的稳健性图像，从而更好地增强输出。还可以可以有效地缓解颜色失真的问题。角损失函数为：
[0069][0070]
其中，∠表示rgb空间中gs(x)与y的角距离。
[0071]
通过知识蒸馏来进行对抗学习网络压缩，以节省计算成本并实现增强性能和推理速度之间的权衡，对抗学习压缩损失函数为：
[0072][0073]
其中，为gs中选择的第n个特征层,为g
t
中选择的第n个特征层，n为选择的层数，fn为1
×
1核的162卷积层。
[0074]
整体损失函数将图像增强分支的损失函数和特征点提取分支的损失函数相加。通过最小化损失函数使增强图像的效果朝着有利于特征点提取的方向生成，从而使网络具有在水下弱光环境下提取特征点的能力。其损失函数为：
[0075][0076]
与图1所述的方法相对应，本发明实施例还提供了一种水下浑浊强散射的视觉同步定位与建图系统，用于对图1中方法的具体实现，其结构示意图如图3所示，包括：获取图像模块、图像预处理模块、建立主特征提取网络模块、主特征提取网络训练模块、视觉同步定位与建图模块；
[0077]
获取图像模块，与图像预处理模块的输入端连接，用于获取浑浊图像和清晰图像；
[0078]
图像预处理模块，与建立主特征提取网络模块的输入端连接，用于对获取的浑浊图像和清晰图像进行预处理，得到变换后的浑浊图像和清晰图像；
[0079]
建立主特征提取网络模块，与主特征提取网络训练模块的输入端连接，用于建立浑浊强散射图像增强网络和特征点提取网络共用的主特征提取网络；
[0080]
主特征提取网络训练模块，与视觉同步定位与建图模块的输入端连接，用于将变换后的浑浊图像和清晰图像输入主特征提取网络，对主特征提取网络进行训练，得到训练好的主特征提取网络；
[0081]
视觉同步定位与建图模块，用于向训练好的主特征提取网络中输入待提取图像，输出待提取图像的特征点分数、位置和坐标。
[0082]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种水下浑浊强散射的视觉同步定位与建图方法，其特征在于，包括以下步骤：s1.获取图像步骤：获取浑浊图像和清晰图像；s2.图像预处理步骤：对获取的浑浊图像和清晰图像进行预处理，得到变换后的浑浊图像和清晰图像；s3.建立主特征提取网络步骤：建立浑浊强散射图像增强网络和特征点提取网络共用的主特征提取网络；s4.主特征提取网络训练步骤：将变换后的浑浊图像和清晰图像输入主特征提取网络，对主特征提取网络进行训练，得到训练好的主特征提取网络；s5.视觉同步定位与建图步骤：向训练好的主特征提取网络中输入待提取图像，输出待提取图像的特征点分数、位置和坐标。2.根据权利要求1所述的一种水下浑浊强散射的视觉同步定位与建图方法，其特征在于，s2中利用图像单应变换网络对获取的浑浊图像和清晰图像进行预处理。3.根据权利要求1所述的一种水下浑浊强散射的视觉同步定位与建图方法，其特征在于，s3中建立主特征提取网络步骤的具体内容为：将变换后的浑浊图像和清晰图像输入主特征提取网络；利用浑浊强散射图像增强网络对输入的图像进行图像增强处理，得到图像增强处理后的图像；利用特征点提取网络对图像增强处理后的图像进行图像特征点提取；输出图像特征点的分数、位置和坐标。4.根据权利要求1所述的一种水下浑浊强散射的视觉同步定位与建图方法，其特征在于，s4中主特征提取网络训练步骤的具体内容为：利用对抗损失的减小生成的样本分布与真实样本分布之间的距离；利用逐像损失函数，用于测量生成的图像输出与对应的真实清晰图像之间的像素差；利用角损失函数来稳健图像；利用对抗学习压缩损失函数实现增强性能和推理速度；利用整体损失函数将图像增强的损失函数和特征点提取的损失函数相加。5.根据权利要求1所述的一种水下浑浊强散射的视觉同步定位与建图方法，其特征在于，通过建立浑浊强散射图像增强网络和特征点提取网络共用的主特征提取网络，使得浑浊强散射图像增强网络和特征点提取网络之间的信息共享。6.一种水下浑浊强散射的视觉同步定位与建图系统，其特征在于，应用权利要求1-5任一项所述的一种水下浑浊强散射的视觉同步定位与建图方法，包括：获取图像模块、图像预处理模块、建立主特征提取网络模块、主特征提取网络训练模块、视觉同步定位与建图模
块；获取图像模块，与图像预处理模块的输入端连接，用于获取浑浊图像和清晰图像；图像预处理模块，与建立主特征提取网络模块的输入端连接，用于对获取的浑浊图像和清晰图像进行预处理，得到变换后的浑浊图像和清晰图像；建立主特征提取网络模块，与主特征提取网络训练模块的输入端连接，用于建立浑浊强散射图像增强网络和特征点提取网络共用的主特征提取网络；主特征提取网络训练模块，与视觉同步定位与建图模块的输入端连接，用于将变换后的浑浊图像和清晰图像输入主特征提取网络，对主特征提取网络进行训练，得到训练好的主特征提取网络；视觉同步定位与建图模块，用于向训练好的主特征提取网络中输入待提取图像，输出待提取图像的特征点分数、位置和坐标。

技术总结
本发明公开了一种水下浑浊强散射的视觉同步定位与建图方法及系统，涉及水下视觉同步定位与建图技术领域。包括：S1.获取图像步骤、S2.图像预处理步骤、S3.建立主特征提取网络步骤、S4.主特征提取网络训练步骤、S5.视觉同步定位与建图步骤。本发明采用浑浊强散射图像增强网络和特征点提取网络共用主特征提取网络的方式，有效解决了水下浑浊强散射环境中水下视觉同步定位与建图定位精度低的问题；通过共用的主特征提取网络，可以信息共享的同时，减少了整个模型的参数量，保证了在水下嵌入式设备上的实时部署。备上的实时部署。备上的实时部署。


技术研发人员：俞智斌 王柘 辛志超 郑自强 郑冰
受保护的技术使用者：中国海洋大学三亚海洋研究院
技术研发日：2023.05.24
技术公布日：2023/8/13