一种基于摄影测量与激光点融合的海洋波浪测量方法

1.本发明公开一种基于摄影测量与激光点融合的海洋波浪测量方法，属于激光雷达测量技术领域。


背景技术：

2.传统的海浪测量方法使用传感器或浮标等设备来测量海浪的高度和频率等参数，这些方法受到设备成本高、安装位置限制、数据采集困难等问题的影响，且传感器的覆盖范围可能有限，无法提供全面的海浪测量。摄影测量技术通过相机拍摄海浪图像，利用图像处理和计算机视觉算法提取海浪的特征信息，通常只能提供二维的海浪图像，无法获取海浪的三维形态和高度信息，对于海浪的准确测量和重建存在一定的限制。激光雷达可以通过发送激光脉冲并接收回波来测量目标物体的距离和位置信息，通常需要点云数据处理和三维重建算法来获取目标物体的表面形态，对于复杂的海浪表面，可能需要高密度的点云数据和复杂的算法才能准确重建海浪形态。


技术实现要素：

3.本发明的目的在于提供一种基于摄影测量与激光点融合的海洋波浪测量方法，以解决现有技术中，海洋测量精度不足的问题。
4.一种基于摄影测量与激光点融合的海洋波浪测量方法，包括：s1.进行激光雷达和相机的联合标定；s2.通过激光雷达和相机进行数据采集；s3.相机图像特征提取与描述；s4.激光点特征提取与描述；s5.进行激光点的分类以及补充；s6.特征点匹配；s7.将欧式距离的倒数作为匹配分数的一部分，和余弦相似度得到的匹配分数根据权重计算出平均匹配分数，如果得到的欧式距离小于最小距离，则更新最小距离和最佳匹配索引；s8.如果最小距离小于匹配阈值，则当前的激光点成功匹配到最佳特征点，将结果输入到匹配结果中；s9.准确性验证；s10.海洋测量与重建。
5.s1包括：s1.1.使用一个已知尺寸和形状的棋盘格标定板，确保标定板放置在相机和激光雷达视野内，固定相机和激光雷达在稳定位置上，确保相机和激光雷达之间的几何关系相对固定；s1.2.采集相机图像和激光点云数据，确保相机和激光雷达视野重叠并包含标定
板，通过标定板的变化算出相机的位姿矩阵，手动用小圈把点云中对应的标定板框出来，小圈最少包含两条点云线，两条线即可构成一个面，就是标定板所在的平面，通过激光雷达相对于这个面的角度推算出激光雷达的姿态，通过这个面点云的距离算出其位置，再和相机相对比，得到相机与雷达的外参矩阵。
6.s2包括：使用相机拍摄海浪图像，同时使用基于软件无线电的激光雷达系统投射激光点到海面上，并记录激光点图像序列，确保相机和激光雷达位置固定，并且时间同步。
7.s3包括：对相机拍摄的海浪图像进行特征提取，将海浪图像进行灰度化处理，将海浪的灰度图像和关键点作为特征描述的输入，计算关键点的特征描述子。
8.s4包括：从激光回波中提取激光点信息，记录激光点在海面的位置信息，获取海浪表面的空间坐标数据，将激光点的三维坐标作为特征点的位置，计算特征点所在图像区域的梯度信息表示特征点的强度值或颜色信息，并将激光雷点的强度值作为特征描述子。
9.s5包括：将激光点进行分类，分为有效激光点和无效激光点，从以下三个分类方法中选择一种进行分类：b1.通过激光点的密度进行分类，针对每个激光点计算周围邻域内的激光点数量，设置每平方米50个激光点，如果低于设置的阈值则视为无效激光点，高于阈值视为有效激光点；b2.计算激光点的聚集程度，通过k-means算法对激光点进行聚类，将激光点划分为不同的群集，对群集大小、紧密度进行分析，设置相应的阈值进行分类；b3.根据运动模式进行分类，分析激光点在连续帧之间的运动模式，根据激光点在时间序列上的运动特征，将运动模式与期望的海浪运动模式进行比较，如果两者具有一致性，视为有效激光点；当关键位置激光点缺失时，采取拟合的方法选择海浪曲面模型，使用已有的激光点数据拟合，估计缺失激光点的位置和数值，补全关键激光点。
10.s6包括：s6.1.分别对特征点和激光点建立集合，每个激光点包括位置信息和描述子，每个特征点包括位置信息和描述子；s6.2.初始化匹配结果为空集合；s6.3.对于激光点集合中的每个激光点初始化最小距离为正无穷，最佳匹配索引为-1；s6.4.对于特征点集合中的每个特征点，计算激光点描述子与特征点描述子之间的欧式距离：；d为两个点之间的欧式距离，为第i个横坐标，为第i个纵坐标，n为点的总数。
11.s6包括：s6.5.将激光点描述子和特征点描述子视为向量形式，即描述子是由多个特征值组成的向量，然后计算激光点描述子和特征点描述子的余弦相似度；
通过计算强度相似性来评估两点的相似性，用余弦相似度表征强度，首先对激光点描述子和特征点描述子使用 l2 范数进行归一化，将向量的每个分量除以向量的 l2 范数，计算激光点描述子和特征点描述子之间的内积，将两个归一化后的向量进行点积运算，根据余弦相似度的定义，计算余弦相似度:；式中，cosθ表示余弦相似度，经上式计算得到一个介于-1到1之间的值，将得到的值线性映射到[0，1]区间的匹配分数。
[0012]
s9包括：将通过s8后的海浪图像和激光点数据进行收集，构建多输入多输出的深度学习模型，同时处理海浪图像和激光点图像；对海浪图像进行预处理，包括缩放、剪裁、归一化，将图像转换为张量形式；对激光数据进行预处理，包括降采样、归一化、平滑，将数据转换为张量形式；在多输入多输出的深度学习模型中使用两个输入分支，一个用于处理海浪图像，另一个用于处理激光点数据，使用两个输出分支，一个用于输出海浪图像特征表示，另一个用于输出激光点数据的特征表示和特征匹配结果；使用通过s8后的海浪图像和激光点数据对多输入多输出的深度学习模型进行训练，训练过程中，深度学习模型学习从不同模态的特征空间中找到匹配的特征对，并输出特征匹配结果；训练完成后，使用训练好的多输入多输出的深度学习模型进行跨模态特征匹配，输入海浪图像和激光点云数据，通过多输入多输出的深度学习模型获得它们的特征表示，并从特征匹配输出中获取匹配结果。
[0013]
s10包括：使用特征点的三维坐标和激光点的位置信息进行三维重建，通过三角测量的方法计算海浪的表面形态和高度信息；假设特征点的三维坐标为（），激光点的位置坐标为（），利用三角测量原理计算出海浪表面某点坐标的三维坐标（）：,,；通过计算特征点的和激光点的垂直距离和海浪表面的曲率估计海浪的高度变化，假设海浪高度为h，海浪高度估计公式：h=；连接特征点和激光点，对特征点和激光点之间的匹配关系进行建模，重建海浪的形态，构建海浪表面的三维模型，进行曲面拟合。
[0014]
相对比现有技术，本发明具有以下有益效果：本发明通相机提供高分辨率的图像，捕捉海浪的细节和变化，激光点图像提供精确的距离信息，通过分析激光点在海浪表面的分布情况，推断出海浪的高度和形态，实现对海浪的全面测量和形态重建。融合测量方法提供更全面和准确的海浪测量结果，对于海洋科学研究、海岸工程、海上能源等领域具有重要意义，还可以为海洋预警和海上安全提供关键的数据支持。
附图说明
[0015]
图1是2023年1月试验区的海洋高处理结果；图2是2023年2月试验区的海洋高处理结果；图3是2023年3月试验区的海洋高处理结果；图4是2023年4月试验区的海洋高处理结果；图5是2023年5月试验区的海洋高处理结果。
具体实施方式
[0016]
为使本发明的目的、技术方案和优点更加清楚，下面对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0017]
一种基于摄影测量与激光点融合的海洋波浪测量方法，包括：s1.进行激光雷达和相机的联合标定；s2.通过激光雷达和相机进行数据采集；s3.相机图像特征提取与描述；s4.激光点特征提取与描述；s5.进行激光点的分类以及补充；s6.特征点匹配；s7.将欧式距离的倒数作为匹配分数的一部分，和余弦相似度得到的匹配分数根据权重计算出平均匹配分数，如果得到的欧式距离小于最小距离，则更新最小距离和最佳匹配索引；s8.如果最小距离小于匹配阈值，则当前的激光点成功匹配到最佳特征点，将结果输入到匹配结果中；s9.准确性验证；s10.海洋测量与重建。
[0018]
s1包括：s1.1.使用一个已知尺寸和形状的棋盘格标定板，确保标定板放置在相机和激光雷达视野内，固定相机和激光雷达在稳定位置上，确保相机和激光雷达之间的几何关系相对固定；s1.2.采集相机图像和激光点云数据，确保相机和激光雷达视野重叠并包含标定板，通过标定板的变化算出相机的位姿矩阵，手动用小圈把点云中对应的标定板框出来，小圈最少包含两条点云线，两条线即可构成一个面，就是标定板所在的平面，通过激光雷达相对于这个面的角度推算出激光雷达的姿态，通过这个面点云的距离算出其位置，再和相机相对比，得到相机与雷达的外参矩阵。
[0019]
s2包括：使用相机拍摄海浪图像，同时使用基于软件无线电的激光雷达系统投射激光点到海面上，并记录激光点图像序列，确保相机和激光雷达位置固定，并且时间同步。
[0020]
s3包括：对相机拍摄的海浪图像进行特征提取，将海浪图像进行灰度化处理，将海浪的灰度图像和关键点作为特征描述的输入，计算关键点的特征描述子。
[0021]
s4包括：从激光回波中提取激光点信息，记录激光点在海面的位置信息，获取海浪表面的空间坐标数据，将激光点的三维坐标作为特征点的位置，计算特征点所在图像区域的梯度信息表示特征点的强度值或颜色信息，并将激光雷点的强度值作为特征描述子。
[0022]
s5包括：将激光点进行分类，分为有效激光点和无效激光点，从以下三个分类方法中选择一种进行分类：b1.通过激光点的密度进行分类，针对每个激光点计算周围邻域内的激光点数量，设置每平方米50个激光点，如果低于设置的阈值则视为无效激光点，高于阈值视为有效激光点；b2.计算激光点的聚集程度，通过k-means算法对激光点进行聚类，将激光点划分为不同的群集，对群集大小、紧密度进行分析，设置相应的阈值进行分类；b3.根据运动模式进行分类，分析激光点在连续帧之间的运动模式，根据激光点在时间序列上的运动特征，将运动模式与期望的海浪运动模式进行比较，如果两者具有一致性，视为有效激光点；当关键位置激光点缺失时，采取拟合的方法选择海浪曲面模型，使用已有的激光点数据拟合，估计缺失激光点的位置和数值，补全关键激光点。
[0023]
s6包括：s6.1.分别对特征点和激光点建立集合，每个激光点包括位置信息和描述子，每个特征点包括位置信息和描述子；s6.2.初始化匹配结果为空集合；s6.3.对于激光点集合中的每个激光点初始化最小距离为正无穷，最佳匹配索引为-1；s6.4.对于特征点集合中的每个特征点，计算激光点描述子与特征点描述子之间的欧式距离：；d为两个点之间的欧式距离，为第i个横坐标，为第i个纵坐标，n为点的总数。
[0024]
s6包括：s6.5.将激光点描述子和特征点描述子视为向量形式，即描述子是由多个特征值组成的向量，然后计算激光点描述子和特征点描述子的余弦相似度；通过计算强度相似性来评估两点的相似性，用余弦相似度表征强度，首先对激光点描述子和特征点描述子使用 l2 范数进行归一化，将向量的每个分量除以向量的 l2 范数，计算激光点描述子和特征点描述子之间的内积，将两个归一化后的向量进行点积运算，根据余弦相似度的定义，计算余弦相似度:；式中，cosθ表示余弦相似度，经上式计算得到一个介于-1到1之间的值，值越接近1
表示相似度越高，值越接近-1表示相似度越低，将得到的值线性映射到[0，1]区间的匹配分数。
[0025]
s9包括：将通过s8后的海浪图像和激光点数据进行收集，构建多输入多输出的深度学习模型，同时处理海浪图像和激光点图像；对海浪图像进行预处理，包括缩放、剪裁、归一化，将图像转换为张量形式；对激光数据进行预处理，包括降采样、归一化、平滑，将数据转换为张量形式；在多输入多输出的深度学习模型中使用两个输入分支，一个用于处理海浪图像，另一个用于处理激光点数据，使用两个输出分支，一个用于输出海浪图像特征表示，另一个用于输出激光点数据的特征表示和特征匹配结果；使用通过s8后的海浪图像和激光点数据对多输入多输出的深度学习模型进行训练，训练过程中，深度学习模型学习从不同模态的特征空间中找到匹配的特征对，并输出特征匹配结果；训练完成后，使用训练好的多输入多输出的深度学习模型进行跨模态特征匹配，输入海浪图像和激光点云数据，通过多输入多输出的深度学习模型获得它们的特征表示，并从特征匹配输出中获取匹配结果。
[0026]
s10包括：使用特征点的三维坐标和激光点的位置信息进行三维重建，通过三角测量的方法计算海浪的表面形态和高度信息；假设特征点的三维坐标为（），激光点的位置坐标为（），利用三角测量原理计算出海浪表面某点坐标的三维坐标（）：,,；通过计算特征点的和激光点的垂直距离和海浪表面的曲率估计海浪的高度变化，假设海浪高度为h，海浪高度估计公式：h=；连接特征点和激光点，对特征点和激光点之间的匹配关系进行建模，重建海浪的形态，构建海浪表面的三维模型，进行曲面拟合。
[0027]
通过以上过程，在试验区进行实验，2023年1月至5月的结果如图1、图2、图3、图4和图5所示，在不同的海况下，海浪的高度和形态会有显著的变化。由于实验的地理位置原因，海面时常伴有强风，当有强风横扫海面时，海浪会迅速升高，通过对海浪的三维重建，得到该区域短时间内的高度变化，海浪高度大约在几厘米至几十厘米，最大值为70cm，最小值为0.1m，通过数据可以发现海面在春季相对比较稳定，在冬季波动幅度较大，在结果中由于背景光强烈，以及数据缺失，对结果造成一定的误差，另外根据实验数据发现，海浪高度与风速和气压有一定的相关性，特别是在风速较大和气压较低的时候，海浪高度往往较高，通过时间序列的分析，我们尝试对未来海浪高度进行预测，以便在可能发生异常波浪事件时提前做好防范准备。
[0028]
以上实施例仅用于说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，而这些
修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种基于摄影测量与激光点融合的海洋波浪测量方法，其特征在于，包括：s1.进行激光雷达和相机的联合标定；s2.通过激光雷达和相机进行数据采集；s3.相机图像特征提取与描述；s4.激光点特征提取与描述；s5.进行激光点的分类以及补充；s6.特征点匹配；s7.将欧式距离的倒数作为匹配分数的一部分，和余弦相似度得到的匹配分数根据权重计算出平均匹配分数，如果得到的欧式距离小于最小距离，则更新最小距离和最佳匹配索引；s8.如果最小距离小于匹配阈值，则当前的激光点成功匹配到最佳特征点，将结果输入到匹配结果中；s9.准确性验证；s10.海洋测量与重建。2.根据权利要求1所述的一种基于摄影测量与激光点融合的海洋波浪测量方法，其特征在于，s1包括：s1.1.使用一个已知尺寸和形状的棋盘格标定板，确保标定板放置在相机和激光雷达视野内，固定相机和激光雷达在稳定位置上，确保相机和激光雷达之间的几何关系相对固定；s1.2.采集相机图像和激光点云数据，确保相机和激光雷达视野重叠并包含标定板，通过标定板的变化算出相机的位姿矩阵，手动用小圈把点云中对应的标定板框出来，小圈最少包含两条点云线，两条线即可构成一个面，就是标定板所在的平面，通过激光雷达相对于这个面的角度推算出激光雷达的姿态，通过这个面点云的距离算出其位置，再和相机相对比，得到相机与雷达的外参矩阵。3.根据权利要求1所述的一种基于摄影测量与激光点融合的海洋波浪测量方法，其特征在于，s2包括：使用相机拍摄海浪图像，同时使用基于软件无线电的激光雷达系统投射激光点到海面上，并记录激光点图像序列，确保相机和激光雷达位置固定，并且时间同步。4.根据权利要求1所述的一种基于摄影测量与激光点融合的海洋波浪测量方法，其特征在于，s3包括：对相机拍摄的海浪图像进行特征提取，将海浪图像进行灰度化处理，将海浪的灰度图像和关键点作为特征描述的输入，计算关键点的特征描述子。5.根据权利要求1所述的一种基于摄影测量与激光点融合的海洋波浪测量方法，其特征在于，s4包括：从激光回波中提取激光点信息，记录激光点在海面的位置信息，获取海浪表面的空间坐标数据，将激光点的三维坐标作为特征点的位置，计算特征点所在图像区域的梯度信息表示特征点的强度值或颜色信息，并将激光雷点的强度值作为特征描述子。6.根据权利要求1所述的一种基于摄影测量与激光点融合的海洋波浪测量方法，其特征在于，s5包括：将激光点进行分类，分为有效激光点和无效激光点，从以下三个分类方法中选择一种进行分类：b1.通过激光点的密度进行分类，针对每个激光点计算周围邻域内的激光点数量，设置
每平方米50个激光点，如果低于设置的阈值则视为无效激光点，高于阈值视为有效激光点；b2.计算激光点的聚集程度，通过k-means算法对激光点进行聚类，将激光点划分为不同的群集，对群集大小、紧密度进行分析，设置相应的阈值进行分类；b3.根据运动模式进行分类，分析激光点在连续帧之间的运动模式，根据激光点在时间序列上的运动特征，将运动模式与期望的海浪运动模式进行比较，如果两者具有一致性，视为有效激光点；当关键位置激光点缺失时，采取拟合的方法选择海浪曲面模型，使用已有的激光点数据拟合，估计缺失激光点的位置和数值，补全关键激光点。7.根据权利要求1所述的一种基于摄影测量与激光点融合的海洋波浪测量方法，其特征在于，s6包括：s6.1.分别对特征点和激光点建立集合，每个激光点包括位置信息和描述子，每个特征点包括位置信息和描述子；s6.2.初始化匹配结果为空集合；s6.3.对于激光点集合中的每个激光点初始化最小距离为正无穷，最佳匹配索引为-1；s6.4.对于特征点集合中的每个特征点，计算激光点描述子与特征点描述子之间的欧式距离：；d为两个点之间的欧式距离，为第i个横坐标，为第i个纵坐标，n为点的总数。8.根据权利要求1所述的一种基于摄影测量与激光点融合的海洋波浪测量方法，其特征在于，s6包括：s6.5.将激光点描述子和特征点描述子视为向量形式，即描述子是由多个特征值组成的向量，然后计算激光点描述子和特征点描述子的余弦相似度；通过计算强度相似性来评估两点的相似性，用余弦相似度表征强度，首先对激光点描述子和特征点描述子使用 l2 范数进行归一化，将向量的每个分量除以向量的 l2 范数，计算激光点描述子和特征点描述子之间的内积，将两个归一化后的向量进行点积运算，根据余弦相似度的定义，计算余弦相似度:；式中，cosθ表示余弦相似度，经上式计算得到一个介于-1到1之间的值，将得到的值线性映射到[0，1]区间的匹配分数。9.根据权利要求1所述的一种基于摄影测量与激光点融合的海洋波浪测量方法，其特征在于，s9包括：将通过s8后的海浪图像和激光点数据进行收集，构建多输入多输出的深度学习模型，同时处理海浪图像和激光点图像；对海浪图像进行预处理，包括缩放、剪裁、归一化，将图像转换为张量形式；对激光数据进行预处理，包括降采样、归一化、平滑，将数据转换为张量形式；
在多输入多输出的深度学习模型中使用两个输入分支，一个用于处理海浪图像，另一个用于处理激光点数据，使用两个输出分支，一个用于输出海浪图像特征表示，另一个用于输出激光点数据的特征表示和特征匹配结果；使用通过s8后的海浪图像和激光点数据对多输入多输出的深度学习模型进行训练，训练过程中，深度学习模型学习从不同模态的特征空间中找到匹配的特征对，并输出特征匹配结果；训练完成后，使用训练好的多输入多输出的深度学习模型进行跨模态特征匹配，输入海浪图像和激光点云数据，通过多输入多输出的深度学习模型获得它们的特征表示，并从特征匹配输出中获取匹配结果。10.根据权利要求1所述的一种基于摄影测量与激光点融合的海洋波浪测量方法，其特征在于，s10包括：使用特征点的三维坐标和激光点的位置信息进行三维重建，通过三角测量的方法计算海浪的表面形态和高度信息；假设特征点的三维坐标为（），激光点的位置坐标为（），利用三角测量原理计算出海浪表面某点坐标的三维坐标（）：,,；通过计算特征点的和激光点的垂直距离和海浪表面的曲率估计海浪的高度变化，假设海浪高度为h，海浪高度估计公式：h=；连接特征点和激光点，对特征点和激光点之间的匹配关系进行建模，重建海浪的形态，构建海浪表面的三维模型，进行曲面拟合。

技术总结
本发明公开一种基于摄影测量与激光点融合的海洋波浪测量方法，属于激光雷达测量技术领域，用于海洋测量，包括：对激光雷达和相机联合标定并采集数据，进行相机图像和激光点特征提取与描述，对激光点分类并补充，执行特征点匹配；如果得到的欧式距离小于最小距离，则更新最小距离和最佳匹配索引；如果最小距离小于匹配阈值，则当前的激光点成功匹配到最佳特征点，将结果输入到匹配结果中，进行准确性验证和海洋测量与重建。本发明通相机提供高分辨率的图像，捕捉海浪的细节和变化，激光点图像提供精确的距离信息，通过分析激光点在海浪表面的分布情况，推断出海浪的高度和形态，实现对海浪的全面测量和形态重建。海浪的全面测量和形态重建。海浪的全面测量和形态重建。


技术研发人员：杜立彬 陈浩 袁一博 孟祥谦 刘杰 尚志伟 崔童
受保护的技术使用者：山东科技大学
技术研发日：2023.08.30
技术公布日：2023/10/8