一种基于无人机与DeepSORT算法的涌潮传播速度计算方法

一种基于无人机与deepsort算法的涌潮传播速度计算方法
技术领域
1.本发明属于海洋信息领域，涉及一种涌潮观测方法，具体涉及一种基于无人机与deepsort算法的涌潮传播速度计算方法。


背景技术：

2.涌潮是发生于喇叭形河口或海湾的一种潮差增大的特殊潮汐现象，当涨潮时，潮波进入河口或海湾后，因水域骤然缩窄，底坡变陡，大量水体进入窄道，能量集中使振幅骤增。同时，潮波靠近底部的水体，受底部摩阻等影响，其运动速度较上部水体为小，从而使潮波波峰的前坡面变陡，并随着水深的减小和河水径流的顶托而逐渐加剧。在传播一定距离后，潮峰壅高前倾，形成潮头，状如直立的水墙向前推进，来势极其迅猛，称为涌潮。世界上大约有450个河口受到涌潮影响，涌潮在其传播过程中蕴含着大量的能量，对航运、涉水建筑和沿江人们的生产、生活产生了较大的影响，因此，涌潮传播机理和规律的研究对于开展涌潮资源的保护和两岸的灾害防护等工作具有极为重要的意义。
3.涌潮传播速度是指涌潮潮头的前进速度，是研究涌潮传播机理和规律的重要特征参数，涌潮传播速度与涌潮前、后的水深、流速有关，通过研究更加方便、更加高效的涌潮传播速度计算方法，可为涌潮传播规律的研究提供重要的技术支撑。
4.目前的涌潮研究中，涌潮传播速度的计算方法主要利用岸边固定式潮位站进行潮位的连续观测，基于连续观测到的数据来计算涌潮的传播速度，亦有学者通过水槽模型试验和理论分析建立涌潮传播速度的计算方法，在“一种基于阶跃跳变识别的涌潮传播速度测量装置”(公开号：cn203204010u)专利中，公开了一种新型的的涌潮传播速度测量装置，该实用新型为了克服涌潮经过时局部流速与整体流速不一致而导致检测到的流速不能代表实际涌潮传播速度的问题，提供了一种基于阶跃跳变识别的涌潮传播速度测量装置，采用雷达电波流速仪进行流速与涌潮传播速度的测量，提供实现涌潮预报的必要信息，但该方法受到观测点位的限制，只能获取特定点位的相关数据。在“一种航线任务和虚拟控制相结合的涌潮传播速度观测方法”(公开号：cn115079716a)专利中，公开了一种航线任务和虚拟控制相结合的涌潮传播速度观测方法，该专利借助无人机观测平台，通过图像处理技术实现无人机对涌潮的动态跟踪，进而推算出涌潮不同空间点的传播速度，但该专利未考虑不同时间空间下涌潮形态特征变化对其潮头线检测算法的影响，且只能识别与跟踪图像中单个涌潮的潮头线，其应用场景局限于潮头比较明显的一线潮。
5.针对上述问题，本发明提出一种基于无人机与deepsort算法的涌潮传播速度计算方法。无人机具备机动灵活和观测范围广的特点，针对动力强劲和破坏力极强的涌潮，能较为轻松的观测到大范围涌潮传播过程，通过deepsort深度学习算法实现对涌潮传播过程中的连续识别与跟踪，再结合无人机单目测距原理计算涌潮传播速度，为涌潮传播机理的研究提供重要的数据支撑。本发明将无人机观测平台与深度学习算法相结合并运用在涌潮观测领域来实现对涌潮传播速度的测量。


技术实现要素：

6.本发明的目的是为了弥补现有涌潮传播速度计算方法的不足，结合无人机观测平台和deepsort深度学习算法，提出了一种基于无人机与deepsort算法的涌潮传播速度计算方法，该方法具有安全性高、操作方便、观测范围广、测量精度高等特点，可以快速、高效地的完成涌潮传播速度的测量。
7.一种基于无人机与deepsort算法的涌潮传播速度计算方法，流程如图1所示，包括以下步骤：
8.步骤1：使用遥控器控制无人机飞行至江面上方悬停，通过无人机搭载的云台相机获取实时图像，将获取到的实时图像发送至pc端；
9.步骤2：利用deepsort算法中检测器中训练得到的涌潮目标检测模型，对输入的实时图像进行目标检测，识别出图像中的涌潮目标；
10.步骤3：根据连续帧的目标检测结果，利用deepsort算法中跟踪器中的目标跟踪模型，锁定目标检测结果中需要跟踪的涌潮目标，并为其发分配目标id，实现涌潮目标跟踪；
11.步骤4：根据目标跟踪的结果，实时记录每一帧图像画面中涌潮目标的图像坐标，并绘制每个涌潮目标在图像画面中的运动轨迹；
12.步骤5：计算每个涌潮目标的传播速度；
13.步骤6：完成指定江段涌潮传播速度测量任务，将结果保存于数据库，无人机返回出发点。
14.所述步骤2中涌潮目标检测模型，其构建步骤为：
15.步骤2.1：采集数据集，为了使目标检测模型具有更好的鲁棒性和代表性，数据的采集过程中应充分考虑涌潮时间和空间上的变化特征，在时间上，不同潮期的涌潮变化形态是不同的，数据采集要覆盖大潮期、中潮期和小潮期等不同涌潮强度下的涌潮形态数据，在空间上，不同河段因地理差异所形成的涌潮形态是不同的，数据采集要覆盖不同典型河段的涌潮形态数据；
16.步骤2.2：训练数据集，将采集到的涌潮数据用labelimg软件进行标注，标签格式为txt文件，标注文件与图像文件一一对应，每一个标注文件对应一张图像里面的目标信息，标注完后将图像文件与标注文件按4：1：1的比例分为训练集、验证集和测试集，训练集和验证集用于在神经网络中进行训练，测试集用来测试训练后生成的模型的准确率。
17.所述步骤3中的涌潮目标跟踪，包括以下步骤：
18.步骤3.1：对输入帧进行目标检测后，针对每个涌潮目标通过特征提取网络对其目标区域进行特征提取，将其转化为高维的特征向量，这些特征向量能够描述目标物体的外观、运动和语义等信息；
19.步骤3.2：在每一帧中，利用目标之间的外观和运动特征进行目标关联，通过计算特征向量之间的相似性度量来评估目标之间的相似度，进而确定不同帧中同一目标的对应关系；
20.步骤3.3：使用卡尔曼滤波对涌潮目标的状态进行估计和预测，包括其位置、速度和加速度等，卡尔曼滤波可以通过对状态的预测和更新来融合先验信息和观测信息，从而实现对目标状态的估计和预测，它能够在测量噪声和系统模型误差存在的情况下，有效地估计目标的状态，并提供对未来状态的预测能力，使得目标跟踪算法能够对目标进行连续
的跟踪；
21.步骤3.4：使用匈牙利算法将当前帧中的目标检测结果与之前跟踪的目标进行关联，为新检测到的目标分配新的id，而为已跟踪的目标保留其已有的id，以确保检测到的每个涌潮目标都有一个唯一的id，并进行持续的跟踪。
22.进一步的，所述步骤3.2中的相似性度量，通过马氏距离与余弦距离两种度量方式的线性加权计算得到，马氏距离计算公式：
[0023][0024]
其中，dj表示第j个检测框的位置，yi表示第i个追踪器对目标的预测位置，si表示检测框和预测框之间的协方差矩阵；
[0025]
余弦距离计算公式：
[0026][0027]
其中，rj表示第j个检测框提取出的特征向量，表示第i个预测轨迹中最近匹配成果的第k个向量；
[0028]
最终的相似性度量公式为：
[0029]ci,j
＝λd1(i,j)+(1-λ)d2(i,j)
[0030]
其中，λ为权重系数，d1(i,j)为第i个跟踪器与第j个检测器之间的马氏距离，d2(i,j)为第i个跟踪器的所有相关联的特征向量和第j个检测结果的特征向量之间的最小余弦距离。
[0031]
进一步的，所述步骤3.3中卡尔曼滤波通过预测阶段与更新阶段实现对目标状态的估计与预测，预测阶段：
[0032][0033]
p
k-＝fp
k-1ft
+q
[0034]
其中，f为状态转移矩阵，为上一时刻的后验估计值，为当前时刻k的先验估计值，p
k-1
为上一时刻的后验估计均方差矩阵，p
k-为当前时刻k的先验估计均方差矩阵，q为噪声矩阵；
[0035]
更新阶段：
[0036]
k＝p
k-h
t
(hp
k-h
t
+r)-1
[0037][0038][0039]
pk＝(i-kh)p
k-[0040]
其中，p为先验估计协方差矩阵，h为观测矩阵，r为测量状态协方差矩阵，为卡尔马增益矩阵，为先验估计值，zk为测量值，y为先验估计值通过观测矩阵h投影到测量空间后与测量值zk计算得到的残差，为更新后的后验估计值，pk为更新后的后验估计协方差矩阵。
[0041]
所述步骤5中涌潮目标的传播速度的计算公式为：
[0042][0043]
其中，x1、y1为涌潮目标运动轨迹中t1时刻轨迹点的像素坐标，x2、y2为涌潮目标运动轨迹中t2时刻轨迹点的像素坐标，h为无人机距离江面的高度，f为云台相机的焦距，l为云台相机感光器件的尺寸，n为图像像素数。
[0044]
本发明的有益效果在于：
[0045]
本发明创新性地将deepsort深度学习算法与无人机单目测距原理相结合，实现对涌潮传播速度高效且快速地测量。
[0046]
提出了经典涌潮目标检测模型，在涌潮数据的采集过程中充分考虑涌潮时间和空间上的变化特征，在时间上，涌潮数据采集覆盖大潮期、中潮期和小潮期等不同涌潮强度下的涌潮数据，在空间上，涌潮数据采集覆盖不同典型河段的涌潮数据，使涌潮目标检测模型具有更好的鲁棒性和代表性，更贴合涌潮实际情况中的识别与跟踪。
[0047]
提出了基于单目测距原理的涌潮传播速度计算公式，首先计算出涌潮目标在图像中每秒移动的像素个数，即涌潮目标在图像坐标系中的像素速度，再通过单目测距计算图像中像素的实际尺寸大小，以此计算涌潮目标的实际传播速度。
附图说明
[0048]
图1是基于无人机与deepsort算法的涌潮传播速度计算方法的流程图；
[0049]
图2是目标检测的识别效果图；
[0050]
图3是目标跟踪的实现效果图；
[0051]
图4是涌潮移动轨迹绘制的效果图。
具体实施方式
[0052]
本发明的具体实施如下：
[0053]
步骤1：首先将相机通过三轴云台搭载在无人机上，然后使用遥控器控制无人机飞行至江面上方悬停，调整云台相机俯仰角至俯视角度，调整云台相机姿态使图像画面尽量平行于岸边，通过遥控器将云台相机拍摄到的实时图像发送至pc端；
[0054]
步骤2：无人机通过遥控器将云台相机所拍摄到的图像传输至pc端，然后在pc端使用训练好的涌潮目标检测模型对传输的图像画面进行逐帧识别，并显示识别结果，如图2所示；
[0055]
步骤3：将步骤2中的目标检测结果放入到目标跟踪模型中，提取检测到的每个涌潮目标的特征向量，再通过计算涌潮目标特征之间的相似度，将当前帧中的涌潮目标与之前帧中的涌潮目标进行匹配，对每个涌潮目标进行状态估计和预测，以实现连续的涌潮目标跟踪，并为每一个涌潮目标分配id，如图3所示；
[0056]
步骤4：根据目标跟踪的结果，使用轨迹管理机制来跟踪目标的运动轨迹，当一个新的目标被关联到现有的轨迹时，需要对该轨迹进行初始化。这包括为该轨迹分配唯一的轨迹id，并初始化轨迹的状态、位置、速度等信息。在每一帧中，已关联的目标会更新其状态估计和位置信息。根据目标关联和数据关联的结果，将当前帧中的目标检测结果与相应的
轨迹关联起来，并使用卡尔曼滤波来更新轨迹的状态估计，确保跟踪的目标轨迹的准确性和一致性，并能够应对目标丢失和新目标出现的情况，从而提高目标跟踪的鲁棒性和准确性，如图4所示；
[0057]
步骤5：通过无人机飞行高度与云台相机的参数计算图像中像素点所代表的实际大小，再通过涌潮目标一段时间内运动轨迹所经过的像素个数计算涌潮目标的传播速度；
[0058]
步骤6：完成指定江段涌潮传播速度测量任务，将结果保存于数据库，无人机返回出发点。
[0059]
所述步骤2中涌潮目标检测模型，其构建步骤为：
[0060]
步骤2.1：采集数据集。为了使目标检测模型具有更好的鲁棒性和代表性，数据的采集过程中应充分考虑涌潮时间和空间上的变化特征，在时间上，不同潮期的涌潮变化形态是不同的，数据采集要覆盖大潮期、中潮期和小潮期等不同涌潮强度下的涌潮形态数据，在空间上，不同河段因地理差异所形成的涌潮形态是不同的，数据采集要覆盖不同典型河段的涌潮形态数据；
[0061]
步骤2.2：训练数据集。将采集到的涌潮数据用labelimg软件进行标注，标签格式为txt文件，标注文件与图像文件一一对应，每一个标注文件对应一张图像里面的目标信息，标注完后将图像文件与标注文件按4：1：1的比例分为训练集、验证集和测试集，训练集和验证集用于在神经网络中进行训练，测试集用来测试训练后生成的模型的准确率。
[0062]
所述步骤3中涌潮目标跟踪，包括以下步骤：
[0063]
步骤3.1：在对输入帧进行目标检测后，针对每个目标物体使用深度学习的特征提取网络，对其目标区域进行特征提取，将其转化为高维的特征向量，这些特征向量能够描述目标物体的外观、运动和语义等信息；
[0064]
步骤3.2：在每一帧中，利用目标之间的外观和运动特征进行目标关联，通过计算特征向量之间的相似性度量来评估目标之间的相似度，进而确定不同帧中同一目标的对应关系；
[0065]
相似性度量c
i,j
通过以下公式计算得到：
[0066][0067][0068]ci,j
＝λd1(i,j)+(1-λ)d2(i,j)
[0069]
步骤3.3：使用卡尔曼滤波对涌潮目标的状态进行估计和预测，包括其位置、速度和加速度等。卡尔曼滤波可以通过对状态的预测和更新来融合先验信息和观测信息，从而实现对目标状态的估计和预测，它能够在测量噪声和系统模型误差存在的情况下，有效地估计目标的状态，并提供对未来状态的预测能力，使得deepsort算法能够对目标进行连续的跟踪；
[0070]
卡尔曼滤波通过预测阶段与更新阶段实现对目标状态的估计与预测，预测阶段：
[0071][0072]
p
k-＝fp
k-1ft
+q
[0073]
更新阶段：
[0074]
k＝p
k-h
t
(hp
k-h
t
+r)-1
[0075][0076][0077]
pk＝(i-kh)p
k-[0078]
步骤3.4：使用匈牙利算法将当前帧中的目标检测结果与之前跟踪的目标进行关联，为新检测到的目标分配新的id，而为已跟踪的目标保留其已有的id，以确保检测到的每个涌潮目标都有一个唯一的id，并进行持续的跟踪。
[0079]
所述步骤5中涌潮目标的传播速度通过以下公式计算得到为：
[0080][0081]
以上是本发明较佳的实施方式，但本发明的保护范围并不仅仅局限在此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡依本发明技术方案做变换或替换的，都应涵盖在本发明的保护范围内。因此，本发明的保护范围都应以权利要求的保护范围为准。

技术特征：
1.一种基于无人机与deepsort算法的涌潮传播速度计算方法，其特征在于，包括以下步骤：步骤1：使用遥控器控制无人机飞行至江面上方悬停，通过无人机搭载的云台相机获取实时图像，将获取到的实时图像发送至pc端；步骤2：利用deepsort算法中检测器中训练得到的涌潮目标检测模型，对输入的实时图像进行目标检测，识别出图像中的涌潮目标；步骤3：根据连续帧的目标检测结果，利用deepsort算法中跟踪器中的目标跟踪模型，锁定目标检测结果中需要跟踪的涌潮目标，并为其发分配目标id，实现涌潮目标跟踪；步骤4：根据目标跟踪的结果，实时记录每一帧图像画面中涌潮目标的图像坐标，并绘制每个涌潮目标在图像画面中的运动轨迹；步骤5：计算每个涌潮目标的传播速度；步骤6：完成指定江段涌潮传播速度测量任务，将结果保存于数据库，无人机返回出发点；其中，步骤3中所述涌潮目标跟踪，包括以下步骤：步骤3.1：对输入帧进行目标检测后，针对每个涌潮目标通过特征提取网络对其目标区域进行特征提取，将其转化为高维的特征向量，这些特征向量能够描述目标物体的外观、运动和语义等信息；步骤3.2：在每一帧中，利用目标之间的外观和运动特征进行目标关联，通过计算特征向量之间的相似性度量来评估目标之间的相似度，进而确定不同帧中同一目标的对应关系；步骤3.3：使用卡尔曼滤波对涌潮目标的状态进行估计和预测，包括其位置、速度和加速度等，卡尔曼滤波可以通过对状态的预测和更新来融合先验信息和观测信息，从而实现对目标状态的估计和预测，它能够在测量噪声和系统模型误差存在的情况下，有效地估计目标的状态，并提供对未来状态的预测能力，使得目标跟踪模型能够对目标进行连续的跟踪；步骤3.4：使用匈牙利算法将当前帧中的目标检测结果与之前跟踪的目标进行关联，为新检测到的目标分配新的id，而为已跟踪的目标保留其已有的id，以确保检测到的每个涌潮目标都有一个唯一的id，并进行持续的跟踪；进一步的，涌潮目标跟踪步骤3.2中所述的相似性度量，通过马氏距离与余弦距离两种度量方式的线性加权计算得到，马氏距离计算公式：其中，d
j
表示第j个检测框的位置，y
i
表示第i个追踪器对目标的预测位置，s
i
表示检测框和预测框之间的协方差矩阵；余弦距离计算公式：其中，r
j
表示第j个检测框提取出的特征向量，表示第i个预测轨迹中最近匹配成果的第k个向量；
最终的相似性度量公式为：c
i,j
＝λd1(i,j)+(1-λ)d2(i,j)其中，λ为权重系数，d1(i,j)为第i个跟踪器与第j个检测器之间的马氏距离，d2(i,j)为第i个跟踪器的所有相关联的特征向量和第j个检测结果的特征向量之间的最小余弦距离；进一步的，涌潮目标跟踪步骤3.3中所述的卡尔曼滤波通过预测阶段与更新阶段实现对目标状态的估计与预测，预测阶段：p
k-＝fp
k-1
f
t
+q其中，f为状态转移矩阵，为上一时刻的后验估计值，为当前时刻k的先验估计值，p
k-1
为上一时刻的后验估计均方差矩阵，p
k-为当前时刻k的先验估计均方差矩阵，q为噪声矩阵；更新阶段：更新阶段：更新阶段：更新阶段：其中，p为先验估计协方差矩阵，h为观测矩阵，r为测量状态协方差矩阵，为卡尔马增益矩阵，为先验估计值，z
k
为测量值，y为先验估计值通过观测矩阵h投影到测量空间后与测量值z
k
计算得到的残差，为更新后的后验估计值，p
k
为更新后的后验估计协方差矩阵。2.根据权利要求1所述的一种基于无人机与deepsort算法的涌潮传播速度计算方法，其特征在于，所述步骤2中涌潮目标检测模型，其构建步骤为：步骤2.1：采集数据集，为了使目标检测模型具有更好的鲁棒性和代表性，数据的采集过程中应充分考虑涌潮时间和空间上的变化特征，在时间上，不同潮期的涌潮变化形态是不同的，数据采集要覆盖大潮期、中潮期和小潮期等不同涌潮强度下的涌潮形态数据，在空间上，不同河段因地理差异所形成的涌潮形态是不同的，数据采集要覆盖不同典型河段的涌潮形态数据；步骤2.2：训练数据集，将采集到的涌潮数据用labelimg软件进行标注，标签格式为txt文件，标注文件与图像文件一一对应，每一个标注文件对应一张图像里面的目标信息，标注完后将图像文件与标注文件按4：1：1的比例分为训练集、验证集和测试集，训练集和验证集用于在神经网络中进行训练，测试集用来测试训练后生成的模型的准确率。3.根据权利要求1所述的一种基于无人机与deepsort算法的涌潮传播速度计算方法，其特征在于，所述步骤5中涌潮目标的传播速度计算公式为：
其中，x1、y1为涌潮目标运动轨迹中t1时刻轨迹点的像素坐标，x2、y2为涌潮目标运动轨迹中t2时刻轨迹点的像素坐标，h为无人机距离江面的高度，f为云台相机的焦距，l为云台相机感光器件的尺寸，n为图像像素数。

技术总结
本发明创新性地将DeepSORT算法与无人机单目测距原理相结合，提出一种基于无人机与DeepSORT算法的涌潮传播速度计算方法。相对于传统的涌潮观测平台，本发明以无人机作为涌潮观测平台，具有机动灵活和观测范围广的特点。针对动力强劲和破坏力极强的涌潮，本发明可实现对大范围涌潮传播过程的观测。相对于传统图像处理算法在涌潮观测领域的应用，本发明借助DeepSORT算法可实现对涌潮传播过程的连续识别与跟踪，以及在图像画面中实时绘制出涌潮运动轨迹并计算出涌潮目标在图像坐标系中的像素移动速度，结合无人机单目测距原理，将像素移动速度转换为涌潮实际传播速度。本发明可为涌潮传播机理的研究提供重要的数据支撑。涌潮传播机理的研究提供重要的数据支撑。涌潮传播机理的研究提供重要的数据支撑。


技术研发人员：姜合 张秀娟 丁涛 沈泽栋 占光洁
受保护的技术使用者：浙江同济科技职业学院
技术研发日：2023.06.05
技术公布日：2023/8/24