一种流域应急无人机管理方法及平台与流程

1.本发明涉及无人机管理技术领域，特别是涉及一种流域应急无人机管理方法及平台。


背景技术：

2.我国土地辽阔，河流分布众多，丰富的河流水资源对我们的的经济发展具有重大的意义。这些水资源可以用于水利发电、农业生产、交通运输等。同时，江河流域地势比较复杂河道库区两侧多是高山峡谷，经常有泥石流等地质灾害发生。一旦河道库区坡体发生大规模滑坡，土石堵塞河道容易形成堰塞湖，对水电站的发电量及周边居民安全会造成重大影响。
3.近年来，无人机技术发展迅速，由于其灵活、快速以及不受地形环境等条件制约的特点，逐渐运用在河流流域的测绘以及三维建模等，然而现有的面向河流流域的无人机管理手段无法满足地质灾害等其他情况的应急救援中对建模速度与精确的要求。
4.因此发展一种流域应急无人机管理方法及平台成为了一种迫切需要。


技术实现要素：

5.针对现有技术中的上述问题，本发明提供了一种流域应急无人机管理方法及平台，能够满足在应急救援中对建模速度与精确的要求。
6.为了达到上述发明目的，本发明采用的技术方案如下：
7.一方面，一种流域应急无人机管理方法，包括：
8.根据水电站位置和历史地质灾害情况，确定监控区域及监控点，考虑所述监控区域及监控点，以最小时间成本为目标制定飞行路线，生成飞行任务；
9.获取飞行任务执行过程中的飞行数据，所述飞行数据包括视频数据和对应的位姿数据；
10.对所述视频数据进行预处理，得到目标图像，提取目标图像特征点，并结合位姿数据，更新三维地图；
11.展示更新后的三维地图。
12.优选地，根据水电站位置和历史地质灾害情况，确定监控区域及监控点，包括：
13.获取高空遥感图像，在高空遥感图像上标注水电站位置和历史地质灾害位置及其严重程度，确定监控区域及每个监控区域的重要程度；
14.根据每个监控区域的不同地形，确定是否存在地形特征点；
15.若存在，则将所述地形特征点作为监控点，若不存在，则根据所述监控区域所对应的重要程度，在监控区域内均匀布设监控点。
16.优选地，考虑所述监控区域及监控点，以最小时间成本为目标制定飞行路线，生成飞行任务，包括：
17.制定基础飞行信息，所述基础飞行信息包括任务名称、循环周期、执行次数、单次
任务执行时间、任务期限；
18.根据所述监控区域、监控点以及基础飞行信息，制定飞行路线。
19.优选地，根据所述监控区域、监控点以及基础飞行信息，制定飞行路线，包括：
20.构建空路线，以无人机控制平台为射线点对所述监控点进行扫描，将扫描到的监控点加入空路线，在加入的监控点到达预设数量时，构建新的空路线；
21.遍历所有监控点，将所有监控点均加入路线，得到初始飞行路线；
22.将所述初始飞行路径作为优化目标确定成本函数，并利用全局最优头脑风暴算法对所述成本函数进行迭代，确定在所述最大迭代次以内的最优飞行路径；
23.基于贪心算法，以时间成本为约束，将两条或者两条以上的最优飞行路线进行拼接，得到飞行路线。
24.优选地，获取飞行任务执行过程中的飞行数据，包括：
25.获取无人机发送的多路视频流，所述多路视频流为无人机在同一场景下以不同角度采集的加密视频数据，每路视频流的初始帧采集时间的时间差满足预设时间要求；
26.对所述多路视频流进行解析，转换为指定视频格式，得到视频数据。
27.优选地，对视频数据进行预处理，得到目标图像包括：
28.从所述视频数据中抽取多帧图像；
29.对所述图像进行小波分解，得到低频图像和三个高频图像；
30.对低频图像进行自适应gamma校正，得到对比度增强的低频图像；
31.分别对三个高频图像进行去噪处理，得到去噪的高频图像；
32.对得到的对比度增强的低频图像和去噪的高频图像进行小波逆变换，得到增强后的图像；
33.为增强后的图像选取合适的校正模型进行图像配准；
34.对图像配准结果进行误差检验；
35.在误差满足要求时，获取配准图像并对配准图像进行归一化处理，得到目标图像。
36.优选地，提取目标图像特征点，并结合位姿数据，更新三维地图，包括：
37.根据提取到的目标图像特征点对多个目标图像进行相似度匹配，得到若干匹配对；
38.通过特征匹配算法对所有所述匹配对进行特征点匹配，并利用全局运动恢复算法得到目标图像的位姿参数；
39.根据所述图位参数对位姿数据进行修正，得到目标位姿数据；
40.根据所述目标位姿数据和所述目标图像生成三维地形，并对所述三维地形进行纹理映射，得到新的三维地图；
41.将新的三维地图叠加到历史三维地图上的对应区域，对所述历史三维地图进行更新；
42.获得更新后的三维地图，并在更新后的三维地图上标注无人机的位置与轨迹。
43.另一方面，一种流域应急无人机管理平台，包括：
44.任务规划模块，用于根据水电站位置和历史地质灾害情况，确定监控区域及监控点，考虑所述监控区域及监控点，以最小时间成本为目标制定飞行路线，生成飞行任务；
45.数据获取模块，用于获取飞行任务执行过程中的飞行数据，所述飞行数据包括视
频数据和对应的位姿数据；
46.数据处理模块，用于对所述视频数据进行预处理，得到目标图像，提取目标图像特征点，并结合位姿数据，更新三维地图；
47.地图展示模块，用于展示更新后的三维地图。
48.本发明的有益效果为：
49.本发明的一种流域应急无人机管理方法及平台，能够对水电站位置和历史地质灾害情况进行评估，确定出监控区域及其对应的监控点，并根据监控点的特征以及无人机的特征构建飞行路线，生成并执行飞行任务，能够快速完成所有监控点的巡检，确保无遗漏，使采集的数据更精准，且其数据格式可通过成熟的技术快速进行网络加密传输，通过采集的数据能够快速、精准地构建新的三维地图并对历史三维地图进行更新，使得三维地图在使用过程中更加全面、详细、精准。
附图说明
50.图1为本发明实施例所提供的一种流域应急无人机管理方法的流程图；
51.图2为本发明实施例所提供的一种流域应急无人机管理方法的流程图。
具体实施方式
52.下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
53.实施例一
54.如图1所示，图1为本发明实施例所提供的一种流域应急无人机管理方法的流程图，该方法包括：
55.步骤1，根据水电站位置和历史地质灾害情况，确定监控区域及监控点，考虑所述监控区域及监控点，以最小时间成本为目标制定飞行路线，生成飞行任务；
56.在本发明实施例中，根据水电站位置和历史地质灾害情况，确定监控区域及监控点，包括：获取高空遥感图像，在高空遥感图像上标注水电站位置和历史地质灾害位置及其严重程度，确定监控区域及每个监控区域的重要程度；根据每个监控区域的不同地形，确定是否存在地形特征点；若存在，则将所述地形特征点作为监控点，若不存在，则根据所述监控区域所对应的重要程度，在监控区域内均匀布设监控点。
57.监控点应当为具有实际地理意义的，监控点的选取应当遵从如下原则：为保证每个监控区域的各部分均保持足够的监测精度，监控点应当在地图的各部分大致分布均匀(但不要求如网格状完全均匀分布)。同时，监控区域的边、角部分应当具有监控点。根据三维地图的实际绘制情况，可进行如下调整：在经常发生地质灾害的地方，可适当增加监控点，在不常发生地质灾害好多地方，可适当减少监控点。另外，在不同监控区域的边界部分，应当适当增加监控点。
58.具体的，高空遥感图像通过无人机获得；在高空中遥感技术能够探测到较大的地区范围，宏观上获得该地区范围的数据；地面条件不会对遥感技术造成限制，在一些沙漠、
沼泽等恶劣条件的地区，采用遥感技术取代人类采集和探测相关的重要数据，因此，在流区范围内利用遥感技术可以积极了解地质情况，容易找出地质灾害的范围；同时，通过遥感技术能够对变化的气候进行动态监测，及时提醒在容易发生地质灾害地区的人们尽快做好预防工作。
59.在本发明实施例中，考虑所述监控区域及监控点，以最小时间成本为目标制定飞行路线，生成飞行任务，包括：制定基础飞行信息，所述基础飞行信息包括任务名称、循环周期、执行次数、单次任务执行时间、任务期限；根据所述监控区域、监控点以及基础飞行信息，制定飞行路线。
60.进一步的，根据所述监控区域、监控点以及基础飞行信息，制定飞行路线，包括：构建空路线，以无人机控制平台为射线点对所述监控点进行扫描，将扫描到的监控点加入空路线，在加入的监控点到达预设数量时，构建新的空路线遍历所有监控点，将所有监控点均加入路线，得到初始飞行路线；将所述初始飞行路径作为优化目标确定成本函数，并利用全局最优头脑风暴算法对所述成本函数进行迭代，确定在所述最大迭代次以内的最优飞行路径；基于贪心算法，以时间成本为约束，将两条或者两条以上的最优飞行路线进行拼接，得到飞行路线。
61.由于一个流域可能有多个无人机控制平台，因此，在获取初始飞行路线时，需要以固定的半径对监控点进行扫描，当扫描到的监控点存与另一无人机监控平台的飞行路线重合时，不需要将该监控点加入到飞行路线，以避免同一监控点被多次巡检，避免浪费巡检时间。
62.将扫描到的监控点加入空路线包括：将监控点的单点采集时间、单点采集范围、飞行最大曲率、飞行最大爬坡以及累计采集时间等路线信息加入空路线。
63.具体的，成本函数如下：
[0064][0065]
其中，ci表示第i类路线信息，λi表示第i类路线信息的权重。
[0066]
由于最优飞行路线时，仅考虑了监控点信息以及每条飞行路线的最大监控点容量，因此，本发明实施例还提出了一种基于贪心原则的路径拼接方法，能够将多条路线进行拼接，以满足无人机单次飞行最大时间，从而提供无人机的利用率。具体的，从多个最优路线中选取累计飞行时间小于最大飞行时间的路线，枚举任意两条最优路线的组合，计算第一条最优路线的最后一个监测点到第二条最优路线的第一个监测点的飞行时间，选择该段时间最小的最优飞行路线进行拼接，达到飞行路线。
[0067]
采用上述方法，可减少无人机往返无人机控制平台的次数，单次飞行可执行多个飞行任务，有利于提高无人机的利用率，提高无人机数据采集效率，缩短三维地图生成时间。
[0068]
步骤2，获取飞行任务执行过程中的飞行数据，所述飞行数据包括视频数据和对应的位姿数据；
[0069]
在本发明实施例中，获取飞行任务执行过程中的飞行数据，包括：获取无人机发送的多路视频流，所述多路视频流为无人机在同一场景下以不同角度采集的加密视频数据，每路视频流的初始帧采集时间的时间差满足预设时间要求；对所述多路视频流进行解析，
转换为指定视频格式，得到视频数据。
[0070]
还需要说明的，无人机上传采集的视频流及所示视频流的位姿数据，并根据预设通信协议进行加密后发送给基站，最后再通基站发送给服务器，通过服务器对多路视频流进行解析等处理。其中，所述预设通信协包括但不限于rtmp、rtsp、hls，所述基站包括但不限于5g基站。
[0071]
采用上述方法，实现了对无人机多路视频流的加密传输，保证了数据传输的安全性和及时性。
[0072]
步骤3，对所述视频数据进行预处理，得到目标图像，提取目标图像特征点，并结合位姿数据，更新三维地图；
[0073]
在本发明实施例中，对视频数据进行预处理，得到目标图像包括：从所述视频数据中抽取多帧图像；对所述图像进行小波分解，得到低频图像和三个高频图像；对低频图像进行自适应gamma校正，得到对比度增强的低频图像；分别对三个高频图像进行去噪处理，得到去噪的高频图像；对得到的对比度增强的低频图像和去噪的高频图像进行小波逆变换，得到增强后的图像；为增强后的图像选取合适的校正模型进行图像配准；对图像配准结果进行误差检验；在误差满足要求时，获取配准图像并对配准图像进行归一化处理，得到目标图像。
[0074]
进一步的，去噪处理的计算公式如下：
[0075][0076]
其中，去噪得到的高频图像，p(x，y)为受到噪声污染的低频图像，(x，y)为去噪得到的高频图像的某一像素点，(x，y)为受到噪声污染的低频图像的某一像素点，a
×
b为4邻域或8邻域形式的模板，q为模板的区域；
[0077]
所述归一化处理的计算公式如下：
[0078][0079]
其中，r为归一化前的数值，f
(r)
为归一化后的灰度值，r为待处理的配准图像。
[0080]
在不本发明实施例中，提取目标图像特征点，并结合位姿数据，更新三维地图，包括：根据提取到的目标图像特征点对多个目标图像进行相似度匹配，得到若干匹配对；通过特征匹配算法对所有所述匹配对进行特征点匹配，并利用全局运动恢复算法得到目标图像的位姿参数；根据所述图位参数对位姿数据进行修正，得到目标位姿数据；根据所述目标位姿数据和所述目标图像生成三维地形，并对所述三维地形进行纹理映射，得到新的三维地图；将新的三维地图叠加到历史三维地图上的对应区域，对所述历史三维地图进行更新；获得更新后的三维地图，并在更新后的三维地图上标注无人机的位置与轨迹。
[0081]
三维模型的构建不仅需要二维图像，还需要拍摄相机的参数，来获取深度图像，然后现有的相机参数一般通过无人机上搭载的传感器设备获取，精度不能得到保证，因此，本发明实施例提供了一种位姿数据修正的方法，以提高三维地图的精度。
[0082]
采用上述方法，可实时更新流域内的各个监控区域的三维地图，并且能够在地图上展示无人机的任务执行情况，所述任务执行情况包括但不限于位置、飞行轨迹等。
[0083]
步骤4，展示更新后的三维地图。
[0084]
综上，本发明实施例提供了一种流域应急无人机管理方法，能够对水电站位置和历史地质灾害情况进行评估，确定出监控区域及其对应的监控点，并根据监控点的特征以及无人机的特征构建飞行路线，生成并执行飞行任务，能够快速完成所有监控点的巡检，确保无遗漏，使采集的数据更精准，且其数据格式可通过成熟的技术快速进行网络加密传输，通过采集的数据能够快速、精准地构建新的三维地图并对历史三维地图进行更新，使得三维地图在使用过程中更加全面、详细、精准。
[0085]
实施例二
[0086]
如图2所示，图2为本发明实施例所提供的一种流域应急无人机管理平台的结构示意图，包括：任务规划模块，用于根据水电站位置和历史地质灾害情况，确定监控区域及监控点，考虑所述监控区域及监控点，以最小时间成本为目标制定飞行路线，生成飞行任务；
[0087]
数据获取模块，用于获取飞行任务执行过程中的飞行数据，所述飞行数据包括视频数据和对应的位姿数据；数据处理模块，用于对所述视频数据进行预处理，得到目标图像，提取目标图像特征点，并结合位姿数据，更新三维地图；地图展示模块，用于展示更新后的三维地图。
[0088]
应当理解地，本发明实施例所提供的一种流域应急无人机管理平台与上述实施例所提供的一种流域应急无人机管理方法出于相同的发明构思，关于本发明实施例中各个模块更加具体的工作原理，可参考上述实施例，在本发明实施例中不做赘述。
[0089]
本领域内的技术人员应明白，尽管已经描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性的概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围内的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求机器等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

技术特征：
1.一种流域应急无人机管理方法，其特征在于，包括：根据水电站位置和历史地质灾害情况，确定监控区域及监控点，考虑所述监控区域及监控点，以最小时间成本为目标制定飞行路线，生成飞行任务；获取飞行任务执行过程中的飞行数据，所述飞行数据包括视频数据和对应的位姿数据；对所述视频数据进行预处理，得到目标图像，提取目标图像特征点，并结合位姿数据，更新三维地图；展示更新后的三维地图。2.根据权利要求1所述的一种流域应急无人机管理方法，其特征在于，根据水电站位置和历史地质灾害情况，确定监控区域及监控点，包括：获取高空遥感图像，在高空遥感图像上标注水电站位置和历史地质灾害位置及其严重程度，确定监控区域及每个监控区域的重要程度；根据每个监控区域的不同地形，确定是否存在地形特征点；若存在，则将所述地形特征点作为监控点，若不存在，则根据所述监控区域所对应的重要程度，在监控区域内均匀布设监控点。3.根据权利要求1所述的一种流域应急无人机管理方法，其特征在于，考虑所述监控区域及监控点，以最小时间成本为目标制定飞行路线，生成飞行任务，包括：制定基础飞行信息，所述基础飞行信息包括任务名称、循环周期、执行次数、单次任务执行时间、任务期限；根据所述监控区域、监控点以及基础飞行信息，制定飞行路线。4.根据权利要求3所述的一种流域应急无人机管理方法，其特征在于，根据所述监控区域、监控点以及基础飞行信息，制定飞行路线，包括：构建空路线，以无人机控制平台为射线点对所述监控点进行扫描，将扫描到的监控点加入空路线，在加入的监控点到达预设数量时，构建新的空路线；遍历所有监控点，将所有监控点均加入路线，得到初始飞行路线；将所述初始飞行路径作为优化目标确定成本函数，并利用全局最优头脑风暴算法对所述成本函数进行迭代，确定在所述最大迭代次以内的最优飞行路径；基于贪心算法，以时间成本为约束，将两条或者两条以上的最优飞行路线进行拼接，得到飞行路线。5.根据权利要求1所述的一种流域应急无人机管理方法，其特征在于，获取飞行任务执行过程中的飞行数据，包括：获取无人机发送的多路视频流，所述多路视频流为无人机在同一场景下以不同角度采集的加密视频数据，每路视频流的初始帧采集时间的时间差满足预设时间要求；对所述多路视频流进行解析，转换为指定视频格式，得到视频数据。6.根据权利要求1所述的一种流域应急无人机管理方法，其特征在于，对视频数据进行预处理，得到目标图像包括：从所述视频数据中抽取多帧图像；对所述图像进行小波分解，得到低频图像和三个高频图像；对低频图像进行自适应gamma校正，得到对比度增强的低频图像；
分别对三个高频图像进行去噪处理，得到去噪的高频图像；对得到的对比度增强的低频图像和去噪的高频图像进行小波逆变换，得到增强后的图像；为增强后的图像选取合适的校正模型进行图像配准；对图像配准结果进行误差检验；在误差满足要求时，获取配准图像并对配准图像进行归一化处理，得到目标图像。7.根据权利要求6所述的一种流域应急无人机管理方法，其特征在于，提取目标图像特征点，并结合位姿数据，更新三维地图，包括：根据提取到的目标图像特征点对多个目标图像进行相似度匹配，得到若干匹配对；通过特征匹配算法对所有所述匹配对进行特征点匹配，并利用全局运动恢复算法得到目标图像的位姿参数；根据所述图位参数对位姿数据进行修正，得到目标位姿数据；根据所述目标位姿数据和所述目标图像生成三维地形，并对所述三维地形进行纹理映射，得到新的三维地图；将新的三维地图叠加到历史三维地图上的对应区域，对所述历史三维地图进行更新；获得更新后的三维地图，并在更新后的三维地图上标注无人机的位置与轨迹。8.一种流域应急无人机管理平台，其特征在于，包括：任务规划模块，用于根据水电站位置和历史地质灾害情况，确定监控区域及监控点，考虑所述监控区域及监控点，以最小时间成本为目标制定飞行路线，生成飞行任务；数据获取模块，用于获取飞行任务执行过程中的飞行数据，所述飞行数据包括视频数据和对应的位姿数据；数据处理模块，用于对所述视频数据进行预处理，得到目标图像，提取目标图像特征点，并结合位姿数据，更新三维地图；地图展示模块，用于展示更新后的三维地图。

技术总结
本发明提供了一种流域应急无人机管理方法及平台，涉及无人机管理技术领域，所述方法包括：根据水电站位置和历史地质灾害情况，确定监控区域及监控点，考虑所述监控区域及监控点，以最小时间成本为目标制定飞行路线，生成飞行任务；获取飞行任务执行过程中的飞行数据，所述飞行数据包括视频数据和对应的位姿数据；对所述视频数据进行预处理，得到目标图像，提取目标图像特征点，并结合位姿数据，更新三维地图；展示更新后的三维地图。本发明能够自动规划无人机飞行路线，通过无人机采集的数据能够快速、精准地构建新的三维地图并对历史三维地图进行更新，使得三维地图在使用过程中更加全面、详细、精准。精准。精准。


技术研发人员：万欣 贺玉彬 刘敏 黄颖 王成龙
受保护的技术使用者：国能大渡河大数据服务有限公司
技术研发日：2023.03.16
技术公布日：2023/5/24