实现无人机在森林防火中的巡检与灭火方法与流程

1.本发明涉及森林防火技术领域，特别涉及一种实现无人机在森林防火中的巡检与灭火方法。


背景技术：

2.森林是以木本植物为主体的生物群落，其包括乔木林、竹林和国家特别规定灌木林地，森林的植被对维持大气环境至关重要，植被能够吸收二氧化碳，并在光合作用下产生氧气，为人类的生存和发展创造了良好的环境，且能净化空气，维持地球的生态平衡等作用。但是由于自然原因及人为原因造成了森林的火灾，导致大量植物被破坏，火灾产生的粉尘等造成了环境污染，由于森林面积比较大，以往依靠人工进行防火，通过巡逻发现火灾或隐患，采用灭火器、水或工具进行灭火，不仅不能及时发现火灾，而且巡检及灭火效率都较低。随着科技的不断进步，无人机在森林防火中发挥了重要的角色，但是其智能化水平较低，功能较为单一，难以同时实现巡检和灭火的功能。
3.现有技术一，cn201811573497.0一种巡检机器人及其灭火设备、灭火方法，灭火设备包括：安装架以及均设置在安装架上的灭火器和伸缩机构，灭火器朝向伸缩机构的一端设置有按压开关，伸缩机构能向按压开关伸长并触动按压开关，按压开关被触动时灭火器打开。利用伸缩机构打开灭火器，能提升灭火设备的机械化水平，更容易实现灭火设备的自动化控制。虽然将这种灭火设备安装到巡检机器人上后，巡检机器人能在发现火情时第一时间进行灭火，能够将火灾消灭在萌芽阶段，但是不适合森林防火，而且机器人在地面运动，巡检面积有限，且巡检效率低。
4.现有技术二，cn115300828a一种森林火灾救援灭火装置，包括监测站、多架救援无人机、卫星、火情处理平台、森林消防中心、数据传输模块，在相邻两个监测站之间设有用来给救援无人机充电的充电站；当救援无人机、火情处理平台、卫星中的任何一个发现火情后，通过数据传输模块将火情数据传输给森林消防中心。虽然是一种集成有监测站、使用救援无人机远程巡查、卫星监测等多种手段对森林进行防火、救援，通过改进并创新设置充电地坪，使得可以通过远程操控救援无人机在充电地坪处自动插电、断电作业，操作简单方便，可全程无人化作业，特别适合森林地区，成本低，但是仅实现了巡检和发现火灾的性能，缺少灭火的功能，功能单一，导致森林防火效率较低。
5.现有技术三，cn114949664a面向森林消防巡检机器人的陆空联动路径规划控制方法，包括以下步骤：当卫星遥感系统检测到森林某区域发生了火灾时，会将警报信号传输到森林消防控制台；森林消防控制台接收警报，会首先派出无人机编队作为先头部队，接着会派出消防巡检移动机器人前往指定地点灭火；先行前往的无人机编队首先会根据遥感卫星所提供的粗略地形数据，找到一条适合消防巡检移动机器人行驶的路径，向着火灾点飞行，并及时反馈路途中影响消防巡检移动机器人行驶的环境障碍情况；虽然消防巡检移动机器人能够根据无人机先行部队提供的正确路径，快速行驶，不耽误时间，将多功能智能机器人引入，提高了森林消防巡检效率，但是在地面巡检移动速度慢，且不能快速到达火灾点，巡
检及灭火效果不佳。
6.目前现有技术一、现有技术二和现有技术三存在现有森林防火智能设备存在功能单一，巡检及灭火效率低，不能很好的起到森林防火作用的问题，因而，本发明提供一种实现无人机在森林防火中的巡检与灭火方法，通过无人机实现森林的大面积巡检和灭火，极大程度的避免了火灾的发生。


技术实现要素：

7.为了解决上述技术问题，本发明提供了一种实现无人机在森林防火中的巡检与灭火方法，包括以下步骤：
8.无人机获取待巡检区域的电子地图，根据电子地图和飞行时间确认巡检路线；
9.无人机起飞后，红外摄像头拍摄巡检区域的彩色图像，并从彩色图像中分析出火焰图像，若没有火焰，则继续巡检，若存在火焰，则发出报警，并进行灭火；
10.拍摄及灭火的彩色图像无线传输至控制平台，确认灭火完成。
11.可选的，无人机确认巡检路线的过程，包括：
12.无人机通过互联网下载待巡检区域的电子地图；
13.按照地形地貌及植被分布将待巡检区域分为若干节点，节点包含重要节点和非重要节点；
14.无人机按照预设巡检路径规则，在安全飞行时间内规划巡检路线；
15.无人机根据规划的巡检路线进行待巡检区域的巡检。
16.可选的，电子地图中包含待巡检区域的边界、地形地貌及植被分布；重要节点为易发生火灾的节点，非重要节点为不易发生火灾的节点。
17.可选的，预设巡检路径规则包含：不能超出待巡检区域的边界、重要节点的比例要比非重要节点比例多20％及无人机预留到达下一充电站的时间。
18.可选的，预设巡检路径规则，还包括：无人机根据障碍物、飞行路线偏移程度及无人机能耗进行动态路径的优化，具体包括障碍物碰撞函数、飞行路线偏移函数及无人机能耗有效函数，根据障碍物碰撞函数、飞行路线偏移函数及无人机能耗有效函数进行动态路径的规划。
19.可选的，从图像中分析出火焰图像的过程，包括：
20.红外摄像头拍摄巡检区域的彩色图像，红外摄像头的图像处理模块将彩色图像灰度化处理，得到第一灰度图像；
21.图像处理模块对第一灰度图像进行图像分割，得到第一灰度图像对应的火焰掩模图，抠除火焰掩模图的背景，得到去除背景的第二灰度图像；
22.图像处理模块扫描第二灰度图像，将像素为白色的点标号为0，遇到黑色像素，则判断周围像素是否被标号的情况来决定是否给本像素标号，若标号，则记为1，得到标号的第三灰度图像；
23.图像处理模块再将第三灰度图像扫描，统计尖角数不小于8的个数，存在不小于8的尖角数，则判断第三灰度图像中包含火焰图像，即巡检区域存在明火，能够发生火灾；
24.存在明火，无人机的控制器接收到图像处理模块发送的明火指令，发出报警，开启灭火弹发射系统进行灭火，发射后红外摄像头重新拍摄彩色图像，判断是否存在火焰图像，
无火焰图像继续巡检，有火焰图像继续执行灭火动作。
25.可选的，图像处理模块将彩色图像灰度化处理，包括：
26.提取彩色图像的r、g、b三个通道向量化，变成一个列向量；进行初步灰度化；
27.对初步灰度化的彩色图像单边滤波获得邻域主观感觉亮度；
28.根据获得的邻域主观感觉亮度与实际光强的差异，对初步灰度化的彩色图像进行局部对比度线性调整，得到第一灰度图像。
29.可选的，图像处理模块对第一灰度图像进行图像分割的过程，包括：
30.图像处理模块预设训练样本中的巡检区域的训练彩色图像输入预设网络模型，确定训练彩色图像对应的预测彩色图像掩膜图；训练彩色图像包含火焰区域；
31.获取预测彩色图像掩膜图中的火焰边缘，并基于火焰边缘确定预测彩色图像掩膜图对应的权重图；
32.基于权重图、预测彩色图像掩膜图及训练彩色图像对应的火焰图像掩膜图对预设网络模型训练，得到第一灰度图像分割模型；
33.将第一灰度图像输入第一灰度图像分割模型，确定第一灰度图像对应的火焰掩模图。
34.可选的，抠除火焰掩模图的背景，得到去除背景的第二灰度图像，包括：
35.对火焰掩模图的主体区域进行颜色取样；
36.根据颜色容差值对取样的颜色进行范围扩大得到保留颜色范围；
37.根据保留颜色范围对火焰掩模图进行抠除背景处理，得到去除背景的第二灰度图像。
38.可选的，拍摄及灭火的彩色图像无线传输至控制平台的过程，包括：
39.控制平台接收到无人机拍摄及灭火的彩色图像，进行存储；
40.控制平台发现灭火未达到设定标准，则控制无人机灭火弹发射系统继续执行灭火指令；
41.确认灭后完成后，发出无人机继续巡检的指令。
42.本发明首先无人机获取待巡检区域的电子地图，根据电子地图和飞行时间确认巡检路线；其次无人机起飞后，红外摄像头拍摄巡检区域的彩色图像，并从彩色图像中分析出火焰图像，若没有火焰，则继续巡检，若存在火焰，则发出报警，并进行灭火；最后拍摄及灭火的彩色图像无线传输至控制平台，确认灭火完成；通过无人机搭载的红外摄像头对巡检区域拍摄图像，通过对图像进行分析得到此处的尖角数，判断尖角数是否达到预设阈值，若达到阈值无人机则下降高度，确认是明火，则开始灭火；实现了无人机的多功能，不能能够巡检，而且能够进行灭火，极大地提升了无人机的智能控制水平，实现了自动巡检，自动发现，自动判断及自动灭火，解决了传统以人力为主的巡检和灭火，大大提高了森林防火的效率和质量。
43.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
44.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
45.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
46.图1为本发明实施例1中实现无人机在森林防火中的巡检与灭火方法流程图；
47.图2为本发明实施例2中无人机确认巡检路线的过程图；
48.图3为本发明实施例4中从图像中分析出火焰图像的过程图；
49.图4为本发明实施例5中图像处理模块将彩色图像灰度化处理流程图；
50.图5为本发明实施例6中图像处理模块对第一灰度图像进行图像分割的过程图；
51.图6为本发明实施例9中拍摄及灭火的彩色图像无线传输至控制平台的过程图。
具体实施方式
52.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
53.在本技术实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术实施例。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
54.下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。在本技术的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
55.实施例1
56.如图1所示，本发明实施例提供了一种实现无人机在森林防火中的巡检与灭火方法，包括以下步骤：
57.s100：无人机获取待巡检区域的电子地图，根据电子地图和飞行时间确认巡检路线；
58.s200：无人机起飞后，红外摄像头拍摄巡检区域的彩色图像，并从彩色图像中分析出火焰图像，若没有火焰，则继续巡检，若存在火焰，则发出报警，并进行灭火；
59.s300：拍摄及灭火的彩色图像无线传输至控制平台，确认灭火完成。
60.上述技术方案的工作原理和有益效果为：上述方案首先无人机获取待巡检区域的电子地图，根据电子地图和飞行时间确认巡检路线；其次无人机起飞后，红外摄像头拍摄巡检区域的彩色图像，并从彩色图像中分析出火焰图像，若没有火焰，则继续巡检，若存在火焰，则发出报警，并进行灭火；最后拍摄及灭火的彩色图像无线传输至控制平台，确认灭火完成；通过无人机搭载的红外摄像头对巡检区域拍摄图像，通过对图像进行分析得到此处的尖角数，判断尖角数是否达到预设阈值，若达到阈值无人机则下降高度，确认是明火，则开始灭火；实现了无人机的多功能，不能能够巡检，而且能够进行灭火，极大地提升了无人机的智能控制水平，实现了自动巡检，自动发现，自动判断及自动灭火，解决了传统以人力
为主的巡检和灭火，大大提高了森林防火的效率和质量。
61.实施例2
62.如图2所示，在实施例1的基础上，本发明实施例提供的无人机确认巡检路线的过程，包括：
63.s101：无人机通过互联网下载待巡检区域的电子地图，电子地图中包含待巡检区域的边界、地形地貌及植被分布等；
64.s102：按照地形地貌及植被分布将待巡检区域分为若干节点，节点包含重要节点和非重要节点，重要节点为易发生火灾的节点，非重要节点为不易发生火灾的节点；
65.s103：无人机按照预设巡检路径规则，在安全飞行时间内规划巡检路线；预设巡检路径规则包含：不能超出待巡检区域的边界、重要节点的比例要比非重要节点比例多20％及无人机预留到达下一充电站的时间等；
66.s104：无人机根据规划的巡检路线进行待巡检区域的巡检。
67.上述技术方案的工作原理和有益效果为：上述方案首先无人机通过互联网下载待巡检区域的电子地图，电子地图中包含待巡检区域的边界、地形地貌及植被分布等；其次按照地形地貌及植被分布将待巡检区域分为若干节点，节点包含重要节点和非重要节点，重要节点为易发生火灾的节点，非重要节点为不易发生火灾的节点；然后无人机按照预设巡检路径规则，在安全飞行时间内规划巡检路线；预设巡检路径规则包含：不能超出待巡检区域的边界、重要节点的比例要比非重要节点比例多20％及无人机预留到达下一充电站的时间等；最后无人机根据规划的巡检路线进行待巡检区域的巡检；通过将待巡检区域的森林进行节点的划分，让无人机有重点的进行巡检，有利于将火灾发生的概率降到最低，易发生火灾的区域和不易发生火灾的区域有操作人员按照以往火灾数据根据具体情况设定，在每次的巡检路线中设置重要节点和非重要节点的比重，确保实现了森林防火的巡检效果，让巡检更有计划性，省去了人工巡检的费时费力的问题，无人机巡检路线的智能化设计无疑增加了无人机的控制水平，让无人机的应用实践性更强；在巡检路线的规划中考虑了诸多因素，例如边界及飞行时间等，一方面是保证无人机的安全性，另一方面保证最佳的巡检效果，通过巡检路径的规划，提高了森林防火的效果。
68.实施例3
69.在实施例2的基础上，本发明实施例提供的预设巡检路径规则，还包括：无人机根据障碍物、飞行路线偏移程度及无人机能耗进行动态路径的优化，具体包括障碍物碰撞函数、飞行路线偏移函数及无人机能耗有效函数，根据障碍物碰撞函数、飞行路线偏移函数及无人机能耗有效函数进行动态路径gu的规划；
70.障碍物碰撞函数a
risk,u
表征动态路径与森林障碍物发生碰撞的风险，以森林障碍物外接圆作为描述森林障碍物的数学模型，表达式为：
[0071][0072]
其中，risk表示障碍物，u标识动态路径的标号，u＝1,2,3,
…
,m，m表示总动态路径数，cu表示森林障碍物的检测结果，有障碍物cu＝1，没有障碍物cu＝0，σ表示森林障碍物碰撞风险标准差，决定森林障碍物碰撞检测的有效范围，k表示动态路径的修正系数；
[0073]
飞行路线偏移函数b
guid,u
利用动态路径与飞行中心线差值的积分计算得到：
[0074][0075]
其中，guid表示飞行路线偏移，lu(x)表示动态路径的函数，l
lane
表示飞行中心线法线方向的位置偏移量；x表示沿飞行中心线的弧长，x
end
表示沿飞行中心线的弧长的末端，x
sta
表示沿飞行中心线的弧长的首端；
[0076]
无人机能耗有效函数eu的表达式为：
[0077][0078][0079][0080][0081]
其中，q1表示无人机电池内耗，c表示空气阻力系数，s表示无人机横截面积，ρ表示空气密度，l(m,n)表示在无人机在航行中相邻坐标采样点的距离，表示无人机电机的电能转换效率，v
i-1
表示无人机在采样点i-1的飞行速度，vi表示无人机在采样点i的飞行速度；q2表示无人机电机损耗，η表示无人机电机效率，p表示无人机电机额定功率，q3表示横向空气阻力损耗，f表示横向空气阻力，v表示飞行速度，α表示机身侧偏角，eu表示无人机能耗有效值，q表示无人机满电状态下总能量，c表示机身侧偏角和无人机转角相关系数，θ无人机转角，θ∈1，
…
，n；
[0082]gu
＝ω1a
risk,u
+ω2b
guid,u
+ω3eu[0083]
其中，ω1表示障碍物碰撞函数a
risk,u
的权重，ω2表示飞行路线偏移函数c
guid,u
的权重，ω3表示无人机有效能耗函数eu的权重。
[0084]
上述技术方案的工作原理和有益效果为：上述方案通过障碍物碰撞函数、飞行路线偏移函数及无人机能耗有效函数的计算对无人机飞行过程中进行动态路径的优化，实现了根据障碍物碰撞函数、飞行路线偏移函数及无人机能耗有效函数进行动态路径gu的规划；将无人机在森林防火巡检中可能存在的障碍物、路线偏移及工作的有效能耗考虑在内，进行备选路线的优化，使得森林火灾的巡检更加高效，不仅保证了巡检的效率，而且保证了设备的安全可靠；在森林中环境复杂，高山、低地、高的数目及飞禽等对无人机的飞行造成客观的风险，将这些因素考虑在内提高无人机飞行的安全性；由于森林中气候无常，风力变化无常，通过对无人机偏移路线进行计算，对巡检路线进行优化，保证了巡检的质量，也节省了无人机的无功能耗，延长巡检时间和面积；无人机充满电不一定立马巡检，对无人机非
工作状态下的耗能进行计算，得到能工作的有效能量，当有效能量小于阈值时，模式进行充电，确保森林防火巡检的效率。
[0085]
实施例4
[0086]
如图3所示，在实施例1的基础上，本发明实施例提供的从图像中分析出火焰图像的过程，包括：
[0087]
s201：红外摄像头拍摄巡检区域的彩色图像，红外摄像头的图像处理模块将彩色图像灰度化处理，得到第一灰度图像；
[0088]
s202；图像处理模块对第一灰度图像进行图像分割，得到第一灰度图像对应的火焰掩模图，抠除火焰掩模图的背景，得到去除背景的第二灰度图像；
[0089]
s203：图像处理模块扫描第二灰度图像，将像素为白色的点标号为0，遇到黑色像素，则判断周围像素是否被标号的情况来决定是否给本像素标号，若标号，则记为1，得到标号的第三灰度图像；
[0090]
s204：图像处理模块再将第三灰度图像扫描，统计尖角数不小于8的个数，存在不小于8的尖角数，则判断第三灰度图像中包含火焰图像，即巡检区域存在明火，能够发生火灾；
[0091]
s205：存在明火，无人机的控制器接收到图像处理模块发送的明火指令，发出报警，开启灭火弹发射系统进行灭火，发射后红外摄像头重新拍摄彩色图像，判断是否存在火焰图像，无火焰图像继续巡检，有火焰图像继续执行灭火动作。
[0092]
上述技术方案的工作原理和有益效果为：上述方案首先红外摄像头拍摄巡检区域的彩色图像，红外摄像头的图像处理模块将彩色图像灰度化处理，得到第一灰度图像；其次图像处理模块对第一灰度图像进行图像分割，得到第一灰度图像对应的火焰掩模图，抠除火焰掩模图的背景，得到去除背景的第二灰度图像；再次图像处理模块扫描第二灰度图像，将像素为白色的点标号为0，遇到黑色像素，则判断周围像素是否被标号的情况来决定是否给本像素标号，若标号，则记为1，得到标号的第三灰度图像；然后图像处理模块再将第三灰度图像扫描，统计尖角数不小于8的个数，存在不小于8的尖角数，则判断第三灰度图像中包含火焰图像，即巡检区域存在明火，能够发生火灾；最后存在明火，无人机的控制器接收到图像处理模块发送的明火指令，发出报警，开启灭火弹发射系统进行灭火，发射后红外摄像头重新拍摄彩色图像，判断是否存在火焰图像，无火焰图像继续巡检，有火焰图像继续执行灭火动作；通过拍摄彩色图像，对彩色图像进行处理，得到灰度图像，对灰度图像进行标号，对图像中的尖角数进行统计，通过尖角数目判断是否存在火焰图像，上述方案简单快捷，通过判断火焰图像是否存在即可，而且有无人机单独执行，不需要协作，能够做到快速发现，快速处理，极大地提高了明火的处理效率，将火灾的发生概率降到了最低。
[0093]
实施例5
[0094]
如图4所示，在实施例4的基础上，本发明实施例提供的图像处理模块将彩色图像灰度化处理，包括：
[0095]
s2011：提取彩色图像的r、g、b三个通道向量化，变成一个列向量；进行初步灰度化；
[0096]
s2012：对初步灰度化的彩色图像单边滤波获得邻域主观感觉亮度；
[0097]
s2013：根据获得的邻域主观感觉亮度与实际光强的差异，对初步灰度化的彩色图
像进行局部对比度线性调整，得到第一灰度图像。
[0098]
上述技术方案的工作原理和有益效果为：上述方案首先提取彩色图像的r、g、b三个通道向量化，变成一个列向量；进行初步灰度化；然后对初步灰度化的彩色图像单边滤波获得邻域主观感觉亮度；最后根据获得的邻域主观感觉亮度与实际光强的差异，对初步灰度化的彩色图像进行局部对比度线性调整，得到第一灰度图像；通过根据获得的邻域主观感觉亮度与实际光强的差异，对初步灰度化的彩色图像进行局部对比度线性调整，实现了灰度图像的局部增强，能够进一步提升第一灰度图像的清晰度，更加的符合森林待巡检区域的实际情况，有助于提高火焰图像的识别精度，提升森林火灾判断的准确率。
[0099]
实施例6
[0100]
如图5所示，在实施例4的基础上，本发明实施例提供的图像处理模块对第一灰度图像进行图像分割的过程，包括：
[0101]
s2021：图像处理模块预设训练样本中的巡检区域的训练彩色图像输入预设网络模型，确定训练彩色图像对应的预测彩色图像掩膜图；训练彩色图像包含火焰区域；
[0102]
s2022：获取预测彩色图像掩膜图中的火焰边缘，并基于火焰边缘确定预测彩色图像掩膜图对应的权重图；
[0103]
s2023：基于权重图、预测彩色图像掩膜图及训练彩色图像对应的火焰图像掩膜图对预设网络模型训练，得到第一灰度图像分割模型；
[0104]
s2024：将第一灰度图像输入第一灰度图像分割模型，确定第一灰度图像对应的火焰掩模图。
[0105]
上述技术方案的工作原理和有益效果为：上述方案首先图像处理模块预设训练样本中的巡检区域的训练彩色图像输入预设网络模型，确定训练彩色图像对应的预测彩色图像掩膜图；训练彩色图像包含火焰区域；其次获取预测彩色图像掩膜图中的火焰边缘，并基于火焰边缘确定预测彩色图像掩膜图对应的权重图；然后基于权重图、预测彩色图像掩膜图及训练彩色图像对应的火焰图像掩膜图对预设网络模型训练，得到第一灰度图像分割模型；最后将第一灰度图像输入第一灰度图像分割模型，确定第一灰度图像对应的火焰掩模图；通过权重图、预测彩色图像掩膜图及训练彩色图像对应的火焰图像掩膜图对预设网络模型训练，得到第一灰度图像分割模型，实现了第一灰度图像的分割，得到了火焰掩模图，提升了第一灰度图像的清晰度，为火焰图像的识别提供了准确的图像。
[0106]
实施例7
[0107]
在实施例4的基础上，本发明实施例提供的抠除火焰掩模图的背景，得到去除背景的第二灰度图像，包括：
[0108]
对火焰掩模图的主体区域进行颜色取样；
[0109]
根据颜色容差值对取样的颜色进行范围扩大得到保留颜色范围；
[0110]
根据保留颜色范围对火焰掩模图进行抠除背景处理，得到去除背景的第二灰度图像。
[0111]
上述技术方案的工作原理和有益效果为：上述方案首先对火焰掩模图的主体区域进行颜色取样；然后根据颜色容差值对取样的颜色进行范围扩大得到保留颜色范围；最后根据保留颜色范围对火焰掩模图进行抠除背景处理，得到去除背景的第二灰度图像，通过根据保留颜色范围对火焰掩模图进行抠除背景处理，去除了背景图像对火焰图像识别的影
响，有助于提升无人机在森林防火中巡检的质量，实现火灾的早发现，并能早处理，保证森林生态的安全。
[0112]
实施例8
[0113]
在实施例4的基础上，本发明实施例提供的判断周围像素是否被标号的情况来决定是否给本像素标号，包括：
[0114]
处理第二灰度图像的第一行，如果左边的第二灰度图像的像素没有被标号，则将第一个遇到的黑色的像素标号，反之，则设置为跟左边的第二灰度图像的像素相同的标号；接着处理第二灰度图像的第一列，如果第一列上边的像素未被标号，则将第一个遇到的黑色像素标号，反之，则设置为跟上边像素相同的标号。
[0115]
上述技术方案的工作原理和有益效果为：上述方案处理第二灰度图像的第一行，如果左边的第二灰度图像的像素没有被标号，则将第一个遇到的黑色的像素标号，反之，则设置为跟左边的第二灰度图像的像素相同的标号；接着处理第二灰度图像的第一列，如果第一列上边的像素未被标号，则将第一个遇到的黑色像素标号，反之，则设置为跟上边像素相同的标号；图像处理模块扫描第二灰度图像，将像素为白色的点标号为0，遇到黑色像素，则判断周围像素是否被标号的情况来决定是否给本像素标号，若标号，则记为1，得到标号的第三灰度图像，实现了第二灰度图像尖角数的统计，为准确的识别火焰图像奠定了技术和数据基础。
[0116]
实施例9
[0117]
如图6所示，在实施例1的基础上，本发明实施例提供的拍摄及灭火的彩色图像无线传输至控制平台的过程，包括：
[0118]
s301：控制平台接收到无人机拍摄及灭火的彩色图像，进行存储；
[0119]
s302：控制平台发现灭火未达到设定标准，则控制无人机灭火弹发射系统继续执行灭火指令；
[0120]
s303：确认灭后完成后，发出无人机继续巡检的指令。
[0121]
上述技术方案的工作原理和有益效果为：上述方案首先控制平台接收到无人机拍摄及灭火的彩色图像，进行存储；其次控制平台发现灭火未达到设定标准，则控制无人机灭火弹发射系统继续执行灭火指令；最后确认灭后完成后，发出无人机继续巡检的指令；实现了对无人机的智能化监督，确保巡检及灭火的质量，为森林的生态环境安全提供一道屏障。
[0122]
实施例10：
[0123]
在实施例4的基础上，本发明实施例提供的灭火弹发射系统，包括：灭火剂填充模块、推进模块和激发模块；
[0124]
灭火剂填充模块，负责填充灭火弹；
[0125]
推进模块，负责将灭火弹退出无人机的弹仓，确保灭火弹准确的到达明火的表面；
[0126]
激发模块，负责实施灭火弹内灭火剂的发射，直接附着在明火的表面。
[0127]
上述技术方案的工作原理和有益效果为：上述方案灭火剂填充模块负责填充灭火弹；推进模块负责将灭火弹退出无人机的弹仓，确保灭火弹准确的到达明火的表面；激发模块负责实施灭火弹内灭火剂的发射，直接附着在明火的表面；实现了灭火弹的自我控制发射，接收到无人机的控制指令推进模块马上工作，将灭火弹发出，在激发模块的作用下，灭火剂准确的到达明火表面，实施灭火，省去了人工灭火的繁琐，提高了灭火的安全性。
[0128]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

技术特征：
1.一种实现无人机在森林防火中的巡检与灭火方法，其特征在于，包括以下步骤：无人机获取待巡检区域的电子地图，根据电子地图和飞行时间确认巡检路线；无人机起飞后，红外摄像头拍摄巡检区域的彩色图像，并从彩色图像中分析出火焰图像，若没有火焰，则继续巡检，若存在火焰，则发出报警，并进行灭火；拍摄及灭火的彩色图像无线传输至控制平台，确认灭火完成。2.如权利要求1所述的实现无人机在森林防火中的巡检与灭火方法，其特征在于，无人机确认巡检路线的过程，包括：无人机通过互联网下载待巡检区域的电子地图；按照地形地貌及植被分布将待巡检区域分为若干节点，节点包含重要节点和非重要节点；无人机按照预设巡检路径规则，在安全飞行时间内规划巡检路线；无人机根据规划的巡检路线进行待巡检区域的巡检。3.如权利要求2所述的实现无人机在森林防火中的巡检与灭火方法，其特征在于，电子地图中包含待巡检区域的边界、地形地貌及植被分布；重要节点为易发生火灾的节点，非重要节点为不易发生火灾的节点。4.如权利要求2所述的实现无人机在森林防火中的巡检与灭火方法，其特征在于，预设巡检路径规则包含：不能超出待巡检区域的边界、重要节点的比例要比非重要节点比例多20％及无人机预留到达下一充电站的时间。5.如权利要求4所述的实现无人机在森林防火中的巡检与灭火方法，其特征在于，预设巡检路径规则，还包括：无人机根据障碍物、飞行路线偏移程度及无人机能耗进行动态路径的优化，具体包括障碍物碰撞函数、飞行路线偏移函数及无人机能耗有效函数，根据障碍物碰撞函数、飞行路线偏移函数及无人机能耗有效函数进行动态路径的规划。6.如权利要求1所述的实现无人机在森林防火中的巡检与灭火方法，其特征在于，从图像中分析出火焰图像的过程，包括：红外摄像头拍摄巡检区域的彩色图像，红外摄像头的图像处理模块将彩色图像灰度化处理，得到第一灰度图像；图像处理模块对第一灰度图像进行图像分割，得到第一灰度图像对应的火焰掩模图，抠除火焰掩模图的背景，得到去除背景的第二灰度图像；图像处理模块扫描第二灰度图像，将像素为白色的点标号为0，遇到黑色像素，则判断周围像素是否被标号的情况来决定是否给本像素标号，若标号，则记为1，得到标号的第三灰度图像；图像处理模块再将第三灰度图像扫描，统计尖角数不小于8的个数，存在不小于8的尖角数，则判断第三灰度图像中包含火焰图像，即巡检区域存在明火，能够发生火灾；存在明火，无人机的控制器接收到图像处理模块发送的明火指令，发出报警，开启灭火弹发射系统进行灭火，发射后红外摄像头重新拍摄彩色图像，判断是否存在火焰图像，无火焰图像继续巡检，有火焰图像继续执行灭火动作。7.如权利要求6所述的实现无人机在森林防火中的巡检与灭火方法，其特征在于，图像处理模块将彩色图像灰度化处理，包括：提取彩色图像的r、g、b三个通道向量化，变成一个列向量；进行初步灰度化；
对初步灰度化的彩色图像单边滤波获得邻域主观感觉亮度；根据获得的邻域主观感觉亮度与实际光强的差异，对初步灰度化的彩色图像进行局部对比度线性调整，得到第一灰度图像。8.如权利要求6所述的实现无人机在森林防火中的巡检与灭火方法，其特征在于，图像处理模块对第一灰度图像进行图像分割的过程，包括：图像处理模块预设训练样本中的巡检区域的训练彩色图像输入预设网络模型，确定训练彩色图像对应的预测彩色图像掩膜图；训练彩色图像包含火焰区域；获取预测彩色图像掩膜图中的火焰边缘，并基于火焰边缘确定预测彩色图像掩膜图对应的权重图；基于权重图、预测彩色图像掩膜图及训练彩色图像对应的火焰图像掩膜图对预设网络模型训练，得到第一灰度图像分割模型；将第一灰度图像输入第一灰度图像分割模型，确定第一灰度图像对应的火焰掩模图。9.如权利要求6所述的实现无人机在森林防火中的巡检与灭火方法，其特征在于，抠除火焰掩模图的背景，得到去除背景的第二灰度图像，包括：对火焰掩模图的主体区域进行颜色取样；根据颜色容差值对取样的颜色进行范围扩大得到保留颜色范围；根据保留颜色范围对火焰掩模图进行抠除背景处理，得到去除背景的第二灰度图像。10.如权利要求1所述的实现无人机在森林防火中的巡检与灭火方法，其特征在于，拍摄及灭火的彩色图像无线传输至控制平台的过程，包括：控制平台接收到无人机拍摄及灭火的彩色图像，进行存储；控制平台发现灭火未达到设定标准，则控制无人机灭火弹发射系统继续执行灭火指令；确认灭后完成后，发出无人机继续巡检的指令。

技术总结
本发明提供了一种实现无人机在森林防火中的巡检与灭火方法，方法包括：无人机获取待巡检区域的电子地图，根据电子地图和飞行时间确认巡检路线；无人机起飞后，红外摄像头拍摄巡检区域的彩色图像，并从彩色图像中分析出火焰图像，若没有火焰，则继续巡检，若存在火焰，则发出报警，并进行灭火；拍摄及灭火的彩色图像无线传输至控制平台，确认灭火完成。本发明通过对图像进行分析得到此处的尖角数，判断尖角数是否达到预设阈值，若达到阈值无人机则下降高度，确认是明火，则开始灭火；实现了无人机的多功能，不能能够巡检，而且能够进行灭火，极大地提升了无人机的智能控制水平，实现了自动巡检，自动发现，自动判断及自动灭火。自动判断及自动灭火。自动判断及自动灭火。


技术研发人员：孙旋 袁沙沙 郝杨 卢金汉 赵玉飞
受保护的技术使用者：建研防火科技有限公司
技术研发日：2023.03.15
技术公布日：2023/7/7