林火烟雾语义分割检测方法及系统

1.本发明涉及森林火灾智能识别技术领域，特别涉及一种林火烟雾语义分割检测方法及系统。


背景技术：

2.森林火灾是火灾中突发性强、破坏性大、处置救助较为困难的一种。及时准确地发现森林火灾是避免危害的基本保障，在森林火灾预警和扑救工作中发挥出重要作用。基于机器视觉的林火智能检测技术是一种基于机器视觉、非接触的火灾探测技术，尤其适合解决大空间、室外等场所的火灾探测难题。这类方法具有响应快、不易受环境因素影响、适用面广、成本低等优势，成为火灾检测方法中较为重要的交叉学科研究领域。
3.烟雾是早期森林火灾最为突出的现象，火灾的发生往往是先有阴燃产生的烟雾而后才有火焰，有时即便有明火存在，受森林地形环境的影响，如着火点在山谷深处，监控塔、瞭望台并不能直接观测到着火区域。因此，基于机器视觉的林火烟雾智能识别研究更具有实际意义。然而，烟雾形状、色彩千变万化，运动规律难以把握，给视频图像烟雾检测带来了巨大的挑战烟雾的这些特殊性一方面使得非烟雾检测领域的检测方法并不适用于烟雾检测，另一方面使得现有烟雾检测方法的误报率、漏报率等参数偏高。
4.近年来，深度语义分割技术的引入，使得烟雾检测的效果进一步提升。目前林火烟雾监测多引入的是常规烟雾检测方法，没有考虑到林火烟雾的特殊性。尽管取得了一定的成绩，但识别效果以及识别稳定性均不太理想，误报率较高。其主要原因在于：(1)很多背景、物体具有烟雾类似的色彩分布和纹理模式，例如复杂的森林环境、多变的气候条件以及云、雾、裸露地面、尘埃等；(2)存在烟雾的林火图像一般比较模糊、对比度比较低，难以提取有效特征；(3)稀薄烟雾无法完全遮挡背景图像，造成半透明效果，无法有效去除背景干扰；(4)烟雾形状等视觉特征随时间不停变化；(5)存在遮挡等非烟雾干扰目标。此外，数据驱动的深度学习方法需要大样本量的训练数据和密集标注，而真实的林火烟雾样本难以大量采集并进行标注。


技术实现要素：

5.基于此，本发明的目的是提出一种林火烟雾语义分割检测方法及系统，以解决了常规烟雾检测方法在林火烟雾检测时无法适用于复杂林地背景从而误报率、漏报率偏高的问题。
6.本发明一方面提出一种林火烟雾语义分割检测方法，所述方法包括：
7.建立用于引导的先验知识，所述先验知识包括林火烟雾先验知识和林火背景中类烟干扰先验知识，以根据所述林火烟雾先验知识和所述林火背景中类烟目标先验知识合成数据集；
8.基于对抗自编码器模型对所述数据集进行两阶段的数据增强，得到数据增强后的数据集，所述数据增强后的数据集包括多份林火烟雾样本和与每份所述林火烟雾样本分别
对应的烟雾整图标签以及多份类烟目标样本和与所述类烟目标样本分别对应的烟雾整图标签；
9.将多份林火烟雾样本和与每份所述林火烟雾样本分别对应的烟雾整图标签以及多份类烟目标样本和与所述类烟目标样本分别对应的烟雾整图标签输入到林火深度语义分割模型中进行预训练，以使模型输出用于辨别林火烟雾和类烟目标的网络初始权重；
10.将多份林火烟雾样本和与每份所述林火烟雾样本分别对应的烟雾整图标签作为得到网络初始权重的林火深度语义分割模型的输入，并分成两个分支进行输出，其中一分支输出背景图像，另一分支输出纯林火烟雾图像以及与所述纯林火烟雾图像对应的烟雾浓度；
11.根据输出的背景图像、纯林火烟雾图像以及与所述纯林火烟雾图像对应的烟雾浓度合成新的林火烟雾图像，并将所述新的林火烟雾图像输入到林火深度语义分割模型进行语义分割识别训练，得到训练后的林火深度语义分割模型。
12.在本发明较佳实施例中，所述建立用于引导的先验知识，所述先验知识包括林火烟雾先验知识和林火背景中类烟干扰先验知识，以根据所述林火烟雾先验知识和所述林火背景中类烟目标先验知识合成数据集的步骤包括：
13.采用基于计算流体动力学领域中的navier-stokes方程来描述烟雾的自由运动并建立模型；
14.求解navier-stokes方程后，采用体绘制方式可视化模拟烟雾，以生成多份纯林火烟雾图像，以根据多份纯林火烟雾图像构建纯林火烟雾图像集；
15.基于先验知识采集真实林地图像，并从国际标准数据库中选取复杂森林环境的背景图，并收集含林火背景的类烟目标图像，以根据所述复杂森林环境的背景图、所述真实林地图像、含林火背景的类烟目标图像构建背景图像集。
16.在本发明较佳实施例中，所述建立用于引导的先验知识，所述先验知识包括林火烟雾先验知识和林火背景中类烟干扰先验知识，以根据所述林火烟雾先验知识和所述林火背景中类烟目标先验知识合成数据集的步骤还包括：
17.根据所述纯林火烟雾图像集和所述背景图像集随机合成多份林火烟雾图像和类烟目标图像；
18.所述根据所述纯林火烟雾图像集和所述背景图像集随机合成多份林火烟雾图像和类烟目标图像的步骤包括：
19.根据以下公式合成林火烟雾图像或类烟目标图像：
20.i＝b(1-α)+sα
21.其中，i表示合成的林火烟雾图像或类烟目标图像，b表示背景图像集中的随机图像，α表示烟雾的半透明度，s表示纯林火烟雾图像集中的随机图像。
22.在本发明较佳实施例中，根据以下公式计算得到烟雾的半透明度：
[0023][0024]
其中，d表示光通过烟雾粒子的传播长度，τ(t)表示烟雾粒子在t处的衰减系数。
[0025]
在本发明较佳实施例中，所述基于对抗自编码器模型对所述数据集进行两阶段的数据增强，得到数据增强后的数据集，所述数据增强后的数据集包括多份林火烟雾样本和与每份所述林火烟雾样本分别对应的烟雾整图标签以及多份类烟目标样本和与所述类烟
目标样本分别对应的烟雾整图标签的步骤包括：
[0026]
对数据集进行监督数据增强，包括：随机旋转图像，以改变图像内容的朝向；随机水平或垂直翻转图像；按随机比例，缩放原始图像；采用不同尺度的高斯核，对图像进行滤波来构造尺度空间，并在尺度空间随机生成图像内容可变或模糊程度各异的样本图像；
[0027]
对数据集进行无监督数据增强，通过编码器对输入的数据集中的图像进行编码，并将得到的低维特征代替白噪声送入生成器和辨别器进行对抗训练，最终得到对抗生成网络模型生成的样本图像。
[0028]
本发明另一方面提出一种林火烟雾语义分割检测系统，其特征在于，所述系统包括：
[0029]
数据集合成模块，用于建立用于引导的先验知识，所述先验知识包括林火烟雾先验知识和林火背景中类烟干扰先验知识，以根据所述林火烟雾先验知识和所述林火背景中类烟目标先验知识合成数据集；
[0030]
数据集增强模块，用于基于对抗自编码器模型对所述数据集进行两阶段的数据增强，得到数据增强后的数据集，所述数据增强后的数据集包括多份林火烟雾样本和与每份所述林火烟雾样本分别对应的烟雾整图标签以及多份类烟目标样本和与所述类烟目标样本分别对应的烟雾整图标签；
[0031]
预训练模块，用于将多份林火烟雾样本和与每份所述林火烟雾样本分别对应的烟雾整图标签以及多份类烟目标样本和与所述类烟目标样本分别对应的烟雾整图标签输入到林火深度语义分割模型中进行预训练，以使模型输出用于辨别林火烟雾和类烟目标的网络初始权重；
[0032]
语义分割模块，用于将多份林火烟雾样本和与每份所述林火烟雾样本分别对应的烟雾整图标签作为得到网络初始权重的林火深度语义分割模型的输入，并分成两个分支进行输出，其中一分支输出背景图像，另一分支输出纯林火烟雾图像以及与所述纯林火烟雾图像对应的烟雾浓度；
[0033]
语义分割训练模块，用于根据输出的背景图像、纯林火烟雾图像以及与所述纯林火烟雾图像对应的烟雾浓度合成新的林火烟雾图像，并将所述新的林火烟雾图像输入到林火深度语义分割模型进行语义分割识别训练，得到训练后的林火深度语义分割模型。
[0034]
在本发明较佳实施例中，所述数据集合成模块还包括：
[0035]
流体动力模型构建单元，用于采用基于计算流体动力学领域中的navier-stokes方程来描述烟雾的自由运动并建立模型；
[0036]
纯林火烟雾图像集构建单元，用于求解navier-stokes方程后，采用体绘制方式可视化模拟烟雾，以生成多份纯林火烟雾图像，以根据多份纯林火烟雾图像构建纯林火烟雾图像集；
[0037]
背景图像集构建单元，用于基于先验知识采集真实林地图像，并从国际标准数据库中选取复杂森林环境的背景图，并收集含林火背景的类烟目标图像，以根据所述复杂森林环境的背景图、所述真实林地图像、含林火背景的类烟目标图像构建背景图像集。
[0038]
在本发明较佳实施例中，所述数据集合成模块还包括：
[0039]
图像合成单元，用于根据所述纯林火烟雾图像集和所述背景图像集随机合成多份林火烟雾图像和类烟目标图像；
[0040]
并用于根据以下公式合成林火烟雾图像或类烟目标图像：
[0041]
i＝b(1-α)+sα
[0042]
其中，i表示合成的林火烟雾图像或类烟目标图像，b表示背景图像集中的随机图像，α表示烟雾的半透明度，s表示纯林火烟雾图像集中的随机图像。
[0043]
在本发明较佳实施例中，所述图像合成单元还包括：
[0044]
半透明度计算子单元，用于根据以下公式计算得到烟雾的半透明度：
[0045][0046]
其中，d表示光通过烟雾粒子的传播长度，τ(t)表示烟雾粒子在t处的衰减系数。
[0047]
在本发明较佳实施例中，所述数据集增强模块还包括：
[0048]
监督数据增强执行单元，用于对数据集进行监督数据增强，包括：随机旋转图像，以改变图像内容的朝向；随机水平或垂直翻转图像；按随机比例，缩放原始图像；采用不同尺度的高斯核，对图像进行滤波来构造尺度空间，并在尺度空间随机生成图像内容可变或模糊程度各异的样本图像；
[0049]
无监督数据增强执行单元，用于对数据集进行无监督数据增强，通过编码器对输入的数据集中的图像进行编码，并将得到的低维特征代替白噪声送入生成器和辨别器进行对抗训练，最终得到对抗生成网络模型生成的样本图像。
[0050]
与现有技术相比，本发明具有以下优点：
[0051]
1.本发明采用模拟合成的方法建立大样本林火烟雾图像数据集，为后续研究奠定基础，为保证合成数据的科学性，借助流形理论进行数据增强，从而解决难以获取大量真实林火烟雾视频图像的难题；
[0052]
2.本发明对语义分割模型中的编码网络进行类烟目标分类预训练，将训练后的模型复用到语义分割模型中作为编码器，从而将去除类烟目标干扰的能力整合到语义分割中，解决了林火烟雾智能检测易受到云、雾等类烟目标干扰的问题。
[0053]
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
附图说明
[0054]
图1为本发明第一实施例中林火烟雾语义分割检测方法的流程图；
[0055]
图2为大规模林火烟雾数据集构建技术路线图；
[0056]
图3为基于aae的林火烟雾图像合成示意图；
[0057]
图4为基于调制滤波器浅层卷积特征示意图；
[0058]
图5为林火烟雾深度语义分割模型示意图；
[0059]
图6为本发明第二实施例中林火烟雾语义分割检测系统的结构示意图。
[0060]
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
[0061]
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所
描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
[0062]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0063]
请参阅图1，所示为本发明第一实施例中一种林火烟雾语义分割检测方法的流程图，该方法包括步骤s01至步骤s05，其中：
[0064]
步骤s01：建立用于引导的先验知识，所述先验知识包括林火烟雾先验知识和林火背景中类烟干扰先验知识，以根据所述林火烟雾先验知识和所述林火背景中类烟目标先验知识合成数据集；
[0065]
需要说明的是，构建数据集的具体流程包括：
[0066]
如附图2中a部分所示，首先建立用于引导的先验知识，包括林火烟雾先验和林火背景中类烟干扰先验两部分。
[0067]
如附图2中b“烟雾模拟”部分所示，采用基于计算流体动力学领域中的navier-stokes方程来描述烟雾的自由运动并建立模型，求解navier-stokes方程后，借用blender等软件采用体绘制方法来可视化模拟烟雾，生成大量纯林火烟雾图像，以构建纯林火烟雾图像集。
[0068]
如附图2中b“背景选取”部分所示，一方面从国际标准数据库中选取能突出复杂森林环境的背景图，另一方面基于上一步研究所得的先验知识广泛采集真实林地图像，形成背景图像集。其中特别选取采集、收集了含林火背景中类烟干扰的图像，以构建背景图像集。
[0069]
将可视化模拟的纯烟雾图像与林火烟雾背景随机合成，形成大规模林火烟雾合成数据集，具体为根据所述纯林火烟雾图像集和所述背景图像集随机合成多份林火烟雾图像和类烟目标图像：
[0070]
根据以下公式合成林火烟雾图像或类烟目标图像：
[0071]
i＝b(1-α)+sα
[0072]
其中，i表示合成的林火烟雾图像或类烟目标图像，b表示背景图像集中的随机图像，α表示烟雾的半透明度，s表示纯林火烟雾图像集中的随机图像。
[0073]
利用透射、散射造成的烟雾半透明性，定义烟雾的半透明度为α，具体根据以下公式计算得到烟雾的半透明度：
[0074][0075]
其中，d表示光通过烟雾粒子的传播长度，τ(t)表示烟雾粒子在t处的衰减系数。
[0076]
由于α在物理上反映了图像的烟雾浓度值，进一步用s与α的乘积替代烟粒子的散射强度s(d)，则s表征为烟雾色彩和烟雾半透明系数共同作用产生的结果。
[0077]
步骤s02：基于对抗自编码器模型对所述数据集进行两阶段的数据增强，得到数据增强后的数据集，所述数据增强后的数据集包括多份林火烟雾样本和与每份所述林火烟雾样本分别对应的烟雾整图标签以及多份类烟目标样本和与所述类烟目标样本分别对应的烟雾整图标签；
[0078]
需要说明的是，在对数据集进行数据增强的过程中，如附图2中c部分所示，具体为：
[0079]
第一阶段为监督数据增强。随机旋转图像一定角度，改变图像内容的朝向；随机水平或垂直翻转图像；按随机比例，缩放原始图像；采用不同尺度的高斯核，对图像进行滤波来构造尺度空间，然后在尺度空间，随机生成图像内容可变或模糊程度各异的样本图像；
[0080]
第二阶段为无监督数据增强。训练基于对抗生成网络模型(gan)的对抗自编码器模型生成多样的合成林火烟雾图像。如附图3所示，通过编码器e对输入图像进行编码，将得到低维特征z代替白噪声送入生成器g和辨别器d进行对抗训练，最终得到模型生成的林火烟雾图像(样本图像)。
[0081]
步骤s03：将多份林火烟雾样本和与每份所述林火烟雾样本分别对应的烟雾整图标签以及多份类烟目标样本和与所述类烟目标样本分别对应的烟雾整图标签输入到林火深度语义分割模型中进行预训练，以使模型输出用于辨别林火烟雾和类烟目标的网络初始权重；
[0082]
需要指出的是，首先增强模型对云、雾等林火中常见类烟目标抗干扰性的预训练阶段，如附图5中所示。通过对合成数据库中的烟雾进行全图标记后，与类烟目标一起送入resnet模型进行迁移训练。训练好的模型已经编码了辨别烟雾与类烟目标的信息，再将识别模型中的编码部分复用为烟雾浓度估计阶段的编码部分；
[0083]
进一步地，由于深度模型中的深层特征多为语义信息，因此本方法仅对浅层特征进行基于调制卷积滤波器的浅层特征学习。如附图4所示，将可控的滤波器与深度网络模型中学习到的浅层特征采用类似元素相乘的方法，得到调制后的滤波器，然后用调制过的滤波器对输入的特征图进行卷积产生输出特征图，如此则不需要重新设置权重。
[0084]
步骤s04：将多份林火烟雾样本和与每份所述林火烟雾样本分别对应的烟雾整图标签作为得到网络初始权重的林火深度语义分割模型的输入，并分成两个分支进行输出，其中一分支输出背景图像，另一分支输出纯林火烟雾图像以及与所述纯林火烟雾图像对应的烟雾浓度；
[0085]
在本步骤中，如附图5所示，两个解码分支为林火背景解码分支和纯林火烟雾解码分支，两个分支的输出分别为背景图像、纯林火烟雾及alpha通道(烟雾浓度)，为尽可能减少合成图像的噪声干扰，在训练阶段进一步将两个分支的输出再通过卷积重建林火图像。
[0086]
步骤s05：根据输出的背景图像、纯林火烟雾图像以及与所述纯林火烟雾图像对应的烟雾浓度合成新的林火烟雾图像，并将所述新的林火烟雾图像输入到林火深度语义分割模型进行语义分割识别训练，得到训练后的林火深度语义分割模型。
[0087]
可以理解的是，通过将新的林火烟雾图像不断输入到模型中进行训练，直至求得的损失函数值达到训练要求，进而得到经过训练后的林火深度语义分割模型，该训练后的林火深度语义分割模型能够适用于复杂林地背景，同时检测精确度较高。
[0088]
综上，通过提出一种林火烟雾语义分割检测方法，解决了常规烟雾检测方法在林火烟雾检测时无法适用于复杂林地背景从而误报率、漏报率偏高的问题。特别针对林火烟雾的固有特性，进一步通过基于流体力学模型仿真模拟林火烟雾，采集真实复杂林地图像，从而合成大规模林火数据集，解决困扰林火烟雾检测的大规模样本缺乏及难以标注的问题。在此基础上采用两阶段的数据增强，重点关注基于aae的无监督数据增强，学习高维合
成林火烟雾图像的低维潜在流型分布，进一步接近并重建真实林火图像的流形，从而基于给定的低维白噪声生成逼真的林火烟雾图像，解决了合成图像自身存在的局限性，进一步增强了样本的多样性。通过对浅层特征采用调制卷积滤波器进行学习，由于可控滤波器不需要参与到网络的反向传播学习中，合理的调制方式能够在不增加网络参数及训练代价的前提下，进一步提升深度模型对几何形变的建模能力。对语义分割模型中的编码网络进行类烟目标分类预训练，将训练后的模型复用到语义分割模型中作为编码器，从而将去除类烟目标干扰的能力整合到语义分割中，解决了林火烟雾智能检测易受到云、雾等类烟目标干扰的问题。
[0089]
请参阅图6，所示为本发明第二实施例中林火烟雾语义分割检测系统的结构示意图，该系统包括：
[0090]
数据集合成模块10，用于建立用于引导的先验知识，所述先验知识包括林火烟雾先验知识和林火背景中类烟干扰先验知识，以根据所述林火烟雾先验知识和所述林火背景中类烟目标先验知识合成数据集；
[0091]
进一步地，所述数据集合成模块10还包括：
[0092]
流体动力模型构建单元，用于采用基于计算流体动力学领域中的navier-stokes方程来描述烟雾的自由运动并建立模型；
[0093]
纯林火烟雾图像集构建单元，用于求解navier-stokes方程后，采用体绘制方式可视化模拟烟雾，以生成多份纯林火烟雾图像，以根据多份纯林火烟雾图像构建纯林火烟雾图像集；
[0094]
背景图像集构建单元，用于基于先验知识采集真实林地图像，并从国际标准数据库中选取复杂森林环境的背景图，并收集含林火背景的类烟目标图像，以根据所述复杂森林环境的背景图、所述真实林地图像、含林火背景的类烟目标图像构建背景图像集；
[0095]
图像合成单元，用于根据所述纯林火烟雾图像集和所述背景图像集随机合成多份林火烟雾图像和类烟目标图像；
[0096]
并用于根据以下公式合成林火烟雾图像或类烟目标图像：
[0097]
i＝b(1-α)+sα
[0098]
其中，i表示合成的林火烟雾图像或类烟目标图像，b表示背景图像集中的随机图像，α表示烟雾的半透明度，s表示纯林火烟雾图像集中的随机图像。
[0099]
进一步地，所述图像合成单元还包括：
[0100]
半透明度计算子单元，用于根据以下公式计算得到烟雾的半透明度：
[0101][0102]
其中，d表示光通过烟雾粒子的传播长度，τ(t)表示烟雾粒子在t处的衰减系数。
[0103]
数据集增强模块20，用于基于对抗自编码器模型对所述数据集进行两阶段的数据增强，得到数据增强后的数据集，所述数据增强后的数据集包括多份林火烟雾样本和与每份所述林火烟雾样本分别对应的烟雾整图标签以及多份类烟目标样本和与所述类烟目标样本分别对应的烟雾整图标签；
[0104]
进一步地，所述数据集增强模块20还包括：
[0105]
的林火烟雾语义分割检测系统，其特征在于，所述数据集增强模块还包括：
[0106]
监督数据增强执行单元，用于对数据集进行监督数据增强，包括：随机旋转图像，以改变图像内容的朝向；随机水平或垂直翻转图像；按随机比例，缩放原始图像；采用不同尺度的高斯核，对图像进行滤波来构造尺度空间，并在尺度空间随机生成图像内容可变或模糊程度各异的样本图像；
[0107]
无监督数据增强执行单元，用于对数据集进行无监督数据增强，通过编码器对输入的数据集中的图像进行编码，并将得到的低维特征代替白噪声送入生成器和辨别器进行对抗训练，最终得到对抗生成网络模型生成的样本图像。
[0108]
预训练模块30，用于将多份林火烟雾样本和与每份所述林火烟雾样本分别对应的烟雾整图标签以及多份类烟目标样本和与所述类烟目标样本分别对应的烟雾整图标签输入到林火深度语义分割模型中进行预训练，以使模型输出用于辨别林火烟雾和类烟目标的网络初始权重；
[0109]
语义分割模块40，用于将多份林火烟雾样本和与每份所述林火烟雾样本分别对应的烟雾整图标签作为得到网络初始权重的林火深度语义分割模型的输入，并分成两个分支进行输出，其中一分支输出背景图像，另一分支输出纯林火烟雾图像以及与所述纯林火烟雾图像对应的烟雾浓度；
[0110]
语义分割训练模块50，用于根据输出的背景图像、纯林火烟雾图像以及与所述纯林火烟雾图像对应的烟雾浓度合成新的林火烟雾图像，并将所述新的林火烟雾图像输入到林火深度语义分割模型进行语义分割识别训练，得到训练后的林火深度语义分割模型。
[0111]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0112]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

技术特征：
1.一种林火烟雾语义分割检测方法，其特征在于，所述方法包括：建立用于引导的先验知识，所述先验知识包括林火烟雾先验知识和林火背景中类烟干扰先验知识，以根据所述林火烟雾先验知识和所述林火背景中类烟目标先验知识合成数据集；基于对抗自编码器模型对所述数据集进行两阶段的数据增强，得到数据增强后的数据集，所述数据增强后的数据集包括多份林火烟雾样本和与每份所述林火烟雾样本分别对应的烟雾整图标签以及多份类烟目标样本和与所述类烟目标样本分别对应的烟雾整图标签；将多份林火烟雾样本和与每份所述林火烟雾样本分别对应的烟雾整图标签以及多份类烟目标样本和与所述类烟目标样本分别对应的烟雾整图标签输入到林火深度语义分割模型中进行预训练，以使模型输出用于辨别林火烟雾和类烟目标的网络初始权重；将多份林火烟雾样本和与每份所述林火烟雾样本分别对应的烟雾整图标签作为得到网络初始权重的林火深度语义分割模型的输入，并分成两个分支进行输出，其中一分支输出背景图像，另一分支输出纯林火烟雾图像以及与所述纯林火烟雾图像对应的烟雾浓度；根据输出的背景图像、纯林火烟雾图像以及与所述纯林火烟雾图像对应的烟雾浓度合成新的林火烟雾图像，并将所述新的林火烟雾图像输入到林火深度语义分割模型进行语义分割识别训练，得到训练后的林火深度语义分割模型。2.根据权利要求1所述的林火烟雾语义分割检测方法，其特征在于，所述建立用于引导的先验知识，所述先验知识包括林火烟雾先验知识和林火背景中类烟干扰先验知识，以根据所述林火烟雾先验知识和所述林火背景中类烟目标先验知识合成数据集的步骤包括：采用基于计算流体动力学领域中的navier-stokes方程来描述烟雾的自由运动并建立模型；求解navier-stokes方程后，采用体绘制方式可视化模拟烟雾，以生成多份纯林火烟雾图像，以根据多份纯林火烟雾图像构建纯林火烟雾图像集；基于先验知识采集真实林地图像，并从国际标准数据库中选取复杂森林环境的背景图，并收集含林火背景的类烟目标图像，以根据所述复杂森林环境的背景图、所述真实林地图像、含林火背景的类烟目标图像构建背景图像集。3.根据权利要求2所述的林火烟雾语义分割检测方法，其特征在于，所述建立用于引导的先验知识，所述先验知识包括林火烟雾先验知识和林火背景中类烟干扰先验知识，以根据所述林火烟雾先验知识和所述林火背景中类烟目标先验知识合成数据集的步骤还包括：根据所述纯林火烟雾图像集和所述背景图像集随机合成多份林火烟雾图像和类烟目标图像；所述根据所述纯林火烟雾图像集和所述背景图像集随机合成多份林火烟雾图像和类烟目标图像的步骤包括：根据以下公式合成林火烟雾图像或类烟目标图像：i＝b(1-α)+sα其中，i表示合成的林火烟雾图像或类烟目标图像，b表示背景图像集中的随机图像，α表示烟雾的半透明度，s表示纯林火烟雾图像集中的随机图像。4.根据权利要求3所述的林火烟雾语义分割检测方法，其特征在于，根据以下公式计算得到烟雾的半透明度：
其中，d表示光通过烟雾粒子的传播长度，τ(t)表示烟雾粒子在t处的衰减系数。5.根据权利要求1所述的林火烟雾语义分割检测方法，其特征在于，所述基于对抗自编码器模型对所述数据集进行两阶段的数据增强，得到数据增强后的数据集，所述数据增强后的数据集包括多份林火烟雾样本和与每份所述林火烟雾样本分别对应的烟雾整图标签以及多份类烟目标样本和与所述类烟目标样本分别对应的烟雾整图标签的步骤包括：对数据集进行监督数据增强，包括：随机旋转图像，以改变图像内容的朝向；随机水平或垂直翻转图像；按随机比例，缩放原始图像；采用不同尺度的高斯核，对图像进行滤波来构造尺度空间，并在尺度空间随机生成图像内容可变或模糊程度各异的样本图像；对数据集进行无监督数据增强，通过编码器对输入的数据集中的图像进行编码，并将得到的低维特征代替白噪声送入生成器和辨别器进行对抗训练，最终得到对抗生成网络模型生成的样本图像。6.一种林火烟雾语义分割检测系统，其特征在于，所述系统包括：数据集合成模块，用于建立用于引导的先验知识，所述先验知识包括林火烟雾先验知识和林火背景中类烟干扰先验知识，以根据所述林火烟雾先验知识和所述林火背景中类烟目标先验知识合成数据集；数据集增强模块，用于基于对抗自编码器模型对所述数据集进行两阶段的数据增强，得到数据增强后的数据集，所述数据增强后的数据集包括多份林火烟雾样本和与每份所述林火烟雾样本分别对应的烟雾整图标签以及多份类烟目标样本和与所述类烟目标样本分别对应的烟雾整图标签；预训练模块，用于将多份林火烟雾样本和与每份所述林火烟雾样本分别对应的烟雾整图标签以及多份类烟目标样本和与所述类烟目标样本分别对应的烟雾整图标签输入到林火深度语义分割模型中进行预训练，以使模型输出用于辨别林火烟雾和类烟目标的网络初始权重；语义分割模块，用于将多份林火烟雾样本和与每份所述林火烟雾样本分别对应的烟雾整图标签作为得到网络初始权重的林火深度语义分割模型的输入，并分成两个分支进行输出，其中一分支输出背景图像，另一分支输出纯林火烟雾图像以及与所述纯林火烟雾图像对应的烟雾浓度；语义分割训练模块，用于根据输出的背景图像、纯林火烟雾图像以及与所述纯林火烟雾图像对应的烟雾浓度合成新的林火烟雾图像，并将所述新的林火烟雾图像输入到林火深度语义分割模型进行语义分割识别训练，得到训练后的林火深度语义分割模型。7.根据权利要求6所述的林火烟雾语义分割检测系统，其特征在于，所述数据集合成模块还包括：流体动力模型构建单元，用于采用基于计算流体动力学领域中的navier-stokes方程来描述烟雾的自由运动并建立模型；纯林火烟雾图像集构建单元，用于求解navier-stokes方程后，采用体绘制方式可视化模拟烟雾，以生成多份纯林火烟雾图像，以根据多份纯林火烟雾图像构建纯林火烟雾图像集；
背景图像集构建单元，用于基于先验知识采集真实林地图像，并从国际标准数据库中选取复杂森林环境的背景图，并收集含林火背景的类烟目标图像，以根据所述复杂森林环境的背景图、所述真实林地图像、含林火背景的类烟目标图像构建背景图像集。8.根据权利要求7所述的林火烟雾语义分割检测系统，其特征在于，所述数据集合成模块还包括：图像合成单元，用于根据所述纯林火烟雾图像集和所述背景图像集随机合成多份林火烟雾图像和类烟目标图像；并用于根据以下公式合成林火烟雾图像或类烟目标图像：i＝b(1-α)+sα其中，i表示合成的林火烟雾图像或类烟目标图像，b表示背景图像集中的随机图像，α表示烟雾的半透明度，s表示纯林火烟雾图像集中的随机图像。9.根据权利要求7所述的林火烟雾语义分割检测系统，其特征在于，所述图像合成单元还包括：半透明度计算子单元，用于根据以下公式计算得到烟雾的半透明度：其中，d表示光通过烟雾粒子的传播长度，τ(t)表示烟雾粒子在t处的衰减系数。10.根据权利要求7所述的林火烟雾语义分割检测系统，其特征在于，所述数据集增强模块还包括：监督数据增强执行单元，用于对数据集进行监督数据增强，包括：随机旋转图像，以改变图像内容的朝向；随机水平或垂直翻转图像；按随机比例，缩放原始图像；采用不同尺度的高斯核，对图像进行滤波来构造尺度空间，并在尺度空间随机生成图像内容可变或模糊程度各异的样本图像；无监督数据增强执行单元，用于对数据集进行无监督数据增强，通过编码器对输入的数据集中的图像进行编码，并将得到的低维特征代替白噪声送入生成器和辨别器进行对抗训练，最终得到对抗生成网络模型生成的样本图像。

技术总结
本发明提出一种林火烟雾语义分割检测方法及系统，该方法包括：根据林火烟雾先验知识和林火背景中类烟目标先验知识合成数据集；基于对抗自编码器模型对数据集进行两阶段的数据增强；将数据增强后的数据集输入到林火深度语义分割模型中进行预训练；将多份林火烟雾样本和与每份林火烟雾样本分别对应的烟雾整图标签作为得到网络初始权重的林火深度语义分割模型的输入，并分成两个分支进行输出；根据两个分支的输出合成新的林火烟雾图像，并将新的林火烟雾图像输入到模型中进行语义分割识别训练，得到训练后的林火深度语义分割模型。本发明能够解决了常规烟雾检测方法在林火烟雾检测时无法适用于复杂林地背景从而误报率、漏报率偏高的问题。漏报率偏高的问题。漏报率偏高的问题。


技术研发人员：史劲亭 施燕 王睿 林冠辰
受保护的技术使用者：江西农业大学
技术研发日：2023.05.19
技术公布日：2023/8/9