一种火灾检测方法、装置、计算机设备及存储介质与流程

1.本发明涉及计算机视觉技术领域，更具体地说，涉及一种火灾检测方法、装置、计算机设备及存储介质。


背景技术：

2.火灾是指在时间或空间上失去控制的燃烧所造成的灾害，已成为最经常、最普遍的威胁公众安全和社会发展的主要灾害之一。降低火灾危害最有效的方法就是在火灾初期及时发现，扑灭火苗源头，阻止其进一步蔓延。因此，在各类场所设置监控设备，对火灾初期小目标进行检测，及时扑救，能极大地减少火灾带来的损失。
3.传统的火灾监控设备多基于温度或烟雾颗粒传感器，这种传感器检测方法容易受到外部环境的影响，且监控范围有限，响应时间较长，也无法提供火苗的具体位置，不利于大场景的监测，也不利于及时定位，扑灭火苗。随着计算机视觉技术的发展，人们开始利用高精度监控摄像头对更广阔的区域进行监控，利用神经网络算法监测火焰目标，只要火焰出现在监控范围内，立刻识别定位并报警。
4.然而，由于高清摄像头监控范围很广，获得的监控视频或图像往往分辨率很高，但是火灾初期目标很小，占据图像的比例较少，若直接缩小图像再进行检测，会丢失小目标的信息，降低火灾初期检测的性能。同时，若直接将大图像送入神经网络中进行检测，现有网络为提高精度往往会在卷积网络的基础上结合transformer，mlp等结构，导致网络计算量增大，而且高分辨率图像输入网络，过高的计算量会提高对设备的需求，增加成本，也降低计算速度，不利于工业化实时检测火灾，因此在图像下采样和保留小目标信息当中需要寻求一种平衡，来实现高精度实时的火灾初期目标检测。
5.经检索，中国专利申请，申请公布号cn114612755a，公开日2022年6月10日，公开了一种火灾检测方法、系统、电子设备和可读存储介质。该发明方法包括获取待检测图像；对所述待检测图像进行特征提取，得到多个不同尺度的深层特征图；根据多个所述深层特征图，确定所述待检测图像的类别和火灾事故在所述待检测图像中的位置，所述类别包括存在火灾事故或不存在火灾事故。该方案可以检测出待检测图像中是否有火灾，以及火灾的位置信息，但是该方案并不能很好地适用于早期火灾的小目标检测。


技术实现要素：

6.1.要解决的技术问题
7.针对现有技术中存在的早期火灾目标较小，计算机视觉检测早期火灾目标不及时、不准确等问题，本发明提供了一种火灾检测方法、装置、计算机设备及存储介质，通过计算显著性特征图对火灾图像进行扭曲，扩大火灾目标在火灾图像中的占比，并在变换神经网络中运用最大池化代替注意力机制得到基于最大池化的变换神经网络，将基于最大池化的变换神经网络与无锚的目标检测网络结合得到火灾检测模型，通过火灾检测模型检测火灾图像，得到检测结果。
8.2.技术方案
9.本发明的目的通过以下技术方案实现。
10.一种火灾检测方法，其步骤包括：
11.建立火灾图像数据集，输入火灾图像；
12.对火灾图像下采样得到低分辨率特征图，计算低分辨率特征图得到显著性特征图；
13.计算显著性特征图与火灾图像得到突出目标区域的扭曲后的火灾图像；
14.在变换神经网络结构中用最大池化替代注意力机制，得到基于最大池化的变换神经网络，将基于最大池化的变换神经网络与无锚的目标检测网络结合得到火灾检测模型；
15.通过火灾检测模型计算得到突出目标区域的扭曲后的火灾图像的空间预测结果，运用逆映射将空间预测结果映射回火灾图像中，得到优化后的火灾检测模型；
16.通过优化后的火灾检测模型对所述火灾图像数据集进行检测，得到检测结果。
17.进一步地，将基于最大池化的变换神经网络作为无锚的目标检测网络的主干特征提取网络。
18.进一步地，运用显著性网络和目标真值框计算低分辨率特征图得到显著性特征图，所述显著性特征图的计算公式为：
19.s＝ω1sn+ω2sg20.其中，s表示显著性特征图，n表示神经网络，g表示目标真值框，sn表示运用显著性网络生成的显著性特征图，sg表示运用目标真值框生成的显著性特征图，w1、w2表示可学习超参数。
21.进一步地，运用目标真值框生成的显著性特征图sg的计算公式为：
[0022][0023]
其中，a表示幅值的可学习超参数，b表示带宽的可学习超参数，b表示一组目标真值框，ci表示一组目标真值框的中心点坐标，wi表示一组目标真值框的宽度，hi表示一组目标真值框的高度，n表示正态分布。
[0024]
进一步地，选择显著性网络，在显著性网络的全连接层后，运用归一化函数标准化输出，得到运用显著性网络生成的显著性特征图sn。
[0025]
进一步地，运用网格采样器函数计算显著性特征图与火灾图像得到突出目标区域的扭曲后的火灾图像，所述得到突出目标区域的扭曲后的火灾图像的计算公式为：
[0026]
j＝gs(i，s)
[0027]
其中，j表示突出目标区域的扭曲后的火灾图像，i表示火灾图像，gs表示网格采样器函数。
[0028]
进一步地，通过扭曲函数计算突出目标区域的扭曲后的火灾图像与火灾图像之间的映射，坐标变换公式为：
[0029]
[0030]
其中，j(x,y)表示突出目标区域的扭曲后的火灾图像中的像素点，x表示突出目标区域的扭曲后的火灾图像中的像素横坐标，y表示突出目标区域的扭曲后的火灾图像中的像素纵坐标，x＇表示火灾图像中的像素横坐标，y＇表示火灾图像中的像素纵坐标，s
x
表示显著性特征图中横坐标对应的值，sy表示显著性特征图中纵坐标对应的值，k表示高斯距离核。
[0031]
一种火灾检测装置，包括：
[0032]
输入模块，建立火灾图像数据集，输入火灾图像；
[0033]
训练模块，对火灾图像下采样得到低分辨率特征图，计算低分辨率特征图得到显著性特征图，计算显著性特征图与火灾图像得到突出目标区域的扭曲后的火灾图像，在变换神经网络结构中用最大池化替代注意力机制，得到基于最大池化的变换神经网络，将基于最大池化的变换神经网络与无锚的目标检测网络结合得到火灾检测模型，通过火灾检测模型计算得到突出目标区域的扭曲后的火灾图像的空间预测结果，运用逆映射将空间预测结果映射回火灾图像中，计算损失函数，得到优化后的火灾检测模型；
[0034]
测试模块，通过优化后的火灾检测模型对所述火灾图像数据集进行检测，得到检测结果。
[0035]
一种计算机设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述的方法。
[0036]
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述所述的方法。
[0037]
3.有益效果
[0038]
相比于现有技术，本发明的优点在于：
[0039]
本发明的一种火灾检测方法、装置、计算机设备及存储介质，将图像扭曲思路融入早期火灾小目标检测场景中，在检测火焰小目标信息的同时，降低火灾图像的分辨率，弱化背景信息，提高火焰小目标检测性能，降低计算量，减少检测设备的算力要求，实现了更低成本的实时早期火灾目标检测。此外，通过构建轻量化的火灾检测模型，实现了全局特征和局部特征的处理，运用最大池化替换注意力机制得到基于最大池化的变换神经网络，在增强对局部前景区域特征提取的同时，减少了火灾检测模型的计算量，同时结合无锚的目标检测网络，实现高精度实时的火灾检测效果。
附图说明
[0040]
图1为本发明火灾检测方法流程图；
[0041]
图2为本发明变换神经网络结构图；
[0042]
图3为本发明构建火灾检测模型示意图。
具体实施方式
[0043]
下面结合说明书附图和具体的实施例，对本发明作详细描述。
[0044]
实施例
[0045]
如图1-图3所示，为本实施例提供的一种火灾检测方法。通过建立火灾图像数据集，输入火灾图像；对火灾图像下采样得到低分辨率特征图，计算低分辨率特征图得到显著
性特征图；计算显著性特征图与火灾图像得到突出目标区域的扭曲后的火灾图像；在变换神经网络中运用最大池化操作得到基于最大池化的变换神经网络，将基于最大池化的变换神经网络与无锚的目标检测网络结合得到火灾检测模型；通过火灾检测模型计算得到突出目标区域的扭曲后的火灾图像的空间预测结果，运用逆映射将空间预测结果映射回火灾图像中，得到优化后的火灾检测模型；通过优化后的火灾检测模型对所述火灾图像数据集进行检测，得到检测结果。
[0046]
具体到本实施例中，如图1所示，首先采集火灾图像序列样本，建立火灾图像数据集。所述火灾图像序列样本包括室内、室外多种环境。本实施例中，由于火灾图像序列样本中存在多种外界干扰，如相似颜色的物体、运动的人和车、飘动的树叶等，而早期火灾的火焰目标较小，部分图像受光照干扰，火焰目标不够清晰，并且包含反射等情况，因此，所述火灾图像数据集可以涵盖各类复杂场景。进而，输入火灾图像，设置火灾图像的分辨率为1920
×
1080像素。
[0047]
进一步地，对火灾图像下采样得到低分辨率特征图，计算低分辨率特征图得到显著性特征图。具体地，首先通过线性插值方法调整火灾图像的分辨率，本实施例中，将火灾图像的分辨率由1920
×
1080像素调整为608
×
608像素，再对分辨率为608
×
608像素的火灾图像进行下采样得到低分辨率特征图。进而，在低分辨率特征图上运用显著性网络和目标真值框计算获得显著性特征图。需要说明的是，本实施例中，在训练阶段有目标真值框信息，而在检测阶段没有目标真值框信息，因此，在训练阶段将显著性网络生成的显著性特征图与目标真值框生成的显著性特征图进行相加，得到显著性特征图。本实施例中，如图3所示，运用显著性网络和目标真值框计算低分辨率特征图得到显著性特征图，所述显著性特征图的计算公式为：
[0048]
s＝ω1sn+ω2sg[0049]
其中，s表示显著性特征图，n表示神经网络，g表示目标真值框，sn表示运用显著性网络生成的显著性特征图，sg表示运用目标真值框生成的显著性特征图，w1、w2表示可学习超参数。
[0050]
本实施例中，运用目标真值框生成的显著性特征图sg的计算公式为：
[0051][0052]
其中，a表示幅值的可学习超参数，b表示带宽的可学习超参数，b表示一组目标真值框，ci表示一组目标真值框的中心点坐标，wi表示一组目标真值框的宽度，hi表示一组目标真值框的高度，n表示正态分布。
[0053]
本实施例中，选择显著性网络，在显著性网络的全连接层后，运用归一化函数(softmax)标准化输出，得到运用显著性网络生成的显著性特征图sn。本实施例中，选择的显著性网络为轻量化显著性网络(mobilenetv3)。
[0054]
进一步地，计算显著性特征图与火灾图像得到突出目标区域的扭曲后的火灾图像。具体地，由得到的显著性特征图对火灾图像进行重采样，调整火灾图像的分辨率为608
×
608像素，从而使得在降低火灾图像分辨率的同时，又可以对火灾图像进行扭曲变换，突出火灾图像中的显著性区域。需要说明的是，通过重采样操作，使得采样后的火灾图像可以
在保留关键目标信息的前提下，降低火灾图像的分辨率，便于输入到火灾检测模型中计算。进而对于火灾图像和显著性特征图，通过网格采样器函数计算得到突出目标区域的扭曲后的火灾图像。所述得到突出目标区域的扭曲后的火灾图像的计算公式为：
[0055]
j＝gs(i，s)
[0056]
其中，j表示突出目标区域的扭曲后的火灾图像，i表示火灾图像，gs表示网格采样器函数。
[0057]
进一步地，建立直角坐标系，设定坐标原点，通过扭曲函数计算突出目标区域的扭曲后的火灾图像与火灾图像之间的映射，坐标变换公式为：
[0058][0059]
其中，j(x,y)表示突出目标区域的扭曲后的火灾图像中的像素点，x表示突出目标区域的扭曲后的火灾图像中的像素横坐标，y表示突出目标区域的扭曲后的火灾图像中的像素纵坐标，x＇表示火灾图像中的像素横坐标，y＇表示火灾图像中的像素纵坐标，s
x
表示显著性特征图中横坐标对应的值，sy表示显著性特征图中纵坐标对应的值，k表示高斯距离核。
[0060]
进一步地，在变换神经网络中运用最大池化代替注意力机制得到基于最大池化的变换神经网络，将所述基于最大池化的变换神经网络与无锚的目标检测网络结合得到火灾检测模型。具体地，如图2所示，对用于移动端的轻量通用视觉变换神经网络(mobilevit)进行改进，在变换神经网络(transformer)结构中的用最大池化替代注意力机制，得到基于最大池化的变换神经网络(mobilepool)，将基于最大池化的变换神经网络与无锚的目标检测网络(yolox)结合得到火灾检测模型。本实施例中，用最大池化替代注意力机制，不仅能够保证网络性能，也能够极大地减少了网络的计算量。如图2所示，输入特征图，在变换神经网络结构中最大池化部分和前馈网络部分计算完成后，乘以一个可学习的缩放矩阵，再和残差边相加，使用缩放矩阵使得每个缩放矩阵通道拥有各自的缩放参数，每个参数均初始化为很小的值，最后再输出特征图。本实施例中，不断通过变换神经网络结构提取特征得到特征图，不仅能够提高训练效率，也能优化变换神经网络特征提取效果。
[0061]
进一步地，通过火灾检测模型计算得到突出目标区域的扭曲后的火灾图像的空间预测结果，运用逆映射将空间预测结果映射回火灾图像中，计算无锚的目标检测网络的损失函数，得到优化后的火灾检测模型，需要说明的是，计算锚的目标检测网络的损失函数为现有技术。最后，通过优化后的火灾检测模型对火灾图像数据集进行检测，得到检测结果。
[0062]
由此，本实施例提供的一种火灾检测方法，基于视野扭曲的火灾检测模型，通过轻量化显著性网络和目标真值框生成显著性特征图，再根据显著性特征图对火灾图像进行重采样，获得火焰目标突出，背景区域弱化的扭曲后的火灾图像，在保证最大化保留小目标信息的同时，降低火灾图像分辨率，减轻对运算设备的算力要求，实现实时的火灾检测，提高了早期火灾小目标的检测精度，在火灾监控预防等方面有着重要的应用价值。
[0063]
本实施例还提供一种早期火灾检测装置，包括输入模块、训练模块和测试模块。所述输入模块，建立火灾图像数据集，输入火灾图像；所述训练模块，对火灾图像下采样得到低分辨率特征图，计算低分辨率特征图得到显著性特征图，计算显著性特征图与火灾图像
得到突出目标区域的扭曲后的火灾图像，在变换神经网络结构中用最大池化替代注意力机制，得到基于最大池化的变换神经网络，将基于最大池化的变换神经网络与无锚的目标检测网络结合得到火灾检测模型，通过火灾检测模型计算得到突出目标区域的扭曲后的火灾图像的空间预测结果，运用逆映射将空间预测结果映射回火灾图像中，得到优化后的火灾检测模型；所述测试模块，通过优化后的火灾检测模型对所述火灾图像数据集进行检测，得到检测结果。本实施例提供的一种火灾检测装置能够实现所述火灾检测方法的任一种方法，且一种火灾检测装置的具体工作过程可参考所述火灾检测方法实施例中的对应过程。本实施例所提供的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，某个模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的连接或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电性、机械或其它的形式的连接。
[0064]
本实施例还提供一种计算机设备。一种计算机设备，包括存储器、处理器以及储存在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的一种火灾检测方法。
[0065]
本实施例还提供一种计算机可读存储介质。一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行本实施例中所述的一种火灾检测方法。其中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用；计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0066]
以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，在不背离本发明的精神或者基本特征的情况下，能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一，实际的结构并不局限于此，权利要求中的任何附图标记不应限制所涉及的权利要求。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本专利的保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

技术特征：
1.一种火灾检测方法，其步骤包括：建立火灾图像数据集，输入火灾图像；对火灾图像下采样得到低分辨率特征图，计算低分辨率特征图得到显著性特征图；计算显著性特征图与火灾图像得到突出目标区域的扭曲后的火灾图像；在变换神经网络结构中用最大池化替代注意力机制，得到基于最大池化的变换神经网络，将基于最大池化的变换神经网络与无锚的目标检测网络结合得到火灾检测模型；通过火灾检测模型计算得到突出目标区域的扭曲后的火灾图像的空间预测结果，运用逆映射将空间预测结果映射回火灾图像中，得到优化后的火灾检测模型；通过优化后的火灾检测模型对所述火灾图像数据集进行检测，得到检测结果。2.根据权利要求1所述的一种火灾检测方法，其特征在于，将基于最大池化的变换神经网络作为无锚的目标检测网络的主干特征提取网络。3.根据权利要求1所述的一种早期火灾检测方法，其特征在于，运用显著性网络和目标真值框计算低分辨率特征图得到显著性特征图，所述显著性特征图的计算公式为：s＝ω1s
n
+ω2s
g
其中，s表示显著性特征图，n表示神经网络，g表示目标真值框，s
n
表示运用显著性网络生成的显著性特征图，s
g
表示运用目标真值框生成的显著性特征图，w1、w2表示可学习超参数。4.根据权利要求3所述的一种火灾检测方法，其特征在于，运用目标真值框生成的显著性特征图s
g
的计算公式为：其中，a表示幅值的可学习超参数，b表示带宽的可学习超参数，b表示一组目标真值框，c
i
表示一组目标真值框的中心点坐标，w
i
表示一组目标真值框的宽度，h
i
表示一组目标真值框的高度，n表示正态分布。5.根据权利要求3所述的一种火灾检测方法，其特征在于，选择显著性网络，在显著性网络的全连接层后，运用归一化函数标准化输出，得到运用显著性网络生成的显著性特征图s
n
。6.根据权利要求1所述的一种火灾检测方法，其特征在于，运用网格采样器函数计算显著性特征图与火灾图像得到突出目标区域的扭曲后的火灾图像，所述得到突出目标区域的扭曲后的火灾图像的计算公式为：j＝gs(i，s)其中，j表示突出目标区域的扭曲后的火灾图像，i表示火灾图像，gs表示网格采样器函数。7.根据权利要求6所述的一种火灾检测方法，其特征在于，通过扭曲函数计算突出目标区域的扭曲后的火灾图像与火灾图像之间的映射，坐标变换公式为：
其中，j(x,y)表示突出目标区域的扭曲后的火灾图像中的像素点，x表示突出目标区域的扭曲后的火灾图像中的像素横坐标，y表示突出目标区域的扭曲后的火灾图像中的像素纵坐标，x＇表示火灾图像中的像素横坐标，y＇表示火灾图像中的像素纵坐标，s
x
表示显著性特征图中横坐标对应的值，s
y
表示显著性特征图中纵坐标对应的值，k表示高斯距离核。8.一种火灾检测装置，其特征在于，包括：输入模块，建立火灾图像数据集，输入火灾图像；训练模块，对火灾图像下采样得到低分辨率特征图，计算低分辨率特征图得到显著性特征图，计算显著性特征图与火灾图像得到突出目标区域的扭曲后的火灾图像，在变换神经网络结构中用最大池化替代注意力机制，得到基于最大池化的变换神经网络，将基于最大池化的变换神经网络与无锚的目标检测网络结合得到火灾检测模型，通过火灾检测模型计算得到突出目标区域的扭曲后的火灾图像的空间预测结果，运用逆映射将空间预测结果映射回火灾图像中，得到优化后的火灾检测模型；测试模块，通过优化后的火灾检测模型对所述火灾图像数据集进行检测，得到检测结果。9.一种计算机设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1-7任一项所述的方法。10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1-7中任一项所述的方法。

技术总结
本发明公开了一种火灾检测方法、装置、计算机设备及存储介质，属于计算机视觉技术领域。针对现有技术中存在的早期火灾目标较小，计算机视觉检测早期火灾目标不及时、不准确等问题，本发明提供了一种火灾检测方法、装置、计算机设备及存储介质，通过计算显著性特征图对火灾图像进行扭曲，扩大火灾目标在火灾图像中的占比，并在变换神经网络中运用最大池化代替注意力机制得到基于最大池化的变换神经网络，将基于最大池化的变换神经网络与无锚的目标检测网络结合得到火灾检测模型，通过火灾检测模型检测火灾图像，得到检测结果，从而实现实时检测火灾，提高早期火灾小目标的检测精度。提高早期火灾小目标的检测精度。提高早期火灾小目标的检测精度。


技术研发人员：杨晨悦 董务闯 贾弢 王广宇 曹毅超 封晓强
受保护的技术使用者：南京恩博科技有限公司
技术研发日：2023.04.18
技术公布日：2023/7/21