基于图像数据的楼宇火灾环境检测方法与流程

1.本技术涉及楼宇火灾检测技术领域，具体涉及基于图像数据的楼宇火灾环境检测方法。


背景技术：

2.随着经济的发展和社会生产力的增强使得城市基础建设水平逐渐提高，城市化进程不断加快，在越来越多的城市，楼宇建筑持续崛起的同时，各类火灾安全隐患日益增多，导致城市建筑空间发生火灾的几率增加，影响到建筑财产安全与居民的生命安全。楼宇环境往往是相对密闭的，火灾蔓延发展较为迅速，造成危害较大，故及时发现火灾并做出相应处理可以有效保障居民的生命与财产安全。
3.消防火灾识别监控系统基于智能视频分析，实现对监控区域内的烟雾和火焰进行识别。并且能动态识别烟雾从有到无、火焰从小到大的过程，并根据识别情况实时分析报警。目前火焰识别方法主要有基于人工设计的图像特征和基于卷积神经网络提取的图像的深度特征。但由于楼宇建筑内部环境较为复杂，在使用图像处理技术对火灾进行智能检测时，采集的图像往往会受到光线、噪声、模糊等因素的影响，导致图像质量较差，难以清晰地展示出楼宇环境内的火灾状况，直接使用采集的图像进行火灾智能检测时，其效率与精度均较差。


技术实现要素：

4.本技术实施例提供一种基于图像数据的楼宇火灾环境检测方法，能够对采集的图像进行质量提高，进而提高楼宇环境火灾检测的精度和效率。
5.本技术实施例提供一种基于图像数据的楼宇火灾环境检测方法，所述方法包括：获取楼宇环境的目标视频图像，对图像进行预处理；获取图像内像素点的重要程度；根据像素点的重要程度，获取自适应滤波窗口；根据自适应滤波窗口，完成对图像质量的增强；基于增强的图像，获得楼宇环境的火灾检测结果。
6.在本技术的部分实施例中，所述获取楼宇环境的目标视频图像，对图像进行预处理的步骤，包括：通过监控摄像头采集楼宇环境的目标视频图像，采集的图像为rgb图像，再对所述rgb图像进行灰度化处理，得到楼宇环境的目标视频灰度图像。
7.在本技术的部分实施例中，所述获取图像内像素点的重要程度的步骤，包括：获取若干目标视频图像，所述目标视频图像为时序上连续的图像；获取第一时刻的第一目标视频图像的第一感兴趣区域和第二时刻的第二目标视频图像的第二感兴趣区域，所述第二时刻在时序上为所述第一时刻的相邻的下一时刻，所述第一感兴趣区域和所述第二感兴趣区域均为火焰区域；对所述第一感兴趣区域和所述第二感兴趣区域进行匹配，以匹配出所述第一感兴
趣区域和所述第二感兴趣区域之间相关联的感兴趣程度；基于火灾的特性，对所述感兴趣程度进行误差优化处理，得到优化后的感兴趣程度；根据优化后的感兴趣程度，对感兴趣区域内的像素点进行局部特征分析，获取各像素点的重要程度。
8.在本技术的部分实施例中，所述获取第一时刻的第一目标视频图像的第一感兴趣区域和第二时刻的第二目标视频图像的第二感兴趣区域的步骤包括：利用大津阈值分割算法分别对所述第一目标视频图像和所述第二目标视频图像进行计算分割，得到第一感兴趣区域和第二感兴趣区域，所述第一感兴趣区域和所述第二感兴趣区域均具有多个，且所述第一感兴趣区域的数量与所述第二感兴趣区域的数量相同。
9.在本技术的部分实施例中，所述对所述第一感兴趣区域和所述第二感兴趣区域进行匹配，以匹配出所述第一感兴趣区域和所述第二感兴趣区域之间相关联的感兴趣程度的步骤，包括：获取多个所述第一感兴趣区域内的多个第一中心点和获取多个所述第二感兴趣区域内的多个第二中心点；计算多个所述第一中心点分别与多个所述第二中心点之间的欧式距离，匹配出最小的欧式距离，根据最小的欧式距离得到第一感兴趣区域中的第一匹配区域和第二感兴趣区域中的第二匹配区域，所述第一匹配区域和所述第二匹配区域为两个相邻时刻的同一区域；基于火焰区域和其他干扰因素的特性，通过比较所述第一匹配区域和所述第二匹配区域之间的变化，得到火焰区域的感兴趣程度。
10.在本技术的部分实施例中，所述基于火焰区域和其他干扰因素的特性，通过比较所述第一匹配区域和所述第二匹配区域之间的变化，得到火焰区域的感兴趣程度的步骤，包括：将所述第一匹配区域投影到所述第二目标视频图像上，得到第一投影区域，所述第一投影区域与所述第二匹配区域至少部分重叠，以形成重叠区域；获取第二匹配区域中未与所述第一投影区域重叠的未重叠区域；根据所述重叠区域和所述未重叠区域，计算出感兴趣程度；具体公式为：；其中，，，分别为第一匹配区域a，第二匹配区域b，重叠区域c的面积。表示从区域的面积上反映了重叠区域c的重叠程度；为重叠区域c区域内第i个像素点在第一匹配区域a内所对应的像素点灰度值；为重叠区域c区域内第i个像素点在第二匹配区域b内所对应的像素点灰度值；为重叠区域内像素点的个数；cd为重叠区域c的重叠程度。
11.在本技术的部分实施例中，所述基于火灾的特性，对所述感兴趣程度进行误差优化处理，得到优化后的感兴趣程度的步骤，包括：获取所述第一匹配区域中灰度值最大的像素点，记为z点；获取所述第一匹配区域上的多个采样点，所述多个采样点位于所述第一匹配区域的边缘上并沿所述边缘等间距排列；所述多个采样点分别与所述z点连接，得到多条采样线段；获取多条采样线段与水平线的顺时针夹角，根据计算公式得到优化后的感兴趣程度；具体公式为：；；；；其中，采样点记作m点，所述采样线段记作表示了采样线段上从z点到m点之间的第i个像素点的灰度值，则表示了第i+1个像素点的灰度值；表示了采样线段上像素点个数；值反映了采样线段上灰度衰减累加值；为采样线段所对应的角度，则为风速方向，其差异k反映了采样线段是否位于风速方向上；则反映了不同采样线段之间的差异，其中n为采样线段的个数，为线段所对应的角度差异；表示了第i条采样线段所对应的角度差异；表示了第i条采样线段所对应的长度，表示线段所对应的长度；与分别表示了第i条线段的差异特征值与灰度衰减特征值，表示初步roi区域的感兴趣程度，表示优化后的感兴趣程度，k表示采样线段角度与风向方向之间的差异。
12.在本技术的部分实施例中，所述火灾的特性包括火灾的蔓延特性和产生具有蔓延特性的烟雾的特性。
13.在本技术的部分实施例中，所述根据优化后的感兴趣程度，对感兴趣区域内的像素点进行局部特征分析，获取各像素点的重要程度的步骤，包括：对感兴趣区域内的像素点进行局部特征分析，所述像素点的局部特征包括像素点的感兴趣程度，像素点的灰度方差以及像素点与感兴趣区域内灰度值最大的像素点之间的距离；根据公式分别计算出各像素点的重要程度；其中，这里以像素点s举例，具体公式为：；为像素点s所在感兴趣区域的感兴趣程度；为s点的灰度方差；则为像素
点s与感兴趣区域内灰度值最大的像素点z点的距离；u为像素点s的重要程度。
14.在本技术的部分实施例中，所述根据像素点的重要程度，获取自适应滤波窗口的步骤，包括：获取感兴趣区域内的像素点的重要程度；对感兴趣区域内的像素点的重要程度进行归一化处理；设定感兴趣区域外的像素点的重要程度为感兴趣区域内的像素点的重要程度的最小值；根据公式计算得到自适应滤波窗口；公式为：；其中，为自适应滤波窗口的尺寸；ck为初始滤波窗口；u为像素点所对应的重要程度，f[]为自适应滤波窗口的横向和纵向尺寸。
[0015]
由此可知，本技术实施例主要是通过获取楼宇环境的视频图像，对该图像进行预处理，这里的预处理主要是对图像进行灰度化处理；再获取经过预处理后的图像内的像素点的重要程度，这里的重要程度根据需要检测的指标进行设定，在本实施例中，主要是针对火灾检测，则像素点的重要程度主要是指对火灾图像的重要程度；再根据像素点的重要程度，获取自适应滤波窗口，实现滤波窗口的自适应调节，有效避免人工根据经验调节所带来的误差等问题；继而再通过自适应滤波窗口实现图像质量的增强，基于增强后的图像，获取楼宇环境的火灾检测结果，相较于现有技术中图像质量较差导致火灾检测结果容易出现不准确的情况而言，本技术提高了图像质量，从而提高火灾检测的效率和精度。
附图说明
[0016]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]
图1为本发明实施例方案涉及的硬件运行环境的火灾检测设备结构示意图；图2为本发明基于图像数据的楼宇火灾环境检测方法一实施例的流程示意图；图中：1001.处理器；1002.通信总线；1003.用户接口；1004.网络接口；1005. 存储器。
具体实施方式
[0018]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0019]
参照图1，图1为本发明实施例方案涉及的硬件运行环境的火灾检测设备结构示意
图。
[0020]
如图1所示，该火灾检测设备可以包括：处理器1001，例如中央处理器 (centralprocessing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)，可选用户接口1003还可以包括标准的有线接口以及无线接口，而用户接口1003的有线接口在本发明中可为通用串行总线(universal serial bus，usb)接口。网络接口1004可选的可以包括标准的有线接口以及无线接口(如wi-fi接口)。存储器1005可以是高速随机存取存储器(random access memory，ram)；也可以是稳定的存储器，比如，非易失存储器(non-volatile memory)，具体可为，磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
[0021]
本领域技术人员可以理解，图1中示出的结构并不构成对火灾检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0022]
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及火灾检测程序。
[0023]
在图1所示的火灾检测设备中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接外设；所述火灾检测设备通过处理器1001调用存储器1005中存储的火灾检测程序，并执行本发明实施例提供的基于图像数据的楼宇火灾环境检测方法。
[0024]
请参照图2，图2为本发明基于图像数据的楼宇火灾环境检测方法一实施例的流程示意图，所述方法包括以下步骤：s1、获取楼宇环境的目标视频图像，对图像进行预处理；s2、获取图像内像素点的重要程度；s3、根据像素点的重要程度，获取自适应滤波窗口；s4、根据自适应滤波窗口，完成对图像质量的增强；s5、基于增强的图像，获得楼宇环境的火灾检测结果。
[0025]
本技术实施例所采用的技术手段主要是通过获取楼宇环境的视频图像，对该图像进行预处理，这里的预处理主要是对图像进行灰度化处理；再获取经过预处理后的图像内的像素点的重要程度，这里的重要程度根据需要检测的指标进行设定，在本实施例中，主要是针对火灾检测，则像素点的重要程度主要是指对火灾图像的重要程度；再根据像素点的重要程度，获取自适应滤波窗口，实现滤波窗口的自适应调节，有效避免人工根据经验调节所带来的误差等问题；继而再通过自适应滤波窗口实现图像质量的增强，基于增强后的图像，获取楼宇环境的火灾检测结果，相较于现有技术中图像质量较差导致火灾检测结果容易出现不准确的情况而言，本技术提高了图像质量，从而提高火灾检测的效率和精度。
[0026]
对于步骤s1，需要说明的是，所述目标视频图像，主要是指当前摄像头所拍摄到的一连串视频图像，该视频图像在时序上为连续的多个图像。对图像进行预处理主要是指对目标视频图像中每一单张的图像进行灰度化处理。对于摄像头获取的图像，由于是处于楼宇内，在本实施例中将获取的图像定义为在同一固定光源下获取。图像为rgb图像，对于图像的灰度化处理，主要采用的是加权灰度化的方法，该方法为现有公知技术，在此不再赘述。即对于步骤s1，其主要是包括通过监控摄像头采集楼宇环境的目标视频图像，采集的图
像为rgb图像，再对rgb图像进行灰度化处理，得到楼宇环境的目标视频灰度图像。
[0027]
对于步骤s2，所述获取图像内像素点的重要程度的步骤，包括：s21、获取若干目标视频图像，所述目标视频图像为时序上连续的图像；s22、获取第一时刻的第一目标视频图像的第一感兴趣区域和第二时刻的第二目标视频图像的第二感兴趣区域，所述第二时刻在时序上为所述第一时刻的相邻的下一时刻，所述第一感兴趣区域和所述第二感兴趣区域均为火焰区域；s23、对所述第一感兴趣区域和所述第二感兴趣区域进行匹配，以匹配出所述第一感兴趣区域和所述第二感兴趣区域之间相关联的感兴趣程度；s24、基于火灾的特性，对所述感兴趣程度进行误差优化处理，得到优化后的感兴趣程度；s25、根据优化后的感兴趣程度，对感兴趣区域内的像素点进行局部特征分析，获取各像素点的重要程度。
[0028]
对于步骤s21，需要说明的是，这里所获取的目标视频图像是在一定时刻内监控摄像头所拍摄录制下的所有目标视频图像，并且所有的目标视频图像在时序上具有连续性，方便后续利用时序上具有连续性这一特性对图像进行比较分析。
[0029]
对于步骤s22，获取的第一时刻的第一目标视频图像和第二时刻的第二目标视频图像，这里的第一时刻和第二时刻泛指连续时刻中的某一时刻和该时刻的后一相邻时刻。第一时刻和第二时刻为相邻的两个连续时刻，此时便可基于两个时刻中所出现的图像变化，进行火灾的检测。这里所述的第一感兴趣区域和第二感兴趣区域主要是指对图像进行分析，将图像中墙壁的部分作为背景部分，其他部分作为前景部分，对图像进行分割，感兴趣区域。第一时刻的对应的便是第一感兴趣区域，第二时刻对应的便是第二感兴趣区域。这里进行前景和背景分割主要是通过根据墙壁的表面灰度值相近的特性，利用大津阈值分割算法得到。其中大津阈值分割算法为公知技术，不再赘述。总结来说，对于所述获取第一时刻的第一目标视频图像的第一感兴趣区域和第二时刻的第二目标视频图像的第二感兴趣区域的步骤包括：利用大津阈值分割算法分别对第一目标视频图像和第二目标视频图像进行计算分割，得到第一感兴趣区域和第二感兴趣区域。其中，第一感兴趣区域和第二感兴趣区域均具有多个，且以为相邻时刻所获取的两个感兴趣区域时间间隔较短，因此，第一感兴趣区域的数量与第二感兴趣区域的数量相同，为此，也方便后续对相邻两个感兴趣区域之间的感兴趣程度的计算。
[0030]
对于步骤s23，所述的第一感兴趣区域和第二感兴趣区域进行匹配，主要就是将两个相邻时刻的感兴趣区域进行图像重叠匹配，再根据火灾所具有的蔓延特性，得到两个相邻时刻的图像之间彼所发生的变化，从而得到两个相邻感兴趣区域，即第一感兴趣区域和第二感兴趣区域之间相关联的感兴趣程度。两个相邻感兴趣区域的变化越符合火灾的蔓延特性，则两个感兴趣区域之间相关联的感兴趣程度就越大，这部分也就越可能是火灾发生的地方。具体来说，对于步骤s23，包括：s231、获取多个所述第一感兴趣区域内的多个第一中心点和获取多个所述第二感兴趣区域内的多个第二中心点；s232、计算多个所述第一中心点分别与多个所述第二中心点之间的欧式距离，匹
配出最小的欧式距离，根据最小的欧式距离得到第一感兴趣区域中的第一匹配区域和第二感兴趣区域中的第二匹配区域，所述第一匹配区域和所述第二匹配区域为两个相邻时刻的同一区域；s233、基于火焰区域和其他干扰因素的特性，通过比较所述第一匹配区域和所述第二匹配区域之间的变化，得到火焰区域的感兴趣程度。
[0031]
对于步骤s231，获取多个第一感兴趣区域内的多个第一中心点和获取多个第二感兴趣区域内的多个第二中心点主要是为了匹配出多个第一感兴趣区域与多个第二感兴趣区域内彼此对应的匹配区域。
[0032]
对于步骤s233，所述基于火焰区域和其他干扰因素的特性，通过比较所述第一匹配区域和所述第二匹配区域之间的变化，得到火焰区域的感兴趣程度的步骤，包括：将所述第一匹配区域投影到所述第二目标视频图像上，得到第一投影区域，所述第一投影区域与所述第二匹配区域至少部分重叠，以形成重叠区域；获取第二匹配区域中未与所述第一投影区域重叠的未重叠区域；根据所述重叠区域和所述未重叠区域，计算出感兴趣程度；具体公式为：；其中，，，分别为第一匹配区域a，第二匹配区域b，重叠区域c的面积。表示从区域的面积上反映了重叠区域c的重叠程度；为重叠区域c区域内第i个像素点在第一匹配区域a内所对应的像素点灰度值；为重叠区域c区域内第i个像素点在第二匹配区域b内所对应的像素点灰度值；为重叠区域内像素点的个数；cd为重叠区域c的重叠程度。
[0033]
在一些实施例中，步骤s24，所述基于火灾的特性，对所述感兴趣程度进行误差优化处理，得到优化后的感兴趣程度的步骤，包括：s241、获取所述第一匹配区域中灰度值最大的像素点，记为z点；s242、获取所述第一匹配区域上的多个采样点，所述多个采样点位于所述第一匹配区域的边缘上并沿所述边缘等间距排列；s243、所述多个采样点分别与所述z点连接，得到多条采样线段；s244、获取多条采样线段与水平线的顺时针夹角，根据计算公式得到优化后的感兴趣程度；具体公式为：；；；
；其中，采样点记作m点，所述采样线段记作表示了采样线段上从z点到m点之间的第i个像素点的灰度值，则表示了第i+1个像素点的灰度值；表示了采样线段上像素点个数；值反映了采样线段上灰度衰减累加值；为采样线段所对应的角度，则为风速方向，其差异k反映了采样线段是否位于风速方向上；则反映了不同采样线段之间的差异，其中n为采样线段的个数，为线段所对应的角度差异；表示了第i条采样线段所对应的角度差异；表示了第i条采样线段所对应的长度，表示线段所对应的长度；与分别表示了第i条线段的差异特征值与灰度衰减特征值，表示初步roi区域的感兴趣程度，表示优化后的感兴趣程度，k表示采样线段角度与风向方向之间的差异。
[0034]
需要说明的是，对于前述任一实施例中所述的火灾的特性，其主要包括火灾的蔓延特性和产生具有蔓延特性的烟雾的特性，以及随风向蔓延速度更快的特性。
[0035]
在一些实施例中，对于步骤s25，所述根据优化后的感兴趣程度，对感兴趣区域内的像素点进行局部特征分析，获取各像素点的重要程度的步骤，包括：对感兴趣区域内的像素点进行局部特征分析，所述像素点的局部特征包括像素点的感兴趣程度，像素点的灰度方差以及像素点与感兴趣区域内灰度值最大的像素点之间的距离；根据公式分别计算出各像素点的重要程度；其中，这里以像素点s举例，具体公式为：；为像素点s所在感兴趣区域的感兴趣程度；为s点的灰度方差；则为像素点s与感兴趣区域内灰度值最大的像素点z点的距离；u为像素点s的重要程度。
[0036]
为便于理解上述像素点的整个重要程度获取过程以及原理，下面进行举例说明：首先，利用监控摄像头获取了楼宇环境的目标视频图像，目标视频图像为时序上连续的图像，此处以其中的任一图像q为例，首先对图像q进行分析，根据先验知识可知火灾在发生时，往往是从着火点处开始蔓延，是一个从小火变成大火的过程。其中火灾在蔓延时往往具有一定的特性，且往往是沿风速方向所蔓延的速度最快。故可根据楼宇环境内安装的风速传感器获取风速运动方向，记为。
[0037]
对图像q使用大津阈值分割算法，其中将墙壁部分（墙壁表面灰度值较为相近）作为背景部分，其余部分作为前景，对图像q进行分割，获取初步感兴趣区域。其中大津阈值分割算法为公知技术不再赘述。
[0038]
由于楼宇环境内部较为复杂，故此时得到的初步感兴趣区域可能存在多个，此处假设为n个，比如在楼宇中路过的行人，灭火器，火灾区域，烟雾区域等多个区域。故对墙壁背景去除后的初步感兴趣区域进行进一步分析，获取初步感兴趣区域所对应的感兴趣程度。
[0039]
由于目标视频图像为时序上的连续图像，故可获取下一时刻的目标视频图像，记
为w图像。对w图像同样进行上述步骤获取初步感兴趣区域，由于图像间隔较短，图像内变化较小，故所得到的的初步感兴趣区域个数应与q图像内的个数一致。故可对两张图像内的初步感兴趣区域进行匹配，匹配过程为获取初步感兴趣区域内的中心点（到边缘像素点之间的欧式距离之和最小），则q图像内的初步感兴趣区域内的a区域所对应的匹配区域为w区域内初步感兴趣区域内的b区域（其中a区域内的中心点为a点，b区域内的中心点为b点，a点与b点之间的欧式距离最小，即为匹配成功）。
[0040]
而由于火灾发生的特征表述区域为火焰区域，火焰区域存在一定的蔓延性特征，而对于行人、灭火器等干扰区域往往为固定大小区域。故本发明中通过图像之间匹配区域之间的变化来反映对应区域的感兴趣程度r，此处以a区域与b区域为例，由于监控摄像头为固定位置采集，故采集的q图像与w图像大小尺寸应一致，故可将a区域投影到w图像上则可得到对应的区域。则区域与b区域会有重叠现象的产生，则区域与b区域所获取的重叠区域记为c区域，而b区域内不为重叠区域的区域记为e区域。则可基于重叠区域c区域的重叠程度与e区域所对应的特征值完成感兴趣程度r的获取：重叠程度与e区域所对应的特征值完成感兴趣程度r的获取：公式中，，分别为a区域，b区域，c区域的面积。则从区域的面积上反映了重叠程度，其值越大重叠程度越大。为重叠区域c区域内第i个像素点在a区域内所对应的像素点灰度值。为重叠区域c区域内第i个像素点在b区域内所对应的像素点灰度值，其差异越小，重叠程度越大。为重叠区域内像素点个数。cd为重叠程度，其值越小，感兴趣程度越大。
[0041]
本发明中所需要的感兴趣区域为火焰区域，而根据先验知识可知，在基于视频图像的关联性获取初步感兴趣区域的感兴趣程度时，由于感兴趣程度是基于不同视频图像上匹配区域的变化来获取的，而发生火灾时，火焰往往伴随着烟雾的产生，其中烟雾区域也同样具备蔓延性特征，在不同视频图像上所对应的区域也会发生变化，且视频图像中的物体当发生姿态上的变化时，其感兴趣程度也会较大。即在基于上述感兴趣程度来获取感兴趣区域并进行自适应增强时，依旧可能会存在一定的误判性，故本发明中通过火焰区域的特征对感兴趣区域的感兴趣程度进行优化，即火焰中心区域与边缘区域的灰度值通常存在一定的关联。一般来说，火焰中心区域的灰度值较高，而边缘区域的灰度值较低。这是因为火焰中心区域的温度较高，燃烧产生的光线较强，导致灰度值较高，而边缘区域的温度较低，光线较弱，导致灰度值较低。
[0042]
故对感兴趣区域（此处仍以a区域为例）获取其灰度值最大的像素点，假设为z点，对a区域的边缘上间隔均匀获取n个采样点，连接采样点与z点，则可获取采样线段，此处以采样点m点与采样线段为例，获取采样线段与水平线的顺时针夹角为，则可获取优化后的感兴趣程度为:
公式中表示了采样线段上从z点到m点之间的第i个像素点的灰度值，则表示了第i+1个像素点的灰度值。表示了采样线段上像素点个数。值反映了采样线段上灰度衰减累加值，若为负数，则计算时，可认为，值越大则说明感兴趣区域越符合火焰区域的特征，感兴趣程度越大。为采样线段所对应的角度，则为风速方向，其差异k反映了采样线段是否位于风速方向上。则反映了不同采样线段之间的差异，其中将采样线段与风向之间的差异作为权重，计算采样线段的长度差异。逻辑为：越靠近风速方向上，火焰蔓延速度越快，其距离差异应越大。cy值越大，则说明感兴趣区域越符合火焰的蔓延特征。其中n为采样线段个数，为线段所对应的角度差异。表示了第i条采样线段所对应的角度差异。表示了第i条采样线段所对应的长度，表示线段所对应的长度。与分别表示了第i条线段的差异特征值与灰度衰减特征值。其值越大感兴趣程度应越大。表示初步roi区域的感兴趣程度，表示优化后的感兴趣程度，k表示采样线段角度与风向方向之间的差异。
[0043]
根据上述步骤获取了优化后的初步感兴趣区域的感兴趣程度，则可基于感兴趣区域内的像素点的局部特征进行分析，获取像素点s（以s点为例，感兴趣区域a区域为例）的重要程度u：公式中为像素点s所在感兴趣区域的感兴趣程度。为s点3*3邻域的像素点的灰度方差，其值越大重要程度越大。则为像素点与a区域内灰度值最大像素点z点的距离，其值越小重要程度越大。
[0044]
至此，根据上述步骤便能够获取了感兴趣区域内所有像素点各自所对应的重要程度。
[0045]
在一些实施例中，所述根据像素点的重要程度，获取自适应滤波窗口的步骤，包括：
获取感兴趣区域内的像素点的重要程度；对感兴趣区域内的像素点的重要程度进行归一化处理；设定感兴趣区域外的像素点的重要程度为感兴趣区域内的像素点的重要程度的最小值；根据公式计算得到自适应滤波窗口；公式为：；其中，为自适应滤波窗口的尺寸；ck为初始滤波窗口；u为像素点所对应的重要程度，f[]为自适应滤波窗口的横向和纵向尺寸。
[0046]
为便于理解，下面依旧对所述根据像素点的重要程度，获取自适应滤波窗口的步骤进行举例说明：双边滤波的初始窗口设定为ck*ck（7*7），其中窗口调节范围为[3,15]，由于窗口大小为奇数，即本发明中所述的窗口大小存在以下几种尺寸：3*3，5*5，7*7，9*9，11*11，13*13，15*15。其中初始窗口设定与窗口调节范围设定均为根据经验值设置，实施者可进行调节。
[0047]
根据上述步骤获取了感兴趣区域像素点的重要程度u，对u进行归一化处理。对于感兴趣区域外的像素点其重要程度均设定为感兴趣区域内像素点对应重要程度的最小值，即。
[0048]
则可基于重要程度对滤波窗口大小进行自适应调节，调节后的窗口大小记为:公式中ck为初始滤波窗口，u为像素点所对应的重要程度，f[]为对括号内的部分取调节范围内的最近的奇数整，比如f[3.5]=3,f[4.5]=5。则可自适应获取像素点的局部滤波窗口。
[0049]
在一些实施例中，所述根据自适应滤波窗口，完成对图像质量的增强的步骤，包括：根据自适应滤波窗口的尺寸对各像素点进行双边滤波；获取双边滤波后的像素点所对应的新灰度级；将各像素点原来具有的旧灰度级替换为所述新灰度级。
[0050]
详细地说，主要是根据上述步骤对图像内的像素点进行分析，获取其所对应的最优滤波窗口，基于最优滤波窗口对像素点进行双边滤波，获取滤波后像素点所对应的灰度级（新的灰度级），并将每个像素点的原始灰度级替换为新的灰度级，在保证了图像重要信息的细节丢失程度较小和噪声增加较少的情况下，提高了图像的整体对比度和亮度，进而提高后续火灾识别的精度与效率。
[0051]
在一些实施例中，所述基于增强的图像，获得楼宇环境的火灾检测结果的步骤，包括将经过增强的图像输入至火灾识别神经网络中，所述火灾识别神经网络对图像进行分析
处理，输出火灾区域，所述神经网络为卷积神经网络。训练过程为公知技术，此处不再赘述。卷积神经网络完成火灾区域的识别探测为公知技术，不再赘述。
[0052]
至此，本技术提供的一种基于图像数据的楼宇火灾环境检测方法全部过程结束，能够有效实现对楼宇内火灾的检测，且检测精度和效率相较于现有技术有显著提高。详细地说，本技术所提供的技术方案主要是通过对楼宇环境监控图像的分析处理，获取了图像的感兴趣区域，并基于监控视频图像之间的关联性，完成感兴趣区域的匹配分析，获取了感兴趣区域的感兴趣程度，并基于像素点的局部特征与感兴趣区域的感兴趣程度完成了像素点的重要程度（反映了火灾相关信息，重要程度越大，则说明反映的火灾信息越多越重要）的获取，并基于像素点的重要程度完成滤波窗口的自适应调节，获取最优滤波窗口，基于最优滤波窗口完成双边滤波，完成了图像增强。将增强后的图像输入到神经网络中完成楼宇环境火灾的智能检测，提高了火灾智能检测效率与精度。
[0053]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0054]
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器1001进行加载和执行。
[0055]
为此，本技术实施例提供一种计算机可读存储介质，其中存储有多条计算机程序，该计算机程序能够被处理器1001进行加载，以执行本技术实施例所提供的任一种基于图像数据的楼宇火灾环境检测方法中的步骤。例如，该计算机程序可以执行如下步骤：获取楼宇环境的目标视频图像，对图像进行预处理；获取图像内像素点的重要程度；根据像素点的重要程度，获取自适应滤波窗口；根据自适应滤波窗口，完成对图像质量的增强；基于增强的图像，获得楼宇环境的火灾检测结果。
[0056]
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
[0057]
其中，该存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、磁盘或光盘等。
[0058]
由于该存储介质中所存储的计算机程序，可以执行本技术实施例所提供的任一种基于图像数据的楼宇火灾环境检测方法中的步骤，因此，可以实现本技术实施例所提供的任一种基于图像数据的楼宇火灾环境检测方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
[0059]
以上对本技术实施例所提供的一种基于图像数据的楼宇火灾环境检测方法进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。

技术特征：
1.一种基于图像数据的楼宇火灾环境检测方法，其特征在于，所述方法包括：获取楼宇环境的目标视频图像，对图像进行预处理；获取图像内像素点的重要程度；根据像素点的重要程度，获取自适应滤波窗口；根据自适应滤波窗口，完成对图像质量的增强；基于增强的图像，获得楼宇环境的火灾检测结果。2.根据权利要求1所述的基于图像数据的楼宇火灾环境检测方法，其特征在于，所述获取楼宇环境的目标视频图像，对图像进行预处理的步骤，包括：通过监控摄像头采集楼宇环境的目标视频图像，采集的图像为rgb图像，再对所述rgb图像进行灰度化处理，得到楼宇环境的目标视频灰度图像。3.根据权利要求1所述的基于图像数据的楼宇火灾环境检测方法，其特征在于，所述获取图像内像素点的重要程度的步骤，包括：获取若干目标视频图像，所述目标视频图像为时序上连续的图像；获取第一时刻的第一目标视频图像的第一感兴趣区域和第二时刻的第二目标视频图像的第二感兴趣区域，所述第二时刻在时序上为所述第一时刻的相邻的下一时刻，所述第一感兴趣区域和所述第二感兴趣区域均为火焰区域；对所述第一感兴趣区域和所述第二感兴趣区域进行匹配，以匹配出所述第一感兴趣区域和所述第二感兴趣区域之间相关联的感兴趣程度；基于火灾的特性，对所述感兴趣程度进行误差优化处理，得到优化后的感兴趣程度；根据优化后的感兴趣程度，对感兴趣区域内的像素点进行局部特征分析，获取各像素点的重要程度。4.根据权利要求3所述的基于图像数据的楼宇火灾环境检测方法，其特征在于，所述获取第一时刻的第一目标视频图像的第一感兴趣区域和第二时刻的第二目标视频图像的第二感兴趣区域的步骤包括：利用大津阈值分割算法分别对所述第一目标视频图像和所述第二目标视频图像进行计算分割，得到第一感兴趣区域和第二感兴趣区域，所述第一感兴趣区域和所述第二感兴趣区域均具有多个，且所述第一感兴趣区域的数量与所述第二感兴趣区域的数量相同。5.根据权利要求4所述的基于图像数据的楼宇火灾环境检测方法，其特征在于，所述对所述第一感兴趣区域和所述第二感兴趣区域进行匹配，以匹配出所述第一感兴趣区域和所述第二感兴趣区域之间相关联的感兴趣程度的步骤，包括：获取多个所述第一感兴趣区域内的多个第一中心点和获取多个所述第二感兴趣区域内的多个第二中心点；计算多个所述第一中心点分别与多个所述第二中心点之间的欧式距离，匹配出最小的欧式距离，根据最小的欧式距离得到第一感兴趣区域中的第一匹配区域和第二感兴趣区域中的第二匹配区域，所述第一匹配区域和所述第二匹配区域为两个相邻时刻的同一区域；基于火焰区域和其他干扰因素的特性，通过比较所述第一匹配区域和所述第二匹配区域之间的变化，得到火焰区域的感兴趣程度。6.根据权利要求5所述的基于图像数据的楼宇火灾环境检测方法，其特征在于，所述基于火焰区域和其他干扰因素的特性，通过比较所述第一匹配区域和所述第二匹配区域之间
的变化，得到火焰区域的感兴趣程度的步骤，包括：将所述第一匹配区域投影到所述第二目标视频图像上，得到第一投影区域，所述第一投影区域与所述第二匹配区域至少部分重叠，以形成重叠区域；获取第二匹配区域中未与所述第一投影区域重叠的未重叠区域；根据所述重叠区域和所述未重叠区域，计算出感兴趣程度；具体公式为：；其中，，，分别为第一匹配区域a，第二匹配区域b，重叠区域c的面积，表示从区域的面积上反映了重叠区域c的重叠程度；为重叠区域c区域内第i个像素点在第一匹配区域a内所对应的像素点灰度值；为重叠区域c区域内第i个像素点在第二匹配区域b内所对应的像素点灰度值；为重叠区域内像素点的个数；cd为重叠区域c的重叠程度。7.根据权利要求5所述的基于图像数据的楼宇火灾环境检测方法，其特征在于，所述基于火灾的特性，对所述感兴趣程度进行误差优化处理，得到优化后的感兴趣程度的步骤，包括：获取所述第一匹配区域中灰度值最大的像素点，记为z点；获取所述第一匹配区域上的多个采样点，所述多个采样点位于所述第一匹配区域的边缘上并沿所述边缘等间距排列；所述多个采样点分别与所述z点连接，得到多条采样线段；获取多条采样线段与水平线的顺时针夹角，根据计算公式得到优化后的感兴趣程度；具体公式为：；；；；其中，采样点记作m点，所述采样线段记作表示了采样线段上从z点到m点之间的第i个像素点的灰度值，则表示了第i+1个像素点的灰度值；表示了采样线段上像素点个数；值反映了采样线段上灰度衰减累加值；为采样线段所对应的角度，则为风速方向，其差异k反映了采样线段是否位于风速方向上；则反映了不同采样线段之间的差异，其中n为采样线段的个数，为线段所对应的角度差异；表示了第i条采样线段所对应的角度差异；表示了第i条采样线段所对应的长度，表示线段所对应的长度；分别表示了第i条线段的差异特征值与灰度衰减特征值，表示初步roi区域的感兴趣程度，表示优化后的感兴趣程度，k表示采样线段角度与风向方向之间的差异。8.根据权利要求3至7任一项所述的基于图像数据的楼宇火灾环境检测方法，其特征在
于，所述火灾的特性包括火灾的蔓延特性和产生具有蔓延特性的烟雾的特性。9.根据权利要求3所述的基于图像数据的楼宇火灾环境检测方法，其特征在于，所述根据优化后的感兴趣程度，对感兴趣区域内的像素点进行局部特征分析，获取各像素点的重要程度的步骤，包括：对感兴趣区域内的像素点进行局部特征分析，所述像素点的局部特征包括像素点的感兴趣程度，像素点的灰度方差以及像素点与感兴趣区域内灰度值最大的像素点之间的距离；根据公式分别计算出各像素点的重要程度；其中，这里以像素点s举例，具体公式为：；为像素点s所在感兴趣区域的感兴趣程度；为s点的灰度方差；则为像素点s与感兴趣区域内灰度值最大的像素点z点的距离；u为像素点s的重要程度。10.根据权利要求1所述的基于图像数据的楼宇火灾环境检测方法，其特征在于，所述根据像素点的重要程度，获取自适应滤波窗口的步骤，包括：获取感兴趣区域内的像素点的重要程度；对感兴趣区域内的像素点的重要程度进行归一化处理；设定感兴趣区域外的像素点的重要程度为感兴趣区域内的像素点的重要程度的最小值；根据公式计算得到自适应滤波窗口；公式为：；其中，为自适应滤波窗口的尺寸；ck为初始滤波窗口；u为像素点所对应的重要程度，f[]为自适应滤波窗口的横向和纵向尺寸。

技术总结
本申请涉及楼宇火灾检测技术领域，具体涉及基于图像数据的楼宇火灾环境检测方法。所述方法包括：获取楼宇环境的目标视频图像，对图像进行预处理；获取图像内像素点的重要程度；根据像素点的重要程度，获取自适应滤波窗口；根据自适应滤波窗口，完成对图像质量的增强；基于增强的图像，获得楼宇环境的火灾检测结果。本申请实施例能够能够对采集的图像进行质量提高，进而提高楼宇环境火灾检测的精度和效率。率。率。


技术研发人员：王崇芳
受保护的技术使用者：济南东庆软件技术有限公司
技术研发日：2023.06.16
技术公布日：2023/7/21