基于图像临帧像素特征的矿井电火花识别与报警方法

1.本发明涉及一种基于图像临帧像素特征的矿井电火花识别与报警方法，该方法涉及数字图像处理技术和通信技术等领域。


背景技术：

2.矿井电火花(以下简称电火花)会引起瓦斯、煤尘爆炸。据煤矿安全官网研究数据表明一地区煤矿连续7年事故统计中，所发生的76次瓦斯、煤尘爆炸事故中，电火花引爆次数占比46％；其次电火花也会引起矿井火灾，引起的矿井火灾会产生大量热量和高温，产生大量co2、co等有毒有害气体，消耗大量o2，造成人员伤亡，巷道、设施和设备损毁。瓦斯和煤尘爆炸同时也会诱发火灾，造成二次伤害，为灾后的应急救援增加了难度。火灾和爆炸的相互转化性，使得灾害面积迅速增加，危险程度等级骤然升高，导致恶性灾害循环。因此，快速识别井下电火花，及时报警，有针对性的启动应急预案和应急救援，对挽救井下遇险人员生命和煤炭安全生产来说至关重要。
3.电火花在产生会瞬间释放强光亮，放电声音相对较小。所述电火花产生包括矿井电缆和电气设备因使用期限、环境、维护、维修不当等原因产生的电火花；因大功率无线电发射，在井下金属支护和机电设备金属上感生电动势，当感生电动势较高时，对地放电产生的放电能量较小的电火花。电火花本身温度较高，但电火花周边物体升温不明显。矿井电火花、特别是放电能量较小的矿井电火花较难监测。迄今为止，未见有有效的矿井电火花监测方法。
4.电火花释放周期大致可分为四个阶段：介质击穿、火花产生、火花维持和火花熄灭；研究数据表明，在模拟火花电路中，无论是电阻性电路、电感性电路还是电容性电路产生的电火花，其火花持续周期均在微秒级，其中有研究人员基于高压火花发生器和高速摄像机得到了电火花的释放周期约为1.5ms左右，其次，在工业应用领域基于电火花特性加工机械零件，无损伤零件加工时电火花的释放周期约为0.3μs～4ms左右，研究数据表明电火花的释放持续时间极短；而井下电火花干扰源包括的闪亮干扰源的最短闪烁频率周期约为1s，其中亮暗比为亮150ms，暗850ms左右，综上所述，电火花干扰源无论是闪亮干扰源还是常亮干扰源的光亮持续周期远大于电火花的光亮持续周期，因此本发明提出了利用图像临帧像素特征来进行矿井电火花的识别与报警，所述方法识别准确，快速简单。


技术实现要素：

5.本发明的目的在于提供一种基于图像临帧像素特征的矿井电火花识别与报警方法，该方法充分考虑了矿井电火花图像及临帧图像特征与电火花干扰源图像及临帧图像特征。所述电火花释放瞬间会产生局部强光亮且在设定帧率阈值范围内将有电火花的监控视频图像分帧处理后，有电火花的帧图像具有单帧不连帧的特征，而电火花干扰源在设定帧率阈值范围内至少存在连续两帧及以上。因此利用图像临帧像素特征来判断监控区域内有无电火花的方法能够快速辨别电火花和电火花干扰源，准确简单，能为井下遇险人员争取
更多的救援和逃生时间。
6.所述电火花识别与报警方法包括矿井电火花产生时，光亮持续时间极短；电火花干扰源光亮持续时间长，所述利用电火花图像及临帧图像像素特征与电火花干扰源图像及临帧图像像素特征的区别来进行矿井电火花识别与报警；所述识别与报警方法包括以下步骤：
7.a1：在有电缆，机电、机械设备，巷道、采煤工作面、胶带和掘进工作面安装电火花监测报警系统，并对系统进行初始化；
8.a2：电火花监测报警系统中多路图像监测设备实时采集监控区域视频图像，依据设定条件1，将监控视频图像进行分帧处理；
9.a3：实时诊断电火花监测报警系统中多路图像监测设备采集的监控视频图像；依据设定条件2，判定分帧后的监控视频图像中是否存在疑似电火花异常帧图像；
10.a4：循环a3，当判定监控视频图像中出现疑似电火花异常帧图像时，则电火花监控报警设备发出图像异常预警信号；
11.a5：当出现图像异常预警信号后，所述当判定疑似电火花异常帧图像像素特征值分别与两临帧图像像素特征值满足设定条件3时，执行步骤a6，否则执行步骤a3；
12.a6：所述当判定疑似电火花异常帧图像像素特征值分别与两临帧图像像素特征值满足设定条件4时，执行步骤a7，否则执行步骤a3；
13.a7：所述判定当前异常帧图像为真实电火花图像，则电火花监测报警设备向井上监控终端发出矿井电火花报警信号。
14.1.所述电火花识别与报警方法进一步包括：所述设定条件1为监控视频图像分帧帧率fr在设定阈值(r1,r2)内，所述阈值r1依据电火花的最长光亮持续时间d
tmax
设定且所述阈值r2依据电火花干扰源最短光亮持续时间g
tmin
设定且所述电火花及电火花干扰源的光亮持续时间d
tmax
、g
tmin
由实验测定或依据人为设定。
15.2.所述电火花识别与报警方法进一步包括：所述判定为疑似电火花异常帧图像的设定条件2为分帧后的监控视频图像中存在任意两临帧图像单通道像素特征值和的差的绝对值大于设定像素阈值n1；所述任意两临帧图像为在分帧后的监控视频图像中截取连续r帧图像，并分别求所述截取的单帧图像的单通道像素特征值和；进一步在所述r帧图像中取中间连续三帧图像并设为前帧图像、中间帧图像、后帧图像；则所述两临帧图像包括前帧图像与中间帧图像、中间帧图像与后帧图像；所述帧数r至少包括五帧图像且帧数r为奇数。
16.3.所述电火花识别与报警方法进一步包括：所述判定疑似电火花异常帧图像像素特征值分别与两临帧图像像素特征值满足设定条件3；所述设定条件3为该疑似电火花异常帧图像与前后两帧图像上分别对应的连续单点像素特征值的差均大于设定像素阈值n2且该疑似电火花异常帧图像与两临帧图像上分别对应连续单点像素特征值的差大于阈值n2的个数均小于阈值q；所述阈值n2、q由实验测定或依据人为设定。
17.4.所述电火花识别与报警方法进一步包括：所述判定疑似电火花异常帧图像像素特征值分别与两临帧图像像素特征值满足设定条件4；所述设定条件4为该疑似电火花异常帧图像与前后两帧图像上分别对应的连续单点像素特征值的差的和均大于分别与前后两帧图像的单通道像素特征值和的差的绝对值的k倍且该疑似电火花异常帧图像分别与前后
两帧图像的单通道像素特征值和的差的绝对值之比在阈值(a,b)内；所述阈值k∈(k1,k2)和阈值(a,b)由实验测定或人为设定得到。
18.5.所述电火花识别与报警方法进一步包括：所述矿井电火花包括电阻性电路产生的电火花、电感性电路产生的电火花及电容性电路产生的电火花；所述电火花光亮持续时间为电火花产生时的持续发亮时间；所述电火花干扰源光亮持续时间为电火花干扰源的持续发亮时间；所述井下电火花干扰源包括闪烁干扰源和长亮干扰源；所述包括车灯、矿灯、应急灯、巷道灯、信号灯、反光物体、机械或机电设备状态指示灯。
19.6.所述电火花识别与报警方法进一步包括：所述电火花监测报警系统包括通信网络、电火花监测报警设备、多路图像监测设备和监控终端；所述电火花监测报警设备安装在井下巷帮、巷顶或长期使用的固定物体上面，与所述多路图像监测设备即摄像机直接连接，负责接收和处理由摄像机采集的监控视频图像数据，内置图形图像处理软件，并具有防爆、存储视频图像数据、计时和报警功能；所述图像监测设备包括高清可见光摄像机、高清近红外摄像机和高清紫外摄像机；所述监控终端安装于井上，用于接收所述电火花监测报警设备的报警信号，具有声光报警功能。
20.基于图像临帧像素特征的矿井电火花识别与报警方法具有以下特点：
21.1.本发明的电火花识别方法充分分析了电火花释放过程图像的特征，在所述设定的图像分帧帧率下，电火花图像存在于单帧图像上且不连帧，而在此帧率下存在电火花干扰源图像至少连续两帧及以上。因此本发明利用图像前后临帧像素特征关系来判断监控区域内有无电火花的方法能够快速辨别电火花和电火花干扰源，准确简单，能为井下遇险人员争取更多的救援和逃生时间。
22.2.本发明方法图像处理部分算法构建简洁、高效，单帧图像即可快速判定电火花信息，所述方法特征提取辨识度高，变量少，从而缩短了疑似电火花的判别时间，进一步为井下被困及受灾人员争取更多的逃生时间。
附图说明
23.图1基于图像临帧像素特征的矿井电火花识别与报警方法实施方案示意图。
24.图2电火花监测报警设备结构示意图。
25.图3基于图像临帧像素特征的矿井电火花识别与报警方法的电火花报警判定流程示意图。
具体实施方式
26.图1是基于图像临帧像素特征的矿井电火花识别与报警方法实施方案示例，主要组成包括：
27.1.存储服务器(101)，所述存储服务器与图像采集摄像机(105)通信连接，负责存储转发由摄像机提供的监控区域实时视频图像数据；所述存储服务器与电火花监测报警设备(106)通信连接，负责存储转发由电火花监测报警设备提供的电火花报警数据；为监控终端(102)提供查看待监测区域的现场监控数据或调取历史监控图像数据服务。
28.2.监控终端(102)，安装于井上，用于接收所述电火花监测报警设备(106)的报警信号；负责提供井下环境监控数据显示服务，由存储服务器(101)提供实时、历史数据和电
火花报警数据，具有声光报警功能；生产管理人员可通过监控终端对存储服务器(101)存储的历史数据调取查询。
29.3.核心交换机(103)，矿用以太网的核心管理和交换设备，负责所有接入矿用以太网的设备的管理和数据交换，具有路由功能，连接互联网。
30.4.环网交换机(104)，矿用以太网的井下交换设备，安装在井下，多个环网交换机以环网方式连接。
31.5.图像监测设备(105)，即摄像机，安装在有电缆，机电、机械设备，巷道、采煤工作面、胶带和掘进工作面等易发生电火花区域，实时采集监控视频图像；所述摄像机包括高清可见光摄像机、高清近红外摄像机和高清紫外摄像机；所述摄像机具有网络输出和模拟视频输出功能；网络接口直接连接环网交换机(104)，将实时采集的监控区域的视频图像数据传输给存储服务器(101)，模拟视频输出端口连接电火花监测报警设备(106)。
32.6.电火花监测报警设备(106)，负责接收和处理由摄像机(105)采集的监控视频图像数据，内置图形图像视频处理软件，当处理后的异常帧图像，满足设定的电火花报警条件，则向存储服务器(101)发出电火花报警数据；并向监控终端(102)发出电火花报警信号；具有有线与无线通信功能。
33.7.疑似电火花区域，摄像机实时监控区域出现的疑似电火花区域，该图像数据由摄像机实时监测并采集上传。
34.图2是电火花监测报警设备结构示意图，所述电火花监测报警设备结构主要组成包括：
35.核心处理器、图形图像处理器、存储单元、时钟单元、电源单元、usb接口单元、视频图像采集模块、无线通信单元、网络接口单元、sd卡接口单元。
36.1.核心处理器(201)，采用broadcom bcm2837处理器，采用arm cortex-a53架构，64位四核1.2ghz。
37.2.图形图像处理器(202)，采用是dual core videocore iv gpu处理器。
38.3.存储单元(203)，采用1gb lpdd2内存。
39.4.时钟单元(204)，采用19.2mhz晶振。
40.5.电源单元(205)，采用ac/dc模块，输入100v～240vac，输出12vdc，用于设备供电。
41.6.usb接口单元(206)，支持4个usb接口。
42.7.视频图像采集模块(207)，将模式视频信号转为数字视频数据，输入连接摄像机(105)的模拟视频输出端口，通过usb口将数字视频数据传输给核心处理器(201)，支持多路视频采集。
43.8.通信模块(208)，负责将rs485通信接口转换为usb通信接口，连接其他数据监测设备。
44.9.无线通信单元(209)，支持802.11b/g/n协议，用于与支持无线通信的监测设备进行无线通信。
45.10.网络接口单元(210)，负责接入矿用以太网，连接环网交换机(104)。
46.11.sd卡单元(211)，用于存放系统文件、库文件、监控程序文件等，使用linux系统管理，内置opencv库用于视频数据处理，采用不小于4gb的micro sd卡。
47.基于图像临帧像素特征的矿井电火花识别与报警方法的电火花报警判定流程示例如图3所示，所述流程包括：
48.1.(301)摄像机安装在有电缆，机电、机械设备，巷道、采煤工作面、胶带和掘进工作面等区域，实时采集监控区域的视频图像，并上传至电火花监测报警设备进行图像识别分帧处理，进一步执行步骤(302)。
49.2.(302)电火花监测报警设备对监控视频图像进行预处理，对所述监控视频图像基于帧率(r1,r2)进行分帧操作且得到n帧m
×
n图像(a1,a2···an-1
,an)(n∈n
+
)，执行步骤(303)。
50.3.(303)所述对分帧处理后的视频图像截取连续r(r∈n)帧图像,所述进一步求出所有截取的单帧图像的单通道像素特征值和所述为帧图像(a1,a2···ar
)上单点像素特征值，进一步执行步骤(304)。
51.4.(304)所述进一步的在r帧图像中取中间连续三帧图像进行临帧图像像素特征值和关系判定，执行步骤(305)。
52.5.(305)所述当两临帧图像的单通道像素特征值和的差的绝对值s1＝|a
a[((r+1)/2)-1]-a
a((r+1)/2)
|＞n1或当两临帧图像的单通道像素特征值和的差的绝对值s2＝|a
a[((r+1)/2)+1]-a
a((r+1)/2)
|＞n1时，所述阈值n1由实验测定或人为设定得到；所述a
a[((r+1)/2)-1]
,a
a((r+1)/2)
,a
a[((r+1)/2)+1]
为帧图像的单通道像素特征值和；执行步骤(306)，否则返回执行步骤(303)。
[0053]
6.(306)判定视频图像中出现异常帧图像且电火花监测报警设备向监控终端发出视频图像异常预警信号，执行步骤(307)。
[0054]
7.(307)所述进一步判定异常帧图像具体帧值，所述当满足条件时，则判定异常帧图像为第帧；执行步骤(308)。否则执行步骤(310)
[0055]
8.(308)所述当两临帧图像上对应连续单点像素特征值的差和两临帧图像上对应连续单点像素特征
值的差且帧图像与两临帧图像上分别对应连续单点像素特征值的差大于阈值n2的个数时；执行步骤(309),否则返回执行步骤(303)。
[0056]
9.(309)所述当两临帧图像上对应连续单点像素特征值的差的和和两临帧图像上对应连续单点像素特征值的差的和且s2/s1∈(a,b)时，执行步骤(318),否则返回执行步骤(303)。
[0057]
10.(310)所述当帧图像的单通道像素特征值和a
a[((r+1)/2)-1]
与临帧图像对应的像素特征值和a
a((r+1)/2)
满足条件a
a[((r+1)/2)-1]
＞a
a((r+1)/2)
时，则异常帧图像为第帧；进一步执行步骤(311)，否则执行步骤(314)。
[0058]
11.(311)所述当判定异常帧图像为帧图像时，则设定帧图像为中间帧图像；进一步判定帧图像的像素特征值关系，执行步骤(312)，否则返回执行步骤(303)。
[0059]
12.(312)所述当两临帧图像上对应连续单点像素特征值的差和两临帧图像上对应连续单点像素特征值的差且帧图像与两临帧图像上分别对应连续单点像素特征值的差大于阈值n2的个数时，执行步骤(313),否则返回执行步骤(303)。
[0060]
13.(313)所述当两临帧图像上对应连续单点像素特征值的差的和和两临帧图像上对应连续单点像素特征值的差的和且s3/s1∈(a,b)时，所述阈值s3为临帧图像的单通道像素特征值和的差的绝对值,执行步骤(318),否则返回执行步骤(303)。
[0061]
14.(314)所述当帧图像的单通道像素特征值和a
a[((r+1)/2)+1]
与两临帧图像对应的像素特征值和a
a((r+1)/2)
满足条件a
a[((r+1)/2)+1]
＞a
a((r+1)/2)
时，则异常帧图像为第帧；进一步执行步骤(315)，否则返回执行步骤(303)。
[0062]
15.(315)所述当判定异常帧图像为帧图像时，则设定帧图像为中间帧图像；进一步判定帧图像的像素特征值关系，执行步骤(316)，否则返回执行步骤(303)。
[0063]
16.(316)所述当两临帧图像上对应连续单点像素特征值的差和两临帧图像上对应连续单点像素特征值的差且帧图像与两临帧图像上分别对应连续单点像素特征值的差大于阈值n2的个数时，执行步骤(317),否则返回执行步骤(303)。
[0064]
17.(317)所述当两临帧图像上对应连续单点像素特征值的差的和和两临帧图像上对应连续单点像素特征值的差的和且s4/s2∈(a,b)时，所述阈值s4为临帧图像的单通道像素特征值和的差的绝对值,执行步骤(318),否则返回执行步骤(303)。
[0065]
18.(318)向监控终端发出电火花报警信号。

技术特征：
1.基于图像临帧像素特征的矿井电火花识别与报警方法，其特征在于：矿井电火花产生时，光亮持续时间极短；电火花干扰源光亮持续时间长，所述利用电火花图像及临帧图像像素特征与电火花干扰源图像及临帧图像像素特征的区别来进行矿井电火花识别与报警；所述识别与报警方法包括以下步骤：a1：在有电缆，机电、机械设备，巷道、采煤工作面、胶带和掘进工作面安装电火花监测报警系统，并对系统进行初始化；a2：电火花监测报警系统中多路图像监测设备实时采集监控区域视频图像，依据设定条件1，将监控视频图像进行分帧处理；a3：实时诊断电火花监测报警系统中多路图像监测设备采集的监控视频图像；依据设定条件2，判定分帧后的监控视频图像中是否存在疑似电火花异常帧图像；a4：循环a3，当判定监控视频图像中出现疑似电火花异常帧图像时，则电火花监控报警设备发出图像异常预警信号；a5：当出现图像异常预警信号后，所述当判定疑似电火花异常帧图像像素特征值分别与两临帧图像像素特征值满足设定条件3时，执行步骤a6，否则执行步骤a3；a6：所述当判定疑似电火花异常帧图像像素特征值分别与两临帧图像像素特征值满足设定条件4时，执行步骤a7，否则执行步骤a3；a7：所述判定当前异常帧图像为真实电火花图像，则电火花监测报警设备向井上监控终端发出矿井电火花报警信号。2.如权利要求1所述基于图像临帧像素特征的矿井电火花识别与报警方法，其特征在于：所述设定条件1为监控视频图像分帧帧率fr在设定阈值(r1,r2)内，所述阈值r1依据电火花的最长光亮持续时间d
tmax
设定且所述阈值r2依据电火花干扰源最短光亮持续时间g
tmin
设定且所述电火花及电火花干扰源的光亮持续时间d
tmax
、g
tmin
由实验测定或依据人为设定。3.如权利要求1所述基于图像临帧像素特征的矿井电火花识别与报警方法，其特征在于：所述判定为疑似电火花异常帧图像的设定条件2为分帧后的监控视频图像中存在任意两临帧图像单通道像素特征值和的差的绝对值大于设定像素阈值n1；所述任意两临帧图像为在分帧后的监控视频图像中截取连续r帧图像，并分别求所述截取的单帧图像的单通道像素特征值和；进一步在所述r帧图像中取中间连续三帧图像并设为前帧图像、中间帧图像、后帧图像；则所述两临帧图像包括前帧图像与中间帧图像、中间帧图像与后帧图像；所述帧数r至少包括五帧图像且帧数r为奇数。4.如权利要求1所述基于图像临帧像素特征的矿井电火花识别与报警方法，其特征在于：所述判定疑似电火花异常帧图像像素特征值分别与两临帧图像像素特征值满足设定条件3；所述设定条件3为该疑似电火花异常帧图像与前后两帧图像上分别对应的连续单点像素特征值的差均大于设定像素阈值n2且该疑似电火花异常帧图像与两临帧图像上分别对应连续单点像素特征值的差大于阈值n2的个数均小于阈值q；所述阈值n2、q由实验测定或依据人为设定。
5.如权利要求1所述基于图像临帧像素特征的矿井电火花识别与报警方法，其特征在于：所述判定疑似电火花异常帧图像像素特征值分别与两临帧图像像素特征值满足设定条件4；所述设定条件4为该疑似电火花异常帧图像与前后两帧图像上分别对应的连续单点像素特征值的差的和均大于分别与前后两帧图像的单通道像素特征值和的差的绝对值的k倍且该疑似电火花异常帧图像分别与前后两帧图像的单通道像素特征值和的差的绝对值之比在阈值(a,b)内；所述阈值k∈(k1,k2)和阈值(a,b)由实验测定或人为设定得到。6.如权利要求1所述基于图像临帧像素特征的矿井电火花识别与报警方法，其特征在于：所述矿井电火花包括电阻性电路产生的电火花、电感性电路产生的电火花及电容性电路产生的电火花；所述电火花光亮持续时间为电火花产生时的持续发亮时间；所述电火花干扰源光亮持续时间为电火花干扰源的持续发亮时间；所述井下电火花干扰源包括闪烁干扰源和长亮干扰源；所述包括车灯、矿灯、应急灯、巷道灯、信号灯、反光物体、机械或机电设备状态指示灯。7.如权利要求1所述基于图像临帧像素特征的矿井电火花识别与报警方法，其特征在于：所述电火花监测报警系统包括通信网络、电火花监测报警设备、多路图像监测设备和监控终端；所述电火花监测报警设备安装在井下巷帮、巷顶或长期使用的固定物体上面，与所述多路图像监测设备即摄像机直接连接，负责接收和处理由摄像机采集的监控视频图像数据，内置图形图像处理软件，并具有防爆、存储视频图像数据、计时和报警功能；所述图像监测设备包括高清可见光摄像机、高清近红外摄像机和高清紫外摄像机；所述监控终端安装于井上，用于接收所述电火花监测报警设备的报警信号，具有声光报警功能。

技术总结
本发明公开了一种基于图像临帧像素特征的矿井电火花识别与报警方法，所述电火花识别与报警方法通过在井下安装高清摄像机，实时采集并识别监控区域疑似电火花图像，通过监测电火花图像及临帧图像特征与电火花干扰源图像及临帧图像特征进行矿井电火花识别与报警。所述电火花识别与报警方法充分考虑了电火花释放及图像的特征，辨识快速，准确简单，能为井下遇险人员争取宝贵的救援和逃生时间。遇险人员争取宝贵的救援和逃生时间。遇险人员争取宝贵的救援和逃生时间。


技术研发人员：孙继平 李小伟 王建业
受保护的技术使用者：中国矿业大学（北京）
技术研发日：2023.04.04
技术公布日：2023/6/7