复杂场景下危险气体泄漏红外视频检测方法及系统

1.本发明涉及计算机视觉和图像处理技术领域，特别是指一种基于flowfasterrcnn网络和对抗生成网络的复杂场景下危险气体泄漏红外视频检测方法及系统。


背景技术：

2.化工厂使用的气体多种多样，一旦发生泄漏，将会危及工人身体健康和公共社会安全。易燃易爆碳氢化合物的是化学气体泄漏的主要成分，它们的意外泄漏是化工厂发生爆炸的重要原因。此外，一些工厂使用的一氧化氮、一氧化碳等有毒气体会对人体多个器官造成损伤，甚至导致死亡。然而，由于这些气体是无嗅、无味和无色的，它们的泄漏用肉眼很难辨别。因此，迫切需要找到一种有效的气体泄漏检测方法，以预防灾害，减轻危险气体泄漏对化工厂的安全影响。
3.基于光谱吸收的红外气体成像技术以其非侵入性、动态直观、检测范围大等优点逐渐成为主流的稀有气体泄漏检测方法。然而由于红外图像具有边缘模糊、信噪比差、对比度低等缺点，且化工厂环境复杂，人员干扰因素强，化工厂无法通过人工的方式进行全天候的实时监测，基于红外图像的气体检测算法应运而生。传统的手工检测方法，是根据气体扩散时的运动信息，进行背景建模或者帧间差分等方式，提取含有气体的目标区域。然而已有研究证明，这类手工方法的鲁棒性低，稳健性差，难以运用到背景复杂的实际安全维护中，基于神经网络的检测方法具有更大的优势。
4.但是目前关于红外图像的稀有气体检测领域中，基于深度学习的检测方法十分稀少。这是因为以化工厂为背景的气体泄漏的红外图像难以获取，没有足够多的训练数据训练网络模型。虽然目前唯一公开的红外气体泄漏数据集有着较为丰富的视频数据，但是该数据集的拍摄背景十分简单，且没有人员移动的干扰，并不满足现实发生泄漏的场景。目前急需一个背景复杂且有人员移动干扰的红外气体泄漏数据集。
5.同时，目前基于神经网络的气体检测方法未能很好的融合气体的时间信息和空间信息。单帧图像包含着气体的空间信息，然而由于气体的半透明性，加上复杂的背景环境，神经网络很难仅凭气体的静态特征识别出气体泄漏。


技术实现要素：

6.本发明主要目的在于提供一种可融合气体泄漏时的运动信息，提升检测准确率的基于flowfasterrcnn网络和对抗生成网络的复杂场景下危险气体泄漏红外视频检测方法及系统。
7.本发明所采用的技术方案是：提供一种复杂场景下危险气体泄漏红外视频检测方法，包括以下步骤：s1、将自然光照下的待测火灾烟雾视频输入预先训练好的生成对抗网络，生成虚拟的复杂场景下的红外泄漏气体数据，包括红外泄漏气体图像及其对应的光流图；s2、将红外泄漏气体数据输入预先训练好的flow faster rcnn网络中；
s3、该flow faster rcnn网络通过并行的空间特征提取通道和运动光流特征提取通道，分别提取红外泄漏气体的空间纹理信息和光流运动信息，输出两个特征图，经拼接后得到同时包含泄漏气体的空间纹理信息和光流运动信息的拼接特征图并输入rpn模块；通过rpn模块生成区域建议框，根据区域建议框的坐标信息提取拼接特征图中对应的特征图子块；将特征图子块输入到两个全连接层中，判别区域建议框的类别以及最终校正区域建议框位置，从而得到是否有危险气体泄漏以及泄漏气体的位置。接上述技术方案，该生成对抗网络通过flir thermal数据集进行训练，学习自然光图像和红外图像之间的映射关系；该flir thermal数据集中的数据均来自于安装在车辆上的rgb相机和热成像相机，但两个相机在车辆上的位置不同，分别拍摄包含路况的自然光照图像和对应的路况红外图像。
8.接上述技术方案，该生成对抗网络为基于gan网络改进的cycle gan网络，其在原始的gan网络中增加循环一致性损失，具体使用第一生成器gab将真实的自然光照图像x转为红外图像y’，然后使用第二生成器gba将生成的红外图像y’转换成自然光照图像x’，比较真实的自然光照图像x和生成的自然光照图像x’之间的差别，计算他们之间的损失，并根据损失优化网络，以生成更高质量的图像。
9.接上述技术方案，空间特征提取通道的输入是红外气体泄漏图像关键帧，用来提取泄漏气体的空间纹理信息；运动光流特征提取通道的输入是红外气体泄漏图像关键帧对应的光流图，该光流图是利用视频帧序列像素在时域中的变化情况以及与相邻帧中对应像素点的相关性来查找相邻帧之间的物体运动信息。
10.接上述技术方案，拼接特征图经过rpn模块后得到大小不一的预测边界框，多对应的特征图子块大小也不一致，需将每个预测边界框对应的特征图子块划分为n
×
n大小的网格，并对每一个网格做最大池化处理，使每个特征图子块大小一致。
11.接上述技术方案，flow faster rcnn网络的训练过程为：制作特定的数据集complexgasvid，其包含真实的红外气体泄漏图像和生成的虚拟气体泄漏图像，并对数据集complexgasvid中的图像进行标注；将数据集complexgasvid的数据划分为训练集、验证集和测试集，使用训练集和验证集训练flow faster rcnn模型，测试集则是用来验证训练好的模型的性能。
12.接上述技术方案，数据集complexgasvid中采用的虚拟气体泄漏图像是由自然光照下的火灾烟雾图像转换成红外图像而来。
13.本发明还提供一种复杂场景下危险气体泄漏红外视频检测系统，包括：图像转换模块，用于将自然光照下的待测火灾烟雾视频输入预先训练好的生成对抗网络，生成虚拟的复杂场景下的红外泄漏气体数据，包括红外泄漏气体图像及其对应的光流图；识别模块，用于将红外泄漏气体数据输入预先训练好的flow faster rcnn网络中；该flow faster rcnn网络通过并行的空间特征提取通道和运动光流特征提取通道，分别提取红外泄漏气体的空间纹理信息和光流运动信息，输出两个特征图，经拼接后得到同时包含泄漏气体的空间纹理信息和光流运动信息的拼接特征图并输入rpn模块；通过rpn模块生成区域建议框，根据区域建议框的坐标信息提取拼接特征图中对应的特征图子块；将特征图子块输入到两个全连接层中，判别区域建议框的类别以及最终校正区域建议框位
置，从而得到是否有危险气体泄漏以及泄漏气体的位置。
14.接上述技术方案，空间特征提取通道的输入是红外气体泄漏图像关键帧，用来提取泄漏气体的空间纹理信息；运动光流特征提取通道的输入是红外气体泄漏图像关键帧对应的光流图，该光流图是利用视频帧序列像素在时域中的变化情况以及与相邻帧中对应像素点的相关性来查找相邻帧之间的物体运动信息。
15.本发明还提供一种计算机存储介质，其内存储有可被处理器执行的计算机程序，该计算机程序执行上述技术方案所述的复杂场景下危险气体泄漏红外视频检测方法。
16.本发明产生的有益效果是：本发明在模型改进方面，通过在原始的faster rcnn网络的基础上，增加了一个运动光流提取通道，用来提取泄漏气体的运动信息，相比于原模型能够更好的融合气体泄漏时的运动信息，提升检测准确率。
17.进一步地，在数据增强方面，使用基于对抗生成网络的方法，生成虚拟的复杂场景下的红外泄漏气体数据，即利用扩散烟雾与泄漏气体拥有相似的视觉特点这一特性，将自然光照下的火灾烟雾图像转换成红外图像来充当红外气体泄漏数据。由于危险气体的易燃易爆特性，难以获取复杂场景下的红外气体泄漏数据，而生成的虚拟数据可以解决该问题并且提升模型的鲁棒性，
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是本发明实施例基于flowfasterrcnn网络和对抗生成网络的复杂场景下危险气体泄漏红外视频检测方法的细节示意图；图2是是本发明实施例基于flowfasterrcnn网络和对抗生成网络的复杂场景下危险气体泄漏红外视频检测方法的流程示意图；图3是flir thermal数据集的部分展示图；图4是部分火灾烟雾图像；图5是cycle gan模型的原理图；图6是自然光照下的火灾烟雾图像转换成红外图像的结果示例图；图7是部分真实红外危险气体泄漏图像；图8是生成的虚拟红外气体泄漏图像及其对应的光流图，以及真实的红外气体泄漏图像及其对应的光流图；图9是flow faster rcnn模型的具体流程图；图10是flow faster rcnn模型特征提取模块的细节图；图11是验证数据增强方法时，对比数据集的划分情况；图12是分别使用数据库a和数据库b训练faster rcnn模型，并且使用各自的测试集对faster rcnn模型进行测试的测试结果，结果表明，本发明的数据增强方法有利于提升模型的检测性能；图13是使用数据库b分别训练faster rcnn模型和flow faster rcnn模型，并且使
用相同的测试集对两个模型进行验证的结果，最终结果表明，flow faster rcnn模型的检测性能更优。
具体实施方式
19.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
20.实施例1如图1、2所示，本发明实施例复杂场景下危险气体泄漏红外视频检测方法，包括以下步骤：s1、将自然光照下的待测火灾烟雾视频输入预先训练好的生成对抗网络，生成虚拟的复杂场景下的红外泄漏气体数据，包括红外泄漏气体图像及其对应的光流图；s2、将红外泄漏气体数据输入预先训练好的flow faster rcnn网络中；s3、该flow faster rcnn网络通过并行的空间特征提取通道和运动光流特征提取通道，分别提取红外泄漏气体的空间纹理信息和光流运动信息，输出两个特征图，经拼接后得到同时包含泄漏气体的空间纹理信息和光流运动信息的拼接特征图并输入rpn模块；通过rpn模块生成区域建议框，根据区域建议框的坐标信息提取拼接特征图中对应的特征图子块；将特征图子块输入到两个全连接层中，判别区域建议框的类别以及最终校正区域建议框位置，从而得到是否有危险气体泄漏以及泄漏气体的位置。
21.本发明在原始的faster rcnn网络的基础上，增加了一个运动光流提取通道，用来提取泄漏气体的运动信息，相比于原模型faster rcnn能够更好的融合气体泄漏时的运动信息，提升检测准确率。
22.实施例2该实施例基于实施例1，不同之处在于，该实施例的生成对抗网络通过flir thermal数据集进行训练，学习自然光图像和红外图像之间的映射关系。
23.如图3所示，是flir thermal数据集的部分展示图；该数据集用来训练cycle gan模型，使模型学会自然光照图像与红外图像之间的映射关系。
24.该生成对抗网络的训练过程主要为使用flir thermal数据集训练cycle gan网络来学习自然光图像和红外图像之间的映射关系。选取自然光照下背景复杂的火灾烟雾图像转换成红外图像，用来充当红外危险气体泄漏数据。
25.其中，flir thermal数据集中的数据均来自于安装在车辆上的rgb相机和热成像相机，但两个相机在车辆上的位置不同，因此flir thermal数据集中的数据包含路况自然光照图像和对应的路况红外图像，两者拍摄对象相同，但内容有些许差异，该数据集有助于cycle gan模型学习自然光照图像与红外图像之间的映射关系。从 flir thermal 数据集中提取约 3700 幅自然光图像和对应的 3700 幅红外图像作为训练数据集，对cycle gan模型进行训练。
26.为了方便理解cycle gan网络的原理，这里有一个将自然光照图像转换成红外图像的例子：如图5所示，生成对抗网络(generative adversarial, gan)由一个生成器g和一
个鉴别器d组成。gan网络的目标是喂给生成器g
ab
一张自然光照图像，得到一张红外图像，并且使用鉴别器db来鉴定红外图像的真假。gan网络在训练时，生成器和鉴别器是分别训练，迭代演化的，这意味着在训练鉴别器时，首先固定生成器参数，使鉴别器学习到更好的鉴别能力。然后再固定鉴别器参数，训练生成器，此时生成器只能产生更高质量的虚拟图像来欺骗能力更强的鉴别器。因此两者在迭代学习过程中逐步演化并最终达到平衡。这种方法允许两个领域之间的相互转换，但无法保证转换后的内容一致。
27.cycle gan模型通过在原始的gan网络中增加循环一致性损失来解决这个问题。它添加了一对新的生成器g
ba
和鉴别器da，其中生成器g
ba
将红外图像转换成自然光照图像，并且鉴别器da判定生成的自然光照图像的质量，这对生成器和鉴别器也是单独训练，迭代演化的。cycle gan网络的损失由以下公式计算：其中l
gan
确保生成器和鉴别器相互进化，以便生成器可以生成更高质量的图像，而 l
cycle
保证输入图像和输出图像的内容完全一致，x、y分别为自然光照图像域和红外图像域。
28.循环一致性损失l
cycle
的具体实施措施为，先使用生成器g
ab
将自然光照图像x转为红外图像y’，然后使用生成器g
ba
将生成的红外图像y’转换成自然光照图像x’，最后比较真实的自然光照图像x和生成的自然光照图像x’之间的差别，计算他们之间的损失，具体公式如下所示：图7是部分真实红外危险气体泄漏图像，这些真实数据来自公开数据集gasvid，可在谷歌云盘上下载；图8中的图分为两组，第一组是生成的虚拟红外气体泄漏图像及其对应的光流图，第二组是真实的红外气体泄漏图像及其对应的光流图，其中绿色边界框框住的是完整的气体泄漏区域。
29.本发明实施例总共收集了16段火灾烟雾视频（共3482帧图像）作为待转换的数据。因为现实场景的背景比较复杂，干扰较多，所以我们更多选择背景复杂的火灾烟雾视频，例如：森林、车祸、火灾救援等场景。如图4所示，是部分火灾烟雾图像，用来转换成红外图像，以充当复杂场景下的红外危险气体泄漏数据。如图6所示，是自然光照下的火灾烟雾图像转换成红外图像的结果示例图。
30.在现实场景中，由于监控摄像头的方位不同，每个摄像头捕捉到的泄漏气体羽流大小也不同，例如，远离泄漏点的摄像头捕捉到的气体羽流较小且模糊，而靠近泄漏点的摄像头则可能整个屏幕都被气体羽流覆盖。因此，我们选择了各种大小的烟雾视频，从小到模糊的烟雾数据，到大到覆盖全屏幕的烟雾数据。并且，这些视频几乎都是在日光条件下拍摄的，而且几乎没有可见的明火。
31.实施例3该实施例基于实施例1，不同之处在于，如图9所示，该实施例的步骤s2具体包括：s21、如图10所示，flow faster rcnn模型的特征提取模块由两个并行的特征提取通道组成，他们分别为空间特征提取通道和运动光流特征提取通道，两个并行的特征提取通道输出相同大小的特征图，将输出的特征图进行简单的前后拼接，拼接后的特征图同时
包含泄漏气体的空间纹理信息和光流运动信息；s22、将拼接的特征图输入到rpn模块，生成区域建议框，并且筛除掉不合格的区域建议框，返回剩下的建议框的坐标信息；s23、结合拼接特征图和从rpn模块中得到的区域建议框的坐标信息，提取出区域建议框对应的特征图子块；s24、将这些特征图子块输入到两个全连接层中，判别区域建议框的类别以及最终校正区域建议框位置。
32.优选的，步骤 s21 具体包括：s211、两个特征提取通道使用的都是resnet101网络，空间特征提取通道的输入是红外气体泄漏图像关键帧，用来提取泄漏气体的空间纹理信息；光流特征提取通道的输入是关键帧对应的光流图。光流图是利用视频帧序列像素在时域中的变化情况以及与相邻帧中对应像素点的相关性来查找相邻帧之间的物体运动信息，因此光流图可以反映气体扩散时的运动情况，输入关键帧对应的光流图可以提取泄漏气体的运动信息。
33.s212、当两个并行通道输入图像大小相同的情况下，输出的预测特征图的大小也一样。假设红外关键图像帧和它对应的光流图大小都为224
×
224
×
1，那么经过特征提取模块后，会得到两张7
×7×
2048大小的预测特征图。将这两张预测特征图在深度维度上进行拼接，得到最终的预测特征图，其尺寸为7
×7×
4096。
34.拼接的预测特征图中同时包含了泄漏气体的运动信息和空间纹理信息，原始的faster rcnn模型的特征提取模块仅仅提取泄漏气体的空间纹理信息，而泄漏气体在视觉上具有半透明性以及边缘不规则性等特点，因此仅依靠空间纹理信息难以检测出气体的完整泄漏区域，加入运动信息后可以很好的提升检测性能。
35.优选的，步骤 s22 具体包括：s221、特征提取模块中得到的最终预测特征图大小为7
×7×
4096，在特征图的每一个点上设置9个预设的候选框，这9个候选框按照1：1、1：2、2：1三种长宽比进行设置。最终得到441个候选框。这些候选框对应的预测特征图分别传入到目标分类模块和边界框预测模块。
36.目标分类模块判定每个候选框中的内容是前景还是背景（即是否存在检测物体），具体做法是将每一个候选框的特征图输入到一个softmax函数中，得到一个二维向量，这个二维向量分别表示候选框的前景得分分数以及背景得分分数。
37.s222、边界框预测模块的功能是矫正每个候选框的位置和大小，具体做法是将每一个候选框特征图输入进一个一维卷积网络得到一个四维向量，这个四维向量中的每一个值分别代表候选框的中心点水平方向偏移量、中心点竖直方向偏移量、候选框宽度缩放比以及候选框长度缩放比。
38.s223、最后结合目标分类模块和边界框预测模块的信息对441预测候选框进行校准和删选。首先使用边界框预测模块中得到的四个偏移量对预测候选框的位置进行矫正，然后利用目标分类模块中得到的前景得分分数，将候选框按照前景分数从大到小的顺序进行排列，提取排名靠前的预测候选框。然后剔除掉面积过小以及边界超出图像边界的预测候选框。最后对剩下的预测候选框进行非极大值抑制处理。
39.非极大值抑制处理的目的是去除掉重复的边界框，希望每个目标最终的建议框数
量尽可能的少。它的具体做法为：将每个区域建议框的目标分数按从大到小的顺序排列，选出分数最大的边界框a。计算其他候选框与该框的交并比，如果交并比大于某个阈值，则判定这两个候选框框中的是同一个物体，此时会删掉分数较小的边界框，直到删除掉所有与边界框a相近的候选框。然后再在剩下的候选框中选出分数最大的边界框b，重复以上操作，删掉与边界框b相近的候选框。如此重复直到所候选框都被滤过一遍。
40.优选的，步骤 s23具体包括：s231、拼接特征图经过rpn模块后得到大小不一的预测边界框，同时，这些预测边界框对应的特征图子块大小也不一致，然而全连接网络要求输入的大小一致，为了解决这一问题，具体做法为：s232、将每个预测候选框对应的预测特征图划分为n
×
n大小的网格，对每一个网格做最大池化处理，这样处理后，不同大小的预测候选框对应的特征图子块大小都是一样的。
41.优选的，步骤 s24具体包括：s241、将得到的相同大小的候选框预测特征图子块进行展平操作，得到一维向量，再将这些一维向量输入到两个全连接层中，得到大小为1
×
1024大小的向量。将这个向量分别输入目标分类模块和边界框校准模块。
42.s242、在目标分类模块中，向量将会输入到softmax函数中，得到每一个类别的预测分数，选取分数最高的类别作为最终预测类别。
43.s243、在边界框校准模块中，向量将会输入到一个全连接层中得到四个边界框偏移参数，这四个参数将会对预测边界框做最后的校准。
44.最终，该模型的损失计算公式如下所示：等号左边第一个式子代表分类损失，其中i是候选框序号，pi是候选框i预测类别为p的概率值，p
*
是{0，1}，如果先验框是正样本取1，如果先验框是负样本则取0。
45.左边第二个式子是模型回归损失，其中是一个用来平衡回归与分类loss比例的因子，p
i*
控制了只有正样本才会产生回归loss。l
reg
采用smooth l1 loss：。
46.实施例4该实施例基于实施例1，不同之处在于，该实施例的flow faster rcnn网络的训练过程主要包括以下步骤：1）构建特定数据集complexgasvid，数据集complexgasvid中包含真实的红外气体泄漏图像和生成的虚拟气体泄漏图像，并对数据集complexgasvid中的图像进行标注。2）将数据集complexgasvid的数据划分为训练集、验证集和测试集，使用训练集和验证集训练flow faster rcnn模型，测试集则是用来验证训练好的模型的性能。
47.其中，数据集complexgasvid中采用的虚拟生成数据是由自然光照下的火灾烟雾
图像转换成红外图像而来的，共使用了3482张火灾烟雾图像。
48.真实红外图像来自公开数据集gasvid。gasvid数据集是王等人在一系列环境条件、成像距离和相机方向上拍摄的甲烷气体泄漏红外数据集。数据集包含31个24分钟的视频(帧率为每秒 15帧，共记录大约 669,600帧)。数据是在两个泄漏源点的不同方位拍摄的，其中13个视频在第一个泄漏源点拍摄，18个视频在第二个泄漏源点拍摄。每段视频均由前视红外gf-320红外摄像机在正常模式下，在不同的成像距离组合和不同的拍摄角度下拍摄。视频中的每一帧大小为 240
×
320
×
1，其中
×
1表示视频帧为灰度图像。我们从gasvid 数据库中提取了 16 个视频中的一小段作为实验数据。由于 gasvid数据集中的所有视频都是在不同的距离和角度拍摄的，所以每个视频的内容都不相同。对每个视频，我们只从中选择一个泄漏明显的片段(这些片段的持续时间从 10 秒到 50 秒不等)，然后逐帧提取这些片段，最终得到 6329 个视频帧。
49.使用一个叫做 labeling 的开源工具来标记数据集complexgasvid中的所有帧。在每幅图像中，都给出了气体羽流的标签名称和边界框。由于气体泄漏受风向和风速的影响较大，所以气体羽流是可变的，有时是不连续的，这使得在单一图像中，一些羽流区域很难被肉眼注意到。因此，为了尽可能多的标记出泄漏区域，在标记边界框时，会观察关键帧的前后帧图像，以发现未识别到的气体羽流。最后，我们一共标记了9811张图像。
50.特定数据集complexgasvid中除了拥有9811张红外气体泄漏图像，以及它们对应的标注信息外，还包含着它们对应的光流图像。
51.优选的，选取两个真实的红外图像视频片段和两个虚假生成的红外视频片段作为测试集，最终的测试集共有 843 帧图像。接下来，将数据库a中剩余的图像按照3:1的比例分成训练集和验证集，并且训练集和验证集中真实红外图像和假红外图像的比例约为 1:1。
52.在训练时，先将特征提取模块的参数权重冻住，训练5个epoch，学习率设置为0.005，然后再解冻参数权重，训练整个网络，共训练20个epoch。
53.图11是验证数据增强方法时，对比数据集的划分情况。其中数据库a的所有图像来自真实的红外气体泄漏数据集gasvid，共有6329帧图像，这些图像全都来自16个不同的视频截取片段，选取其中两个视频片段作为测试集，剩余的视频段全部作为训练集和验证集，并且训练集和验证集的比为3：1。
54.数据库b则是我们创建的特定数据集complexgasvide，其中包含6329张真实红外气体泄漏图像（这与数据库a中的图像一致）和3482张生成的虚拟红外气体泄漏图像。测试集选取两段真实的红外气体泄漏视频段（这与数据库a中选取的视频段一致）和两段虚假生成的红外气体泄漏视频段，剩余的用作训练集和验证集。训练集和验证集的比例为3：1，并且它们内部的真实红外图像和虚拟红外图像的比为1：1。
55.图12是分别使用数据库a和数据库b训练faster rcnn模型，并且使用各自的测试集对faster rcnn模型进行测试的测试结果，结果表明，本发明的数据增强方法有利于提升模型的检测性能；图13是使用数据库b分别训练faster rcnn模型和flow faster rcnn模型，并且使用相同的测试集对两个模型进行验证的结果，最终结果表明，flow faster rcnn模型的检测性能更优。
56.本发明通过基于flowfasterrcnn网络和对抗生成网络的复杂场景下危险气体泄漏红外视频检测方法，从数据增强和模型改进两个方面提升危险气体泄漏检测性能。
57.在数据集增强方面，由于危险气体的易燃易爆特性，因此难以获取复杂场景下的红外危险气体泄漏数据，目前研究使用的数据集大多为背景简单且无干扰的红外图像，这一点与现实场景不符，为了解决这一问题，使用基于对抗生成网络的方法，生成虚拟的复杂场景下的红外泄漏气体数据，即利用扩散烟雾与泄漏气体拥有相似的视觉特点这一特性，将自然光照下的火灾烟雾图像转换成红外图像来充当红外气体泄漏数据；在模型改进方面，由于泄漏气体在视觉上具有半透明性、边缘不规则性以及随机扩散性，因此仅凭泄漏气体的纹理信息，很难找到所有泄漏区域，为了解决这一问题，在原始的faster rcnn网络上融合了泄漏气体的运动信息，具体做法为：增加了一个运动光流提取通道，用来提取泄漏气体的运动信息，并将这个新模型命名为flow faster rcnn。
58.至此，我们在数据增强和模型改进两方面系统的提升了红外危险气体泄漏的检测性能。同时我们做了多次对比实验，分别探究了数据增强和模型改进带来的性能提升的效果。
59.实施例5该实施例主要用于实现上述方法实施例，该实施例的复杂场景下危险气体泄漏红外视频检测系统包括：图像转换模块，用于将自然光照下的待测火灾烟雾视频输入预先训练好的生成对抗网络，生成虚拟的复杂场景下的红外泄漏气体数据，包括红外泄漏气体图像及其对应的光流图；识别模块，用于将红外泄漏气体数据输入预先训练好的flow faster rcnn网络中；该flow faster rcnn网络通过并行的空间特征提取通道和运动光流特征提取通道，分别提取红外泄漏气体的空间纹理信息和光流运动信息，输出两个特征图，经拼接后得到同时包含泄漏气体的空间纹理信息和光流运动信息的拼接特征图并输入rpn模块；通过rpn模块生成区域建议框，根据区域建议框的坐标信息提取拼接特征图中对应的特征图子块；将特征图子块输入到两个全连接层中，判别区域建议框的类别以及最终校正区域建议框位置，从而得到是否有危险气体泄漏以及泄漏气体的位置。
60.该系统的各个模块主要用于实现上述方法实施例的各个步骤，在此不一一赘述。
61.实施例6本技术还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器（例如，sd或dx存储器等）、随机访问存储器（ram）、静态随机访问存储器（sram）、只读存储器（rom）、电可擦除可编程只读存储器（eeprom）、可编程只读存储器（prom）、磁性存储器、磁盘、光盘、服务器、app应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质被处理器执行时实现方法实施例的复杂场景下危险气体泄漏红外视频检测方法。
62.上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
63.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件
的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
64.需要指出，根据实施的需要，可将本技术中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
65.上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
66.应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

技术特征：
1.一种复杂场景下危险气体泄漏红外视频检测方法，其特征在于，包括以下步骤：s1、将自然光照下的待测火灾烟雾视频输入预先训练好的生成对抗网络，生成虚拟的复杂场景下的红外泄漏气体数据，包括红外泄漏气体图像及其对应的光流图；s2、将红外泄漏气体数据输入预先训练好的flow faster rcnn网络中；s3、该flow faster rcnn网络通过并行的空间特征提取通道和运动光流特征提取通道，分别提取红外泄漏气体的空间纹理信息和光流运动信息，输出两个特征图，经拼接后得到同时包含泄漏气体的空间纹理信息和光流运动信息的拼接特征图并输入rpn模块；通过rpn模块生成区域建议框，根据区域建议框的坐标信息提取拼接特征图中对应的特征图子块；将特征图子块输入到两个全连接层中，判别区域建议框的类别以及最终校正区域建议框位置，从而得到是否有危险气体泄漏以及泄漏气体的位置。2.根据权利要求1所述的杂场景下危险气体泄漏红外视频检测方法，其特征在于，该生成对抗网络通过flir thermal数据集进行训练，学习自然光图像和红外图像之间的映射关系；该flir thermal数据集中的数据均来自于安装在车辆上的rgb相机和热成像相机，但两个相机在车辆上的位置不同，分别拍摄包含路况的自然光照图像和对应的路况红外图像。3.根据权利要求2所述的杂场景下危险气体泄漏红外视频检测方法，其特征在于，该生成对抗网络为基于gan网络改进的cycle gan网络，其在原始的gan网络中增加循环一致性损失，具体使用第一生成器gab将真实的自然光照图像x转为红外图像y’，然后使用第二生成器gba将生成的红外图像y’转换成自然光照图像x’，比较真实的自然光照图像x和生成的自然光照图像x’之间的差别，计算他们之间的损失，并根据损失优化网络，以生成更高质量的图像。4.根据权利要求1所述的杂场景下危险气体泄漏红外视频检测方法，其特征在于，空间特征提取通道的输入是红外气体泄漏图像关键帧，用来提取泄漏气体的空间纹理信息；运动光流特征提取通道的输入是红外气体泄漏图像关键帧对应的光流图，该光流图是利用视频帧序列像素在时域中的变化情况以及与相邻帧中对应像素点的相关性来查找相邻帧之间的物体运动信息。5.根据权利要求1所述的复杂场景下危险气体泄漏红外视频检测方法，其特征在于，拼接特征图经过rpn模块后得到大小不一的预测边界框，多对应的特征图子块大小也不一致，需将每个预测边界框对应的特征图子块划分为n
×
n大小的网格，并对每一个网格做最大池化处理，使每个特征图子块大小一致。6.根据权利要求1所述的复杂场景下危险气体泄漏红外视频检测方法，其特征在于，flow faster rcnn网络的训练过程为：制作特定的数据集complexgasvid，其包含真实的红外气体泄漏图像和生成的虚拟气体泄漏图像，并对数据集complexgasvid中的图像进行标注；将数据集complexgasvid的数据划分为训练集、验证集和测试集，使用训练集和验证集训练flow faster rcnn模型，测试集则是用来验证训练好的模型的性能。7.根据权利要求6所述的复杂场景下危险气体泄漏红外视频检测方法，其特征在于，数据集complexgasvid中采用的虚拟气体泄漏图像是由自然光照下的火灾烟雾图像转换成红外图像而来。8.一种复杂场景下危险气体泄漏红外视频检测系统，其特征在于，包括：
图像转换模块，用于将自然光照下的待测火灾烟雾视频输入预先训练好的生成对抗网络，生成虚拟的复杂场景下的红外泄漏气体数据，包括红外泄漏气体图像及其对应的光流图；识别模块，用于将红外泄漏气体数据输入预先训练好的flow faster rcnn网络中；该flow faster rcnn网络通过并行的空间特征提取通道和运动光流特征提取通道，分别提取空间纹理信息和光流运动信息，输出两个特征图，经拼接后得到同时包含泄漏气体的空间纹理信息和光流运动信息的拼接特征图并输入rpn模块；通过rpn模块生成区域建议框，根据区域建议框的坐标信息提取拼接特征图中对应的特征图子块；将特征图子块输入到两个全连接层中，判别区域建议框的类别以及最终校正区域建议框位置，从而得到是否有危险气体泄漏以及泄漏气体的位置。9.根据权利要求8所述的复杂场景下危险气体泄漏红外视频检测系统，其特征在于，空间特征提取通道的输入是红外气体泄漏图像关键帧，用来提取泄漏气体的空间纹理信息；运动光流特征提取通道的输入是红外气体泄漏图像关键帧对应的光流图，该光流图是利用视频帧序列像素在时域中的变化情况以及与相邻帧中对应像素点的相关性来查找相邻帧之间的物体运动信息。10.一种计算机存储介质，其特征在于，其内存储有可被处理器执行的计算机程序，该计算机程序执行权利要求1-7中任一项所述的复杂场景下危险气体泄漏红外视频检测方法。

技术总结
本发明公开了一种复杂场景下危险气体泄漏红外视频检测方法，包括以下步骤：S1、将自然光照下的待测火灾烟雾视频输入预先训练好的生成对抗网络，生成虚拟的复杂场景下的红外泄漏气体数据；S2、将红外泄漏气体数据输入预先训练好的Flow Faster RCNN网络中；S3、该Flow Faster RCNN网络通过并行的空间特征提取通道和运动光流特征提取通道，分别提取红外泄漏气体的空间纹理信息和光流运动信息，经拼接后输入RPN模块，生成区域建议框及对应的特征图子块；通过两个全连接层判别是否有危险气体泄漏以及泄漏气体的位置。本发明能更好的融合气体泄漏时的运动信息，提升检测准确率。提升检测准确率。提升检测准确率。


技术研发人员：洪汉玉 黄丽坤 王悦 张松 徐基尧 陈泽宇 吴锦梦 冯先成
受保护的技术使用者：武汉工程大学
技术研发日：2023.08.03
技术公布日：2023/9/6