基于V3-YOLOX的烟雾/火焰双光视觉检测方法

infrared video using wavelet analysis[j].optical engineering,2007,46(6):67204-67209.
[0009]
[4]torabnezhad m,aghagolzadeh a,hadiseyedarabi h.visible and ir image fusion algorithm for short range smoke detection,2013[c].ieee,2013.
[0010]
[5]yuan c,liu z,zhang y.fire detection using infrared images for uav-based forest fire surveillance,2017[c].ieee,2017.
[0011]
[6]ge z,liu s,wang f,et al.yolox:exceeding yolo series in 2021[j].2021.


技术实现要素：

[0012]
为克服现有技术的不足，本发明旨在提升烟火的检测效率和实时性，增加烟火检测可适应的场景，例如能有效检测各个阶段的火灾，以及毒害气体泄漏，为此，本发明采取的技术方案是，基于v3-yolox的烟雾/火焰双光视觉检测方法，建立改进的mobilenetv3-yolox网络，mobilenetv3-yolox简称为v3-yolox网络，以用于烟雾/火焰的双光视觉检测，v3-yolox网络包括主干网络backbone、颈部网络neck以及头部网络head三部分，其中主干网络backbone采用计算机视觉系列模型mobilenetv3的主干网络backbone进行特征提取，mobilenetv3选择mobilenetv3-large版本。
[0013]
主干网络backbone部分主要由卷积层、bneck模块以及sppbottleneck空间金字塔池化模块组成，其中，输入的特征图经过bneck模块时，先使用卷积核尺寸为1
×
1的卷积对特征图进行降维操作，再使用卷积核尺寸为3
×
3的深度可分离卷积对特征图进行卷积操作，然后引入senet注意力机制模块通过网络自学习的方式对特征图的通道权重进行调整，最后通过一个卷积核尺寸为1
×
1的卷积实现升维操作；模型中的颈部网络neck部分包括卷积层、上采样层upsamplinging2d、csplayer_cbam模块以及下采样层downsample，其中，下采样层和上采样层实现对图像进行缩放操作；颈部网络neck对头部网络head部分输出三个不同尺寸的图像；头部网络head分别对不同的图像进行多次卷积计算，得到的三个分支分别为cls、obj以及reg，其中，cls代表预测的物体种类，obj用于判断目标是背景还是前景，reg用于对目标框的坐标信息进行预测。
[0014]
在颈部网络neck中的csplayer层中引入cbam注意力机制，cbam表示注意力机制模块；conv2d_bn_silu表示一个普通的卷积模块，由一个卷积核尺寸为n
×
n的conv卷积层、bn以及silu激活函数组成；bottleneck表示瓶颈残差模块，输入的图像首先经过两个卷积层进行卷积计算提取图像特征，然后将获得的特征图像与输入图像进行叠加，得到输出图像；csplayer_cbam层输入的图像将经过路径a和路径b两个不同的路径进行特征提取，路径a中，输入的图像首先经过一个卷积核大小为1
×
1的卷积层进行卷积计算，然后经过bottleneck瓶颈残差模块提取图像特征；路径b中，输入的图像经过一个卷积核大小为1
×
1的卷积层进行卷积计算，输出的图像再与路径a的输出图像进行通道的堆叠，堆叠后得到的图像再次经过一个卷积核尺寸为1
×
1的卷积层进行卷积计算提取图像特征，最后将得到的特征图再经过cbam注意力模块进行计算，输出一个包含空间和通道权重的特征图。
[0015]
其中：
[0016]
1)cbam模块包含通道注意力和空间注意力，通过神经网络对通道和空间分别生成
掩码，掩码中的值代表不同位置的注意力权重；
[0017]
在通道注意机制中，输入的特征图f按通道进行全局最大池化和全局平均池化，将池化后得到的两个一维向量送入全连接层运算后相加，生成一维的通道注意力mc；将通道权重与特征图f相乘可得到缩放后的新特征图f
′
；
[0018]
在空间注意力机制中，对特征图f
′
分别进行全局最大池化和全局平均池化后得到的结果进行堆叠，将堆叠的结果送入一个7*7的卷积模块后得到空间注意力ms，将空间权重值与特征图f
′
相乘后可得到新特征；
[0019]
2)在主干网络backbone的最后一个bneck层后添加一个sppbottleneck空间金字塔池化模块，对特征图进行卷积和最大池化操作，sppbottleneck空间金字塔池化模块由两个卷积层以及四个并行分支构成，输入图像首先经过一个3
×
3的卷积进行特征提取，然后分别进行尺寸为1
×
1、5
×
5、9
×
9以及13
×
13的最大池化操作。
[0020]
3)使用ciou作为本模型的边界框回归损失函数，ciou的表达式如(1)所示：
[0021][0022][0023][0024][0025]
公式(1)中，b表示预测框的中心点，b
gt
表示真实框的中心点，ρ2(b,b
gt
)代表预测框和真实框中心点的欧氏距离；c表示能够同时包含预测框和真实框的最小闭包区域对角线的距离，α为用于平衡比例的参数；公式(2)中的ω
gt
和h
gt
表示真实框的宽和高，ω和h表示预测框的宽和高；
[0026]
使用focal loss损失函数代替置信度损失，focal loss损失函数具体如式(5)所示：
[0027]
fl(p
t
)＝-β(1-p
t
)
γ
log(p
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0028]
其中，β表示用于平衡正负样本的权重，(1-p
t
)
γ
用于关注难训练的样本，通过增大γ可降低简单正样本对损失的影响，β和γ为定值，本发明中设定β＝0.25，γ＝2；
[0029][0030]
其中，p
t
用于量化样本，p用于表示预测正确样本的概率，y＝1表示正确预测的样本；1-p用于表示预测错误样本的概率；
[0031]
分类损失函数选取交叉熵损失函数，如公式(7)所示：
[0032]
[0033]
其中，n表示训练集的个数；i表示数据样本x属于i类；yi为符号函数，当样本x的真实类别为i时，表达式的值取1，反之取0；f(xi)表示样本x属于类别i的概率。
[0034]
具体步骤如下：
[0035]
1.获取所需的图像
[0036]
使用可拍摄可见光和热红外图像的双光摄像机，在不同光照下采集烟火视频，将采集到的双光烟火视频按帧截取，并按照可见光和热红外图像进行区分并进行二次筛选，与在网络上收集到的烟火图像组成烟火检测数据集；
[0037]
2.制作训练样本集
[0038]
对可见光和热红外烟火数据集分别进行扩充，随机选取图片进行镜像翻转、放大、高斯模糊、剪裁操作，达到模型训练所需要的图片数量，同时添加非火焰和非烟雾图像，将扩充后的数据集使用labelimg软件进行标注，将标注好的数据集按照比例划分为训练集、测试集和验证集；
[0039]
3、建立v3-yolox网络
[0040]
4、训练v3-yolox网络
[0041]
5、利用训练好的v3-yolox网络进行烟雾/火焰双光视觉检测。
[0042]
本发明的特点及有益效果是：
[0043]
通过对yolox模型进行改进，提高了网络的目标特征提取能力，增加了小目标物体检测的精确度，并在保证检测精度的情况下，减少模型的参数量，提升了检测速度，以满足烟火检测的实时性需求。
附图说明：
[0044]
图1csplayer与cbam的连接方法。
[0045]
图2cbam模块示意图。
[0046]
图3sppbottleneck模块的组成。
[0047]
图4改进后的v3-yolox模型结构图。
[0048]
图5yolo head的组成。
[0049]
图6烟火检测流程图。
具体实施方式
[0050]
本发明提出了一种使用可见光/热红外双光图像、基于改进的v3-yolox的烟雾/火焰(后文中简称为“烟火”)视觉检测方法。其中yolox
[6]
是端到端的实时目标检测框架，由对象检测算法yolov3和darknet53改进而成，具有检测精度高、检测速度快、参数量少等优点，在目标检测中备受关注。发明使用的技术本身属于自动检测领域，通过利用双光热成像相机、嵌入式计算机等设备，可用于全天候气体泄漏检测、火源定位、空气污染源定位与环境监测等方面。
[0051]
本发明的目的：针对现有方法和技术的不足，为了提升烟火的检测效率和实时性，增加烟火检测可适应的场景，例如能有效检测各个阶段的火灾，以及毒害气体泄漏，本发明提出了一种基于v3-yolox模型的烟火双光视觉快速检测方案和方法。
[0052]
1.获取所需的图像
[0053]
使用可拍摄可见光和热红外(简称为双光)图像的双光摄像机，在不同光照下采集烟火视频。将采集到的双光烟火视频按帧截取，并按照可见光和热红外图像进行区分并进行二次筛选，与在网络上收集到的烟火图像组成烟火检测数据集。
[0054]
2.制作训练样本集
[0055]
对可见光和热红外烟火数据集分别进行扩充，随机选取图片进行镜像翻转、放大、高斯模糊、剪裁等操作，达到模型训练所需要的图片数量，同时添加非火焰(如路灯、太阳等)和非烟雾图像。将扩充后的数据集使用labelimg软件进行标注，将标注好的数据集按照比例划分为训练集、测试集和验证集。
[0056]
3.v3-yolox模型及其改进
[0057]
首先将yolox模型的主干特征提取网络替换为mobilenetv3模型的主干特征提取网络，形成v3-yolox模型，主要由backbone(主干网络)、neck(颈部网络)以及head(头部网络)三部分组成。其中计算机视觉系列模型mobilenetv3分为mobilenetv3-large和mobilenetv3-small两个版本，两个版本的不同之处在于参数量和检测速度。mobilenetv3-large相较于mobilenetv3-small的参数量更大、精确度更高但检测速度稍逊一筹。为了保证烟火检测的精确度，选择mobilenetv3-large版本。
[0058]
然后，对v3-yolox模型进行如下改进：
[0059]
1)在颈部网络neck中的csplayer层中引入cbam注意力机制，并将其命名为：csplayer_cbam，网络结构如图1所示。图中cbam表示注意力机制模块；conv2d_bn_silu表示一个普通的卷积模块，由一个卷积核尺寸为n
×
n的conv卷积层、bn(batch normalization)以及silu激活函数组成；bottleneck表示瓶颈残差模块，输入的图像首先经过两个卷积层(卷积核尺寸分别为1
×
1和3
×
3)进行卷积计算提取图像特征，然后将获得的特征图像与输入图像进行叠加，得到输出图像。csplayer_cbam层输入的图像将经过路径a和路径b两个不同的路径进行特征提取。路径a中，输入的图像首先经过一个卷积核大小为1
×
1的卷积层进行卷积计算，然后经过bottleneck瓶颈残差模块提取图像特征；路径b中，输入的图像经过一个卷积核大小为1
×
1的卷积层进行卷积计算，输出的图像再与路径a的输出图像进行通道的堆叠，堆叠后得到的图像再次经过一个卷积核尺寸为1
×
1的卷积层进行卷积计算提取图像特征，最后将得到的特征图再经过cbam注意力模块进行计算，输出一个包含空间和通道权重的特征图。
[0060]
上述的cbam模块包含通道注意力和空间注意力，通过神经网络对通道和空间分别生成掩码，掩码中的值代表不同位置的注意力权重。在通道和空间中对图像赋予不同的权重，促使模型更关注图像中的重点区域。cbam示意图如图2所示。
[0061]
在通道注意机制中，输入的特征图f按通道进行全局最大池化和全局平均池化。将池化后得到的两个一维向量送入全连接层运算后相加，生成一维的通道注意力向量mc；将通道注意力向量与特征图f相乘可得到缩放后的新特征图f
′
。
[0062]
在空间注意力机制中，对特征图f
′
分别进行全局最大池化和全局平均池化后得到的结果进行堆叠，将堆叠的结果送入一个7*7的卷积模块后得到空间注意力向量ms，将空间注意力向量与特征图f
′
相乘后可得到新特征。
[0063]
2)在主干特征提取网络(backbone)的最后一个bneck层后添加一个sppbottleneck空间金字塔池化模块，对特征图进行卷积和最大池化操作。sppbottleneck
空间金字塔池化模块由两个卷积层以及四个并行分支构成，输入图像首先经过一个3
×
3的卷积进行特征提取，然后分别进行尺寸为1
×
1、5
×
5、9
×
9以及13
×
13的最大池化操作。将池化后的四个特征图进行堆叠，可有效避免由于图像剪裁及缩放等操作引起的图像失真问题，实现不同尺度的特征融合。sppbottleneck模块的示意图如图3所示。
[0064]
综上，改进后的v3-yolox模型结构如图4所示。图4所示模型中，主干网络(backbone)部分主要由卷积层、bneck模块以及sppbottleneck空间金字塔池化模块组成。其中，输入的特征图经过bneck模块时，先使用卷积核尺寸为1
×
1的卷积对特征图进行降维操作，再使用卷积核尺寸为3
×
3的深度可分离卷积对特征图进行卷积操作，然后引入senet注意力机制模块通过网络自学习的方式对特征图的通道权重进行调整，最后通过一个卷积核尺寸为1
×
1的卷积实现升维操作。模型中的颈部网络(neck)部分主要由卷积层、上采样层(upsamplinging2d)、csplayer_cbam模块以及下采样层(downsample)组成。其中，下采样层和上采样层实现对图像进行缩放操作。颈部网络(neck)对头部网络(head)部分输出三个不同尺寸的图像。头部网络(head)的构成如图5所示，图中的h和w分别代表特征图的宽和高，c代表预测的物体类别数。头部网络(head)分别对不同的图像进行多次卷积计算，得到的三个分支分别为cls、obj以及reg。其中，cls代表预测的物体种类，obj用于判断目标是背景还是前景，reg用于对目标框的坐标信息进行预测。
[0065]
3)本模型的损失函数由边界框回归损失、置信度损失以及分类损失构成。其中，使用ciou作为本模型的边界框回归损失函数，ciou的表达式如(1)所示：
[0066][0067][0068][0069][0070]
公式(1)中，b表示预测框的中心点，b
gt
表示真实框的中心点，ρ2(b,b
gt
)代表预测框和真实框中心点的欧氏距离，c表示能够同时包含预测框和真实框的最小闭包区域对角线的距离，α为用于平衡比例的参数；公式(2)中的ω
gt
和h
gt
表示真实框的宽和高，ω和h表示预测框的宽和高。
[0071]
使用focal loss损失函数代替置信度损失，focal loss损失函数具体如式(5)所示：
[0072]
fl(p
t
)＝-β(1-p
t
)
γ
log(p
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0073]
其中，β表示用于平衡正负样本的权重，(1-p
t
)
γ
用于关注难训练的样本，通过增大γ可降低简单正样本对损失的影响，β和γ为定值，本发明中设定β＝0.25，γ＝2；
[0074][0075]
其中，p
t
用于量化样本，p用于表示预测正确样本的概率，y＝1表示正确预测的样本；1-p用于表示预测错误样本的概率。
[0076]
分类损失函数选取交叉熵损失函数，如公式(7)所示：
[0077][0078]
其中，n表示训练集的个数；i表示数据样本x属于i类；yi为符号函数，当样本x的真实类别为i时，表达式的值取1，反之取0；f(xi)表示样本x属于类别i的概率。
[0079]
4.模型的训练
[0080]
将搭建的模型进行训练，步骤及参数设置如下：
[0081]
1)将输入图像的尺寸归一化为：(640,640,3)。通过mixup(混合)和mosaic(马赛克)数据增强方式，将训练集中的图片随机选择四张通过随机缩放、裁剪、排布等方式生成训练图片。
[0082]
2)训练迭代次数设定为350轮，批处理大小设置为32，初始学习率为0.0001。
[0083]
图像经过主干网络后，得到三个尺度的特征图，分别为：(80,80,40)、(40,40,112)、(20,20,160)。在neck网络中进行加强特征提取，通过上采样操作将不同尺寸的特征图进行信息传递及信息融合，充分利用深层特征向浅层特征传递强语义信息，再经过下采样向深层网络传递特征图的位置信息，进而输出三种尺寸的特征层。
[0084]
输入至yolo head特征层尺寸分别为：(80,80,40)、(40,40,112)、(20,20,160)，三种不同尺寸的特征分别用于检测大目标、中目标和小目标。如图5所示，对于每个特征层，在经过yolo head后均可获得三个预测结果，分别是cls、obj和reg。其中，cls用于判断每个特征点所包含的物体种类，数据集中包含fire和smoke两类，因此大小为h*w*2；obj用于判断目标框是前景还是背景，输出大小为：h*w*1；reg用于判断每一个特征点的回归参数，通过回归参数的调整后获得预测框，输出大小为：h*w*4。将cls、obj和reg的输出结果进行堆叠，得到的特征信息数为h*w*7。通过reshape、堆叠以及transpose后输出7*8400的二维向量信息，在输出端对由式(1)表达的边界框回归损失函数ciou进行计算，以及对非极大抑制进行筛选后输出检测结果。
[0085]
将标注好的烟雾/火焰图像输入至改进后的v3-yolox模型中，利用带动量的sgd优化器对模型进行迭代训练。经过不断地迭代，当误差损失收敛至最小值时，得到最优的v3-yolox模型参数。将验证集输入至最优参数的v3-yolox模型中进行检测，即可得到模型的检测结果。
[0086]
5.烟火检测效果
[0087]
将数据样本集中的验证集送入改进的v3-yolox模型进行检测，测试结果如表1所示。
[0088]
表1目标检测模型的测试效果
[0089]
[0090]
6.多帧烟火视频的检测
[0091]
1)使用双光摄像机对烟火视频进行实时的采集。
[0092]
2)将采集到的可见光烟火视频输入至改进后的v3-yolox模型进行检测，得到烟雾/火焰目标的预测框置信度信息、预测框边界信息和边界框类别信息。为了避免检测错误的情况，降低误报警的概率，设定每隔0.1s中截取一次视频画面，共截取30帧图像，若这30帧图像里均能检测到烟雾且预测框置信度大于等于80％，计算30帧图像里烟雾面积的方差以示其变化情况，如式(8)所示：
[0093][0094]
其中，sc表示30帧图像中烟雾面积的方差；si表示第i帧图像中烟雾的面积；表示30帧图像中烟雾的面积平均值。若计算得到的sc的值大于0，则认为烟雾目标在持续地发生变化。
[0095]
若在可见光视频中未检测到烟火目标，则将热红外视频输入v3-yolox检测模型中进行检测，方法与上述可见光烟火视频的检测方法相同。
[0096]
本发明设定：若在可见光视频/热红外视频中检测到烟雾/火焰持续发生变化，则认为检测区域存在烟火目标。完整的烟火检测过程如图6所示。
[0097]
本发明相对现有的烟火检测方法具有显著进步，包括：
[0098]
1)适用的检测场景更丰富。本发明使用可拍摄可见光图像和热红外图像的双光摄像机对目标场景进行拍摄和检测，不仅可用于环境光线充足的日间等情况下烟雾/火焰目标的检测，还可用于夜间、光照不足甚至部分烟羽被遮挡物的情况。
[0099]
2)准确度高，检测速度快。本发明提出的v3-yolox模型是一种新的烟火检测模型，通过大幅度降低模型参数量，提高了模型的检测速度，同时还保证了烟雾/火焰检测的准确度，尤其是小目标的检测精度。
[0100]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种基于v3-yolox的烟雾/火焰双光视觉检测方法，其特征是，建立改进的mobilenetv3-yolox网络，mobilenetv3-yolox简称为v3-yolox网络，以用于烟雾/火焰的双光视觉检测，v3-yolox网络包括主干网络backbone、颈部网络neck以及头部网络head三部分，其中主干网络backbone采用计算机视觉系列模型mobilenetv3的主干网络backbone进行特征提取，mobilenetv3选择mobilenetv3-large版本。2.如权利要求1所述的基于v3-yolox的烟雾/火焰双光视觉检测方法，其特征是，主干网络backbone部分主要由卷积层、bneck模块以及sppbottleneck空间金字塔池化模块组成，其中，输入的特征图经过bneck模块时，先使用卷积核尺寸为1
×
1的卷积对特征图进行降维操作，再使用卷积核尺寸为3
×
3的深度可分离卷积对特征图进行卷积操作，然后引入senet注意力机制模块通过网络自学习的方式对特征图的通道权重进行调整，最后通过一个卷积核尺寸为1
×
1的卷积实现升维操作；模型中的颈部网络neck部分包括卷积层、上采样层upsamplinging2d、csplayer_cbam模块以及下采样层downsample，其中，下采样层和上采样层实现对图像进行缩放操作；颈部网络neck对头部网络head部分输出三个不同尺寸的图像；头部网络head分别对不同的图像进行多次卷积计算，得到的三个分支分别为cls、obj以及reg，其中，cls代表预测的物体种类，obj用于判断目标是背景还是前景，reg用于对目标框的坐标信息进行预测。3.如权利要求1所述的基于v3-yolox的烟雾/火焰双光视觉检测方法，其特征是，在颈部网络neck中的csplayer层中引入cbam注意力机制，cbam表示注意力机制模块；conv2d_bn_silu表示一个普通的卷积模块，由一个卷积核尺寸为n
×
n的conv卷积层、bn以及silu激活函数组成；bottleneck表示瓶颈残差模块，输入的图像首先经过两个卷积层进行卷积计算提取图像特征，然后将获得的特征图像与输入图像进行叠加，得到输出图像；csplayer_cbam层输入的图像将经过路径a和路径b两个不同的路径进行特征提取，路径a中，输入的图像首先经过一个卷积核大小为1
×
1的卷积层进行卷积计算，然后经过bottleneck瓶颈残差模块提取图像特征；路径b中，输入的图像经过一个卷积核大小为1
×
1的卷积层进行卷积计算，输出的图像再与路径a的输出图像进行通道的堆叠，堆叠后得到的图像再次经过一个卷积核尺寸为1
×
1的卷积层进行卷积计算提取图像特征，最后将得到的特征图再经过cbam注意力模块进行计算，输出一个包含空间和通道权重的特征图。4.如权利要求3所述的基于v3-yolox的烟雾/火焰双光视觉检测方法，其特征是，其中：1)cbam模块包含通道注意力和空间注意力，通过神经网络对通道和空间分别生成掩码，掩码中的值代表不同位置的注意力权重；在通道注意机制中，输入的特征图f按通道进行全局最大池化和全局平均池化，将池化后得到的两个一维向量送入全连接层运算后相加，生成一维的通道注意力m
c
；将通道权重与特征图f相乘可得到缩放后的新特征图f
′
；在空间注意力机制中，对特征图f
′
分别进行全局最大池化和全局平均池化后得到的结果进行堆叠，将堆叠的结果送入一个7*7的卷积模块后得到空间注意力m
s
，将空间权重值与特征图f
′
相乘后可得到新特征；2)在主干网络backbone的最后一个bneck层后添加一个sppbottleneck空间金字塔池化模块，对特征图进行卷积和最大池化操作，sppbottleneck空间金字塔池化模块由两个卷积层以及四个并行分支构成，输入图像首先经过一个3
×
3的卷积进行特征提取，然后分别
进行尺寸为1
×
1、5
×
5、9
×
9以及13
×
13的最大池化操作。5.如权利要求1所述的基于v3-yolox的烟雾/火焰双光视觉检测方法，其特征是，使用ciou作为边界框回归损失函数，ciou的表达式如(1)所示：ciou作为边界框回归损失函数，ciou的表达式如(1)所示：ciou作为边界框回归损失函数，ciou的表达式如(1)所示：ciou作为边界框回归损失函数，ciou的表达式如(1)所示：公式(1)中，b表示预测框的中心点，b
gt
表示真实框的中心点，ρ2(b,b
gt
)代表预测框和真实框中心点的欧氏距离；c表示能够同时包含预测框和真实框的最小闭包区域对角线的距离，α为用于平衡比例的参数；公式(2)中的ω
gt
和h
gt
表示真实框的宽和高，ω和h表示预测框的宽和高；使用focal loss损失函数代替置信度损失，focal loss损失函数具体如式(5)所示：fl(p
t
)＝-β(1-p
t
)
γ
log(p
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)其中，β表示用于平衡正负样本的权重，(1-p
t
)
γ
用于关注难训练的样本，通过增大γ可降低简单正样本对损失的影响，β和γ为定值，本发明中设定β＝0.25，γ＝2；其中，p
t
用于量化样本，p用于表示预测正确样本的概率，y＝1表示正确预测的样本；1-p用于表示预测错误样本的概率；分类损失函数选取交叉熵损失函数，如公式(7)所示：其中，n表示训练集的个数；i表示数据样本x属于i类；y
i
为符号函数，当样本x的真实类别为i时，表达式的值取1，反之取0；f(x
i
)表示样本x属于类别i的概率。6.如权利要求1所述的基于v3-yolox的烟雾/火焰双光视觉检测方法，其特征是，视觉检测具体步骤如下：1)获取所需的图像使用可拍摄可见光和热红外图像的双光摄像机，在不同光照下采集烟火视频，将采集到的双光烟火视频按帧截取，并按照可见光和热红外图像进行区分并进行二次筛选，与在网络上收集到的烟火图像组成烟火检测数据集；
2)制作训练样本集对可见光和热红外烟火数据集分别进行扩充，随机选取图片进行镜像翻转、放大、高斯模糊、剪裁操作，达到模型训练所需要的图片数量，同时添加非火焰和非烟雾图像，将扩充后的数据集使用labelimg软件进行标注，将标注好的数据集按照比例划分为训练集、测试集和验证集；3)建立v3-yolox网络4)训练v3-yolox网络5)利用训练好的v3-yolox网络进行烟雾/火焰双光视觉检测。

技术总结
本发明涉及视觉检测、自动检测技术，为提升烟火的检测效率和实时性，增加烟火检测可适应的场景，例如能有效检测各个阶段的火灾，以及毒害气体泄漏，为此，本发明，基于V3-YOLOX的烟雾/火焰双光视觉检测方法，建立改进的MobileNetV3-YOLOX网络V3-YOLOX网络，V3-YOLOX网络包括主干网络Backbone、颈部网络Neck以及头部网络Head三部分，其中主干网络Backbone采用计算机视觉系列模型MobilenetV3的主干网络Backbone进行特征提取，MobilenetV3选择MobileNetV3-Large版本。本发明主要应用于视觉检测场合。明主要应用于视觉检测场合。明主要应用于视觉检测场合。


技术研发人员：李吉功 谢馥宁 杨静 曾凡琳
受保护的技术使用者：天津职业技术师范大学（中国职业培训指导教师进修中心）
技术研发日：2023.04.04
技术公布日：2023/7/13