一种护目镜佩戴检测方法、系统、电子设备及存储介质

1.本发明涉及图像处理技术领域，特别是涉及一种护目镜佩戴检测方法、系统、电子设备及存储介质。


背景技术：

2.护目镜是工业场景中常见的佩戴装置。在有毒有害的工作环境下，现场对正确佩戴护目镜都有明确的要求，一方面包括正确佩戴的护目镜类型，另一方面要求正确佩戴在眼睛处。这种要求对于施工和作业的人员来说是非常重要的，但是由于现场中场地范围、施工人员自身的懈怠或监察条件的限制，往往不能有效的监控。因此，亟需一种护目镜佩戴检测的方法，以解决当前护目镜佩戴无法有效监控的问题。


技术实现要素：

3.本发明的目的是提供一种护目镜佩戴检测方法、系统、电子设备及存储介质，能够提高护目镜佩戴的检测准确率。
4.为实现上述目的，本发明提供了如下方案：
5.一种护目镜佩戴检测方法，包括：
6.获取目标图像；
7.根据所述目标图像和护目镜佩戴检测模型确定佩戴检测结果；所述佩戴检测结果为所述目标图像为正确佩戴护目镜或所述目标图像为错误佩戴护目镜；所述正确佩戴护目镜的类型为将设定类型的护目镜佩戴于设定位置处；所述错误佩戴护目镜的类型包括未佩戴护目镜、未将护目镜佩戴于设定位置处、未佩戴设定类型的护目镜和护目镜损坏；
8.其中，所述护目镜佩戴检测模型是基于mobilenetv2网络和自注意力机制构建的，且所述护目镜佩戴检测模型是通过类别损失函数和位置损失函数进行训练的；所述类别损失函数是根据二至交叉熵函数和类别分类权重系数构建的。
9.可选地，所述护目镜佩戴检测模型，具体包括：第一特征层、第二特征层、自注意力模块、探测器和非最大值抑制模块；
10.所述第一特征层、所述第二特征层、所述自注意力模块、所述探测器和所述非最大值抑制模块依次连接；所述探测器还分别与所述一第特征层和所述第二特征层连接；其中，所述第一特征层为分辨率依次降低的特征层；所述第二特征层为分辨率依次增加的特征层。
11.可选地，所述护目镜佩戴检测模型的确定方法为：
12.获取训练数据；所述训练数据包括正样本和负样本及对应的检测标签；所述正样本为将设定类型的护目镜佩戴于设定位置处；所述正样本对应的检测标签为正确佩戴护目镜；所述负样本为在所述正样本范围外的情况，所述负样本对应的标签为错误佩戴护目镜；
13.基于mobilenetv2网络和自注意力机制构建训练模型；
14.将所述训练数据输入所述训练模型，并通过类别损失函数和位置损失函数进行训
练，将训练好的训练模型确定为护目镜佩戴检测模型。
15.可选地，所述自注意力模块包括空间自注意力模块和极化自注意力模块；所述空间自注意力模块和所述极化自注意力模块均与所述第二特征层连接。
16.可选地，所述类别损失函数表示为：
[0017][0018]
其中，n为先验框的正样本个数，c为类别置信度的预测值，l为预测框的位置，g为真实框的位置；l
′
conf
(x，c)为增大类别损失修正的损失函数；l
loc
为位置损失函数；x为。
[0019]
本发明还提供了一种护目镜佩戴检测系统，包括：
[0020]
图像采集模块，用于获取目标图像；
[0021]
图像检测模块，用于根据所述目标图像和护目镜佩戴检测模型确定佩戴检测结果；所述佩戴检测结果为所述目标图像为正确佩戴护目镜或所述目标图像为错误佩戴护目镜；所述正确佩戴护目镜的类型为将设定类型的护目镜佩戴于设定位置处；所述错误佩戴护目镜的类型包括未佩戴护目镜、未将护目镜佩戴于设定位置处、未佩戴设定类型的护目镜和护目镜损坏；
[0022]
其中，所述护目镜佩戴检测模型是基于mobilenetv2网络和自注意力机制构建的，且所述护目镜佩戴检测模型是通过类别损失函数和位置损失函数进行训练的；所述类别损失函数是根据二至交叉熵函数和类别分类权重系数构建的。
[0023]
本发明还提供了一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据上述的护目镜佩戴检测方法。
[0024]
本发明还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的护目镜佩戴检测方法。
[0025]
根据本发明提供的具体实施例，本发明公开了以下技术效果：
[0026]
本发明公开了一种护目镜佩戴检测方法、系统、电子设备及存储介质，所述方法包括利用护目镜佩戴检测模型对目标图像进行检测，输出结果为所述目标图像为正确佩戴护目镜或所述目标图像为错误佩戴护目镜，实现根据图像检测护目镜佩戴情况。其中，护目镜佩戴检测模型是基于mobilenetv2网络和自注意力机制构建的，且所述护目镜佩戴检测模型是通过类别损失函数和位置损失函数进行训练的，所述类别损失函数又结合了类别分类权重系数，经过上述函数训练的模型，能够提高护目镜佩戴的检测准确率。
附图说明
[0027]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0028]
图1为本发明护目镜佩戴检测方法的流程示意图；
[0029]
图2为本实施例中护目镜佩戴检测模型的模型示意图；
[0030]
图3为本本发明护目镜佩戴检测系统的结构框图。
具体实施方式
[0031]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0032]
本发明的目的是提供一种护目镜佩戴检测方法、系统、电子设备及存储介质，能够提高护目镜佩戴的检测准确率。
[0033]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0034]
如图1所示，本发明提供了一种护目镜佩戴检测方法，包括：
[0035]
步骤100：获取目标图像。
[0036]
步骤200：根据所述目标图像和护目镜佩戴检测模型确定佩戴检测结果；所述佩戴检测结果为所述目标图像为正确佩戴护目镜或所述目标图像为错误佩戴护目镜；所述正确佩戴护目镜的类型为将设定类型的护目镜佩戴于设定位置处；所述错误佩戴护目镜的类型包括未佩戴护目镜、未将护目镜佩戴于设定位置处、未佩戴设定类型的护目镜和护目镜损坏。
[0037]
其中，所述护目镜佩戴检测模型是基于mobilenetv2网络和自注意力机制构建的，且所述护目镜佩戴检测模型是通过类别损失函数和位置损失函数进行训练的；所述类别损失函数是根据二至交叉熵函数和类别分类权重系数构建的。
[0038]
所述护目镜佩戴检测模型包括：第一特征层、第二特征层、自注意力模块、探测器和非最大值抑制模块；所述第一特征层、所述第二特征层、所述自注意力模块、所述探测器和所述非最大值抑制模块依次连接；所述探测器还分别与所述一第特征层和所述第二特征层连接；其中，所述第一特征层为分辨率依次降低的特征层；所述第二特征层为分辨率依次增加的特征层。所述自注意力模块包括空间自注意力模块和极化自注意力模块；所述空间自注意力模块和所述极化自注意力模块均与所述第二特征层连接。
[0039]
此外，所述护目镜佩戴检测模型的确定方法为：
[0040]
首先，获取训练数据；所述训练数据包括正样本和负样本及对应的检测标签；所述正样本为将设定类型的护目镜佩戴于设定位置处；所述正样本对应的检测标签为正确佩戴护目镜；所述负样本为在所述正样本范围外的情况，所述负样本对应的标签为错误佩戴护目镜。
[0041]
然后，基于mobilenetv2网络和自注意力机制构建训练模型。
[0042]
最后，将所述训练数据输入所述训练模型，并通过类别损失函数和位置损失函数进行训练，将训练好的训练模型确定为护目镜佩戴检测模型。
[0043]
在本实施例中，所述类别损失函数表示为：
[0044][0045]
其中，n为先验框的正样本个数，c为类别置信度的预测值，l为预测框的位置，g为真实框的位置；l
′
conf
(x，c)为增大类别损失修正的损失函数；l
loc
为位置损失函数；x为。
[0046]
在上述技术方案的基础上，提供如下实施例。
[0047]
本实施例目的在于检测在特定场合，是否按照规定佩戴了指定类型的护目镜，并且是否佩戴规范，是否有破损、错戴、漏戴、没戴等诸多情形。
[0048]
模型的主干网如图2所示，并执行如下处理：
[0049]
1)输入为300*300*3的彩色图像；进入mobilenetv2的主干网；
[0050]
2)经过主干网的计算，从中间抽取2个特征层，分别是19*19*576的conv14_pw_1，10*10*1280的conv18作为大尺度的基础层。
[0051]
3)主干网之后进行逐项下采样。分别生成conv19_pw-2的5*5*512、conv20_pw_2的3*3*256、conv21_pw_2的2*2*256以及conv22_pw_2的1*1*128的特征层；
[0052]
4)将conv22_pw_2复制，一路直接进入探测器f，用以探测图像中1*1的尺度的护目镜；一路进行上采样，生成b5的2*2*256特征层，b5和conv21_pw_2进行直接相加，生成的特征复制为2路，一路成为e路进入探测器e，用以探测2*2尺度的护目镜；另一路进入步骤5)；
[0053]
5)上步骤进入的一路进行上采样，得到b4的3*3*256特征层，b4和conv20_pw_2进行直接相加，生成的特征复制为2路，一路成为d路；然后进入探测器d，用以探测3*3尺度的护目镜，另一路进入步骤6)；
[0054]
6)上步骤进入的一路进行上采样，得到b3的5*5*512特征层，b3和conv19_pw_2进行直接相加，生成的特征复制为2路，一路成为c路；在c路上设计空间自注意力机制se模块，然后进入探测器c，用以探测5*5尺度的护目镜，另一路进入步骤7)；
[0055]
7)上步骤进入的一路进行上采样，得到b2的10*10*1024特征层，b2和conv18进行直接相加，生成的特征复制为2路，一路成为b，在b路上设计极化自注意力机制psa，然后进入探测器b，用以探测10*10尺度的护目镜，另一路进入步骤8)；
[0056]
8)上步骤进入的一路进行上采样，得到b1的19*19*576特征层，b1和conv14_pw_1进行直接相加，生成的特征成为a路，在a路上设计极化自注意力机制psa，然后进入探测器a，用以探测19*19尺度的护目镜；
[0057]
9)所有的探测器后端均接到非最大值抑制模块nms，由此完成了主干网设计。
[0058]
本实施例考虑到人脸上才有正确佩戴护目镜的背景，而在其他地方有无护目镜、护目镜是否损失均属于背景。设计的特殊样本规范为：
[0059]
1)在制作样本时，也就是在标签时，正样本(grand true box)为正确佩戴了某一类的护目镜的脸部矩形；在本实施例中，训练使用了4种护目镜，则人脸上正确佩戴了指定类型的护目镜为一个正样本。这样目标检测种就是4类正样本目标。
[0060]
2)没有佩戴在脸上(或设定位置处)、护目镜损坏、戴错、不戴等类型护目镜均为负样本。
[0061]
3)正负样本数量不能小于1：3。
[0062]
(3)设计损失函数
[0063]
按照(2)里面的正负样本的划分方法，候选框是人脸部分，需要区分不同护目镜在人脸上的候选框。此时的损失函数更大的在于含有护目镜的人脸的区域，因此设计的损失函数对分类加上权重系数。设计的新的损失函数如下：
[0064][0065]
其中，n为先验框的正样本个数，c为类别置信度的预测值，l为预测框的位置，g为
真实框的位置；l
′
conf
(x，c)为增大类别损失修正的损失函数；l
loc
为位置损失函数；x为。
[0066]
类别损失定义为：
[0067]
l
′
conf
(x,c)＝ψ(l
conf
(x,c))为增大类别损失修正的损失函数，l
conf
(x,c)为标准ssd算法里面的二至交叉熵函数。ψ的规则为：
[0068][0069]
增大了对类型错误判断的惩罚。同时将用于位置损失的系数设置为0.5，弱化位置的影响，主要增强对未佩戴的识别率。同时，位置损失函数和标准的ssd算法保持不变。
[0070]
(4)其他参数
[0071]
其他参数和标准ssd保持不变即可。
[0072]
(5)根据上述设计出来的ssd可以很好的检测护目镜未正确佩戴的情形。根据我们的测试，检测出来的mpa达到了87.1％，速度为42fps，很好的满足了工程上的需要。
[0073]
如图3所示，本发明还提供了一种护目镜佩戴检测系统，包括：
[0074]
图像采集模块，用于获取目标图像。
[0075]
图像检测模块，用于根据所述目标图像和护目镜佩戴检测模型确定佩戴检测结果；所述佩戴检测结果为所述目标图像为正确佩戴护目镜或所述目标图像为错误佩戴护目镜；所述正确佩戴护目镜的类型为将设定类型的护目镜佩戴于设定位置处；所述错误佩戴护目镜的类型包括未佩戴护目镜、未将护目镜佩戴于设定位置处、未佩戴设定类型的护目镜和护目镜损坏。
[0076]
其中，所述护目镜佩戴检测模型是基于mobilenetv2网络和自注意力机制构建的，且所述护目镜佩戴检测模型是通过类别损失函数和位置损失函数进行训练的；所述类别损失函数是根据二至交叉熵函数和类别分类权重系数构建的。
[0077]
本发明还提供了一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据上述的护目镜佩戴检测方法。
[0078]
本发明还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的护目镜佩戴检测方法。
[0079]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
[0080]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种护目镜佩戴检测方法，其特征在于，包括：获取目标图像；根据所述目标图像和护目镜佩戴检测模型确定佩戴检测结果；所述佩戴检测结果为所述目标图像为正确佩戴护目镜或所述目标图像为错误佩戴护目镜；所述正确佩戴护目镜的类型为将设定类型的护目镜佩戴于设定位置处；所述错误佩戴护目镜的类型包括未佩戴护目镜、未将护目镜佩戴于设定位置处、未佩戴设定类型的护目镜和护目镜损坏；其中，所述护目镜佩戴检测模型是基于mobilenetv2网络和自注意力机制构建的，且所述护目镜佩戴检测模型是通过类别损失函数和位置损失函数进行训练的；所述类别损失函数是根据二至交叉熵函数和类别分类权重系数构建的。2.根据权利要求1所述的护目镜佩戴检测方法，其特征在于，所述护目镜佩戴检测模型，具体包括：第一特征层、第二特征层、自注意力模块、探测器和非最大值抑制模块；所述第一特征层、所述第二特征层、所述自注意力模块、所述探测器和所述非最大值抑制模块依次连接；所述探测器还分别与所述一第特征层和所述第二特征层连接；其中，所述第一特征层为分辨率依次降低的特征层；所述第二特征层为分辨率依次增加的特征层。3.根据权利要求1所述的护目镜佩戴检测方法，其特征在于，所述护目镜佩戴检测模型的确定方法为：获取训练数据；所述训练数据包括正样本和负样本及对应的检测标签；所述正样本为将设定类型的护目镜佩戴于设定位置处；所述正样本对应的检测标签为正确佩戴护目镜；所述负样本为在所述正样本范围外的情况，所述负样本对应的标签为错误佩戴护目镜；基于mobilenetv2网络和自注意力机制构建训练模型；将所述训练数据输入所述训练模型，并通过类别损失函数和位置损失函数进行训练，将训练好的训练模型确定为护目镜佩戴检测模型。4.根据权利要求2所述的护目镜佩戴检测方法，其特征在于，所述自注意力模块包括空间自注意力模块和极化自注意力模块；所述空间自注意力模块和所述极化自注意力模块均与所述第二特征层连接。5.根据权利要求1所述的护目镜佩戴检测方法，其特征在于，所述类别损失函数表示为：其中，n为先验框的正样本个数，c为类别置信度的预测值，l为预测框的位置，g为真实框的位置；l
′
conf
(x，c)为增大类别损失修正的损失函数；l
loc
为位置损失函数；x为。6.一种护目镜佩戴检测系统，其特征在于，包括：图像采集模块，用于获取目标图像；图像检测模块，用于根据所述目标图像和护目镜佩戴检测模型确定佩戴检测结果；所述佩戴检测结果为所述目标图像为正确佩戴护目镜或所述目标图像为错误佩戴护目镜；所述正确佩戴护目镜的类型为将设定类型的护目镜佩戴于设定位置处；所述错误佩戴护目镜的类型包括未佩戴护目镜、未将护目镜佩戴于设定位置处、未佩戴设定类型的护目镜和护目镜损坏；
其中，所述护目镜佩戴检测模型是基于mobilenetv2网络和自注意力机制构建的，且所述护目镜佩戴检测模型是通过类别损失函数和位置损失函数进行训练的；所述类别损失函数是根据二至交叉熵函数和类别分类权重系数构建的。7.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1-5中所述的护目镜佩戴检测方法。8.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5中所述的护目镜佩戴检测方法。

技术总结
本发明公开一种护目镜佩戴检测方法、系统、电子设备及存储介质，涉及图像处理技术领域。所述方法包括：根据目标图像和护目镜佩戴检测模型确定佩戴检测结果；佩戴检测结果为目标图像为正确佩戴护目镜或目标图像为错误佩戴护目镜；正确佩戴护目镜的类型为将设定类型的护目镜佩戴于设定位置处；错误佩戴护目镜的类型包括未佩戴护目镜、未将护目镜佩戴于设定位置处、未佩戴设定类型的护目镜和护目镜损坏；护目镜佩戴检测模型是基于MobileNetV2网络和自注意力机制构建的，护目镜佩戴检测模型是通过类别损失函数和位置损失函数进行训练的；类别损失函数是根据二至交叉熵函数和类别分类权重系数构建的。本发明能够提高护目镜佩戴检测准确率。戴检测准确率。戴检测准确率。


技术研发人员：王雪 何浪
受保护的技术使用者：重庆科技学院
技术研发日：2023.04.19
技术公布日：2023/7/21