一种基于深度学习的风险识别方法

1.本发明涉及目标检测领域，并且更具体地，涉及一种基于深度学习的风险识别方法。


背景技术：

2.在现代社会，生产行业快速发展，风险识别和预测在各个领域都具有重要意义，如电力作业、建筑施工、煤矿开采、化工生产、医学诊断等。传统的风险识别方法采用人工的方式进行监督，往往会因为监管疏忽而导致安全事事故的发生，对人身与社会经济造成较大的损失，然后，也有采用机器学习的方法，用基于手工设计的特征和规则存在着特征提取困难、规则复杂、泛化能力差等问题。而深度学习技术的快速发展为风险识别提供了新的解决方案。
3.深度学习是一种基于人工神经网络的机器学习方法，通过多层次的神经网络结构自动学习输入数据的表征和特征。它具有优秀的特征提取和模式识别能力，能够从大规模数据中学习抽象的特征表示，并在各种任务中取得出色的性能。
4.然而，在风险识别领域，深度学习面临着一些挑战。首先，风险识别通常需要实时性，需要在有限的时间内对输入数据进行快速准确的判断。其次，资源有限的环境下，如嵌入式设备或边缘计算平台，要求模型具备高计算效率和低内存消耗。此外，风险识别问题往往涉及多尺度和多层次的特征，需要有效地利用不同层次和尺度的信息。
5.公开号为cn115239135a的中国专利公开了“一种施工风险识别管控系统及方法”，提出了一种风险识别管控系统，其可以做到对施工现场进行实时的数据检测与记录，但是对于像煤矿开采、化工生产等复杂场景下的图片而言，其无法做到实时高效地监控，并且对于多尺度的图像也存在局限性，和传统的识别系统一样，其通常在固定尺度下进行特征提取和匹配，而忽视了图像中不同尺度的物体或特征。


技术实现要素：

6.针对现有技术的以上缺陷或者改进需求，本发明提供了一种基于深度学习的风险识别方法，其目的在于通过深度学习算法有效地解决多尺度图像识别的问题，并在准确性、效率和实时性等方面取得显著的改进。
7.为了解决上述问题，本发明提出了一种基于深度学习的风险识别方法。该方法采用多尺度网络架构设计，考虑资源有限情况下的实时识别需求，旨在提高计算效率和模型的推理速度。引入了多尺度的网络结构，通过堆叠sue网络模块，实现了多层次、多尺度的特征表示。同时，还引入了结合了通道注意力与空间注意力的cbsam注意力机制，提升了模型对重要特征的关注和响应能力。通过这些设计，我们的方法在风险识别任务中取得了优异的性能。
8.为实现上述目的，本发明提供了一种基于深度学习的风险识别方法，包括以下步骤：
步骤1，对多个场景下的数据进行预处理；步骤2，设计风险识别网络，并添加注意力机制对网络进行优化，并设计相应的损失函数、调节训练的参数，输出含有目标所属类别的概率的检测结果；步骤3，使用预处理后的数据集对风险识别网络进行训练，获得风险识别模型；步骤4，使用训练好的风险识别模型实时检测现场采集的图像，当现场情况不符合规范时进行语音提醒。
9.进一步的，步骤1中所述预处理包括：首先收集来自电力作业、煤矿开采、建筑施工和化工生产领域的施工现场图像数据集；接下来，对这些图像进行标注，将各个情况下的人员与物件进行区分，并为每个其打上相应的标签，以供风险识别网络进行监督式学习；在数据清洗阶段，对数据集进行了清洗，去除噪声、重复图像和低质量图像，以确保数据集的质量和准确性；应用数据增强技术，通过图像旋转、翻转、缩放、剪切、亮度调整操作，生成更多变化的图像样本；最后，将数据集划分为训练集、验证集和测试集，以进行风险识别网络的训练、调优和评估。
10.进一步的，步骤2中风险识别网络的具体处理过程如下：首先获得图像的原始特征original feature，然后在第一个模块中利用主干网络进行特征提取，得到基础特征base feature，基础特征base feature中包含了不同尺度和层次的特征信息的融合，之后再分别对基础特征进行卷积操作后进入第二模块；第二模块包括多个堆叠的瘦长u型网络结构sue，每个sue分为编码与解码部分，编码部分为基于编码器的结构，利用多组卷积、池化操作对输入特征进行逐层提取和下采样，捕捉不同尺度下的局部特征和空间信息；解码部分为基于解码器的结构，通过多组上采样和卷积操作逐步恢复特征的空间分辨率，并将其与来自编码部分的相应尺度的特征进行融合；除第一个sue是以卷积处理后的基础特征为输入外，其他的sue是将卷积处理后的基础特征和上一个sue模块中的最大特征作为输入；堆叠的sue模块的输出形成多层次、多尺度的特征，再通过聚合多层次的特征金字塔，将不同尺度上有不同分辨率与信息的特征图进行聚合得到包含多尺度的输出特征图；最后利用注意力机制进行优化，并进行目标检测任务，输出含有目标所属类别的概率的检测结果。
11.进一步的，主干网络进行特征提取的实现过程如下：输入原始特征，使用1x1卷积、3x3卷积和1x1卷积的组合处理后得到一个经过特征变换和综合处理的特征表示，再同时使用3x3、5x5和7x7的卷积操作在网络中获得不同尺度的感受野和特征，之后再对不同尺度的特征进行拼接操作，将不同尺度的特征信息融合到一起，得到一个具有更高维度的特征表示；下一步，在网络中引入不同尺度的卷积和上采样操作，从而获得多层次的特征图，每个层级的特征图对应不同的感受野和分辨率，用于捕捉到不同尺度上的风险信息，具体地说，经过拼接操作后，分别对拼接后的特征进行卷积处理：首先，对第一个卷积后的特征进行上采样操作，并将其与第二个分支中卷积后的特征进行拼接；然后，对拼接后的特征再进行上采样处理，并与第三个分支中的卷积后的特征进行拼接；最终，得到的是一种基础特征base feature，其中包含了不同尺度和层次的特征信息的融合，之后再分别对其进行卷积操作后进入第二模块。
12.进一步的，第二模块包括3个堆叠的瘦长u型网络结构sue，编码部分包括四组卷积和池化操作，解码部分包括四组上采样和卷积操作；3个堆叠的瘦长u型网络结构sue处理之
后分别得到浅层特征shallow，中层特征medium，深层特征deep。
13.进一步的，注意力机制的具体操作如下：首先，使用聚合处理过的输出特征图作为起始点，然后将其分为三个分支：第一个分支中不经过任何处理，将原输入特征图直接输出；在第二个分支中，对输入特征图进行卷积操作，以提取局部特征和细节信息，在第三个分支中，分别对输入特征图进行不同尺度的卷积操作，这三个卷积产生的特征图具有不同的感受野和语义信息，接下来，将第三个分支中经过卷积处理后的输出特征图进行拼接，将它们在通道维度上连接在一起，在拼接后的特征图上，使用softmax激活函数，对通道维度上的特征进行归一化，以产生一个具有置信度分布的特征图；最后，将第二个分支的卷积输出结果和经过softmax操作后的特征图进行相乘操作，用于加权调节它们之间的相对重要性并促进特征之间的交互；接着，先对处理过的特征图进行多组件残差卷积操作，其由瓶颈层、残差链接层与扩张卷积层组成，再送入通道注意模块，通道注意模块具体操作是分别对特征图进行全局平均池化和全局最大池化，得到两个向量，再将这两个向量相加，得到通道维度上的向量权重，然后将这个向量权重进行softmax归一化操作后与第一分支中的原输入特征图相乘，得到具有通道注意的特征图；最后，在获取具有通道注意力机制的特征图后，先对其进行多组件残差卷积操作，然后送入空间注意模块，其具体操作是先分别对特征图进行全局最大池化与全局平均池化，然后将这两个特征图进行拼接，再进行卷积操作生成一维的特征图，并对其进行sigmoid处理，引入非线性变换，增加模型的拟合能力，之后与具有通道注意力的特征图相乘得到空间注意力特征图，最后将通道注意力特征图直接与通道注意力模块中的向量权重进行相乘，输出同时具备通道注意与空间注意的特征图。
14.进一步的，步骤2中的损失函数由中心距离损失、重叠损失、宽高损失和类别置信度损失组成；其中，中心距离损失用于约束预测框的中心点与真实标签框的中心点之间的距离，以保证预测框能够准确地对应目标的位置，中心距离损失的公式表示为：（1）其中，表示第i个预测框的中心点坐标，表示第i个真实标注框的中心点坐标，为对应的权重系数，n表示样本数量，是一个常数，用于避免分母为0的情况；重叠损失用于衡量预测框与真实标签框之间的重叠程度，以促使预测框与目标框的边界更加匹配，重叠损失的公式表示为：（2）其中，、、、分别表示预测框和真实框在x轴、y轴、宽度和高度上的差异，、、、是用户平衡不同部分损失权重的系数；sml1是改进的平滑l1损失函数，该函数定义为：（3）其中，x表示自变量，是可调节的参数，用于调节平滑性和敏感性的程度，是一个常数，用于避免分母为0的情况，c为常数1；
宽高损失用于约束预测框的宽度和高度、真实标签框的宽度和高度以及预测宽高比与真实宽高比之间的差异，确保预测框的形状与目标的形状相似，宽高损失的公式表示为：（4）其中，和分别表示第i个预测框的宽度和高度，和分别表示第i个真实标注框的宽度和高度，和分别表示预测的宽高比和真实的宽高比，为超参数，用于平衡权重；类别置信度损失则用于优化预测框的类别预测结果，使其更准确地反映目标的类别，类别置信度损失的公式表示为：（5）其中，表示第i个真实标注框的类别标签，表示第i个预测框的类别标签，为对应的权重系数；综合以上的损失函数，将其进行加权组合组成总体的cokc损失函数：（6）其中，、、和为对应的权重系数，用于平衡不同部分损失的重要性。
15.进一步的，步骤2中调节训练的参数的具体实现方式为，首先根据当前训练的状态和损失函数的梯度信息，引入adam算法自适应调整学习率，在训练过程中自动控制参数更新的步幅；再通过l2正则化技术调节，防止模型过拟合。
16.进一步的，步骤3中风险识别网络的训练过程为，先对网络进行初始化，设置初始权重参数，然后，将训练数据输入到网络中，通过前向传播计算得到网络的预测输出；将预测输出与真实标签进行比较，计算损失函数的值来衡量预测结果的误差；通过反向传播算法计算梯度，并使用优化算法根据梯度更新模型的参数，以减小损失函数的值，并重复进行多次迭代训练；在训练过程中，使用验证数据集对模型进行评估和调整，以选择最佳的参数配置，最后，保存训练得到的模型参数，用于后续的测试和应用阶段。
17.进一步的，步骤4的具体实现方式如下；获取实时监控视频，对视频进行逐帧解析得到每一帧的图像，将解析后的图像送入风险识别模型之中，识别工作人员是否穿戴必备防护装备或进行违章违规操作，若检测到异常，系统将自动进行语音报警，及时提醒工人，并记录工作人员的异常行为方式，保存作业现场的视频和图像关键日志，生成工作报告，以便日后查看进而提醒作业人员。
18.总体而言，通过本发明所构思的以上技术方案与现有技术相比能够取得下列有益效果：（1）对数据集进行预处理，可以提高模型的性能和泛化能力，从而改善多尺度图像识别的效果。
19.（2）csknet网络是本发明提出的深度学习网络结构，通过加深网络的深度来增强模型的学习能力，该网络的设计使其能够更好地学习和表示多尺度图像的特征，从而提高识别的准确性和鲁棒性。
20.（3）本发明引入了cbsam注意力机制，该注意力机制是一种同时兼具通道注意力和空间注意力的特征加权方法，其能够自适应地调整图像中不同通道和空间位置上的特征重
要性，提高模型的识别能力和表达能力。
21.（4）针对多尺度图像识别任务的特点，本发明设计了适合的损失函数，用于衡量模型在不同尺度下的预测结果与真实标签之间的差异；还调整了参数策略，以优化模型的训练过程，提高模型的学习能力和训练效果。
22.（5）可以准确、高效、实时地实施对作业现场人员情况的监督，有力保障了成产行业现场的生命财产安全。
附图说明
23.图1 本发明实施例提供的一种基于深度学习的风险识别方法的技术方案流程图。
24.图2本发明实施例提供的一种基于深度学习的风险识别方法的注意力机制模块示意图。
25.图3本发明实施例提供的一种基于深度学习的风险识别方法的网络框架示意图。
具体实施方式
26.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
27.本发明提供的一种基于深度学习的风险识别方法的实现方案，请参见附图1，具体包含如下步骤：（1）对多个场景下的数据进行预处理；首先收集来自电力作业、煤矿开采、建筑施工和化工生产等领域的施工现场图像数据集。这些图像涵盖了人员的不同身份、姿态、服装和环境背景的变化。接下来，对这些图像进行标注，将各个情况下的人员与物件进行区分，并为每个其打上相应的标签，以供模型进行监督式学习。在数据清洗阶段，对数据集进行了清洗，去除噪声、重复图像和低质量图像，以确保数据集的质量和准确性。由于涉及到了多领域的图像识别，为了增加数据集的多样性和泛化能力，应用数据增强技术，通过图像旋转、翻转、缩放、剪切、亮度调整等操作，生成更多变化的图像样本。最后，将数据集划分为训练集、验证集和测试集，以进行模型的训练、调优和评估。通过这些数据预处理步骤，为后续的风险识别模型训练提供了高质量、多样性的数据基础。
28.（2）设计风险识别模型的网络结构配置，并添加注意力机制对其进行优化，然后设计相应的损失函数、调节训练的参数，以输出含有目标所属类别的概率的检测结果；具体的，设计一种基于多尺度的网络架构，考虑到在资源有限的情况下进行实时风险识别的需求，旨在提高计算效率和模型的推理速度，同时保持较高的准确性。所设计的csknet网络先对输入图像进行预处理，得到图像的原始特征original feature，然后在第一模块中利用主干网络进行特征提取，即使用1x1卷积、3x3卷积和1x1卷积的组合处理后得到一个经过特征变换和综合处理的特征表示，增强网络的表达能力并增加非线性，再同时使用3x3、5x5和7x7的卷积操作在网络中获得不同尺度的感受野和特征，以更好地捕捉图像或数据中的多尺度信息，之后再对不同尺度的特征进行拼接操作，将不同尺度的特征信息
融合到一起，得到一个具有更高维度的特征表示，其中包含了来自不同尺度的特征信息，这样做可以增加网络的表达能力，以提供更全面和丰富的特征表示。下一步，在网络中引入不同尺度的卷积和上采样操作，从而获得多层次的特征图，每个层级的特征图对应不同的感受野和分辨率，可以捕捉到不同尺度上的风险信息，具体地说，经过拼接操作后，分别对拼接后的特征进行卷积处理：首先，对第一个卷积后的特征进行上采样操作，并将其与第二个分支中卷积后的特征进行拼接；然后，对拼接后的特征再进行上采样处理，并与第三个分支中的卷积后的特征进行拼接；最终，得到的是一种基础特征base feature，其中包含了不同尺度和层次的特征信息的融合，之后再分别对其进行卷积操作后进入第二模块。
29.在第二模块中设计的瘦长u型网络结构sue，可将其分为编码与解码部分。基于编码器的结构，利用四组卷积、池化操作对输入特征进行逐层提取和下采样。这一过程有助于捕捉不同尺度下的局部特征和空间信息；基于解码器的结构，通过四组上采样和卷积操作逐步恢复特征的空间分辨率，并将其与来自编码部分的相应尺度的特征进行融合。这种逐层的上采样和融合操作有助于恢复细节信息，并提供更丰富的语义表示。在该模块将卷积处理后的基础特征和上一个sue模块中的最大特征作为输入，这两个特征尺度是一致的，产生送入下一个sue模块的融合特征。从整体上看，堆叠sue模块的输出形成了多层次、多尺度的特征，而前面的主要是浅层特征shallow，中间的主要是中层特征medium，后面的主要是深层特征deep。之后，再通过聚合多层次的特征金字塔，将不同尺度上有不同分辨率与信息的特征图进行聚合得到包含多尺度的输出特征图，使得模型能够综合利用来自不同层级和尺度的特征，进一步提高风险识别的性能，从而准确高效地输出检测结果。
30.在已经设计好的网络架构基础上，添加cbsam注意力机制进行优化的具体操作如下：首先，在多尺度网络架构中的特定模块中，使用聚合处理过的输出特征图作为起始点，然后将其分为三个分支。第一个分支中不经过任何处理，将输入直接输出；在第二个分支中，对输入特征图进行卷积操作，以提取局部特征和细节信息，在第三个分支中，分别对输入特征图进行不同尺度的卷积操作，这三个卷积产生的特征图具有不同的感受野和语义信息，接下来，将第三个分支中经过卷积处理后的输出特征图进行拼接，将它们在通道维度上连接在一起，在拼接后的特征图上，使用softmax激活函数，对通道维度上的特征进行归一化，以产生一个具有置信度分布的特征图。最后，将第二个分支的卷积输出结果和经过softmax操作后的特征图进行相乘操作，可以加权调节它们之间的相对重要性并促进特征之间的交互。
31.接着，先对处理过的特征图进行多组件残差卷积操作，其由瓶颈层、残差链接层与扩张卷积层组成，可以有效地减少网络的参数量和计算量，并提升网络的性能和准确性，再将其送入通道注意模块，通道注意模块具体操作是分别对特征图进行全局平均池化和全局最大池化，得到两个向量，再将这两个向量相加，得到通道维度上的向量权重，然后将这个向量权重进行softmax归一化操作后与原输入特征图相乘，得到具有通道注意的特征图；这样做可以将原始特征和融合后的置信度特征结合起来，以保留原始特征的细节和上下文信息，并融合置信度信息用于后续的风险识别任务。
32.最后，在获取具有通道注意力机制的特征图后先对其进行多组件残差卷积操作，然后送入空间注意模块，其具体操作是先分别对特征图进行全局最大池化与全局平均池
化，然后将这两个特征图进行拼接再进行卷积操作生成一维的特征图，再对其进行sigmoid处理，引入非线性变换，增加模型的拟合能力，之后与具有通道注意力的特征图相乘得到空间注意力特征图，最后将通道注意力特征图直接与通道注意力模块中的向量权重进行相乘，输出同时具备通道注意与空间注意的特征图。该特征图保留了原有结构中的一些特征，利用cbsam注意力机制，旨在通过它使网络执行通道与空间特征重新校准以提高网络的表征能力，从而提高目标检测的精度，之后再在特征图上获取关键信息，同时对其完成特征映射，并结合边界框回归进行精确分类，最终完成目标检测任务，输出含有目标所属类别的概率的检测结果。
33.接着，添加损失函数进行优化，该损失函数由中心距离损失、重叠损失、宽高损失和类别置信度损失组成；其中，中心距离损失用于约束预测框的中心点与真实标签框的中心点之间的距离，以保证预测框能够准确地对应目标的位置，该损失函数的公式可以表示为：（1）其中，表示第i个预测框的中心点坐标，表示第i个真实标注框的中心点坐标，为对应的权重系数，n表示样本数量，是一个常数，用于避免分母为0的情况。
34.重叠损失用于衡量预测框与真实标签框之间的重叠程度，以促使预测框与目标框的边界更加匹配，该损失函数的公式可以表示为：（2）其中，、、、分别表示预测框和真实框在x轴、y轴、宽度和高度上的差异，、、、是用户平衡不同部分损失权重的系数；sml1是改进的平滑l1损失函数，该函数定义为：（3）其中，x表示自变量，是可调节的参数，用于调节平滑性和敏感性的程度，是一个常数，用于避免分母为0的情况，c为常数1；通过sml1损失函数计算预测框和真实框在位置和尺寸上的差异，并利用权重系数对不同部分的损失进行加权，通过最小化重叠损失，模型可以更好地学习目标的位置和大小信息，从而提高目标检测的准确性和鲁棒性。
35.宽高损失用于约束预测框的宽度和高度、真实标签框的宽度和高度以及预测宽高比与真实宽高比之间的差异，确保预测框的形状与目标的形状相似，该损失函数的公式可以表示为：（4）其中，和分别表示第i个预测框的宽度和高度，和分别表示第i个真实标注框的宽度和高度，和分别表示预测的宽高比和真实的宽高比，超参数，用于平衡权重。
36.类别置信度损失则用于优化预测框的类别预测结果，使其更准确地反映目标的类别，该损失函数的公式可以表示为：
（5）其中，表示第i个真实标注框的类别标签，表示第i个预测框的类别标签，为对应的权重系数。
37.在该模块中，为了有效地训练模型并提高风险识别的准确性，我们采用了多个损失函数来考虑不同方面的损失信息，综合以上的损失函数，将其进行加权组合组成总体的cokc损失函数：（6）其中，、、和为对应的权重系数，用于平衡不同部分损失的重要性。这样设计的损失函数能够更全面地考虑中心距离、重叠度、宽度和高度以及类别置信度等因素，从而提升风险识别的精度和性能。
38.最后，在调节训练的参数模块采用一种自适应的参数调节策略来优化模型性能和泛化能力。首先根据当前训练的状态和损失函数的梯度信息，引入adam算法自适应调整学习率，这样可以在训练过程中自动控制参数更新的步幅，以更快地收敛和更稳定的训练；再通过l2正则化技术调节，它对异常值比较敏感，因为平方项会放大异常值的影响，其也可以防止模型过拟合，平衡各个参数使得模型更加稳定和鲁棒；然后还用到了梯度裁剪和参数初始化策略等技术。该模块可以根据具体的任务需求和数据特征进行调节，并且能够在训练过程中实时地适应不同的风险场景，从而提高模型的适应性和灵活性。这一特点使得该方法在风险识别领域具有更广阔的应用前景和更强的竞争力。
39.（3）使用处理后的数据集对风险识别网络进行训练，获得风险识别模型。
40.使用已经设计好的风险识别模型进行训练；由于已经对数据集进行过预处理操作，接下来，先对网络模型进行初始化，设置初始权重参数。然后，将训练数据输入到网络模型中，通过前向传播计算得到模型的预测输出。将预测输出与真实标签进行比较，计算损失函数的值来衡量预测结果的误差。通过反向传播算法计算梯度，并使用优化算法根据梯度更新模型的参数，以减小损失函数的值。重复进行多次迭代训练，逐步优化模型的性能。在训练过程中，使用验证数据集对模型进行评估和调整，以选择最佳的参数配置。最后，保存训练得到的模型参数，用于后续的测试和应用阶段。通过这个过程，我们能够根据已设计好的网络模型和训练数据，逐步优化模型的能力，使其能够准确地进行风险识别任务，提高我们对各种潜在风险的发现和处理能力。
41.（4）使用训练好的风险识别模型实时检测现场采集的图像，当现场情况不符合规范时进行语音提醒。
42.具体的，获取实时监控视频，对视频进行逐帧解析得到每一帧的图像，将解析后的图像送入风险识别模型之中，识别工作人员是否穿戴必备防护装备或进行违章违规操作，若检测到异常，系统将自动进行语音报警，及时提醒工人，并记录工作人员的异常行为方式，保存作业现场的视频和图像等关键日志，生成工作报告，以便日后查看进而提醒作业人员。其可以做到自动识别，高效地辅助人工进行安全生产智能化管理，真正实现了为生产行业安全保驾护航。
43.本发明提供一种基于深度学习的风险识别方法，可以通过基于深度学习的风险识别模型来处理多尺度图像，并对图像进行准确高效识别。
44.本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

技术特征：
1.一种基于深度学习的风险识别方法，其特征在于，包括如下步骤：步骤1，对多个场景下的数据进行预处理；步骤2，设计风险识别网络，并添加注意力机制对网络进行优化，并设计相应的损失函数、调节训练的参数，以输出含有目标所属类别的概率的检测结果；步骤2中风险识别网络的具体处理过程如下：首先获得图像的原始特征original feature，然后在第一个模块中利用主干网络进行特征提取，得到基础特征base feature，基础特征base feature中包含了不同尺度和层次的特征信息的融合，之后再分别对基础特征进行卷积操作后进入第二模块；第二模块包括多个堆叠的瘦长u型网络结构sue，每个sue分为编码与解码部分，编码部分为基于编码器的结构，利用多组卷积、池化操作对输入特征进行逐层提取和下采样，捕捉不同尺度下的局部特征和空间信息；解码部分为基于解码器的结构，通过多组上采样和卷积操作逐步恢复特征的空间分辨率，并将其与来自编码部分的相应尺度的特征进行融合；除第一个sue是以卷积处理后的基础特征为输入外，其他的sue是将卷积处理后的基础特征和上一个sue模块中的最大特征作为输入；堆叠的sue模块的输出形成多层次、多尺度的特征，再通过聚合多层次的特征金字塔，将不同尺度上有不同分辨率与信息的特征图进行聚合得到包含多尺度的输出特征图；最后利用注意力机制进行优化，并进行目标检测任务，输出含有目标所属类别的概率的检测结果；步骤3，使用预处理后的数据集对风险识别网络进行训练，获得风险识别模型；步骤4，使用训练好的风险识别模型实时检测现场采集的图像，当现场情况不符合规范时进行语音提醒。2.如权利要求1所述的一种基于深度学习的风险识别方法，其特征在于：步骤1中所述预处理包括：首先收集来自电力作业、煤矿开采、建筑施工和化工生产领域的施工现场图像数据集；接下来，对这些图像进行标注，将各个情况下的人员与物件进行区分，并为每个其打上相应的标签，以供风险识别网络进行监督式学习；在数据清洗阶段，对数据集进行了清洗，去除噪声、重复图像和低质量图像，以确保数据集的质量和准确性；应用数据增强技术，通过图像旋转、翻转、缩放、剪切、亮度调整操作，生成更多变化的图像样本；最后，将数据集划分为训练集、验证集和测试集，以进行风险识别网络的训练、调优和评估。3.如权利要求1所述的一种基于深度学习的风险识别方法，其特征在于：主干网络进行特征提取的实现过程如下：输入原始特征，使用1x1卷积、3x3卷积和1x1卷积的组合处理后得到一个经过特征变换和综合处理的特征表示，再同时使用3x3、5x5和7x7的卷积操作在网络中获得不同尺度的感受野和特征，之后再对不同尺度的特征进行拼接操作，将不同尺度的特征信息融合到一起，得到一个具有更高维度的特征表示；下一步，在网络中引入不同尺度的卷积和上采样操作，从而获得多层次的特征图，每个层级的特征图对应不同的感受野和分辨率，用于捕捉到不同尺度上的风险信息，具体地说，经过拼接操作后，分别对拼接后的特征进行卷积处理：首先，对第一个卷积后的特征进行上采样操作，并将其与第二个分支中卷积后的特征进行拼接；然后，对拼接后的特征再进行上采样处理，并与第三个分支中的卷积后的特征进行拼接；最终，得到的是一种基础特征base feature，其中包含了不同尺度和层次的特征信息的
融合，之后再分别对其进行卷积操作后进入第二模块。4.如权利要求1所述的一种基于深度学习的风险识别方法，其特征在于：第二模块包括3个堆叠的瘦长u型网络结构sue，编码部分包括四组卷积和池化操作，解码部分包括四组上采样和卷积操作；3个堆叠的瘦长u型网络结构sue处理之后分别得到浅层特征shallow，中层特征medium，深层特征deep。5.如权利要求1所述的一种基于深度学习的风险识别方法，其特征在于：注意力机制的具体操作如下：首先，使用聚合处理过的输出特征图作为起始点，然后将其分为三个分支：第一个分支中不经过任何处理，将原输入特征图直接输出；在第二个分支中，对输入特征图进行卷积操作，以提取局部特征和细节信息，在第三个分支中，分别对输入特征图进行不同尺度的卷积操作，这三个卷积产生的特征图具有不同的感受野和语义信息，接下来，将第三个分支中经过卷积处理后的输出特征图进行拼接，将它们在通道维度上连接在一起，在拼接后的特征图上，使用softmax激活函数，对通道维度上的特征进行归一化，以产生一个具有置信度分布的特征图；最后，将第二个分支的卷积输出结果和经过softmax操作后的特征图进行相乘操作，用于加权调节它们之间的相对重要性并促进特征之间的交互；接着，先对处理过的特征图进行多组件残差卷积操作，其由瓶颈层、残差链接层与扩张卷积层组成，再送入通道注意模块，通道注意模块具体操作是分别对特征图进行全局平均池化和全局最大池化，得到两个向量，再将这两个向量相加，得到通道维度上的向量权重，然后将这个向量权重进行softmax归一化操作后与第一分支中的原输入特征图相乘，得到具有通道注意的特征图；最后，在获取具有通道注意力机制的特征图后，先对其进行多组件残差卷积操作，然后送入空间注意模块，其具体操作是先分别对特征图进行全局最大池化与全局平均池化，然后将这两个特征图进行拼接，再进行卷积操作生成一维的特征图，并对其进行sigmoid处理，引入非线性变换，增加模型的拟合能力，之后与具有通道注意力的特征图相乘得到空间注意力特征图，最后将通道注意力特征图直接与通道注意力模块中的向量权重进行相乘，输出同时具备通道注意与空间注意的特征图。6.如权利要求1所述的一种基于深度学习的风险识别方法，其特征在于：步骤2中的损失函数由中心距离损失、重叠损失、宽高损失和类别置信度损失组成；其中，中心距离损失用于约束预测框的中心点与真实标签框的中心点之间的距离，以保证预测框能够准确地对应目标的位置，中心距离损失的公式表示为：（1）；其中，表示第i个预测框的中心点坐标，表示第i个真实标注框的中心点坐标，为对应的权重系数，n表示样本数量，是一个常数，用于避免分母为0的情况；重叠损失用于衡量预测框与真实标签框之间的重叠程度，以促使预测框与目标框的边界更加匹配，重叠损失的公式表示为：（2）；其中，、、、分别表示预测框和真实框在x轴、y轴、宽度和高度上的差异，、、、是用户平衡不同部分损失权重的系数；sml1是改进的平滑l1损失函数，该函数定
义为：（3）；其中，x表示自变量，是可调节的参数，用于调节平滑性和敏感性的程度，是一个常数，用于避免分母为0的情况，c为常数1；宽高损失用于约束预测框的宽度和高度、真实标签框的宽度和高度以及预测宽高比与真实宽高比之间的差异，确保预测框的形状与目标的形状相似，宽高损失的公式表示为：（4）；其中，和分别表示第i个预测框的宽度和高度，和分别表示第i个真实标注框的宽度和高度，和分别表示预测的宽高比和真实的宽高比，为超参数，用于平衡权重；类别置信度损失则用于优化预测框的类别预测结果，使其更准确地反映目标的类别，类别置信度损失的公式表示为：（5）；其中，表示第i个真实标注框的类别标签，表示第i个预测框的类别标签，为对应的权重系数；综合以上的损失函数，将其进行加权组合组成总体的cokc损失函数：（6）；其中，、、和为对应的权重系数，用于平衡不同部分损失的重要性。7.如权利要求1所述的一种基于深度学习的风险识别方法，其特征在于：步骤2中调节训练的参数的具体实现方式为，首先根据当前训练的状态和损失函数的梯度信息，引入adam算法自适应调整学习率，在训练过程中自动控制参数更新的步幅；再通过l2正则化技术调节，防止模型过拟合。8.如权利要求1所述的一种基于深度学习的风险识别方法，其特征在于：步骤3中风险识别网络的训练过程为，先对网络进行初始化，设置初始权重参数，然后，将训练数据输入到网络中，通过前向传播计算得到网络的预测输出；将预测输出与真实标签进行比较，计算损失函数的值来衡量预测结果的误差；通过反向传播算法计算梯度，并使用优化算法根据梯度更新模型的参数，以减小损失函数的值，并重复进行多次迭代训练；在训练过程中，使用验证数据集对模型进行评估和调整，以选择最佳的参数配置，最后，保存训练得到的模型参数，用于后续的测试和应用阶段。9.如权利要求1所述的一种基于深度学习的风险识别方法，其特征在于：步骤4的具体实现方式如下；获取实时监控视频，对视频进行逐帧解析得到每一帧的图像，将解析后的图像送入风险识别模型之中，识别工作人员是否穿戴必备防护装备或进行违章违规操作，若检测到异常，系统将自动进行语音报警，及时提醒工人，并记录工作人员的异常行为方式，保存作业现场的视频和图像关键日志，生成工作报告，以便日后查看进而提醒作业人员。

技术总结
本发明公开了一种基于深度学习的风险识别方法，所述的方法包括以下步骤：首先对数据集进行预处理，再设计适用于风险识别模型的网络结构配置，并添加注意力机制进行优化，然后设计相应的损失函数和参数调节策略，最后训练得到风险识别模型。所述的风险识别模型可以高效地识别电力作业、煤矿开采、建筑施工和化工生产等场景下的风险，提供了高质量的风险识别结果，其显著节省了人力成本，可以做到为生产行业安全保驾护航。行业安全保驾护航。行业安全保驾护航。


技术研发人员：姜明华 陈余焜 余锋 金余余 刘莉 周昌龙 宋坤芳
受保护的技术使用者：武汉纺织大学
技术研发日：2023.07.10
技术公布日：2023/8/13