一种LOTO信息化智能化集成安全管理方法与流程

一种loto信息化智能化集成安全管理方法
[技术领域]
[0001]
本发明涉及loto安全性技术领域，具体地说是一种loto信息化智能化集成安全管理方法。
[

背景技术：
]
[0002]
loto(lock out and tag out)是预防能量释放造成工伤风险的现有管理技术，通过隔离、锁定某些危险能量源以防止人身伤害的一种方法。它包括下面的两点：授权相关作业人员作业前，在能量隔离装置(比如电源开关、压缩空气开关)上配上锁定设施，以确保能量隔离装置和所控制的设备在移开锁定设施之前不能操作或不被供能(lock out)。并设置专门用于安全警示的标识(tag out)，提醒员工禁止对被隔离的设备供能。
[0003]
现有loto管理技术依托于授权人员进行供能开关和/或现场进出门口的挂锁、挂标签，是以人员充分清晰的主观意识为前提的，安全风险集中于作业人员未严格按照loto管理规则进行操作的，如进入作业区域前未在隔离装置上上锁或未挂牌，或人员尾随等出现人数和锁数不一致。理论上，这个环节如果不出差错，loto设计的安全性就有保障。但员工平时对反复的操作流程长、重复次数多、没有可以直接感知的收益激励、发呆或疲乏或麻木，以及安全意识薄弱可能导致上述违规现象的产生，进而可能引发安全事故。
[

技术实现要素：
]
[0004]
本发明的目的就是要解决上述的不足而提供一种loto信息化智能化集成安全管理方法，能够降低传统loto运行过程人员主观因素造成的风险，大大地提升了loto的安全性。
[0005]
为实现上述目的设计一种loto信息化智能化集成安全管理方法，包括以下步骤：
[0006]
1)优化高清图片下的yolo人体识别算法，将图片分割成和算法的标准图片分辨率相同的多个区域，并分别进行识别；
[0007]
2)使用opencv进行图像拼接，将这些区域图片进行划分、匹配、拼合，使得分割的对象经过多图片的融合后保持完整，避免重复识别；
[0008]
3)增加运动前景的侦测，使用opencv进行前景检测，采用是否有运动前景，来判定是否有人，再判定是否有非静止的人体；
[0009]
4)锁具数量的视觉识别，自定义yolo模型训练，针对锁具和搭扣板进行算法开发，以具有足够分辨率的现场锁和搭扣板的实时视频，作为输入；
[0010]
5)标签的识别，运用ocr对危险及danger标签所用安全警示词进行视觉识别；
[0011]
6)设备状态的视觉识别，针对现场设备场景进行算法开发，对设备的运行状态进行识别。
[0012]
进一步地，步骤1)具体包括以下步骤：
[0013]
1.1)预处理：加载高分辨率图像，根据yolo模型的输入大小计算较小片段的尺寸，将原始图像分割成不同的分辨率，将高分辨率图像拆分为每个像素的非重叠片段；若想确
保不会错过片段边界附近的物体，则使用重叠片段，通过定义重叠百分比；
[0014]
1.2)分割图像：遍历高分辨率图像，根据计算出的尺寸和重叠百分比提取较小的片段，跟踪每个片段相对于原始高分辨率图像的坐标，再重新构造检测到的物体在原始图像中的位置；
[0015]
1.3)物体检测：对于每个提取的片段，执行yolo模型所需的预处理，将每个预处理过的片段输入到yolo模型中以检测物体，对于每个检测到的物体，根据所属的片段的坐标计算其相对于原始高分辨率图像的位置；
[0016]
1.4)后处理：合并所有片段中检测到的物体，处理由于重叠区域而产生的重复检测，并分别进行识别。
[0017]
进一步地，步骤2)中，使用opencv进行图像拼接包括以下步骤：
[0018]
2.1)加载图像：读取要拼接在一起的输入图像；
[0019]
2.2)特征检测和描述：对于每个输入图像，使用包含但不限于sift、surf或orb的特征检测器检测特征点；计算每个图像中每个关键点的特征描述符，描述符为关键点周围局部图像区域的紧凑表示，有助于在图像之间匹配关键点；
[0020]
2.3)特征匹配：比较不同图像中关键点的特征描述符以找到潜在的匹配，使用暴力匹配或基于flann的匹配方法在不同图像的关键点之间找到最佳匹配，应用包含但不限于ransac的匹配方法，过滤掉不正确的异常值匹配并保留正确的内点匹配；
[0021]
2.4)单应性矩阵估计：对于匹配的图像对，计算描述图像平面之间关系的单应性矩阵；
[0022]
2.5)图像扭曲：根据计算出的单应性矩阵扭曲输入图像，使其在一个共同的平面上对齐；
[0023]
2.6)组成全景图：将扭曲的图像组合在一起以创建最终的拼接全景图；在重叠图像之间找到最佳接缝以最小化可见伪影，将图像混合在一起，确保重叠区域中的平滑过渡；
[0024]
2.7)裁剪和调整全景图：最后，从全景图中裁剪掉任何不需要的黑色区域或伪影，并调整整体曝光或色彩平衡以创建视觉上吸引人的结果。
[0025]
进一步地，步骤3)中，使用opencv进行前景检测包括以下步骤：
[0026]
3.1)读取视频帧：使用视频捕获对象读取输入视频帧；
[0027]
3.2)选择背景减除方法：opencv提供了包含但不限于mog、mog2和knn的背景减除算法；
[0028]
3.3)初始化背景减除器：创建所选背景减除方法的实例，根据选择的算法自定义参数，该参数包含历史长度、阈值、阴影检测和学习率；
[0029]
3.4)应用背景减除：遍历视频帧，对每个帧应用背景减除器的apply方法，生成前景掩膜；
[0030]
3.5)后处理：由于生成的前景掩膜可能包含噪声、阴影或孔，应用后处理技术清理掩膜，使用阈值处理和轮廓检测分离各个对象并过滤掉不需要的伪影；
[0031]
3.6)提取前景对象：使用清理后的前景掩膜从原始视频帧中提取前景对象；
[0032]
3.7)分析或跟踪对象：一旦提取出前景对象，根据对象跟踪、运动分析或活动识别的特定应用进行分析或跟踪；
[0033]
3.8)显示或存储结果：可视化检测到的前景对象的原始视频帧，或将结果存储在
新的视频文件或图像序列中。
[0034]
进一步地，步骤4)中，自定义yolo模型训练的具体步骤为：
[0035]
4.1)收集和准备数据集：收集包含模型检测的对象的图像数据集，包括锁和标签，使用标注工具为每个对象标注边界框和类别标签；
[0036]
4.2)拆分数据集：将数据集拆分为训练集、验证集和测试集，验证集用于评估模型的性能，而测试集用于在训练后评估模型的泛化能力；
[0037]
4.3)转换注释：将注释转换为与yolo兼容的格式；
[0038]
4.4)配置yolo：选择一个预先训练好的yolo架构作为起点，修改配置文件以匹配自定义数据集中的类别数量，并根据硬件和数据集大小调整其他参数；
[0039]
4.5)预处理数据集：应用数据增强技术以增加数据集的大小和多样性，增强方法包括翻转、旋转、缩放以及改变亮度和对比度；
[0040]
4.6)初始化权重：可以从头开始训练，也可以使用与类似任务的预训练权重作为起点迁移学习；
[0041]
4.7)训练模型：使用数据集、配置和初始化权重训练定制的yolo模型，监控训练过程，并关注损失和平均精度指标，当验证集上的性能达到平稳或开始下降时，停止训练；
[0042]
4.8)微调模型：如果模型的性能不令人满意，通过调整超参数、更改架构或添加更多训练数据来微调模型；
[0043]
4.9)评估模型：使用测试集评估训练好的模型的性能，计算评估指标；
[0044]
4.10)部署模型：一旦自定义yolo模型达到满意的性能，将其部署到目标环境中；
[0045]
4.11)监控和更新：在实际应用中，持续监控模型的性能，收集和标注新数据以解决发现的问题。
[0046]
进一步地，步骤4)中，锁具视觉识别包括以下步骤：
[0047]
4.1)预处理：在硬件上，即在锁体、锁钩和搭扣板的颜色选择上，各自区分，所选颜色为图像环境中没有的颜色；在软件方面，整个图像画面上，按颜色特征，搜索并关注对象区域然后进行计算；
[0048]
4.2)在锁具搭扣板洞口外圈以与搭扣板颜色对比较大的颜色涂敷，当搭扣板挂锁时，洞口呈现如上颜色“c”型；未挂锁时，洞口呈现“o”型；
[0049]
4.3)视觉识别：通过识别搭扣板上“c”型和“o”型的数量，判断锁具的数量；若“c”型数量和“o”型数量之和不为搭扣板洞数，则报警“视觉算法错误”；若“c”型数量小于场内人数，则报警“loto违规”。
[0050]
进一步地，步骤4)中，锁具视觉识别时，先在锁具搭扣板四周以显著颜色线条标记，然后通过识别以上显著颜色线条被分隔的段数，确定锁具数量。
[0051]
进一步地，步骤4)中，锁具视觉识别时，搭扣板选用饱和度和亮度较高的a颜色，锁具上方锁钩选用黑色，锁体选用非a颜色，识别并计算搭扣板a颜色区域的凸缺陷的数量，即为锁数。
[0052]
进一步地，步骤6)中，设备状态的视觉识别时，是从两个方面进行识别：
①
锁具全部打开或现场锁具数量为0时，设备的运行状态；
②
现场至少有一把锁时，设备的运行状态。
[0053]
本发明同现有技术相比，具有如下优点：
[0054]
(1)本发明能够降低传统loto运行过程人员主观因素造成的风险，通过客观、高可
靠性、不知疲倦的软件算法手段，增强loto规则的符合性，提升loto管理的安全性，同时增加loto相关日常操作的便利性，以及形成相应程序记录；
[0055]
(2)本发明通过在loto管理区域安装摄像头，应用机器视觉算法，识别人员及其权限、上锁数量和活动区域内的人数，发现loto规则执行的缺陷，触发相应联动措施，从而提高安全性；
[0056]
(3)本发明默认保留原先的loto管理规则，其已经过多年的全球实践验证，守住安全底线，并运用机器视觉算法与loto规则的联动，实现预防、记录和报警功能；
[0057]
(4)本发明可有效地消除传统loto运行规则中的人员主观意识的前提，通过机器视觉技术监控和消除它，大大地改进了loto的安全性；
[0058]
(5)本发明对规则的遵守和违反主动输出充分、可计算的历史记录，包括经过视觉算法标注的照片、事件，从而有利于管理的检查、追踪、教育和纠防；
[0059]
(6)本发明在充分验证和充分使用经验的基础上，用户可以考虑全面电子化的loto，即，将供能开关和是否有人的侦测逻辑直接绑定，作为设备供能前的审核验证,确保安全性。
[附图说明]
[0060]
图1是本发明在锁具搭扣板洞口外圈以黄色涂敷的示意图；
[0061]
图2是本发明在锁具搭扣板四周以黄色线条标记的示意图；
[0062]
图3是本发明在锁具上方锁钩选用黑色的示意图；
[0063]
图4是本发明标签的识别示意图；
[0064]
图5是本发明的流程示意图。
[具体实施方式]
[0065]
本发明提供了一种loto信息化智能化集成安全管理方法，包括以下步骤：
[0066]
1)优化高清图片下的yolo人体识别算法，将图片分割成和算法的标准图片分辨率相同的多个区域，并分别进行识别；
[0067]
2)使用opencv进行图像拼接，将这些区域图片进行划分、匹配、拼合，使得分割的对象经过多图片的融合后保持完整，避免重复识别；
[0068]
3)增加运动前景的侦测，使用opencv进行前景检测，采用是否有运动前景，来判定是否有人，再判定是否有非静止的人体；
[0069]
4)锁具数量的视觉识别，自定义yolo模型训练，针对锁具和搭扣板进行算法开发，以具有足够分辨率的现场锁和搭扣板的实时视频，作为输入；
[0070]
5)标签的识别，运用ocr对危险及danger标签所用安全警示词进行视觉识别；
[0071]
6)设备状态的视觉识别，针对现场设备场景进行算法开发，对设备的运行状态进行识别。
[0072]
下面结合具体实施例对本发明作以下进一步说明：
[0073]
本发明涉及loto管理的信息化自动化与智能化的集成方案，下文称alt(augmentedlock out&tag out)，其目的在于降低传统loto运行过程人员主观因素造成的风险，通过客观、高可靠性、不知疲倦的软件算法手段，增强loto规则的符合性，提升loto管
理的安全性，同时增加loto相关日常操作的便利性，以及形成相应程序记录。
[0074]
本发明的工作原理为：在loto管理区域安装摄像头，应用机器视觉算法，识别人员及其权限、上锁数量和活动区域内的人数，发现loto规则执行的缺陷，触发相应联动措施。其主要技术目标功能包括机器视觉中静态的上锁数量识别、动态的员工数量判断、多摄像头识别范围重叠的去重、以及提高识别精度。为实现上述目的，本发明具体技术方案如下：
[0075]
1)机器视觉识别人、锁、标签、设备状态
[0076]
1.1)优化高清图片下的yolo人体识别的算法，提高识别精度
[0077]
由于yolo算法所使用的图片为高清摄像头拍摄的高分辨率图像，在人像识别过程中会被标准化为400*400左右的分辩率，大大降低了图像信息的利用率。因此，本发明对算法进行了改进优化，将图片分割成和算法的标准图片分辨率相同的多个区域，分别进行识别，从而有效提高识别效果。以下为具体的实现步骤：
[0078]
1.1.1)预处理：加载高分辨率图像。根据yolo模型的输入大小计算较小片段的尺寸，本实施例使用的yolo模型需要输入大小为416x416像素，则可以将高分辨率图像拆分为每个416x416像素的非重叠片段，今后选择不同版本yolo，可以将原始图像分割成不同的分辨率。可选地，如果想确保不会错过片段边界附近的物体，可以使用重叠片段，通过定义重叠百分比(例如，10-20％重叠)。
[0079]
1.1.2)分割图像：遍历高分辨率图像，根据计算出的尺寸和重叠百分比提取较小的片段。跟踪每个片段相对于原始高分辨率图像的坐标，再重新构造检测到的物体在原始图像中的位置时，此信息将非常重要。
[0080]
1.1.3)物体检测：对于每个提取的片段，执行yolo模型所需的预处理(例如，归一化、调整大小等)。将每个预处理过的片段输入到yolo模型中以检测物体。对于每个检测到的物体，根据其所属的片段的坐标计算其相对于原始高分辨率图像的位置。
[0081]
1.1.4)后处理：合并所有片段中检测到的物体，处理由于重叠区域而产生的重复检测。可以使用非极大值抑制(nms)或其他技术来处理重复检测。先在一个检测到的物体列表，其中包含它们相对于原始高分辨率图像的位置，可以在原始图像上可视化这些检测，进一步分析它们，或根据需要执行其他任务。
[0082]
1.2)此外，针对同一区域安装了多个摄像头，在拍摄图片时会存在一个对象被多个摄像头捕捉的现象，从而使得一个对象被分割在多个图片中，降低识别准确率。因此，本发明需要将这些区域图片进行划分、匹配、拼合，使得分割的对象，经过多图片的融合后基本保持完整，避免重复识别，提高识别精度。
[0083]
以下是使用opencv进行图像拼接的主要步骤：
[0084]
1.2.1)加载图像：读取要拼接在一起的输入图像。
[0085]
1.2.2)特征检测和描述：对于每个输入图像，使用诸如sift、surf或orb之类的特征检测器检测特征点(关键点)。计算每个图像中每个关键点的特征描述符，描述符是关键点周围局部图像区域的紧凑表示，有助于在图像之间匹配关键点。
[0086]
1.2.3)特征匹配：比较不同图像中关键点的特征描述符以找到潜在的匹配。使用暴力匹配、基于flann的匹配或其他方法在不同图像的关键点之间找到最佳匹配。应用稳健的匹配方法，如ransac，以过滤掉不正确的匹配(异常值)，并保留正确的匹配(内点)。
[0087]
1.2.4)单应性矩阵估计：对于匹配的图像对，计算描述图像平面之间关系的单应
性矩阵(变换矩阵)，通常是使用前一步获得的内点匹配来完成。
[0088]
1.2.5)图像扭曲：根据计算出的单应性矩阵扭曲输入图像，使它们在一个共同的平面上对齐，这一步对于创建无缝全景图至关重要。
[0089]
1.2.6)组成全景图：将扭曲的图像组合在一起以创建最终的拼接全景图。该过程包括：在重叠图像之间找到最佳接缝以最小化可见伪影。使用诸如多波段混合之类的技术将图像混合在一起，确保重叠区域中的平滑过渡。
[0090]
1.2.7)裁剪和调整全景图：最后，从全景图中裁剪掉任何不需要的黑色区域或伪影，并调整整体曝光或色彩平衡以创建视觉上吸引人的结果。
[0091]
2)增加运动前景的侦测
[0092]
前景侦测比人体识别的稳定性高很多，因此，采用是否有运动前景，来判定是否有人，在判定是否有非静止的人体时，是更加安全的方案。前景检测(也称为背景减除)是计算机视觉和图像处理中用于将视频序列中的运动物体与静态背景分离的技术。以下是使用opencv进行前景检测的步骤：
[0093]
2.1)读取视频帧：使用视频捕获对象读取输入视频帧，将处理每个帧以检测前景对象。
[0094]
2.2)选择背景减除方法：opencv提供了各种背景减除算法，如mog(高斯混合)、mog2和knn(k-最近邻居)，根据应用需求和约束选择合适的方法。
[0095]
2.3)初始化背景减除器：创建所选背景减除方法的实例，可以根据选择的算法自定义参数，如历史长度、阈值、阴影检测和学习率。
[0096]
2.4)应用背景减除：遍历视频帧，对每个帧应用背景减除器的apply()方法，此操作将生成前景掩膜，这是一个突出显示移动对象的二值图像。
[0097]
2.5)后处理：生成的前景掩膜可能包含噪声、阴影或孔；应用后处理技术(如形态学操作(侵蚀、扩张、开运算或闭运算))清理掩膜并使其更准确；还可以使用阈值处理和轮廓检测来分离各个对象并过滤掉不需要的伪影。
[0098]
2.6)提取前景对象：使用清理后的前景掩膜从原始视频帧中提取前景对象，可以通过在视频帧和前景掩膜之间执行按位与操作来实现这一点。
[0099]
2.7)分析或跟踪对象：一旦提取出前景对象，可以根据特定应用(例如对象跟踪、运动分析或活动识别)进行分析或跟踪。
[0100]
2.8)显示或存储结果：可视化检测到的前景对象的原始视频帧，或将结果存储在新的视频文件或图像序列中。
[0101]
3)锁具数量的视觉识别
[0102]
具体针对客户的锁具和搭扣板进行算法开发，以具有足够分辨率的现场锁和搭扣板的实时视频，作为输入。
[0103]
3.1)方案一：自定义yolo模型训练，以下是该过程的具体步骤：
[0104]
3.1.1)收集和准备数据集：收集包含希望模型检测的对象的图像数据集，包括锁和标签；数据集应具有多样性，并代表各种场景、光照条件和对象方向；使用像labelbox、vgg image annotator(via)或labelimg这样的标注工具为每个对象标注边界框和类别标签。
[0105]
3.1.2)拆分数据集：将数据集拆分为训练集、验证集和测试集；典型的拆分比例为
70％用于训练，20％用于验证，10％用于测试；在训练过程中，验证集用于评估模型的性能，而测试集用于在训练后评估模型的泛化能力。
[0106]
3.1.3)转换注释：将注释转换为与yolo兼容的格式，通常包括每个图像的一个文本文件，其中包含边界框的类别、x、y、宽度和高度，所有这些都规范化为[0,1]范围。
[0107]
3.1.4)配置yolo：选择一个预先训练好的yolo架构(例如，yolov3、yolov4、yolov5)作为起点，修改配置文件以匹配自定义数据集中的类别数量，并根据硬件和数据集大小调整其他参数，如学习速率、批量大小和子区域。
[0108]
3.1.5)预处理数据集：应用数据增强技术以增加数据集的大小和多样性，这有助于提高模型的性能；常见的增强方法包括翻转、旋转、缩放以及改变亮度和对比度。
[0109]
3.1.6)初始化权重：可从头开始训练，也可以使用与类似任务的预训练权重作为起点(迁移学习)；建议使用迁移学习，因为可以节省时间并往往能获得更好的性能。
[0110]
3.1.7)训练模型：使用数据集、配置和初始化权重训练定制的yolo模型；监控训练过程，并关注损失和平均精度(ap)指标；当验证集上的性能达到平稳或开始下降时，停止训练。
[0111]
3.1.8)微调模型：如果模型的性能不令人满意，可通过调整超参数、更改架构或添加更多训练数据来微调模型。
[0112]
3.1.9)评估模型：使用测试集评估训练好的模型的性能，计算评估指标，如精度、召回率、f1分数和平均精度(map)；根据需要，可以对模型进行进一步优化以提高这些指标。
[0113]
3.1.10)部署模型：一旦自定义yolo模型达到满意的性能，可以将其部署到目标环境中，例如移动设备、嵌入式系统或云服务器，确保优化模型以满足目标平台的性能和资源要求。
[0114]
3.1.11)监控和更新：在实际应用中，持续监控模型的性能，收集和标注新数据以解决发现的问题；如果需要，可以定期更新模型以维持其性能和准确性。
[0115]
以上即为训练自定义yolo模型的整个过程，在实践中，可以通过多次迭代和调整以获得最佳性能，直到效果符合需求为止。
[0116]
3.2)方案二
[0117]
3.2.1)预处理：在硬件上面，本发明进行了相关设计，帮助实现稳定的识别效果。即在锁体、锁钩和搭扣板的颜色选择上，需要各自区分。此外，所选颜色为图像环境中没有的颜色。在软件方面，整个图像画面上，按颜色等特征，搜索并关注对象区域然后进行计算。
[0118]
3.2.2)实施方式：
①
在锁具搭扣板洞口外圈以黄色(也可选择与搭扣板颜色对比较大的其他颜色)涂敷。当搭扣板挂锁时，如附图1所示，洞口呈现黄色“c”型；未挂锁时，洞口呈现“o”型。
②
视觉识别：通过识别搭扣板上“c”型和“o”型的数量，判断锁具的数量(例：6孔搭扣板，当出现4个“c”型，2个“o”型时，锁具数量即为4)。若“c”型数量和“o”型数量之和不为搭扣板洞数，则报警“视觉算法错误”。若“c”型数量小于场内人数，则报警“loto违规”。
[0119]
3.3)方案三
[0120]
3.3.1)预处理：在锁具搭扣板四周以黄色线条标记。
[0121]
3.3.2)视觉识别：通过识别黄色线条被分隔的段数，如附图2中
①
、
②
所示，确定锁具数量(若被分割段数为2，则锁具数量为2)。
[0122]
3.4)方案四
[0123]
搭扣板选用a色(黄色或红色等饱和度和亮度较高的颜色)，锁具上方锁钩选用黑色，锁体选用非a色，识别并计算搭扣板a色区域的凸缺陷的数量，如附图3所示，即为锁数。
[0124]
4)标签的识别：运用ocr对“危险”，“danger”等标签所用安全警示词进行视觉识别。并在技术上，调用百度的paddlepaddle模块实现。
[0125]
5)设备状态的视觉识别：具体针对现场设备场景进行算法开发，主要从两个方面进行识别：
①
锁具全部打开或现场锁具数量为0时，设备的运行状态；
②
现场至少有一把锁时，设备的运行状态。
[0126]
本发明还可包含方面，如：a)后端的应用关系型数据库系统；b)前端的bs结构的操作界面；c)相关人员的账号、登录、默认标签和标签；d)人工流程相关的记录：登录、审批、进出、开门、关门；e)设备流程事件：设备反馈已经可以接受能源的事件、不能接受能源的事件。并可选自动化联锁：a)和相关设备的通信，获知设备状态；b)管理区域电磁门锁、继电器的通信、控制实现；c)违反loto规则的报警，如短信通知、声光报警、预防供能。
[0127]
本发明并不受上述实施方式的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

技术特征：
1.一种loto信息化智能化集成安全管理方法，其特征在于，包括以下步骤：1)优化高清图片下的yolo人体识别算法，将图片分割成和算法的标准图片分辨率相同的多个区域，并分别进行识别；2)使用opencv进行图像拼接，将这些区域图片进行划分、匹配、拼合，使得分割的对象经过多图片的融合后保持完整，避免重复识别；3)增加运动前景的侦测，使用opencv进行前景检测，采用是否有运动前景，来判定是否有人，再判定是否有非静止的人体；4)锁具数量的视觉识别，自定义yolo模型训练，针对锁具和搭扣板进行算法开发，以具有足够分辨率的现场锁和搭扣板的实时视频，作为输入；5)标签的识别，运用ocr对危险及danger标签所用安全警示词进行视觉识别；6)设备状态的视觉识别，针对现场设备场景进行算法开发，对设备的运行状态进行识别。2.如权利要求1所述的loto信息化智能化集成安全管理方法，其特征在于，步骤1)包括以下步骤：1.1)预处理：加载高分辨率图像，根据yolo模型的输入大小计算较小片段的尺寸，将原始图像分割成不同的分辨率，将高分辨率图像拆分为每个像素的非重叠片段；若想确保不会错过片段边界附近的物体，则使用重叠片段，通过定义重叠百分比；1.2)分割图像：遍历高分辨率图像，根据计算出的尺寸和重叠百分比提取较小的片段，跟踪每个片段相对于原始高分辨率图像的坐标，再重新构造检测到的物体在原始图像中的位置；1.3)物体检测：对于每个提取的片段，执行yolo模型所需的预处理，将每个预处理过的片段输入到yolo模型中以检测物体，对于每个检测到的物体，根据所属的片段的坐标计算其相对于原始高分辨率图像的位置；1.4)后处理：合并所有片段中检测到的物体，处理由于重叠区域而产生的重复检测，并分别进行识别。3.如权利要求1所述的loto信息化智能化集成安全管理方法，其特征在于，步骤2)中，使用opencv进行图像拼接包括以下步骤：2.1)加载图像：读取要拼接在一起的输入图像；2.2)特征检测和描述：对于每个输入图像，使用包含但不限于sift、surf或orb的特征检测器检测特征点；计算每个图像中每个关键点的特征描述符，描述符为关键点周围局部图像区域的紧凑表示，有助于在图像之间匹配关键点；2.3)特征匹配：比较不同图像中关键点的特征描述符以找到潜在的匹配，使用暴力匹配或基于flann的匹配方法在不同图像的关键点之间找到最佳匹配，应用包含但不限于ransac的匹配方法，过滤掉不正确的异常值匹配并保留正确的内点匹配；2.4)单应性矩阵估计：对于匹配的图像对，计算描述图像平面之间关系的单应性矩阵；2.5)图像扭曲：根据计算出的单应性矩阵扭曲输入图像，使其在一个共同的平面上对齐；2.6)组成全景图：将扭曲的图像组合在一起以创建最终的拼接全景图；在重叠图像之间找到最佳接缝以最小化可见伪影，将图像混合在一起，确保重叠区域中的平滑过渡；
2.7)裁剪和调整全景图：最后，从全景图中裁剪掉任何不需要的黑色区域或伪影，并调整整体曝光或色彩平衡以创建视觉上吸引人的结果。4.如权利要求1所述的loto信息化智能化集成安全管理方法，其特征在于，步骤3)中，使用opencv进行前景检测包括以下步骤：3.1)读取视频帧：使用视频捕获对象读取输入视频帧；3.2)选择背景减除方法：opencv提供了包含但不限于mog、mog2和knn的背景减除算法；3.3)初始化背景减除器：创建所选背景减除方法的实例，根据选择的算法自定义参数，该参数包含历史长度、阈值、阴影检测和学习率；3.4)应用背景减除：遍历视频帧，对每个帧应用背景减除器的apply方法，生成前景掩膜；3.5)后处理：由于生成的前景掩膜可能包含噪声、阴影或孔，应用后处理技术清理掩膜，使用阈值处理和轮廓检测分离各个对象并过滤掉不需要的伪影；3.6)提取前景对象：使用清理后的前景掩膜从原始视频帧中提取前景对象；3.7)分析或跟踪对象：一旦提取出前景对象，根据对象跟踪、运动分析或活动识别的特定应用进行分析或跟踪；3.8)显示或存储结果：可视化检测到的前景对象的原始视频帧，或将结果存储在新的视频文件或图像序列中。5.如权利要求1所述的loto信息化智能化集成安全管理方法，其特征在于，步骤4)中，自定义yolo模型训练的具体步骤为：4.1)收集和准备数据集：收集包含模型检测的对象的图像数据集，包括锁和标签，使用标注工具为每个对象标注边界框和类别标签；4.2)拆分数据集：将数据集拆分为训练集、验证集和测试集，验证集用于评估模型的性能，而测试集用于在训练后评估模型的泛化能力；4.3)转换注释：将注释转换为与yolo兼容的格式；4.4)配置yolo：选择一个预先训练好的yolo架构作为起点，修改配置文件以匹配自定义数据集中的类别数量，并根据硬件和数据集大小调整其他参数；4.5)预处理数据集：应用数据增强技术以增加数据集的大小和多样性，增强方法包括翻转、旋转、缩放以及改变亮度和对比度；4.6)初始化权重：可以从头开始训练，也可以使用与类似任务的预训练权重作为起点迁移学习；4.7)训练模型：使用数据集、配置和初始化权重训练定制的yolo模型，监控训练过程，并关注损失和平均精度指标，当验证集上的性能达到平稳或开始下降时，停止训练；4.8)微调模型：如果模型的性能不令人满意，通过调整超参数、更改架构或添加更多训练数据来微调模型；4.9)评估模型：使用测试集评估训练好的模型的性能，计算评估指标；4.10)部署模型：一旦自定义yolo模型达到满意的性能，将其部署到目标环境中；4.11)监控和更新：在实际应用中，持续监控模型的性能，收集和标注新数据以解决发现的问题。6.如权利要求1所述的loto信息化智能化集成安全管理方法，其特征在于，步骤4)中，
锁具视觉识别包括以下步骤：4.1)预处理：在硬件上，即在锁体、锁钩和搭扣板的颜色选择上，各自区分，所选颜色为图像环境中没有的颜色；在软件方面，整个图像画面上，按颜色特征，搜索并关注对象区域然后进行计算；4.2)在锁具搭扣板洞口外圈以与搭扣板颜色对比较大的颜色涂敷，当搭扣板挂锁时，洞口呈现如上颜色“c”型；未挂锁时，洞口呈现“o”型；4.3)视觉识别：通过识别搭扣板上“c”型和“o”型的数量，判断锁具的数量；若“c”型数量和“o”型数量之和不为搭扣板洞数，则报警“视觉算法错误”；若“c”型数量小于场内人数，则报警“loto违规”。7.如权利要求1所述的loto信息化智能化集成安全管理方法，其特征在于：步骤4)中，锁具视觉识别时，先在锁具搭扣板四周以显著颜色线条标记，然后通过识别以上显著颜色线条被分隔的段数，确定锁具数量。8.如权利要求1所述的loto信息化智能化集成安全管理方法，其特征在于：步骤4)中，锁具视觉识别时，搭扣板选用饱和度和亮度较高的a颜色，锁具上方锁钩选用黑色，锁体选用非a颜色，识别并计算搭扣板a颜色区域的凸缺陷的数量，即为锁数。9.如权利要求1所述的loto信息化智能化集成安全管理方法，其特征在于：步骤6)中，设备状态的视觉识别时，是从两个方面进行识别：
①
锁具全部打开或现场锁具数量为0时，设备的运行状态；
②
现场至少有一把锁时，设备的运行状态。

技术总结
本发明涉及一种LOTO信息化智能化集成安全管理方法，包括以下步骤：1)优化高清图片下的yolo人体识别算法，将图片分割成和算法的标准图片分辨率相同的多个区域，并分别进行识别；2)使用OpenCV进行图像拼接，将这些区域图片进行划分、匹配、拼合，使得分割的对象经过多图片的融合后保持完整，避免重复识别；3)增加运动前景的侦测，使用OpenCV进行前景检测；4)锁具数量的视觉识别；5)标签的识别，运用OCR对安全警示词进行视觉识别；6)设备状态的视觉识别，针对现场设备场景进行算法开发，对设备的运行状态进行识别；本发明能够降低传统LOTO运行过程人员主观因素造成的风险，大大地提升了LOTO安全性。LOTO安全性。LOTO安全性。


技术研发人员：俞巍
受保护的技术使用者：上海极标企业管理咨询有限公司
技术研发日：2023.06.02
技术公布日：2023/10/7