一种基于视频和位置定位的电力作业场所联动预警方法与流程

1.本发明属于电力领域，涉及电力作业场所的安全管控以及危险行为的预警技术，具体涉及一种基于视频和位置定位的电力作业场所联动预警方法。


背景技术：

2.电力作业场所往往存在着安全隐患，对电力场所进行安全管控以及危险行为的预警可以显著减少事故发生，减少设备与人员损失。目前，作业安全管控常用的技术手段包括：电子围栏定位、图像视频违章识别等。
3.由于电力作业现场风险点动态变化、特征庞杂，在实际应用时定位与视频两种手段各有优劣，主要体现在以下方面：(1)单一定位系统作业管控方法对作业人员安全状态的反映不够细致，通常只能对定位对象与预设区域之间的位置关系进行分析判断，无法实现对人员具体动作行为的细致识别；(2)单一图像视频系统作业管控方法不能判断作业人员的位置信息，且在作业人员位置变化时，监控视野易产生盲区死角，在多人作业场景下难以全员兼顾。


技术实现要素：

4.发明目的：为了克服现有技术中存在的不足，提供一种基于视频和位置定位的电力作业场所联动预警方法，其通过“视频+定位”联动方式互相取长补短：通过定位系统全局感知“粗粒度”作业位置风险状态，引导视频系统聚焦捕捉“细粒度”行为动作信息并进行风险主动预警，从而形成一种智能联动的现场安全管控和风险预警方案。
5.技术方案：为实现上述目的，本发明提供一种基于视频和位置定位的电力作业场所联动预警方法，包括如下步骤：
6.s1：通过定位系统获取到作业人员的位置定位信息；
7.s2：通过网络摄像头采集到作业人员的图像数据，并且对图像数据进行预处理；
8.s3：根据位置定位信息进行定位违章检测，对违章行为进行定位违章报警；
9.s4：根据预处理后的图像数据进行视频违章检测，对违章行为进行视频违章报警；
10.s5：根据位置定位信息和预处理后的图像数据进行视频与定位联动违章检测，对违章行为进行联动违章报警；
11.s6：显示步骤s3～s5的报警信息。
12.进一步地，所述步骤s1中定位系统通过采集人员佩戴的可穿戴式定位终端数据，并通过解算得到目前作业人员的位置，位置为二维信息，并且配合在作业场所建立的坐标系使用，最终获取的位置定位信息是相对于坐标系的相对位置信息。
13.进一步地，所述步骤s1中定位系统在室外采用北斗卫星定位方式采集终端数据，在室内等存在信号遮挡与屏蔽的场所采用近超声定位方式采集终端数据。
14.进一步地，所述步骤s2中预处理包括滤波、均衡化等处理方式，实现提高图像质量。
15.进一步地，所述步骤s3中根据位置定位信息进行摄像头视野调度，具体方法为：根据定位系统反馈的人员位置，以及预先明确的摄像头位置分布以及各摄像头视野可达区域范围进行视野优化，根据作业人员数量分布，对区域增减摄像头视野分配，在作业人员较多的区域增加摄像头视野分配，作业人员较少的区域减少摄像头视野分配，来减少由于人员遮挡造成的漏检现象。
16.进一步地，所述步骤s3中定位违章检测具体为：根据作业场所中的禁入区域，利用定位信息设置电子围栏，越过电子围栏则触发违章报警。
17.进一步地，所述步骤s4中视频违章检测具体为：对采集得到的图像数据，使用ssd目标检测算法检测作业人员、安全帽、工作服、围栏、开关等目标对象，通过openpose姿态检测算法检测作业人员的行动，检测人员的违章行为，例如：未佩戴安全帽、未穿工作服、翻越围栏等行为，并在检测到违章行为后进行报警。
18.进一步地，所述步骤s4中使用ssd目标检测算法检测目标对象的具体过程为：
19.a1：图像预处理：将输入图像统一到规定输入尺寸；
20.a2：特征提取：使用预训练好的卷积神经网络对输入图像进行特征提取，得到多个尺寸不同的特征图；
21.a3：候选框生成：在每个尺度的特征图上，使用滑动窗口的方式生成一系列候选框，每个候选框表示图像上可能存在目标的区域；
22.a4：候选框分类：对生成的每个候选框进行分类，判断该框内是否包含目标；
23.a5：边界框回归：对被分类为目标的候选框进行边界框回归，进一步修正候选框位置；
24.a6：非极大值抑制：对经过边界框回归的候选框进行非极大值抑制，去除重叠度较高的框，仅保留置信度最高的框作为最终的目标检测结果；
25.非极大值抑制的公式表示如下：
[0026][0027]
公式中si代表了每个边框的得分，m为当前得分最高的框，bi为剩余框的某一个，nt为设定的阈值。
[0028]
进一步地，所述步骤s4中通过openpose姿态检测算法检测作业人员的行动的具体过程为：
[0029]
b1：图像预处理：将输入图像统一到规定输入尺寸；
[0030]
b2：特征提取：使用预训练好的卷积神经网络对输入图像进行特征提取，得到最终的特征图；
[0031]
b3：预测关节点与关节点亲和度：将特征图输入到关节点置信图预测分支与关节点亲和度预测分支中；
[0032]
b4：关节匹配：统计两两关节点的匹配亲和度，对检测得到的关节点进行匹配；
[0033]
b5：优化多人联结结果：利用匈牙利算法求得相连关键点的最优匹配，得到最终的检测结果。
[0034][0035]
业人员的位置，进而判断作业人员当前操作的间隔，与应操作间隔进行比较，判断作业人员是否在错误的间隔，同时通过视频图像信息判别作业人员动作，判断作业人员是否正在进行操作，如果人员在错误间隔并且正在进行操作，则进行报警。
[0036]
该联动预警检测主要针对走错间隔开关操作，通过定位系统检测人员是否在正确的间隔中，通过视频中姿态检测算法判断人员是否操作开关，如果人员在错误间隔中操作开关，则系统进行违章报警。
[0037]
本发明方案提供一种联动预警系统，整个联动预警系统由软件系统与算法实现两部分构成，软件系统主要包括作业场景的显示、场景内作业人员定位的显示、各区域人员数量以及预警信息的显示。作业场景显示部分需要对整个应用场地进行建模，建模方式采用激光扫描建模方式实现，建立电力作业场所的精细化三维地图，在软件端予以显示，并根据人员的定位在系统中予以显示。
[0038]
有益效果：本发明与现有技术相比，具备如下优点：
[0039]
1、能够利用定位系统获取的人员位置信息，对摄像头视野进行最优化调度，可以重点关注作业人员较多的区域，调用多角度的摄像头视野，减少由于设备或人员遮挡造成违章行为的漏检问题，可以实现更准确的违章行为识别。
[0040]
2、利用定位与视频联动的预警方式，可以检测一些单一视频或单一定位预警系统不能识别的违规操作，如走错间隔操作开关行为，同时调用定位与图像信息，获取人员所在间隔是否正确以及是否有操作开关的动作，进行违章行为的判别，可以扩充可识别违章行为的类型，实现单一系统不能做到的识别。
附图说明
[0041]
图1为本发明方法的流程图；
[0042]
图2为ssd目标检测算法检测目标对象的流程图；
[0043]
图3为openpose姿态检测算法检测作业人员行动的流程图。
具体实施方式
[0044]
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本技术所附权利要求所限定的范围。
[0045]
本发明提供一种联动预警系统，整个联动预警系统由软件系统与算法实现两部分构成，软件系统主要包括作业场景的显示、场景内作业人员定位的显示、各区域人员数量以及预警信息的显示。作业场景显示部分需要对整个应用场地进行建模，建模方式采用激光扫描建模方式实现，建立电力作业场所的精细化三维地图，在软件端予以显示，并根据人员的定位在系统中予以显示。
[0046]
基于上述联动预警系统，本发明提供一种基于视频和位置定位的电力作业场所联
动预警方法，如图1所示，包括如下步骤：
[0047]
s1：通过定位系统获取到作业人员的位置定位信息：
[0048]
定位系统通过采集人员佩戴的可穿戴式定位终端数据，并通过解算得到目前作业人员的位置，位置为二维信息，并且配合在作业场所建立的坐标系使用，最终获取的位置定位信息是相对于坐标系的相对位置信息；
[0049]
定位系统在室外采用北斗卫星定位方式采集终端数据，在室内等存在信号遮挡与屏蔽的场所采用近超声定位方式采集终端数据；
[0050]
s2：通过网络摄像头采集到作业人员的图像数据，并且对图像数据进行预处理，预处理包括滤波、均衡化等处理方式，实现提高图像质量；
[0051]
s3：根据位置定位信息进行定位违章检测，对违章行为进行定位违章报警：
[0052]
根据位置定位信息进行摄像头视野调度，具体方法为：根据定位系统反馈的人员位置，以及预先明确的摄像头位置分布以及各摄像头视野可达区域范围进行视野优化，根据作业人员数量分布，对区域增减摄像头视野分配，在作业人员较多的区域增加摄像头视野分配，作业人员较少的区域减少摄像头视野分配，来减少由于人员遮挡造成的漏检现象。
[0053]
定位违章检测具体为：根据作业场所中的禁入区域，利用定位信息设置电子围栏，越过电子围栏则触发违章报警；
[0054]
s4：根据预处理后的图像数据进行视频违章检测，对违章行为进行视频违章报警：
[0055]
视频违章检测具体为：对采集得到的图像数据，使用ssd目标检测算法检测作业人员、安全帽、工作服、围栏、开关等目标对象，通过openpose姿态检测算法检测作业人员的行动，检测人员的违章行为，例如：未佩戴安全帽、未穿工作服、翻越围栏等行为，并在检测到违章行为后进行报警。
[0056]
如图2所示，使用ssd目标检测算法检测目标对象的具体过程为：
[0057]
a1：图像预处理：将输入图像统一到规定输入尺寸；
[0058]
a2：特征提取：使用预训练好的卷积神经网络对输入图像进行特征提取，得到多个尺寸不同的特征图；
[0059]
a3：候选框生成：在每个尺度的特征图上，使用滑动窗口的方式生成一系列候选框，每个候选框表示图像上可能存在目标的区域；
[0060]
a4：候选框分类：对生成的每个候选框进行分类，判断该框内是否包含目标；
[0061]
a5：边界框回归：对被分类为目标的候选框进行边界框回归，进一步修正候选框位置；
[0062]
a6：非极大值抑制：对经过边界框回归的候选框进行非极大值抑制，去除重叠度较高的框，仅保留置信度最高的框作为最终的目标检测结果；
[0063]
非极大值抑制的公式表示如下：
[0064][0065]
公式中si代表了每个边框的得分，m为当前得分最高的框，bi为剩余框的某一个，nt为设定的阈值。
[0066]
如图3所示，通过openpose姿态检测算法检测作业人员的行动的具体过程为：
[0067]
b1：图像预处理：将输入图像统一到规定输入尺寸；
[0068]
b2：特征提取：使用预训练好的卷积神经网络对输入图像进行特征提取，得到最终的特征图；
[0069]
b3：预测关节点与关节点亲和度：将特征图输入到关节点置信图预测分支与关节点亲和度预测分支中；
[0070]
b4：关节匹配：统计两两关节点的匹配亲和度，对检测得到的关节点进行匹配；
[0071]
b5：优化多人联结结果：利用匈牙利算法求得相连关键点的最优匹配，得到最终的检测结果；
[0072]
匈牙利算法的公式表示如下
[0073][0074]
s5：根据位置定位信息和预处理后的图像数据进行视频与定位联动违章检测，对违章行为进行联动违章报警：
[0075]
视频与定位联动违章检测具体为：通过定位系统获取作业人员的位置，进而判断作业人员当前操作的间隔，与应操作间隔进行比较，判断作业人员是否在错误的间隔，同时通过视频图像信息判别作业人员动作，判断作业人员是否正在进行操作，如果人员在错误间隔并且正在进行操作，则进行报警。
[0076]
该联动预警检测主要针对走错间隔开关操作，通过定位系统检测人员是否在正确的间隔中，通过视频中姿态检测算法判断人员是否操作开关，如果人员在错误间隔中操作开关，则系统进行违章报警。
[0077]
s6：通过联动预警系统显示步骤s3～s5的报警信息。
[0078]
本实施例还提供一种基于视频和位置定位的电力作业场所联动预警系统，该系统包括网络接口、存储器和处理器；其中，网络接口，用于在与其他外部网元之间进行收发信息过程中，实现信号的接收和发送；存储器，用于存储能够在所述处理器上运行的计算机程序指令；处理器，用于在运行计算机程序指令时，执行上述共识方法的步骤。
[0079]
本实施例还提供一种计算机存储介质，该计算机存储介质存储有计算机程序，在处理器执行所述计算机程序时可实现以上所描述的方法。所述计算机可读介质可以被认为是有形的且非暂时性的。非暂时性有形计算机可读介质的非限制性示例包括非易失性存储器电路(例如闪存电路、可擦除可编程只读存储器电路或掩膜只读存储器电路)、易失性存储器电路(例如静态随机存取存储器电路或动态随机存取存储器电路)、磁存储介质(例如模拟或数字磁带或硬盘驱动器)和光存储介质(例如cd、dvd或蓝光光盘)等。计算机程序包括存储在至少一个非暂时性有形计算机可读介质上的处理器可执行指令。计算机程序还可以包括或依赖于存储的数据。计算机程序可以包括与专用计算机的硬件交互的基本输入/输出系统(bios)、与专用计算机的特定设备交互的设备驱动程序、一个或多个操作系统、用户应用程序、后台服务、后台应用程序等。
[0080]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0081]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0082]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0083]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

技术特征：
1.一种基于视频和位置定位的电力作业场所联动预警方法，其特征在于，包括如下步骤：s1：通过定位系统获取到作业人员的位置定位信息；s2：通过网络摄像头采集到作业人员的图像数据，并且对图像数据进行预处理；s3：根据位置定位信息进行定位违章检测，对违章行为进行定位违章报警；s4：根据预处理后的图像数据进行视频违章检测，对违章行为进行视频违章报警；s5：根据位置定位信息和预处理后的图像数据进行视频与定位联动违章检测，对违章行为进行联动违章报警；s6：显示步骤s3～s5的报警信息。2.根据权利要求1所述的一种基于视频和位置定位的电力作业场所联动预警方法，其特征在于，所述步骤s1中定位系统通过采集人员佩戴的可穿戴式定位终端数据，并通过解算得到目前作业人员的位置，位置为二维信息，并且配合在作业场所建立的坐标系使用，最终获取的位置定位信息是相对于坐标系的相对位置信息。3.根据权利要求2所述的一种基于视频和位置定位的电力作业场所联动预警方法，其特征在于，所述步骤s1中定位系统在室外采用北斗卫星定位方式采集终端数据，在室内存在信号遮挡与屏蔽的场所采用近超声定位方式采集终端数据。4.根据权利要求1所述的一种基于视频和位置定位的电力作业场所联动预警方法，其特征在于，所述步骤s2中预处理包括滤波、均衡化处理。5.根据权利要求1所述的一种基于视频和位置定位的电力作业场所联动预警方法，其特征在于，所述步骤s3中根据位置定位信息进行摄像头视野调度，具体方法为：根据定位系统反馈的人员位置，以及预先明确的摄像头位置分布以及各摄像头视野可达区域范围进行视野优化，根据作业人员数量分布，对区域增减摄像头视野分配。6.根据权利要求1所述的一种基于视频和位置定位的电力作业场所联动预警方法，其特征在于，所述步骤s3中定位违章检测具体为：根据作业场所中的禁入区域，利用定位信息设置电子围栏，越过电子围栏则触发违章报警。7.根据权利要求1所述的一种基于视频和位置定位的电力作业场所联动预警方法，其特征在于，所述步骤s4中视频违章检测具体为：对采集得到的图像数据，使用ssd目标检测算法检测目标对象，通过open pose姿态检测算法检测作业人员的行动，检测人员的违章行为，并在检测到违章行为后进行报警。8.根据权利要求7所述的一种基于视频和位置定位的电力作业场所联动预警方法，其特征在于，所述步骤s4中使用ssd目标检测算法检测目标对象的具体过程为：a1：图像预处理：将输入图像统一到规定输入尺寸；a2：特征提取：使用预训练好的卷积神经网络对输入图像进行特征提取，得到多个尺寸不同的特征图；a3：候选框生成：在每个尺度的特征图上，使用滑动窗口的方式生成一系列候选框，每个候选框表示图像上可能存在目标的区域；a4：候选框分类：对生成的每个候选框进行分类，判断该框内是否包含目标；a5：边界框回归：对被分类为目标的候选框进行边界框回归，进一步修正候选框位置；a6：非极大值抑制：对经过边界框回归的候选框进行非极大值抑制，去除重叠度较高的
框，仅保留置信度最高的框作为最终的目标检测结果；非极大值抑制的公式表示如下：公式中si代表了每个边框的得分，m为当前得分最高的框，bi为剩余框的某一个，nt为设定的阈值。9.根据权利要求7所述的一种基于视频和位置定位的电力作业场所联动预警方法，其特征在于，所述步骤s4中通过open pose姿态检测算法检测作业人员的行动的具体过程为：b1：图像预处理：将输入图像统一到规定输入尺寸；b2：特征提取：使用预训练好的卷积神经网络对输入图像进行特征提取，得到最终的特征图；b3：预测关节点与关节点亲和度：将特征图输入到关节点置信图预测分支与关节点亲和度预测分支中；b4：关节匹配：统计两两关节点的匹配亲和度，对检测得到的关节点进行匹配；b5：优化多人联结结果：利用匈牙利算法求得相连关键点的最优匹配，得到最终的检测结果。10.根据权利要求9所述的一种基于视频和位置定位的电力作业场所联动预警方法，其特征在于，所述步骤s5中视频与定位联动违章检测具体为：通过定位系统获取作业人员的位置，进而判断作业人员当前操作的间隔，与应操作间隔进行比较，判断作业人员是否在错误的间隔，同时通过视频图像信息判别作业人员动作，判断作业人员是否正在进行操作，如果人员在错误间隔并且正在进行操作，则进行报警。

技术总结
本发明公开了一种基于视频和位置定位的电力作业场所联动预警方法，包括如下步骤：通过定位系统获取到作业人员的位置定位信息；通过网络摄像头采集到作业人员的图像数据，并且对图像数据进行预处理；根据位置定位信息进行定位违章检测和报警；根据预处理后的图像数据进行视频违章检测和报警；根据位置定位信息和预处理后的图像数据进行视频与定位联动违章检测，对违章行为进行联动违章报警；显示报警信息。本发明通过“视频+定位”联动方式互相取长补短：通过定位系统全局感知“粗粒度”作业位置风险状态，引导视频系统聚焦捕捉“细粒度”行为动作信息并进行风险主动预警，从而形成一种智能联动的现场安全管控和风险预警方案。智能联动的现场安全管控和风险预警方案。智能联动的现场安全管控和风险预警方案。


技术研发人员：尹康涌 梁伟 黄浩声 黄哲忱 朱睿 张昱 林元棣
受保护的技术使用者：国网江苏省电力有限公司电力科学研究院
技术研发日：2023.05.15
技术公布日：2023/8/9