一种工作人员异常行为识别检测方法及系统与流程

1.本发明涉及计算机智能学习技术领域，尤其涉及一种工作人员异常行为识别检测方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.当前电力营业场所普遍存在高清摄像头并具备视频监控条件，根据对营业场所服务情况的调查数据显示，目前营业场所中存在工作人员工作时间玩手机、吃东西、抽烟等情况，对公司形象和客户服务体验造成负面影响。传统的视频监控系统是通过人员监控和录像来实现监管，很大程度上限制了营业场所的管理效率与服务水平。
4.而吃东西、抽烟、补妆、玩手机、乱扔垃圾等属于微行为，微行为识别是指在人体发生动作中，人体骨骼变化范围较小的行为。与快速跑跳、摔倒、打架、体育运动等大肢体行为不同，微行为在安防设备中更难以捕获。目前微行为通过智能化手段较难解决，其中最重要的原因如下：
5.①
行为识别方法对于一些复杂的行为，如跑、跳等，具有很好的识别能力。然而，对于一些相对整个画面动作小的行为，如吸烟、咀嚼、吞咽、玩手机等行为，由于其骨骼动作变化相对较小，很容易被忽略或误判。因此，需要采用更加精细的方法来进行识别，如区域注意力机制、姿态估计等。
6.②
对于目标检测，常用的方法是基于监督训练的卷积神经网络方法。这些方法可以对多个物体进行检测，并且具有较高的准确率。然而，对于某些类别，如：食物、化妆品、手机、烟头等，由于种类繁多、形状复杂，且相邻物体之间的边界模糊，很难穷尽所有情况，导致无法用通用的监督训练模型检测。因此，需要采用更加复杂的方法来进行检测。
7.综上所述，现有的行为识别和目标检测的解决方案存在着一些缺陷，尤其是在微行为识别时准确率不高，需要继续探索更加精细的方法，以提高识别和检测的准确率。


技术实现要素：

8.为了解决上述背景技术中存在的技术问题，本发明提供一种工作人员异常行为识别检测方法及系统，其能够高效、便捷、准确的对供电营业厅内工作人员不合规的微动作进行检测。
9.为了实现上述目的，本发明采用如下技术方案：
10.本发明的第一个方面提供一种工作人员异常行为识别检测方法。
11.一种工作人员异常行为识别检测方法，包括：
12.获取工作人员的视频帧空间流图像和多帧图像间的光流图像；
13.基于视频帧空间流图像和多帧图像间的光流图像，进行动作行为识别，得到行为检测框；
14.在行为检测框内进行物品检测，得到物品位置检测框；当物品位置检测框的中心点位于行为检测框内时，认为行为与物品之间存在交互关系；
15.获取微行为区域放大图像，进行微行为识别，得到异常行为识别结果。
16.进一步地，所述基于视频帧空间流图像和多帧图像间的光流图像，进行动作行为识别的过程包括：基于视频帧空间流图像和多帧图像间的光流图像，采用双流模型，进行动作行为识别。
17.更进一步地，所述采用双流模型，进行动作行为识别的过程包括：基于视频帧空间流图像，采用空间流卷积网络，得到空间流预测结果；基于多帧图像间的光流图像，采用时间流卷积网络，得到时间流预测结果；根据空间流预测结果和时间流预测结果的平均值，进行动作行为识别。
18.进一步地，采用yolov5s网络的小目标检测算法进行所述物品检测。
19.更进一步地，在采用yolov5s网络之前先对yolov5s网络进行训练。
20.更进一步地，所述yolov5s网络的训练过程包括：采集样本图像数据，对样本图像数据中的物品进行标注；对标注后的样本图像数据进行数据增强处理，得到增强后的样本图像；采用增强后的样本图像对yolov5s网络进行训练，在训练过程中对yolov5s网络的超参数进行调整，得到已训练的yolov5s网络。
21.进一步地，所述获取微行为区域放大图像，进行微行为识别的过程包括：获取人脸的视频帧空间流图像和多帧图像间的光流图像，采用双流模型进行微行为识别。
22.本发明的第二个方面提供一种工作人员异常行为识别检测系统。
23.一种工作人员异常行为识别检测系统，包括：
24.数据获取模块，其被配置为：获取工作人员的视频帧空间流图像和多帧图像间的光流图像；
25.动作行为识别模块，其被配置为：基于视频帧空间流图像和多帧图像间的光流图像，进行动作行为识别，得到行为检测框；
26.物品检测模块，其被配置为：在行为检测框内进行物品检测，得到物品位置检测框；当物品位置检测框的中心点位于行为检测框内时，认为行为与物品之间存在交互关系；
27.微行为识别模块，其被配置为：获取微行为区域放大图像，进行微行为识别，得到异常行为识别结果。
28.本发明的第三个方面提供一种计算机可读存储介质。
29.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的工作人员异常行为识别检测方法中的步骤。
30.本发明的第四个方面提供一种计算机设备。
31.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的工作人员异常行为识别检测方法中的步骤。
32.与现有技术相比，本发明的有益效果是：
33.本发明基于供电营业厅现有的视频监控从微行为识别的视角对供电营业厅内工作人员的不规范动作进行全方位检测。
34.本发明将单一的目标检测、行为识别算法通过级联的方式逐级判断，提出一种大
动作行为识别、物品目标辅助检测、微区域关键点检测与追踪的级联协同工作的检测方法，为检测吃东西、抽烟、补妆、玩手机等工作人员的异常行为，提供了实时、准确可靠的识别效果，提高了营业场所监测预警能力，提升营销服务环境、服务质量和服务行为。
附图说明
35.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
36.图1是本发明示出的工作人员异常行为识别检测方法的流程图；
37.图2是本发明示出的yolov5s的整体网络结构图。
具体实施方式
38.下面结合附图与实施例对本发明作进一步说明。
39.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
40.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
41.需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。
42.实施例一
43.如图1所示，本实施例提供了一种工作人员异常行为识别检测方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。本实施例中，该方法包括以下步骤：
44.获取工作人员的视频帧空间流图像和多帧图像间的光流图像；
45.基于视频帧空间流图像和多帧图像间的光流图像，进行动作行为识别，得到行为检测框；
46.在行为检测框内进行物品检测，得到物品位置检测框；当物品位置检测框的中心点位于行为检测框内时，认为行为与物品之间存在交互关系；
47.获取微行为区域放大图像，进行微行为识别，得到异常行为识别结果。
48.下面结合附图对本实施例的技术方案进行详细描述：
49.本实施例将单一的目标检测、行为识别算法通过级联的方式逐级判断，从而提高模型的识别准确率以及检出率。模型逐级架构如图1所示，包括如下步骤：
50.步骤1：基于行为识别算法的大动作识别
51.本实施例采用基于骨骼关键点的行为识别算法，检测微行为发生之前的大动作，作为预测。比如：吸烟或者吃零食，手部会有靠近头部行为动作，乱扔垃圾时，胳膊关节的抛扔动作识别等。
52.深度学习算法进行行为识别有多种方法，本发明采用双流模型架构进行识别。双流的核心是提取出了rgb值的正交信息，也就是说当物体运动的时候才会成像，物体不运动的时候不再成像；双流为：时间流和空间流。
53.空间流卷积网络(spatial stream convnet，ssc)，输入为原始视频帧来捕获视觉外观信息，经过一系列卷积、全连接层后接一个softmax输出概率分布值。单个视频帧上操作，有效地表现了静止图像中的动作识别。其自身静态外表是一个很有用的线索，因为一些动作很明显地与特定的目标有联系。
54.时间流卷积网络(temporal stream convnet，tsc)，多帧图像间的光流(optical flow)图像来捕获视频帧之间的运动信息，同样经过一系列卷积、全连接层后接一个softmax输出概率分布值。
55.最后，对两个流的预测得分进行平均，得到最终的预测结果。
56.当在图像中检测到吃东西违规行为动作，模型会返回四个参数(x1,y1,w1,h1)，那么，中心点坐标为：
57.x
ob
＝int(x1+0.5*w1)
58.y
ob
＝int(y1+0.5*h1)
59.其中x1,y1,w1,h1分别表示行为检测框的中心点横轴、纵轴以及检测框的宽和高，函数int(k)表示坐标取不大于k的整数。
60.步骤2：基于目标检测算法的物品辅助识别
61.利用基于深度学习的目标检测算法可以检测到摄像头画面的物品，但检测到物品并不能判定其违规行为，因此物品检测可以作为辅助判断。
62.对行为检测框(x1,y1,w1,h1)内进行物品检测，得到物品位置检测框(x2,y2,w2,h2)，当物品位置检测框中心点位于行为检测框内，则认为行为与物品之间存在交互关系，即进行下一步判断。
63.本发明采用yolov5s的小目标检测算法进行交互物品的检测识别，实现交互物品的快速、准确检测。yolov5s的框架如图2所示，包含：
64.①
input：采用mosaic数据增强方法，不仅使图片能丰富检测目标的背景，而且能够提高小目标的检测效果。
65.②
backbone：骨干网路部分主要采用的是：focus结构、csp结构。
66.③
neck：在网络的颈部，采用的是：fpn+pan结构，进行丰富的特征融合。
67.④
head：采用三个不同的输出head，进行多尺度预测。
68.模型搭建的过程如下：
69.①
数据采集及爬取：对现场数据进行采集或爬取，采集或爬取时要求视频(图片)中必须包括至少一个完整的识别物，单目标物最少采集5000张可用图片；
70.②
数据标注，对物品进行标注，标注要求使用检测方法，标注严格贴着目标物的边界进行，确保目标物完整被标并且标签正确；
71.③
数据增强，使用旋转、缩放、平移、尺度变换、对比度变换、噪声扰动等方法进行数据增强。
72.④
模型预训练：从数据样本中抽样选择1000张图片，进行模型预训练，通过对网络层数、学习率、步长等参数的配置，对模型进行快速的调整，保障人工智能基础的支撑能力；
73.⑤
模型训练：依据预训练模型的超参数，使用全部的数据进行模型训练，根据数据样本的分布情况，对模型超参数进行二次微调，记录每一轮训练后损失函数的值以及每一轮模型后交叉验证的测试集的值，根据测试效果进行多次微调。
74.在图像中检测到感兴趣的物品后，模型会返回四个参数x2,y2,w2,h2，当x2,y2同时满足：
75.x1-0.5*w1《x2《x1+0.5*w1
76.y1-0.5*h1《y2《y1+0.5*h1
77.则认为违规行为主体正在使用该物品，进入下一步判断。
78.步骤3：基于微区域关键点检测算法的微行为识别
79.由于微动作幅度小，无法直接进行行为识别，因此需要基于违规行为的身体关键点检测到微区域的高精度的关键点检测，从而实现微行为的识别。
80.当完成上述步骤1和步骤2，则认为该微行为识别的预警信息达到满足，系统会将信号传递给云台控制系统和焦距控制系统，检测咀嚼、开合、吞吐等微动作。
81.具体地，接收到信号后，云台控制系统自动控制云台，将其移动到人脸处于摄像头画面中间的位置，其转动角度为[k1,k2]，即球机偏移量，其中k1为水平方向的偏移量，k2为竖直方向的偏移量。当云台移动到正确位置之后，焦距控制系统自动控制焦距p，使用微区域关键点检测算法对微行为进行跟踪。即微区域放大后，再次采用第一步中的双流架构模型进行行为识别。如果检测到则将信息推送到后台进行告警，并留存信息；如果t秒内没有检测到微行为，则通过控制系统将云台和焦距恢复到初始状态。
[0082]
云台控制的角度和焦距计算公式为：假设摄像头中心位置为相机的中心位置为x
zb
、y
zb
，那么相机中心点在像素坐标系中的位置的偏移量[u
zob
,v
zob
]
[0083]
表示为：
[0084]uzob
＝f
xb
x
ob
x
zb
+x
zb
[0085]vzob
＝f
ybyobyzb
+y
zb
[0086]
根据需要移动的像素点，计算球机的偏移量[k1,k2]，其中k1为水平方向的偏移量，k2为竖直方向的偏移量：
[0087]
k1＝arctan(u
zob
)，if k1》0左转，k1《0右转
[0088]
k2＝arctan(v
zob
)，if k2》0左转，k2《0右转
[0089]
球机变焦：设置的最小检测像素大小为(w,h)，则变焦倍数p为：
[0090]
p＝min(w/w,h/h)
[0091]
实施例二
[0092]
本实施例提供了一种工作人员异常行为识别检测系统。
[0093]
一种工作人员异常行为识别检测系统，包括：
[0094]
数据获取模块，其被配置为：获取工作人员的视频帧空间流图像和多帧图像间的光流图像；
[0095]
动作行为识别模块，其被配置为：基于视频帧空间流图像和多帧图像间的光流图像，进行动作行为识别，得到行为检测框；
[0096]
物品检测模块，其被配置为：在行为检测框内进行物品检测，得到物品位置检测框；当物品位置检测框的中心点位于行为检测框内时，认为行为与物品之间存在交互关系；
[0097]
微行为识别模块，其被配置为：获取微行为区域放大图像，进行微行为识别，得到异常行为识别结果。
[0098]
此处需要说明的是，上述数据获取模块、动作行为识别模块、物品检测模块和微行为识别模块与实施例一中的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
[0099]
实施例三
[0100]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的工作人员异常行为识别检测方法中的步骤。
[0101]
实施例四
[0102]
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的工作人员异常行为识别检测方法中的步骤。
[0103]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0104]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0105]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0106]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0107]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random accessmemory，ram)等。
[0108]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种工作人员异常行为识别检测方法，其特征在于，包括：获取工作人员的视频帧空间流图像和多帧图像间的光流图像；基于视频帧空间流图像和多帧图像间的光流图像，进行动作行为识别，得到行为检测框；在行为检测框内进行物品检测，得到物品位置检测框；当物品位置检测框的中心点位于行为检测框内时，认为行为与物品之间存在交互关系；获取微行为区域放大图像，进行微行为识别，得到异常行为识别结果。2.根据权利要求1所述的工作人员异常行为识别检测方法，其特征在于，所述基于视频帧空间流图像和多帧图像间的光流图像，进行动作行为识别的过程包括：基于视频帧空间流图像和多帧图像间的光流图像，采用双流模型，进行动作行为识别。3.根据权利要求2所述的工作人员异常行为识别检测方法，其特征在于，所述采用双流模型，进行动作行为识别的过程包括：基于视频帧空间流图像，采用空间流卷积网络，得到空间流预测结果；基于多帧图像间的光流图像，采用时间流卷积网络，得到时间流预测结果；根据空间流预测结果和时间流预测结果的平均值，进行动作行为识别。4.根据权利要求1所述的工作人员异常行为识别检测方法，其特征在于，采用yolov5s网络的小目标检测算法进行所述物品检测。5.根据权利要求4所述的工作人员异常行为识别检测方法，其特征在于，在采用yolov5s网络之前先对yolov5s网络进行训练。6.根据权利要求4所述的工作人员异常行为识别检测方法，其特征在于，所述yolov5s网络的训练过程包括：采集样本图像数据，对样本图像数据中的物品进行标注；对标注后的样本图像数据进行数据增强处理，得到增强后的样本图像；采用增强后的样本图像对yolov5s网络进行训练，在训练过程中对yolov5s网络的超参数进行调整，得到已训练的yolov5s网络。7.根据权利要求1所述的工作人员异常行为识别检测方法，其特征在于，所述获取微行为区域放大图像，进行微行为识别的过程包括：获取人脸的视频帧空间流图像和多帧图像间的光流图像，采用双流模型进行微行为识别。8.一种工作人员异常行为识别检测系统，其特征在于，包括：数据获取模块，其被配置为：获取工作人员的视频帧空间流图像和多帧图像间的光流图像；动作行为识别模块，其被配置为：基于视频帧空间流图像和多帧图像间的光流图像，进行动作行为识别，得到行为检测框；物品检测模块，其被配置为：在行为检测框内进行物品检测，得到物品位置检测框；当物品位置检测框的中心点位于行为检测框内时，认为行为与物品之间存在交互关系；微行为识别模块，其被配置为：获取微行为区域放大图像，进行微行为识别，得到异常行为识别结果。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的工作人员异常行为识别检测方法中的步骤。10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的工
作人员异常行为识别检测方法中的步骤。

技术总结
本发明涉及计算机智能学习技术领域，提供了一种工作人员异常行为识别检测方法及系统。该方法包括，获取工作人员的视频帧空间流图像和多帧图像间的光流图像；基于视频帧空间流图像和多帧图像间的光流图像，进行动作行为识别，得到行为检测框；在行为检测框内进行物品检测，得到物品位置检测框；当物品位置检测框的中心点位于行为检测框内时，认为行为与物品之间存在交互关系；获取微行为区域放大图像，进行微行为识别，得到异常行为识别结果。得到异常行为识别结果。得到异常行为识别结果。


技术研发人员：孟巍 张东宁 刘昳娟 宗振国 郭腾炫 孔鹏 王倩 杜艳
受保护的技术使用者：国网山东省电力公司营销服务中心（计量中心）
技术研发日：2023.07.17
技术公布日：2023/9/14