一种基建现场人员不安全行为监控识别系统的制作方法

1.本发明涉及安全监控技术领域，尤其涉及一种基建现场人员不安全行为监控识别系统。


背景技术：

2.在大型电力基建现场等复杂环境下，人员安全问题一直是一个难题。由于工作环境复杂，人员操作和行为不规范等原因，不安全行为经常发生。
3.现有的安全监测方案主要有传感器监测和视频监测。传感器监测技术可以通过安装传感器等设备对环境进行实时监测，例如可以监测气体浓度、温度、湿度等参数，及时发现潜在的安全隐患。但是，传感器监测技术需要对现场环境进行比较全面的布置，并且需要进行数据处理和分析，成本较高，同时可能存在数据传输和安全等方面的问题。智能穿戴设备是一种能够实时监测人员状态的设备，例如可以监测人员的心率、体温、姿态等参数，及时发现人员的异常情况并进行预警。但是，智能穿戴设备的应用范围有限，对于某些不安全行为的检测可能存在局限性。
4.基于图像识别的视频监测方案具有成本较低，应用范围广的优点，但是，在一些复杂环境下如背景复杂、光线暗淡等的情况下，采集到的人物视频分辨率较低，识别效果受到影响，导致识别准确度降低。


技术实现要素：

5.有鉴于此，本发明实施例提供了一种基建现场人员不安全行为监控识别系统，以解决复杂环境下采集到的人物视频分辨率较低，识别效果受到影响，导致识别准确度降低的技术问题。
6.本发明提出的技术方案如下：
7.本发明实施例提供了一种基建现场人员不安全行为监控识别系统，包括：视频采集模块，包括控制单元、若干定焦摄像头、若干广角摄像头和若干可旋转的长焦摄像头，所述定焦摄像头设置在基建现场的第一预设区域，所述广角摄像头和所述长焦摄像头设置在基建现场的第二预设区域的相同位置，所述定焦摄像头用于采集所述第一预设区域的视频数据，所述广角摄像头和所述长焦摄像头用于采集所述第二预设区域的视频数据，其中，所述第一预设区域相比第二预设区域具有更密集的摄像头安装位，所述控制单元用于控制所述定焦摄像头采集视频数据，以及根据所述广角摄像头采集的视频数据获取目标人员的位置，并根据目标人员的位置控制所述长焦摄像头旋转并对准目标人员后采集视频数据；图像识别模块，用于根据所述长焦摄像头采集的视频数据或所述定焦摄像头采集的视频数据获取包含目标人员的图像，根据包含目标人员的图像对目标人员是否存在不安全行为进行检测；应用模块，用于接收所述图像识别模块发送的检测结果并根据所述检测结果输出响应信号。
8.可选地，所述控制单元包括：定焦管理单元，用于控制所述定焦摄像头采集视频数
据；广角管理单元，用于采用目标检测模型对所述广角摄像头采集的视频数据进行识别，获取目标人员的位置，并采用多目标识别模型确定每个目标人员的编号；长焦管理单元，用于对每个编号的目标人员，依次根据对应的目标人员的位置控制所述长焦摄像头旋转并对准目标人员后采集视频数据。
9.可选地，所述图像识别模块包括：目标跟踪单元，用于对所述定焦摄像头或所述长焦摄像头采集的视频数据进行识别，获取目标人员的位置并确定每个目标人员的编号，根据每个编号的目标人员的位置获得全部包含目标人员的图像；行为识别单元，用于根据预设检测模型依次对每个包含目标人员的图像进行检测，分别判断每个编号的目标人员是否存在不安全行为。
10.可选地，所述目标跟踪单元包括：目标检测单元，用于采用目标检测模型对所述定焦摄像头或所述长焦摄像头采集的视频数据进行识别，获得目标人员的位置和特征；多目标识别单元，用于采用多目标识别模型根据目标人员的特征确定每个目标人员的编号；裁剪单元，用于根据每个编号的目标人员的位置对所述定焦摄像头或所述长焦摄像头采集的视频数据进行裁剪，获得全部包含目标人员的图像。
11.可选地，所述目标跟踪单元部署在边缘计算设备中，所述行为识别单元部署在服务器中。
12.可选地，所述预设检测模型为目标属性模型、目标检测模型或动作检测模型。
13.可选地，所述图像识别模块还包括：跨镜头跟踪模块，用于对若干所述长焦摄像头采集的视频数据或若干所述定焦摄像头采集的视频数据进行跨境头跟踪和比较，获取跨镜头识别结果。
14.可选地，所述控制单元还包括预处理模块，所述预处理模块用于对所述广角摄像头、所述定焦摄像头和所述长焦摄像头采集的视频数据进行视频预处理。
15.可选地，所述广角摄像头和所述长焦摄像头为枪机球机组合摄像头。
16.从以上技术方案可以看出，本发明实施例具有以下优点：
17.本发明实施例提供的一种基建现场人员不安全行为监控识别系统，通过在基建现场安装视频采集模块来采集视频数据，视频采集模块包括控制单元、若干定焦摄像头、若干广角摄像头和若干可旋转的长焦摄像头，所述定焦摄像头设置在基建现场的第一预设区域，所述广角摄像头和所述长焦摄像头设置在基建现场的第二预设区域的相同位置，所述定焦摄像头用于采集所述第一预设区域的视频数据，所述广角摄像头和所述长焦摄像头用于采集所述第二预设区域的视频数据，其中，所述第一预设区域相比第二预设区域具有更密集的摄像头安装位，所述控制单元用于控制所述定焦摄像头采集视频数据，以及根据所述广角摄像头采集的视频数据获取目标人员的位置，并根据目标人员的位置控制所述长焦摄像头旋转并对准目标人员后采集视频数据。采集视频数据后，图像识别模块根据所述长焦摄像头采集的视频数据或所述定焦摄像头采集的视频数据获取目标人员并对目标人员是否存在不安全行为进行检测。最后通过应用模块接收所述图像识别模块发送的检测结果并根据所述检测结果输出响应信号。本发明实施例在具有密集摄像头安装位的第一预设区域，通过定焦摄像头获取清晰的视频数据，而在摄像头安装位较少的第二预设区域，也能通过广角摄像头和长焦摄像头搭配使用采集更清晰的图像，由此，在基建现场这种复杂环境下，能够获取各个区域的高清晰度的视频数据，从而提高不安全行为识别的准确度。
附图说明
18.为了更清楚地表达说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为本发明实施例中基建现场人员不安全行为监控识别系统的结构示意图。
具体实施方式
20.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.本发明实施例提供了一种基建现场人员不安全行为监控识别系统，适用于大型电离基建现场或工程施工基建现场等的人员不安全行为监控，如图1所示，该系统包括：
22.视频采集模块，包括控制单元、若干定焦摄像头、若干广角摄像头和若干可旋转的长焦摄像头，定焦摄像头设置在基建现场的第一预设区域，广角摄像头和长焦摄像头设置在基建现场的第二预设区域的相同位置，定焦摄像头用于采集第一预设区域的视频数据，广角摄像头和长焦摄像头用于采集第二预设区域的视频数据，其中，第一预设区域相比第二预设区域具有更密集的摄像头安装位，控制单元用于控制定焦摄像头采集视频数据，以及根据广角摄像头采集的视频数据获取目标人员的位置，并根据目标人员的位置控制长焦摄像头旋转并对准目标人员后采集视频数据。
23.具体地，基建现场的实际环境较为复杂，在一些区域，即第一预设区域，由于摄像头安装位充足，通过合理密集的部署成本较低的定焦摄像头，获得该区域所有工程现场的清晰的视频数据。相邻定焦摄像头的部署距离通过实验数据得到，例如，测量不同视频数据质量和不同分辨率下图像识别模块识别是否存在不安全行为的准确度，根据所需的准确度选取合适的视频数据质量和分辨率，然后根据选取的视频数据质量和分辨率选择定焦摄像头的部署距离，使得定焦摄像头获取的视频数据能够满足选取的视频数据质量和分辨率要求。在另一些区域，即第二预设区域，由于基建现场的实际环境无法密集部署定焦摄像头，在这种情况下，通过广角摄像头和长焦摄像头的组合获取的清晰的视频数据。
24.控制单元可集成在定焦摄像头、广角摄像头或长焦摄像头上，对于安装在第一预设区域内的定焦摄像头，控制单元只需正常控制其采集视频数据；对于安装在第二预设区域内的广角摄像头和长焦摄像头，则需要先获取广角摄像头采集的视频数据，根据广角摄像头采集的视频数据获取目标人员的位置，并根据目标人员的位置控制长焦摄像头旋转对准目标人员后采集视频数据，从而获取更清晰的视频数据。通过部署控制单元、若干定焦摄像头、若干广角摄像头和若干可旋转的长焦摄像头，解决基建现场条件复杂的情况下，获取的视频数据质量不佳，摄像头识别率较低的问题。
25.图像识别模块，用于根据长焦摄像头采集的视频数据或定焦摄像头采集的视频数据获取包含目标人员的图像，根据包含目标人员的图像对目标人员是否存在不安全行为进行检测。
26.具体地，图像识别模块用于实现对定焦摄像头、广角摄像头和长焦摄像头的控制以及不安全行为检测。定焦摄像头、广角摄像头和长焦摄像头通过预设的摄像头管理程序将不同厂商的设备抽象成统一的摄像头接口，使图像识别模块无需关注摄像头细节，通过摄像头接口实现视频拉取、视频数据获取、摄像头控制等功能。图像识别模块内置目标识别算法、行为识别算法和目标分类算法等检测不安全行为的算法，示例性地，通过目标识别算法检测采集的视频数据中的目标人员是否佩戴安全帽，从而判断目标人员是否存在不安全行为。图像识别模块具有两种识别流程。一种是对于第一预设区域内的定焦摄像头采集的视频数据的识别流程，图像识别模块通过识别单元对定焦摄像头采集的视频数据进行识别，获取包含目标人员的图像，然后根据包含目标人员的图像对目标人员是否存在不安全行为进行检测。另一种是对于第二预设区域内的长焦摄像头采集的视频数据的识别流程，首先通过控制单元根据目标人员的位置控制长焦摄像头旋转并对准目标人员后采集视频数据，然后图像识别模块再对长焦摄像头采集的视频数据进行目标人员识别和安全行为检测。
27.应用模块，用于接收图像识别模块发送的检测结果并根据检测结果输出响应信号。
28.具体地，应用模块面向用户，应用模块可以为手机、平板电脑等智能设备，其上安装有应用程序。应用模块根据检测结果输出响应信号，例如，当检测到不安全行为时，发出警报提示。同时，在检测到不安全行为后，将不安全行为的历史记录保存在数据库中，为今后的安全管理提供参考。
29.本发明实施例提供的一种基建现场人员不安全行为监控识别系统，通过在基建现场安装视频采集模块来采集视频数据，视频采集模块包括控制单元、若干定焦摄像头、若干广角摄像头和若干可旋转的长焦摄像头，定焦摄像头设置在基建现场的第一预设区域，广角摄像头和长焦摄像头设置在基建现场的第二预设区域的相同位置，定焦摄像头用于采集第一预设区域的视频数据，广角摄像头和长焦摄像头用于采集第二预设区域的视频数据，其中，第一预设区域相比第二预设区域具有更密集的摄像头安装位，控制单元用于控制定焦摄像头采集视频数据，以及根据广角摄像头采集的视频数据获取目标人员的位置，并根据目标人员的位置控制长焦摄像头旋转并对准目标人员后采集视频数据。采集视频数据后，图像识别模块根据长焦摄像头采集的视频数据或定焦摄像头采集的视频数据获取目标人员并对目标人员是否存在不安全行为进行检测。最后通过应用模块接收图像识别模块发送的检测结果并根据检测结果输出响应信号。本发明实施例在具有密集摄像头安装位的第一预设区域，通过定焦摄像头获取清晰的视频数据，而在摄像头安装位较少的第二预设区域，也能通过广角摄像头和长焦摄像头搭配使用采集更清晰的图像，由此，在基建现场这种复杂环境下，能够获取各个区域的高清晰度的视频数据，从而提高不安全行为识别的准确度。
30.在第一预设区域，本发明实施例部署密集的定焦摄像头，可以获取整个工程现场的更高质量的监控视频，从而捕捉更多的监控信息，并提高监控画面的清晰度和稳定性。根据实验数据，本发明相较于现有摄像头部署方式识别精确度有较大提高。
31.在第二预设区域，本发明实施例可以主动控制长焦摄像头旋转对准目标人员从而获取较远距离目标的高清画面，从而提高精确度并提升自动化程度。相比于传统的固定焦
距摄像头，本发明实施例可以根据需要主动调整长焦摄像头的方位，从而获取更为清晰、准确的画面。
32.在一实施例中，控制单元包括：定焦管理单元，用于控制定焦摄像头采集视频数据；广角管理单元，用于采用目标检测模型对广角摄像头采集的视频数据进行识别，获取目标人员的位置，并采用多目标识别模型确定每个目标人员的编号；长焦管理单元，用于对每个编号的目标人员，依次根据对应的目标人员的位置控制长焦摄像头旋转并对准目标人员后采集视频数据。
33.具体地，目标检测模型为ppyoloe模型，ppyoloe模型是一种基于深度学习的目标检测和跟踪模型，它使用paddle深度学习框架进行训练和推理，该模型可以同时检测多个目标，并跟踪它们在视频中的运动。多目标识别采用fairmot算法，并用于确定不同目标人员之间的身份，从而为不同的目标人员确定编号，例如检测到6个不同的目标人员，则为这6个目标人员分别标注1至6号。在得到人员编号后，采用预设的轮询方式，例如按照编号从小到大进行轮询，对于每一个编号的目标人员，判断其在广角摄像头采集的视频画面中的位置，例如，将广角摄像头采集的视频画面按照九宫格分为9个区域，每个区域对应一个旋转角度，若1号目标人员处于第一个区域，则按照该区域对应的旋转角度控制长焦摄像头旋转并对准目标人员后采集视频数据，从而获取清晰的视频数据。当一个编号的目标人员拍摄完后再对下一个编号的人员进行拍摄，直至全部目标人员都拍摄完毕后进入下一轮拍摄。
34.在一实施例中，图像识别模块包括：
35.目标跟踪单元，用于对定焦摄像头或长焦摄像头采集的视频数据进行识别，获取目标人员的位置并确定每个目标人员的编号，根据每个编号的目标人员的位置获得全部包含目标人员的图像。具体地，目标跟踪单元包括：目标检测单元，用于采用目标检测模型对定焦摄像头或长焦摄像头采集的视频数据进行识别，获得目标人员的位置和特征；多目标识别单元，用于采用多目标识别模型根据目标人员的特征确定每个目标人员的编号；裁剪单元，用于根据每个编号的目标人员的位置对定焦摄像头或长焦摄像头采集的视频数据进行裁剪，获得全部包含目标人员的图像。目标检测模型识别出每一帧视频中目标人员的特征和位置，并返回目标框，然后多目标识别模型根据目标检测模型中识别到的目标框的特征和位置，给出它的id，即人员编号，每个目标人员在不同帧获得相同的id，从而实现跟踪效果。通过裁剪单元裁剪长焦摄像头采集的视频数据，对包含目标人员的视频帧进行截图，得到目标人员的图像。
36.行为识别单元，用于根据预设检测模型依次对每个包含目标人员的图像进行检测，分别判断每个编号的目标人员是否存在不安全行为。具体地，预设检测模型为目标属性模型、目标检测模型或动作检测模型。示例性地，预设检测模型为安全帽识别模型，安全帽识别模型是一种基于深度学习的目标属性识别模型，用于检测在建筑工地等场景中是否佩戴了安全帽。该模型可以使用paddle等深度学习框架进行训练和推理。通过安全帽识别模型判断每个编号的目标人员所在的图像是否存在安全帽，若存在安全帽则说明不存在不安全行为，反之则说明存在不安全行为。本发明实施例支持市场上的多目标识别、目标跟踪模型等人工智能算法，并且算法部署在图像识别模块中，具有良好的扩展性和兼容性，方便支持各种算法，同时，应用模块与算法细节解耦，即应用模块不依赖具体算法的实现细节，这使得本发明的算法更新更为方便快捷。
37.在一实施例中，目标跟踪单元部署在边缘计算设备中，行为识别单元部署在服务器中。具体地，各个单元的部署比训练某个模型更为复杂，需要考虑多种具体因素，如算力需求、硬件支持、可维护性、便捷性等。针对多路视频带来的算力压力，目标跟踪单元和行为识别单元可以进行跨平台、分布式部署，即可以在不同的平台如windows、linux、嵌入式等平台和不同的硬件中部署。具体地，目标跟踪单元中应用了目标检测模型和多目标识别模型，这两个模型更新速度较慢，并且目前已有成熟的目标跟踪模型和多目标识别模型，因此可以将目标跟踪单元部署在摄像头附近的边缘计算设备中，充分发挥硬件潜力，从而减轻服务器端压力。而应用了更复杂、个性化、快速更新的预设检测模型的行为识别单元则统一部署在服务端，便于统一管理。同时，在多目标识别模型识别目标人员后，只需将视频中包含目标人员的图像推送至服务端，分辨率相对于高清视频大幅降低，大大减轻了网络压力。
38.本发明实施例中的目标跟踪单元和行为识别单元的部署方式可以适应工程现场的复杂情况，并减少多路摄像头带来的计算压力，从而提高了系统的运行效率和稳定性。
39.在一实施例中，图像识别模块还包括：跨镜头跟踪模块，用于对若干长焦摄像头采集的视频数据或若干定焦摄像头采集的视频数据进行跨境头跟踪和比较，获取跨镜头识别结果。跨镜头跟踪模块在单个摄像头识别结果的基础上，将识别结果进行跨镜头跟踪和比较，获取跨镜头识别结果。跨镜头识别结果相对于单镜头识别结果更加精准，但是进行全局的比较会是o(n2)时间复杂度的算法，因此需要限定跟踪数量。
40.在一实施例中，控制单元还包括预处理模块，预处理模块用于对广角摄像头、定焦摄像头和长焦摄像头采集的视频数据进行视频预处理。具体地，视频预处理包括视频断线重连等，通过对广角摄像头、定焦摄像头和长焦摄像头采集的视频数据进行视频预处理，避免视频中断。
41.在一实施例中，广角摄像头和长焦摄像头为枪机球机组合摄像头。枪机球机组合摄像头中，一个摄像头为枪机摄像头，另一个摄像头为球机摄像头。示例性地，广角摄像头为球机摄像头，长焦摄像头为枪机摄像头，通过采用枪机球机组合摄像头作为广角摄像头和长焦摄像头，可以直线两个摄像头只需要一个摄像头安装位置，并且调节长焦摄像头的旋转角度也较为方便。
42.以上，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种基建现场人员不安全行为监控识别系统，其特征在于，包括：视频采集模块，包括控制单元、若干定焦摄像头、若干广角摄像头和若干可旋转的长焦摄像头，所述定焦摄像头设置在基建现场的第一预设区域，所述广角摄像头和所述长焦摄像头设置在基建现场的第二预设区域的相同位置，所述定焦摄像头用于采集所述第一预设区域的视频数据，所述广角摄像头和所述长焦摄像头用于采集所述第二预设区域的视频数据，其中，所述第一预设区域相比第二预设区域具有更密集的摄像头安装位，所述控制单元用于控制所述定焦摄像头采集视频数据，以及根据所述广角摄像头采集的视频数据获取目标人员的位置，并根据目标人员的位置控制所述长焦摄像头旋转并对准目标人员后采集视频数据；图像识别模块，用于根据所述长焦摄像头采集的视频数据或所述定焦摄像头采集的视频数据获取包含目标人员的图像，根据包含目标人员的图像对目标人员是否存在不安全行为进行检测；应用模块，用于接收所述图像识别模块发送的检测结果并根据所述检测结果输出响应信号。2.根据权利要求1所述的基建现场人员不安全行为监控识别系统，其特征在于，所述控制单元包括：定焦管理单元，用于控制所述定焦摄像头采集视频数据；广角管理单元，用于采用目标检测模型对所述广角摄像头采集的视频数据进行识别，获取目标人员的位置，并采用多目标识别模型确定每个目标人员的编号；长焦管理单元，用于对每个编号的目标人员，依次根据对应的目标人员的位置控制所述长焦摄像头旋转并对准目标人员后采集视频数据。3.根据权利要求1所述的基建现场人员不安全行为监控识别系统，其特征在于，所述图像识别模块包括：目标跟踪单元，用于对所述定焦摄像头或所述长焦摄像头采集的视频数据进行识别，获取目标人员的位置并确定每个目标人员的编号，根据每个编号的目标人员的位置获得全部包含目标人员的图像；行为识别单元，用于根据预设检测模型依次对每个包含目标人员的图像进行检测，分别判断每个编号的目标人员是否存在不安全行为。4.根据权利要求3所述的基建现场人员不安全行为监控识别系统，其特征在于，所述目标跟踪单元包括：目标检测单元，用于采用目标检测模型对所述定焦摄像头或所述长焦摄像头采集的视频数据进行识别，获得目标人员的位置和特征；多目标识别单元，用于采用多目标识别模型根据目标人员的特征确定每个目标人员的编号；裁剪单元，用于根据每个编号的目标人员的位置对所述定焦摄像头或所述长焦摄像头采集的视频数据进行裁剪，获得全部包含目标人员的图像。5.根据权利要求4所述的基建现场人员不安全行为监控识别系统，其特征在于，所述目标跟踪单元部署在边缘计算设备中，所述行为识别单元部署在服务器中。6.根据权利要求3所述的基建现场人员不安全行为监控识别系统，其特征在于，所述预
设检测模型为目标属性模型、目标检测模型或动作检测模型。7.根据权利要求3所述的基建现场人员不安全行为监控识别系统，其特征在于，所述图像识别模块还包括：跨镜头跟踪模块，用于对若干所述长焦摄像头采集的视频数据或若干所述定焦摄像头采集的视频数据进行跨境头跟踪和比较，获取跨镜头识别结果。8.根据权利要求2所述的基建现场人员不安全行为监控识别系统，其特征在于，所述控制单元还包括预处理模块，所述预处理模块用于对所述广角摄像头、所述定焦摄像头和所述长焦摄像头采集的视频数据进行视频预处理。9.根据权利要求1所述的基建现场人员不安全行为监控识别系统，其特征在于，所述广角摄像头和所述长焦摄像头为枪机球机组合摄像头。

技术总结
本发明公开了一种基建现场人员不安全行为监控识别系统，包括：视频采集模块，包括控制单元、若干定焦摄像头、若干广角摄像头和若干可旋转的长焦摄像头，定焦摄像头设置在基建现场的第一预设区域，广角摄像头和长焦摄像头设置在基建现场的第二预设区域的相同位置；图像识别模块，用于根据长焦摄像头采集的视频数据或定焦摄像头采集的视频数据获取目标人员并对目标人员是否存在不安全行为进行检测；应用模块，用于接收图像识别模块发送的检测结果并根据检测结果输出响应信号。本发明实施例在基建现场这种复杂环境下，能够获取各个区域的高清晰度的视频数据，从而提高不安全行为识别的准确度。准确度。准确度。


技术研发人员：李云涛 程齐 张学滨 赵元良 俞洋 王真龙 毛攀峰 张晓燕 朱天民 赵利兴 孙玮
受保护的技术使用者：中国华电科工集团有限公司
技术研发日：2023.05.25
技术公布日：2023/8/14