基于人工智能数据处理和视觉分析的工程监管方法及系统与流程

1.本发明涉及人工智能技术领域，具体涉及一种基于人工智能数据处理和视觉分析的工程监管方法及工程监管系统。


背景技术：

2.工程施工作业常常伴随着危险因素，例如，建筑施工作业或者电力施工作业通常都位于高空，其作业条件和环境相较于地面作业更为复杂，资料显示，高空坠落是施工行业中各类安全事故中最为严重的事故。高处作业环境复杂多样，作业人员在操作过程中需要频繁地移动，在这种情况下，保障作业人员的生命安全非常重要。因此，需要作业人员能够符合作业要求，并正确佩戴安全防护设备。
3.然而，由于部分作业人员的安全意识不足，导致不符合作业要求或者不规范佩戴安全防护设备的情况时有发生，给施工作业造成了较大的安全隐患。
4.以作业人员佩戴安全带为例，高空作业人员所穿戴的安全带通常都配备有双重保险挂环，高空作业以及休息时应将 2 个挂环都挂到作业人员腰部以上的位置，移动时也需要至少1个挂环安全正确佩戴，这有助于减少意外坠落时的冲击距离，是正确的安全带系挂方法。尽管目前已经具备设计良好的高空作业防护设备，但事故依旧偶发，究其原因，一方面是仅靠作业人员的自觉意识很难保证安全带发挥其真正的保护作用。例如，部分作业人员因佩戴不规范或挂钩位置调整不及时而导致出现二保未挂、低挂高用等诸多错误佩戴操作，在意外发生时没能有效发挥安全带的缓冲作用，造成无法挽回的人身伤害。另一方面，实际作业过程因人力、设备条件有限，缺乏有效的监督方式，无法对作业人员施工过程中的操作不当进行及时提醒。
5.现有技术中的工程监管方法通过人工监管，或者采用监控视频对作业过程进行监管，人工监管方式可靠性不高，而监控视频往往是定点监控，需要监控人员通过定点监控获取的视频画面寻找不符合作业要求的人员，从而难以捕捉到危险作业的行为，难以对危险作业人员进行有效提醒，因此，亟需提出一种基于人工智能数据处理和视觉分析的工程监管方法及系统，以自动调节视频监控的方向，提升工程监管过程中对不符合作业要求的人员的识别效果。


技术实现要素：

6.本发明的主要目的是提供一种基于人工智能数据处理和视觉分析的工程监管方法，旨在自动调节视频监控的方向，提升工程监管过程中对不符合作业要求的人员的识别效果。
7.为实现上述目的，本发明提出的一种基于人工智能数据处理和视觉分析的工程监管方法，应用于工程监管系统，所述工程监管系统包括设置于监控范围的多个球机和多个人体红外感应器，所述球机和所述人体红外感应器分别与边缘代理设备通信连接，所述边缘代理设备用于与云端服务器通信连接；所述方法包括：
通过人体红外感应器检测作业人员位置，边缘代理设备确定用于拍摄作业人员位置的球机，控制用于拍摄作业人员位置的球机的拍摄角度调整至朝向作业人员位置，并接收用于拍摄作业人员位置的球机采集的作业图像；将所述作业图像作为输入数据，输入边缘代理设备的第一视觉分析模型。
8.优选地，所述方法，还包括：第一视觉分析模型从所述作业图像中识别不符合作业要求的目标作业人员，并输出目标作业人员及目标作业人员对应的目标作业位置；根据目标作业位置，确定用于监控目标作业人员的目标球机，并发出报警提示；控制目标球机在设定时长内持续采集目标作业人员的实时作业画面，并发送至边缘代理设备；判断边缘代理设备是否与云端服务器建立通信连接；当边缘代理设备未与云端服务器建立通信连接时，边缘代理设备将采集的多张实时作业画面再次作为输入数据输入第一视觉分析模型；当第一视觉分析模型再次输出不符合作业要求的目标作业人员及目标作业位置时，将目标作业人员及目标作业位置确定为临时分析结果，并将临时分析结果发送至管理终端；当第一视觉分析模型的输出结果为空时，解除目标球机对目标作业人员的持续采集指令。
9.优选地，所述判断边缘代理设备是否与云端服务器建立通信连接的步骤之后，还包括：当边缘代理设备与云端服务器建立通信连接时，边缘代理设备将采集的多张实时作业画面发送至云端服务器；云端服务器将各实时作业画面作为输入数据输入第二视觉分析模型；当第二视觉分析模型输出不符合作业要求的目标作业人员及目标作业位置时，将目标作业人员及目标作业位置确定为正式分析结果，并将正式分析结果发送至管理终端；当第二视觉分析模型的输出结果为空时，解除目标球机对目标作业人员的持续采集指令。
10.优选地，所述根据目标作业位置，确定用于监控目标作业人员的目标球机的步骤，包括：根据目标作业位置和各个球机的安装位置，确定用于围合目标作业位置的球机组，其中，球机组包括共同环绕目标作业位置的多个球机；控制球机组的各个球机根据目标作业位置调整拍摄角度至朝向目标作业人员，以形成用于监控目标作业人员的球机组。
11.优选地，所述控制目标球机在设定时长内持续采集目标作业人员的实时作业画面，并发送至边缘代理设备的步骤，包括：通过球机组中各个球机分别采集的实时作业图像，形成目标作业人员的多角度监测图像；边缘代理设备将同一采集时间点的多角度监测图像按照视角不同发送到不同的图层；
对每一图层中不同视角的图像进行缩放变形，以将同一采集时间点的多角度监测图像融合形成同一采集时间点的三维作业画面。
12.优选地，所述方法，还包括：建立存储有多张目标图像的图像库，其中，目标图像包括标准作业状态下的多角度图像；在云端服务器根据标准作业状态下的多角度图像进行简化，得到抽象图形；将抽象图形发送至第一视觉分析模型和第二视觉分析模型，以通过第一视觉分析模型和第二视觉分析模型从输入图像中识别标准作业状态。
13.优选地，边缘代理设备设置处理模块；所述方法，还包括：获取通过人体红外感应器检测的作业人员位置和球机在每个作业人员位置对应的拍摄时段，以形成第一监控数据；处理模块根据第一监控数据，形成作业人员的作业动态记录数据；获取每个目标作业人员、每个目标作业人员对应的目标作业位置和对应的拍摄时段，以形成第二监控数据；处理模块根据第二监控数据，形成不规范作业数据，其中不规范作业数据包括不符合作业要求的人员、作业位置和作业时段。
14.优选地，所述方法，还包括：在监控开始后，边缘代理设备根据人体红外感应器采集的红外数据和球机采集的图像确定作业画面起算时间的开始和结束；边缘代理设备将落入作业画面起算时间的时间区段和未落入作业画面起算时间的时间区段分别标记出来；将落入作业画面起算时间的时间区段内球机采集到的画面，和未落入作业画面起算时间的时间区段内球机采集到的画面，存储至边缘代理设备的不同存储位置。
15.优选地，监控范围内不同位置设置有人体红外感应器，所述通过人体红外感应器检测作业人员位置，边缘代理设备确定用于拍摄作业人员位置的球机的步骤，包括：每一人体红外感应器按照相同的检测周期感应是否存在人体进入探测范围；当存在人体进入探测范围的人体红外感应器时，将对应的探测范围作为模糊位置区域；判断每个模糊位置区域是否与其他模糊位置区域存在交集；当不存在交集时，根据每个模糊位置区域确定作业人员位置，并根据每个模糊位置区域确定用于拍摄作业人员位置的球机；当存在交集时，根据每个模糊位置区域与其他模糊位置区域的相交区域，确定精确位置区域，根据精确位置区域确定用于拍摄作业人员位置的球机；其中，精确位置区域为相交区域的中心；
16.其中，为第f个球机，，f为球机的数量；为第i个作业人员位置对应的球机的集合，，i为作业人员数量；为检测到第i个作业人员的序号为k的人体红外感应器对应的模糊位置区域，为序号为j的人体红外感应器对应的模糊位置区域，，n为人体红外感应器的数量；时，检测到第i个作业人员的序号为k的人体红外感应器对应的作业人员位置的中心为序号为k的人体红外感应器对应的模糊位置区域的中心，此时，为第f个球机到序号为k的人体红外感应器对应的模糊位置区域的中心的距离；时，检测到第i个作业人员的序号为k的人体红外感应器对应的作业人员位置的中心为序号为k的人体红外感应器对应的精确位置区域的中心，此时，为第f个球机到序号为k的人体红外感应器对应的精确位置区域的中心的距离；为第g个球机到序号为k的人体红外感应器对应的模糊位置区域的中心的距离，为第g个球机到序号为k的人体红外感应器对应的精确位置区域的中心的距离，。
17.本发明还提出一种工程监管系统，应用所述基于人工智能数据处理和视觉分析的工程监管方法，所述工程监管系统包括设置于监控范围的多个球机和多个人体红外感应器，所述球机和所述人体红外感应器分别与边缘代理设备通信连接，所述边缘代理设备用于与云端服务器通信连接。
18.本发明的技术方案，具有如下有益效果：在监控范围内设置多个球机和多个人体红外感应器，所述球机和所述人体红外感应器分别与边缘代理设备通信连接，其中，人体红外感应器用于通过红外检测原理检测是否有作业人员进入探测范围，从而，边缘代理设备能够根据人体红外感应器检测的红外数据，确定作业人员的大致的作业位置。确定了作业位置后，边缘代理设备从各个球机中确定用于拍摄作业人员位置的球机，且控制用于拍摄作业人员位置的球机的拍摄角度调整至朝向作业人员位置。从而，本发明中的各个球机并不是随机的在监控范围内随机采集图像，而是针对指定的方向，也就是根据作业人员的作业位置去采集作业图像，并发送到边缘代理设备中进行视觉分析。因此，边缘代理设备接收到的都是具有视觉分析意义的作业情况图像，而不是不存在作业人员的无效图像。从而本发明可以避免现有技术中必须通过监控人员从监控画面中寻找不规范作业人员的弊端，因此，本发明有利于自动调节视频监控的方
向，提升工程监管过程中对不符合作业要求的人员的识别效果。
19.并且，人体红外感应器定位到作业人员位置后，球机对作业人员进行针对性的作业图像采集，以从采集图像中通过视觉分析的方法找出不符合作业要求的目标作业人员，然后通过球机直接定位到目标作业人员，这个过程中可以是一个或者多个球机对目标作业人员进行专门图像采集，有利于对不符合作业要求的目标作业人员进行专门图像采集。
附图说明
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
21.图1为本发明基于人工智能数据处理和视觉分析的工程监管方法一实施例的流程图。
具体实施方式
22.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.请参阅图1，为实现上述目的，本发明的第一实施例提出一种基于人工智能数据处理和视觉分析的工程监管方法，所述工程监管系统包括设置于监控范围的多个球机和多个人体红外感应器，所述球机和所述人体红外感应器分别与边缘代理设备通信连接，所述边缘代理设备用于与云端服务器通信连接；所述方法包括：步骤s10，通过人体红外感应器检测作业人员位置，边缘代理设备确定用于拍摄作业人员位置的球机，控制用于拍摄作业人员位置的球机的拍摄角度调整至朝向作业人员位置，并接收用于拍摄作业人员位置的球机采集的作业图像；步骤s20，将所述作业图像作为输入数据，输入边缘代理设备的第一视觉分析模型。
24.在监控范围内设置多个球机和多个人体红外感应器，所述球机和所述人体红外感应器分别与边缘代理设备通信连接，其中，人体红外感应器用于通过红外检测原理检测是否有作业人员进入探测范围，从而，边缘代理设备能够根据人体红外感应器检测的红外数据，确定作业人员的大致的作业位置。确定了作业位置后，边缘代理设备从各个球机中确定用于拍摄作业人员位置的球机，且控制用于拍摄作业人员位置的球机的拍摄角度调整至朝向作业人员位置。从而，本发明中的各个球机并不是随机的在监控范围内随机采集图像，而是针对指定的方向，也就是根据作业人员的作业位置去采集作业图像，并发送到边缘代理设备中进行视觉分析。因此，边缘代理设备接收到的都是具有视觉分析意义的作业情况图像，而不是不存在作业人员的无效图像。从而本发明可以避免现有技术中必须通过监控人员从监控画面中寻找不规范作业人员的弊端，因此，本发明有利于自动调节视频监控的方向，提升工程监管过程中对不符合作业要求的人员的识别效果。
25.并且，人体红外感应器定位到作业人员位置后，球机对作业人员进行针对性的作业图像采集，以从采集图像中通过视觉分析的方法找出不符合作业要求的目标作业人员，然后通过球机直接定位到目标作业人员，这个过程中可以是一个或者多个球机对目标作业人员进行专门图像采集，有利于对不符合作业要求的目标作业人员进行专门图像采集。
26.进一步的，边缘代理设备虽然能直接与现场的球机和人体红外感应器通信，但是，球机和人体红外感应器实时产生的监控数据量大，并且边缘代理设备还需要存储一部分历史数据，以及对实时数据进行数据处理和视觉分析，而边缘代理设备的处理能力和存储空间是有限的，从而，通过人体红外感应器和球机的结合，避免了对无作业人员的无效监控数据的采集，减少数据总采集量，以通过边缘代理设备有限的存储空间和有限的处理能力，实现实时工程监管，降低必须依靠云端服务器来进行数据处理和视觉分析的依赖程度。本发明中的这种球机拍摄角度的控制，有利于提高球机采集图像的目的性，从而输入边缘代理设备的图像，以及边缘代理设备中需要进行视觉分析的图像，都是包含了作业人员的图像，而不是需要去除的无效图像，这样有助于降低边缘代理设备存储和处理的数据量，提高边缘代理设备的视觉分析准确性。
27.此外，本发明设置边缘代理设备，由于施工工程附近往往并不具有良好的网络信号，从而，球机和人体红外感应器分别采集的数据并不一定能随时发送至云端服务器进行实时的视觉分析和数据处理。但是，边缘代理设备可以布置于监控范围内，并能直接与监控范围内的球机和人体红外感应器通信，所以，边缘代理设备能实时存储球机和人体红外感应器采集的数据，并能对球机和人体红外感应器采集的数据实时进行数据处理和视觉分析。保证了在网络信号不佳的情况下也能实时进行工程监管。
28.本发明中的边缘代理设备作为边缘计算设备，具备兼容设备及云服务、云平台协同管理，智能算法加持以及数据存储等特点，适合用于多种监控场景，例如、电杆安装、变电站、室内站房、智能安防、风电场、智能工厂、智能轨交、车联网、智慧油气等智能边缘场景监控。
29.边缘代理设备具有数据消息的统一代理服务和通信协议的标准化，支持数据加密传输；并且支持复杂的边缘计算，可灵活配置数据分析及视频智能处理等微应用；能够基于容器技术，实现边缘算法微应用和软件的部署、升级及运行管理；同时，具备数据存储、数据回放和深入分析等功能。
30.其中，球机和人体红外感应器分别作为与边缘代理设备通信连接的数据采集终端。
31.边缘代理设备包括数据存储模块、处理模块和视觉分析模块，其中，球机采集的图像和人体红外感应器采集的红外数据，以及处理模块和视觉分析模块的数据处理结果存储至数据存储模块。处理模块用于对球机采集的图像和人体红外感应器采集的红外数据进行视觉分析之外的数据处理，而视觉分析模块用于运行第一视觉分析模型对图像进行视觉分析。
32.其中，在网络状态良好的情况下，边缘代理设备能与云端服务器建立通信连接，利用云端服务器的计算资源获取视觉分析的最终结果，并将边缘代理设备的数据存储模块中存储的数据上传至云端服务器进行云端备份存储，从而可以删除已经云端备份的数据，以释放存储空间。
33.本发明中每个球机可以实现多角度旋转，旋转角度范围可以根据要求设定，例如，旋转角度为0
°
至355
°
。
34.基于本发明的第一实施例，本发明的基于人工智能数据处理和视觉分析的工程监管方法的第二实施例中，所述方法，还包括：步骤s30，第一视觉分析模型从所述作业图像中识别不符合作业要求的目标作业人员，并输出目标作业人员及目标作业人员对应的目标作业位置；步骤s40，根据目标作业位置，确定用于监控目标作业人员的目标球机，并发出报警提示；步骤s50，控制目标球机在设定时长内持续采集目标作业人员的实时作业画面，并发送至边缘代理设备；步骤s60，判断边缘代理设备是否与云端服务器建立通信连接；步骤s70，当边缘代理设备未与云端服务器建立通信连接时，边缘代理设备将采集的多张实时作业画面再次作为输入数据输入第一视觉分析模型；步骤s80，当第一视觉分析模型再次输出不符合作业要求的目标作业人员及目标作业位置时，将目标作业人员及目标作业位置确定为临时分析结果，并将临时分析结果发送至管理终端；步骤s90，当第一视觉分析模型的输出结果为空时，解除目标球机对目标作业人员的持续采集指令。
35.本发明中符合作业要求指的是作业操作符合作业要求和/或作业过程中规范佩戴安全防护设备，安全防护设备可以是安全带、安全帽、防护口罩、手套、绝缘鞋、防护眼镜等，还可以是其他安全防护设备，不以此为限。而本发明中不符合作业要求指的是作业操作不符合作业要求和/或作业过程中未规范佩戴安全防护设备。
36.将针对目标作业人员采集的实时作业画面进行视觉分析，是为了通过对目标人员的专门拍摄和视觉分析，确认目标作业人员到底是否存在不符合作业要求的行为。
37.如果第一视觉分析模型再次输出目标作业人员及目标作业位置（可以与第一次输出的目标作业人员及目标作业位置相同或不同），则形成临时分析结果。可以通过管理终端接收临时分析结果，并进一步的可以通过监控范围内的告警装置进行报警提示。
38.如果第一视觉分析模型的输出结果为空，则表明通过各个球机集中监控采集的图像中并不存在不符合作业要求的行为，可以解除目标球机的持续采集指令。
39.为了能节约边缘代理设备的计算资源和存储空间，可以设定边缘代理设备主动连接云端服务器的连接周期，以使边缘代理设备能够主动请求与云端服务器建立通信连接，从而实现边缘代理设备与云端服务器的自动连接。进一步的，也可以在侦测到用户发出的连接信号时，将边缘代理设备与云端服务器建立通信连接。
40.边缘代理设备的处理模块用于直接接收外部数据，并按照数据类型对数据进行如下处理：当处理模块接收到人体红外感应器发送的红外数据时，将人体红外感应器发送的红外数据根据时间戳存储在数据存储模块的第一存储空间，并对人体红外感应器发送的红外数据进行分析，以确定作业人员位置；当处理模块接收到球机发送的图像时，将球机发送的图像按照数据的时间戳存储
至数据存储模块的第二存储空间，并对需要发送至第一视觉分析模型的图像进行预处理，包括去除图像中的噪声、平滑化、增强对比度和调整颜色平衡中的至少一者。处理模块将完成预处理的数据发送至第一视觉分析模型，第一视觉分析模型从作业图像中提取人像，以识别对应的目标作业人员，并从作业图像中判断是否能提取到符合作业要求的特征图像。
41.若否，则作业人员不符合作业要求，从第一视觉分析模型中输出该不符合作业要求的目标作业人员。同时，由于作业图像是在人体红外感应器检测到作业人员位置之后采集的，因此，可将人体红外感应器检测到的作业人员位置作为目标作业位置，也从第一视觉分析模型中输出。
42.若是，则作业人员符合作业要求，第一视觉分析模型的输出结果为空。
43.基于本发明的第二实施例，本发明的基于人工智能数据处理和视觉分析的工程监管方法的第三实施例中，所述步骤s60之后，还包括：步骤s100，当边缘代理设备与云端服务器建立通信连接时，边缘代理设备将采集的多张实时作业画面发送至云端服务器；步骤s110，云端服务器将各实时作业画面作为输入数据输入第二视觉分析模型；步骤s120，当第二视觉分析模型输出不符合作业要求的目标作业人员及目标作业位置时，将目标作业人员及目标作业位置确定为正式分析结果，并将正式分析结果发送至管理终端；步骤s130，当第二视觉分析模型的输出结果为空时，解除目标球机对目标作业人员的持续采集指令。
44.边缘代理设备侦测是否与云端服务器建立通信连接，并在建立通信连接后，侦测边缘代理设备与云端服务器的通讯是否中断。若中断，则执行步骤s70至步骤s90。
45.第二实施例和第三实施例可以叠加使用。具体的，在边缘代理设备与云端服务器未建立通信连接时，可以先采用第二实施例来进行视觉分析，直至边缘代理设备与云端服务器建立通信连接时，再采用第三实施例来进行视觉分析。
46.基于本发明的第二实施例至第三实施例，本发明的基于人工智能数据处理和视觉分析的工程监管方法的第四实施例中，所述步骤s40中的根据目标作业位置，确定用于监控目标作业人员的目标球机的步骤，包括：步骤s41，根据目标作业位置和各个球机的安装位置，确定用于围合目标作业位置的球机组，其中，球机组包括共同环绕目标作业位置的多个球机；步骤s42，控制球机组的各个球机根据目标作业位置调整拍摄角度至朝向目标作业人员，以形成用于监控目标作业人员的球机组。
47.具体的，监控范围内存在多个球机。在确定了不符合作业要求的目标作业人员位置后，确定用于监控目标作业人员的目标球机，以通过目标球机长时间专门监控目标作业人员，以针对目标作业人员专门采集一段时间的实时作业画面，用于发送至第一视觉分析模型进行视觉分析。
48.其中，目标球机可以包括一个专门的球机，也可以是包含多个球机的球机组。
49.当目标球机为一个专门的球机时，该球机为距离目标作业位置最近的球机，以使采集到的图像更为准确和清晰。
50.当目标球机为包含多个球机的球机组时，该球机组为共同环绕目标作业位置的多
个球机，以对目标作业人员形成多角度环绕拍摄。
51.监控范围内各个作业人员的位置可能分散在不同区域，此时，会有多个作业人员位置，就需要将球机划分成多个球机组，划分成多个球机组的方式为：首先根据人体红外感应器的探测区域内是否存在人体，确定作业人员位置的大致位置范围，然后确定每个球机与大致位置范围边界的距离，将距离小于预设值的球机分入同一球机组。
52.基于本发明的第三实施例或第四实施例，本发明的基于人工智能数据处理和视觉分析的工程监管方法的第五实施例中，所述步骤s50，包括：步骤s51，通过球机组中各个球机分别采集的实时作业图像，形成目标作业人员的多角度监测图像；步骤s52，边缘代理设备将同一采集时间点的多角度监测图像按照视角不同发送到不同的图层；步骤s53，对每一图层中不同视角的图像进行缩放变形，以将同一采集时间点的多角度监测图像融合形成同一采集时间点的三维作业画面。
53.具体的，在同一球机组内，各个球机在作业人员位置外围形成环绕，按照逆时针或者顺时针的环绕顺序，依次串接各个球机，按照串接顺序形成同一球机组内各个球机的编号，根据各个球机的编号，确定同一采集时间点下各个球机拍摄的图像的序号，根据图像的序号排列同一采集时间点下各个球机拍摄的图像的位置，以便于实现多角度监测图像。
54.基于本发明的第三实施例至第五实施例，本发明的基于人工智能数据处理和视觉分析的工程监管方法的第六实施例中，所述方法，还包括：步骤s140，建立存储有多张目标图像的图像库，其中，目标图像包括标准作业状态下的多角度图像；步骤s150，在云端服务器根据标准作业状态下的多角度图像进行简化，得到抽象图形；步骤s160，将抽象图形发送至第一视觉分析模型和第二视觉分析模型，以通过第一视觉分析模型和第二视觉分析模型从输入图像中识别标准作业状态。
55.其中，标准作业状态指的是符合作业要求的状态。图像库中的目标图像可以根据要求在不同的时间点增加或删除，增加或删除目标图像后，第一视觉分析模型和第二视觉分析模型的分析比对标准也会相应调整，从而可以适应监管要求的变化。
56.基于本发明的第二实施例至第六实施例，本发明的基于人工智能数据处理和视觉分析的工程监管方法的第七实施例中，边缘代理设备设置处理模块；所述方法，还包括：步骤s170，获取通过人体红外感应器检测的作业人员位置和球机在每个作业人员位置对应的拍摄时段，以形成第一监控数据；步骤s180，处理模块根据第一监控数据，形成作业人员的作业动态记录数据；步骤s190，获取每个目标作业人员、每个目标作业人员对应的目标作业位置和对应的拍摄时段，以形成第二监控数据；步骤s200，处理模块根据第二监控数据，形成不规范作业数据，其中不规范作业数据包括不符合作业要求的人员、作业位置和作业时段。
57.根据第一监控数据可以确定作业人员的作业位置随时间的变化。根据第二监控数
据可以确定不符合作业要求的人员的作业位置变化，以及对弈不符合作业要求的时段，便于工程监管过程的故障追溯或者事故追溯。
58.基于本发明的第七实施例，本发明的基于人工智能数据处理和视觉分析的工程监管方法的第八实施例中，所述方法，还包括：步骤s210，在监控开始后，边缘代理设备根据人体红外感应器采集的红外数据和球机采集的图像确定作业画面起算时间的开始和结束；步骤s220，边缘代理设备将落入作业画面起算时间的时间区段和未落入作业画面起算时间的时间区段分别标记出来；步骤s230，将落入作业画面起算时间的时间区段内球机采集到的画面，和未落入作业画面起算时间的时间区段内球机采集到的画面，存储至边缘代理设备的不同存储位置。
59.具体的，在监控开始后，边缘代理设备控制球机和人体红外感应器均启动，人体红外感应器按照预设的检测周期采集红外数据，发送给边缘代理设备的处理模块，以使处理模块从红外数据中分析作业人员的作业位置。与此同时，边缘代理设备也控制球机按照预设的方式对监控范围进行监控。其中，红外图像和作业图像均根据采集时间标记有时间戳。
60.容易理解，人体红外感应器和球机启动后，监控范围内并不一定随时都存在有作业人员（例如，作业休息时段作业人员会离开作业范围，但仍需要监控功能，但此时采集的图像并不需要识别作业人员是否不符合作业要求）。因此，处理模块接收人体红外感应器的数据，判断监控范围内是否存在人体；当不存在人体时，处理模块控制球机采集的图像存储至数据存储模块的第二存储空间，且不需要将球机采集的图像发送至第一视觉分析模型；当存在人体时，处理模块根据检测到人体的红外数据的采集时间戳作为球机的作业画面起算时间，且处理模块根据人体红外感应器的红外数据确定人体位置，将球机的拍摄角度调整至人体位置。
61.处理模块将球机将调整至人体位置后采集的图像发送至第一视觉分析模型，第一视觉分析模从图像中将采集到的人物图像与存储的作业人员图像比对，确定人物是否为作业人员；若否，处理模块将记录的作业画面起算时间删除；若是，第一视觉分析模块从图像中识别不符合作业要求的目标作业人员，并输出目标作业人员及目标作业人员对应的目标作业位置。本发明中，将球机落入作业画面起算时间内采集的图像与未落入作业画面起算时间内采集的图像分区存储。例如，将球机落入作业画面起算时间内采集的图像存储至第二存储空间的第一子空间，将球机未落入作业画面起算时间内采集的图像存储至第二存储空间的第二子空间。分区存储的有益效果在于，可以将作业过程中的图像单独提取出来作为作业监控画面单独记录，在施工过程中对不符合作业要求的人员进行识别，而将未作业过程中的图像也单独存储，形成其他的辅助监控记录，也可以降低第一视觉分析模型的数据处理量。
62.进一步的，作业画面起算时间开始后，人体红外感应器按照设定检测周期持续监测，只要人体红外感应器检测到人体，则球机会定位到人体对应的位置，球机也会将采集的图像发送至第一视觉分析模型进行视觉分析。直至球机调整至朝向人体的位置后采集的图像均不能识别出作业人员，或者人体红外感应器采集的红外图像再也没有发现人物图像，则作业画面起算时间结束。
63.进一步的，在处理模块形成球机画面记录表，球机画面记录表中，按照球机启动时间的持续，将落入作业画面起算时间的时间区段和未落入作业画面起算时间的时间区段分别标记出来，以自动形成两种用途的监控时段。该用途也可用于自动记录作业人员的作业时间。
64.具体的，由于边缘代理设备的存储空间有限，若边缘代理设备超过设定的时长仍未与云端服务器建立通信连接，边缘代理设备中存储的数据也长时间未上传至云端服务器备份，则边缘代理设备中存储的数据会越来越多，使得边缘代理设备的剩余存储空间少于设定存储空间。此时，为了使得边缘代理设备仍能提供足够的存储空间以实现监控功能，则可以将未落入作业画面起算时间内采集的图像删除（即将第二存储空间的第二子空间内存储的数据删除），以提高边缘代理设备的剩余可用空间，却不删除有效的作业监控数据。
65.基于本发明的第七实施例，本发明的基于人工智能数据处理和视觉分析的工程监管方法的第九实施例中，监控范围内不同位置设置有人体红外感应器，所述步骤s10中的通过人体红外感应器检测作业人员位置，边缘代理设备确定用于拍摄作业人员位置的球机的步骤，包括：步骤s11，每一人体红外感应器按照相同的检测周期感应是否存在人体进入探测范围；步骤s12，当存在人体进入探测范围的人体红外感应器时，将对应的探测范围作为模糊位置区域；步骤s13，判断每个模糊位置区域是否与其他模糊位置区域存在交集；步骤s14，当不存在交集时，根据每个模糊位置区域确定作业人员位置，并根据每个模糊位置区域确定用于拍摄作业人员位置的球机；步骤s15，当存在交集时，根据每个模糊位置区域与其他模糊位置区域的相交区域，确定精确位置区域，根据精确位置区域确定用于拍摄作业人员位置的球机；其中，精确位置区域为相交区域的中心；
66.其中，为第f个球机，，f为球机的数量；为第i个作业人员位置对应的球机的集合（也就是第i个作业人员对应的球机组），，i为作业人员数量；为检测到第i个作业人员的序号为k的人体红外感应器对应的模糊位置区域，为序号为j的人体红外感应器对应的模糊位置区域，，n为人体红外感应器的数量；
时，检测到第i个作业人员的序号为k的人体红外感应器对应的作业人员位置的中心为序号为k的人体红外感应器对应的模糊位置区域的中心，此时，为第f个球机到序号为k的人体红外感应器对应的模糊位置区域的中心的距离；时，检测到第i个作业人员的序号为k的人体红外感应器对应的作业人员位置的中心为序号为k的人体红外感应器对应的精确位置区域的中心，此时，为第f个球机到序号为k的人体红外感应器对应的精确位置区域的中心的距离；为第g个球机到序号为k的人体红外感应器对应的模糊位置区域的中心的距离，为第g个球机到序号为k的人体红外感应器对应的精确位置区域的中心的距离，。
67.因此，用于拍摄作业人员位置的球机主要是通过各个球机与作业人员位置的距离远近来确定。
68.本发明中，通过人体红外感应器检测作业人员位置，边缘代理设备确定用于拍摄作业人员位置的球机，从而在边缘代理设备中建立映射关系表，以通过映射关系表体现作业人员位置与拍摄作业人员位置的球机的对应关系。
69.从而，若通过作业图像识别到不符合作业要求的目标作业人员之后，目标作业人员对应的目标作业位置是根据拍摄作业图像的球机来查询映射关系表确定。
70.此外，为实现上述目的，本发明还提出一种工程监管系统，应用上述基于人工智能数据处理和视觉分析的工程监管方法，所述工程监管系统包括设置于监控范围的多个球机和多个人体红外感应器，所述球机和所述人体红外感应器分别与边缘代理设备通信连接，所述边缘代理设备用于与云端服务器通信连接。
71.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

技术特征：
1.一种基于人工智能数据处理和视觉分析的工程监管方法，其特征在于，应用于工程监管系统，所述工程监管系统包括设置于监控范围的多个球机和多个人体红外感应器，所述球机和所述人体红外感应器分别与边缘代理设备通信连接，所述边缘代理设备用于与云端服务器通信连接；所述方法包括：通过人体红外感应器检测作业人员位置，边缘代理设备确定用于拍摄作业人员位置的球机，控制用于拍摄作业人员位置的球机的拍摄角度调整至朝向作业人员位置，并接收用于拍摄作业人员位置的球机采集的作业图像；将所述作业图像作为输入数据，输入边缘代理设备的第一视觉分析模型；第一视觉分析模型从所述作业图像中识别不符合作业要求的目标作业人员，并输出目标作业人员及目标作业人员对应的目标作业位置；根据目标作业位置，确定用于监控目标作业人员的目标球机，并发出报警提示；控制目标球机在设定时长内持续采集目标作业人员的实时作业画面，并发送至边缘代理设备；判断边缘代理设备是否与云端服务器建立通信连接；当边缘代理设备未与云端服务器建立通信连接时，边缘代理设备将采集的多张实时作业画面再次作为输入数据输入第一视觉分析模型；当第一视觉分析模型再次输出不符合作业要求的目标作业人员及目标作业位置时，将目标作业人员及目标作业位置确定为临时分析结果，并将临时分析结果发送至管理终端；当第一视觉分析模型的输出结果为空时，解除目标球机对目标作业人员的持续采集指令。2.根据权利要求1所述的基于人工智能数据处理和视觉分析的工程监管方法，其特征在于，所述判断边缘代理设备是否与云端服务器建立通信连接的步骤之后，还包括：当边缘代理设备与云端服务器建立通信连接时，边缘代理设备将采集的多张实时作业画面发送至云端服务器；云端服务器将各实时作业画面作为输入数据输入第二视觉分析模型；当第二视觉分析模型输出不符合作业要求的目标作业人员及目标作业位置时，将目标作业人员及目标作业位置确定为正式分析结果，并将正式分析结果发送至管理终端；当第二视觉分析模型的输出结果为空时，解除目标球机对目标作业人员的持续采集指令。3.根据权利要求1所述的基于人工智能数据处理和视觉分析的工程监管方法，其特征在于，所述根据目标作业位置，确定用于监控目标作业人员的目标球机的步骤，包括：根据目标作业位置和各个球机的安装位置，确定用于围合目标作业位置的球机组，其中，球机组包括共同环绕目标作业位置的多个球机；控制球机组的各个球机根据目标作业位置调整拍摄角度至朝向目标作业人员，以形成用于监控目标作业人员的球机组。4.根据权利要求3所述的基于人工智能数据处理和视觉分析的工程监管方法，其特征在于，所述控制目标球机在设定时长内持续采集目标作业人员的实时作业画面，并发送至边缘代理设备的步骤，包括：通过球机组中各个球机分别采集的实时作业图像，形成目标作业人员的多角度监测图
像；边缘代理设备将同一采集时间点的多角度监测图像按照视角不同发送到不同的图层；对每一图层中不同视角的图像进行缩放变形，以将同一采集时间点的多角度监测图像融合形成同一采集时间点的三维作业画面。5.根据权利要求2所述的基于人工智能数据处理和视觉分析的工程监管方法，其特征在于，所述方法，还包括：建立存储有多张目标图像的图像库，其中，目标图像包括标准作业状态下的多角度图像；在云端服务器根据标准作业状态下的多角度图像进行简化，得到抽象图形；将抽象图形发送至第一视觉分析模型和第二视觉分析模型，以通过第一视觉分析模型和第二视觉分析模型从输入图像中识别标准作业状态。6.根据权利要求1所述的基于人工智能数据处理和视觉分析的工程监管方法，其特征在于，边缘代理设备设置处理模块；所述方法，还包括：获取通过人体红外感应器检测的作业人员位置和球机在每个作业人员位置对应的拍摄时段，以形成第一监控数据；处理模块根据第一监控数据，形成作业人员的作业动态记录数据；获取每个目标作业人员、每个目标作业人员对应的目标作业位置和对应的拍摄时段，以形成第二监控数据；处理模块根据第二监控数据，形成不规范作业数据，其中不规范作业数据包括不符合作业要求的人员、作业位置和作业时段。7.根据权利要求6所述的基于人工智能数据处理和视觉分析的工程监管方法，其特征在于，所述方法，还包括：在监控开始后，边缘代理设备根据人体红外感应器采集的红外数据和球机采集的图像确定作业画面起算时间的开始和结束；边缘代理设备将落入作业画面起算时间的时间区段和未落入作业画面起算时间的时间区段分别标记出来；将落入作业画面起算时间的时间区段内球机采集到的画面，和未落入作业画面起算时间的时间区段内球机采集到的画面，存储至边缘代理设备的不同存储位置。8.根据权利要求1至7中任一项所述的基于人工智能数据处理和视觉分析的工程监管方法，其特征在于，监控范围内不同位置设置有人体红外感应器，所述通过人体红外感应器检测作业人员位置，边缘代理设备确定用于拍摄作业人员位置的球机的步骤，包括：每一人体红外感应器按照相同的检测周期感应是否存在人体进入探测范围；当存在人体进入探测范围的人体红外感应器时，将对应的探测范围作为模糊位置区域；判断每个模糊位置区域是否与其他模糊位置区域存在交集；当不存在交集时，根据每个模糊位置区域确定作业人员位置，并根据每个模糊位置区域确定用于拍摄作业人员位置的球机；当存在交集时，根据每个模糊位置区域与其他模糊位置区域的相交区域，确定精确位置区域，根据精确位置区域确定用于拍摄作业人员位置的球机；其中，精确位置区域为相交
区域的中心；，其中，为第f个球机，，f为球机的数量；为第i个作业人员位置对应的球机的集合，，i为作业人员数量；为检测到第i个作业人员的序号为k的人体红外感应器对应的模糊位置区域，为序号为j的人体红外感应器对应的模糊位置区域，，n为人体红外感应器的数量；时，检测到第i个作业人员的序号为k的人体红外感应器对应的作业人员位置的中心为序号为k的人体红外感应器对应的模糊位置区域的中心，此时，为第f个球机到序号为k的人体红外感应器对应的模糊位置区域的中心的距离；时，检测到第i个作业人员的序号为k的人体红外感应器对应的作业人员位置的中心为序号为k的人体红外感应器对应的精确位置区域的中心，此时，为第f个球机到序号为k的人体红外感应器对应的精确位置区域的中心的距离；为第g个球机到序号为k的人体红外感应器对应的模糊位置区域的中心的距离，为第g个球机到序号为k的人体红外感应器对应的精确位置区域的中心的距离，。9.一种工程监管系统，其特征在于，应用如权利要求1至8中任一项所述的基于人工智能数据处理和视觉分析的工程监管方法，所述工程监管系统包括设置于监控范围的多个球机和多个人体红外感应器，所述球机和所述人体红外感应器分别与边缘代理设备通信连接，所述边缘代理设备用于与云端服务器通信连接。

技术总结
本发明公开一种基于人工智能数据处理和视觉分析的工程监管方法及系统，工程监管系统包括设置于监控范围的多个球机和多个人体红外感应器，球机和人体红外感应器分别与边缘代理设备通信连接，边缘代理设备用于与云端服务器通信连接；方法包括：通过人体红外感应器检测作业人员位置，边缘代理设备确定用于拍摄作业人员位置的球机，控制用于拍摄作业人员位置的球机的拍摄角度调整至朝向作业人员位置，并接收用于拍摄作业人员位置的球机采集的作业图像；将作业图像作为输入数据，输入边缘代理设备的第一视觉分析模型。本发明有利于自动调节视频监控的方向，提升监管过程中对不符合作业要求的人员的识别效果。业要求的人员的识别效果。业要求的人员的识别效果。


技术研发人员：向帅 鲁靖 杨蜜 刘涛 周前峰 刘剑喜
受保护的技术使用者：湖南博信创远信息科技有限公司
技术研发日：2023.06.12
技术公布日：2023/7/17