基于物联网的智慧工地监控方法及系统与流程

1.本技术涉及物联网技术领域，具体而言，涉及一种基于物联网的智慧工地监控方法及系统。


背景技术：

2.智慧工地是指运用信息化手段，建立互联协同、智能生产、科学管理的施工项目信息化生态圈，并将物联网采集到的监控数据进行数据挖掘分析，提供异常行为趋势预测及专家预案，实现工程施工可视化智能管理，以提高工程管理信息化水平，从而逐步实现绿色建造和生态建造。因此，需要施工工地的异常事件进行及时管控，以保证施工工地的安全性以及施工工程质量及进度。然而，相关技术中，在进行智慧工地监控视频流的异常事件标签的监测过程中，智慧工地监控视频流的异常标签分析监控视频流在不同工地类别之间的衍生效率较慢。


技术实现要素：

3.有鉴于此，本技术的目的在于提供一种基于物联网的智慧工地监控方法及系统。
4.依据本技术的第一方面，提供一种基于物联网的智慧工地监控方法，应用于基于物联网的智慧工地监控系统，所述方法包括：
5.利用第一工地异常分析模型获取智慧工地监控视频流的第一工地行为异常特征，所述智慧工地监控视频流为第一工地类别的监控视频流，所述第一工地异常分析模型依据所述第一工地类别的第一模板监控视频流进行模型迭代更新获得，其中，所述智慧工地监控视频流为通过现场工地中布置的物联网监控设备进行监测生成的；
6.获取目标工地异常事件标签的目标异常知识特征，所述目标异常知识特征被用于表达所述目标工地异常事件标签，且所述目标异常知识特征包括所述目标工地异常事件标签下第二工地类别的监控视频流的行为异常特征；
7.利用关联特征分析模型生成的所述目标异常知识特征与第二工地行为异常特征的异常关联信息，确定所述第一工地行为异常特征和所述目标异常知识特征的关联特征向量，生成关联特征向量分布，所述第二工地行为异常特征由第二工地异常分析模型对第二模板监控视频流进行提取获得的，所述第二模板监控视频流为第二工地类别的监控视频流，所述第二工地异常分析模型与第一工地异常分析模型的模型收敛控制进程相同；
8.基于所述关联特征向量分布，确定所述智慧工地监控视频流的工地异常事件标签。
9.在第一方面的一种可能的实施方式中，所述利用第一工地异常分析模型获取智慧工地监控视频流的第一工地行为异常特征前，所述方法还包括：
10.利用满足模型收敛条件的第二工地异常分析模型，对所述第二模板监控视频流提取第二工地行为异常特征，所述第二模板监控视频流具有模板标注数据，所述模板标注数据包括所述第二模板监控视频流的先验工地异常事件标签，所述先验工地异常事件标签包
括所述目标工地异常事件标签；
11.获取先验工地异常事件标签对应的异常知识特征，所述异常知识特征被用于表达所述先验工地异常事件标签，且所述异常知识特征包括所述先验工地异常事件标签下第二工地类别的监控视频流的行为异常特征；
12.依据所述第二工地行为异常特征和所述异常知识特征，获取模板关联特征向量，所述模板关联特征向量包括第二工地行为异常特征和所述异常知识特征，所述模板关联特征向量的训练标注数据包括：表征所述先验工地异常事件标签与先验工地异常事件标签是否关联的标注数据；
13.利用初始化模型权重参数的关联特征分析模型生成的异常知识特征与第二工地行为异常特征的异常关联信息，确定所述模板关联特征向量中的所述第二工地行为异常特征和异常知识特征的关联特征向量；
14.依据关联特征向量分布和所述训练标注数据，迭代更新所述关联特征分析模型的模型权重信息，直到所述关联特征分析模型符合模型收敛要求，所述模型权重信息包括所述异常关联信息对应的权重信息。
15.在第一方面的一种可能的实施方式中，所述利用满足模型收敛条件的第二工地异常分析模型，对所述第二模板监控视频流提取第二工地行为异常特征前，所述方法还包括：
16.获取第一模板监控视频流，利用初始化模型权重参数的第一工地异常分析模型将第一模板监控视频流投影到目标特征匹配位图中，生成第一估计工地行为异常特征；
17.依据第一估计工地行为异常特征，生成所述第一工地异常分析模型的模型收敛控制进程对应的第一进程输出数据，依据所述第一进程输出数据迭代更新所述第一工地异常分析模型的模型权重信息，生成满足模型收敛条件的第一工地异常分析模型；
18.获取第二模板监控视频流，利用初始化模型权重参数的第二工地异常分析模型将第二模板监控视频流投影到所述目标特征匹配位图中，生成第二估计工地行为异常特征；
19.依据所述第二估计工地行为异常特征，生成所述第二工地异常分析模型的模型收敛控制进程对应的第二进程输出数据，依据所述第二进程输出数据迭代更新所述第二工地异常分析模型的模型权重信息，生成满足模型收敛条件的第二工地异常分析模型。
20.在第一方面的一种可能的实施方式中，所述获取先验工地异常事件标签对应的异常知识特征，包括：
21.将先验工地异常事件标签转化成规则化表达方式的初始特征表征向量；
22.对第二模板监控视频流进行特征增强，生成增强监控视频流，利用所述第二工地异常分析模型，提取所述增强监控视频流的第三工地行为异常特征；
23.获取估计学习特征，所述估计学习特征包括所述第三工地行为异常特征和所述初始特征表征向量，所述估计学习特征的估计学习标签数据包括所述第二模板监控视频流中所增强的特征片段；
24.利用异常知识抽取模型，对所述第三工地行为异常特征和所述初始特征表征向量进行投影，依据投影结果确定所述增强监控视频流中所增强的特征片段，生成估计增强特征片段；
25.基于所述估计增强特征片段和所述估计学习标签数据，迭代更新所述异常知识抽取模型的模型权重信息，生成迭代更新后的异常知识抽取模型；
26.利用所述迭代更新后的异常知识抽取模型对所述先验工地异常事件标签的初始特征表征向量进行投影，生成所述先验工地异常事件标签的异常知识特征。
27.在第一方面的一种可能的实施方式中，所述异常知识抽取模型包括投影函数和估计函数，所述投影函数具有投影参数；所述获取估计学习特征，包括：
28.对所述第三工地行为异常特征和所述初始特征表征向量进行融合，生成融合表征向量，以所述融合表征向量作为估计学习特征；
29.所述利用异常知识抽取模型，对所述第三工地行为异常特征和所述初始特征表征向量进行投影，依据投影结果确定所述增强监控视频流中所增强的特征片段，生成估计增强特征片段，包括：
30.利用所述投影函数的投影参数对所述融合表征向量进行投影，生成投影表征向量；
31.利用所述估计函数对所述投影表征向量进行分析，确定所述增强监控视频流中所增强的特征片段，生成估计增强特征片段；
32.所述利用所述迭代更新后的异常知识抽取模型对所述先验工地异常事件标签的初始特征表征向量进行投影，生成所述先验工地异常事件标签的异常知识特征，包括：
33.基于所述初始特征表征向量在所述融合表征向量中的节点，从所述投影参数中获取所述初始特征表征向量的投影目标参数；
34.依据所述投影目标参数对所述初始特征表征向量进行投影，生成先验工地异常事件标签的异常知识特征。
35.在第一方面的一种可能的实施方式中，所述目标工地异常事件标签的数量为多个；
36.所述利用关联特征分析模型生成的所述目标异常知识特征与第二工地行为异常特征的异常关联信息，确定所述第一工地行为异常特征和所述目标异常知识特征的关联特征向量，生成关联特征向量分布，包括：
37.利用关联特征分析模型生成的，各目标工地异常事件标签对应的目标异常知识特征与第二工地行为异常特征的异常关联信息，确定所述第一工地行为异常特征和各目标异常知识特征的关联特征向量，生成各目标工地异常事件标签下所述智慧工地监控视频流的关联置信度，所述关联置信度表征所述智慧工地监控视频流的工地异常事件标签，为目标工地异常事件标签的概率值；
38.所述基于所述关联特征向量分布，确定所述智慧工地监控视频流的工地异常事件标签，包括：
39.确定关联置信度最大的目标工地异常事件标签，为所述智慧工地监控视频流的工地异常事件标签。
40.在第一方面的一种可能的实施方式中，所述关联特征分析模型包括至少一个预测网络，一个预测网络对应一种工地异常事件标签；
41.所述利用关联特征分析模型生成的，各目标工地异常事件标签对应的目标异常知识特征与第二工地行为异常特征的异常关联信息，确定所述第一工地行为异常特征和各目标异常知识特征的关联特征向量，生成各目标工地异常事件标签下所述智慧工地监控视频流的关联置信度，包括：
42.将所述第一工地行为异常特征和目标异常知识特征，加载至与目标工地异常事件标签对应的预测网络；
43.利用各预测网络提供的目标异常知识特征与第二工地行为异常特征的异常关联信息，确定所述目标异常知识特征与第一工地行为异常特征的关联特征向量，生成各目标工地异常事件标签下所述智慧工地监控视频流的关联置信度。
44.依据本技术的第二方面，提供一种服务器，所述服务器包括包括机器可读存储介质及处理器，所述机器可读存储介质存储有机器可执行指令，所述处理器在执行所述机器可执行指令的情况下，该服务器实现前述的基于物联网的智慧工地监控方法。
45.依据本技术的第三方面，提供提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，当所述计算机可执行指令被执行的情况下，实现前述的基于物联网的智慧工地监控方法。
46.依据上述各个方面，本技术利用第一工地异常分析模型获取智慧工地监控视频流的第一工地行为异常特征，智慧工地监控视频流为第一工地类别的监控视频流，第一工地异常分析模型依据第一工地类别的第一模板监控视频流进行模型迭代更新获得；获取目标工地异常事件标签的目标异常知识特征，目标异常知识特征被用于表达目标工地异常事件标签，且目标异常知识特征包括目标工地异常事件标签下第二工地类别的监控视频流的行为异常特征；利用关联特征分析模型生成的目标异常知识特征与第二工地行为异常特征的异常关联信息，确定第一工地行为异常特征和目标异常知识特征的关联特征向量，生成关联特征向量分布，第二工地行为异常特征由第二工地异常分析模型对第二模板监控视频流进行提取获得的，第二模板监控视频流为第二工地类别的监控视频流，第二工地异常分析模型与第一工地异常分析模型的模型收敛控制进程相同；基于关联特征向量分布，确定智慧工地监控视频流的工地异常事件标签，其中第二工地异常分析模型与第一工地异常分析模型的模型收敛控制进程相同，可以使得第一工地类别和第二工地类别下的工地行为异常特征之间存在一种线性映射关系，而目标异常知识特征中包括了目标工地异常事件标签下第二工地类别的监控视频流的行为异常特征，使得关联特征分析模型生成的异常关联信息可以精准表达目标工地异常事件标签的目标异常知识特征与第二工地行为异常特征的关系，所以在第一、二工地行为异常特征的相关性的条件下，利用关联特征分析模型生成的异常关联信息，可精确确定出第一工地行为异常特征和目标异常知识特征的关联特征向量，由此智慧工地监控视频流与目标工地异常事件标签的关联信息，由此不需要限制第一工地类别的第一模板监控视频流具有训练标签数据，即可实现对第一工地类别的智慧工地监控视频流的工地异常事件标签确定，可以提高智慧工地监控视频流的异常标签分析在不同工地类别的监控视频流之间的衍生效率。
附图说明
47.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以依据这些附图获得其它相关的附图。
48.图1本技术实施例所提供的基于物联网的智慧工地监控方法的流程示意图；
49.图2示出了本技术实施例所提供的用于实现上述的基于物联网的智慧工地监控方法的服务器的组件结构示意图。
具体实施方式
50.为使本技术实施例的目的、技术方案和优点更加清楚，下面将依据本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，应当理解，本技术中附图仅起到说明和描述的目的，并不用于限定本技术的保护范围。另外，应当理解，示意性的附图并未按实物占用率绘制。本技术中使用的流程图示出了依据本技术实施例的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本技术内容的指引下，可以向流程图添加至少一个其它操作，也可以从流程图中移除至少一个操作。
51.另外，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。依据本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本技术保护的范围。
52.图1示出了本技术实施例提供的基于物联网的智慧工地监控方法的流程示意图，应当理解，在其它实施例中，本实施例的基于物联网的智慧工地监控方法其中部分步骤的顺序可以依据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该基于物联网的智慧工地监控方法的详细步骤介绍如下。
53.步骤s101、利用第一工地异常分析模型获取智慧工地监控视频流的第一工地行为异常特征，智慧工地监控视频流为第一工地类别的监控视频流，第一工地异常分析模型依据第一工地类别的第一模板监控视频流进行模型迭代更新获得；
54.一种可替代的实施方式中，第一工地类别和下述的第二工地类别不同，具体没有限制。
55.本实施例的第一工地异常分析模型，和下述的第二工地异常分析模型，可以是利用任意现有技术中的神经网络模型进行训练获得的，其可以对监控视频流进行工地行为异常特征的挖掘，第一工地异常分析模型和第二工地异常分析模型的模型收敛控制进程相同，但是该模型收敛控制进程没有限定。
56.一种可替代的实施方式中，第一工地异常分析模型和第二工地异常分析模型，可以是同一种模型，因此其模型收敛控制进程自然相同。此外，第一工地异常分析模型和第二工地异常分析模型也可以是两个独立的不太模型，第一工地异常分析模型和第二工地异常分析模型的模型收敛控制进程相同，可以使得第一工地异常分析模型从第一工地类别的监控视频流解析的工地行为异常特征(即第一工地行为异常特征)，和第二工地异常分析模型从第二工地类别的监控视频流解析的工地行为异常特征(即第二工地行为异常特征)之间，具有线性映射关系，由此在后续实施例中，关联特征分析模型学习到的目标异常知识特征与第二工地行为异常特征的异常关联信息，可以应用到第一工地行为异常特征和目标异常知识特征的关联特征向量分析中，实现跨工地类别的工地异常事件标签的训练标定。
57.一种可替代的实施方式中，步骤“利用第一工地异常分析模型获取智慧工地监控
视频流的第一工地行为异常特征”，可以包括：
58.利用第一工地异常分析模型的向量投影函数，获取智慧工地监控视频流的第一工地行为异常特征。
59.利用第二工地异常分析模型对第二工地类别的监控视频流提取的工地行为异常特征，可以称为第二工地行为异常特征。
60.一种可替代的实施方式中，步骤“利用第一工地异常分析模型的向量投影函数，获取智慧工地监控视频流的第一工地行为异常特征”，可以包括：
61.利用第一工地异常分析模型的向量投影函数，获取智慧工地监控视频流的视频帧语义特征；
62.依据智慧工地监控视频流的所有视频帧语义特征，生成智慧工地监控视频流的第一工地行为异常特征。
63.其中，可以按照智慧工地监控视频流中句子的顺序融合视频帧语义特征，生成第一工地行为异常特征。
64.步骤s102、获取目标工地异常事件标签的目标异常知识特征，目标异常知识特征被用于表达目标工地异常事件标签，且目标异常知识特征包括目标工地异常事件标签下第二工地类别的监控视频流的行为异常特征；
65.一种可替代的实施方式中，目标异常知识特征可以是依据label embedding抽取的。示例性地，可以获取具有训练标签数据(即设置有模板标注数据，模板标注数据中包含先验工地异常事件标签)的第二工地类别的监控视频流，利用标签嵌入技术，生成先验工地异常事件标签的异常知识特征。
66.一种可替代的实施方式中，某个工地异常事件标签的异常知识特征中，包含从该工地异常事件标签的监控视频流的工地行为异常特征(利用前述的工地异常分析模型得到的特征)中学习到的该工地异常事件标签的监控视频流中的共享特征。也即目标异常知识特征包括的目标工地异常事件标签下第二工地类别的监控视频流的行为异常特征，可以理解为目标工地异常事件标签下第二工地类别的监控视频流共有的行为异常特征。
67.一种可替代的实施方式中，获取先验工地异常事件标签对应的异常知识特征的方案可以包括：
68.将先验工地异常事件标签转化成规则化表达方式的初始特征表征向量；
69.对第二模板监控视频流的监控视频流进行特征增强，生成增强监控视频流，利用第二工地异常分析模型，提取增强监控视频流的第三工地行为异常特征；
70.获取估计学习特征，估计学习特征包括第三工地行为异常特征和初始特征表征向量，估计学习特征的估计学习标签数据包括第二模板监控视频流中所增强的特征片段；
71.利用异常知识抽取模型，对第三工地行为异常特征和初始特征表征向量进行投影，依据投影结果预测增强监控视频流中所增强的特征片段，生成估计增强特征片段；
72.基于估计增强特征片段和估计学习标签数据，更新异常知识抽取模型，直到异常知识抽取模型符合模型收敛条件；
73.利用异常知识抽取模型对先验工地异常事件标签的初始特征表征向量进行投影，生成先验工地异常事件标签的异常知识特征。
74.一种可替代的实施方式中，步骤“基于估计增强特征片段和估计学习标签数据，调
整异常知识抽取模型，直到异常知识抽取模型符合模型收敛条件”，可以包括：
75.基于估计增强特征片段和估计学习标签数据，调整异常知识抽取模型；
76.返回执行步骤“对第二模板监控视频流的监控视频流进行特征增强，生成增强监控视频流，利用第二工地异常分析模型，提取增强监控视频流的第三工地行为异常特征”，直到异常知识抽取模型符合模型收敛条件为止。
77.一种可替代的实施方式中，异常知识抽取模型可以包括投影函数和估计函数，投影函数具有投影参数。该投影参数可以用投影矩阵表征。
78.一种可替代的实施方式中，获取估计学习特征的具体过程可以包括：对第三工地行为异常特征和初始特征表征向量进行融合，生成融合表征向量，以该融合表征向量作为估计学习特征。
79.一种可替代的实施方式中，步骤“利用异常知识抽取模型，对第三工地行为异常特征和初始特征表征向量进行投影，依据投影结果预测增强监控视频流中所增强的特征片段，生成估计增强特征片段”，可以包括：利用投影函数的投影参数对融合表征向量进行投影，生成投影表征向量；利用估计函数对投影表征向量进行分析，预测增强监控视频流中所增强的特征片段，生成估计增强特征片段。
80.一种可替代的实施方式中，步骤“利用异常知识抽取模型对先验工地异常事件标签的初始特征表征向量进行投影，生成先验工地异常事件标签的异常知识特征”，可以包括：
81.基于初始特征表征向量在融合表征向量中的节点，从投影参数中获取初始特征表征向量的投影目标参数；
82.依据投影目标参数对初始特征表征向量进行投影，生成先验工地异常事件标签的异常知识特征。
83.步骤s103、利用关联特征分析模型生成的目标异常知识特征与第二工地行为异常特征的异常关联信息，确定第一工地行为异常特征和目标异常知识特征的关联特征向量，生成关联特征向量分布，第二工地行为异常特征由第二工地异常分析模型对第二模板监控视频流进行提取获得的，第二模板监控视频流为第二工地类别的监控视频流，第二工地异常分析模型与第一工地异常分析模型的模型收敛控制进程相同；
84.本实施例中的关联特征分析模型是依据第二模板监控视频流的第二工地行为异常特征，以及第二模板监控视频流的先验工地异常事件标签的异常知识特征进行模型迭代更新获得。
85.其中，第二模板监控视频流的先验工地异常事件标签的异常知识特征，可以利用以上实施例中确定异常知识特征的步骤确定。
86.异常关联信息可以精确表达目标异常知识特征和目标工地异常事件标签的第二模板监控视频流的第二工地行为异常特征的异常关联信息，而第一工地行为异常特征与第二工地行为异常特征之间具有线性映射关系，所以异常关联信息可以应用于到分析对第一工地行为异常特征与目标异常知识特征的关联特征向量上。
87.一种可替代的实施方式中，下面对关联特征分析模型的模型更新流程进行描述。关联特征分析模型的训练在步骤s101之前进行。关联特征分析模型的训练过程包括：
88.步骤s201、利用满足模型收敛条件的第二工地异常分析模型，对第二模板监控视
频流提取第二工地行为异常特征，第二模板监控视频流具有模板标注数据，模板标注数据包括第二模板监控视频流的先验工地异常事件标签，先验工地异常事件标签包括目标工地异常事件标签；
89.其中，第二工地异常分析模型是依据第二工地类别的监控视频流样本进行模型迭代更新获得的。
90.步骤s202、获取先验工地异常事件标签对应的异常知识特征，异常知识特征被用于表达先验工地异常事件标签，且异常知识特征包括先验工地异常事件标签下第二工地类别的监控视频流的行为异常特征；
91.其中，可以存储先验工地异常事件标签对应的投影参数，在步骤s202中，可以利用该投影参数将先验工地异常事件标签投影为异常知识特征。
92.步骤s203、依据第二工地行为异常特征和异常知识特征，获取模板关联特征向量，模板关联特征向量包括第二工地行为异常特征、异常知识特征，模板关联特征向量的训练标注数据包括：表征先验工地异常事件标签与先验工地异常事件标签是否关联的标注数据；
93.步骤s204、利用初始化模型权重参数的关联特征分析模型生成的异常知识特征与第二工地行为异常特征的异常关联信息，确定模板关联特征向量中的第二工地行为异常特征和异常知识特征的关联特征向量；
94.步骤s205、依据关联特征向量分布和训练标注数据，调整关联特征分析模型的模型权重信息，直到满足关联特征分析模型的模型收敛要求为止，该模型权重信息包括该异常关联信息对应的权重信息。
95.随着初始化模型权重参数的关联特征分析模型的迭代次数越多，模型生成的异常知识特征与第二工地行为异常特征的异常关联信息会不断地被更新，该异常关联信息的精度会不断提高。
96.一种可替代的实施方式中，第二工地异常分析模型也可以是实时进行模型迭代更新获得的，在步骤s201之前，还可以包括：
97.获取第一模板监控视频流，利用初始化模型权重参数的第一工地异常分析模型将第一模板监控视频流投影到目标特征匹配位图中，生成第一估计工地行为异常特征；
98.依据第一估计工地行为异常特征，生成第一工地异常分析模型的模型收敛控制进程对应的第一进程输出数据，依据第一进程输出数据调整第一工地异常分析模型的模型权重信息，生成满足模型收敛条件的第一工地异常分析模型；
99.获取第二模板监控视频流，利用初始化模型权重参数的第二工地异常分析模型将第二模板监控视频流投影到目标特征匹配位图中，生成第二估计工地行为异常特征；
100.依据第二估计工地行为异常特征，生成第二工地异常分析模型的模型收敛控制进程对应的第二进程输出数据，依据第二进程输出数据调整第二工地异常分析模型的模型权重信息，生成满足模型收敛条件的第二工地异常分析模型。
101.步骤s104、基于关联特征向量分布，确定智慧工地监控视频流的工地异常事件标签。
102.一种可替代的实施方式中，目标工地异常事件标签的数量为至少两种；步骤s103具体可以包括：
103.利用关联特征分析模型生成的，各目标工地异常事件标签对应的目标异常知识特征与第二工地行为异常特征的异常关联信息，确定第一工地行为异常特征和各目标异常知识特征的关联特征向量，生成各目标工地异常事件标签下智慧工地监控视频流的关联置信度，关联置信度表征智慧工地监控视频流的工地异常事件标签为目标工地异常事件标签的概率值，一种可替代的实施方式中，关联置信度最大，表示智慧工地监控视频流的工地异常事件标签为目标工地异常事件标签的概率值最大。
104.一种可替代的实施方式中，步骤s104具体可以包括：确定关联置信度最大的目标工地异常事件标签，为智慧工地监控视频流的工地异常事件标签。
105.其中，确定关联置信度最大的目标工地异常事件标签也可以由关联特征分析模型判断。
106.一种可替代的实施方式中，关联特征分析模型的结构包括至少一个预测网络，一个预测网络对应一种工地异常事件标签，步骤“利用关联特征分析模型生成的，各目标工地异常事件标签对应的目标异常知识特征与第二工地行为异常特征的异常关联信息，确定第一工地行为异常特征和各目标异常知识特征的关联特征向量，生成各目标工地异常事件标签下智慧工地监控视频流的关联置信度”，可以包括：将第一工地行为异常特征和目标异常知识特征，加载至与目标工地异常事件标签对应的预测网络；利用各预测网络提供的目标异常知识特征与第二工地行为异常特征的异常关联信息，确定目标异常知识特征与第一工地行为异常特征的关联特征向量，生成各目标工地异常事件标签下智慧工地监控视频流的关联置信度。
107.其中，预测网络可以包括fully connected layer(全连接层)，可以将第一工地行为异常特征和目标异常知识特征融合后加载至fully connected layer，由fully connected layer对第一工地行为异常特征和目标异常知识特征的关联特征向量进行评估。
108.一种可替代的实施方式中，可以第一工地行为异常特征和目标异常知识特征融合后加载至fully connected layer。
109.基于以上步骤，利用第一工地异常分析模型获取智慧工地监控视频流的第一工地行为异常特征，智慧工地监控视频流为第一工地类别的监控视频流，第一工地异常分析模型依据第一工地类别的第一模板监控视频流进行模型迭代更新获得；获取目标工地异常事件标签的目标异常知识特征，目标异常知识特征被用于表达目标工地异常事件标签，且目标异常知识特征包括目标工地异常事件标签下第二工地类别的监控视频流的行为异常特征；利用关联特征分析模型生成的目标异常知识特征与第二工地行为异常特征的异常关联信息，确定第一工地行为异常特征和目标异常知识特征的关联特征向量，生成关联特征向量分布，第二工地行为异常特征由第二工地异常分析模型对第二模板监控视频流进行提取获得的，第二模板监控视频流为第二工地类别的监控视频流，第二工地异常分析模型与第一工地异常分析模型的模型收敛控制进程相同；基于关联特征向量分布，确定智慧工地监控视频流的工地异常事件标签，其中第二工地异常分析模型与第一工地异常分析模型的模型收敛控制进程相同，可以使得第一工地类别和第二工地类别下的工地行为异常特征之间存在一种线性映射关系，而目标异常知识特征中包括了目标工地异常事件标签下第二工地类别的监控视频流的行为异常特征，使得关联特征分析模型生成的异常关联信息可以精准
表达目标工地异常事件标签的目标异常知识特征与第二工地行为异常特征的关系，所以在第一、二工地行为异常特征的相关性的条件下，利用关联特征分析模型生成的异常关联信息，可精确确定出第一工地行为异常特征和目标异常知识特征的关联特征向量，由此智慧工地监控视频流与目标工地异常事件标签的关联信息，由此不需要限制第一工地类别的第一模板监控视频流具有训练标签数据，即可实现对第一工地类别的智慧工地监控视频流的工地异常事件标签确定，可以提高智慧工地监控视频流的异常标签分析在不同工地类别的监控视频流之间的衍生效率。
110.图2示意性地示出了可被用于实现本技术中所述的各个实施例的基于物联网的智慧工地监控系统100。
111.对于一个实施例，图2示出了基于物联网的智慧工地监控系统100，该基于物联网的智慧工地监控系统100具有至少一个处理器102、被耦合到(至少一个)处理器102中的至少一个的控制模块(芯片组)104、被耦合到控制模块104的存储器106、被耦合到控制模块104的非易失性存储器(nvm)/存储设备108、被耦合到控制模块104的至少一个输入/输出设备110，和被耦合到控制模块106的网络接口112。
112.处理器102可包括至少一个单核或多核处理器，处理器102可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中，基于物联网的智慧工地监控系统100能够作为本技术实施例中所述网关等服务器设备。
113.在一些实施例中，基于物联网的智慧工地监控系统100可包括具有指令114的至少一个计算机可读介质(例如，存储器106或nvm/存储设备108)和与该至少一个计算机可读介质相合并被配置为执行指令114以实现模块从而执行本公开中所述的动作的至少一个处理器102。
114.对于一个实施例，控制模块104可包括任意适当的接口控制器，以向(至少一个)处理器102中的至少一个和/或与控制模块104通信的任意适当的设备或组件提供任意适当的接口。
115.控制模块104可包括存储器控制器模块，以向存储器106提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
116.存储器106可被用于例如为基于物联网的智慧工地监控系统100加载和存储数据和/或指令114。对于一个实施例，存储器106可包括任意适当的易失性存储器，例如，适当的dram。在一些实施例中，存储器106可包括双倍数据速率类型四同步动态随机存取存储器(ddr4fbram)。
117.对于一个实施例，控制模块104可包括至少一个输入/输出控制器，以向nvm/存储设备108及(至少一个)输入/输出设备110提供接口。
118.例如，nvm/存储设备108可被用于存储数据和/或指令114。nvm/存储设备108可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(至少一个)非易失性存储设备(例如，至少一个硬盘驱动器(hdd)、至少一个光盘(cd)驱动器和/或至少一个数字通用光盘(dvd)驱动器)。
119.nvm/存储设备108可包括在物理上作为基于物联网的智慧工地监控系统100被安装在其上的设备的一部分的存储资源，或者其可被该设备访问可不必作为该设备的一部分。例如，nvm/存储设备108可依据网络经由(至少一个)输入/输出设备110进行访问。
120.(至少一个)输入/输出设备110可为基于物联网的智慧工地监控系统100提供接口以与任意其他适当的设备通信，输入/输出设备110可以包括通信组件、拼音组件、传感器组件等。网络接口112可为基于物联网的智慧工地监控系统100提供接口以依据至少一个网络通信，基于物联网的智慧工地监控系统100可基于至少一个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的至少一个组件进行无线通信，例如接入基于通信标准的无线网络，如wifi、2g、3g、4g、5g等，或它们的组合进行无线通信。
121.对于一个实施例，(至少一个)处理器102中的至少一个可与控制模块104的至少一个控制器(例如，存储器控制器模块)的逻辑封装在一起。对于一个实施例，(至少一个)处理器102中的至少一个可与控制模块104的至少一个控制器的逻辑封装在一起以形成系统级封装(sid)。对于一个实施例，(至少一个)处理器102中的至少一个可与控制模块104的至少一个控制器的逻辑集成在同一模具上。对于一个实施例，(至少一个)处理器102中的至少一个可与控制模块104的至少一个控制器的逻辑集成在同一模具上以形成片上系统(soc)。
122.在各个实施例中，基于物联网的智慧工地监控系统100可以但不限于是：服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中，基于物联网的智慧工地监控系统100可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，基于物联网的智慧工地监控系统100包括至少一个摄像机、键盘、液晶显示器(lcd)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(asic)和扬声器。
123.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
124.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-onlymemory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic randomaccess memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括依据区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、依据量子计算的数据处理逻辑器等，不限于此。
125.在一些实施例中，计算机可执行指令可以采用程序、软件、软件模块、脚本或代码
的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
126.作为示例，计算机可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(html，hypertext markup language)文档中的至少一个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储至少一个模块、子程序或代码部分的文件)中。
127.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
128.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。
129.以上对本技术进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。

技术特征：
1.一种基于物联网的智慧工地监控方法，其特征在于，应用于服务器，所述方法包括：利用第一工地异常分析模型获取智慧工地监控视频流的第一工地行为异常特征，所述智慧工地监控视频流为第一工地类别的监控视频流，所述第一工地异常分析模型依据所述第一工地类别的第一模板监控视频流进行模型迭代更新获得，其中，所述智慧工地监控视频流为通过现场工地中布置的物联网监控设备进行监测生成的；获取目标工地异常事件标签的目标异常知识特征，所述目标异常知识特征被用于表达所述目标工地异常事件标签，且所述目标异常知识特征包括所述目标工地异常事件标签下第二工地类别的监控视频流的行为异常特征；利用关联特征分析模型生成的所述目标异常知识特征与第二工地行为异常特征的异常关联信息，确定所述第一工地行为异常特征和所述目标异常知识特征的关联特征向量，生成关联特征向量分布，所述第二工地行为异常特征由第二工地异常分析模型对第二模板监控视频流进行提取获得的，所述第二模板监控视频流为第二工地类别的监控视频流，所述第二工地异常分析模型与第一工地异常分析模型的模型收敛控制进程相同；基于所述关联特征向量分布，确定所述智慧工地监控视频流的工地异常事件标签。2.根据权利要求1所述的基于物联网的智慧工地监控方法，其特征在于，所述利用第一工地异常分析模型获取智慧工地监控视频流的第一工地行为异常特征前，所述方法还包括：利用满足模型收敛条件的第二工地异常分析模型，对所述第二模板监控视频流提取第二工地行为异常特征，所述第二模板监控视频流具有模板标注数据，所述模板标注数据包括所述第二模板监控视频流的先验工地异常事件标签，所述先验工地异常事件标签包括所述目标工地异常事件标签；获取先验工地异常事件标签对应的异常知识特征，所述异常知识特征被用于表达所述先验工地异常事件标签，且所述异常知识特征包括所述先验工地异常事件标签下第二工地类别的监控视频流的行为异常特征；依据所述第二工地行为异常特征和所述异常知识特征，获取模板关联特征向量，所述模板关联特征向量包括第二工地行为异常特征和所述异常知识特征，所述模板关联特征向量的训练标注数据包括：表征所述先验工地异常事件标签与先验工地异常事件标签是否关联的标注数据；利用初始化模型权重参数的关联特征分析模型生成的异常知识特征与第二工地行为异常特征的异常关联信息，确定所述模板关联特征向量中的所述第二工地行为异常特征和异常知识特征的关联特征向量；依据关联特征向量分布和所述训练标注数据，迭代更新所述关联特征分析模型的模型权重信息，直到所述关联特征分析模型符合模型收敛要求，所述模型权重信息包括所述异常关联信息对应的权重信息。3.根据权利要求2所述的基于物联网的智慧工地监控方法，其特征在于，所述利用满足模型收敛条件的第二工地异常分析模型，对所述第二模板监控视频流提取第二工地行为异常特征前，所述方法还包括：获取第一模板监控视频流，利用初始化模型权重参数的第一工地异常分析模型将第一模板监控视频流投影到目标特征匹配位图中，生成第一估计工地行为异常特征；
依据第一估计工地行为异常特征，生成所述第一工地异常分析模型的模型收敛控制进程对应的第一进程输出数据，依据所述第一进程输出数据迭代更新所述第一工地异常分析模型的模型权重信息，生成满足模型收敛条件的第一工地异常分析模型；获取第二模板监控视频流，利用初始化模型权重参数的第二工地异常分析模型将第二模板监控视频流投影到所述目标特征匹配位图中，生成第二估计工地行为异常特征；依据所述第二估计工地行为异常特征，生成所述第二工地异常分析模型的模型收敛控制进程对应的第二进程输出数据，依据所述第二进程输出数据迭代更新所述第二工地异常分析模型的模型权重信息，生成满足模型收敛条件的第二工地异常分析模型。4.根据权利要求2所述的基于物联网的智慧工地监控方法，其特征在于，所述获取先验工地异常事件标签对应的异常知识特征，包括：将先验工地异常事件标签转化成规则化表达方式的初始特征表征向量；对第二模板监控视频流进行特征增强，生成增强监控视频流，利用所述第二工地异常分析模型，提取所述增强监控视频流的第三工地行为异常特征；获取估计学习特征，所述估计学习特征包括所述第三工地行为异常特征和所述初始特征表征向量，所述估计学习特征的估计学习标签数据包括所述第二模板监控视频流中所增强的特征片段；利用异常知识抽取模型，对所述第三工地行为异常特征和所述初始特征表征向量进行投影，依据投影结果确定所述增强监控视频流中所增强的特征片段，生成估计增强特征片段；基于所述估计增强特征片段和所述估计学习标签数据，迭代更新所述异常知识抽取模型的模型权重信息，生成迭代更新后的异常知识抽取模型；利用所述迭代更新后的异常知识抽取模型对所述先验工地异常事件标签的初始特征表征向量进行投影，生成所述先验工地异常事件标签的异常知识特征。5.根据权利要求4所述的基于物联网的智慧工地监控方法，其特征在于，所述异常知识抽取模型包括投影函数和估计函数，所述投影函数具有投影参数；所述获取估计学习特征，包括：对所述第三工地行为异常特征和所述初始特征表征向量进行融合，生成融合表征向量，以所述融合表征向量作为估计学习特征；所述利用异常知识抽取模型，对所述第三工地行为异常特征和所述初始特征表征向量进行投影，依据投影结果确定所述增强监控视频流中所增强的特征片段，生成估计增强特征片段，包括：利用所述投影函数的投影参数对所述融合表征向量进行投影，生成投影表征向量；利用所述估计函数对所述投影表征向量进行分析，确定所述增强监控视频流中所增强的特征片段，生成估计增强特征片段；所述利用所述迭代更新后的异常知识抽取模型对所述先验工地异常事件标签的初始特征表征向量进行投影，生成所述先验工地异常事件标签的异常知识特征，包括：基于所述初始特征表征向量在所述融合表征向量中的节点，从所述投影参数中获取所述初始特征表征向量的投影目标参数；依据所述投影目标参数对所述初始特征表征向量进行投影，生成先验工地异常事件标
签的异常知识特征。6.根据权利要求1-5任一项所述的基于物联网的智慧工地监控方法，其特征在于，所述目标工地异常事件标签的数量为多个；所述利用关联特征分析模型生成的所述目标异常知识特征与第二工地行为异常特征的异常关联信息，确定所述第一工地行为异常特征和所述目标异常知识特征的关联特征向量，生成关联特征向量分布，包括：利用关联特征分析模型生成的，各目标工地异常事件标签对应的目标异常知识特征与第二工地行为异常特征的异常关联信息，确定所述第一工地行为异常特征和各目标异常知识特征的关联特征向量，生成各目标工地异常事件标签下所述智慧工地监控视频流的关联置信度，所述关联置信度表征所述智慧工地监控视频流的工地异常事件标签，为目标工地异常事件标签的概率值；所述基于所述关联特征向量分布，确定所述智慧工地监控视频流的工地异常事件标签，包括：确定关联置信度最大的目标工地异常事件标签，为所述智慧工地监控视频流的工地异常事件标签。7.根据权利要求6所述的基于物联网的智慧工地监控方法，其特征在于，所述关联特征分析模型包括至少一个预测网络，一个预测网络对应一种工地异常事件标签；所述利用关联特征分析模型生成的，各目标工地异常事件标签对应的目标异常知识特征与第二工地行为异常特征的异常关联信息，确定所述第一工地行为异常特征和各目标异常知识特征的关联特征向量，生成各目标工地异常事件标签下所述智慧工地监控视频流的关联置信度，包括：将所述第一工地行为异常特征和目标异常知识特征，加载至与目标工地异常事件标签对应的预测网络；利用各预测网络提供的目标异常知识特征与第二工地行为异常特征的异常关联信息，确定所述目标异常知识特征与第一工地行为异常特征的关联特征向量，生成各目标工地异常事件标签下所述智慧工地监控视频流的关联置信度。8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序，该程序被处理器执行时实现上述权利要求1-7任意一项所述的基于物联网的智慧工地监控方法。9.一种计算机程序产品，其特征在于，包括计算机程序或计算机可执行指令，所述计算机程序或计算机可执行指令被处理器执行时，实现权利要求1-7中任意一项的基于物联网的智慧工地监控方法。10.一种基于物联网的智慧工地监控系统，其特征在于，所述基于物联网的智慧工地监控系统包括处理器以及可读存储介质，所述可读存储介质存储有程序，该程序被所述处理器执行时实现上述权利要求1-7任意一项所述的基于物联网的智慧工地监控方法。

技术总结
本申请实施例提供一种基于物联网的智慧工地监控方法及系统，在第一、二工地行为异常特征的相关性的条件下，利用关联特征分析模型生成的异常关联信息，可精确确定出第一工地行为异常特征和目标异常知识特征的关联特征向量，由此智慧工地监控视频流与目标工地异常事件标签的关联信息，由此不需要限制第一工地类别的第一模板监控视频流具有训练标签数据，即可实现对第一工地类别的智慧工地监控视频流的工地异常事件标签确定，可以提高智慧工地监控视频流的异常标签分析在不同工地类别的监控视频流之间的衍生效率。控视频流之间的衍生效率。控视频流之间的衍生效率。


技术研发人员：郝慧
受保护的技术使用者：上海好芯好翼智能科技有限公司
技术研发日：2023.05.04
技术公布日：2023/8/9