一种基于云边端平台的高处作业安全智能风险评估方法

1.本发明涉及安全技术领域，尤其涉及一种基于云边端平台的高处作业安全智能风险评估方法。


背景技术：

2.在许多领域，如化工安全生产车间、建筑和电力等，高处作业的攀爬是不可避免的。但是，这些活动具有较高的安全风险，如跌落、滑倒和错误使用设备。因此，在高处作业的攀爬中，就迫切需要采取适当的安全措施减少这些风险。
3.以往，提出了一种基于攀爬辅助系统来保护高处作业的攀爬人员，以防止有高空跌落的风险。
4.例如，公开号为cn104800988b的中国发明专利公开一种高处作业时的自动警示的安全带的及其使用方法来评价是否使用安全带。
5.而且，公开号为cn110998056a的中国发明专利公开了一种基于攀爬辅助和防坠落系统。该专利公开的攀爬辅助和防坠落系统，重点在于防坠落的装置上，没有对前一时刻的攀爬跌落风险进行判断。
6.然而，多数高处作业风险的发生是由于高处作业人员攀爬动作不规范和错误使用安全带造成的。因此，高精度地评估高处作业人员攀爬风险是必要的。


技术实现要素：

7.本发明是为了解决高处作业人员攀爬动作不规范的问题，其目的在于提供一种高精度的评估高处作业人员攀爬安全风险的方法。
8.本发明涉及的基于云边端平台的攀爬安全智能风险评估方法，是对高处作业人员的攀爬动作进行风险评估，包括以下步骤：获取高处作业人员的高处作业攀爬视频数据。
9.使用图像去噪对攀爬视频数据进行预处理，以减少噪声和提高视频质量的可识别性，从而提高算法的识别率和准确性。其中所述的去噪方法为中值滤波，用于消除视频中图像的椒盐噪声。中值滤波算法公式如下：其中，f(x,y)为原始图像，g(x,y)为滤波降噪后的图像，w为二维模板，m,l为w中的元素。
10.建立人体姿态估计深度学习算法模型对预处理后的视频数据提取特征，进行人体姿态估计，检测高处作业人员的人体关键点。人体姿态估计深度学习算法模型可以采用卷积神经网络cnn、循环神经网络rnn，通过对模型训练和优化，实现人体关键点的准确检测。
11.所述的人体关键点包含头部关键点、面部中心点关键点、左肩关键点、左肘关键点、左手关键点、上身关键点、左髋关键点、左膝关键点、左脚关键点、右脚关键点、右膝关键点、右髋关键点、腰部关键点、右手关键点、右肘关键点、右肩关键点和颈部关键点。
12.使用滤波算法对人体关键点的时间序列进行降噪处理，滤波算法包括均值滤波、中值滤波、限幅滤波中的一种，以减少的时间序列噪声，从而提高算法的识别率和准确性。本发明采用的均值滤波算法公式如下所示：其中，为滤波处理前的关键点，为均值滤波处理后的关键点，n
filter
为均值滤波的窗口的大小。
13.根据降噪处理后的人体关键点数据，检测人体关键点中左手、右手、左脚、右脚、左肘和右肘在垂直方向发生的位移和高处作业人员的左肩、右肩、左髋和右髋的关键点坐标，计算得到人体上半身的几何中心点坐标；进而得到高处作业人员的左手、右手、左脚、右脚、左肘、右肘、几何中心点坐标以及安全带挂钩坐标在垂直方向位移的时间序列数据x={x
jonnt
(1),...,x
joint
(i),...,x
joint
(t)}，x
joint
(i)是由{x
hand
(i),..,x
foot
(i),...,x
head
(i)}组成，i为关键点所对应时间帧数。
14.根据所述时间序列数据检测高处作业人员的左手、右手、左脚、右脚、左肘和右肘在垂直方向位移的时间序列数据的斜率k，以及安全带挂钩坐标相对几何中心点坐标在垂直方向的位置，判断高处作业人员跌落风险；使用最小二乘法对其进行线性拟合获得时间序列的斜率k，其公式如下所示：其公式如下所示：其公式如下所示：其中，x
joint
(i)为人体关键点的时间序列x中的元素，t为人体关键点对应的时间，n
dection
为选取时间序列x的窗口大小，为窗口内时间序列的平均值，为窗口的平均时间。
15.根据所述时间序列数据计算高处作业人员的左手关键点在垂直方向位移的时间序列的斜率k
lefthand
、右手关键点在垂直方向位移的时间序列的斜率k
righthand
、左脚关键点在垂直方向位移的时间序列的斜率k
leftfoot
、右脚关键点在垂直方向位移的时间序列的斜率k
rightfoot
、左肘关键点在垂直方向位移的时间序列的斜率k
leftelbow
、右肘的关键点在垂直方向位移的时间序列的斜率k
rightelbow
，和安全带挂钩坐标相对几何中心点坐标在垂直方向的位置，判断高处作业人员跌落风险。
16.进一步的，本发明跌落风险的判断方法是，利用所述时间序列数据检测高处作业人员的左手关键点在垂直方向位移的时间序列的斜率k
lefthand
、右手关键点在垂直方向位移的时间序列的斜率k
righthand
、左脚关键点在垂直方向位移的时间序列的斜率k
leftfoot
、右脚关
键点在垂直方向位移的时间序列的斜率k
rightfoot
、左肘关键点在垂直方向位移的时间序列的斜率k
leftelbow
、右肘的关键点在垂直方向位移的时间序列的斜率k
rightelbow
超过所设定的斜率阈值k
th
，和安全带挂钩坐标相对几何中心点坐标在垂直方向的位置，判断高处作业人员的跌落风险；包括以下步骤：首先，攀爬跌落风险判断模块中的读取单元读取所设定的斜率阈值k
th
；其次，攀爬跌落风险判断模块计算高处作业人员的左手关键点在垂直方向位移的时间序列的斜率k
lefthand
、右手关键点在垂直方向位移的时间序列的斜率k
righthand
、左脚关键点在垂直方向位移的时间序列的斜率k
leftfoot
、右脚关键点在垂直方向位移的时间序列的斜率k
rightfoot
、左肘关键点在垂直方向位移的时间序列的斜率k
leftelbow
、右肘的关键点在垂直方向位移的时间序列的斜率k
rightelbow
，和安全带挂钩坐标相对几何中心点坐标在垂直方向的位置，作为攀爬参数；再次，在判断攀爬参数大于斜率阈值k
th
的情况下，攀爬跌落风险判断模块判断高处作业人员有攀爬跌落的风险；在判断为攀爬参数小于斜率阈值k
th
的情况下，攀爬跌落风险判断模块判断高处作业人员无跌落风险。
17.本发明的另一方面涉及一种攀爬安全智能风险评估装置，是对高处作业人员的攀爬动作进行风险评估的装置，该装置包括视频采集（端）、人体关键点检测（边）模块、攀爬跌落风险判断模块（云）、评估结果报告模块（云）和记录存储模块。
18.视频采集模块，用于获取与高处作业人员攀爬相关的视频数据；人体关键点检测模块，经部署的人体姿态估计深度学习算法检测人体关键点，并记录高处作业人员的左手关键点、右手关键点、左脚关键点、右脚关键点、左肘关键点和右肘关键点在垂直方向的位移的时间序列数据，和安全带挂钩坐标相对几何中心点坐标在垂直方向的时间序列数据；攀爬跌落风险判断模块包括读取单元、检测单元和执行单元，所述读取单元，用于读取所设定的斜率阈值k
th
和人体关键点坐标的位置；所述检测单元，根据时间序列数据计算高处作业人员的左手关键点在垂直方向位移的时间序列的斜率k
lefthand
、右手关键点在垂直方向位移的时间序列的斜率k
righthand
、左脚关键点在垂直方向位移的时间序列的斜率k
leftfoot
、右脚关键点在垂直方向位移的时间序列的斜率k
rightfoot
、左肘关键点在垂直方向位移的时间序列的斜率k
leftelbow
、右肘关键点在垂直方向位移的时间序列的斜率k
rightelbow
、安全带挂钩坐标相对几何中心点坐标在垂直方向的位置，作为攀爬判断参数；所述执行单元，根据攀爬判断参数与所设定的斜率阈值k
th
进行比较，判断高处作业人员的跌落风险的大小；评估结果报告模块用于将视频中的错误动作和错误动作对应的视频帧数均通过图形化展示，生成评估结果报告；记录存储模块，是记录了高处作业安全智能风险评估程序的非暂时性的计算机可读取的记录介质。
19.本发明的优点在于：根据该构成，正在攀爬的高处作业人员的左手、右手、左脚、右脚、左肘和右肘的关键点在垂直方向位移的时间序列的斜率k，和安全带挂钩坐标与几何中心点坐标在垂直方向的位置被用作与高处作业人员的攀爬跌落风险评估相关的参数。有跌落风险的高处作业
人员的攀爬动作和没有跌落风险的高处作业人员的攀爬动作存在不同的倾向。为此，因为利用与攀爬中的高处作业人员跌落风险相关的参数来判断高处作业人员有无跌落风险，所以，可以高精度地评估高处作业人员的跌落风险。
20.通过本发明提供的方案可以自动化完成对高处作业人员的攀爬动作的跌落风险评估。可以通过从对正在攀爬的实验对象进行拍摄而得到的视频数据中检测，所以，不需要大型的装置。基于工业互联网的云边端协同架构，为实现数据驱动的攀爬安全智能风险评估算法创造了条件，为此本发明可以简单的评估高处作业人员的跌落风险。
附图说明
21.为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
22.图1是表示本说明书的实施方式涉的一种基于云边端平台的高处作业安全智能风险评估方法的系统流程示意图；图2是用于说明在本实施方式利用了高处作业人员的攀爬动作的跌落风险评估处理的流程图；图3是用于说明在本实施方式从二维图像中提取人体关键点的示意图；图4是用于说明攀爬跌落风险判断的流程图；图5是用于表示在具体场景下所显示的评估结果画面的例子的示意图；图6是表示一种高处作业安全智能风险评估装置的示意图；
实施方式
23.公开号为cn104800988b的中国发明专利公开一种高处作业时的自动警示的安全带的及其使用方法是利用传感器的方法来判断安全带的位置和高处作业人员位置的高度差来判断是否佩戴安全带。这样的方式只能提醒高处作业人员佩戴安全带，无法识别错误使用安全带的情况。
24.而且，公开号为cn110998056a的中国发明专利公开了一种基于攀爬辅助和防坠落系统。该专利重点在于高处作业人员发生坠落时，所使用的辅助装置将攀爬者锁定在固定位置。然而，所使用的辅助装置适用场景受限，且无法对高处作业人员的攀爬错误动作进行识别。
25.为了解决以上问题，本发明涉及一种基于云边端平台的高处作业安全智能风险评估方法，是基于高处作业人员的攀爬动作评估攀爬风险。
26.本发明中，正在攀爬的高处作业人员的左手关键点205、右手关键点214、左脚关键点209、右脚关键点210、左肘关键点204和右肘关键点215在垂直方向发生的位移，以及攀爬人员安全带挂钩坐标相对于几何中心点坐标在垂直方向的位置，被用作与高处作业人员的攀爬跌落风险评估相关的参数。有跌落风险的高处作业人员的攀爬动作与没有跌落风险的高处作业人员的攀爬动作存在不同的倾向。为此，利用攀爬中的高处作业人员跌落风险相关的参数来判断高处作业人员有无跌落风险，来高精度地评估高处作业人员的跌落风险。
27.以下参照附图对本发明的实施方式进行说明。另外，以下说明的实施方式都是具体地表示本发明的一个例子，并不用于限定本发明的保护范围。
28.下面基于图1对本实施方式涉及的基于云边端的高处作业安全智能风险评估系统进行说明。
29.图1是表示本发明的实施方式涉及的高处作业安全智能风险评估系统的构成的流程图。
30.图1所示的高处作业安全智能风险评估系统包括视频采集模块（端）、人体关键点检测模块（边）、攀爬跌落风险判断模块（云）和评估结果报告模块（云）。
31.视频采集模块（端），用于获取与高处作业人员的攀爬相关的视频数据；人体关键点检测模块（边）经部署的人体姿态估计深度学习算法检测人体关键点，并记录高处作业人员的左手关键点205、右手关键点214、左脚关键点209、右脚关键点210、左肘关键点204和右肘关键点215在垂直方向的位移的时间序列数据和几何中心点坐标相对于安全带挂钩坐标在垂直位置的时间序列数据；攀爬跌落风险判断模块（云），利用人体关键点检测模块（边）检测得到的人体关键点时间序列数据，并计算高处作业人员的左手关键点205在垂直方向位移的时间序列的斜率k
lefthand
、右手关键点214在垂直方向位移的时间序列的斜率k
righthand
、左脚关键点209在垂直方向位移的时间序列的斜率k
leftfoot
、右脚关键点210在垂直方向位移的时间序列的斜率k
rightfoot
、左肘关键点204在垂直方向位移的时间序列的斜率k
leftelbow
、右肘关键点215在垂直方向位移的时间序列的斜率k
rightelbow
、安全带挂钩坐标相对几何中心点坐标在垂直方向的位置，作为攀爬判断参数，判断高处作业人员的跌落风险；评估结果报告模块（云）用于将视频中的错误动作和错误动作对应的视频帧数均通过图形化展示，生成评估结果报告。
32.图2是用于说明在本实施方式利用了高处作业人员的攀爬动作的跌落风险评估处理的流程图，其工作流程如下：步骤s1，获取视频数据。视频采集模块通过终端获取攀爬相关的视频数据。
33.本步骤中，首先对高处作业人员攀爬相关的视频数据进行预处理，包括图像去噪，以减少噪声和提高视频质量的可识别性，从而提高算法的识别率和准确性。常用的去噪方法有中值滤波，可以消除视频中图像的椒盐噪声，提高视频质量的可识别性。中值滤波算法公式如下：其中，f(x,y)为原始图像，g(x,y)为滤波降噪后的图像，w为二维模板，m,l为w中的元素；步骤s2，人体姿态关键点检测。人体关键点检测模块在边缘端从视频数据中提取人体关键点。
34.本步骤中，通过在边缘端部署的人体姿态估计深度学习算法模型对预处理后的视频数据提取特征，进行人体姿态估计，获取人体关键点。所述姿态估计深度学习算法模型包括但不限于卷积神经网络（cnn）、循环神经网络（rnn），通过深度学习算法进行训练和优化，以提高检测人体关键点的准确性和可靠性。
35.本步骤使用滤波算法对人体关键点进行降噪处理，可以采用均值滤波、中值滤波、
限幅滤波等滤波算法中的一种，以减少时间序列噪声，从而提高算法的识别率和准确性。使用的均值滤波对时间序列降噪算法公式如下所示：其中，为滤波处理前的关键点，为均值滤波处理后的关键点，n
filter
为均值滤波的窗口的大小。
36.根据降噪处理后的人体关键点的时间序列，得到高处作业人员的左手、右手、左脚、右脚、左肘、右肘、几何中心点坐标以及安全带挂钩坐标在垂直方向位移的时间序列x={x
jonnt
(1), ..., x
joint
(i),..., x
joint
(t)}，x
joint
(i)是由{x
hand
(i), x
foot
(i),...,x
head
(i)}组成，i为关键点所对应时间帧数；步骤s3，计算关键点时间序列的斜率k。攀爬跌落风险判断模块在云端计算高处作业人员的左手关键点205在垂直方向位移的时间序列的斜率k
lefthand
、右手关键点214在垂直方向位移的时间序列的斜率k
righthand
、左脚关键点209在垂直方向位移的时间序列的斜率k
leftfoot
、右脚关键点210在垂直方向位移的时间序列的斜率k
rightfoot
、左肘关键点204在垂直方向位移的时间序列的斜率k
leftelbow
、右肘关键点215在垂直方向位移的时间序列的斜率k
rightelbow
。
37.通过最小二乘法进行线性拟合获得时间序列的斜率k，其公式如下所示：其公式如下所示：其公式如下所示：其中，x
joint
(i)为人体关键点的时间序列x中的元素，t为人体关键点对应的时间，n
dection
为选取时间序列x的窗口大小，为窗口内时间序列的平均值，为窗口的平均时间。
38.步骤s4，攀爬跌落风险判断。利用攀爬判断参数判断高处作业人员的跌落风险。
39.本步骤中，根据时间序列数据计算高处作业人员的左手关键点205在垂直方向位移的时间序列的斜率k
lefthand
、右手关键点214在垂直方向位移的时间序列的斜率k
righthand
、左脚关键点209在垂直方向位移的时间序列的斜率k
leftfoot
、右脚关键点210在垂直方向位移的时间序列的斜率k
rightfoot
、左肘关键点204在垂直方向位移的时间序列的斜率k
leftelbow
、右肘关键点215在垂直方向位移的时间序列的斜率k
rightelbow
、安全带挂钩坐标相对几何中心点坐标在垂直方向的位置，作为攀爬判断参数。根据攀爬判断参数与所设定的斜率阈值k
th
进行比较，判断高处作业人员的跌落风险。
40.步骤s5，攀爬跌落风险的评估结果。评估结果报告模块用于将视频中的错误动作
和错误动作对应的视频帧数均通过图形化展示，并生成评估结果报告。
41.图3是用于说明在本实施方式从二维图像中提取的人体关键点的示意图。
42.作为一个具体实例，视频采集模块从正在攀爬的高处作业人员的二维图像数据20提取人体关键点21。人体关键点21包含头部关键点201、面部中心点关键点202、左肩关键点203、左肘关键点204、左手关键点205、上身关键点206、左髋关键点207、左膝关键点208、左脚关键点209、右脚关键点210、右膝关键点211、右髋关键点212、腰部关键点213、右手关键点214、右肘关键点215、右肩关键点216和颈部关键点217。
43.由于视频数据由多帧图像构成，人体关键点检测模块经部署的人体姿态估计深度学习算法模型从每帧图像中提取人体的关键点。用到的人体姿态估计深度学习算法模型，包括但不限于卷积神经网络（cnn）、循环神经网络（rnn）、图神经网络模型等多种深度学习算法。
44.图4是用于说明攀爬跌落风险判断处理的流程图。
45.首先，在步骤s41，攀爬跌落风险判断模块中的读取单元读取所设定的斜率阈值k
th
。
46.其次，在步骤s42，攀爬跌落风险判断模块计算左手关键点205在垂直方向位移的时间序列的斜率k
lefthand
、右手关键点214在垂直方向位移的时间序列的斜率k
righthand
、左脚关键点209在垂直方向位移的时间序列的斜率k
leftfoot
、右脚关键点210在垂直方向位移的时间序列的斜率k
rightfoot
、左肘关键点204在垂直方向位移的时间序列的斜率k
leftelbow
、右肘关键点215在垂直方向位移的时间序列的斜率k
rightelbow
、安全带挂钩坐标相对几何中心点坐标在垂直方向的位置，作为攀爬判断参数。
47.再次，在攀爬判断参数大于斜率阈值k
th
的情况下（在步骤s42为“是”），在步骤s43，攀爬跌落风险判断模块判断高处作业人员有攀爬跌落的风险。
48.在攀爬判断参数小于斜率阈值k
th
的情况下（在步骤s42为“否”），在步骤s44，攀爬跌落风险判断模块判断高处作业人员没有跌落风险，即高处作业人员攀爬动作没有违规。
49.在本实施方式中，步骤s41斜率阈值k
th
的临界值设定为8，时间序列的窗口n
dection
设定为8，可以准确识别出现错误动作的次数。
50.图5是用于表示在具体场景下所显示的评估结果画面的例子的示意图。
51.如以下场景，攀爬脚手架需保证身体时刻与脚手架“三点接触”，即攀爬过程中的任何时刻，高处作业人员四肢至少有三点与脚手架接触，视为正确；出现“两点接触”的情况则视为错误。高处作业人员在脚手架上进行攀爬，视频采集模块（端）对攀爬的高处作业人员进行数据采集，人体关键点检测模块（边）从采集的视频数据中提取高处作业人员的人体关键点坐标；然后，攀爬跌落风险判断模块（云）中的检测单元计算左手关键点205在垂直方向位移的时间序列的斜率k
lefthand
、右手关键点214在垂直方向位移的时间序列的斜率k
righthand
、左脚关键点209在垂直方向位移的时间序列的斜率k
leftfoot
、右脚关键点210在垂直方向位移的时间序列的斜率k
rightfoot
、左肘关键点204在垂直方向位移的时间序列的斜率k
leftelbow
、右肘关键点215在垂直方向位移的时间序列的斜率k
rightelbow
、安全带挂钩坐标相对几何中心点坐标在垂直方向的位置，作为攀爬判断参数。攀爬跌落风险判断模块（云）中的执行单元，根据攀爬判断参数与所设定的斜率阈值k
th
进行比较，判断高处作业人员的跌落风险的大小。评估结果报告模块（云），将视频中的错误动作和错误动作对应的视频帧数
均通过图形化展示，并生成评估结果报告。
52.在本例中，高处作业人员出现两次错误的动作，第一次错误的攀爬动作发生在100~110帧，第二次错误动作发生在126~138帧。在本实施方式中，使用时间序列的斜率k的窗口大小n
dection
固定为8，设定的斜率阈值k
th
为8，可以准确的检测到发生有两次攀爬跌落风险动作，第一次发生错误动作检测到的视频帧数在第102~108帧，第二次发生错误动作检测到的视频帧数在第127~136帧，其显示器的评估画面如图5所示。
53.图6是表示一种高处作业安全智能风险评估装置的示意图。
54.该装置包括视频采集模块（端）、人体关键点检测模块（边）、攀爬跌落风险判断模块（云）、评估结果报告模块（云）、记录存储模块（存储器），视频采集模块（端），通过摄像机采集高处作业人员攀爬相关的视频数据。
55.人体关键点检测模块（边），经部署的人体姿态估计深度学习算法模型检测人体关键点信息，并记录高处作业人员的左手关键点205、右手关键点214、左脚关键点209、右脚关键点210、左肘关键点204和右肘关键点215在垂直方向的位移的时间序列数据和几何中心点坐标相对于安全带挂钩坐标在垂直方向的时间序列数据。
56.攀爬安全智能风险判断模块（云）计算高处作业人员的左手关键点205在垂直方向位移的时间序列的斜率k
lefthand
、右手关键点214在垂直方向位移的时间序列的斜率k
righthand
、左脚关键点209在垂直方向位移的时间序列的斜率k
leftfoot
、右脚关键点210在垂直方向位移的时间序列的斜率k
rightfoot
、左肘关键点（204）在垂直方向位移的时间序列的斜率k
leftelbow
、右肘关键点215在垂直方向位移的时间序列的斜率k
rightelbow
、安全带挂钩坐标相对几何中心点坐标在垂直方向的位置，作为攀爬判断参数。根据攀爬判断参数与所设定的斜率阈值k
th
进行比较，判断高处作业人员的跌落风险的大小。
57.评估结果报告模块（云）用于将视频中的错误动作和错误动作对应的视频帧数均通过图形化展示，并生成评估结果报告。
58.记录存储模块，是记录了高处作业安全智能风险评估程序的非暂时性的计算机可读取的记录介质。
59.攀爬安全智能风险评估装置也包括处理器和存储器。处理器例如是cpu（中央运算处理装置），存储器例如是ssd（solid state drive）或闪存，可以存储各种信息的存储装置。
60.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述摄像机可以是室外的防盗摄像机和手机的摄像机。显示器可以是智能手机和平板电脑的屏幕。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线 (dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁
性介质，（例如，软盘、硬盘、磁带）、光介质（例如，dvd)、或者半导体介质(例如固态硬盘solidstatedisk (ssd))等。
61.以上仅是本说明书实施例的具体实施方式，通过该实施方式对本发明技术方案做进一步说明，以使本领域技术人员对本发明的技术构思的理解，其涉及到的未做明确公开说明的方法及术语，如算法等，均可通过本领域常规技术实现，对其不做特定限制。应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。

技术特征：
1.一种基于云边端平台的高处作业安全智能风险评估方法，是对高处作业人员的攀爬动作进行风险评估，其特征在于包括以下步骤：获取高处作业人员的高处作业攀爬视频数据；使用图像去噪对攀爬视频数据进行预处理；建立人体姿态估计深度学习算法模型对预处理后的视频进行人体姿态估计，检测高处作业人员的人体关键点；使用滤波算法对所述人体关键点的时间序列进行降噪处理；根据降噪处理后的人体关键点的时间序列，检测人体关键点中的左手、右手、左脚、右脚、左肘和右肘的关键点在垂直方向发生的位移，以及左肩、右肩、左髋和右髋的关键点坐标，计算得到人体上半身的几何中心点坐标；进而得到高处作业人员的左手、右手、左脚、右脚、左肘、右肘、几何中心点坐标以及安全带挂钩坐标在垂直方向位移的时间序列x={x
jonnt
(1),...,x
joint
(i),...,x
joint
(t)}，x
joint
(i)是由{x
hand
(i), x
foot
(i),...,x
head
(i)}组成，i为关键点所对应时间帧数；根据时间序列数据检测高处作业人员左手、右手、左脚、右脚、左肘和右肘在垂直方向的位移的时间序列的斜率k，以及安全带挂钩坐标相对几何中心点坐标在垂直方向的位置，判断高处作业人员跌落风险；通过最小二乘法进行线性拟合获得时间序列的斜率k，其公式如下所示：其公式如下所示：其公式如下所示：其中，x
joint
(i)为人体关键点的时间序列x中的元素，t为人体关键点对应的时间，n
dection
为选取时间序列x的窗口大小，为窗口内时间序列的平均值，为窗口的平均时间。2.根据权利要求1所述的基于云边端平台的高处作业安全智能风险评估方法，其特征在于，所述的预处理中的图像去噪方法为中值滤波，中值滤波算法公式如下：其中，f(x,y)为原始图像，g(x,y)为滤波降噪后的图像，w为二维模板，m,l为w中的元素。3.根据权利要求1所述的基于云边端平台的高处作业安全智能风险评估方法，其特征在于，所述的人体姿态估计深度学习算法模型包括但不限于卷积神经网络cnn、循环神经网络rnn，通过对模型训练和优化，实现人体关键点的准确检测。4.根据权利要求1所述的基于云边端平台的高处作业安全智能风险评估方法，其特征
在于，滤波算法包括均值滤波、中值滤波、限幅滤波中的一种，其中的均值滤波算法公式如下所示：其中，a为滤波处理前的关键点，为均值滤波处理后的关键点，n
filter
为均值滤波的窗口的大小。5.根据权利要求1所述的基于云边端平台的高处作业安全智能风险评估方法，其特征在于，所述的人体关键点（21）包含头部关键点（201）、面部中心点关键点（202）、左肩关键点（203）、左肘关键点（204）、左手关键点（205）、上身关键点（206）、左髋关键点（207）、左膝关键点（208）、左脚关键点（209）、右脚关键点（210）、右膝关键点（211）、右髋关键点（212）、腰部关键点（213）、右手关键点（214）、右肘关键点（215）、右肩关键点（216）和颈部关键点（217）。6.根据权利要求1所述的基于云边端平台的高处作业安全智能风险评估方法，其特征在于，所述的跌落风险的判断方法是，利用时间序列数据计算高处作业人员的左手关键点（205）在垂直方向位移的时间序列的斜率k
lefthand
、右手关键点（214）在垂直方向位移的时间序列的斜率k
righthand
、左脚关键点（209）在垂直方向位移的时间序列的斜率k
leftfoot
、右脚关键点（210）在垂直方向位移的时间序列的斜率k
rightfoot
、左肘关键点（204）在垂直方向位移的时间序列的斜率k
leftelbow
、右肘关键点（215）在垂直方向位移的时间序列的斜率k
rightelbow
超过所设定的斜率阈值k
th
，和安全带挂钩坐标相对几何中心点坐标在垂直方向的位置，判断高处作业人员的跌落风险；包括以下步骤：首先，攀爬跌落风险判断模块中的读取单元读取所设定的斜率阈值k
th
；其次，攀爬跌落风险判断模块计算高处作业人员的左手关键点（205）在垂直方向位移的时间序列的斜率k
lefthand
、右手关键点（214）在垂直方向位移的时间序列的斜率k
righthand
、左脚关键点（209）在垂直方向位移的时间序列的斜率k
leftfoot
、右脚关键点（210）在垂直方向位移的时间序列的斜率k
rightfoot
、左肘关键点（204）在垂直方向位移的时间序列的斜率k
leftelbow
、右肘关键点（215）在垂直方向位移的时间序列的斜率k
rightelbow
，和安全带挂钩坐标相对几何中心点坐标在垂直方向的位置，作为攀爬判断参数；再次，在攀爬判断参数大于斜率阈值k
th
的情况下，攀爬跌落风险判断模块判断高处作业人员有攀爬跌落的风险；在攀爬判断参数小于斜率阈值k
th
的情况下，攀爬跌落风险判断模块判断高处作业人员无跌落风险。7.一种攀爬安全智能风险评估装置，用于实现权利要求1-6任一项所述的基于云边端平台的高处作业安全智能风险评估方法，其特征在于：所述装置包括视频采集模块、人体关键点检测模块、攀爬跌落风险判断模块、评估结果报告模块和记录存储模块，视频采集模块，用于获取与高处作业人员攀爬相关的视频数据；人体关键点检测模块，经部署的人体姿态估计深度学习算法检测人体关键点，并记录高处作业人员的左手关键点（205）、右手关键点（214）、左脚关键点（209）、右脚关键点（210）、左肘关键点（204）和右肘关键点（215）在垂直方向的位移的时间序列数据，和安全带挂钩坐标相对几何中心点坐标在垂直方向位置的时间序列数据；攀爬跌落风险判断模块包括读取单元、检测单元和执行单元，所述读取单元，用于读取
所设定的斜率阈值k
th
和人体关键点坐标的位置；所述检测单元，根据时间序列数据计算高处作业人员的左手关键点（205）在垂直方向位移的时间序列的斜率k
lefthand
、右手关键点（214）在垂直方向位移的时间序列的斜率k
righthand
、左脚关键点（209）在垂直方向位移的时间序列的斜率k
leftfoot
、右脚关键点（210）在垂直方向位移的时间序列的斜率k
rightfoot
、左肘关键点（204）在垂直方向位移的时间序列的斜率k
leftelbow
、右肘关键点（215）在垂直方向位移的时间序列的斜率k
rightelbow
、安全带挂钩坐标相对几何中心点坐标在垂直方向的位置，作为攀爬判断参数；所述执行单元，根据攀爬判断参数与所设定的斜率阈值k
th
进行比较，判断高处作业人员的跌落风险的大小；评估结果报告模块用于将视频中的错误动作和错误动作对应的视频帧数均通过图形化展示，并生成评估结果报告；记录存储模块，是记录了高处作业安全智能风险评估程序的非暂时性的计算机可读取的记录介质。

技术总结
本发明公开了一种基于云边端平台的高处作业安全智能风险评估方法，涉及人工智能和安全技术领域。在高处作业安全智能风险评估中，获取与实验对象攀爬相关的视频数据，利用人体姿态估计深度学习模型检测人体关键点，根据人体关键点检测实验对象的左手、右手、左脚、右脚、左肘和右肘在垂直方向位移的时间序列数据的斜率和几何中心点坐标、头部关键点坐标以及安全带挂钩坐标在垂直方向的位置的其中之一，评估高处作业人员的跌落风险，方法简单且精度高。高。高。


技术研发人员：张泽辉 张乾隆 徐晓滨 侯平智 陈博洋 何宏 王海泉 宋开荣
受保护的技术使用者：杭州电子科技大学
技术研发日：2023.06.29
技术公布日：2023/10/11