吊装脱钩检测方法、装置及存储介质与流程

1.本技术涉及吊机相关技术领域，尤其涉及一种吊装脱钩检测方法、装置及存储介质。


背景技术：

2.在工业、生产、建筑等领域，在高空作业时，经常需要用到各种吊机，如汽车吊(亦称汽车起重机)、履带吊(亦称履带式起重机)、随车吊(亦称随车起重机)、塔机(亦称塔吊)等。吊机的工作环境和操作需要满足安全规范，目前，各类吊机越来越朝着大型化、自动化和智能化方向发展，如何在此基础上保持或者进一步提升其安全性能，是行业关注的问题之一。
3.其中，针对吊机吊钩在吊装作业过程中可能出现脱钩的情况，现有的一种方案中，是在吊钩下方安装摄像头，该摄像头的信号接到操作室的屏幕上，通过屏幕直接显示吊钩下方的景象，以方便相关操控人员发现潜在脱钩风险。然而，若真发生吊物倾斜、吊装绳缆脱钩或绷断等情形，极易发生严重生产事故、造成重大经济损失，而通过肉眼观测，往往很难准确发现问题，或者当发现问题时已经很难挽回。
4.针对上述缺陷和不足，亟待本领域技术人员从技术上改善和解决。


技术实现要素：

5.有鉴于此，本技术实施例旨在提供一种吊装脱钩检测方法、装置及存储介质，能够根据深度相机获得的图像实现吊装脱钩风险的自动化检测，而无需工作人员通过肉眼观察，因此能够在预防脱钩事故、提升吊机安全性的同时降低工作人员工作强度。
6.第一方面，本技术实施例提供的一种吊装脱钩检测方法包括吊装脱钩检测方法包括：在吊装过程中，在满足第一触发条件时，触发深度相机获取基准深度图像；在满足第二触发条件时，触发深度相机获取实时深度图像；判断所述实时深度图像和所述基准深度图像在深度上的差别是否超过预定阈值，若是则确认存在脱钩风险。
7.进一步地，所述确认存在脱钩风险包括：发出告警指示。
8.进一步地，所述第一触发条件具体为：在吊装过程中的上升阶段，深度相机与吊装面的距离大于深度相机量程时以及图像平均深度保持不变。
9.进一步地，所述触发深度相机获取基准深度图像包括：在深度相机拍照深度图像后，判断该深度图像各像素点的深度值是否为深度相机的最大量程；若是则删除对应像素点，否则输出为有效像素点，并形成有效的基准深度图像。
10.进一步地，还包括：根据所形成的有效的基准深度图像获得基准深度图像的积分值。
11.进一步地，所述第二触发条件具体为：在获取基准深度图像后，以及吊装过程处于未完成状态。
12.进一步地，所述触发深度相机获取实时深度图像包括：判断实时深度图像的各像
素点的深度值是否超过基准深度图像最大深度值预定范围；若是则删除对应像素点，否则输出为有效像素点，并形成有效的实时深度图像。
13.进一步地，还包括：根据所形成的有效的实时深度图像获得该实时深度图像的积分值。
14.进一步地，所述实时深度图像和所述基准深度图像在深度上的差别具体为基准深度图像每个像素点深度值与其平均深度值的标准差累加减去实时深度图像每个像素点深度值与基准深度图像平均深度值的标准差累加的绝对值。
15.第二方面，本技术实施例提供的一种吊装脱钩检测装置包括第一触发处理单元、第二触发处理单元和判断处理单元；所述第一触发处理单元用于在吊装过程中，在满足第一触发条件时，触发深度相机获取基准深度图像；所述第二触发处理单元用于在满足第二触发条件时，触发深度相机获取实时深度图像；所述判断处理单元用于判断所述实时深度图像和所述基准深度图像在深度上的差别是否超过预定阈值，若是则确认存在脱钩风险。
16.第三方面，本技术实施例提供的一种计算机存储介质上存储有计算机程序，该计算机程序被处理器执行时实现前文任一项所述的吊装脱钩检测方法。
17.采用本技术各实施例的技术方案后，通过触发深度相机在不同阶段获得基准深度图像和实时深度图像，并且通过实时深度图像与基准深度图像在深度层面的差别来判断是否超过预定阈值，这样能够根据深度相机获得的图像实现吊装脱钩风险的自动化检测，而无需工作人员通过肉眼观察，因此能够在预防脱钩事故、提升吊机安全性的同时降低工作人员工作强度。
附图说明
18.图1为本技术实施例提供的一种吊装脱钩检测方法的流程示意图；
19.图2为深度相机拍照的场景示意图；
20.图3为图1所示吊装脱钩检测方法中基准深度图像获取的流程示意图；
21.图4为图1所示吊装脱钩检测方法中实时深度图像获取以及判断是否有脱钩风险的流程示意图；
22.图5为本技术实施例提供的一种吊装脱钩检测装置的框架示意图。
具体实施方式
23.为使本技术实施例的目的、技术方案和优点更加清晰，下面将结合附图清楚和完整地描述本技术实施例中的技术方案，显然，所描述的实施例是本技术一部分实施例，而非全部。基于本技术中的实施例，本领域普通技术人员在未付出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互任意组合。
24.下面同时参考图1、图2、图3和图4进行说明。本技术的核心是充分利用深度相机(rgbd)灵活获得不同阶段的吊装物体图像，有针对性地提出一种综合性解决思路，即先进行基准深度图像获取，然后再进行实时深度图像获取，最后实现脱钩预警判定。为了便于理解，其中相关原理和背景在此适当展开说明下：
①
吊钩下方装设的深度相机可实时拍摄下方吊装的物体实时图像，每个像素点有其对应的深度值(像素点对应的物体表面反光点到
相机的距离)，相机可通过网线连接到控制系统，这样控制系统可以采集图像，并对图像进行相应运算；
②
吊钩位置有编码器可以检测吊钩的位置，而吊钩与相机位置实际可测得；
③
相机拍摄被吊装物体，当没有物体反光时的位置其深度值为最大，如图2所示，图中射空的线，没有物体反射，其深度值最大，在此可将其视为无效的深度值，当吊装物体时，物体所在的平面有可能被相机捕捉，在此本技术实施例中，可以做到尽可能不拍摄到被吊装的物体以外的事物。
25.结合图1所示，本技术实施例提供的吊装脱钩检测方法可以包括步骤：在吊装过程中，在满足第一触发条件时，触发深度相机获取基准深度图像；在满足第二触发条件时，触发深度相机获取实时深度图像；判断该实时深度图像和该基准深度图像在深度上的差别是否超过预定阈值，若是则确认存在脱钩风险。
26.结合图3和图4所示，具体实施时，若确认存在脱钩风险，可以直接向报警系统或者仪表系统发出告警指示，以提醒工作人员及时或者相关风险。不同的触发条件可以根据具体工作场景和吊机的种类及工作环境设定，作为一种满足大多数场景的方式，第一触发条件可以为：在吊装过程中的上升阶段，深度相机与吊装面的距离大于深度相机量程时以及图像平均深度保持不变。
27.触发深度相机获取基准深度图像的一种实现方式中可以包括：在深度相机拍照深度图像后，判断该深度图像各像素点的深度值是否为深度相机的最大量程；若是则删除对应像素点，否则输出为有效像素点，并形成有效的基准深度图像。在此基础上，前述方法可以进一步包括步骤：根据所形成的有效的基准深度图像获得基准深度图像的积分值。
28.另外，第二触发条件也可以根据需要事先设定，例如可以为：在获取基准深度图像后，以及吊装过程处于未完成状态。触发深度相机获取实时深度图像的一种实现方式中可以为：判断实时深度图像的各像素点的深度值是否超过基准深度图像最大深度值预定范围；若是则删除对应像素点，否则输出为有效像素点，并形成有效的实时深度图像。在此基础上，前述方法可以进一步包括步骤：根据所形成的有效的实时深度图像获得该实时深度图像的积分值。
29.在一种优选的实现方式中，实时深度图像和所述基准深度图像在深度上的差别具体为：基准深度图像每个像素点深度值与其平均深度值的标准差累加减去实时深度图像每个像素点深度值与基准深度图像平均深度值的标准差累加的绝对值。为了便于理解，下面结合具体公式进行说明。
30.基准深度图像的平均深度值可以采用公式
①
得到：其中dep
ave
为平均深度，dep(x,y)为像素点深度值，x、y分别为横纵坐标。
[0031][0032]
公式
②
为基准深度图像每个像素点深度值与平均深度值的标准差累加。
[0033][0034]
公式
③
为实时深度图像每个像素点深度值与基准图像平均深度值的标准差累加。
[0035]
[0036]
当满足公式
④srt
与s
std
差值绝对值大于预定阈值时(该阈值可以事先选取或设定)，则认为吊物有偏移、翻转等脱钩风险，此时，系统给出告警，提醒操作人员进行确认并进行相应措施。
[0037]sthreshold
《|s
rt-s
std
|
④
[0038]
结合图5所示，本技术实施例还提供了一种吊装脱钩检测装置，该吊装脱钩检测装置可以包括第一触发处理单元、第二触发处理单元和判断处理单元；其中，第一触发处理单元用于在吊装过程中，在满足第一触发条件时，触发深度相机获取基准深度图像；第二触发处理单元用于在满足第二触发条件时，触发深度相机获取实时深度图像；判断处理单元用于判断实时深度图像和基准深度图像在深度上的差别是否超过预定阈值，若是则确认存在脱钩风险。有关不同触发条件、实施深度图像和基准深度图像在深度上的差别等方面的具体实现和相关描述可以参见前述其他实施例的相应说明。另外，由于前面实施例所述的方法具有前述技术效果，该吊装脱钩检测装置也有相应的技术效果，在此不再赘述。
[0039]
为了更好理解前述实施例的吊装脱钩检测方法和装置，下面以结合具体场景以及图3和图4所示情形进一步说明。结合图前述可知，本技术的主要原理是先进行基准深度图像获取，然后再进行实时深度图像获取，最后实现脱钩预警判定，图3主要涉及基准深度图像获取环节，而图4主要涉及实时深度图像获取环节以及脱钩预警判定环节。
[0040]
在基准深度图像获取环节，在吊机工作过程中，设置于吊钩下方的深度摄像机(rgbd)可以持续拍照获得图像，当起吊开始后即在吊钩上升后，判断是否达到触发获取基准深度图像的条件(即判断是否到了所拍摄的图像能够形成基准深度图像的时候)，具体而言，如图3所示，这一判断可以通过两个小判断的结果得到，即判断相机与吊装面的距离是否已经大于其量程(若大于则说明距离已足够远，吊装面的有效深度趋于无效)以及判断所获得图像的平均深度是否保持大体不变(若保持不变说明吊钩上升后一定时间内吊钩下方的吊装情况达到一定的稳定性)，当前述两个小判断的结果均为是时，确认达到触发条件，之后一段时间通过深度相机获取的图像可以作为基准深度图像的基础；若前述两个小判断的结果至少一者为否时，说明未达到触发条件，在这种情况下随着起吊的进行循环执行这两个小判断。在触发获取深度图像以作为基准后，随着拍照获取相应的图像，判断图像中的像素点的深度值是否达到最大量程，若是则说明这些像素点不适合作为参照基准，因而可以删除不予使用，而将深度值未达到最大量程的像素点视为有效像素点，并输出形成有效基准图像，这样即得到基准深度图像，在此基础上，还可以进一步通过筛选或积分运算获得基准深度图像的最大深度dmax、最小深度dmin、平均深度dave等参数，以便用于后续的脱钩预警判定环节。
[0041]
在实时深度图像获取环节和脱钩预警判定环节，在吊装作业过程中，持续判断吊装作业是否完成，若确认已经完成，则脱钩预警结束，若确认吊装作业持续，则说明脱钩预警判定的基础继续存在，在这种情况下，达到触发要求，可以通过周期发生器触发深度相机获取实时深度图像，并判断所获取的深度图像是否满足要求，例如判断图像的像素点的深度值是否过大，例如是否大于dmax+(dmax-dmin)，若是说明这些像素点的参考意义不大，因而可以删除不用，而将满足要求的像素点作为有效像素点输出并以此形成有效的实时深度图像，之后可以进一步通过筛选或积分运算获得实时深度图像的相关深度数据，再通过脱钩预警判定环节计算实时深度图像与基准深度图像的差别是否大于预定阈值，若是则确认
存在偏移、翻转等脱钩风险，并发出告警，否则继续前述实时深度图像获取触发判断和操作。
[0042]
本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，并且，该计算机程序被处理器执行时能够实现前面实施例所述的方法。由于前面实施例所述的方法和功能具有前述技术效果，该计算机存储介质也有相应的技术效果，在此不再赘述。
[0043]
需要说明的是，在本技术及其实施例的描述中，如有术语“顶”、“底”、“高度”等指示的方位或位置关系，是基于附图所示的方位或位置关系或者实际现场条件下的通用表述，这仅仅是为了便于描述本技术和简化描述，而非指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因而不能理解为对本技术的限制。
[0044]
在本技术及其实施例中，如出现以下情形，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”、“固定”等应作广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是通信；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可根据具体情况理解上述术语在本技术中的具体含义。
[0045]
在本技术及其实施例中，如出现以下情形，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。
[0046]
上文的公开提供了许多不同的实施方式或例子用来实现本技术的不同结构。为了简化本技术的公开，上文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本技术。此外，本技术可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本技术提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
[0047]
需要说明的是，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0048]
另外，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0049]
另外，计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0050]
另外，可以以一种或多种程序设计语言或其组合来编写用于执行本技术操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如”c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0051]
以上所述的具体实施例，对本技术的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本技术的具体实施例而已，并不用于限制本技术，凡在本技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种吊装脱钩检测方法，其特征在于，包括：在吊装过程中，在满足第一触发条件时，触发深度相机获取基准深度图像；在满足第二触发条件时，触发深度相机获取实时深度图像；判断所述实时深度图像和所述基准深度图像在深度上的差别是否超过预定阈值，若是则确认存在脱钩风险。2.如权利要求1所述的吊装脱钩检测方法，其特征在于，所述第一触发条件具体为：在吊装过程中的上升阶段，深度相机与吊装面的距离大于深度相机量程时以及图像平均深度保持不变。3.如权利要求1所述的吊装脱钩检测方法，其特征在于，所述触发深度相机获取基准深度图像包括：在深度相机拍照深度图像后，判断该深度图像各像素点的深度值是否为深度相机的最大量程；若是则删除对应像素点，否则输出为有效像素点，并形成有效的基准深度图像。4.如权利要求3所述的吊装脱钩检测方法，其特征在于，还包括：根据所形成的有效的基准深度图像获得基准深度图像的积分值。5.如权利要求1所述的吊装脱钩检测方法，其特征在于，所述第二触发条件具体为：在获取基准深度图像后，以及吊装过程处于未完成状态。6.如权利要求1所述的吊装脱钩检测方法，其特征在于，所述触发深度相机获取实时深度图像包括：判断实时深度图像的各像素点的深度值是否超过基准深度图像最大深度值预定范围；若是则删除对应像素点，否则输出为有效像素点，并形成有效的实时深度图像。7.如权利要求6所述的吊装脱钩检测方法，其特征在于，还包括：根据所形成的有效的实时深度图像获得该实时深度图像的积分值。8.如权利要求1至8任一项所述的吊装脱钩检测方法，其特征在于，所述实时深度图像和所述基准深度图像在深度上的差别具体为基准深度图像每个像素点深度值与其平均深度值的标准差累加减去实时深度图像每个像素点深度值与基准深度图像平均深度值的标准差累加的绝对值。9.一种吊装脱钩检测装置，其特征在于，包括第一触发处理单元、第二触发处理单元和判断处理单元；所述第一触发处理单元用于在吊装过程中，在满足第一触发条件时，触发深度相机获取基准深度图像；所述第二触发处理单元用于在满足第二触发条件时，触发深度相机获取实时深度图像；所述判断处理单元用于判断所述实时深度图像和所述基准深度图像在深度上的差别是否超过预定阈值，若是则确认存在脱钩风险。10.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。

技术总结
本申请公开了一种吊装脱钩检测方法、装置及存储介质。该吊装脱钩检测方法包括：在吊装过程中，在满足第一触发条件时，触发深度相机获取基准深度图像；在满足第二触发条件时，触发深度相机获取实时深度图像；判断所述实时深度图像和所述基准深度图像在深度上的差别是否超过预定阈值，若是则确认存在脱钩风险。实施本申请的技术方案后，通过触发深度相机在不同阶段获得基准深度图像和实时深度图像，并且通过实时深度图像与基准深度图像在深度层面的差别来判断是否超过预定阈值，这样能够根据深度相机获得的图像实现吊装脱钩风险的自动化检测，而无需工作人员通过肉眼观察，因此能够在预防脱钩事故、提升吊机安全性的同时降低工作人员工作强度。工作人员工作强度。工作人员工作强度。


技术研发人员：王云峰 刘强 甘英秀 韩晓泉
受保护的技术使用者：北京东土科技股份有限公司
技术研发日：2023.03.14
技术公布日：2023/10/15