臂架末端软管加长识别方法、装置、系统及作业机械与流程

1.本发明涉及工程机械技术领域，尤其涉及一种臂架末端软管加长识别方法、装置、系统及作业机械。


背景技术：

2.随着工程机械的逐步发展，泵送设备等工程机械在施工过程中被广泛应用。由于泵送设备等工程机械的臂架长度限制，通常在臂架的末端增加软管来增大布料范围。然而，相较于臂架上的泵管，臂架末端软管的抗压能力极低，因此，若臂架末端软管出现连接加长管等情况时，将极大增加爆管风险，无法保证工程机械的作业安全性。
3.目前，通常需要人员对臂架末端软管进行现场监测，无法保证监测结果的全面性和准确性，同时，由于泵送设备等工程机械的作业环境较为恶劣，通过人员现场监测极大增加了人员的安全风险，且造成了人力成本的增加。


技术实现要素：

4.本发明提供一种臂架末端软管加长识别方法、装置、系统及作业机械，用以解决现有技术中通过人员对臂架末端软管进行现场监测无法保证监测结果的全面性和准确性、人员安全风险高以及人力成本大的缺陷，实现了对臂架末端软管加长的自动、全面和准确识别，且降低了人员的安全风险以及人力成本。
5.本发明提供一种臂架末端软管加长识别方法，包括：
6.获取臂架末端软管图像；
7.对所述臂架末端软管图像进行线段拟合处理，基于所述线段拟合处理的结果对所述臂架末端软管进行加长识别。
8.根据本发明提供的臂架末端软管加长识别方法，所述获取臂架末端软管图像，包括：
9.获取包括所述臂架末端软管的原始图像；
10.将所述原始图像输入至预设的语义分割模型，得到所述臂架末端软管图像；其中，所述语义分割模型是基于包括所述臂架末端软管的样本图像训练得到的。
11.根据本发明提供的臂架末端软管加长识别方法，所述基于所述线段拟合处理的结果对所述臂架末端软管进行加长识别，包括：
12.基于所述线段拟合处理的结果，确定所述臂架末端软管对应的拟合线；
13.基于所述拟合线，对所述臂架末端软管进行加长识别。
14.根据本发明提供的臂架末端软管加长识别方法，所述基于所述拟合线，对所述臂架末端软管进行加长识别，包括：
15.确定所述拟合线的长度；
16.基于所述拟合线的长度与预设长度的比较结果，对所述臂架末端软管进行加长识别。
17.根据本发明提供的臂架末端软管加长识别方法，所述基于所述拟合线，对所述臂架末端软管进行加长识别，包括：
18.确定所述拟合线的折弯角度；
19.基于所述拟合线的折弯角度，确定所述臂架末端软管的折弯角度；
20.基于所述臂架末端软管的折弯角度与第一预设角度的比较结果，对所述臂架末端软管进行加长识别。
21.根据本发明提供的臂架末端软管加长识别方法，所述基于所述拟合线的折弯角度，确定所述臂架末端软管的折弯角度，包括：
22.基于所述拟合线的折弯角度与所述臂架末端软管的折弯角度之间的预设对应关系，以及所述拟合线的折弯角度，确定所述臂架末端软管的折弯角度。
23.根据本发明提供的臂架末端软管加长识别方法，所述基于所述拟合线，对所述臂架末端软管进行加长识别，包括：
24.基于所述拟合线中的目标线段与预设直线的夹角，确定所述臂架末端软管的偏摆角度；其中，所述拟合线包括一条或多条子线段，所述目标线段为所述拟合线的各所述子线段中，包含所述臂架末端软管的预设端的所述子线段，所述预设端为靠近目标臂架的一端；
25.基于所述偏摆角度与第二预设角度的比较结果，对所述臂架末端软管进行加长识别。
26.根据本发明提供的臂架末端软管加长识别方法，还包括：
27.发送所述臂架末端软管图像和/或所述臂架末端软管的加长识别结果至控制装置；所述控制装置用于将所述臂架末端软管图像和/或所述臂架末端软管的加长识别结果转发至预设终端。
28.本发明还提供一种臂架末端软管加长识别装置，包括：
29.第一数据处理模块，用于获取臂架末端软管图像；
30.第二数据处理模块，用于对所述臂架末端软管图像进行线段拟合处理，基于所述线段拟合处理的结果对所述臂架末端软管进行加长识别。
31.本发明还提供一种臂架末端软管加长识别系统，包括：图像获取装置和数据处理装置；
32.所述图像获取装置用于获取臂架末端软管图像，并发送至所述数据处理装置；
33.所述数据处理装置用于对所述臂架末端软管图像进行线段拟合处理，基于所述线段拟合处理的结果对所述臂架末端软管进行加长识别。
34.本发明还提供一种作业机械，所述作业机械使用如上述任一种所述的臂架末端软管加长识别方法；
35.或，所述作业机械包括如上述所述的臂架末端软管加长识别装置；
36.或，所述作业机械包括如上述所述的臂架末端软管加长识别系统。
37.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的臂架末端软管加长识别方法。
38.本发明提供的臂架末端软管加长识别方法、装置、系统及作业机械，通过获取臂架末端软管图像，并对臂架末端软管图像进行线段拟合处理，以及基于线段拟合处理的结果
对臂架末端软管进行加长识别，能够自动对臂架末端软管进行加长识别，保证了识别结果的全面性和准确性，从而有效降低了臂架末端软管连接加长管造成的安全风险，且对臂架末端软管进行加长识别的过程中无需人员参与，实现了人员的安全风险以及人力成本的极大降低。
附图说明
39.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1是本发明提供的臂架末端软管加长识别方法的流程示意图；
41.图2是本发明提供的获取臂架末端软管图像的流程示意图；
42.图3是本发明提供的基于线段拟合处理的结果对臂架末端软管进行加长识别的流程示意图；
43.图4是本发明提供的臂架末端软管加长识别装置的结构示意图；
44.图5是本发明提供的臂架末端软管加长识别系统的结构示意图；
45.图6是本发明提供的电子设备的结构示意图。
具体实施方式
46.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.下面结合图1至图3描述本发明的臂架末端软管加长识别方法。本发明臂架末端软管加长识别方法由数据处理装置等电子设备或其中的硬件和/或软件执行，其中，数据处理装置可以为计算盒子，计算盒子可以与控制装置信号连接，例如，计算盒子可以通过can总线与作业机械的整车控制器信号连接。
48.如图1所示，本发明臂架末端软管加长识别方法至少包括如下步骤：
49.s101、获取臂架末端软管图像。
50.s102、对所述臂架末端软管图像进行线段拟合处理，基于所述线段拟合处理的结果对所述臂架末端软管进行加长识别。
51.本实施例中，臂架末端软管设置在臂架系统中末节臂架的自由端，与泵管连接。臂架末端软管包括连接端和自由端，臂架末端软管的连接端与泵管连接，臂架末端软管的自由端为远离末节臂架的一端。
52.在实际应用中，可以在泵送系统启动后，实时获取臂架末端软管图像，以实时对臂架末端软管进行加长识别，也可以在有检测需求时，获取臂架末端软管图像，并对臂架末端软管进行加长识别。其中，泵送系统为作业机械中用于对物料进行泵送的系统，可以实时获取泵送系统的工作数据，如，工作电压、工作电流等，并根据工作数据来确定泵送系统是否启动。
53.臂架末端软管图像可以包括目标臂架以及臂架末端软管，臂架末端软管图像中臂架末端软管的部分可以包括臂架末端软管的自由端，目标臂架可以为臂架系统中的末节臂架。
54.臂架末端软管图像可以通过图像采集装置采集得到，还可以对采集的臂架末端软管图像进行图像处理，并根据图像处理后的臂架末端软管图像对臂架末端软管进行加长识别。例如，可以对采集的臂架末端软管图像进行降噪处理，还可以对采集的臂架末端软管图像进行图像分割，以得到臂架末端软管图像中的目标区域，并将目标区域作为图像处理后的臂架末端软管图像，目标区域包括目标臂架和臂架末端软管，通过对采集的臂架末端软管图像进行图像处理，能够有效降低臂架末端软管图像中的干扰信息，提高臂架末端软管加长识别结果的准确性。对采集的臂架末端软管图像进行图像分割的具体方式可以根据实际需求进行确定，例如，可以通过机器学习模型对臂架末端软管图像进行图像分割，机器学习模型可以为语义分割模型、实例分割模型等，另外，也可以通过区域生长法等对臂架末端软管图像进行图像分割。
55.在对臂架末端软管进行加长识别的过程中，可以基于臂架末端软管图像对臂架末端软管进行线段拟合处理，例如，可以对臂架末端软管进行边缘检测，以得到臂架末端软管的多个边缘点，并对臂架末端软管的多个边缘点进行直线拟合，得到一条或多条线段以及每条线段对应的斜率。
56.其中，可以通过霍夫变换方法对臂架末端软管的多个边缘点进行直线拟合。对臂架末端软管进行边缘检测的方法可以包括：步骤一，对臂架末端软管图像进行平滑处理；例如，可以通过高斯滤波器对臂架末端软管图像进行平滑处理，以滤除臂架末端软管图像中的噪声，提高边缘检测结果的准确性。步骤二，获取平滑处理后的臂架末端软管图像的灰度梯度图，其中，灰度梯度图包括平滑处理后的臂架末端软管图像中每一个像素点的梯度强度和梯度方向，可以通过梯度算子获取灰度梯度图。步骤三，基于灰度梯度图，对臂架末端软管图像中的各像素点进行非极大值抑制处理；例如，对于臂架末端软管图像中的任一个像素点，将该像素点的梯度强度与相邻像素点的梯度强度进行比较，若该像素点的梯度强度最大，则保留该像素点，否则，将该像素点的灰度置零，以消除边缘上的杂散点；其中，相邻像素点为该像素点的梯度方向上与该像素点相邻的像素点。步骤四，基于灰度梯度图对非极大值抑制处理后的臂架末端软管图像进行初始边缘检测，以得到真实边缘点和候选边缘点；其中，真实边缘点包括臂架末端软管图像中梯度强度大于或等于第一强度值的各像素点，候选边缘点包括臂架末端软管图像中梯度强度小于第一强度值且大于或等于第二强度值的各像素点，第一强度值大于第二强度值。步骤五，基于真实边缘点和候选边缘点获得臂架末端软管的边缘检测结果；其中，边缘检测结果包括真实边缘点以及与真实边缘点相邻的候选边缘点。
57.根据臂架末端软管图像的线段拟合处理的结果对臂架末端软管进行加长识别的具体方法可以根据实际需求进行设定。例如，可以基于线段拟合处理的结果确定臂架末端软管对应的一条或多条拟合线，并基于各拟合线，对臂架末端软管进行加长识别。例如，可以基于各拟合线的长度对臂架末端软管进行加长识别，还可以基于各拟合线的折弯角度对臂架末端软管进行加长识别，还可以基于各拟合线的偏摆角度对臂架末端软管进行加长识别，还可以同时基于各拟合线的长度、折弯角度和偏摆角度对臂架末端软管进行加长识别，
从而能够自动、全面、准确地对臂架末端软管进行加长识别。
58.另外，还可以将臂架末端软管图像输入至预先训练好的图像识别模型，以通过图像识别模型输出臂架末端软管的加长识别结果；其中，臂架末端软管图像包括臂架末端软管的自由端，臂架末端软管的自由端是臂架末端软管远离目标臂架的一端。
59.其中，图像识别模型可以为深度学习模型，如，resnet_152、inceptionv4、densenet等，可以通过包括多种不同状态的臂架末端软管图像的样本集对图像识别模型进行训练，训练好的图像识别模型可以根据臂架末端软管的自由端的特征进行加长识别，例如，臂架末端软管的自由端是否悬空，是否有流体等，从而能够有效提高加长识别结果的准确性和实时性。
60.作为一种可选的实施方案，在得到加长识别结果之后，还可以发送加长识别结果至预设终端，例如，远程监控终端、移动终端等；另外，还可以在臂架末端软管存在违规加长时发送告警信息至预设终端；同时，还可以将加长识别结果回传至数据库服务器进行存储备份，从而能够进一步降低臂架末端软管违规加长造成的安全风险。
61.本实施例通过获取臂架末端软管图像，并对臂架末端软管图像进行线段拟合处理，以及基于线段拟合处理的结果对臂架末端软管进行加长识别，能够自动对臂架末端软管进行加长识别，保证了识别结果的全面性和准确性，从而有效降低了臂架末端软管连接加长管造成的安全风险，且对臂架末端软管进行加长识别的过程中无需人员参与，实现了人员的安全风险以及人力成本的极大降低。
62.在示例性实施例中，如图2所示，所述获取臂架末端软管图像，包括：
63.s201、获取包括所述臂架末端软管的原始图像；
64.s202、将所述原始图像输入至预设的语义分割模型，得到所述臂架末端软管图像；其中，所述语义分割模型是基于包括所述臂架末端软管的样本图像训练得到的。
65.本实施例中，包括臂架末端软管的原始图像可以通过图像采集装置采集得到，图像采集装置可以采用rgb(red green blue，红绿蓝三原色)相机。图像采集装置的位置可以根据实际需求进行设定，在作业机械作业过程中能够采集到包括完整的臂架末端软管的图像即可，另外，原始图像还可以包括目标臂架中与臂架末端软管相邻的部分。例如，图像采集装置可以设置在作业机械上，也可以临时安装在施工场地。作为一种可选的实施方式，可以将图像采集装置设置在末节臂架上。
66.可以将获取到的原始图像逐帧输入至预先训练好的语义分割模型，以通过语义分割模型自动对原始图像进行图像分割，并输出包含目标区域的臂架末端软管图像，计算量少，分割精度高，为提高臂架末端软管加长识别的准确性提供了数据基础。其中，目标区域可以包括目标臂架和臂架末端软管。
67.语义分割模型的具体类型可以根据实际需求进行确定，例如，可以为fcn(fully convolutional networks，全连接网络)、u-net等。其中，可以通过包含目标区域的样本图像对语义分割模型进行预先训练，从而在对臂架末端软管进行加长识别的过程中能够实时调用，极大提高了加长识别的效率，进一步降低了臂架末端软管违规加长造成的安全风险。
68.在示例性实施例中，如图3所示，所述基于所述线段拟合处理的结果对所述臂架末端软管进行加长识别，包括：
69.s301、基于所述线段拟合处理的结果，确定所述臂架末端软管对应的拟合线；
70.s302、基于所述拟合线，对所述臂架末端软管进行加长识别。
71.本实施例中，臂架末端软管对应的拟合线为臂架末端软管在长度方向上的边缘线。线段拟合处理的结果可以包括臂架末端软管对应的一条或多条线段以及每条线段对应的斜率。若臂架末端软管对应的线段仅包括一条，可以将该线段作为臂架末端软管对应的拟合线。若臂架末端软管对应的线段包括多条，可以对存在共同端点的线段进行拼接，以得到一条或多条候选拟合线。若候选拟合线的数量为一条时，可以将该候选拟合线作为臂架末端软管对应的拟合线；若候选拟合线的数量为多条时，还可以对得到的多条候选拟合线进行筛选，将各候选拟合线中的目标拟合线作为臂架末端软管对应的拟合线，从而能够有效提高臂架末端软管加长识别的效率和精度。其中，可以将各候选拟合线中同时包括臂架末端软管的连接端和自由端的候选拟合线作为目标拟合线，若目标拟合线不存在时，可以重复执行对臂架末端软管图像进行线段拟合处理的步骤，若重复执行的次数达到预设次数时，目标拟合线仍不存在，可以生成告警信息，并将告警信息发送至控制装置，以通过控制装置将告警信息转发至显示装置或遥控器等预设监控终端，以保证工程机械的作业安全性。若存在多条目标拟合线时，可以基于各目标拟合线的长度，从各目标拟合线中确定臂架末端软管对应的拟合线，例如，可以将各目标拟合线中长度最长的目标拟合线作为臂架末端软管对应的拟合线。另外，还可以将多条目标拟合线均作为臂架末端软管对应的拟合线，以基于臂架末端软管对应的多条拟合线对臂架末端软管进行加长识别。
72.基于臂架末端软管对应的拟合线对臂架末端软管进行加长识别的过程中，可以确定臂架末端软管对应的拟合线的长度，并基于臂架末端软管对应的拟合线的长度确定臂架末端软管的加长识别结果；还可以确定臂架末端软管对应的拟合线的折弯角度，并基于臂架末端软管对应的拟合线的折弯角度确定臂架末端软管的加长识别结果；还可以确定臂架末端软管对应的拟合线的偏摆角度，并基于臂架末端软管对应的拟合线的偏摆角度确定臂架末端软管的加长识别结果，从而能够全面、准确地对臂架末端软管进行加长识别。
73.在示例性实施例中，所述基于所述拟合线，对所述臂架末端软管进行加长识别，包括：
74.确定所述拟合线的长度；
75.基于所述拟合线的长度与预设长度的比较结果，对所述臂架末端软管进行加长识别。
76.本实施例中，可以获取该拟合线中像素点的数量，并基于像素点的数量来确定该拟合线的长度。例如，可以将拟合线中像素点的数量作为该拟合线的长度。
77.预设长度可以基于臂架末端软管未连接加长管时的长度进行确定。其中，可以在臂架末端软管未连接加长管的情况下，通过图像采集装置采集臂架末端软管的标准图像，并基于臂架末端软管的标准图像确定臂架末端软管对应的标准拟合线，基于标准拟合线中像素点的数量来确定预设长度。例如，可以直接将标准拟合线中像素点的数量作为预设长度，还可以对标准拟合线中像素点的数量进行修正处理，并将修正处理后的数量作为预设长度。
78.在对臂架末端软管进行加长识别的过程中，可以将臂架末端软管对应的拟合线的长度与预设长度进行比较，并基于比较的结果对臂架末端软管进行加长识别。例如，若该拟合线的长度大于预设长度时，表明臂架末端软管存在违规加长，若否，表明臂架末端软管不
存在违规加长。可以理解的是，在臂架末端软管对应有多条拟合线时，若存在至少一条拟合线的长度大于预设长度，则表明臂架末端软管存在违规加长，若否，表明臂架末端软管不存在违规加长，从而有效提高了臂架末端软管加长识别结果的可靠性。
79.在示例性实施例中，所述基于所述拟合线，对所述臂架末端软管进行加长识别，包括：
80.确定所述拟合线的折弯角度；
81.基于所述拟合线的折弯角度，确定所述臂架末端软管的折弯角度；
82.基于所述臂架末端软管的折弯角度与第一预设角度的比较结果，对所述臂架末端软管进行加长识别。
83.本实施例中，臂架末端软管对应的拟合线可以包括一条或多条子线段，该一条或多条子线段即臂架末端软管图像的线段拟合处理结果中，组成该拟合线的各线段。可以确定该拟合线的各子线段中包括臂架末端软管的连接端的第一线段和包括臂架末端软管的自由端的第二线段，并基于第一线段对应的第一斜率以及第二线段对应的第二斜率，确定第一线段和第二线段的夹角，将第一线段和第二线段的夹角作为该拟合线的折弯角度。可以理解的是，若臂架末端软管对应的拟合线仅包括一条子线段，即，该子线段同时包括臂架末端软管的连接端和自由端，该拟合线的折弯角度为180
°
。
84.基于臂架末端软管对应的拟合线的折弯角度确定臂架末端软管的折弯角度的过程中，可以直接将臂架末端软管对应的拟合线的折弯角度作为臂架末端软管的折弯角度，还可以对臂架末端软管对应的拟合线的折弯角度进行修正处理，并将臂架末端软管对应的拟合线的折弯角度的修正处理的结果作为臂架末端软管的折弯角度。
85.对臂架末端软管对应的拟合线的折弯角度进行修正处理的具体方式可以根据实际需求进行设定，例如，可以基于拟合线的折弯角度与修正系数和/或补偿值之间的对应关系，以及拟合线的折弯角度，确定拟合线的折弯角度对应的修正系数和/或补偿值，并基于拟合线的折弯角度对应的修正系数和/或补偿值对臂架末端软管对应的拟合线的折弯角度进行修正处理。还可以基于拟合线的折弯角度与臂架末端软管的折弯角度之间的对应关系，以及臂架末端软管对应的拟合线的折弯角度，确定臂架末端软管的折弯角度，从而能够有效避免图像采集角度对臂架末端软管的折弯角度识别结果的准确性的影响，为提高臂架末端软管加长识别结果的准确性提供了技术基础。
86.第一预设角度可以设置为60
°
。在对臂架末端软管进行加长识别的过程中，可以将臂架末端软管的折弯角度与第一预设角度进行比较，若臂架末端软管的折弯角度小于第一预设角度，表明臂架末端软管存在违规加长，若否，表明臂架末端软管不存在违规加长，从而有效提高了臂架末端软管加长识别结果的可靠性。
87.可以理解的是，在臂架末端软管对应有多条拟合线时，可以基于每条拟合线的折弯角度分别确定一个臂架末端软管的折弯角度，并将各臂架末端软管的折弯角度分别与第一预设角度进行比较，以基于各臂架末端软管的折弯角度与第一预设角度的比较结果，对臂架末端软管进行加长识别。例如，若存在至少一个臂架末端软管的折弯角度小于第一预设角度时，则表明臂架末端软管存在违规加长，若否，表明臂架末端软管不存在违规加长。另外，还可以获取臂架末端软管对应的各拟合线的折弯角度的均值，并基于各拟合线的折弯角度的均值确定臂架末端软管的折弯角度。
88.在示例性实施例中，所述基于所述拟合线的折弯角度，确定所述臂架末端软管的折弯角度，包括：
89.基于所述拟合线的折弯角度与所述臂架末端软管的折弯角度之间的预设对应关系，以及所述拟合线的折弯角度，确定所述臂架末端软管的折弯角度。
90.本实施例中，预设对应关系用于表征拟合线的折弯角度与臂架末端软管的折弯角度之间的对应关系，可以为映射表，也可以为数学模型，还可以为机器学习模型，具体可以根据实际需求进行设定。
91.其中，预设对应关系可以通过实验数据获得并存储，从而在对臂架末端软管进行加长识别的过程中能够实时调用，极大提高了识别效率，进一步降低了臂架末端软管违规加长造成的安全风险。可以理解的是，在更换图像采集装置或改变图像采集装置的安装位置时，可以重新确定该预设对应关系，以保证臂架末端软管的折弯角度的识别精度。
92.在实际应用中，可以基于拟合线的折弯角度与臂架末端软管的折弯角度之间的预设对应关系对臂架末端软管对应的拟合线的折弯角度进行匹配，并将匹配结果作为臂架末端软管的折弯角度，能够有效避免图像采集角度对折弯角度识别结果的准确性的影响，为提高臂架末端软管加长识别结果的准确性提供了技术基础。
93.可以理解的是，在基于臂架末端软管对应的各拟合线的折弯角度的均值确定臂架末端软管的折弯角度时，可以基于拟合线的折弯角度与臂架末端软管的折弯角度之间的预设对应关系对各拟合线的折弯角度的均值进行匹配，并将匹配结果作为臂架末端软管的折弯角度。
94.在示例性实施例中，所述基于所述拟合线，对所述臂架末端软管进行加长识别，包括：
95.基于所述拟合线中的目标线段与预设直线的夹角，确定所述臂架末端软管的偏摆角度；其中，所述拟合线包括一条或多条子线段，所述目标线段为所述拟合线的各所述子线段中，包含所述臂架末端软管的预设端的所述子线段，所述预设端为靠近目标臂架的一端；
96.基于所述偏摆角度与第二预设角度的比较结果，对所述臂架末端软管进行加长识别。
97.本实施例中，臂架末端软管对应的拟合线可以包括一条或多条子线段，该一条或多条子线段即臂架末端软管图像的线段拟合处理结果中，组成该拟合线的线段。目标线段为该拟合线对应的一条或多条子线段中，包括臂架末端软管的预设端的子线段，预设端可以为臂架末端软管靠近目标臂架的一端，即臂架末端软管的连接端。预设直线可以为竖直方向的直线，可以基于该拟合线中目标线段的斜率确定该拟合线中目标线段与预设直线的夹角，并基于该拟合线中目标线段与预设直线的夹角确定臂架末端软管的偏摆角度。例如，可以直接将该拟合线中目标线段与预设直线的夹角作为臂架末端软管的偏摆角度，还可以对该拟合线中目标线段与预设直线的夹角进行修正处理，并将修正处理的结果作为臂架末端软管的偏摆角度。
98.对拟合线中目标线段与预设直线的夹角进行修正处理的具体方式可以根据实际需求进行设定，例如，可以基于目标线段和预设直线的夹角与修正系数和/或补偿值之间的对应关系，以及拟合线中目标线段与预设直线的夹角，确定修正系数和/或补偿值，并基于修正系数和/或补偿值对拟合线中目标线段与预设直线的夹角进行修正处理。还可以基于
目标线段和预设直线的夹角与臂架末端软管的偏摆角度之间的对应关系，以及拟合线中目标线段与预设直线的夹角，确定臂架末端软管的偏摆角度，从而能够有效避免图像采集角度对臂架末端软管的偏摆角度识别结果的准确性的影响，为提高臂架末端软管加长识别结果的准确性提供了技术基础。
99.在对臂架末端软管进行加长识别的过程中，可以将臂架末端软管的偏摆角度与第二预设角度进行比较，若臂架末端软管的偏摆角度大于第二预设角度时，表明臂架末端软管存在违规加长，若否，表明臂架末端软管不存在违规加长，从而有效提高了臂架末端软管加长识别结果的可靠性。
100.可以理解的是，在臂架末端软管对应有多条拟合线时，可以基于每条拟合线分别确定一个臂架末端软管的偏摆角度，并将各偏摆角度分别与第二预设角度进行比较，以基于各偏摆角度与第二预设角度的比较结果，对臂架末端软管进行加长识别。例如，若存在至少一个偏摆角度大于第二预设角度时，则表明臂架末端软管存在违规加长，若否，表明臂架末端软管不存在违规加长。另外，还可以获取臂架末端软管对应的各拟合线中目标线段与预设直线的夹角的均值，并基于该均值确定臂架末端软管的偏摆角度。
101.在示例性实施例中，还包括：
102.发送所述臂架末端软管图像和/或所述臂架末端软管的加长识别结果至控制装置；所述控制装置用于将所述臂架末端软管图像和/或所述臂架末端软管的加长识别结果转发至预设终端。
103.本实施例中，控制装置可以为作业机械的整车控制器。控制装置可以通过无线通信的方式与预设终端信号连接。预设终端可以包括存储装置，例如，后台总控制中心的数据库服务器，从而能够通过存储装置对臂架末端软管图像和/或臂架末端软管的加长识别结果进行存储，一方面，便于数据的后期追溯，另一方面，能够用于作业机械的数字化管理以及构建作业机械的数字孪生系统。预设终端还可以包括显示器、遥控器等，便于操作人员对臂架末端软管图像和/或臂架末端软管的加长识别结果进行实时监测，以避免在臂架末端软管连接加长管的情况下对作业机械进行操作所造成的安全风险，进一步提高了作业安全性。
104.下面对本发明提供的臂架末端软管加长识别装置进行描述，下文描述的臂架末端软管加长识别装置与上文描述的臂架末端软管加长识别方法可相互对应参照。如图4所示，本发明臂架末端软管加长识别装置至少包括：
105.第一数据处理模块401，用于获取臂架末端软管图像；
106.第二数据处理模块402，用于对所述臂架末端软管图像进行线段拟合处理，基于所述线段拟合处理的结果对所述臂架末端软管进行加长识别。
107.在示例性实例中，所述第一数据处理模块401具体用于：
108.获取包括所述臂架末端软管的原始图像；
109.将所述原始图像输入至预设的语义分割模型，得到所述臂架末端软管图像；其中，所述语义分割模型是基于包括所述臂架末端软管的样本图像训练得到的。
110.在示例性实例中，所述第二数据处理模块402具体用于：
111.基于所述线段拟合处理的结果，确定所述臂架末端软管对应的拟合线；
112.基于所述拟合线，对所述臂架末端软管进行加长识别。
113.在示例性实例中，所述第二数据处理模块402具体用于：
114.确定所述拟合线的长度；
115.基于所述拟合线的长度与预设长度的比较结果，对所述臂架末端软管进行加长识别。
116.在示例性实例中，所述第二数据处理模块402具体用于：
117.确定所述拟合线的折弯角度；
118.基于所述拟合线的折弯角度，确定所述臂架末端软管的折弯角度；
119.基于所述臂架末端软管的折弯角度与第一预设角度的比较结果，对所述臂架末端软管进行加长识别。
120.在示例性实例中，所述第二数据处理模块402具体用于：
121.基于所述拟合线的折弯角度与所述臂架末端软管的折弯角度之间的预设对应关系，以及所述拟合线的折弯角度，确定所述臂架末端软管的折弯角度。
122.在示例性实例中，所述第二数据处理模块402具体用于：
123.基于所述拟合线中的目标线段与预设直线的夹角，确定所述臂架末端软管的偏摆角度；其中，所述拟合线包括一条或多条子线段，所述目标线段为所述拟合线的各所述子线段中，包含所述臂架末端软管的预设端的所述子线段，所述预设端为靠近目标臂架的一端；
124.基于所述偏摆角度与第二预设角度的比较结果，对所述臂架末端软管进行加长识别。
125.在示例性实例中，还包括第三数据处理模块，所述第三数据处理模块用于：
126.发送所述臂架末端软管图像和/或所述臂架末端软管的加长识别结果至控制装置；所述控制装置用于将所述臂架末端软管图像和/或所述臂架末端软管的加长识别结果转发至预设终端。
127.下面对本发明提供的臂架末端软管加长识别系统进行描述，下文描述的臂架末端软管加长识别系统与上文描述的臂架末端软管加长识别方法可相互对应参照。如图5所示，本发明臂架末端软管加长识别系统至少包括：图像获取装置501和数据处理装置502；
128.所述图像获取装置501用于获取臂架末端软管图像，并发送至所述数据处理装置502；
129.所述数据处理装置502用于对所述臂架末端软管图像进行线段拟合处理，基于所述线段拟合处理的结果对所述臂架末端软管进行加长识别。
130.本实施例中，数据处理装置502可以采用计算盒子，计算盒子可以与控制装置信号连接，例如，计算盒子可以通过can总线与作业机械的整车控制器信号连接。计算盒子可以将臂架末端软管图像和/或臂架末端软管的加长识别结果发送至控制装置，控制装置还可以将臂架末端软管图像和/或臂架末端软管的加长识别结果转发至预设终端。预设终端可以包括存储装置，例如，后台总控制中心的数据库服务器，从而能够通过存储装置对臂架末端软管图像和/或臂架末端软管的加长识别结果进行存储，一方面，便于数据的后期追溯，另一方面，能够用于作业机械的数字化管理以及构建作业机械的数字孪生系统。预设终端还可以包括显示器、遥控器等，便于操作人员对臂架末端软管图像和/或臂架末端软管的加长识别结果进行实时监测，以避免在臂架末端软管连接加长管的情况下对作业机械进行操作所造成的安全风险。
131.本实施例还提供一种作业机械，所述作业机械使用如上述任一实施例所述的臂架末端软管加长识别方法；
132.或，所述作业机械包括如上述任一实施例所述的臂架末端软管加长识别装置；
133.或，所述作业机械包括如上述实施例所述的臂架末端软管加长识别系统。
134.本实施例中，作业机械诸如泵送设备、布料设备等工程机械。
135.图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)601、通信接口(communications interface)602、存储器(memory)603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信。处理器601可以调用存储器603中的逻辑指令，以执行臂架末端软管加长识别方法，该方法包括：获取臂架末端软管图像；
136.对所述臂架末端软管图像进行线段拟合处理，基于所述线段拟合处理的结果对所述臂架末端软管进行加长识别。
137.此外，上述的存储器603中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
138.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的臂架末端软管加长识别方法，该方法包括：
139.获取臂架末端软管图像；
140.对所述臂架末端软管图像进行线段拟合处理，基于所述线段拟合处理的结果对所述臂架末端软管进行加长识别。
141.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的臂架末端软管加长识别方法，该方法包括：
142.获取臂架末端软管图像；
143.对所述臂架末端软管图像进行线段拟合处理，基于所述线段拟合处理的结果对所述臂架末端软管进行加长识别。
144.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
145.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可
借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
146.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种臂架末端软管加长识别方法，其特征在于，包括：获取臂架末端软管图像；对所述臂架末端软管图像进行线段拟合处理，基于所述线段拟合处理的结果对所述臂架末端软管进行加长识别。2.根据权利要求1所述的臂架末端软管加长识别方法，其特征在于，所述获取臂架末端软管图像，包括：获取包括所述臂架末端软管的原始图像；将所述原始图像输入至预设的语义分割模型，得到所述臂架末端软管图像；其中，所述语义分割模型是基于包括所述臂架末端软管的样本图像训练得到的。3.根据权利要求1所述的臂架末端软管加长识别方法，其特征在于，所述基于所述线段拟合处理的结果对所述臂架末端软管进行加长识别，包括：基于所述线段拟合处理的结果，确定所述臂架末端软管对应的拟合线；基于所述拟合线，对所述臂架末端软管进行加长识别。4.根据权利要求3所述的臂架末端软管加长识别方法，其特征在于，所述基于所述拟合线，对所述臂架末端软管进行加长识别，包括：确定所述拟合线的长度；基于所述拟合线的长度与预设长度的比较结果，对所述臂架末端软管进行加长识别。5.根据权利要求3所述的臂架末端软管加长识别方法，其特征在于，所述基于所述拟合线，对所述臂架末端软管进行加长识别，包括：确定所述拟合线的折弯角度；基于所述拟合线的折弯角度，确定所述臂架末端软管的折弯角度；基于所述臂架末端软管的折弯角度与第一预设角度的比较结果，对所述臂架末端软管进行加长识别。6.根据权利要求5所述的臂架末端软管加长识别方法，其特征在于，所述基于所述拟合线的折弯角度，确定所述臂架末端软管的折弯角度，包括：基于所述拟合线的折弯角度与所述臂架末端软管的折弯角度之间的预设对应关系，以及所述拟合线的折弯角度，确定所述臂架末端软管的折弯角度。7.根据权利要求3所述的臂架末端软管加长识别方法，其特征在于，所述基于所述拟合线，对所述臂架末端软管进行加长识别，包括：基于所述拟合线中的目标线段与预设直线的夹角，确定所述臂架末端软管的偏摆角度；其中，所述拟合线包括一条或多条子线段，所述目标线段为所述拟合线的各所述子线段中，包含所述臂架末端软管的预设端的所述子线段，所述预设端为靠近目标臂架的一端；基于所述偏摆角度与第二预设角度的比较结果，对所述臂架末端软管进行加长识别。8.根据权利要求1至7任一项所述的臂架末端软管加长识别方法，其特征在于，还包括：发送所述臂架末端软管图像和/或所述臂架末端软管的加长识别结果至控制装置；所述控制装置用于将所述臂架末端软管图像和/或所述臂架末端软管的加长识别结果转发至预设终端。9.一种臂架末端软管加长识别装置，其特征在于，包括：第一数据处理模块，用于获取臂架末端软管图像；
第二数据处理模块，用于对所述臂架末端软管图像进行线段拟合处理，基于所述线段拟合处理的结果对所述臂架末端软管进行加长识别。10.一种臂架末端软管加长识别系统，其特征在于，包括：图像获取装置和数据处理装置；所述图像获取装置用于获取臂架末端软管图像，并发送至所述数据处理装置；所述数据处理装置用于对所述臂架末端软管图像进行线段拟合处理，基于所述线段拟合处理的结果对所述臂架末端软管进行加长识别。11.一种作业机械，其特征在于，所述作业机械使用如权利要求1至8任一项所述的臂架末端软管加长识别方法；或，所述作业机械包括如权利要求9所述的臂架末端软管加长识别装置；或，所述作业机械包括如权利要求10所述的臂架末端软管加长识别系统。12.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述的臂架末端软管加长识别方法。

技术总结
本发明涉及工程机械领域，提供一种臂架末端软管加长识别方法、装置、系统及作业机械，该方法包括：获取臂架末端软管图像；对臂架末端软管图像进行线段拟合处理，基于线段拟合处理的结果对臂架末端软管进行加长识别。本发明能够自动对臂架末端软管进行加长识别，保证了识别结果的全面性和准确性，从而有效降低了臂架末端软管连接加长管造成的安全风险，且对臂架末端软管进行加长识别的过程中无需人员参与，实现了人员的安全风险以及人力成本的极大降低。低。低。


技术研发人员：常峰铭 谭科 蒋明华
受保护的技术使用者：三一汽车制造有限公司
技术研发日：2023.05.30
技术公布日：2023/8/13