作业人员工种识别的方法、装置、计算机设备及存储介质与流程

1.本发明涉及工种识别技术领域，更为具体来说，本发明能够提供一种作业人员工种识别的方法、装置、计算机设备及存储介质。


背景技术：

2.目前，在智慧工地场景下往往需要远程、实时地传回施工现场的作业情况。施工现场的作业情况包括但不限于当前作业面上是什么工种，当前作业面正在进行什么工序的操作，作业人员是否有佩戴安全帽、反光衣、安全挂扣等安全防护工具等；其中对于施工现场大量的作业人员，如何对当前作业人员的工种角色进行准确地界定显得尤为重要。传统的作业人员工种识别方案中，可通过识别作业人员当前的动作，进而判断出当前作业人员属于何种工种。这种方式虽然可能达到人员工种识别的目的，但由于不同工种经常会进行类似甚至相同的动作，例如站着的动作可能在支墙模板也可能在扎墙体钢筋，蹲着的动作可能在扎楼板钢筋也可能在布水管，可见传统的方案存在识别精度低、易发生误识别以及无法对未知动作进行工种识别等问题。


技术实现要素：

3.为解决现有的人员工种识别方案存在识别精度低、易发生误识别及其应用范围窄等问题，本发明提供了作业人员工种识别的方法、装置、计算机设备及存储介质，以达到提高人员工种识别精度、识别效果等技术目的。
4.为实现上述的技术目的，本发明提供了一种作业人员工种识别的方法，该作业人员工种识别的方法可以包括但不限于如下的至少一个步骤。
5.对输入图像进行目标检测，并基于目标检测结果确定所述输入图像中作业人员的位置信息。
6.基于所述作业人员的位置信息从所述输入图像上截取特征关联区域图像，所述特征关联区域图像具有作业人员特征和施工作业特征。
7.根据预设识别规则对多个特征关联区域图像进行识别，确定特征关联区域图像中的作业人员的工种。
8.为实现上述的技术目的，本发明还能够提供一种作业人员工种识别的装置，该作业人员工种识别的装置包括但不限于目标检测单元、图像截取单元、图像筛选单元以及特征检测单元。
9.目标检测单元，用于对输入图像进行目标检测，并用于基于目标检测结果确定所述输入图像中作业人员的位置信息。
10.图像截取单元，用于基于所述作业人员的位置信息从所述输入图像上截取特征关联区域图像，所述特征关联区域图像具有作业人员特征和施工作业特征。
11.工种确定单元，用于根据预设识别规则对多个特征关联区域图像进行识别，确定所述特征关联区域图像中的所述作业人员的工种。
12.为实现上述的技术目的，本发明还能够提供一种计算机设备，计算机设备可包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行本发明任一实施例所述作业人员工种识别的方法的步骤。
13.为实现上述技术目的，本发明还能够提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行本发明任一实施例所述作业人员工种识别的方法的步骤。
14.本发明的有益效果为：
15.本发明基于人员的位置信息截取特征关联区域图像，以及对通过筛选特征关联区域图像得到的待识别图像进行特征检测而确定作业人员工种，可见本发明采用有针对性地对关联区域的特征进行检测的方式达到人员工种识别的目的，具有识别精度更高、识别效果更好等突出优点。本发明方案对具体场景的局限性非常小，即使对于多个工种同时作业的情况仍然能够对作业人员工种进行有效地识别，而且识别准确率较高。相比于现有复杂且繁琐的动作识别方案，本发明更容易实施，而且实施成本比较低，用户体验较好且满意度较高。
附图说明
16.图1示出了本发明一个或多个实施例中作业人员工种识别的方法的流程示意图。
17.图2示出了本发明一个或多个实施例中通过第一种实施方式对作业人员工种进行识别的实现流程示意图。
18.图3示出了本发明一个或多个实施例中通过第二种实施方式对作业人员工种进行识别的实现流程示意图。
19.图4示出了本发明一个或多个实施例中的人员检测模块的训练流程示意图。
20.图5示出了本发明一个或多个实施例中的粗分类模块的训练流程示意图。
21.图6示出了本发明一个或多个实施例中的作业面特征检测模块的训练流程示意图。
22.图7示出了本发明一个或多个实施例中作业人员工种识别的装置的组成示意图。
23.图8示出了本发明一个或多个实施例中计算机设备内部结构组成的示意图。
具体实施方式
24.下面结合说明书附图对本发明具体提供的一种作业人员工种识别的方法、装置、计算机设备及存储介质进行详细的解释和说明。
25.面对传统作业人员工种识别方案存在识别精度低、易发生误识别以及无法对未知动作进行工种识别等问题，本发明提供了一种实现简单且有效的基于当前作业人员周围的作业特征的作业人员工种识别方法。
26.如图1所示，并可结合图2，本发明一个或多个实施例能够提供一种作业人员工种识别的方法；该作业人员工种识别的方法可以包括但不限于如下的一个或多个步骤，具体说明如下。
27.步骤100，对输入图像进行目标检测，并基于目标检测结果确定输入图像中作业人员的位置信息。应当理解的是，本实施例的输入图像中作业人员数量为至少一个，即本发明
能够同时对多个作业人员进行工种识别。可见本发明提供的技术方案不受具体场景限制，可支持在多种工序和多种工作面同时存在和进行的情况下进行作业人员工种识别。
28.具体地，本发明实施例对输入图像进行目标检测包括：接收已采集的作业面图像，本发明将采集的作业面的大图作为输入源(input)；以及可通过对该作业面图像进行尺寸变换(resize)和归一化处理的方式得到输入图像，本实施例可通过尺寸变换方式将作业面图像尺寸变换为固定尺寸，例如640
×
640，当然并不限于此；本实施例能够通过归一化方式将作业面图像中像素范围从1～255变换至0～1范围内的浮点数值，从而得到该输入图像(img)，进而对输入图像进行人体(作业人员)目标检测。
29.应当理解的是，本发明实施例涉及的作业面是指：某专业工种在加工建筑产品时，所必须具备的活动空间，被称之为该工种的作业面。对于本发明所涉及的工种，以建筑施工中的标准层施工顺序为例，每一道工序可对应一个工种，可例如包括但不限于弹线工种、绑扎墙体钢筋工种、支墙模板工种、浇筑墙身混凝土工种、养护工种、拆墙模板工种、支楼板模板工种、绑扎楼板钢筋工种以及浇筑楼板混凝土工种等，本发明能够对作业人员所属工种进行准确识别。基于对人体目标进行有效检测，本发明技术方案不受外界因素限制，例如可不受图像采集装置的拍摄角度和拍摄位置的限制和约束。
30.如图2所示，本实施例通过人员检测模块对输入图像进行目标检测，以检测作业人员位置信息。本实施例通过位置框表示作业人员位置信息，具体利用人员检测模块检测出输入图像中作业面对应的每一个作业人员的具体位置{bbox(xmin，ymin，xmax，ymax)}，其中，xmin和ymin分别表示位置框的左上角x坐标和y坐标，xmax和ymax分别表示位置框的右下角的x坐标和y坐标。
31.如图4所示，本实施例人员检测模块是一种深度学习(deep learning，简称dl)模型，用于作业面大图中人员位置检测与定位，本实施例通过如下方式对该深度学习模型训练，以训练完成的模型作为人员检测模块。
32.首先，收集或采集作业面(包含有作业人员)图像，并进行作业人员的位置标注；其次，将已标注完成的图像作为深度学习模型的训练集，本实施例对该训练集进行数据预处理，预处理用于将图像转换成训练过程中可读的文件格式等；再次，利用训练集对预训练之后的深度学习网络进行训练。本实施例通过成熟的检测框架对模型不断进行训练，并调优直至模型收敛，导出最优模型(人员检测模块)。
33.步骤200，基于作业人员的位置信息从输入图像上截取特征关联区域图像，特征关联区域图像具有作业人员特征和施工作业特征。本发明特征关联区域既包含作业人员，又包含人员周围区域，实现人员与区域的关联。
34.具体地，本发明实施例中基于作业人员的位置信息从输入图像上截取(crop)特征关联区域图像能够包括：基于作业人员的位置信息确定输入图像上的第一特征区域，对第一特征区域进行外扩处理，以得到包含第一特征区域的第二特征区域；从输入图像上截取第二特征区域范围内的图像，以得到特征关联区域图像。本实施例基于人员检测模块得到每个作业人员的位置信息，并进行外扩操作，主要针对左上角位置和右下角位置向两端扩展和延伸。通过外扩处理的方式，本发明实现截取的特征关联区域图像既包含作业人员特征，又包含施工作业特征。
35.本发明实施例对第一特征区域进行外扩处理包括：获取第一特征区域的第一坐标
信息，基于第一坐标信息和预设外扩系数确定第二坐标信息，利用第二坐标信息确定第二特征区域。具体地，本实施例可分别计算第一坐标信息中的左上角位置坐标与右下角位置坐标的差值dx和dy，然后使第一坐标信息中的左上角位置坐标与右下角位置坐标的差值dx和dy与预设外扩系数ratio_x和ratio_y分别进行相乘，得到第二特征区域的尺寸信息，并根据第二特征区域的尺寸信息对第一特征区域进行放大，以确定第二坐标信息{r
bbox
(xmin'，ymin'，xmax'，ymax')}，得到第二特征区域。如果遇到边界超界的情况，本实施例对扩展后像素坐标小于0的点的坐标值强制置为0，并对扩展后像素坐标大于原图的宽和高的点的坐标值强制置为原图的宽和高，从而得到每个作业人员周围与人员相关的要素和物料特征关联区域{rbbox(xmin'，ymin'，xmax'，ymax')}，即本实施例得到待截取图像四个角点位置信息(xmin'，ymin')、(xmax'，ymax')、(xmin'，ymax')、(xmax'，ymin')，据此更为准确地截取出特征关联区域图像img'。
36.基于上述改进的技术方案，本发明通过外扩处理方式对特征关联区域图像进行截取，从而使得区域图像在包含作业人员特征基础上进一步包含施工作业特征；而且基于外扩处理方式，本发明能够适用于作业人员处在作业面边上的情况，例如支墙体模板作业面、扎墙体钢筋作业面等，从而摆脱了作业人员一定处在当前施工作业面之中的假设，以使本发明适用于更多的场景。
37.步骤300，根据预设识别规则对多个特征关联区域图像进行识别，确定特征关联区域图像中的作业人员的工种。本发明能够通过两种实施方式实现该过程，具体说明如下。
38.如图2所示，本发明根据预设识别规则对多个特征关联区域图像进行识别，确定特征关联区域图像中的作业人员的工种，其第一种实施方式可包括但不限于步骤s10和步骤s20。
39.步骤s10，根据作业人员特征对多个特征关联区域图像进行筛选，以确定待识别图像。通过对特征关联区域的筛选，本发明能够更有效地关联作业人员特征和施工作业特征，进而提高本发明后续人员工种识别效果。
40.本发明实施例根据作业人员特征对多个特征关联区域图像进行筛选可包括：根据作业人员特征对多个特征关联区域图像进行二分类处理，以与人员忙碌特征对应的特征关联区域图像作为待识别图像；作业人员特征包括人员忙碌特征和人员空闲特征。通过对各个特征关联区域图像二分类处理，本发明能够预测特征区域中的作业人员处于忙碌状态或空闲状态，以筛选出包含忙碌状态的作业人员的特征关联区域图像，忙碌的作业人员与周围区域特征关联度更高，为人员工种的准确识别提供了支持。
41.如图2所示，本发明实施例通过粗分类模块识别特征关联区域小图中包含的作业人员处于忙碌状态或空闲状态(是否是忙碌或空闲)。本发明粗分类模块是一个二分类器，对特征关联区域图像img'进行分类输出，以得到初筛结果，本发明实施例对于初筛结果为包含作业人员处于忙碌状态信息的特征关联区域小图，进行后续的精细分类。另外，本发明实施例还可在将图像送入粗分类模块之前进行图像预处理，例如尺度变换、归一化等，以使预处理后的图像满足粗分类模块输入的要求。
42.如图5所示，本实施例粗分类模块是一种深度学习模型，用于与作业人员相关的局部特征关联区域小图的粗分类工作，该模型主要包括两类，一类为空闲(当前工人处于休息状态，未处于作业施工中)，一类是忙碌(当前工人正处于施工作业中)，本发明实施例可通
过如下方式对该深度学习模型进行训练，以训练完成的模型作为粗分类模块。
43.首先，将人员检测模块输出结果进行外扩处理后截取出一系列小图，作为当前模型的主要训练数据集，并按照忙碌和空闲分为两个类别，并对数据进行标注归类，标注后的数据集作为模型训练集；本实施例可对训练集进行数据预处理，以将图像转换为训练过程中可读的文件格式等；其次，本发明实施例中具体可利用cnn(convolutional neural networks，卷积神经网络)分类模型实现了二分类模型的训练。
44.本实施例对该二分类模型不断进行训练，并调优直至模型收敛，从而导出最优模型(粗分类模块或称为工种分类模块)。基于上述改进的技术方案，通过筛选出对应作业人员忙碌特征的特征关联区域图像，本发明实现对正在忙碌的作业人员进行针对性识别，所以本发明能够适用于多个工种同时作业的情况，即使对于多个不同的工种，本发明仍然能够达到非常高的识别精度，误识别可能性非常低，可见本发明能够适用于更多的场景。
45.步骤s20，通过对待识别图像中的施工作业特征进行特征检测的方式确定作业人员工种。本发明实现了通过与作业人员相关联的周围施工作业特征进行作业人员工种识别。
46.本发明实施例中通过对待识别图像中的施工作业特征进行特征检测的方式确定作业人员工种包括：通过对待识别图像中的施工作业特征进行特征检测确定待识别图像的特征标签(label)信息，将特征标签信息关联的工种作为作业人员工种。基于施工作业面所具有的细微局部特征，本发明在特征区域基础上对作业人员工种进行精细识别，从而实现一种基于关联特征区域的施工作业面上工种的细粒度识别方法，具有特征辨识度较强、误识别可能性非常低等优点。
47.更为具体地，本发明实施例通过对待识别图像中的施工作业特征进行特征检测确定待识别图像的特征标签信息可包括：对待识别图像中的施工作业特征进行特征检测，以得到工种要素特征；确定与工种要素特征相匹配的特征标签信息。本发明通过特征标签表征作业人员工种，以实现通过工种要素特征识别的方式达到人员工种识别的目的。
48.如图2所示，本发明实施例可通过作业面特征检测模块检测特征关联区域小图中是否包含特征工种所对应的要素特征，在包含要素特征时输出作业面特征标签，其中作业面特征标签例如可包括但不限于扎钢筋标签、支模板标签、浇筑混凝土标签、弹线标签、布水管标签等，从而实现确定该作业人员的工种信息。本实施例通过作业面特征检测模块输出标签以及将输出的标签赋给相应作业人员，实现通过作业面特征检测模块可输出该特征关联区域内对应的人员所对应的工种标签信息以及可输出人员所在位置。
49.如图6所示，本实施例的作业面特征检测模块是一种深度学习模型，并用于对粗分类模块输出的预测标签为忙碌的小图进一步判断是否具有某种工序相关的要素或物料特征，根据具体局部特征从小图中识别出到底是在进行什么作业，从而通过对应的标签确定作业人员工种，本实施例可通过如下方式对该深度学习模型进行训练，以训练完成的模型作为作业面特征检测模块。
50.首先，通过人员检测模块对正在忙碌的作业人员图像进行检测，并对人员检测模块输出结果进行外扩并截取出一系列小图，作为当前深度学习模型的训练集，并按照当前作业工种相关的物料要素特征进行标注，例如，支模板工种中主要的要素特征包括黑色或红色的木板，扎钢筋工种中主要的要素特征包括黑色的钢筋，并进行尽可能多的特征标注，
标注后的图像作为当前深度学习模型的训练集，本实施例可对训练集进行数据预处理，以将图像转换为训练过程中可读的文件格式等；其次，可利用训练集对预训练之后的深度学习网络进行训练，本发明实施例中的深度学习网络为yolo5框架，具体采用yolo5-m进行训练。本实施例通过成熟的检测框架对模型不断进行训练，并调优直至模型收敛，导出最优模型(作业面特征检测模块)。
51.相比于现有技术，本发明不需要对人员动作进行识别，而是通过筛选特征关联区域图像得到的待识别图像进行特征检测而确定作业人员工种。可见本发明实现过程不受作业人员动作或行为的影响，无需考虑区分作业过程中未知的施工动作或行为，即本发明实现了工种识别方案中去行为化的功能。另外，本发明所使用的样本量较小，仍能够达到较高的作业人员工种识别率。
52.如图3所示，本发明根据预设识别规则对多个特征关联区域图像进行识别，确定特征关联区域图像中的作业人员的工种，其第二种实施方式可包括但不限于步骤s11、步骤s21以及步骤s31。
53.步骤s11，通过第一特征识别模块对特征关联区域图像进行特征识别，得到第一识别结果；以及通过第二特征识别模块对特征关联区域图像进行特征识别，得到第二识别结果。本发明实施例可采用两个特征识别模块对特征关联区域图像并行地进行特征识别，即对特征关联区域小图同时进行检测分别输出第一识别结果res1和第二识别结果res2。其中，本实施例中的第一特征识别模块与第二特征识别模块并行设置，第一特征识别模块能够通过本发明第一种实施方式的粗分类模块(标签数量和种类将更多)实现，且第二特征识别模块能够通过本发明第一种实施方式的作业面特征检测模块实现，当然第一特征识别模块和第二特征识别模块均可采用作业面特征检测模块实现，本实施例对此不再进行赘述。
54.步骤s21，根据第一识别结果和第二识别结果确定特征关联区域图像的特征标签信息，以利用特征标签信息确定作业人员的工种。
55.具体地，本实施例根据第一识别结果和第二识别结果确定特征关联区域图像的特征标签信息包括：根据第一识别结果的置信度大于第一置信度阈值t1且第二识别结果的置信度大于第二置信度阈值t2，以及对应相同特征关联区域图像的第一识别结果与第二识别结果具有一致的预测标签信息；本实施例将一致的预测标签信息作为特征关联区域图像的特征标签信息。
56.以第一特征识别模块和第二特征识别模块分别为两个不同的作业面特征检测模块为例，第一识别结果res1的置信度大于第一置信度阈值t1，以及第二识别结果res2的置信度大于第二置信度阈值t2，而且第一识别结果res1的预测标签信息与第二识别结果res2的预测标签信息相同，则将该相同的预测标签信息作为特征关联区域图像的特征标签信息。对于所使用的两个不同的作业面特征检测模块，可使用相同的训练模型进行训练得到，也可采用不同的训练模型进行训练得到。
57.以第一特征识别模块和第二特征识别模块分别为粗分类模块和作业面特征检测模块为例，若由粗分类模块输出的第一识别结果res1的置信度大于第一置信度阈值t1，而且由作业面特征检测模块输出的第二识别结果res2的置信度大于第二置信度阈值t2，而且该第一识别结果res1中的预测标签信息与第二识别结果res2中的预测标签信息相一致(例如两个预测标签信息的相似度大于设定值)，则本发明实施例能够将作业面特征检测模块
输出的第二识别结果res2中的预测标签信息作为特征关联区域图像的特征标签信息。
58.步骤s31，将特征标签信息关联的工种作为作业人员的工种。
59.如图7所示，与作业人员工种识别的方法基于同一发明技术构思，本发明一个或多个实施例还能够提供一种作业人员工种识别的装置。
60.本发明提供的作业人员工种识别的装置包括但不限于目标检测单元、图像截取单元以及工种确定单元，具体说明如下。
61.目标检测单元，用于对输入图像进行目标检测，并用于基于目标检测结果确定输入图像中作业人员的位置信息。
62.可选地，本发明实施例的目标检测单元能够用于接收已采集的作业面图像，以及能够用于通过对作业面图像进行尺寸变换和归一化处理的方式得到输入图像；目标检测单元具体用于对输入图像进行人体目标检测。
63.图像截取单元，用于基于作业人员的位置信息从输入图像上截取特征关联区域图像，特征关联区域图像具有作业人员特征和施工作业特征。
64.可选地，本发明实施例的图像截取单元用于基于作业人员的位置信息确定输入图像上的第一特征区域，并用于对第一特征区域进行外扩处理，以得到包含第一特征区域的第二特征区域；本发明实施例的图像截取单元用于从输入图像上截取第二特征区域范围内的图像，以得到特征关联区域图像。
65.具体地，本发明实施例的图像截取单元能够用于获取第一特征区域的第一坐标信息，并可用于基于第一坐标信息和预设外扩系数确定第二坐标信息，以及用于利用第二坐标信息确定第二特征区域。
66.本发明一种具体实施方式中的工种确定单元可以包括但不限于图像筛选单元和特征检测单元。
67.图像筛选单元，用于根据作业人员特征对多个特征关联区域图像进行筛选，以确定待识别图像。
68.可选地，本发明实施例的图像筛选单元用于根据作业人员特征对多个特征关联区域图像进行二分类处理，并用于以与人员忙碌特征对应的特征关联区域图像作为待识别图像。
69.其中，作业人员特征包括人员忙碌特征和人员空闲特征。
70.特征检测单元，用于通过对待识别图像中的施工作业特征进行特征检测的方式确定作业人员工种。
71.可选地，本发明实施例的特征检测单元可用于通过对待识别图像中的施工作业特征进行特征检测确定待识别图像的特征标签信息，以及用于将特征标签信息关联的工种作为作业人员工种。
72.具体地，本发明实施例的特征检测单元可用于对待识别图像中的施工作业特征进行特征检测，以得到工种要素特征，特征检测单元用于确定与工种要素特征相匹配的特征标签信息。
73.本发明另一种具体实施方式中的工种确定单元可包括但不限于第一特征识别模块、第二特征检测模块以及工种确定模块。
74.通过第一特征识别模块对特征关联区域图像进行特征识别，得到第一识别结果；
以及通过第二特征识别模块对特征关联区域图像进行特征识别，得到第二识别结果；其中第一特征识别模块与第二特征识别模块并行设置。
75.工种确定模块用于根据第一识别结果和第二识别结果确定特征关联区域图像的特征标签信息，以及用于将特征标签信息关联的工种作为作业人员的工种。具体地，本实施例的工种确定模块用于根据第一识别结果的置信度大于第一置信度阈值且第二识别结果的置信度大于第二置信度阈值，以及对应相同特征关联区域图像的第一识别结果与第二识别结果具有一致的预测标签信息，将一致的预测标签信息作为特征关联区域图像的特征标签信息。
76.如图8所示，与作业人员工种识别的方法基于同一发明技术构思，本发明一个或多个实施例还能够提供一种计算机设备，计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行本发明任一实施例中作业人员工种识别的方法的步骤。其中，作业人员工种识别的方法的详细实现过程已在本说明书中有详细的记载，此处不再进行赘述。
77.如图8所示，与本发明的作业人员工种识别的方法基于同一发明技术构思，本发明一个或多个实施例还能够提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本发明任一实施例中作业人员工种识别的方法的步骤。其中，作业人员工种识别的方法的详细实现过程已在本说明书中有详细的记载，此处不再进行赘述。
78.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读存储介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram，random access memory)，只读存储器(rom，read-only memory)，可擦除可编辑只读存储器(eprom，erasable programmable read-only memory，或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom，compact disc read-only memory)。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
79.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga，programmable gate array)，现场可编程门阵列(fpga，field programmable gate array)等。
80.在本说明书的描述中，参考术语“本实施例”、“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
81.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
82.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明实质内容上所作的任何修改、等同替换和简单改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种作业人员工种识别的方法，其特征在于，包括：对输入图像进行目标检测，并基于目标检测结果确定所述输入图像中作业人员的位置信息；基于所述作业人员的位置信息从所述输入图像上截取特征关联区域图像，所述特征关联区域图像具有作业人员特征和施工作业特征；根据预设识别规则对多个特征关联区域图像进行识别，确定所述特征关联区域图像中的所述作业人员的工种。2.根据权利要求1所述的作业人员工种识别的方法，其特征在于，所述基于所述作业人员的位置信息从所述输入图像上截取特征关联区域图像包括：基于所述作业人员的位置信息确定所述输入图像上的第一特征区域；对所述第一特征区域进行外扩处理，以得到包含所述第一特征区域的第二特征区域；从所述输入图像上截取所述第二特征区域范围内的图像，以得到特征关联区域图像。3.根据权利要求2所述的作业人员工种识别的方法，其特征在于，所述对所述第一特征区域进行外扩处理包括：获取第一特征区域的第一坐标信息；基于所述第一坐标信息和预设外扩系数确定第二坐标信息；利用所述第二坐标信息确定第二特征区域。4.根据权利要求1所述的作业人员工种识别的方法，其特征在于，所述根据预设识别规则对多个特征关联区域图像进行识别，确定所述特征关联区域图像中的所述作业人员的工种，包括：根据作业人员特征对多个特征关联区域图像进行筛选，以确定待识别图像；通过对所述待识别图像中的施工作业特征进行特征检测的方式确定作业人员工种。5.根据权利要求4所述的作业人员工种识别的方法，其特征在于，所述根据作业人员特征对多个特征关联区域图像进行筛选包括：根据作业人员特征对所述多个特征关联区域图像进行二分类处理，以与人员忙碌特征对应的特征关联区域图像作为待识别图像；所述作业人员特征包括人员忙碌特征和人员空闲特征。6.根据权利要求4所述的作业人员工种识别的方法，其特征在于，所述通过对所述待识别图像中的施工作业特征进行特征检测的方式确定作业人员工种包括：通过对所述待识别图像中的施工作业特征进行特征检测确定所述待识别图像的特征标签信息；将所述特征标签信息关联的工种作为作业人员工种。7.根据权利要求6所述的作业人员工种识别的方法，其特征在于，所述通过对所述待识别图像中的施工作业特征进行特征检测确定所述待识别图像的特征标签信息包括：对所述待识别图像中的施工作业特征进行特征检测，以得到工种要素特征；确定与所述工种要素特征相匹配的特征标签信息。8.根据权利要求1所述的作业人员工种识别的方法，其特征在于，所述根据预设识别规则对多个特征关联区域图像进行识别，确定所述特征关联区域图像中的所述作业人员的工种，包括：
通过第一特征识别模块对特征关联区域图像进行特征识别，得到第一识别结果；以及通过第二特征识别模块对所述特征关联区域图像进行特征识别，得到第二识别结果；其中，所述第一特征识别模块与第二特征识别模块并行设置；根据所述第一识别结果和所述第二识别结果确定特征关联区域图像的特征标签信息；将所述特征标签信息关联的工种作为所述作业人员的工种。9.根据权利要求8所述的作业人员工种识别的方法，其特征在于，所述根据所述第一识别结果和所述第二识别结果确定特征关联区域图像的特征标签信息包括：根据第一识别结果的置信度大于第一置信度阈值且第二识别结果的置信度大于第二置信度阈值，以及对应相同特征关联区域图像的所述第一识别结果与所述第二识别结果具有一致的预测标签信息；将所述一致的预测标签信息作为所述特征关联区域图像的特征标签信息。10.根据权利要求1所述的作业人员工种识别的方法，其特征在于，所述对输入图像进行目标检测包括：接收已采集的作业面图像；通过对作业面图像进行尺寸变换和归一化处理的方式得到输入图像；对所述输入图像进行人体目标检测。11.一种作业人员工种识别的装置，其特征在于，包括：目标检测单元，用于对输入图像进行目标检测，并用于基于目标检测结果确定所述输入图像中作业人员的位置信息；图像截取单元，用于基于所述作业人员的位置信息从所述输入图像上截取特征关联区域图像，所述特征关联区域图像具有作业人员特征和施工作业特征；工种确定单元，用于根据预设识别规则对多个特征关联区域图像进行识别，确定所述特征关联区域图像中的所述作业人员的工种。12.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1-10中任一项权利要求所述作业人员工种识别的方法的步骤。13.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-10中任一项权利要求所述作业人员工种识别的方法的步骤。

技术总结
本发明能够提供作业人员工种识别的方法、装置、计算机设备及存储介质，其中作业人员工种识别的方法包括：对输入图像进行目标检测，并基于目标检测结果确定输入图像中作业人员的位置信息；基于作业人员位置信息从输入图像上截取特征关联区域图像，特征关联区域图像具有作业人员特征和施工作业特征；根据预设识别规则对多个特征关联区域图像进行识别，确定特征关联区域图像中的作业人员工种。本发明基于人员的位置信息截取特征关联区域图像，并对通过筛选特征关联区域图像得到的待识别图像进行特征检测而确定工种，可见本发明采用了有针对性地对关联区域的特征进行检测的方式达到工种识别的目的，具有识别精度更高、识别效果更好等突出优点。更好等突出优点。更好等突出优点。


技术研发人员：武晓敏 段志伟 刘明 阳化
受保护的技术使用者：广联达科技股份有限公司
技术研发日：2022.01.25
技术公布日：2023/8/5