目标行为检测方法、装置、设备及存储介质与流程

1.本技术涉及图像处理的技术领域，尤其是涉及一种目标行为检测方法、装置、设备及存储介质。


背景技术：

2.吸烟有危害，不仅危害人体健康，还会对社会产生不良的影响。任何有组织生物体只要还有生命迹象就必须要呼吸，呼出体内的二氧化碳，吸入空气中的氧气，进行新陈代谢，以维持正常的生命活动。不吸烟的人，每天都能吸入大量的新鲜空气；而经常吸烟的人，吸入的不是新鲜空气，而是被烟雾污染的有毒气体。
3.对于一些特殊场所，例如，医院、学校、酒店以及地铁等地方，吸烟行为是不被允许的，需要对处于以上场所内的人们的行为进行检测，判断是否存在吸烟行为。
4.在实现本技术的过程中，发明人发现该技术中至少存在如下问题：一般来说，现有技术是通过烟雾检测装置或是红外检测装置对检测范围内的吸烟动作进行检测，但是上述两种方法只能在香烟已经点燃的状态下才能检测成功，香烟未点燃的情况下无法进行识别。


技术实现要素：

5.为了增加吸烟行为检测的检测场景，本技术提供的一种目标行为检测方法、装置、设备及存储介质。
6.第一方面，本技术提供一种目标行为检测方法，采用如下的技术方案：所述方法包括：获取初始图像数据；对所述初始图像数据进行目标行为检测，得到目标行为检测结果；根据所述目标行为检测结果对所述目标行为进行分类。
7.通过上述技术方案，目标行为检测系统在获取到初始图像数据后，判断其中是否存在目标行为，也即为吸烟动作，通过图像检测、识别技术对检测区域内的吸烟动作进行检测，使得即便是香烟未能点燃，目标行为检测系统也能够准确识别，提升了吸烟行为检测能力。
8.在一个具体的可实施方案中，所述对所述初始图像数据进行目标行为检测，得到目标行为检测结果，具体包括：将所述初始目标图像输入至预设的目标检测模型的第一层；利用所述目标检测模型判断所述初始图像数据中是否为人物图像；若所述初始图像数据中的存在人物图像，则对所述初始图像数据中的人物图像进行截取，获得目标图像数据，所述目标图像数据即为人物图像；对所述目标图像数据进行目标行为检测，得到目标行为检测结果。
9.通过上述技术方案，目标行为检测系统在获取到初始图像数据后，首先判断初始图像数据中是否存在人物图像，一般来说，吸烟动作的执行者是人，因此，将初始图像数据
中包含人物像素的图像数据筛选出来，并对筛选出来的图像数据进行识别，因为对于吸烟行为检测来说，不包含人物像素的图像数据是无效图像数据，目标行为检测系统将初始图像数据中的无效图像数据剔除，有助于降低目标行为检测系统吸烟行为检测的工作量，进而提升目标行为检测系统的工作效率。
10.在一个具体的可实施方案中，所述对所述目标图像数据进行目标行为检测，得到目标行为检测结果，具体包括：将所述目标图像数据输入至所述目标检测模型的第二层；利用所述目标检测模型对所述目标图像数据进行检测，判断所述目标图像数据中是否存在目标行为标签；若存在，则计算所述目标行为标签对应的行为置信度；将所述行为置信度与预设的置信度阈值进行对比；若所述行为置信度达到所述置信度阈值，则判定所述目标图像数据中存在目标行为；若所述行为置信度未达到预设的置信度阈值，则评估所述目标图像数据是否满足判断规则；若所述目标图像数据满足所述判断规则，则根据所述判断规则确定第一置信度实际增加量；根据所述第一置信度实际增加量修正所述行为置信度，确定第一最终置信度；判断所述第一最终置信度是否达到所述置信度阈值；若所述第一最终置信度达到所述置信度阈值，则判定所述目标图像数据中存在目标行为。
11.通过上述技术方案，目标行为检测系统首先判断目标图像数据中是否存在目标行为标签，其中，目标行为标签是与吸烟行为相关的物体，并计算目标行为标签对应的置信度，利用置信度与置信度阈值之间的比较结果，判断目标图像数据中是否存在目标行为。
12.在一个具体的可实施方案中，所述判断规则至少包括第一距离规则、第二距离规则以及第三距离规则，所述评估所述目标图像数据是否满足判断规则，具体包括：确定所述目标图像数据中的目标物体位置信息；根据所述目标物体位置信息分别计算第一距离、第二距离以及第三距离；将所述第一距离、第二距离以及第三距离分别记为d1、d2以及d3；获取头部区域检测框的宽度数值，将所述宽度数值记为len(w)；若d1≤a*len(w)，则将判定第一距离规则成立；若d2≤b*len(w)，则将判定第二距离规则成立；若d3≤c*len(w)，则将判定第三距离规则成立；其中，a、b、c均为预设的参数值。
13.通过上述技术方案，目标行为检测系统在判定目标图像数据中目标行为证据不充分的情况下，会根据目标图像信息中的目标物体位置信息计算第一距离、第二距离以及第三距离，并根据计算得到的距离数值与目标图像数据中的头部区域检测框的宽度数值的比较结果，评估目标图像数据是否满足判断规则，若是满足，则目标行为检测系统会对应修改目标行为标签的置信度，有助于目标行为检测系统尽可能的检测出目标图像数据中的目标行为。
14.在一个具体的可实施方案中，在所述利用所述目标检测模型对所述目标图像数据
进行检测，判断所述目标图像数据中是否存在目标行为标签之后，还包括：若不存在，则分别判断所述第一距离规则、第二距离规则以及第三距离规则是否成立，得到判断结果；根据所述判断结果计算第二置信度实际增加量；根据所述第二置信度实际增加量对所述行为置信度进行修正，得到第二最终置信度；判断所述第二最终置信度是否达到所述置信度阈值；若所述第二最终置信度达到所述置信度阈值，则判定所述目标图像数据中存在目标行为。
15.通过上述技术方案，目标行为检测系统没有预测到目标行为标签时，同样会根据与吸烟行为相关的目标物体对目标图像数据中的是否存在目标行为进行再次判断，进一步提升目标行为检测系统检测出目标图像数据中的目标行为的可能性。
16.在一个具体的可实施方案中，所述目标检测模型的构建，具体包括：采集样本图像数据；对所述样本图像数据进行筛选，保留有效样本图像数据；对所述有效样本图像数据进行标记，若干标记后的有效样本图像数据生成初始训练集；对所述初始训练集中的有效样本图像数据进行数据增强处理，生成样本训练集；利用所述样本数据集对预设的初始目标检测模型进行训练，得到目标检测模型。
17.通过上述技术方案，目标行为检测系统利用数据增强等操作提升样本训练集中的样本数量与多样性，进而有助于提高目标检测模型的鲁棒性和泛化能力。
18.在一个具体的可实施方案中，所述初始目标检测模型的构建，具体包括：获取预训练模型，所述预训练模型至少包括标准输出层；对所述预训练模型对应的输出层进行更换，生成初始目标检测模型。
19.通过上述技术方案，目标行为检测系统对于预训练模型的输出层进行修改，使得生成的初始目标检测模型的参数以及结构更加符合吸烟行为检测的实际情况，进而提升了目标检测模型的识别精度与检测速度。
20.第二方面，本技术提供一种目标行为检测装置，采用如下技术方案：所述装置包括：图像数据获取模块，用于获取初始图像数据；检测结果生成模块，用于对所述初始图像数据进行目标行为检测，得到目标行为检测结果；目标行为分类模块，用于根据所述目标行为检测结果对所述目标行为进行分类。
21.第三方面，本技术提供一种计算机设备，采用如下技术方案：包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如上述任一种目标行为检测方法的计算机程序。
22.第四方面，本技术提供一种计算机可读存储介质，采用如下技术方案：存储有能够被处理器加载并执行上述任一种目标行为检测方法的计算机程序。
23.综上所述，本技术包括以下至少一种有益技术效果：1.目标行为检测系统在获取到初始图像数据后，判断其中是否存在目标行为，也即为吸烟动作，通过图像检测、识别技术对检测区域内的吸烟动作进行检测，使得即便是香
烟未能点燃，目标行为检测系统也能够准确识别，提升了吸烟行为检测能力；2.目标行为检测系统在获取到初始图像数据后，首先判断初始图像数据中是否存在人物图像，一般来说，吸烟动作的执行者是人，因此，将初始图像数据中包含人物像素的图像数据筛选出来，并对筛选出来的图像数据进行识别，因为对于吸烟行为检测来说，不包含人物像素的图像数据是无效图像数据，目标行为检测系统将初始图像数据中的无效图像数据剔除，有助于降低目标行为检测系统吸烟行为检测的工作量，进而提升目标行为检测系统的工作效率。
附图说明
24.图1是本技术实施例中用于展示目标行为分类的步骤流程图。
25.图2是本技术实施例中目标行为检测方法的流程图。
26.图3是本技术实施例中用于展示目标行为检测的步骤流程图。
27.图4是本技术实施例中目标行为检测装置的结构框图。
28.附图标记：301、图像数据获取模块；302、检测结果生成模块；303、目标行为分类模块。
具体实施方式
29.以下结合附图1-4对本技术作进一步详细说明。
30.本技术实施例公开一种目标行为检测方法。该方法应用于目标行为检测系统，本方法对应的程序代码预先存储在目标行为检测系统的控制中心内。如图1所示，目标行为检测系统对目标行为(吸烟、打电话)检测划分为三个阶段。第一阶段中，目标行为检测系统使用目标检测算法将待检测图像中的所有人员截取出来，使得目标行为检测范围由整幅图像缩小到人像区域附近；第二阶段中，考虑吸烟时，头、手、香烟、手机之间的位置关系存在一定约束条件，通过自制的训练数据集对设计的目标检测算法进行训练，将目标行为筛选出来；第三阶段中，针对自制数据集有效训练样本不足，容易导致过拟合的分类问题，采用迁移学习的预训练分类模型，实现对吸烟、打电话、既打电话又吸烟行为进行判别、确认。
31.如图2所示，该方法包括以下步骤：s10，获取初始图像数据。
32.具体来说，目标行为检测系统在是用于对检测区域内的吸烟行为进行识别、检测，为了更好的获取图像资源，本实施例中，目标行为检测系统可以控制预先设置在检测区域内的图像采集设备实时采集图像数据，图像采集设备可以为照相机，从而，采集到的初始图像数据可以是检测区域的照片；图像采集设备还可以为摄像机，从而采集到的初始图像数据可以是检测区域的视频。当图像采集设备是照相机时，目标行为检测系统可以每隔一段时间，调用照相机对检测区域进行拍照，例如，每隔10分钟，或者是20分钟，对检测区域进行拍照，得到检测区域的图像数据，也即为初始图像数据。
33.当图像采集设备是摄像机时，目标行为检测系统可以在吸烟行为检测流程开始之后，一直对检测区域进行图像采集，从而得到检测区域的视频。若是获取到的初始图像数据为视频格式，那么目标行为检测系统会对视频数据进行拆帧处理，需要说明的是，考虑到吸烟行为与人的关联性以及连续视频帧之间的数据冗余性，目标行为检测系统在进行拆帧操
作时，会每隔几帧采集一个帧图像作为初始图像数据，具体间隔的帧数可以由工作人员根据实际情况进行设定，同时也可以为目标行为检测系统的默认值。
34.s20，对初始图像数据进行目标行为检测，得到目标行为检测结果。
35.具体来说，目标检测结果为初始图像数据中是否存在目标行为的图像内容，本实施例中，目标行为可以为吸烟行为、打电话行为，由于吸烟行为与打电话行为中的动作主要集中在人体的头部区域与手部区域，两者之间的相似性极高，并且这里对于图像数据中的目标行为检测是一个粗略的识别，因此，本实施例中目标行为将打电话行为包含在内，以便于提升最终吸烟行为检测结果的精确度。
36.s30，根据目标行为检测结果对目标行为进行分类。
37.具体来说，目标行为主要有吸烟行为与打电话行为这两种，根据组合原理，这两者总计有三种组合方案，分别为图像数据中的人仅仅在吸烟，或是仅仅在打电话，或是吸烟、打电话同时在进行，由于在对图像数据进行粗略的目标行为检测时，图像数据中的人可能既不在吸烟，也不在打电话，因此，分类结果中还有这个类别，共计四种类别，目标行为检测系统利用图像识别技术对检测区域内的吸烟行为进行识别，即便当前香烟的状态为未点燃，目标行为检测系统也能够准确识别，丰富了吸烟行为检测的情形。
38.在一个实施例中，为了提升目标行为检测系统检测图像数据中的吸烟行为的效率，对初始图像数据进行目标行为检测，得到目标行为检测结果，具体可以执行为以下步骤：目标行为检测系统在获取到由图像获取设备采集到的初始图像设备后，会将初始目标图像输入至预设的目标检测模型的第一层，目标检测模型首先会对初始图像中是否存在人像内容进行判断，因为，无论是吸烟动作还是打电话动作，动作的执行者均为人，因此当一幅图像数据中不存在人像内容时，那么这幅图像中也不可能出现吸烟或是打电话的行为，目标行为检测系统将不存在人像内容的初始图像数据剔除，并且对于存在人像内容的初始图像数据，目标检测模型会对其中的人物像素进行识别，识别出其中的人像内容，继而根据人像内容对初始图像数据进行截取，获得目标图像数据，其中，目标图像数据即为初始图像数据中的人物图像，后续目标行为检测系统对于目标行为的检测识别则基于目标图像数据进行，使得目标行为检测系统在保留存在目标行为可能的图像像素的情况下，剔除由于图像背景干扰带来的漏检和误检的问题，对后续目标行为的检测起到优化作用。
39.在一个实施例中，为了在目标图像数据中较为准确地检测出目标行为，对目标图像数据进行目标行为检测，得到目标行为检测结果，具体可以执行为以下步骤：如图3所示，目标行为检测系统在从初始图像数据中截取到目标图像数据之后，会将目标图像数据输入至预设的目标检测模型的第二层，利用目标检测模型对目标图像数据进行检测，判断目标图像数据中是否存在目标行为标签，具体来说，当目标图像数据中存在与目标行为相关的像素区域，那么目标行为检测系统即会向目标图像数据添加目标行为标签，其中，与目标行为相关的像素区域主要是指目标图像数据中存在目标物体，本实施例中，目标物体至少包括人体的手部、头部、香烟以及手机；需要说明的是，这里只是对目标图像数据内的目标行为进行识别，并不对目标行为进行区分，也就是说，目标行为检测系统在识别到吸烟行为或是打电话行为时，不对其进行具体的区分，将它们统一认定为是目标行为，继而计算目标行为标签对应的行为置信度，这里所说的行为置信度本质是一种的识别
置信度，识别置信度可以与目标行为标签相关联地存储在存储器中；接下来，目标行为检测系统会将计算得到的行为置信度与预设的置信度阈值进行对比，若是行为置信度达到了预设置信度阈值，那么目标行为检测系统会直接判定目标图像数据中存在目标行为，由于这里的目标行为中包括打电话这一行为，因此，即便是目标行为检测系统判定目标图像数据中存在目标行为，也不一定说明检测区域内存在人员吸烟，对于吸烟行为的判定需要在进一步的检测、分类。
40.若是计算得到的行为置信度未达到预设的置信度阈值，那么表示目标行为检测系统无法判定目标图像数据中确实存在目标行为内容，并不代表目标图像数据中确实不存在目标行为，此时目标行为检测系统会评估目标图像数据是否满足判断规则来帮助对目标行为的识别，其中，判断规则包括第一距离规则、第二距离规则以及第三距离规则，一旦目标检测模型在目标图像数据中识别出目标物体时，目标行为检测系统会对其进行标注，也即为目标图像数据中出现手部、头部、香烟以及手机等目标时，目标行为检测系统会标记其边界框，使得目标物体所在像素能够完全位于对应的边界框内，并设定相应的类别标签，除此之外，目标行为检测系统还会确定目标物体在目标图像数据中的位置信息以及目标物体对应的置信度数据，为了将目标物体对应的置信度与目标行为对应的置信度进行区分，本技术将目标物体对应的置信度重新命名为物体置信度，将目标行为对应的置信度设为行为置信度。
41.目标行为检测系统根据获取到的目标物体的位置信息计算第一距离、第二距离以及第三距离，其中，第一距离是指人体中的头部与香烟或是电话之间的距离，第二距离是指人体中的手部与香烟或是电话之间的距离，第三距离是指人体中的手部与头部之间的距离，需要说明的是，为了提升上述距离数值的准确度，在计算距离数值时，目标行为检测系统可以利用目标物体所在边界框的中心点进行计算，以计算第一距离为例进行说明，目标行为检测系统将人体头部所在边界框的中心点与香烟(电话)所在边界框的中心点之间的距离作为第一距离，第二距离与第三距离同理，计算方式同第一距离的计算方法一致，这里就不再重复说明，并且为了便于后面的阐述，本实施例中，分别将第一距离、第二距离与第三距离设为d1、d2与d3。其次，由于目标图像数据中的像素之间的绝对距离会随着图像尺寸变化而变化，因此目标行为检测系统获取人体头部所在边界框的宽度数值作为参考距离，并记为len(w)，依次将d1、d2、d3与len(w)进行对比，具体来说，若是d1≤a*len(w)，那么目标行为检测系统判定第一距离规则成立；若是d2≤b*len(w)，那么目标行为检测系统判定第二距离规则成立；若是d3≤c*len(w)，那么目标行为检测系统判定第三距离规则成立；其中，a、b、c均值目标行为检测系统中预先存储的参数值，由工作人员根据实际情况进行设定。
42.当目标图像数据满足判断规则中的某一条距离规则时，目标行为检测系统即会根据该条距离规则对应的第一置信度实际增加量，第一置信度实际增加量也就是指在原本的行为置信度上增加的置信度数值，不同的距离规则对应不同的第一置信度实际增加量，本实施例中，将第一距离规则对应的第一置信度实际增加量记为p1，将第二距离规则对应的第一置信度实际增加量记为p2，将第三距离规则对应的第一置信度实际增加量记为p3，p1、p2与p3的真实数值由工作人员根据经验设置，但是需要说明的是，第一距离规则的重要性高于第二距离规则的重要性，第二距离规则的重要性高于第三距离规则的重要性，从而，在
数值方面，p1＞＞p2＞＞p3，另外出于归一化的考虑，三个距离规则同时成立的时候，p1+p2+p3＝1需要成立。
43.目标行为检测系统根据第一置信度实际增加量修正当前的行为置信度，确定第一最终置信度，其中，行为置信度的修正公式，也即为第一最终置信度的计算公式如下：其中，p为第一最终置信度，δpi＝pi(某条距离规则成立)，或是δpi＝0(某条距离规则不成立)，若是修正后行为置信度达到了预设的置信度阈值，那么目标行为检测系统能够直接判定目标图像数据中存在目标行为。
44.目标行为检测系统在无法准确的判断目标行为存在与否的情况下，通过相关的判断规则修正行为置信度，并按照修正后的行为置信度对目标行为是否存在进行再次判定，提升了目标行为检测系统对于目标行为检测的准确程度，进一步降低了目标行为漏检、误检的可能性。
45.在一个实施例中，为了进一步降低了目标图像数据中的目标行为漏检、误检的可能性，在利用目标检测模型对目标图像数据进行检测，判断目标图像数据中是否存在目标行为标签之后，还可以执行为以下步骤：若是目标行为检测系统无法在目标图像数据中检测到目标行为标签，也即为行为置信度为0，那么目标行为检测系统会判断目标图像数据是否满足判断规则，判断目标图像数据是否满足判断规则的方法与上述判断方法一致，这里就不再赘述，目标行为检测系统通过判断结果对行为置信度进行修正，得到第二最终置信度，然后，将得到的第二最终置信度与置信度阈值进行对比，以获知目标图像数据中的目标行为的存在与否。需要说明的是，本次行为置信度的修正方式如下：其中，p
′
为第二最终置信度。
46.目标行为检测系统利用距离规则在目标图像数据由于模糊等原因而造成最初的行为置信度为0的情况下，实现了再一次对目标行为进行检测，进而有助于进一步降低了目标图像数据中的目标行为漏检、误检的可能性。
47.在一个实施例中，为了提升目标检测模型与目标行为检测的适配性，目标检测模型的构建，可以执行为以下步骤：目标行为检测系统首先获取预训练模型，本实施例中，从实用性角度进行综合考虑，以检测算法可以部署到市面上绝大多数中等以上算力的边缘计算设备为目标，本实施例中，预训练模型可以为轻量级的mobilenet v2，其中，mobienet系列模型是谷歌公司针对手机等嵌入式设备提出的轻量级深层神经网络，用于支持在个人移动设备上实现分类，检测功能的神经网络模型，首先利用现有的图像样本数据库imagenet对预训练模型进行训练，得到识别效果较好的模型权重，由于imagenet数据库是图像分类领域的有质量控制和人为标注的大型数据库，通过imagenet数据库训练过的深度卷积神经网络结构，也即为预训练模型，其结构参数与其他分类数据和图像检测任务有很高的关联性。因此，将训练后的预训练模型迁移到针对吸烟、打电话行为分类的分类任务中，模型训练时收敛速度会大大加快，即便是吸烟、打电话行为样本数据量较少的情况下，模型能够获得较高的收敛精度。
48.需要说明的是，本实施例中，预训练模型主要包括三个部分，分别是输入层、中间层以及输出层，输入层主要是用来获取卷积神经网络的原始输入，中间层至少包括卷积层、激活层以及池化层，其中，卷积层是用来从原始输入对应的全局特征图中提取局部特征，激活层主要是用来将卷积层的输出结果进行非线性映射，层化层的主要作用是进一步筛选特征，有效的减少后续网络层次所需的参数数量；输出层至少包括全连接层与softmax层，全连接层的作用主要是整合卷积层或是池化层中具有类别区分性的局部信息，softmax层主要是用来将神经网络的输出结果进行再一次的换算，具体来说，就是将输出结果用概率的形式不表现出来。
49.在利用imagenet数据库对预训练模型进行训练后，目标行为检测系统会将预训练模型中的全连接层和softmax层替换为用于分类吸烟、打电话行为状态的输出为3个神经元的的全连接层，值得一提的是，用于替换的全连接层中使用logistic方法对分类结果进行概率映射，也即为输出层的激活函数使用sigmoid函数，生成的神经网络模型即为初始目标检测模型，其中，初始目标检测模型的分类结果为3种，分别为目标图像数据中存在人员吸烟，目标图像数据中存在人员在打电话，目标图像数据中存在人员在吸烟的同时，也在打电话。
50.接下来，目标行为检测系统会利用自建的吸烟、打电话行为数据集训练该初始目标检测模型，经过训练后的初始目标检测模型即为目标检测模型；其中，吸烟、打电话行为数据集的自建过程如下：目标行为检测系统首先会采集样本图像数据，样本数据的采集方法是数据采集的方法是在不同的环境(如室内、室外的不同地点)和光照条件下(白天或夜间光照变化情况下)对人的行为进行录像，录制不同的人正在吸烟、打电话的行为视频，录像时也要考虑一定程度的拍摄角度变化和人体姿态变化。另外，目标行为检测系统还可以从网上下载相关图像作为训练样本。
51.若是采集到的样本图像数据为视频，目标行为检测系统会对样本数据进行筛选，同样是考虑到目标行为和人的关联性以及连续视频帧之间的冗余，数据筛选的方法是对视频文件每隔几帧采集1帧作为有效样本图像数据，对于图像文件，目标行为检测系统保留其中的人像作为有效样本图像数据。然后，对有效样本图像数据进行标注，具体来说，一方面要标注有效样本图像数据中的行为信息，框定包含人员和目标行为相关像素的一个适当大小的图像区域，如人员发生吸烟、打电话行为，则相应的类别标签设定为吸烟、打电话，否则视为正常行为。另一方面还需要标注与吸烟、打电话相关的目标信息，即图像中出现头、手、香烟、手机等目标时，标记其边界框，并相应地设定类别标签为头、手、香以及手机，若干被标注过的样本图像数据形成初始样本训练集。
52.此外，为提高目标检测模型的鲁棒性和泛化能力，目标行为检测系统还可以使用数据增强的方法来进一步增加参与训练的有效样本图像数据的数量和多样性。对于上述已经标注过的有效样本图像数据，目标行为检测系统通过图像缩放、水平镜像翻转、随机调整亮度和色调等操作来达到数据增强的目的，进而丰富了初始样本训练集，有助于提升初始目标检测模型的训练效果，继而提高目标检测模型中目标行为检测与分类的准确度。
53.图1为一个实施例中目标行为检测方法的流程示意图。应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的
顺序依次执行；除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行；并且图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
54.基于上述方法，本技术实施例还公开一种目标行为检测装置。
55.如图4所示，该装置包括以下模块：图像数据获取模块301，用于获取初始图像数据；检测结果生成模块302，用于对初始图像数据进行目标行为检测，得到目标行为检测结果；目标行为分类模块303，用于根据目标行为检测结果对目标行为进行分类。
56.在一个实施例中，检测结果生成模块302，还用于将初始目标图像输入至预设的目标检测模型的第一层；利用目标检测模型判断初始图像数据中是否为人物图像；若初始图像数据中的存在人物图像，则对初始图像数据中的人物图像进行截取，获得目标图像数据，目标图像数据即为人物图像；对目标图像数据进行目标行为检测，得到目标行为检测结果。
57.在一个实施例中，检测结果生成模块302，还用于将目标图像数据输入至目标检测模型的第二层；利用目标检测模型对目标图像数据进行检测，判断目标图像数据中是否存在目标行为标签；若存在，则计算目标行为标签对应的行为置信度；将行为置信度与预设的置信度阈值进行对比；若行为置信度达到置信度阈值，则判定目标图像数据中存在目标行为；若行为置信度未达到预设的置信度阈值，则评估目标图像数据是否满足判断规则；若目标图像数据满足判断规则，则根据判断规则确定第一置信度实际增加量；根据第一置信度实际增加量修正行为置信度，确定第一最终置信度；判断第一最终置信度是否达到置信度阈值；若第一最终置信度达到置信度阈值，则判定目标图像数据中存在目标行为。
58.在一个实施例中，检测结果生成模块302，还用于确定目标图像数据中的目标物体位置信息；根据目标物体位置信息分别计算第一距离、第二距离以及第三距离；将第一距离、第二距离以及第三距离分别记为d1、d2以及d3；获取头部区域检测框的宽度数值，将宽度数值记为len(w)；若d1≤a*len(w)，则将判定第一距离规则成立；若d2≤b*len(w)，则将判定第二距离规则成立；若d3≤c*len(w)，则将判定第三距离规则成立；其中，a、b、c均为预设的参数值。
59.在一个实施例中，检测结果生成模块302，还用于若不存在，则分别判断第一距离规则、第二距离规则以及第三距离规则是否成立，得到判断结果；
根据判断结果计算第二置信度实际增加量；根据第二置信度实际增加量对行为置信度进行修正，得到第二最终置信度；判断第二最终置信度是否达到置信度阈值；若第二最终置信度达到置信度阈值，则判定目标图像数据中存在目标行为。
60.在一个实施例中，目标行为分类模块303，还用于采集样本图像数据；对样本图像数据进行筛选，保留有效样本图像数据；对有效样本图像数据进行标记，若干标记后的有效样本图像数据生成初始训练集；对初始训练集中的有效样本图像数据进行数据增强处理，生成样本训练集；利用样本数据集对预设的初始目标检测模型进行训练，得到目标检测模型。
61.在一个实施例中，目标行为分类模块303，还用于获取预训练模型，预训练模型至少包括标准输出层；对预训练模型对应的输出层进行更换，生成初始目标检测模型。
62.本技术实施例还公开一种计算机设备。
63.具体来说，该计算机设备包括存储器和处理器，存储器上存储有能够被处理器加载并执行上述目标行为检测方法的计算机程序。
64.本技术实施例还公开一种计算机可读存储介质。
65.具体来说，该计算机可读存储介质，其存储有能够被处理器加载并执行如上述目标行为检测方法的计算机程序，该计算机可读存储介质例如包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
66.本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

技术特征：
1.一种目标行为检测方法，其特征在于，所述方法包括：获取初始图像数据；对所述初始图像数据进行目标行为检测，得到目标行为检测结果；根据所述目标行为检测结果对所述目标行为进行分类。2.根据权利要求1所述的方法，其特征在于，所述对所述初始图像数据进行目标行为检测，得到目标行为检测结果，具体包括：将所述初始目标图像输入至预设的目标检测模型的第一层；利用所述目标检测模型判断所述初始图像数据中是否为人物图像；若所述初始图像数据中的存在人物图像，则对所述初始图像数据中的人物图像进行截取，获得目标图像数据，所述目标图像数据即为人物图像；对所述目标图像数据进行目标行为检测，得到目标行为检测结果。3.根据权利要求1所述的方法，其特征在于，所述对所述目标图像数据进行目标行为检测，得到目标行为检测结果，具体包括：将所述目标图像数据输入至所述目标检测模型的第二层；利用所述目标检测模型对所述目标图像数据进行检测，判断所述目标图像数据中是否存在目标行为标签；若存在，则计算所述目标行为标签对应的行为置信度；将所述行为置信度与预设的置信度阈值进行对比；若所述行为置信度达到所述置信度阈值，则判定所述目标图像数据中存在目标行为；若所述行为置信度未达到预设的置信度阈值，则评估所述目标图像数据是否满足判断规则；若所述目标图像数据满足所述判断规则，则根据所述判断规则确定第一置信度实际增加量；根据所述第一置信度实际增加量修正所述行为置信度，确定第一最终置信度；判断所述第一最终置信度是否达到所述置信度阈值；若所述第一最终置信度达到所述置信度阈值，则判定所述目标图像数据中存在目标行为。4.根据权利要求3所述的方法，其特征在于，所述判断规则至少包括第一距离规则、第二距离规则以及第三距离规则，所述评估所述目标图像数据是否满足判断规则，具体包括：确定所述目标图像数据中的目标物体位置信息；根据所述目标物体位置信息分别计算第一距离、第二距离以及第三距离；将所述第一距离、第二距离以及第三距离分别记为d1、d2以及d3；获取头部区域检测框的宽度数值，将所述宽度数值记为len(w)；若d1≤a*len(w)，则将判定第一距离规则成立；若d2≤b*len(w)，则将判定第二距离规则成立；若d3≤c*len(w)，则将判定第三距离规则成立；其中，a、b、c均为预设的参数值。5.根据权利要求4所述的方法，其特征在于，在所述利用所述目标检测模型对所述目标图像数据进行检测，判断所述目标图像数据中是否存在目标行为标签之后，还包括：
若不存在，则分别判断所述第一距离规则、第二距离规则以及第三距离规则是否成立，得到判断结果；根据所述判断结果计算第二置信度实际增加量；根据所述第二置信度实际增加量对所述行为置信度进行修正，得到第二最终置信度；判断所述第二最终置信度是否达到所述置信度阈值；若所述第二最终置信度达到所述置信度阈值，则判定所述目标图像数据中存在目标行为。6.根据权利要求2所述的方法，其特征在于，所述目标检测模型的构建，具体包括：采集样本图像数据；对所述样本图像数据进行筛选，保留有效样本图像数据；对所述有效样本图像数据进行标记，若干标记后的有效样本图像数据生成初始训练集；对所述初始训练集中的有效样本图像数据进行数据增强处理，生成样本训练集；利用所述样本数据集对预设的初始目标检测模型进行训练，得到目标检测模型。7.根据权利要求6所述的方法，其特征在于，所述初始目标检测模型的构建，具体包括：获取预训练模型，所述预训练模型至少包括标准输出层；对所述预训练模型对应的输出层进行更换，生成初始目标检测模型。8.一种目标行为检测装置，其特征在于，所述装置包括：图像数据获取模块(301)，用于获取初始图像数据；检测结果生成模块(302)，用于对所述初始图像数据进行目标行为检测，得到目标行为检测结果；目标行为分类模块(303)，用于根据所述目标行为检测结果对所述目标行为进行分类。9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。10.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。

技术总结
本申请涉及一种目标行为检测方法、装置、设备及存储介质，应用在图像处理领域，其中方法包括：获取初始图像数据；对所述初始图像数据进行目标行为检测，得到目标行为检测结果；根据所述目标行为检测结果对所述目标行为进行分类。本申请具有的技术效果是：增加了吸烟行为检测的检测场景。行为检测的检测场景。行为检测的检测场景。


技术研发人员：贾高阳 邵新庆 姚柏存
受保护的技术使用者：江苏润和软件股份有限公司
技术研发日：2023.04.25
技术公布日：2023/8/9