基于时空特征的行为检测方法及系统

1.本发明涉及计算机视觉技术领域，具体涉及一种基于时空特征的行为检测方法及系统。


背景技术：

2.非自杀性自伤行为(non-suicide self-injury,nssi)是指在没有自杀意图的情况下，直接、重复地故意破坏自己的身体，其典型行为包括割伤、严重抓伤、烧伤、咬伤、殴打、攀爬等。及时识别并有效干预自伤行为可以降低有潜在自杀风险的患者的自杀率，其中视觉检测具有良好的时效性，可以捕捉到行为细节，从而采取适当的干预方法。目前，law等人开发了一个监狱异常行为检测系统，可以通过监控摄像头检测囚犯的异常行为，如聚集、跌倒、自残和打架，以改善囚犯的安全和处理紧急情况。然而，收集异常事件的标记数据成本很高。因此，广泛采用的方法是在正常训练数据上训练模型，在异常视频数据上测试模型。pawar等人通过使用管道式深度自动编码器和单类学习，解决了监控视频中异常事件的检测和定位问题。然而，该方法只能用于检测异常情况，无法获得异常情况的类型。此外，目前用于非自杀性自伤行为识别的数据源，主要包括图片和文本，不能基于视频数据检测和识别非自杀性自伤行为，不便于及时发现并有效预防nssi，不能降低具有潜在自杀风险的患者的自杀率。


技术实现要素：

3.本发明的目的在于克服上述缺点而提出了一种能及时发现并有效预防非自杀性自伤行，视频数据驱动的基于时空特征的行为检测方法及系统。
4.本发明的一种基于时空特征的行为检测方法，其中：该方法包括如下步骤：
5.步骤1、制作行为数据集：从可实施性和典型性的角度，将非自杀性自伤行为nssi分为四类动作：咬biting、切割cutting、撞击hitting、以及具有潜在危险的爬高climbing，即行为类别集合l＝{biting,climbing,hitting,cutting}；在室内环境，采用摄像头和手机进行非自杀性自伤行为视频采集，将采集的非自杀性自伤行为视频数据划分为训练数据集、验证数据集和测试数据集，并在视频数据中对四类行为动作进行标注；
6.步骤2、加载模型及初始化模型参数：加载计算机视觉和机器学习软件库opencv，目标检测特征模型md，行为检测特征模型ma，人脸识别特征库mf，非自杀性自伤行为类别集合l；初始化模型参数包括采样率、测试裁切分辨率、检测阈值ε，动作类别数；
7.步骤3、基于室内活动时空特征的非自杀性自伤行为检测，包括非自杀性自伤行为nssi特征提取和非自杀性自伤行为nssi分类，详细步骤如下：
8.step1：读取rgb摄像头视频流v
real
；
9.step2：如果视频流v
real
的帧数量t＝64，即v
real
＝f1f1…fk
…f64
，转入步骤step3，否则转到step 1；
10.step3：读取视频时间t，初始化人体检测框坐标集
11.step4：由于帧fk属于视频流v
real
，即根据fk和md运用目标检测方法，依次预测fk的人体检测框bounding box，获得坐标集g
t
；
12.step5：采用行为检测方法，根据g
t
、v
real
和ma获得v
real
的时序特征向量f
se
和空间特征向量f
sp
；
13.step6：将时序特征向量f
se
和空间特征向量f
sp
进行拼接融合，并输入到分类器，计算nssi行为类别概率分布p，获取nssi行为类别c
t
；所述计算nssi行为类别概率分布p：根据分类器结合时空特征来预测nssi类别概率，在数据的训练过程中，采取bceloss函数来计算预测值和真实值之间的分布差异，假设单一类别输出的概率值为pi，其中i代表该类别；在训练过程中，真实标签的二进制值用表示，损失函数可以要求单个类别的损失，这相当于把每个类别当作一个二元分类问题，其损失函数的公式表示如下：
[0014][0015]
step7：如果概率分布p大于检测阈值ε，同时视频流的行为类别c
t
属于非自杀性自伤行为类别集合l，即if p＞ε&&c
t
∈l，转step 8，否则转到step 1；
[0016]
step8：将mf和v
real
作为输入，运用人脸识别方法获取身份信息n
t
；
[0017]
step9：读取摄像头的位置信息o
t
；
[0018]
step10：构建描述事件的序列s，包括视频时间t，位置o
t
，身份信息n
t
，nssi行为类别c
t
，即序列s(t，o
t
，n
t
，c
t
)；
[0019]
step11：将s与v
real
融合形成新的视频流v
*
；
[0020]
step12：输出视频流v
*
，序列s，以用于可视化和预警用途；
[0021]
step13：如果收到结束指令，则结束，否则转到step 1。
[0022]
上述基于时空特征的行为检测方法，其中：在步骤1中，所述采集的非自杀性自伤行为视频数据集按照4：1：1的比例划分为训练数据集、验证数据集和测试数据集；
[0023]
上述基于时空特征的行为检测方法，其中：在步骤2中，所述初始化模型参数的测试裁切分辨率为224、检测阈值ε＝0.8，动作类别数为4，采样率根据行为检测特征模型设定为4、8、16或32。
[0024]
上述基于时空特征的行为检测方法，其中：在步骤2中，所述目标检测特征模型md是运用初始化的特征模型faster-rcnn，在非自杀性自伤行为视频数据集上进行训练获得。
[0025]
上述基于时空特征的行为检测方法，其中：在步骤2中，所述人脸识别特征库mf是利用机器学习库dlib进行人脸68个特征点的提取，得到人脸识别特征库。
[0026]
上述基于时空特征的行为检测方法，其中：在step4中，所述人体检测框bounding box的置信度阈值大于0.9。
[0027]
一种基于时空特征的行为检测系统，包括视频采集、预处理模块、行为检测模块、可视化模块，其中：
[0028]
视频采集和预处理模块：用于读取本地视频或捕获本地域网络摄像机的视频流，并对获得的视频进行解码；
[0029]
行为检测模块：用来检测获得的视频并确定是否存在nssi行为，采用人脸识别api来获取被检测人的身份信息，并建立nssi行为事件序列s，包括视频时间t，位置o
t
，身份信
息n
t
，nssi行为类别c
t
；
[0030]
可视化模块：以json格式存储行为事件序列s，并用于显示检测行为事件。
[0031]
上述基于时空特征的行为检测系统，其中：所述可视化模块还对数据查询和管理做出响应。
[0032]
本发明与现有技术的相比，具有明显的有益效果，由以上方案可知，使用voc2007数据集的特征模型初始化faster-rcnn模型，然后运用faster-rcnn在nssi behavior dataset上进行训练，从而获得目标检测模型。采用详细视频理解的长期特征库lfb，用于视频识别的慢速网络架构slowonly，用于视频识别的快慢网络架构slowfast、以行为者为中心的关系网络架构acrn、基于实时时空行动定位的统一神经网络架构yowo共五种方法，与resnet50和resnet101主干网络融合后形成行为检测模型，获取行为检测模型ma。将通过实验的方式，确定最优方法。利用dlib库进行人脸68个特征点的提取，得到人脸识别特征库。所采用的目标检测方法是faster-rcnn。需要说明的是，只有置信度大于等于0.9的人体检测框才会被认定为有效区域。所获得的人体检测框坐标集除了用于后续的行为检测外，还为行为检测系统可视化模块提供数据。由于考虑的行为检测方法是上文提到的四种方法与resnet50和resnet101主干网络融合后形成的行为检测模型，为行为检测系统提供具有最优表现的方法。
[0033]
检测阈值ε＝0.8是根据后续实验中实际效果而设定，因此检测效果好。
[0034]
系统检测视频流中的人脸信息，提取其中的特征点与人脸识别特征库mf中的数据进行欧几里得度量的匹配，返回相应的人物信息，识别率高。
[0035]
摄像头的位置信息o
t
，就是检测到nssi行为的视频流所对应的摄像头所在房间的编号。通常，支撑实现nssi行为检测的家居环境安装有多个分布在不同房间的摄像头，因此能根据室内活动时空特征进行准确检测。
[0036]
序列s除了用于后续生成视频流v
*
，还可为行为检测系统实现预警功能提供数据。
[0037]
总之，本发明能通过视频数据自动检测非自杀性自残行为，从而及时发现并有效预防nssi，降低具有潜在自杀风险的患者的自杀率。
[0038]
以下通过具体实施方式，进一步说明本发明的有益效果。
附图说明
[0039]
图1为本发明的方法流程图；
[0040]
图2为具体实施方式中的nssi行为检测系统界面。
具体实施方式
[0041]
以下结合附图及较佳实施例，对依据本发明提出的一种基于时空特征的行为检测方法及系统的具体实施方式、特征及其功效，详细说明如后。
[0042]
参见图1，本发明的一种基于时空特征的行为检测方法，其中：该方法包括如下步骤：
[0043]
步骤1、制作行为数据集：从可实施性和典型性的角度，将非自杀性自伤行为nssi分为四类动作：咬biting、切割cutting、撞击hitting、以及具有潜在危险的爬高climbing，即行为类别集合l＝{biting，climbing，hitting，cutting}；在室内环境，采用摄像头和手
机进行非自杀性自伤行为视频采集，将采集的非自杀性自伤行为视频数据集按照4：1：1的比例划分为训练数据集、验证数据集和测试数据集，并在视频数据中对四类行为动作进行标注；
[0044]
步骤2、加载模型及初始化模型参数：加载计算机视觉和机器学习软件库opencv，目标检测特征模型md，行为检测特征模型ma，人脸识别特征库mf，非自杀性自伤行为类别集合l；初始化模型参数包括采样率、测试裁切分辨率为224、检测阈值e＝0.8，动作类别数为4，其中采样率根据行为检测模型可设定为4、8、16或32；目标检测特征模型md是运用初始化的特征模型faster-rcnn，在非自杀性自伤行为视频数据集上进行训练获得；人脸识别特征库mf是利用机器学习库dlib进行人脸68个特征点的提取，得到人脸识别特征库；
[0045]
步骤3、基于室内活动时空特征的非自杀性自伤行为检测，详细步骤如下：
[0046]
step 1：读取rgb摄像头视频流v
real
；
[0047]
step 2：如果视频流v
real
的帧数量t＝64，即v
real
＝f1f1…fk
…f64
，转入步骤step3，否则转到step 1；
[0048]
step 3：读取视频时间t，初始化人体检测框坐标集
[0049]
step 4：由于帧fk属于视频流v
real
，即根据fk和md运用目标检测方法，依次预测fk的人体检测框bounding box，获得坐标集g
t
；人体检测框bounding box的置信度阈值大于0.9；
[0050]
step 5：采用行为检测方法，根据g
t
、v
real
和ma获得v
real
的时序特征向量f
se
和空间特征向量f
sp
；
[0051]
step 6：将时序特征向量f
se
和空间特征向量f
sp
进行拼接融合，并输入到分类器，计算nssi行为类别概率分布p，获取nssi行为类别c
t
；计算nssi行为类别概率分布p：根据分类器结合时空特征来预测nssi类别概率，在数据的训练过程中，采取bceloss函数来计算预测值和真实值之间的分布差异，假设单一类别输出的概率值为pi，其中i代表该类别；在训练过程中，真实标签的二进制值用表示，损失函数可以要求单个类别的损失，这相当于把每个类别当作一个二元分类问题，其损失函数的公式表示如下：
[0052][0053]
step 7：如果概率分布p大于检测阈值ε，同时视频流的行为类别c
t
属于非自杀性自伤行为类别集合l，即if p＞ε&&c
t
∈l，转step 8，否则转到step 1；检测阈值ε＝0.8；
[0054]
step 8：将mf和v
real
作为输入，运用人脸识别方法获取身份信息n
t
；
[0055]
step 9：读取摄像头的位置信息o
t
；
[0056]
step 10：构建描述事件的序列s，包括视频时间t，位置o
t
，身份信息n
t
，nssi行为类别c
t
，即序列s(t，o
t
，n
t
，c
t
)；
[0057]
step 11：将s与v
real
融合形成新的视频流v
*
；
[0058]
step 12：输出视频流v
*
，序列s(t，o
t
，n
t
，c
t
)，以用于可视化和预警用途；
[0059]
step 13：如果收到结束指令，则结束，否则转到step 1。
[0060]
一种基于时空特征的行为检测系统，包括视频采集、预处理模块、行为检测模块、
可视化模块，其中：
[0061]
视频采集和预处理模块：用于读取本地视频或捕获本地域网络摄像机的视频流，并对获得的视频进行解码；
[0062]
行为检测模块：用来检测获得的视频并确定是否存在nssi行为，采用人脸识别api来获取被检测人的身份信息，并建立nssi行为事件序列s，包括视频时间t，位置o
t
，身份信息n
t
，nssi行为类别c
t
；
[0063]
可视化模块：以json格式存储行为事件序列s，并用于显示检测行为事件。
[0064]
所述可视化模块还对数据查询和管理做出响应。
[0065]
具体实施案例分析
[0066]
nssi行为检测原型系统主要包括一个视频采集和预处理模块、一个行为检测模块和一个可视化模块。视频采集和预处理模块用于读取本地视频或捕获本地域网络摄像机的视频流并对获得的视频进行解码。行为检测模块被用来检测获得的视频并确定是否存在nssi行为。采用人脸识别api来获取被检测人的身份信息，并建立nssi行为事件序列s(视频时间t,位置o
t
，身份信息n
t
，nssi行为类别c
t
)。可视化模块以json格式存储行为事件序列s，并用于显示检测行为事件。所述检测原型系统还对数据查询和管理做出响应。提出的nssidetection使用python与pytorch框架和opencv4.6.0实现，nssi行为检测原型系统在ubuntu20.04lts操作系统下使用layui、websocket和flask框架作为一个webapp实现。mysql数据库被用来存储数据。图2显示了nssi行为检测系统的界面。
[0067]
为测试nssi行为检测系统的实际工作效果，设计了三类测试方案：
[0068]
方案a.志愿者及家居环境与训练数据集均相同，按真实情况摄像头从上往下拍摄，摄像头距离地面3.2m。
[0069]
方案b.志愿者及家居环境与训练数据集均相同，摄像头拍摄角度为从下往上拍摄,摄像头距离地面0.6m。
[0070]
方案c.志愿者及家居环境与训练数据集均不相同，在全新的家居环境下由不同于数据集的5名志愿者完成测试。方案a和b主要检测监控视角是否对检测结果具有影响,方案c主要测试面对全新场景模型的鲁棒性。
[0071]
为了便于统计检测结果，事先根据上述方案录制好相应的视频输入到系统中。每种方案录制了40个视频，四种动作各10组视频，每个视频的长度都为5～10s，一共120个测试视频。需要说明的是：为了判断算法模型的应用效果，当模型输出的行为检测结果与实际动作一致时，判定为识别成功。
[0072]
表1是方案a-c的识别准确率统计结果。
[0073]
表1.不同测试方案下nssi行为识别系统中的准确性
[0074][0075]
观察表1可知：方案a的识别正确率最低在80％以上，平均正确率为85％。方案b的
最低识别正确率为90％，平均正确率达到了95％。而方案c的最低识别正确率仅为60％，最高也仅为80％，平均识别准确率为70％。
[0076]
这些数据表明：1)摄像头拍摄角度对识别准确率有影响，从下往上拍摄优于从上往下拍摄。这是因为从上往下拍摄的模式容易造成上半身对下半身的遮挡现象，进而影响识别的准确率。2)当人及家居环境与训练数据集均不相同时，系统的识别准确率将会下降。综上所述，所开发的自伤检测系统能够识别所设计的情况，识别准确率为84.18％。该系统具有良好的鲁棒性，可以在不同背景、不同视角、不同视角下对训练数据集的视频进行新的自伤行为预测，表明该方法可以应用于自伤行为的检测。
[0077]
为了及时发现并有效干预nssi，从而降低有潜在自杀风险的患者的自杀率，本发明在建立nssi行为数据集的基础上提出了基于基于室内活动时空特征的非自杀性自伤行为检测方法nssidetection。然后，将nssidetection整合开发成了nssi检测系统。根据对案例研究的实验，该系统显示出良好的鲁棒性和84.18％的识别准确率识别精度。这项研究提供了一种自动识别nssi的智能方法。提所提出的算法可以与一些数学工具和识别方法相结合，开发机器人系统。
[0078]
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，任何未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

技术特征：
1.一种基于时空特征的行为检测方法，其特征在于：该方法包括如下步骤：步骤1、制作行为数据集：从可实施性和典型性的角度，将非自杀性自伤行为nssi分为四类动作：咬biting、切割cutting、撞击hitting、以及具有潜在危险的爬高climbing，即行为类别集合l＝{biting，climbing，hitting，cutting}；在室内环境，采用摄像头和手机进行非自杀性自伤行为视频采集，将采集的非自杀性自伤行为视频数据划分为训练数据集、验证数据集和测试数据集，并在视频数据中对四类行为动作进行标注；步骤2、加载模型及初始化模型参数：加载计算机视觉和机器学习软件库opencv，目标检测特征模型m
d
，行为检测特征模型m
a
，人脸识别特征库m
f
，非自杀性自伤行为类别集合l；初始化模型参数包括采样率、测试裁切分辨率、检测阈值ε，动作类别数；步骤3、基于室内活动时空特征的非自杀性自伤行为检测，包括非自杀性自伤行为nssi特征提取、非自杀性自伤行为nssi分类，详细步骤如下：step1：读取rgb摄像头视频流v
real
；step2：如果视频流v
real
的帧数量t＝64，即v
real
＝f1f1…
f
k
…
f
64
，转入步骤step3，否则转到step1；step3：读取视频时间t，初始化人体检测框坐标集g
t
为空集；step4：由于帧f
k
属于视频流v
real
，即根据f
k
和m
d
运用目标检测方法，依次预测f
k
的人体检测框bounding box，获得坐标集g
t
；step5：采用行为检测方法，根据g
t
、v
real
和m
a
获得v
real
的时序特征向量f
se
和空间特征向量f
sp
；step6：将时序特征向量f
se
和空间特征向量f
sp
进行拼接融合，并输入到分类器，计算nssi行为类别概率分布p，获取nssi行为类别c
t
；所述计算nssi行为类别概率分布p：根据分类器结合时空特征来预测nssi类别概率，在数据的训练过程中，采取bceloss函数来计算预测值和真实值之间的分布差异，假设单一类别输出的概率值为p
i
，其中i代表该类别；在训练过程中，真实标签的二进制值用表示，损失函数可以要求单个类别的损失，这相当于把每个类别当作一个二元分类问题，其损失函数的公式表示如下：step7：如果概率分布p大于检测阈值ε，同时视频流的行为类别c
t
属于非自杀性自伤行为类别集合l，即if p＞ε&&c
t
∈l，转step8，否则转到step1；step8：将m
f
和v
real
作为输入，运用人脸识别方法获取身份信息n
t
；step9：读取摄像头的位置信息o
t
；step10：构建描述事件的序列s，包括视频时间t，位置o
t
，身份信息n
t
，nssi行为类别c
t
，即序列s(t，o
t
，n
t
，c
t
)；step11：将s与v
real
融合形成新的视频流v
*
；step12：输出视频流v
*
，序列s，以用于可视化和预警用途；step13：如果收到结束指令，则结束，否则转到step1。2.如权利要求1所述的基于时空特征的行为检测方法，其特征在于：在步骤1中，所述采集的非自杀性自伤行为视频数据集按照4∶1∶1的比例划分为训练数据集、验证数据集和测
试数据集。3.如权利要求1所述的基于时空特征的行为检测方法，其特征在于：在步骤2中，所述初始化模型参数的测试裁切分辨率为224*224、检测阈值ε＝0.8，动作类别数为4，采样率根据行为检测特征模型设定为4、8、16或32。4.如权利要求1所述的基于时空特征的行为检测方法，其特征在于：在步骤2中，所述目标检测特征模型m
d
是运用初始化的特征模型faster-rcnn，在非自杀性自伤行为视频数据集上进行训练获得。5.如权利要求1所述的基于时空特征的行为检测方法，其特征在于：在步骤2中，所述人脸识别特征库m
f
是利用机器学习库dlib进行人脸68个特征点的提取，得到人脸识别特征库。6.如权利要求1至5中任一项所述的基于时空特征的行为检测方法，其特征在于：在step4中，所述人体检测框bounding box的置信度阈值大于等于0.9。7.一种基于时空特征的行为检测系统，包括视频采集、预处理模块、行为检测模块、可视化模块，其特征在于：视频采集和预处理模块：用于读取本地视频或捕获本地域网络摄像机的视频流，并对获得的视频进行解码；行为检测模块：用来检测获得的视频并确定是否存在nssi行为，采用人脸识别api来获取被检测人的身份信息，并建立nssi行为事件序列s，包括视频时间t，位置o
t
，身份信息n
t
，nssi行为类别c
t
；可视化模块：以json格式存储行为事件序列s，并用于显示检测行为事件；所述系统按照权利要求1所述的方法进行非自杀性自伤行为nssi识别检测。8.如权利要求7所述的基于时空特征的行为检测系统，其特征在于：所述可视化模块还对数据查询和管理做出响应。

技术总结
本发明的一种基于时空特征的行为检测方法，包括如下步骤：制作行为数据集：采集室内环境的非自杀性自伤行为视频数据，在采集的视频数据中对四类行为动作进行标注；加载模型及初始化模型参数：加载计算机视觉和机器学习软件库OpenCV，目标检测特征模型M


技术研发人员：杨观赐 杨思远 李杨 罗可欣 王阳 蓝善根 何玲 刘丹
受保护的技术使用者：贵州大学
技术研发日：2023.04.14
技术公布日：2023/8/14