一种基于人工智能的智能报警安防系统及其方法与流程

1.本技术涉及智能安防领域，且更为具体地，涉及一种基于人工智能的智能报警安防系统及其方法。


背景技术：

2.随着人们生活水平不断提高，楼宇安全对于住户来说越来越重要。目前，许多小区常常在单元门上安装楼宇对讲系统和电磁锁门禁系统，住户需要通过键盘输入房间号进入单元门。然而，这种系统存在很多安全隐患，例如当有不法分子破坏单元门进入单元时，电磁锁门禁系统往往不能及时发出报警信号或误发报警信号。
3.因此，期望一种优化的基于人工智能的智能报警安防系统。


技术实现要素：

4.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种基于人工智能的智能报警安防系统及其方法。其首先对行为监控视频进行视频切分后通过行为特征提取器以得到多个行为特征图，接着，对所述多个行为特征图进行分组卷积以得到多个行为深度特征图，然后，将所述多个行为特征图分别通过全连接层以得到多个行为全连接特征向量，接着，将所述多个行为全连接特征向量通过行为上下文理解模块以得到行为语义理解特征向量，最后，将所述行为语义理解特征向量通过分类器以得到用于表示目标对象是否在破坏单元门的分类结果。这样，可以提升检测判断的准确性。
5.根据本技术的一个方面，提供了一种基于人工智能的智能报警安防系统，其包括：
6.视频采集模块，用于获取目标对象的行为监控视频；
7.视频切分模块，用于对所述行为监控视频进行视频切分以得到多个行为监控视频片段；
8.行为特征提取模块，用于将所述多个行为监控视频片段分别通过基于三维卷积神经网络模型的行为特征提取器以得到多个行为特征图；
9.深度行为语义模块，用于对所述多个行为特征图进行分组卷积以得到多个行为深度特征图；
10.行为局部特征关联模块，用于将所述多个行为特征图分别通过全连接层以得到多个行为全连接特征向量；
11.行为全局语义理解模块，用于将所述多个行为全连接特征向量通过基于转换器模块的行为上下文理解模块以得到行为语义理解特征向量；以及
12.安防检测模块，用于将所述行为语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示目标对象是否在破坏单元门。
13.在上述的基于人工智能的智能报警安防系统中，所述行为特征提取模块，用于：
14.通过所述基于三维卷积神经网络模型的行为特征提取器各层在层的正向传递中对输入数据分别进行基于三维卷积核的三维卷积处理、均值池化处理和非线性激活处理以
由所述基于三维卷积神经网络模型的行为特征提取器的最后一层的输出为所述多个行为特征图，其中，所述基于三维卷积神经网络模型的行为特征提取器的第一层的输入为所述多个行为监控视频片段。
15.在上述的基于人工智能的智能报警安防系统中，所述深度行为语义模块，用于：
16.分别将所述多个行为特征图中的各个行为特征图按组分成多组行为特征图；以及
17.对所述多组行为特征图分别进行不同的卷积操作以得到多个行为深度特征图。
18.在上述的基于人工智能的智能报警安防系统中，所述行为局部特征关联模块，用于：
19.使用所述全连接层以如下全连接公式对所述多个行为特征图进行全连接编码以提取所述多个行为特征图中各个位置的高维隐含特征，其中，所述全连接公式为：提取所述多个行为特征图中各个位置的高维隐含特征，其中，所述全连接公式为：其中，project(f)表示将所述多个行为特征图投影为向量，y是所述多个行为全连接特征向量，w是权重矩阵，b是偏置向量，表示矩阵乘法。
20.在上述的基于人工智能的智能报警安防系统中，所述行为全局语义理解模块，包括：
21.上下文编码单元，用于将所述多个行为全连接特征向量通过所述基于转换器模块的行为上下文理解模块得到多个上下文行为全连接特征向量；
22.维度重构单元，用于将所述多个上下文行为全连接特征向量重构为特征图以得到多个上下文行为全连接特征图；
23.特征融合优化单元，用于融合每个所述上下文行为全连接特征图和对应的所述行为特征图以得到优化后上下文行为全连接特征图；
24.降维单元，用于将所述优化后上下文行为全连接特征图展开为特征向量以得到多个优化上下文行为全连接特征向量；以及
25.级联单元，用于将所述多个优化上下文行为全连接特征向量级联以得到所述行为语义理解特征向量。
26.在上述的基于人工智能的智能报警安防系统中，所述上下文编码单元，用于：
27.将所述多个行为全连接特征向量进行一维排列以得到全局行为特征向量；
28.计算所述全局行为特征向量与所述多个行为全连接特征向量中各个行为全连接特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；
29.分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；
30.将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过softmax分类函数以得到多个概率值；以及
31.分别以所述多个概率值中各个概率值作为权重对所述多个行为全连接特征向量中各个行为全连接特征向量进行加权以得到所述多个上下文行为全连接特征向量。
32.在上述的基于人工智能的智能报警安防系统中，所述特征融合优化单元，用于：
33.以如下优化公式对每个所述上下文行为全连接特征图和对应的所述行为特征图进行全局上下文空间关联富化融合以得到所述优化后上下文行为全连接特征图；
34.其中，所述优化公式为：
[0035][0036]
其中，m
1i
和m
2i
分别是所述上下文行为全连接特征图和所述行为特征图的第i个特征矩阵，m
1i
'是所述优化后上下文行为全连接特征图的第i个特征矩阵，和分别是矩阵乘法和矩阵加法，(
·
)
t
表示矩阵的转置矩阵。
[0037]
在上述的基于人工智能的智能报警安防系统中，所述安防检测模块，包括：
[0038]
全连接编码单元，用于使用所述分类器的全连接层对所述行为语义理解特征向量进行全连接编码以得到编码分类特征向量；以及
[0039]
分类单元，用于将所述编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。
[0040]
根据本技术的另一个方面，提供了一种基于人工智能的智能报警安防方法，其包括：
[0041]
获取目标对象的行为监控视频；
[0042]
对所述行为监控视频进行视频切分以得到多个行为监控视频片段；
[0043]
将所述多个行为监控视频片段分别通过基于三维卷积神经网络模型的行为特征提取器以得到多个行为特征图；
[0044]
对所述多个行为特征图进行分组卷积以得到多个行为深度特征图；
[0045]
将所述多个行为特征图分别通过全连接层以得到多个行为全连接特征向量；
[0046]
将所述多个行为全连接特征向量通过基于转换器模块的行为上下文理解模块以得到行为语义理解特征向量；以及
[0047]
将所述行为语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示目标对象是否在破坏单元门。
[0048]
在上述的基于人工智能的智能报警安防方法中，将所述多个行为监控视频片段分别通过基于三维卷积神经网络模型的行为特征提取器以得到多个行为特征图，包括：
[0049]
通过所述基于三维卷积神经网络模型的行为特征提取器各层在层的正向传递中对输入数据分别进行基于三维卷积核的三维卷积处理、均值池化处理和非线性激活处理以由所述基于三维卷积神经网络模型的行为特征提取器的最后一层的输出为所述多个行为特征图，其中，所述基于三维卷积神经网络模型的行为特征提取器的第一层的输入为所述多个行为监控视频片段。
[0050]
与现有技术相比，本技术提供的基于人工智能的智能报警安防系统及其方法，其首先对行为监控视频进行视频切分后通过行为特征提取器以得到多个行为特征图，接着，对所述多个行为特征图进行分组卷积以得到多个行为深度特征图，然后，将所述多个行为特征图分别通过全连接层以得到多个行为全连接特征向量，接着，将所述多个行为全连接特征向量通过行为上下文理解模块以得到行为语义理解特征向量，最后，将所述行为语义理解特征向量通过分类器以得到用于表示目标对象是否在破坏单元门的分类结果。这样，可以提升检测判断的准确性。
附图说明
[0051]
为了更清楚地说明本技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本
领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本技术的主旨。
[0052]
图1为根据本技术实施例的基于人工智能的智能报警安防系统的应用场景图。
[0053]
图2为根据本技术实施例的基于人工智能的智能报警安防系统的框图示意图。
[0054]
图3为根据本技术实施例的基于人工智能的智能报警安防系统中的所述行为全局语义理解模块的框图示意图。
[0055]
图4为根据本技术实施例的基于人工智能的智能报警安防系统中的所述安防检测模块的框图示意图。
[0056]
图5为根据本技术实施例的基于人工智能的智能报警安防方法的流程图。
[0057]
图6为根据本技术实施例的基于人工智能的智能报警安防方法的系统架构的示意图。
具体实施方式
[0058]
下面将结合附图对本技术实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本技术的部分实施例，而不是全部的实施例。基于本技术实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本技术保护的范围。
[0059]
如本技术和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
[0060]
虽然本技术对根据本技术的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
[0061]
本技术中使用了流程图用来说明根据本技术的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
[0062]
下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
[0063]
如上所述，目前，许多小区常常在单元门上安装楼宇对讲系统和电磁锁门禁系统，住户需要通过键盘输入房间号进入单元门。然而，这种系统存在很多安全隐患，例如当有不法分子破坏单元门进入单元时，电磁锁门禁系统往往不能及时发出报警信号或误发报警信号。因此，期望一种优化的基于人工智能的智能报警安防系统。
[0064]
相应地，考虑到在实际进行单元门的安防报警过程中，为了防止有不法分子破坏单元门而进入单元，造成住户的生命财产损失，在本技术的技术方案中，期望通过摄像头来采集目标对象的行为视频，以对于目标对象进行行为语义理解分析，以此来判断目标对象是否在破坏单元门非法进入，并在检测出目标对象破坏单元门非法进入时及时地发出预
警，以保证住户的生命财产安全，提高整个社区的安全性。但是，由于每个人的行为习惯不同，导致其在视频中所表现的动作有所差异，进而给目标对象破坏单元门非法进入的异常行为检测带来了困难。因此，在此过程中，难点在于如何进行所述目标对象的行为监控视频中关于目的对象的行为语义理解特征信息的充分表达，以此来对目标对象是否在破坏单元门非法进入进行准确检测判断，并及时预警，从而保证住户的生命财产安全，提高整个社区的安全性。
[0065]
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述目标对象的行为监控视频中关于目的对象的行为语义理解特征信息提供了新的解决思路和方案。
[0066]
具体地，在本技术的技术方案中，首先，通过摄像头获取目标对象的行为监控视频。接着，考虑到由于所述每个目标对象的行为习惯不同导致其不同的动作产生不同的语义特征，并且这种语义特征在监控视频中为小尺度的细微变化特征信息。同时，还考虑到在所述行为监控视频中，可能涵盖了关于目的对象的多个行为事件。如果不将所述行为监控视频切分成多个短片段，那么在进行行为识别和分类的时候会非常复杂和困难。因此，在本技术的技术方案中，需要进一步对所述行为监控视频进行视频切分以得到多个行为监控视频片段。
[0067]
然后，为了捕捉到所述目标对象在各个监控片段中的行为语义特征信息，进一步将所述多个行为监控视频片段分别通过基于三维卷积神经网络模型的行为特征提取器中进行特征挖掘，以提取出所述各个行为监控视频片段中关于目标对象的行为语义时序关联特征信息，从而得到多个行为特征图。特别地，这里，所述三维卷积神经网络模型的卷积核为三维卷积核，其具有w(宽度)、h(高度)和c(通道维度)，在本技术的技术方案中，所述三维卷积核的通道维度对应于时间维度，因此，在进行三维卷积编码时，能提取所述目标对象的行为特征随时间维度的动态变化特征信息。
[0068]
进一步地，又因为不同的目标对象会具有不同的行为习惯，因此，在每个时间段内所表现出来的行为特征也不相同。基于此，在本技术的技术方案中，进一步对所述多个行为特征图进行分组卷积，以此来提取出所述各个行为监控视频片段中关于目标对象的行为时序关联特征的深度行为语义理解特征信息，从而得到多个行为深度特征图。
[0069]
继而，由于所述目标对象的行为动作在监控视频中为细微的动作变化，而这种细微的动作变化会产生不同的行为语义特征信息，其对于目标对象是否在破坏单元门的检测具有重要意义，因此，期望进一步对于所述各个行为监控视频片段中关于目标对象的各个局部小尺度动作关联特征信息进行捕捉。具体地，在本技术的技术方案中，进一步将所述多个行为特征图分别通过全连接层以得到多个行为全连接特征向量。应可以理解，这里，使用所述全连接层来进行编码，能够有效地提取出所述各个行为监控视频片段中关于目标对象的各个局部动作特征之间的隐含关联特征信息，有利于后续对于所述目标对象进行行为语义理解。
[0070]
接着，考虑到由于所述各个行为监控视频片段中关于目标对象的动作深层语义理解特征信息之间具有着关于所述行为监控视频整体的关联关系，这种关联性特征信息对于所述目标对象在整个监控视频中的行为语义理解具有着重要的意义。但是，由于卷积运算的固有局限性，纯cnn的方法很难学习明确的全局和远程语义信息交互。因此，在本技术的
技术方案中，进一步将所述多个行为全连接特征向量通过基于转换器模块的行为上下文理解模块中进行编码，以此来提取出所述各个行为监控视频片段中关于目标对象的行为隐含语义特征之间基于所述行为监控视频全局的上下文行为语义关联特征信息，即所述目标对象在所述行为监控视频中的全局行为语义理解特征信息，从而得到行为语义理解特征向量。
[0071]
进而，再将所述行为语义理解特征向量作为分类特征向量通过分类器中进行分类处理，以得到用于表示目标对象是否在破坏单元门的分类结果。也就是，在本技术的技术方案中，所述分类器的标签包括目标对象在破坏单元门(第一标签)，以及，目标对象没有在破坏单元门(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征向量属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“目标对象是否在破坏单元门”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2之和为一。因此，目标对象是否在破坏单元门的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“目标对象是否在破坏单元门”的语言文本意义。应可以理解，在本技术的技术方案中，所述分类器的分类标签为目标对象是否在破坏单元门的检测判断标签，因此，在得到所述分类结果后，可基于所述分类结果来对目标对象是否在破坏单元门非法进入进行准确检测判断，并及时预警来保证住户的生命财产安全。
[0072]
特别地，在本技术的技术方案中，在将所述多个行为监控视频片段分别通过基于三维卷积神经网络模型的行为特征提取器以得到多个行为特征图时，所述三维卷积神经网络模型的三维卷积核在提取各个行为监控视频片段的视频帧片段的时序关联特征的同时，也提取视频帧图像的局部图像语义关联特征，而在将所述多个行为特征图进行分组卷积得到多个行为深度特征图，将所述多个行为深度特征图分别通过全连接层得到多个行为全连接特征向量，并将所述多个行为全连接特征向量通过基于转换器模块的行为上下文理解模块得到多个上下文行为全连接特征向量时，期望所述上下文行为全连接特征向量也能够表达相应的图像帧的空间关联语义，因此，本技术的申请人考虑将所述上下文行为全连接特征向量还原为上下文行为全连接特征图，并与相对应的行为特征图进行融合。
[0073]
并且，在融合所述上下文行为全连接特征图和所述行为特征图时，考虑到其各自的空间图像语义的关联特征表示，对所述上下文行为全连接特征图和所述行为特征图进行全局上下文空间关联富化融合，具体表示为：
[0074][0075]m1i
和m
2i
分别是所述上下文行为全连接特征图和所述行为特征图的第i个特征矩阵，且m
1i
'是优化后的上下文行为全连接特征图的第i个特征矩阵。
[0076]
这里，为了聚集在所述上下文行为全连接特征图和所述行为特征图之间关联分布的本地空间语义之间的上下文空间关联语义，所述全局上下文空间关联富化融合通过聚焦于特征图的特征矩阵所表示的空间帧级别(spatial frame-level)的显式上下文相关性，来富化(enriching)全局感知野下的特征矩阵的帧级别的空间语义融合式表达，从而实现所述上下文行为全连接特征图和所述行为特征图的跨通道的空间共享上下文语义的同化(assimilation)融合，以提升优化后的上下文行为全连接特征图对所述上下文行为全连接
特征图和所述行为特征图的融合效果。然后，再将优化后的行为全连接特征图展开为上下文行为全连接特征向量并级联得到所述语义理解特征向量，就可以提升所述语义理解特征向量的表达效果，从而提升其通过分类器得到的分类结果的准确性。这样，能够对目标对象是否在破坏单元门非法进入进行准确检测判断，并在检测出目标对象行为异常时发出预警，从而保证住户的生命财产安全，提高整个社区的安全性。
[0077]
图1为根据本技术实施例的基于人工智能的智能报警安防系统的应用场景图。如图1所示，在该应用场景中，首先，获取目标对象的行为监控视频(例如，图1中所示意的d)，然后，将所述行为监控视频输入至部署有基于人工智能的智能报警安防算法的服务器中(例如，图1中所示意的s)，其中，所述服务器能够使用所述基于人工智能的智能报警安防算法对所述行为监控视频进行处理以得到用于表示目标对象是否在破坏单元门的分类结果。
[0078]
在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
[0079]
图2为根据本技术实施例的基于人工智能的智能报警安防系统的框图示意图。如图2所示，根据本技术实施例的基于人工智能的智能报警安防系统100，包括：视频采集模块110，用于获取目标对象的行为监控视频；视频切分模块120，用于对所述行为监控视频进行视频切分以得到多个行为监控视频片段；行为特征提取模块130，用于将所述多个行为监控视频片段分别通过基于三维卷积神经网络模型的行为特征提取器以得到多个行为特征图；深度行为语义模块140，用于对所述多个行为特征图进行分组卷积以得到多个行为深度特征图；行为局部特征关联模块150，用于将所述多个行为特征图分别通过全连接层以得到多个行为全连接特征向量；行为全局语义理解模块160，用于将所述多个行为全连接特征向量通过基于转换器模块的行为上下文理解模块以得到行为语义理解特征向量；以及，安防检测模块170用于将所述行为语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示目标对象是否在破坏单元门。
[0080]
更具体地，在本技术实施例中，所述视频采集模块110，用于获取目标对象的行为监控视频。在实际进行单元门的安防报警过程中，为了防止有不法分子破坏单元门而进入单元，造成住户的生命财产损失，可以通过摄像头来采集目标对象的行为视频，以对于目标对象进行行为语义理解分析，以此来判断目标对象是否在破坏单元门非法进入，并在检测出目标对象破坏单元门非法进入时及时地发出预警，以保证住户的生命财产安全，提高整个社区的安全性。
[0081]
更具体地，在本技术实施例中，所述视频切分模块120，用于对所述行为监控视频进行视频切分以得到多个行为监控视频片段。将所述行为监控视频切分成多个短片段，可以简化行为识别和分类的难度。
[0082]
更具体地，在本技术实施例中，所述行为特征提取模块130，用于将所述多个行为监控视频片段分别通过基于三维卷积神经网络模型的行为特征提取器以得到多个行为特征图。这样，可以提取出所述各个行为监控视频片段中关于目标对象的行为语义时序关联特征信息，从而得到多个行为特征图。
[0083]
应可以理解，卷积神经网络(convolutional neural network，cnn)是一种人工神经网络，在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层，其中，隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等，上一层根据输
入的数据进行相应的运算，将运算结果输出给下一层，输入的初始数据经过多层的运算之后得到一个最终的结果。
[0084]
相应地，在一个具体示例中，所述行为特征提取模块130，用于：通过所述基于三维卷积神经网络模型的行为特征提取器各层在层的正向传递中对输入数据分别进行基于三维卷积核的三维卷积处理、均值池化处理和非线性激活处理以由所述基于三维卷积神经网络模型的行为特征提取器的最后一层的输出为所述多个行为特征图，其中，所述基于三维卷积神经网络模型的行为特征提取器的第一层的输入为所述多个行为监控视频片段。
[0085]
更具体地，在本技术实施例中，所述深度行为语义模块140，用于对所述多个行为特征图进行分组卷积以得到多个行为深度特征图。因为不同的目标对象会具有不同的行为习惯，因此，在每个时间段内所表现出来的行为特征也不相同。基于此，进一步对所述多个行为特征图进行分组卷积，以此来提取出所述各个行为监控视频片段中关于目标对象的行为时序关联特征的深度行为语义理解特征信息，从而得到多个行为深度特征图。
[0086]
应可以理解，分组卷积是一种卷积神经网络中的特殊卷积操作，它将每个假发子特征图进行卷积操作。通过分组卷积，可以将假发子特征图分成多个组，每个组中包含了假发的不同特征信息，如纹理、形状、颜色等。这样，在卷积操作中，每个组都可以进行不同的卷积操作，从而更好地提取假发的不同特征信息。
[0087]
相应地，在一个具体示例中，所述深度行为语义模块140，用于：分别将所述多个行为特征图中的各个行为特征图按组分成多组行为特征图；以及，对所述多组行为特征图分别进行不同的卷积操作以得到多个行为深度特征图。
[0088]
更具体地，在本技术实施例中，所述行为局部特征关联模块150，用于将所述多个行为特征图分别通过全连接层以得到多个行为全连接特征向量。使用所述全连接层来进行编码，能够有效地提取出所述各个行为监控视频片段中关于目标对象的各个局部动作特征之间的隐含关联特征信息，有利于后续对于所述目标对象进行行为语义理解。
[0089]
相应地，在一个具体示例中，所述行为局部特征关联模块150，用于：使用所述全连接层以如下全连接公式对所述多个行为特征图进行全连接编码以提取所述多个行为特征图中各个位置的高维隐含特征，其中，所述全连接公式为：其中，project(f)表示将所述多个行为特征图投影为向量，y是所述多个行为全连接特征向量，w是权重矩阵，b是偏置向量，表示矩阵乘法。
[0090]
更具体地，在本技术实施例中，所述行为全局语义理解模块160，用于将所述多个行为全连接特征向量通过基于转换器模块的行为上下文理解模块以得到行为语义理解特征向量。这样，可以提取出所述各个行为监控视频片段中关于目标对象的行为隐含语义特征之间基于所述行为监控视频全局的上下文行为语义关联特征信息，即所述目标对象在所述行为监控视频中的全局行为语义理解特征信息，从而得到行为语义理解特征向量。
[0091]
相应地，在一个具体示例中，如图3所示，所述行为全局语义理解模块160，包括：上下文编码单元161，用于将所述多个行为全连接特征向量通过所述基于转换器模块的行为上下文理解模块得到多个上下文行为全连接特征向量；维度重构单元162，用于将所述多个上下文行为全连接特征向量重构为特征图以得到多个上下文行为全连接特征图；特征融合优化单元163，用于融合每个所述上下文行为全连接特征图和对应的所述行为特征图以得到优化后上下文行为全连接特征图；降维单元164，用于将所述优化后上下文行为全连接特
征图展开为特征向量以得到多个优化上下文行为全连接特征向量；以及，级联单元165，用于将所述多个优化上下文行为全连接特征向量级联以得到所述行为语义理解特征向量。
[0092]
相应地，在一个具体示例中，所述上下文编码单元161，用于：将所述多个行为全连接特征向量进行一维排列以得到全局行为特征向量；计算所述全局行为特征向量与所述多个行为全连接特征向量中各个行为全连接特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过softmax分类函数以得到多个概率值；以及，分别以所述多个概率值中各个概率值作为权重对所述多个行为全连接特征向量中各个行为全连接特征向量进行加权以得到所述多个上下文行为全连接特征向量。
[0093]
在将所述多个行为监控视频片段分别通过基于三维卷积神经网络模型的行为特征提取器以得到多个行为特征图时，所述三维卷积神经网络模型的三维卷积核在提取各个行为监控视频片段的视频帧片段的时序关联特征的同时，也提取视频帧图像的局部图像语义关联特征，而在将所述多个行为特征图进行分组卷积得到多个行为深度特征图，将所述多个行为深度特征图分别通过全连接层得到多个行为全连接特征向量，并将所述多个行为全连接特征向量通过基于转换器模块的行为上下文理解模块得到多个上下文行为全连接特征向量时，期望所述上下文行为全连接特征向量也能够表达相应的图像帧的空间关联语义，因此，本技术的申请人考虑将所述上下文行为全连接特征向量还原为上下文行为全连接特征图，并与相对应的行为特征图进行融合。并且，在融合所述上下文行为全连接特征图和所述行为特征图时，考虑到其各自的空间图像语义的关联特征表示，对所述上下文行为全连接特征图和所述行为特征图进行全局上下文空间关联富化融合。
[0094]
相应地，在一个具体示例中，所述特征融合优化单元163，用于：以如下优化公式对每个所述上下文行为全连接特征图和对应的所述行为特征图进行全局上下文空间关联富化融合以得到所述优化后上下文行为全连接特征图；其中，所述优化公式为：
[0095][0096]
其中，m
1i
和m
2i
分别是所述上下文行为全连接特征图和所述行为特征图的第i个特征矩阵，m
1i
'是所述优化后上下文行为全连接特征图的第i个特征矩阵，和分别是矩阵乘法和矩阵加法，(
·
)
t
表示矩阵的转置矩阵。
[0097]
为了聚集在所述上下文行为全连接特征图和所述行为特征图之间关联分布的本地空间语义之间的上下文空间关联语义，所述全局上下文空间关联富化融合通过聚焦于特征图的特征矩阵所表示的空间帧级别的显式上下文相关性，来富化全局感知野下的特征矩阵的帧级别的空间语义融合式表达，从而实现所述上下文行为全连接特征图和所述行为特征图的跨通道的空间共享上下文语义的同化融合，以提升优化后的上下文行为全连接特征图对所述上下文行为全连接特征图和所述行为特征图的融合效果。然后，再将优化后的行为全连接特征图展开为上下文行为全连接特征向量并级联得到所述语义理解特征向量，就可以提升所述语义理解特征向量的表达效果，从而提升其通过分类器得到的分类结果的准确性。
[0098]
更具体地，在本技术实施例中，所述安防检测模块170用于将所述行为语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示目标对象是否在破坏单元门。
在得到所述分类结果后，可基于所述分类结果来对目标对象是否在破坏单元门非法进入进行准确检测判断，并及时预警来保证住户的生命财产安全。
[0099]
应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类(或预测)。逻辑回归(logistics)、svm等常用于解决二分类问题，对于多分类问题(multi-class classification)，同样也可以用逻辑回归或svm，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有softmax分类函数。
[0100]
相应地，在一个具体示例中，如图4所示，所述安防检测模块170，包括：全连接编码单元171，用于使用所述分类器的全连接层对所述行为语义理解特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元172，用于将所述编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。
[0101]
综上，基于本技术实施例的基于人工智能的智能报警安防系统100被阐明，其首先对行为监控视频进行视频切分后通过行为特征提取器以得到多个行为特征图，接着，对所述多个行为特征图进行分组卷积以得到多个行为深度特征图，然后，将所述多个行为特征图分别通过全连接层以得到多个行为全连接特征向量，接着，将所述多个行为全连接特征向量通过行为上下文理解模块以得到行为语义理解特征向量，最后，将所述行为语义理解特征向量通过分类器以得到用于表示目标对象是否在破坏单元门的分类结果。这样，可以提升检测判断的准确性。
[0102]
如上所述，根据本技术实施例的基于本技术实施例的基于人工智能的智能报警安防系统100可以实现在各种终端设备中，例如具有基于本技术实施例的基于人工智能的智能报警安防算法的服务器等。在一个示例中，基于本技术实施例的基于人工智能的智能报警安防系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于本技术实施例的基于人工智能的智能报警安防系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于本技术实施例的基于人工智能的智能报警安防系统100同样可以是该终端设备的众多硬件模块之一。
[0103]
替换地，在另一示例中，该基于本技术实施例的基于人工智能的智能报警安防系统100与该终端设备也可以是分立的设备，并且该基于人工智能的智能报警安防系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
[0104]
图5为根据本技术实施例的基于人工智能的智能报警安防方法的流程图。如图5所示，根据本技术实施例的基于人工智能的智能报警安防方法，其包括：s110，获取目标对象的行为监控视频；s120，对所述行为监控视频进行视频切分以得到多个行为监控视频片段；s130，将所述多个行为监控视频片段分别通过基于三维卷积神经网络模型的行为特征提取器以得到多个行为特征图；s140，对所述多个行为特征图进行分组卷积以得到多个行为深度特征图；s150，将所述多个行为特征图分别通过全连接层以得到多个行为全连接特征向量；s160，将所述多个行为全连接特征向量通过基于转换器模块的行为上下文理解模块以得到行为语义理解特征向量；以及，s170，将所述行为语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示目标对象是否在破坏单元门。
[0105]
图6为根据本技术实施例的基于人工智能的智能报警安防方法的系统架构的示意
图。如图6所示，在所述基于人工智能的智能报警安防方法的系统架构中，首先，获取目标对象的行为监控视频；接着，对所述行为监控视频进行视频切分以得到多个行为监控视频片段；然后，将所述多个行为监控视频片段分别通过基于三维卷积神经网络模型的行为特征提取器以得到多个行为特征图；接着，对所述多个行为特征图进行分组卷积以得到多个行为深度特征图；然后，将所述多个行为特征图分别通过全连接层以得到多个行为全连接特征向量；接着，将所述多个行为全连接特征向量通过基于转换器模块的行为上下文理解模块以得到行为语义理解特征向量；最后，将所述行为语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示目标对象是否在破坏单元门。
[0106]
在一个具体示例中，在上述基于人工智能的智能报警安防方法中，将所述多个行为监控视频片段分别通过基于三维卷积神经网络模型的行为特征提取器以得到多个行为特征图，包括：通过所述基于三维卷积神经网络模型的行为特征提取器各层在层的正向传递中对输入数据分别进行基于三维卷积核的三维卷积处理、均值池化处理和非线性激活处理以由所述基于三维卷积神经网络模型的行为特征提取器的最后一层的输出为所述多个行为特征图，其中，所述基于三维卷积神经网络模型的行为特征提取器的第一层的输入为所述多个行为监控视频片段。
[0107]
在一个具体示例中，在上述基于人工智能的智能报警安防方法中，对所述多个行为特征图进行分组卷积以得到多个行为深度特征图，包括：分别将所述多个行为特征图中的各个行为特征图按组分成多组行为特征图；以及，对所述多组行为特征图分别进行不同的卷积操作以得到多个行为深度特征图。
[0108]
在一个具体示例中，在上述基于人工智能的智能报警安防方法中，将所述多个行为特征图分别通过全连接层以得到多个行为全连接特征向量，包括：使用所述全连接层以如下全连接公式对所述多个行为特征图进行全连接编码以提取所述多个行为特征图中各个位置的高维隐含特征，其中，所述全连接公式为：其中，project(f)表示将所述多个行为特征图投影为向量，y是所述多个行为全连接特征向量，w是权重矩阵，b是偏置向量，表示矩阵乘法。
[0109]
在一个具体示例中，在上述基于人工智能的智能报警安防方法中，将所述多个行为全连接特征向量通过基于转换器模块的行为上下文理解模块以得到行为语义理解特征向量，包括：将所述多个行为全连接特征向量通过所述基于转换器模块的行为上下文理解模块得到多个上下文行为全连接特征向量；将所述多个上下文行为全连接特征向量重构为特征图以得到多个上下文行为全连接特征图；融合每个所述上下文行为全连接特征图和对应的所述行为特征图以得到优化后上下文行为全连接特征图；将所述优化后上下文行为全连接特征图展开为特征向量以得到多个优化上下文行为全连接特征向量；以及，将所述多个优化上下文行为全连接特征向量级联以得到所述行为语义理解特征向量。
[0110]
在一个具体示例中，在上述基于人工智能的智能报警安防方法中，将所述多个行为全连接特征向量通过所述基于转换器模块的行为上下文理解模块得到多个上下文行为全连接特征向量，包括：将所述多个行为全连接特征向量进行一维排列以得到全局行为特征向量；计算所述全局行为特征向量与所述多个行为全连接特征向量中各个行为全连接特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；
将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过softmax分类函数以得到多个概率值；以及，分别以所述多个概率值中各个概率值作为权重对所述多个行为全连接特征向量中各个行为全连接特征向量进行加权以得到所述多个上下文行为全连接特征向量。
[0111]
在一个具体示例中，在上述基于人工智能的智能报警安防方法中，融合每个所述上下文行为全连接特征图和对应的所述行为特征图以得到优化后上下文行为全连接特征图，包括：以如下优化公式对每个所述上下文行为全连接特征图和对应的所述行为特征图进行全局上下文空间关联富化融合以得到所述优化后上下文行为全连接特征图；其中，所述优化公式为：
[0112][0113]
其中，m
1i
和m
2i
分别是所述上下文行为全连接特征图和所述行为特征图的第i个特征矩阵，m
1i
'是所述优化后上下文行为全连接特征图的第i个特征矩阵，和分别是矩阵乘法和矩阵加法，(
·
)
t
表示矩阵的转置矩阵。
[0114]
在一个具体示例中，在上述基于人工智能的智能报警安防方法中，将所述行为语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示目标对象是否在破坏单元门，包括：使用所述分类器的全连接层对所述行为语义理解特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。
[0115]
这里，本领域技术人员可以理解，上述基于人工智能的智能报警安防方法中的各个步骤的具体操作已经在上面参考图1到图4的基于人工智能的智能报警安防系统100的描述中得到了详细介绍，并因此，将省略其重复描述。
[0116]
根据本技术的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。
[0117]
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
[0118]
本技术使用了特定词语来描述本技术的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本技术至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本技术的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
[0119]
此外，本领域技术人员可以理解，本技术的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本技术的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本技术的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
[0120]
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
[0121]
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

技术特征：
1.一种基于人工智能的智能报警安防系统，其特征在于，包括：视频采集模块，用于获取目标对象的行为监控视频；视频切分模块，用于对所述行为监控视频进行视频切分以得到多个行为监控视频片段；行为特征提取模块，用于将所述多个行为监控视频片段分别通过基于三维卷积神经网络模型的行为特征提取器以得到多个行为特征图；深度行为语义模块，用于对所述多个行为特征图进行分组卷积以得到多个行为深度特征图；行为局部特征关联模块，用于将所述多个行为特征图分别通过全连接层以得到多个行为全连接特征向量；行为全局语义理解模块，用于将所述多个行为全连接特征向量通过基于转换器模块的行为上下文理解模块以得到行为语义理解特征向量；以及安防检测模块，用于将所述行为语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示目标对象是否在破坏单元门。2.根据权利要求1所述的基于人工智能的智能报警安防系统，其特征在于，所述行为特征提取模块，用于：通过所述基于三维卷积神经网络模型的行为特征提取器各层在层的正向传递中对输入数据分别进行基于三维卷积核的三维卷积处理、均值池化处理和非线性激活处理以由所述基于三维卷积神经网络模型的行为特征提取器的最后一层的输出为所述多个行为特征图，其中，所述基于三维卷积神经网络模型的行为特征提取器的第一层的输入为所述多个行为监控视频片段。3.根据权利要求2所述的基于人工智能的智能报警安防系统，其特征在于，所述深度行为语义模块，用于：分别将所述多个行为特征图中的各个行为特征图按组分成多组行为特征图；以及对所述多组行为特征图分别进行不同的卷积操作以得到多个行为深度特征图。4.根据权利要求3所述的基于人工智能的智能报警安防系统，其特征在于，所述行为局部特征关联模块，用于：使用所述全连接层以如下全连接公式对所述多个行为特征图进行全连接编码以提取所述多个行为特征图中各个位置的高维隐含特征，其中，所述全连接公式为：所述多个行为特征图中各个位置的高维隐含特征，其中，所述全连接公式为：其中，project(f)表示将所述多个行为特征图投影为向量，y是所述多个行为全连接特征向量，w是权重矩阵，b是偏置向量，表示矩阵乘法。5.根据权利要求4所述的基于人工智能的智能报警安防系统，其特征在于，所述行为全局语义理解模块，包括：上下文编码单元，用于将所述多个行为全连接特征向量通过所述基于转换器模块的行为上下文理解模块得到多个上下文行为全连接特征向量；维度重构单元，用于将所述多个上下文行为全连接特征向量重构为特征图以得到多个上下文行为全连接特征图；特征融合优化单元，用于融合每个所述上下文行为全连接特征图和对应的所述行为特
征图以得到优化后上下文行为全连接特征图；降维单元，用于将所述优化后上下文行为全连接特征图展开为特征向量以得到多个优化上下文行为全连接特征向量；以及级联单元，用于将所述多个优化上下文行为全连接特征向量级联以得到所述行为语义理解特征向量。6.根据权利要求5所述的基于人工智能的智能报警安防系统，其特征在于，所述上下文编码单元，用于：将所述多个行为全连接特征向量进行一维排列以得到全局行为特征向量；计算所述全局行为特征向量与所述多个行为全连接特征向量中各个行为全连接特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过softmax分类函数以得到多个概率值；以及分别以所述多个概率值中各个概率值作为权重对所述多个行为全连接特征向量中各个行为全连接特征向量进行加权以得到所述多个上下文行为全连接特征向量。7.根据权利要求6所述的基于人工智能的智能报警安防系统，其特征在于，所述特征融合优化单元，用于：以如下优化公式对每个所述上下文行为全连接特征图和对应的所述行为特征图进行全局上下文空间关联富化融合以得到所述优化后上下文行为全连接特征图；其中，所述优化公式为：其中，m
1i
和m
2i
分别是所述上下文行为全连接特征图和所述行为特征图的第i个特征矩阵，m
1i
'是所述优化后上下文行为全连接特征图的第i个特征矩阵，和分别是矩阵乘法和矩阵加法，(
·
)
t
表示矩阵的转置矩阵。8.根据权利要求7所述的基于人工智能的智能报警安防系统，其特征在于，所述安防检测模块，包括：全连接编码单元，用于使用所述分类器的全连接层对所述行为语义理解特征向量进行全连接编码以得到编码分类特征向量；以及分类单元，用于将所述编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。9.一种基于人工智能的智能报警安防方法，其特征在于，包括：获取目标对象的行为监控视频；对所述行为监控视频进行视频切分以得到多个行为监控视频片段；将所述多个行为监控视频片段分别通过基于三维卷积神经网络模型的行为特征提取器以得到多个行为特征图；对所述多个行为特征图进行分组卷积以得到多个行为深度特征图；将所述多个行为特征图分别通过全连接层以得到多个行为全连接特征向量；将所述多个行为全连接特征向量通过基于转换器模块的行为上下文理解模块以得到
行为语义理解特征向量；以及将所述行为语义理解特征向量通过分类器以得到分类结果，所述分类结果用于表示目标对象是否在破坏单元门。10.根据权利要求9所述的基于人工智能的智能报警安防方法，其特征在于，将所述多个行为监控视频片段分别通过基于三维卷积神经网络模型的行为特征提取器以得到多个行为特征图，包括：通过所述基于三维卷积神经网络模型的行为特征提取器各层在层的正向传递中对输入数据分别进行基于三维卷积核的三维卷积处理、均值池化处理和非线性激活处理以由所述基于三维卷积神经网络模型的行为特征提取器的最后一层的输出为所述多个行为特征图，其中，所述基于三维卷积神经网络模型的行为特征提取器的第一层的输入为所述多个行为监控视频片段。

技术总结
公开了一种基于人工智能的智能报警安防系统及其方法。其首先对行为监控视频进行视频切分后通过行为特征提取器以得到多个行为特征图，接着，对所述多个行为特征图进行分组卷积以得到多个行为深度特征图，然后，将所述多个行为特征图分别通过全连接层以得到多个行为全连接特征向量，接着，将所述多个行为全连接特征向量通过行为上下文理解模块以得到行为语义理解特征向量，最后，将所述行为语义理解特征向量通过分类器以得到用于表示目标对象是否在破坏单元门的分类结果。这样，可以提升检测判断的准确性。升检测判断的准确性。升检测判断的准确性。


技术研发人员：王力烽 刘惠铭
受保护的技术使用者：烟台业达智慧城市运营科技有限公司
技术研发日：2023.07.19
技术公布日：2023/10/11