基于帧间相关性的人工智能检测方法和系统与流程

1.本技术涉及网络安全技术领域，尤其涉及一种基于帧间相关性的人工智能检测方法和系统。


背景技术：

2.在当前人工智能领域中，目标检测是一个重要的研究课题。然而，现有的目标检测方法大多基于静态图像，对于视频中的目标检测尤其是动态图像中的目标检测效果不佳。因此，提出一种基于帧间相关性的人工智能检测方法与系统，以提高目标检测的准确性和鲁棒性。


技术实现要素：

3.本发明的目的在于提供一种基于帧间相关性的人工智能检测方法和系统，该方法通过利用深度学习技术，对相邻帧之间的相关性进行分析，从而实现快速、准确的检测目标。
4.第一方面，本技术提供一种基于帧间相关性的人工智能检测方法，所述方法包括：
5.步骤一，对待检测的视频序列进行预处理操作，包括图像尺寸调整、帧率转换和去噪处理；
6.步骤二，对每一帧图像进行特征提取，提取出与目标相关的特征点阵图；
7.步骤三，利用深度学习模型，对相邻帧之间的相关性进行分析，以获得目标在时间上的运动信息；
8.所述步骤三中对相邻帧之间的相关性进行分析，包括：将所述提取出与目标相关的特征点阵图作为输入项，针对前后两个输入项分别搭建两个三层结构，每一层的大小是上一层大小的一半，每一层结构分别用于计算层大小范围内所有特征点的最小二乘法多项式展开，得到拟合结果，传递到下一层结构；重复上述操作，直至传递到最后一层结构，输出最后的拟合点阵图，计算前后两个输入项对应的两个拟合点阵图之间的偏移矢量，输出所述待检测的视频序列的帧间特征；计算多个帧间特征之间的欧氏距离，根据多个欧氏距离获得目标在时间上的运动信息；
9.步骤四，结合特征提取和帧间相关性分析结果，使用深度学习模型进行目标检测；
10.所述步骤四中使用深度学习模型进行目标检测，包括：所述深度学习模型根据多个欧氏距离计算彼此之间的对比损失函数，预测对比损失的值的变化趋势，并将该变化趋势与所述步骤三得到的目标在时间上的运动信息进行比较，如果两者匹配成功则认定为检测正常，确定分类结果，反之如果两者匹配失败则认定为检测异常，发出提示信息；
11.根据所述分类结果或提示信息进行管控。
12.第二方面，本技术提供一种基于帧间相关性的人工智能检测系统，所述系统包括：
13.预处理模块，用于对待检测的视频序列进行预处理操作，包括图像尺寸调整、帧率转换和去噪处理；
14.特征提取模块，用于对每一帧图像进行特征提取，提取出与目标相关的特征点阵图；
15.帧间相关性分析模块，用于利用深度学习模型，对相邻帧之间的相关性进行分析，以获得目标在时间上的运动信息；
16.所述帧间相关性分析模块中对相邻帧之间的相关性进行分析，包括：将所述提取出与目标相关的特征点阵图作为输入项，针对前后两个输入项分别搭建两个三层结构，每一层的大小是上一层大小的一半，每一层结构分别用于计算层大小范围内所有特征点的最小二乘法多项式展开，得到拟合结果，传递到下一层结构；重复上述操作，直至传递到最后一层结构，输出最后的拟合点阵图，计算前后两个输入项对应的两个拟合点阵图之间的偏移矢量，输出所述待检测的视频序列的帧间特征；计算多个帧间特征之间的欧氏距离，根据多个欧氏距离获得目标在时间上的运动信息；
17.目标检测模块，用于结合特征提取和帧间相关性分析结果，使用深度学习模型进行目标检测；
18.所述目标检测模块中使用深度学习模型进行目标检测，包括：所述深度学习模型根据多个欧氏距离计算彼此之间的对比损失函数，预测对比损失的值的变化趋势，并将该变化趋势与所述步骤三得到的目标在时间上的运动信息进行比较，如果两者匹配成功则认定为检测正常，确定分类结果，反之如果两者匹配失败则认定为检测异常，发出提示信息；
19.执行模块，用于根据所述分类结果或提示信息进行管控。
20.第三方面，本技术提供一种基于帧间相关性的人工智能检测系统，所述系统包括处理器以及存储器：
21.所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
22.所述处理器用于根据所述程序代码中的指令执行第一方面四种可能中任一项所述的方法。
23.第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面四种可能中任一项所述的方法。
24.有益效果
25.本发明提供一种基于帧间相关性的人工智能检测方法和系统，通过引入帧间相关性分析，能够有效地利用视频序列中的时间信息，提高目标检测的准确性。此外，本发明通过预处理操作，可以消除视频序列中的噪声和畸变，提高系统的鲁棒性。通过将特征提取、帧间相关性分析和目标检测结合起来，本发明可以实现更准确、更高效的目标检测。
附图说明
26.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
27.图1为本发明基于帧间相关性的人工智能检测方法的大致流程图；
28.图2为本发明基于帧间相关性的人工智能检测系统的架构图。
具体实施方式
29.下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
30.图1为本技术提供的基于帧间相关性的人工智能检测方法的大致流程图，所述方法包括：
31.步骤一，对待检测的视频序列进行预处理操作，包括图像尺寸调整、帧率转换和去噪处理；
32.首先，对待检测的视频序列进行预处理操作。预处理操作包括将视频序列的图像尺寸调整为模型所需的大小，如常用的640x640像素；然后进行帧率转换，以确保每帧图像的间隔时间一致；最后进行去噪处理，以消除图像中的噪声和畸变。
33.步骤二，对每一帧图像进行特征提取，提取出与目标相关的特征点阵图；
34.所述特征提取包括对每一帧图像进行特征提取。特征提取通过深度学习模型如卷积神经网络(cnn)进行。对于每一帧图像，cnn模型将其转换为一组向量或特征表示，形成特征点阵图。这些特征应包含目标的形状、大小、纹理等关键信息。
35.步骤三，利用深度学习模型，对相邻帧之间的相关性进行分析，以获得目标在时间上的运动信息；
36.所述步骤三中对相邻帧之间的相关性进行分析，包括：将所述提取出与目标相关的特征点阵图作为输入项，针对前后两个输入项分别搭建两个三层结构，每一层的大小是上一层大小的一半，每一层结构分别用于计算层大小范围内所有特征点的最小二乘法多项式展开，得到拟合结果，传递到下一层结构；重复上述操作，直至传递到最后一层结构，输出最后的拟合点阵图，计算前后两个输入项对应的两个拟合点阵图之间的偏移矢量，输出所述待检测的视频序列的帧间特征；计算多个帧间特征之间的欧氏距离，根据多个欧氏距离获得目标在时间上的运动信息；
37.通过这种方式，可以获得目标在时间上的运动信息，如目标的运动速度、方向等。搭建这样的三层结构可以快速地捕获移动幅度较大的物体。
38.步骤四，结合特征提取和帧间相关性分析结果，使用深度学习模型进行目标检测；
39.所述步骤四中使用深度学习模型进行目标检测，包括：所述深度学习模型根据多个欧氏距离计算彼此之间的对比损失函数，预测对比损失的值的变化趋势，并将该变化趋势与所述步骤三得到的目标在时间上的运动信息进行比较，如果两者匹配成功则认定为检测正常，确定分类结果，反之如果两者匹配失败则认定为检测异常，发出提示信息；
40.根据所述分类结果或提示信息进行管控。
41.在一些优选实施例中，训练所述深度学习模型时，通过反向的传播方式来最小化熵损失函数，避免过饱和，当所述深度学习模型的精度满足阈值的要求，则表明该深度学习模型训练完成。然后可用于数据验证。
42.在一些优选实施例中，所述计算层大小范围内所有特征点的最小二乘法多项式展开，包括：根据每个特征点附近领域内的其他特征点的值和坐标，确定每个特征点的权重，再用多项式对该特征点的坐标进行展开。
43.在一些优选实施例中，所述附近领域是指在层大小范围内设定一个(2n+1)*(2n+1)的领域，用该领域中的(2n+1)平方个点作为最小二乘法的样本点进行拟合，所述n为整
数。
44.拟合后，还可以通过参数向量计算和局部模糊化处理，进一步加强三层结构之间的流动捕获，使得捕获的帧间向量的数据结构与帧内向量的数据结构一一对应。
45.图2为本技术提供的基于帧间相关性的人工智能检测系统的架构图，所述系统包括：
46.预处理模块，用于对待检测的视频序列进行预处理操作，包括图像尺寸调整、帧率转换和去噪处理；
47.特征提取模块，用于对每一帧图像进行特征提取，提取出与目标相关的特征点阵图；
48.帧间相关性分析模块，用于利用深度学习模型，对相邻帧之间的相关性进行分析，以获得目标在时间上的运动信息；
49.所述帧间相关性分析模块中对相邻帧之间的相关性进行分析，包括：将所述提取出与目标相关的特征点阵图作为输入项，针对前后两个输入项分别搭建两个三层结构，每一层的大小是上一层大小的一半，每一层结构分别用于计算层大小范围内所有特征点的最小二乘法多项式展开，得到拟合结果，传递到下一层结构；重复上述操作，直至传递到最后一层结构，输出最后的拟合点阵图，计算前后两个输入项对应的两个拟合点阵图之间的偏移矢量，输出所述待检测的视频序列的帧间特征；计算多个帧间特征之间的欧氏距离，根据多个欧氏距离获得目标在时间上的运动信息；
50.目标检测模块，用于结合特征提取和帧间相关性分析结果，使用深度学习模型进行目标检测；
51.所述目标检测模块中使用深度学习模型进行目标检测，包括：所述深度学习模型根据多个欧氏距离计算彼此之间的对比损失函数，预测对比损失的值的变化趋势，并将该变化趋势与所述步骤三得到的目标在时间上的运动信息进行比较，如果两者匹配成功则认定为检测正常，确定分类结果，反之如果两者匹配失败则认定为检测异常，发出提示信息；
52.执行模块，用于根据所述分类结果或提示信息进行管控。
53.本技术提供一种基于帧间相关性的人工智能检测系统，所述系统包括：所述系统包括处理器以及存储器：
54.所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
55.所述处理器用于根据所述程序代码中的指令执行第一方面所有实施例中任一项所述的方法。
56.本技术提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所有实施例中任一项所述的方法。
57.具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可以存储有程序，该程序执行时可包括本发明各个实施例中的部分或全部步骤。所述的存储介质可以为磁碟、光盘、只读存储记忆体(简称：rom)或随机存储记忆体(简称：ram)等。
58.本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是
个人计算机、服务器、或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
59.本说明书各个实施例之间相同相似的部分互相参见即可。尤其，对于实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
60.以上所述的本发明实施方式并不构成对本发明保护范围的限定。

技术特征：
1.一种基于帧间相关性的人工智能检测方法，其特征在于，所述方法包括：步骤一，对待检测的视频序列进行预处理操作，包括图像尺寸调整、帧率转换和去噪处理；步骤二，对每一帧图像进行特征提取，提取出与目标相关的特征点阵图；步骤三，利用深度学习模型，对相邻帧之间的相关性进行分析，以获得目标在时间上的运动信息；所述步骤三中对相邻帧之间的相关性进行分析，包括：将所述提取出与目标相关的特征点阵图作为输入项，针对前后两个输入项分别搭建两个三层结构，每一层的大小是上一层大小的一半，每一层结构分别用于计算层大小范围内所有特征点的最小二乘法多项式展开，得到拟合结果，传递到下一层结构；重复上述操作，直至传递到最后一层结构，输出最后的拟合点阵图，计算前后两个输入项对应的两个拟合点阵图之间的偏移矢量，输出所述待检测的视频序列的帧间特征；计算多个帧间特征之间的欧氏距离，根据多个欧氏距离获得目标在时间上的运动信息；步骤四，结合特征提取和帧间相关性分析结果，使用深度学习模型进行目标检测；所述步骤四中使用深度学习模型进行目标检测，包括：所述深度学习模型根据多个欧氏距离计算彼此之间的对比损失函数，预测对比损失的值的变化趋势，并将该变化趋势与所述步骤三得到的目标在时间上的运动信息进行比较，如果两者匹配成功则认定为检测正常，确定分类结果，反之如果两者匹配失败则认定为检测异常，发出提示信息；根据所述分类结果或提示信息进行管控。2.根据权利要求1所述的方法，其特征在于：训练所述深度学习模型时，通过反向的传播方式来最小化熵损失函数，避免过饱和，当所述深度学习模型的精度满足阈值的要求，则表明该深度学习模型训练完成。3.根据权利要求1所述的方法，其特征在于：所述计算层大小范围内所有特征点的最小二乘法多项式展开，包括：根据每个特征点附近领域内的其他特征点的值和坐标，确定每个特征点的权重，再用多项式对该特征点的坐标进行展开。4.根据权利要求3所述的方法，其特征在于：所述附近领域是指在层大小范围内设定一个(2n+1)*(2n+1)的领域，用该领域中的(2n+1)平方个点作为最小二乘法的样本点进行拟合，所述n为整数。5.一种基于帧间相关性的人工智能检测系统，其特征在于，所述系统包括：预处理模块，用于对待检测的视频序列进行预处理操作，包括图像尺寸调整、帧率转换和去噪处理；特征提取模块，用于对每一帧图像进行特征提取，提取出与目标相关的特征点阵图；帧间相关性分析模块，用于利用深度学习模型，对相邻帧之间的相关性进行分析，以获得目标在时间上的运动信息；所述帧间相关性分析模块中对相邻帧之间的相关性进行分析，包括：将所述提取出与目标相关的特征点阵图作为输入项，针对前后两个输入项分别搭建两个三层结构，每一层的大小是上一层大小的一半，每一层结构分别用于计算层大小范围内所有特征点的最小二乘法多项式展开，得到拟合结果，传递到下一层结构；重复上述操作，直至传递到最后一层结构，输出最后的拟合点阵图，计算前后两个输入项对应的两个拟合点阵图之间的偏移矢
量，输出所述待检测的视频序列的帧间特征；计算多个帧间特征之间的欧氏距离，根据多个欧氏距离获得目标在时间上的运动信息；目标检测模块，用于结合特征提取和帧间相关性分析结果，使用深度学习模型进行目标检测；所述目标检测模块中使用深度学习模型进行目标检测，包括：所述深度学习模型根据多个欧氏距离计算彼此之间的对比损失函数，预测对比损失的值的变化趋势，并将该变化趋势与所述步骤三得到的目标在时间上的运动信息进行比较，如果两者匹配成功则认定为检测正常，确定分类结果，反之如果两者匹配失败则认定为检测异常，发出提示信息；执行模块，用于根据所述分类结果或提示信息进行管控。6.一种基于帧间相关性的人工智能检测系统，其特征在于，所述系统包括处理器以及存储器：所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；所述处理器用于根据所述程序代码中的指令执行实现权利要求1-4任一项所述的方法。7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行实现权利要求1-4任一项所述的方法。

技术总结
本发明提供一种基于帧间相关性的人工智能检测方法和系统，通过引入帧间相关性分析，能够有效地利用视频序列中的时间信息，提高目标检测的准确性。此外，本发明通过预处理操作，可以消除视频序列中的噪声和畸变，提高系统的鲁棒性。通过将特征提取、帧间相关性分析和目标检测结合起来，本发明可以实现更准确、更高效的目标检测。效的目标检测。效的目标检测。


技术研发人员：魏亮 谢玮 魏薇 彭志艺 凌霞 郑威 张学阳 海涵 郑晓玲
受保护的技术使用者：中国信息通信研究院
技术研发日：2023.07.26
技术公布日：2023/10/15