实时视频监控篡改检测方法、装置及设备与流程

1.本技术涉及通信技术领域，尤其是涉及一种实时视频监控篡改检测方法、装置及设备。


背景技术：

2.视频物联网是由视频设备（如摄像机等）和管理设备（如个人计算机、录像机、管理平台等）组成的视频网络，视频设备可以采集视频画面，并将视频画面发送给管理设备，由管理设备存储视频画面或者实时显示视频画面。
3.在视频设备与管理设备之间传输视频画面时，若攻击者对视频画面进行篡改，并将篡改后的视频画面发送给管理设备，则管理设备只能存储或者显示篡改后的视频画面，进而导致存储或者显示的视频画面内容失效。


技术实现要素：

4.有鉴于此，本技术提供一种实时视频监控篡改检测方法、装置及设备，能够检测视频设备与管理设备之间传输的实时视频是否被篡改。
5.一方面，本技术提供一种实时视频监控篡改检测方法，所述方法包括：基于多个流量数据包确定多个视频画面的特征数据，获取与所述多个流量数据包对应的视频操作数据，所述特征数据包括所述多个视频画面的相似度和/或所述多个视频画面的文字信息；其中，所述多个流量数据包是由视频设备向管理设备发送，所述多个视频画面是对所述多个流量数据包进行视频数据恢复得到，所述视频操作数据是用于对所述视频设备的配置参数进行操作的数据；所述文字信息是通过对所述多个视频画面进行文字识别得到；基于所述多个视频画面的特征数据和所述视频操作数据确定实时视频发生篡改或者未发生篡改，所述实时视频是所述多个流量数据包对应的视频。
6.另一方面，本技术提供一种实时视频监控篡改检测装置，所述装置包括：确定模块，用于基于多个流量数据包确定多个视频画面的特征数据，获取与所述多个流量数据包对应的视频操作数据，所述特征数据包括所述多个视频画面的相似度和/或所述多个视频画面的文字信息；其中，所述多个流量数据包是由视频设备向管理设备发送，所述多个视频画面是对所述多个流量数据包进行视频数据恢复得到，所述视频操作数据是用于对所述视频设备的配置参数进行操作的数据；所述文字信息是通过对所述多个视频画面进行文字识别得到；检测模块，用于基于所述多个视频画面的特征数据和所述视频操作数据确定实时视频发生篡改或者未发生篡改，实时视频是多个流量数据包对应的视频。
7.另一方面，本技术提供一种电子设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被处理器执行的机器可执行指令；其中，所述处理器用于执行机器可执行指令，以实现上述实时视频监控篡改检测方法。
8.另一方面，本技术提供一种机器可读存储介质，所述机器可读存储介质存储有能够被处理器执行的机器可执行指令；其中，所述处理器用于执行所述机器可执行指令，以实现上述的实时视频监控篡改检测方法。
9.另一方面，本技术提供一种计算机程序，所述计算机程序存储于机器可读存储介质，当处理器执行所述机器可读存储介质中的所述计算机程序时，能够促使所述处理器实现上述的实时视频监控篡改检测方法。
10.由以上技术方案可见，本技术实施例中，可以基于多个视频画面的特征数据和视频操作数据确定实时视频发生篡改或未发生篡改，即能够检测视频设备与管理设备之间传输的实时视频是否被篡改，实现视频物联网的实时视频篡改检测，提升视频物联网的安全性，保障视频物联网中的视频设备安全，提升视频画面传输过程的安全监测能力，提高视频物联网安全维护人员的维护效率。
附图说明
11.图1是本技术一种实施方式中的实时视频监控篡改检测方法的流程示意图；图2是本技术一种实施方式中的视频物联网的组网示意图；图3是本技术一种实施方式中的视频物联网的组网示意图；图4是本技术一种实施方式中的实时视频监控篡改检测方法的流程示意图；图5是本技术一种实施方式中的实时视频监控篡改检测装置的结构示意图；图6是本技术一种实施方式中的电子设备的硬件结构图。
具体实施方式
12.在本技术实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本技术。本技术和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
13.应当理解，尽管在本技术实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
14.本技术实施例中提出一种实时视频监控篡改检测方法，视频物联网是由视频设备、转发设备和管理设备等组成的视频网络，管理设备通过转发设备与视频设备连接，转发设备的旁路部署分析设备，实时视频监控篡改检测方法可以应用于分析设备，参见图1所示，为该方法的流程示意图，该方法可以包括：步骤101、基于多个流量数据包确定多个视频画面的特征数据，获取与多个流量数据包对应的视频操作数据，该特征数据包括多个视频画面的相似度和/或多个视频画面的文字信息。其中，多个流量数据包是由视频设备向管理设备发送，多个视频画面是对多个流量数据包进行视频数据恢复得到，视频操作数据是用于对视频设备的配置参数进行操作的数据，可以由管理设备发送给视频设备；文字信息可以是通过对多个视频画面进行文字识
别得到。
15.比如说，可以先获取视频设备向管理设备发送的多个流量数据包，并获取管理设备向视频设备发送的多个流量数据包对应的视频操作数据。
16.在得到多个流量数据包之后，可以对多个流量数据包进行视频数据恢复得到多个视频画面。在得到多个视频画面之后，还可以确定多个视频画面的相似度，和/或，对多个视频画面进行文字识别得到多个视频画面的文字信息。在此基础上，将多个视频画面的相似度作为多个视频画面的特征数据，或者，将多个视频画面的文字信息作为多个视频画面的特征数据，或者，将多个视频画面的相似度和多个视频画面的文字信息作为多个视频画面的特征数据。
17.步骤102、基于多个视频画面的特征数据和该视频操作数据确定实时视频发生篡改或者未发生篡改，实时视频可以是多个流量数据包对应的视频。
18.在一种可能的实施方式中，基于多个视频画面的特征数据和该视频操作数据确定实时视频发生篡改或者未发生篡改之前，还可以基于多个流量数据包的序列号确定实时视频发生篡改或者未发生篡改。或者，在基于多个视频画面的特征数据和该视频操作数据确定实时视频未发生篡改的情况下，还可以基于多个流量数据包的序列号确定实时视频发生篡改或者未发生篡改。
19.比如说，在步骤102之前，可以基于多个流量数据包的序列号确定实时视频发生篡改或者未发生篡改。若实时视频发生篡改，则输出实时视频发生篡改的告警信息。若实时视频的检测结果为第一篡改结果，第一篡改结果表示实时视频被多个流量数据包的序列号检测为未发生篡改，则可以基于多个视频画面的特征数据和该视频操作数据确定实时视频发生篡改或者未发生篡改。
20.比如说，若实时视频的检测结果为第一篡改结果，则可以基于多个视频画面的相似度和视频操作数据确定实时视频发生篡改或者未发生篡改。
21.又例如，若实时视频的检测结果为第一篡改结果，则可以基于多个视频画面的文字信息和视频操作数据确定实时视频发生篡改或者未发生篡改。
22.又例如，若实时视频的检测结果为第一篡改结果，则可以基于多个视频画面的相似度和视频操作数据确定实时视频发生篡改或者未发生篡改。若实时视频发生篡改，则输出实时视频发生篡改的告警信息。若实时视频的检测结果为第二篡改结果，第二篡改结果表示实时视频被多个视频画面的相似度和视频操作数据检测为未发生篡改，则可以基于多个视频画面的文字信息和视频操作数据确定实时视频发生篡改或者未发生篡改。在此基础上，若实时视频发生篡改，则输出实时视频发生篡改的告警信息。若实时视频的检测结果为第八篡改结果，第八篡改结果表示实时视频被多个视频画面的文字信息和视频操作数据检测为未发生篡改，则确定实时视频的最终检测结果为未发生篡改。
23.又例如，若实时视频的检测结果为第一篡改结果，则基于多个视频画面的文字信息和视频操作数据确定实时视频发生篡改或者未发生篡改。若实时视频发生篡改，则输出实时视频发生篡改的告警信息。若实时视频的检测结果为第八篡改结果，则基于多个视频画面的相似度和视频操作数据确定实时视频发生篡改或者未发生篡改。若实时视频发生篡改，则输出实时视频发生篡改的告警信息。若实时视频的检测结果为第二篡改结果，则最终检测结果为未发生篡改。
24.在一种可能的实施方式中，若特征数据为多个视频画面的相似度，基于多个视频画面的相似度和视频操作数据确定实时视频发生篡改或者未发生篡改，可以包括：若相邻两个视频画面的相似度小于相似度阈值，且视频操作数据表示未对视频设备的云台配置参数进行操作，则确定实时视频发生篡改；或者，若相邻两个视频画面的相似度小于相似度阈值，且视频操作数据表示对视频设备的云台配置参数进行操作，则确定实时视频的检测结果为第二篡改结果。
25.在一种可能的实施方式中，若特征数据为多个视频画面的文字信息，基于多个视频画面的文字信息和视频操作数据确定实时视频发生篡改或者未发生篡改，可以包括：在多个视频画面的文字信息中存在时间戳信息，时间戳信息表示时间戳异常变化的情况下，若视频操作数据表示未对视频设备的时间配置参数进行操作，则确定实时视频发生篡改；或，若视频操作数据表示对视频设备的时间配置参数进行操作，则确定实时视频的检测结果为第三篡改结果，第三篡改结果可以表示实时视频被多个视频画面的文字信息中的时间戳信息和视频操作数据检测为未发生篡改。和/或，在多个视频画面的文字信息中存在设备标识信息，设备标识信息表示设备标识变化的情况下，若视频操作数据表示未对视频设备的设备标识配置参数进行操作，则确定实时视频发生篡改；或，若视频操作数据表示对视频设备的设备标识配置参数进行操作，则确定实时视频的检测结果为第四篡改结果，第四篡改结果可以表示实时视频被多个视频画面的文字信息中的设备标识信息和视频操作数据检测为未发生篡改。
26.在一种可能的实施方式中，基于多个视频画面的特征数据和视频操作数据确定实时视频发生篡改或者未发生篡改之前，还可以基于多个流量数据包的序列号确定实时视频发生篡改或者未发生篡改。比如说，若多个流量数据包的序列号为周期性循环增长，则可以确定实时视频发生篡改，并输出实时视频发生篡改的告警信息。又例如，若多个流量数据包的序列号为跳跃变化，则可以确定实时视频发生篡改，并输出实时视频发生篡改的告警信息。其中，跳跃变化表示后一个流量数据包的序列号与前一个流量数据包的序列号之间的差值大于预设阈值。又例如，若多个流量数据包的序列号为递增增长，则确定实时视频的检测结果为第一篡改结果（即实时视频被多个流量数据包的序列号检测为未发生篡改）；若实时视频的检测结果为第一篡改结果，则执行基于多个视频画面的特征数据和视频操作数据确定实时视频发生篡改或者未发生篡改的操作。
27.在一种可能的实施方式中，若实时视频的检测结果为第一篡改结果，还可以判断相邻两个视频画面的相似度是否大于或等于相似度阈值；若否，则执行基于多个视频画面的相似度和视频操作数据确定实时视频发生篡改或者未发生篡改的操作；若是，则确定实时视频的检测结果为第五篡改结果，第五篡改结果表示实时视频被多个视频画面的相似度检测为未发生篡改。
28.在一种可能的实施方式中，若实时视频的检测结果为第一篡改结果，可以判断多个视频画面的文字信息中的时间戳信息是否表示时间戳正常增长；若是，则确定实时视频的检测结果为第六篡改结果，第六篡改结果表示实时视频被多个视频画面的文字信息中的时间戳信息检测为未发生篡改；若否，则基于多个视频画面的文字信息和视频操作数据确定实时视频发生篡改或者未发生篡改。
29.或者，若实时视频的检测结果为第一篡改结果，可以判断多个视频画面的文字信
息中的设备标识信息是否表示设备标识未发生变化，若是，则确定实时视频的检测结果为第七篡改结果，第七篡改结果表示实时视频被多个视频画面的文字信息中的设备标识信息检测为未发生篡改；若否，则基于多个视频画面的文字信息和视频操作数据确定实时视频发生篡改或者未发生篡改。
30.在一种可能的实施方式中，若实时视频的检测结果为第二篡改结果或者第五篡改结果，还可以判断多个视频画面的文字信息中的时间戳信息是否表示时间戳正常增长；若是，则可以确定实时视频的检测结果为第六篡改结果；若否，则可以执行基于多个视频画面的文字信息和视频操作数据确定实时视频发生篡改或者未发生篡改的操作；或者，还可以判断多个视频画面的文字信息中的设备标识信息是否表示设备标识未发生变化，若是，则可以确定实时视频的检测结果为第七篡改结果；若否，则可以执行基于多个视频画面的文字信息和视频操作数据确定实时视频发生篡改或者未发生篡改的操作。
31.在一种可能的实施方式中，若特征数据为多个视频画面的文字信息，基于多个视频画面的文字信息和视频操作数据确定实时视频发生篡改或者未发生篡改之前，还可以判断多个视频画面的文字信息中是否存在敏感词；若存在敏感词，则确定实时视频发生篡改；若不存在敏感词，则执行基于多个视频画面的文字信息和视频操作数据确定实时视频发生篡改或者未发生篡改的操作。
32.在一种可能的实施方式中，在从转发设备获取到管理设备向视频设备发送的视频操作数据时，分析设备可以在指定存储介质中存储该视频操作数据和该视频操作数据的获取时间。在从转发设备获取到视频设备向管理设备发送的流量数据包时，分析设备可以在指定存储介质中存储该流量数据包和该流量数据包的获取时间。基于该流量数据包的获取时间和该视频操作数据的获取时间，将对应同一时间段的流量数据包和视频操作数据进行匹配关联。
33.由以上技术方案可见，本技术实施例中，可以基于多个视频画面的特征数据和视频操作数据确定实时视频发生篡改或未发生篡改，即能够检测视频设备与管理设备之间传输的实时视频是否被篡改，实现视频物联网的实时视频篡改检测，提升视频物联网的安全性，保障视频物联网中的视频设备安全，提升视频画面传输过程的安全监测能力，提高视频物联网安全维护人员的维护效率。
34.以下结合具体应用场景，对本技术实施例的上述技术方案进行说明。
35.视频物联网是由视频设备、转发设备和管理设备等组成的视频网络，视频设备是接收管理设备指令的设备，如模拟摄像机、ipc（ip camera，网络摄像机）等，对此视频设备的类型不做限制，视频设备可以是用于采集视频画面的任意设备。管理设备可以是向视频设备发送指令的设备，如管理平台（即物联网平台）、pc（personal computer，个人计算机）、笔记本电脑、终端设备、智能手机、nvr（network video recorder，网络视频录像机）等，对此管理设备的类型不做限制，管理设备可以是用于接收视频画面的任意设备。管理设备在得到视频画面之后，可以存储视频画面或者实时显示视频画面。转发设备可以是交换机、路由器等，转发设备用于将管理设备的指令转发给视频设备，并将视频设备采集的视频画面转发给管理设备，对此转发设备的类型不做限制。
36.参见图2所示，为视频物联网的一个组网示意图，视频设备的数量可以为至少一个，这些视频设备均可以通过转发设备连接到管理设备。
37.在视频设备与管理设备之间传输视频画面时，若攻击者对视频画面进行篡改，并将篡改后的视频画面发送给管理设备，则管理设备只能存储或者显示篡改后的视频画面，进而导致存储或者显示的视频画面内容失效。
38.针对上述发现，本技术实施例提出一种实时视频监控篡改检测方法，在视频设备与管理设备传输流量数据包的过程，基于多个流量数据包的序列号、多个视频画面的相似度、多个视频画面的文字信息确定实时视频（即多个视频画面组成的视频）发生篡改或实时视频未发生篡改，在不产生干扰数据的前提下，实现视频物联网的实时视频篡改检测，并在实时视频被篡改时及时进行修复，保障视频物联网中的视频设备安全，提高视频物联网安全维护人员的维护效率。
39.参见图3所示，为视频物联网的另一个组网示意图，视频物联网包括视频设备、转发设备和管理设备，管理设备通过转发设备与视频设备连接，视频设备的数量可以为至少一个，这些视频设备均通过转发设备连接到管理设备。在此基础上，转发设备的旁路部署有分析设备，也就是说，通过旁路方式部署分析设备，而不是串行部署分析设备。视频设备与管理设备之间传输的流量数据包不会经过分析设备，分析设备是从转发设备获取流量数据包，即转发设备在正常转发流量数据包的基础上，复制一份流量数据包发送给分析设备。
40.示例性的，通过旁路方式部署分析设备，继而由分析设备获取视频设备发送的流量数据包，能够在不产生干扰数据的基础上，通过旁路方式获取流量数据包，通过对流量数据包进行分析，能够得到多个流量数据包的序列号、多个视频画面的相似度、多个视频画面的文字信息，继而基于多个流量数据包的序列号、多个视频画面的相似度、多个视频画面的文字信息确定是否发生篡改。
41.在上述应用场景下，参见图4所示，为实时视频监控篡改检测方法的流程示意图，该方法可以应用于分析设备，该方法可以包括以下步骤：步骤401、在从转发设备获取到视频设备向管理设备发送的流量数据包时，在指定存储介质（如内存储器、外存储器等）中存储该流量数据包和该流量数据包的获取时间。在从转发设备获取到管理设备向视频设备发送的视频操作数据时，在指定存储介质中存储该视频操作数据和该视频操作数据的获取时间。
42.示例性的，管理设备从视频设备取流的过程可以包括：管理设备可以向视频设备发送取流开始指令，该取流开始指令的源ip地址为管理设备的ip地址，目的ip地址为视频设备的ip地址。视频设备在接收到取流开始指令之后，可以向管理设备发送流量数据包（如多个流量数据包），流量数据包的源ip地址为视频设备的ip地址，目的ip地址为管理设备的ip地址。管理设备从视频设备取流结束之后，管理设备可以向视频设备发送取流结束指令，取流结束指令的源ip地址为管理设备的ip地址，目的ip地址为视频设备的ip地址。
43.基于上述过程，针对每次取流操作，转发设备在接收到管理设备向视频设备发送的取流开始指令时，除了将取流开始指令发送给视频设备，还会复制一份取流开始指令，将该取流开始指令发送给分析设备，由分析设备从转发设备获取到管理设备向视频设备发送的取流开始指令。转发设备在接收到视频设备向管理设备发送的流量数据包时，除了将流量数据包发送给管理设备，还会复制一份流量数据包，将该流量数据包（如多个流量数据包）发送给分析设备，由分析设备从转发设备获取到视频设备向管理设备发送的流量数据包。转发设备在接收到管理设备向视频设备发送的取流结束指令时，除了将取流结束指令
发送给视频设备，还会复制一份取流结束指令，将该取流结束指令发送给分析设备，由分析设备从转发设备获取到管理设备向视频设备发送的取流结束指令。
44.视频设备与管理设备之间的视频链路具有唯一性，视频链路是取流过程中流量数据包的传输链路，由于不同视频设备的ip地址不同，不同管理设备的ip地址不同，因此，可以通过视频设备的ip地址和管理设备的ip地址作为视频链路的唯一标识，不同标识用于区分不同视频链路，后续以一个视频链路为例进行说明，流量数据包的源ip地址和目的ip地址与该视频链路的唯一标识匹配。
45.针对该视频链路，该视频链路对应的存储格式为{timestamp，key_video_y，video_1，video_2，video_3，
…
，video_n}，y、n表示计数。timestamp表示流量数据包的获取时间，如将取流开始指令的接收时间作为流量数据包的获取时间。key_video_y表示流量数据包的唯一标识，video_n表示第n个流量数据包。
46.分析设备在获取到取流开始指令后，将取流开始指令的接收时间作为流量数据包的获取时间，在指定存储介质中存储流量数据包的获取时间（timestamp）。分析设备在获取到流量数据包后，在指定存储介质中依次存储每个流量数据包。
47.示例性的，管理设备对视频设备的操作过程可以包括：管理设备向视频设备发送视频操作数据，视频操作数据用于对视频设备的配置参数进行操作，比如说，可以对视频设备的云台配置参数进行操作，如将云台进行上、下、左、右的移动等，可以对视频设备的时间配置参数进行操作，如修改视频设备的系统时间等，可以对视频设备的设备标识配置参数进行操作，如修改视频设备的设备标识等。其中，该视频操作数据的源ip地址为管理设备的ip地址，目的ip地址为视频设备的ip地址。视频设备在接收到该视频操作数据之后，则可以基于该视频操作数据对本视频设备的配置参数进行操作，比如说，可以对本视频设备的云台配置参数进行操作、可以对本视频设备的时间配置参数进行操作，可以对本视频设备的设备标识配置参数进行操作，对此操作方式不作限制。在操作完成之后，视频设备还可以向管理设备发送操作完成指令。
48.基于上述视频设备的操作过程，转发设备在接收到管理设备向视频设备发送的视频操作数据之后，除了将视频操作数据发送给视频设备，还会复制一份视频操作数据，将该视频操作数据发送给分析设备，由分析设备从转发设备获取到管理设备向视频设备发送的视频操作数据。转发设备在接收到视频设备向管理设备发送的操作完成指令之后，除了将操作完成指令发送给管理设备，还会复制一份操作完成指令，将该操作完成指令发送给分析设备，由分析设备从转发设备获取到视频设备向管理设备发送的操作完成指令。
49.在通过视频设备的ip地址和管理设备的ip地址作为视频链路的唯一标识时，视频操作数据的源ip地址和目的ip地址与该视频链路的唯一标识匹配。
50.针对该视频链路，该视频链路对应的视频操作数据的存储格式为{timestamp、key_operate_x，operate_m，result}，x、m表示计数。timestamp表示视频操作数据的获取时间，如将接收到视频操作数据的时间作为该视频操作数据的获取时间。key_operate_x表示视频操作数据的唯一标识，operate_m表示视频操作数据。result表示操作结果，可以从操作完成指令中解析出操作结果，如操作结果的取值为-1时表示操作结果未知，操作结果的取值为0时表示操作失败，操作结果的取值为1时表示操作成功，对此操作结果的内容不作限制。
51.分析设备在获取到视频操作数据之后，可以将视频操作数据的接收时间作为该视频操作数据的获取时间，并在指定存储介质中存储视频操作数据的获取时间（timestamp），并在指定存储介质中存储视频操作数据。分析设备在获取到该视频操作数据的操作完成指令之后，在指定存储介质中存储操作结果。
52.综上所述，可以在指定存储介质中存储流量数据包的获取时间、存储多个流量数据包、存储视频操作数据的获取时间、存储视频操作数据。针对每个流量数据包，该流量数据包可以是基于udp协议传输的流量数据包，也可以是基于tcp协议传输的流量数据包，还可以是基于rtp协议传输的流量数据包，还可以是其它协议传输的流量数据包，对此流量数据包的传输方式不作限制。
53.除了采用视频设备的ip地址和管理设备的ip地址作为视频链路的唯一标识，还可以采用源ip地址、源端口、目的ip地址和目的端口作为视频链路的唯一标识，即采用源ip地址、源端口、目的ip地址和目的端口这个四元组作为唯一标识，进行流量数据包和视频操作数据的存储，对此存储方式不作限制。
54.步骤402、对多个流量数据包进行视频数据恢复得到多个视频画面。
55.示例性的，视频设备可以采集多个视频画面（即视频图像），由于视频是由多个视频画面连续播放而成，使人眼产生运动的感觉，如果直接传输视频画面，对于视频链路的带宽要求太高，传输的数据量太大，因此，产生了很多对视频画面进行编解码的算法和规范，如h264、h265、h266等。
56.编解码的处理过程是：将视频画面分成一段段gop，针对每个gop，将该gop编码成一个i帧（关键帧）、多个p帧（前向预测帧）和多个b帧（双向内插帧），i帧是一个完整的视频画面，而p帧和b帧用于记录视频画面相对于i帧的差异，即i帧可以直接预览，p帧和b帧需要基于i帧进行变化后再预览。
57.在将视频画面分成视频帧（如i帧、p帧和b帧）之后，还可以对每个视频帧进行编码压缩，以减少传输数据量，而编码压缩后的就是流量数据包（如多个流量数据包）。在得到流量数据包之后，视频设备向管理设备发送的是流量数据包，而不是视频画面本身，从而通过传输流量数据包减少传输数据量。
58.综上所述，流量数据包是对视频帧进行处理得到，一个流量数据包可能对应多个视频帧，一个视频帧也可能对应多个流量数据包，且视频帧是对视频画面进行处理得到，基于此，分析设备可以基于流量数据包得到视频帧，且基于视频帧得到视频画面，也就是说，分析设备可以基于流量数据包得到视频画面，本实施例中，将流量数据包到视频画面的转换过程称为视频数据恢复，对此视频数据恢复方式不作限制，只要能够将流量数据包转换为视频画面即可，因此，可以对多个流量数据包进行视频数据恢复得到多个视频画面。
59.示例性的，在对多个流量数据包进行视频数据恢复得到多个视频画面之后，还可以在指定存储介质中存储多个视频画面（即视频图像）。视频链路对应的视频画面存储格式可以为{key_video_y，page_1，page_2，page_3，
…
，page_k}，k为计算值，key_video_y表示流量数据包的唯一标识，也就是视频画面的唯一标识，page_1，page_2，page_3，
…
，page_k为多个视频画面。
60.步骤403、基于多个流量数据包的序列号确定实时视频发生篡改或者未发生篡改，该实时视频可以是多个流量数据包对应的视频（即多个视频画面组成的视频）。实时视频的
检测结果可以为实时视频发生篡改，或者，实时视频的检测结果可以为第一篡改结果，第一篡改结果表示实时视频被多个流量数据包的序列号检测为未发生篡改。若实时视频的检测结果为实时视频发生篡改，则执行步骤404，若实时视频的检测结果为第一篡改结果，则执行步骤405。
61.示例性的，视频设备在向管理设备发送流量数据包时，不论传输层使用的是tcp协议、udp协议还是rtp协议，流量数据包中均会包含序列号字段，该序列号字段的值为sequencenum（序列号），且第一个流量数据包的序列号是随机生成的，如100等，之后每个流量数据包的序列号逐一按次序增加，如第二个流量数据包的序列号是101、第三个流量数据包的序列号是102，以此类推。比如说，，，以此类推，其中，表示第一个流量数据包的序列号，表示第二个流量数据包的序列号，表示第三个流量数据包的序列号，以此类推。
62.基于此，若多个流量数据包的序列号为递增增长，则确定实时视频的检测结果为第一篡改结果，即被多个流量数据包的序列号检测为未发生篡改。比如说，多个流量数据包的序列号依次为100、101、102、103、104、105、106等，则表示多个流量数据包的序列号为递增增长，并确定实时视频的检测结果为第一篡改结果。综上可以看出，通过查询多个流量数据包的序列号是否处于递增状态，可以确定实时视频是否发生篡改，继而确定实时视频的检测结果。
63.示例性的，若多个流量数据包的序列号为周期性循环增长，则可以确定实时视频的检测结果为实时视频发生篡改。其中，在多个流量数据包的序列号为周期性循环增长时，实时视频的篡改类型可以为重放篡改。
64.比如说，若多个流量数据包的序列号处于周期性循环增长状态，即多个流量数据包的序列号一直处于同一个周期区间内，则说明攻击者提前截取一段时间内的流量数据包，然后通过重放的方式使管理设备一直接收相同的流量数据包，视频画面表现为周期性播放一段时间内的视频画面，该过程通过如下公式表示：，表示第y个流量数据包的序列号，表示第x个流量数据包的序列号，y=x+cycle，cycle表示循环周期，n可以为正整数，比如说，多个流量数据包的序列号依次为100、101、102、100、101、102、100、101、102等。
65.在此基础上，可以确定实时视频的检测结果为实时视频发生篡改，且实时视频的篡改类型可以为重放篡改，即以重放的方式篡改流量数据包。
66.示例性的，若多个流量数据包的序列号为跳跃变化，则可以确定确定实时视频的检测结果为实时视频发生篡改。其中，在多个流量数据包的序列号为跳跃变化时，实时视频的篡改类型可以为替换篡改。其中，跳跃变化表示后一个流量数据包的序列号与前一个流
量数据包的序列号之间的差值大于预设阈值。
67.比如说，若多个流量数据包的序列号发生跳跃变化，即后一流量数据包的序列号与前一流量数据包的序列号之间的差值大于预设阈值（可以根据经验配置，对此预设阈值不作限制），即序列号的后一数值与前一数值的相差比较大，相差之前和相差之后都符合递增规律，则说明攻击者替换了视频流，但是没有处理序列号的递增字段连续性，只是重新初始化序列号，该过程通过如下公式表示：=
±
，表示第y个流量数据包的序列号，表示第x个流量数据包的序列号，表示预设阈值，如多个流量数据包的序列号依次为100、101、102、3000、3001、3002、3003、3004等。
68.在此基础上，可以确定实时视频的检测结果为实时视频发生篡改，且实时视频的篡改类型可以为替换篡改，即以替换的方式篡改流量数据包。
69.步骤404、确定实时视频发生篡改，在实时视频发生篡改时，还可以输出实时视频发生篡改的告警信息，并输出实时视频的篡改类型。其中，实时视频可以是由多个视频画面组成的视频，实时视频发生篡改表示多个视频画面被篡改。
70.比如说，在步骤403中，若实时视频的检测结果为实时视频发生篡改，则结束实时视频的检测过程，可以输出告警信息和篡改类型。通过告警信息联动其它安全设备对视频设备进行安全处理，比如说，可以对视频设备进行设备封禁或者设备下线等安全处理，对此处理方式不作限制。通过输出实时视频的篡改类型，能够快速定位实时视频的篡改类型，继而对视频设备进行修复。
71.比如说，若多个流量数据包的序列号处于周期性循环增长状态，则输出的实时视频的篡改类型可以为重放篡改；若多个流量数据包的序列号发生跳跃变化，则输出的实时视频的篡改类型可以为替换篡改。
72.步骤405、若实时视频的检测结果为第一篡改结果，则基于多个视频画面的相似度以及视频操作数据确定实时视频发生篡改或者未发生篡改；或者，基于多个视频画面的相似度确定实时视频发生篡改或者未发生篡改。
73.示例性的，实时视频的检测结果可以为实时视频发生篡改，或者，实时视频的检测结果可以为第二篡改结果或者第五篡改结果，第二篡改结果表示实时视频被多个视频画面的相似度和视频操作数据检测为未发生篡改，第五篡改结果表示实时视频被多个视频画面的相似度检测为未发生篡改。
74.若实时视频的检测结果为实时视频发生篡改，则执行步骤404，若实时视频的检测结果为第二篡改结果或者第五篡改结果，则执行步骤406。
75.示例性的，在对多个流量数据包进行视频数据恢复得到多个视频画面之后，可以计算相邻两个视频画面的相似度，若相邻两个视频画面的相似度大于或等于相似度阈值（根据经验配置），如任意相邻两个视频画面的相似度均大于或等于相似度阈值，则确定实时视频的检测结果为第五篡改结果，即实时视频被多个视频画面的相似度检测为未发生篡改。若实时视频的检测结果为第五篡改结果，则执行步骤406。比如说，若视频画面1和视频
画面2的相似度大于或等于相似度阈值、视频画面2和视频画面3的相似度大于或等于相似度阈值，以此类推，则确定实时视频的检测结果为第五篡改结果，执行步骤406。
76.其中，相邻两个视频画面的相似度，可以是相邻两个视频画面的距离（如欧式距离）、相邻两个视频画面的余弦相似度等。为了计算相邻两个视频画面的距离，提取相邻两个视频画面的图像特征，基于相邻两个视频画面的图像特征计算距离。为了计算相邻两个视频画面的余弦相似度，提取相邻两个视频画面的图像特征，基于相邻两个视频画面的图像特征计算余弦相似度。
77.由于距离越小时，相邻两个视频画面的相似度越大，相邻两个视频画面的画面变动越小，距离越大时，相邻两个视频画面的相似度越小，相邻两个视频画面的画面变动越大，基于此，若相邻两个视频画面的距离小于或等于距离阈值，则表示相邻两个视频画面的相似度大于或等于相似度阈值。若相邻两个视频画面的距离大于距离阈值，表示相邻两个视频画面的相似度小于相似度阈值。
78.由于余弦相似度越小时，相邻两个视频画面的相似度越小，即相邻两个视频画面的画面变动越大，余弦相似度越大时，相邻两个视频画面的相似度越大，即相邻两个视频画面的画面变动越小，基于此，若相邻两个视频画面的余弦相似度大于或等于余弦相似度阈值，表示相邻两个视频画面的相似度大于或等于相似度阈值，即视频画面的画面变动较小。若相邻两个视频画面的余弦相似度小于余弦相似度阈值，表示相邻两个视频画面的相似度小于相似度阈值。
79.当然，上述只是相似度的两个示例，对此相似度的类型不作限制。
80.其中，在视频画面的正常传输过程中，相邻两个视频画面的画面变动比较小，若对视频画面进行篡改，则相邻两个视频画面的画面变动比较大，基于上述原理，若相邻两个视频画面的相似度大于或等于相似度阈值（即画面变动比较小），则可以确定实时视频的检测结果为第五篡改结果。
81.需要说明的是，若对视频画面进行篡改时，是将上一帧视频画面作为当前帧视频画面，虽然相邻两个视频画面的相似度大于或等于相似度阈值，但这种情况下，基于多个流量数据包的序列号确定实时视频发生篡改或未发生篡改时，实时视频的检测结果为发生篡改，即不会执行步骤405，反之，若执行步骤405，则不是将上一帧视频画面作为当前帧视频画面，因此，若相邻两个视频画面的相似度大于或等于相似度阈值，则确定实时视频的检测结果为第五篡改结果。
82.示例性的，在对多个流量数据包进行视频数据恢复得到多个视频画面之后，若相邻两个视频画面的相似度小于相似度阈值，如至少一个相似度小于相似度阈值，则可以查询多个流量数据包对应的视频操作数据，即基于流量数据包的获取时间和视频操作数据的获取时间，将对应同一时间段的流量数据包和视频操作数据进行匹配关联，从而得到多个流量数据包对应的视频操作数据。
83.比如说，由于已经存储流量数据包的获取时间和视频操作数据的获取时间，可以先确定目标时间段，目标时间段的截至时间是流量数据包的获取时间（或早于流量数据包的获取时间、或晚于流量数据包的获取时间），目标时间段的时长是预设时长，预设时长根据经验配置。基于此，若某个视频操作数据的获取时间位于该目标时间段内，则将该视频操作数据作为多个流量数据包对应的视频操作数据，可以基于该视频操作数据确定实时视频
是否发生篡改。
84.比如说，可以基于流量数据包中的[源ip地址、源端口、目的ip地址、目的端口]和流量数据包的获取时间检索视频操作数据，得到同时间段的视频操作数据，即，视频操作数据中的[源ip地址、源端口、目的ip地址、目的端口]与流量数据包中的[源ip地址、源端口、目的ip地址、目的端口]相同，且视频操作数据的获取时间与流量数据包的获取时间位于同一目标时间段。
[0085]
示例性的，若相邻两个视频画面的相似度小于相似度阈值，则可以基于该视频操作数据确定实时视频是否发生篡改。比如说，若该视频操作数据表示对视频设备的云台配置参数进行操作（如对视频设备的云台进行向上、向下、向左、向右的移动），则可以确定实时视频的检测结果为第二篡改结果，即表示实时视频被多个视频画面的相似度和视频操作数据检测为未发生篡改。
[0086]
比如说，由于对视频设备的云台进行向上、向下、向左、向右的移动，因此，这些移动会导致视频设备采集的视频画面发生较大变化，即导致相邻两个视频画面的相似度小于相似度阈值，这样，可以确定实时视频的检测结果为第二篡改结果，从而通过联动视频操作数据对篡改结果进行误报消除。
[0087]
示例性的，若相邻两个视频画面的相似度小于相似度阈值，则可以基于该视频操作数据确定实时视频是否发生篡改。比如说，若视频操作数据表示未对视频设备的云台配置参数进行操作，则确定实时视频发生篡改。在相邻两个视频画面的相似度小于相似度阈值时，实时视频的篡改类型可以为替换篡改。
[0088]
比如说，由于管理设备未对视频设备的云台进行向上、向下、向左、向右等移动，因此，相邻两个视频画面的相似度小于相似度阈值时，不是正常操作行为导致，这样，可以确定实时视频发生篡改，从而通过联动视频操作数据确认篡改结果，即视频画面发生剧烈变化（即相邻两个视频画面的相似度小于相似度阈值）时，可以确认实时视频发生篡改，且篡改类型可以为替换篡改。
[0089]
示例性的，若相邻两个视频画面的相似度小于相似度阈值，则可以基于该视频操作数据确定实时视频是否发生篡改。比如说，若不存在流量数据包对应的视频操作数据（即没有视频操作数据的获取时间位于目标时间段内），则确定实时视频发生篡改，且实时视频的篡改类型可以为替换篡改。
[0090]
示例性的，若实时视频的检测结果为实时视频发生篡改，在执行步骤404时，可以输出实时视频发生篡改的告警信息，并输出实时视频的篡改类型。若相邻两个视频画面的相似度小于相似度阈值，则篡改类型可以为替换篡改。
[0091]
步骤406、若实时视频的检测结果为第二篡改结果或第五篡改结果，则判断多个视频画面的文字信息中是否存在敏感词。若存在敏感词，确定实时视频的检测结果为实时视频发生篡改，执行步骤404，若不存在敏感词，执行步骤407。
[0092]
示例性的，在步骤406之前，可以对多个视频画面进行文字识别得到多个视频画面的文字信息。比如说，可以采用文字识别算法对多个视频画面进行文字识别得到多个视频画面的文字信息（即多个视频画面内的文字信息），对此文字识别算法不作限制。又例如，可以将多个视频画面输入给已训练的ocr（optical character recognition，光符识别）模型，由ocr模型输出多个视频画面的文字信息。当然，上述只是文字识别的两个示例，对此不
作限制。
[0093]
在对多个视频画面进行文字识别得到多个视频画面的文字信息之后，可以在指定存储介质中存储多个视频画面的文字信息，文字信息的存储格式可以为{key_video_y，page_words_1，page_words _2，page_words _3，
…
，page_words _k}，k为计算值，key_video_y表示流量数据包的唯一标识，也就是文字信息的唯一标识，page_words为对视频画面进行文字识别得到的文字信息。
[0094]
示例性的，在得到多个视频画面的文字信息之后，可以判断多个视频画面的文字信息中是否存在敏感词。比如说，可以预先配置敏感词列表，该敏感词列表包括多个敏感词，对此敏感词列表中的敏感词不作限制。基于此，判断多个视频画面的文字信息中是否存在敏感词，即是否存在敏感词列表中的敏感词。
[0095]
若多个视频画面的文字信息中存在敏感词，则确定实时视频的检测结果为实时视频发生篡改，且实时视频的篡改类型可以为替换篡改，且被替换篡改的内容是敏感词列表中的敏感词。在此基础上，可以执行步骤404，在步骤404中，可以输出实时视频发生篡改的告警信息，并输出实时视频的篡改类型。若多个视频画面的文字信息中存在敏感词，则篡改类型可以为替换篡改。或者，若多个视频画面的文字信息中不存在敏感词，则可以执行步骤407。
[0096]
步骤407、基于多个视频画面的文字信息和视频操作数据确定实时视频发生篡改或者未发生篡改；或者，基于多个视频画面的文字信息确定实时视频发生篡改或者未发生篡改。比如说，若实时视频的检测结果为第二篡改结果或第五篡改结果，执行步骤407；或者，若实时视频的检测结果为第二篡改结果或第五篡改结果，且多个视频画面的文字信息中不存在敏感词，执行步骤407。
[0097]
示例性的，实时视频的检测结果可以为实时视频发生篡改，或者，实时视频的检测结果可以为第三篡改结果、或第四篡改结果、或第六篡改结果、或第七篡改结果。其中，第三篡改结果表示实时视频被多个视频画面的文字信息中的时间戳信息和视频操作数据检测为未发生篡改。第四篡改结果表示实时视频被多个视频画面的文字信息中的设备标识信息和视频操作数据检测为未发生篡改。第六篡改结果表示实时视频被多个视频画面的文字信息中的时间戳信息检测为未发生篡改。第七篡改结果表示实时视频被多个视频画面的文字信息中的设备标识信息检测为未发生篡改。基于此，若实时视频的检测结果为实时视频发生篡改，则执行步骤404，若实时视频的检测结果为第三篡改结果、或第四篡改结果、或第六篡改结果、或第七篡改结果，则执行步骤408。
[0098]
示例性的，视频设备向管理设备发送视频画面时，视频画面可能包括水印文字，因此，多个视频画面的文字信息可能包括水印文字，且水印文字可以包括时间戳信息和/或设备标识信息，该时间戳信息用于表示视频设备发送流量数据包时的当前时间，该设备标识信息用于表示视频设备的唯一设备标识。
[0099]
基于此，若多个视频画面的文字信息中存在时间戳信息，则可以基于多个视频画面的时间戳信息以及视频操作数据确定实时视频的检测结果。或，若多个视频画面的文字信息中存在设备标识信息，则可以基于多个视频画面的设备标识信息以及视频操作数据确定实时视频的检测结果。或，若多个视频画面的文字信息中存在时间戳信息和设备标识信息，则可以基于多个视频画面的时间戳信息、设备标识信息以及视频操作数据确定实时视
频的检测结果。
[0100]
情况1：多个视频画面的文字信息中存在时间戳信息。
[0101]
示例性的，若该时间戳信息表示时间戳正常增长，如相邻两个视频画面的时间戳信息表示相邻两个视频画面的时间戳正常增长，即时间戳未发生减小或者小时级别增长等异常增长情况，则可以确定实时视频的检测结果为第六篡改结果，即被多个视频画面的文字信息中的时间戳信息检测为未发生篡改。
[0102]
示例性的，若该时间戳信息表示时间戳异常变化，如相邻两个视频画面的时间戳信息表示相邻两个视频画面的时间戳异常变化，即时间戳发生减小或小时级别增长等异常情况（还可以为其它异常情况），则还可以查询流量数据包对应的视频操作数据，基于该视频操作数据确定实时视频的检测结果。
[0103]
其中，在查询流量数据包对应的视频操作数据时，可以基于流量数据包的获取时间和视频操作数据的获取时间，将对应同一时间段的流量数据包和视频操作数据进行匹配关联，从而得到流量数据包对应的视频操作数据。
[0104]
比如说，由于已经存储流量数据包的获取时间和视频操作数据的获取时间，可以先确定目标时间段，目标时间段的截至时间是流量数据包的获取时间，目标时间段的时长是预设时长，基于此，若某个视频操作数据的获取时间位于该目标时间段内，则将该视频操作数据作为流量数据包对应的视频操作数据。
[0105]
又例如，可以基于流量数据包中的[源ip地址、源端口、目的ip地址、目的端口]和流量数据包的获取时间检索视频操作数据，得到同时间段的视频操作数据，即，视频操作数据中的[源ip地址、源端口、目的ip地址、目的端口]与流量数据包中的[源ip地址、源端口、目的ip地址、目的端口]相同，且视频操作数据的获取时间与流量数据包的获取时间位于同一目标时间段。
[0106]
其中，在基于该视频操作数据确定实时视频的检测结果时，若该视频操作数据表示对视频设备的时间配置参数进行操作（如修改视频设备的系统时间等），则可以确定实时视频的检测结果是第三篡改结果，即被多个视频画面的文字信息中的时间戳信息和视频操作数据检测为未发生篡改。比如说，由于对视频设备的系统时间进行修改，而该系统时间修改会导致视频设备的相邻两个视频画面的时间戳异常变化，这样，可以确定实时视频的检测结果是第三篡改结果，从而通过联动视频操作数据对篡改结果进行误报消除，提高检测准确性。
[0107]
其中，在基于该视频操作数据确定实时视频的检测结果时，若该视频操作数据表示未对视频设备的时间配置参数进行操作（如未修改视频设备的系统时间等），则可以确定实时视频的检测结果是实时视频发生篡改。在时间戳信息表示时间戳异常变化时，篡改的类型可以为替换篡改。比如说，由于管理设备未对视频设备的系统时间进行修改，因此，相邻两个视频画面的时间戳异常变化不是正常操作行为导致，这样，可以确定实时视频的检测结果是实时视频发生篡改，从而通过联动视频操作数据确认篡改结果，即确认存在替换篡改。
[0108]
其中，若不存在流量数据包对应的视频操作数据，则可以确定实时视频的检测结果是实时视频发生篡改，篡改的类型可以为替换篡改。
[0109]
示例性的，若实时视频的检测结果为实时视频发生篡改，在执行步骤404时，可以
输出实时视频发生篡改的告警信息，并输出实时视频的篡改类型。若时间戳信息表示时间戳异常变化，则篡改类型可以为替换篡改。
[0110]
情况2：多个视频画面的文字信息中存在设备标识信息。
[0111]
示例性的，若该设备标识信息表示设备标识未发生变化，如相邻两个视频画面的设备标识信息表示相邻两个视频画面的设备标识未发生变化，即设备标识相同，则可以确定实时视频的检测结果为第七篡改结果，第七篡改结果表示实时视频被多个视频画面的文字信息中的设备标识信息检测为未发生篡改。
[0112]
需要说明的是，若对视频画面进行篡改时，是将前面帧视频画面作为当前帧视频画面，虽然也可以使相邻两个视频画面的设备标识未发生变化，但这种情况下，基于多个流量数据包的序列号确定实时视频发生篡改或未发生篡改时，实时视频的检测结果为发生篡改，即不会执行步骤407，反之，若执行步骤407，则不是将前面帧视频画面作为当前帧视频画面，因此，若相邻两个视频画面的设备标识未发生变化，则确定实时视频的检测结果为第七篡改结果。
[0113]
示例性的，若该设备标识信息表示设备标识发生变化，如设备标识信息表示相邻两个视频画面的设备标识发生变化，即设备标识不同，则可以查询流量数据包对应的视频操作数据，并基于该视频操作数据确定实时视频的检测结果。
[0114]
其中，在查询流量数据包对应的视频操作数据时，可以基于流量数据包的获取时间和视频操作数据的获取时间，将对应同一时间段的流量数据包和视频操作数据进行匹配关联，从而得到流量数据包对应的视频操作数据。
[0115]
其中，在基于该视频操作数据确定实时视频的检测结果时，若该视频操作数据表示对视频设备的设备标识配置参数进行操作（如修改视频设备的设备标识等），则可以确定实时视频的检测结果是第四篡改结果，即被多个视频画面的文字信息中的设备标识信息和视频操作数据检测为未发生篡改。比如说，由于对视频设备的设备标识进行修改，而该设备标识修改会导致视频设备的相邻两个视频画面的设备标识发生变化，这样，可以确定实时视频的检测结果是第四篡改结果，从而通过联动视频操作数据对篡改结果进行误报消除。
[0116]
其中，在基于该视频操作数据确定实时视频的检测结果时，若该视频操作数据表示未对视频设备的设备标识配置参数进行操作（如未修改视频设备的设备标识等），则可以确定实时视频的检测结果是实时视频发生篡改，且实时视频发的篡改类型可以为替换篡改。比如说，由于管理设备未对视频设备的设备标识进行修改，因此，相邻两个视频画面的设备标识发生变化不是正常操作行为导致，这样，可以确定实时视频的检测结果是实时视频发生篡改，从而通过联动视频操作数据确认篡改结果，即确认存在替换篡改。
[0117]
其中，若不存在流量数据包对应的视频操作数据，则可以确定实时视频的检测结果是实时视频发生篡改，篡改的类型可以为替换篡改。
[0118]
示例性的，若实时视频的检测结果为实时视频发生篡改，在执行步骤404时，可以输出实时视频发生篡改的告警信息，并输出实时视频的篡改类型。若设备标识信息表示设备标识发生变化，则篡改类型可以为替换篡改。
[0119]
情况3：多个视频画面的文字信息中存在时间戳信息和设备标识信息。
[0120]
示例性的，若该时间戳信息表示时间戳正常增长，该设备标识信息表示设备标识未发生变化，则确定实时视频的检测结果为实时视频被多个视频画面的文字信息（如时间
戳信息和设备标识信息）检测为未发生篡改，执行步骤408。
[0121]
示例性的，若该时间戳信息表示时间戳异常变化，和/或，该设备标识信息表示设备标识发生变化，则查询流量数据包对应的视频操作数据，基于该视频操作数据确定实时视频的检测结果。比如说，若该时间戳信息表示时间戳异常变化，但是，该设备标识信息表示设备标识未发生变化，则实现方式参见情况1，在此不再赘述；若该时间戳信息表示时间戳正常增长，但是，该设备标识信息表示设备标识发生变化，则实现方式参见情况2，在此不再赘述。
[0122]
若该时间戳信息表示时间戳异常变化，该设备标识信息表示设备标识发生变化，那么：若该视频操作数据表示对视频设备的时间配置参数进行操作，且该视频操作数据表示对视频设备的设备标识配置参数进行操作，则可以确定实时视频的检测结果为实时视频被多个视频画面的文字信息（如时间戳信息和设备标识信息）和该视频操作数据检测为未发生篡改，执行步骤408。
[0123]
若该视频操作数据表示对视频设备的时间配置参数进行操作，且该视频操作数据表示未对视频设备的设备标识配置参数进行操作，则可以确定实时视频的检测结果是实时视频发生篡改。或者，若该视频操作数据表示未对视频设备的时间配置参数进行操作，且该视频操作数据表示对视频设备的设备标识配置参数进行操作，则可以确定实时视频的检测结果是实时视频发生篡改。或者，若该视频操作数据表示未对视频设备的时间配置参数进行操作，且该视频操作数据表示未对视频设备的设备标识配置参数进行操作，则可以确定实时视频的检测结果是实时视频发生篡改。上述情况下，篡改的类型可以为替换篡改。
[0124]
步骤408、确定实时视频未发生篡改，即最终检测结果为未发生篡改，实时视频由多个视频画面组成，实时视频未发生篡改表示多个视频画面未被篡改。
[0125]
由以上技术方案可见，本技术实施例中，可以基于多个流量数据包的序列号、多个视频画面的相似度、多个视频画面的文字信息确定实时视频发生篡改或实时视频未发生篡改，即能够检测视频设备与管理设备之间传输的实时视频是否被篡改，在不产生干扰数据的前提下，实现视频物联网的实时视频篡改检测，并在实时视频被篡改时及时进行修复。管理设备不会存储或者显示篡改后的视频画面，管理设备存储或者显示的视频画面内容不会失效，从而提升视频物联网的安全性，保障视频物联网中的视频设备安全，提升视频画面传输过程的安全监测能力，提高视频物联网安全维护人员的维护效率。在视频画面传输过程中进行视频画面还原，通过判断流量数据包传输特征位变化、视频画面内容敏感检测、视频画面水印内容检测等方式，逐层递进实现视频重放、视频替换、视频恶意水印添加等问题的检测，能够实现实时检测，检测无延时。
[0126]
在基于多个流量数据包的序列号、多个视频画面的相似度、多个视频画面的文字信息确定实时视频发生篡改或未发生篡改时，先基于多个流量数据包的序列号确定实时视频发生篡改或未发生篡改，若实时视频发生篡改，则结束流程，不再执行后续检测过程。若实时视频未发生篡改，才会基于多个视频画面的相似度确定实时视频发生篡改或未发生篡改，若实时视频发生篡改，则结束流程，不再执行后续检测过程。若实时视频未发生篡改，才会基于多个视频画面的文字信息确定实时视频发生篡改或未发生篡改。通过上述递进关系，可以显著提高检测效率。比如说，由于序列号的检测方式最快，相似度的检测方式次之，文字信息的检测方式最慢，因此，先基于序列号执行检测，可以快速检测出发生篡改的实时
视频，只有当序列号无法检测出发生篡改的实时视频时，才会基于相似度检测出发生篡改的实时视频，当相似度无法检测出发生篡改的实时视频时，才会基于文字信息检测出发生篡改的实时视频。
[0127]
基于与上述方法同样的申请构思，本技术实施例中提出一种实时视频监控篡改检测装置，参见图5所示，为所述装置的结构示意图，所述装置包括：确定模块51，用于基于多个流量数据包确定多个视频画面的特征数据，获取与所述多个流量数据包对应的视频操作数据，所述特征数据包括所述多个视频画面的相似度和/或所述多个视频画面的文字信息；其中，所述多个流量数据包是由视频设备向管理设备发送，所述多个视频画面是对所述多个流量数据包进行视频数据恢复得到，所述视频操作数据是用于对所述视频设备的配置参数进行操作的数据；所述文字信息是通过对所述多个视频画面进行文字识别得到；检测模块52，用于基于所述多个视频画面的特征数据和所述视频操作数据确定实时视频发生篡改或者未发生篡改，实时视频是多个流量数据包对应的视频。
[0128]
示例性的，所述检测模块52基于所述多个视频画面的特征数据和所述视频操作数据确定实时视频发生篡改或者未发生篡改之前还用于：基于所述多个流量数据包的序列号确定实时视频发生篡改或者未发生篡改。
[0129]
示例性的，所述检测模块52基于所述多个视频画面的特征数据和所述视频操作数据确定实时视频发生篡改或者未发生篡改时具体用于：若实时视频的检测结果为第一篡改结果，所述第一篡改结果表示所述实时视频被所述多个流量数据包的序列号检测为未发生篡改，则基于所述多个视频画面的相似度和所述视频操作数据确定实时视频发生篡改或者未发生篡改；若实时视频的检测结果为第二篡改结果，所述第二篡改结果表示所述实时视频被所述多个视频画面的相似度和所述视频操作数据检测为未发生篡改，则基于所述多个视频画面的文字信息和所述视频操作数据确定实时视频发生篡改或者未发生篡改。
[0130]
示例性的，若所述特征数据为多个视频画面的相似度，所述检测模块52基于所述多个视频画面的相似度和所述视频操作数据确定实时视频发生篡改或者未发生篡改时具体用于：若相邻两个视频画面的相似度小于相似度阈值，且所述视频操作数据表示未对所述视频设备的云台配置参数进行操作，则确定所述实时视频发生篡改；或者，若相邻两个视频画面的相似度小于相似度阈值，且所述视频操作数据表示对所述视频设备的云台配置参数进行操作，则确定所述实时视频的检测结果为第二篡改结果。
[0131]
示例性的，若所述特征数据为多个视频画面的文字信息，所述检测模块52基于所述多个视频画面的文字信息和所述视频操作数据确定实时视频发生篡改或者未发生篡改时具体用于：在所述多个视频画面的文字信息中存在时间戳信息，所述时间戳信息表示时间戳异常变化的情况下，若所述视频操作数据表示未对所述视频设备的时间配置参数进行操作，则确定实时视频发生篡改；或，若所述视频操作数据表示对所述视频设备的时间配置参数进行操作，则确定所述实时视频的检测结果为第三篡改结果，所述第三篡改结果表示所述实时视频被所述多个视频画面的文字信息中的时间戳信息和所述视频操作数据检测为未发生篡改；和/或，在所述多个视频画面的文字信息中存在设备标识信息，所述设备标识信息表示设备标识变化的情况下，若所述视频操作数据表示未对所述视频设备的设备标识配置参数进行操作，则确定实时视频发生篡改；或，若所述视频操作数据表示对所述视频
设备的设备标识配置参数进行操作，则确定所述实时视频的检测结果为第四篡改结果，所述第四篡改结果表示所述实时视频被所述多个视频画面的文字信息中的设备标识信息和所述视频操作数据检测为未发生篡改。
[0132]
示例性的，所述检测模块52基于所述多个视频画面的特征数据和所述视频操作数据确定实时视频发生篡改或者未发生篡改之前还用于：若所述多个流量数据包的序列号为周期性循环增长，则确定所述实时视频发生篡改；或者，若所述多个流量数据包的序列号为跳跃变化，则确定所述实时视频发生篡改；其中，所述跳跃变化表示后一个流量数据包的序列号与前一个流量数据包的序列号之间的差值大于预设阈值；或者，若所述多个流量数据包的序列号为递增增长，则确定所述实时视频的检测结果为第一篡改结果；若所述实时视频的检测结果为第一篡改结果，则执行基于所述多个视频画面的特征数据和所述视频操作数据确定实时视频发生篡改或者未发生篡改的操作。
[0133]
示例性的，若所述实时视频的检测结果为第一篡改结果，所述检测模块52还用于：判断相邻两个视频画面的相似度是否大于或等于相似度阈值；若否，则执行基于所述多个视频画面的相似度和所述视频操作数据确定实时视频发生篡改或者未发生篡改的操作；若是，则确定所述实时视频的检测结果为第五篡改结果，所述第五篡改结果表示所述实时视频被所述多个视频画面的相似度检测为未发生篡改。
[0134]
示例性的，若所述实时视频的检测结果为第二篡改结果或者第五篡改结果，所述检测模块52还用于：判断所述多个视频画面的文字信息中的时间戳信息是否表示时间戳正常增长；若是，则确定所述实时视频的检测结果为第六篡改结果，所述第六篡改结果表示所述实时视频被所述多个视频画面的文字信息中的时间戳信息检测为未发生篡改；若否，则执行基于所述多个视频画面的文字信息和所述视频操作数据确定实时视频发生篡改或者未发生篡改的操作；或者，判断所述多个视频画面的文字信息中的设备标识信息是否表示设备标识未发生变化，若是，则确定所述实时视频的检测结果为第七篡改结果，所述第七篡改结果表示所述实时视频被所述多个视频画面的文字信息中的设备标识信息检测为未发生篡改；若否，则执行基于所述多个视频画面的文字信息和所述视频操作数据确定实时视频发生篡改或者未发生篡改的操作。
[0135]
示例性的，若所述特征数据为多个视频画面的文字信息，所述检测模块52基于所述多个视频画面的文字信息和所述视频操作数据确定实时视频发生篡改或者未发生篡改之前还用于：判断所述多个视频画面的文字信息中是否存在敏感词；若存在敏感词，则确定所述实时视频发生篡改；若不存在敏感词，则执行基于所述多个视频画面的文字信息和所述视频操作数据确定实时视频发生篡改或者未发生篡改的操作。
[0136]
示例性的，所述管理设备通过转发设备与所述视频设备连接，所述转发设备的旁路部署分析设备，所述装置应用于所述分析设备，所述装置还包括：获取模块，用于在从转发设备获取到所述管理设备向所述视频设备发送的视频操作数据时，在指定存储介质中存储所述视频操作数据和所述视频操作数据的获取时间；在从转发设备获取到所述视频设备向所述管理设备发送的流量数据包时，在指定存储介质中存储所述流量数据包和所述流量数据包的获取时间；基于所述流量数据包的获取时间和所述视频操作数据的获取时间，将对应同一时间段的流量数据包和视频操作数据进行匹配关
联。
[0137]
基于与上述方法同样的申请构思，本技术实施例提出一种电子设备（如上述分析设备），参见图6所示，包括处理器61和机器可读存储介质62，机器可读存储介质62存储有能够被处理器61执行的机器可执行指令；处理器61用于执行机器可执行指令，以实现上述实时视频监控篡改检测方法。
[0138]
基于与上述方法同样的申请构思，本技术实施例还提供一种机器可读存储介质，机器可读存储介质上存储有若干计算机指令，计算机指令被处理器执行时，能够实现上述示例的实时视频监控篡改检测方法。
[0139]
其中，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：ram（radom access memory，随机存取存储器）、易失存储器、非易失性存储器、闪存、存储驱动器（如硬盘驱动器）、固态硬盘、任何类型的存储盘（如光盘、dvd等），或者类似的存储介质，或者它们的组合。
[0140]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
[0141]
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本技术时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
[0142]
以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：
1.一种实时视频监控篡改检测方法，其特征在于，所述方法包括：基于多个流量数据包确定多个视频画面的特征数据，获取与所述多个流量数据包对应的视频操作数据，所述特征数据包括所述多个视频画面的相似度和/或所述多个视频画面的文字信息；其中，所述多个流量数据包是由视频设备向管理设备发送，所述多个视频画面是对所述多个流量数据包进行视频数据恢复得到，所述视频操作数据是用于对所述视频设备的配置参数进行操作的数据；所述文字信息是通过对所述多个视频画面进行文字识别得到；基于所述多个视频画面的特征数据和所述视频操作数据确定实时视频发生篡改或者未发生篡改，所述实时视频是所述多个流量数据包对应的视频。2.根据权利要求1所述的方法，其特征在于，所述基于所述多个视频画面的特征数据和所述视频操作数据确定实时视频发生篡改或者未发生篡改之前，所述方法还包括：基于所述多个流量数据包的序列号确定实时视频发生篡改或者未发生篡改；所述基于所述多个视频画面的特征数据和所述视频操作数据确定实时视频发生篡改或者未发生篡改，包括：若实时视频的检测结果为第一篡改结果，所述第一篡改结果表示所述实时视频被所述多个流量数据包的序列号检测为未发生篡改，则基于所述多个视频画面的相似度和所述视频操作数据确定实时视频发生篡改或者未发生篡改；若实时视频的检测结果为第二篡改结果，所述第二篡改结果表示所述实时视频被所述多个视频画面的相似度和所述视频操作数据检测为未发生篡改，则基于所述多个视频画面的文字信息和所述视频操作数据确定实时视频发生篡改或者未发生篡改。3.根据权利要求1或2所述的方法，其特征在于，若所述特征数据为多个视频画面的相似度，所述基于所述多个视频画面的相似度和所述视频操作数据确定实时视频发生篡改或者未发生篡改，包括：若相邻两个视频画面的相似度小于相似度阈值，且所述视频操作数据表示未对所述视频设备的云台配置参数进行操作，则确定所述实时视频发生篡改；或者，若相邻两个视频画面的相似度小于相似度阈值，且所述视频操作数据表示对所述视频设备的云台配置参数进行操作，则确定所述实时视频的检测结果为第二篡改结果。4.根据权利要求1或2所述的方法，其特征在于，若所述特征数据为多个视频画面的文字信息，所述基于所述多个视频画面的文字信息和所述视频操作数据确定实时视频发生篡改或者未发生篡改，包括：在所述多个视频画面的文字信息中存在时间戳信息，所述时间戳信息表示时间戳异常变化的情况下，若所述视频操作数据表示未对所述视频设备的时间配置参数进行操作，则确定实时视频发生篡改；或，若所述视频操作数据表示对所述视频设备的时间配置参数进行操作，则确定所述实时视频的检测结果为第三篡改结果，所述第三篡改结果表示所述实时视频被所述多个视频画面的文字信息中的时间戳信息和所述视频操作数据检测为未发生篡改；和/或，在所述多个视频画面的文字信息中存在设备标识信息，所述设备标识信息表示设备标识变化的情况下，若所述视频操作数据表示未对所述视频设备的设备标识配置参数进行操作，则确定实时视频发生篡改；或，若所述视频操作数据表示对所述视频设备的设备标识配
置参数进行操作，则确定所述实时视频的检测结果为第四篡改结果，所述第四篡改结果表示所述实时视频被所述多个视频画面的文字信息中的设备标识信息和所述视频操作数据检测为未发生篡改。5.根据权利要求1所述的方法，其特征在于，所述基于所述多个视频画面的特征数据和所述视频操作数据确定实时视频发生篡改或者未发生篡改之前，所述方法还包括：若所述多个流量数据包的序列号为周期性循环增长，则确定所述实时视频发生篡改；或者，若所述多个流量数据包的序列号为跳跃变化，则确定所述实时视频发生篡改；其中，所述跳跃变化表示后一个流量数据包的序列号与前一个流量数据包的序列号之间的差值大于预设阈值；或者，若所述多个流量数据包的序列号为递增增长，则确定所述实时视频的检测结果为第一篡改结果；若所述实时视频的检测结果为第一篡改结果，则执行基于所述多个视频画面的特征数据和所述视频操作数据确定实时视频发生篡改或者未发生篡改的操作。6.根据权利要求2所述的方法，其特征在于，若所述实时视频的检测结果为第一篡改结果，所述方法还包括：判断相邻两个视频画面的相似度是否大于或等于相似度阈值；若否，则执行基于所述多个视频画面的相似度和所述视频操作数据确定实时视频发生篡改或者未发生篡改的操作；若是，则确定所述实时视频的检测结果为第五篡改结果，所述第五篡改结果表示所述实时视频被所述多个视频画面的相似度检测为未发生篡改；若所述实时视频的检测结果为第二篡改结果或者第五篡改结果，所述方法还包括：判断所述多个视频画面的文字信息中的时间戳信息是否表示时间戳正常增长；若是，则确定所述实时视频的检测结果为第六篡改结果，所述第六篡改结果表示所述实时视频被所述多个视频画面的文字信息中的时间戳信息检测为未发生篡改；若否，则执行基于所述多个视频画面的文字信息和所述视频操作数据确定实时视频发生篡改或者未发生篡改的操作；或者，判断所述多个视频画面的文字信息中的设备标识信息是否表示设备标识未发生变化，若是，则确定所述实时视频的检测结果为第七篡改结果，所述第七篡改结果表示所述实时视频被所述多个视频画面的文字信息中的设备标识信息检测为未发生篡改；若否，则执行基于所述多个视频画面的文字信息和所述视频操作数据确定实时视频发生篡改或者未发生篡改的操作。7.根据权利要求1或2所述的方法，其特征在于，若所述特征数据为多个视频画面的文字信息，所述基于所述多个视频画面的文字信息和所述视频操作数据确定实时视频发生篡改或者未发生篡改之前，所述方法还包括：判断所述多个视频画面的文字信息中是否存在敏感词；若存在敏感词，则确定所述实时视频发生篡改；若不存在敏感词，则执行基于所述多个视频画面的文字信息和所述视频操作数据确定实时视频发生篡改或者未发生篡改的操作。8.根据权利要求1或2所述的方法，其特征在于，
所述管理设备通过转发设备与所述视频设备连接，且所述转发设备的旁路部署分析设备，所述方法应用于所述分析设备，所述方法还包括：在从转发设备获取到所述管理设备向所述视频设备发送的视频操作数据时，在指定存储介质中存储所述视频操作数据和所述视频操作数据的获取时间；在从转发设备获取到所述视频设备向所述管理设备发送的流量数据包时，在指定存储介质中存储所述流量数据包和所述流量数据包的获取时间；基于所述流量数据包的获取时间和所述视频操作数据的获取时间，将对应同一时间段的流量数据包和视频操作数据进行匹配关联。9.一种实时视频监控篡改检测装置，其特征在于，所述装置包括：确定模块，用于基于多个流量数据包确定多个视频画面的特征数据，获取与所述多个流量数据包对应的视频操作数据，所述特征数据包括所述多个视频画面的相似度和/或所述多个视频画面的文字信息；其中，所述多个流量数据包是由视频设备向管理设备发送，所述多个视频画面是对所述多个流量数据包进行视频数据恢复得到，所述视频操作数据是用于对所述视频设备的配置参数进行操作的数据；所述文字信息是通过对所述多个视频画面进行文字识别得到；检测模块，用于基于所述多个视频画面的特征数据和所述视频操作数据确定实时视频发生篡改或者未发生篡改，实时视频是多个流量数据包对应的视频。10.一种电子设备，其特征在于，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现权利要求1-8任一所述的方法。

技术总结
本申请提供一种实时视频监控篡改检测方法、装置及设备，该方法包括：基于多个流量数据包确定多个视频画面的特征数据，获取与多个流量数据包对应的视频操作数据，特征数据包括多个视频画面的相似度和/或多个视频画面的文字信息；其中，多个流量数据包是由视频设备向管理设备发送，多个视频画面是对多个流量数据包进行视频数据恢复得到，视频操作数据是用于对视频设备的配置参数进行操作的数据；文字信息是通过对多个视频画面进行文字识别得到；基于多个视频画面的特征数据和视频操作数据确定实时视频发生篡改或者未发生篡改，实时视频是多个流量数据包对应的视频。通过本申请方案，能够检测视频设备与管理设备之间传输的实时视频是否被篡改。视频是否被篡改。视频是否被篡改。


技术研发人员：王滨 张峰 夏松 何承润 万里 周少鹏
受保护的技术使用者：杭州海康威视数字技术股份有限公司
技术研发日：2023.07.06
技术公布日：2023/8/13