视频内容审核方法、装置、设备和可读存储介质与流程

1.本发明涉及视频审核领域，尤其是指一种视频内容审核方法、装置、设备和可读存储介质。


背景技术：

2.随着互联网技术的飞速发展，网络上的流媒体资源呈爆炸式增长，普通的移动硬盘、随身盘已经不能满足用户的存储。目前大家常用的存储工具为网盘也称为云盘，云盘是将文件存储在云厂商提供的云存储内，云存储可根据用户需求进行弹性扩缩容。身份认证成功的用户可以随时随地的通过互联网来浏览、存取、分享文件等。与此同时，大量涉及到恐怖、暴力、色情或政治敏感等话题的违规视频也被上传到网盘并在互联网上迅速传播，因此针对上传到网盘的视频文件，需要对其进行审核，以防止在网络上肆意分享和传播。
3.目前，网盘视频审核的方法主要如下：
4.(1)对视频进行分段或随机截取n张关键帧图像，然后对图片进行ai鉴别；
5.(2)通过机器学习将视频进行逐帧分解并进行逐帧判断，再将违规率较高的视频交给人工进行二次审核。
6.但是，现有技术(1)通过随机抽取帧的方式转换为ai图片审核，容易导致敏感信息的遗漏。现有技术(2)在视频长度较长时，逐帧违规判断时间消耗较大；同时，不能判断出违规视频的类型，将整个视频交给人工审核，消耗大量人力成本，效率较低。


技术实现要素：

7.本发明的目的是提供一种视频内容审核方法、装置、设备和可读存储介质，用于解决在视频审核过程中，审核效率和精准度低的问题。
8.为了解决上述技术问题，本发明实施例提供一种视频内容审核方法，所述方法包括：
9.对目标视频的多个关键帧进行违规检测，得到所述目标视频中违规关键帧的数量；
10.在所述违规关键帧的数量小于第一阈值的情况下，对违规关键帧的上下文信息进行违规检测，得到所述上下文信息中的违规上下文信息的数量；
11.在所述上下文信息中的违规上下文信息的数量小于第二阈值的情况下，获取目标审核结果，所述目标审核结果为违规关键帧的上下文信息的人工审核结果；
12.在所述目标审核结果指示所述违规关键帧的上下文信息违规的情况下，对所述目标视频标注相应的违规标签。
13.可选地，所述对目标视频的多个关键帧进行违规检测，得到所述目标视频中违规关键帧的数量，包括：
14.在所述目标视频的视频文件信息与历史违规视频文件信息不同的情况下，对目标视频的多个关键帧进行违规检测，得到所述目标视频中违规关键帧的数量。
15.可选地，所述对目标视频的多个关键帧进行违规检测，包括：
16.对目标视频的多个关键帧分别进行三维卷积神经网络分类模型检测和光学字符识别ocr检测；
17.在检测结果指示检测到违规内容的情况下，将违规内容对应的关键帧确认为违规关键帧。
18.可选地，所述对目标视频的多个关键帧进行三维卷积神经网络分类模型检测，包括：
19.将所述目标视频的每一个所述关键帧分别输入三维卷积神经网络分类模型；
20.通过所述三维卷积神经网络分类模型获取当前输入的关键帧的特征并进行计算；其中，在计算过程中将每一个关键帧的中间卷积结果进行缓存，缓存的中间卷积结果用于对下一个输入的关键帧进行计算；
21.根据每一个所述关键帧的计算结果输出对应的检测结果。
22.可选地，所述对违规关键帧的上下文信息进行违规检测，包括：
23.根据基本时长x截取每一个所述违规关键帧的上下文信息，对所述上下文信息进行违规检测；
24.其中，所述基本时长x是根据所述目标视频的时长和步长确定的。
25.可选地，所述方法还包括：
26.根据所述目标视频的时长t和关键帧总数量n，确定平均时长为
27.在判断平均时长大于或者等于所述步长时，确定所述步长为基本时长x；
28.在判断平均时长小于所述步长时，确定所述平均时长为基本时长x。
29.可选地，所述根据基本时长x截取每一个所述违规关键帧的上下文信息，包括：
30.在违规关键帧的数量为1个的情况下，分别获取所述违规关键帧距离所述目标视频首帧的第一时长和距离所述目标视频尾帧的第二时长；
31.对所述第一时长和第二时长进行比较，确定最短的时长为临界时长y；
32.对x和y进行比较，确定最短的时长为截取时长m；
33.截取所述违规关键帧前后各截取时长m的上下文信息。
34.可选地，所述根据基本时长x截取每一个所述违规关键帧的上下文信息，还包括：
35.在违规关键帧的数量为2个的情况下，2个所述违规关键帧分别确定为第一违规关键帧和第二违规关键帧；
36.获取所述第一违规关键帧和所述第二违规关键帧之间的时间间隔n；
37.获取所述第一违规关键帧距离所述目标视频首帧的第三时长和距离所述目标视频尾帧的第四时长；
38.对所述第三时长和第四时长进行比较，确定最短的时长为第一临界时长y1；
39.对x、y1和
n2
进行比较，确定最短的时长为第一截取时长m1；
40.截取所述第一违规关键帧前后各所述第一截取时长m1的上下文信息；
41.获取所述第二违规关键帧距离所述目标视频首帧的第五时长和距离所述目标视频尾帧的第六时长；
42.对所述第五时长和第六时长进行比较，确定最短的时长为第二临界时长y2；
43.对x、y2和进行比较，确定最短的时长为第二截取时长m2；
44.截取所述第二违规关键帧前后各所述第二截取时长m2的上下文信息。
45.可选地，所述根据基本时长x截取每一个所述违规关键帧的上下文信息，还包括：
46.在违规关键帧的数量大于2个的情况下，根据位置关系将多个所述违规关键帧确认为首帧违规关键帧、尾帧违规关键帧和至少一中间违规关键帧；
47.对于任一中间违规关键帧，分别获取所述中间违规关键帧与前后相邻的违规关键帧的第一时间间隔n1和第二时间间隔n2；
48.对x、和进行比较，确定最短的时长为第三截取时长m3；
49.截取所述中间违规关键帧前后各所述第三截取时长m3的上下文信息；
50.获取所述首帧违规关键帧和相邻的中间违规关键帧之间的第三时间间隔n3；
51.获取所述首帧违规关键帧和所述目标视频首帧的第三临界时长y3；
52.对x、y3和进行比较，确定最短的时长为第四截取时长m4；
53.截取所述首帧违规关键帧前后各所述第四截取时长m4的上下文信息；
54.获取所述尾帧违规关键帧和相邻的中间违规关键帧之间的第四时间间隔n4；
55.获取所述尾帧违规关键帧和所述目标视频尾帧的第四临界时长y4；
56.对x、y4和进行比较，确定最短的时长为第五截取时长m5；
57.截取所述尾帧违规关键帧前后各所述第五截取时长m5的上下文信息。
58.本发明实施例还提供一种视频内容审核装置，所述装置包括：
59.关键帧检测模块，对目标视频的多个关键帧进行违规检测，得到所述目标视频中违规关键帧的数量；
60.信息检测模块，在所述违规关键帧的数量小于第一阈值的情况下，对违规关键帧的上下文信息进行违规检测，得到所述上下文信息中的违规上下文信息的数量；
61.获取模块，在所述上下文信息中的违规上下文信息的数量小于第二阈值的情况下，获取目标审核结果，所述目标审核结果为违规关键帧的上下文信息的人工审核结果；
62.标注模块，在所述目标审核结果指示所述违规关键帧的上下文信息违规的情况下，对所述目标视频标注相应的违规标签。
63.本发明实施例还提供一种视频内容审核设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如上任一项所述的视频内容审核方法。
64.本发明实施例还提供一种可读存储介质，包括：所述可读存储介质上存储有程序，所述程序被处理器执行时实现如上任一项所述的视频内容审核方法。
65.本发明的上述技术方案的有益效果如下：
66.上述方案中，在对目标视频进行人工审核之前，先进行了关键帧检测和违规关键帧上下文信息检测，判断目标视频是否达到违规条件，确保了审核的精准度；在判断目标视频没有达到违规条件的情况下，对违规关键帧上下文信息进行人工审核，进一步确保了审
核的精准度，并且降低了审核难度和时间，提高了视频审核效率。
附图说明
67.图1为本发明实施例提供的视频内容审核方法的流程示意图；
68.图2为现有技术中三维卷积神经网络分类模型的空间跳跃连接示意图；
69.图3为本发明实施例提供的三维卷积神经网络分类模型的时间跳跃连接示意图；
70.图4为本发明实施例提供的三维卷积神经网络分类模型的结构示意图；
71.图5为发明实施例提供的三维卷积神经网络分类模型检测关键帧的流程示意图；
72.图6为采用本发明实施例提供的视频内容审核方法的流程示意图；
73.图7为本发明实施例提供的视频内容审核装置的结构示意图。
具体实施方式
74.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
75.如图1所示，本发明实施例提供一种视频内容审核方法，所述方法包括：
76.步骤s101，对目标视频的多个关键帧进行违规检测，得到所述目标视频中违规关键帧的数量；
77.步骤s102，在所述违规关键帧的数量小于第一阈值的情况下，对违规关键帧的上下文信息进行违规检测，得到所述上下文信息中的违规上下文信息的数量；
78.步骤s103，在所述上下文信息中的违规上下文信息的数量小于第二阈值的情况下，获取目标审核结果，所述目标审核结果为违规关键帧的上下文信息的人工审核结果；
79.步骤s104，在所述目标审核结果指示所述违规关键帧的上下文信息违规的情况下，对所述目标视频标注相应的违规标签。
80.本发明实施例中，对于用户上传至网盘的目标视频进行多个步骤的检测，在判断目标视频违规的情况下，禁止上传。在步骤s101中，抽取目标视频的多个关键帧进行违规检测，得到所述目标视频中违规关键帧的数量，其中，关键帧是指目标视频中在某些时刻能够涵盖该目标视频大部分画面特征的视频帧，抽取的关键帧总数量为n，n为大于或者等于1的整数。
81.在步骤s102中，在所述违规关键帧的数量小于第一阈值的情况下，截取每个违规关键帧的上下文信息，并进行违规检测，其中，第一阈值为大于0小于n的数值，可以根据实际情况设置，本发明不在此设限，上下文信息包括但不限于关键帧的上下文音频信息和/上下文视频信息；
82.在步骤s103中，在所述上下文信息中的违规上下文信息的数量小于第二阈值的情况下，将违规关键帧的上下文信息进行人工审核并获取人工审核结果，其中，第二阈值为大于0小于第一阈值的数值，可以根据实际情况设置，本发明不在此设限。
83.在步骤s104中，人工根据上下文信息判断是否违规，在目标审核结果指示上下文信息违规的情况下，根据违规的类型在目标视频名称后面对所述目标视频标注相应的违规
标签，例如恐怖、暴力、色情或政治敏感等标签，方便用户参考目标视频被禁止原因，对于标注违规标签的视频，禁止其传播，并记录到历史违规数据库中。
84.本发明实施例在对目标视频进行人工审核之前，先进行了关键帧检测和违规关键帧上下文信息检测，判断目标视频是否达到违规条件，确保了审核的精准度；在判断目标视频没有达到违规条件的情况下，对违规关键帧上下文信息进行人工审核，进一步确保了审核的精准度，并且降低了审核难度和时间，提高了视频审核效率。
85.可选地，所述对目标视频的多个关键帧进行违规检测，得到所述目标视频中违规关键帧的数量，包括：
86.在所述目标视频的视频文件信息与历史违规视频文件信息不同的情况下，对目标视频的多个关键帧进行违规检测，得到所述目标视频中违规关键帧的数量。
87.本发明实施例中，在步骤s101之前，上传目标视频后首先获取目标视频的视频文件信息并与历史违规数据库中的历史违规视频文件信息进行对比，如果不同，则进行关键帧检测，其中，所述视频文件信息包括但不限于目标视频的名称、网络下载链接和哈希值等。
88.可选地，所述对目标视频的多个关键帧进行违规检测，包括：
89.对目标视频的多个关键帧分别进行三维卷积神经网络分类模型检测和光学字符识别ocr检测；
90.在检测结果指示检测到违规内容的情况下，将违规内容对应的关键帧确认为违规关键帧。
91.本发明实施例中，对步骤s101中关键帧的检测方法进行说明，抽取视频的多个关键帧后，将所有关键帧都进行三维卷积神经网络(three dimensional convolutional neural network，3d-cnn)分类模型检测和光学字符识别ocr检测，在任意一个检测方法检测出违内容，将违规内容对应的关键帧确认为违规关键帧；
92.其中，光学字符识别ocr检测具体方法为：通过ocr提取输入的关键帧对应图片的文字，对文字进行审核。
93.可选地，所述对目标视频的多个关键帧进行三维卷积神经网络分类模型检测，包括：
94.将所述目标视频的每一个所述关键帧分别输入三维卷积神经网络分类模型；
95.通过所述三维卷积神经网络分类模型获取当前输入的关键帧的特征并进行计算；其中，在计算过程中将每一个关键帧的中间卷积结果进行缓存，缓存的中间卷积结果用于对下一个输入的关键帧进行计算；
96.根据每一个所述关键帧的计算结果输出对应的检测结果。
97.本发明实施例中，对3d-cnn分类模型检测关键帧的方法进行了说明，本发明实施例中使用的3d-cnn分类模型为改进后的3d-cnn分类模型，与现有技术中的3d-cnn分类模型不同，相对于现有技术，采用本发明实施例可以在线动态处理输入的关键帧，并且将处理过的每一关键帧的中间卷积结果都进行缓存，在处理最新输入的关键帧时，可以直接调用缓存数据进行计算，无需重复计算，降低了计算复杂度，加快了检测速度。
98.下面对改进的3d-cnn分类模型的改进点进行详细说明：
99.现有技术中的大多数3d-cnn采用时间降采样来减少后期计算成本，但是这使得网
络变得非动态，不利于在线操作；在线操作时，通常在滑动窗口中使用3d-cnn，会存在在重叠区域内重复/重新处理关键帧，存在严重资源浪费的问题。
100.如图2和图3所示，本发明实施例提供了一种时间跳跃连接方式，在对关键帧进行计算时，采用时间跳跃连接，相对于现有技术中的空间跳跃连接，可以将每一关键帧的中间卷积计算结果进行缓存，在每次的迭代中，只执行最近帧的计算，并且缓存跳过连接的中间卷，在计算后，跳过连接的中间卷积替代先前缓存的中间卷，以用于下一次迭代。
101.需要说明的是，在跳过连接处的深度维度中应用了级联操作，因此合并了3d卷积，并且空间跳跃连接仍然适用于时间跳跃连接之上。
102.如图4所示，改进的3d-cnn架构仍然需要时空建模机制。图4展示了具有基本深度残差神经网络(deep residual network，drn)块的改进3d-cnn架构的图示。创建这种架构的主要原因是避免在在线操作期间重新计算视频流的已处理帧。为此，架构的中间卷存储在缓存中并用于推断，在线操作时仅执行图4中执行区域内的计算。
103.此外，将网络归纳为完全连接层，如图5所示，为改进的3d-cnn模型的计算流程，其中，图中t-2、t-1和t表示不同时刻输入的关键帧。
104.采用本发明实施例提供的改进的3d-cnn，可以在线动态的进行关键帧检测，并且在计算关键帧时可以调用缓存进行计算，无需重复计算，动态运行，提高了检测效率和精准度。
105.可选地，所述对违规关键帧的上下文信息进行违规检测，包括：
106.通过自动语音识别(automatic speech recognition，asr)技术和自然语言处理(natural language processing，nlp)对违规关键帧的上下文信息进行违规检测，
107.在检测结果指示检测到违规内容的情况下，将违规内容对应的上下文信息确认为违规上下文信息。
108.本发明实施例中，对步骤s102中，上下文信息的检测方法进行说明，通过asr技术识别违规关键帧的上下文音频信息，精准的将音频信息转化为文本信息，结合nlp深度学习，可以准确地识别出音频中涉黄、涉政和涉暴等违规内容。
109.可选地，所述对违规关键帧的上下文信息进行违规检测，包括：
110.根据基本时长x截取每一个所述违规关键帧的上下文信息，对所述上下文信息进行违规检测；
111.其中，所述基本时长x是根据所述目标视频的时长和步长确定的。
112.可选地，所述方法还包括：
113.根据所述目标视频的时长t和关键帧总数量n，确定平均时长为
114.在判断平均时长大于或者等于所述步长时，确定所述步长为基本时长x；
115.在判断平均时长小于所述步长时，确定所述平均时长为基本时长x。
116.本发明实施例中，对步骤s102中的上下文信息的截取的基本时长的确定方法进行说明，平均时长大于或者等于所述步长，说明违规关键帧个数较少，确定步长为基本时
长x；平均时长小于所述步长，说明违规关键帧个数较多，确定平均时长为基本时长x。
117.可选地，所述根据基本时长x截取每一个所述违规关键帧的上下文信息，包括：
118.在违规关键帧的数量为1个的情况下，分别获取所述违规关键帧距离所述目标视频首帧的第一时长和距离所述目标视频尾帧的第二时长；
119.对所述第一时长和第二时长进行比较，确定最短的时长为临界时长y；
120.对x和y进行比较，确定最短的时长为截取时长m；
121.截取所述违规关键帧前后各截取时长m的上下文信息。
122.本发明实施例中，在违规关键帧的数量为1个的情况下，对违规关键帧上下文截取进行说明，在截取上下文信息时需要获取违规帧距离目标视频首帧或/和尾帧的最短边界时长，对最短边界时长和基本时长进行比较，确定最短的时长为截取时长，确保可以顺利截取到有效信息。
123.需要说明的是，在极少的情况下，会存在违规关键帧为目标视频首帧或者尾帧的情况，此时最短边界时长为0秒，将基本时长确定为截取时长，只截取该违规关键帧非边界的一侧截取时长的上下文信息。
124.可选地，所述根据基本时长x截取每一个所述违规关键帧的上下文信息，还包括：
125.在违规关键帧的数量为2个的情况下，2个所述违规关键帧分别确定为第一违规关键帧和第二违规关键帧；
126.获取所述第一违规关键帧和所述第二违规关键帧之间的时间间隔n；
127.获取所述第一违规关键帧距离所述目标视频首帧的第三时长和距离所述目标视频尾帧的第四时长；
128.对所述第三时长和第四时长进行比较，确定最短的时长为第一临界时长y1；
129.对x、y1和进行比较，确定最短的时长为第一截取时长m1；
130.截取所述第一违规关键帧前后各所述第一截取时长m1的上下文信息；
131.获取所述第二违规关键帧距离所述目标视频首帧的第五时长和距离所述目标视频尾帧的第六时长；
132.对所述第五时长和第六时长进行比较，确定最短的时长为第二临界时长y2；
133.对x、y2和进行比较，确定最短的时长为第二截取时长m2；
134.截取所述第二违规关键帧前后各所述第二截取时长m2的上下文信息。
135.本发明实施例中，在违规关键帧的数量为2个的情况下，对违规关键帧上下文截取进行说明，获取两个违规关键帧之间的时间间隔n，并且对于每一个违规关键帧，将基本时长和距离目标视频首帧或/和尾帧的最短边界时长进行比较，确定最短的为截取时长，避免了上下文信息的重复截取和无效截取。
136.需要说明的是，在极少的情况下，会存在违规关键帧为目标视频首帧或者尾帧的情况，此时最短边界时长为0秒，将基本时长确定为截取时长，只截取该违规关键帧非边界的一侧截取时长的上下文信息。
137.可选地，所述根据基本时长x截取每一个所述违规关键帧的上下文信息，还包括：
138.在违规关键帧的数量大于2个的情况下，根据位置关系将多个所述违规关键帧确认为首帧违规关键帧、尾帧违规关键帧和至少一中间违规关键帧；
139.对于任一中间违规关键帧，分别获取所述中间违规关键帧与前后相邻的违规关键帧的第一时间间隔n1和第二时间间隔n2；
140.对x、和进行比较，确定最短的时长为第三截取时长m3；
141.截取所述中间违规关键帧前后各所述第三截取时长m3的上下文信息；
142.获取所述首帧违规关键帧和相邻的中间违规关键帧之间的第三时间间隔n3；
143.获取所述首帧违规关键帧和所述目标视频首帧的第三临界时长y3；
144.对x、y3和进行比较，确定最短的时长为第四截取时长m4；
145.截取所述首帧违规关键帧前后各所述第四截取时长m4的上下文信息；
146.获取所述尾帧违规关键帧和相邻的中间违规关键帧之间的第四时间间隔n4；
147.获取所述尾帧违规关键帧和所述目标视频尾帧的第四临界时长y4；
148.对x、y4和进行比较，确定最短的时长为第五截取时长m5；
149.截取所述尾帧违规关键帧前后各所述第五截取时长m5的上下文信息。
150.本发明实施例中，在违规关键帧的数量大于2个的情况下，对违规关键帧上下文截取进行说明，将违规关键帧分为首帧违规关键帧、中间违规关键帧和尾帧违规关键帧，分别确定每一违规关键帧的截取时长，避免上下文信息的重复截取和无效截取。
151.需要说明的是，在极少的情况下，会存在违规关键帧为目标视频首帧或者尾帧的情况，此时最短边界时长为0秒，将基本时长确定为截取时长，只截取该违规关键帧非边界的一侧截取时长的上下文信息。
152.可选地，所述方法还包括：
153.在所述目标视频的视频文件信息与至少一历史违规视频文件信息相同的情况下，对所述目标视频标注相应的违规标签。
154.本发明实施例中，上传目标视频后首先获取目标视频的视频文件信息并与历史违规数据库中的历史违规视频文件信息进行对比，如果存在相同的记录，则在目标视频名称后面标注相应的违规标签，方便用户参考目标视频被禁止原因，并禁止其传播；其中，所述视频文件信息包括但不限于目标视频的名称、网络下载链接和哈希值等。采用本发明所述实施例避免了相同类型的重复审核，大大减少了审核工作量。
155.可选地，所述方法还包括：
156.在所述违规关键帧的数量大于或者等于所述第一阈值的情况下，根据所述违规关键帧的违规类型对所述目标视频标注相应的违规标签。
157.本发明实施例中，违规关键帧的数量大于或者等于第一阈值，说明违规关键帧较多，可以判定该目标视频违规，根据违规关键帧的违规内容判断违规类型，并在目标视频名称后面标注相应的违规标签，方便用户参考目标视频被禁止原因，并禁止其传播；其中，第一阈值为大于0小于n的数值，可以根据实际情况设置，本发明不在此设限。
158.可选地，所述方法还包括：
159.在所述上下文信息中的违规上下文信息的数量大于或者等于所述第二阈值的情
况下，根据所述违规上下文信息的违规类型对所述视频文件标注相应的违规标签。
160.本发明实施例中，违规上下文信息的数量大于或者等于第二阈值，说明违规上下文信息较多，可以判定该目标视频违规，根据违规上下文信息的违规内容判断违规类型，并在目标视频名称后面标注相应的违规标签，方便用户参考目标视频被禁止原因，并禁止其传播；其中，第二阈值为大于0小于第一阈值的数值，可以根据实际情况设置，本发明不在此设限。
161.如图6所示，采用本发明实施例提供的视频内容审核方法的步骤为：
162.步骤s601，获取用户上传至网盘的目标视频至；
163.步骤s602，判断目标视频的视频文件信息是否与至少一历史违规视频文件信息相同？若是，转步骤s613；若否，转步骤s603；
164.步骤s603，抽取目标视频的多个关键帧，关键帧的数量记为n个；
165.步骤s604，将抽取的关键帧输入改进的三维卷积神经网络分类模型进行检测；
166.步骤s605，将抽取的关键帧输入光学字符识别ocr进行检测；
167.步骤s606，根据关键帧检测结果判断是否存在违规关键帧？若存在，转步骤s607；若不存在，允许该目标视频上传，结束本次审核；
168.步骤s607，判断违规关键帧的数量是否大于或者等于第一阈值？其中，第一阈值为大于0小于n的数值，若是，转步骤s613；若否，转步骤s608；
169.步骤s608，截取每一个违规关键帧的上下文信息；其中，上下文信息包括但不限于关键帧的上下文音频信息和/上下文视频信息；
170.步骤s609，通过asr技术和nlp对上下文信息进行检测；
171.步骤s610，根据上下文信息检测结果判断违规上下文信息的数量是否大于或者等于第二阈值？其中，第二阈值为大于0小于第一阈值的数值；若是，转步骤s613；若否，转步骤s611；
172.步骤s611，将上下文信息发送给审核工作人员，审核工作人员对上下文信息进行人工审核，并将人工审核结果输入视频审核装置；
173.步骤s612，判断人工审核结果是否指示目标视频违规？若是，转步骤s613；若否，允许该目标视频上传，结束本次审核；
174.步骤s613，根据目标视频的违规内容判断违规类型，并对目标视频标注相应的违规标签，禁止其传播。
175.本发明实施例中，在用户上传目标视频后，通过与历史违规信息对比、关键帧检测、上下文信息检测和人工审核四个步骤对目标视频进行检测，提高了审核的精准度和效率。
176.如图7所示，本发明实施例还提供一种视频内容审核装置，所述装置包括：
177.关键帧检测模块701，对目标视频的多个关键帧进行违规检测，得到所述目标视频中违规关键帧的数量；
178.信息检测模块702，在所述违规关键帧的数量小于第一阈值的情况下，对违规关键帧的上下文信息进行违规检测，得到所述上下文信息中的违规上下文信息的数量；
179.获取模块703，在所述上下文信息中的违规上下文信息的数量小于第二阈值的情况下，获取目标审核结果，所述目标审核结果为违规关键帧的上下文信息的人工审核结果；
180.标注模块704，在所述目标审核结果指示所述违规关键帧的上下文信息违规的情况下，对所述目标视频标注相应的违规标签。
181.可选地，所述关键帧检测模块701还用于在所述目标视频的视频文件信息与历史违规视频文件信息不同的情况下，对目标视频的多个关键帧进行违规检测，得到所述目标视频中违规关键帧的数量。
182.可选地，关键帧检测模块701包括：
183.检测模块，用于对目标视频的多个关键帧分别进行三维卷积神经网络分类模型检测和光学字符识别ocr检测；
184.确认模块，用于在检测结果指示检测到违规内容的情况下，将违规内容对应的关键帧确认为违规关键帧。
185.可选地，所述检测模块包括第一检测模块和第二检测模块，其中第一检测模块用于进行三维卷积神经网络分类模型检测，第二检测模块用于进行光学字符识别ocr检测，所述第一检测模块包括：
186.输入单元，用于将所述目标视频的每一个所述关键帧分别输入三维卷积神经网络分类模型；
187.计算单元，用于通过所述三维卷积神经网络分类模型获取当前输入的关键帧的特征并进行计算；其中，在计算过程中将每一个关键帧的中间卷积结果进行缓存，缓存的中间卷积结果用于对下一个输入的关键帧进行计算；
188.输出单元，用于根据每一个所述关键帧的计算结果输出对应的检测结果。
189.可选地，所述信息检测模块702包括：
190.截取模块，用于根据基本时长x截取每一个所述违规关键帧的上下文信息，对所述上下文信息进行违规检测；其中，所述基本时长x是根据所述目标视频的时长和步长确定的。
191.可选地，所述信息检测模块702还包括：
192.第一确认单元，用于根据所述目标视频的时长t和关键帧总数量n，确定平均时长为
193.第二确认单元，用于在判断平均时长大于或者等于所述步长时，确定所述步长为基本时长x；
194.第三确认单元，用于在判断平均时长小于所述步长时，确定所述平均时长为基本时长x。
195.可选地，所述截取模块包括：
196.第一截取单元，用于在违规关键帧的数量为1个的情况下，分别获取所述违规关键帧距离所述目标视频首帧的第一时长和距离所述目标视频尾帧的第二时长；
197.对所述第一时长和第二时长进行比较，确定最短的时长为临界时长y；
198.对x和y进行比较，确定最短的时长为截取时长m；
199.截取所述违规关键帧前后各截取时长m的上下文信息。
200.可选地，所述截取模块还包括：
201.第二截取单元，用于在违规关键帧的数量为2个的情况下，2个所述违规关键帧分别确定为第一违规关键帧和第二违规关键帧；
202.获取所述第一违规关键帧和所述第二违规关键帧之间的时间间隔n；
203.获取所述第一违规关键帧距离所述目标视频首帧的第三时长和距离所述目标视频尾帧的第四时长；
204.对所述第三时长和第四时长进行比较，确定最短的时长为第一临界时长y1；
205.对x、y1和进行比较，确定最短的时长为第一截取时长m1；
206.截取所述第一违规关键帧前后各所述第一截取时长m1的上下文信息；
207.获取所述第二违规关键帧距离所述目标视频首帧的第五时长和距离所述目标视频尾帧的第六时长；
208.对所述第五时长和第六时长进行比较，确定最短的时长为第二临界时长y2；
209.对x、y2和进行比较，确定最短的时长为第二截取时长m2；
210.截取所述第二违规关键帧前后各所述第二截取时长m2的上下文信息。
211.可选地，所述截取模块还包括：
212.第三截取单元，用于在违规关键帧的数量大于2个的情况下，根据位置关系将多个所述违规关键帧确认为首帧违规关键帧、尾帧违规关键帧和至少一中间违规关键帧；
213.对于任一中间违规关键帧，分别获取所述中间违规关键帧与前后相邻的违规关键帧的第一时间间隔n1和第二时间间隔n2；
214.对x、和进行比较，确定最短的时长为第三截取时长m3；
215.截取所述中间违规关键帧前后各所述第三截取时长m3的上下文信息；
216.获取所述首帧违规关键帧和相邻的中间违规关键帧之间的第三时间间隔n3；
217.获取所述首帧违规关键帧和所述目标视频首帧的第三临界时长y3；
218.对x、y3和进行比较，确定最短的时长为第四截取时长m4；
219.截取所述首帧违规关键帧前后各所述第四截取时长m4的上下文信息；
220.获取所述尾帧违规关键帧和相邻的中间违规关键帧之间的第四时间间隔n4；
221.获取所述尾帧违规关键帧和所述目标视频尾帧的第四临界时长y4；
222.对x、y4和进行比较，确定最短的时长为第五截取时长m5；
223.截取所述尾帧违规关键帧前后各所述第五截取时长m5的上下文信息。
224.可选地，所述装置还包括：
225.第二标注模块，用于在所述目标视频的视频文件信息与至少一历史违规视频文件信息相同的情况下，对所述目标视频标注相应的违规标签。
226.可选地，所述装置还包括：
227.第三标注模块，用于在所述违规关键帧的数量大于或者等于所述第一阈值的情况下，根据所述违规关键帧的违规类型对所述目标视频标注相应的违规标签。
228.可选地，所述装置还包括：
229.第四标注模块，用于在所述上下文信息中的违规上下文信息的数量大于或者等于
所述第二阈值的情况下，根据所述违规上下文信息的违规类型对所述视频文件标注相应的违规标签。
230.需要说明的是，该装置的实施例是与上述方法的实施例相对应的装置，上述方法的实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
231.本发明实施例还提供一种视频内容审核设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如上任一项所述的视频内容审核方法。
232.本发明实施例还提供一种可读存储介质，包括：所述可读存储介质上存储有程序，所述程序被处理器执行时实现如上任一项所述的视频内容审核方法。
233.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
234.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

技术特征：
1.一种视频内容审核方法，其特征在于，所述方法包括：对目标视频的多个关键帧进行违规检测，得到所述目标视频中违规关键帧的数量；在所述违规关键帧的数量小于第一阈值的情况下，对违规关键帧的上下文信息进行违规检测，得到所述上下文信息中的违规上下文信息的数量；在所述上下文信息中的违规上下文信息的数量小于第二阈值的情况下，获取目标审核结果，所述目标审核结果为违规关键帧的上下文信息的人工审核结果；在所述目标审核结果指示所述违规关键帧的上下文信息违规的情况下，对所述目标视频标注相应的违规标签。2.根据权利要求1所述的视频内容审核方法，其特征在于，所述对目标视频的多个关键帧进行违规检测，得到所述目标视频中违规关键帧的数量，包括：在所述目标视频的视频文件信息与历史违规视频文件信息不同的情况下，对目标视频的多个关键帧进行违规检测，得到所述目标视频中违规关键帧的数量。3.根据权利要求1所述的视频内容审核方法，其特征在于，所述对目标视频的多个关键帧进行违规检测，包括：对目标视频的多个关键帧分别进行三维卷积神经网络分类模型检测和光学字符识别ocr检测；在检测结果指示检测到违规内容的情况下，将违规内容对应的关键帧确认为违规关键帧。4.根据权利要求3所述的视频内容审核方法，其特征在于，所述对目标视频的多个关键帧进行三维卷积神经网络分类模型检测，包括：将所述目标视频的每一个所述关键帧分别输入三维卷积神经网络分类模型；通过所述三维卷积神经网络分类模型获取当前输入的关键帧的特征并进行计算；其中，在计算过程中将每一个关键帧的中间卷积结果进行缓存，缓存的中间卷积结果用于对下一个输入的关键帧进行计算；根据每一个所述关键帧的计算结果输出对应的检测结果。5.根据权利要求1所述的视频内容审核方法，其特征在于，所述对违规关键帧的上下文信息进行违规检测，包括：根据基本时长x截取每一个所述违规关键帧的上下文信息，对所述上下文信息进行违规检测；其中，所述基本时长x是根据所述目标视频的时长和步长确定的。6.根据权利要求5所述的视频内容审核方法，其特征在于，所述方法还包括：根据所述目标视频的时长t和关键帧总数量n，确定平均时长为在判断平均时长大于或者等于所述步长时，确定所述步长为基本时长x；在判断平均时长小于所述步长时，确定所述平均时长为基本时长x。7.根据权利要求5所述的视频内容审核方法，其特征在于，所述根据基本时长x截取每一个所述违规关键帧的上下文信息，包括：在违规关键帧的数量为1个的情况下，分别获取所述违规关键帧距离所述目标视频首
帧的第一时长和距离所述目标视频尾帧的第二时长；对所述第一时长和第二时长进行比较，确定最短的时长为临界时长y；对x和y进行比较，确定最短的时长为截取时长m；截取所述违规关键帧前后各截取时长m的上下文信息。8.根据权利要求5所述的视频内容审核方法，其特征在于，所述根据基本时长x截取每一个所述违规关键帧的上下文信息，还包括：在违规关键帧的数量为2个的情况下，2个所述违规关键帧分别确定为第一违规关键帧和第二违规关键帧；获取所述第一违规关键帧和所述第二违规关键帧之间的时间间隔n；获取所述第一违规关键帧距离所述目标视频首帧的第三时长和距离所述目标视频尾帧的第四时长；对所述第三时长和第四时长进行比较，确定最短的时长为第一临界时长y1；对x、y1和进行比较，确定最短的时长为第一截取时长m1；截取所述第一违规关键帧前后各所述第一截取时长m1的上下文信息；获取所述第二违规关键帧距离所述目标视频首帧的第五时长和距离所述目标视频尾帧的第六时长；对所述第五时长和第六时长进行比较，确定最短的时长为第二临界时长y2；对x、y2和进行比较，确定最短的时长为第二截取时长m2；截取所述第二违规关键帧前后各所述第二截取时长m2的上下文信息。9.根据权利要求5所述的视频内容审核方法，其特征在于，所述根据基本时长x截取每一个所述违规关键帧的上下文信息，还包括：在违规关键帧的数量大于2个的情况下，根据位置关系将多个所述违规关键帧确认为首帧违规关键帧、尾帧违规关键帧和至少一中间违规关键帧；对于任一中间违规关键帧，分别获取所述中间违规关键帧与前后相邻的违规关键帧的第一时间间隔n1和第二时间间隔n2；对x、和进行比较，确定最短的时长为第三截取时长m3；截取所述中间违规关键帧前后各所述第三截取时长m3的上下文信息；获取所述首帧违规关键帧和相邻的中间违规关键帧之间的第三时间间隔n3；获取所述首帧违规关键帧和所述目标视频首帧的第三临界时长y3；对x、y3和进行比较，确定最短的时长为第四截取时长m4；截取所述首帧违规关键帧前后各所述第四截取时长m4的上下文信息；获取所述尾帧违规关键帧和相邻的中间违规关键帧之间的第四时间间隔n4；获取所述尾帧违规关键帧和所述目标视频尾帧的第四临界时长y4；对x、y4和进行比较，确定最短的时长为第五截取时长m5；截取所述尾帧违规关键帧前后各所述第五截取时长m5的上下文信息。
10.一种视频内容审核装置，其特征在于，所述装置包括：关键帧检测模块，对目标视频的多个关键帧进行违规检测，得到所述目标视频中违规关键帧的数量；信息检测模块，在所述违规关键帧的数量小于第一阈值的情况下，对违规关键帧的上下文信息进行违规检测，得到所述上下文信息中的违规上下文信息的数量；获取模块，在所述上下文信息中的违规上下文信息的数量小于第二阈值的情况下，获取目标审核结果，所述目标审核结果为违规关键帧的上下文信息的人工审核结果；标注模块，在所述目标审核结果指示所述违规关键帧的上下文信息违规的情况下，对所述目标视频标注相应的违规标签。11.一种视频内容审核设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如权利要求1至9任一项所述的视频内容审核方法。12.一种可读存储介质，其特征在于，包括：所述可读存储介质上存储有程序，所述程序被处理器执行时实现如权利要求1至9任一项所述的视频内容审核方法。

技术总结
本发明提供了一种视频内容审核方法、装置、设备和可读存储介质，该方法包括：对目标视频的多个关键帧进行违规检测，得到目标视频中违规关键帧的数量；在违规关键帧的数量小于第一阈值的情况下，对违规关键帧的上下文信息进行违规检测，得到上下文信息中的违规上下文信息的数量；在上下文信息中的违规上下文信息的数量小于第二阈值的情况下，获取目标审核结果，目标审核结果为违规关键帧的上下文信息的人工审核结果；在目标审核结果指示违规关键帧的上下文信息违规的情况下，对目标视频标注相应的违规标签。采用本发明所述实施例，可以确保审核的精准度并且提高视频审核效率。保审核的精准度并且提高视频审核效率。保审核的精准度并且提高视频审核效率。


技术研发人员：魏坤
受保护的技术使用者：中国移动通信集团有限公司
技术研发日：2023.07.14
技术公布日：2023/10/7