视频的分类方法及装置、电子设备和存储介质与流程

1.本技术涉及视频处理技术领域，特别是涉及一种视频的分类方法及装置、电子设备和存储介质。


背景技术：

2.目前，为了测试视频压缩编码技术，采用一种基于视频内容底层特征的视频分类方法；这种视频分类方法选取卡通,商业广告,电影,新闻和体育比赛作为分类对象，从视频的底层特征(如颜色,纹理,形状)中选取分类效果最好的颜色作为分类特征，并基于颜色特征对各种分类算法作了比较、分析和总结,提出了基于底层特征融合的分类方法。
3.基于视频内容底层特征的视频分类方法的不足主要有：1)该视频分类方法只能局限于部分底层特征，比如颜色、纹理、形状，无法囊括视频内容包含的所有特征；2)该视频分类方法中的不同特征对于不同的视频分类有偏好。需要依赖人工建立的专家系统进行融合；3)该视频分类方法需要依赖极强的先验知识，鲁棒性不强；4)该视频分类方法需要提取多种特征进行融合，计算量较大。


技术实现要素：

4.本技术实施例的目的在于提供一种视频的分类方法及装置、电子设备和存储介质，解决了现有技术中通过视频的底层特征进行分类且需要依赖极强的先验知识，导致视频分类效果较差且鲁棒性较弱的问题。具体技术方案如下：
5.在本技术实施的第一方面，首先提供了一种视频的分类方法，包括：对第一视频进行编码，得到对应的多个图像帧，其中，所述第一视频为待分类的多个视频中的任一视频；基于所述多个图像帧中的目标图像帧确定所述第一视频的复杂度，其中，所述复杂度包括空间复杂度和时间复杂度；基于所述复杂度对所述多个视频进行分类。
6.在本技术实施的第二方面，还提供了一种视频的分类装置，包括：编码模块，用于对第一视频进行编码，得到对应的多个图像帧，其中，所述第一视频为待分类的多个视频中的任一视频；确定模块，用于基于所述多个图像帧中的目标图像帧确定所述第一视频的复杂度，其中，所述复杂度包括空间复杂度和时间复杂度；分类模块，用于基于所述复杂度对所述多个视频进行分类。
7.在本技术实施的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现第一方面所述的方法步骤。
8.在本技术实施的第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，实现第一方面所述的方法步骤。
9.在本技术实施例中，先对待分类的第一视频进行编码得到对应的多个图像帧，根据多个图像帧中的目标帧确定该第一视频的复杂度，由于第一视频为多个视频中的任一视
频，则待分类的该多个视频均可以通过上述方式得到对应的复杂度，进而可以根据复杂度对该多个视频进行分类，也就是说，本技术实施例中的视频分类方法，是根据视频的时间复杂度和空间复杂度对视频进行分类，并不局限于仅通过视频的底层特征进行分类，也不依赖人工先验的经验进行分类，其分类更加高效且鲁棒性更好，从而解决了现有技术中通过视频的底层特征进行分类且需要依赖极强的先验知识，导致视频分类效果较差且鲁棒性较弱的问题。
附图说明
10.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
11.图1为本技术实施例中视频的分类方法的流程图；
12.图2为本技术实施例中归一化处理后时间/空间复杂度在坐标系中的示意图；
13.图3为本技术实施例中对数化处理后时间/空间复杂度在坐标系中的示意图；
14.图4为本技术实施例中基于时/空复杂度特性的视频分类示意图；
15.图5为本技术实施例中视频的分类方法装置的结构示意图；
16.图6为本技术实施例中电子设备的结构示意图。
具体实施方式
17.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述地实施例是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
18.在后续的描述中，使用用于表示元件的诸如“模块”、“单元”的后缀仅为了有利于本技术的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
19.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。本技术实施例提供了一种视频的分类方法，如图1所示，该方法包括以下步骤：
20.步骤102，对第一视频进行编码，得到对应的多个图像帧，其中，第一视频为待分类的多个视频中的任一视频；
21.步骤104，基于多个图像帧中的目标图像帧确定第一视频的复杂度，其中，复杂度包括空间复杂度和时间复杂度；
22.步骤106，基于复杂度对多个视频进行分类。
23.通过上述步骤102至步骤106，先对待分类的第一视频进行编码得到对应的多个图像帧，根据多个图像帧中的目标帧确定该第一视频的复杂度，由于第一视频为多个视频中的任一视频，则待分类的该多个视频均可以通过上述方式得到对应的复杂度，进而可以根据复杂度对该多个视频进行分类，也就是说，本技术实施例中的视频分类方法，是根据视频的时间复杂度和空间复杂度对视频进行分类，并不局限于仅通过视频的底层特征进行分类，也不依赖人工先验的经验进行分类，其分类更加高效且鲁棒性更好，从而解决了现有技术中通过视频的底层特征进行分类且需要依赖极强的先验知识，导致视频分类效果较差且鲁棒性较弱的问题。
24.在本技术实施例的可选实施方式中，对于上述步骤104中涉及到的基于多个图像帧中的目标图像帧确定第一视频的复杂度的方式，进一步可以包括：
25.步骤11，在目标帧为i帧的情况下，确定多个图像帧中i帧的第一平均值，并基于第一平均值与多个图像帧取值之和的比值确定第一视频的空间复杂度；或，
26.步骤12，在目标帧为p帧的情况下，确定多个图像帧中p帧的第二平均值，并基于第二平均值与第一平均值的比值确定第一视频的时间复杂度。
27.需要说明的是，视频压缩之后得到图像帧包括i帧，p帧和b帧；其中，i帧表示关键帧，即这一帧画面需要完整保留，在解码时只需要本帧数据就可以完成(因为包含完整画面)；p帧表示的是这一帧跟之前的一个关键帧(或p帧)的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面；即p帧没有完整画面数据，只有与前一帧的画面差别的数据。b帧是双向差别帧，也就是b帧记录的是本帧与前后帧的差别，换言之，要解码b帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。
28.例如，在具体应用场景中第一视频基于标准编码器(如x264)进行编码后得到多个画面组(group of pictures，gop)，每一个画面组中包括一个i帧，多个b帧和多个p帧。因此，对于i帧的平均值需要先计算所有画面组中的i帧的大小之和后，然后确定i帧的平均值。p帧的平均值的确定方式与i帧类似。
29.此外，需要说明的是，时间复杂度是指播放视频所需要的计算工作量；而空间复杂度是指播放视频所需要的内存空间。时间和空间(即寄存器)都是计算机资源的重要体现，而复杂度就是指在播放视频时的计算机所需的资源多少。因此，在本技术实施例通过空间复杂度或时间复杂度能够更加全面的对视频进行分类，而不局限于现有技术中比较单一的分类方式，如通过部分底层特征，或按照分辨率、帧率、码率、场景类型、业务类型等标签进行分类。另外，在本技术实施例中可以基于空间复杂度和时间复杂度中的任意一项作为分类的基础。
30.在本技术实施例的可选实施方式中，对于步骤11中涉及到的确定多个图像帧中i帧的第一平均值的方式，进一步可以是：对多个图像帧中的i帧进行归一化处理，并确定归一化处理后的i帧的第一平均值；
31.在本技术实施例的可选实施方式中，对于步骤12中涉及到的确定多个图像帧中p帧的第二平均值的方式，进一步可以是：对多个图像帧中的p帧进行归一化处理，并确定归一化处理后的p帧的第二平均值。
32.也就是说，在本技术实施例中可以先对i帧和p帧进行归一化处理后再确定两者的平均值，通过归一化处理后能够进一步提升复杂度的精度，能够进一步对视频的分类更加精细，如图2所示，空间复杂度作为横坐标，时间复杂度作为纵坐标的坐标系，通过该坐标系能够直观的显示出各个视频的空间复杂度以及时间复杂度。
33.在本技术实施例，对于本技术实施例中对于步骤106中涉及到的基于复杂度对多个视频进行分类的方式，进一步可以包括：
34.步骤21，对空间复杂度进行对数化处理，得到第一结果；
35.步骤22，对时间复杂度进行对数化处理，得到第二结果；
36.步骤23，将第一结果和第二结果确定第一视频在直角坐标系中的位置；其中，直角
坐标系的纵坐标为时间复杂度，直角坐标系的横坐标为空间复杂度；
37.步骤24，基于直角坐标系中的位置对多个视频进行分类。
38.对于上述步骤21至步骤24，由于对i帧和p帧的大小进行归一化处理后，其数值较小，因此，在对空间复杂度进行对数化处理以及对时间复杂度进行对数化处理后，并在纵坐标为时间复杂度以及横坐标为空间复杂度的坐标系中显示该对数化处理后的结果，如图3所示，其各视频的复杂度在该直角坐标系中能够更加分散的分布，即能够更加直观的比较出各个视频的复杂度。
39.在本技术实施例中，对于步骤106中涉及到的基于复杂度对多个视频进行分类的方式，进一步可以包括：
40.步骤31，基于空间复杂度所落入的预设范围取值对多个视频进行分类；
41.步骤32，基于时间复杂度所落入的预设范围取值对多个视频进行分类；
42.其中，不同的预设范围取值对应不同视频分类结果。
43.由上述步骤31和步骤32可知，可以基于空间复杂度或时间复杂度落入的预设范围取值对视频进行分类，即落入同一预设范围取值所对应的视频分为一类。
44.下面结合本技术实施例的具体实施方式对本技术进行解释说明，该具体实施方式提供了一种基于时/空复杂度特性的视频分类方法，基于图4，该方法包括：
45.步骤401，采用相同的量化参数，用x264编码器对所有的视频样本进行编码。
46.步骤402，用归一化的i帧的平均大小与原始帧大小的比值作为空间复杂度。
47.步骤403，用归一化的p帧平均大小与i帧的平均大小的比值作为时间复杂度。
48.步骤404，以空间复杂度作为横坐标，时间复杂度作为纵坐标，获得所有视频样本的时/空复杂度在坐标系中的位置；
49.步骤405，分别对空间复杂度和时间复杂度进行对数化处理。
50.步骤406，分别对空间复杂度和时间复杂度进行分档。
51.其中，档位越低表示复杂度越小，档位越高表示复杂度越高。
52.通过上述步骤401至步骤406，利用标准编码器，得到归一化的i帧大小和p帧大小，来衡量空间复杂度和时间复杂度，并分别进行对数化处理，对视频进行分类，该具体实施方式的视频分类方式不局限于部分底层特征，对于视频分类没有偏好，一致性更好，也不需要依赖人工建立的专家系统和先验知识，鲁棒性很强，且能够直接反映视频内容包含信息的复杂度。
53.对应于上述图1，本技术实施例还提供了一种视频的分类装置，如图5所示，包括：
54.编码模块52，用于对第一视频进行编码，得到对应的多个图像帧，其中，第一视频为待分类的多个视频中的任一视频；
55.确定模块54，用于基于多个图像帧中的目标图像帧确定第一视频的复杂度，其中，复杂度包括空间复杂度和时间复杂度；
56.分类模块56，用于基于复杂度对多个视频进行分类。
57.通过本技术实施例的装置，先对待分类的第一视频进行编码得到对应的多个图像帧，根据多个图像帧中的目标帧确定该第一视频的复杂度，由于第一视频为多个视频中的任一视频，则待分类的该多个视频均可以通过上述方式得到对应的复杂度，进而可以根据复杂度对该多个视频进行分类，也就是说，本技术实施例中的视频分类方法，是根据视频的
时间复杂度和空间复杂度对视频进行分类，并不局限于仅通过视频的底层特征进行分类，也不依赖人工先验的经验进行分类，其分类更加高效且鲁棒性更好，从而解决了现有技术中通过视频的底层特征进行分类且需要依赖极强的先验知识，导致视频分类效果较差且鲁棒性较弱的问题。
58.可选地，本技术实施例的确定模块54进一步可以包括：第一确定单元，用于在目标帧为i帧的情况下，确定多个图像帧中i帧的第一平均值，并基于第一平均值确定与多个图像帧取值之和的比值第一视频的空间复杂度；或，第二确定单元，用于在目标帧为p帧的情况下，确定多个图像帧中p帧的第二平均值，并基于第二平均值与第一平均值的比值确定第一视频的时间复杂度。
59.在具体应用场景中第一视频基于标准编码器(如x264)进行编码后得到多个画面组(group of pictures，gop)，每一个画面组中包括一个i帧，多个b帧和多个p帧。因此，对于i帧的平均值需要先计算所有画面组中的i帧的大小之和后，然后确定i帧的平均值。p帧的平均值的确定方式与i帧类似。
60.此外，需要说明的是，时间复杂度是指播放视频所需要的计算工作量；而空间复杂度是指播放视频所需要的内存空间。时间和空间(即寄存器)都是计算机资源的重要体现，而复杂度就是指在播放视频时的计算机所需的资源多少。因此，在本技术实施例通过空间复杂度或时间复杂度能够更加全面的对视频进行分类，而不局限于现有技术中比较单一的分类方式，如通过部分底层特征，或按照分辨率、帧率、码率、场景类型、业务类型等标签进行分类。
61.可选地，本技术实施例的第一确定单元包括：第一处理子单元，用于对多个图像帧中的i帧进行归一化处理，并确定归一化处理后的i帧的第一平均值；
62.可选地，本技术实施例的第二确定单元包括：第二处理子单元，用于对多个图像帧中的p帧进行归一化处理，并确定归一化处理后的p帧的第二平均值。
63.也就是说，在本技术实施例中可以先对i帧和p帧进行归一化处理后再确定两者的平均值，通过归一化处理后能够进一步提升复杂度的精度，能够进一步对视频的分类更加精细，如图2所示，空间复杂度作为横坐标，时间复杂度作为纵坐标的坐标系，通过该坐标系能够直观的显示出各个视频的空间复杂度以及时间复杂度。
64.可选地，本技术实施例的分类模块56进一步可以包括：第一处理单元，用于对空间复杂度进行对数化处理，得到第一结果；第二处理单元，用于对时间复杂度进行对数化处理，得到第二结果；第三确定单元，用于将第一结果和第二结果确定第一视频在直角坐标系中的位置；其中，直角坐标系的纵坐标为时间复杂度，直角坐标系的横坐标为空间复杂度；第一分类单元，用于基于直角坐标系中的位置对多个视频进行分类。
65.对此，由于对i帧和p帧的大小进行归一化处理后，其数值较小，因此，在对空间复杂度进行对数化处理以及对时间复杂度进行对数化处理后，并在纵坐标为时间复杂度以及横坐标为空间复杂度的坐标系中显示该对数化处理后的结果，如图3所示，其各视频的复杂度在该直角坐标系中能够更加分散的分布，即能够更加直观的比较出各个视频的复杂度。
66.可选地，本技术实施例的分类模块56进一步可以包括：第二分类单元，用于基于空间复杂度所落入的预设范围取值对多个视频进行分类；第三分类单元，用于基于时间复杂度所落入的预设范围取值对多个视频进行分类；其中，不同的预设范围取值对应不同视频
分类结果。
67.本技术实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
68.存储器603，用于存放计算机程序；
69.处理器601，用于执行存储器603上所存放的程序时，实现图1中的方法步骤，其所起到的作用与图1中的方法步骤一样，在此不再赘述。
70.上述终端提到的通信总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
71.通信接口用于上述终端与其他设备之间的通信。
72.存储器可以包括随机存取存储器(random access memory，简称ram)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
73.上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
74.在本技术提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的视频的分类方法。
75.在本技术提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的视频的分类方法。
76.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
77.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存
在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
78.本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
79.以上所述仅为本技术的较佳实施例而已，并非用于限定本技术的保护范围。凡在本技术的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本技术的保护范围内。

技术特征：
1.一种视频的分类方法，其特征在于，包括：对第一视频进行编码，得到对应的多个图像帧，其中，所述第一视频为待分类的多个视频中的任一视频；基于所述多个图像帧中的目标图像帧确定所述第一视频的复杂度，其中，所述复杂度包括空间复杂度和时间复杂度；基于所述复杂度对所述多个视频进行分类。2.根据权利要求1所述的方法，其特征在于，所述基于所述多个图像帧中的目标图像帧确定所述第一视频的复杂度，包括：在所述目标帧为i帧的情况下，确定所述多个图像帧中所述i帧的第一平均值，并基于所述第一平均值与所述多个图像帧取值之和的比值确定所述第一视频的空间复杂度；或，在所述目标帧为p帧的情况下，确定所述多个图像帧中所述p帧的第二平均值，并基于所述第二平均值与所述第一平均值的比值确定所述第一视频的时间复杂度。3.根据权利要求2所述的方法，其特征在于，所述确定所述多个图像帧中所述i帧的第一平均值，包括：对所述多个图像帧中的i帧进行归一化处理，并确定归一化处理后的i帧的所述第一平均值；所述确定所述多个图像帧中所述p帧的第二平均值，包括：对所述多个图像帧中的p帧进行归一化处理，并确定归一化处理后的p帧的所述第二平均值。4.根据权利要求2所述的方法，其特征在于，所述基于所述复杂度对所述多个视频进行分类，包括：对所述空间复杂度进行对数化处理，得到第一结果；对所述时间复杂度进行对数化处理，得到第二结果；将所述第一结果和所述第二结果确定所述第一视频在直角坐标系中的位置；其中，所述直角坐标系的纵坐标为时间复杂度，所述直角坐标系的横坐标为空间复杂度；基于所述直角坐标系中的所述位置对所述多个视频进行分类。5.根据权利要求2所述的方法，其特征在于，所述基于所述复杂度对所述多个视频进行分类，包括：基于所述空间复杂度所落入的预设范围取值对所述多个视频进行分类；基于所述时间复杂度所落入的预设范围取值对所述多个视频进行分类；其中，不同的所述预设范围取值对应不同视频分类结果。6.一种视频的分类装置，其特征在于，包括：编码模块，用于对第一视频进行编码，得到对应的多个图像帧，其中，所述第一视频为待分类的多个视频中的任一视频；确定模块，用于基于所述多个图像帧中的目标图像帧确定所述第一视频的复杂度，其中，所述复杂度包括空间复杂度和时间复杂度；分类模块，用于基于所述复杂度对所述多个视频进行分类。7.根据权利要求6所述的装置，其特征在于，所述确定模块包括：第一确定单元，用于在所述目标帧为i帧的情况下，确定所述多个图像帧中所述i帧的第一平均值，并基于所述第一平均值与所述多个图像帧取值之和的比值确定所述第一视频的空间复杂度；或，
第二确定单元，用于在所述目标帧为p帧的情况下，确定所述多个图像帧中所述p帧的第二平均值，并基于所述第二平均值与所述第一平均值的比值确定所述第一视频的时间复杂度。8.根据权利要求7所述的装置，其特征在于，所述第一确定单元包括：第一处理子单元，用于对所述多个图像帧中的i帧进行归一化处理，并确定归一化处理后的i帧的所述第一平均值；所述第二确定单元包括：第二处理子单元，用于对所述多个图像帧中的p帧进行归一化处理，并确定归一化处理后的p帧的所述第二平均值。9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的方法。

技术总结
本申请提供了一种视频的分类方法及装置、电子设备和存储介质，其中，该方法包括：对第一视频进行编码，得到对应的多个图像帧，其中，所述第一视频为待分类的多个视频中的任一视频；基于所述多个图像帧中的目标图像帧确定所述第一视频的复杂度，其中，所述复杂度包括空间复杂度和时间复杂度；基于所述复杂度对所述多个视频进行分类。通过本申请，解决了现有技术中通过视频的底层特征进行分类且需要依赖极强的先验知识，导致视频分类效果较差且鲁棒性较弱的技术问题。较弱的技术问题。较弱的技术问题。


技术研发人员：窦宏辰
受保护的技术使用者：北京金山云网络技术有限公司
技术研发日：2022.01.04
技术公布日：2023/7/13