课堂视频编码方法、装置、存储介质和设备与流程

1.本发明涉及视频编码领域，尤其是涉及一种课堂视频编码方法、装置、存储介质和设备。


背景技术：

2.传统的视频编码技术中，为了提高用户的观感体验，通常会将画面分割成不同的区块来进行编码，一般而言，对于用户感兴趣的区域采用高质量无损编码，对用户不感兴趣的区域则降低码率和编码质量，从而节省网络带宽占用和视频存储空间。
3.当对课堂视频进行编码时，由于课堂视频画面中可能存在教师以及众多学生，在识别感兴趣区域时往往需要耗费大量算力且容易出现识别误差，导致课堂视频编码效率较低。


技术实现要素：

4.本技术实施例提供了一种课堂视频编码方法、装置、存储介质和设备，能够提高课堂视频编码效率。
5.第一方面，本技术实施例提供了一种课堂视频编码方法，包括以下步骤：
6.采集课堂图像；
7.获取所述课堂图像的亮度信息，根据所述亮度信息确定所述课堂图像中的感兴趣区域和非感兴趣区域，得到第一区域信息和第二区域信息；
8.确定所述感兴趣区域对应的第一编码参数和所述非感兴趣区域的第二编码参数，基于所述第一区域信息、所述第二区域信息、所述第一编码参数和所述第二编码参数，生成编码文件；其中，所述第一编码参数优于所述第二编码参数；
9.获取课堂视频；
10.根据所述编码文件对所述课堂视频进行编码。
11.第二方面，本技术实施例提供了一种课堂视频编码装置，包括：
12.课堂图像采集模块，用于采集课堂图像；
13.区域识别模块，用于获取所述课堂图像的亮度信息，根据所述亮度信息确定所述课堂图像中的感兴趣区域和非感兴趣区域，得到第一区域信息和第二区域信息；
14.编码文件生成模块，用于确定所述感兴趣区域对应的第一编码参数和所述非感兴趣区域的第二编码参数，基于所述第一区域信息、所述第二区域信息、所述第一编码参数和所述第二编码参数，生成编码文件；其中，所述第一编码参数优于所述第二编码参数；
15.课堂视频获取模块，用于获取课堂视频；
16.编码模块，用于根据所述编码文件对所述课堂视频进行编码。
17.第三方面，本技术实施例提供了一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现如上述任意一项所述的课堂视频编码方法的步骤。
18.第四方面，本技术实施例提供了一种电子设备，包括存储器、处理器以及存储在所
述存储器中并可被所述处理器执行的计算机程序；
19.所述处理器执行所述计算机程序时实现如上述任意一项所述的课堂视频编码方法的步骤。
20.在本技术实施例中，通过采集课堂图像，根据课堂图像的亮度信息确定感兴趣区域和非感兴趣区域以及感兴趣区域对应的第一编码参数和非感兴趣区域的第二编码参数，生成编码文件，在获取课堂视频之后，可以直接根据编码文件来对课堂视频进行编码，无需再次对课堂视频画面进行感兴趣区域的识别，可以有效提高课堂视频编码效率。
21.为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
22.图1为本发明一个实施例中一种课堂视频编码方法的应用场景示意图；
23.图2为本发明一个实施例的一种课堂视频编码方法的流程图；
24.图3为本发明一个实施例的课堂图像的示意图；
25.图4为本发明一个实施例的课堂图像各区域的示意图；
26.图5为本发明一个实施例的步骤s130的流程图；
27.图6为本发明一个实施例中步骤s150的流程图；
28.图7为本发明一个实施例中一种课堂视频编码装置的结构示意图；
29.图8为本发明一个实施例中一种电子设备的结构示意图。
具体实施方式
30.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施例方式作进一步地详细描述。
31.应当明确，所描述的实施例仅仅是本技术实施例一部分实施例，而不是全部的实施例。基于本技术实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本技术实施例保护的范围。
32.在本技术实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术实施例。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
33.下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。在本技术的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
34.此外，在本技术的描述中，除非另有说明，“若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
35.传统的视频编码技术需要耗费大量算力进行感兴趣区域的识别，视频编码效率较低。
36.而针对课堂教学场景，如图1所示，课堂教学场景所涉及的视频画面内容通常较为固定，如图中的黑板、讲台、学生书桌、活动区域、教具区域等，在该场景下，用户感兴趣区域通常是指教师教学时所在的区域，例如黑板所在的区域或者教具区域，针对上述较为固定的感兴趣区域，本技术提供了一种课堂视频编码方法，该课堂视频编码方法可以应用在录播设备中，可以快速识别课堂视频中的感兴趣区域，从而提高课堂视频的编码效率。
37.请参阅图2，具体地，本技术提供了一种课堂视频编码方法，包括以下步骤：
38.s110：采集课堂图像；
39.课堂图像可以通过设置在教室的图像采集装置、录播设备、教师摄像机或学生摄像机采集得到。
40.s120：获取所述课堂图像的亮度信息，根据所述亮度信息确定所述课堂图像中的感兴趣区域和非感兴趣区域，得到第一区域信息和第二区域信息；
41.课堂图像的亮度信息可以包括课堂图像上各个像素点的亮度值。
42.根据所述亮度信息确定所述课堂图像中的感兴趣区域和非感兴趣区域的步骤可以包括：
43.将所述亮度值小于亮度阈值的像素点所在的区域作为感兴趣区域，将所述亮度值大于或等于亮度阈值的像素点所在的区域作为非感兴趣区域。
44.第一区域信息用于确定课堂图像中的感兴趣区域的位置。
45.第二区域信息用于确定课堂图像中的非感兴趣区域的位置。
46.s130：确定所述感兴趣区域对应的第一编码参数和所述非感兴趣区域的第二编码参数，基于所述第一区域信息、所述第二区域信息、所述第一编码参数和所述第二编码参数，生成编码文件；其中，所述第一编码参数优于所述第二编码参数；
47.编码参数可以包括量化参数、码率等视频编码常用的参数。
48.其中，第一编码参数可以大于第二编码参数，或者，第一编码参数也可以小于第二编码参数。
49.具体地，根据所述第一编码参数编码后得到的视频的画质可以高于根据所述第二编码参数编码后得到的视频的画质，或者，根据所述第一编码参数编码后得到的视频的码率可以大于根据所述第二编码参数编码后得到的视频的码率，使得根据第一编码参数编码后得到的视频的显示效果可以优于根据第二编码参数编码后得到的视频的显示效果。
50.s140：获取课堂视频；
51.课堂视频可以由设置在教室的视频采集设备或者录播设备采集得到。
52.课堂视频和课堂图像可以由同一个摄像装置采集得到，使得在基于编码文件对课堂视频进行编码时，课堂视频中的感兴趣区域和非感兴趣区域可以与课堂图像中的感兴趣区域和非感兴趣区域一致。
53.s150：根据所述编码文件对所述课堂视频进行编码。
54.在对课堂视频进行编码时，可以根据课堂视频画面中的感兴趣区域和非感兴趣区域对应的编码参数来对其进行编码。
55.本技术实施例中以教师摄像机所采集的课堂图像为例，对本技术的课堂视频编码
过程进行说明：
56.如图3所示，其为一个实施例中教师摄像机采集到的课堂图像，该课堂图像包括墙体、黑板和教具区域，在获取课堂图像的亮度信息后，可以根据亮度信息确定该课堂图像中的墙体、黑板和教具区域。
57.如图4所示，图中的黑色区域为黑板，白色区域为墙体，杂色区域即为教具区域，此时，将白色区域作为非感兴趣区域，将黑色区域和杂色区域作为感兴趣区域，通过调低感兴趣区域的量化参数，调高非感兴趣区域的量化参数，根据感兴趣区域和非感兴趣区域的区域信息及其对应的量化参数生成编码文件，在利用教师摄像机采集到课堂视频之后，可以直接根据编码文件中的量化参数来对课堂视频的各个区域进行编码，无需占用大量算力来进行感兴趣区域的识别，从而提高课堂视频编码效率，本技术的课堂视频编码方法可以满足流媒体的实时处理需求，实现多路课堂视频的并行录制。
58.相对于传统技术在教师上课时，由于教室内的学生人数较多，情况较为复杂，识别感兴趣区域需要使用的算力较大，并且容易造成感兴趣区域的误识别，本技术针对教育录播的特定场景，并结合该特定场景下的感兴趣区域和非感兴趣区域较为固定的情况，结合教室的特征以及图像的亮度信息来预先确定感兴趣区域和非感兴趣区域，当应用在算力资源有限的设备时，可以节省该设备的算力资源，使该设备的性能能得到更高的使用；本技术当教师在上课时且开始录制课堂视频时，无需再次进行感兴趣区域的识别，可以直接根据编码文件来对课堂视频进行编码，提高课堂视频编码效率。
59.在本技术实施例中，通过采集课堂图像，根据课堂图像的亮度信息确定感兴趣区域和非感兴趣区域以及感兴趣区域对应的第一编码参数和非感兴趣区域的第二编码参数，生成编码文件，在获取课堂视频之后，可以直接根据编码文件来对课堂视频进行编码，无需再次对课堂视频画面进行感兴趣区域的识别，可以有效提高课堂视频编码效率。
60.步骤s130中，在确定第一编码参数和第二编码参数时，可以是调高第一编码参数，降低第二编码参数；或者，也可以是降低第一编码参数，调高第二编码参数。具体可以根据编码参数的来确定。
61.如图5所示，在一个实施例中，确定所述感兴趣区域对应的第一编码参数的步骤具体包括：
62.s131：基于编码参数基值与感兴趣区域对应的第一附加值之和，确定所述感兴趣区域对应的第一编码参数；
63.确定所述非感兴趣区域的第二编码参数的步骤具体包括：
64.s132：基于编码参数基值与非感兴趣区域对应的第二附加值之和，确定所述非感兴趣区域对应的第二编码参数，其中，所述第一附加值与所述第二附加值不同。
65.第一附加值和第二附加值分别为感兴趣区域和非感兴趣区域对应的编码参数附加值。第一附加值和第二附加值的大小可以根据具体的编码参数来设置。
66.在一个实施例中，所述第一编码参数包括第一量化参数，所述第二编码参数包括第二量化参数；量化参数可以用于实现码率分配的修正，本技术中针对感兴趣区域和非感兴趣区域设置了不同的量化参数；其中，量化参数越小，编码后得到的视频质量越好，显示效果越好，码率越高；量化参数越大，编码后得到视频质量越差，显示效果越差，码率越小。
67.因此，本技术中的第一附加值小于第二附加值，从而使得根据第一编码参数编码
后得到的视频的显示效果优于根据第二编码参数编码后得到的视频的显示效果。
68.优选地，所述第一附加值小于零，所述第二附加值大于零，所述第一附加值与所述第二附加值的绝对值相同，也即第一附加值和第二附加值的数值相同符号相反。
69.具体地，第一附加值可以为-5，第二附加值可以为5，则第一量化参数可以为编码参数基值-5，第二量化参数可以为编码参数基值+5，编码参数基值可以根据编码设备的编码能力进行设置，通过使用相对的量化参数取代绝对的量化参数，更方便用户对量化参数的调整。
70.如图6所示，在一个实施例中，根据所述编码文件对所述课堂视频进行编码的步骤具体包括：
71.s151：根据所述第一区域信息确定所述课堂视频中的感兴趣区域，根据所述第一编码参数对所述感兴趣区域进行编码；
72.s152：根据所述第二区域信息确定所述课堂视频中的非感兴趣区域，根据所述第二编码参数对所述非感兴趣区域进行编码。
73.本技术实施例中，课堂视频与课堂图像相互对应，因此，可以直接根据第一区域信息来确定课堂视频中的感兴趣区域，根据第二区域信息确定课堂视频中的非感兴趣区域，并根据第一编码参数来对感兴趣区域进行编码，根据第二编码参数来对非感兴趣区域进行编码，提高课堂视频编码效率。
74.在一个优选的实施例中，为了提高课堂视频编码效率，可以在课堂空闲时间预先生成编码文件，使得教师在上课时可以直接根据已经生成的编码文件来进行课堂视频编码，从而更方便进行课堂视频的实时处理，可以适用于实时直播等场景。
75.具体地，所述采集课堂图像的步骤包括：
76.在设定时间内，采集至少一张课堂图像；其中，在所述设定时间内，所述课堂处于非上课状态；
77.所述生成编码文件的步骤具体包括：
78.在设定时间内，确定所述感兴趣区域对应的第一编码参数和所述非感兴趣区域的第二编码参数，基于所述第一区域信息、所述第二区域信息、所述第一编码参数和所述第二编码参数，生成编码文件。
79.设定时间为课堂处于非上课状态的时间，设定时间可以为固定的时间，例如6点、12点、18点等非上课时间，或者，也可以为课程开始前的n分钟，其中，n为大于0的自然数。
80.当课堂图像为多张时，可以是对每一张课堂图像均进行感兴趣区域的识别，根据每一个课堂图像的感兴趣区域的识别结果来综合判断真正的感兴趣区域和非感兴趣区域，从而提高感兴趣区域的识别的准确性。
81.本技术实施例中，通过在非上课时间内，进行课堂图像的采集、感兴趣区域的识别以及编码文件的生成，从而降低学生、教师等人对感兴趣区域识别的干扰，节省感兴趣区域识别的使用的算力，提高感兴趣区域识别的效率和准确性，在教师开始上课时，可以快速根据预先生成的编码文件进行课堂视频编码，从而提高课堂视频编码效率。
82.请参阅图7，本技术的一个实施例还提供了一种课堂视频编码装置，包括：
83.课堂图像采集模块110，用于采集课堂图像；
84.区域识别模块120，用于获取所述课堂图像的亮度信息，根据所述亮度信息确定所
timeprogrammable read-only memory，otprom)、电子擦除式可复写只读存储器(electrically-erasable programmable read-only memory，eeprom)、只读光盘(compactdisc read-only memory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
97.所述处理器220是所述电子设备200的控制核心(control unit)，利用各种接口和线路连接整个电子设备200的各个部件，通过运行或执行存储在所述处理器210内的程序或者模块，以及调用存储在所述处理器210内的数据，以执行电子设备200的各种功能和处理数据。例如，所述处理器220执行所述处理器210中存储的计算机程序时实现本技术实施例中所述的课堂视频编码方法的全部或者部分步骤；或者实现课堂视频编码装置的全部或者部分功能。所述处理器220可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(centralprocessing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。
98.本发明并不局限于上述实施方式，如果对本发明的各种改动或变形不脱离本发明的精神和范围，倘若这些改动和变形属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变形。

技术特征：
1.一种课堂视频编码方法，其特征在于，包括以下步骤：采集课堂图像；获取所述课堂图像的亮度信息，根据所述亮度信息确定所述课堂图像中的感兴趣区域和非感兴趣区域，得到第一区域信息和第二区域信息；确定所述感兴趣区域对应的第一编码参数和所述非感兴趣区域的第二编码参数，基于所述第一区域信息、所述第二区域信息、所述第一编码参数和所述第二编码参数，生成编码文件；其中，所述第一编码参数优于所述第二编码参数；获取课堂视频；根据所述编码文件对所述课堂视频进行编码。2.根据权利要求1所述的课堂视频编码方法，其特征在于，确定所述感兴趣区域对应的第一编码参数的步骤具体包括：基于编码参数基值与感兴趣区域对应的第一附加值之和，确定所述感兴趣区域对应的第一编码参数；确定所述非感兴趣区域的第二编码参数的步骤具体包括：基于编码参数基值与非感兴趣区域对应的第二附加值之和，确定所述非感兴趣区域对应的第二编码参数；其中，所述第一附加值与所述第二附加值不同。3.根据权利要求2所述的课堂视频编码方法，其特征在于，所述第一编码参数包括第一量化参数，所述第二编码参数包括第二量化参数；所述第一附加值小于所述第二附加值。4.根据权利要求3所述的课堂视频编码方法，其特征在于，所述第一附加值小于零，所述第二附加值大于零，所述第一附加值与所述第二附加值的绝对值相同。5.根据权利要求1所述的课堂视频编码方法，其特征在于，所述亮度信息包括各个像素点的亮度值，根据所述亮度信息确定所述课堂图像中的感兴趣区域和非感兴趣区域的步骤具体包括：将所述亮度值小于亮度阈值的像素点所在的区域作为感兴趣区域，将所述亮度值大于或等于亮度阈值的像素点所在的区域作为非感兴趣区域。6.根据权利要求1所述的课堂视频编码方法，其特征在于，根据所述编码文件对所述课堂视频进行编码的步骤具体包括：根据所述第一区域信息确定所述课堂视频中的感兴趣区域，根据所述第一编码参数对所述感兴趣区域进行编码；根据所述第二区域信息确定所述课堂视频中的非感兴趣区域，根据所述第二编码参数对所述非感兴趣区域进行编码。7.根据权利要求1所述的课堂视频编码方法，其特征在于，所述采集课堂图像的步骤包括：在设定时间内，采集至少一张课堂图像；其中，在所述设定时间内，所述课堂处于非上课状态；所述生成编码文件的步骤具体包括：在设定时间内，确定所述感兴趣区域对应的第一编码参数和所述非感兴趣区域的第二编码参数，基于所述第一区域信息、所述第二区域信息、所述第一编码参数和所述第二编码参数，生成编码文件。
8.一种课堂视频编码装置，其特征在于，包括：课堂图像采集模块，用于采集课堂图像；区域识别模块，用于获取所述课堂图像的亮度信息，根据所述亮度信息确定所述课堂图像中的感兴趣区域和非感兴趣区域，得到第一区域信息和第二区域信息；编码文件生成模块，用于确定所述感兴趣区域对应的第一编码参数和所述非感兴趣区域的第二编码参数，基于所述第一区域信息、所述第二区域信息、所述第一编码参数和所述第二编码参数，生成编码文件；其中，所述第一编码参数优于所述第二编码参数；课堂视频获取模块，用于获取课堂视频；编码模块，用于根据所述编码文件对所述课堂视频进行编码。9.一种计算机可读存储介质，其上储存有计算机程序，其特征在于：该计算机程序被处理器执行时实现如权利要求1-7任意一项所述的课堂视频编码方法的步骤。10.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可被所述处理器执行的计算机程序；所述处理器执行所述计算机程序时实现如权利要求1-7任意一项所述的课堂视频编码方法的步骤。

技术总结
本发明涉及一种课堂视频编码方法、装置、存储介质和设备，通过采集课堂图像，根据课堂图像的亮度信息确定感兴趣区域和非感兴趣区域以及感兴趣区域对应的第一编码参数和非感兴趣区域的第二编码参数，生成编码文件，在获取课堂视频之后，可以直接根据编码文件来对课堂视频进行编码，无需再次对课堂视频画面进行感兴趣区域的识别，可以有效提高课堂视频编码效率。效率。效率。


技术研发人员：黄浩成
受保护的技术使用者：广州开得联软件技术有限公司
技术研发日：2023.06.19
技术公布日：2023/10/15