用于在调色板模式下对视频数据进行编码的方法和装置与流程

用于在调色板模式下对视频数据进行编码的方法和装置
相关申请的交叉引用
1.本公开要求对美国申请号为62/954,843、在2019年12月30日提交的临时申请的优先权，其全文通过引用并入本文。
技术领域
2.本公开总体上涉及视频处理，并且更具体地，涉及用于在调色板模式下基于亮度和色度分量的编码树结构发信号通知并确定最大调色板表大小和最大调色板预测器大小的方法和装置。


背景技术：

3.视频是采集视觉信息的一组静态图像(或“帧”)。为了减少存储内存和传输带宽，可以在存储或传输之前对视频进行压缩，然后在显示之前对视频进行解压缩。压缩过程通常称为编码，解压缩过程通常称为解码。有多种使用标准化视频编码技术的视频编码格式，最常见的是基于预测、变换、量化、熵编码和环路滤波。视频编码标准，例如高效视频编码(hevc/h.265)标准、通用视频编码(vvc/h.266)标准、avs标准，这些标准指定了特定视频编码格式，由标准化组织开发。随着视频标准中采用越来越多的先进视频编码技术，新的视频编码标准的编码效率越来越高。


技术实现要素：

4.在一些实施例中，示例性调色板编码方法包括：确定编码单元(cu)的亮度分量和所述cu的色度分量在调色板模式中被联合编码还是单独编码；以及响应于所述亮度分量和所述色度分量在所述调色板模式中被联合编码，确定用于所述cu的第一最大调色板表大小；确定用于所述cu的第一最大调色板预测器大小；并且基于所述第一最大调色板表大小和第一最大调色板预测器大小来预测所述cu。
5.在一些实施例中，示例性视频处理装置包括用于存储指令的至少一个存储器和至少一个处理器。所述至少一个处理器被配置为执行所述指令以使所述装置执行：确定cu的亮度分量和所述cu的色度分量在调色板模式中是被联合编码还是单独编码；并且响应于所述亮度分量和所述色度分量在所述调色板模式中被联合编码，确定用于所述cu的第一最大调色板表大小；确定用于所述cu的第一最大调色板预测器大小；并且基于所述第一最大调色板表大小和所述第一最大调色板预测器大小来预测所述cu。
6.在一些实施例中，示例性非暂时性计算机可读存储介质，存储指令集。所述指令集可由一个或多个处理设备执行以使视频处理装置执行：确定cu的亮度分量和所述cu的色度分量在调色板模式中是被联合编码还是单独编码；并且响应于所述亮度分量和所述色度分量在所述调色板模式中被联合编码，确定用于所述cu的第一最大调色板表大小；确定用于所述cu的第一最大调色板预测器大小；并且基于所述第一最大调色板表大小和所述第一最大调色板预测器大小来预测所述cu。
附图说明
7.在下面的详细描述和附图中示出了本公开的实施例和各个方面。图中所示的各种特征未按比例绘制。
8.图1是根据本公开的一些实施例的示例性视频序列的结构示意图。
9.图2a是示出根据本公开的实施例的混合视频编码系统的示例性编码过程的示意图。
10.图2b是示出根据本公开的实施例的混合视频编码系统的另一示例性编码过程的示意图。
11.图3a是根据本公开实施例的混合视频编码系统的示例性解码过程的示意图。
12.图3b是示出根据本公开的实施例的混合视频编码系统的另一示例性解码过程的示意图。
13.图4是根据本公开的一些实施例的用于对视频进行编码或解码的示例性装置的框图。
14.图5示出了根据本公开的一些实施例的以调色板模式编码的示例性块的示意图。
15.图6示出了根据本公开的一些实施例的用于在对编码单元编码之后更新调色板预测器的示例性过程的示意图。
16.图7示出了根据本公开的一些实施例的示例性表1，其示出了示例性的统一的最大预测器大小和最大调色板大小。
17.图8示出了根据本公开的一些实施例的示例性表2，其示出了示例性的最大预测器大小和最大调色板大小。
18.图9示出了根据本公开的一些实施例的示例性表格3，其示出了用于使用预定义的最大调色板预测器大小和最大调色板大小的示例性解码过程。
19.图10示出了根据本公开的一些实施例的示例性表格4，其示出了用于使用预定义的最大调色板预测器大小和最大调色板大小的示例性调色板编码语法表。
20.图11示出了根据本公开的一些实施例的示例性表格5，其示出了单独调色板的最大调色板大小和最大调色板预测器大小的示例性推导。
21.图12示出了根据本公开的一些实施例的示例性表格6，其示出了单独调色板的最大调色板大小和最大调色板预测器大小的另一示例性推导。
22.图13示出了根据本公开的一些实施例的示例性表7，其示出了示例性序列参数集(sps)语法表。
23.图14示出了根据本公开的一些实施例的示例性表8，其示出了单独调色板的最大调色板大小和最大调色板预测器大小的另一示例性推导。
24.图15示出了根据本公开的一些实施例的示例性表格9，其示出了单独调色板的最大调色板大小和最大调色板预测器大小的另一示例性推导。
25.图16示出了根据本公开的一些实施例示例性表格10，其示出了示例性图像头(ph)语法。
26.图17示出了根据本公开的一些实施例的示例性表格11，其示出了用于i、p和b条带的最大调色板大小和最大调色板预测器大小的示例性推导。
27.图18示出了根据本公开的一些实施例示例性表12，其示出了示例性条带头(sh)的
语法。
28.图19示出了根据本公开的一些实施例的示例性调色板编码方法的流程图。
具体实施方式
29.现在将详细参考示例性实施例，其示例在附图中示出。以下描述参照附图，除非另有说明，其中不同附图中的相同数字表示相同或相似的元件。在示例性实施例的以下描述中阐述的实施方式并不代表与本公开一致的所有实施方式。相反，它们仅是与如所附权利要求中所述的与本公开相关的方面一致的装置和方法的示例。下面更详细地描述本公开的特定方面。如果与通过引用并入的术语和/或定义相冲突的话，以本文提供的术语和定义为准。
30.itu-t视频编码专家组(itu-t vceg)和iso/iec运动图像专家组(iso/iec mpeg)的联合视频专家小组(jvet)目前正在开发通用视频编码(vvc/h.266)标准。vvc标准旨在将其前身高效视频编码(hevc/h.265)标准的压缩效率提高一倍。换句话说，vvc的目标是使用一半的带宽实现与hevc/h.265相同的主观质量。
31.为了使用一半的带宽实现与hevc/h.265相同的主观质量，jvet一直在使用联合探索模型(jem)参考软件开发hevc以外的技术。随着编码技术被纳入jem，jem实现了比hevc更高的编码性能。
32.vvc标准是最近开发的，并且继续包括提供更好压缩性能的更多编码技术。vvc基于与hevc、h.264/avc、mpeg2、h.263等现代视频压缩标准中一直使用的混合视频编码系统。
33.视频是按时间顺序排列以存储视觉信息的一组静态图像(或“帧”)。可以使用视频采集设备(例如，相机)以时间顺序采集和存储这些图像，并且可以使用视频回放设备(例如，电视、计算机、智能手机、平板计算机、视频播放器、或任何具有显示功能的最终用户终端)显示时间序列中的此类图像。此外，在一些应用中，视频采集设备可以实时地将采集的视频发送到视频回放设备(例如，具有监视器的计算机)，例如用于监视、会议或现场广播。
34.为了减少此类应用所需的存储空间和传输带宽，可以在存储和传输之前对视频进行压缩，并在显示之前进行解压缩。可以通过由处理器(例如，通用计算机的处理器)或专用硬件执行的软件来实现压缩和解压缩。用于压缩的模块通常被称为“编码器”，并且用于解压缩的模块通常被称为“解码器”。编码器和解码器可以统称为“编解码器”。编码器和解码器可以被实现为各种合适的硬件、软件、或其组合中的任何一种。例如，编码器和解码器的硬件实现可以包括电路，诸如一个或多个微处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、离散逻辑或其任何组合。编码器和解码器的软件实现可以包括固定在计算机可读介质中的程序代码、计算机可执行指令、固件或任何合适的计算机实现的算法或过程。视频压缩和解压缩可以通过各种算法或标准来实现，例如mpeg-1、mpeg-2、mpeg-4、h.26x系列等。在一些应用中，编解码器可以从第一编码标准解压缩视频，并且使用第二编码标准重新压缩解压缩的视频，在这种情况下，编解码器可以被称为“转码器”。
35.视频编码过程可以识别并保留可用于重建图像的有用信息，并忽略不重要的重建信息。如果忽略不重要的信息不能被完全重建，则这样的编码过程可以被称为“有损”。否则，它可以被称为“无损”。大多数编码过程都是有损的，这是为了减少所需的存储空间和传
输带宽的权衡。
36.被编码的图像(称为“当前图像”)的有用信息包括相对于参考图像(例如，先前编码和重建的图像)的变化。这样的变化可以包括像素的位置变化、亮度变化或颜色变化，其中位置变化是最受关注的。代表对象的一组像素的位置变化可以反映对象在参考图像和当前图像之间的运动。
37.未参考另一图像而编码的图像(即，它是自己的参考图像)被称为“i-图像”。使用先前图像作为参考图像编码的图像被称为“p-图像”,使用先前图像和将来图像作为参考图像编码的图像称为被称为“b图像”(参考是“双向”的)。
38.图1示出了根据本公开的一些实施例的示例视频序列100的结构。视频序列100可以是实况视频或已被采集和存档的视频。视频100可以是现实生活中的视频、电脑生成的视频(例如，计算机游戏视频)或二者组合(例如，具有增强现实效果的真实视频)。视频序列100可以从视频采集设备(例如，相机)、包含先前采集的视频档案(例如，存储在存储设备中的视频文件)或从视频内容提供商接收视频的视频馈送接口(例如，视频广播收发器)输入。
39.如图1所示，视频序列100可以包括沿时间线在时间上布置的一系列图像，包括图像102、104、106和108。图像102-106是连续的，在图像106和108之间有更多的图像。在图1中，图像102是i-图像，其参考图像是图像102本身。图像104是p-图像，其参考图像是图像102，如箭头所示。图像106是b图像，其参考图像是图像104和108，如箭头所示。在一些实施例中，图像的参考图像(例如，图像104)可以不紧接在图像之前或之后。例如，图像104的参考图像可以是图像102之前的图像。需要说明的是，图像102-106的参考图像仅仅是示例，本公开并不限定如图1所示的参考图像的实施例。
40.通常，由于编解码任务的计算复杂性，视频编解码器不会一次对整个图像进行编码或解码。相反，他们可以将图像分割成基本段，并逐段对图像段进行编码或解码。在本公开中，这样的基本段被称为基本处理单元(“bpu”)。例如，图1中的结构110示出了视频序列100的图像(例如，图像102-108中的任何图像)的示例结构。在结构110中，图像被划分为4
×
4基本处理单元，其边界被示出为虚线。在一些实施例中，基本处理单元可以在一些视频编码标准(例如，mpeg族、h.261、h.263或h.264/avc)中被称为“宏块”，或者在一些其它视频编码标准(例如，h.265/hevc或h.266/vvc)中被称为“编码树单元”(“ctu”)。基本处理单元可以在图像中具有可变的大小，例如128
×
128、64
×
64、32
×
32、16
×
16、4
×
8、16
×
32或任意形状和大小的像素。可以基于编码效率和要保持在基本处理单元中的细节水平的平衡来为图像选择基本处理单元的大小和形状。
41.基本处理单元可以是逻辑单元，其可以包括存储在计算机存储器中(例如，在视频帧缓冲区中)的一组不同类型的视频数据。例如，彩色图像的基本处理单元可以包括表示消色差亮度信息的亮度分量(y)、表示颜色信息的一个或多个色度分量(例如，cb和cr)以及相关联的语法元素，其中亮度和色度分量可以具有与基本处理单元的相同大小。在一些视频编码标准(例如，h.265/hevc或h.266/vvc)中，亮度和色度分量可以被称为“编码树块”(“ctb”)。对基本处理单元执行的任何操作都可以对其亮度和色度分量中的每一个重复执行。
42.视频编码具有多个操作阶段，其示例如图2a-2b和图3a-3b所示。对于每个阶段，基本处理单元的大小对于处理仍然可能太大，因此可以进一步分为在本公开中称为“基本处
理子单元”的段。在一些实施例中，基本处理子单元可以在一些视频编码标准(例如，mpeg族、h.261、h.263或h.264/avc)中被称为“块”，或者作为一些其他视频编码标准(例如，h.265/hevc或h.266/vvc)中的“编码单元”(“cu”)。基本处理子单元可以具有与基本处理单元相同的大小或具有比基本处理单元更小的大小。与基本处理单元类似，基本处理子单元也是逻辑单元，其可以包括存储在计算机存储器(例如，在视频帧缓冲区中)中的一组不同类型的视频数据(例如，y、cb、cr和相关联的语法元素)。对基本处理子单元执行的任何操作都可以对其亮度和色度分量中的每一个重复执行。应该注意的是，可以根据处理需要将这种划分执行到进一步的级别。还应注意，不同阶段可以使用不同的方案来划分基本处理单元。
43.例如，在模式决策阶段(其示例在图2b中示出，编码器可以决定对基本处理单元使用什么预测模式(例如，帧内预测或帧间预测)，该基本处理单元可能太大而无法做出这样的决定。编码器可以将基本处理单元划分成多个基本处理子单元(例如，如h.265/hevc或h.266/vvc中的cu)，并且决定每个单独的基本处理子单元的预测类型。
44.对于另一个示例，在预测阶段(其示例在图2a-2b中示出)，编码器可以在基本处理子单元(例如，cu)的级别上执行预测操作。但是，在某些情况下，基本处理子单元仍然可能太大而无法处理。编码器可以进一步将基本处理子单元划分成更小的段(例如，在h.265/hevc或h.266/vvc中称为“预测块”或“pb”)，在该级别上可以执行预测操作。
45.对于另一个示例，在变换阶段(其示例在图2a-2b中示出)，编码器可以对残差基本处理子单元(例如，cu)执行变换操作。但是，在某些情况下，基本处理子单元仍然可能太大而无法处理。编码器可以进一步将基本处理子单元分成更小的段(例如，在h.265/hevc或h.266/vvc中称为“变换块”或“tb”)，在该级别上可以执行变换操作。需要注意的是，同一基本处理子单元的划分方案在预测阶段和变换阶段可以不同。例如，在h.265/hevc或h.266/vvc中，相同cu的预测块和变换块可以具有不同的大小和数量。
46.在图1的结构110中，将基本处理单元112进一步分为3
×
3个基本处理子单元，其边界以虚线示出。同一图像的不同基本处理单元可以在不同的方案中划分为基本处理子单元。
47.在一些实施方式中，为了提供并行处理的能力以及对视频编码和解码的容错能力，可以将图像划分成用于处理的区域，使得对于图像的区域，编码或解码过程可以不依赖于来自图像的任何其他区域的信息。换句话说，图像的每个区域都可以单独处理。通过这样做，编解码器可以并行处理图像的不同区域，从而提高了编码效率。此外，当一区域的数据在处理中被损坏或在网络传输中丢失时，编解码器可以正确地编码或解码同一图像的其他区域而不依赖于被损坏或丢失的数据，从而提供容错能力。在某些视频编码标准中，可以将图像划分为不同类型的区域。例如，h.265/hevc和h.266/vvc提供两种类型的区域:“条带(slice)”和“块片(tile)”。还应注意的是，视频序列100的不同图像可以具有用于将图像划分为区域的不同划分方案。
48.例如，在图1中，结构110被划分成三个区域114、116和118，其边界被示为结构110内部的实线。区域114包括四个基本处理单元。区域116和118均包括六个基本处理单元。需要说明的是，图1中110的基本处理单元、基本处理子单元和结构区域仅是示例，本公开不限制其实施例。
相关联。基本图案可以具有相同的大小(例如，残差bpu 210的大小)，每个基本图案可以表示残差bpu 210的变化频率(例如，亮度变化的频率)分量。基本图案中的任何一个都不能从任何其他基本图案的任何组合(例如，线性组合)中再现。换句话说，分解可以将残差bpu 210的变化分解到频域中。这种分解类似于函数的离散傅立叶变换，其中，基本图像类似于离散傅立叶变换的基本函数(例如，三角函数)，并且变换系数类似于与基本函数相关联的系数。
56.不同的变换算法可以使用不同的基本图案。在变换阶段212可以使用各种变换算法，例如，离散余弦变换、离散正弦变换等。变换阶段212处的变换是可逆的。也就是说，编码器可以通过变换的逆运算(称为“逆变换”)来恢复残差bpu 210。例如，为了恢复残差bpu 210的像素，逆变换可以是将基本图案的对应像素的值乘以相应的相关联系数并将乘积相加以产生加权和。对于视频编码标准，编码器和解码器都可以使用相同的变换算法(因此具有相同的基本图案)。因此，编码器可以仅记录变换系数，解码器可以从中重建残差bpu 210，而无需从编码器接收基本图案。与残差bpu 210相比，变换系数可以具有更少的比特，但是它们可以用于重建残差bpu 210而没有显著的质量劣化。因此，残差bpu 210被进一步压缩。
57.编码器可以进一步在量化阶段214压缩变换系数。在变换过程中，不同的基本图案可以表示不同的变化频率(例如，亮度变化频率)。因为人眼通常更擅长识别低频变化，所以编码器可以忽略高频变化的信息，而不会在解码中引起明显的质量劣化。例如，在量化阶段214，编码器可以通过将每个变换系数除以整数值(称为“量化参数”)并将商四舍五入到其最接近的整数来生成量化的变换系数216。在这样的操作之后，可以将高频基本图案的一些变换系数转换为零，并且可以将低频基本图案的变换系数转换为较小的整数。编码器可以忽略零值的量化变换系数216，由此变换系数被进一步压缩。该量化处理也是可逆的，其中量化变换系数216可以在量化的逆操作(称为“逆量化”)中被重建为变换系数。
58.因为编码器在舍入操作中忽略了该除法的余数，所以量化阶段214可能是有损的。通常，量化阶段214可以在过程200a中贡献最多的信息损失。信息损失越大，量化变换系数216所需的比特数就越少。为了获得不同级别的信息损失，编码器可以使用不同的量化参数值或量化过程的任何其他参数。
59.在二进制编码阶段226，编码器可以使用二进制编码技术对预测数据206和量化变换系数216进行编码，二进制编码例如为熵编码、可变长度编码、算术编码、霍夫曼编码、上下文自适应二进制算术编码，或任何其他无损或有损压缩算法。在一些实施例中，除了预测数据206和量化变换系数216之外，编码器可以在二进制编码阶段226编码其他信息，例如，在预测阶段204使用的预测模式、预测操作的参数、在变换阶段212处的变换类型。量化过程的参数(例如，量化参数)、编码器控制参数(例如，比特率控制参数)等。编码器可以使用二进制编码阶段226的输出数据来生成视频位流228。在一些实施例中，视频位流228可以被进一步打包以用于网络传输。
60.参照过程200a的重建路径，在逆量化阶段218，编码器可以对量化变换系数216执行逆量化，以生成重建的变换系数。在逆变换阶段220，编码器可以基于重建的变换系数生成重建残差bpu 222。编码器可以将重建残差bpu 222添加到预测bpu 208以生成将在过程200a的下一次迭代中使用的预测参考224。
61.应当注意的是，过程200a的其他变体可用于对视频序列202进行编码。在一些实施例中，过程200a的阶段可以由编码器以不同的顺序执行。在一些实施例中，过程200a的一个或多个阶段可以组合成单个阶段。在一些实施例中，过程200a的单个阶段可以分为多个阶段。例如，变换阶段212和量化阶段214可以组合成单个阶段。在一些实施例中，过程200a可以包括附加的阶段。在一些实施例中，过程200a可以省略图2a中的一个或多个阶段。
62.图2b示出了根据本公开的实施例的另一示例编码过程200b的示意图。过程200b可以修改自过程200a。例如，过程200b可以由符合混合视频编码标准(例如，h.26x系列)的编码器使用。与过程200a相比，过程200b的前向路径还包括模式决策阶段230，并将预测阶段204分为空间预测阶段2042和时间预测阶段2044，过程200b的重建路径还另外包括环路滤波阶段232和缓冲区234。
63.通常，预测技术可以分为两种类型：空间预测和时间预测。空间预测(例如，帧内图像预测或“帧内预测”)可以使用来自同一图像中的一个或多个已经编码的相邻bpu的像素来预测当前bpu。也就是说，空间预测中的预测参考224可以包括相邻的bpu。空间预测可以减少图像固有的空间冗余。时间预测(例如，图像间预测或“帧间预测”)可以使用来自一个或多个已经编码的图像的区域来预测当前bpu。也就是说，时间预测中的预测参考224可以包括编码图像。时间预测可以减少图像固有的时间冗余。
64.参考过程200b，在前向路径中，编码器在空间预测阶段2042和时间预测阶段2044执行预测操作。例如，在空间预测阶段2042，编码器可以执行帧内预测。对于被编码的图像的原始bpu，预测参考224可以包括在同一图像中已经被编码(在前向路径中)和重建(在重建路径中)的一个或多个相邻bpu。编码器可以通过插值相邻的bpu来生成预测的bpu 208。插值技术可以包括例如线性插值或内插、多项式插值或内插等。在一些实施例中，编码器可以在像素级执行插值，例如通过插值预测bpu 208的每个像素的对应像素的值。用于插值的相邻bpu可以位于相对于原始bpu的各个方向，例如在垂直方向(例如，在原始bpu的顶部)，水平方向(例如，在原始bpu的左侧)，对角线方向(例如，在原始bpu的左下、右下、左上或右上)，或在所使用的视频编码标准中定义的任何方向。对于帧内预测，预测数据206可以包括，例如，所使用的相邻bpu的位置(例如，坐标)、所使用的相邻bpu的大小、插值的参数、所使用的相邻bpu相对于原始bpu的方向等。
65.对于另一个示例，在时间预测阶段2044，编码器可以执行帧间预测。对于当前图像的原始bpu，预测参考224可以包括已经被编码(在前向路径中)和重建(在重建路径中)的一个或多个图像(被称为“参考图像”)。在一些实施例中，可以通过逐个bpu对参考图像进行编码和重建。例如，编码器可以将重建的残差bpu 222添加到预测bpu 208以生成重建bpu。当同一张图像的所有重建的bpu都被生成时，编码器可以生成一重建图像作为参考图像。编码器可以执行“运动估计”的操作以搜索参考图像的范围(称为“搜索窗口”)中的匹配区域。可以基于原始bpu在当前图像中的位置来确定搜索窗口在参考图像中的位置。例如，搜索窗口可以在参考图像中与当前图像中的原始bpu具有相同坐标的位置处为中心，并且可以向外延伸预定距离。当编码器在搜索窗口中识别(例如，通过使用pel递归算法、块匹配算法等)类似于原始bpu的区域时，编码器可以确定这样的区域作为匹配区域。匹配区域可以具有与原始bpu不同的大小(例如，小于、等于、大于或具有不同的形状)。因为参考图像和当前图像在时间线上在时间上分开(例如，如图1所示)，所以可以认为匹配区域随着时间的推移“移
动”到原始bpu的位置。编码器可以将这种运动的方向和距离记录为“运动矢量”。当使用多个参考图像时(例如，如图1中的图像106)，编码器可以搜索匹配区域并为每个参考图像确定其相关联的运动矢量。在一些实施例中，编码器可以将权重分配给各个匹配参考图像的匹配区域的像素值。
66.运动估计可用于识别各种类型的运动，例如平移、旋转、缩放等。对于帧间预测，预测数据206可以包括例如匹配区域的位置(例如，坐标)、与匹配区域相关联的运动矢量、参考图像的数量、与参考图像相关联的权重等。
67.为了生成预测的bpu 208，编码器可以执行“运动补偿”的操作。运动补偿可以用于基于预测数据206(例如，运动向量)和预测参考224来重建预测的bpu 208。例如，编码器可以根据运动矢量移动参考图像的匹配区域，其中编码器可以预测当前图像的原始bpu。当使用多个参考图像时(例如，如图1中的图像106)，编码器可以根据匹配区域的各个运动矢量和平均像素值来移动参考图像的匹配区域。在一些实施例中，如果编码器已经将权重分配给各个匹配参考图像的匹配区域的像素值，则编码器可以将移动的匹配区域的像素值的加权和相加。
68.在一些实施例中，帧间预测可以是单向的或双向的。单向帧间预测可以使用相对于当前图像在相同时间方向上的一个或多个参考图像。例如，图1中的图像104是单向帧间预测图像，其中参考图像(即，图像102)在图像04之前。双向帧间预测可以在相对于当前图像的两个时间方向上使用一个或多个参考图像。例如，图1中的图像106是双向帧间预测图像，其中参考图像(即，图像104和08)相对于图像104在两个时间方向上。
69.仍然参考过程200b的前向路径，在空间预测2042和时间预测阶段2044之后，在模式决策阶段230，编码器可以为过程200b的当前迭代选择预测模式(例如，帧内预测或帧间预测之一)。例如，编码器可以执行速率失真优化技术，其中编码器可以根据候选预测模式的比特率和候选预测模式下的重建参考图像的失真来选择预测模式以最小化成本函数的值。根据所选择的预测模式，编码器可以生成相应的预测bpu 208和预测数据206。
70.在过程200b的重建路径中，如果在前向路径中已经选择了帧内预测模式，则在生成预测参考224(例如，在当前图像中已经编码和重建的当前bpu)之后，编码器可以将预测参考224直接馈送到空间预测阶段2042以用于以后的使用(例如，用于插值当前图像的下一bpu)。如果在前向路径中已经选择了帧间预测模式，则在生成预测参考224(例如，其中所有bpu都已被编码和重建的当前图像)之后，编码器可以将预测参考224馈送到环路滤波器阶段232。在该阶段，编码器可以将环路滤波器应用于预测参考224，以减少或消除由帧间预测引入的失真(例如，块状伪影)。编码器可以在环路滤波器阶段232处应用各种环路滤波器技术，例如去块、采样自适应补偿、自适应环路滤波器等。可以将经环路滤波的参考图像存储在缓冲区234(或“经解码的图像缓冲区”)中以供以后使用(例如，用作视频序列202的未来图像的帧间预测参考图像)。编码器可以将一个或多个参考图像存储在缓冲区234中，以在时间预测阶段2044处使用。在一些实施例中，编码器可以在二进制编码阶段226处编码环路滤波器的参数(例如，环路滤波器强度)以及量化变换系数216、预测数据206和其他信息。
71.图3a示出了根据本公开的实施例的示例性解码过程300a的示意图。过程300a可以是对应于图2a中的压缩过程200a的解压缩过程。在一些实施例中，过程300a可以类似于过程200a的重建路径。解码器可以根据过程300a将视频位流228解码成视频流304。视频流304
可以非常类似于视频序列202。然而，由于压缩和解压缩过程中的信息丢失(例如，图2a-2b中的量化阶段214)，通常，视频流304与视频序列202不同。类似于图2a-2b中的过程200a和200b，解码器可以在基本处理单元(bpu)级别对在视频位流228中编码的每个图像执行过程300a。例如，解码器可以以迭代方式执行过程300a，其中解码器可以在过程300a的一次迭代中对基本处理单元进行解码。在一些实施例中，解码器可以针对在视频位流228中编码的每个图像的区域(例如，区域114-118)并行地执行过程300a。
72.如图3a所示，解码器可以将与编码图像的基本处理单元(称为“编码bpu”)相关联的视频位流228的一部分馈送到二进制解码阶段302，在二进制解码阶段302，解码器可以将该部分解码成预测数据206和量化变换系数216。解码器可以将量化变换系数216馈送到逆量化阶段218和逆变换阶段220以生成重建残差bpu222。解码器可以将预测数据206馈送到预测阶段204以生成预测bpu 208。解码器可以将重建残差bpu222添加到预测bpu 208以生成预测参考224。在一些实施例中，预测参考224可以存储在缓冲区(例如，计算机存储器中的解码图像缓冲区)中。解码器可以将预测参考224馈送到预测阶段204，用于在过程300a的下一次迭代中执行预测操作。
73.解码器可以迭代地执行过程300a，以解码编码图像的每个编码bpu，并生成用于编码图像的下一个编码bpu的预测参考224。在解码编码图像的所有编码bpu之后，解码器可以将该图像输出到视频流304以供显示，并且继续解码视频位流228中的下一个编码图像。
74.在二进制解码阶段302，解码器可以执行编码器使用的二进制编码技术(例如，熵编码、可变长度编码、算术编码、霍夫曼编码、上下文自适应二进制算术编码或任何其他无损压缩算法)的逆运算。在一些实施例中，除了预测数据206和量化的变换系数216，解码器可以在二进制解码阶段302解码其他信息，例如预测模式、预测操作的参数、变换类型、量化过程的参数(例如，量化参数)、编码器控制参数(例如，比特率控制参数)等。在一些实施例中，如果视频位流228通过网络以包的形式传输，则解码器可以在将视频位流228馈送到二进制解码级302之前对其进行解包。
75.图3b示出了根据本公开的实施例的另一示例解码过程300b的示意图。过程300b可以修改自过程300a。例如，过程300b可以由符合混合视频编码标准(例如，h.26x系列)的解码器使用。与过程300a相比，过程300b额外地将预测阶段204划分为空间预测阶段2042和时间预测阶段2044，并且额外地包括环路滤波阶段232和缓冲区234。
76.在过程300b中，对于在解码的编码图像(称为“当前图像”)的编码基本处理单元(称为“当前bpu”)，由解码器从二进制解码阶段302解码的预测数据206可以包括各种类型的数据，这取决于编码器使用什么预测模式来编码当前bpu。例如，如果编码器使用帧内预测来编码当前bpu，则预测数据206可以包括指示帧内预测、帧内预测操作的参数等的预测模式指示符(例如，标志值)。帧内预测操作的参数可以包括例如用作参考的一个或多个相邻bpu的位置(例如，坐标)、相邻bpu的大小、插值的参数、相邻bpu相对于原始bpu的方向等。对于另一示例，如果由编码器使用的帧间预测来编码当前bpu，则预测数据206可以包括指示帧间预测、帧间预测操作的参数等预测模式指示符(例如，标志值)。帧间预测操作的参数可以包括例如与当前bpu相关联的参考图像的数量、分别与参考图像相关联的权重、相应参考图像中的一个或多个匹配区域的位置(例如，坐标)、分别与所述匹配区域相关联的一个或多个运动矢量等。
77.基于预测模式指示符，解码器可以决定是在空间预测阶段2042执行空间预测(例如，帧内预测)还是在时间预测阶段2044执行时间预测(例如，帧间预测)，执行这种空间预测或时间预测的细节在图2b中描述，其不会在下文中重复。在执行这样的空间预测或时间预测之后，解码器可以生成预测的bpu 208，解码器可以添加预测的bpu 208和重建残差bpu222以生成预测参考224，如图3a中所述。
78.在过程300b中，解码器可以将预测参考224馈送到空间预测阶段2042或时间预测阶段2044，用于在过程300b的下一次迭代中执行预测操作。例如，如果在空间预测阶段2042使用帧内预测解码当前bpu，则在生成预测参考224(例如，解码的当前bpu)之后，解码器可以将预测参考224直接馈送到空间预测阶段2042以供以后使用(例如，用于插值当前图像的下一个bpu)。如果在时间预测阶段2044使用帧间预测解码当前bpu，则在生成预测参考224(例如，其中所有bpu都被解码的参考图像)之后，编码器可以将预测参考224馈送到环路滤波器阶段232以减少或消除失真(例如，块状伪影)。解码器可以如图2b所示的方式将环路滤波器应用于预测参考224。环路滤波的参考图像可以存储在缓冲区234(例如，计算机存储器中的解码图像缓冲区)中供以后使用(例如，用作视频位流228的未来编码图像的预测间参考图像)。解码器可以将一个或多个参考图像存储在缓冲区234中，以在时间预测阶段2044处使用。在一些实施例中，当预测数据206的预测模式指示符指示帧间预测被用于编码当前bpu时，预测数据可以进一步包括环路滤波器的参数(例如，环路滤波器强度)。
79.图4是根据本公开的实施例的用于对视频进行编码或解码的示例装置400的框图。如图4所示，装置400可以包括处理器402。当处理器402执行本文所述的指令时，装置400可以成为用于视频编码或解码的专用机器。处理器402可以是能够操纵或处理信息的任何类型的电路。例如，处理器402可以包括任何数量的中央处理单元(或“cpu”)、图形处理单元(或“gpu”)、神经处理单元(“npu”)、微控制器单元(“mcu”)、光学处理器中、可编程逻辑控制器、微处理器、数字信号处理器、知识产权(ip)核心、可编程逻辑阵列(pla)、可编程阵列逻辑(pal)、通用阵列逻辑(gal)、复杂可编程逻辑器件(cpld)，一种现场可编程门阵列(fpga)、片上系统(soc)、专用集成电路(asic)等的任意组合。在一些实施例中，处理器402还可以是被分组为单个逻辑组件的一组处理器。例如，如图4所示，处理器402可以包括多个处理器，包括处理器402a、处理器402b和处理器402n。
80.装置400还可以包括被配置为存储数据(例如，指令集、计算机代码、中间数据等)的存储器404。例如，如图4所示，所存储的数据可以包括程序指令(例如，用于实现过程200a、200b、300a或300b中的阶段)和用于处理的数据(例如，视频序列202、视频位流228或视频流304)。处理器402可以访问用于处理的程序指令和数据(例如，经由总线410)，并且执行程序指令以对用于处理的数据执行操作或操纵。存储器404可以包括高速随机存取存储设备或非易失性存储设备。在一些实施例中，存储器404可以包括任意数量的随机存取存储器(ram)、只读存储器(rom)、光盘、磁盘、硬盘驱动器、固态驱动器、闪存驱动器、安全数字(sd)卡、记忆棒、紧凑型闪存(cf)卡等的任意组合。存储器404也可以是被分组为单个逻辑组件的一组存储器(图4中未示出)。
81.总线410可以是在装置400内部的组件之间传输数据的通信设备，诸如内部总线(例如，cpu-存储器总线)、外部总线(例如，通用串行总线端口、外围组件互连快速端口)，或者类似物。
82.为了便于解释而不引起歧义，在本公开中，处理器402和其他数据处理电路统称为“数据处理电路”。数据处理电路可以完全实现为硬件，或者实现为软件、硬件或固件的组合。此外，数据处理电路可以是单个单独模块，或者可以完全或部分地组合到装置400的任何其他部件中。
83.装置400还可以包括网络接口406，以提供与网络(例如，因特网、内联网、局域网、移动通信网络等)的有线或无线通信。在一些实施例中，网络接口406可以包括任何数量的网络接口控制器(nic)、射频(rf)模块、应答器、收发器、调制解调器、路由器、网关、有线网络适配器、无线网络适配器、蓝牙适配器、红外适配器、近场通信(“nfc”)适配器、蜂窝网络芯片等的任意组合。
84.在一些实施例中，可选地，装置400可以进一步包括外围接口408，以提供到一个或多个外围设备的连接。如图4所示，外围设备可以包括，但不限于，光标控制设备(例如，鼠标、触摸板或触摸屏)、键盘、显示器(例如，阴极射线管显示器、液晶显示器、或发光二极管显示器)、视频输入设备(例如，相机或耦合到视频档案的输入接口)等。
85.应当注意，视频编解码器(例如，执行过程200a、200b、300a或300b的编解码器)可以被实现为装置400中的任何软件或硬件模块的任何组合。例如，过程200a、200b、300a或30013的一些或所有阶段可以被实现为装置400的一个或多个软件模块，诸如可以被加载到存储器404中的程序实例。对于另一示例，过程200a、200b、300a或300b的一些或全部阶段可以被实现为装置400的一个或多个硬件模块，诸如专用数据处理电路(例如，fpga、asic、npu等)。
86.在量化和逆量化功能块(例如，图2a或图2b的量化214和逆量化218，图3a或图3b的逆量化218)中，量化参数(qp)用于确定应用于预测残差的量化(和逆量化)量。用于对图像或条带(slice)进行编码的初始qp值可以在较高的级别上发出信号，例如，使用图像参数集(pps)中的init_qp_minus26语法元素和使用条带头中的slic_qp_delta语法元素。此外，可以使用以量化组的粒度发送的增量(delta)qp值在本地级别针对每个cu适配qp值。
87.在vvc中，调色板模式可以在4:4:4颜色格式中使用。当启用调色板模式时，如果cu大小小于或等于64x64，在cu级别发送指示是否使用调色板模式的标志。
88.图5示出了根据本公开的一些实施例的以调色板模式编码的示例性块500的示意图。如图5所示，如果利用调色板模式来编码当前cu(例如，块500)，则cu中的每个位置(例如，位置501、位置502、位置503、位置504)的采样值由一小组代表性颜色值表示。该组被称为“调色板”或“调色板表”(例如，调色板510)。对于具有接近调色板颜色的值的采样位置，用信号通知相应的调色板索引(例如，索引0、索引1、索引2或索引3)。根据一些公开的实施例，可以通过用信号发送逃逸索引(escape index)(例如，索引4)来指定调色板表之外的颜色值。然后，对于使用逃逸颜色索引的cu中的所有位置，对这些位置中的每个位置用信号通知(量化的)颜色分量值。
89.为了编码调色板表，要维护调色板预测器。对于非波前情况，调色板预测器在每个条带(slice)的开始处被初始化为0(例如，空)，对于波前情况，在每个ctu行的开始处被初始化为0(例如，空)。在某些情况下，调色板预测器也可以在块片(tile)的开头初始化为0。图6示出了根据本公开的一些实施例的用于在编码和解码编码单元之后更新调色板预测器的示例性过程的示意图。如图6所示，对于调色板预测器中的每个条目，用信号通知重用标
志以指示它是否要被包括在当前cu的当前调色板表中。使用零的行程长度编码发送该重用标志，之后用信号通知新调色板条目的数量和新调色板条目的分量值。在对调色板编码的cu进行编码和/或解码之后，使用当前调色板表来更新所述调色板预测器，并在新调色板预测器的末尾添加至来自先前调色板的未在当前调色板表中重用的预测器，直到达到允许的最大大小。
90.在一些实施例中，为每个cu用信号通知逃逸标志以指示当前cu中是否存在逃逸符号。如果存在逃逸符号，则将调色板表增加一，并将最后的索引分配为逃逸符号(如图5所示)。
91.如图5所示，cu中样本的调色板索引形成调色板索引图。该索引图使用水平或垂直横向扫描进行编码。使用语法元素“palette_transpose_flag”在位流中明确地用信号通知扫描顺序。使用索引运行模式或索引复制模式对调色板索引映射进行编码。
92.根据一些实施例，i条带的树结构通过序列参数集(sps)语法中的语法元素“qtbtt_dual_tree_intra_flag”用信号通知。语法元素qtbtt_dual_tree_intra_flag等于1表示两个单独的coding_tree语法结构分别用于i条带的亮度分量和色度分量。语法元素qtbtt_dual_tree_intra_flag等于0表示单独的coding_tree语法结构不用于i条带的亮度分量和色度分量。此外，p和b条带始终被编码为单树条带。与所公开的实施例一致，i图像是帧内编码图像，而在编码/解码过程中不参考其他图像。p和b图像都是帧间编码图像，其参考其他图像进行解码。p和b图像之间的区别在于，p图像中的每个块只能引用每个参考图像中的最多一个块，而b图像中的每个块最多可以引用每个参考图像中的2个块。
93.根据一些实施例，对于具有双亮度/色度树的条带，在亮度(y分量)和色度(cb和cr分量)分别应用不同的调色板(例如，不同调色板表)。在双树条带(即双亮度/色度树)的情况下，亮度调色板表的每个条目仅包含y值，色度调色板表的每个条目包含cb和cr值。对于单树的条带，调色板共同的应用于y、cb和cr分量(例如，调色板表中的每个条目都包含y、cb和cr值)。此外，对于某些颜色格式，例如4:2:0和4:2:2颜色格式，由于对允许的最小色度编码块大小的限制，单树条带的编码单元(cu)可以具有单独的亮度树和色度树。因此，对于这些颜色格式，单树条带中的cu可以具有局部双树结构(例如，条带级别的单树，而cu级别的双树)。
94.因此，单树条带的编码单元可以具有单独的亮度树和色度树，因为在非帧间的最小帧内色度预测单元(scipu)的情况下，色度不允许被进一步划分，但允许亮度进一步划分。在单树编码中，scipu被定义为其色度块大小大于或等于16个色度样本并且具有小于64个亮度样本的至少一个子亮度块的编码树节点。如上所述，与scipu相关联的单独树称为局部双树。
95.基于条带的树类型(例如，单树或双树)，两种类型的调色板表(“联合调色板”和“单独调色板”)可用于条带。可以使用联合调色板表对单树条带进行调色板编码。联合调色板表的每个条目包含y、cb和cr颜色分量，并且单树条带中的编码单元(cu)的所有颜色分量使用联合调色板表(除了上述的局部双树)联合编码。相反，双树条带使用两个单独的调色板进行调色板编码。双树条带的亮度和色度分量需要不同的调色板表，并分别进行编码。因此，对于双树条带，在位流中发送两个索引图(一个用于亮度分量，一个用于色度分量)。
96.图7示出了根据本公开的一些实施例的示例性表1，其示出了示例性的统一的最大
预测器大小和最大调色板大小。如表1所示，用于联合和单独调色板的最大调色板预测器大小被统一设置为63，并且用于联合和单独调色板表的最大调色板大小被统一设置为31。然而，如上所述，对于具有单独的亮度树和色度树的双树条带/cu，需要两个单独的调色板表，而对于具有联合亮度-色度树的单树条带/cu，仅需要一个联合调色板表。因此，为双树条带/cu生成单独的调色板表的复杂度大约是为单树条带/cu生成联合调色板表的复杂度的两倍。
97.为了解决调色板编码双树条带/cu与单树条带/cu的计算复杂度和时间的不平衡，与一些公开的实施例一致，可以将单独的亮度树和色度树的最大预测器大小设置为低于单个(例如，联合)亮度-色度树的最大预测器大小。可替代地或另外地，可以将单独的亮度树和色度树的最大调色板大小(例如，最大调色板表大小)设置为低于单个(例如，联合)亮度-色度树的最大调色板大小。
98.在一些公开的实施例中，定义以下六个变量以表示最大预测器大小和最大调色板大小。特别是，变量“max_plt_predictor_size_joint”是联合调色板的最大预测器大小。变量“max_plt_predictor_size_luma”是指如果使用单独的调色板，则亮度分量的最大预测器大小。变量“max_plt_predictor_size_chroma”是指如果使用单独的调色板，则色度分量的最大预测器大小。变量“max_plt_size_joint”是指联合调色板的最大调色板大小。变量“max_plt_size_luma”是指如果适用单独调色板，亮度分量的最大调色板大小。变量“max_plt_size_chroma”是指如果使用单独的调色板，则色度分量的最大调色板大小。
99.在一些实施例中，最大调色板预测器大小和最大调色板大小是预定义的固定值集合，并且不需要向视频解码器发信号。图8示出了根据本公开的一些实施例的示例性表2，其示出了示例性的最大预测器大小和最大调色板大小。
100.在一些实施例中，双树条带的最大调色板预测器大小和最大调色板大小被设置为单树条带的最大调色板预测器大小和最大调色板大小的一半。如表2所示，联合调色板(即在单树条带的情况下)的最大调色板预测器大小和最大调色板大小分别定义为63和31。亮度和色度分量的单独调色板(即，在双树条带的情况下)的最大调色板预测器大小和最大调色板大小分别定义为31和15。
101.图9示出了根据本公开的一些实施例的示例性表格3，其示出了用于使用预定义的最大调色板预测器大小和最大调色板大小的示例性解码过程。如表3所示，vvc草案7中当前提出的调色板模式解码过程的更改在方框901-906中强调，并以斜体突出显示，将从在vvc草案7中当前提出的调色板模式解码过程中删除的内容显示在方框905-906中，并通过斜体显示和强调。在本实施例中，如果cu被编码为局部双树(例如，单树条带的单独亮度/色度局部树)，则用于编码局部双树的最大预测器大小被设置为联合调色板的最大预测器大小。
102.图10示出了根据本公开的一些实施例的示例性表格4，其示出了用于使用预定义的最大调色板预测器大小和最大调色板大小的示例性调色板编码语法表。与在表1中示出的用于实现统一的最大预测器大小和最大调色板大小使用的语法相比，语法的更改在表4中框1001-1003中强调，并以斜体突出显示，要从语法中删除的语法元素在表4中框1002-1003中显示，并以斜体显示和强调。
103.在一些实施例中，通过sps语法将联合调色板的最大调色板大小以及联合调色板的最大调色板大小与联合调色板的最大预测器大小之间的差用信号通知解码器。与本公开
实施例一致的示例性语义描述如下。语法元素“sps_max_plt_size_joint_minus1”指定联合调色板表的最大允许调色板大小-1。语法元素sps_max_plt_size_joint_minus1的值在0到63的范围内，包含端值。当语法元素sps_max_plt_size_joint_minus1不存在时，推断它的值为0。此外，语法元素“sps_delta_max_plt_predictor_size_joint”指定了联合调色板的最大允许调色板预测器大小和最大允许调色板大小之间的差。语法元素sps_delta_max_plt_predictor_size_joint的值在0到63的范围内，包含端值。当语法元素sps_delta_max_plt_predictor_size_joint不存在时，推断其值为0。
104.单独的亮度/色度调色板的最大调色板大小和最大调色板预测器大小无信号通知。相反，它们从联合调色板的最大调色板大小和联合调色板的最大调色板预测器大小得出。图11示出了根据本公开的一些实施例的示例性表5，其示出了单独调色板的最大调色板大小和最大调色板预测器大小的示例性推导。
105.在表5中所示的示例中，当使用单独的亮度/色度调色板时，语法元素max_plt_size_joint平均分配给亮度和色度分量。根据本公开，联合调色板的最大调色板大小也可以不均匀地分配到亮度和色度分量。图12示出了根据本公开的一些实施例的示例性表6，其示出了单独调色板的最大调色板大小和最大调色板预测器大小的另一示例性推导。表6显示了不均匀分配的示例。
106.图13示出了根据本公开的一些实施例的示例性表7，其示出了示例性序列参数集(sps)语法表。与表1中所示的用于实现统一最大预测器大小和最大调色板大小的语法相比，在表7的框1301中用斜体强调对语法的更改。尽管在表7中未示出，但是可以想到，单独的亮度/色度调色板的最大调色板大小和最大调色板预测器大小也可以与联合调色板的最大调色板大小和最大调色板预测器大小一起在sps中用信号通知。
107.在一些实施例中，通过图像头(ph)发送最大调色板大小和最大调色板预测器大小相关语法。与本公开实施例一致的示例性语义描述如下。语法元素“pic_max_plt_size_joint_minus1”指定与ph关联的条带的联合调色板表的最大允许调色板大小-1。语法元素pic_max_plt_size_joint_minus1的值在0到63的范围内，包括端值。语法元素“pic_delta_max_plt_predictor_size_joint”指定与ph相关联的条带的联合调色板的最大允许调色板预测器大小和最大允许调色板大小之间的差。语法元素pic_delta_max_plt_predictor_size_joint的最大允许值为63。当语法元素pic_delta_max_plt_predictor_size_joint不存在时，其值被推断为0。
108.单独的亮度/色度调色板的最大调色板大小和最大调色板预测器大小无信号通知。相反，它们是从联合调色板的最大调色板大小和联合调色板的最大调色板预测器大小得出的。图14示出了根据本公开的一些实施例的示例性表8，其示出了单独调色板的最大调色板大小和最大调色板预测器大小的另一示例性推导。
109.在表8中所示的示例中，当使用单独的亮度/色度调色板时，语法元素max_plt_size_joint平均分配给亮度和色度分量。根据本公开，联合表的最大调色板大小也可以不均匀地分配给亮度和色度分量。图15示出了根据本公开的一些实施例的示例性表9，其示出了单独调色板的最大调色板大小和最大调色板预测器大小的另一示例性推导。表9显示了不均匀分配的示例。
110.图16示出了根据本公开的一些实施例的示例性表10，其示出了示例性ph语法的。
与表1中所示的用于实现统一最大预测器大小和最大调色板大小的语法相比，语法的更改在表10的方框1601中强调，并在以斜体突出显示。尽管在表10中未示出，但是可以想到，单独的亮度/色度调色板的最大调色板大小和最大调色板预测器大小也可以与联合调色板的最大调色板大小和最大调色板预测器大小一起在图像头用信号通知。
111.在一些实施例中，与最大调色板大小和最大调色板预测器大小相关的语法通过条带头在每个条带处用信号通知。与本公开实施例一致的示例性语义描述如下。
112.具体地，如果条带被编码为单树条带，则有条件地用信号通知语法元素“slice_max_plt_size_joint_minus1”和语法元素“slice_delta_max_plt_predictor_size_joint”。语法元素slice_max_plt_size_joint_minus1指定单树条带的联合调色板表的最大允许调色板大小-1。语法元素slice_max_plt_size_joint的最大值为63是位流一致性的要求。语法元素slice_delta_max_plt_predictor_size_joint指定单树条带的联合调色板的最大允许调色板预测器大小和最大允许调色板大小之间的差。语法元素slice_delta_max_plt_predictor_size_joint的最大允许值为63。当语法元素slice_delta_max_plt_predictor_size_joint不存在时，其值被推断为0。
113.如果条带被编码为双树条带，则有条件地用信号通知语法元素“slice_max_plt_size_luma_minus1”和语法元素“slice_delta_max_plt_predictor_size_luma”。语法元素slice_max_plt_size_luma_minus1指定双树条带的亮度调色板表的最大允许调色板大小-1。当语法元素slice_max_plt_size_luma不存在时，其值被推断为0。语法元素slice_max_plt_size_luma_minus1的最大值为63是位流一致性的要求。语法元素slice_delta_max_plt_predictor_size_luma指定双树条带的亮度调色板的最大允许调色板预测器大小与最大允许调色板大小之间的差。语法元素slice_delta_max_plt_predictor_size_luma的最大允许值为63。当语法元素slice_delta_max_plt_predictor_size_luma不存在时，其值被推断为0。
114.图17示出了根据本公开的一些实施例的示例性表格11，其示出了针对i、p和b条带的最大调色板大小和最大调色板预测器大小的示例性推导。
115.图18示出了根据本公开的一些实施例的示例性表12，其示出了示例性sh语法。与表1中所示的用于实现统一最大预测器大小和最大调色板大小的语法相比，语法的变化在表12的方框1801中强调，并以斜体突出显示。与本实施例一致的预测更新过程与表3中所示的相同，并且与本实施例一致的调色板编码语法与表4中所示的相同。
116.图19示出了根据本公开的一些实施例的示例性调色板编码方法1900的流程图。方法1900可以由编码器(例如，由图2a的过程200a或图2b的过程200b)、解码器(例如，通由图3a的过程300a或图3b的过程300b)或由装置(例如，图4的装置400)的一个或多个软件或硬件组件执行。例如，处理器(例如，图4的处理器402)可以执行方法1900。在一些实施例中，方法1900可以由包含在计算机可读介质中的计算机程序产品来实现，所述计算机程序产品包括由计算机(例如，图4的装置400)执行的计算机可执行指令，诸如程序代码。
117.在步骤1901，可以确定cu的亮度分量和cu的色度分量在调色板模式中联合编码还是单独编码。例如，可以用变量treetype来指示cu的亮度分量和cu的色度分量在调色板模式中联合编码还是单独编码(例如，如图9的表3或图10的表4所示)。
118.在步骤1903，响应于亮度分量和色度分量在调色板模式中被联合编码，可以确定
cu的第一最大调色板表大小。在一些实施例中，可以基于在视频位流中用信号通知的第一语法元素(例如，图13的表7中所示的语法元素sps_max_plt_size_joint_minus1或图16的表10中所示的语法元素pic_max_plt_size_joint_minus1)的值确定cu的第一最大调色板表大小。
119.在步骤1905，响应于亮度分量和色度分量在调色板模式中被联合编码，可以确定cu的第一最大调色板预测器大小。在一些实施例中，可以基于第一语法元素的值和在视频位流中信号通知的第二语法元素(例如，图13的表7中所示的语法元素sps_delta_max_plt_predictor_size_joint或图16的表10所示的语法元素pic_delta_max_plt_predictor_size_joint)的值来确定用于cu的第一最大调色板预测器大小。例如，cu的第一最大调色板预测器大小可以被确定为第一语法元素的值和第二语法元素(例如，如图11的表5，图12的表6，图14的表8，图15的表9所示)的值的和。在一些实施例中，第一语法元素和第二语法元素在与cu相关的sps(例如，如图13的表7所示)中或与cu相关的ph(例如，如图16的表10所示)中被用信号通知。
120.在步骤1907，响应于亮度分量和色度分量在调色板模式中被联合编码，可以基于第一最大调色板表大小和第一最大调色板预测器大小来预测cu。例如，如图9的表3所示，可以预测cu。
121.在一些实施例中，方法1900可以包括：响应于亮度分量和色度分量在调色板模式中被单独编码，基于第一最大调色板表大小确定cu的第二最大调色板表大小，基于所述第一最大调色板预测器大小来确定所述cu的第二最大调色板预测器大小，并且基于所述第二最大调色板表大小和所述第二最大调色板预测器大小来预测所述cu。第二最大调色板表大小或第二最大调色板预测器大小用于亮度分量或色度分量。例如，亮度分量或色度分量的最大调色板表大小或最大调色板预测器大小可以基于图11的表5确定、图1/2的表6、图1/4的表8、或图15中的表的9确定。
122.在一些实施例中，方法1900包括将cu的第一最大调色板表大小确定为第一预定值。方法1900还可以包括将cu的第一最大调色板预测器大小确定为第二预定值。例如，联合调色板的最大调色板表大小可以是31，联合调色板的最大调色板预测器大小可以是63，如图8的表2所示。在一些实施例中，方法1900可以包括：响应于亮度分量和色度分量在调色板模式中被单独编码，确定cu的第三最大调色板表大小为第三预定值，以及基于第三最大调色板表大小预测所述cu。所述第三预定值小于所述第一预定值。例如，如图8的表2所示，亮度或色度调色板的最大调色板表大小可以是15。
123.在一些实施例中，方法1900可以包括响应于亮度分量和色度分量在调色板模式中被单独编码，并且cu是单树条带的一部分，基于第一最大调色板预测器大小预测cu(例如，如图9的表3所示)。
124.在一些实施例中，方法1900可以包括响应于亮度分量和色度分量在调色板模式中被单独编码，并且cu不是单树条带的一部分，将所述cu的第三最大调色板预测器大小确定为第四预定值，并且基于所述第三最大调色板预测器大小来预测所述cu。所述第四预定值小于所述第二预定值。例如，如图8的表2所示。单独调色板的最大调色板预测器大小可以是31。如图9的表3所示，可以预测cu。
125.在一些实施例中，方法1900可以包括：确定包括cu的图像条带是单树条带还是双
树条带，响应于图像条带是单树条带，基于在所述图像条带的条带头中用信号通知的第三语法元素的值，确定用于所述图像条带中的cu的第一最大调色板表大小；并且基于所述第三语法元素的值和在所述条带头中用信号通知的第四语法元素的值，确定用于cu的第一最大调色板预测器大小。cu的第一最大调色板预测器大小可以被确定为第三语法元素的值和第四语法元素的值的和。例如，如图11的表17所示，响应于图像条带是单树条带(例如，slice_type！＝i||qtbtt_dual_tree_intra_flag＝＝0)，可以基于在条带头中(例如，如图18的表12所示的sh))用信号通知的语法元素slice_max_plt_size_joint_minus1的值来确定联合调色板的最大调色板表大小。并且联合调色板的最大调色板预测器大小可以被确定为语法元素slice_max_plt_size_joint_minus1的值和在条带头中被用信号通知的语法元素slice_delta_max_plt_predictor_size_joint的值的和(例如，如图18的表12所示的sh)。
126.在一些实施例中，方法1900可以包括:响应于图像条带是双树条带，基于在条带头中用信号通知的第五语法元素的值，确定cu的第四最大调色板表大小，基于所述第五语法元素的值和在所述条带头中用信号通知的第六语法元素的值，来确定所述cu的第四最大调色板预测器大小，并且基于所述第四最大调色板表大小和所述第四最大调色板预测器大小来预测所述cu。所述cu的第四最大调色板预测器大小可以被确定为第五语法元素的值和第六语法元素的值的和。例如，如图17的表11所示，响应于图像条带是双树条带，亮度或色度调色板的最大调色板表大小可以基于在条带头中用信号通知的语法元素slice_max_plt_size_luma_minus1的值来确定(例如，如图18的表12所示的sh)和用于亮度或色度调色板的最大调色板预测器大小可以被确定为语法元素slice_max_plt_size_luma_minus1的值和在条带头中用信号通知的语法元素slice_delta_max_plt_predictor_size_luma的值的和(例如，如图18的表12所示的sh)。
127.可以使用以下条款进一步描述实施例：1、一种调色板编码方法，包括:确定编码单元(cu)的亮度分量和所述cu的色度分量在调色板模式中被联合编码还是单独编码；以及响应于所述亮度分量和所述色度分量在所述调色板模式中被联合编码，确定用于所述cu的第一最大调色板表大小；确定用于所述cu的第一最大调色板预测器大小；以及基于所述第一最大调色板表大小和所述第一最大调色板预测器大小来预测所述cu。2、根据条款1所述的方法，其中确定用于所述cu的所述第一最大调色板表大小包括：基于在视频位流中发信号通知的第一语法元素的值来确定用于所述cu的所述第一最大调色板表大小。3、根据条款2所述的方法，其中确定用于所述cu的所述第一最大调色板预测器大小包括：基于所述第一语法元素的值和在所述视频位流中发信号通知的第二语法元素的值来确定用于所述cu的所述第一最大调色板预测器大小。
4、根据条款3所述的方法，其中确定用于所述cu的所述第一最大调色板预测器大小包括:将用于所述cu的所述第一最大调色板预测器大小确定为所述第一语法元素的值和所述第二语法元素的值之和。5、根据条款3和4中任一项所述的方法，其中所述第一语法元素和所述第二语法元素在与所述cu相关联的序列参数集(sps)中被用信号通知。6、根据条款3和4中任一项所述的方法，其中，所述第一语法元素和所述第二语法元素在与所述cu相关联的图像头(ph)中被发信号通知。7、根据条款1-6中任一项所述的方法，还包括:响应于所述亮度分量和所述色度分量在所述调色板模式中被单独编码，基于所述第一最大调色板表大小确定用于所述cu的第二最大调色板表大小，基于所述第一最大调色板预测器大小确定用于所述cu的第二最大调色板预测器大小，以及基于所述第二最大调色板表大小和所述第二最大调色板预测器大小预测所述cu。8、根据条款7所述的方法，其中所述第二最大调色板表大小或所述第二最大调色板预测器大小用于所述亮度分量或所述色度分量。9、根据条款1所述的方法，其中确定用于所述cu的所述第一最大调色板表大小包括:确定用于所述cu的所述第一最大调色板表大小为第一预定值。10、根据条款1和9中任一项所述的方法，其中确定用于所述cu的所述第一最大调色板预测器大小包括：确定用于所述cu的所述第一最大调色板预测器大小为第二预定值。11、根据条款9和10中任一项所述的方法，还包括:响应于所述亮度分量和所述色度分量在所述调色板模式中被单独编码，确定用于所述cu的第三最大调色板表大小为第三预定值；以及基于所述第三最大调色板表大小预测所述cu；其中，所述第三预定值小于所述第一预定值。12、根据条款11所述的方法，还包括:响应于所述亮度分量和所述色度分量在所述调色板模式中被单独编码并且所述cu是单树条带的一部分，基于所述第一最大调色板预测器大小来预测所述cu。13、根据条款10-12中任一项所述的方法，还包括:响应于所述亮度分量和所述色度分量在所述调色板模式中被单独编码并且所述cu不是单树条带的一部分，确定用于所述cu的第三最大调色板预测器大小为第四预定值；以及基于所述第三最大调色板预测器大小来预测所述cu；其中所述第四预定值小于所述第二预定值。14、根据条款1所述的方法，还包括:确定包括所述cu的图像条带是单树条带还是双树条带；以及响应于所述图像条带是单树条带，
基于在所述图像条带的条带头中发信号通知的第三语法元素的值，确定所述图像条带中的用于所述cu的所述第一最大调色板表大小；以及基于所述第三语法元素的值和在所述条带头中发信号通知的第四语法元素的值，确定用于所述cu的所述第一最大调色板预测器大小。15、根据条款14所述的方法，其中确定用于所述cu的所述第一最大调色板预测器大小包括:将用于所述cu的所述第一最大调色板预测器大小确定为所述第三语法元素的值和所述第四语法元素的值之和。16、根据条款14和15中任一项所述的方法，还包括:响应于所述图像条带是双树条带，基于在所述条带头中用信号通知的第五语法元素的值，确定用于所述cu的第四最大调色板表大小，基于所述第五语法元素的值和在所述条带头中发信号通知的第六语法元素的值，确定用于所述cu的第四最大调色板预测器大小，以及基于所述第四最大调色板表大小和第四最大调色板预测器大小来预测所述cu。17、根据条款16所述的方法，其中确定用于所述cu的所述第四最大调色板预测器大小包括:将用于所述cu的第四最大调色板预测器大小确定为所述第五语法元素的值和所述第六语法元素的值之和。18、一种视频处理装置，其特征在于，包括:至少一个用于存储指令的存储器；以及至少一个处理器，被配置为执行所述指令以使所述装置执行以下操作:确定编码单元(cu)的亮度分量和所述cu的色度分量在调色板模式中被联合编码还是单独编码；以及响应于所述亮度分量和所述色度分量在所述调色板模式中被联合编码，确定用于所述cu的第一最大调色板表大小；确定用于所述cu的第一最大调色板预测器大小；以及基于所述第一最大调色板表大小和所述第一最大调色板预测器大小来预测所述cu。19、根据条款18所述的装置，其中所述至少一个处理器被配置为执行所述指令以使所述装置执行:基于在视频位流中发信号通知的第一语法元素的值来确定用于所述cu的第一最大调色板表大小。20、根据条款19所述的装置，其中所述至少一个处理器被配置为执行所述指令以使所述装置执行:基于所述第一语法元素的值和在所述视频位流中发信号通知的第二语法元素的值来确定用于所述cu的所述第一最大调色板预测器大小。21、根据条款20所述的装置，其中所述至少一个处理器被配置为执行所述指令以使所述装置执行:
将用于所述cu的所述第一最大调色板预测器大小确定为所述第一语法元素的值和所述第二语法元素的值之和。22、根据条款20和21中任一项所述的装置，其中所述第一语法元素和所述第二语法元素在与所述cu相关联的序列参数集(sps)中用信号通知。23、根据条款20和21中任一项所述的装置，其中所述第一语法元素和所述第二语法元素在与所述cu相关联的图像头(ph)中用信号通知。24、根据条款18-23中任一项所述的装置，其中所述至少一个处理器被配置为执行所述指令以使所述装置执行:响应于所述亮度分量和所述色度分量在所述调色板模式中被单独编码，基于所述第一最大调色板表大小确定用于所述cu的第二最大调色板表大小，基于所述第一最大调色板预测器大小确定用于所述cu的第二最大调色板预测器大小，以及基于所述第二最大调色板表大小和所述第二最大调色板预测器大小预测所述cu。25、根据条款24所述的装置，其中所述第二最大调色板表大小或所述第二最大调色板预测器大小用于所述亮度分量或所述色度分量。26、根据条款18所述的装置，其中所述至少一个处理器被配置为执行所述指令以使所述装置执行:确定用于所述cu的所述第一最大调色板表大小确定为第一预定值。27、根据条款18和26中任一项所述的装置，其中所述至少一个处理器被配置为执行所述指令以使所述装置执行:确定用于所述cu的所述第一最大调色板预测器大小为第二预定值。28、根据条款26和27中任一项所述的装置，其中所述至少一个处理器被配置为执行所述指令以使所述装置执行:响应于所述亮度分量和所述色度分量在所述调色板模式中被单独编码，确定用于所述cu的第三最大调色板表大小为第三预定值；以及基于所述第三最大调色板表大小预测所述cu，；其中，所述第三预定值小于所述第一预定值。29、根据条款28所述的装置，其中所述至少一个处理器被配置为执行所述指令以使所述装置执行:响应于所述亮度分量和所述色度分量在所述调色板模式中被单独编码并且所述cu是单树条带的一部分，基于所述第一最大调色板预测器大小来预测所述cu。30、根据条款27-29中任一项所述的装置，其中所述至少一个处理器被配置为执行所述指令以使所述装置执行：响应于所述亮度分量和所述色度分量在所述调色板模式下被单独编码，并且所述cu不是单树条带的一部分，确定cu的第三最大调色板预测器大小为第四预定值；以及基于所述第三最大调色板预测器大小来预测所述cu，其中所述第四预定值小于所述第二预定值。31、根据条款18所述的装置，其中所述至少一个处理器被配置为执行所述指令以
使所述装置执行:确定包括所述cu的图像条带是单树条带还是双树条带；以及响应于所述图像条带是单树条带，基于在所述图像条带的条带头中发信号通知的第三语法元素的值，确定所述图像条带中的用于所述cu的所述第一最大调色板表大小；以及基于所述第三语法元素的值和在所述条带头中发信号通知的第四语法元素的值，确定用于所述cu的所述第一最大调色板预测器大小。32、根据条款31所述的装置，其中所述至少一个处理器被配置为执行所述指令以使所述装置执行:将用于所述cu的所述第一最大调色板预测器大小确定为所述第三语法元素的值和所述第四语法元素的值之和。33、根据条款31和32中任一项所述的装置，其中所述至少一个处理器被配置为执行所述指令以使所述装置执行:响应于所述图像条带是双树条带，基于在条带头中用信号通知的第五语法元素的值，确定用于所述cu的第四最大调色板表大小，基于所述第五语法元素的值和在所述条带报头中发信号通知的第六语法元素的值，确定用于所述cu的第四最大调色板预测器大小，以及基于所述第四最大调色板表大小和第四最大调色板预测器大小来预测所述cu。34、根据条款33所述的装置，其中所述至少一个处理器被配置为执行所述指令以使所述装置执行:将用于所述cu的第四最大调色板预测器大小确定为所述第五语法元素的值和所述第六语法元素的值之和。35、一种非暂时性计算机可读存储介质，其存储有指令集，所述指令集可由一个或多个处理设备执行以使视频处理装置执行包括以下步骤的方法:确定编码单元(cu)的亮度分量和所述cu的色度分量在调色板模式中是被联合编码还是单独编码；以及响应于所述亮度分量和所述色度分量在所述调色板模式中被联合编码，确定用于所述cu的第一最大调色板表大小；确定用于所述cu的第一最大调色板预测器大小；以及基于所述第一最大调色板表大小和第一最大调色板预测器大小来预测所述cu。36、根据条款35所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:基于在视频位流中发信号通知的第一语法元素的值来确定用于所述cu的所述第一最大调色板表大小。37、根据条款36所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:基于所述第一语法元素的值和在所述视频位流中发信号通知的第二语法元素的值来确定用于所述cu的所述第一最大调色板预测器大小。
38、根据条款37所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:将用于所述cu的所述第一最大调色板预测器大小确定为所述第一语法元素的值和所述第二语法元素的值之和。39、根据条款37和38中任一项所述的非暂时性计算机可读存储介质，其中所述第一语法元素和所述第二语法元素在与所述cu相关联的序列参数集(sps)中用信号通知。40、根据条款37和38中任一项所述的非暂时性计算机可读存储介质，其中，所述第一语法元素和所述第二语法元素在与所述cu相关联的图像头(ph)中用信号通知。41、根据条款35-40中任一项所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:响应于所述亮度分量和所述色度分量在所述调色板模式中被单独编码，基于所述第一最大调色板表大小确定用于所述cu的第二最大调色板表大小，基于所述第一最大调色板预测器大小确定用于所述cu的第二最大调色板预测器大小，以及基于所述第二最大调色板表大小和所述第二最大调色板预测器大小预测所述cu。42、根据条款41所述的非暂时性计算机可读存储介质，其中所述第二最大调色板表大小或所述第二最大调色板预测器大小用于所述亮度分量或所述色度分量。43、根据条款35所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:确定用于所述cu的所述第一最大调色板表大小为第一预定值。44、根据条款35和43中任一项所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:确定用于所述cu的所述第一最大调色板预测器大小为第二预定值。45、根据条款43和44中任一项所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:响应于所述亮度分量和所述色度分量在所述调色板模式中被单独编码，确定用于所述cu的第三最大调色板表大小为第三预定值；以及基于所述第三最大调色板表大小预测所述cu；其中，所述第三预定值小于所述第一预定值。46、根据条款45所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:响应于所述亮度分量和所述色度分量在所述调色板模式中被单独编码并且cu是单树条带的一部分，基于所述第一最大调色板预测器大小来预测所述cu。47、根据条款44-46中任一项所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:响应于所述亮度分量和所述色度分量在所述调色板模式中被单独编码并且cu不是单树条带的一部分，确定用于所述cu的第三最大调色板预测器大小为第四预定值；以及基于所述第三最大调色板预测器大小来预测所述cu，
其中所述第四预定值小于所述第二预定值。48、根据条款35所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:确定包括cu的图像条带是单树条带还是双树条带；以及响应于图像条带是单树条带，基于在所述图像条带的条带头中发信号通知的第三语法元素的值，确定所述图像条带中的用于所述cu的所述第一最大调色板表大小；以及基于所述第三语法元素的值和在所述条带头中发信号通知的第四语法元素的值，确定用于所述cu的所述第一最大调色板预测器大小。49、根据条款48所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:将用于所述cu的所述第一最大调色板预测器大小确定为所述第三语法元素的值和所述第四语法元素的值之和。50、根据条款48和49中任一项所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:响应于图像条带是双树条带，基于在条带头中用信号通知的第五语法元素的值，确定cu的第四最大调色板表大小，基于第五语法元素的值和在条带报头中用信号通知的第六语法元素的值，确定cu的第四最大调色板预测器大小，以及基于所述第四最大调色板表大小和第四最大调色板预测器大小来预测cu。51、根据条款50所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:将用于所述cu的第四最大调色板预测器大小确定为所述第五语法元素的值和所述第六语法元素的值之和。
128.在一些实施例中，还提供了包括指令的非暂时性计算机可读存储介质，所述指令可以由设备执行(例如所公开的编码器和解码器)，用于执行上述方法。非暂时性介质的常见形式包括，例如，软盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、cd-rom、任何其他光学数据存储介质、任何具有孔图案的物理介质、ram、prom和eprom、flash-eprom或任何其他闪存、nvram、高速缓存、寄存器、任何其他存储芯片或盒式存储器，以及其联网版本。该设备可以包括一个或多个处理器(cpu)、输入/输出接口、网络接口和/或存储器。
129.应该注意的是，这里的关系术语，例如“第一”和“第二”仅用于将一个实体或操作与另一个实体或操作区分开来，并且不要求或暗示这些实体或操作之间的任何实际关系或顺序。此外，词语“包括”、“具有”、“包含”和“包括”和其他类似的形式在含义上是等效的，并且是开放式的，因为在这些词语中的任何一个后面的一个或多个项目并不意味着是这样一个或多个项目的详尽列表，或者意味着仅限于列出的一个或多个项目。
130.如本文所用，除非另有特别说明，术语“或”包括所有可能的组合，除非在不可行的情况下。例如，如果声明数据库可包括a或b，则除非另有明确声明或不可行，否则数据库可包括a、或b、或a和b。作为第二示例，如果声明数据库可以包括a、b或c，则除非另有明确说明
或不可行，否则数据库可以包括a、或b、或c、或a和b、或a和c、或b和c、或a，b和c。
131.应当理解，上述实施例可以通过硬件、或软件(程序代码)、或硬件和软件的组合来实现。如果通过软件实现，则可以将其存储在上述计算机可读介质中。该软件在由处理器执行时可以执行所公开的方法。本公开中描述的计算单元和其他功能单元可以通过硬件、或软件、或硬件和软件的组合来实现。本领域普通技术人员还将理解，可以将上述多个模块/单元组合为一个模块/单元，并且可以将上述模块/单元中的每一个进一步划分为多个子模块/子单元。
132.在前面的说明书中，已经参考许多具体细节描述了实施例，这些具体细节可以随实施而变化。可以对所描述的实施例进行某些修改和改变。通过考虑本文公开的本发明的说明书和实践，其他实施例对于本领域技术人员来说是显而易见的。本说明书和实施例仅被认为是示例性的，本发明的真正范围和精神由所附的权利要求指示。附图所示的步骤序列仅用于说明目的，而不旨在限于任何特定的步骤序列。因此，本领域技术人员可以理解，这些步骤可以在实施相同方法的同时以不同的顺序执行。
133.在附图和说明书中，已经公开了示例性实施例。然而，可以对这些实施例进行许多变化和修改。因此，尽管采用了特定的术语，但它们仅在通用和描述性的意义上使用，而不是出于限制的目的。

技术特征：
1.一种调色板编码方法，应用于编码端，包括:确定编码单元(cu)的亮度分量和所述cu的色度分量在调色板模式中是联合编码还是单独编码；以及响应于所述亮度分量和所述色度分量在所述调色板模式中被联合编码，确定用于所述cu的第一最大联合调色板表大小；确定用于所述cu的第一最大联合调色板预测器大小；以及基于所述第一最大联合调色板表大小和所述第一最大联合调色板预测器大小来预测所述cu；其中，所述确定用于cu的所述第一最大联合调色板表大小包括:确定用于所述cu的所述第一最大联合调色板表大小为第一预定值；所述第一预定值为31；响应于所述亮度分量和所述色度分量在所述调色板模式中被单独编码，将用于所述cu的第三最大调色板表大小确定为第三预定值；以及，基于所述第三最大调色板表大小预测所述cu，其中，所述第三预定值小于所述第一预定值。2.如权利要求1所述的方法，其特征在于，所述确定用于cu的所述第一最大联合调色板表大小，包括:基于在视频位流中用信号通知的第一语法元素的值来确定用于所述cu的所述第一最大联合调色板表大小；以及所述确定用于cu的第一最大联合调色板预测器大小，包括：基于所述第一语法元素的值和在所述视频位流中用信号通知的第二语法元素的值来确定用于所述cu的所述第一最大联合调色板预测器大小。3.如权利要求2所述的方法，其特征在于，所述确定用于cu的所述第一最大联合调色板预测器大小包括:将用于所述cu的所述第一最大联合调色板预测器大小确定为所述第一语法元素的值和所述第二语法元素的值之和。4.根据权利要求2所述的方法，其中，所述第一语法元素和所述第二语法元素在与所述cu相关联的序列参数集(sps)或图像头中被用信号通知。5.根据权利要求1所述的方法，还包括:响应于所述亮度分量和所述色度分量在所述调色板模式中被单独编码，基于所述第一最大联合调色板表大小确定用于所述cu的第二最大调色板表大小，基于所述第一最大联合调色板预测器大小确定用于所述cu的第二最大调色板预测器大小，以及基于所述第二最大调色板表大小和所述第二最大调色板预测器大小预测所述cu。6.根据权利要求1所述的方法，其中，所述确定用于cu的所述第一最大联合调色板表大小还包括:确定用于所述cu的所述第一最大联合调色板预测器大小为第二预定值。7.根据权利要求1所述的方法，其中，所述第三预定值为15。8.根据权利要求1所述的方法，还包括:响应于所述亮度分量和所述色度分量在所述调色板模式中被单独编码并且所述cu是单树条带的一部分，基于所述第一最大联合调色板预测器大小来预测cu。9.根据权利要求7所述的方法，还包括:
响应于所述亮度分量和所述色度分量在所述调色板模式中被单独编码并且所述cu不是单树条带的一部分，确定用于所述cu的第三最大调色板预测器大小为第四预定值；以及基于所述第三最大调色板预测器大小来预测所述cu；其中所述第四预定值小于所述第二预定值。10.根据权利要求9所述的方法，其中，所述第四预定值为31。11.根据权利要求1所述的方法，还包括:确定包括所述cu的图像条带是单树条带还是双树条带；以及响应于所述图像条带是单树条带，基于在所述图像条带的条带头中用信号通知的第三语法元素的值，确定所述图像条带中的用于所述cu的所述第一最大联合调色板表大小；以及基于所述第三语法元素的值和在所述条带头中用信号通知的第四语法元素的值，确定用于所述cu的所述第一最大联合调色板预测器大小。12.根据权利要求11所述的方法，还包括:响应于所述图像条带是双树条带，基于在所述条带头中用信号通知的第五语法元素的值，确定用于所述cu的第四最大调色板表大小，基于所述第五语法元素的值和在所述条带头中用信号通知的第六语法元素的值，确定用于所述cu的第四最大调色板预测器大小，以及基于所述第四最大调色板表大小和所述第四最大调色板预测器大小来预测所述cu。13.一种视频处理装置，应用于解码端，其特征在于，包括:至少一个存储器，所述至少一个存储器用于存储指令；以及至少一个处理器，所述至少一个处理器被配置为执行所述指令以使所述装置执行以下操作:确定编码单元(cu)的亮度分量和所述cu的色度分量在调色板模式中被联合编码还是单独编码；以及响应于所述亮度分量和所述色度分量在所述调色板模式中被联合编码，确定用于所述cu的第一最大联合调色板表大小；确定用于所述cu的第一最大联合调色板预测器大小；以及基于所述第一最大联合调色板表大小和所述第一最大联合调色板预测器大小来预测所述cu；其中，所述确定用于cu的所述第一最大联合调色板表大小包括:确定用于所述cu的所述第一最大联合调色板表大小为第一预定值；所述第一预定值为31；响应于所述亮度分量和所述色度分量在所述调色板模式中被单独编码，将用于所述cu的第三最大调色板表大小确定为第三预定值；以及，基于所述第三最大调色板表大小预测所述cu，其中，所述第三预定值小于所述第一预定值。14.一种非暂时性计算机可读存储介质，存储有运行指令集产生的视频位流，所述指令集可由一个或多个处理设备执行以使视频处理装置执行包括以下步骤的方法:确定编码单元(cu)的亮度分量和所述cu的色度分量在调色板模式中被联合编码还是
单独编码；以及响应于所述亮度分量和所述色度分量在所述调色板模式中被联合编码，确定用于所述cu的第一最大联合调色板表大小；确定用于所述cu的第一最大联合调色板预测器大小；以及基于所述第一最大联合调色板表大小和所述第一最大联合调色板预测器大小来预测所述cu；其中，所述确定用于cu的所述第一最大联合调色板表大小包括:确定用于所述cu的所述第一最大联合调色板表大小为第一预定值；所述第一预定值为31；响应于所述亮度分量和所述色度分量在所述调色板模式中被单独编码，将用于所述cu的第三最大调色板表大小确定为第三预定值；以及，基于所述第三最大调色板表大小预测所述cu，其中，所述第三预定值小于所述第一预定值。15.根据权利要求14所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:基于在视频位流中用信号通知的第一语法元素的值来确定用于所述cu的第一最大联合调色板表大小；以及基于所述第一语法元素的值和在所述视频位流中用信号通知的第二语法元素的值来确定用于所述cu的所述第一最大联合调色板预测器大小。16.根据权利要求14所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:响应于所述亮度分量和所述色度分量在所述调色板模式中被单独编码，基于所述第一最大联合调色板表大小确定用于所述cu的第二最大调色板表大小，基于所述第一最大联合调色板预测器大小确定用于所述cu的第二最大调色板预测器大小，以及基于所述第二最大调色板表大小和所述第二最大调色板预测器大小预测所述cu。17.根据权利要求14所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:确定用于所述cu的所述第一最大联合调色板预测器大小为第二预定值。

技术总结
本公开提供了用于执行视频数据的调色板编码的装置和方法。根据某些公开的实施例，所述方法包括：确定编码单元(CU)的亮度分量和所述CU的色度分量在调色板模式中是联合编码还是单独编码；以及响应于所述亮度分量和所述色度分量在所述调色板模式中被联合编码，确定用于所述CU的第一最大调色板表大小；确定用于所述CU的第一最大调色板预测器大小；以及基于所述第一最大调色板表大小和所述第一最大调色板预测器大小来预测所述CU。板预测器大小来预测所述CU。板预测器大小来预测所述CU。


技术研发人员：穆罕默德
受保护的技术使用者：阿里巴巴（中国）有限公司
技术研发日：2020.11.17
技术公布日：2023/7/12