从较低分辨率数据结构创建表示纹理的较高分辨率数据结构的机器学习技术的制作方法

1.本技术涉及必须植根于计算机技术并且产生具体技术改进的技术上创新的非常规解决方案。


背景技术：

2.在诸如计算机游戏的计算机模拟中，使用描述对象表面的“纹理”数据来部分地对对象进行渲染。给定对象的纹理数据越多，渲染的分辨率可以越高。然而，出于带宽目的，期望不要将大的纹理数据结构发送到渲染装置。


技术实现要素：

3.如本文所理解的，所谓的“mipmap”可以用于以下列方式节省带宽。mipmap是一系列纹理数据结构，其中每个纹理数据结构都是前一纹理数据结构的分辨率逐渐降低的表示。通常这种降低在每个维度上为二分之一。通过使用更高分辨率的mipmap来渲染查看器附近的对象和使用较低分辨率的mipmap来渲染远离查看器的对象来节省带宽。通常将mipmap层级选择为与图像的像素密度最匹配的层级。在理想情况下，每个屏幕像素需要一个纹理像素。纹理像素也可以称为“纹素(texel)”(纹理和像素的组合)。
4.然而，如本文所理解的，为了节省存储器，通常将纹理数据压缩成多种块压缩(bcn)模式中的一种，这些块压缩模式在gpu上是可原生采样的。纹理的最大分辨率通常受到存储空间约束和艺术家创作时间的限制。使用现有的基于机器学习的技术或其他技术来从较低分辨率的图像产生较高分辨率的图像需要首先对bcn压缩纹理数据进行解压缩、对其进行上采样以及对其进行重新压缩。这不是令人想要的，因为其需要额外的存储空间用于低分辨率图像和高分辨率图像两者的未压缩版本，并且bcn压缩过程非常复杂且计算量很大。
5.因此，一种组件包括至少一个处理器，所述至少一个处理器被配置有指令以训练至少一个机器学习(ml)引擎以从较低分辨率的计算机图形纹理(cgt)创建更高分辨率的cgt。训练是通过以下各项来完成的：压缩具有第一数量的纹素的多个训练块以创建压缩的训练块；对所述压缩的训练块进行解压缩以创建解压缩的训练块；以及将所述解压缩的训练块输入到所述ml引擎以使所述ml引擎将所述解压缩的训练块提升为预测的更高分辨率的训练块。
6.在一些示例性实施方式中，所述指令可以是可执行的以将与相应的解压缩的训练块相对应的地面实况更高分辨率块输入到所述ml引擎以用于与所述预测的更高分辨率的训练块进行比较。
7.在该第一方面的一些实施方式中，指令可以是可执行的以将所述多个训练块中的至少一些训练块中的每一者输入到各自根据相应的第n块压缩模式操作的n个压缩器，以针对所述多个训练块中的至少一些训练块中的每一者生成相应的n个输出。所述n个输出中的
每一者被解压缩以针对所述多个训练块中的至少一些训练块中的每一者创建n个解压缩的训练块，所述n个解压缩的训练块被输入到所述ml引擎以使所述ml引擎将其提升为预测的更高分辨率训练块。
8.在其他实施方案中，不是将所有n个输出输入到所述ml引擎以进行训练，而是可以首先为所述n个输出中的每一者获得预测误差，并将所述预测误差用于选择相应的第n块压缩模式，所述块压缩模式用于压缩所述相应的训练块并将其解压缩，并且仅将所得解压缩的训练块输入所述ml引擎进行训练。除了预测误差之外，在选择所述第n压缩模式时还可以考虑与每个模式相关联的处理成本。
9.在非限制性示例中，所述多个训练块可以包括一个或多个mipmap，所述cgt可以包括基于物理的渲染和材料(pbr)数据，并且所述更高分辨率的cgt可以包括比所述较低分辨率的cgt高一个mip层级的mipmap。
10.另一方面，一种组件包括至少一个计算机存储装置，所述至少一个计算机存储装置不是瞬时信号并且包括指令，所述指令能够由至少一个处理器执行以将与第一分辨率相关联的解压缩的纹理块输入到至少一个机器学习(ml)算法。所述指令是可执行的以将与高于所述第一分辨率的第二分辨率相关联的地面实况纹理块输入到所述ml算法并执行所述ml算法以在所述解压缩的纹理块和地面实况纹理块上进行训练。所述指令进一步是可执行的以在训练之后，执行所述ml算法以从源中接收较低分辨率的纹理并从所述较低分辨率的纹理中生成更高分辨率的纹理，而无需对所述较低分辨率的纹理进行解压缩或压缩。
11.另一方面，一种方法包括访问至少一个机器学习(ml)引擎以及使用解压缩的纹理块训练所述ml引擎以从较低分辨率的纹理生成更高分辨率。
12.在该方面的示例性实施方案中，所述ml引擎在不使用解码或编码的情况下从所述较低分辨率的纹理生成更高分辨率的纹理。
13.在该方面的一些实施方案中，所述方法可以包括使用所述解压缩的纹理块中的至少一些解压缩的纹理块中的每一者的n个版本来训练所述ml引擎。所述n个版本由相应的n个压缩模式生成。
14.在该方面的其他实施方案中，可以使用所述解压缩的纹理块中的至少一些解压缩的纹理块中的每一者的至少一个但小于n个版本来训练所述ml引擎，所述n个版本由相应的n个压缩模式生成。一个或多个版本可以至少部分地基于与所述n个模式中的每一者相关联的预测误差来选择，并且如果需要，还可以基于与所述n个模式中的每一者相关联的处理约束来选择。
15.本公开的关于其结构和操作两者的细节可以参考附图得到最好的理解，在附图中相同的附图标记指代相同的部分，并且在附图中：
附图说明
16.图1是包括与本发明原理一致的示例的示例性系统的框图；
17.图2示出了示例性纹理通信路径；
18.图3示出了pbr材料的示例性部件；
19.图4以示例性流程图格式示出了用于提供地面实况训练数据的示例性逻辑；
20.图5以示例性流程图格式示出了用于训练纹理渲染机器学习引擎的示例性逻辑；
21.图6以示例性流程图格式示出了用于向渲染器提供纹理的示例性逻辑；
22.图7以示例性流程图格式示出了用于使用机器学习引擎来放大输入纹理的示例性逻辑；
23.图8以示例性流程图格式示出了用于一起放大两个纹理数据类型的示例性逻辑；
24.图9以示例性流程图格式示出了用于使用解压缩的纹理来训练机器学习引擎的示例性逻辑；
25.图10示出了与本发明原理一致的示例性训练系统；以及
26.图11以示例性流程图格式示出了用于预测最佳压缩模式的示例性逻辑。
具体实施方式
27.本公开总体上涉及计算机生态系统，其包括计算机生态系统中的基于消费型电子(ce)装置的用户信息的各个方面。本文中的系统可以包括通过网络连接的服务器部件和客户端部件，使得可以在客户端部件与服务器部件之间交换数据。客户端部件可以包括一个或多个计算装置，所述一个或多个计算装置包括便携式电视(例如，智能tv、支持互联网的tv)、诸如膝上型计算机和平板计算机的便携式计算机，以及包括智能电话和下面讨论的附加示例的其他移动装置。这些客户端装置可以在多种操作环境下操作。例如，客户端计算机中的一些可以采用例如来自微软或unix或苹果公司或谷歌的操作系统。这些操作环境可以用于执行一个或多个浏览程序，诸如微软或谷歌或mozilla制作的浏览器或可以访问由下面讨论的互联网服务器托管的网络应用的其他浏览器程序。
28.服务器可以包括一个或多个处理器，所述处理器执行将服务器配置成通过诸如互联网等网络来接收和传输数据的指令。或者，客户端和服务器可通过本地内联网或虚拟专用网络连接。服务器或控制器可以由游戏控制台(诸如sony个人计算机等)实例化。
29.可以通过网络在客户端与服务器之间交换信息。为此并且为了安全起见，服务器和/或客户端可包括防火墙、负载平衡器、临时存储装置和代理，以及用于可靠性和安全性的其他网络基础设施。一个或多个服务器可形成一种设备，所述设备实施向网络成员提供安全社区(诸如在线社交网站)的方法。
30.如本文所使用的，指令是指用于在系统中处理信息的计算机实施的步骤。指令可以在软件、固件或硬件中实施并且包括由系统的部件执行的任何类型的编程步骤。
31.处理器可以是单芯片或多芯片处理器，所述单芯片或多芯片处理器可借助于各种线(诸如地址线、数据线和控制线)以及寄存器和移位寄存器来执行逻辑。处理器可以由一个或多个图形处理单元(gpu)实施或可以包括一个或多个图形处理单元(gpu)。
32.通过本文的流程图和用户界面描述的软件模块可包括各种子例程、程序等。在不限制本公开的情况下，被陈述为由特定模块执行的逻辑可被再分配到其他软件模块和/或一起组合在单个模块中和/或使得在可共享库中可用。
33.本文所述的本发明原理可以实施为硬件、软件、固件或其组合；因此，说明性部件、框、模块、电路和步骤依据其功能性加以阐述。
34.除了上面提到的内容以外，以下描述的逻辑框、模块和电路可以用数字信号处理器(dsp)、现场可编程门阵列(fpga)、或诸如专用集成电路(asic)、分立门或晶体管逻辑、分
12以用于通过耳机将来自avdd 12的音频呈现给客户的耳机端口。avdd 12还可以包括不是临时信号的一个或多个计算机存储器28，诸如基于磁盘或固态存储装置(包括但不限于闪存存储器)。此外，在一些实施方案中，avdd12可包括位置或地点接收器(诸如但不限于手机接收器、gps接收器和/或高度计30)，所述位置或地点接收器被配置为例如从至少一个卫星或手机塔接收地理位置信息并且向处理器24提供所述信息和/或结合处理器24来确定avdd 12被设置的高度。然而，应理解，根据本发明原理，可以使用除手机接收器、gps接收器和/或高度计之外的另一个合适的定位接收器来例如确定avdd 12在例如所有三个维度上的位置。
41.继续对avdd 12的描述，在一些实施方案中，根据本发明原理，avdd 12可包括一个或多个相机32，所述一个或多个相机可以是例如热成像相机、数字相机(诸如网络摄像头)和/或集成到avdd 12中并且可由处理器24控制以搜集图片/图像和/或视频的相机。在avdd12上还可包括蓝牙收发器34和其他近场通信(nfc)元件36，以用于分别使用蓝牙和/或nfc技术与其他装置进行通信。示例性nfc元件可以是射频识别(rfid)元件。
42.此外，avdd 12可包括向处理器24提供输入的一个或多个辅助传感器37(例如，运动传感器，诸如加速度计、陀螺仪、计程器或磁传感器、红外(ir)传感器、光学传感器、速度和/或节奏传感器、手势传感器(例如，用于感测手势命令)等)。avdd 12还可以包括其他传感器，例如，诸如一个或多个气候传感器38(例如气压计、湿度传感器、风力传感器、光传感器、温度传感器等)和/或一个或多个生物特征传感器40，它们向处理器24提供输入。除前述内容之外，应注意，avdd 12还可以包括红外(ir)发射器和/或ir接收器和/或ir收发器42，诸如ir数据关联(irda)装置。可以提供电池(未示出)以用于为avdd 12供电。
43.仍然参考图1，除了avdd 12之外，系统10可以包括一种或多种其他ce装置类型。在一个示例中，第一ce装置44可以用于向第二ce装置46发送消息，所述第二ce装置46可以包括与第一ce装置44类似的部件并因此将不对其进行详细讨论。在所示的示例中，示出仅两个ce装置44、46，应理解，可以使用更少或更多的装置。
44.示例性非限制性第一ce装置44可以由上述装置(例如，便携式无线膝上型计算机或平板计算机或笔记本计算机或移动电话)中的任何一者来建立，并因此可以具有下面描述的部件中的一者或多者。第二ce装置46可以不受限制地由无线电话建立。第二ce装置46可以实施便携式手持远程控制器(rc)。第二ce装置46可以实施虚拟现实(vr)和/或增强现实(ar)头戴式显示器(hmd)。ce装置44、46可以包括在avdd 12的情况下所示的一些或全部部件。
45.至少一个服务器50可以包括至少一个服务器处理器52、至少一个计算机存储器54(诸如基于磁盘的存储装置或固态存储装置)以及至少一个网络接口56，所述网络接口在服务器处理器52的控制下允许通过网络22与图1的其他装置通信，并且实际上可以根据本发明原理促进服务器与客户端装置之间的通信。应注意，网络接口56可以是例如有线或无线调制解调器或路由器、wi-fi收发器或其他适当接口(例如，诸如无线电话收发器)。
46.因此，在一些实施方案中，服务器50可以是互联网服务器并且可以包括并执行“云”功能，使得系统10的装置可以在示例性实施方案中经由服务器50访问“云”环境。或者，服务器50可以由与图1中示出的其他装置在同一房间或在附近的游戏控制台或其他计算机来实施。
47.本文讨论的装置可以在适当时包括图1中所示的各种部件中的一些或全部。
48.在转向图2之前，“纹理”是可以映射到图像上以表征渲染对象的表面的数据结构。纹理数据结构的基本数据元素是纹理元素或纹素(纹理和像素的组合)。纹理由表示纹理空间的纹素阵列表示。纹素被映射到要渲染的图像中的像素，以定义图像的渲染表面。
49.因此，纹理是数据而不是图像，因此下面的神经网络(nn)训练不一定依赖于感知错误原理。反照率可能是一个例外(下面将进一步讨论)，但通常纹理数据训练使用特定于特定数据目的的错误度量。
50.一些类型的数据(诸如法线和粗糙度)可以配对在一起，因为这两者由于是相互关联的而可以吸收彼此的错误。更具体地说，在pbr渲染中，法线贴图数据和粗糙度数据(有时称为光泽度数据)之间存在关系。粗糙度本质上描述了纹理像素上法线的变化。因此，存在修改粗糙度的技术，以解决在生成mipmap时降低法线贴图的分辨率时的数据丢失，本质上是对法线贴图进行抗锯齿处理。在这种情况下，法线贴图和对应的粗糙度贴图之间存在紧密关联。
51.有了纹理的附加细节，基于物理的渲染(pbr)和材料是用于渲染逼真的材料和光交互的一套通用的指导原则，其涉及使用存储在纹理中的各种类型的数据。光被建模为漫反射或镜面反射。漫射照明通常与视图无关，并且无论从哪个角度观看材料，一般都不会改变。另一方面，镜面照明依赖于视图来模拟，例如眩光。
52.通常，pbr纹理包含“反照率”参数，所述“反照率”参数表征材料的漫反射照明响应。例如，对于抛光木材的仿真表面，反照率纹理包含木纹图案和颜色变化，但没有形状信息，非常平坦。金属没有反照率，因为它们的所有照明响应都来自镜面反射。
53.如上所述，pbr纹理也可能包含“法线”参数。法线贴图定义表面的小的形状细节，特别是表示底层表面的表面法线。这可能与渲染中使用的三角形数据的几何法线解耦，也可能不解耦。这是存储为纹理的向量数据，虽然其可以查看，但它本身并不是图像。在木材示例中，在木材光滑的情况下，这可能几乎是平坦的，但包含蚀刻或雕刻木材表面的细节。
54.也如上所述，pbr纹理也可以包括光泽度/粗糙度参数，它定义了要渲染的表面有多粗糙。通常这被认为是亚像素法线数据的变化(细节小于法线贴图中的纹素)。在木材示例中，这可能包含有关木材磨损的数据(想象用砂纸擦洗木材)，在抛光木材的情况下，它会相对光滑，因此粗糙度会很低。
55.另一个pbr参数是反射率，其表示镜面反射照明响应。对于大多数非金属材料，反射没有颜色。几乎所有非金属的反射率都是常数2％(有多少光被直接反射)。对于镜子，反射率接近100％。
56.一些pbr技术试图利用非金属具有恒定反射率并且金属没有反照率这一事实。这通常涉及重新利用表面是金属的反照率纹素来代替表示反射率(使用颜色、金、黄铜等)，并将额外信息存储在其他另一个纹理通道中，以识别哪些纹素是金属，哪些纹素不是金属。通常，该信息被称为“金属度”。这种编码通常通过不为反照率存储三个通道和不为反射率存储另外三个通道而节省纹理存储器。
57.一般来说，纹理可以有不同的用途，并且可能因游戏引擎而异。
58.考虑到上面对纹理的讨论，通常会生成相同纹理的具有不同的压缩率(并且、因此、或具有不同的分辨率)的多个版本。具体地说，单个纹理可以由完整的经mipmap处理的
纹理链表示。mipmap处理采用图像并将分辨率连续降低二分之一。因此，对于任何给定的纹理，例如1024
×
1024，在存储器中还存储了它的512
×
512版本和256
×
256版本等等。这提高了性能、视觉保真度并促进了纹理流式传输。纹理流式传输尝试通过仅基于渲染对象的屏幕大小加载给定纹理所需的mipmap“尾部”(较低的mip层级和低于它的所有较低分辨率mip层级)来节省存储器。例如，256
×
256mip层级和1024
×
1024纹理的mip链的较低层级可能是为远处的对象加载所需的全部层级。基于不断变化的游戏环境和观看者位置，加载哪些mip层级会按需改变。随着对象越来越近，更高分辨率的mip层级或“细节层级”被加载到存储器中以渲染现在更接近的对象。
59.可以对纹理使用各种类型的压缩。一种类型是块压缩，有时表示为bcn压缩，它是一种有损纹理压缩，可以由图形处理单元(gpu)就地解压缩。块压缩不要求对整个图像进行解压缩，因此gpu可以在对纹理进行采样的同时对数据结构解压缩，就好像它根本没有被压缩一样。
60.块压缩技术将4
×
4像素块压缩成单个(较小的)数据包。通常，这涉及选择两个或更多个(取决于bc压缩类型)“端点”颜色，其中每个像素包含一些关于如何在每个像素处混合这两种颜色的信息。对于整个4
×
4像素块，端点颜色被共享。例如，对于只有红色、蓝色和紫色像素的图像，压缩器可能会选择一个端点为红色，另一个端点为蓝色。紫色像素将具有将两者混合在一起的值。
61.不同的bc类型的主要区别在于它们有多少纹理通道(例如，bc4是一个通道灰度，即“黑和白”)。bc6和bc7很特别，因为它们引入了决定每个块的解释的模式的概念。对于其他bc模式，所有块都以相同的方式编码，其中为端点颜色和混合值分配相同位数。对于bc6/bc7，不同的模式在每个块的基础上分配不同的位，这允许压缩器在纹理的不同区域进行不同的质量权衡。
62.图2示出了纹理源200，所述纹理源经由通信路径202(诸如本地数据总线或到纹理渲染器204的有线/无线网络链路)根据上述原理发送用于渲染的纹理，所述纹理渲染器通常包括具有存储器的一个或多个gpu，以根据显示器上的图像数据和纹理数据渲染图像。
63.图3示出了在本文的实施方案中，只需将尾部纹理300从源200发送到渲染器204，所述渲染器可以对纹理执行机器学习引擎302以将其放大到具有下一个最高层级的分辨率的纹理304，而不需要进行解码/编码并且因此不需要编解码器。机器学习引擎302可以包括一个或多个经过训练的神经网络，诸如生成的、基于噪声的、可能的对抗网络。
64.因此，机器学习用于为所有流式纹理生成比输入mipmap(例如，来自在磁盘上创作的mipmap链)高一个层级的纹理的mipmap。新的(更高分辨率的)mipmap可以类似地引入，就好像它存在于磁盘上一样，只是替代地通过程序生成。由于纹理可以以bcn压缩格式存储在磁盘上，因此网络从存储器中现有的最高压缩mip层级生成新的压缩mip层级。如果在运行时生成mip层级的成本太高，则可以使用相同的方法来离线生成多个mip层级并存储在磁盘上。
65.图4示出了图3中机器学习引擎302的示例性训练原理。可以在框400处访问现有纹理库以进行地面实况训练并在框402处对所述纹理库进行压缩以建立降低的下一个mip层级(再次减半)。换句话说，可以在框400处访问完整的、未压缩的(以及因此最高分辨率的)mipmap并且在框402处将其压缩二分之一以创建压缩的(并且因此较低分辨率的)mipmap。
在框402处生成的mipmap可以根据本文的原理被连续压缩，以为每个输入的未压缩mipmap创建一组完整的mipmap，从而在框404处产生地面实况。
66.图5示出了一个简单的网络可以在框500处访问来自地面实况集合的一个压缩bc块数据包，并且在框502处生成用于更高mip层级的四个bc块数据包，其有效地从例如4
×
4像素块达到8
×
8像素块。替代地，代替或除了将一个bc块作为输入之外，还可以提供该块周围的块的邻域(例如，八个周围块)作为输入，以更好地通知特征网络。
67.训练可以使用反向传播、梯度下降来实施。训练可以使用80/20训练测试拆分来执行，其中80％的地面实况数据随机样本用于训练或设置nn中的权重，然后输入另外20％的测试数据缩小文件并与nn生成的内容进行比较。换句话说，可以将nn的输出与训练会话期间未输入的20％地面实况全分辨率文件进行比较。
68.因为不同材料属性纹理之间主要存在不同类型的数据，所以可以针对每种材料属性类型训练不同的网络。例如，一个网络可以被训练用于放大反射率纹理数据，而另一个网络可以被训练用于放大反照率。
69.在存储类似数据并因此具有一些交叉关系的法线和粗糙度的情况下，可以训练单个网络来将它们一起放大。相同的考虑可能适用于其他相关的材料属性对或组。在共享的法线和粗糙度高分辨率网络的情况下，可以输入一个具有法线数据的bc块和一个在同一相关联位置的具有粗糙度数据的bc块，并且网络可以输出四个具有法线数据的bc块和四个具有粗糙度数据的bc块。
70.图6示出了纹理可以在框600处被压缩并且在框602处被发送到渲染器。在一个示例中，mipmap链中的最低分辨率(最高压缩)“尾部”纹理被发送到渲染器，所述渲染器可以使用本文描述的经过训练的机器学习引擎将它们实时放大，而无需编解码器。在其他实施方案中，可以将压缩相对较少的高分辨率纹理(或未压缩的基础纹理本身)作为输入提供给渲染器，所述渲染器可以使用机器学习来生成压缩程度更高、分辨率更低的纹理。
71.图7示出了渲染器逻辑。在状态700处接收输入纹理。在框702处，通过经过训练的机器学习引擎处理纹理，以在框704处输出不同压缩的纹理，其与输入纹理相比，压缩程度更高(分辨率更低)或压缩程度更低(分辨率更高)。框704处的纹理用于在显示器上渲染图像。
72.图8示出了在共享的法线和粗糙度高分辨率网络的情况下，机器学习引擎在框800处接收一个具有法线数据的bc块，并且在框802处接收一个在同一相关联位置处的具有粗糙度数据的bc块。在框804处，机器学习引擎将两个输入块一起放大以输出四个具有法线数据的bc块和四个具有粗糙度数据的bc块。
73.现在参考图9，除了上面提到的那些之外，还可以看到用于训练ml引擎的技术。从框900开始，接收诸如2
×
2纹素块的地面实况纹理或纹理部分以及诸如4
×
4纹素块的对应的更高分辨率块。移动到框902，使用一种或多种块压缩模式来压缩较低分辨率(例如2
×
2)的块，然后在框904处使用相同的一种或多种模式对所述较低分辨率的块进行解压缩。在框906处将解压缩的块连同对应的更高分辨率的地面实况块输入到ml引擎或算法以进行训练。
74.使用解压缩的块而不是原始未压缩块的上述技术能够解决一种或多种特定压缩模式可能做出的妥协，从而提供更真实的训练。
75.图10和图11示出了与图9的整体逻辑相关的附加技术。在图10中，未压缩的n
×
n纹理块(诸如2
×
2纹素块)可以被发送到多个块压缩器1002、1004，每个块压缩器在相应的块压缩模式下操作。压缩器1002、1004压缩块并将压缩块发送到相应的解压缩器1006、1008，所述解压缩器以与所述压缩块接收自的压缩器相同的模式操作。解压缩的块(即，每个解压缩的块的n个版本，每个压缩模式使用一个版本)可以在图9中的框906处用于训练ml引擎或算法，或者它们可以被发送到误差预测模块1010以修剪在图9中的框906处使用每个解压缩的块的n个版本中的哪个版本。
76.图11示出了示例性非限制性误差预测模块1010。从框1100开始，对于从中导出未压缩的训练纹理块(例如，2
×
2纹素块)的第一分辨率(通常为较低分辨率)的特定帧，可以根据例如时间建立处理预算或成本基础。因此，取决于帧的类型，可以定义可变(更高或更低)的处理预算。例如，较短或不太复杂的帧的处理预算可能大于较长、较大或较复杂的帧。
77.移动到框1102，对于每个输入训练块的每个模式，所述模型预测该块的模式在正确输出更高分辨率的块(例如，4
×
4块)时的相应误差。不加限制地，诸如长短期记忆(lstm)的递归神经网络(rnn)可以用于预测误差。
78.决策菱形框1104指示可以根据预测误差对被测块的模式进行排序，并且如果在具有最低预测误差方面的“最佳”模式与一个或多个次佳模式相差不在阈值预测误差内，则指示模式在状态1106处被输出为“最佳”模式，以供在图9的框906中使用根据“最佳”模式渲染的对应解压缩的块。
79.另一方面，如果在误差预测方面的次佳或第三最佳模式(或附加模式)与最佳模式相差在阈值预测误差内，则所述逻辑从决策菱形框1106前进到决策菱形框1108以识别相差在预测误差内的最佳和次佳模式的处理预算。如果最佳模式的处理预算与次佳模式相差在阈值预算内并且次佳模式的预算低于最佳模式的预算(意味着使用次佳模式而不是最佳模式可以节省大量处理预算)，则逻辑移动到框1110以使用次佳模式作为图9中的框906的输入。这样，如果“昂贵”模式在预测误差方面是最好的但是与次佳模式相比仅差一点点，并且可以通过使用次佳模式节省大量处理预算，则可以使用在最低预测误差方面的次佳模式代替图9中的最佳模式。
80.另一方面，如果在决策菱形框1108处确定使用次佳模式而不是最佳模式产生的处理预算节省是不明显的(例如，最佳模式的预算与次佳模式的预算相差在阈值内)，则逻辑移动到框1112以使用最佳模式对被测块进行压缩和解压缩，并将该解压缩的块输入到图9的框906。决策菱形框1114测试被测块是否为当前帧的最后一个块，并且如果不是，则在框1116处获得帧中的下一个块，并且所述过程循环回到框1102。另一方面，如果帧的最后一个块已被处理，则所述逻辑移动到框1118以获得下一帧，然后循环回到框1100以确定该帧的块的处理预算。
81.应当理解，可以使用比图11中所示的技术更简单的技术来修剪每个训练用未压缩块的n个版本(n个块压缩模式中的每一者使用一个版本)。例如，可以使用在最低误差预测方面的前m个版本，其中1≤m≤n-1，n是整数。
82.虽然本文详细示出和描述了特定技术，但应理解，本技术所包含的主题仅由权利要求书限制。

技术特征：
1.一种组件，其包括：至少一个处理器，所述至少一个处理器被配置有指令以：至少部分地通过以下各项来训练至少一个机器学习(ml)引擎以从较低分辨率的计算机图形纹理(cgt)创建更高分辨率的cgt：压缩包括第一数量的纹素的多个训练块以创建压缩的训练块；对所述压缩的训练块进行解压缩以创建解压缩的训练块；以及将至少所述解压缩的训练块输入到所述ml引擎以使所述ml引擎将所述解压缩的训练块提升为预测的更高分辨率的训练块。2.根据权利要求1所述的组件，其中所述指令能够执行以：将与相应的解压缩的训练块相对应的地面实况更高分辨率块输入到所述ml引擎以用于与所述预测的更高分辨率的训练块进行比较。3.根据权利要求1所述的组件，其中所述指令能够执行以：将所述多个训练块中的至少一些训练块中的每一者输入到各自根据相应的第n块压缩模式操作的n个压缩器，以针对所述多个训练块中的所述至少一些训练块中的每一者生成相应的n个输出；对所述n个输出中的每一者进行解压缩以针对所述多个训练块中的所述至少一些训练块中的每一者创建n个解压缩的训练块；以及将针对所述多个训练块中的所述至少一些训练块中的每一者的所述n个解压缩的训练块输入到所述ml引擎以使所述ml引擎将其提升为预测的更高分辨率的训练块。4.根据权利要求1所述的组件，其中所述指令能够执行以：将所述多个训练块中的至少一些训练块中的每一者输入到各自根据相应的第n块压缩模式操作的n个压缩器，以针对所述多个训练块中的所述至少一些训练块中的每一者生成相应的n个输出；对于所述n个输出中的每一者，预测相应误差；以及至少部分地基于所述相应误差，选择相应的第n块压缩模式。5.根据权利要求4所述的组件，其中所述多个训练块中的所述至少一些训练块中的每一者与相应的第n块压缩模式相关联，并且所述指令能够执行以：使用所述相应的第n块压缩模式压缩所述多个训练块中的所述至少一些训练块中的每一者以创建所述压缩的训练块中的相应训练块。6.根据权利要求4所述的组件，其中所述指令能够执行以：至少部分地基于所述相应误差和与相应模式相关联的相应处理成本，选择相应的第n块压缩模式。7.根据权利要求1所述的组件，其中所述多个训练块包括mipmap。8.根据权利要求1所述的组件，其中cgt包括基于物理的渲染和材料(pbr)数据。9.根据权利要求1所述的组件，其中所述更高分辨率的cgt包括比所述较低分辨率的cgt高一个mip层级的mipmap。10.一种组件，其包括：至少一个计算机存储装置，所述至少一个计算机存储装置不是瞬时信号并且包括指令，所述指令能够由至少一个处理器执行以：
将与第一分辨率相关联的解压缩的纹理块输入到至少一个机器学习(ml)算法；将与高于所述第一分辨率的第二分辨率相关联的地面实况纹理块输入到所述ml算法；执行所述ml算法以在所述解压缩的纹理块和所述地面实况纹理块上进行训练；以及在训练之后，执行所述ml算法以从源中接收较低分辨率的纹理并从所述较低分辨率的纹理中生成更高分辨率的纹理，而无需对所述较低分辨率的纹理进行解压缩或压缩。11.根据权利要求10所述的组件，其中所述指令能够执行以：将所述解压缩的纹理块中的至少一些解压缩的纹理块中的每一者输入到根据相应的第n块压缩模式操作的n个压缩器，以针对所述解压缩的纹理块中的所述至少一些解压缩的纹理块中的每一者生成相应的n个输出；对所述n个输出中的每一者进行解压缩以针对所述解压缩的纹理块中的所述至少一些解压缩的纹理块中的每一者创建n个解压缩的训练块；以及将针对所述解压缩的纹理块中的所述至少一些解压缩的纹理块中的每一者的所述n个解压缩的训练块输入到所述ml算法以使所述ml算法将其提升为预测的更高分辨率的训练块。12.根据权利要求10所述的组件，其中所述指令能够执行以：将所述解压缩的纹理块中的至少一些解压缩的纹理块中的每一者输入到根据相应的第n块压缩模式操作的n个压缩器，以针对所述解压缩的纹理块中的所述至少一些解压缩的纹理块中的每一者生成相应的n个输出；对于所述n个输出中的每一者，预测相应误差；以及至少部分地基于所述相应误差，选择相应的第n块压缩模式。13.根据权利要求12所述的组件，其中所述解压缩的纹理块中的所述至少一些解压缩的纹理块中的每一者与相应的第n块压缩模式相关联，并且所述指令能够执行以：使用所述相应的第n块压缩模式压缩所述解压缩的纹理块中的所述至少一些解压缩的纹理块中的每一者以创建相应压缩的训练块；以及对所述压缩的训练块进行解压缩以创建所述解压缩的纹理块。14.根据权利要求12所述的组件，其中所述指令能够执行以：至少部分地基于所述相应误差和与相应模式相关联的相应处理成本，选择相应的第n块压缩模式。15.一种方法，其包括：访问至少一个机器学习(ml)引擎；以及使用解压缩的纹理块训练所述ml引擎以从较低分辨率的纹理生成更高分辨率。16.根据权利要求15所述的方法，其中所述ml引擎在不使用解码或编码的情况下从所述较低分辨率的纹理生成更高分辨率的纹理。17.根据权利要求15所述的方法，其包括使用所述解压缩的纹理块中的至少一些解压缩的纹理块中的每一者的n个版本来训练所述ml引擎，所述n个版本由相应的n个压缩模式生成。18.根据权利要求15所述的方法，其包括使用所述解压缩的纹理块中的至少一些解压缩的纹理块中的每一者的至少一个但小于n个版本来训练所述ml引擎，所述n个版本由相应的n个压缩模式生成。
19.根据权利要求18所述的方法，其中至少部分地基于与所述n个模式中的每一者相关联的预测误差来选择所述解压缩的纹理块中的至少一些解压缩的纹理块中的每一者的所述至少一个但小于n个版本。20.根据权利要求19所述的方法，其中至少部分地基于与所述n个模式中的每一者相关联的处理约束来选择所述解压缩的纹理块中的至少一些解压缩的纹理块中的每一者的所述至少一个但小于n个版本。

技术总结
使用机器学习来生成(602)纹理的具有第一压缩的第一mipmap，所述第一mipmap是基于相同纹理的并且具有第二压缩的第二mipmap，并且在生成所述第一mipmap时不使用压缩或解压缩。然后可以使用(700至704)所述第一mipmap来渲染计算机图形对象。可以使用来自原始压缩块的解压缩块作为输入来完成训练。压缩块作为输入来完成训练。压缩块作为输入来完成训练。


技术研发人员：J
受保护的技术使用者：索尼互动娱乐有限责任公司
技术研发日：2021.09.21
技术公布日：2023/8/24