自适应云游戏视频画面渲染方法和系统与流程

1.本发明涉及云游戏领域，尤其涉及一种自适应云游戏视频画面渲染方法和系统。


背景技术：

2.云游戏是目前正在高速发展的一类游戏应用场景。与传统主机游戏 (console game) 和pc游戏不同，云游戏视频画面需要由云端gpu进行渲染，并从云端视频编码器将渲染后的游戏视频画面内容进行编码压缩串流到客户端。客户端接收到压缩的游戏视频画面内容后，再进行解压并呈现给终端玩家。
3.由于视频画面渲染在云端进行，图像要经过压缩和串流才能传输到客户端，因此操作时延和游戏画质是影响玩家体验的两个重要因素。现有的云游戏技术方案中普遍需要根据客户实时网络状态来调整编码码率以保证游戏时延。当玩家网络状态良好时，云游戏服务器端会用较高的串流码率以达到更好的游戏画质；当玩家网络状态较差、带宽较低的时候，云游戏服务器端会降低串流码率从而保证低操作时延。
4.具体而言，现有的云游戏技术方案中，游戏视频渲染功能和压缩编码串流功能被实现为相互独立的两个模块。即，设置好渲染质量等级后，游戏视频渲染模块将以固定画质参数进行渲染，完成渲染的游戏视频画面将由编码器压缩编码串流传送到客户端。例如，中国专利申请cn113992987a提供了一种适用于云游戏场景的智能码率调节系统及方法，中国专利申请cn113411643a 提供了一种视频质量优化方法，该二者均仅仅是根据客户端网络状态动态地调整输出码率，但未对gpu渲染质量进行动态调整。然而这种相互独立的工作方式无法实时根据具体情况对渲染参数进行调整，云端gpu将一直保持同一渲染参数进行渲染。当受网络条件限制时，串流码率降低会使得客户端游戏画质质量较差，此时即便渲染质量很高，终端玩家也感受不到画质提升。过高的渲染画质反而浪费了云端gpu算力，提高了功耗。


技术实现要素：

5.鉴于此，本发明提供了一种自适应云游戏视频画面渲染方法和系统，以用于解决现有技术中的上述技术问题。
6.根据本发明的一个方面，提供了一种自适应云游戏视频画面渲染方法，该方法包括在云游戏服务器端执行以下步骤：s1：采用当前渲染参数对云游戏视频画面进行渲染；s2：对经渲染的云游戏视频画面进行编码，获得云游戏视频画面的串流视频码流数据；s3：根据云游戏渲染画面、串流视频码流数据以及云游戏视频画面的编码格式，获得与串流视频码流数据对应的云游戏视频画面的最高有效渲染参数；s4：当当前渲染参数高于最高有效渲染参数时执行s5，当当前渲染参数等于或小于最高有效渲染参数时执行s6；
s5：将最高有效渲染参数作为当前渲染参数执行s1至s4；s6：保持当前渲染参数不变执行s1至s4。
7.根据本发明的另一个方面，提供了一种自适应云游戏视频画面渲染系统，该系统包括设置于云游戏服务器端的串流质量检测模块、视频编码模块以及gpu渲染模块，该系统被配置为执行以下步骤：s1：调用gpu渲染模块采用当前渲染参数对云游戏视频画面进行渲染；s2：调用视频编码模块对经渲染的云游戏视频画面进行编码，获得云游戏视频画面的串流视频码流数据；s3：调用串流质量检测模块根据云游戏渲染画面、串流视频码流数据以及云游戏视频画面的编码格式，获得与串流视频码流数据对应的云游戏视频画面的最高有效渲染参数并反馈给gpu渲染模块；s4：调用gpu渲染模块进行判断，当当前渲染参数高于最高有效渲染参数时执行s5，当当前渲染参数等于或小于最高有效渲染参数时执行s6；s5：调用gpu渲染模块将最高有效渲染参数作为当前渲染参数并执行s1至s4；s6：调用gpu渲染模块保持当前渲染参数不变并执行s1至s4。
8.根据本发明的又一个方面，提供了一种电子设备，包括：一个或多个处理器以及存储器，其中，存储器用于存储可执行指令；一个或多个处理器被配置为经由可执行指令来实现上述的方法。
9.根据本发明的再另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，使处理器执行上述的方法。
10.从以上技术方案可以看出，本发明所提供的技术方案至少存在以下优点：改变传统云端gpu与视频编码器单向连接的方式，构建了从视频编码串流到gpu渲染的反馈循环。从而能够动态自适应地根据客户端网络情况自动匹配与串流视频码流数据相对应的最高有效渲染参数，避免过度渲染以节省云端渲染资源。节省出的渲染资源还可以用于增加云端的渲染密度或降低功耗。
附图说明
11.附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，但并不构成对本发明技术方案的限制。
12.图1示出了本发明示例性实施例所提供的方法的流程图；图2示出了本发明示例性实施例所提供的系统的结构框图；图3示出了本发明示例性实施例所提供的方法中采用的人工智能模型；图4示出了本发明示例性实施例所提供的的电子设备的结构框图。
具体实施方式
13.下面将参照附图来详细描述本发明的各种示例性实施例。对示例性实施例的描述仅仅是说明性的，并不作为对本发明及其应用或使用的任何限制。本发明可以以许多不同的形式实现，不限于这里所述的实施例。提供这些实施例是为了使本发明透彻且完整，并且向本领域技术人员充分表达本发明的范围。
14.除非上下文明确表明，如果未特意限定要素的数量，则该要素可以是一个或多个。如本说明书使用的，术语“多个/若干/这些”意指两个或更多，术语“基于/根据”应解释为“至少部分地基于/根据”。此外，术语“和/或”以及
“…
中的至少一个”涵盖所列出的项目中的任何一个以及全部可能的组合方式。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。
15.请参考图1，其示出了本发明示例性实施例所提供的方法的流程图。
16.本发明的一个方面提供了一种自适应云游戏视频画面渲染方法，其中，该方法包括在服务器端执行以下步骤：s1：采用当前渲染参数对云游戏视频画面进行渲染；s2：对经渲染的云游戏视频画面进行编码，获得云游戏视频画面的串流视频码流数据；s3：根据云游戏渲染画面、串流视频码流数据以及云游戏视频画面的编码格式，获得与串流视频码流数据对应的云游戏视频画面的最高有效渲染参数；s4：当当前渲染参数高于最高有效渲染参数时执行s5，当当前渲染参数等于或小于最高有效渲染参数时执行s6；s5：将最高有效渲染参数作为当前渲染参数执行s1至s4；s6：保持当前渲染参数不变执行s1至s4。
17.需要说明的是，最高有效渲染参数是指，当对云游戏视频画面的渲染参数高于这一参数设置时，渲染画质的提升在经过视频编码后已经很难被客户端的玩家所察觉。其中，渲染参数包括分辨率、画质（纹理，细节，阴影，光照等）、帧率、抗锯齿等级等参数；串流视频码流数据包括码率、qp量化精度、客观质量评价分数。客观质量评价分数可以通过峰值信噪比（peak signal-to-noise ratio，psnr）、结构相似性（structural similarity，ssim）、平均结构相似性（mean structural similarity，mssim）、视频多方法评估融合（video multimethod assessment fusion，vmaf）等图像质量评价指标得出。
18.由上述步骤执行的内容可以看出，本发明改变了现有技术中gpu与视频编码器单向连接的方式，建立了一个从视频编码串流视频到云游戏服务器端gpu渲染的反馈循环，从而能够使得云游戏服务器端自适应地根据串流视频码流数据实时调整当前渲染参数。
19.此外，云游戏视频画面可能支持多种不同的编码格式，如h.264标准、h.265标准等，显然对于不同编码格式下的最高有效渲染参数选择，需要分别进行处理。例如，即便游戏场景相同，在以h.264标准进行视频编码的情形下获得的与云游戏视频画面对应的最高有效渲染参数必然也有别于与以h.265标准进行视频编码的情形下获得的与云游戏视频画面对应的最高有效渲染参数。
20.根据串流视频码流数据以及云游戏视频画面的编码格式获得最高有效渲染参数的方式包括但不限于两种：（1）通过预先训练好的基于神经网络的人工智能模型的训练数据集生成，该训练数据集的输入参数至少包括串流视频码流数据、云游戏视频画面的编码格式以及未编码的渲染输出；（2）通过人工手动设置的映射表获得，该映射表存储了串流视频码流数据与最高有效渲染参数之间的对应关系。
21.其中，第（1）种方式中若人工智能网络模型训练得足够好，则能够准确地对任意的视频场景进行处理；第（2）种方式实现起来较为简单，但可能导致串流视频码流数据与最高
有效渲染参数的映射精度不高，并且很难对所有常见的情况进行精准地映射。
22.以下部分以和平精英游戏为例对本发明所提供技术方案的优选实施例进行说明，但本发明并不限于对此游戏进行处理，而是对任意游戏均可实施。
23.和平精英游戏中与渲染设置相关的参数有画质、帧率和抗锯齿等级，调高这三项参数会提升游戏画面的画质和流畅度，但同时渲染复杂度和能耗也会相应增高。
24.以下部分对第（1）种基于神经网络的人工智能模型的训练数据集的方式进行说明。其中，训练数据集通过以下方式获得。
25.针对云游戏视频画面中的不同游戏场景，分别获取不同渲染参数对应的渲染复杂度，然后将不同游戏场景中的每一个游戏场景依次作为训练游戏场景并执行以下步骤：s01：将训练游戏场景的渲染参数设置为云游戏视频画面允许渲染的最大值，以获得游戏视频；s02：针对源游戏视频分别采用不同类型的编码器以及不同的串流码率进行视频编码，从而分别获得多个经编码的游戏视频；s03：将多个经编码的游戏视频中的每一个依次作为在串流码率下能保持最多渲染细节的参考编码视频，分别采用不同的渲染参数进行渲染以生成多个渲染结果，将多个渲染结果分别与参考编码视频进行画质比对，找出画质不低于参考编码视频的画质且整体渲染复杂度最低的渲染参数，并作为最高有效渲染参数；s04：获得多组包括游戏渲染场景、编码器类型、串流码率和最高有效渲染参数的数据集，作为训练数据集。
26.s03步骤中画质对比的方式可以采用人眼主观对比方式、视频多方法评估融合（video multimethod assessment fusion，vmaf）对比方式。其中，vmaf是被业界广泛认可的视频主观质量评价标准，其借助人类视觉模型及机器学习来评估视频质量优劣。vmaf的视频质量评价指标主要包括：视频信息保真度（visual quality fidelity，vif）、细节损失指标（detail loss measure，dlm）以及时域运动指标/平均相关位置像素差（temporal information，ti），其给出的分数范围为0 ~ 100，分数越高说明目标视频与源视频的主观质量越接近。
27.视频多方法评估融合对比方式中，分别获得参考编码视频的vmaf分数以及多个渲染结果各自的vmaf分数，然后找出多个渲染结果中vmaf分数不低于参考编码视频的vmaf分数且渲染复杂度最低的渲染参数。
28.以下部分对第（2）种基于人工设置映射关系的方式进行示例性说明。
29.例如下表一，可以人工构建一个串流视频码流数据中的码率与最高有效渲染参数相对应的映射表。根据获得的当前码率，通过简单查表就可以得出相应的最高渲染设置。云游戏服务器端会检查当前渲染参数，如果高于最高有效渲染参数，则改用最高有效渲染参数对游戏视频画面进行渲染，否则就保持当前渲染参数进行渲染。
30.表一：码率与最高有效渲染参数相对应的映射表码率(kbps)画质（1~5）抗锯齿等级（1~3）帧率《5001115500~7501120750~10002230
1000~125032301250~150043301500~20005330》20005360。
31.上表仅仅是一个码率与最高渲染设置的映射表的示意性示例，该表可根据测试经验值进行设置。例如，先生成不同渲染设置的游戏视频，对每一个游戏视频画面分别采用不同的码率进行编码压缩，然后在每一个编码码率值对应的不同输出视频流中，找出画质最好（或与最好的画质最为接近）且渲染复杂度最低的设置。这个渲染设置中的各个参数和与之对应的码率就构成了映射表中的一行行映射对。如果云游戏系统能够支持不同的编码格式（如h.264，h.265等），则对于不同的编码格式需要分别生成不同的映射表。在一个优选实施例中，还可以针对不同的游戏场景，如等待大厅或游戏战斗等场景分别进一步地设置不同的映射表，从而多方面地提高映射的准确度。
32.请参考图2与图3，其分别示出了本发明示例性实施例所提供的系统的结构框图，以及本发明示例性实施例所提供的方法中采用的人工智能网络模型。
33.本发明的另一个方面提供了一种自适应云游戏视频画面渲染系统，该系统包括设置于云游戏服务器端的串流质量检测模块、视频编码模块以及gpu渲染模块，该系统被配置为执行以下步骤：s1：调用gpu渲染模块采用当前渲染参数对云游戏视频画面进行渲染；s2：调用视频编码模块对经渲染的云游戏视频画面进行编码，获得云游戏视频画面的串流视频码流数据；s3：调用串流质量检测模块根据云游戏渲染画面、串流视频码流数据以及云游戏视频画面的编码格式，获得与串流视频码流数据对应的云游戏视频画面的最高有效渲染参数并反馈给gpu渲染模块；s4：调用gpu渲染模块进行判断，当当前渲染参数高于最高有效渲染参数时执行s5，当当前渲染参数等于或小于最高有效渲染参数时执行s6；s5：调用gpu渲染模块将最高有效渲染参数作为当前渲染参数并执行s1至s4；s6：调用gpu渲染模块保持当前渲染参数不变并执行s1至s4。
34.仍以上述和平精英游戏视频画面的处理作为示例性实施例。该人工智能网络模型左侧的输入端的输入参数分别为渲染图像（用于做场景判断）、串流码率、编码类型以及量化精度qp，右侧的输出端的输出参数分别为三个渲染参数。当系统运行时，串流质量检测模块将从网络模型左侧收到的列出的编码信息输入这个预先训练好的映射模型，则能够从右侧得出相对应的渲染参数并反馈给gpu渲染模块以使得gpu渲染模块能够自行判断并动态自适应地调整渲染质量。
35.在一个优选实施例中，人工智能网络模型可采用以下方式进行训练。
36.首先，分别统计三个渲染参数在各个档位的渲染复杂度；其次，针对某一特定类型的游戏场景，将最高质量的渲染结果视频作为源游戏视频，并采用不同编码器类型、不同的码率点对源游戏视频进行视频编码；再次，用不同的渲染参数生成不同的渲染结果，在所有渲染结果中找出不低于第
二步中生成的码流质量且整体渲染复杂度最低的渲染设置（如前，找出的过程可由人工对比完成，或者借助vmaf和/或类似的模拟人类视觉模型的质量评测标准完成）。
37.接着，尽可能多地采用不同的游戏场景（如游戏等待大厅、室内战斗场景、户外草地战斗场景、水域战斗场景等）重复上述第二步与第三步。
38.最后，所收集到的包括游戏渲染场景、编码器类型、串流码率、最优画质、最优抗锯齿等级、最优帧率等参数的数据集合就可以作为训练数据集来训练图像渲染质量与视频编码质量的映射模型。
39.此外，应当理解，图2中所示的系统可以与本说明书前文描述图1中的方法相对应。由此，上面针对方法描述的操作、特征和优点同样适用于该系统及其包括的模块；上面针对系统及其包括的模块描述的操作、特征和优点同样适用于该方法。为了简洁起见，实质相同/相似的操作、特征和优点在此不再赘述。
40.虽然上面参考特定模块讨论了特定功能，但是应当注意，本发明技术方案中各个模块的功能也可以分为多个模块进行实现，和/或多个模块的至少一些功能可以组合成单个模块进行实现。本发明技术方案中特定模块执行动作的方式包括，该特定模块本身执行动作，或者由该特定模块调用或以其他方式访问执行动作（或结合该特定模块一起执行动作）。因此，执行动作的特定模块可以包括执行动作的该特定模块本身和/或该特定模块调用或以其他方式访问的、执行动作的另一模块。
41.除上述技术方案外，本发明还提供了一种电子设备，该电子设备包括一个或多个处理器以及用于存储可执行指令存储器。其中，该一个或多个处理器被配置为经由可执行指令来实现上述方法。
42.本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，使得处理器执行上述方法。
43.在本说明书的以下部分，将结合图4来描述前述电子设备、非暂态计算机可读存储介质和计算机程序产品的说明性示例。
44.图4示出了本发明示例性实施例所提供的的电子设备的结构框图。本发明技术方案所提供的系统也可以全部或至少部分地由电子设备300或类似设备或系统实现。
45.电子设备300可以是各种不同类型的设备。电子设备300的示例包括但不限于：台式计算机、服务器计算机、笔记本电脑或上网本计算机、移动设备、可穿戴设备、娱乐设备、电视或其他显示设备、汽车计算机等。
46.电子设备300可以包括能够诸如通过系统总线311或其他适当的连接彼此通信的至少一个处理器302、存储器304、（多个）通信接口309、显示设备301、其他输入/输出（i/o）设备310以及一个或更多大容量存储设备303。
47.处理器302可以是单个或多个处理单元，所有处理单元可以包括单个或多个计算单元或多个核心。处理器302可以被实施成一个或更多个微处理器、微型计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路和/或基于操作指令来操纵信号的任何设备。除了其他能力之外，处理器302可以被配置成获取并且执行存储在存储器304、大容量存储设备303或其他计算机可读介质中的计算机可读指令，如操作系统305的程序代码、应用程序306的程序代码、其他程序307的程序代码等。
48.存储器304和大容量存储设备303是用于存储指令的计算机可读存储介质的示例，
指令由处理器302执行来实施前面所描述的各种功能。举例来说，存储器304一般可以包括易失性存储器和非易失性存储器。此外，大容量存储设备303一般可以包括硬盘驱动器、固态驱动器、可移除介质等。存储器304和大容量存储设备303在本发明中都可以被统称为存储器或计算机可读存储介质，并且可以是能将计算机可读、处理器可执行程序指令存储为计算机程序代码的非暂态介质，计算机程序代码可由处理器302作为被配置成实施本发明示例中所描述的操作和功能的特定机器来执行。
49.多个程序可以存储在大容量存储设备303上。这些程序包括操作系统305、一个或多个应用程序306、其他程序307和程序数据308，并且它们可以被加载至存储器304以供执行。这样的应用程序或程序模块的示例可以包括例如用于实现以下部件/功能的计算机程序逻辑（例如，计算机程序代码或指令）：本技术所提供的方法（包括该方法的任何合适的步骤）和/或本技术描述的另外的实施例。
50.虽然在图4中被图示成存储在电子设备300的存储器304中，但是操作系统305、一个或多个应用程序306、其他程序307和程序数据308或者其部分可以使用可由电子设备300访问的任何形式的计算机可读介质来实施。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
51.通信介质包括例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质，以及能传播能量波的无线介质。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质中的已调制数据信号。调制可以是模拟的、数字的或混合调制技术。
52.作为示例性说明，计算机可读存储介质可包括以用于存储例如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括但不限于，易失性存储器，例如随机存储器；以及非易失性存储器，例如闪存、各种只读存储器、磁性和铁磁/铁电存储器；以及磁性和光学存储设备；或其它已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
53.一个或更多个通信接口309用于诸如通过网络、直接连接等与其他设备交换数据。这样的通信接口可以是以下各项中的一个或多个：任何类型的网络接口、有线或无线接口、wi-max接口、以太网接口、通用串行总线接口、蜂窝网络接口、bluetooth接口、nfc接口等。通信接口309可以促进在多种网络和协议类型内的通信，其中包括有线网络和无线网络、因特网等。通信接口309还可以提供与诸如存储阵列、网络附属存储、存储区域网等中的外部存储设备（图中未示出）的通信。
54.在一些示例中，可以包括诸如监视器之类的显示设备301，以用于向用户显示信息和图像。其他i/o设备310可以是接收来自用户的各种输入并且向用户提供各种输出的设备，并且可以包括触摸输入设备、手势输入设备、摄影机、键盘、遥控器、鼠标、打印机、音频输入/输出设备等。本发明描述的技术方案可以由电子设备300的这些各种配置来支持，并且不限于本发明所描述的技术方案的具体示例。
55.虽然在附图和前面的描述中已经详细地说明和描述了本发明，但这样的说明和描述应当被认为是说明性的和示意性的，而非限制性的；对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能
够以其他的具体形式实现本发明。
56.因此，本发明所要求保护的范围由权利要求而非上述说明限定，落在权利要求的等同要件的含义和范围内的所有变化均涵盖在本发明的保护范围内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

技术特征：
1.一种自适应云游戏视频画面渲染方法，其特征在于，所述方法包括在云游戏服务器端执行以下步骤：s1：采用当前渲染参数对云游戏视频画面进行渲染；s2：对经渲染的所述云游戏视频画面进行编码，获得所述云游戏视频画面的串流视频码流数据；s3：根据所述云游戏渲染画面、串流视频码流数据以及所述云游戏视频画面的编码格式，获得与所述串流视频码流数据对应的所述云游戏视频画面的最高有效渲染参数；s4：当所述当前渲染参数高于所述最高有效渲染参数时执行s5，当所述当前渲染参数等于或小于所述最高有效渲染参数时执行s6；s5：将所述最高有效渲染参数作为当前渲染参数执行s1至s4；s6：保持所述当前渲染参数不变执行s1至s4。2.根据权利要求1所述的视频画面渲染方法，其特征在于，s3中所述云游戏视频画面的最高有效渲染参数通过预先训练好的以包括所述串流视频码流数据、所述云游戏视频画面的编码格式以及未编码的渲染输出作为输入参数的基于神经网络的人工智能模型的训练数据集生成。3.根据权利要求2所述的视频画面渲染方法，其特征在于，所述训练数据集通过以下方式获得：针对所述云游戏视频画面的不同游戏场景，分别获取不同渲染参数对应的渲染复杂度，然后将所述不同游戏场景中的每一个游戏场景依次作为训练游戏场景并执行以下步骤：s01：将所述训练游戏场景的渲染参数设置为所述云游戏视频画面允许渲染的最大值，以获得游戏视频；s02：针对所述源游戏视频分别采用不同类型的编码器以及不同的串流码率进行视频编码，从而分别获得多个经编码的游戏视频；s03：将所述多个经编码的游戏视频中的每一个依次作为在所述串流码率下能保持最多渲染细节的参考编码视频，分别采用不同的渲染参数进行渲染以生成多个渲染结果，将所述多个渲染结果分别与所述参考编码视频进行画质比对，找出画质不低于所述参考编码视频的画质且整体渲染复杂度最低的渲染参数，并作为最高有效渲染参数；s04：获得多组包括游戏渲染场景、编码器类型、串流码率和最高有效渲染参数的数据集，作为所述训练数据集。4.根据权利要求3所述的视频画面渲染方法，其特征在于，所述画质对比的方式包括人眼主观对比方式和/或视频多方法评估融合对比方式。5.根据权利要求4所述的视频画面渲染方法，其特征在于，所述云游戏视频画面的渲染参数包括分辨率、画质、帧率、抗锯齿等级。6.根据权利要求1所述的视频画面渲染方法，其特征在于，所述串流视频码流数据包括码率、qp量化精度、客观质量评价分数。7.根据权利要求1所述的视频画面渲染方法，其特征在于，s3中所述云游戏视频画面的最高有效渲染参数通过人工手动设置的映射表获得。8.一种自适应云游戏视频画面渲染系统，其特征在于，所述系统包括设置于云游戏服
务器端的串流质量检测模块、视频编码模块以及gpu渲染模块，所述系统被配置为执行以下步骤：s1：调用所述gpu渲染模块采用当前渲染参数对云游戏视频画面进行渲染；s2：调用所述视频编码模块对经渲染的所述云游戏视频画面进行编码，获得所述云游戏视频画面的串流视频码流数据；s3：调用所述串流质量检测模块根据所述云游戏渲染画面、串流视频码流数据以及所述云游戏视频画面的编码格式，获得与所述串流视频码流数据对应的所述云游戏视频画面的最高有效渲染参数并反馈给所述gpu渲染模块；s4：调用所述gpu渲染模块进行判断，当所述当前渲染参数高于所述最高有效渲染参数时执行s5，当所述当前渲染参数等于或小于所述最高有效渲染参数时执行s6；s5：调用所述gpu渲染模块将所述最高有效渲染参数作为当前渲染参数并执行s1至s4；s6：调用所述gpu渲染模块保持所述当前渲染参数不变并执行s1至s4。9.根据权利要求8所述的视频画面渲染系统，其特征在于，所述云游戏视频画面的最高有效渲染参数通过预先训练好的以包括所述串流视频码流数据、所述云游戏视频画面的编码格式以及未编码的渲染输出作为输入参数的基于神经网络的人工智能模型的训练数据集生成。10.根据权利要求9所述的视频画面渲染系统，其特征在于，所述训练数据集通过以下方式获得：针对所述云游戏视频画面的不同游戏场景，分别获取不同渲染参数对应的渲染复杂度，然后将所述不同游戏场景中的每一个游戏场景依次作为训练游戏场景并执行以下步骤：s01：将所述训练游戏场景的渲染参数设置为所述云游戏视频画面允许渲染的最大值，以获得源游戏视频；s02：针对所述源游戏视频分别采用不同类型的编码器以及不同的串流码率进行视频编码，从而分别获得多个经编码的游戏视频；s03：将所述多个经编码的游戏视频中的每一个依次作为在所述串流码率下能保持最多渲染细节的参考编码视频，分别采用不同的渲染参数进行渲染以生成多个渲染结果，将所述多个渲染结果分别与所述参考编码视频进行画质比对，找出画质不低于所述参考编码视频的画质且整体渲染复杂度最低的渲染参数，并作为最高有效渲染参数；s04：获得多组包括游戏渲染场景、编码器类型、串流码率和最高有效渲染参数的数据集，作为所述训练数据集。11.根据权利要求10所述的视频画面渲染系统，其特征在于，所述画质对比的方式包括人眼主观对比方式和/或视频多方法评估融合对比方式。12.根据权利要求11所述的视频画面渲染系统，其特征在于，所述云游戏视频画面的渲染参数包括分辨率、画质、帧率、抗锯齿等级。13.根据权利要求8所述的视频画面渲染系统，其特征在于，所述串流视频码流数据包括码率、qp量化精度、客观质量评价分数。14.根据权利要求8所述的视频画面渲染系统，其特征在于，所述云游戏视频画面的最高有效渲染参数通过人工手动设置的映射表获得。
15.一种电子设备，其特征在于，所述电子设备包括：一个或多个处理器；存储器，其用于存储可执行指令；所述一个或多个处理器被配置为经由所述可执行指令来实现权利要求1至7中任一项所述的方法。16.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使所述处理器执行权利要求1至7中任一项所述的方法。

技术总结
本发明提供了一种自适应云游戏视频画面渲染方法和系统。其中，该方法包括获取云游戏视频画面的串流视频码流数据以及当前渲染参数，得出云游戏视频画面的最高有效渲染参数并反馈给GPU渲染模块以决定是否替换当前渲染设置；GPU渲染模块比较最高有效渲染参数与当前渲染参数，若当前渲染参数高于最高有效渲染参数，则改用最高有效渲染参数进行渲染，反之，则保持当前渲染参数不变反馈继续进行渲染。本发明所提供的技术方案建立了串流视频码流到GPU渲染的反馈循环，能够自适应地调整渲染参数以节省渲染资源。节省渲染资源。节省渲染资源。


技术研发人员：邵明凯 殷婷 舒晓 李想
受保护的技术使用者：瀚博半导体（上海）有限公司
技术研发日：2023.06.16
技术公布日：2023/7/22