一种基于云游戏的画面异常处理方法及装置与流程

1.本技术涉及云游戏画面领域，尤其涉及一种基于云游戏的画面异常处理方法。本技术还涉及一种基于云游戏的画面异常处理装置。


背景技术：

2.云游戏在是云端渲染游戏画面，编码后实时传输给客户端，模拟用户本机游玩的一种游戏领域。然而因各种原因导致游戏画面异常会极大程度影响用户云游戏体现。
3.申请号为202111357164.6的发明专利中提到一种云应用视频流处理方法，包括根据接收到的云应用使用请求,确定目标应用和客户端的第一分辨率;当目标应用在第一分辨率下存在画面异常时，确认使目标应用不存在画面异常的、大于第一分辨率的第二分辨率；按第二分辨率编码目标应用的视频流，并将得到的编码后视频流发给客户端；控制客户端按第一分辨率解码编码后视频流。该方法在确认目标应用在第一分辨率下存在画面异常时，转而采用不会出现画面异常的第二分辨率对视频流进行编码、控制客户端按其第一分辨率进行解码，避免了某些应用在低分辨率时的较差优化带来的较差体验。
4.可见，现有的技术中对云游戏画面异常的处理，例如死机等造成画面异常，还没有较好的解决办法。


技术实现要素：

5.本技术的目的在于克服现有技术中各种原因导致游戏画面异常的问题，提供一种基于云游戏的画面异常处理方法。本技术还涉及一种基于云游戏的画面异常处理装置。
6.本技术提供的一种基于云游戏的画面异常处理方法，包括：设置游戏画面异常类别，基于所述异常类别分别设置应对策略，将所述应对策略存储起来；运行游戏并读取游戏画面异常类别，基于所述异常类别分别调用对应的应对策略，包括：统计从游戏启动开始编码到产生第一帧非黑色画面时间，取（0，均值+2）的时间间隔为启动游戏启动标准消耗时间；用户启动游戏后到标准时间内检测每一帧像素灰度值，若均为0则判断游戏启动异常，重启游戏；或，客户端切前台后立刻请求重置编码，以当前画面作为新的输入源；或，手动点击重启游戏，服务端主动重启游戏。
7.可选地，所述重置编码，包括：停止当前编码器编码，新建编码器重新编码视频画面。
8.可选地，所述新的输入源是捕获的游戏画面，在旧的编码器编码ipppp~帧序列时，新编码器从其中某个p帧节点开始编码，编码的第一帧数据。
9.可选地，手动点击重启游戏，包括：主动操作重启游戏，同时重置音视频的编解码器。
10.可选地，所述主动操作重启游戏，包括为所述主动操作重启游戏设置专有用户接口。
11.本技术还提供一种基于云游戏的画面异常处理装置，包括：设置模块，用于设置游戏画面异常类别，基于所述异常类别分别设置应对策略，将所述应对策略存储起来；执行模块，用于运行游戏并读取游戏画面异常类别，基于所述异常类别分别调用对应的应对策略，包括：统计从游戏启动开始编码到产生第一帧非黑色画面时间，取（0，均值+2）的时间间隔为启动游戏启动标准消耗时间；用户启动游戏后到标准时间内检测每一帧像素灰度值，若均为0则判断游戏启动异常，重启游戏；或，客户端切前台后立刻请求重置编码，以当前画面作为新的输入源；或，手动点击重启游戏，服务端主动重启游戏。
12.可选地，所述执行模块中重置编码，包括：停止当前编码器编码，新建编码器重新编码视频画面。
13.可选地，所述执行模块中，新的输入源是捕获的游戏画面，在旧的编码器编码ipppp~帧序列时，新编码器从其中某个p帧节点开始编码，编码的第一帧数据。
14.可选地，所述执行模块中手动点击重启游戏，包括：主动操作重启游戏，同时重置音视频的编解码器。
15.可选地，所述执行模块中主动操作重启游戏，包括为所述主动操作重启游戏设置专有用户接口。
16.本技术的优点和有益效果：本技术提供的一种基于云游戏的画面异常处理方法，包括：设置游戏画面异常类别，基于所述异常类别分别设置应对策略，将所述应对策略存储起来；运行游戏并读取游戏画面异常类别，基于所述异常类别分别调用对应的应对策略，包括：统计从游戏启动开始编码到产生第一帧非黑色画面时间，取（0，均值+2）的时间间隔为启动游戏启动标准消耗时间；用户启动游戏后到标准时间内检测每一帧像素灰度值，若均为0则判断游戏启动异常，重启游戏；或，客户端切前台后立刻请求重置编码，以当前画面作为新的输入源；或，手动点击重启游戏，服务端主动重启游戏。本技术针对云游戏流程中各种可能出现的画面异常情况做针对性处理，可以极大程度削减画面异常带给用户的影响。
附图说明
17.图1是本技术中基于云游戏的画面异常处理流程示意图。
18.图2是本技术中基于云游戏的画面异常处理类型选择示意图。
19.图3是本技术中基于云游戏的画面异常处理装置示意图。
具体实施方式
20.下面结合附图和具体实施例对本技术作进一步说明，以使本领域的技术人员可以更好地理解本技术并能予以实施。
21.以下内容均是为了详细说明本技术要保护的技术方案所提供的具体实施过程的示例，但是本技术还可以采用不同于此的描述的其他方式实施，本领域技术人员可以在本技术构思的指引下，采用不同的技术手段实现本技术，因此本技术不受下面具体实施例的限制。
22.本技术提供的一种基于云游戏的画面异常处理方法，包括：设置游戏画面异常类别，基于所述异常类别分别设置应对策略，将所述应对策略存储起来；运行游戏并读取游戏画面异常类别，基于所述异常类别分别调用对应的应对策略，包括：统计从游戏启动开始编码到产生第一帧非黑色画面时间，取（0，均值+2）的时间间隔为启动游戏启动标准消耗时间；用户启动游戏后到标准时间内检测每一帧像素灰度值，若均为0则判断游戏启动异常，重启游戏；或，客户端切前台后立刻请求重置编码，以当前画面作为新的输入源；或，手动点击重启游戏，服务端主动重启游戏。本技术针对云游戏流程中各种可能出现的画面异常情况做针对性处理，可以极大程度削减画面异常带给用户的影响。
23.图1是本技术中基于云游戏的画面异常处理流程示意图。
24.请参照图1所示，s101设置游戏画面异常类别，基于所述异常类别分别设置应对策略，将所述应对策略存储起来。
25.所述的游戏画面是指云游戏在用户端的画面，该游戏画面是在云端进行处理，并发送到用户端进行显示的，所述云端与所述用户端通过网络连接，进行指令和游戏画面的传输。
26.所述云游戏在启动和运行过程中有概率会产生画面异常问题，其中较高概率出现的问题有，在游戏启动后画面卡顿以及画面不显示；在游戏运行过程中画面卡顿；在游戏切换后台后画面卡顿。当然，所述画面异常还可以是其他异常方式。
27.基于出线的画面异常的类型，设置不同的应对策略，所述应对策略可以独属于一个所述画面异常问题的解决，也可以是多个画面异常问题解决策略，本领一技术人员可以根据实际情况，或者本着解决问题最简方式进行自定义设置。
28.针对每一个预先设置的应对策略，先进行存储，以备后续画面异常问题出现时进行读取，运行。
29.进一步的，由匹配策略进行应对策略的选择，所述匹配策略包括，根据画面异常对应的问题编码，进行应对策略读取编码的生成，并将所述读取编码添加到所述应对策略的名称中。
30.具体的，所述问题编码在用户端生成，并实时的传输到云端进行处理。
31.请参照图1所示，s102运行游戏并读取游戏画面异常类别，基于所述异常类别分别调用对应的应对策略。
32.在本技术中，用户端和云端进行图像和指令交互，当图像在用户端发生异常后，用户端将生成该图形异常的问题编码。所述问题编码可以是一个数字串，然后将所述数字串发送到云端进行应对策略匹配。
33.具体的，在所述应对策略进行存储时，首先需要根据所述数字串生成读取编码，该读取编码可以添加到所述应对策略的名称中，以实现快速读取。
34.所述读取编码生成逻辑可用如下公式表达：其中，所述b是读取编码，所述是图形异常的问题编码，，所述i是预审的问题序列号。所述i越大，表示问题越是核心问题，具体可有技术人员进行定义。
35.当发生画面异常时，根据所述画面异常的问题编码带人上述公式，即可获得要调取的应对策略的读取编码，并读取所述因对策略。其中，i表示的问题编码未出现时，=0。
36.图2是本技术中基于云游戏的画面异常处理类型选择示意图。
37.请参照图2所示，当本技术预先设置有多个应对策略，接下来列举三个最核心的因对策略。
38.s201统计从游戏启动开始编码到产生第一帧非黑色画面时间，取（0，均值+2）的时间间隔为启动游戏启动标准消耗时间。
39.所述游戏启动，是用户在用户端启动游戏后，所述用户端将指令发送到云端，进行用户验证，用户数据读取并启动游戏，然后云端进行游戏画面渲染，将画面开始向用户端发送。在此期间，用户开启游戏的第一时间信息将连同所述游戏启动的指令发送到云端，云端记录该第一时间信息和产生第一帧非黑缓慢的时间信息，并生成开机时长信息。所述第一时间信息还可以是开始编码的时间信息。
40.多次记录所述开机时长信息，并计算所述开机时长信息的均值为μ，方差为。
41.根据所述均值和方差计算游戏启动标准消耗时间。本技术中，所述游戏启动标准消耗时间表达式如下：q=（0，μ+2）完成上述准备后，监测每次游戏启动的游戏启动标准消耗时间，用户启动游戏后在所述游戏启动标准消耗时间范围内检测每一帧像素灰度值，若均为0则判断游戏启动异常，重启游戏。
42.s202客户端切前台后立刻请求重置编码，以当前画面作为新的输入源。
43.客户端是所述游戏渲染画面的展示端，也是游戏操作指令的输入端。所述客户端安装在可能的需要进行不同应用的切换的设备上。例如，若所述设备为手机，则可能在所述游戏进行期间，需要切换到其他应用中进行其他操作，此时所述客户端就被切换到了手机的后台中运行。
44.一般而言，当应用切换到后台后，渲染的画面将不在进行展示，这就导致当切换到后台的所述云游戏切换到桌面后，需要重新获取渲染画面。
45.此时可能导致客户端切前台之无法根据现有p帧进行解码，知道下个i帧到达；若服务端为静态画面，则不会刷新画面。
46.因此客户端切前台后立刻请求重置编码，以当前画面作为新的输入源。重置编码是指停止当前编码器编码，新建编码器重新编码视频画面。新的输入源是捕获的游戏画面。相当于在旧的编码器编码ipppp~帧序列时，新编码器从其中某个p帧节点开始编码，编码的第一帧数据一定i帧。
47.s203手动点击重启游戏，服务端主动重启游戏。
48.针对游玩过程中画面异常，例如：画面异常覆盖范围很广，画面卡顿，或者因网络丢包导致的画面花屏等解码异常。
49.提供用户接口，用户都可以主动操作重启游戏，重启游戏的同时会重置音视频的编解码器，在用户看见游戏卡顿后可以手动点击重启游戏，服务端主动重启游戏。
50.本技术还提供一种基于云游戏的画面异常处理装置，包括设置模块302、执行模块302。
51.图3是本技术中基于云游戏的画面异常处理装置示意图。
52.请参照图3所示，设置模块301，用于设置游戏画面异常类别，基于所述异常类别分别设置应对策略，将所述应对策略存储起来。
53.所述的游戏画面是指云游戏在用户端的画面，该游戏画面是在云端进行处理，并发送到用户端进行显示的，所述云端与所述用户端通过网络连接，进行指令和游戏画面的传输。
54.所述云游戏在启动和运行过程中有概率会产生画面异常问题，其中较高概率出现的问题有，在游戏启动后画面卡顿以及画面不显示；在游戏运行过程中画面卡顿；在游戏切换后台后画面卡顿。当然，所述画面异常还可以是其他异常方式。
55.基于出线的画面异常的类型，设置不同的应对策略，所述应对策略可以独属于一个所述画面异常问题的解决，也可以是多个画面异常问题解决策略，本领一技术人员可以根据实际情况，或者本着解决问题最简方式进行自定义设置。
56.针对每一个预先设置的应对策略，先进行存储，以备后续画面异常问题出现时进行读取，运行。
57.进一步的，由匹配策略进行应对策略的选择，所述匹配策略包括，根据画面异常对应的问题编码，进行应对策略读取编码的生成，并将所述读取编码添加到所述应对策略的名称中。
58.具体的，所述问题编码在用户端生成，并实时的传输到云端进行处理。
59.请参照图3所示，执行模块302，用于运行游戏并读取游戏画面异常类别，基于所述异常类别分别调用对应的应对策略。
60.在本技术中，用户端和云端进行图像和指令交互，当图像在用户端发生异常后，用户端将生成该图形异常的问题编码。所述问题编码可以是一个数字串，然后将所述数字串发送到云端进行应对策略匹配。
61.具体的，在所述应对策略进行存储时，首先需要根据所述数字串生成读取编码，该
读取编码可以添加到所述应对策略的名称中，以实现快速读取。
62.所述读取编码生成逻辑可用如下公式表达：其中，所述b是读取编码，所述是图形异常的问题编码，，所述i是预审的问题序列号。所述i越大，表示问题越是核心问题，具体可有技术人员进行定义。
63.当发生画面异常时，根据所述画面异常的问题编码带人上述公式，即可获得要调取的应对策略的读取编码，并读取所述因对策略。其中，i表示的问题编码未出现时，=0。
64.图2是本技术中基于云游戏的画面异常处理类型选择示意图。
65.请参照图2所示，当本技术预先设置有多个应对策略，接下来列举三个最核心的因对策略。
66.s201统计从游戏启动开始编码到产生第一帧非黑色画面时间，取（0，均值+2）的时间间隔为启动游戏启动标准消耗时间。
67.所述游戏启动，是用户在用户端启动游戏后，所述用户端将指令发送到云端，进行用户验证，用户数据读取并启动游戏，然后云端进行游戏画面渲染，将画面开始向用户端发送。在此期间，用户开启游戏的第一时间信息将连同所述游戏启动的指令发送到云端，云端记录该第一时间信息和产生第一帧非黑缓慢的时间信息，并生成开机时长信息。所述第一时间信息还可以是开始编码的时间信息。
68.多次记录所述开机时长信息，并计算所述开机时长信息的均值为μ，方差为。
69.根据所述均值和方差计算游戏启动标准消耗时间。本技术中，所述游戏启动标准消耗时间表达式如下：q=（0，μ+2）完成上述准备后，监测每次游戏启动的游戏启动标准消耗时间，用户启动游戏后在所述游戏启动标准消耗时间范围内检测每一帧像素灰度值，若均为0则判断游戏启动异常，重启游戏。
70.s202客户端切前台后立刻请求重置编码，以当前画面作为新的输入源。
71.客户端是所述游戏渲染画面的展示端，也是游戏操作指令的输入端。所述客户端安装在可能的需要进行不同应用的切换的设备上。例如，若所述设备为手机，则可能在所述游戏进行期间，需要切换到其他应用中进行其他操作，此时所述客户端就被切换到了手机的后台中运行。
72.一般而言，当应用切换到后台后，渲染的画面将不在进行展示，这就导致当切换到后台的所述云游戏切换到桌面后，需要重新获取渲染画面。
73.此时可能导致客户端切前台之无法根据现有p帧进行解码，知道下个i帧到达；若服务端为静态画面，则不会刷新画面。
74.因此客户端切前台后立刻请求重置编码，以当前画面作为新的输入源。重置编码是指停止当前编码器编码，新建编码器重新编码视频画面。新的输入源是捕获的游戏画面。相当于在旧的编码器编码ipppp~帧序列时，新编码器从其中某个p帧节点开始编码，编码的第一帧数据一定i帧。
75.s203手动点击重启游戏，服务端主动重启游戏。
76.针对游玩过程中画面异常，例如：画面异常覆盖范围很广，画面卡顿，或者因网络丢包导致的画面花屏等解码异常。
77.提供用户接口，用户都可以主动操作重启游戏，重启游戏的同时会重置音视频的编解码器，在用户看见游戏卡顿后可以手动点击重启游戏，服务端主动重启游戏。
78.本技术针对云游戏流程中各种可能出现的画面异常情况做针对性处理，可以极大程度削减画面异常带给用户的影响。

技术特征：
1.一种基于云游戏的画面异常处理方法，其特征在于，包括：设置游戏画面异常类别，基于所述异常类别分别设置应对策略，将所述应对策略存储起来；运行游戏并读取游戏画面异常类别，基于所述异常类别分别调用对应的应对策略，包括：统计从游戏启动开始编码到产生第一帧非黑色画面时间，取（0，均值+2）的时间间隔为启动游戏启动标准消耗时间；用户启动游戏后到标准时间内检测每一帧像素灰度值，若均为0则判断游戏启动异常，重启游戏；或，客户端切前台后立刻请求重置编码，以当前画面作为新的输入源；或，手动点击重启游戏，服务端主动重启游戏。2.根据权利要求1所述基于云游戏的画面异常处理方法，其特征在于，所述重置编码，包括：停止当前编码器编码，新建编码器重新编码视频画面。3.根据权利要求1所述基于云游戏的画面异常处理方法，其特征在于，所述新的输入源是捕获的游戏画面，在旧的编码器编码ipppp~帧序列时，新编码器从其中某个p帧节点开始编码，编码的第一帧数据。4.根据权利要求1所述基于云游戏的画面异常处理方法，其特征在于，手动点击重启游戏，包括：主动操作重启游戏，同时重置音视频的编解码器。5.根据权利要求4所述基于云游戏的画面异常处理方法，其特征在于，所述主动操作重启游戏，包括为所述主动操作重启游戏设置专有用户接口。6.一种基于云游戏的画面异常处理装置，其特征在于，包括：设置模块，用于设置游戏画面异常类别，基于所述异常类别分别设置应对策略，将所述应对策略存储起来；执行模块，用于运行游戏并读取游戏画面异常类别，基于所述异常类别分别调用对应的应对策略，包括：统计从游戏启动开始编码到产生第一帧非黑色画面时间，取（0，均值+2）的时间间隔为启动游戏启动标准消耗时间；用户启动游戏后到标准时间内检测每一帧像素灰度值，若均为0则判断游戏启动异常，重启游戏；或，客户端切前台后立刻请求重置编码，以当前画面作为新的输入源；或，手动点击重启游戏，服务端主动重启游戏。7.根据权利要求6所述基于云游戏的画面异常处理装置，其特征在于，所述执行模块中重置编码，包括：停止当前编码器编码，新建编码器重新编码视频画面。8.根据权利要求6所述基于云游戏的画面异常处理装置，其特征在于，所述执行模块中，新的输入源是捕获的游戏画面，在旧的编码器编码ipppp~帧序列时，新编码器从其中某个p帧节点开始编码，编码的第一帧数据。
9.根据权利要求6所述基于云游戏的画面异常处理装置，其特征在于，所述执行模块中手动点击重启游戏，包括：主动操作重启游戏，同时重置音视频的编解码器。10.根据权利要求9所述基于云游戏的画面异常处理装置，其特征在于，所述执行模块中主动操作重启游戏，包括为所述主动操作重启游戏设置专有用户接口。

技术总结
本申请提供的一种基于云游戏的画面异常处理方法，包括：设置游戏画面异常类别，基于所述异常类别设置应对策略；运行游戏并读取游戏画面异常类别，基于所述异常类别分别调用应对策略，包括：统计从游戏启动开始编码到产生第一帧非黑色画面时间，取（0，均值+2）的时间间隔为启动游戏启动标准消耗时间；用户启动游戏后到标准时间内检测每一帧像素灰度值，若均为0则判断游戏启动异常，重启游戏；或，客户端切前台后立刻请求重置编码，以当前画面作为新的输入源；手动点击重启游戏，服务端主动重启游戏。本申请针对云游戏流程中各种可能出现的画面异常情况做针对性处理，可以极大程度削减画面异常带给用户的影响。画面异常带给用户的影响。画面异常带给用户的影响。


技术研发人员：赵云刚 张安京 郭建君
受保护的技术使用者：北京蔚领时代科技有限公司
技术研发日：2023.05.25
技术公布日：2023/8/13