一种基于IPTV业务的VR全景视频播放方法和系统与流程

一种基于iptv业务的vr全景视频播放方法和系统
1.本技术为申请号202211008514.2，申请日为2022年08月22日、发明名称“一种基于iptv业务的vr全景视频播放方法和系统”的分案申请。
技术领域
2.本发明涉及iptv技术领域，特别是涉及一种基于iptv业务的vr全景视频播放方法和系统。


背景技术：

3.iptv(交互式网络电视)全景多媒体业务是指通过使用全景播放技术及iptv终端，为用户提供360度的全景视频、图片、音频、文字等多媒体内容服务。用户通过人机交互，可在虚拟环境中获得视觉感知、听觉感知与身临其境的体验。
4.随着iptv业务智能化技术发展及视频多样化发展，将vr全景视频融入iptv业务系统已成为必然趋势。目前iptv业务平台已部署包括iptv业务导航、iptv媒体交付和iptv内容运营三个部分。iptv业务导航为iptv终端提供epg(electronic program guide，电子节目指南)页面，部分提供播控ui和统一的按键处理功能。但所提供的epg页面为2d页面，非360度全景页面。iptv媒体交付提供流媒体视频内容，但目前全景视频的内容提供也是基于现有iptv媒体交付。iptv媒体交付在提供视频内容时，无法区分视频内容是全景视频还是非全景视频。
5.如何基于现有iptv系统结合iptv终端能力来实现基于iptv业务的vr全景多媒体业务服务能力，是本领域要解决的重要核心问题。这些问题包括：第一，iptv业务导航需要能实现用户对iptv终端显示的全景视频内容可进行上、下、左、右360度角度切换统一控制，可进行快进快退暂停播放状态统一控制，放大缩小观看的统一控制，是本领域要求解决的核心问题。第二，需要实现iptv业务导航中2d页面包括epg和播控ui能正常平面显示、iptv媒体交付获取的全景视频内容能建模渲染成3d球体且与iptv业务导航2d平面显示不冲突的功能。第三，由于iptv全景视频当前处于发展初期，iptv业务导航不具备统一控制能力，所以还需要实现兼容iptv全景视频发展过程中，iptv业务导航不具备统一控制时期，可通过iptv终端本地的全景播放应用从iptv媒体交付获取视频，由本地的全景播放应用实现对视频渲染、播控及ui显示；也可以兼容后期iptv业务导航发展成熟后，支持iptv全景视频统一控制能力。
6.现有技术：现有iptv业务导航有epg、播控ui、页面上具备部分遥控操作逻辑，可以建立普通平面播放器并对其进行操控。但平面播放器不具备360度视角切换、视角缩放功能，iptv业务导航也不具备操作vr全景播放器能力。iptv媒体交付具备传输视频内容数据的功能，但无法区分是平面视频还是360度全景视频，所以无法告知iptv终端视频特征，进一步的iptv终端无法知晓是否需要对视频进行球体渲染，也无法对视频进行视角切换和视角缩放。
7.现有技术存在问题1：无法实现基于现有iptv业务导航，通知iptv终端播放全景视
频，并对全景视频实现操控(旋转、缩放、播控)且与遥控普通视频的操控逻辑不冲突的功能。例如按左右按键，普通视频对应的功能是快进快退，但全景视频对应的功能是旋转角度。
8.现有技术存在问题2：若iptv业务导航只传递全景视频的url(uniform resource locator，统一资源定位符)地址，则播控逻辑全部只能由iptv终端实现，无法达到统一导航，统一按键处理逻辑，统一ui的目的。这样会导致用户在操作不同视频时，操作逻辑均不一样。用户在用不同厂家终端时，操作逻辑不一样，显示内容也不一样。
9.有鉴于此，如何克服现有技术所存在的缺陷，如何基于现有iptv平台结合iptv终端能力来实现iptv支持vr全景多媒体业务服务能力，是本技术领域待解决的难题。


技术实现要素：

10.针对现有技术中的缺陷或改进需求：第一，需要建立支持iptv业务导航对iptv终端(机顶盒)显示的内容可进行上、下、左、右360度角度切换统一控制，可进行快进快退暂停播放状态统一控制，放大缩小观看的统一控制的iptv终端全景媒体处理系统。第二，需要实现全景视频内容能建模渲染成3d球体的功能且与iptv业务导航2d平面显示不冲突。第三，需要兼容iptv全景视频发展过程中，iptv业务导航不具备统一控制时期，可通过iptv终端本地的全景播放应用从iptv媒体交付获取视频，由本地的全景播放应用实现对视频渲染、播控及ui显示的功能；也可以兼容后期iptv业务导航发展成熟后，支持iptv全景视频统一控制的能力。针对上述需求，本发明提供一种基于iptv业务的vr全景视频播放方法和系统，来实现上述需求。
11.本发明实施例采用如下技术方案：
12.第一方面，本发明提供了一种基于iptv业务的vr全景视频播放方法，包括两种启动iptv终端全景媒体处理系统的方式：
13.由iptv业务导航主导，通过api调用来决定执行改变视角还是改变播放状态的动作；iptv终端在接收到按键事件时，将按键事件发送给iptv业务导航；和/或：
14.通过调用iptv终端的本地全景视频播放应用，由iptv终端的本地全景视频播放应用主导：iptv终端在接收到按键事件时，由本地全景视频播放应用来决定执行改变视角还是改变播放状态的动作，ui显示也是由本地全景视频播放应用实现。
15.进一步的，所述启动iptv终端全景媒体处理系统，由iptv业务导航主导，通过api调用时，具体包括：
16.浏览器子系统解析并对vr全景播放器对象初始化，包括初始化vr全景播放器对象的api具备的vr全景特征能力；所述api具备的vr全景特征能力包括视频播放状态控制能力以及视角改变功能；
17.获取3d球形模型以及2d视频数据并将2d视频数据的输出帧贴图到3d球形模型；
18.触发按键事件时，浏览器子系统根据按键事件调用对应的vr全景特征能力，并进行对应的ui显示；
19.将ui显示的2d显示层与3d球形模型的3d显示层合成显示。
20.进一步的，所述获取3d球形模型以及2d视频数据并将2d视频数据的输出帧贴图到3d球形模型具体包括：
21.浏览器子系统调用媒体控制模块，将3d球形模型与3d显示层绑定，结合vr全景播放器对象，并提供vr全景特征能力；
22.vr全景播放器对象通过iptv业务导航传入的vr全景视频地址url参数与流媒体子系统对接，获取2d视频数据；
23.将vr全景播放器对象解码的2d视频数据的输出帧贴图到3d球形模型。
24.进一步的，所述触发按键事件时，浏览器子系统根据按键事件调用对应的vr全景特征能力，并进行对应的ui显示具体包括：
25.当触发按键事件时，浏览器子系统判断vr全景播放器对象的视角控制使能状态是否为使能；
26.若不是使能则通过iptv业务导航调用视频播放状态控制能力接口，并显示对应的播控ui；若是使能则进一步判断vr全景播放器对象的视角控制属性是否为iptv业务导航控制；
27.若是为iptv业务导航控制，则通过iptv业务导航根据按键事件调用对应的视角改变功能，并显示对应ui；若不是为iptv业务导航控制，则浏览器子系统通过改造内核中的按键处理逻辑，避免将按键事件发送给iptv业务导航，浏览器子系统自己调用视角改变功能，并将视角改变后的当前状态通过消息回调发送给iptv业务导航，以使iptv业务导航根据浏览器子系统发送的视角改变后的当前状态显示对应ui。
28.进一步的，所述启动iptv终端全景媒体处理系统，通过调用iptv终端的本地全景视频播放应用，由iptv终端的本地全景视频播放应用主导时，具体包括：
29.当iptv业务导航通过action启动vr全景视频播放时，增加vr全景视频地址url参数标识此视频为全景视频；浏览器子系统解析action并获取vr全景视频地址url参数；浏览器子系统启动iptv终端的本地全景视频播放应用，并传入vr全景视频地址url参数；
30.本地全景视频播放应用调用ui显示模块，根据获取的vr全景视频地址url参数得到对应的ui显示；
31.本地全景视频播放应用获取3d球形模型并将其3d显示层与ui显示的2d显示层合成显示；
32.将按键事件传递给本地全景视频播放应用处理，若有视角改变则重新获取ui显示的2d显示层以及3d球形模型的3d显示层并合成显示。
33.进一步的，所述本地全景视频播放应用获取3d球形模型并将其3d显示层与ui显示的2d显示层合成显示具体包括：
34.本地全景视频播放应用调用媒体控制模块，将3d球形模型与3d显示层绑定，并提供vr全景特征能力；
35.调用2d播放器，通过iptv业务导航传入的vr全景视频地址url参数与流媒体子系统对接；
36.将2d播放器的输出帧贴图到3d球形模型后，将ui显示的2d显示层与3d球形模型的3d显示层合成显示。
37.进一步的，iptv业务平台下发直播列表时，增加参数标识直播节目是否为全景视频；iptv终端的直播播放接口被调用时，判断即将播放的直播是否为全景视频，如果是，则启动全景显示和全景播放，并且捕捉遥控器方向键，实现变换全景显示的视角；
38.在全景播放过程中，进行操作暂停播放、倍速播放、定位播放或者切换回直播状态时，iptv终端将按键事件发给iptv业务导航或本地全景视频播放应用，由iptv业务导航或本地全景视频播放应用调用相应的播控接口来实现对应功能；iptv终端接收到相应播控接口的调用请求时，需保证视频在播控操作期间为全景显示；当iptv终端的离开直播接口被调用时，退出全景显示。
39.进一步的，iptv业务平台下发点播节目地址时，增加参数标识点播节目是否为全景视频；iptv终端的点播播放接口被调用时，判断即将播放的点播是否为全景视频，如果是，则启动全景显示，并且捕捉遥控器的方向键，实现变换全景显示的视角；
40.在全景播放过程中，进行操作暂停播放、倍速播放、定位播放时，iptv终端将按键事件发给iptv业务导航或本地全景视频播放应用，由iptv业务导航或本地全景视频播放应用调用相应的播控接口来实现对应功能；iptv终端接收到相应播控接口的调用请求时，需保证视频在播控操作期间为全景显示，当iptv终端的离开点播接口被调用时，退出全景显示。
41.进一步的，还包括静态图像浏览功能：全景视频暂停播放或者浏览静态图像时，iptv终端将按键事件发给iptv业务导航或本地全景视频播放应用，由iptv业务导航或本地全景视频播放应用调用相应的播控接口来实现对应功能，以使用户任意角度转动暂停的视频画面或静态图像，全方位观看视频画面或静态图像任意角度的内容。
42.第二方面，本发明还提供一种基于iptv业务的vr全景视频播放系统，用来实现如第一方面所述的方法，该系统包括iptv业务平台和iptv终端；所述iptv业务平台包括iptv内容运营、iptv业务导航、iptv媒体交付；所述iptv终端包括iptv终端全景媒体处理系统、显示设备、外部设备；所述iptv终端全景媒体处理系统包括浏览器子系统和流媒体子系统，其中，所述流媒体子系统提供vr全景特征能力，与iptv媒体交付进行交互，通过流媒体协议获取视频内容；所述浏览器子系统负责解析iptv业务导航对于vr全景内容播放的控制指令，负责接收按键事件，并根据iptv业务导航的要求对流媒体子系统进行vr全景内容的播放控制，以实现对媒体播放事件的响应；所述iptv终端全景媒体处理系统的启动方式包括：
43.由iptv业务导航主导，通过api调用：iptv终端在接收到按键事件时，将按键事件发送给iptv业务导航，由iptv业务导航决定执行改变视角还是改变播放状态的动作；和/或：
44.通过调用iptv终端的本地全景视频播放应用，由iptv终端的本地全景视频播放应用主导：iptv终端在接收到按键事件时，由本地全景视频播放应用来决定执行改变视角还是改变播放状态的动作，ui显示也是由本地全景视频播放应用实现。
45.进一步的，所述流媒体子系统包括vr全景视频控制模块，所述vr全景视频控制模块创造有一个vr全景播放器对象，并提供一套包含vr全景特征能力的api，此套api的vr全景特征能力包括视频播放状态控制能力以及视角改变功能，其中，所述视频播放状态控制能力包括暂停播放、倍速播放、定位播放、恢复直播状态；所述视角改变功能包括视角方向变换能力、视角远近变换能力。
46.与现有技术相比，本发明的有益效果在于：
47.1、iptv终端全景媒体处理系统根据iptv业务导航调用的扩展js接口(也即api)，决定是否启动iptv全景播放应用。当iptv业务导航选择调用iptv全景播放的api时，iptv终
端全景媒体处理系统会将iptv终端调用的vr全景播放器对象返回给iptv业务导航，iptv业务导航根据当前状态调用iptv全景播放对外的api，实现全景视频的播放、视角的转动、视角大小的改变、以及相应的ui显示。js扩展vr全景播放器对象，是由iptv业务导航新建的对象，iptv的vr全景业务通过调用vr全景播放器对象的方法实现。可支持运营商对vr全景业务统一操控逻辑、统一显示ui的方案。方便vr全景业务统一快速部署。
48.2、当启动本地全景视频播放应用时，本地全景视频播放应用调用播放接口，调用3d模型，并将解码后的视频图像渲染到3d模型上，并在必要的时候显示相应的ui界面。可兼容action方式：通过扩展js对象下发启动本地全景视频播放应用的action启动，按键处理交由本地全景视频播放应用。1、2两种方案兼容共存，满足运营商建设发展vr全景视频的起步阶段及成熟阶段的差异化实现方案。
49.3、vr全景视频控制模块、视频协议及数据处理模块对于两种启动方式(即iptv业务导航调用全景播放的api和本地全景视频播放应用)而言为共享状态。
50.4、浏览器子系统通过改造内核中的按键处理逻辑，避免将按键事件发送给iptv业务导航，通过定制化改造浏览器子系统的按键处理逻辑，简化了iptv业务导航处理方向键的逻辑改造工作。
附图说明
51.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
52.图1为本发明实施例1提供的一种基于iptv业务的vr全景视频播放系统的架构框图；
53.图2为本发明实施例1提供的两种不同启动方式的模块流程示意图；
54.图3为本发明实施例1提供的两种不同启动方式的业务流程图；
55.图4为本发明实施例2提供的一种基于iptv业务的vr全景视频播放方法的两种启动iptv终端全景媒体处理系统的方式示意图；
56.图5为本发明实施例2提供的第一种启动iptv终端全景媒体处理系统的方式的详细流程图；
57.图6为本发明实施例2提供的步骤120的扩展流程图；
58.图7为本发明实施例2提供的步骤130的扩展流程图；
59.图8为本发明实施例2提供的第二种启动iptv终端全景媒体处理系统的方式的详细流程图；
60.图9为本发明实施例2提供的步骤230的扩展流程图。
具体实施方式
61.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
62.本发明是一种特定功能系统的体系结构，因此在具体实施例中主要说明各结构模组的功能逻辑关系，并不对具体软件和硬件实施方式做限定。
63.此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合，各个步骤在符合逻辑、不冲突的情况下也可以调换先后顺序。下面就参考附图和实施例结合来详细说明本发明。
64.另外，还需先说明一下本发明中部分名词的定义，例如：
65.iptv全景多媒体业务是指通过使用全景播放技术及iptv终端，为用户提供360度的全景视频、图片、音频、文字等多媒体内容服务。用户通过人机交互，可在虚拟环境中获得视觉感知、听觉感知与身临其境的体验。iptv全景内容主要包括全景视频和全景图片，iptv全景播放是指播放全景视频和全景图片。
66.全景视频是采用专业全景摄像机进行视频内容的采集，后期通过全景视频拼接软件拼接成一个无缝的“球”，最终输出360度全景视角的球状全景视频。全景图片是将相机环360度拍摄的一组或多组照片拼接成一个全景图像。
67.全景播放技术是动态还原真实的环境，使观众感到处在现场环境当中，通过交互操作，可左、可右、可上、可下地进行360度全景观察，给观众带来跨越空间的虚拟体验的技术。
68.实施例1：
69.如图1所示，本发明实施例1提供一种基于iptv业务的vr全景视频播放系统，该系统的架构框图如图1所示，包括iptv业务平台和iptv终端；所述iptv业务平台包括iptv内容运营、iptv业务导航、iptv媒体交付；所述iptv终端包括iptv终端全景媒体处理系统、显示设备、外部设备。其中，iptv终端全景媒体处理系统与iptv业务导航和iptv媒体交付进行交互，外部设备可与iptv终端全景媒体处理系统进行按键交互，iptv终端全景媒体处理系统将处理后的全景视频输出显示在显示设备上。
70.以上iptv媒体交付是现有系统，本实施例未作更改。本实施例从iptv媒体交付上获取vr全景视频。
71.iptv业务导航是现有系统，支持js扩展，本实施例需要在iptv业务导航上新增js扩展本发明调用的vr全景播放器对象。以实现通过iptv业务导航对vr全景播放器对象的操作。整个vr全景播放器对象提供一套包含vr全景特征能力的api。此套api具备暂停播放、倍速播放、定位播放、切换回直播状态视角改变功能等功能中的一个或多个。视角改变功能还包括：视角方向变换能力；视角远近变换能力等功能中的一个或多个。
72.iptv业务导航支持epg ui显示逻辑，是现有技术。但现有技术中全景模式下的ui显示逻辑与非全景模式下的ui显示逻辑存在冲突。现有的iptv业务导航无法区分iptv终端是全景模式下的ui显示逻辑和非全景模式下的ui显示逻辑。所以需要通过本发明实施例的iptv终端全景媒体处理系统来支持iptv业务导航在这两种模式下的epg ui显示逻辑。
73.如图1所示，本实施例的iptv终端全景媒体处理系统是本发明的关键，具体的，iptv终端全景媒体处理系统主要包括浏览器子系统和流媒体子系统，其中，所述流媒体子系统提供vr全景特征能力，且具备与iptv媒体交付的交互能力，以通过流媒体协议获取视频内容；所述浏览器子系统负责解析iptv业务导航对于全景视频的控制语句，负责接收按键事件，并根据iptv业务导航的要求对流媒体子系统进行vr播放控制，响应媒体播放事件；
其中，按键事件是指用户使用遥控器所发送出来的事件，包括上、下、左、右等按键事件；而媒体播放事件包括播放状态事件：暂停播放、倍速播放、定位播放、切回直播状态视角方向变换、视角远近变换等事件。所述iptv终端全景媒体处理系统的启动方式包括：
74.由iptv业务导航主导，通过api调用：iptv终端在接收到按键事件时，将按键事件发送给iptv业务导航，由iptv业务导航决定执行改变视角还是改变播放状态的动作；和/或：
75.通过调用iptv终端的本地全景视频播放应用，由iptv终端的本地全景视频播放应用主导：iptv终端在接收到按键事件时，由本地全景视频播放应用来决定执行改变视角还是改变播放状态的动作，ui显示也是由本地全景视频播放应用实现。
76.参考图1，iptv终端全景媒体处理系统除了包括浏览器子系统和流媒体子系统之外，还包括硬件驱动及操作系统子系统，图形渲染子系统，呈现子系统，其中的呈现子系统包括web页面呈现窗口模块，vr视频呈现窗口模块，合成模块。
77.具体的，所述硬件驱动及操作系统子系统是现有技术。
78.参考图2，所述图形渲染子系统包括3d建模模块、3d模型解析模块以及纹理贴图模块，所述3d建模模块用于进行3d建模，所述3d模型解析模块用于对3d模型进行解析，所述纹理贴图模块用于对3d模型进行贴图处理。本发明中浏览器子系统对图形渲染子系统的控制能力为创新点。
79.参考图1，所述呈现子系统的web页面呈现窗口模块负责呈现2d epg页面和iptv业务导航所对应的ui，所述vr全景视频呈现窗口模块负责显示vr全景视频渲染的3d球形模型，所述合成模块负责将web页面呈现窗口模块和vr全景视频呈现窗口模块的呈现内容进行合成显示。
80.在本实施例的浏览器子系统中，对于模式判断和按键处理是本发明的创新点。具体的，浏览器子系统包括判断模块，所述判断模块用于判断vr全景视频播放器对象的视角控制使能状态是否为使能；若不是使能则通过iptv业务导航调用视频播放状态控制能力接口，并显示对应的播控ui；若是使能则进一步判断vr全景视频播放器对象的视角控制属性是否为iptv业务导航控制；若是为iptv业务导航控制，则通过iptv业务导航根据按键事件(按键事件即为用户触发的按键、方向键)调用对应的视角改变功能，并显示对应ui；若不是为iptv业务导航控制，则浏览器子系统通过改造内核中的按键处理逻辑，避免将按键事件发送给iptv业务导航，浏览器子系统自己调用视角改变功能，并将视角改变后的当前状态通过消息回调发送给iptv业务导航，以使iptv业务导航根据浏览器子系统发送的视角改变后的当前状态显示对应ui。
81.需说明的是，本实施例的vr全景播放器对象的实体位于流媒体子系统中。此对象可以被本地全景视频播放应用调用，也可以被浏览器子系统调用。
82.参考图2、图3，流媒体子系统包括图2中的图片解码模块和视频解码模块，以及包括图3中的vr全景视频控制模块和视频传输协议及数据获取能力。视频传输协议及数据获取能力是现有技术，功能是通过流媒体协议如igmp\rtsp\hls等，从iptv媒体交付获取视频流。vr全景视频控制模块是本发明创造的，创新点在于，创造一个vr全景播放器对象，并提供一套包含vr全景特征能力的api，此套api的vr全景特征能力包括视频播放状态控制能力以及视角改变功能，其中，所述视频播放状态控制能力包括暂停播放、倍速播放、定位播放、
切换回直播状态；所述视角改变功能包括视角方向变换能力、视角远近变换能力。对于本实施例中的该套api，需要说明的是，此套api是由浏览器子系统提供给iptv业务导航使用的，api的能力包括对流媒体子系统(vr全景播放器对象的实体属于流媒体子系统)的控制。浏览器子系统调用vr全景播放器对象，vr全景播放器对象的实体是流媒体子系统和图形渲染子系统的部分能力结合。iptv业务导航通过浏览器子系统调用vr全景播放器对象的api。
83.本发明还创造了通过浏览器子系统实现控制视角改变功能，包括提供js对象(vr全景播放器对象)，实现与iptv业务导航交互。实现用户操作的按键由浏览器子系统与iptv业务导航处理，将iptv业务导航的模型位置和角度控制指令作用到图形渲染模块。参考图1，本发明还创造了浏览器子系统与流媒体子系统的vr播放控制和媒体播放事件交互功能。所述vr播放控制交互功能具体包括：将用户按键操作和iptv业务导航的控制通过浏览器子系统发送给流媒体子系统，实现对vr全景播放器的暂停播放、倍速播放、定位播放、切换回直播状态能力。所述媒体播放事件交互功能具体包括：流媒体子系统响应vr播放控制指令后，将播放状态事件包括暂停播放、倍速播放、定位播放、切换回直播状态等响应后的事件通知给浏览器子系统。
84.参考图2，图2中还包括媒体控制模块、ui显示模块、按键处理模块。
85.媒体控制模块：主要功能是响应视频播放控制类的按键操作，对视频进行处理，例如对视频进行开始播放、退出播放、暂停播放、倍速播放、定位播放、切换回直播状态等。
86.ui显示模块：用于显示全景播放相关的用户界面。包括模式显示，例如全屏模式、菜单模式、暂停模式。
87.全屏模式一：
88.1)当用户点击ok键时，进入菜单模式。
89.2)全屏模式下支持提示用户可点击ok键进行快进/快退的操作，提示框可在一定时间后自动消失。
90.全屏模式二：
91.1)进入视频后，第一次转动视角时，将显示“双击ok键”的提示框，提示框可在一定时间后自动消失。
92.2)当用户双击ok键时，画面将切换回初始视角。
93.菜单模式：
94.1)菜单模式下播控条出现，长按左右键进行快进、快退的操作。
95.2)点击ok键，进入“暂停模式”。
96.暂停模式：
97.在暂停模式下，点击ok键进入全屏模式，开始播放视频。
98.按键处理模块：来源于外部设备(主要是遥控器)的按键事件，对按键事件进行处理。按键处理包括对媒体控制模块的操作，例如开始播放、退出播放、暂停播放、倍速播放、定位播放、切换回直播状态等，还包括对ui显示的操作，例如显示进度条，显示播放状态等，还包括对浏览器子系统的操作，例如上、下、左、右等，还包括对于3d模型解析模块的操作，例如视角方向变化及视角远近变化。
99.如图2所示，实线、虚线的两种箭头所表示的是本发明创造的iptv终端全景媒体处理系统启动方式有两种，第一，由iptv业务导航主导,通过javascript api调用，iptv终端
在接收到按键处理模块的用户按键时，由浏览器子系统接收按键，将按键(主要是方向键)发送给iptv业务导航，由iptv业务导航决定执行改变视角还是改变播放状态的动作。浏览器子系统在解析iptv业务导航页面的按键处理逻辑后，调用媒体控制模块和3d建模模块能力。
100.第二，通过调用iptv终端的本地全景视频播放应用，由iptv终端的本地全景视频播放应用主导，iptv终端的本地全景视频播放应用在接收到用户按键时，按键处理模块将媒体类控制的按键包括开始播放、退出播放、暂停播放、倍速播放、定位播放、切换回直播状态等通知给媒体控制模块处理。按键处理模块将显示进度条，显示播放状态、模式显示等对ui显示的操作通知给ui显示模块处理。按键处理模块将视角方向变化及视角远近变化等操作通知给3d模型解析模块处理，由本地全景视频播放应用来决定执行改变视角还是改变播放状态的动作，ui显示也是由本地全景视频播放应用实现。
101.如图3所示，是本发明两种不同启动方式的业务流程图。右侧实线框部分是公共能力，由流媒体子系统实现，包括提供vr全景视频控制模块(jar)，提供vr全景特征能力；提供视频传输协议及数据获取功能(ctc_so)，与iptv流媒体服务器对接，同时还对vr全景视频控制模块进行渲染层绑定；提供合成模块，进行合成显示处理。下半部分业务流(带点虚线框部分)是由iptv业务导航主导,通过javascript api调用实现，具体的，业务导航系统js调用vr全景播放器对象，浏览器子系统解析并对vr全景播放器对象初始化；由vr全景播放器对象调用流媒体子系统中的视频传输协议从iptv媒体交付中获取数据，并与3d模型解析模块的vr全景特征渲染层绑定，输出vr全景视频。业务导航系统提供按键处理逻辑及ui显示逻辑，浏览器子系统解析，按键处理；上述处理都传入浏览器子系统由浏览器子系统与iptv业务导航交互，获取ui，所以ui全部来源于iptv业务导航。将来源于iptv业务导航的ui和vr全景视频结合，将最终图像显示出来。上半部分业务流(不带点虚线框部分)是通过调用iptv终端的本地全景视频播放应用，由iptv终端的本地全景视频播放应用主导，具体的，业务导航系统js调用action或其他应用程序调用action，携带全景视频url传递给流媒体子系统，由流媒体子系统通过视频传输协议从iptv媒体交付中获取视频并与3d模型解析模块的vr全景特征渲染层绑定，通过本地全景视频播放应用自带ui显示结合，将最终图像显示出来。
102.以上为本实施例对基于iptv业务的vr全景视频播放系统的各个子系统、各个模块的介绍，下面，通过业务场景、系统功能要求、以及应用层上对本实施例的基于iptv业务的vr全景视频播放系统进行进一步说明。
103.对于业务场景，iptv全景业务包括以下典型的业务场景：
104.iptv直播节目播放：当播放iptv直播节目时，如果视频内容是全景视频，需要支持全景播放功能，并且具备暂停播放、倍速播放、定位播放、切换回直播状态、视角改变等功能。
105.iptv点播节目播放：当播放iptv点播节目时，如果视频内容是全景视频，需要支持全景播放功能，并且具备暂停播放、倍速播放、定位播放、切换回直播状态、视角改变功能。
106.静态图像浏览：当浏览静态图像或全景视频暂停播放时，可以360度转动静态图像或暂停的视频画面，全方位观看任意角度。
107.启动iptv终端全景媒体处理系统：有两种方式，第一，由iptv业务导航主导,通过
javascript api调用。iptv终端在接收到用户按键时，将按键(主要是方向键)发送给iptv业务导航。由iptv业务导航决定执行改变视角还是改变播放状态的动作。第二，通过调用iptv终端的本地全景视频播放应用。由iptv终端的本地全景视频播放应用主导，iptv终端在接收到用户按键时，由本地全景视频播放应用来决定执行改变视角还是改变播放状态的动作，ui显示也是由本地全景视频播放应用实现。
108.对于系统功能要求：
109.iptv直播：iptv业务平台下发直播列表时，增加参数标识直播节目是否全景视频。终端的直播播放接口(joinchannel)被调用时，判断即将播放的直播是否为全景视频，如果是，则启动全景显示，并且捕捉遥控器方向键，实现不同视角切换。在全景播放过程中，用户操作暂停播放、倍速播放、定位播放或切换回直播状态时，iptv终端将按键值发给iptv业务导航或本地全景视频播放应用，由iptv业务导航或本地全景视频播放应用调用相应的播控接口，实现功能。终端接收到相应播控接口，需保证视频在播控操作期间为全景显示。当iptv终端的离开直播接口(leavechannel)被调用时，退出全景显示。
110.iptv点直播：iptv业务平台下发点播节目地址时，增加参数标识点播节目是否全景视频。
111.终端的点播播放接口(playfromstart)被调用时，判断即将播放的点播是否为全景视频，如果是，则启动全景显示，并且捕捉遥控器的方向键，实现不同视角切换。并且在全景播放过程中，用户操作暂停播放、倍速播放、定位播放时，iptv终端将按键值发给iptv业务导航或本地全景视频播放应用，由iptv业务导航或本地全景视频播放应用调用相应的播控接口实现功能。终端接收到相应播控接口，需保证视频在播控操作期间为全景显示。当终端的离开点播接口(stop)被调用时，退出全景显示。
112.iptv终端全景媒体处理系统：具备视角放大、缩小的功能，视角转换的功能(包括：上、下、左、右四个方向)，视角变化状态上报功能和播控状态上报功能。具备两种启动方式，第一，由javascript api调用启动。iptv终端全景媒体处理系统向iptv业务导航提供js扩展对象。iptv业务导航可以通过调用js扩展对象方式启动。第二，iptv终端全景媒体处理系统支持action方式启动。iptv业务导航可以通过扩展js对象下发action方式启动。也可以由其它应用程序发送action方式启动。
113.对于应用层，iptv全景播放应用根据iptv业务导航调用的扩展js接口，决定是否启动iptv全景播放应用。当启动本地全景播放应用时，本地全景播放应用调用播放接口，调用3d模型，并将解码后的视频图像渲染到3d模型上，并在必要的时候显示相应的ui界面。当iptv业务导航选择调用iptv全景播放的api时，iptv终端全景媒体处理系统会将iptv终端调用的vr全景播放器对象返回给iptv业务导航，iptv业务导航根据当前状态调用iptv全景播的对外api，实现全景视频的播放、视角的转动、视角大小的改变、以及相应的ui显示。
114.综上所述，本发明实施例iptv全景播放应用根据iptv业务导航调用的扩展js接口(也即api)，决定是否启动iptv全景播放应用。当iptv业务导航选择调用iptv全景播放的api时，iptv终端全景媒体处理系统会将iptv终端调用的vr全景播放器对象返回给iptv业务导航，iptv业务导航根据当前状态调用iptv全景播放对外的api，实现全景视频的播放、视角的转动、视角大小的改变、以及相应的ui显示。js扩展vr全景播放器对象，是由iptv业务导航新建的对象，iptv的vr全景业务通过调用vr全景播放器对象的方法实现。可支持运
营商对vr全景业务统一操控逻辑、统一显示ui的方案。方便vr全景业务统一快速部署。
115.本发明实施例当启动本地全景视频播放应用时，本地全景视频播放应用调用播放接口，调用3d模型，并将解码后的视频图像渲染到3d模型上，并在必要的时候显示相应的ui界面。可兼容action方式：通过扩展js对象下发启动本地全景视频播放应用的action启动，按键处理交由本地全景视频播放应用。
116.上述两种方案兼容共存，满足运营商建设发展vr全景视频的起步阶段及成熟阶段的差异化实现方案。
117.本发明实施例的vr全景视频控制模块、视频协议及数据处理模块共享。本发明实施例还定制化改造浏览器子系统的按键处理逻辑，简化iptv业务导航处理方向键的逻辑改造工作。
118.实施例2：
119.如图4所示，基于实施例1提供的系统，本发明实施例2提供一种基于iptv业务的vr全景视频播放方法，该方法主要包括两种启动iptv终端全景媒体处理系统的方式：
120.第1种：由iptv业务导航主导，通过api调用：iptv终端在接收到按键事件时，将按键事件发送给iptv业务导航，由iptv业务导航决定执行改变视角还是改变播放状态的动作；和/或：
121.第2种：通过调用iptv终端的本地全景视频播放应用，由iptv终端的本地全景视频播放应用主导：iptv终端在接收到按键事件时，由本地全景视频播放应用来决定执行改变视角还是改变播放状态的动作，ui显示也是由本地全景视频播放应用实现。
122.对于第1种启动iptv终端全景媒体处理系统的方式，由iptv业务导航主导，通过api调用时，也即iptv业务导航通过vr全景播放器对象启动全景播放时，参考图5，具体包括如下步骤：
123.步骤110：浏览器子系统解析并对vr全景播放器对象初始化。包括初始化vr全景播放器对象的api具备的vr全景特征能力；所述api具备的vr全景特征能力包括视频播放状态控制能力以及视角改变功能，其中，所述视频播放状态控制能力包括暂停播放、倍速播放、定位播放、切换回直播状态等功能中的一个或多个；所述视角改变功能包括视角方向变换能力、视角远近变换能力等功能中的一个或多个。
124.步骤120：获取3d球形模型以及2d视频数据并将2d视频数据的输出帧贴图到3d球形模型。
125.步骤130：触发按键事件时，浏览器子系统根据按键事件调用对应的vr全景特征能力，并进行对应的ui显示。
126.步骤140：将ui显示的2d显示层与3d球形模型的3d显示层合成显示。
127.参考图6，对于上述的步骤120，还可以扩展为如下步骤：
128.步骤121：浏览器子系统调用媒体控制模块，将3d球形模型与3d显示层绑定，结合vr全景播放器对象，并提供vr全景特征能力。媒体控制模块还需要接收按键处理模块传递给媒体控制模块的按键。按键处理能力包括：视频播放状态控制能力包括暂停播放、倍速播放、定位播放、切换回直播状态；视角改变功能包括视角方向变换能力、视角远近变换能力；媒体控制模块是接收按键信息，后对vr全景播放器对象能力调用的模块。
129.步骤122：vr全景播放器对象通过iptv业务导航传入的vr全景视频地址url参数与
流媒体子系统对接，获取2d视频数据。
130.步骤123：将vr全景播放器对象解码的2d视频数据的输出帧贴图到3d球形模型。
131.参考图7，对于上述的步骤130，还可以扩展为如下步骤：
132.步骤131：当触发按键事件时，浏览器子系统判断vr全景播放器对象的视角控制使能状态是否为使能。
133.步骤132：若不是使能则通过iptv业务导航调用视频播放状态控制能力接口，并显示对应的播控ui；若是使能则进一步判断vr全景播放器对象的视角控制属性是否为iptv业务导航控制。
134.步骤133：若是为iptv业务导航控制，则通过iptv业务导航根据按键事件调用对应的视角改变功能，并显示对应ui；若不是为iptv业务导航控制，则浏览器子系统通过改造内核中的按键处理逻辑，避免将按键事件发送给iptv业务导航，浏览器子系统自己调用视角改变功能，并将视角改变后的当前状态通过消息回调发送给iptv业务导航，以使iptv业务导航根据浏览器子系统发送的视角改变后的当前状态显示对应ui。
135.对于第2种启动iptv终端全景媒体处理系统的方式，通过调用iptv终端的本地全景视频播放应用，由iptv终端的本地全景视频播放应用主导时，也即当iptv业务导航通过action启动vr全景视频播放时，参考图8，具体包括如下步骤：
136.步骤210：增加vr全景视频地址url参数标识此视频为全景视频；浏览器子系统解析action并获取vr全景视频地址url参数；浏览器子系统启动iptv终端的本地全景视频播放应用，并传入vr全景视频地址url参数。
137.步骤220：本地全景视频播放应用调用ui显示模块，根据获取的vr全景视频地址url参数得到对应的ui显示。
138.步骤230：本地全景视频播放应用获取3d球形模型并将其3d显示层与ui显示的2d显示层合成显示。
139.步骤240：将按键事件传递给本地全景视频播放应用处理，若有视角改变则重新获取ui显示的2d显示层以及3d球形模型的3d显示层并合成显示。
140.参考图9，对于上述的步骤230，还可以扩展为如下步骤：
141.步骤231：本地全景视频播放应用调用媒体控制模块，将3d球形模型与3d显示层绑定，并提供vr全景特征能力。
142.步骤232：调用2d播放器，通过iptv业务导航传入的vr全景视频地址url参数与流媒体子系统对接。
143.步骤233：将2d播放器的输出帧贴图到3d球形模型后，将ui显示的2d显示层与3d球形模型的3d显示层合成显示。
144.基于上述两种启动iptv终端全景媒体处理系统的方法步骤，当iptv业务平台下发直播列表时，增加参数标识直播节目是否为全景视频；iptv终端的直播播放接口被调用时，判断即将播放的直播是否为全景视频，如果是，则启动全景显示，并且捕捉遥控器方向键，实现不同视角切换；在全景播放过程中，进行操作暂停播放、倍速播放、定位播放或切换回直播状态时，iptv终端将按键事件发给iptv业务导航或本地全景视频播放应用，由iptv业务导航或本地全景视频播放应用调用相应的播控接口来实现对应功能；iptv终端接收到相应播控接口的调用请求时，需保证视频在播控操作期间为全景显示，当iptv终端的离开直
播接口被调用时，退出全景显示。
145.当iptv业务平台下发点播节目地址时，增加参数标识点播节目是否为全景视频；iptv终端的点播播放接口被调用时，判断即将播放的点播是否为全景视频，如果是，则启动全景显示，并且捕捉遥控器的方向键，实现不同视角切换；在全景播放过程中，进行操作暂停播放、倍速播放、定位播放、切换回直播状态时，iptv终端将按键事件发给iptv业务导航或本地全景视频播放应用，由iptv业务导航或本地全景视频播放应用调用相应的播控接口来实现对应功能；iptv终端接收到相应播控接口的调用请求时，需保证视频在播控操作期间为全景显示，当iptv终端的离开点播接口被调用时，退出全景显示。
146.另外，本实施例还支持静态图像浏览功能：全景视频暂停播放或者浏览静态图像时，iptv终端将按键事件发给iptv业务导航或本地全景视频播放应用，由iptv业务导航或本地全景视频播放应用调用相应的播控接口来实现对应功能，以使用户任意角度转动暂停的视频画面或静态图像，全方位观看视频画面或静态图像任意角度的内容。
147.综上所述，本实施例相对于现有技术具有至少以下三点创新：
148.第一，提供一套包含vr全景特征能力的api。此套api具备暂停播放、倍速播放、定位播放、切换回直播状态、视角改变功能。视角改变功能还包括：视角方向变换能力；视角远近变换能力。此套api以js扩展对象(vr全景播放器对象)的方式提供给iptv业务导航调用，vr全景特征能力通过vr全景播放器对象的属性提供给iptv业务导航调用。
149.当播放iptv直播节目时，如果视频内容是全景视频，此套api以js扩展对象提供给iptv业务导航调用，可使iptv终端支持全景播放功能，并且具备暂停播放、倍速播放、定位播放、切换回直播状态、视角改变等功能。
150.当播放iptv点播节目时，如果视频内容是全景视频，此套api以js扩展对象提供给iptv业务导航调用，可使iptv终端支持支持全景播放功能，并且具备暂停播放、倍速播放、定位播放、、视角改变功能。
151.第二，当iptv终端接收到播放vr全景视频请求时，通过opengl技术调用3d球形模型，通过调用glsurfaceview将3d球形模型于3d显示层绑定，并调用2d播放器，将解码出的全景视频帧作为纹理，贴图到3d球形模型上，最终显示到3d显示层。
152.第三，iptv业务导航可以通过扩展js对象下发action方式启动vr全景播放应用，且携带vr全景视频播放地址url参数，iptv终端则会启动本地的vr全景播放应用，由本地全景播放应用来处理用户按键、显示所需的显示ui。当iptv导航系统通过vr全景播放器对象来启动vr全景播放时，iptv终端则调用全景播放系统，由于iptv业务导航通过设置vr全景播放器的视角控制使能属性来决定用户的方向键是变换视角还是改变播放状态；当视角控制为使能状态时，由iptv业务导航通过设置vr全景播放器对象的视角控制属性来决定，由iptv终端还是由iptv业务导航来处理用户通过方向键调整视角方向和视角远近的请求；以上所述通过vr全景播放器实现状态变化的ui均由iptv业务导航显示。
153.综上所述，本发明实施例iptv全景播放应用根据iptv业务导航调用的扩展js接口(也即api)，决定是否启动iptv全景播放应用。当iptv业务导航选择调用iptv全景播放的api时，iptv终端全景媒体处理系统会将iptv终端调用的vr全景播放器对象返回给iptv业务导航，iptv业务导航根据当前状态调用iptv全景播放对外的api，实现全景视频的播放、视角的转动、视角大小的改变、以及相应的ui显示。js扩展vr全景播放器对象，是由iptv业
务导航新建的对象，iptv的vr全景业务通过调用vr全景播放器对象的方法实现。可支持运营商对vr全景业务统一操控逻辑、统一显示ui的方案。方便vr全景业务统一快速部署。
154.本发明实施例当启动本地全景视频播放应用时，本地全景视频播放应用调用播放接口，调用3d模型，并将解码后的视频图像渲染到3d模型上，并在必要的时候显示相应的ui界面。可兼容action方式：通过扩展js对象下发启动本地全景视频播放应用的action启动，按键处理交由本地全景视频播放应用。
155.上述两种方案兼容共存，满足运营商建设发展vr全景视频的起步阶段及成熟阶段的差异化实现方案。
156.本发明实施例的vr全景视频控制模块、视频协议及数据处理模块共享。本发明实施例还定制化改造浏览器子系统的按键处理逻辑，简化iptv业务导航处理方向键的逻辑改造工作。
157.本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(readonlymemory，简写为：rom)、随机存取存储器(randomaccessmemory，简写为：ram)、磁盘或光盘等。
158.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

技术特征：
1.一种基于iptv业务的vr全景视频播放系统，其特征在于，包括iptv业务平台和iptv终端；iptv业务平台包括iptv内容运营、iptv业务导航、iptv媒体交付；iptv终端包括iptv终端全景媒体处理系统、显示设备、外部设备；iptv终端全景媒体处理系统包括浏览器子系统、流媒体子系统、图形渲染子系统、web页面呈现窗口模块、vr视频呈现窗口模块和合成模块；浏览器子系统负责解析iptv业务导航对于vr全景内容播放的控制指令，负责接收按键事件，并根据iptv业务导航的要求对流媒体子系统进行vr播放控制，响应媒体播放事件；流媒体子系统提供vr全景特征能力，与iptv媒体交付的交互能力，通过流媒体协议获取视频内容；图形渲染子系统包括3d建模模块和3d模型解析模块，用于对3d模型进行贴图处理；web页面呈现窗口模块负责呈现2d epg页面和iptv业务导航所对应的ui；vr全景视频呈现窗口模块负责显示vr全景视频渲染的3d球形模型；合成模块负责将web页面呈现窗口模块和vr全景视频呈现窗口模块的呈现内容进行合成显示。2.根据权利要求1所述的基于iptv业务的vr全景视频播放系统，其特征在于，浏览器子系统解析并对vr全景播放器对象初始化，包括初始化vr全景播放器对象的api具备的vr全景特征能力；api具备的vr全景特征能力包括视频播放状态控制能力以及视角改变功能，其中，视频播放状态控制能力包括暂停播放、倍速播放、定位播放、切换回直播状态中的一个或多个；视角改变功能包括视角方向变换能力、视角远近变换能力中的一个或多个。3.根据权利要求1所述的基于iptv业务的vr全景视频播放系统，其特征在于，iptv业务平台下发直播列表时，增加参数标识直播节目是否全景视频；iptv终端的直播播放接口被调用时，判断即将播放的直播是否为全景视频，如果是，则启动全景显示，并且捕捉遥控器方向键，实现不同视角切换；在全景播放过程中，用户操作暂停播放、倍速播放、定位播放或切换回直播状态时，iptv终端将按键值发给iptv业务导航或本地全景视频播放应用，由iptv业务导航或本地全景视频播放应用调用相应的播控接口，实现功能；iptv终端接收到相应播控接口的调用请求时，需保证视频在播控操作期间为全景显示；当iptv终端的离开直播接口被调用时，退出全景显示。4.根据权利要求1所述的基于iptv业务的vr全景视频播放系统，其特征在于，iptv业务平台下发点播节目地址时，增加参数标识点播节目是否全景视频，iptv终端的点播播放接口被调用时，判断即将播放的点播是否为全景视频，如果是，则启动全景显示，并且捕捉遥控器的方向键，实现不同视角切换；在全景播放过程中，用户操作暂停播放、倍速播放、定位播放时，iptv终端将按键值发给iptv业务导航或本地全景视频播放应用，由iptv业务导航或本地全景视频播放应用调用相应的播控接口实现功能；iptv终端接收到相应播控接口的调用请求时，需保证视频在播控操作期间为全景显示；当iptv终端的离开点播接口被调用时，退出全景显示。
5.根据权利要求1所述的基于iptv业务的vr全景视频播放系统，其特征在于，基于iptv业务的vr全景视频播放系统包括两种启动iptv终端全景媒体处理系统的方式：由iptv业务导航主导，通过api调用来决定执行改变视角还是改变播放状态的动作；iptv终端在接收到按键事件时，将按键事件发送给iptv业务导航；通过调用iptv终端的本地全景视频播放应用，由iptv终端的本地全景视频播放应用主导：iptv终端在接收到按键事件时，由本地全景视频播放应用来决定执行改变视角还是改变播放状态的动作，ui显示也是由本地全景视频播放应用实现。6.根据权利要求5所述的基于iptv业务的vr全景视频播放系统，其特征在于，iptv全景播放应用根据iptv业务导航调用的扩展js接口，决定启动iptv全景播放应用，决定不启动iptv终端的本地全景播放应用时，具体包括：iptv业务导航调用iptv全景播放的api，iptv终端全景媒体处理系统会将iptv终端调用的vr全景播放器对象返回给iptv业务导航，iptv业务导航根据当前状态调用iptv全景播放对外api，实现全景视频的播放、视角的转动、视角大小的改变、以及相应的ui显示；由iptv业务导航主导，通过api调用来决定执行改变视角还是改变播放状态的动作，iptv终端在接收到按键事件时，将按键事件发送给iptv业务导航。7.根据权利要求5所述的基于iptv业务的vr全景视频播放系统，其特征在于，iptv全景播放应用根据iptv业务导航调用的扩展js接口，决定不启动iptv全景播放应用，决定启动iptv终端的本地全景视频播放应用时，具体包括：本地全景播放应用调用播放接口，创建3d模型，并将解码后的视频图像渲染到3d模型上，并在必要的时候显示相应的ui界面；由iptv终端的本地全景视频播放应用主导，iptv终端在接收到按键事件时，由本地全景视频播放应用来决定执行改变视角还是改变播放状态的动作。8.一种基于iptv业务的vr全景视频播放方法，其特征在于，包括：iptv业务平台下发直播列表时，增加参数标识直播节目是否全景视频；iptv终端的直播播放接口被调用时，判断即将播放的直播是否为全景视频，如果是，则启动全景显示，并且捕捉遥控器方向键，实现不同视角切换；在全景播放过程中，用户操作暂停播放、倍速播放、定位播放或切换回直播状态时，iptv终端将按键值发给iptv业务导航或本地全景视频播放应用，由iptv业务导航或本地全景视频播放应用调用相应的播控接口，实现功能；iptv终端接收到相应播控接口的调用请求时，需保证视频在播控操作期间为全景显示；当iptv终端的离开直播接口被调用时，退出全景显示；iptv业务平台下发点播节目地址时，增加参数标识点播节目是否全景视频，iptv终端的点播播放接口被调用时，判断即将播放的点播是否为全景视频，如果是，则启动全景显示，并且捕捉遥控器的方向键，实现不同视角切换；在全景播放过程中，用户操作暂停播放、倍速播放、定位播放时，iptv终端将按键值发给iptv业务导航或本地全景视频播放应用，由iptv业务导航或本地全景视频播放应用调用相应的播控接口实现功能；iptv终端接收到相应播控接口的调用请求时，需保证视频在播控操作期间为全景显示；当iptv终端的离开点播接口被调用时，退出全景显示。9.根据权利要求8所述的基于iptv业务的vr全景视频播放方法，其特征在于，由iptv业务导航主导时，具体包括：iptv全景播放应用根据iptv业务导航调用的扩展js接口，决定是否启动iptv全景播放
应用；当iptv业务导航选择调用iptv全景播放的api时，iptv终端全景媒体处理系统会将iptv终端调用的vr全景播放器对象返回给iptv业务导航，iptv业务导航根据当前状态调用iptv全景播的对外api，实现全景视频的播放、视角的转动、视角大小的改变、以及相应的ui显示；由iptv业务导航主导，通过api调用来决定执行改变视角还是改变播放状态的动作，iptv终端在接收到按键事件时，将按键事件发送给iptv业务导航。10.根据权利要求8所述的基于iptv业务的vr全景视频播放方法，其特征在于，本地全景视频播放应用调用相应的播控接口实现功能，具体包括：iptv全景播放应用根据iptv业务导航调用的扩展js接口，决定是否启动iptv全景播放应用；当启动本地全景播放应用时，本地全景播放应用调用播放接口，调用3d模型，并将解码后的视频图像渲染到3d模型上，并在必要的时候显示相应的ui界面；由iptv终端的本地全景视频播放应用主导，iptv终端在接收到按键事件时，由本地全景视频播放应用来决定执行改变视角还是改变播放状态的动作。

技术总结
本发明涉及一种基于IPTV业务的VR全景视频播放方法和系统。包括IPTV业务平台和IPTV终端；IPTV业务平台包括IPTV内容运营、IPTV业务导航、IPTV媒体交付；IPTV终端包括IPTV终端全景媒体处理系统、显示设备、外部设备；IPTV终端全景媒体处理系统包括浏览器子系统、流媒体子系统、图形渲染子系统、WEB页面呈现窗口模块、VR视频呈现窗口模块和合成模块。IPTV应用根据IPTV业务导航调用的扩展JS接口，决定是否启动IPTV终端的本地全景播放应用。当启动IPTV终端的本地全景播放应用时，本地应用调用播放接口，创建3D模型，并将解码后的视频图像渲染到3D模型上，并在必要的时候显示相应的UI界面。本发明将IPTV业务平台与IPTV终端能力结合来实现IPTV支持VR全景多媒体业务服务能力。实现IPTV支持VR全景多媒体业务服务能力。实现IPTV支持VR全景多媒体业务服务能力。


技术研发人员：姜超 熊伟成 李明
受保护的技术使用者：烽火通信科技股份有限公司
技术研发日：2022.08.22
技术公布日：2023/8/24