一种参数指标的计算方法及相关设备与流程

未命名 07-23 阅读:96 评论:0


1.本技术实施例涉及数据处理技术领域,尤其涉及一种参数指标的计算方法及相关设备。


背景技术:

2.随着科技及社会的不断发展,为了满足不同网络环境、不同终端设备和/或不同用户需求,通常需要对视频流进行转码处理,从而将视频流转换为不同编码格式、不同分辨率和/或不同码率的转码流。在采用分布式转码方案进行视频转码的时候,需要使用到每台服务器设备中的中央处理器(cpu,central processing unit)/内存/硬盘等计算资源。例如,可以通过均分方案,对集群中所有设备进行均分参数指标。也可以通过人工调优方案,对集群中所有设备进行手动调整参数指标测试,直到得到每台设备的最佳参数指标。
3.但是,对于均分方案而言,当服务器设备资源使用过高或过低时,因设备配置不同、运行的服务不同,所剩资源也会有所不同,若均分则会出现有的设备未能充分利用到,而有的设备资源又过度使用,最终的转码任务出现失败或过慢的情况。对于人工调优方案而言,服务器设备资源在每天每个时间段动态使用情况有所差异,若每次进行人工调优,将会耗费漫长的时间代价。


技术实现要素:

4.本技术实施例提供了一种参数指标的计算方法及相关设备,用于从复杂抽象的场景中获取到可观测到的转码参数,从而计算出调整节点设备的参数指标,以尽可能的减少计算难度。
5.本技术实施例第一方面提供了一种参数指标的计算方法,包括:
6.记录转码任务相关的目标节点设备和与所述目标节点设备对应的转码参数数据;
7.判断相邻两个所述转码参数数据是否满足第一预设条件;
8.若是,获取与所述目标节点设备对应的所述转码参数数据,并判断除所述目标节点设备的其他节点设备对应的转码参数数据是否满足第二预设条件;
9.当所述其他节点设备对应的转码参数数据满足所述第二预设条件时,获取与所述其他节点设备对应的转码参数数据;
10.将与所述目标节点设备及所述其他节点设备对应的所有转码参数数据输入预设的参数指标模型,得到与任一节点设备对应的参数指标数据,以使得任一节点设备根据所述参数指标数据执行所述转码任务。
11.可选地,所述记录转码任务相关的目标节点设备和与所述目标节点设备对应的转码参数数据包括:
12.增加所述目标节点设备的计算节点数据,以根据所述计算节点数据确定所述目标节点设备的转码耗时数据;
13.获取多个所述计算节点数据和每个计算节点数据对应的转码耗时数据。
14.可选地,所述判断相邻两个所述转码参数数据是否满足第一预设条件包括:
15.判断当前转码耗时数据是否于预设次数内,不小于与所述当前转码耗时数据相邻的历史转码耗时数据;
16.若是,执行所述获取与所述目标节点设备对应的所述转码参数数据的步骤;
17.若否,执行所述增加所述目标节点设备的计算节点数据的步骤。
18.可选地,所述判断除所述目标节点设备的其他节点设备对应的转码参数数据是否满足第二预设条件之后,所述方法还包括:
19.当所述其他节点设备对应的转码参数数据不满足所述第二预设条件时,将所述其他节点设备更换为所述目标节点设备,并执行所述记录转码任务相关的目标节点设备和与所述目标节点设备对应的转码参数数据的步骤。
20.可选地,所述将与所述目标节点设备及所述其他节点设备对应的所有转码参数数据输入预设的参数指标模型,得到与任一节点设备对应的参数指标数据包括:
21.确定与所述目标节点设备及所述其他节点设备对应的所有计算节点数据及最小转码耗时数据;其中,所述最小转码耗时数据为节点设备进行转码时耗时时间最小的转码耗时数据;
22.根据与其他节点设备对应的所有所述最小转码耗时数据的乘积确定所述目标节点设备的节点总权重数据;
23.根据所述节点总权重数据与所述目标节点设备对应的计算节点数据的商,确定所述目标节点设备的计算节点权重数据。
24.可选地,所述根据所述节点总权重数据与所述目标节点设备对应的计算节点数据的商,确定所述目标节点设备的计算节点权重数据之后,所述方法还包括:
25.将所述目标节点设备替换为所述其他节点设备中任一节点设备,并确定任一节点设备为第一节点设备;
26.确定所述第一节点设备及除所述第一节点设备外的其他所有节点设备;其中,所述其他所有节点设备至少包括所述目标节点设备;
27.获取所述第一节点设备及其他所有节点设备对应的所有计算节点数据及最小转码耗时数据,并执行所述根据与其他节点设备对应的所有所述最小转码耗时数据的乘积确定所述目标节点设备的节点总权重数据的步骤。
28.可选地,所述当所述其他节点设备对应的转码参数数据满足所述第二预设条件时,获取与所述其他节点设备对应的转码参数数据包括:
29.当所述其他节点设备对应的所有转码参数数据均已计算完成,获取所述其他节点设备对应的所有转码参数数据。
30.本技术实施例第二方面提供了一种参数指标的计算系统,包括:
31.记录单元,用于记录转码任务相关的目标节点设备和与所述目标节点设备对应的转码参数数据;
32.判断单元,用于判断相邻两个所述转码参数数据是否满足第一预设条件;
33.获取单元,用于当相邻两个所述转码参数数据满足第一预设条件时,获取与所述目标节点设备对应的所述转码参数数据,并判断除所述目标节点设备的其他节点设备对应的转码参数数据是否满足第二预设条件;
34.所述获取单元,还用于当所述其他节点设备对应的转码参数数据满足所述第二预设条件时,获取与所述其他节点设备对应的转码参数数据;
35.输入单元,用于将与所述目标节点设备及所述其他节点设备对应的所有转码参数数据输入预设的参数指标模型,得到与任一节点设备对应的参数指标数据,以使得任一节点设备根据所述参数指标数据执行所述转码任务。
36.本技术实施例第二方面提供的用于执行第一方面所述的计算方法。
37.本技术实施例第三方面提供了一种参数指标的计算装置,包括:
38.中央处理器,存储器,输入输出接口,有线或无线网络接口以及电源;
39.所述存储器为短暂存储存储器或持久存储存储器;
40.所述中央处理器配置为与所述存储器通信,并执行所述存储器中的指令操作以执行第一方面所述的计算方法。
41.本技术实施例第四方面提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括指令,当所述指令在计算机上运行时,使得计算机执行第一方面所述的计算方法。
42.从以上技术方案可以看出,本技术实施例具有以下优点:通过本技术实施例公开的一种参数指标的计算方法,先记录转码任务相关的目标节点设备和与目标节点设备对应的转码参数数据;再判断相邻两个转码参数数据是否满足第一预设条件;然后,若是,获取与目标节点设备对应的转码参数数据,并判断除目标节点设备的其他节点设备对应的转码参数数据是否满足第二预设条件;其次,当其他节点设备对应的转码参数数据满足第二预设条件时,获取与其他节点设备对应的转码参数数据;最后,将与目标节点设备及其他节点设备对应的所有转码参数数据输入预设的参数指标模型,得到与任一节点设备对应的参数指标数据,以使得任一节点设备根据参数指标数据执行转码任务。从而,可以从复杂抽象的场景中获取到可观测到的转码参数,从而计算出可调整节点设备的参数指标,以尽可能的减少计算难度,也可以尽可能地避免节点设备出现未能充分利用或者过度使用的框框,从而避免转码任务出现失败或过慢的情况。
附图说明
43.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
44.图1为本技术实施例公开的一种参数指标的计算系统的架构示意图;
45.图2为本技术实施例公开的一种参数指标的计算方法的流程示意图;
46.图3为本技术实施例公开的另一种参数指标的计算方法的流程示意图;
47.图4为本技术实施例公开的一种参数指标的计算系统的结构示意图;
48.图5为本技术实施例公开的一种参数指标的计算装置的结构示意图。
具体实施方式
49.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于
本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
50.由上述的背景技术可知,本技术实施例所要解决的实际的技术问题是,在运用集群服务器进行分布式视频转码方案(即一种分布式转码方案)进行视频转码时,自动计算出每个服务器设备分配进程节点数、转码任务占比等分布式参数指标(即参数指标)的最佳性能方案。
51.由此,本技术实施例公开了一种参数指标的计算方法,可以一键完成分布式转码方案最佳性能参数指标的计算,省去人工调优环节,使得集群中设备资源都能得到合理最佳使用。即得到最佳的权重分配值、不同设备计算节点数量的组合,用以将性能和资源更优秀的设备承担多的转码任务,稍劣的设备承担较少的转码任务,最终达到分布式转码中个节点同时完成的效果。
52.请参阅图1,图1为本技术实施例公开的一种参数指标的计算系统的架构示意图。包括控制器101、计数器102、计算器103及多个节点设备104(节点设备1、节点设备2、节点设备3、....、节点设备n)。需要说明的是,节点设备104与设备节点可以理解为同一设备,为方便理解和描述,后续不再对此进行赘述。同时,控制器101、计数器102及计算器103均与节点设备104连接。
53.其中,控制器101、计数器102及计算器103均属于同一计算装置中的装置结构。同时,控制器101用于控制分布式节点设备104进行转码计算任务的管理。计数器102用于将需要保存的数据记录下来。计算器103用于按照预设的公式,将计数器102中记录的数据进行计算,得到最终的目标数据。再有,集群中的独立的物理设备(服务器)就是一个节点设备104,而在集群中每个物理设备(服务器,即节点设备104)上运行的转码任务进程即为计算节点,具体此处不做赘述。
54.上述服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云数据库、云服务、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。
55.为方便对上述中所描述的控制器101、计数器102、计算器103及节点设备104进行进一步的描述,请参阅图2和图3。
56.请参阅图2,图2为本技术实施例公开的一种参数指标的计算方法的流程示意图。包括步骤201-步骤205。
57.201、记录转码任务相关的目标节点设备和与目标节点设备对应的转码参数数据。
58.由图1描述可知,在转码任务的执行过程中,通常需要调用多个节点设备,并执行相对应的转码任务。但不难理解的是,在个别或特殊的转码任务中,也存在仅需一个节点设备即可执行该转码任务的情况。为方便理解和描述,后续以多个节点设备进行详细描述。还需要说明的是,节点设备与设备节点,在本实施例中,均属于同一类设备,后续不再对此进行赘述。
59.由此,在转码任务执行之前,计数器可以针对于某一节点设备,获取到该节点设备的转码参数数据。不难理解的是,当前的计数器所针对的节点设备即为上述中所描述的目标节点设备。
60.在其中一个具体的实施例中,转码参数数据是与转码任务相关联的参数数据。其中,该转码参数数据至少包括目标节点设备的计算节点数(即上述中的计算节点数据)或转码耗时(即上述中的转码耗时数据)等,具体此处不对转码参数数据所包含的内容进行限制。例如,该转码参数数据还可以包括目标节点设备的所分配的媒资大小或该目标节点设备的转码速度等,具体此处不进行一一说明。
61.在另外一个具体的实施例中,装置中的计数器可以通过与服务器中的设备节点的通信连接,获取到该设备节点转码耗时最小时所运行的进程数,即该设备节点的计算节点数量(计算节点数据),对应的,在该进程数中,存在多个转码耗时时间,计数器可以全部进行记录,例如,在当前统计周期内的转码耗时时间,以及在当前统计周期前的上一个或上几个周期内的转码耗时时间。再有,也可以仅记录在一次计数范围内,耗时时间最小的转码耗时数据,具体此处不做限制,后续也不再对此进行赘述。
62.202、判断相邻两个转码参数数据是否满足第一预设条件。
63.在上述步骤中,获取到目标节点设备下的转码参数数据中,便可以判断相邻两个转码参数数据是否满足第一预设条件。
64.在其中一个具体的实施例中,可以比对耗时时间是否发生改变。具体的,可以比对本次转码耗时数据及上一记录中转码耗时数据,并判断这两者转码耗时数据是否满足第一预设条件。
65.基于上述实施例,在另外一个具体的实施例中,第一预设条件可以是在多次的记录周期中,当前转码耗时数据是否不小于上一次转码耗时数据。若是,则执行步骤203。基于该实施例,多次可以是3次,也可以是4次,具体此处不对具体的次数进行限制,但需要注意的是,需要满足一定的限制条件,过多的次数,容易导致时间变长,以导致效率变低。
66.例如,在其中一个实施例中,控制器可以统计在连续三次记录下当前转码耗时数据是否不小于上一次转码耗时数据,对应的,计算器则比对当前转码耗时数据与上一次转码耗时数据的大小。若是,则执行步骤203。
67.203、获取与目标节点设备对应的转码参数数据,并判断除目标节点设备的其他节点设备对应的转码参数数据是否满足第二预设条件。
68.当转码参数数据满足第一预设条件后,计数器便可以获取到所有的记录数据。然后,便可以判断除开目标节点设备外的其他节点设备的转码参数数据是否满足第二预设条件。
69.在其中一个具体的实施例中,计数器可以获取到与目标节点设备相关联的所有的转码参数数据,即多个计算节点数据及每个计算节点数据对应的多个转码耗时数据。然后,控制器便可以判断所有的节点设备是否全部计算完成。不难理解的是,本实施例中仅以目标节点设备进行详细说明,对于其他节点设备而言,其执行步骤类似,具体此处不进行赘述。对应的,该装置可以逐一计算各个节点设备的转码参数数据,也可以同时进行计算,具体此处不做限制。若其他节点设备的转码参数数据也已计算完成,则确定满足第二预设条件,即执行步骤204。
70.在另外一个具体的实施例中,控制器可以判断所有的节点设备(包括目标节点设备及其他节点设备)是否已经全部经过调试或测试。具体的,该调试或测试步骤可以理解为,任一节点设备是否已获取到满足转码任务要求的最小的转码耗时时间。不难理解的是,
也可以基于其他的判断条件确定全部的节点设备是否已经调试或测试完成,具体此处不做赘述。
71.204、当其他节点设备对应的转码参数数据满足第二预设条件时,获取与其他节点设备对应的转码参数数据。
72.当其他的节点设备对应的转码参数数据均满足上述中所描述的第二预设条件时,便可以获取到其他节点设备对应的转码参数数据。具体的,此时的其他节点设备的转码参数数据即包括多个计算节点数据及不同计算阶段数据对应的多个转码耗时数据。不难理解的是,步骤204中的转码参数数据是包括不同节点设备对应的计算节点数据及转码耗时数据。为方便理解和描述,后续将对此进行详细赘述。
73.205、将与目标节点设备及其他节点设备对应的所有转码参数数据输入预设的参数指标模型,得到与任一节点设备对应的参数指标数据,以使得任一节点设备根据所述参数指标数据执行所述转码任务。
74.当获取到目标节点设备及其他节点设备对应的所有转码参数数据后,便可以将上述中的所有转码参数数据输入至预先设置的参数指标模型,从而得到与任一节点设备对应的参数指标数据。
75.在其中一个具体的实施例中,预设的参数指标模型可以理解为一种参数指标计算公式,其中,该计算公式可以根据上述中的转码参数数据,通过计算后,得到任一节点设备对应的参数指标数据。
76.基于上述实施例,在另外一个具体的实施例中,参数指标数据至少包括任一节点设备的节点总权重数据或计算节点权重数据。不难理解的是节点总权重数据可以理解为该节点设备在整个转码任务中,所占的权重值。而对应的计算节点权重数据则可以理解为在该节点设备上,每个计算进程所占权重数,换言之,也可以理解为该节点设备上,所有计算进程的平均权重数,
77.需要说明的是,基于上述实施例,在另外一个具体的实施例中,除了获取到目标节点设备的参数指标数据外,基于相同的参数指标模型,也可以获取到其他节点设备的参数指标数据。具体的获取步骤与目标节点设备的获取步骤类似,此处不进行赘述。还需要说明的是,参数指标模型的获取过程,是通过与转码任务相关联的参数数据进行转化后得到的,后续将对此进行详细说明,请参阅图3。
78.通过本实施例公开的一种参数指标的计算方法,先记录转码任务相关的目标节点设备和与目标节点设备对应的转码参数数据;再判断相邻两个转码参数数据是否满足第一预设条件;然后,若是,获取与目标节点设备对应的转码参数数据,并判断除目标节点设备的其他节点设备对应的转码参数数据是否满足第二预设条件;其次,当其他节点设备对应的转码参数数据满足第二预设条件时,获取与其他节点设备对应的转码参数数据;最后,将与目标节点设备及其他节点设备对应的所有转码参数数据输入预设的参数指标模型,得到与任一节点设备对应的参数指标数据,以使得任一节点设备根据参数指标数据执行转码任务。从而,可以从复杂抽象的场景中获取到可观测到的转码参数,从而计算出可调整节点设备的参数指标,以尽可能的减少计算难度,也可以尽可能地避免节点设备出现未能充分利用或者过度使用的框框,从而避免转码任务出现失败或过慢的情况。
79.为方便对本技术实施例公开的一种参数指标的计算方法进行详细描述,请参阅图
3,图3为本技术实施例公开的另一种参数指标的计算方法的流程示意图。包括步骤301-步骤310。
80.301、增加目标节点设备的计算节点数据,以根据计算节点数据确定目标节点设备的转码耗时数据。
81.在执行转码任务之前,可以通过控制器对于转码任务的管理,控制节点设备进行相应的计算任务,从而获取到该节点设备的分布式参数指标。
82.在其中一个具体的实施例中,可以通过对单个节点设备增加计算节点(即每个节点设备上运行的转码任务进程),从而增加对应的dcn转码。具体的,dcn可以理解为节点设备中计算节点数量,即耽改设备单独转码耗时最小时所运行的进程数。需要说明的是,一个节点设备上可以运行多个进程。一个节点设备可以指一台服务器,计算节点指的是计算进程。对应的,计算节点与计算进程相同,计算节点数与计算进程数相同。
83.基于上述实施例,在另外一个具体的实施例中,为方便后续理解和描述,将当前控制器所调控的节点设备定义为目标节点设备。通过在一次记录周期内,调整目标节点设备的dcn节点数,从而获取到在该dcn节点数下的转码耗时ts。对应的,ts即为节点设备的转码耗时时间,单位为秒。不难理解的是,其中,dcn即为上述中所描述的计算节点数据,ts即为上述中所描述的转码耗时数据。
84.302、获取多个计算节点数据和每个计算节点数据对应的转码耗时数据。
85.本实施例中步骤302与前述图2中步骤201类似,具体此处不做赘述。但需要说明的是,步骤302中所描述的多个计算节点数据和每个计算节点数据对应的转码耗时数据,是在对目标节点设备通过多次调控后所获取到的数据。
86.在其中一个具体的实施例中,计数器可以记录该节点设备在不同记录周期内的计算节点数据dcn及该计算节点数据对应的转码耗时数据ts。
87.303、判断当前转码耗时数据是否于预设次数内,不小于与当前转码耗时数据相邻的历史转码耗时数据。若是,执行步骤304;若否,执行步骤301。
88.本实施例中步骤303与前述图2中步骤202类似,具体此处不做赘述。但需要说明的是,计算器可以通过比对本次转码耗时ts与上一次耗时ts。即,计算器可以通过比对在当前记录周期内的转码耗时数据及上一记录周期内的转码耗时数据(即上述中所描述的历史转码耗时数据),从而获取一个比对结果。当在比对结果中,连续次数内,当前转码耗时数据大于或等于历史转码耗时数据,则执行步骤304;若小于,则执行步骤301。
89.基于上述实施例,在另外一个具体的实施例中,当前转码耗时数据需要理解为在当前的记录周期内的转码耗时数据,在下一记录周期,当前转码耗时数据则成为历史转码耗时数据,后续不再对此进行赘述。同时,不难理解的是,预设次数基于步骤202的描述,可以将预设次数设置为3次或4次等,具体此处不做限制。即,控制器在根据连续3次的比对结果中,确定当前转码耗时数据大于或等于历史转码耗时数据,则执行步骤304;若是小于,则执行步骤301。
90.还需要理解的是,在重新执行步骤301时,仍是对目标节点设备增加计算节点dcn,从而改变该目标节点设备的转码耗时数据。但需要说明的是,不能一直增加计算进程,只能在一定范围内增加计算进程,否则达到计算进程数的某一临界值后,反而导致耗时时间越来越长,因此,当发现耗时时间不再减少或甚至增加时,就不能在增加计算节点。
91.304、获取与目标节点设备对应的转码参数数据,并判断除目标节点设备的其他节点设备对应的转码参数数据是否满足第二预设条件。若否,执行步骤305;若是,执行步骤306。
92.基于上述步骤303,此时,由于当前主要描述的是目标节点设备的判断过程,因此计数器可以获取到与目标节点设备对应的转码参数数据。不难理解的是,此时的转码参数数据可以包括目标节点设备,在所有记录周期内的所有计算节点数据及转码耗时数据,也可以是获取到其中具有最小耗时的转码耗时数据及其对应的计算节点数据。具体此处不做限制。当获取到转码参数数据后,便可以判断除开目标节点设备外的其他节点设备对应的转码参数数据是否满足第二预设条件。
93.在其中一个实施例中,本实施例中步骤304可参阅前述图2中步骤203,具体此处不进行赘述。但需要说明的是,当其他节点设备对应的转码参数数据满足第二预设条件时,执行步骤306;若不满足第二预设条件时,执行步骤305。
94.305、将其他节点设备更换为目标节点设备。执行步骤301。
95.具体的,更换节点设备。在其中一个具体的实施例中,若所有的节点设备并未计算过,则将未被计算过的节点设备修改为目标节点设备,从而执行步骤301。可以理解的是,该步骤的意思为,将其他未被计算过的节点设备作为目标节点设备,从而执行步骤301-步骤304,以确定所有节点设备的转码参数数据。
96.基于上述实施例,在另外一个具体的实施例中,例如,对于图1而言,目标节点设备是节点设备1,由于节点设备还存在节点设备2、节点设备3及节点设备4。由此,便需要通过控制器调控节点设备2的计算节点数,从而记录节点设备2的转码耗时时间及其他与转码任务相关的参数数据。具体此处不进行赘述。
97.306、获取与其他节点设备对应的转码参数数据。
98.此时,计数器可以获取到其他节点设备对应的转码参数数据。不难理解的是,其他节点设备对应的转码参数数据是包括不同节点设备对应的计算节点数据及转码耗时数据。为方便理解和描述,后续将对此进行详细赘述。
99.307、确定与目标节点设备及其他节点设备对应的所有计算节点数据及最小转码耗时数据。
100.由上述步骤描述可知,此时,可以获取到所有节点设备的所有计算节点数据及转码耗时数据。不难理解的是,为方便后续计算,将此时的转码耗时数据可以理解为具有最小耗时时间的最小转码耗时数据。对应的,最小转码耗时数据也会对应计算节点数据。
101.在其中一个具体的实施例中,为方便理解,对于不同的节点设备的计算节点数据,定义为dcn1、dcn2、dcn3、...、dcn
x
。其中,x表示节点设备x,dcn
x
则表示节点设备x的计算节点数据,或该设备单独转码耗时最小时所运行的进程数。ts表示设备转码耗时,单位为秒。对应的ts
min
则表示节点设备转码最小耗时,单位为秒。ts
min_n
则表示节点设备n的最小转码耗时数据。不难理解的是,
102.308、根据与其他节点设备对应的所有最小转码耗时数据的乘积确定目标节点设备的节点总权重数据,并根据节点总权重数据与目标节点设备对应的计算节点数据的商,确定目标节点设备的计算节点权重数据。
103.基于上述描述,可以基于其他节点设备对应的最小转码耗时数据的乘积确定目标
节点设备的节点总权重数据,并根据节点总权重数据与目标节点设备对应的计算节点数据的商,确定目标节点设备的计算节点权重数据。
104.需要提前说明的是,上述的乘积或商均是通过一系列的公式变形后所得到的数据,以下将对此进行详细说明。
105.需要提前说明的是,转码耗时即为对视频媒资转码耗费时间,单位为秒。最佳参数指标组合,即在充分合理利用各设备计算资源后,最快速完成视频转码(同一视频文件转码耗时最短)的参数指标组合。设备节点计算节点数量dcn(节点计算数据),即当该设备单独转码耗时最小时所运行的进程数。设备节点总权重数dq(即为上述中所描述的节点总权重数据)。设备节点上计算节点权重数cq(即为上述中所描述的计算节点权重数据),cq=dq/dcn。其中,cq可以理解为该节点设备上,每个计算进程所占权重数,也可以理解为该设备上,所有计算进程的平均权重数。分布式转码总耗时td,单位为秒。分布式转码单设备耗时tdd
x
,单位为秒,例如:tdd1、tdd2。其中,x表示节点设备x。单设备转码耗时ts,单位为秒。单设备转码最小耗时ts
min
,单位为秒。设备转码速度v,单位为mb/s。设备转码最大速度v
max
,单位为mb/s。总媒资文件大小m,单位为mb。单设备分得媒资大小dmn,单位为mb,例如:dm1、dm2等。不难理解的是,为方便理解和描述,后续不再对符号所表达的含义进行赘述。
106.经过验证测试,当分布式方案中所有的节点设备接近同时完成转码时,所有计算资源运用得最均衡,此时为最快速转码的资源利用方案,因此,分布式方案中每个节点设备的耗时tdd
x
可近似为总方案的耗时td即tdd
x
=td,而经过测试验证,在单设备转码时,在一定范围内增加转码进程数(dcn)可以降低单设备转码耗时最终可得到最小耗时ts
min

107.首先定义节点设备编号:1、2、3、4.....n。
108.对节点设备1进行计算:
109.单设备转码时,转码最大速率=总媒资文件大小/节点设备转码最小耗时:
110.①vmax_1
=m/ts
min_1
(不难理解的是,ts
min_1
表示节点设备1的最小转码耗时)
111.分布式转码时,因tdd
x
=td且,节点设备1分得媒资大小=转码最大速率
×
分布式转码单设备耗时,可转化为节点设备1分得媒资大小=转码最大速率
×
分布式转码总耗时:
112.②
dm1=v
max_1
×
td
113.①②
结合则有:
114.dm1=m
×
td/ts
min_1
115.同理:
116.dm2=m
×
td/ts
min_2
117.....
118.dmn=m
×
td/ts
min_n
119.而m=dm1+dm2+dm3+...+dmn,即
120.m=(m
×
td/ts
min_1
)+(m
×
td/ts
min_2
)+...+(m
×
td/ts
min_n
),不难理解的是,ts
min_n
表示节点设备n的最小转码耗时。
121.因权重占比等于节点设备分得媒资大小占媒资文件大小的比重,则有:
122.③
[0123][0124]
其中,需要理解的是,dmn表示的是节点设备n分得媒资大小,dqn表示节点设备n的总权重数(即节点总权重数据)
[0125]
化简分式整理得:
[0126]
dq1/qt=gn(1)/(gn(1)+gn(2)+..+gn(n))
[0127]
其中gn(x),表示以ts
min_1
,ts
min_2
,ts
min_3
,...ts
min_n
为集合中除ts
min_x
外其他元素之积。例如:
[0128]gn
(1)=ts
min_2
×
ts
min_3
×
ts
min_4
×
...
×
ts
min_n
,ts
min_1
除外;
[0129]gn
(2)=ts
min_1
×
ts
min_3
×
ts
min_4
×
...
×
ts
min_n
,ts
min_2
除外;
[0130]
......
[0131]gn
(n)=ts
min_1
×
ts
min_3
×
ts
min_4
×
...
×
ts
min_n-1
,ts
min_n
除外。
[0132]
因:权重的意义在于用占比来控制节点设备所分得转码媒资大小占总转码媒资文件大小的比,因此,对于目标节点设备,即节点设备1而言,只要满足上述dq1/qt的比重即可。则:
[0133]
令qt=gn(1)+gn(2)+gn(3)+..+gn(x)
[0134]
dq1=gn(1)=ts
min_2
×
ts
min_3
×
ts
min_4
×
...
×
ts
min_n
[0135]
cq1=dq1/dcn1。
[0136]
最终,仅需计算每个设备进行单设备转码时最小耗时ts
min_1
和dcn即可得到最佳的权重dq1,即可获得目标节点设备的节点总权重数据dq1和计算节点权重数据cq1。
[0137]
309、将目标节点设备替换为其他节点设备中任一节点设备,确定任一节点设备为第一节点设备,并确定第一节点设备及除第一节点设备外的其他所有节点设备。
[0138]
基于步骤308的计算公式,便将目标节点设备替换为其他节点设备中的任一节点设备,并确定任一节点设备为第一节点设备,从而确定除开第一节点设备外的其他节点设备。
[0139]
具体的,原本的目标节点设备为节点设备1,假设第一节点设备为节点设备2,此时,其他的节点设备则是节点设备1、节点设备3、......、节点设备n。
[0140]
310、获取第一节点设备及其他所有节点设备对应的所有计算节点数据及最小转码耗时数据。
[0141]
从而,基于步骤308中的计算公式,获取到第一节点设备及其他节点设备对应的计算节点数据dcn和最小转码耗时数据ts
min
。从而执行步骤308。
[0142]
在其中一个具体的实施例中,以第一节点设备进行举例,此时,对应的公式应为dq2=gn(2)=ts
min_1
×
ts
min_3
×
ts
min_4
×
...
×
ts
min_n
,cq2=dq2/dcn2。从而获取到第一节点设备的节点总权重数据dq2和计算节点权重数据cq2。
[0143]
在另外一个具体的实施例中,其他节点设备的计算步骤也可参阅步骤308-步骤
310,具体此处不做赘述。
[0144]
通过本实施例公开的一种参数指标的计算方法,可以从复杂抽象的场景中推导出具体的可观测数据的计算公式及其算法,同时,在转码任务的计算过程中,仅需计算节点设备的转码时最小耗时ts
min_x
和计算节点数dcn
x
便可确定出对应节点设备的最佳权重值dq
x
。从而,可以减少在转码任务过程中,部分数据的获取难度,以及计算难度。同时,也尽可能地增加了方案的可适用性。
[0145]
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0146]
若方案涉及敏感信息(如用户信息、企业信息),则应当说明针对敏感信息的收集、使用和处理需要遵守相关国家和地区的法律法规和标准,且需要在相应主体(如用户或企业等)许可或同意的情况下进行。
[0147]
请参阅图4,图4为本技术实施例公开的一种参数指标的计算系统的结构示意图。
[0148]
记录单元401,用于记录转码任务相关的目标节点设备和与目标节点设备对应的转码参数数据;
[0149]
判断单元402,用于判断相邻两个转码参数数据是否满足第一预设条件;
[0150]
获取单元403,用于当相邻两个转码参数数据满足第一预设条件时,获取与目标节点设备对应的转码参数数据,并判断除目标节点设备的其他节点设备对应的转码参数数据是否满足第二预设条件;
[0151]
获取单元403,还用于当其他节点设备对应的转码参数数据满足第二预设条件时,获取与其他节点设备对应的转码参数数据;
[0152]
输入单元404,用于将与目标节点设备及其他节点设备对应的所有转码参数数据输入预设的参数指标模型,得到与任一节点设备对应的参数指标数据,以使得任一节点设备根据参数指标数据执行转码任务。
[0153]
示例性地,系统还包括:增加单元405;
[0154]
增加单元405,用于增加目标节点设备的计算节点数据,以根据计算节点数据确定目标节点设备的转码耗时数据;
[0155]
获取单元403,具体用于获取多个计算节点数据和每个计算节点数据对应的转码耗时数据。
[0156]
示例性地,系统还包括:执行单元406;
[0157]
判断单元402,具体用于判断当前转码耗时数据是否于预设次数内,不小于与当前转码耗时数据相邻的历史转码耗时数据;
[0158]
执行单元406,用于当当前转码耗时数据于预设次数内,不小于与当前转码耗时数据相邻的历史转码耗时数据时,执行获取与目标节点设备对应的转码参数数据的步骤;
[0159]
执行单元406,还用于用于当当前转码耗时数据于预设次数内,小于与当前转码耗
时数据相邻的历史转码耗时数据时,执行增加目标节点设备的计算节点数据的步骤。
[0160]
示例性地,系统还包括:更换单元407;
[0161]
更换单元407,用于当其他节点设备对应的转码参数数据不满足第二预设条件时,将其他节点设备更换为目标节点设备,并执行记录转码任务相关的目标节点设备和与目标节点设备对应的转码参数数据的步骤。
[0162]
示例性地,系统还包括:确定单元408;
[0163]
确定单元408,用于确定与目标节点设备及其他节点设备对应的所有计算节点数据及最小转码耗时数据;其中,最小转码耗时数据为节点设备进行转码时耗时时间最小的转码耗时数据;
[0164]
确定单元408,还用于根据与其他节点设备对应的所有最小转码耗时数据的乘积确定目标节点设备的节点总权重数据;
[0165]
确定单元408,还用于根据节点总权重数据与目标节点设备对应的计算节点数据的商,确定目标节点设备的计算节点权重数据。
[0166]
示例性地,系统包括:
[0167]
更换单元407,还用于将目标节点设备替换为其他节点设备中任一节点设备,并确定任一节点设备为第一节点设备;
[0168]
确定单元408,还用于确定第一节点设备及除第一节点设备外的其他所有节点设备;其中,其他所有节点设备至少包括目标节点设备;
[0169]
获取单元403,还用于获取第一节点设备及其他所有节点设备对应的所有计算节点数据及最小转码耗时数据,并执行根据与其他节点设备对应的所有最小转码耗时数据的乘积确定目标节点设备的节点总权重数据的步骤。
[0170]
示例性地,系统包括:
[0171]
获取单元403,具体用于当其他节点设备对应的所有转码参数数据均已计算完成,获取其他节点设备对应的所有转码参数数据。
[0172]
下面请参阅图5,本技术实施例公开的一种参数指标的计算装置的结构示意图包括:
[0173]
中央处理器501,存储器505,输入输出接口504,有线或无线网络接口503以及电源502;
[0174]
存储器505为短暂存储存储器或持久存储存储器;
[0175]
中央处理器501配置为与存储器505通信,并执行存储器505中的指令操作以执行前述图2或图3所示实施例中的方法。
[0176]
本技术实施例还提供一种芯片系统,其特征在于,芯片系统包括至少一个处理器和通信接口,通信接口和至少一个处理器通过线路互联,至少一个处理器用于运行计算机程序或指令,以执行前述图2或图3所示实施例中的计算方法。
[0177]
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0178]
在本技术所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件
可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0179]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0180]
另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0181]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

技术特征:
1.一种参数指标的计算方法,其特征在于,所述方法包括:记录转码任务相关的目标节点设备和与所述目标节点设备对应的转码参数数据;判断相邻两个所述转码参数数据是否满足第一预设条件;若是,获取与所述目标节点设备对应的所述转码参数数据,并判断除所述目标节点设备的其他节点设备对应的转码参数数据是否满足第二预设条件;当所述其他节点设备对应的转码参数数据满足所述第二预设条件时,获取与所述其他节点设备对应的转码参数数据;将与所述目标节点设备及所述其他节点设备对应的所有转码参数数据输入预设的参数指标模型,得到与任一节点设备对应的参数指标数据,以使得任一节点设备根据所述参数指标数据执行所述转码任务。2.根据权利要求1所述的计算方法,其特征在于,所述记录转码任务相关的目标节点设备和与所述目标节点设备对应的转码参数数据包括:增加所述目标节点设备的计算节点数据,以根据所述计算节点数据确定所述目标节点设备的转码耗时数据;获取多个所述计算节点数据和每个计算节点数据对应的转码耗时数据。3.根据权利要求1所述的计算方法,其特征在于,所述判断相邻两个所述转码参数数据是否满足第一预设条件包括:判断当前转码耗时数据是否于预设次数内,不小于与所述当前转码耗时数据相邻的历史转码耗时数据;若是,执行所述获取与所述目标节点设备对应的所述转码参数数据的步骤;若否,执行所述增加所述目标节点设备的计算节点数据的步骤。4.根据权利要求1所述的计算方法,其特征在于,所述判断除所述目标节点设备的其他节点设备对应的转码参数数据是否满足第二预设条件之后,所述方法还包括:当所述其他节点设备对应的转码参数数据不满足所述第二预设条件时,将所述其他节点设备更换为所述目标节点设备,并执行所述记录转码任务相关的目标节点设备和与所述目标节点设备对应的转码参数数据的步骤。5.根据权利要求1所述的计算方法,其特征在于,所述将与所述目标节点设备及所述其他节点设备对应的所有转码参数数据输入预设的参数指标模型,得到与任一节点设备对应的参数指标数据包括:确定与所述目标节点设备及所述其他节点设备对应的所有计算节点数据及最小转码耗时数据;其中,所述最小转码耗时数据为节点设备进行转码时耗时时间最小的转码耗时数据;根据与其他节点设备对应的所有所述最小转码耗时数据的乘积确定所述目标节点设备的节点总权重数据;根据所述节点总权重数据与所述目标节点设备对应的计算节点数据的商,确定所述目标节点设备的计算节点权重数据。6.根据权利要求5所述的计算方法,其特征在于,所述根据所述节点总权重数据与所述目标节点设备对应的计算节点数据的商,确定所述目标节点设备的计算节点权重数据之后,所述方法还包括:
将所述目标节点设备替换为所述其他节点设备中任一节点设备,并确定任一节点设备为第一节点设备;确定所述第一节点设备及除所述第一节点设备外的其他所有节点设备;其中,所述其他所有节点设备至少包括所述目标节点设备;获取所述第一节点设备及其他所有节点设备对应的所有计算节点数据及最小转码耗时数据,并执行所述根据与其他节点设备对应的所有所述最小转码耗时数据的乘积确定所述目标节点设备的节点总权重数据的步骤。7.根据权利要求1所述的计算方法,其特征在于,所述当所述其他节点设备对应的转码参数数据满足所述第二预设条件时,获取与所述其他节点设备对应的转码参数数据包括:当所述其他节点设备对应的所有转码参数数据均已计算完成,获取所述其他节点设备对应的所有转码参数数据。8.一种参数的计算系统,其特征在于,所述系统包括:记录单元,用于记录转码任务相关的目标节点设备和与所述目标节点设备对应的转码参数数据;判断单元,用于判断相邻两个所述转码参数数据是否满足第一预设条件;获取单元,用于当相邻两个所述转码参数数据满足第一预设条件时,获取与所述目标节点设备对应的所述转码参数数据,并判断除所述目标节点设备的其他节点设备对应的转码参数数据是否满足第二预设条件;所述获取单元,还用于当所述其他节点设备对应的转码参数数据满足所述第二预设条件时,获取与所述其他节点设备对应的转码参数数据;输入单元,用于将与所述目标节点设备及所述其他节点设备对应的所有转码参数数据输入预设的参数指标模型,得到与任一节点设备对应的参数指标数据,以使得任一节点设备根据所述参数指标数据执行所述转码任务。9.一种参数指标的计算装置,其特征在于,所述装置包括:中央处理器,存储器,输入输出接口,有线或无线网络接口以及电源;所述存储器为短暂存储存储器或持久存储存储器;所述中央处理器配置为与所述存储器通信,并执行所述存储器中的指令操作以执行权利要求1至7中任意一项所述的计算方法。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括指令,当所述指令在计算机上运行时,使得计算机执行如权利要求1至7中任意一项所述的计算方法。

技术总结
本申请实施例提供了一种参数指标的计算方法及相关设备,用于从复杂抽象的场景中获取到可观测到的转码参数,从而计算出调整节点设备的参数指标。本申请实施例方法包括:记录转码任务相关的目标节点设备和与目标节点设备对应的转码参数数据;判断相邻两个转码参数数据是否满足第一预设条件;若是,获取与目标节点设备对应的转码参数数据,并判断其他节点设备对应的转码参数数据是否满足第二预设条件;当满足第二预设条件时,获取与其他节点设备对应的转码参数数据;将与目标节点设备及其他节点设备对应的所有转码参数数据输入预设的参数指标模型,得到与任一节点设备对应的参数指标数据,以使得任一节点设备根据参数指标数据执行转码任务。执行转码任务。执行转码任务。


技术研发人员:袁帅 徐创 王鹏 朱敬毅 罗均文 马秀文
受保护的技术使用者:深圳市路通网络技术有限公司
技术研发日:2023.04.10
技术公布日:2023/7/21
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐