一种数据部署方法、装置、设备及存储介质与流程

1.本发明涉及数据处理技术领域，特别涉及一种数据部署方法、装置、设备及存储介质。


背景技术：

2.在冗余编码中，数据被编码且分成多个片段，解码过程中只需部分片段即可恢复原数据。
3.现有技术中，利用节点进行数据部署，所有片段数据来源都是编码集群，如若1个文件组块生成了12个片段，需要任意10个片段即可恢复，但当集群内新增加节点时，需要编码集群额外生成新的片段部署到新增节点上，当需要部署100倍份数的片段数量，那编码集群的压力是成指数级增加的，需要的算力资源也是指数增长的，编码集群的cpu消耗非常巨大。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种数据部署方法、装置、设备及介质，能够节约编码集群的编码资源，减少编码集群的cpu消耗。其具体方案如下：
5.第一方面，本技术公开了一种数据部署方法，包括：
6.对服务集群内包含的所有节点进行分层，以得到至少一个节点层级；
7.在目标节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段；所述片段为编码集群对所述原始数据进行冗余编码得到的，并且单个节点层级内至少部署一个组块内的所有片段。
8.可选的，所述在目标节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段之后，还包括：
9.通过所述目标节点层级中的节点与其余节点层级中的节点之间的点对点通信，将目标节点层级中各节点上的片段同步到其余节点层级中各节点上。
10.可选的，所述目标节点层级内节点与所述其余节点层级内节点之间的点对点通信，为多节点层级内节点间的点对点通信。
11.可选的，所述对服务集群内包含的所有节点进行分层，以得到至少一个节点层级，包括：
12.获取每个所述节点对应的性能数据；
13.根据所述性能数据，从所有节点中筛选出性能最优的预设数量个节点组成所述第一节点层级。
14.可选的，所述在目标节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段，包括：
15.在所述第一节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段。
16.可选的，所述在所述第一节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段，包括：
17.通过在所述第一节点层级中的不同节点上部署所述片段，以便调度系统优先调用所述第一节点层级中的节点获取所述片段。
18.可选的，划分得到的多个所述节点层级以所述第一节点层级为首并按照层级性能从高到低排序。
19.可选的，所述在目标节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段，包括：
20.在目标节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段，以便调度系统按照层级性能从高到低的次序，顺序调用相应节点层级内节点上的片段。
21.可选的，单个所述节点层级中节点的数量大于或等于所述组块内包含的片段的数量，并且所述组块内片段均匀部署在节点层级中的节点上。
22.第二方面，本技术公开了一种数据部署装置，包括：
23.分层模块，用于对服务集群内包含的所有节点进行分层，以得到至少一个节点层级；
24.部署模块，用于在目标节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段；所述片段为编码集群对所述原始数据进行冗余编码得到的，并且单个节点层级内至少部署一个组块内的所有片段。
25.第三方面，本技术公开了一种电子设备，包括：
26.存储器，用于保存计算机程序；
27.处理器，用于执行所述计算机程序，以实现前述的数据部署方法。
28.第四方面，本技术公开了一种计算机可读存储介质，用于存储计算机程序；其中计算机程序被处理器执行时实现前述的数据部署方法。
29.本技术中，对服务集群内包含的所有节点进行分层，以得到至少一个节点层级；在目标节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段；所述片段为编码集群对所述原始数据进行冗余编码得到的，并且单个节点层级内至少部署一个组块内的所有片段。可见，通过对服务集群内包含的所有节点进行分层，按层进行数据部署，且每个节点层级内至少部署一个组块内的所有片段，集群新加入节点时无需再生成新的片段，节约了编码集群的编码资源，减少了编码集群的cpu消耗。
附图说明
30.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
31.图1为本技术提供的一种数据部署方法流程图；
32.图2为本技术提供的一种具体的数据部署方法流程图；
33.图3为本技术提供的一种具体的数据部署系统结构图；
34.图4为本技术提供的一种数据部署装置结构示意图；
35.图5为本技术提供的一种电子设备结构图。
具体实施方式
36.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
37.现有技术中，利用节点进行数据部署，所有片段数据来源都是编码集群，当集群内新增加节点时，需要编码集群额外生成新的片段部署到新增节点上，当需要部署海量的片段数量，那编码集群的压力是成指数级增加的，需要的算力资源也是指数增长的，编码集群的cpu消耗非常巨大。
38.本技术实施例公开了一种数据部署方法，参见图1所示，可以应用于预配置的节点分层服务，该方法可以包括以下步骤：
39.步骤s11：对服务集群内包含的所有节点进行分层，以得到至少一个节点层级。
40.本实施例中，首先对服务集群内包含的所有节点进行分层，以得到至少一个节点层级，其中，上述节点可以包括普通服务器节点以及小节点，小节点即规模较小的但是能提供网络服务的设备，如闲置的个人电脑等，上述分层后每个节点层级中的节点数量可以相同也可以不同。节点分层可以根据设备性能进行分层，设备性能包括但不限于设备的cpu、内存、带宽、区域和运营商等信息，即根据使用需求设置分层的层数，然后根据节点的cpu、内存、带宽、区域和运营商等信息进行分层设置。例如，节点在首次加入到系统时，需要向节点分层服务请求，节点分层服务根据节点上报的运营商属性，节点的rtt(延时)，节点丢包率数据，按照质量的优先级进行排序，其中，rtt数据越小越好，丢包率数据越小越好。
41.本实施例中，所述对服务集群内包含的所有节点进行分层，以得到至少一个节点层级，可以包括：获取每个所述节点对应的性能数据；根据所述性能数据，从所有节点中筛选出性能最优的预设数量个节点组成所述第一节点层级。即本实施例中可以将性能最优的节点划分到第一节点层级中，不考虑其余节点层级的划分。
42.本实施例中，划分得到的多个节点层级以上述第一节点层级为首并按照层级性能从高到低排序，即本实施例中，在将最优节点划分到第一节点层级的基础上，还可以每层都按照节点性能进行划分，也即划分后第一节点层级内节点的质量大于第二节点层级内节点的质量，依次类推。具体的，划分过程可以为：根据所述性能数据按照性能从高到低对所有所述节点进行排序；根据排序按照每预设数量个节点组成一个节点层级的划分规则，划分得到以所述第一节点层级为首且性能从高到低排序的多个节点层级。
43.本实施例中，单个所述节点层级中节点的数量大于或等于所述组块内包含的片段的数量，并且所述组块内片段均匀部署在节点层级中的节点上。本实施例中每个节点层级中节点的数量大于或等于组块内包含的片段的数量，并且所述组块内片段均匀部署在节点层级中的节点上，也就是说，组块内的片段均匀的分布存储在节点层级内的节点上，即一个节点上存储该组块内的一个片段，当节点层级中节点的数量等于组块内包含的片段的数量时，每个节点上都存储有该组块内的一个片段，且不同节点上存储的该组块内的片段不同。
44.步骤s12：在目标节点层级中的不同节点上部署原始数据对应的组块内包含的不
同片段；所述片段为编码集群对所述原始数据进行冗余编码得到的，并且单个节点层级内至少部署一个组块内的所有片段。
45.本实施例中，在目标节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段，即将组块内包含的不同片段分别部署在目标节点层级中的不同节点上，数据恢复时读取目标节点层级中目标数量个节点上存储的片段，组合起来恢复得到原始数据。上述片段为编码集群对所述原始数据进行冗余编码得到的。具体的，部署过程可以由节点分层服务确定出目标节点层级后，通过目标节点层级中的节点，由这些节点向编码服务请求片段数据，节点拿到片段数据后向索引服务上报自身所在层级，以保存节点层级包含的片段的信息。并且单个节点层级内至少部署一个组块内的所有片段，这样每一层都是完整的组块。部署后调用系统调用节点层级中存储的原始数据对应的片段提供给用户，其中调用的片段所在的节点可以为同一节点层级内节点，也可以为不同节点层级内节点。
46.可以理解的是，冗余编码技术即将原始文件数据根据片段(piece)的大小，分成不同的组块(chunk)，每个组块可以由多个个片段组成，部署过程是将组块中的片段存储到节点中。本实施例中冗余编码可以采用raptor码(rapid tornado code，快速的旋风码)进行编码和解码。raptor码是将待发送的数据平均分成长度为k的n个分组，称为k个输入符号，每组符号长度可能为一到上千比特，raptor码的编码过程由预编码过程和lt码(luby transformcodes，卢比变换码)的编码过程组成，预编码过程将原始输入单元通过某种传统的纠错码转换为中间编码校验单元，然后将其作为lt码的输入单元进行编码。在rapror码的解码过程中利用lt码技术解码，只需要恢复固定比例的中间编码校验单元，再利用传统纠错码的解码性质就可以恢复所有的输入单元，根据中间编码校验单元所处的层次可以划分为单层校验预编码技术和多层校验编码技术。
47.本实施例中，所述在目标节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段，可以包括：在所述第一节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段。即优先将原始数据对应的组块内包含的不同片段存储在质量最优的第一节点层级中的不同节点上，以便后续利用第一节点层级内节点支持数据服务。相应的，通过在第一节点层级中的不同节点上部署片段后，需要调用数据时，调度系统可以优先调用第一节点层级中的节点获取相应片段。即当第一节点层级内节点为性能最优节点时，优先将片段存储在第一节点层级，并读取数据时优先调用第一节点层级，以便利用质量最优节点进行数据部署及服务。当然，选择哪个节点层级也可以根据客户端对数据获取速度的要求，当要求不高时也可以不选择最优节点使用。
48.当节点层级以第一节点层级为首并按照层级性能从高到低排序时，调度系统可以按照层级性能从高到低的次序，顺序调用相应节点层级内节点上的片段。具体的，按照所述节点层级的性能排序，从所述第一节点层级开始顺序查询层级中的节点，直至查询到每个片段对应的处于可使用状态的节点，并调用查询到的节点上存储的片段。即当节点层级是按节点性能划分，且节点层级是按性能排序时，数据查询时按照从第一节点层级开始顺序查询层级中的节点，直至查询到每个片段对应的处于可使用状态的节点。即优先选择质量最好的第一节点层级的节点进行服务，因为第一层的节点在节点入网的时候已经根据节点的质量进行了排序，但如果第一层节点层级内某些节点已经满负载在运行或下线，即该节点上存储的片段数据无法获取到，则逐层找到片段对应的节点进行返点逻辑。例如，第一节
点层级中的第一目标节点处于不可使用状态，则根据所述第一目标节点上存储的目标片段确定出其余节点层级中同样存储了所述目标片段的第二目标节点，并从所述第二目标节点上调用所述目标片段。
49.由上可见，本实施例中对服务集群内包含的所有节点进行分层，以得到至少一个节点层级；在目标节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段；所述片段为编码集群对所述原始数据进行冗余编码得到的。可见，通过对服务集群内包含的所有节点进行分层，按层进行数据部署，集群新加入节点时无需再生成新的片段，节约了编码集群的编码资源，减少了编码集群的cpu消耗。
50.在上述实施例的基础上，本技术实施例还公开了一种具体的数据部署方法，参见图2所示，该方法可以包括以下步骤：
51.步骤s21：对服务集群内包含的所有节点进行分层，以得到至少一个节点层级。
52.步骤s22：在目标节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段；所述片段为编码集群对所述原始数据进行冗余编码得到的。
53.步骤s23：通过所述目标节点层级中的节点与其余节点层级中的节点之间的点对点通信，将目标节点层级中各节点上的片段同步到其余节点层级中各节点上。
54.本实施例中，将片段部署到目标节点层级后，通过目标节点层级与服务集群内其余节点层级之间节点的点对点通信(p2p)，将目标节点层级部署的数据同步到其余节点层级，由此一来可以避免目标节点层级上某个节点下线导致该节点数据无法使用的问题，解决了服务集群的单点问题，提高了服务集群的高可用性。同时，通过节点间的点对点通信，利用节点带宽，避免所有节点都去编码集群获取片段数据，消耗编码集群带宽，通过这种方式以节省编码集群50-70％的部署带宽和回源带宽。
55.另外，需要说明的是，上述原始数据为从未部署过的数据，即如果有节点要进行原始数据的部署，首先判断是否有其余层的节点已经有了对应的片段数据，如果其余层的已经有了片段数据，则直接通过点对点通信进行同步。
56.本实施例中，上述目标节点层级可以为性能最优的第一节点层级，即一个新的文件要进行部署时，选择一个设备较好的层级进行部署，剩下的份数，通过节点分层服务来进行调度，并通过性能最优的第一节点层级按照点对点通信进行同步，由此可以加快对点通信的速度和质量。
57.本实施例中，所述目标节点层级内节点与所述其余节点层级内节点之间的点对点通信，为多节点层级内节点间的点对点通信。具体的，根据所述服务集群内已拥有所述片段的目标节点的数量，判断当前是否符合并发条件；若符合，则调度未同步所述片段的节点层级中的节点并发的与多个已拥有所述片段的节点层级中的节点进行点对点通信；若不符合，则执行所述通过所述目标节点层级中的节点与其余节点层级中的节点之间的点对点通信，将目标节点层级中各节点上的片段同步到其余节点层级中各节点上的操作。
58.也就是说，当片段仅存在与目标节点层级时，其余节点层级通过与目标节点层级内节点的点对点通信进行数据同步，若几次同步后服务集群内已拥有片段数据的节点层级数量增长后，未同步片段的节点层级中的节点即可并发的与多个已拥有片段的节点层级中的节点进行点对点通信来同步数据，这样可以大大提供片段的部署速度和部署成功率。
59.本实施例可以应用于短视频服务等场景，以文件在手机端播放为例，当手机端要
开始播放一个视频时，手机端会向节点去请求这个文件；这个文件在真正开始播放之前，会预先部署在节点层级的节点上，该文件使用冗余编码技术，将这个文件分成不同的组块，每个组块可以由多个片段组成；预部署的流程是节点通过网络向编码集群请求这个文件对应的片段，存储到节点中；部署集群通过网络向数据中心或者三方内容分发网络去回源请求拉取数据，进行实时的编码。
60.其中，关于上述步骤s21、s22的具体过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
61.由上可见，本实施例中通过所述目标节点层级中的节点与其余节点层级中的节点之间的点对点通信，将目标节点层级中各节点上的片段同步到其余节点层级中各节点上；当获取到客户端的数据读取请求，调用所述节点层级中节点上存储的片段。可见，通过将片段部署到目标节点层级后，通过目标节点层级与服务集群内其余节点层级之间节点的点对点通信，将目标节点层级部署的数据同步到其余节点层级，由此一来避免目标节点层级上某个节点下线导致该节点数据无法使用的问题，解决了服务集群的单点问题，提高了服务集群的高可用性。同时，通过节点间的点对点通信，利用节点带宽，避免所有节点都去编码集群获取片段数据，消耗编码集群带宽，从而节省编码集群的部署带宽和回源带宽。
62.相应的，本技术实施例还公开了一种数据部署系统，参见图3所示，可见，新增一个节点分层服务，用来将服务集群内包含的所有节点进行分层，具体可以根据方案需要，设置分层的层数，新加入到系统内的节点，根据设备的cpu，内存，带宽，区域，运营商等信息进行分层设置，以得到至少一个节点层级。一个新的文件要进行部署时，选择一个质量相对好的节点层级进行初次部署，初次部署的数据从编码集群获取，剩下的份数，即剩余节点的部署，通过节点分层服务来进行调度，通过点对点的方式同步到其他层的节点，由此实现其余节点的数据部署。
63.相应的，本技术实施例还公开了一种数据部署装置，参见图4所示，该装置包括：
64.分层模块11，用于对服务集群内包含的所有节点进行分层，以得到至少一个节点层级；
65.部署模块12，用于在目标节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段；所述片段为编码集群对所述原始数据进行冗余编码得到的，并且单个节点层级内至少部署一个组块内的所有片段。
66.由上可见，本实施例中对服务集群内包含的所有节点进行分层，以得到至少一个节点层级；在目标节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段；所述片段为编码集群对所述原始数据进行冗余编码得到的，并且单个节点层级内至少部署一个组块内的所有片段。可见，通过对服务集群内包含的所有节点进行分层，按层进行数据部署，集群新加入节点时无需再生成新的片段，节约了编码集群的编码资源，减少了编码集群的cpu消耗。
67.在一些具体实施例中，所述数据部署装置具体可以包括：
68.同步单元，用于通过所述目标节点层级中的节点与其余节点层级中的节点之间的点对点通信，将目标节点层级中各节点上的片段同步到其余节点层级中各节点上。
69.在一些具体实施例中，所述目标节点层级内节点与所述其余节点层级内节点之间的点对点通信，为多节点层级内节点间的点对点通信。
70.在一些具体实施例中，所述分层模块11具体可以包括：
71.性能数据获取单元，用于获取每个所述节点对应的性能数据；
72.层级确定单元，用于根据所述性能数据，从所有节点中筛选出性能最优的预设数量个节点组成所述第一节点层级。
73.在一些具体实施例中，所述部署模块12具体可以包括：
74.部署单元，用于在所述第一节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段。
75.在一些具体实施例中，通过在所述第一节点层级中的不同节点上部署所述片段，以便调度系统优先调用所述第一节点层级中的节点获取所述片段。
76.在一些具体实施例中，划分得到的多个所述节点层级以所述第一节点层级为首并按照层级性能从高到低排序。
77.在一些具体实施例中，在目标节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段，以便调度系统按照层级性能从高到低的次序，顺序调用相应节点层级内节点上的片段。
78.在一些具体实施例中，单个所述节点层级中节点的数量大于或等于所述组块内包含的片段的数量，并且所述组块内片段均匀部署在节点层级中的节点上。
79.进一步的，本技术实施例还公开了一种电子设备，参见图5所示，图中的内容不能被认为是对本技术的使用范围的任何限制。
80.图5为本技术实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的数据部署方法中的相关步骤。
81.本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
82.另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及包括片段在内的数据223等，存储方式可以是短暂存储或者永久存储。
83.其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是windows server、netware、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的数据部署方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
84.进一步的，本技术实施例还公开了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述任一实施例公开的数据部署方法步骤。
85.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它
实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
86.结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
87.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
88.以上对本发明所提供的一种数据部署方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种数据部署方法，其特征在于，包括：对服务集群内包含的所有节点进行分层，以得到至少一个节点层级；在目标节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段；所述片段为编码集群对所述原始数据进行冗余编码得到的，并且单个节点层级内至少部署一个组块内的所有片段。2.根据权利要求1所述的数据部署方法，其特征在于，所述在目标节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段之后，还包括：通过所述目标节点层级中的节点与其余节点层级中的节点之间的点对点通信，将目标节点层级中各节点上的片段同步到其余节点层级中各节点上。3.根据权利要求2所述的数据部署方法，其特征在于，所述目标节点层级内节点与所述其余节点层级内节点之间的点对点通信，为多节点层级内节点间的点对点通信。4.根据权利要求1所述的数据部署方法，其特征在于，所述对服务集群内包含的所有节点进行分层，以得到至少一个节点层级，包括：获取每个所述节点对应的性能数据；根据所述性能数据，从所有节点中筛选出性能最优的预设数量个节点组成所述第一节点层级。5.根据权利要求4所述的数据部署方法，其特征在于，所述在目标节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段，包括：在所述第一节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段。6.根据权利要求5所述的数据部署方法，其特征在于，所述在所述第一节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段，包括：通过在所述第一节点层级中的不同节点上部署所述片段，以便调度系统优先调用所述第一节点层级中的节点获取所述片段。7.根据权利要求4所述的数据部署方法，其特征在于，划分得到的多个所述节点层级以所述第一节点层级为首并按照层级性能从高到低排序。8.根据权利要求7所述的数据部署方法，其特征在于，所述在目标节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段，包括：在目标节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段，以便调度系统按照层级性能从高到低的次序，顺序调用相应节点层级内节点上的片段。9.根据权利要求1至8任一项所述的数据部署方法，其特征在于，单个所述节点层级中节点的数量大于或等于所述组块内包含的片段的数量，并且所述组块内片段均匀部署在节点层级中的节点上。10.一种数据部署装置，其特征在于，包括：分层模块，用于对服务集群内包含的所有节点进行分层，以得到至少一个节点层级；部署模块，用于在目标节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段；所述片段为编码集群对所述原始数据进行冗余编码得到的，并且单个节点层级内至少部署一个组块内的所有片段。11.一种电子设备，其特征在于，包括：存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至9任一项所述的数据部署方法。12.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中计算机程序被处理器执行时实现如权利要求1至9任一项所述的数据部署方法。

技术总结
本申请公开了一种数据部署方法、装置、设备及存储介质，涉及数据处理技术领域。该方法包括：对服务集群内包含的所有节点进行分层，以得到至少一个节点层级；在目标节点层级中的不同节点上部署原始数据对应的组块内包含的不同片段；所述片段为编码集群对所述原始数据进行冗余编码得到的，并且单个节点层级内至少部署一个组块内的所有片段。可见，通过对服务集群内包含的所有节点进行分层，按层进行数据部署，且每个节点层级内至少部署一个组块内的所有片段，集群新加入节点时无需再生成新的片段，节约了编码集群的编码资源，减少了编码集群的CPU消耗。群的CPU消耗。群的CPU消耗。


技术研发人员：郭韶呈 熊明 武磊
受保护的技术使用者：深圳云网雾联科技有限公司
技术研发日：2023.05.15
技术公布日：2023/8/13