数据管理系统、方法及装置与流程

1.本公开涉及大数据管理技术领域，尤其是一种数据管理系统、方法及装置。


背景技术：

2.在分布式系统中，数据管理是指对系统中所有服务的数据缓存、数据传输等进行调度管理。分布式缓存是将缓存部署在多个服务器组成的集群中，以集群方式提供缓存服务。


技术实现要素：

3.发明人注意到，相关技术中数据管理的效率较低。经过分析，发明人发现，相关技术中数据管理的缓存管理通常是根据简单的规则预测未来所需的数据，从而导致对业务所需的数据进行预测的准确性较低，无法实现缓存数据的提前配置，导致数据管理的效率较低。
4.为了解决上述问题，本公开实施例提出了如下解决方案。
5.根据本公开实施例的一方面，提供一种数据管理系统，包括数据缓存管理器，被配置为：获取业务请求中已执行的第一任务所需的第一数据；获取目标缓存中已存储的第二数据；根据所述第一数据、所述第二数据和基于时间序列的数据预测模型确定第三数据，所述第三数据是所述业务请求中未执行的第二任务所需的、且不在所述第二数据中的数据；在所述目标缓存的存储空间大于或等于所述第三数据所需的空间的情况下，将所述第三数据经由数据传输链路存入所述目标缓存中。
6.在一些实施例中，所述数据缓存管理器被配置为以所述第一数据和所述第二数据作为输入，利用所述数据预测模型预测所述第三数据。
7.在一些实施例中，所述数据缓存管理器还被配置为在所述目标缓存的存储空间小于所述第三数据所需的空间的情况下，清理所述目标缓存中的冷数据和脏数据中的至少一种数据。
8.在一些实施例中，所述数据缓存管理器还被配置为：在清理所述目标缓存中的所述至少一种数据后所述目标缓存的存储空间仍小于所述第三数据所需的空间的情况下，根据所述第一数据、所述第三数据、所述目标缓存中当前的第四数据和所述基于时间序列的数据预测模型确定所述目标缓存中待清理的第五数据；清理所述第五数据。
9.在一些实施例中，所述第五数据不包括所述第一数据和所述第三数据。
10.在一些实施例中，所述数据缓存管理器还被配置为在清理所述第五数据后所述目标缓存的存储空间仍小于所述第三数据所需的空间的情况下，对所述目标缓存进行扩容。
11.在一些实施例中，所述数据预测模型是基于长短时记忆网络的时间序列模型。
12.在一些实施例中，所述系统还包括：数据传输管理器，被配置为获取输入参数，所述输入参数包括多条链路的网络状态参数；将所述输入参数输入到基于强化学习的数据传输模型，以确定传输时间小于预设时间的至少一条链路作为所述数据传输链路。
13.在一些实施例中，所述输入参数还包括所述第三数据被分成的n份数据的大小，n大于等于2，所述至少一条链路包括与所述n份数据一一对应n个链路。
14.在一些实施例中，所述数据缓存管理器被配置为将所述n份数据经由一一对应的所述n个链路存入所述目标缓存中。
15.在一些实施例中，所述网络状态参数包括数据传输速率、网络占用率、网络吞吐量、丢包率、延迟时间、超时重传时间中的至少一个。
16.在一些实施例中，所述基于强化学习的数据传输模型是基于q学习模型的数据传输模型。
17.根据本公开实施例的另一方面，提供一种数据管理方法，包括：获取业务请求中已执行的第一任务所需的第一数据；获取目标缓存中已存储的第二数据；根据所述第一数据、所述第二数据和基于时间序列的数据预测模型确定第三数据，所述第三数据是所述业务请求中未执行的第二任务所需的、且不在所述第二数据中的数据；在所述目标缓存的存储空间大于或等于所述第三数据所需的空间的情况下，将所述第三数据经由数据传输链路存入所述目标缓存中。
18.在一些实施例中，以所述第一数据和所述第二数据作为输入，利用所述数据预测模型预测所述第三数据。
19.在一些实施例中，所述方法还包括：在所述目标缓存的存储空间小于所述第三数据所需的空间的情况下，清理所述目标缓存中的冷数据和脏数据中的至少一种数据。
20.在一些实施例中，所述方法还包括：在清理所述目标缓存中的所述至少一种数据后所述目标缓存的存储空间仍小于所述第三数据所需的空间的情况下，根据所述第一数据、所述第三数据、所述目标缓存中当前的第四数据和所述基于时间序列的数据预测模型确定所述目标缓存中待清理的第五数据；清理所述第五数据。
21.在一些实施例中，所述第五数据不包括所述第一数据和所述第三数据。
22.在一些实施例中，在清理所述第五数据后所述目标缓存的存储空间仍小于所述第三数据所需的空间的情况下，对所述目标缓存进行扩容。
23.在一些实施例中，所述数据预测模型是基于长短时记忆网络的时间序列模型。
24.在一些实施例中，所述方法还包括：获取输入参数，所述输入参数包括多条链路的网络状态参数；将所述输入参数输入到基于强化学习的数据传输模型，以确定传输时间小于预设时间的至少一条链路作为所述数据传输链路。
25.在一些实施例中，所述输入参数还包括所述第三数据被分成的n份数据的大小，n大于等于2，所述至少一条链路包括与所述n份数据一一对应n个链路。
26.在一些实施例中，所述方法还包括：将所述n份数据经由一一对应的所述n个链路存入所述目标缓存中。
27.在一些实施例中，所述网络状态参数包括数据传输速率、网络占用率、网络吞吐量、丢包率、延迟时间、超时重传时间中的至少一个。
28.在一些实施例中，所述基于强化学习的数据传输模型是基于q学习模型的数据传输模型。
29.根据本公开实施例的又一方面，提供一种数据管理装置，包括执行上述任意一个实施例所述的方法的模块。
30.根据本公开实施例的还一方面，提供一种数据管理装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行上述任意一个实施例所述的方法。
31.根据本公开实施例的还一方面，提供一种计算机可读存储介质，包括计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述任意一个实施例所述的方法。
32.本公开实施例中，通过使用基于时间序列的数据预测模型，充分挖掘历史数据中蕴含的信息，提高了对业务所需的数据进行预测的准确性，从而得以实现缓存数据的提前配置，减小了因提前缓存准确性低而导致的耗时增加及为了避免此现象采用冗余备份带来的资源浪费，从而提高了数据传输的效率。
33.下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
34.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1a和图1b是根据本公开一些实施例的数据管理方法的流程示意图；
36.图2是根据本公开一些实施例的数据管理系统的架构示意图；
37.图3是根据本公开另一些实施例的数据管理装置的结构示意图；
38.图4是根据本公开又一些实施例的数据管理装置的结构示意图。
具体实施方式
39.下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
40.除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
41.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
42.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
43.在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
44.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
45.图1a和图1b是根据本公开一些实施例的数据管理方法的流程示意图。
46.如图1a所示，在步骤102，获取业务请求中已执行的第一任务所需的第一数据。
47.例如，业务请求需要执行多个任务，每个任务具有对应所需的数据。
48.为了便于区分，将已执行的任务称为第一任务，未执行的任务称为第二任务。第一数据可以包括一个或多个已执行的任务的数据。
49.在步骤104，获取目标缓存中已存储的第二数据。
50.这里，目标缓存中已存储的数据均称为第二数据。
51.在步骤106，根据第一数据、第二数据和基于时间序列的数据预测模型确定第三数据，第三数据是业务请求中未执行的第二任务所需的、且不在第二数据中的数据。
52.例如，业务请求中未执行的第二任务所需的数据是a、b、c，目标缓存中已存储的数据是a，则第三数据是b和c。未执行的第二任务可以是未执行的任意一个或多个任务。
53.在一些实施例中，以第一数据作为输入，利用数据预测模型预测中间数据；然后根据中间数据和第二数据确定第三数据。
54.在另一些实施例中，以第一数据和第二数据作为输入，利用数据预测模型预测第三数据。这样的方式下，数据预测模型基于历史的第一数据和目标缓存中的第二数据，可以直接预测出需要在目标缓存中额外存入的第三数据，既准确又快速。
55.在步骤108，在目标缓存的存储空间大于或等于第三数据所需的空间的情况下，将第三数据经由数据传输链路存入目标缓存中。
56.数据传输链路可以根据网络情况确定，后文将结合其他实施例进行说明。
57.上述实施例中，通过使用基于时间序列的数据预测模型，充分挖掘历史数据中蕴含的信息，提高了对业务所需的数据进行预测的准确性，从而得以实现缓存数据的提前配置，减小了因提前缓存准确性低而导致的耗时增加及为了避免此现象采用冗余备份带来的资源浪费，从而提高了数据传输的效率。
58.在一些实施例中，在目标缓存的存储空间小于第三数据所需的空间的情况下，清理目标缓存中的冷数据和脏数据中的至少一种数据。
59.例如，清理目标缓存中具有相对较低访问频率(例如访问频率小于预设频率)的冷数据。在清理目标缓存中的冷数据后目标缓存的存储空间大于或等于第三数据所需的空间的情况下，将第三数据经由数据传输链路存入目标缓存中。
60.又例如，清理目标缓存中错误或者没有意义的脏数据(例如，可以将脏数据进行回写)。在清理目标缓存中的脏数据后目标缓存的存储空间大于或等于第三数据所需的空间的情况下，将第三数据经由数据传输链路存入目标缓存中。
61.再例如，同时清理目标缓存中的冷数据和脏数据。在清理目标缓存中的脏数据和冷数据后目标缓存的存储空间大于或等于第三数据所需的空间的情况下，将第三数据经由数据传输链路存入目标缓存中。
62.上述实施例中，通过清理目标缓存中的冷数据和脏数据中的至少一种数据，释放了存储空间，并充分考虑了目标存储中的数据访问的历史记录，减小了未执行任务所需的数据被删除的可能性，降低了数据传输的时间，从而进一步提高了数据传输的效率。
63.在一些实施例中，在清理目标缓存中的冷数据和脏数据中的至少一种数据后目标缓存的存储空间仍小于第三数据所需的空间的情况下，根据第一数据、第三数据、目标缓存中当前的第四数据和基于时间序列的数据预测模型确定目标缓存中待清理的第五数据，随后清理第五数据。例如，以第一数据、第三数据和目标缓存中当前的第四数据作为输入，基于时间序列的数据预测模型预测目标缓存中待清理的第五数据。如此，可以更快更准确地
确定第五数据。
64.在一些实施例中，第五数据不包括第一数据和第三数据。也就是说，待清理的第五数据不包含业务请求中已执行的任务所需的数据和预测得到的未执行的任务所需的数据。
65.在一些实施例中，在清理第五数据后目标缓存的存储空间仍小于第三数据所需的空间的情况下，对目标缓存进行扩容。
66.上述实施例中，通过根据已执行的任务所需的数据和预测得到的未执行的任务所需的数据得到目标存储应清理的数据，释放存储空间，进一步减小了未执行任务所需的数据被删除的可能性，从而更进一步提高了数据管理的效率。
67.在一些实施例中，数据预测模型是基于长短时记忆网络的时间序列模型(lstm，long short-term memory)。
68.上述实施例中，利用长短时记忆网络能够更好的处理较长一段时间数据，从而更加充分挖掘历史数据中蕴含的信息，进一步提高了对业务所需的数据进行预测的准确性，从而更进一步提高了数据管理的效率。
69.如图1b所示，在一些实施例中，数据管理方法还包括如下步骤：
70.在步骤110，获取输入参数，该输入参数包括多条链路的网络状态参数。
71.在步骤112，将输入参数输入到基于强化学习的数据传输模型，以确定传输时间小于预设时间的至少一条链路作为数据传输链路。
72.基于强化学习的数据传输模型的决策目标例如是包括数据传输速率快、网络占用率低、丢包率低、延迟时间低、超时重传时间低中的至少一个。根据决策目标，确定传输时间小于预设时间的至少一条链路作为数据传输链路。
73.在一些实施例中，以确定传输时间小于预设时间的多条链路作为数据传输链路。换言之，可以将需要缓存的数据分为多条链路进行传输。
74.上述实施例中，通过基于强化学习的数据传输模型可以学习传输网络的实时状态，从而预测得到最优的数据传输链路，避免了相关技术中按照预定的链路进行数据传输而导致无法应对实际传输过程中出现拥堵等状况，减小了将数据传输至目标缓存的时间，更进一步提高了数据传输的效率。
75.在一些实施例中，输入参数还包括第三数据被分成的n份数据的大小，n大于等于2，所确定的至少一条链路包括与n份数据一一对应n个链路。这种情况下，基于强化学习的数据传输模型不仅考虑网络状态参数，还考虑每条链路的所传输的数据量大小，基于这样的输入参数可以更准确地预测出传输时间小于预设时间的数据传输链路。
76.在一些实施例中，将n份数据经由一一对应的n个链路存入目标缓存中。
77.例如，将待传输的数据切分打包成a、b、c三份数据，并且a、b、c三份数据分别对应小于预设时间的数据传输链路1、2、3。将数据a经由传输链路1存入目标缓存，数据包b经由传输链路2存入目标缓存，数据包c经由传输链路3存入目标缓存。
78.上述实施例中，通过将数据切分打包，并基于强化学习的数据传输模型得到更准确的数据传输链路，进一步减小了将数据传输至目标缓存的时间，更进一步提高了数据传输的效率。
79.在一些实施例中，网络状态参数包括数据传输速率、网络占用率、网络吞吐量、丢包率、延迟时间、超时重传时间中的至少一个。
80.上述实施例中，通过数据传输速率、网络占用率、网络吞吐量、丢包率、延迟时间、超时重传时间中的至少一个，充分考虑了网络运行状态对数据传输的影响，更进一步提高了预测得到的数据传输链路的准确性，从而更进一步提高了数据传输的效率。
81.在一些实施例中，网络状态参数包括数据传输速率、网络占用率、网络吞吐量、丢包率、延迟时间和超时重传时间中的多个。例如，网络状态参数包括据传输速率和网络占用率。又例如，网络状态参数包括丢包率、延迟时间和超时重传时间。再例如，网络状态参数包括据传输速率、网络占用率、网络吞吐量、丢包率、延迟时间和超时重传时间。如此，进一步提高了预测得到的数据传输链路的准确性，从而更进一步提高了数据管理的效率。
82.在一些实施例中，基于强化学习的数据传输模型是基于q学习模型的数据传输模型。
83.上述实施例中，通过利用基于q学习模型无需将整个环境建模即可求取最优策略，进一步提高了预测得到最优的数据传输链路的效率，从而更进一步提高了数据管理的效率。
84.本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
85.图2是根据本公开一些实施例的数据管理系统的架构示意图。
86.如图2所示，数据管理系统包括数据缓存管理器201。
87.数据缓存管理器201被配置为：获取业务请求中已执行的第一任务所需的第一数据；获取目标缓存中已存储的第二数据；根据第一数据、第二数据和基于时间序列的数据预测模型确定第三数据，第三数据是业务请求中未执行的第二任务所需的、且不在第二数据中的数据；在目标缓存的存储空间大于或等于第三数据所需的空间的情况下，将第三数据经由数据传输链路存入目标缓存中。
88.上述实施例中，通过使用基于时间序列的数据预测模型，充分挖掘历史任务数据中蕴含的信息，提高了对业务所需的数据进行预测的准确性，从而得以实现缓存数据的提前配置，减小了因提前缓存准确性低而导致的耗时增加及为了避免此现象采用冗余备份带来的资源浪费，从而提高了数据管理的效率。
89.在一些实施例中，数据缓存管理器201被配置为以第一数据和第二数据作为输入，利用数据预测模型预测第三数据。
90.在一些实施例中，数据缓存管理器201还被配置为在目标缓存的存储空间小于第三数据所需的空间的情况下，清理目标缓存中的冷数据和脏数据中的至少一种。
91.在一些实施例中，数据缓存管理器201还被配置为：在清理目标缓存中的冷数据和脏数据中的至少一种数据后目标缓存的存储空间仍小于第三数据所需的空间的情况下，根据第一数据、第三数据、目标缓存中当前的第四数据和基于时间序列的数据预测模型确定目标缓存中待清理的第五数据；清理第五数据。
92.在一些实施例中，第五数据不包括第一数据和第三数据。
93.在一些实施例中，数据缓存管理器201还被配置为在清理第五数据后目标缓存的存储空间仍小于第三数据所需的空间的情况下，对目标缓存进行扩容。
94.在一些实施例中，数据管理系统还包括数据传输管理器202。
95.数据传输管理器202被配置为获取输入参数，输入参数包括多条链路的网络状态参数；将输入参数输入到基于强化学习的数据传输模型，以确定传输时间小于预设时间的至少一条链路作为数据传输链路。
96.在一些实施例中，输入参数还包括第三数据被分成的n份数据的大小，n大于等于2，至少一条链路包括与n份数据一一对应n个链路。
97.在一些实施例中，数据缓存管理器202还被配置为将n份数据经由一一对应的n个链路存入目标缓存中。
98.在一些实施例中，网络状态参数包括数据传输速率、网络占用率、网络吞吐量、丢包率、延迟时间、超时重传时间中的至少一个。
99.在一些实施例中，基于强化学习的数据传输模型是基于q学习模型的数据传输模型。
100.上述实施例中，通过基于强化学习的数据传输模型可以学习传输网络的实时状态，从而预测得到最优的数据传输链路，避免了相关技术中按照预定的链路进行数据传输而导致无法应对实际传输过程中出现拥堵等状况，减小了将数据传输至目标缓存的时间，更进一步提高了数据传输的效率。
101.如图2所示，作为一些实现方式，在以云边端为架构的分布式系统中，采用多级缓存的方式管理缓存，包括基于持久化存储的二级缓存以及在云边层服务器设置的一级缓存，数据管理系统根据多级缓存的元数据生成元数据索引层，并提供api接口访问多级缓存。
102.在一些实施例中，用户在运行态时提出业务请求，该业务请求被分拆为多个任务，并进入数据管理系统的任务队列，数据管理系统的任务管理器按照一定的规则抽取任务信息作为任务的时间切片，任务信息包括该任务所需的数据类型、大小。
103.数据缓存管理器201通过使用基于时间序列的数据预测模型，根据业务请求中已执行的任务所需的数据以及目标缓存中已存储的数据，确定未执行的第二任务所需的、且不在目标缓存中的数据。数据传输管理器202根据基于q学习的数据传输模型确定的数据传输链路，最后数据缓存管理器201根据确定的数据传输链路提前从二级缓存或持久化存储中取出所需数据，并将所需数据存入一级缓存中。
104.作为一些实现方式，数据管理系统通过统一的数据服务管理平台作为可视化接口，开放给用户操作，数据管理细节对用户透明，每个用户可以查询缓存使用情况、传输速率等概况。
105.上述实施例中，通过数据缓存管理器和数据传输管理器，不仅提高了对业务所需的数据进行预测的准确性，从而得以实现缓存数据的提前配置，减小了因提前缓存准确性低而导致的耗时增加及为了避免此现象采用冗余备份带来的资源浪费，还避免了相关技术中按照预定的链路进行数据传输而导致无法应对实际传输过程中出现拥堵等状况，减小了将数据传输至目标缓存的时间，更进一步提高了数据传输的效率。
106.在一些实施例中，提供了一种数据管理装置，执行上述任意一个实施例所述的方法的模块。
107.图3是根据本公开一些实施例的数据管理装置的结构示意图。
108.如图3所示，数据管理装置包括第一获取模块301、第二获取模块302、确定模块303以及存储模块304。
109.第一获取模块301被配置为获取业务请求中已执行的第一任务所需的第一数据。
110.第二模块302被配置为获取目标缓存中已存储的第二数据。
111.确定模块303被配置为根据第一数据、二数据和基于时间序列的数据预测模型确定第三数据，第三数据是业务请求中未执行的第二任务所需的、且不在第二数据中的数据。
112.存储模块304被配置为在目标缓存的存储空间大于或等于第三数据所需的空间的情况下，将第三数据经由数据传输链路存入目标缓存中。
113.图4是根据本公开又一些实施例的数据管理装置的结构示意图。
114.如图4所示，数据管理装置400包括存储器401以及耦接至该存储器401的处理器402，处理器402被配置为基于存储在存储器401中的指令，执行前述任意一个实施例的方法。
115.存储器401例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如可以存储有操作系统、应用程序、引导装载程序(boot loader)以及其他程序等。
116.数据管理装置400还可以包括输入输出接口403、网络接口404、存储接口405等。这些接口403、404、405之间、以及存储器401与处理器402之间例如可以通过总线406连接。输入输出接口403为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口404为各种联网设备提供连接接口。存储接口405为sd卡、u盘等外置存储设备提供连接接口。
117.本公开实施例提供的数据管理平台可以应用于但不限于金融、医疗、互联网、通信、教育等各行业大数据服务。
118.本公开实施例还提供了一种计算机可读存储介质，包括计算机程序指令，该计算机程序指令被处理器执行时实现上述任意一个实施例的方法。
119.本公开实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任意一个实施例的方法。
120.至此，已经详细描述了本公开的各实施例。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
121.本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
122.本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解，可由计算机程序指令实现流程图中一个流程或多个流程和/或方框图中一个方框或多个方框中指定的功能。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
123.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特
定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
124.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
125.虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改或者对部分技术特征进行等同替换。本公开的范围由所附权利要求来限定。

技术特征：
1.一种数据管理系统，包括数据缓存管理器，被配置为：获取业务请求中已执行的第一任务所需的第一数据；获取目标缓存中已存储的第二数据；根据所述第一数据、所述第二数据和基于时间序列的数据预测模型确定第三数据，所述第三数据是所述业务请求中未执行的第二任务所需的、且不在所述第二数据中的数据；在所述目标缓存的存储空间大于或等于所述第三数据所需的空间的情况下，将所述第三数据经由数据传输链路存入所述目标缓存中。2.根据权利要求1所述的系统，其中，所述数据缓存管理器被配置为以所述第一数据和所述第二数据作为输入，利用所述数据预测模型预测所述第三数据。3.根据权利要求1所述的系统，其中，所述数据缓存管理器还被配置为在所述目标缓存的存储空间小于所述第三数据所需的空间的情况下，清理所述目标缓存中的冷数据和脏数据中的至少一种数据。4.根据权利要求3所述的系统，其中，所述数据缓存管理器还被配置为：在清理所述目标缓存中的所述至少一种数据后所述目标缓存的存储空间仍小于所述第三数据所需的空间的情况下，根据所述第一数据、所述第三数据、所述目标缓存中当前的第四数据和所述基于时间序列的数据预测模型确定所述目标缓存中待清理的第五数据；清理所述第五数据。5.根据权利要求4所述的系统，其中，所述第五数据不包括所述第一数据和所述第三数据。6.根据权利要求4所述的系统，其中，所述数据缓存管理器还被配置为在清理所述第五数据后所述目标缓存的存储空间仍小于所述第三数据所需的空间的情况下，对所述目标缓存进行扩容。7.根据权利要求1-6中任意一项所述的系统，其中，所述数据预测模型是基于长短时记忆网络的时间序列模型。8.根据权利要求1-6中任意一项所述的系统，还包括：数据传输管理器，被配置为获取输入参数，所述输入参数包括多条链路的网络状态参数；将所述输入参数输入到基于强化学习的数据传输模型，以确定传输时间小于预设时间的至少一条链路作为所述数据传输链路。9.根据权利要求8所述的系统，其中，所述输入参数还包括所述第三数据被分成的n份数据的大小，n大于等于2，所述至少一条链路包括与所述n份数据一一对应n个链路。10.根据权利要求9所述的系统，其中，所述数据缓存管理器被配置为将所述n份数据经由一一对应的所述n个链路存入所述目标缓存中。11.根据权利要求8所述的系统，其中，所述网络状态参数包括数据传输速率、网络占用率、网络吞吐量、丢包率、延迟时间、超时重传时间中的至少一个。12.根据权利要求8所述的系统，其中，所述基于强化学习的数据传输模型是基于q学习模型的数据传输模型。13.一种数据管理方法，包括：获取业务请求中已执行的第一任务所需的第一数据；获取目标缓存中已存储的第二数据；
根据所述第一数据、所述第二数据和基于时间序列的数据预测模型确定第三数据，所述第三数据是所述业务请求中未执行的第二任务所需的、且不在所述第二数据中的数据；在所述目标缓存的存储空间大于或等于所述第三数据所需的空间的情况下，将所述第三数据经由数据传输链路存入所述目标缓存中。14.根据权利要求13所述的方法，其中，以所述第一数据和所述第二数据作为输入，利用所述数据预测模型预测所述第三数据。15.根据权利要求13所述的方法，还包括：在所述目标缓存的存储空间小于所述第三数据所需的空间的情况下，清理所述目标缓存中的冷数据和脏数据中的至少一种数据。16.根据权利要求15所述的方法，还包括：在清理所述目标缓存中的所述至少一种数据后所述目标缓存的存储空间仍小于所述第三数据所需的空间的情况下，根据所述第一数据、所述第三数据、所述目标缓存中当前的第四数据和所述基于时间序列的数据预测模型确定所述目标缓存中待清理的第五数据；清理所述第五数据。17.根据权利要求16所述的方法，其中，所述第五数据不包括所述第一数据和所述第三数据。18.根据权利要求16所述的方法，其中，在清理所述第五数据后所述目标缓存的存储空间仍小于所述第三数据所需的空间的情况下，对所述目标缓存进行扩容。19.根据权利要求12-18中任意一项所述的方法，其中，所述数据预测模型是基于长短时记忆网络的时间序列模型。20.根据权利要求12-18中任意一项所述的方法，还包括：获取输入参数，所述输入参数包括多条链路的网络状态参数；将所述输入参数输入到基于强化学习的数据传输模型，以确定传输时间小于预设时间的至少一条链路作为所述数据传输链路。21.根据权利要求20所述的方法，其中，所述输入参数还包括所述第三数据被分成的n份数据的大小，n大于等于2，所述至少一条链路包括与所述n份数据一一对应n个链路。22.根据权利要求21所述的方法，其中，所述将所述第三数据经由数据传输链路存入所述目标缓存中包括：将所述n份数据经由一一对应的所述n个链路存入所述目标缓存中。23.根据权利要求20所述的方法，其中，所述网络状态参数包括数据传输速率、网络占用率、网络吞吐量、丢包率、延迟时间、超时重传时间中的至少一个。24.根据权利要求20所述的方法，其中，所述基于强化学习的数据传输模型是基于q学习模型的数据传输模型。25.一种数据管理装置，包括被配置为执行权利要求13-24任意一项所述的方法的模块。26.一种数据管理装置，包括：存储器；以及耦接至所述存储器的处理器，被配置为基于存储在所述存储器中的指令，执行权利要求13-24任意一项所述的方法。
27.一种计算机可读存储介质，包括计算机程序指令，其中，所述计算机程序指令被处理器执行时实现权利要求13-24任意一项所述的方法。

技术总结
本公开提供了一种数据管理系统、方法及装置，涉及大数据管理技术领域，所述方法包括：获取业务请求中已执行的第一任务所需的第一数据；获取目标缓存中已存储的第二数据；根据所述第一数据、所述第二数据和基于时间序列的数据预测模型确定第三数据，所述第三数据是所述业务请求中未执行的第二任务所需的、且不在所述第二数据中的数据；在所述目标缓存的存储空间大于或等于所述第三数据所需的空间的情况下，将所述第三数据经由数据传输链路存入所述目标缓存中。目标缓存中。目标缓存中。


技术研发人员：高璐 钱兵
受保护的技术使用者：中国电信股份有限公司
技术研发日：2023.07.07
技术公布日：2023/10/15