数据处理方法、装置及计算机设备与流程

未命名 08-12 阅读:121 评论:0


1.本公开涉及计算机技术领域,尤其涉及数据处理方法、装置及计算机设备。


背景技术:

2.在分布式文件系统中,可以将存储器的存储空间划分为多个存储单元,以存储单元为单位存储数据。为了减少管理存储单元所需的元数据,可以增大存储单元的大小。然而,存储单元的大小越大,一个存储单元写满数据消耗的时间就越长,而且可能存在如网络不稳定或者系统异常等不确定因素就越多,则对存储单元执行写入操作的失败风险就越大。
3.针对上述存储单元的写入失败的情况,通常采用以下处理方式,来完成对数据的写入。第一种,跳过该存储单元中写失败的部分,继续往该存储单元后面的偏移位置继续追加写入剩余的数据。第二种,放弃该存储单元后面的区域,从该存储单元所属的ecg(erasure codegroup,纠删码计算块组)中,确定出一个新的存储单元,并将剩余的数据继续写入新的存储单元中。
4.然而,上述第一种处理方式中,若网络不稳定或者系统异常等不确定因素短时间内无法恢复或恢复过程不是连续的是断断续续的过程时,存储单元中偏移位置的数据量会很大,即,存储单元中空洞区域很大,或者,存储单元后续追加写入的数据占用的空间区域的连续性很差,即存储单元中碎片空间很多。上述第二种处理方式中,直接放弃对该存储单元的继续写入,会浪费该存储单元中剩余未写入的空间。因此,上述处理方式均会导致存储数据连续性差和对存储单元的空间利用率低的问题。


技术实现要素:

5.本公开提供一种数据处理方法、装置及计算机设备,以至少解决相关技术中存储数据连续性差和对存储单元的空间利用率低的问题。本公开的技术方案如下:
6.第一方面,提供了一种数据处理方法,应用于计算机设备,计算机设备包括第一存储单元和第二存储单元,该方法包括:当将待处理数据写入第一存储单元写入失败时,将待处理数据中未写入的第一数据写入第二存储单元;将待处理数据中已写入的第二数据与第一数据合并,得到合并后的数据;合并后的数据是连续的待处理数据;用合并后的数据替换第一存储单元中的第二数据。
7.可以理解的是,在第一数据全部写入至第二存储单元的情况下,对第一数据和第二数据进行数据合并。
8.本技术提供的技术方案至少带来以下技术效果:在向第一存储单元写入待处理数据写入失败时,将未写入第一存储单元的第一数据写入第二存储单元。同时,将已写入至第一存储单元的第二数据和第二存储单元的第一数据的数据合并,并保证合并后的数据的连续性。进一步地,利用合并后的连续数据,取代第一存储单元中的第二数据,存储在存储单元中。如此保证了存储单元中存储的数据的连续性,避免了非连续的数据占用较大的存储
空间,从而提高了对存储空间利用率。
9.在一种可能的实现方式中,将待处理数据中未写入的第一数据写入至第二存储单元,包括:第二数据的数据量小于预设数量时,将第一数据写入第二存储单元中第一区域,第二存储单元中第二区域的大小等于第二数据的数据量。
10.上述预设数量可以根据待处理数据的数据量确定。
11.上述实现方式中,针对第一存储单元中成功写入的数据量较少情况,将第一数据写入第二存储单元的第一区域同时,将第二存储单元的第二区域预留出来,以便于后续数据合并时,只用将少量的第二数据写入至第二存储单元的第二区域即可,从而减少数据合并过程中对数据的读写次数。
12.在另一种可能的实现方式中,将待处理数据中未写入的第一数据写入至第二存储单元,包括:在第二数据的数据量大于或等于预设数量时,将第一数据写入第二存储单元。
13.可理解的是,将第一数据写入第二存储单元的空闲区域中。
14.上述实现方式中,针对第一存储单元中成功写入的数据量较多情况,将数据量较少的第一数据写入第二存储单元的空闲区域即可,而不用在第二存储单元中预留第一数据占用的区域,以节省第二存储单元的存储空间。
15.另外,在后续数据合并的读写数据过程中,以读写数据量更少的第一数据为主,从而减少数据合并过程中对数据的读写次数。
16.在另一种可能的实现方式中,将待处理数据中已写入的第二数据与第一数据合并,得到合并后的数据;包括:将第二数据写入至第二存储单元中的第二区域,得到合并后的数据。
17.上述实现方式中,第二存储单元中预留有第二区域,说明第二存储单元的第一数据多于第一存储单元的第二数据。通过该实现方式,针对第二存储单元中预留有第二区域的场景,只用将较少数据量的第二数据写入至第二存储单元中第二区域,就能实现将第一数据和第二数据合并在第二存储单元,如此保证该场景下,数据合并过程中,对数据读写次数的最小化。
18.在另一种可能的实现方式中,将待处理数据中已写入的第二数据与第一数据合并,得到合并后的数据;包括:将第一数据和第二数据均写入至第三存储单元,得到合并后的数据。
19.上述实现方式中,第二存储单元中没有预留的第二区域,说明第二存储单元的第一数据少于第一存储单元的第二数据。通过该实现方式,针对第二存储单元中没有预留的第二区域的场景,将第一数据和第二数据合并至第三存储单元,以保证第一数据和第二数据能合理合并。
20.在另一种可能的实现方式中,将待处理数据中已写入的第二数据与第一数据合并,得到合并后的数据;包括:当第一存储单元存在间接故障时,将第一数据写入至第一存储单元得到合并后的数据。
21.上述实现方式中,第一存储单元存在间接故障,说明第一存储单元中故障被修复的可能性很大。基于此,在第一数据存储至第一存储单元后,确定第一存储单元能存储的数据时,将第一数据和第二数据合并在第一存储单元中,一方面既保证了该场景下,数据合并过程中,对数据读写次数的最小化;另一方面也保证了对第一存储单元重复使用,从而减少
了占用存储单元的数量,提高了对存储单元的空间利用率。
22.在另一种可能的实现方式中,该方法还包括:当第一存储单元发生硬件故障时,根据第一数据和预设算法,得到第二数据。
23.在该实现方式中,第一存储单元发生硬件故障,则说明不能从第一存储单元中直接读取出已写入至第一存储单元的数据,而第一数据是能直接获取的。如此,基于硬件故障的场景,根据预设算法和第一数据推理出第二数据的方式更加合理,以保证该硬件故障场景下,对第二数据合理获取。
24.在另一种可能的实现方式中,该方法还包括:当第一存储单元受到间接故障时,从第一存储单元中读取出第二数据;间接故障包括软件故障和网络故障。
25.在该实现方式中,第二存储单元发生间接故障,则说明能从第一存储单元中直接读取出已写入至第一存储单元的数据。如此,基于间接故障的场景,直接获取第二数据,以保证该间接故障场景下,对第二数据快速获取。
26.在一些实现方式中,第一存储单元的物理地址与逻辑地址关联,形成了第一存储单元的物理地址和逻辑地址的关联关系。
27.在另一种可能的实现方式中,用合并后的数据替换第一存储单元中的第二数据,包括:将第一存储单元的物理地址与逻辑地址的关联关系替换为第二存储单元的物理地址与逻辑地址的关联关系。
28.可理解的是,第一存储单元的物理地址不与逻辑地址关联,并用第二存储单元的物理地址与该逻辑地址关联。
29.在该实现方式中,针对合并后的数据存储在第二存储单元的情况,采用第二存储单元的物理地址,替换第一存储单元的物理地址,使得第二存储单元的物理地址与逻辑地址关联,以实现将第一存储单元修改为第二存储单元,以及,将第一存储单元的数据修改为第二存储单元的数据。上述基于关联关系的替换来实现数据的迁移,该过程中不用对数据进行读写,从而减少整个数据处理过程中对数据的读写次数。
30.在另一种可能的实现方式中,用合并后的数据替换第一存储单元中的第二数据,包括:将第一存储单元的物理地址与逻辑地址的关联关系替换为第三存储单元的物理地址与逻辑地址的关联关系。
31.在该实现方式中,针对合并后的数据存储在第三存储单元的情况,采用第三存储单元的物理地址,替换第一存储单元的物理地址,使得第三存储单元的物理地址与逻辑地址关联,以实现将第一存储单元修改为第三存储单元,以及,将第一存储单元的数据修改为第三存储单元的数据。上述基于关联关系的替换来实现数据的迁移,该过程中不用对数据进行读写,从而减少整个数据处理过程中对数据的读写次数。
32.在另一种可能的实现方式中,第二存储单元的大小与第一存储单元的大小相同;第二存储单元为第一存储单元所属的纠删码计算块组以外的存储单元。
33.在该实现方式中,针对第一存储单元属于某一纠删码计算块组的场景,将第二存储单元的大小和第一存储单元的大小设置为相同,以保证纠删码计算过程中数据校验过程的合理性。同时,将第二存储单元设置为该纠删码计算块组以外的存储单元,以保证对第一数据的存储,不占用该纠删码计算块组的存储单元,从而使得该纠删码计算块组的各个存储单元能存储更多的数据,以保证该纠删码计算块组中存储单元的存储空间的利用率。
34.在另一种可能的实现方式中,该方法还包括:根据网络带宽的剩余容量,确定待处理数据的处理速度。
35.上述待处理数据的处理速度包括读取待处理数据的读取速度和写入待处理数据的写入速度。
36.在该实现方式中,根据网络带宽的剩余容量,确定合理的处理速度,以保证处理速度与网络带宽的剩余容量适配,一方面避免处理速度过快,而消耗过多带宽资源;另一方面,避免处理速度过慢,导致数据处理速度过慢。
37.第二方面,提供了一种数据处理装置,该装置应用于计算机设备,计算机设备包括第一存储单元和第二存储单元,该装置包括:读写单元,被配置为执行当将待处理数据写入第一存储单元写入失败时,将待处理数据中未写入的第一数据写入第二存储单元;合并单元,被配置为执行将待处理数据中已写入的第二数据与第一数据合并,得到合并后的数据;合并后的数据是连续的待处理数据;替换单元,被配置为执行用合并后的数据替换第一存储单元中的第二数据。
38.在一种可能的实现方式中,读写单元被具体配置为执行:第二数据的数据量小于预设数量时,将第一数据写入第二存储单元中第一区域,第二存储单元中第二区域的大小等于第二数据的数据量。
39.在另一种可能的实现方式中,读写单元被具体配置为执行:在第二数据的数据量大于或等于预设数量时,将第一数据写入第二存储单元。
40.在另一种可能的实现方式中,合并单元被具体配置为执行:将第二数据写入至第二存储单元中的第二区域,得到合并后的数据。
41.在另一种可能的实现方式中,合并单元被具体配置为执行:将第一数据和第二数据均写入至第三存储单元,得到合并后的数据。
42.在另一种可能的实现方式中,合并单元被具体配置为执行:当第一存储单元存在间接故障时,将第一数据写入至第一存储单元得到合并后的数据。
43.在另一种可能的实现方式中,读写单元还被配置为执行:当第一存储单元发生硬件故障时,根据第一数据和预设算法,得到第二数据。
44.在另一种可能的实现方式中,读写单元还被配置为执行:当第一存储单元受到间接故障时,从第一存储单元中读取出第二数据;间接故障包括软件故障和网络故障。
45.在另一种可能的实现方式中,替换单元还被配置为执行:将第一存储单元的物理地址与逻辑地址的关联关系替换为第二存储单元的物理地址与逻辑地址的关联关系。
46.在另一种可能的实现方式中,替换单元还被配置为执行:将第一存储单元的物理地址与逻辑地址的关联关系替换为第三存储单元的物理地址与逻辑地址的关联关系。
47.在另一种可能的实现方式中,第二存储单元的大小与第一存储单元的大小相同;第二存储单元为第一存储单元所属的纠删码计算块组以外的存储单元。
48.在另一种可能的实现方式中,读写单元还被配置为执行:根据网络带宽的剩余容量,确定待处理数据的处理速度。
49.第三方面,提供了一种芯片,该芯片包括处理器和供电电路,供电电路为处理器进行供电,处理器用于执行第一方面或第一方面任一种可能实现方式中的数据处理方法的操作步骤。
50.第四方面,提供了一种计算机设备,该计算机设备包括存储器和处理器,存储器用于存储一组计算机指令;当处理器作为第一方面或第一方面任一种可能实现方式中的执行设备执行所述一组计算机指令时,执行第一方面或第一方面任一种可能实现方式中的数据处理方法的操作步骤。
51.第五方面,提供了一种计算机设备,该计算机设备包括存储器和处理器,存储器用于存储一组计算机指令;当处理器作为第一方面或第一方面任一种可能实现方式中的执行设备执行所述一组计算机指令时,执行第一方面或第一方面任一种可能实现方式中的数据处理方法的操作步骤。
52.第六方面,提供了一种计算机可读存储介质,包括:计算机软件指令;当计算机软件指令在计算机设备中运行时,使得计算机设备执行如第一方面或第一方面任意一种可能实现方式中的数据处理方法的操作步骤。
53.第七方面,提供了一种计算机程序产品,当计算机程序产品在计算机设备上运行时,使得计算机设备执行如第一方面或第一方面任意一种可能的实现方式中数据处理方法的操作步骤。
54.第二方面至第七方面中任一种设计方式所带来的技术效果可参见第一方面或第一方面中不同设计方式所带来的技术效果,此处不再赘述。
55.本技术在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。
56.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
57.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
58.图1是根据一示例性实施例示出的一种计算机设备的示意图一;
59.图2是根据一示例性实施例示出的一种数据处理方法的流程图;
60.图3是根据一示例性实施例示出的一种数据处理过程的示意图一;
61.图4是根据一示例性实施例示出的一种数据处理过程的示意图二;
62.图5是根据一示例性实施例示出的一种数据处理过程的示意图三;
63.图6是根据一示例性实施例示出的一种数据处理过程的示意图四;
64.图7是根据一示例性实施例示出的一种数据处理过程的示意图五;
65.图8是根据一示例性实施例示出的一种数据处理过程的示意图六;
66.图9是根据一示例性实施例示出的一种数据处理过程的示意图七;
67.图10是根据一示例性实施例示出的一种数据处理装置的框图;
68.图11是根据一示例性实施例示出的一种计算机设备的示意图二。
具体实施方式
69.为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
70.需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
71.在对本公开实施例提供的数据处理方法进行详细介绍之前,先对本公开实施例涉及的实施环境和应用场景进行简单介绍。
72.首先,对本公开涉及的应用场景进行简单介绍。
73.在分布式文件系统中,可以将存储器的存储空间划分为多个存储单元,以存储单元为单位存储数据。为了减少管理存储单元所需的元数据,可以增大存储单元的大小。然而,存储单元的大小越大,一个存储单元写满数据消耗的时间就越长,而且可能存在如网络不稳定或者系统异常等不确定因素就越多,则对存储单元执行写入操作的失败风险就越大。
74.针对上述存储单元的写入失败的情况,通常采用以下处理方式,来完成对数据的写入。第一种,跳过该存储单元中写失败的部分,继续往该存储单元后面的偏移位置继续追加写入剩余的数据。第二种,放弃该存储单元后面的区域,从该存储单元所属的ecg(erasure codegroup,纠删码计算块组)中,确定出一个新的存储单元,并将剩余的数据继续写入新的存储单元中。
75.然而,上述第一种处理方式中,若网络不稳定或者系统异常等不确定因素短时间内无法恢复或恢复过程不是连续的是断断续续的过程时,存储单元中偏移位置的数据量会很大,即,存储单元中空洞区域很大,或者,存储单元后续追加写入的数据占用的空间区域的连续性很差,即存储单元中碎片空间很多。上述第二种处理方式中,直接放弃对该存储单元的继续写入,会浪费该存储单元中剩余未写入的空间。因此,上述处理方式均会导致存储数据连续性差和对存储单元的空间利用率低的问题。
76.针对上述问题,本公开提供了一种数据处理方法,在向第一存储单元写入待处理数据写入失败时,将未写入第一存储单元的第一数据写入第二存储单元。同时,将已写入至第一存储单元的第二数据和第二存储单元的第一数据的数据合并,并保证合并后的数据的连续性。进一步地,利用合并后的连续数据,取代第一存储单元中的第二数据,存储在存储单元中。如此保证了存储单元中存储的数据的连续性,避免了非连续的数据占用较大的存储空间,从而提高了对存储空间利用率。
77.其次,下面对本公开涉及的实施架构进行简单介绍。
78.图1是本公开提供的一种计算机设备的示意图。如图1所示,该计算机设备10可以包括服务器110以及用于存储数据的多个存储单元111,其中,服务器110可以通过有线网络或无线网络与多个存储单元111之间建立连接。
79.具体地,服务器110获取到待处理数据后,将待处理数据写入待处理数据待存储的第一存储单元中,若在写入待处理数据的过程中,第一存储单元发生故障,则将未成功写入的数据写入至第二存储单元中。同时,将第一存储单元中已成功写入的数据和第二存储单元中未成功写入的数据合并,并保证合并后的数据为连续的待处理数据。进一步地,用合并
后的数据替换第一存储单元中已成功写入的数据,以使存储单元111中存储了连续且完整的待处理数据。
80.其中,第一存储单元与第二存储单元为多个存储单元中任意两个不同的存储单元。
81.在一些实施例中,上述存储单元111也称为磁盘。
82.另一些实施例中,上述服务器可以为云服务器。
83.另一些实施例中,服务器110还可以包含有数据库或与数据库连接,将数据库与对应。
84.上述服务器110可以是单独的一个服务器,或者,也可以是由多个服务器构成的服务器集群。部分实施方式中,服务器集群还可以是分布式集群。本公开对服务器110的具体实现方式也不作限制。
85.本公开实施例提供的数据处理方法可以应用于前述图1所示的实施架构中的计算机设备。为了便于理解,以下结合附图对本公开提供的数据处理方法进行具体介绍。
86.图2是根据一示例性实施例示出的一种数据处理方法的流程图,如图2所示,该数据处理方法可用于计算机设备中,包括以下步骤。其中,上述计算机设备包括第一存储单元和第二存储单元。
87.s21,当将待处理数据写入第一存储单元写入失败时,计算机设备将待处理数据中未写入的第一数据写入第二存储单元。
88.引起上述待处理数据写入失败的原因可以是以下两种故障。
89.其一,可以是软件故障和网络故障等间接故障(即,非硬件故障)导致的待处理数据写入失败。其中,软件故障包括运行的程序出现错误、执行程序时因客观因素的介入导致程序执行逻辑错误等故障。网络故障包括传输待处理数据的网络信号不稳定或中断等故障。
90.上述间接故障是可以修复的。如,程序运行过程中,程序运行错误时,能按照提示对该错误进行修复,让程序正常运行。又如,对导致网络信号不稳定的干扰因素进行排除后,网络信号从不稳定状态变成稳定状态。
91.其二,可以是硬件故障导致的待处理数据写入失败。其中,硬件故障包括因与待处理数据关联的硬件设备损坏,造成的故障。
92.示例性的,硬件故障包括电源不能提供电能、内存损坏、cpu损坏等。
93.因此,软件故障修复成功的可能性很大,而硬件故障能修复成功的可能性很小。
94.在一些实施方式中,第一存储单元称为数据源块,第二存储单元称为替换块。对应地,硬件故障能导致数据源块下线,使得既不能将待处理数据写入至数据源块,也不能从数据源块中读取出数据。软件故障发生时,待处理数据虽不能写入至源数据块,但是能从数据源块中读取出数据。
95.可选的,上述第二存储单元中不仅可以用于存储向第一存储单元写入失败的第一数据,也可以用于存储其他存储单元写入失败的数据。
96.在一些实施例中,若待处理数据写入过程中,出现多次数据写入失败,以将待处理数据写入完成,则在每次数据写入失败时,获取一个对应的第二存储单元,来存储未成功写入的数据,直至待处理数据全部写入完成为止。
97.示例性的,如图3和图4所示,以第一存储单元为数据源块1为例,对第二数据写入第二存储单元的过程作如下说明。其中,数据源块1所属的纠删码计算块组(erasurecode group,ecg)中还包括多个存储单元,如,数据源块2、数据源块3、数据源块4和数据源块5。
98.数据源块1、数据源块2、数据源块3和数据源块4用于存储待校验文件中的待校验数据,数据源块5用于存储校验文件中的校验数据。校验数据用于对待校验数据进行校验。待校验数据以数据块为单位,对应存储在数据源块的数据存储单元上;校验数据以校验数据块为单位对应存储在数据源块的数据存储单元上。如图3中,待校验文件可以为文件1、文件2、文件3和文件4,以及校验文件可以为文件p。文件1中待校验数据存储在数据源块1上;文件2中待校验数据存储在数据源块1和数据源块2上;文件3中待校验数据存储在数据源块2、数据源块3和数据源块4上;文件4中待校验数据存储在数据源块4上。多个数据块和一个校验块组成一个条带。其中,条带如图3所示的条带1至条带n
99.上述待校验数据和校验数据均可以理解为待处理数据。
100.进一步地,如图4所示,上述各个数据源块包括多个数据存储单元,如数据存储单元1、数据存储单元2、数据存储单元3、数据存储单元4和数据存储单元5。上述数据存储单元为存储数据的最小单元。
101.具体地,分别将待处理数据1写入数据源块1、待处理数据2写入数据源块2、待处理数据3写入数据源块3、待处理数据4写入数据源块4以及待处理数据5写入数据源块5。
102.在待处理数据1写入数据源块1过程中,在成功写入至数据源块1的数据存储单元1后,准备将待处理数据1继续写入数据源块1的数据存储单元2时,数据源块1发生故障,则不能继续将待处理数据1中未写入的数据,成功写入该数据源块1的数据存储单元2中。在此场景下,向替换块1的数据存储单元2中,继续写入待处理数据1中未写入的数据。若该待处理数据1中未写入的数据成功写入至替换块1的数据存储单元2和数据存储单元3后,该替换块1发生故障,则不能继续将待处理数据1中未写入的数据,成功写入该替换块1的数据存储单元4中。在此场景下,向替换块2的数据存储单元4中,继续写入待处理数据1中未写入的数据,直至待处理数据1中未写入的数据继续写入替换块2的数据存储单元5时,完成该待处理数据1的写入。
103.上述待处理数据2写入数据源块2、待处理数据3写入数据源块3以及待处理数据4写入数据源块4的数据写入过程中,对应的数据源块均未发生故障。
104.在待处理数据5写入数据源块5过程中,在成功写入至数据源块1的数据存储单元1和数据存储单元2后,准备将待处理数据5继续写入数据源块5的数据存储单元3时,数据源块5发生故障,则不能继续将待处理数据5中未写入的数据,成功写入该数据源块5的数据存储单元3中。在此场景下,向替换块3的数据存储单元3中,继续写入待处理数据5中未写入的数据,直至待处理数据5中未写入的数据继续写入替换块3的数据存储单元5时,完成该待处理数据5的写入。
105.s22,计算机设备将待处理数据中已写入的第二数据与第一数据合并,得到合并后的数据。
106.上述合并后的数据是连续的待处理数据。
107.可以理解的,在第一数据全部写入至第二存储单元的情况下,对第一数据和第二数据合并。
108.s23,计算机设备用合并后的数据替换第一存储单元中的第二数据。
109.可以理解的,用合并后的连续且完整的待处理数据,替换第一存储单元中不完整的第二数据。
110.上述实施方式中,计算机设备在向第一存储单元写入待处理数据写入失败时,将未写入第一存储单元的第一数据写入第二存储单元。同时,将已写入至第一存储单元的第二数据和第二存储单元的第一数据的数据合并,并保证合并后的数据的连续性。进一步地,利用合并后的连续数据,取代第一存储单元中的第二数据,存储在存储单元中。如此保证了存储单元中存储的数据的连续性,避免了非连续的数据占用较大的存储空间,从而提高了对存储空间利用率。作为一种可能的实施方式,上述s21可以通过以下步骤具体实施。
111.s211,计算机设备确定待处理数据写入第一存储单元写入失败。
112.s212,在确定第二数据的数据量小于预设数量时,计算机设备将第一数据写入第二存储单元中第一区域,并将第二存储单元中第二区域保留。
113.其中,第二存储单元中第二区域的大小等于第二数据的数据量。
114.上述预设数量可以根据待处理数据的数据量确定。
115.在一些实施方式中,预设数量可以是占待处理数据的数据量的预设占比所对应的数据量。
116.示例性的,预设数量可以是待处理数据的数据量的40%、30%或20%等。若待处理数据的数据量为1200kb,预设占比为40%,则预设数量为1200kb*40%=480kb。
117.可选的,上述预设数量还可以与引起待处理数据写入数据失败的故障的故障类型相关。
118.因为,第一存储单元和第二存储单元所用的软件和网络相同的可能性很大,即,二者引起间接故障的因素之间的关联性、共同性很大,所以,第一存储单元发生间接故障的因素,导致第二存储单元发生间接故障可能性也很大。而第一存储单元的硬件设备与第二存储单元的硬件设备相对独立,均只有自身包括的硬件设备相关,所以,第一存储单元发生硬件故障的因素,与第二存储单元是否发生硬件故障无关。
119.基于此,第一存储单元发生间接故障后,提高了第二存储单元发生间接故障可能性;而第一存储单元发生硬件故障后,第二存储单元发生硬件故障可能性不受影响,即,相比于,第一存储单元发生硬件故障后第二存储单元发生硬件故障可能性,第一存储单元发生间接故障后第二存储单元发生间接故障可能性更大。
120.针对上述两种不同故障下,第一数据写入第二存储单元失败时,而达不到期望效果造成第二存储单元中预留的第二区域空间的浪费的影响,将第一预设数量设置为小于第二预设数量,以使间接故障下第二存储单元中第二区域小于硬件故障下第二存储单元中第二区域的大小,其中,第一预设数量为在故障为间接故障时选取的预设数量,第二预设数量为在故障为硬件故障时选取的预设数量。
121.可理解的是,第二存储单元中第二区域用于存储第二数据,并且,该第二区域为无数据的或未被数据占用的区域。
122.在一些实施例中,如图5所示,第一区域与第二区域相邻,第一区域位于第二区域的上方。该实施例中,将第一区域和第二区域设置为上下相邻的区域,以使第一数据和第二数据连续存储在第二存储单元上,以便于后续数据合并时直接获取联系的第一数据和第二
数据。
123.其中,第一数据写入至第二存储单元的第一区域过程如图5所示,将未写入的第一数据:数据c、数据d、数据e和数据f写入第二存储单元的第一区域,并且,已写入第一存储单元的第二数据为数据a和数据b。同时预留出第二区域,第二区域用于存储数据a和数据b。
124.进一步地,第二区域或第二数据占用第二存储单元中的空间位置与第二数据占用第一存储单元的空间位置相同。第一区域占用第二存储单元中的空间位置与第一数据待占用第一存储单元的空间位置相同。
125.上述实施方式中,针对第一存储单元中成功写入的数据量较少情况,将第一数据写入第二存储单元的第一区域同时,将第二存储单元的第二区域预留出来,以便于后续数据合并时,只用将少量的第二数据写入至第二存储单元的第二区域即可,从而减少数据合并过程中对数据的读写次数。
126.作为另一种可能的实施方式,上述s21还可以通过以下步骤具体实施。
127.s21a,计算机设备确定待处理数据写入第一存储单元写入失败。
128.s21b,在确定第二数据的数据量大于或等于预设数量时,计算机设备将第一数据写入第二存储单元。
129.可可理解的是,云服务器将第一数据写入第二存储单元的空闲区域中。
130.可选的,为了保证第二存储单元中存储空间的利用率,第二存储单元中第一数据与第二存储单元的其他数据是连续的,即,第一数据和其他数据均连续存储在第二存储单元。
131.在一些实施例中,第一数据写入至第二存储单元的空闲区域的过程如图6所示,将未写入的第一数据:数据3、数据4、数据5和数据6写入在该空闲区域;并且,已写入的第二数据:数据1和数据2存储在第一存储单元。
132.上述实施方式中,针对第一存储单元中成功写入的数据量较多情况,将数据量较少的第一数据写入第二存储单元的空闲区域即可,而不用在第二存储单元中预留第一数据占用的区域,以节省第二存储单元的存储空间。
133.另外,在后续数据合并的读写数据过程中,以读写数据量更少的第一数据为主,从而减少数据合并过程中对数据的读写次数。
134.作为一种可能的实施方式,上述s22可以通过以下步骤具体实施。
135.s22a,计算机设备将第二数据写入至第二存储单元中的第二区域,得到合并后的数据。
136.示例性的,第二数据与第一数据合并过程结合图5,如图7所示,将第一存储单元的数据a和数据b,写入第二存储单元的第二区域。
137.在一些实施例中,第一存储单元的物理地址与逻辑地址关联,形成了第一存储单元的物理地址和逻辑地址的关联关系。其中,物理地址可以是磁盘上存储数据的单元地址,是与处理器和cpu连接的地址总线相对应的。逻辑地址可以是指机器语言指令,用于指定一个操作数或一条指令的地址。上述磁盘具有磁盘的唯一标识(worldwidename,wwn),用于识别磁盘。
138.上述实施方式中,第二存储单元中预留有第二区域,说明第二存储单元的第一数据多于第一存储单元的第二数据。通过该实施方式,针对第二存储单元中预留有第二区域
的场景,只用将较少数据量的第二数据写入至第二存储单元中第二区域,就能实现将第一数据和第二数据合并在第二存储单元,如此保证该场景下,数据合并过程中,对数据读写次数的最小化。
139.作为另一种可能的实施方式,上述s22还可以通过以下步骤具体实施。
140.s22b,计算机设备将第一数据和第二数据均写入至第三存储单元,得到合并后的数据。
141.可选的,第三存储单元的大小与第一存储单元的大小相同;第三存储单元为第一存储单元所属的纠删码计算块组以外的存储单元。
142.示例性的,第二数据与第一数据合并过程结合图6,如图8所示,将第一存储单元的数据1和数据2,写入第三存储单元,以及将第二存储单元的数据3、数据4、数据5和数据6写入第三存储单元。
143.若第一存储单元发生硬件故障,第一存储单元故障被修复的可能性很小,则待处理数据写入失败后,向第一存储单元成功写入的数据可能性很小。
144.基于此,当第一存储单元存在硬件故障时,将第一数据和第二数据均写入第三存储单元,以保证第一数据和第二数据合并过程的合理性和可实现性。
145.上述实施方式中,第二存储单元中没有预留的第二区域,说明第二存储单元的第一数据少于第一存储单元的第二数据。通过该实施方式,针对第二存储单元中没有预留的第二区域的场景,将第一数据和第二数据合并至第三存储单元,以保证第一数据和第二数据能合理合并。
146.作为又一种可能的实施方式,上述s22还可以通过以下步骤具体实施。
147.s22c,当确定第一存储单元存在间接故障时,计算机设备将第一数据写入至第一存储单元得到合并后的数据。
148.示例性的,该实施方式中的第二数据与第一数据合并过程结合图6,如图9所示,将第二存储单元的数据3、数据4、数据5和数据6写入至第一存储单元中。
149.可选的,在第一数据写入完成后的预设时间内,确定第一存储单元的间接故障被修复或确定第一存储单元能存储数据时,将第一数据写入至第一存储单元,以使第一数据和第二数据合并在第一存储单元中,该合并过程中实现了对第一存储单元重新利用。
150.上述实施方式中,第一存储单元存在间接故障,说明第一存储单元中故障被修复的可能性很大。基于此,在第一数据存储至第一存储单元后,确定第一存储单元能存储的数据时,将第一数据和第二数据合并在第一存储单元中,一方面既保证了该场景下,数据合并过程中,对数据读写次数的最小化;另一方面也保证了对第一存储单元重复使用,从而减少了占用存储单元的数量,提高了对存储单元的空间利用率。
151.计算机设备在执行对第一数据与第二数据进行合并前,需要先对第二数据进行获取。以下针对不同的故障类型对第二数据的获取方式进行如下说明。
152.在一种第二数据的获取方式中,当确定第一存储单元发生硬件故障时,计算机设备根据第一数据和预设算法,得到第二数据。
153.在该实施方式中,第一存储单元发生硬件故障,则说明不能从第一存储单元中直接读取出已写入至第一存储单元的数据,而第一数据是能直接获取的。如此,基于硬件故障的场景,根据预设算法和第一数据推理出第二数据的方式更加合理,以保证该硬件故障场
景下,对第二数据合理获取。
154.在另一种第二数据的获取方式中,当确定第一存储单元受到间接故障时,计算机设备从第一存储单元中读取出第二数据。
155.其中,间接故障包括软件故障和网络故障。
156.在该实施方式中,第二存储单元发生间接故障,则说明能从第一存储单元中直接读取出已写入至第一存储单元的数据。如此,基于间接故障的场景,直接获取第二数据,以保证该间接故障场景下,对第二数据快速获取。
157.在一些实施例中,若第二存储单元还存储有除第一存储单元以外的其他存储单元的数据时,在第二存储单元不包括其他数据的情况下,即第二存储单元仅包括合并后的数据时,用合并后的数据替换第一存储单元中的第二数据。
158.作为一种可能的实施方式,上述s23可以通过以下步骤具体实施。
159.s23a,计算机设备将第一存储单元的物理地址与逻辑地址的关联关系替换为第二存储单元的物理地址与逻辑地址的关联关系。
160.可理解的是,第一存储单元的物理地址不与逻辑地址关联,并用第二存储单元的物理地址与该逻辑地址关联。
161.在一些实施例中,在完成第二存储单元的数据替换第一存储单元的数据后,将第一存储单元中写入的第二数据删除,以使第一存储单元用于存储其他数据,从而提高第一存储单元的利用率,进而提高对存储单元的存储空间的利用率。
162.在该实施方式中,针对合并后的数据存储在第二存储单元的情况,采用第二存储单元的物理地址,替换第一存储单元的物理地址,使得第二存储单元的物理地址与逻辑地址关联,以实现将第一存储单元修改为第二存储单元,以及,将第一存储单元的数据修改为第二存储单元的数据。上述基于关联关系的替换来实现数据的迁移,该过程中不用对数据进行读写,从而减少整个数据处理过程中对数据的读写次数。
163.作为另一种可能的实施方式,上述s23还可以通过以下步骤具体实施。
164.s23b,计算机设备将第一存储单元的物理地址与逻辑地址的关联关系替换为第三存储单元的物理地址与逻辑地址的关联关系。
165.在该实施方式中,针对合并后的数据存储在第三存储单元的情况,采用第三存储单元的物理地址,替换第一存储单元的物理地址,使得第三存储单元的物理地址与逻辑地址关联,以实现将第一存储单元修改为第三存储单元,以及,将第一存储单元的数据修改为第三存储单元的数据。上述基于关联关系的替换来实现数据的迁移,该过程中不用对数据进行读写,从而减少整个数据处理过程中对数据的读写次数。
166.作为又一种可能的实施方式,上述s23还可以通过以下步骤具体实施:结合上述实施方式中,合并后的数据存储在第一存储单元的情况,则继续保留第一存储单元的物理地址与逻辑地址的关联关系。
167.在一些实施例中,第二存储单元的大小与第一存储单元的大小相同;第二存储单元为第一存储单元所属的纠删码计算块组以外的存储单元。
168.上述第二存储单元能存储数据的额定数据量与第一存储单元能存储数据的额定数据量相同。
169.示例性的,如图5所示,第二存储单元包括的数据存储单元与第一存储单元包括的
数据存储单元的个数相同。
170.在该实施方式中,针对第一存储单元属于某一纠删码计算块组的场景,将第二存储单元的大小和第一存储单元的大小设置为相同,以保证纠删码计算过程中数据校验过程的合理性。同时,将第二存储单元设置为该纠删码计算块组以外的存储单元,以保证对第一数据的存储,不占用该纠删码计算块组的存储单元,从而使得该纠删码计算块组的各个存储单元能存储更多的数据,以保证该纠删码计算块组中存储单元的存储空间的利用率。
171.计算机设备在执行上述实施方式的过程中,计算机设备可以根据网络带宽的剩余容量,确定待处理数据的处理速度。
172.上述待处理数据的处理速度包括读取待处理数据的读取速度和写入待处理数据的写入速度。
173.具体地,在网络带宽的剩余容量小于网络带宽的额定容量的40%时,将待处理数据的处理速度设置为网络带宽的额定容量的10%。
174.在网络带宽的剩余容量大于网络带宽的额定容量的40%,且小于网络带宽的额定容量的80%时,将待处理数据的处理速度设置为网络带宽的额定容量的20%。
175.在网络带宽的剩余容量大于网络带宽的额定容量的80%时,将待处理数据的处理速度设置为网络带宽的额定容量的40%。
176.在该实施方式中,根据网络带宽的剩余容量,确定合理的处理速度,以保证处理速度与网络带宽的剩余容量适配,一方面避免处理速度过快,而消耗过多带宽资源;另一方面,避免处理速度过慢,导致数据处理速度过慢。
177.本公开实施例还提供一种如图10所示的数据处理装置400,该装置应用于计算机设备,计算机设备包括第一存储单元和第二存储单元,该装置包括:读写单元401、合并单元402和替换单元403。
178.读写单元401,被配置为执行当将待处理数据写入第一存储单元写入失败时,将待处理数据中未写入的第一数据写入第二存储单元;合并单元402,被配置为执行将待处理数据中已写入的第二数据与第一数据合并,得到合并后的数据;合并后的数据是连续的待处理数据;替换单元403,被配置为执行用合并后的数据替换第一存储单元中的第二数据。
179.在一种可能的实现方式中,读写单元401被具体配置为执行:第二数据的数据量小于预设数量时,将第一数据写入第二存储单元中第一区域,第二存储单元中第二区域的大小等于第二数据的数据量。
180.在另一种可能的实现方式中,读写单元401被具体配置为执行:在第二数据的数据量大于或等于预设数量时,将第一数据写入第二存储单元。
181.在另一种可能的实现方式中,合并单元402被具体配置为执行:将第二数据写入至第二存储单元中的第二区域,得到合并后的数据。
182.在另一种可能的实现方式中,合并单元402被具体配置为执行:将第一数据和第二数据均写入至第三存储单元,得到合并后的数据。
183.在另一种可能的实现方式中,合并单元402被具体配置为执行:当第一存储单元存在间接故障时,将第一数据写入至第一存储单元得到合并后的数据。
184.在另一种可能的实现方式中,读写单元401还被配置为执行:当第一存储单元发生硬件故障时,根据第一数据和预设算法,得到第二数据。
185.在另一种可能的实现方式中,读写单元401还被配置为执行:当第一存储单元受到间接故障时,从第一存储单元中读取出第二数据;间接故障包括软件故障和网络故障。
186.在另一种可能的实现方式中,替换单元403还被配置为执行:将第一存储单元的物理地址与逻辑地址的关联关系替换为第二存储单元的物理地址与逻辑地址的关联关系。
187.在另一种可能的实现方式中,替换单元403还被配置为执行:将第一存储单元的物理地址与逻辑地址的关联关系替换为第三存储单元的物理地址与逻辑地址的关联关系。
188.在另一种可能的实现方式中,第二存储单元的大小与第一存储单元的大小相同;第二存储单元为第一存储单元所属的纠删码计算块组以外的存储单元。
189.在另一种可能的实现方式中,读写单元401还被配置为执行:根据网络带宽的剩余容量,确定待处理数据的处理速度。
190.关于上述实施例中的装置,其中各个单元模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
191.图11是本公开提供的一种计算机设备的示意图。如图11,该计算机设备10还可以包括至少一个处理器501以及用于存储处理器可执行指令的存储器503。其中,处理器501被配置为执行存储器503中的指令,以实现以下实施例中的数据处理方法。
192.另外,计算机设备10还可以包括通信总线502、至少一个通信接口504、输入设备506和输出设备505。
193.处理器501可以是一个处理器(central processing units,cpu),微处理单元,asic,或一个或多个用于控制本公开方案程序执行的集成电路。
194.通信总线502可包括一通路,在上述组件之间传送信息。
195.通信接口504,使用任何收发器一类的装置,用于与其他设备或通信网络通信,如以太网,无线接入网(radio access network,ran),无线局域网(wireless local area networks,wlan)等。
196.输入设备506用于接收输入信号和输出设备505用于输出信号。
197.存储器503可以是只读存储器(read-only memory,rom)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,ram)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,eeprom)、只读光盘(compact disc read-only memory,cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线与处理单元相连接。存储器也可以和处理单元集成在一起。
198.其中,存储器503用于存储执行本公开方案的指令,并由处理器501来控制执行。处理器501用于执行存储器503中存储的指令,从而实现本公开方法中的功能。
199.在具体实现中,作为一种实施例,处理器501可以包括一个或多个cpu,例如图11中的cpu0和cpu1。
200.在具体实现中,作为一种实施例,计算机设备10可以包括多个处理器,例如图11中的处理器501和处理器507。这些处理器中的每一个可以是一个单核(single-cpu)处理器,
也可以是一个多核(multi-cpu)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
201.该计算机设备如图11所示包括:处理器501和用于存储处理器501可执行指令的存储器503;其中,处理器501被配置为执行可执行指令,以实现如上述任一种可能的实施方式的数据处理方法。且能达到相同的技术效果,为避免重复,这里不再赘述。
202.本公开实施例还提供一种计算机可读存储介质,当计算机可读存储介质中的指令由数据处理装置或电子设备的处理器执行时,使得数据处理装置或电子设备能够执行如上述任一种可能的实施方式的数据处理方法。且能达到相同的技术效果,为避免重复,这里不再赘述。
203.本公开实施例还提供一种计算机程序产品,包括计算机程序或指令,计算机程序或指令被处理器执行如上述任一种可能的实施方式的数据处理方法。且能达到相同的技术效果,为避免重复,这里不再赘述。
204.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
205.应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

技术特征:
1.一种数据处理方法,其特征在于,应用于计算机设备,所述计算机设备包括第一存储单元和第二存储单元,所述方法包括:当将待处理数据写入所述第一存储单元写入失败时,将所述待处理数据中未写入的第一数据写入所述第二存储单元;将所述待处理数据中已写入的第二数据与所述第一数据合并,得到合并后的数据;所述合并后的数据是连续的所述待处理数据;用所述合并后的数据替换所述第一存储单元中的第二数据。2.根据权利要求1所述的方法,其特征在于,所述将所述待处理数据中未写入的第一数据写入至所述第二存储单元,包括:所述第二数据的数据量小于预设数量时,将所述第一数据写入所述第二存储单元中第一区域,所述第二存储单元中第二区域的大小等于所述第二数据的数据量。3.根据权利要求1所述的方法,其特征在于,所述将所述待处理数据中未写入的第一数据写入至所述第二存储单元,包括:在所述第二数据的数据量大于或等于预设数量时,将所述第一数据写入所述第二存储单元。4.根据权利要求2所述的方法,其特征在于,所述将所述待处理数据中已写入的第二数据与所述第一数据合并,得到合并后的数据;包括:将所述第二数据写入至所述第二存储单元中的所述第二区域,得到所述合并后的数据。5.根据权利要求1至3中任一项所述的方法,其特征在于,所述将所述待处理数据中已写入的第二数据与所述第一数据合并,得到合并后的数据;包括:将所述第一数据和所述第二数据均写入至第三存储单元,得到所述合并后的数据。6.根据权利要求1至3中任一项所述的方法,其特征在于,所述将所述待处理数据中已写入的第二数据与所述第一数据合并,得到合并后的数据;包括:当所述第一存储单元存在间接故障时,将所述第一数据写入至所述第一存储单元得到所述合并后的数据。7.根据权利要求1至3中任一项所述的方法,其特征在于,所述方法还包括:当所述第一存储单元发生硬件故障时,根据所述第一数据和预设算法,得到所述第二数据。8.根据权利要求1至3中任一项所述的方法,其特征在于,所述方法还包括:当所述第一存储单元受到间接故障时,从所述第一存储单元中读取出所述第二数据;所述间接故障包括软件故障和网络故障。9.根据权利要求4所述的方法,其特征在于,所述用所述合并后的数据替换所述第一存储单元中的第二数据,包括:将所述第一存储单元的物理地址与逻辑地址的关联关系替换为所述第二存储单元的物理地址与所述逻辑地址的关联关系。10.根据权利要求5所述的方法,其特征在于,所述用所述合并后的数据替换所述第一存储单元中的第二数据,包括:将所述第一存储单元的物理地址与逻辑地址的关联关系替换为所述第三存储单元的
物理地址与所述逻辑地址的关联关系。11.根据权利要求1至3任一项所述的方法,其特征在于,所述第二存储单元的大小与所述第一存储单元的大小相同;所述第二存储单元为所述第一存储单元所属的纠删码计算块组以外的存储单元。12.根据权利要求1至3任一项所述的方法,其特征在于,所述方法还包括:根据网络带宽的剩余容量,确定所述待处理数据的处理速度。13.一种数据处理装置,其特征在于,所述装置应用于计算机设备,所述计算机设备包括第一存储单元和第二存储单元,所述装置包括:读写单元,被配置为执行当将待处理数据写入所述第一存储单元写入失败时,将所述待处理数据中未写入的第一数据写入所述第二存储单元;合并单元,被配置为执行将所述待处理数据中已写入的第二数据与所述第一数据合并,得到合并后的数据;所述合并后的数据是连续的所述待处理数据;替换单元,被配置为执行用所述合并后的数据替换所述第一存储单元中的第二数据。14.根据权利要求13所述的数据处理装置,其特征在于,所述读写单元被具体配置为执行:所述第二数据的数据量小于预设数量时,将所述第一数据写入所述第二存储单元中第一区域,所述第二存储单元中第二区域的大小等于所述第二数据的数据量;所述读写单元被具体配置为执行:在所述第二数据的数据量大于或等于预设数量时,将所述第一数据写入所述第二存储单元;所述合并单元被具体配置为执行:将所述第二数据写入至所述第二存储单元中的所述第二区域,得到所述合并后的数据;所述合并单元被具体配置为执行:将所述第一数据和所述第二数据均写入至第三存储单元,得到所述合并后的数据;所述合并单元被具体配置为执行:当所述第一存储单元存在间接故障时,将所述第一数据写入至所述第一存储单元得到所述合并后的数据;所述读写单元还被配置为执行:当所述第一存储单元发生硬件故障时,根据所述第一数据和预设算法,得到所述第二数据;所述读写单元还被配置为执行:当所述第一存储单元受到间接故障时,从所述第一存储单元中读取出所述第二数据;所述间接故障包括软件故障和网络故障;所述替换单元还被配置为执行:将所述第一存储单元的物理地址与逻辑地址的关联关系替换为所述第二存储单元的物理地址与所述逻辑地址的关联关系;所述替换单元还被配置为执行:将所述第一存储单元的物理地址与逻辑地址的关联关系替换为所述第三存储单元的物理地址与所述逻辑地址的关联关系;其中,所述第二存储单元的大小与所述第一存储单元的大小相同;所述第二存储单元为所述第一存储单元所属的纠删码计算块组以外的存储单元;所述读写单元还被配置为执行:根据网络带宽的剩余容量,确定所述待处理数据的处理速度。15.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器用于存储一组计算机指令;当所述处理器执行所述一组计算机指令时,执行上述权利要求1-12中任一项所
述的方法的操作步骤。

技术总结
本公开关于一种数据处理方法、装置及计算机设备,涉及计算机技术领域,以至少解决相关技术中存储数据连续性差和对存储单元的空间利用率低的问题。该方法应用于计算机设备,计算机设备包括第一存储单元和第二存储单元,包括:当将待处理数据写入第一存储单元写入失败时,将待处理数据中未写入的第一数据写入第二存储单元;将待处理数据中已写入的第二数据与第一数据合并,得到合并后的数据;合并后的数据是连续的待处理数据;用合并后的数据替换第一存储单元中的第二数据。一存储单元中的第二数据。一存储单元中的第二数据。


技术研发人员:吴波
受保护的技术使用者:杭州海康威视系统技术有限公司
技术研发日:2023.05.29
技术公布日:2023/8/9
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐