一种存储数据的数据处理系统的制作方法
未命名
10-19
阅读:105
评论:0
1.本发明涉及数据存储技术领域,特别是涉及一种存储数据的数据处理系统。
背景技术:
2.当应用程序或软件在缓存数据时,为了使其快速地访问到被频繁访问的数据,中央处理单元会在其最近的内存位置中查找数据,为了提高数据的缓存效率,一般是先在高速盘(solid state drives,ssd)中缓存,若高速盘没有实现缓存命中,则直接缓存到慢速盘(serial ata,sata)中,但上述现有技术还存在以下问题:一方面,为了保证缓存数据的安全性和完整性,在缓存时会以日志的形式来存储数据,然而在高速盘没有被缓存命中时,会直接将数据缓存到慢速盘中,而慢速盘的性能低下,在输入/输出(input/output,i/o)离散并行的情况下,影响读写效率。
3.另一方面,当高速盘中的存储空间占用较多时,会影响高速盘的读写性能,为了解放高速盘的存储空间,会将部分数据从高速盘中搬移出,这一过程也会影响高速盘的性能,增加i/o负载。
技术实现要素:
4.针对上述技术问题,本发明采用的技术方案为:一种存储数据的数据处理系统,所述系统包括:第一预设盘、第二预设盘、处理器和存储有计算机程序的存储器,所述第一预设盘和所述第二预设盘的缓存速度处于不同预设范围,且所述第一预设盘的缓存速度大于所述第二预设盘的缓存速度,所述第一预设盘包括若干个预设存储区域,所述第一预设盘中存储有所述第二预设盘的关键数据信息,所述关键数据信息包括所述第二预设盘的标识和存储路径,当所述计算机程序被处理器执行时,实现以下步骤:s100,获取目标写请求对应的第一请求信息;所述目标写请求是指用户发送的目标存储请求信号;所述第一请求信息包括所述目标写请求对应的存储数据和所述存储数据的字节数α;s200,根据α,从若干个预设存储区域中的目标存储区域中获取第一存储单元集a={a1,
……
,ai,
……
,am},其中,ai为第i个第一存储单元,i=1
……
m,m为第一存储单元的数量,所述第一存储单元为目标存储区域中的若干个预设存储单元中剩余存储空间≥α的任一存储单元,任意两个第一存储单元的总存储空间相等,所述目标存储区域为预先配置的用于存储写请求对应的存储数据的存储区域;s300,若m>0,将所述存储数据随机存储至所述第一存储单元集中的任一第一存储单元;s400,若m=0,从所述目标存储区域中获取第二存储单元集b={b1,
……
,bj,
……
,bn},其中,bj为第j个第二存储单元,j=1
……
n,n为第二存储单元的数量,所述第二存储单元与所述第一存储单元的存储空间相等;
s500,若b中未存储有不符合预设规则的数据,将所述存储数据存储至n个第二存储单元中;s600,若b中的任一第二存储单元中有不符合预设规则的数据,根据所述第二预设盘的标识和存储路径,将所述不符合预设规则的数据存储至所述第二预设盘;s700,将所述存储数据存储至所述第一预设盘。
5.本发明与现有技术相比具有明显的有益效果,借由上述技术方案,本发明提供的一种存储数据的数据处理系统可达到相当的技术进步性及实用性,并具有产业上的广泛利用价值,其至少具有以下有益效果:本发明提供了一种存储数据的数据处理系统,所述系统包括:第一预设盘、第二预设盘、处理器和存储有计算机程序的存储器,所述第一预设盘包括若干个预设存储区域,当所述计算机程序被处理器执行时,实现以下步骤:获取目标写请求对应的第一请求信息;所述目标写请求是指用户发送的目标存储请求信号,所述第一请求信息包括所述目标写请求对应的存储数据和所述存储数据的字节数α,根据α,从若干个预设存储区域中的目标存储区域中获取第一存储单元集a,若第一存储单元的数量大于0,将所述存储数据随机存储至所述第一存储单元集中的任一第一存储单元,若第一存储单元的数量等于0,从所述目标存储区域中获取第二存储单元集b,若b中未存储有不符合预设规则的数据,将所述存储数据存储至n个第二存储单元中,若b中的任一第二存储单元中有不符合预设规则的数据,根据所述第二预设盘的标识和存储路径,将所述不符合预设规则的数据存储至所述第二预设盘,将所述存储数据存储至所述第一预设盘。本发明提供了一种新的存储数据的数据处理系统,一方面,所有写请求的数据都要分配在第一预设盘中进行存储,保护数据完整性和安全性的同时,还能够提高读写效率;另一方面,根据存储单元中的数据块的划分,将同一数据块内的不符合预设规则的数据合并刷到第二预设盘,能够减少刷数据的次数,从而减少io负载,并且能够留出第一预设盘的部分空间,以存储更多数据。
附图说明
6.为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
7.图1为本发明实施例提供的一种存储数据的数据处理系统的执行计算机程序的流程图。
具体实施方式
8.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
9.需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用
的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
10.本发明提供了一种存储数据的数据处理系统,所述系统包括:第一预设盘、第二预设盘、处理器和存储有计算机程序的存储器,所述第一预设盘和所述第二预设盘的缓存速度处于不同预设范围,且所述第一预设盘的缓存速度大于所述第二预设盘的缓存速度,所述第一预设盘包括若干个预设存储区域,所述第一预设盘中存储有所述第二预设盘的关键数据信息,所述关键数据信息包括所述第二预设盘的标识和存储路径。
11.具体的,所述第二预设盘为预设的慢速盘,例如,sata硬盘。
12.在一个具体的实施例中,通过如下步骤获取第一预设盘:s010,获取初始预设盘。
13.具体的,所述初始预设盘为预设的高速盘,例如,ssd硬盘。
14.s020,根据所述初始预设盘,获取所述初始预设盘对应的预设存储区域集c={c1,
……
,c
p
,
……
,cq},其中,c
p
为第p个预设存储区域,p=1
……
q,q为预设存储区域的数量。
15.在一个具体的实施例中,在s020中还通过如下步骤获取c:s021,根据所述第一预设盘的若干个预设存储信息,从所述初始预设盘中获取q个预设存储区域;可以理解为:根据不同的预设存储信息,将所述初始预设盘划分为q个预设存储区域;不同的预设存储区域用于存储不同的预设存储信息;所述预设存储信息是指根据用户输入的请求提供对应数据的信息。
16.具体的,各预设存储区域的大小根据实际需求进行划分。
17.s022,根据q个预设存储区域,获取c;可以理解为:将q个预设存储区域组成预设存储区域集c。
18.上述,通过将初始预设盘划分成若干个预设存储区域,能够存储对应的预设存储信息,通过存储第二预设盘的标识和存储路径,便于将第一预设盘中的数据写入第二预设盘;通过存储写入的数据,能够保证数据的完整性,同时提高存储效率。
19.s030,根据q个预设存储区域,获取第一预设盘。
20.在一个具体的实施例中,当所述计算机程序被处理器执行时,如图1所示,实现以下步骤:s100,获取目标写请求对应的第一请求信息。
21.具体的,所述目标写请求是指用户发送的目标存储请求信号;所述第一请求信息包括所述目标写请求对应的存储数据和所述存储数据的字节数α。
22.s200,根据α,从若干个预设存储区域中的目标存储区域中获取第一存储单元集a={a1,
……
,ai,
……
,am},其中,ai为第i个第一存储单元,i=1
……
m,m为第一存储单元的数量。
23.具体的,所述第一存储单元为目标存储区域中的若干个预设存储单元中剩余存储空间≥α的任一存储单元,任意两个第一存储单元的总存储空间相等,所述目标存储区域为
预先配置的用于存储写请求对应的存储数据的存储区域;可以理解为:将所述目标存储区域平均划分成若干个预设存储单元,所述预设存储单元的存储空间根据实际需求确定,例如,每个预设存储单元的存储空间为8k。
24.具体的,剩余存储空间为所述预设存储单元中还未存储有数据的空间;例如,存储空间为8k的预设存储单元中已存储有3k的数据,则其剩余存储空间为5k。
25.上述,通过所述存储数据的字节数并根据字节数的大小,能够从目标存储区域中选取对应的存储单元,以实现对存储数据的存储。
26.s300,若m>0,将所述存储数据随机存储至所述第一存储单元集中的任一第一存储单元。可以理解为:若m=1,将所述存储数据存储至唯一的第一存储单元中,若m>1,将所述存储数据随机存储至其中一个第一存储单元中。
27.s400,若m=0,从所述目标存储区域中获取第二存储单元集b={b1,
……
,bj,
……
,bn},其中,bj为第j个第二存储单元,j=1
……
n,n为第二存储单元的数量,所述第二存储单元与所述第一存储单元的存储空间相等;可以理解为,若所述目标存储区域中不存在大于所述存储数据的字节数的存储单元,则分配多个存储单元实现对存储数据的存储。
28.在一个具体的实施例中,在s400中还通过如下步骤获取b:s401,根据α,从所述目标存储区域中依次获取第二存储单元和所述第二存储单元的剩余存储空间;s402,根据获取的若干个第二存储单元的剩余存储空间,获取若干个第二存储单元的总剩余存储空间bb,其中bb符合如下条件:bb=∑
zt=1
bb
t
,其中,bb
t
为第t个第二存储单元的剩余存储空间,z为第二存储单元的数量;s403,当bb≥α时,获取b。
29.上述,在根据所述存储数据的字节数分配存储空间时,根据依次获取的第二存储单元,统计获取的第二存储单元的剩余存储空间之和,直至剩余存储空间之和大于或等于所述存储数据的字节数,完成存储空间的分配,以实现存储数据的完整保存。
30.s500,若b中未存储有不符合预设规则的数据,将所述存储数据存储至n个第二存储单元中;具体的,预设规则为本领域技术人员根据实际需求设定的规则,例如,不符合预设规则的数据为脏数据,脏数据是指数据不再给定的范围内或对于实际业务毫无意义,获取数据格式非法,并存在不规范的编码和不清楚的业务逻辑,本领域技术人员知晓所述脏数据的类型,在此不再赘述。
31.在一个具体的实施例中,在s500中还包括如下步骤:s501,根据n个第二存储单元的预设存储顺序,获取b对应的预设存储单元集b0={b
01
,
……
,b
0j
,
……
,b
0n
},其中,b
0j
为第j个预设存储单元;可以理解为:b
01
为第一个存储的预设存储单元,b
0n
为最后一个存储的预设存储单元。
32.s502,根据b0,当b
0j
存满数据时,将所述存储数据中的剩余数据存储至b
0j+1
中,直至所述存储数据完全存储至n个第二存储单元中。
33.具体的,所述剩余数据是指b
0j
存满数据时,所述存储数据中还未存储的数据。
34.上述,根据n个预设存储单元的存储顺序,能够将存储数据依次存储在n个预设存
储单元中,保证数据存储的完整性和有序性。
35.s600,若b中的任一第二存储单元中有不符合预设规则的数据,根据所述第二预设盘的标识和存储路径,将所述不符合预设规则的数据存储至所述第二预设盘。
36.上述,通过将不符合预设规则的数据存储至第二预设盘,能够释放出第一预设盘的部分存储空间,并保证第一预设盘中数据存储的安全性。
37.s700,将所述存储数据存储至所述第一预设盘。
38.上述,通过根据所述存储数据的字节数大小,对第一预设盘进行处理,使所述存储数据能够完整地存储在第一预设盘中,保证了数据的完整性和安全性,同时相对于第二预设盘,还能提高数据的缓存效率以及后续读取数据的效率。
39.在另一个具体的实施例中,当所述计算机程序被处理器执行时,还用于实现以下步骤:s1,获取目标读请求对应的第二请求信息。
40.具体的,所述目标读请求是指用户发送的目标读取请求信号;所述第二请求信息包括所述目标读请求对应的请求数据。
41.s2,若所述第一预设盘中不存在与所述请求数据对应的数据,从所述第二预设盘中获取第一关键数据;所述第一关键数据为所述第二预设盘中与所述请求数据对应的数据。
42.具体的,若第一预设盘中不存在与所述请求数据对应的数据,根据第一预设盘内存储的第二预设盘的标识和存储路径,从第二预设盘内获取第一关键数据。
43.s3,若所述第一预设盘中存在所有请求数据对应的数据,从所述第一预设盘中获取第二关键数据;所述第二关键数据为所述第一预设盘中与所述请求数据对应的数据。
44.上述,根据所述请求数据,能够首先在第一预设盘中获取对应的数据,提高读取效率,若第一预设盘未存储对应的数据时,再从第二预设盘读取效率,保证数据读取的完整性。
45.在一个具体的实施例中,在s3之后还包括如下步骤:s4,若所述第一预设盘中存在部分所述请求数据对应的数据,从所述第一预设盘中获取第三关键数据的数据类型;所述第三关键数据为所述第一预设盘中与部分所述请求数据对应的数据;所述数据类型包括符合预设规则的数据和不符合预设规则的数据;s5,若所述第三关键数据为符合预设规则的数据,从所述第二预设盘中获取第四关键数据;所述第四关键数据为所述第二预设盘中与部分所述请求数据对应的数据;s6,若所述第三关键数据为不符合预设规则的数据,根据所述第三关键数据和所述第四关键数据,获取目标读取数据;所述目标读取数据为所述第三关键数据和所述第四关键数据合并后得到的数据。
46.上述,首先从第一预设盘中获取与部分请求数据对应的数据,再判断该数据是否是符合预设规则的数据,若不是,再从第二预设盘中读取对应的数据,能够保证读取的数据的完整性和安全性。
47.在另一个具体的实施例中,所述数据处理系统还包括清理线程,当所述计算机程序被处理器执行时,还实现以下步骤:s001,根据所述目标存储区域中的任一预设存储单元,获取初始数据块集d=
{d1,
……
,dg,
……
,dh},其中,dg为第g个初始数据块,g=1
……
h,h为初始数据块的数量,所述初始数据块为所述预设存储单元平均划分的若干个预设数据块中的任一数据块;s002,根据d,获取d对应的关键数据比例集d0={d
01
,
……
,d
0g
,
……
,d
0h
},其中,d
0g
为dg对应的关键数据的比例,关键数据为不符合预设规则的数据;s003,根据d0,获取d0对应的关键数据块集k={k1,
……
,kr,
……
,ks},其中,kr为从d中获取的不符合预设规则的数据的比例处于第r个预设范围的若干个初始数据块组成的关键数据块列表,r=1
……
s,s为关键数据块列表的数量,第1个预设范围到第s个预设范围依次递减,且第s个预设范围为0。
48.具体的,预设范围设置有十一个,分别为90%~100%,
……
,10%~20%,0~10%,0,在每个预设范围内,不符合预设规则的数据的比例应大于最小值,小于或等于最大值。
49.s004,获取k对应的搬移顺序列表kk={1
k1
,
……
,r
kr
,
……
,s
ks
},其中,r
kr
表示在第r次搬移中将kr中的不符合预设规则的数据搬移至所述第二预设盘。
50.具体的,在s004中还通过如下步骤将kr中的不符合预设规则的数据搬移至所述第二预设盘:s0041,获取kr中的若干个关键数据块;s0042,根据任一关键数据块,将所述关键数据块中的不符合预设规则的数据合并后搬移至所述第二预设盘。
51.上述,在关键数据块中,不符合预设规则的数据可能是离散的,需要多次搬运,而本实施例通过将离散的数据合并后一同搬运,在一次搬运过程中即能够将同一数据块中的不符合预设规则的数据搬移至所述第二预设盘,减少了搬迁次数,提高了第一预设盘io的性能。
52.具体的,在s0042之后还包括如下步骤:s0043,获取所述关键数据块对应的目标数据块;所述目标数据块为将所述关键数据块中的不符合预设规则的数据搬移至所述第二预设盘后的得到的数据块;s0044,将所述目标数据块置于ks中。
53.上述,将关键数据块中不符合预设规则的数据搬移至所述第二预设盘之后,将得到的目标数据块置于ks中,不再进行数据的搬移。
54.综上,本发明提供了一种存储数据的数据处理系统,所述系统包括:第一预设盘、第二预设盘、处理器和存储有计算机程序的存储器,所述第一预设盘包括若干个预设存储区域,当所述计算机程序被处理器执行时,实现以下步骤:获取目标写请求对应的第一请求信息;所述目标写请求是指用户发送的目标存储请求信号,所述第一请求信息包括所述目标写请求对应的存储数据和所述存储数据的字节数α,根据α,从若干个预设存储区域中的目标存储区域中获取第一存储单元集a,若第一存储单元的数量大于0,将所述存储数据随机存储至所述第一存储单元集中的任一第一存储单元,若第一存储单元的数量等于0,从所述目标存储区域中获取第二存储单元集b,若b中未存储有不符合预设规则的数据,将所述存储数据存储至n个第二存储单元中,若b中的任一第二存储单元中有不符合预设规则的数据,根据所述第二预设盘的标识和存储路径,将所述不符合预设规则的数据存储至所述第二预设盘,将所述存储数据存储至所述第一预设盘。本发明提供了一种新的存储数据的数据处理系统,一方面,所有写请求的数据都要分配在第一预设盘中进行存储,保护数据完整
性和安全性的同时,还能够提高读写效率;另一方面,根据存储单元中的数据块的划分,将同一数据块内的不符合预设规则的数据合并刷到第二预设盘,能够减少刷数据的次数,从而减少io负载,并且能够留出第一预设盘的部分空间,以存储更多数据。
55.虽然已经通过示例对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员还应理解,可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。
技术特征:
1.一种存储数据的数据处理系统,其特征在于,所述系统包括:第一预设盘、第二预设盘、处理器和存储有计算机程序的存储器,所述第一预设盘和所述第二预设盘的缓存速度处于不同预设范围,且所述第一预设盘的缓存速度大于所述第二预设盘的缓存速度,所述第一预设盘包括若干个预设存储区域,所述第一预设盘中存储有所述第二预设盘的关键数据信息,所述关键数据信息包括所述第二预设盘的标识和存储路径,当所述计算机程序被处理器执行时,实现以下步骤:s100,获取目标写请求对应的第一请求信息;所述目标写请求是指用户发送的目标存储请求信号;所述第一请求信息包括所述目标写请求对应的存储数据和所述存储数据的字节数α;s200,根据α,从若干个预设存储区域中的目标存储区域中获取第一存储单元集a={a1,
……
,a
i
,
……
,a
m
},其中,a
i
为第i个第一存储单元,i=1
……
m,m为第一存储单元的数量,所述第一存储单元为目标存储区域中的若干个预设存储单元中剩余存储空间≥α的任一存储单元,任意两个第一存储单元的总存储空间相等,所述目标存储区域为预先配置的用于存储写请求对应的存储数据的存储区域;s300,若m>0,将所述存储数据随机存储至所述第一存储单元集中的任一第一存储单元;s400,若m=0,从所述目标存储区域中获取第二存储单元集b={b1,
……
,b
j
,
……
,b
n
},其中,b
j
为第j个第二存储单元,j=1
……
n,n为第二存储单元的数量,所述第二存储单元与所述第一存储单元的存储空间相等;s500,若b中未存储有不符合预设规则的数据,将所述存储数据存储至n个第二存储单元中;s600,若b中的任一第二存储单元中有不符合预设规则的数据,根据所述第二预设盘的标识和存储路径,将所述不符合预设规则的数据存储至所述第二预设盘;s700,将所述存储数据存储至所述第一预设盘。2.根据权利要求1所述的存储数据的数据处理系统,其特征在于,在s400中还通过如下步骤获取b:s401,根据α,从所述目标存储区域中依次获取第二存储单元和所述第二存储单元的剩余存储空间;s402,根据获取的若干个第二存储单元的剩余存储空间,获取若干个第二存储单元的总剩余存储空间bb,其中bb符合如下条件:bb=∑
zt=1
bb
t
,其中,bb
t
为第t个第二存储单元的剩余存储空间,z为第二存储单元的数量;s403,当bb≥α时,获取b。3.根据权利要求1所述的存储数据的数据处理系统,其特征在于,在s500中还包括如下步骤:s501,根据n个第二存储单元的预设存储顺序,获取b对应的预设存储单元集b0={b
01
,
……
,b
0j
,
……
,b
0n
},其中,b
0j
为第j个预设存储单元;s502,根据b0,当b
0j
存满数据时,将所述存储数据中的剩余数据存储至b
0j+1
中,直至所述存储数据完全存储至n个第二存储单元中;所述剩余数据是指b
0j
存满数据时,所述存储数据
中还未存储的数据。4.根据权利要求1所述的存储数据的数据处理系统,其特征在于,当所述计算机程序被处理器执行时,还用于实现以下步骤:s1,获取目标读请求对应的第二请求信息;所述目标读请求是指用户发送的目标读取请求信号;所述第二请求信息包括所述目标读请求对应的请求数据;s2,若所述第一预设盘中不存在与所述请求数据对应的数据,从所述第二预设盘中获取第一关键数据;所述第一关键数据为所述第二预设盘中与所述请求数据对应的数据;s3,若所述第一预设盘中存在所有请求数据对应的数据,从所述第一预设盘中获取第二关键数据;所述第二关键数据为所述第一预设盘中与所述请求数据对应的数据。5.根据权利要求4所述的存储数据的数据处理系统,其特征在于,在s3之后还包括如下步骤:s4,若所述第一预设盘中存在部分所述请求数据对应的数据,从所述第一预设盘中获取第三关键数据的数据类型;所述第三关键数据为所述第一预设盘中与部分所述请求数据对应的数据;所述数据类型包括符合预设规则的数据和不符合预设规则的数据;s5,若所述第三关键数据为符合预设规则的数据,从所述第二预设盘中获取第四关键数据;所述第四关键数据为所述第二预设盘中与部分所述请求数据对应的数据;s6,若所述第三关键数据为不符合预设规则的数据,根据所述第三关键数据和所述第四关键数据,获取目标读取数据;所述目标读取数据为所述第三关键数据和所述第四关键数据合并后得到的数据。6.根据权利要求1所述的存储数据的数据处理系统,其特征在于,通过如下步骤获取第一预设盘:s010,获取初始预设盘;s020,根据所述初始预设盘,获取所述初始预设盘对应的预设存储区域集c={c1,
……
,c
p
,
……
,c
q
},其中,c
p
为第p个预设存储区域,p=1
……
q,q为预设存储区域的数量;s030,根据q个预设存储区域,获取第一预设盘。7.根据权利要求6所述的存储数据的数据处理系统,其特征在于,在s020中还通过如下步骤获取c:s021,根据所述第一预设盘的若干个预设存储信息,从所述初始预设盘中获取q个预设存储区域;不同的预设存储区域用于存储不同的预设存储信息;所述预设存储信息是指根据用户输入的请求提供对应数据的信息;s022,根据q个预设存储区域,获取c。8.根据权利要求1所述的存储数据的数据处理系统,其特征在于,所述系统还包括清理线程,当所述计算机程序被处理器执行时,还实现以下步骤:s001,根据所述目标存储区域中的任一预设存储单元,获取初始数据块集d={d1,
……
,d
g
,
……
,d
h
},其中,d
g
为第g个初始数据块,g=1
……
h,h为初始数据块的数量,所述初始数据块为所述预设存储单元平均划分的若干个预设数据块中的任一数据块;s002,根据d,获取d对应的不符合预设规则的数据比例集d0={d
01
,
……
,d
0g
,
……
,d
0h
},其中,d
0g
为d
g
对应的关键数据的比例,关键数据为不符合预设规则的数据;s003,根据d0,获取d0对应的关键数据块集k={k1,
……
,k
r
,
……
,k
s
},其中,k
r
为从d中获
取的不符合预设规则的数据的比例处于第r个预设范围的若干个初始数据块组成的关键数据块列表,r=1
……
s,s为关键数据块列表的数量,第1个预设范围到第s个预设范围依次递减,且第s个预设范围为0;s004,获取k对应的搬移顺序列表kk={1
k1
,
……
,r
kr
,
……
,s
ks
},其中,r
kr
表示在第r次搬移中将k
r
中的不符合预设规则的数据搬移至所述第二预设盘。9.根据权利要求8所述的存储数据的数据处理系统,其特征在于,在s004中还通过如下步骤将k
r
中的不符合预设规则的数据搬移至所述第二预设盘:s0041,获取k
r
中的若干个关键数据块;s0042,根据任一关键数据块,将所述关键数据块中的不符合预设规则的数据合并后搬移至所述第二预设盘。10.根据权利要求9所述的数据处理系统,其特征在于,在s0042之后还包括如下步骤:s0043,获取所述关键数据块对应的目标数据块;所述目标数据块为将所述关键数据块中的不符合预设规则的数据搬移至所述第二预设盘后的得到的数据块;s0044,将所述目标数据块置于k
s
中。
技术总结
本申请涉及数据存储技术领域,特别是涉及一种存储数据的数据处理系统,所述系统包括:第一预设盘、第二预设盘、处理器和存储有计算机程序的存储器,所述第一预设盘和所述第二预设盘的缓存速度处于不同预设范围,且所述第一预设盘的缓存速度大于所述第二预设盘的缓存速度,所述第一预设盘包括若干个预设存储区域,所述第一预设盘中存储有所述第二预设盘的关键数据信息,所述关键数据信息包括所述第二预设盘的标识和存储路径。本发明提供了一种新的存储数据的数据处理系统,能够在保护数据完整性和安全性的同时,还能够提高读写效率;能够减少刷数据的次数,从而减少io负载。从而减少io负载。从而减少io负载。
技术研发人员:曹敬涛 钱慧奇 丁晓杰
受保护的技术使用者:上海凯翔信息科技有限公司
技术研发日:2023.09.06
技术公布日:2023/10/15
版权声明
本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
飞行汽车 https://www.autovtol.com/
