一种自适应数据脱敏的方法、装置、设备及存储介质与流程

1.本技术涉及数据处理技术领域，具体涉及一种自适应数据脱敏的方法、装置、设备及存储介质。


背景技术：

2.数据脱敏是指对敏感信息进行数据变形，实现敏感信息的可靠保护。通过数据脱敏，可以有效防止隐私数据流出及被滥用。例如身份证号、手机号、密码等信息都需要进行数据脱敏。
3.传统的数据脱敏方式有两种；第一种是集中式数据脱敏方式，脱敏过程较方便简单，资源分配较少；第二种是分布式数据脱敏方式，采用分布式的资源监控，资源分配较多且可以横向扩展。但是，传统的数据脱敏过程常采用单一的数据脱敏方式，不能合理利用上述两种方式的优点，存在资源浪费和脱敏时间长效率低下的缺点。


技术实现要素：

4.有鉴于此，本技术提供一种自适应数据脱敏的方法、装置、设备及存储介质，能够合理利用集中式数据脱敏方式和分布式数据脱敏方式，减少资源浪费，提高数据脱敏效率。
5.为解决上述问题，本技术提供的技术方案如下：
6.本技术第一方面提供一种自适应数据脱敏的方法，包括：
7.配置多个脱敏任务；每个脱敏任务均包括对应的待脱敏数据源；
8.将数据容量大于或等于预设容量的待脱敏数据源对应的脱敏任务分配至分布式数据脱敏模块；将数据容量小于预设容量的待脱敏数据源对应的脱敏任务分配至集中式数据脱敏模块；
9.控制分布式数据脱敏模块和集中式数据脱敏模块启动分配的脱敏任务，以对分配的脱敏任务中的待脱敏数据源进行脱敏处理；
10.当任一数据脱敏模块存在空闲资源，且另一数据脱敏模块存在未启动的脱敏任务时，将未启动的脱敏任务转移至存在空闲资源的数据脱敏模块中。
11.优选地，分布式数据脱敏模块包括：第一队列和第二队列；第一队列的优先级高于第二队列；
12.方法还包括：
13.当第二队列中的脱敏任务在第一预设时间后仍未启动，将第二队列中的脱敏任务转移至第一队列。
14.优选地，控制分布式数据脱敏模块启动对应的脱敏任务，具体包括：
15.每预设周期判断第二队列中的脱敏任务是否满足资源，如果是，启动第二队列中的脱敏任务；如果否，维持第二队列中的脱敏任务未启动；
16.当第二队列中的脱敏任务在第一预设时间后仍未启动，将第二队列中的脱敏任务转移至第一队列，具体包括：
17.当第二队列中的脱敏任务未满足资源的次数达到预设次数后，将第二队列中的脱敏任务转移至第一队列。
18.优选地，集中式数据脱敏模块包括：第三队列和第四队列；第三队列的优先级高于第四队列；
19.方法还包括：
20.当第四队列中的脱敏任务在第二预设时间后仍未启动，将第四队列中的脱敏任务转移至第三队列。
21.优选地，脱敏任务还包括：脱敏规则和目标位置；
22.控制分布式数据脱敏模块和集中式数据脱敏模块启动分配的脱敏任务，以对分配的脱敏任务中的待脱敏数据源进行脱敏处理，具体包括：
23.控制分布式数据脱敏模块和集中式数据脱敏模块按照对应的脱敏任务中的脱敏规则，对分配的脱敏任务中的待脱敏数据源进行脱敏处理，将处理结果推送至分配的脱敏任务中的目标位置。
24.本技术第二方面提供一种自适应数据脱敏的装置，包括：配置模块、分配模块、分布式数据脱敏模块、集中式数据脱敏模块和转移模块；
25.配置模块，用于配置多个脱敏任务；每个脱敏任务均包括对应的待脱敏数据源；
26.分配模块，用于将数据容量大于或等于预设容量的待脱敏数据源对应的脱敏任务分配至分布式数据脱敏模块；将数据容量小于预设容量的待脱敏数据源对应的脱敏任务分配至集中式数据脱敏模块；
27.分布式数据脱敏模块，用于启动分布式数据脱敏模块对应的脱敏任务，以对分布式数据脱敏模块的待脱敏数据进行分布式脱敏处理；
28.集中式数据脱敏模块，用于启动集中式数据脱敏模块对应的脱敏任务，以对集中式数据脱敏模块的待脱敏数据进行集中式脱敏处理；
29.转移模块，用于当任一数据脱敏模块存在空闲资源，且另一数据脱敏模块存在未启动的脱敏任务时，将未启动的脱敏任务转移至存在空闲资源的数据脱敏模块中。
30.优选地，分布式数据脱敏模块包括：第一队列和第二队列；第一队列的优先级高于第二队列；
31.转移模块，还用于当第二队列中的脱敏任务在第一预设时间后仍未启动，将第二队列中的脱敏任务转移至第一队列。
32.优选地，集中式数据脱敏模块包括：第三队列和第四队列；第三队列的优先级高于第四队列；
33.转移模块，还用于当第四队列中的脱敏任务在第二预设时间后仍未启动，将第四队列中的脱敏任务转移至第三队列。
34.本技术第三方面提供一种自适应数据脱敏的设备，包括：存储器和处理器；
35.存储器，用于存储指令；
36.处理器，用于执行存储器中的指令，执行以上介绍的方法。
37.本技术第四方面提供一种计算机可读存储介质，计算机可读存储介质存储有程序代码或指令，当其在计算机上运行时，使得计算机执行以上介绍的方法。
38.由此可见，本技术具有如下有益效果：
39.本技术提供的自适应数据脱敏的方法，包括：配置多个脱敏任务；每个脱敏任务均包括对应的待脱敏数据源；将数据容量大于等于预设容量的待脱敏数据源对应的脱敏任务分配至分布式数据脱敏模块；将数据容量小于预设容量的待脱敏数据源对应的脱敏任务分配至集中式数据脱敏模块；按照分布式数据脱敏模块和集中式数据脱敏模块的特点，将数据容量大的待脱敏数据源分配给资源横向扩展的分布式数据脱敏模块，将数据容量小的待脱敏数据源分配给资源占用少的集中式数据脱敏模块；控制分布式数据脱敏模块和集中式数据脱敏模块启动分配的脱敏任务，以对分配的脱敏任务中的待脱敏数据源进行脱敏处理；考虑到数据脱敏模块实际运行时的资源使用情况，当任一数据脱敏模块存在空闲资源，且另一数据脱敏模块存在未启动的脱敏任务时，将未启动的脱敏任务转移至存在空闲资源的数据脱敏模块中。本技术提供的自适应数据脱敏的方法，能够有效利用分布式脱敏模块和集中式脱敏模块各自的优点，且考虑了数据脱敏模块的资源使用情况，脱敏任务分配更合理，减少数据脱敏过程的资源浪费，提高脱敏效率。
附图说明
40.图1为本技术实施例提供的一种自适应数据脱敏的方法的流程图；
41.图2为本技术实施例提供的另一种自适应数据脱敏的方法的流程图；
42.图3为本技术实施例提供的一种自适应数据脱敏的装置的示意图。
具体实施方式
43.为使本技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本技术实施例作进一步详细的说明。
44.参见图1，该图为本技术实施例提供的一种自适应数据脱敏的方法的流程图。
45.本技术实施例提供的自适应数据脱敏的方法，包括如下步骤：
46.s101：配置多个脱敏任务。
47.每个脱敏任务均包括对应的待脱敏数据源。
48.本技术不具体限定步骤s101配置的脱敏任务的具体内容，例如：脱敏任务除了包括待脱敏数据源之外，还可以包括脱敏规则、目标位置等内容。
49.s102：将数据容量大于等于预设容量的待脱敏数据源对应的脱敏任务分配至分布式数据脱敏模块；将数据容量小于预设容量的待脱敏数据源对应的脱敏任务分配至集中式数据脱敏模块。
50.分布式数据脱敏模块，是采用分布式的方式对待脱敏数据源进行脱敏的模块；由于其采用分布式处理，资源分配多，资源可以进行横向扩展，采用分布式任务监控等特性，分布式数据脱敏模块具有较好的大容量数据处理能力。但是，当待脱敏数据源的数据容量较小时，分布式数据脱敏模块分配的资源过多，易出现资源浪费的情况。
51.集中式数据脱敏模块，是采用集中式的方式对待脱敏数据源进行脱敏的模块；其资源分配比分布式数据脱敏模块的资源分配少，因此，当待脱敏数据源的数据容量较大时，集中式数据脱敏模块处理缓慢，效率低下。
52.因此根据待脱敏数据源的数据容量，当数据容量大于等于预设容量时，将脱敏任务分配至分布式数据脱敏模块，提高脱敏效率；当数据容量小于预设容量时，将脱敏任务分
配至集中式数据脱敏模块，减少资源浪费。
53.本领域技术人员可以根据数据脱敏的具体需求自行设置预设容量，优选地，预设容量可以为1gb。
54.应该理解，步骤s102仅将脱敏任务分配给了相应的数据脱敏模块；关于数据脱敏模块是否执行脱敏任务，则取决于数据脱敏模块自身的资源使用情况。
55.s103：控制分布式数据脱敏模块和集中式数据脱敏模块启动分配的脱敏任务，以对分配的脱敏任务中的待脱敏数据源进行脱敏处理。
56.s104：当任一数据脱敏模块存在空闲资源，且另一数据脱敏模块存在未启动的脱敏任务时，将未启动的脱敏任务转移至存在空闲资源的数据脱敏模块中。
57.虽然步骤s102根据分布式数据脱敏模块和集中式数据脱敏模块分别适宜处理的类型对脱敏任务进行了分配，但并未考虑实际资源使用情况，会出现一个数据脱敏模块存在空闲资源，而另一个数据脱敏模块存在较多未启动的脱敏任务排队的情况。
58.例如：分布式脱敏模块有资源空闲，且集中式脱敏模块有未启动的脱敏任务时，步骤s104则将未启动的脱敏任务转移至分布式脱敏模块。
59.在一种可能的实现方式中，步骤s104可以先检测分布式脱敏模块的空闲资源的容量，将集中式脱敏模块中满足空闲资源的容量的未启动的脱敏任务转移到分布式脱敏模块中。本技术不具体限定空闲资源的容量的获取方式，例如可以每隔一定时间监控一次已使用资源的容量，计算出空闲资源的容量。
60.本技术实施例提供的自适应数据脱敏的方法，包括：配置多个脱敏任务；每个脱敏任务均包括对应的待脱敏数据源；将数据容量大于等于预设容量的待脱敏数据源对应的脱敏任务分配至分布式数据脱敏模块；将数据容量小于预设容量的待脱敏数据源对应的脱敏任务分配至集中式数据脱敏模块；按照分布式数据脱敏模块和集中式数据脱敏模块的特点，将数据容量大的待脱敏数据源分配给资源横向扩展的分布式数据脱敏模块，将数据容量小的待脱敏数据源分配给资源占用少的集中式数据脱敏模块；控制分布式数据脱敏模块和集中式数据脱敏模块启动分配的脱敏任务，以对分配的脱敏任务中的待脱敏数据源进行脱敏处理；考虑到数据脱敏模块实际运行时的资源使用情况，当任一数据脱敏模块存在空闲资源，且另一数据脱敏模块存在未启动的脱敏任务时，将未启动的脱敏任务转移至存在空闲资源的数据脱敏模块中。本技术实施例提供的自适应数据脱敏的方法，能够有效利用分布式脱敏模块和集中式脱敏模块各自的优点，且考虑了数据脱敏模块的资源使用情况，脱敏任务分配更合理，减少数据脱敏过程的资源浪费，提高脱敏效率。
61.在一些实施例中，数据脱敏模块包括多条队列，不同队列对应不同的优先级。下面以分布式数据脱敏模块为例进行介绍。
62.分布式数据脱敏模块包括：第一队列和第二队列；第一队列的优先级高于第二队列。其中，第一队列和第二队列是泛指，分布式数据脱敏模块可以包括代表不同优先级的更多队列，但只要第一队列和第二队列满足优先级关系即可。例如：分布式数据脱敏模块包括高优先级队列a、中优先级队列b和低优先级队列c，则第一队列和第二队列的组合对应可以为：a(为第一队列)b(为第二队列)、ac或bc。
63.应该理解，分布式数据脱敏模块按照队列的优先级处理队列中的脱敏任务，脱敏模块的资源优先满足优先级最高的队列中的脱敏任务。
64.因此，可能存在如下情况：位于较低优先级队列中的脱敏任务，由于资源不足或高优先级脱敏任务较多等原因，迟迟无法启动；导致低优先级队列的脱敏任务无法按时完成脱敏。
65.对于上述问题，本技术实施例提供的自适应数据脱敏的方法，还进一步包括：当第二队列中的脱敏任务在第一预设时间后仍未启动，将第二队列中的脱敏任务转移至第一队列。将长时间未启动的脱敏任务转移至优先级更高的队列，使该脱敏任务尽快启动；使分布式数据脱敏模块内部的脱敏任务分配更加合理，提高脱敏效率。
66.同理，集中式数据脱敏模块中，也可以采用相似的方法进行脱敏任务在不同优先级队列中的转移：集中式数据脱敏模块包括：第三队列和第四队列；第三队列的优先级高于第四队列；同样地，第三队列和第四队列是泛指。当第四队列中的脱敏任务在第二预设时间后仍未启动，将第四队列中的脱敏任务转移至第三队列；使集中式数据脱敏模块内部的脱敏任务分配更加合理，提高脱敏效率。。
67.为了使本领域技术人员更好地理解本技术提供的技术方案，下面结合附图介绍一种具体的自适应数据脱敏的方法。
68.参见图2，该图为本技术实施例提供的另一种自适应数据脱敏的方法的流程图。
69.s201：配置多个脱敏任务。
70.每个脱敏任务均包括待脱敏数据源、脱敏规则、优先级和目标位置。
71.其中，脱敏规则是指针对该待脱敏数据源采用的脱敏算法及算法参数。
72.例如：待脱敏数据源为身份证号；脱敏算法为对字段进行替换，算法参数是具体替换第7位至第14位的内容，也就是对身份证号中表示出生年月日的位数进行脱敏。当然，脱敏算法除替换之外，也可以是映射等其他算法。
73.本技术不具体限定脱敏任务的优先级的来源，例如：优先级可以是获得待脱敏数据源时人为添加的，也可以是待脱敏数据源自带的一种参数。
74.目标位置，是指数据脱敏模块完成脱敏任务后，获得的已脱敏数据的存放位置。具体地，目标位置可以是预设的文件夹或者数据库等等。
75.s202：判断脱敏任务的待脱敏数据源的数据容量是否小于预设容量，如果是，执行步骤s203；否则，执行步骤s204。
76.s203：将脱敏任务分配至集中式数据脱敏模块。
77.s204：将脱敏任务分配至分布式数据脱敏模块。
78.本实施例中，分布式数据脱敏模块包括三个队列：分布式高优先级队列、分布式中优先级队列和分布式低优先级队列。集中式数据脱敏模块同样包括三个队列：集中式高优先级队列、集中式中优先级队列和集中式低优先级队列。
79.步骤s201配置的脱敏任务中包括优先级，因此步骤s203-s204根据脱敏任务的优先级，将脱敏任务具体分配至相应优先级的队列中。
80.s205：每预设周期按照优先级顺序判断脱敏任务是否满足资源，如果是，启动脱敏任务；否则维持脱敏任务未启动，记录一次未满足资源的次数。
81.应该理解，分布式脱敏模块和集中式脱敏模块均按照步骤s205的方式启动脱敏任务。
82.分布式脱敏模块具体可以从yarn获取资源，通过mapreduce或hive对待脱敏数据
源按照对应的脱敏规则进行脱敏处理，将处理结果推送至对应的目标位置。
83.集中式脱敏模块具体可以从线程池中获取线程资源，按照对应的脱敏规则对待脱敏数据源进行脱敏处理，将处理结果推送至对应的目标位置。
84.s206：判断是否一数据脱敏模块存在空闲资源且另一数据脱敏模块存在未启动的脱敏任务，如果是，执行步骤s207。
85.s207：将满足空闲资源的未启动的脱敏任务转移至存在空闲资源的数据脱敏模块中。
86.在一些实施例中，除了获取空闲资源的容量之外，还可以进一步获取空闲预测资源的容量，根据空闲资源的容量和空闲预测资源的容量一同控制脱敏任务的转移。
87.s208：检测分布式中优先级队列和分布式低优先级队列的脱敏任务的未满足资源的次数是否达到预设次数，如果是，执行步骤s209。
88.s209：将脱敏任务转移至分布式数据脱敏模块的优先级更高的队列中。
89.具体地，分布式低优先级队列中的脱敏任务可以转移至分布式中优先级队列，也可以转移至分布式高优先级队列；本技术对此不做具体限定。
90.s210：检测集中式中优先级队列和集中式低优先级队列的脱敏任务的未满足资源的次数是否达到预设次数，如果是，执行步骤s209。
91.s211：将脱敏任务转移至集中式数据脱敏模块的优先级更高的队列中；返回执行步骤s205。
92.其中，步骤s208和步骤s210的预设次数可以相等，也可以不相等。
93.本技术实施例提供的自适应数据脱敏的方法，配置脱敏任务，第一方面根据脱敏任务中待脱敏数据源的数据容量，将不同脱敏任务分别分配至分布式数据脱敏模块和集中式数据脱敏模块；分布式数据脱敏模块适合处理容量大的数据，集中式数据脱敏模块适合处理容量小的数据，因此能够合理利用两种数据脱敏模块各自的优点，减少资源浪费，提高数据脱敏效率；第二方面在考虑不同数据脱敏模块适宜处理的类型的基础上，还考虑了数据脱敏模块的资源使用情况，根据空闲资源在需要时转移未启动的脱敏任务，提高了脱敏任务分配的合理程度；第三方面还考虑到两种数据脱敏模块内部不同优先级的脱敏任务分配，达到一定时间未启动则将脱敏任务转移至更高优先级的队列，防止中低优先级的脱敏任务一直得不到运行，保证脱敏任务在数据脱敏模块内部分配的合理性。
94.虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。
95.基于以上实施例提供的自适应数据脱敏的方法，本技术实施例还提供一种自适应数据脱敏的装置，下面结合附图进行详细介绍。
96.参见图3，该图为本技术实施例提供的一种自适应数据脱敏的装置的示意图。
97.本技术实施例提供的自适应数据脱敏的装置，包括：配置模块100、分配模块200、分布式数据脱敏模块300、集中式数据脱敏模块400和转移模块500。
98.配置模块100，用于配置多个脱敏任务。
99.每个脱敏任务均包括对应的待脱敏数据源。
100.在一些实施例中，脱敏任务还可以包括脱敏规则、优先级、目标位置等其他信息。
101.分配模块200，用于将数据容量大于等于预设容量的待脱敏数据源对应的脱敏任
务分配至分布式数据脱敏模块；将数据容量小于预设容量的待脱敏数据源对应的脱敏任务分配至集中式数据脱敏模块。
102.分配模块200根据待脱敏数据源的数据容量，当数据容量大于等于预设容量时，将脱敏任务分配至分布式数据脱敏模块，提高脱敏效率；当数据容量小于预设容量时，将脱敏任务分配至集中式数据脱敏模块，减少资源浪费。
103.分布式数据脱敏模块300，用于启动分布式数据脱敏模块对应的脱敏任务，以对分布式数据脱敏模块的的待脱敏数据进行分布式脱敏处理。
104.集中式数据脱敏模块400，用于启动集中式数据脱敏模块对应的脱敏任务，以对集中式数据脱敏模块的待脱敏数据进行集中式脱敏处理。
105.转移模块500，用于当任一数据脱敏模块存在空闲资源，且另一数据脱敏模块存在未启动的脱敏任务时，将未启动的脱敏任务转移至存在空闲资源的数据脱敏模块中。
106.转移模块500根据数据脱敏模块的资源使用情况，进一步对脱敏任务进行合理转移，使脱敏任务的分配更合理，提高脱敏效率。
107.在一些实施例中，分布式数据脱敏模块包括：第一队列和第二队列。
108.第一队列的优先级高于第二队列。其中，第一队列和第二队列是泛指，分布式数据脱敏模块可以包括代表不同优先级的更多队列，但只要第一队列和第二队列满足优先级关系即可。
109.转移模块500，还用于当第二队列中的脱敏任务在第一预设时间后仍未启动，将第二队列中的脱敏任务转移至第一队列。使数据脱敏模块内部的优先级分配更加合理，防止优先级较低的脱敏任务一直得不到运行影响脱敏效率。
110.相似地，在一些实施例中，集中式数据脱敏模块包括：第三队列和第四队列。
111.第三队列的优先级高于第四队列。
112.转移模块500，还用于当第四队列中的脱敏任务在第二预设时间后仍未启动，将第四队列中的脱敏任务转移至第三队列。
113.在一些实施例中，分布式数据脱敏模块300和集中式数据脱敏模块400每预设周期按照优先级顺序判断脱敏任务是否满足资源，如果是，启动脱敏任务；否则维持脱敏任务未启动，记录一次未满足资源的次数。对应地，转移模块500具体用于检测第二队列和第四队列中的脱敏任务的未满足资源的次数是否达到预设次数，如果是，则进行转移。
114.在一些实施例中，自适应数据脱敏的装置还包括：资源监控模块。
115.资源监控模块用于监测分布式数据脱敏模块和集中式数据脱敏模块的已使用资源的容量，从而获取空闲资源的容量。
116.本技术实施例提供的自适应数据脱敏的装置，包括：配置模块、分配模块、分布式数据脱敏模块、集中式数据脱敏模块和转移模块。配置模块配置多个脱敏任务；脱敏任务包括待脱敏数据源；分配模块按照分布式数据脱敏模块和集中式数据脱敏模块的特点，将数据容量大的待脱敏数据源分配给资源横向扩展的分布式数据脱敏模块，将数据容量小的待脱敏数据源分配给资源占用少的集中式数据脱敏模块；转移模块考虑数据脱敏模块实际运行时的资源使用情况，当任一数据脱敏模块存在空闲资源，且另一数据脱敏模块存在未启动的脱敏任务时，将未启动的脱敏任务转移至存在空闲资源的数据脱敏模块中。本技术实施例提供的自适应数据脱敏的装置，能够有效利用分布式脱敏模块和集中式脱敏模块各自
的优点，且考虑了数据脱敏模块的资源使用情况，脱敏任务分配更合理，减少数据脱敏过程的资源浪费，提高脱敏效率。
117.本技术实施例提供了一种自适应数据脱敏的设备，包括：存储器和处理器；
118.存储器，用于存储指令；
119.处理器，用于执行存储器中的指令，执行以上实施例介绍的方法。
120.本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有程序代码或指令，当其在计算机上运行时，使得计算机执行以上实施例介绍的方法。
121.需要说明的是，本技术提供的一种自适应数据脱敏的方法及装置可用于金融领域或其他领域，例如，可用于金融领域中的隐私保护场景。其他领域为除金融领域之外的任意领域，例如，数据处理领域。上述仅为示例，并不对本发明提供的一种自适应数据脱敏的方法及装置的应用领域进行限定。
122.本技术实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
123.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
124.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
125.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储计算机程序的介质。
126.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种自适应数据脱敏的方法，其特征在于，包括：配置多个脱敏任务；每个所述脱敏任务均包括对应的待脱敏数据源；将数据容量大于或等于预设容量的待脱敏数据源对应的脱敏任务分配至分布式数据脱敏模块；将数据容量小于所述预设容量的待脱敏数据源对应的脱敏任务分配至集中式数据脱敏模块；控制所述分布式数据脱敏模块和所述集中式数据脱敏模块启动分配的脱敏任务，以对所述分配的脱敏任务中的待脱敏数据源进行脱敏处理；当任一数据脱敏模块存在空闲资源，且另一数据脱敏模块存在未启动的脱敏任务时，将所述未启动的脱敏任务转移至存在空闲资源的数据脱敏模块中。2.根据权利要求1所述的方法，其特征在于，所述分布式数据脱敏模块包括：第一队列和第二队列；所述第一队列的优先级高于所述第二队列；所述方法还包括：当所述第二队列中的脱敏任务在第一预设时间后仍未启动，将所述第二队列中的脱敏任务转移至所述第一队列。3.根据权利要求2所述的方法，其特征在于，控制所述分布式数据脱敏模块启动对应的脱敏任务，具体包括：每预设周期判断所述第二队列中的脱敏任务是否满足资源，如果是，启动所述第二队列中的脱敏任务；如果否，维持所述第二队列中的脱敏任务未启动；当所述第二队列中的脱敏任务在第一预设时间后仍未启动，将所述第二队列中的脱敏任务转移至所述第一队列，具体包括：当所述第二队列中的脱敏任务未满足资源的次数达到预设次数后，将所述第二队列中的脱敏任务转移至所述第一队列。4.根据权利要求1所述的方法，其特征在于，所述集中式数据脱敏模块包括：第三队列和第四队列；所述第三队列的优先级高于所述第四队列；所述方法还包括：当所述第四队列中的脱敏任务在第二预设时间后仍未启动，将所述第四队列中的脱敏任务转移至所述第三队列。5.根据权利要求1-4任一项所述的方法，其特征在于，所述脱敏任务还包括：脱敏规则和目标位置；所述控制所述分布式数据脱敏模块和所述集中式数据脱敏模块启动分配的脱敏任务，以对所述分配的脱敏任务中的待脱敏数据源进行脱敏处理，具体包括：控制所述分布式数据脱敏模块和所述集中式数据脱敏模块按照对应的脱敏任务中的脱敏规则，对所述分配的脱敏任务中的待脱敏数据源进行脱敏处理，将处理结果推送至所述分配的脱敏任务中的目标位置。6.一种自适应数据脱敏的装置，其特征在于，包括：配置模块、分配模块、分布式数据脱敏模块、集中式数据脱敏模块和转移模块；所述配置模块，用于配置多个脱敏任务；每个所述脱敏任务均包括对应的待脱敏数据源；所述分配模块，用于将数据容量大于或等于预设容量的待脱敏数据源对应的脱敏任务
分配至分布式数据脱敏模块；将数据容量小于所述预设容量的待脱敏数据源对应的脱敏任务分配至集中式数据脱敏模块；所述分布式数据脱敏模块，用于启动所述分布式数据脱敏模块对应的脱敏任务，以对所述分布式数据脱敏模块的待脱敏数据进行分布式脱敏处理；所述集中式数据脱敏模块，用于启动所述集中式数据脱敏模块对应的脱敏任务，以对所述集中式数据脱敏模块的待脱敏数据进行集中式脱敏处理；所述转移模块，用于当任一数据脱敏模块存在空闲资源，且另一数据脱敏模块存在未启动的脱敏任务时，将所述未启动的脱敏任务转移至存在空闲资源的数据脱敏模块中。7.根据权利要求6所述的装置，其特征在于，所述分布式数据脱敏模块包括：第一队列和第二队列；所述第一队列的优先级高于所述第二队列；所述转移模块，还用于当所述第二队列中的脱敏任务在第一预设时间后仍未启动，将所述第二队列中的脱敏任务转移至所述第一队列。8.根据权利要求6所述的装置，其特征在于，所述集中式数据脱敏模块包括：第三队列和第四队列；所述第三队列的优先级高于所述第四队列；所述转移模块，还用于当所述第四队列中的脱敏任务在第二预设时间后仍未启动，将所述第四队列中的脱敏任务转移至所述第三队列。9.一种自适应数据脱敏的设备，其特征在于，所述设备包括：存储器和处理器；所述存储器，用于存储指令；所述处理器，用于执行所述存储器中的所述指令，执行权利要求1-5任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序代码或指令，当其在计算机上运行时，使得所述计算机执行以上权利要求1-5任一项所述的方法。

技术总结
本申请公开了一种自适应数据脱敏的方法、装置、设备及存储介质，可应用于金融领域或其他领域；方法包括：配置多个脱敏任务；每个脱敏任务均包括对应的待脱敏数据源；将数据容量大于等于预设容量的待脱敏数据源对应的脱敏任务分配至分布式数据脱敏模块；将数据容量小于预设容量的待脱敏数据源对应的脱敏任务分配至集中式数据脱敏模块；控制分布式数据脱敏模块和集中式数据脱敏模块启动对应的脱敏任务，以对脱敏任务中的待脱敏数据源进行脱敏处理；当任一数据脱敏模块存在空闲资源，且另一数据脱敏模块存在未启动的脱敏任务时，将未启动的脱敏任务转移至存在空闲资源的数据脱敏模块中。减少资源浪费，提高数据脱敏效率。提高数据脱敏效率。提高数据脱敏效率。


技术研发人员：秦胜勇
受保护的技术使用者：中国银行股份有限公司
技术研发日：2023.07.11
技术公布日：2023/10/15