数据同步脱敏方法及装置与流程

1.本发明涉及数据库技术领域，尤其涉及一种数据同步脱敏方法及装置。


背景技术：

2.在数据平台类数仓项目开发阶段，为了满足业务需求测试的全面性要求，需要将生产环境(prod)的数据复制到测试(sit)环境，数据复制传输的过程基于数据安全的要求都会在不影响数据真实性及实用性的基础上对敏感数据进行脱敏
3.目前，传统的数据脱敏传输方式是基于每个时点开发一个临时加工程序，在数仓项目开发阶段，伴随着频繁的数据探源，需要频繁的开发数据脱敏传输脚本，开发阶段较为繁琐，工作效率较低。


技术实现要素：

4.本发明提供一种数据同步脱敏方法，用以解决现有技术中频繁开发数据脱敏传输脚本，开发阶段较为繁琐，工作效率较低的缺陷，实现数据脱敏传输的便捷性和灵活配置，提高工作效率。
5.本发明提供一种数据同步脱敏方法，应用于第一服务器，所述方法包括：
6.基于操作人员输入的配置请求获取配置表，所述配置表包括用于数据同步的目标信息；
7.读取所述配置表的目标信息，确定待同步数据和脱敏信息，所述脱敏信息包括脱敏字段和脱敏方式；
8.执行数据同步脚本，以基于所述脱敏信息对所述待同步数据进行脱敏并将脱敏后的待同步数据传输至第二服务器；
9.其中，所述数据同步脚本是基于所述第一服务器的数据库版本确定的。
10.根据本发明提供的一种数据同步脱敏方法，所述方法还包括：
11.确定所述第二服务器完成数据同步，得到待校验数据；
12.基于所述待校验数据与所述待同步数据以及脱敏信息进行校验，得到数据同步的校验结果。
13.根据本发明提供的一种数据同步脱敏方法，所述基于所述待校验数据与所述待同步数据以及脱敏信息进行校验，得到数据同步的校验结果，包括：
14.基于所述待校验数据和所述待同步数据的数据量和数据内容进行校验，确定待校验数据和所述待同步数据的数据量和数据内容相同，得到第一校验结果；
15.对所述待校验数据的脱敏字段进行校验，确定所述待校验数据中不存在所述脱敏信息中的脱敏字段，得到第二校验结果；
16.基于所述第一校验结果和第二校验结果得到数据同步的校验结果。
17.根据本发明提供的一种数据同步脱敏方法，所述执行数据同步脚本，以基于所述脱敏信息对所述待同步数据进行脱敏并将脱敏后的待同步数据传输至第二服务器，包括：
18.执行数据同步脚本；
19.获取所述第二服务器的数据存储地址；所述数据存储地址为数据库或远程协议地址；
20.在确定所述待同步数据和待脱敏数据可存储于所述数据存储地址的情况下，基于所述脱敏信息对所述待同步数据进行脱敏并传输至所述数据存储地址。
21.根据本发明提供的一种数据同步脱敏方法，所述基于所述脱敏信息对所述待同步数据进行脱敏并传输至所述数据存储地址，包括：
22.接收所述操作人员的启动请求，基于所述启动请求启动后台程序，以基于所述脱敏信息对所述待同步数据进行脱敏并传输至所述数据存储地址；
23.或，
24.执行已设定的定时任务，基于所述定时任务和所述脱敏信息对所述待同步数据进行脱敏并传输至所述数据存储地址。
25.根据本发明提供的一种数据同步脱敏方法，所述目标信息包括数据库版本、数据库ip地址、用户及密码、数据同步涉及的表及字段、脱敏的字段中的至少一种。
26.本发明还提供一种数据同步脱敏装置，应用于第一服务器，所述装置包括：
27.获取模块，用于基于操作人员输入的配置请求获取配置表，所述配置表包括用于数据同步的目标信息；
28.确定模块，用于读取所述配置表的目标信息，确定待同步数据和脱敏信息，所述脱敏信息包括脱敏字段和脱敏方式；
29.同步传输模块，用于执行数据同步脚本，以基于所述脱敏信息对所述待同步数据进行脱敏并将脱敏后的待同步数据传输至第二服务器；
30.其中，所述数据同步脚本是基于所述第一服务器的数据库版本确定的。
31.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述数据同步脱敏方法。
32.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据同步脱敏方法。
33.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述数据同步脱敏方法。
34.本发明提供的数据同步脱敏方法及装置，通过基于操作人员输入的配置请求获取配置表，配置表包含用于数据同步的目标信息，读取配置表的目标信息，确定待同步数据和脱敏信息，脱敏信息包括脱敏字段和脱敏方式；最后执行数据同步脚本，以基于脱敏信息对待同步数据进行脱敏并传输至第二服务器。本发明只需要基于简单规则补充配置表就能实现数据同步加脱敏的的全自动运行，方便了开发人员，不需要基于新增同步表而进行频繁的代码开发，实现了数据脱敏传输的便捷性和灵活配置，提高了工作效率。
附图说明
35.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一
些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1是本发明提供的数据同步脱敏方法的流程示意图之一；
37.图2是本发明提供的数据同步脱敏方法的流程示意图之二；
38.图3是本发明提供的数据同步脱敏方法的流程示意图之三；
39.图4是本发明提供的数据同步脱敏装置的结构示意图；
40.图5是本发明提供的电子设备的结构示意图。
具体实施方式
41.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.参照图1，本发明提供的数据同步脱敏方法，应用于第一服务器，包括但不限于以下步骤：
43.步骤110、基于操作人员输入的配置请求获取配置表，所述配置表包括用于数据同步的目标信息；
44.步骤120、读取所述配置表的目标信息，确定待同步数据和脱敏信息，所述脱敏信息包括脱敏字段和脱敏方式；
45.步骤130、执行数据同步脚本，以基于所述脱敏信息对所述待同步数据进行脱敏并将脱敏后的待同步数据传输至第二服务器；
46.其中，所述数据同步脚本是基于所述第一服务器的数据库版本确定的。
47.以下对本发明的各个步骤进行详细描述。
48.首先需要强调的是，本发明的中的不同数据库可以为：mpp数据库、关系型数据库或nosql等。
49.mpp数据库，大规模并行分析(mpp)数据库(analytical massively parallel processing(mpp)databases)是针对分析工作负载进行了优化的数据库：聚合和处理大型数据集。
50.关系型数据库，是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解。
51.nosql，泛指非关系型的数据库。
52.然后，对发明可能涉及的英文缩写的中文释义进行说明。
53.sit，system integration test，系统集成测试环境。
54.prod，production environment，正式线上环境。
55.udf，user-defined functions，用户自定义得函数。
56.sftp，ssh file transfer protocol的缩写，安全文件传送协议。可以为传输文件提供一种安全的网络的加密方法。
57.在上述步骤110中，操作人员需要基于待同步数据补充配置表。接收操作人员发送的配置请求，可以是操作人员直接在计算机上配置请求，也可以是操作人员远程配置请求
发送到第一服务器端。服务器接收操作人员发送的配置请求后，响应于配置请求获取待同步数据的配置表。
58.需要说明的是，配置表的数据应至少包括数据库版本、数据库ip、用户及密码、同步涉及的表及字段、脱敏的字段等。
59.在本步骤中，将需要同步的表信息添加到配置表中，便于通过读取配置表信息匹配需要同步的数据以及需要脱敏的字段及脱敏方式，手动启动后台程序或者设置定时任务去拉取数据及传输数据。
60.进一步地，后台读取配置表内容首先判断每条记录的开关是否打开，选取打开开关的内容进行后续操作。
61.在上述步骤120中，需要读取配置表以确定待同步数据和脱敏信息，其中脱敏信息包括脱敏字段和脱敏方式。
62.需要说明的是，本实施例中的脱敏指的即为数据脱敏，数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。
63.脱敏字段指的即为需要脱敏的隐私数据，比如身份证号、手机号、卡号、客户号等个人信息。脱敏方式。脱敏方式即如何实现脱敏，本实施例中没有具体限定。
64.需要补充说明的是，数据脱敏方式包括但不限于以下方式：
65.仿真：是根据敏感数据的原始内容生成符合原始数据编码和校验规则的新数据，使用相同含义的数据替换原有的敏感数据，例如姓名脱敏后仍然为有意义的姓名，住址脱敏后仍然为住址。仿真算法能够保证脱敏后数据的业务属性和关联关系，从而具备较好的可用性。
66.数据替换：用某种规律字符对敏感内容进行替换，从而破坏数据的可读性，并不保留原有语义和格式，例如特殊字符、随机字符、固定值字符等。
67.加密：通过加密算法(包括国密算法)进行加密。例如hash(密码算法)算法是指对于完整的数据进行hash加密，使数据不可读。
68.数据截取：数据截取术是指对原始数据选取部分内容进行截断。
69.数据混淆：混淆算法是将敏感数据的内容进行无规则打乱，从而在隐藏敏感数据的同时能够保持原始数据的组成方式。
70.在上述步骤130中，读取数据同步脚本，基于脱敏信息对待同步数据进行脱敏并传输至第二服务器。
71.首先需要说明的是，数据同步和数据脱敏的过程是同步进行的，可以理解为在数据同步的过程中即实现数据脱敏。
72.在本步骤之前，操作人员可通过第一服务器的数据库版本确定数据同步的执行脚本，然后通过执行脚本对待同步数据进行脱敏并传输至第二服务器以实现数据同步。
73.需要强调的是，本实施例中的需要将将待同步数据和脱敏信息传入数据同步脚本，然后运行该数据同步脚本，从而实现基于脱敏信息对待同步数据进行脱敏并将脱敏后的待同步数据传输至第二服务器。
74.本发明提供的数据同步脱敏方法，通过基于操作人员输入的配置请求获取配置
表，配置表包含用于数据同步的目标信息，读取配置表的目标信息，确定待同步数据和脱敏信息，脱敏信息包括脱敏字段和脱敏方式；最后执行数据同步脚本，以基于脱敏信息对待同步数据进行脱敏并传输至第二服务器。本发明只需要基于简单规则补充配置表就能实现数据同步加脱敏的的全自动运行，方便了开发人员，不需要基于新增同步表而进行频繁的代码开发，实现了数据脱敏传输的便捷性和灵活配置，提高了工作效率。
75.在一些可选的实施例中，所述方法还包括：
76.确定所述第二服务器完成数据同步，得到待校验数据；
77.基于所述待校验数据与所述待同步数据以及脱敏信息进行校验，得到数据同步的校验结果。
78.可以理解的是，本实施例为数据同步之后的校验过程。
79.首先确定第二服务器完成数据同步，得到待校验数据，然后基于待校验数据与待同步数据以及脱敏信息进行校验，得到数据同步的校验结果。
80.进一步地，所述基于所述待校验数据与所述待同步数据以及脱敏信息进行校验，得到数据同步的校验结果，包括：
81.基于所述待校验数据和所述待同步数据的数据量和数据内容进行校验，确定待校验数据和所述待同步数据的数据量和数据内容相同，得到第一校验结果；
82.对所述待校验数据的脱敏字段进行校验，确定所述待校验数据中不存在所述脱敏信息中的脱敏字段，得到第二校验结果；
83.基于所述第一校验结果和第二校验结果得到数据同步的校验结果。
84.本实施例为校验的具体过程。对于待校验数据，可对其进行数据量、数据内容以及脱敏结果进行校验。可将第一服务器的待同步数据记为a，也就是同步之前的数据，将第二服务器的待校验数据记为b，也就是同步之后的数据。
85.一方面，校验a与b的数据量是否一致，以及校验a与b的数据内容是否一致，得到校验结果一；
86.另一方面，校验b中是否含有a中的脱敏字段。比如脱敏字段为手机号，即可首先确定a中含有数字1开头的连续11位数字，也就是a中含有脱敏字段-手机号，然后确定b中不含有数字1开头的连续11位数字，也就是b中不含有脱敏字段-手机号，由此确定数据脱敏完成。
87.然后综合上述两方面的校验结果，确定最终的校验结果。若出现任一方面的校验不成功，就说明数据同步或脱敏出现错误，需要及时更改程序。
88.本发明提供的数据同步脱敏方法，通过在数据同步完成之后进行数据校验，实现了数据同步后的数据一致性校验，使得整个数据同步得过程更加具有可信度。
89.在一些可选的实施例中，所述执行数据同步脚本，以基于所述脱敏信息对所述待同步数据进行脱敏并将脱敏后的待同步数据传输至第二服务器，包括：
90.执行数据同步脚本；
91.获取所述第二服务器的数据存储地址；所述数据存储地址为数据库或远程协议地址；
92.在确定所述待同步数据和待脱敏数据可存储于所述数据存储地址的情况下，基于所述脱敏信息对所述待同步数据进行脱敏并传输至所述数据存储地址。
93.在本实施例中，进行数据同步和数据脱敏之前，需要确定第二服务器的数据存储地址。也就是说，在数据同步之后，需要将同步数据存储至数据存储地址中，数据存储地址可以为与第一数据库相同或者不同的数据库，也可以为直接读取sftp地址。
94.然后在确定第二服务器能够对同步数据进行存储的情况下，将待同步数据发送至第二服务器。
95.在一些可选的实施例中，所述基于所述脱敏信息对所述待同步数据进行脱敏并传输至所述数据存储地址，包括：
96.接收所述操作人员的启动请求，基于所述启动请求启动后台程序，以基于所述脱敏信息对所述待同步数据进行脱敏并传输至所述数据存储地址；
97.或，
98.执行已设定的定时任务，基于所述定时任务和所述脱敏信息对所述待同步数据进行脱敏并传输至所述数据存储地址。
99.具体地，本实施例给出了不同的数据同步和脱敏的执行方式。
100.其一，操作人员自行执行程序：
101.首先接收操作人员的启动请求，基于启动请求启动后台程序；
102.然后在后台程序中基于脱敏信息对待同步数据进行脱敏并传输至数据存储地址。
103.其二，服务器根据定时任务字段启动并执行程序：
104.执行已设定的定时任务，基于定时任务和脱敏信息对待同步数据进行脱敏并传输至数据存储地址。
105.参照图2，图2是本发明提供的数据同步脱敏方法的架构图。
106.数据同步及脱敏程序包括：配置化、基于不同数据库版本落文件，此处以数据仓为例以及数据文件校验。
107.配置化的数据至少包括数据库版本、库名、表名、所有字段、脱敏字段、脱敏方式以及控制开关；
108.数据文件校验包括：数据量的校验、数据内容的校验以及脱敏字段的校验。
109.参照图3，本发明提供的数据同步脱敏方法的完成流程示意图，包括以下步骤：
110.步骤310、操作人员需要基于同步的数据表补充配置表，主要包括数据库版本、数据库ip、用户及密码、同步涉及的表及字段、脱敏的字段等。
111.步骤320、后台读取配置表内容首先判断每条记录的开关是否打开，选取打开开关的内容进行后续操作。
112.步骤330、读取需要同步的数据内容(字段)以及脱敏的字段及方式，基于数据库版本组装数据同步脚本然后执行。
113.步骤340、读取对应的数据同步的目的端数据库或者sftp地址，将数据传输过去。
114.步骤350、对数据同步完后的两边做数据一致性校验，校验内容主要包括数据量一致、数据内容一致、数据成功脱敏。
115.下面对本发明提供的数据同步脱敏装置进行描述，下文描述的数据同步脱敏装置与上文描述的数据同步脱敏方法可相互对应参照。
116.参照图4，本发明提供的数据同步脱敏装置，包括但不限于以下模块：
117.获取模块410，用于基于操作人员输入的配置请求获取配置表，所述配置表包括用
于数据同步的目标信息；
118.确定模块420，用于读取所述配置表的目标信息，确定待同步数据和脱敏信息，所述脱敏信息包括脱敏字段和脱敏方式；
119.同步传输模块430，用于读取数据同步脚本，以基于所述脱敏信息对所述待同步数据进行脱敏并将脱敏后的待同步数据传输至第二服务器；
120.其中，所述数据同步脚本是基于所述第一服务器的数据库版本确定的。
121.本发明提供的数据同步脱敏装置，通过基于操作人员输入的配置请求获取配置表，配置表包含用于数据同步的目标信息，读取配置表的目标信息，确定待同步数据和脱敏信息，脱敏信息包括脱敏字段和脱敏方式；最后执行数据同步脚本，以基于脱敏信息对待同步数据进行脱敏并传输至第二服务器。本发明只需要基于简单规则补充配置表就能实现数据同步加脱敏的的全自动运行，方便了开发人员，不需要基于新增同步表而进行频繁的代码开发，实现了数据脱敏传输的便捷性和灵活配置，提高了工作效率。
122.在一些可选的实施例中，所述装置还包括校验模块，所述校验模块用于：
123.确定所述第二服务器完成数据同步，得到待校验数据；
124.基于所述待校验数据与所述待同步数据以及脱敏信息进行校验，得到数据同步的校验结果。
125.在一些可选的实施例中，所述基于所述待校验数据与所述待同步数据以及脱敏信息进行校验，得到数据同步的校验结果，包括：
126.基于所述待校验数据和所述待同步数据的数据量和数据内容进行校验，确定待校验数据和所述待同步数据的数据量和数据内容相同，得到第一校验结果；
127.对所述待校验数据的脱敏字段进行校验，确定所述待校验数据中不存在所述脱敏信息中的脱敏字段，得到第二校验结果；
128.基于所述第一校验结果和第二校验结果得到数据同步的校验结果。
129.在一些可选的实施例中，所述执行数据同步脚本，以基于所述脱敏信息对所述待同步数据进行脱敏并将脱敏后的待同步数据传输至第二服务器，包括：
130.执行数据同步脚本；
131.获取所述第二服务器的数据存储地址；所述数据存储地址为数据库或远程协议地址；
132.在确定所述待同步数据和待脱敏数据可存储于所述数据存储地址的情况下，基于所述脱敏信息对所述待同步数据进行脱敏并传输至所述数据存储地址。
133.在一些可选的实施例中，所述基于所述脱敏信息对所述待同步数据进行脱敏并传输至所述数据存储地址，包括：
134.接收所述操作人员的启动请求，基于所述启动请求启动后台程序，以基于所述脱敏信息对所述待同步数据进行脱敏并传输至所述数据存储地址；
135.或，
136.执行已设定的定时任务，基于所述定时任务和所述脱敏信息对所述待同步数据进行脱敏并传输至所述数据存储地址。
137.在一些可选的实施例中，所述目标信息包括数据库版本、数据库ip地址、用户及密码、数据同步涉及的表及字段、脱敏的字段中的至少一种。
138.图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(communications interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行数据同步脱敏方法，该方法包括：
139.基于操作人员输入的配置请求获取配置表，所述配置表包括用于数据同步的目标信息；
140.读取所述配置表的目标信息，确定待同步数据和脱敏信息，所述脱敏信息包括脱敏字段和脱敏方式；
141.读取数据同步脚本，以基于所述脱敏信息对所述待同步数据进行脱敏并将脱敏后的待同步数据传输至第二服务器；
142.其中，所述数据同步脚本是基于所述第一服务器的数据库版本确定的。
143.此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
144.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的数据同步脱敏方法，该方法包括：
145.基于操作人员输入的配置请求获取配置表，所述配置表包括用于数据同步的目标信息；
146.读取所述配置表的目标信息，确定待同步数据和脱敏信息，所述脱敏信息包括脱敏字段和脱敏方式；
147.读取数据同步脚本，以基于所述脱敏信息对所述待同步数据进行脱敏并将脱敏后的待同步数据传输至第二服务器；
148.其中，所述数据同步脚本是基于所述第一服务器的数据库版本确定的。
149.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的数据同步脱敏方法，该方法包括：
150.基于操作人员输入的配置请求获取配置表，所述配置表包括用于数据同步的目标信息；
151.读取所述配置表的目标信息，确定待同步数据和脱敏信息，所述脱敏信息包括脱敏字段和脱敏方式；
152.读取数据同步脚本，以基于所述脱敏信息对所述待同步数据进行脱敏并将脱敏后的待同步数据传输至第二服务器；
153.其中，所述数据同步脚本是基于所述第一服务器的数据库版本确定的。
154.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
155.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
156.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种数据同步脱敏方法，其特征在于，应用于第一服务器，所述方法包括：基于操作人员输入的配置请求获取配置表，所述配置表包括用于数据同步的目标信息；读取所述配置表的目标信息，确定待同步数据和脱敏信息，所述脱敏信息包括脱敏字段和脱敏方式；执行数据同步脚本，以基于所述脱敏信息对所述待同步数据进行脱敏并将脱敏后的待同步数据传输至第二服务器；其中，所述数据同步脚本是基于所述第一服务器的数据
·
库版本确定的。2.根据权利要求1所述的数据同步脱敏方法，其特征在于，所述方法还包括：确定所述第二服务器完成数据同步，得到待校验数据；基于所述待校验数据与所述待同步数据以及脱敏信息进行校验，得到数据同步的校验结果。3.根据权利要求2所述的数据同步脱敏方法，其特征在于，所述基于所述待校验数据与所述待同步数据以及脱敏信息进行校验，得到数据同步的校验结果，包括：基于所述待校验数据和所述待同步数据的数据量和数据内容进行校验，确定待校验数据和所述待同步数据的数据量和数据内容相同，得到第一校验结果；对所述待校验数据的脱敏字段进行校验，确定所述待校验数据中不存在所述脱敏信息中的脱敏字段，得到第二校验结果；基于所述第一校验结果和第二校验结果得到数据同步的校验结果。4.根据权利要求1所述的数据同步脱敏方法，其特征在于，所述执行数据同步脚本，以基于所述脱敏信息对所述待同步数据进行脱敏并将脱敏后的待同步数据传输至第二服务器，包括：执行数据同步脚本；获取所述第二服务器的数据存储地址；所述数据存储地址为数据库或远程协议地址；在确定所述待同步数据和待脱敏数据可存储于所述数据存储地址的情况下，基于所述脱敏信息对所述待同步数据进行脱敏并传输至所述数据存储地址。5.根据权利要求4所述的数据同步脱敏方法，其特征在于，所述基于所述脱敏信息对所述待同步数据进行脱敏并传输至所述数据存储地址，包括：接收所述操作人员的启动请求，基于所述启动请求启动后台程序，以基于所述脱敏信息对所述待同步数据进行脱敏并传输至所述数据存储地址；或，执行已设定的定时任务，基于所述定时任务和所述脱敏信息对所述待同步数据进行脱敏并传输至所述数据存储地址。6.根据权利要求1-5任一项所述的数据同步脱敏方法，其特征在于，所述目标信息包括数据库版本、数据库ip地址、用户及密码、数据同步涉及的表及字段、脱敏的字段中的至少一种。7.一种数据同步脱敏装置，其特征在于，应用于第一服务器，所述装置包括：获取模块，用于基于操作人员输入的配置请求获取配置表，所述配置表包括用于数据同步的目标信息；
确定模块，用于读取所述配置表的目标信息，确定待同步数据和脱敏信息，所述脱敏信息包括脱敏字段和脱敏方式；同步传输模块，用于执行数据同步脚本，以基于所述脱敏信息对所述待同步数据进行脱敏并将脱敏后的待同步数据传输至第二服务器；其中，所述数据同步脚本是基于所述第一服务器的数据库版本确定的。8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述数据同步脱敏方法。9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述数据同步脱敏方法。10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述数据同步脱敏方法。

技术总结
本发明提供一种数据同步脱敏方法及装置，所述方法包括：基于操作人员输入的配置请求获取配置表，所述配置表包括用于数据同步的目标信息；读取所述配置表的目标信息，确定待同步数据和脱敏信息，所述脱敏信息包括脱敏字段和脱敏方式；执行数据同步脚本，以基于所述脱敏信息对所述待同步数据进行脱敏并将脱敏后的待同步数据传输至第二服务器；其中，所述数据同步脚本是基于所述第一服务器的数据库版本确定的。本发明只需要基于简单规则补充配置表就能实现数据同步加脱敏的的全自动运行，方便了开发人员，不需要基于新增同步表而进行频繁的代码开发，实现了数据脱敏传输的便捷性和灵活配置，提高了工作效率。提高了工作效率。提高了工作效率。


技术研发人员：候嘉鑫
受保护的技术使用者：中银金融科技有限公司
技术研发日：2023.03.13
技术公布日：2023/7/20