一种基于规则的日志敏感信息脱敏和高亮方法与流程

1.本发明涉及信息安全的敏感数据脱敏技术领域，尤其是涉及一种基于规则的日志敏感信息脱敏和高亮方法。


背景技术：

2.在现有的技术方案中，通过找寻敏感数据的组成规则，编写对应的正则表达式，客户端向服务器发起日志查询请求时，接收该日志查询请求，在日志查询请求的消息格式中携带客户端的身份信息。
3.根据从日志查询请求消息中获取携带的用户信息确定对应的日志脱敏策略，提取与所述日志查询请求消息对应的原始日志，判断所述原始日志中是否存在敏感数据，如包含，则根据固定的正则表达式对敏感数据进行匹配、替换等操作，实现对敏感数据的脱敏。
4.随着应用微服务化、容器化的发展，对应用的监控要求变高，日志敏感信息种类增多，现有的脱敏技术方案尚有完善空间。
5.一、部分敏感信息不存在统一的组成规则，这种情况下无法编写除对应的正则表达式，对此部分的敏感数据匹配准确度大大降低，例如用户的游戏账户、密码、新增敏感政治名词、姓名、地址、银行卡号、cvv2、微信号、qq号等。
6.二、现有的日志高亮方案是在需要高亮的字段前后直接加特殊标识，如果需要高亮的内容同时需要脱敏，则可能会因为加入了高亮的特殊标识改变了字符的长度导致脱敏错位。
7.三、现有日志脱敏方案下如果出现没有脱敏的信息，相关人员无法及时知晓，延长了对敏感信息的处理，增大了用户个人信息泄露的风险。


技术实现要素：

8.本发明的目的就是为了克服上述现有技术存在的缺陷而提供的一种基于规则的日志敏感信息脱敏和高亮方法，通过建立资源库、使用先记录位置然后计算高亮偏移量最后脱敏、动态扫描及通知的方式提高敏感信息扫描、脱敏、高亮的准确性。
9.本发明的目的可以通过以下技术方案来实现：
10.一种基于规则的日志敏感信息脱敏和高亮方法，包括以下步骤：
11.s1、获取日志查询指令，所述指令包括关键字信息，所述关键字信息为敏感信息，基于关键字信息确定高亮字段；
12.s2、根据日志查询指令查询对应的原始日志，从敏感规则数据库中查询数据敏感规则，依次使用敏感规则对原始日志进行匹配，将原始日志的敏感信息替换成脱敏后的信息；
13.s3、将高亮字段和未脱敏的原始日志进行匹配，记录需要高亮信息的位置数据，根据位置数据对脱敏后的原始日志进行标记，得到高亮的脱敏后的原始日志；
14.s4、输出高亮并脱敏后的日志。
15.进一步地，对脱敏后的原始日志进行标记具体为：在记录的位置数据插入两个相同的高亮标签，在数据解析后，返回高亮的脱敏后的原始日志。
16.进一步地，位置数据包括需要高亮信息的开始处位置和结束处位置。
17.进一步地，方法还包括：设置定时任务，执行定时任务时，对保存在数据库内的脱敏后的原始日志进行全盘扫描，扫描过程中使用通用敏感规则进行匹配，查找脱敏后的原始日志中所有遗漏的敏感日志，并对对应的相关责任对象进行提醒。
18.进一步地，查找到一条脱敏后的原始日志中遗漏的敏感日志时，记录该条遗漏的敏感日志对应的相关责任对象。
19.进一步地，查找脱敏后的原始日志中所有遗漏的敏感日志后，一一记录所有的遗漏的敏感日志对应的相关责任对象。
20.进一步地，提醒的方式为：筛选同一相关责任对象对应的所有遗漏的敏感日志，将所有遗漏的敏感日志的记录作为邮件内容，发送至该相关责任对象的邮箱进行提醒。
21.进一步地，发送给相关责任对象的邮件内容中还设有对应每条遗漏的敏感日志的邮件发送次数，当一条遗漏的敏感日志出现在邮件中的次数加1时，邮件发送次数加1，当邮件发送次数达到阈值时，提高该条遗漏的敏感日志的提醒级别。
22.进一步地，提高遗漏的敏感日志的提醒级别具体为：进行高亮或加粗字体。
23.进一步地，敏感规则数据库为mysql数据库。
24.与现有技术相比，本发明具有以下有益效果：
25.(1)针对高亮操作前后增加标识符、字符串长度改变引起的脱敏错误问题，本发明使用先记录需要脱敏信息的前后位置，再通过计算增加标识符后的位置偏移量算出要脱敏信息的位置，脱敏后再根据位置信息增加高亮标识符，同时完成脱敏、高亮的功能。
26.(2)本发明对现有的脱敏日志进行定期的主动扫描，如发现敏感信息及时通知相关人员处理，减少用户个人信息泄露的风险。
附图说明
27.图1为本发明的流程图。
具体实施方式
28.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
29.本发明提出一种基于规则的日志敏感信息脱敏和高亮方法，针对部分不存在统一规则的敏感数据形成资源库，如姓名等，随着资源库的不断积累，采用本发明的方法可以对不规则敏感信息的脱敏准确性大大提高。针对高亮操作前后增加标识符、字符串长度改变引起的脱敏错误问题，本发明使用先记录需要脱敏信息的前后位置，再通过计算增加标识符后的位置偏移量算出要脱敏信息的位置，脱敏后再根据位置信息增加高亮标识符，同时完成脱敏、高亮的功能。同时，本发明对现有的脱敏日志进行定期的主动扫描，如发现敏感信息及时通知相关人员处理，减少用户个人信息泄露的风险。
30.本发明的方法的流程图如图1所示。方法包括以下步骤：
31.s1、获取日志查询指令，所述指令包括关键字信息，所述关键字信息为敏感信息，基于关键字信息确定高亮字段；
32.s2、根据日志查询指令查询对应的原始日志，从敏感规则数据库中查询数据敏感规则，依次使用敏感规则对原始日志进行匹配，将原始日志的敏感信息替换成脱敏后的信息；
33.s3、将高亮字段和未脱敏的原始日志进行匹配，记录需要高亮信息的位置数据，根据位置数据对脱敏后的原始日志进行标记，得到高亮的脱敏后的原始日志；
34.s4、输出高亮并脱敏后的日志。
35.s2中，用户发送日志查询指令后，从日志存储数据库elasticsearch中查询出原始日志，再从敏感规则数据库mysql中查询数据敏感规则，依次使用敏感规则对原始日志进行匹配并替换成脱敏后的信息*。
36.s3中，对脱敏后的原始日志进行标记具体为：在记录的位置数据插入两个相同的高亮标签，在数据解析后，返回高亮的脱敏后的原始日志。位置数据包括需要高亮信息的开始处位置和结束处位置。
37.本发明的方法还包括扫描和通知，具体为：设置定时任务，执行定时任务时，对保存在数据库内的脱敏后的原始日志进行全盘扫描，扫描过程中使用通用敏感规则进行匹配，查找脱敏后的原始日志中所有遗漏的敏感日志，并对对应的相关责任对象进行提醒。定时任务每天执行1次。
38.记录相关责任对象有两种方法：
39.1.查找到一条脱敏后的原始日志中遗漏的敏感日志时，记录该条遗漏的敏感日志对应的相关责任对象。
40.2.查找脱敏后的原始日志中所有遗漏的敏感日志后，一一记录所有的遗漏的敏感日志对应的相关责任对象。
41.提醒的方式为：筛选同一相关责任对象对应的所有遗漏的敏感日志，将所有遗漏的敏感日志的记录作为邮件内容，发送至该相关责任对象的邮箱进行提醒。
42.对扫描出的敏感信息会通过邮件等方式通知相关责任人督促进行处理，未及时处理的敏感信息会每天重复发送通知。发送给相关责任对象的邮件内容中还设有对应每条遗漏的敏感日志的邮件发送次数，当一条遗漏的敏感日志出现在邮件中的次数加1时，邮件发送次数加1，当邮件发送次数达到阈值时，提高该条遗漏的敏感日志的提醒级别。提高遗漏的敏感日志的提醒级别具体为：进行高亮或加粗字体，进而增大督促力度。提醒的阈值可以为5次。
43.假设有以下原始日志：
44.testflag【phoneno＝11112345678】
45.用户搜索的关键词为11112345678。
46.phoneno字段的值“11112345678”是用户手机号，需要脱敏，首先，查询对应的原始日志，从敏感规则数据库中查询数据敏感规则进行匹配，找到敏感信息“11112345678”，并根据信息安全执行标准对手机号进行替换，替换后的内容是：
47.testflag【phoneno＝******5678】
48.然后对于testflag【phoneno＝11112345678】，提取关键字信息，确定高亮字段，对
原始日志进行匹配，记录下需要高亮字段在日志中的位置数据(18,28)，脱敏部分替换敏感内容后日志变成“testflag【phoneno＝*******5678】”，再根据位置数据，在18和28的位置插入高亮标签@highlighted-field@和@/highlighted-field@后，
49.变成：
50.testflag
51.【phoneno＝@hdatasec-highlighted-field@13512345678@/hdatasec-highlighted-field@】；
52.数据返回给用户被解析成高亮数据，即得到高亮的脱敏后的原始日志。
53.以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

技术特征：
1.一种基于规则的日志敏感信息脱敏和高亮方法，其特征在于，包括以下步骤：s1、获取日志查询指令，所述指令包括关键字信息，所述关键字信息为敏感信息，基于关键字信息确定高亮字段；s2、根据日志查询指令查询对应的原始日志，从敏感规则数据库中查询数据敏感规则，依次使用敏感规则对原始日志进行匹配，将原始日志的敏感信息替换成脱敏后的信息；s3、将高亮字段和未脱敏的原始日志进行匹配，记录需要高亮信息的位置数据，根据位置数据对脱敏后的原始日志进行标记，得到高亮的脱敏后的原始日志；s4、输出高亮并脱敏后的日志。2.根据权利要求1所述的一种基于规则的日志敏感信息脱敏和高亮方法，其特征在于，对脱敏后的原始日志进行标记具体为：在记录的位置数据插入两个相同的高亮标签，在数据解析后，返回高亮的脱敏后的原始日志。3.根据权利要求2所述的一种基于规则的日志敏感信息脱敏和高亮方法，其特征在于，位置数据包括需要高亮信息的开始处位置和结束处位置。4.根据权利要求1所述的一种基于规则的日志敏感信息脱敏和高亮方法，其特征在于，方法还包括：设置定时任务，执行定时任务时，对保存在数据库内的脱敏后的原始日志进行全盘扫描，扫描过程中使用通用敏感规则进行匹配，查找脱敏后的原始日志中所有遗漏的敏感日志，并对对应的相关责任对象进行提醒。5.根据权利要求4所述的一种基于规则的日志敏感信息脱敏和高亮方法，其特征在于，查找到一条脱敏后的原始日志中遗漏的敏感日志时，记录该条遗漏的敏感日志对应的相关责任对象。6.根据权利要求4所述的一种基于规则的日志敏感信息脱敏和高亮方法，其特征在于，查找脱敏后的原始日志中所有遗漏的敏感日志后，一一记录所有的遗漏的敏感日志对应的相关责任对象。7.根据权利要求4所述的一种基于规则的日志敏感信息脱敏和高亮方法，其特征在于，提醒的方式为：筛选同一相关责任对象对应的所有遗漏的敏感日志，将所有遗漏的敏感日志的记录作为邮件内容，发送至该相关责任对象的邮箱进行提醒。8.根据权利要求7所述的一种基于规则的日志敏感信息脱敏和高亮方法，其特征在于，发送给相关责任对象的邮件内容中还设有对应每条遗漏的敏感日志的邮件发送次数，当一条遗漏的敏感日志出现在邮件中的次数加1时，邮件发送次数加1，当邮件发送次数达到阈值时，提高该条遗漏的敏感日志的提醒级别。9.根据权利要求8所述的一种基于规则的日志敏感信息脱敏和高亮方法，其特征在于，提高遗漏的敏感日志的提醒级别具体为：进行高亮或加粗字体。10.根据权利要求1所述的一种基于规则的日志敏感信息脱敏和高亮方法，其特征在于，敏感规则数据库为mysql数据库。

技术总结
本发明涉及一种基于规则的日志敏感信息脱敏和高亮方法，包括以下步骤：S1、获取日志查询指令，所述指令包括关键字信息，所述关键字信息为敏感信息，基于关键字信息确定高亮字段；S2、根据日志查询指令查询对应的原始日志，从敏感规则数据库中查询数据敏感规则，依次使用敏感规则对原始日志进行匹配，将原始日志的敏感信息替换成脱敏后的信息；S3、将高亮字段和未脱敏的原始日志进行匹配，记录需要高亮信息的位置数据，根据位置数据对脱敏后的原始日志进行标记，得到高亮的脱敏后的原始日志；S4、输出高亮并脱敏后的日志。与现有技术相比，本发明具有提高敏感信息扫描、脱敏、高亮的准确性等优点。性等优点。性等优点。


技术研发人员：铁锦程 李虎 曾毅峰 胡桢浩 熊生武
受保护的技术使用者：上海浦东发展银行股份有限公司
技术研发日：2023.06.27
技术公布日：2023/9/13