秒懂Springboot之如何使用logback做日志脱敏和截取

2024-04-07 01:36
文章标签 java 使用 日志 springboot spring 截取 logback 脱敏

本文主要是介绍秒懂Springboot之如何使用logback做日志脱敏和截取，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

[版权申明] 非商业目的注明出处可自由转载
出自：shusheng007

文章目录

  • 前言
  • 日志
    • logback
    • 原理
    • 实现原理
    • 方案
  • 技术总结
  • 总结
  • 源码

前言

日志的重要性无需多言，而数据的安全性亦不用赘述，但不幸的是它两常常产生矛盾。要便利就会牺牲安全，要安全就会牺牲便利，所以需要找到一个折中的方案：既满足日志方便审计以及查找问题的需求又兼顾安全。这就是我们今天要谈论的日志脱敏的问题。

日志

现在java生态最常使用的几个用来记录日志的技术有：log4j，logback，log4j2 , tinyLog，不过现在我们一般会通过SLF4J来集成日志。SLF4J的意思是Simple Logging Facade for Java，可见其是一个面板，一个日志的抽象层。我们通过SLF4J接入日志后，以后想要更换其他的实现了SLF4J的日志库就比较方便了，无需改动代码。

如下图所示：
在这里插入图片描述
图片出至 logback官方文档

logback

2001年瑞士程序员Ceki Gülcü创建了Log4j，多年后的一天早上起来他决定不玩了，于是 2015又发起了SLF4J和Logback新项目，目标是成为前辈log4j的继任者。但是对于大型互联网系统，选择Log4J2的比较多，因为其性能更加优秀，据说每秒可以写入1千8百万条日志，而logback最多每秒写入200万条日志，其还有非常强大的插件系统。可能就是因为复杂而强大，2021年阿里云发现了零日漏洞，被称为近10年最严重的软件漏洞… 阿里第一时间向Apache基金会报告了此漏洞，却没有向中国信息相关部门报告，最后还被处罚了。

闲话聊的差不多了就，该如正题了。现在由于Springboot 默认集成logback，所以logback越来越流行。所以今天就聊一下如何使用logback进行日志的脱敏和截取。

Logback 被分成三个不同的模块：logback-core，logback-classic，logback-access。我们一般会使用logback-core和logback-classic，logback-access 用来与 Servlet 容器（Tomcat、Jetty）进行整合提供http访问日志的功能。

原理

logback的学习曲线还是比较陡曲的，我第一次接触的时候就被那个配置搞的相当懵逼。相信工作了几年的同学如果没有专门研究过还是感觉无从下手。由于我们这篇文章主要着眼于脱敏和截取，而不是如何使用logback，所以对其如何使用不会说的太详细，有相关需求的可以看官方文档。如果需求特别强烈可以抽时间在写一篇相关文章。

logback里面有几个非常关键的概念：

  • Logger

    日志对象的抽象，负责日志等级，Mark的设置等

  • Appender

    负责将日志输出到不同的目的地，控制台、文件、数据库、网络…

  • Encoder

    顾名思义，它是编码用的。那编什么码呢？Encoder将日志事件转换为字节数组，同时将字节数组写入到一个 OutputStream 中。

  • Layouts

    负责将日志事件转化为格式化的字符串

当输出一个日志logEvent时，其处理流程如下：

Appender ->Encoder->Layout-> Converter

如下图所示。
在这里插入图片描述

日志最后都会经过各种Converter, 所以我们可以在这一步来做文章。

实现原理

在springboot中使用logback的时候，通常会在resource文件下创建一个名为logback-spring.xml的文件。logback配置文件本来的命名为logback.xml，当加上spring后缀猴就可以在logback配置文件中使用spring相关的配置了，这块一会再说。

这里我们做一个最低配置。一个 ConsoleAppender, 一个PatternLayoutEncoder,一个PatternLayout。如下所示：

<?xml version="1.0" encoding="UTF-8"?>
<configuration><appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender"><encoder><pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{40} - %msg%n</pattern></encoder></appender><root level="INFO"><appender-ref ref="CONSOLE"/></root></configuration>

我们的日志内容的转换是由PatternLayout里的%msg负责的，它其实是配置了一个MessageConverter ，源码非常简单，如下所示。

public class MessageConverter extends ClassicConverter {public String convert(ILoggingEvent event) {return event.getFormattedMessage();}
}

可见MessageConverter 没有做任何日志的转化，直接将获取到的格式化日志直接返回了。 要想对输出的日志做一些脱敏等工作我们就需要实现自己的MessageConverter 。

方案

我们准备实现如下功能

  • 消息超长截取。例如设置最大长度为1024个字符，超过则截取并在末尾加上一个<<<。
  • 敏感信息处理。例如我们可以指定部分字符使用*替换。
  • 匹配深度。这个设计是为了性能，一般也用不上。例如我们认为手机号是敏感信息，很不辛一段日志里面包含了1000个手机号，如果深度设置为200，200以后的手机号就不在按敏感信息处理了。

下面是如何实现：

  1. 继承ClassicConverter，重写其start() 方法。从上面可见这个类也是MessageConverter 的基类。
 @Overridepublic void start() {List<String> options = getOptionList();//从参数选项中提取配置if (options != null) {try {final Integer targetMaxLength = Integer.valueOf(options.get(0));...} catch (Exception e) {e.printStackTrace();}}}

在此方法内，我们可以通过父类DynamicConverter的getOptionList()获取从外界传入的参数。这些参数包括，最大长度、匹配敏感信息的正则表达式，对敏感信息的处理方式…

  1. 重写DynamicConverter的convert(ILoggingEvent event)方法
 @Overridepublic String convert(ILoggingEvent event) {String source = event.getFormattedMessage();...int length = source.length();boolean isOutLengthLimit = length > maxLength;if (isOutLengthLimit || replaceMatcher != null) {StringBuilder sb = new StringBuilder(isOutLengthLimit ? maxLength + 6 : length + 6);//超长截取if (isOutLengthLimit) {sb.append(source, 0, maxLength).append("<<<");} else {sb.append(source);}if (replaceMatcher != null) {return replaceMatcher.execute(sb, PolicyEnum.fromName(policy));}return sb.toString();}return source;}

当获取到日志消息后，对其长度进行判断，超长则截取。然后构建一个ReplaceMatcher进行正则匹配，脱敏。

  1. 创建一个静态内部类ReplaceMatcher ，这个类是真正干活的类
    public static class ReplaceMatcher {private final Pattern pattern;private final int depth;...public String execute(StringBuilder source, PolicyEnum policy) {Matcher matcher = pattern.matcher(source.toString());int depthCounter = 0;while (matcher.find() && (depthCounter < depth)) {depthCounter++;int start = matcher.start();int end = matcher.end();if (start < 0 || end < 0) {break;}//匹配到的数据source.replace(start, end, facade(matcher.group(), policy));}return source.toString();}private String facade(String source, PolicyEnum policy) {final int length = source.length();StringBuilder sb = new StringBuilder(source);if (policy == REPLACE) {if (length > 128) {return sb.replace(3, length - 3, String.format("[%s]", length - 6)).toString();}if (length > 10) {return sb.replace(3, length - 3, repeat('*', length - 6)).toString();}}...return sb.replace(0, length, repeat('*', length)).toString();}}

其逻辑也很简单。使用正则表达式去匹配，如果匹配到了就处理。处理的方式我们可以自己指定，文中展示了REPLACE这种方案。

  • 当敏感信息长度大于128个字符时，保留前后3个字符，中间字符使用[省略的长度]来代替。例如 字符串： abc这里省略了200个字符cba 会被替换为abc[200]cba。
  • 当长度大于10小于128时，保留前后各三个字符，中间用*替换。例如： 13512341234替换为：135*****234
  • 当小于10，则全部替换为*。例如password替换为********
  1. 如何使用

当完成以上步骤后我们的DesensitizedMessageConverter 就大功告成了。接下来就是怎么让它生效的问题了。

再来看一眼我们的logback的配置文件，其中%msg是在配置其原生的MessageConverter ，我们的目标是要用我们自己的DesensitizedMessageConverter来替换掉MessageConverter ，那怎么弄呢？

...<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{40} - %msg%n</pattern>
...

logback提供了一个叫<coconversionRule >的标签，通过这个标签我们就可以使用自定义的Converter了

<configuration><springProperty scope="context" name="LOG_CON_MAX_LIMIT" source="cus-log.properties.max-limit"/><springProperty scope="context" name="LOG_CON_POLICY" source="cus-log.properties.policy"/><springProperty scope="context" name="LOG_CON_REGEX" source="cus-log.properties.regex"/><property name="LOG_CON_DEPTH" value="100"/><property name="LOG_CON_SUM" value="'${LOG_CON_MAX_LIMIT}','${LOG_CON_REGEX}','${LOG_CON_POLICY}','${LOG_CON_DEPTH}'"/><conversionRule conversionWord="dmsg" converterClass="top.ss007.log.cuslog.DesensitizedMessageConverter"/>...<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{40} - %dmsg{${LOG_CON_SUM}}%n</pattern>...    </configuration>

首先我们定义DesensitizedMessageConverter的conversionWord为dmsg，这个随便叫，只有不和logback自己已经使用的重复了就行。然后我们就可以使用dmsg来替换msg了。正常情况下已经OK了，但是我们的Conveter需要传入参数，例如最大长度，正则表达式等，这怎么办呢？

如下所示，只有在dmsg后面使用{}依次传入即可，传几个都可以，但是顺序以及个数是与我们在DesensitizedMessageConverter解析一一对应的，不能瞎传。

%dmsg{p1,p2,p3...}

上文是我通过application.yaml读取了相应的值传到logback里的

cus-log:properties:max-limit: 1024policy: REPLACEregex: (?<="password":").*?(?=") #匹配  {"password":"123456"} 中的123456

技术总结

这一套方案看起来不难，但其实要求对Logback有比较全面的理解才能做到，下面我总结几点关键点：

  1. 清楚logback的日志处理流程，确定要对MessageConverter 下手
  2. 清楚如何给Converter传参和如何解析参数
  3. 清楚如何应用自定义的Converter
  4. 会写各种正则表达式

总结

总体来说logback的学习曲线还是比较陡的，由于很多同学参与项目时，日志已经配置好了，平时也不会去改动它，导致很多人工作了很多年对其都不是很了解。不过不了解也不要紧，日志虽然非常非常非常重要，但其具有一旦设定就几乎不改改的特性。但是，技多不压身…

源码

一如既往，你可以从个人博客首发获取源码

这篇关于秒懂Springboot之如何使用logback做日志脱敏和截取的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/881333。

相关文章

SpringBoot简单整合ElasticSearch实践

SpringBoot简单整合ElasticSearch实践

《SpringBoot简单整合ElasticSearch实践》Elasticsearch支持结构化和非结构化数据检索,通过索引创建和倒排索引文档,提高搜索效率,它基于Lucene封装,分为索引库、类型... 目录一：ElasticSearch支持对结构化和非结构化的数据进行检索二：ES的核心概念Index：
阅读更多...
Python数据验证神器Pydantic库的使用和实践中的避坑指南

Python数据验证神器Pydantic库的使用和实践中的避坑指南

《Python数据验证神器Pydantic库的使用和实践中的避坑指南》Pydantic是一个用于数据验证和设置的库,可以显著简化API接口开发,文章通过一个实际案例,展示了Pydantic如何在生产环... 目录1️⃣ 崩溃时刻：当你的API接口又双叒崩了！2️⃣ 神兵天降：3行代码解决验证难题3️⃣ 深度
阅读更多...
Linux内核定时器使用及说明

Linux内核定时器使用及说明

《Linux内核定时器使用及说明》文章详细介绍了Linux内核定时器的特性、核心数据结构、时间相关转换函数以及操作API,通过示例展示了如何编写和使用定时器,包括按键消抖的应用... 目录1.linux内核定时器特征2.Linux内核定时器核心数据结构3.Linux内核时间相关转换函数4.Linux内核定时
阅读更多...
Java方法重载与重写之同名方法的双面魔法(最新整理)

Java方法重载与重写之同名方法的双面魔法(最新整理)

《Java方法重载与重写之同名方法的双面魔法(最新整理)》文章介绍了Java中的方法重载Overloading和方法重写Overriding的区别联系,方法重载是指在同一个类中,允许存在多个方法名相同... 目录Java方法重载与重写：同名方法的双面魔法方法重载（Overloading）：同门师兄弟的不同绝
阅读更多...
python中的flask_sqlalchemy的使用及示例详解

python中的flask_sqlalchemy的使用及示例详解

《python中的flask_sqlalchemy的使用及示例详解》文章主要介绍了在使用SQLAlchemy创建模型实例时,通过元类动态创建实例的方式,并说明了如何在实例化时执行__init__方法,... 目录@orm.reconstructorSQLAlchemy的回滚关联其他模型数据库基本操作将数据添
阅读更多...
Spring配置扩展之JavaConfig的使用小结

Spring配置扩展之JavaConfig的使用小结

《Spring配置扩展之JavaConfig的使用小结》JavaConfig是Spring框架中基于纯Java代码的配置方式,用于替代传统的XML配置,通过注解（如@Bean）定义Spring容器的组... 目录JavaConfig 的概念什么是JavaConfig？为什么使用 JavaConfig？Jav
阅读更多...
Java数组动态扩容的实现示例

Java数组动态扩容的实现示例

《Java数组动态扩容的实现示例》本文主要介绍了Java数组动态扩容的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录1 问题2 方法3 结语1 问题实现动态的给数组添加元素效果，实现对数组扩容，原始数组使用静态分配
阅读更多...
Java中ArrayList与顺序表示例详解

Java中ArrayList与顺序表示例详解

《Java中ArrayList与顺序表示例详解》顺序表是在计算机内存中以数组的形式保存的线性表,是指用一组地址连续的存储单元依次存储数据元素的线性结构,：本文主要介绍Java中ArrayList与... 目录前言一、Java集合框架核心接口与分类ArrayList二、顺序表数据结构中的顺序表三、常用代码手动
阅读更多...
JAVA项目swing转javafx语法规则以及示例代码

JAVA项目swing转javafx语法规则以及示例代码

《JAVA项目swing转javafx语法规则以及示例代码》：本文主要介绍JAVA项目swing转javafx语法规则以及示例代码的相关资料,文中详细讲解了主类继承、窗口创建、布局管理、控件替换、... 目录最常用的“一行换一行”速查表（直接全局替换）实际转换示例（JFramejs → JavaFX）迁移建
阅读更多...
Spring Boot Interceptor的原理、配置、顺序控制及与Filter的关键区别对比分析

Spring Boot Interceptor的原理、配置、顺序控制及与Filter的关键区别对比分析

《SpringBootInterceptor的原理、配置、顺序控制及与Filter的关键区别对比分析》本文主要介绍了SpringBoot中的拦截器（Interceptor）及其与过滤器（Filt... 目录前言一、核心功能二、拦截器的实现2.1 定义自定义拦截器2.2 注册拦截器三、多拦截器的执行顺序四、过
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2