log4j日志打印导致OOM问题

2024-06-11 03:04

本文主要是介绍log4j日志打印导致OOM问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、背景

某天压测,QPS压到一定值后机器就开始重启,出现OOM,好在线上机器配置了启动参数-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/**/**heapdump.hprof。将dump文件下载到本地,打开Java sdk bin目录下的jvisualvm工具,导入dump文件,发现有非常多的char[]对象,于是开始分析原因。
在这里插入图片描述

二、问题定位

点击工具栏概要,找到发生OutOfMemoryError的线程堆栈,发现报错跟log4j相关。点击工具栏实例数,靠前的对象也基本跟日志打印有关。
在这里插入图片描述在这里插入图片描述在这里插入图片描述
定位到具体的代码行,RequestLogAspect.java:194(对应下面代码倒数第二行),部分代码如下:

// aop 执行后的日志
StringBuilder afterReqLog = new StringBuilder(200);
// 日志参数
List<Object> afterReqArgs = new ArrayList<>();
afterReqLog.append("\n\n================  Response Start  ================\n");
try {Object result = point.proceed();// 打印返回结构体afterReqLog.append("===Result===  {}\n");afterReqArgs.add(toJson(result));return result;
} finally {long tookMs = TimeUnit.NANOSECONDS.toMillis(System.nanoTime() - startNs);afterReqLog.append("<=== {}: {} ({} ms)\n");afterReqArgs.add(requestMethod);afterReqArgs.add(requestURI);afterReqArgs.add(tookMs);afterReqLog.append("================  Response End   ================\n");log.info(afterReqLog.toString(), afterReqArgs.toArray());
}

三、问题分析

上面这段代码的目的是打印出参,当出参result对象非常大时,高并发情况下,会占用比较多的堆内存。而且这段日志打印的代码,将result转为Json串保存在afterReqArgs里,最后通过log.info输出,而log.info又通过StringBuilder将字符串拼接输出,导致堆内存中有非常多的大字符串对象,最终导致OOM。见log4j源码org.apache.logging.log4j.message.ParameterizedMessage#getFormattedMessage。
在这里插入图片描述

四、问题复现

本机配置:Apple M1芯片,内存16G。设置JVM启动参数-Xmx256m -Xms256m,Jmeter配置如下图。执行后稳定复现OOM。
在这里插入图片描述
在这里插入图片描述

五、解决方案

1、不打印大对象

由于这个压测接口查询的内容就是会很大,所以最简单的方式就是不打印这个大对象出参。通过excludeFullLogPatterns配置哪些接口不打印result。

try {result = point.proceed();return result;
} finally {if (requestLogProperties.getResponseLogEnable() && !isExcludeResponseLog(requestURI)) {printLogDiv(requestMethod, requestURI, result, startNs);}
}/*** 分情况打印日志*/
private void printLogDiv(String requestMethod, String requestURI, Object result, long startNs) {if (isExcludeFullResponseLog(requestURI)) {long tookMs = TimeUnit.NANOSECONDS.toMillis(System.nanoTime() - startNs);log.info("Response log method[{}], path[{}], tookMs[{}]", requestMethod, requestURI, tookMs);} else {printFullLog(requestMethod, requestURI, result, startNs);}
}
/*** 打印日志-全量*/
private void printFullLog(String requestMethod, String requestURI, Object result, long startNs) {long tookMs = TimeUnit.NANOSECONDS.toMillis(System.nanoTime() - startNs);if (result == null) {log.info("Response log method[{}], path[{}], tookMs[{}]", requestMethod, requestURI, tookMs);} else {log.info("Response log method[{}], path[{}], tookMs[{}], result[{}]", requestMethod, requestURI, tookMs,toFastJson(result));}
}
/*** 是否排除全量出参日志*/
private final AntPathMatcher antPathMatcher = new AntPathMatcher();
private boolean isExcludeFullResponseLog(String path) {if (CollectionUtils.isEmpty(requestLogProperties.getExcludeFullLogPatterns())) {return false;}return requestLogProperties.getExcludeFullLogPatterns().stream().anyMatch(pattern -> antPathMatcher.match(pattern, path));
}
@Data
@Component
public class RequestLogProperties {/*** 开启出参打印日志*/@Value("${gaotu.request.log.responseEnable:true}")private Boolean responseLogEnable;/*** 不打印完整日志的url*/@Value("#{'${gaotu.request.log.excludeFullLogPatterns:/query/question-list}'?.split(',')}")private List<String> excludeFullLogPatterns;/*** 不打印出参日志的url*/@Value("#{'${gaotu.request.log.excludeResponseLogPatterns:}'?.split(',')}")private List<String> excludeResponseLogPatterns;
}

2、修改log4j配置

设置log4j对应ringBuffer的大小和ringBuffer满时日志的丢弃策略。工具栏实例数显示,ringBuffer中entry对象也非常多。可以参考https://blog.csdn.net/ryo1060732496/article/details/135966098。
在这里插入图片描述
在这里插入图片描述
ringBuffer设置的源码在org.apache.logging.log4j.core.async.DisruptorUtil#calculateRingBufferSize:
在这里插入图片描述
拒绝策略的源码在org.apache.logging.log4j.core.async.AsyncQueueFullPolicyFactory#create:
在这里插入图片描述
具体修改方式为:
(1)通过JVM启动参数配置:-Dlog4j2.asyncLoggerConfigRingBufferSize=512 -DLog4jAsyncQueueFullPolicy=Discard。
在设置-Xmx256m -Xms256m情况下,RingBufferSize设置为1024时会OOM,ringBuffer具体配置看压测而定。
(2)通过log4j2.component.properties配置:

AsyncLoggerConfig.RingBufferSize=512
log4j2.AsyncQueueFullPolicy=Discard
log4j2.DiscardThreshold=INFO

配置文件读取源码在org.apache.logging.log4j.util.PropertiesUtil:
在这里插入图片描述

3、限流

通过限流的方式来打印日志,当超过限流值时不打印出参日志。(本文限流用的RateLimiter)

Object result = null;
try {result = point.proceed();return result;
} finally {if (requestLogProperties.getResponseLogEnable() && !isExcludeResponseLog(requestURI)) {printLogLimiter(requestMethod, requestURI, result, startNs);}
}/*** 限流的方式*/
private static Double questionLimit = 20D; //具体设置多少看压测
private static DynamicRateLimiter questionLimiter = DynamicSuppliers.dynamicRateLimiter(() -> questionLimit);
private void printLogLimiter(String requestMethod, String requestURI, Object result, long startNs) {if (questionLimiter.tryAcquire()) {printFullLog(requestMethod, requestURI, result, startNs);} else {log.info("日志打印限流中……");}
}// 创建一个固定大小的线程池,并使用LinkedBlockingQueue作为工作队列
private static ExecutorService logExecutor = new ThreadPoolExecutor(1, // 核心线程数(根据需要调整)1, // 最大线程数(根据需要调整)10L, TimeUnit.MILLISECONDS, // 线程保活时间和单位new LinkedBlockingQueue<>(10), // 有界队列(r, executor) -> log.info("日志线程池已满,拒绝执行任务")); // 队列满时的拒绝策略,直接丢弃任务

4、其他

考虑过日志截断,但是截断仍然需要将对象转为Json串再截取,对性能和内存仍然有影响,依然会OOM。

参考资料:

《Log4j2-29-log4j2 discard policy 极端情况下的丢弃策略 同步+异步配置的例子》https://blog.csdn.net/ryo1060732496/article/details/135966098
《Log4j2异步情况下怎么防止丢日志的源码分析以及队列等待和拒绝策略分析》https://www.cnblogs.com/yangfeiORfeiyang/p/9783864.html
《log4j2异步详解及高并发下的优化》:https://blog.csdn.net/qq_35754073/article/details/104116487
《Disruptor详解》:https://www.jianshu.com/p/bad7b4b44e48
《从阿里来个技术大佬,入职就给我们分享Java打日志的几大神坑!》https://blog.csdn.net/qq_42046105/article/details/127626058

这篇关于log4j日志打印导致OOM问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1050025

相关文章

使用Python构建一个高效的日志处理系统

《使用Python构建一个高效的日志处理系统》这篇文章主要为大家详细讲解了如何使用Python开发一个专业的日志分析工具,能够自动化处理、分析和可视化各类日志文件,大幅提升运维效率,需要的可以了解下... 目录环境准备工具功能概述完整代码实现代码深度解析1. 类设计与初始化2. 日志解析核心逻辑3. 文件处

Kotlin Map映射转换问题小结

《KotlinMap映射转换问题小结》文章介绍了Kotlin集合转换的多种方法,包括map(一对一转换)、mapIndexed(带索引)、mapNotNull(过滤null)、mapKeys/map... 目录Kotlin 集合转换:map、mapIndexed、mapNotNull、mapKeys、map

nginx中端口无权限的问题解决

《nginx中端口无权限的问题解决》当Nginx日志报错bind()to80failed(13:Permissiondenied)时,这通常是由于权限不足导致Nginx无法绑定到80端口,下面就来... 目录一、问题原因分析二、解决方案1. 以 root 权限运行 Nginx(不推荐)2. 为 Nginx

解决1093 - You can‘t specify target table报错问题及原因分析

《解决1093-Youcan‘tspecifytargettable报错问题及原因分析》MySQL1093错误因UPDATE/DELETE语句的FROM子句直接引用目标表或嵌套子查询导致,... 目录报js错原因分析具体原因解决办法方法一:使用临时表方法二:使用JOIN方法三:使用EXISTS示例总结报错原

Windows环境下解决Matplotlib中文字体显示问题的详细教程

《Windows环境下解决Matplotlib中文字体显示问题的详细教程》本文详细介绍了在Windows下解决Matplotlib中文显示问题的方法,包括安装字体、更新缓存、配置文件设置及编码調整,并... 目录引言问题分析解决方案详解1. 检查系统已安装字体2. 手动添加中文字体(以SimHei为例)步骤

SpringSecurity整合redission序列化问题小结(最新整理)

《SpringSecurity整合redission序列化问题小结(最新整理)》文章详解SpringSecurity整合Redisson时的序列化问题,指出需排除官方Jackson依赖,通过自定义反序... 目录1. 前言2. Redission配置2.1 RedissonProperties2.2 Red

nginx 负载均衡配置及如何解决重复登录问题

《nginx负载均衡配置及如何解决重复登录问题》文章详解Nginx源码安装与Docker部署,介绍四层/七层代理区别及负载均衡策略,通过ip_hash解决重复登录问题,对nginx负载均衡配置及如何... 目录一:源码安装:1.配置编译参数2.编译3.编译安装 二,四层代理和七层代理区别1.二者混合使用举例

C++ Log4cpp跨平台日志库的使用小结

《C++Log4cpp跨平台日志库的使用小结》Log4cpp是c++类库,本文详细介绍了C++日志库log4cpp的使用方法,及设置日志输出格式和优先级,具有一定的参考价值,感兴趣的可以了解一下... 目录一、介绍1. log4cpp的日志方式2.设置日志输出的格式3. 设置日志的输出优先级二、Window

怎样通过分析GC日志来定位Java进程的内存问题

《怎样通过分析GC日志来定位Java进程的内存问题》:本文主要介绍怎样通过分析GC日志来定位Java进程的内存问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、GC 日志基础配置1. 启用详细 GC 日志2. 不同收集器的日志格式二、关键指标与分析维度1.

解读GC日志中的各项指标用法

《解读GC日志中的各项指标用法》:本文主要介绍GC日志中的各项指标用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、基础 GC 日志格式(以 G1 为例)1. Minor GC 日志2. Full GC 日志二、关键指标解析1. GC 类型与触发原因2. 堆