log4j日志打印导致OOM问题

2024-06-11 03:04
文章标签 问题 日志 导致 打印 log4j oom

本文主要是介绍log4j日志打印导致OOM问题，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一、背景

某天压测，QPS压到一定值后机器就开始重启，出现OOM，好在线上机器配置了启动参数-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/**/**heapdump.hprof。将dump文件下载到本地，打开Java sdk bin目录下的jvisualvm工具，导入dump文件，发现有非常多的char[]对象，于是开始分析原因。
在这里插入图片描述

二、问题定位

点击工具栏概要，找到发生OutOfMemoryError的线程堆栈，发现报错跟log4j相关。点击工具栏实例数，靠前的对象也基本跟日志打印有关。
在这里插入图片描述在这里插入图片描述在这里插入图片描述
定位到具体的代码行，RequestLogAspect.java:194（对应下面代码倒数第二行），部分代码如下：

// aop 执行后的日志
StringBuilder afterReqLog = new StringBuilder(200);
// 日志参数
List<Object> afterReqArgs = new ArrayList<>();
afterReqLog.append("\n\n================  Response Start  ================\n");
try {Object result = point.proceed();// 打印返回结构体afterReqLog.append("===Result===  {}\n");afterReqArgs.add(toJson(result));return result;
} finally {long tookMs = TimeUnit.NANOSECONDS.toMillis(System.nanoTime() - startNs);afterReqLog.append("<=== {}: {} ({} ms)\n");afterReqArgs.add(requestMethod);afterReqArgs.add(requestURI);afterReqArgs.add(tookMs);afterReqLog.append("================  Response End   ================\n");log.info(afterReqLog.toString(), afterReqArgs.toArray());
}

三、问题分析

上面这段代码的目的是打印出参，当出参result对象非常大时，高并发情况下，会占用比较多的堆内存。而且这段日志打印的代码，将result转为Json串保存在afterReqArgs里，最后通过log.info输出，而log.info又通过StringBuilder将字符串拼接输出，导致堆内存中有非常多的大字符串对象，最终导致OOM。见log4j源码org.apache.logging.log4j.message.ParameterizedMessage#getFormattedMessage。
在这里插入图片描述

四、问题复现

本机配置：Apple M1芯片，内存16G。设置JVM启动参数-Xmx256m -Xms256m，Jmeter配置如下图。执行后稳定复现OOM。
在这里插入图片描述
在这里插入图片描述

五、解决方案

1、不打印大对象

由于这个压测接口查询的内容就是会很大，所以最简单的方式就是不打印这个大对象出参。通过excludeFullLogPatterns配置哪些接口不打印result。

try {result = point.proceed();return result;
} finally {if (requestLogProperties.getResponseLogEnable() && !isExcludeResponseLog(requestURI)) {printLogDiv(requestMethod, requestURI, result, startNs);}
}/*** 分情况打印日志*/
private void printLogDiv(String requestMethod, String requestURI, Object result, long startNs) {if (isExcludeFullResponseLog(requestURI)) {long tookMs = TimeUnit.NANOSECONDS.toMillis(System.nanoTime() - startNs);log.info("Response log method[{}], path[{}], tookMs[{}]", requestMethod, requestURI, tookMs);} else {printFullLog(requestMethod, requestURI, result, startNs);}
}
/*** 打印日志-全量*/
private void printFullLog(String requestMethod, String requestURI, Object result, long startNs) {long tookMs = TimeUnit.NANOSECONDS.toMillis(System.nanoTime() - startNs);if (result == null) {log.info("Response log method[{}], path[{}], tookMs[{}]", requestMethod, requestURI, tookMs);} else {log.info("Response log method[{}], path[{}], tookMs[{}], result[{}]", requestMethod, requestURI, tookMs,toFastJson(result));}
}
/*** 是否排除全量出参日志*/
private final AntPathMatcher antPathMatcher = new AntPathMatcher();
private boolean isExcludeFullResponseLog(String path) {if (CollectionUtils.isEmpty(requestLogProperties.getExcludeFullLogPatterns())) {return false;}return requestLogProperties.getExcludeFullLogPatterns().stream().anyMatch(pattern -> antPathMatcher.match(pattern, path));
}
@Data
@Component
public class RequestLogProperties {/*** 开启出参打印日志*/@Value("${gaotu.request.log.responseEnable:true}")private Boolean responseLogEnable;/*** 不打印完整日志的url*/@Value("#{'${gaotu.request.log.excludeFullLogPatterns:/query/question-list}'?.split(',')}")private List<String> excludeFullLogPatterns;/*** 不打印出参日志的url*/@Value("#{'${gaotu.request.log.excludeResponseLogPatterns:}'?.split(',')}")private List<String> excludeResponseLogPatterns;
}

2、修改log4j配置

设置log4j对应ringBuffer的大小和ringBuffer满时日志的丢弃策略。工具栏实例数显示，ringBuffer中entry对象也非常多。可以参考https://blog.csdn.net/ryo1060732496/article/details/135966098。
在这里插入图片描述
在这里插入图片描述
ringBuffer设置的源码在org.apache.logging.log4j.core.async.DisruptorUtil#calculateRingBufferSize：
在这里插入图片描述
拒绝策略的源码在org.apache.logging.log4j.core.async.AsyncQueueFullPolicyFactory#create：
在这里插入图片描述
具体修改方式为：
（1）通过JVM启动参数配置：-Dlog4j2.asyncLoggerConfigRingBufferSize=512 -DLog4jAsyncQueueFullPolicy=Discard。
在设置-Xmx256m -Xms256m情况下，RingBufferSize设置为1024时会OOM，ringBuffer具体配置看压测而定。
（2）通过log4j2.component.properties配置：

AsyncLoggerConfig.RingBufferSize=512
log4j2.AsyncQueueFullPolicy=Discard
log4j2.DiscardThreshold=INFO

配置文件读取源码在org.apache.logging.log4j.util.PropertiesUtil：
在这里插入图片描述

3、限流

通过限流的方式来打印日志，当超过限流值时不打印出参日志。（本文限流用的RateLimiter）

Object result = null;
try {result = point.proceed();return result;
} finally {if (requestLogProperties.getResponseLogEnable() && !isExcludeResponseLog(requestURI)) {printLogLimiter(requestMethod, requestURI, result, startNs);}
}/*** 限流的方式*/
private static Double questionLimit = 20D; //具体设置多少看压测
private static DynamicRateLimiter questionLimiter = DynamicSuppliers.dynamicRateLimiter(() -> questionLimit);
private void printLogLimiter(String requestMethod, String requestURI, Object result, long startNs) {if (questionLimiter.tryAcquire()) {printFullLog(requestMethod, requestURI, result, startNs);} else {log.info("日志打印限流中……");}
}// 创建一个固定大小的线程池，并使用LinkedBlockingQueue作为工作队列
private static ExecutorService logExecutor = new ThreadPoolExecutor(1, // 核心线程数（根据需要调整）1, // 最大线程数（根据需要调整）10L, TimeUnit.MILLISECONDS, // 线程保活时间和单位new LinkedBlockingQueue<>(10), // 有界队列(r, executor) -> log.info("日志线程池已满，拒绝执行任务")); // 队列满时的拒绝策略，直接丢弃任务

4、其他

考虑过日志截断，但是截断仍然需要将对象转为Json串再截取，对性能和内存仍然有影响，依然会OOM。

参考资料：

《Log4j2-29-log4j2 discard policy 极端情况下的丢弃策略 同步+异步配置的例子》https://blog.csdn.net/ryo1060732496/article/details/135966098
《Log4j2异步情况下怎么防止丢日志的源码分析以及队列等待和拒绝策略分析》https://www.cnblogs.com/yangfeiORfeiyang/p/9783864.html
《log4j2异步详解及高并发下的优化》：https://blog.csdn.net/qq_35754073/article/details/104116487
《Disruptor详解》：https://www.jianshu.com/p/bad7b4b44e48
《从阿里来个技术大佬，入职就给我们分享Java打日志的几大神坑！》https://blog.csdn.net/qq_42046105/article/details/127626058

这篇关于log4j日志打印导致OOM问题的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1050025。

相关文章

好题——hdu2522（小数问题：求1/n的第一个循环节）

好题——hdu2522（小数问题：求1/n的第一个循环节）

好喜欢这题，第一次做小数问题，一开始真心没思路，然后参考了网上的一些资料。 知识点***********************************无限不循环小数即无理数，不能写作两整数之比*****************************（一开始没想到，小学没学好） 此题1/n肯定是一个有限循环小数，了解这些后就能做此题了。 按照除法的机制，用一个函数表示出来就可以了，代码如下
阅读更多...
hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

利用康拓展开将一个排列映射成一个自然数，然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu
阅读更多...
安卓链接正常显示，ios#符被转义%23导致链接访问404

安卓链接正常显示，ios#符被转义%23导致链接访问404

原因分析： url中含有特殊字符 中文未编码 都有可能导致URL转换失败，所以需要对url编码处理  如下： guard let allowUrl = webUrl.addingPercentEncoding(withAllowedCharacters: .urlQueryAllowed) else {return} 后面发现当url中有#号时，会被误伤转义为%23，导致链接无法访问
阅读更多...
购买磨轮平衡机时应该注意什么问题和技巧

购买磨轮平衡机时应该注意什么问题和技巧

在购买磨轮平衡机时，您应该注意以下几个关键点： 平衡精度 平衡精度是衡量平衡机性能的核心指标，直接影响到不平衡量的检测与校准的准确性，从而决定磨轮的振动和噪声水平。高精度的平衡机能显著减少振动和噪声，提高磨削加工的精度。 转速范围 宽广的转速范围意味着平衡机能够处理更多种类的磨轮，适应不同的工作条件和规格要求。 振动监测能力 振动监测能力是评估平衡机性能的重要因素。通过传感器实时监
阅读更多...
缓存雪崩问题

缓存雪崩问题

缓存雪崩是缓存中大量key失效后当高并发到来时导致大量请求到数据库，瞬间耗尽数据库资源，导致数据库无法使用。 解决方案： 1、使用锁进行控制 2、对同一类型信息的key设置不同的过期时间 3、缓存预热 1. 什么是缓存雪崩 缓存雪崩是指在短时间内，大量缓存数据同时失效，导致所有请求直接涌向数据库，瞬间增加数据库的负载压力，可能导致数据库性能下降甚至崩溃。这种情况往往发生在缓存中大量 k
阅读更多...
6.1.数据结构-c/c++堆详解下篇（堆排序，TopK问题）

6.1.数据结构-c/c++堆详解下篇（堆排序，TopK问题）

上篇：6.1.数据结构-c/c++模拟实现堆上篇（向下，上调整算法，建堆，增删数据）-CSDN博客 本章重点 1.使用堆来完成堆排序 2.使用堆解决TopK问题 目录 一.堆排序 1.1 思路 1.2 代码 1.3 简单测试 二.TopK问题 2.1 思路(求最小)： 2.2 C语言代码（手写堆） 2.3 C++代码（使用优先级队列 priority_queue）
阅读更多...
flume系列之：查看flume系统日志、查看统计flume日志类型、查看flume日志

flume系列之：查看flume系统日志、查看统计flume日志类型、查看flume日志

遍历指定目录下多个文件查找指定内容 服务器系统日志会记录flume相关日志 cat /var/log/messages |grep -i oom 查找系统日志中关于flume的指定日志 import osdef search_string_in_files(directory, search_string):count = 0
阅读更多...
我在移动打工的日志

我在移动打工的日志

客户：给我搞一下录音 我：不会。不在服务范围。 客户：是不想吧 我：笑嘻嘻（气笑） 客户：小姑娘明明会，却欺负老人 我：笑嘻嘻 客户：那我交话费 我：手机号 客户：给我搞录音 我：不会。不懂。没搞过。 客户：那我交话费 我：手机号。这是电信的啊！！我这是中国移动！！ 客户：我不管，我要充话费，充话费是你们的 我：可是这是移动！！中国移动！！ 客户：我这是手机号 我：那又如何，这是移动！你是电信！！
阅读更多...
【VUE】跨域问题的概念，以及解决方法。

【VUE】跨域问题的概念，以及解决方法。

目录 1.跨域概念 2.解决方法 2.1 配置网络请求代理 2.2 使用@CrossOrigin 注解 2.3 通过配置文件实现跨域 2.4 添加 CorsWebFilter 来解决跨域问题 1.跨域概念 跨域问题是由于浏览器实施了同源策略，该策略要求请求的域名、协议和端口必须与提供资源的服务相同。如果不相同，则需要服务器显式地允许这种跨域请求。一般在springbo
阅读更多...
题目1254：N皇后问题

题目1254：N皇后问题

题目1254：N皇后问题 时间限制：1 秒 内存限制：128 兆 特殊判题：否 题目描述： N皇后问题，即在N*N的方格棋盘内放置了N个皇后，使得它们不相互攻击（即任意2个皇后不允许处在同一排，同一列，也不允许处在同一斜线上。因为皇后可以直走，横走和斜走如下图)。 你的任务是，对于给定的N，求出有多少种合法的放置方法。输出N皇后问题所有不同的摆放情况个数。 输入
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2