解决线上OutOfMemoryError: GC overhead limit exceeded问题

线上出现OutOfMemoryError如何排查解决

背景：公司之前给甲方开发了一个服务，因为数据问题，甲方要求部署在他们自己的服务器上，后来发现这个服务跑了一段时间后就会挂掉，一直找不到问题，重启以后有没有问题，过段时间又会出现这个问题，之前同事去甲方那边拿到了服务的日志，可以看到日志中一直报错：java.lang.OutOfMemoryError: GC overhead limit exceeded
具体日志信息如下图

说实话这个日志除了可以断定是堆内存溢出的问题以外，确实看不出是哪里的问题导致的

解决方案：
一开始只有一个log日志，我就想这能不能直接分析日志，看出问题，然后找了一个线上GC日志分析的网站，直接导入日志分析GC日志分析网站

分析出来是这个鬼， 我也很绝望，后来网上搜索要拿到dump日志进行分析。但是这个确实拿不到，因为甲方自己部署的，我们也没得权限连他们的服务器。

后来想只能通过测试环境来复现解决 这个，就把测试环境重启了，带上打印dump日志的jvm参数：
具体相关JVM参数如下：
-XX:+HeapDumpOnOutOfMemoryError
-XX:HeapDumpPath=/usr/local/log/ 输出dump日志的文件路径，这个路径中的文件夹都必须存在

重启以后，在测试环境进行了全功能测试，跑了两个功能确实出现系统变卡，开始挂机的情况，查看log日志也开始报GC问题，后来就将dump日志导出，然后通过jdk自带的工具jvisualvm导入日志进行分析

生成日志后可以看到出现OutOfMemory的线程，点进去可以看到具体报错内容

上面是具体的报错行，找到代码发现是excel导出，生成excel的时候出现的问题，数据量3万多条，直接导出，单线程操作这里就会报OutOfMemoryError: GC overhead limit exceeded，GC问题的难点在于排查问题点在哪里，问题找到解决其实很简单，我这里是后台数据量过大，并且在导出的时候会根据当前数据生成一个excel对象，数据量过大导致这里产生大对象，而且整个导出响应变慢。这个时候用户继续点击导出按钮，请求到达后台，导致一直产生导出实体bean对象和excel对象，方法执行的慢，gc回收释放的空间有限，这些大对象没操作完无法释放，就导致内存不够，直接出现OOM问题，系统由前期的卡顿，直接变为无响应挂机。
说实话：在对整个系统并不熟悉的基础上，确实很难对系统的堆栈继续分析，所以，必要的时候还是要拿到堆栈信息和gc相关的信息才能分析问题。如果是公司内部主机，其实可以直接通过jdk的一些命令拿到程序当前的这些信息

参考博客：
https://www.jianshu.com/p/cfe08044045b
https://zhuanlan.zhihu.com/p/43435903