一次因线程池使用不当造成生产事故OOM

2024-01-09 02:52

文章标签 线程一次生产事故造成 oom 使用不当

本文主要是介绍一次因线程池使用不当造成生产事故OOM，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

美好的一天从bug结束

某日当我点开熟悉的界面，一个又一个请求失败的提示赫然出现在屏幕上，不会是昨晚上线的代码有问题吧？

吓得我急忙按F12查看了响应——"exception":"java.lang.OutOfMemoryError","message":"unable to create new native thread"

出现了内存溢出的情况，无法创建更多的本地线程。

监控中显端倪

接着查看了实例的监控大盘，发现每个实例的JVM线程数量都处于9000+的规模，且还有上涨的趋势。

这是其中一个实例的线程数量监控图：

10.17日出现下降，并不是由于GC，而是由于上线，所以会降到0。

当前服务一共有8个实例，临时的方案是从负载均衡中摘除1个节点，用作排查使用，其他实例则按照顺序进行原地重建。

dump线程日志

登录上这个容器，使用

这篇关于一次因线程池使用不当造成生产事故OOM的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

http://www.chinasem.cn/article/585721。 23002807@qq.com

相关文章

NameNode内存生产配置

NameNode内存生产配置

Hadoop2.x 系列，配置 NameNode 内存 NameNode 内存默认 2000m ，如果服务器内存 4G ， NameNode 内存可以配置 3g 。在 hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OPTS=-Xmx3072m Hadoop3.x 系列，配置 Nam

阅读更多...

线程的四种操作

线程的四种操作

所属专栏：Java学习 1. 线程的开启 start和run的区别： run：描述了线程要执行的任务，也可以称为线程的入口 start：调用系统函数，真正的在系统内核中创建线程（创建PCB，加入到链表中），此处的start会根据不同的系统，分别调用不同的api，创建好之后的线程，再单独去执行run（所以说，start的本质是调用系统api，系统的api

阅读更多...

java线程深度解析（六）——线程池技术

java线程深度解析（六）——线程池技术

http://blog.csdn.net/Daybreak1209/article/details/51382604 一种最为简单的线程创建和回收的方法： [html] view plain copy new Thread(new Runnable(){ @Override public voi

阅读更多...

java线程深度解析（五）——并发模型（生产者-消费者）

java线程深度解析（五）——并发模型（生产者-消费者）

http://blog.csdn.net/Daybreak1209/article/details/51378055 三、生产者-消费者模式在经典的多线程模式中，生产者-消费者为多线程间协作提供了良好的解决方案。基本原理是两类线程，即若干个生产者和若干个消费者，生产者负责提交用户请求任务（到内存缓冲区），消费者线程负责处理任务（从内存缓冲区中取任务进行处理），两类线程之

阅读更多...

java线程深度解析（四）——并发模型（Master-Worker）

java线程深度解析（四）——并发模型（Master-Worker）

http://blog.csdn.net/daybreak1209/article/details/51372929 二、Master-worker ——分而治之 Master-worker常用的并行模式之一，核心思想是由两个进程协作工作，master负责接收和分配任务，worker负责处理任务，并把处理结果返回给Master进程，由Master进行汇总，返回给客

阅读更多...

java线程深度解析（二）——线程互斥技术与线程间通信

java线程深度解析（二）——线程互斥技术与线程间通信

http://blog.csdn.net/daybreak1209/article/details/51307679 在java多线程——线程同步问题中，对于多线程下程序启动时出现的线程安全问题的背景和初步解决方案已经有了详细的介绍。本文将再度深入解析对线程代码块和方法的同步控制和多线程间通信的实例。一、再现多线程下安全问题先看开启两条线程，分别按序打印字符串的

阅读更多...

java线程深度解析（一）——java new 接口？匿名内部类给你答案

java线程深度解析（一）——java new 接口？匿名内部类给你答案

http://blog.csdn.net/daybreak1209/article/details/51305477 一、内部类 1、内部类初识一般，一个类里主要包含类的方法和属性，但在Java中还提出在类中继续定义类（内部类）的概念。内部类的定义：类的内部定义类先来看一个实例 [html] view plain copy pu

阅读更多...

(function() {})();只执行一次

(function() {})();只执行一次

测试例子： var xx = (function() { (function() { alert(9) })(); alert(10) return "yyyy"; })(); 调用： alert(xx); 在调用的时候，你会发现只弹出"yyyy"信息，并不见弹出"10"的信息！这也就是说，这个匿名函数只在立即调用的时候执行一次，这时它已经赋予了给xx变量，也就是只是

阅读更多...

C#线程系列(1)：BeginInvoke和EndInvoke方法

C#线程系列(1)：BeginInvoke和EndInvoke方法

一、线程概述在操作系统中一个进程至少要包含一个线程，然后，在某些时候需要在同一个进程中同时执行多项任务，或是为了提供程序的性能，将要执行的任务分解成多个子任务执行。这就需要在同一个进程中开启多个线程。我们使用 C# 编写一个应用程序（控制台或桌面程序都可以），然后运行这个程序，并打开 windows 任务管理器，这时我们就会看到这个应用程序中所含有的线程数，如下图所示。

阅读更多...

flume系列之：记录一次flume agent进程被异常oom kill -9的原因定位

flume系列之：记录一次flume agent进程被异常oom kill -9的原因定位

flume系列之：记录一次flume agent进程被异常oom kill -9的原因定位一、背景二、定位问题三、解决方法一、背景 flume系列之：定位flume没有关闭某个时间点生成的tmp文件的原因，并制定解决方案在博主上面这篇文章的基础上，在机器内存、cpu资源、flume agent资源都足够的情况下，flume agent又出现了tmp文件无法关闭的情况二、

阅读更多...