生产问题总结(集群或单节点挂掉)

2024-02-26 03:08

本文主要是介绍生产问题总结(集群或单节点挂掉),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.问题

最近一周真是不太平,应用几乎每天都会挂,而且还每天的原因都不一样

2.以下就几种原因简单的说下

1)内存溢出

现象:内存告警,拿不到数据库连接,高full gc

分析:增加jvm参数,full gc时生成dump日志,分析dump日志,发现有一个查询占了内存的60+%。。。,看内存占比前几位的全是string对象,而且全是重复的,

那么就直接去看这个查询啊,一看这个查询的sqlmap,发现里面用了in,而当时生产环境这条sql in后面带了20000+的id去查询db,而db根据id来分库分表,然后根据id,这个sql会落到其中的700+张表,呵呵,那么问题来了,这台应用就会建立700+的db链接和700+的prepareStatement,大量的string对象其实就是这个prepareStatement,每个占了内存的0.03%,700+就占了差不多21%,进而导致整个应用内存吃紧,最终OOM

2)还tm是内存溢出

现象:内存告警,高full gc

分析:还是看应用的dump日志,还是发现有个查询占用了大量内存,不过这次和上次的问题不一样了。。。查询里面用了ibatis的内存分页,而非常悲剧的是,这条sql查询的结果集有600W+,而且查的是整条记录,所以内存再次撑爆。。。

3)服务器内存告警

现象:收到服务器内存监控告警

  分析,立马去服务器上执行top命令,看内存的使用情况,发现应用的进程占了40%左右的内存,排在第二位,而排在第一位的居然是一个root进程,占了50%左右的内存,导致应用的内存不够用,后来查了下,发现是中间件组做的一个日志采集服务。。。什么鬼,坑死了


3.总结

1.系统宕机时,先看下应用的日志是否有OOM的异常,如果有,看应用的dump日志,分析导致OOM的原因;如果没有OOM,则看服务器当时的内存使用情况,看是不是有别的进程占用了太多的服务器的资源,导致应用无法获取资源;

2.写sql时一定要注意,就拿我们的应用来说,ORM框架用的ibatis,一般来说,ibatis的内存分页不建议使用,因为它是将结果集一次全部load如内存,然后再在内存中分页将结果返回,当时结果集很大时,会耗尽系统的内存;sql中的in查询也是,不建议使用,如果非要使用的话,建议限制下in后面所带字符串的数量,比如不能超过1000个;总之一个要控制sql本身的长度,同时也要注意下控制结果集的大小,结果集很大时建议采用分页查询,避免一次查询出过多的数据

这篇关于生产问题总结(集群或单节点挂掉)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/747539

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

服务器集群同步时间手记

1.时间服务器配置(必须root用户) (1)检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 (2)修改ntp配置文件 [r

HDFS—集群扩容及缩容

白名单:表示在白名单的主机IP地址可以,用来存储数据。 配置白名单步骤如下: 1)在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 (1)创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称,假如集群正常工作的节

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

NameNode内存生产配置

Hadoop2.x 系列,配置 NameNode 内存 NameNode 内存默认 2000m ,如果服务器内存 4G , NameNode 内存可以配置 3g 。在 hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OPTS=-Xmx3072m Hadoop3.x 系列,配置 Nam

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

好题——hdu2522(小数问题:求1/n的第一个循环节)

好喜欢这题,第一次做小数问题,一开始真心没思路,然后参考了网上的一些资料。 知识点***********************************无限不循环小数即无理数,不能写作两整数之比*****************************(一开始没想到,小学没学好) 此题1/n肯定是一个有限循环小数,了解这些后就能做此题了。 按照除法的机制,用一个函数表示出来就可以了,代码如下

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

购买磨轮平衡机时应该注意什么问题和技巧

在购买磨轮平衡机时,您应该注意以下几个关键点: 平衡精度 平衡精度是衡量平衡机性能的核心指标,直接影响到不平衡量的检测与校准的准确性,从而决定磨轮的振动和噪声水平。高精度的平衡机能显著减少振动和噪声,提高磨削加工的精度。 转速范围 宽广的转速范围意味着平衡机能够处理更多种类的磨轮,适应不同的工作条件和规格要求。 振动监测能力 振动监测能力是评估平衡机性能的重要因素。通过传感器实时监