记录第一次突发情况

2024-06-17 17:20
文章标签 记录 情况 第一次 突发

本文主要是介绍记录第一次突发情况,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

项目场景:

这台云服务器主要是我学习在用,也不是很大,2核2g3M40G硬盘。
在这台服务器上,我主要使用了docker并且把所有的东西,都通过docker安装,比如MySQL,redis, elasticsearch。


问题描述

我正在配置MySQL的binlog,配置完成之后,突然就开始高负载,内存和cpu都跑满了。

在这里插入图片描述
因为是第一次遇到,所以经验不足。


解决过程描述:

一般这种跑满的情况,因为我是自己用的服务器,MySQL和redis就算对外开放也设置的有密码。所以我个人认为,要么就是MySQL出了问题,要么就是有人对服务器进行攻击。但是我目前还不清楚是哪个原因。

9点多的时候,服务器爆满
在这里插入图片描述
我使用的阿里云服务器,阿里云服务器有更详细的服务器监控功能,我傻傻的不知道。

看到爆满之后,我首先使用了1panel尝试关闭MySQL,但是因为爆满了,动都动不了,后面我又尝试使用命令行来关,但是也是关不掉。

这个时候,我就立即进行了重启,并尝试重新连接,但是还是连接不上去。

之后,我就认为是MySQL出了问题,没有太多关注服务器,就一直尝试连接服务器,偶然的能连上了,但是很卡,因为我认为是MySQL出了问题,并且我的全部东西都在docker上,我就开始尝试关闭MySQL。输入docker ps,过了有十几分钟才有反应,找到了MySQL对应的id,就输入对应stop命令,就开始等,希望他有反应,又等了二十多分钟,还是没有反应。

在等了二十多分钟之后,我打开了阿里云的监控,我才发现CPU的爆满的,内存是爆满的,网络有两个高峰,连接也就几个高的峰的,硬盘的运行也异常。这个时候,就觉得不正常,再次重启,马上尝试连接,连进去了。这个时候就想去找什么占用了服务器资源。

首先输入了ps -ef ,没有找到
然后输入mem,没有这个命令
然后输入了top,发现java占用资源很高。
在这里插入图片描述
到这个时候,我就真的挺懵的,因为我不记得我在服务器上安装了java,并且还有多个java。

然后我就让kimi生成找到cpu占用最高的进程ps -eo pid,ppid,comm,%cpu --sort=-%cpu

在这里插入图片描述
到这个时候,服务器就又卡起来了,那没事,重启,再重新连接。

在重启的间隙,我在想我应该怎么解决。
首先,想到的是1panel,因为我的东西都是通过1panel安装,就想先关了1panel,然后我又想到我所有的东西,都在docker上, 就决定直接先试试关1panel,1panel关了没有用就关MySQL,关MySQL没用就关docker。

重启好了,马上重连,还是先找的最大占用的进程,因为真的太卡了,我就想能不能先把这些java给kill掉,然后就开始kill,但是kill之后,java又重新出现了,并且占用比之前还高
在这里插入图片描述
于是我的就再次kill,并趁着不卡,关闭1panel,但是无济于事。
于是就再次,重启,重连,ps找到java对应的pid,kill,然后就直接关闭docker。顿时,所有的异常就都下来了。下面就是监控,整个过程全部的图。

cpu使用率
在这里插入图片描述
内存使用率
在这里插入图片描述
系统负载
在这里插入图片描述
实例云磁盘读写BPS
在这里插入图片描述
实例云盘IOPS
在这里插入图片描述
公网带宽
在这里插入图片描述
内网带宽
在这里插入图片描述
ECS同时连接数
在这里插入图片描述


解决方案:

真的要熟悉linux的常见的操作,我突发的时候就很懵,linux的一些操作我都很久没看了,还好现在有chatGPT之类的能很快的帮我找到相关命令。

然后如果数据相关的是通过docker下到服务器的,docker的相关操作也要熟练、不然你就会在紧急情况下,去百度,去GPT就很狼狈。

下面我总结我当时用到的命令。

linux
在这里插入图片描述
查看资源的使用情况
在这里插入图片描述
查看进程使用cpu的前几名
在这里插入图片描述
1panel的关闭命令
在这里插入图片描述

kill掉相关进程,后面的数字是pid
在这里插入图片描述
关闭docker

在这里插入图片描述
docker

在这里插入图片描述
docker stop ed

这篇关于记录第一次突发情况的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1070068

相关文章

Servlet中配置和使用过滤器的步骤记录

《Servlet中配置和使用过滤器的步骤记录》:本文主要介绍在Servlet中配置和使用过滤器的方法,包括创建过滤器类、配置过滤器以及在Web应用中使用过滤器等步骤,文中通过代码介绍的非常详细,需... 目录创建过滤器类配置过滤器使用过滤器总结在Servlet中配置和使用过滤器主要包括创建过滤器类、配置过滤

正则表达式高级应用与性能优化记录

《正则表达式高级应用与性能优化记录》本文介绍了正则表达式的高级应用和性能优化技巧,包括文本拆分、合并、XML/HTML解析、数据分析、以及性能优化方法,通过这些技巧,可以更高效地利用正则表达式进行复杂... 目录第6章:正则表达式的高级应用6.1 模式匹配与文本处理6.1.1 文本拆分6.1.2 文本合并6

python与QT联合的详细步骤记录

《python与QT联合的详细步骤记录》:本文主要介绍python与QT联合的详细步骤,文章还展示了如何在Python中调用QT的.ui文件来实现GUI界面,并介绍了多窗口的应用,文中通过代码介绍... 目录一、文章简介二、安装pyqt5三、GUI页面设计四、python的使用python文件创建pytho

Node.js学习记录(二)

目录 一、express 1、初识express 2、安装express 3、创建并启动web服务器 4、监听 GET&POST 请求、响应内容给客户端 5、获取URL中携带的查询参数 6、获取URL中动态参数 7、静态资源托管 二、工具nodemon 三、express路由 1、express中路由 2、路由的匹配 3、路由模块化 4、路由模块添加前缀 四、中间件

记录每次更新到仓库 —— Git 学习笔记 10

记录每次更新到仓库 文章目录 文件的状态三个区域检查当前文件状态跟踪新文件取消跟踪(un-tracking)文件重新跟踪(re-tracking)文件暂存已修改文件忽略某些文件查看已暂存和未暂存的修改提交更新跳过暂存区删除文件移动文件参考资料 咱们接着很多天以前的 取得Git仓库 这篇文章继续说。 文件的状态 不管是通过哪种方法,现在我们已经有了一个仓库,并从这个仓

学习记录:js算法(二十八):删除排序链表中的重复元素、删除排序链表中的重复元素II

文章目录 删除排序链表中的重复元素我的思路解法一:循环解法二:递归 网上思路 删除排序链表中的重复元素 II我的思路网上思路 总结 删除排序链表中的重复元素 给定一个已排序的链表的头 head , 删除所有重复的元素,使每个元素只出现一次 。返回 已排序的链表 。 图一 图二 示例 1:(图一)输入:head = [1,1,2]输出:[1,2]示例 2:(图

perl的学习记录——仿真regression

1 记录的背景 之前只知道有这个强大语言的存在,但一直侥幸自己应该不会用到它,所以一直没有开始学习。然而人生这么长,怎就确定自己不会用到呢? 这次要搭建一个可以自动跑完所有case并且打印每个case的pass信息到指定的文件中。从而减轻手动跑仿真,手动查看log信息的重复无效低质量的操作。下面简单记录下自己的思路并贴出自己的代码,方便自己以后使用和修正。 2 思路整理 作为一个IC d

如何保证android程序进程不到万不得已的情况下,不会被结束

最近,做一个调用系统自带相机的那么一个功能,遇到的坑,在此记录一下。 设备:红米note4 问题起因 因为自定义的相机,很难满足客户的所有需要,比如:自拍杆的支持,优化方面等等。这些方面自定义的相机都不比系统自带的好,因为有些系统都是商家定制的,难免会出现一个奇葩的问题。比如:你在这款手机上运行,无任何问题,然而你换一款手机后,问题就出现了。 比如:小米的红米系列,你启用系统自带拍照功能后

SSM项目使用AOP技术进行日志记录

本步骤只记录完成切面所需的必要代码 本人开发中遇到的问题: 切面一直切不进去,最后发现需要在springMVC的核心配置文件中中开启注解驱动才可以,只在spring的核心配置文件中开启是不会在web项目中生效的。 之后按照下面的代码进行配置,然后前端在访问controller层中的路径时即可观察到日志已经被正常记录到数据库,代码中有部分注释,看不懂的可以参照注释。接下来进入正题 1、导入m

flume系列之:记录一次flume agent进程被异常oom kill -9的原因定位

flume系列之:记录一次flume agent进程被异常oom kill -9的原因定位 一、背景二、定位问题三、解决方法 一、背景 flume系列之:定位flume没有关闭某个时间点生成的tmp文件的原因,并制定解决方案在博主上面这篇文章的基础上,在机器内存、cpu资源、flume agent资源都足够的情况下,flume agent又出现了tmp文件无法关闭的情况 二、