用shell脚本巧解日志文件塞满磁盘导致系统挂起的困惑

2023-11-12 01:30

本文主要是介绍用shell脚本巧解日志文件塞满磁盘导致系统挂起的困惑,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

作者:田逸(formyz)

出事了,十万火急

一帮可爱的程序员,写的程序没有规划,程序、代码与日志一锅粥,而且都在某云的系统盘,不光生成的文件多,而且不做处理。有一天,来了个十万火急的求救,告知弹性伸缩功能被触发,自动增加云主机到设定的最高值,但系统仍然不能访问,需要我马上解决。登上任意云主机系统,查进程、查负载、再查磁盘使用率,我的天,系统只有一个分区,大小为40G,使用率接近100%。没有空闲空间,系统往/var/log及/tmp里无法写入数据,导致服务不响应,负载均衡监控发现云主机整体异常,认为是容量不够,就自动扩容,但扩容出来的云主机,其磁盘空间也一样是塞满了的,所以….

 

故障排查及临时措施

因为磁盘塞满了,虽然登录进去了系统,但很多操作不能进行,最后在/tmp目录下删掉一些下文件,稍微给系统腾出了一些空间,才有幸把与业务相关的服务停止,用df配合du看看是什么文件占据了这么多的空间。

 

好家伙,居然有单个日志文件超过20G的,虽然日志文件多且大,据猜测,这些程序员可能压根都没有去看这些日志,也不知道产生日志有什么意义(不看不处理等于零)。不管三七二十一,先干掉几个大的文件,让服务恢复。

终极办法

给日志分配单独的磁盘空间,并按约定的统一格式命名日志,每天夜里,做一次日志切割。具体做法是复制前一天的日志到另外一个位置,接着清空原来的日志;在归档日志目录,保留最近15天来的所有日志。

有人问,直接清空服务,会丢失少部分日志记录,为啥不停服务,等日志归档完再重启?这个是因为需要重启的服务太多,数十个,可能存在自动启动不了的风险,并且丢失少许日志是他们可以接受的。

需求明确以后,撰写了一个Shell脚本,内容如下:

[root@s176 logs]# more /usr/bin/logs_arch.sh

#!/bin/bashsource /etc/profilecd /logslist_src_logs=`ls -f  | grep log$`for i in  $list_src_logsdo#echo $icp  $i arch_logs/$i.`date +%Y-%m-%d`echo ""> $isleep 1doneif [[ $(ls -A arch_logs) ]]thenfind arch_logs/*  -mtime 15 -deleteelseecho "dir is empty"fiexit 0

先手动执行此脚本,验证其正确性及有效性,确保可以到达目的以后,再将其加入到crontab计划任务中。

第二天,查验计划任务完成情况,经多次验证,最终达到系统盘及归档盘不被塞满的目标。

这篇关于用shell脚本巧解日志文件塞满磁盘导致系统挂起的困惑的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/394170

相关文章

怎样通过分析GC日志来定位Java进程的内存问题

《怎样通过分析GC日志来定位Java进程的内存问题》:本文主要介绍怎样通过分析GC日志来定位Java进程的内存问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、GC 日志基础配置1. 启用详细 GC 日志2. 不同收集器的日志格式二、关键指标与分析维度1.

解读GC日志中的各项指标用法

《解读GC日志中的各项指标用法》:本文主要介绍GC日志中的各项指标用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、基础 GC 日志格式(以 G1 为例)1. Minor GC 日志2. Full GC 日志二、关键指标解析1. GC 类型与触发原因2. 堆

利用Python脚本实现批量将图片转换为WebP格式

《利用Python脚本实现批量将图片转换为WebP格式》Python语言的简洁语法和库支持使其成为图像处理的理想选择,本文将介绍如何利用Python实现批量将图片转换为WebP格式的脚本,WebP作为... 目录简介1. python在图像处理中的应用2. WebP格式的原理和优势2.1 WebP格式与传统

shell中set -u、set -x、set -e的使用

《shell中set-u、set-x、set-e的使用》本文主要介绍了shell中set-u、set-x、set-e的使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参... 目录✅ 1. set -u:防止使用未定义变量 作用: 示例:❌ 报错示例输出:✅ 推荐使用场景:✅ 2. se

MySQL 打开binlog日志的方法及注意事项

《MySQL打开binlog日志的方法及注意事项》本文给大家介绍MySQL打开binlog日志的方法及注意事项,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要... 目录一、默认状态二、如何检查 binlog 状态三、如何开启 binlog3.1 临时开启(重启后失效)

Linux脚本(shell)的使用方式

《Linux脚本(shell)的使用方式》:本文主要介绍Linux脚本(shell)的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录概述语法详解数学运算表达式Shell变量变量分类环境变量Shell内部变量自定义变量:定义、赋值自定义变量:引用、修改、删

SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志

《SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志》在SpringBoot项目中,使用logback-spring.xml配置屏蔽特定路径的日志有两种常用方式,文中的... 目录方案一:基础配置(直接关闭目标路径日志)方案二:结合 Spring Profile 按环境屏蔽关

Golang 日志处理和正则处理的操作方法

《Golang日志处理和正则处理的操作方法》:本文主要介绍Golang日志处理和正则处理的操作方法,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考... 目录1、logx日志处理1.1、logx简介1.2、日志初始化与配置1.3、常用方法1.4、配合defer

Apache 高级配置实战之从连接保持到日志分析的完整指南

《Apache高级配置实战之从连接保持到日志分析的完整指南》本文带你从连接保持优化开始,一路走到访问控制和日志管理,最后用AWStats来分析网站数据,对Apache配置日志分析相关知识感兴趣的朋友... 目录Apache 高级配置实战:从连接保持到日志分析的完整指南前言 一、Apache 连接保持 - 性

Nacos日志与Raft的数据清理指南

《Nacos日志与Raft的数据清理指南》随着运行时间的增长,Nacos的日志文件(logs/)和Raft持久化数据(data/protocol/raft/)可能会占用大量磁盘空间,影响系统稳定性,本... 目录引言1. Nacos 日志文件(logs/ 目录)清理1.1 日志文件的作用1.2 是否可以删除