centos7下的磁盘占用排查及清理的笔记

2024-09-03 03:12

本文主要是介绍centos7下的磁盘占用排查及清理的笔记,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

服务器磁盘空间持续增大,小白新手怎么查?记录以下一些常见的磁盘占用排查及清理的笔记。

查磁盘空间

主要是du。

首先,使用df命令查看各个磁盘分区的使用情况,找出哪个分区或挂载点的空间占用率异常高。

df -h

这个命令会列出所有挂载的文件系统及其使用情况,包括已用空间、可用空间和挂载点。 

其次呢,您可以使用du命令结合sort进行磁盘空间的分析。以下是一个基本的命令序列,用于找出占用最多磁盘空间的几个文件夹:

# 在当前目录中查找占用最多磁盘空间的5个文件夹
du -h --max-depth=1 | sort -hr | head -n 5# 如果想在整个文件系统中搜索,可以去掉--max-depth参数
du -h | sort -hr | head -n 5

解释:

  • du: 磁盘使用情况命令。

  • -h: 以人类可读的格式显示(例如,自动选择KB、MB、GB)。

  • --max-depth=1: 限制搜索深度为当前目录下一级。

  • sort -hr: 按照人类可读的数字进行逆序排序。

  • head -n 5: 只显示前5个结果。

请注意,这些命令可能需要一些时间来运行,特别是在大型文件系统或者深层目录结构中。

定位占用空间大的文件夹

1,使用du命令

对于使用率较高的分区或挂载点,可以使用du命令来递归地检查该分区下各个目录和文件的磁盘使用情况。

du -sh /*

这个命令会列出根目录(/)下各个一级目录的大小。如果发现某个目录占用空间很大,可以进一步进入该目录,使用相同的命令继续查找。

为了更精确地定位大文件或目录,可以使用以下命令来逐层深入查找:

cd /目标目录  
du -sh *

 然后针对占用空间大的目录重复上述步骤。

注意du -sh *不要带路径,要先cd进路径后,在du -sh *

2,结合find命令

如果需要查找特定大小的文件,可以使用find命令结合-size选项。例如,查找当前目录及子目录下所有大于100MB的文件:

find . -type f -size +100M

这个命令会列出所有大于100MB的文件及其路径。 

文件大小的排序

cd /var/lib  
du -ah --max-depth=1 | sort -rh | head -n 10

这个命令会列出 /var/lib 目录下最大的10个文件或子目录。注意,这里的 -rh 选项是 sort 命令的,用于按数字大小进行逆序排序。而 du 命令的 -ah 选项则是为了显示所有文件和目录的大小,并通过 --max-depth=1 限制输出深度。

如果你想要递归地检查所有子目录和文件(不限制深度),可以去掉 --max-depth=1 选项,但请注意,这可能会产生大量的输出,特别是当 /var/lib 包含很多子目录和文件时。在这种情况下,你可能需要重定向输出到文件中进行查看,或者使用其他方法(如 morelessgrep 等)来过滤或分页显示输出。

大文件浏览

在CentOS上浏览一个很大的文件时,直接使用文本编辑器(如vim或nano)可能会因为文件过大而导致性能问题或编辑器响应缓慢。相反,你可以使用一些专门用于查看或搜索大文件的命令行工具。很多人喜欢tail

tail -n 10 ./messages-20240826  
grep 'some_keyword' ./messages-20240826

以下是几个推荐的命令和工具:

  1. less 命令
    less 是一个分页查看工具,非常适合查看大文件。它允许你向前或向后浏览文件内容,而不需要一次性将整个文件加载到内存中。使用 less 文件名 来打开文件,然后你可以使用上下箭头键、Page Up/Page Down键或空格键来浏览文件内容。

  2. more 命令
    与 less 类似,more 也是一个分页查看工具,但它没有 less 的一些高级功能(如向后翻页)。使用 more 文件名 来打开文件,然后使用空格键翻页。

  3. head 命令
    如果你只对文件的开始部分感兴趣,可以使用 head 命令。默认情况下,head 显示文件的前10行,但你可以使用 -n 选项来指定显示的行数,例如 head -n 50 文件名 会显示文件的前50行。

  4. tail 命令
    与 head 相反,tail 命令用于查看文件的末尾部分。默认情况下,tail 显示最后10行,但你也可以使用 -n 选项来指定行数,或者使用 -f 选项来实时查看文件末尾的新增内容(这对于查看日志文件非常有用)。

  5. awk 命令
    awk 是一个强大的文本处理工具,虽然它不是专门用来浏览文件的,但你可以使用它来搜索或提取文件中的特定行或列。awk 的功能非常灵活,可以根据需要编写复杂的脚本来处理文件。

  6. grep 命令
    如果你对文件中的特定文本或模式感兴趣,grep 是你的好帮手。它允许你搜索文件中匹配指定模式的行,并输出这些行。使用 grep '搜索模式' 文件名 来搜索文件。

根据你的具体需求(比如是想要查看整个文件、文件的特定部分,还是搜索文件中的文本),你可以选择上述命令中的一个或多个来使用。对于大多数需要浏览大文件的情况,less 是个很好的起点。

反向追查大文件来源

如果文件当前正在被写入,你可以使用 lsof 或 fuser 命令来查看哪个进程正在访问这些文件。

sudo lsof +D /path/to/messages-directory  
# 或者  
sudo fuser /path/to/messages-20240826

也可以使用 inotifywait(来自 inotify-tools 包)来监控这些文件目录的变化,看看是哪个进程在写入这些文件。 

sudo inotifywait -m -r /path/to/messages-directory

然后使用 ps 命令查看这两个进程的详细信息。例如:

ps -f -p 833,7891

 清理/var/log下的几个文件

看到该目录下一些messages、mail、cron、secure等几个文件很困扰?他们其实是rsyslog,它是负责处理系统日志的守护进程,我们不必要强删,还是去修改配置文件即可.

通常,你可能需要编辑 /etc/rsyslog.d/ 目录下的某个 .conf 文件(如 50-default.conf),而不是直接编辑 /etc/rsyslog.conf,因为后者可能包含全局设置和包含其他配置文件的指令。

vim /etc/rsyslog.d/

我是进去后直接注释掉一些我认为不需要的日志。

完事记得重启

sudo systemctl restart rsyslog

另一种更常见且灵活的方法是使用 logrotate 工具来管理日志文件的大小和轮转。

步骤如下

  1. 编辑 logrotate 配置文件
    在 /etc/logrotate.d/ 目录下创建一个或编辑一个配置文件(如 rsyslog),以包含针对 /var/log/syslog(或你关心的其他日志文件)的轮转规则。

  2. 设置大小限制和轮转策略
    在配置文件中,你可以设置 size 指令来指定日志文件的大小限制,并使用 rotate 指令来指定保留的轮转文件数量。例如:

    /var/log/syslog {  su root root  size 1G  rotate 7  daily  missingok  notifempty  compress  delaycompress  postrotate  invoke-rc.d rsyslog rotate >/dev/null  endscript  
    }
  3. 这个配置将 /var/log/syslog 的大小限制为 1GB,并保留 7 个轮转文件。每天检查一次文件大小,并在达到限制时轮转文件。

  4. 确保 logrotate 定时任务已设置
    大多数 Linux 系统都会自动设置 logrotate 的定时任务(如 /etc/cron.daily/logrotate)。你可以检查这个文件是否存在,并确保它包含正确的 logrotate 命令。

  5. (可选)手动运行 logrotate
    在更改配置文件后,你可以手动验证并强制运行 logrotate 来测试配置:

sudo logrotate -vf /etc/logrotate.d/rsyslog

清理/var/log/journal目录

/var/log/journal是Linux系统中用于存放systemd日志的目录。systemd是大多数现代Linux发行版(包括CentOS 7及更高版本)的初始化系统和系统管理器,它负责启动系统、管理用户会话和服务等。systemd-journald是systemd的一部分,它负责收集并管理来自系统和服务的日志信息。 

不要直接删,而去修改配置就行

vim /etc/systemd/journald.conf

/etc/systemd/journald.conf是systemd-journald服务的配置文件,它用于定义systemd日志服务的各种参数和行为。以下是一些关键的配置项及其说明:

基本配置

  • Storage:控制日志数据的存储方式。可选的值包括volatilepersistentautonone
    • volatile:日志数据存储在内存中,即/run/log/journal目录下。
    • persistent:日志数据存储在磁盘上,即/var/log/journal目录下。
    • auto:日志数据默认存储在磁盘上,但如果/var/log/journal目录不存在,则存储在内存中。
    • none:关闭日志存储,所有接收到的日志数据将被丢弃。
  • Compress 和 Seal:这两个选项用于控制日志数据的压缩和加密。Compress=yes表示启用日志压缩,Seal=yes表示启用数据加密。

日志文件大小与数量限制

  • SystemMaxUseSystemMaxFileSizeSystemMaxFiles:这些选项用于限制磁盘上日志文件的总大小、单个文件的大小以及保留的最多文件数。例如,SystemMaxUse=500M表示日志最多可以使用500MB的磁盘空间。

  • RuntimeMaxUseRuntimeMaxFileSizeRuntimeMaxFiles:这些选项用于限制内存中日志文件的总大小、单个文件的大小以及保留的最多文件数。例如,RuntimeMaxUse=50M表示存储在内存中的日志文件总大小不超过50MB。

日志滚动策略

  • MaxRetentionSec 和 MaxFileSec:这些选项用于定义日志文件的保留时间和滚动策略。但通常,基于文件大小的滚动策略(通过SystemMaxFileSizeRuntimeMaxFileSize控制)已经足够,因此这些时间相关的选项可能不需要频繁修改。

配置示例

以下是一个简化的/etc/systemd/journald.conf配置文件示例: 

[Journal]  
Storage=persistent  
Compress=yes  
Seal=yes  
SystemMaxUse=500M  
SystemMaxFileSize=50M  
SystemMaxFiles=10  
RuntimeMaxUse=50M  
RuntimeMaxFileSize=50M  
RuntimeMaxFiles=1

注意事项

  • 在修改配置文件后,需要重启systemd-journald服务以使更改生效。可以使用systemctl restart systemd-journald命令来重启服务
  • 定期检查和清理日志文件是一个好习惯,以避免占用过多磁盘空间。
  • 如果启用了日志加密(Seal=yes),则需要确保有适当的密钥管理策略,以便在需要时能够解密日志数据。

这篇关于centos7下的磁盘占用排查及清理的笔记的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1131863

相关文章

Linux使用fdisk进行磁盘的相关操作

《Linux使用fdisk进行磁盘的相关操作》fdisk命令是Linux中用于管理磁盘分区的强大文本实用程序,这篇文章主要为大家详细介绍了如何使用fdisk进行磁盘的相关操作,需要的可以了解下... 目录简介基本语法示例用法列出所有分区查看指定磁盘的区分管理指定的磁盘进入交互式模式创建一个新的分区删除一个存

Java内存泄漏问题的排查、优化与最佳实践

《Java内存泄漏问题的排查、优化与最佳实践》在Java开发中,内存泄漏是一个常见且令人头疼的问题,内存泄漏指的是程序在运行过程中,已经不再使用的对象没有被及时释放,从而导致内存占用不断增加,最终... 目录引言1. 什么是内存泄漏?常见的内存泄漏情况2. 如何排查 Java 中的内存泄漏?2.1 使用 J

Linux(Centos7)安装Mysql/Redis/MinIO方式

《Linux(Centos7)安装Mysql/Redis/MinIO方式》文章总结:介绍了如何安装MySQL和Redis,以及如何配置它们为开机自启,还详细讲解了如何安装MinIO,包括配置Syste... 目录安装mysql安装Redis安装MinIO总结安装Mysql安装Redis搜索Red

VMWare报错“指定的文件不是虚拟磁盘“或“The file specified is not a virtual disk”问题

《VMWare报错“指定的文件不是虚拟磁盘“或“Thefilespecifiedisnotavirtualdisk”问题》文章描述了如何修复VMware虚拟机中出现的“指定的文件不是虚拟... 目录VMWare报错“指定的文件不是虚拟磁盘“或“The file specified is not a virt

centos7基于keepalived+nginx部署k8s1.26.0高可用集群

《centos7基于keepalived+nginx部署k8s1.26.0高可用集群》Kubernetes是一个开源的容器编排平台,用于自动化地部署、扩展和管理容器化应用程序,在生产环境中,为了确保集... 目录一、初始化(所有节点都执行)二、安装containerd(所有节点都执行)三、安装docker-

不删数据还能合并磁盘? 让电脑C盘D盘合并并保留数据的技巧

《不删数据还能合并磁盘?让电脑C盘D盘合并并保留数据的技巧》在Windows操作系统中,合并C盘和D盘是一个相对复杂的任务,尤其是当你不希望删除其中的数据时,幸运的是,有几种方法可以实现这一目标且在... 在电脑生产时,制造商常为C盘分配较小的磁盘空间,以确保软件在运行过程中不会出现磁盘空间不足的问题。但在

SQL Server数据库磁盘满了的解决办法

《SQLServer数据库磁盘满了的解决办法》系统再正常运行,我还在操作中,突然发现接口报错,后续所有接口都报错了,一查日志发现说是数据库磁盘满了,所以本文记录了SQLServer数据库磁盘满了的解... 目录问题解决方法删除数据库日志设置数据库日志大小问题今http://www.chinasem.cn天发

电脑多久清理一次灰尘合? 合理清理电脑上灰尘的科普文

《电脑多久清理一次灰尘合?合理清理电脑上灰尘的科普文》聊起电脑清理灰尘这个话题,我可有不少话要说,你知道吗,电脑就像个勤劳的工人,每天不停地为我们服务,但时间一长,它也会“出汗”——也就是积累灰尘,... 灰尘的堆积几乎是所有电脑用户面临的问题。无论你的房间有多干净,或者你的电脑是否安装了灰尘过滤器,灰尘都

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7

Centos7安装Mongodb4

1、下载源码包 curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.2.1.tgz 2、解压 放到 /usr/local/ 目录下 tar -zxvf mongodb-linux-x86_64-rhel70-4.2.1.tgzmv mongodb-linux-x86_64-rhel70-4.2.1/