本文主要是介绍bash命令: logrotate的使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
1. 概述
Linux服务器上运行的程序都会通过日志来告知外部自己的运行过程、结果以及遇到的问题,随着日志的不断累计,它会变的越来越大,所以常见的方案是根据时间或者日志文件的大小,对日志文件进行轮转,比如Java程序里使用Log4j按天创建日志文件,不过很多Linux程序并没有提供这样的能力,logrotate就是问了解决这个问题而诞生的。
logrotate通过crontab驱动,主要配置文件为/etc/logrotate.conf及它引用的/etg/logrotate.d,自动新增新的日志文件,重命名老的日志文件。
程序已经打开日志文件,文件句柄不变的情况下,即使文件被重命名,程序还是往就的日志文件里写。
有两种方式让程序切换文件:
- 通过kill -HUP给程序发信号重新打开文件
- 通过logrotate设置copytruncate,不重命名文件,是通过拷贝当前文件并存档,然后清空当前文件来实现
2. 安装和配置
1. 安装
yum search logrotate
yum install -y logrotate.x86_64
2. 配置文件说明
# cat /etc/logrotate.conf# 以下是默认设置,用户设置值会覆盖默认值weekly # 默认,一周执行一次rotate
rotate 4 # 保留多少个日志文件,默认4个.
create # 自动创建新的日志文件
dateext # 切割后文件名以当前日期结尾,如xxx.log-20190520这样;默认以数字结尾,如xxx.log-1
compress # 是否通过gzip压缩,如xxx.log-20190520.gz,默认不压缩include /etc/logrotate.d # 将 /etc/logrotate.d/ 目录中的所有文件都加载进来/var/log/wtmp { # 仅针对 /var/log/wtmp 所设定的参数
monthly # 每月一次切割,取代默认的一周
minsize 1M # 文件大小超过 1M 后才会切割
create 0664 root utmp # 指定新建的日志文件权限以及所属用户和组
rotate 1 # 只保留一个日志
}/var/log/httpd/*log {missingoknotifemptysharedscriptsdelaycompresspostrotate/bin/systemctl reload httpd.service > /dev/null 2>/dev/null || trueendscript
}
配置项 | 说明 |
---|---|
compress | 通过gzip 压缩转储以后的日志 |
nocompress | 不做gzip压缩处理 |
copytruncate | 用于还在打开中的日志文件,把当前日志备份并截断;是先拷贝再清空的方式,拷贝和清空之间有一个时间差,可能会丢失部分日志数据。 |
nocopytruncate | 备份日志文件不过不截断 |
create mode owner group | 轮转时指定创建新文件的属性,如create 0777 nobody nobody |
nocreate | 不建立新的日志文件 |
delaycompress | 和compress 一起使用时,转储的日志文件到下一次转储时才压缩 |
nodelaycompress | 覆盖 delaycompress 选项,转储同时压缩。 |
missingok | 如果日志丢失,不报错继续滚动下一个日志 |
errors address | 专储时的错误信息发送到指定的Email 地址 |
ifempty | 即使日志文件为空文件也做轮转,这个是logrotate的缺省选项。 |
notifempty | 当日志文件为空时,不进行轮转 |
mail address | 把转储的日志文件发送到指定的E-mail 地址 |
nomail | 转储时不发送日志文件 |
olddir directory | 转储后的日志文件放入指定的目录,必须和当前日志文件在同一个文件系统 |
noolddir | 转储后的日志文件和当前日志文件放在同一个目录下 |
sharedscripts | 运行postrotate脚本,作用是在所有日志都轮转后统一执行一次脚本。如果没有配置这个,那么每个日志轮转后都会执行一次脚本 |
prerotate | 在logrotate转储之前需要执行的指令,例如修改文件的属性等动作;必须独立成行 |
postrotate | 在logrotate转储之后需要执行的指令,例如重新启动 (kill -HUP) 某个服务!必须独立成行 |
daily | 指定转储周期为每天 |
weekly | 指定转储周期为每周 |
monthly | 指定转储周期为每月 |
rotate count | 指定日志文件删除之前转储的次数,0 指没有备份,5 指保留5 个备份 |
dateext | 使用当期日期作为命名格式 |
dateformat .%s | 配合dateext使用,紧跟在下一行出现,定义文件切割后的文件名,必须配合dateext使用,只支持 %Y %m %d %s 这四个参数 |
size log-size | 当日志文件到达指定的大小时才转储,log-size 能指定 bytes(缺省)及 KB (sizek) 或MB(sizem).当日志文件 >= log-size 的时候就转储。 以下为合法格式:(其他格式的单位大小写没有试过) size = 5 或 size 5 (>= 5 个字节就转储) size = 100k 或 size 100k size = 100M 或 size 100M |
minsize log-size | 和size相同的作用 |
3. 命令行选项
logrotate [OPTION...] <configfile>
-d, --debug :debug模式,测试配置文件是否有错误。
-f, --force :强制转储文件。
-m, --mail=command :压缩日志后,发送日志到指定邮箱。
-s, --state=statefile :使用指定的状态文件。
-v, --verbose :显示转储过程。
3. 实际使用
1. 通过cron驱动
vim /etc/cron.daily/logrotate
[root@esserver2 ~]# cat /etc/cron.daily/logrotate
#!/bin/sh/usr/sbin/logrotate /etc/logrotate.conf
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then/usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit 0
2. 配置文件
如果日志文件的owner是tomcat,这个时候要配置su tomcat tomcat,否则执行会报错
/opt/tomcat/qy-weixin-crm/*.log {dailynocompressmissingoknotifemptyrotate 7su tomcat tomcatdateextcopytruncate}
3. 手工强制轮转日志
logrotate -v -f /etc/logrotate.d/kafka_connect
4. 问题
4.1 使用copytruncate轮转后,文件大小没变
[hadoop@logserver4 qy-weixin-crm]$ ll
total 35568
-rw-rw-r-- 1 tomcat tomcat 4627357 Jul 16 14:55 application.log
-rw-rw-r-- 1 tomcat tomcat 4354403 Jul 16 14:47 application.log-20200716
如上所示,application.log本来大小是4.3M(4354403 Byte),运行logrotate后生成了一个application.log-20200716,拷贝了现有内容。 但是通ll查看文件大小并没有变,依然是从4.3M开始往后增长。
通过od查看文件的二进制内容:
[hadoop@logserver4 qy-weixin-crm]$ od -c application.log | head -10
0000000 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0 \0
*
20470540 \0 \0 \0 2 0 2 0 - 0 7 - 1 6 1 4
20470560 : 4 9 : 1 0 . 7 5 0 I N F O
20470600 1 3 2 8 9 - - - [ i o - 1
20470620 8 0 8 9 - e x e c - 4 ] c . h
20470640 . b i . w e i x i n . c o n t r
20470660 o l l e r . Q Y C o n t r o l l
20470700 e r : 350 257 267 346 261 202 345 217
20470720 202 346 225 260 M a p : o r g . a p a
可以看到知道20470542(八进制)为止的字节都是\0,转换为十进制刚好是4354402(和application.log-20200716)大小一致。
这个问题产生的原因是在我们truncate时,程序进程依然在写,而且使用了相应的offset,导致文件大小依然那么大的假象。
ext的文件系统支持稀疏文件,seek时,之前不存在的字节并不需要实际的写入,所以不会导致applicaiton.log真实占用那么多磁盘。
通过ls -s
查看实际的文件大小
[hadoop@logserver4 qy-weixin-crm]$ ls -shl *
1.1M -rw-rw-r-- 1 tomcat tomcat 5.0M Jul 16 15:10 application.log
4.2M -rw-rw-r-- 1 tomcat tomcat 4.2M Jul 16 14:47 application.log-20200716
4.0K -rw-rw-r-- 1 hadoop hadoop 631 Jul 16 11:53 deploy.sh30M -rw-rw-r-- 1 hadoop hadoop 30M Jul 16 12:12 QYWeixinCRM_20200716121209.jar[hadoop@logserver4 qy-weixin-crm]$ ls -l
total 36080
-rw-rw-r-- 1 tomcat tomcat 5182317 Jul 16 15:10 application.log
-rw-rw-r-- 1 tomcat tomcat 4354403 Jul 16 14:47 application.log-20200716
-rw-rw-r-- 1 hadoop hadoop 631 Jul 16 11:53 deploy.sh
-rw-rw-r-- 1 hadoop hadoop 31430261 Jul 16 12:12 QYWeixinCRM_20200716121209.jar
这个问题目前在logrotate上找到解决方法,尝试rotatelogs不能结合nohup使用
rotatelogs ./stdout.log-%Y%m%d%H%M%S 86400
这里的86400是一条的秒数,生成的文件名%H%M%S一直都是0,好在rotatelogs的逻辑的往文件后面追加的
最后的结论是, nohup > application.log有问题,需要使用>>,明天查看结果
5. 手工配置crontab
除了前面提到的直接将logrotate配置到/etc/cron.daily/logrotate外,也可以手工配置crontab命令
1. crontab选项说明
-u user : 以指定用户的身份运行,默认当前用户file : 用file里指定的配置替换指定用户的cron任务, cron任务实际存储在/var/spool/cron/${user_name}的文件种
-e : 实际是编辑/var/spool/cron/${user_name}
-l : 读取/var/spool/cron/${user_name}
-r : 删除/var/spool/cron/${user_name}
2. 注意事项
- 文件使用全局路径
/usr/bin/flock -xn /tmp/rsync\_event\_type.lock -c '/bin/bash /home/rsync\_event\_type.sh >> /home/scribe/rsync\_event\_type.log 2>&1'
-
使用环境变量时,先用source命令引入环境变量
-
crontab任务的标准输出会当作mail发送给用户,需要重定向输入到具体的日志文件,或者到/dev/null丢弃
-
/etc/crontab文件是系统级任务,可以通过crontab -uroot -e来编辑,一般不建议将任务放到系统级,放到不同的用户下
-
查看crontab日志
sudo tail -f /var/log/cron
3. cron表达式示例
cron总共有5个配置,分别代表分、时、日、月、星期。下面以一些实例来说明:
- 每月每天每小时的第0分钟
0 * * * *
- 12月每天6点到12点, 每隔3个小时0分钟
0 6-12/3 * 12 *
- 周1到周5每天17:00
0 17 * * 1-5
- 每隔两个小时
0 */2 * * *
- 每月的1和15号
0 0 1,15 * *
- 每隔5分钟运行一次
*/5 * * * *
4. 将logrotate配置到crontab
每天
2点运行logrotate,可以将如下命令放到.bashrc内
0 2 * * * /usr/sbin/logrotate /etc/logrotate.conf
这篇关于bash命令: logrotate的使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!