liunx文件系统与日志分析

2024-06-01 01:12

本文主要是介绍liunx文件系统与日志分析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

    • 一、基本概念
    • 二、日志分析
    • 三、实验

一、基本概念

在这里插入图片描述

文件是存储在硬盘上的,硬盘上的最小存储单位是扇区每个扇区大小事512字节

inode:元信息(文件的属性 权限 创建者 创建日期)

block:块 连续八个扇区组成一块,一个块是4k ,创建一个文件最小也要占4k

操作系统读取硬盘,是一次性读取多个扇区,一个块一个快读取数据

创建文件:实际空间的大小要占,第二个就是元信息,元信息和实际数据都保存在硬盘上,元信息 inode 128 字节或者是256字节

一个文件必须占用一个inode (只要创建文件必须有一个inode)

至少占用一个block(空文件也占一个块)

inode

时间戳
atime:访问 读取这个文件就会更新
mtime:修改文件数据,更改文件的属性,都会更新
ctime:修改文件的权限也会更新这个时间
inode号:liunx都是识别文件的inode号
在这里插入图片描述
元信息发生了变化。inode号也会随时发生变化

inode号的总数:

磁盘的大决定了inode多,inode越小磁盘越小

inode号和文件分离,二者是映射关系,liunx系统的持有现象

1、文件名包含特殊字符,rm可能无法删除,可以直接删除inode

2、移动文件,重命名,inode是不变的

3、一旦开始对文件操作,后续所有的认证和识别都是通过inode来的,不在考虑文件名

4、元信息发生变化,inode也会发生变化

ext4:inode号一旦耗尽便不可以在增加

xfs(最少20兆)模拟耗尽这里显示inode号为10237但实际用了10301
在这里插入图片描述
xfs文件系统,如何能够实现备份和恢复?*

cenos7

xfsdump :备份

xfsrestore:恢复

xfsdump命令的选项

-f:执行文件

-L:指定标签

-M:指定设备标签

-s:备份单个文件,-s后面不能直接跟目录

xfsdump使用限制

1、只能备份xfs的文件系统

2、只能备份已经挂载的文件系统

3、只有root权限才能进行操作

4、备份之后的数据要恢复,只能使用xfsrestore

5、如果两个设备的uuid相同,不能备份(这种情况不会有)

备份完之后,恢复文件,inode是否会发生变化

xfsdump -f /opt/backup /dev/sdb2 [-L backup -M sdb2]

/opt/backup 必须是个不存在的文件,必须是个不存在的文件,不能是目录,如果已经存在,必须是个空文件

、dev/sdb2设备

[-L 文件标签(备份文件的标签)]

[-M 设备标签]

备份的级别:全量备份和层量备份

0 也是默认 也就是全量备份

1-9是增量备份(一般不用)

xfsrestore -f /opt/backup /data1/前一个是备份的文件后一个恢复到指定目录

二、日志分析

系统的日志类型以及日志如何分析

liunx系统本身的日志和大部分的服务器程序的日志都在/varlog

/var/log/messages*:记录了liunx的内核消息,各种应用程序系统的公共日志消息

应用程序公开日志:开 关 重启 网络错误 程序故障这些都属于公共日志

访问日志和一些自由业务不包含其中

cron:记录定时任务的日志

dmesg:引导过程中的日志信息

maillog:记录进去或者发出的系统电子邮件信息

secure:用户认证的相关信息

在这里插入图片描述
liunx的日志级别:数字越小,优先级越高,消息越重要
在这里插入图片描述
0: EMERG:紧急会导致主机系统不可用的情况,系统崩溃,自盘要满了

1ALERT:警告 必须要马上采取措施解决问题,密码到期,数据库崩溃

2CRIT 严重,比较严重的情况,磁盘读写出了故障,有些程序的功能无法启动

3 ERR error错误:运行出现错误,程序启动失败,端口被占用,见得最多的就是这个。但是一旦出现也要尽快解决

4 WARNING 提醒:可能会影响功能,需要提醒用户的重要事件,但是不是报错,磁盘使用率到了85%

5、NOTICE注意:也是需要用户注意的,无需处理

6 info信息:一般信息,系统或应用程序在工作中产生的正常消息

7 debug 调试:程序在开发阶段。调试程序的信息

none 没有优先级,不记录日志消息

日志级别怎么定义

*.info:表示系统当中的设备,或者程序。

info:包含info以及info级别以上的日志

auth:用户认证的体质

daemon:守护后台进程的进程

authpriv:SSH FTP登录验证的信息

news:网络传输产生的

syslog:系统的相关日志

kern:系统的内核日志

user:用户进程日志

mail.info /var/log/mail.long:记录邮件信息

三、实验

1、ssh的日志单独的列出来

vim /etc/rsyslog.conf
vim /etc/ssh/sshd_config

systemctl stop firewalld  关闭防火墙setenforce 0      关闭安全机制vim /etc/ssh/sshd_config  修改配置文件

这里标注的是添加这一行并注释掉上一行‘#’

在这里插入图片描述然后进入到系统管理日志新建一个自定义日志 指向ssh.log 可以接受独立的系统日志
在这里插入图片描述
在主机中打开文件通知 并用另一台虚拟机连接主机

tail -f ssh.log   主机去1 查看日志信息

主机二

ssh root@20.0.0.10
The authenticity of host '20.0.0.10 (20.0.0.10)' can't be established.
ECDSA key fingerprint is SHA256:+XQL+rFHCzoLCvoOqlfd5P9iMHBTXdUgtdg2qjiAgfk.
ECDSA key fingerprint is MD5:30:61:c4:d3:f7:a1:c4:b8:19:49:20:4f:9b:0a:5b:b1.
Are you sure you want to continue connecting (yes/no)? yes 这是确定连接
Warning: Permanently added '20.0.0.10' (ECDSA) to the list of known hosts.
root@20.0.0.10's password:     这里是输入密码
Last login: Fri May 31 21:13:13 2024 from 20.0.0.1

这时主机1已经接收到了日志文件
在这里插入图片描述
2、配置日志服务器用来日志采集
这里需要两台虚拟机
现在配置的是往外发送的虚拟机

vim /etc/rsyslog.conf 修改日志配置文件
指向目标主机是新建行
在这里插入图片描述

要刷新并查看端口是否开启
在这里插入图片描述
LISTEN 监听端口是否开启,端口正常传输数据
ESTABLISHED 表示端口之间已经建立连接且正在传输数据

第一台 日志收集服务器:

在这里插入图片描述
然后重启服务查看端口(这里是主机1)

systemctl restart rsyslog.service 刷新
netstat -antp | grep 514 产看端口信息
tail -f /var/log/messages 这里查看的是日志信息
在这里插入图片描述

在主机二中输入 logger “this is ”

然后在主机一中输入 logger “this is test” 产看日志信息
在这里插入图片描述

文件系统:对文件的操作,用户是针对文件名,系统针对inode号,系统都是inode进行识别的

indoe号保存的是元信息 权限 大小,时间戳

block块 文件的最小存储单位,连续的8个扇区,4k

创建文件:保存元信息,保存实际数量

备份和恢复:XFS ext3

这篇关于liunx文件系统与日志分析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1019568

相关文章

[职场] 公务员的利弊分析 #知识分享#经验分享#其他

公务员的利弊分析     公务员作为一种稳定的职业选择,一直备受人们的关注。然而,就像任何其他职业一样,公务员职位也有其利与弊。本文将对公务员的利弊进行分析,帮助读者更好地了解这一职业的特点。 利: 1. 稳定的职业:公务员职位通常具有较高的稳定性,一旦进入公务员队伍,往往可以享受到稳定的工作环境和薪资待遇。这对于那些追求稳定的人来说,是一个很大的优势。 2. 薪资福利优厚:公务员的薪资和

高度内卷下,企业如何通过VOC(客户之声)做好竞争分析?

VOC,即客户之声,是一种通过收集和分析客户反馈、需求和期望,来洞察市场趋势和竞争对手动态的方法。在高度内卷的市场环境下,VOC不仅能够帮助企业了解客户的真实需求,还能为企业提供宝贵的竞争情报,助力企业在竞争中占据有利地位。 那么,企业该如何通过VOC(客户之声)做好竞争分析呢?深圳天行健企业管理咨询公司解析如下: 首先,要建立完善的VOC收集机制。这包括通过线上渠道(如社交媒体、官网留言

Sapphire开发日志 (十) 关于页面

关于页面 任务介绍 关于页面用户对我组工作量的展示。 实现效果 代码解释 首先封装一个子组件用于展示用户头像和名称。 const UserGrid = ({src,name,size,link,}: {src: any;name: any;size?: any;link?: any;}) => (<Box sx={{ display: "flex", flexDirecti

打包体积分析和优化

webpack分析工具:webpack-bundle-analyzer 1. 通过<script src="./vue.js"></script>方式引入vue、vuex、vue-router等包(CDN) // webpack.config.jsif(process.env.NODE_ENV==='production') {module.exports = {devtool: 'none

Java中的大数据处理与分析架构

Java中的大数据处理与分析架构 大家好,我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿!今天我们来讨论Java中的大数据处理与分析架构。随着大数据时代的到来,海量数据的存储、处理和分析变得至关重要。Java作为一门广泛使用的编程语言,在大数据领域有着广泛的应用。本文将介绍Java在大数据处理和分析中的关键技术和架构设计。 大数据处理与

段,页,段页,三种内存(RAM)管理机制分析

段,页,段页         是为实现虚拟内存而产生的技术。直接使用物理内存弊端:地址空间不隔离,内存使用效率低。 段 段:就是按照二进制文件的格式,在内存给进程分段(包括堆栈、数据段、代码段)。通过段寄存器中的段表来进行虚拟地址和物理地址的转换。 段实现的虚拟地址 = 段号+offset 物理地址:被分为很多个有编号的段,每个进程的虚拟地址都有段号,这样可以实现虚实地址之间的转换。其实所谓的地

【Linux文件系统】被打开的文件与文件系统的文件之间的关联刨析总结

操作系统管理物理内存以及与外设磁盘硬件进行数据的交换 操作系统如何管理物理内存呢? 其实操作系统内核先对内存先描述再组织的!操作系统管理内存的基本单位是4KB,操作系统会为每一个4KB大小的物理内存块创建一个描述该4KB内存块的struct page结构体,该结构体存储着这4KB内存块的属性信息,通过管理struct page来对内存进行管理,page结构体的大小比较小,OS通常将它们组成一个

mediasoup 源码分析 (八)分析PlainTransport

mediasoup 源码分析 (六)分析PlainTransport 一、接收裸RTP流二、mediasoup 中udp建立过程 tips 一、接收裸RTP流 PlainTransport 可以接收裸RTP流,也可以接收AES加密的RTP流。源码中提供了一个通过ffmpeg发送裸RTP流到mediasoup的脚本,具体地址为:mediasoup-demo/broadcaste

linux匹配Nginx日志,某个字符开头和结尾的字符串

匹配 os=1 开头, &ip结尾的字符串 cat 2018-06-07.log | egrep -o ‘os=1.*.&ip’ 存入日志。然后使用submit 前面和后面的值去掉,剩下就是需要的字符串。 cat 2018-06-07.log | egrep -o ‘os=1.*.&ip’ >log.log

Java并发编程—阻塞队列源码分析

在前面几篇文章中,我们讨论了同步容器(Hashtable、Vector),也讨论了并发容器(ConcurrentHashMap、CopyOnWriteArrayList),这些工具都为我们编写多线程程序提供了很大的方便。今天我们来讨论另外一类容器:阻塞队列。   在前面我们接触的队列都是非阻塞队列,比如PriorityQueue、LinkedList(LinkedList是双向链表,它实现了D