Linux三剑客之grep、sed、awk 个人简介

2024-01-18 17:50

本文主要是介绍Linux三剑客之grep、sed、awk 个人简介,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Linux一切皆文件,为了更好的与各类文件打交道,我们有必要学习三剑客的文件击剑术。 

剑客一grep擅长查找、匹配文本。

 剑客二sed擅长编辑匹配到的文本,取行、替换。

剑客三awk擅长处理格式化文本、取列。

 一、grep

Linux系统中grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。grep全称是Global Regular Expression Print,表示全局正则表达式版本,它的使用权限是所有用户。

1. 基本语法:

grep [option] pattern file#option 是下面的参数选项
#pattern 是规则表达式也就是匹配的条件,可以是正则表达式
#file 是要进行操作的文件#参数:-a   --text   #不要忽略二进制的数据。-A<显示行数>  --after-context=<显示行数>  #除显示符合范本样式的那一列之外并显示该行之后的内容。-b   --byte-offset   #在显示符合样式的那一行之前,标示出该行第一个字符的编号。-B<显示行数>   --before-context=<显示行数>  #除了显示符合样式的那一行之外,并显示该行之前的容。-c    --count   #计算符合样式的列数。-C<显示行数>  --context=<显示行数>或-<显示行数>  #除显示符合样式的那一行还显示该行之前后内容。-d <动作>   --directories=<动作>   #当查找的是目录时必须使用这项参数否则将回报信息并停止动作。-e<范本样式>  --regexp=<范本样式>   #指定字符串做为查找文件内容的样式。-E      --extended-regexp   #将样式为延伸的普通表示法来使用。-f<规则文件>  --file=<规则文件>   #指定规则文件,其内容含有一个或多个规则样式,让grep查找符合规 则条件的文件内容,格式为每行一个规则样式。-F   --fixed-regexp   #将样式视为固定字符串的列表。-G   --basic-regexp   #将样式视为普通的表示法来使用。-h   --no-filename   #在显示符合样式的那一行之前,不标示该行所属的文件名称。-H   --with-filename   #在显示符合样式的那一行之前,表示该行所属的文件名称。-i    --ignore-case   #忽略字符大小写的差别。-l    --file-with-matches   #列出文件内容符合指定的样式的文件名称。-L   --files-without-match   #列出文件内容不符合指定的样式的文件名称。-n   --line-number   #在显示符合样式的那一行之前,标示出该行的列数编号。-q   --quiet或--silent   #不显示任何信息。-r   --recursive   #此参数的效果和指定“-d recurse”参数相同。-s   --no-messages   #不显示错误信息。-v   --revert-match   #显示不包含匹配文本的所有行。-V   --version   #显示版本信息。-w   --word-regexp   #只显示全字符合的列。-x    --line-regexp   #只显示全列符合的列。-y   #此参数的效果和指定“-i”参数相同。

2. 正则表达式:

^  #锚定行的开始 如:'^grep'匹配所有以grep开头的行。$  #锚定行的结束 如:'grep$'匹配所有以grep结尾的行。.  #匹配一个非换行符的字符 如:'gr.p'匹配gr后接一个任意字符,然后是p。*  #匹配零个或多个先前字符 如:'*grep'匹配所有一个或多个空格后紧跟grep的行。.*   #一起用代表任意字符。[]   #匹配一个指定范围内的字符,如'[Gg]rep'匹配Grep和grep。[^]  #匹配一个不在指定范围内的字符,如:'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一个字母开头,紧跟rep 的行。\(..\)  #标记匹配字符,如'\(love\)',love被标记为1。\<      #锚定单词的开始,如:'\<grep'匹配包含以grep开头的单词的行。\>      #锚定单词的结束,如'grep\>'匹配包含以grep结尾的单词的行。x\{m\}  #重复字符x,m次,如:'0\{5\}'匹配包含5个o的行。x\{m,\}  #重复字符x,至少m次,如:'o\{5,\}'匹配至少有5个o的行。x\{m,n\}  #重复字符x,至少m次,不多于n次,如:'o\{5,10\}'匹配5--10个o的行。\w    #匹配文字和数字字符,也就是[A-Za-z0-9],如:'G\w*p'匹配以G后跟零个或多个文字或数字字符,然后是p。\W    #\w的反置形式,匹配一个或多个非单词字符,如点号句号等。\b    #单词锁定符,如: '\bgrep\b'只匹配grep。

3. 简单示例: 

查找指定的进程:

查找包含 " h" 的内容并显示其后两行内容:

在" passwd "文件中查找以" root " 开头 和以" bash " 结束的数据信息:

输出test.txt文件中含有从test2.txt文件中读取出的关键词的内容行,可用于按指定关键词(放到一个文件中)搜索日志文件:

 

二、sed

sed是个非交互性文本流编辑器。它编辑文件或者标准输入导入的文件拷贝,标准输入可能是来自键盘、文件重定向、字符串或者变量,或者是一个管道文件。sed 可以对文件进行增加、删除、替换、抽取域等操作。sed在处理文本时是逐行读取文件内容,读到匹配的行就根据指令做操作,不匹配就跳过

 1. 基本语法:

sed [option] 'command' inputfile > outputfile选项参数:-n :只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
-e :直接在命令列模式上进行 sed 的动作编辑;可以一次修改多个规则,中间用 分号 隔开
-f :直接将 sed 的动作写在一个文件内, -f filename 则可以运行 filename 内的 sed 动作;
-r :sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)
-i :直接修改读取的文件内容,而不是输出到终端。命令 command :a :新增, 指定行后面;
c :修改, 表示修改文件指定行的内容;
d :删除;
i :插入, 指定行前面;
p :打印,通常 p 会与参数 sed -n 使用;
s :查找替换;

简单示例:

测试文件数据信息:

使用sed命令向文件第三行插入一个新数据 " new data ",并保存到文件new.txt中:

  • 其中" 3i\ " 表示在定位第三行附加新的信息 " new data"。
  • " test.txt "表示要操作的文件名。
  • " new.txt" 表示操作完成后另存为的文件名。

 

三、awk

 awk是linux中的一个报告生成器,它拥有强大的文本格式化的能力,或者说是一种专门处理字符串的语言,它有自己的编码格式。

1. 基本语法: 

  • [-F 域分隔符] 是可选的,如果分隔符是空格可以不用写,awk默认的分隔符就是空格。
  • Commands 指定操作命令,一般使用print 进行输出打印。
  • Input-file 是要操作的文件的名字,也不是任意文件都可以用awk来处理,awk能处理的文件一般 具有特定的格式。

2. 基本概念: 

  1. 在awk中,将一行信息称作一个”记录”,将一个列称作一个”域”。
  2. 从左边开始,每一个域分别用$1 ,$2,$.-.$n来标识。
  3. $0表示显示整行,$NF表示当前行分割后的最后一-列 ($0和$NF均为内置 变量)。

3. 简单示例: 

测试文件数据信息:

将文本内容按 " . "作为域分隔符分隔,并将分隔后第一列的数据存入新文件new.txt中:

  • 在该示例awk命令中,使用 “-F.” 告诉awk文件中各部分数据是用" . "分隔的。
  • 命令’{print $1}’中的$1指的是第一个列(经过按 “.” 分隔后的列), 也就是打印每行的第一个列。
  • ”>b.txt” 是指将打 印的内容重定向存在b.txt文件中,该文件没有就会自动创建。

4. 条件操作符:

  • 在awk中也可以指定操作的条件,例如在/etc/passwd文件中每一行是一个用户的信息
  • 其中第3个域是用户id,第7个域是用户默认使用的shell。
  • 现在我们只打印管理员用户使用的默认shell。
  • 由于管理员的id为0,是固定的。那么可以加判断条件“$3==0”来判断是否为管理员用户。


/etc/passwd中的信息:


 执行命令后:

本文只是简单介绍三剑客的基础内容,三剑客更精湛的击剑术还需要进一步探索。

 

这篇关于Linux三剑客之grep、sed、awk 个人简介的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/619777

相关文章

Linux使用nload监控网络流量的方法

《Linux使用nload监控网络流量的方法》Linux中的nload命令是一个用于实时监控网络流量的工具,它提供了传入和传出流量的可视化表示,帮助用户一目了然地了解网络活动,本文给大家介绍了Linu... 目录简介安装示例用法基础用法指定网络接口限制显示特定流量类型指定刷新率设置流量速率的显示单位监控多个

ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法

《ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法》本文介绍了Elasticsearch的基本概念,包括文档和字段、索引和映射,还详细描述了如何通过Docker... 目录1、ElasticSearch概念2、ElasticSearch、Kibana和IK分词器部署

Linux流媒体服务器部署流程

《Linux流媒体服务器部署流程》文章详细介绍了流媒体服务器的部署步骤,包括更新系统、安装依赖组件、编译安装Nginx和RTMP模块、配置Nginx和FFmpeg,以及测试流媒体服务器的搭建... 目录流媒体服务器部署部署安装1.更新系统2.安装依赖组件3.解压4.编译安装(添加RTMP和openssl模块

linux下多个硬盘划分到同一挂载点问题

《linux下多个硬盘划分到同一挂载点问题》在Linux系统中,将多个硬盘划分到同一挂载点需要通过逻辑卷管理(LVM)来实现,首先,需要将物理存储设备(如硬盘分区)创建为物理卷,然后,将这些物理卷组成... 目录linux下多个硬盘划分到同一挂载点需要明确的几个概念硬盘插上默认的是非lvm总结Linux下多

linux进程D状态的解决思路分享

《linux进程D状态的解决思路分享》在Linux系统中,进程在内核模式下等待I/O完成时会进入不间断睡眠状态(D状态),这种状态下,进程无法通过普通方式被杀死,本文通过实验模拟了这种状态,并分析了如... 目录1. 问题描述2. 问题分析3. 实验模拟3.1 使用losetup创建一个卷作为pv的磁盘3.

Linux环境变量&&进程地址空间详解

《Linux环境变量&&进程地址空间详解》本文介绍了Linux环境变量、命令行参数、进程地址空间以及Linux内核进程调度队列的相关知识,环境变量是系统运行环境的参数,命令行参数用于传递给程序的参数,... 目录一、初步认识环境变量1.1常见的环境变量1.2环境变量的基本概念二、命令行参数2.1通过命令编程

Linux之进程状态&&进程优先级详解

《Linux之进程状态&&进程优先级详解》文章介绍了操作系统中进程的状态,包括运行状态、阻塞状态和挂起状态,并详细解释了Linux下进程的具体状态及其管理,此外,文章还讨论了进程的优先级、查看和修改进... 目录一、操作系统的进程状态1.1运行状态1.2阻塞状态1.3挂起二、linux下具体的状态三、进程的

Linux编译器--gcc/g++使用方式

《Linux编译器--gcc/g++使用方式》文章主要介绍了C/C++程序的编译过程,包括预编译、编译、汇编和链接四个阶段,并详细解释了每个阶段的作用和具体操作,同时,还介绍了调试和发布版本的概念... 目录一、预编译指令1.1预处理功能1.2指令1.3问题扩展二、编译(生成汇编)三、汇编(生成二进制机器语

Rsnapshot怎么用? 基于Rsync的强大Linux备份工具使用指南

《Rsnapshot怎么用?基于Rsync的强大Linux备份工具使用指南》Rsnapshot不仅可以备份本地文件,还能通过SSH备份远程文件,接下来详细介绍如何安装、配置和使用Rsnaps... Rsnapshot 是一款开源的文件系统快照工具。它结合了 Rsync 和 SSH 的能力,可以帮助你在 li

Linux部署jar包过程

《Linux部署jar包过程》文章介绍了在Linux系统上部署Java(jar)包时需要注意的几个关键点,包括统一JDK版本、添加打包插件、修改数据库密码以及正确执行jar包的方法... 目录linux部署jar包1.统一jdk版本2.打包插件依赖3.修改密码4.执行jar包总结Linux部署jar包部署