正则表达式,linux文本三剑客

2024-06-23 19:20

本文主要是介绍正则表达式,linux文本三剑客,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

正则表达式匹配的是文本内容,linux的文本三剑客都是针对文本内容,按行进行匹配

文本三剑客:

grep 过滤文本内容

sed 针对文本内容进行增删改查

awd 按行取列

一.grep命令

作用就是使用正则表达式来匹配文本内容

-m +数字:匹配几次之后停止

-v :取反

-n :显示匹配的行号

-c :只统计匹配的行数

-o :仅显示匹配的结果

-q :静默模式,不输出任何信息

-A +数字 :显示包括匹配行的后几行

-B +数字 :显示包括匹配行的前几行

-C +数字 :显示包括匹配行的前后各几行

-e :或者

-E :匹配扩展正则表达式

-f :匹配两个文件相同的内容,以第一个文件为准

-r :递归目录,目录下的文件内容,软连接不包含在内

-R :递归目录,目录下的文件内容,包含软连接

sort

排序:

以行为单位,对文件的内容进行排序

sort 选项 参数

cat file | sort 选项

-f :忽略大小写,默认会把大写字母排在前面

-b :忽略每行之前的空格(不是把空格删除,只是依然按照数字和字母的顺序排列)

-n :按照数字进行排序

-r :反向排序

-u :表示相同的数据仅显示一行

-o :把排序后的结果转存到指定的文件

uniq

去除连续重复的行

-c :统计连续重复的行的次数,合并连续重复的行

-u :显示仅出现一次的行(包括不是连续出现的重复行)

-d :仅显示连续重复的行(不包括非连续出现的行)

tr

用来对标准输出字符进行替换,压缩和删除

tr 选项 参数

-c :保留字符集1的字符,其他字符用字符集2来进行替换

默认会多输出一次替换的字符集2

-d :删除字符集中一部分

-s :①把连续重复出现的字符压缩成一个,②把字符集1的部分替换成字符集2的部分

cut

快速裁剪,对字段进行截取和裁剪

-d :指定分割符(默认的分割符是tab键)

-f :对字段进行截取,指定输出段的内容

截取字段1到3段:

截取字段1和3段:

-complement :输出的时候排除指定的字段

截取除第二段外字段:

截取除第1到第6字段外字段

截取除第1和第3字段外字段

-output-delimiter :更改输出内容的分割符

将截取的1到5字段中分割符: 替换成@

-b :以字节为单位进行截取

-c :以字符为单位进行截取

文件的拆分:

split

大文件拆分成若干小的文件

-l :按行进行拆分

将文件test2.txt按每20行拆分,拆分后文件前缀名为xy102

-b :按照大小来进行拆分

将文件xshell7.rar已每份21M大小拆分,拆分后文件名前缀为xshell

面试题:现在有一个日志文件,5G,能不能快速的打开

答:拆分,两种方法 split -l按行拆分和 split -b按大小拆分

这种文件推荐使用按大小拆分,split -b

文件合并

paste

cat

面试题:cat合并和paste合并之间的区别

答:cat是上下合并,paste是左右合并

面试题:统计当前主机的连接状态

答:ss -antp | grep -v 'State' | cut -d ' ' -f 1 | sort | uniq -c

正则表达式:

由一类特殊字符以及文本字符所编写的一个模式,模式又来匹配文件当中内容(字符)

校验我们输入的内容是否满足规定,格式,长度等待要求

主要用来匹配文件内容,命令的结果

通配符:只能用于匹配文件名的目录名,不能匹配文件的内容和命令结果

正则表达式分为:

1.基本正则表达式

元字符(字符匹配)

. 任意单个字符,也可以是一个汉字

\ 转义符 恢复其本意

[] 匹配指定范围内的任意单个字符或数字

[^] 取反

^ 匹配开头

*匹配前面的字符任意次,0次也可以

.* 匹配前面的任意字符,至少要有一次

\? 匹配前面的字符0次或1次,可有可无

\ + 匹配前面的字符,至少要出现一次

\ {n\ } 匹配前面的字符=n次,可以小于n,但是不能大于n,而且前面的字符必须要是连续出现

\ (m,n\ )匹配前面的字符至少m次 ,最多n次,必须的连续出现,超出的不在匹配范围

\ {,n\ } 匹配前面的字符最多n次

\ {n,\ } 匹配前面的字符最少n次

位置锚顶:

^ :以什么开始,行尾锚定

$ :以什么为结尾,行尾锚定

\ <或\b 词首锚定,匹配单词的左侧(连续的数字,字母,下划线都算单词内部)

\ > 或\b 词尾锚定,用于匹配单词的右侧

\broot\b 匹配整个单词,空格隔开的也算整个单词

^root$ 整个一行只有这个单词

区别

分组和逻辑关系

分组 :()

或者 : \ |

扩展正则表达式

grep -E ,不用加\号,其他与正则表达式基本一样

二.sed命令

sed是一种流编器,一次处理一行内容,针对文本内容进行增删改查

如果只是展示,会放在缓冲区(模式空间),展示结束之后,会从模式空间把操作结果删除

一行一行处理,处理完当前行,才会处理下一行,直到文件末尾

sed的命令格式和操作选项:

-e :表示可以跟多个操作符,只有一个操作符 -e 可以省略

sed -e '操作符' -e '操作符' 文件1 文件2

sed -e '操作符1;操作符2;'文件1 文件2

选项

-e :用于执行多个操作命令

-f : 在脚本中定义好了操作符,然后根据脚本内容的操作符对文件进行操作

-i : 直接修改目标文件(慎用)

-n :仅显示script处理后的结果(不加 -n,sed会有两个输出结果,加了 -n后会把默认输出屏蔽,只显示一个结果)

操作符:

p :打印结果

r :使用扩展正则表达式

s :替换,替换字符串

c :替换,替换指定行

y :替换,替换单个字符;多个字符必须和替换内容的字符长度保持一致

d :删除,删除行

a :增加,在指定行的下一行插入内容

i :增加,在指定行的上一行插入内容

r :读取其他文件的内容,在行后增加文本内容

$a :在最后一行插入新的内容

$i :在倒数第二行插入新的内容

$r :读取其他文件的内容,插入到目标文件的最后一行

打印功能:

寻址打印,按照指定行打印

sed -n '$p' 文件名 :,打印最后行

sed -n '数字p' 文件名 :打印指定行

sed -n '数字p;数字p' 文件名 :打印指定的两行

sed -n '2,4p' :打印2-4行

sed -n 'p;n' :打印奇数行

sed -n 'n;p' :打印偶数行 ‘n’的作用,跳过一行,打印下一行

sed -n ‘/a/p’ : 过滤并打印包含a的行

使用正则表达式对文本内容进行过滤

sed -n '/^root/p' /etc/passwd :打印出以root开头的所有行

sed -n '42,/bash$/p' /etc/passwd :从指定42行打印到第一个以bash结尾的行

sed -rn '/(99:){2,}/p' /etc/passwd :

sed -rn '/^root|bash$/p' /etc/passwd :打印出要么以root开头要么以bash结尾的行

面试题

如何免交互删除文件:

答:两种方法

①cat /dev/null > test1.txt

②sed -i 'd' test1.txt

sed的删除操作

sed -n ‘3d;p’ 文件名 :删除第三行,打印剩余的行

sed -n '4d;6d;p' 文件名 :删除第四和第六行,打印剩余行

匹配字符串删除行

sed '/o/d' :删除所有包含o的行

ed '/222/,/444/d' :删除包含222到444中间的所有行

ed '/222/!d' :删除除了包含222的所有行

面试题:

如何用免交互方式删除空行

grep -v ‘^$’

cat test.txt | tr -s ‘\n’

sed ‘/^$/d’ test.txt

s替换字符串

sed -n 's/root/test/p' /etc/passwd :每行第一个root替换成test

sed -n ’s/root/test/2p‘ /etc/passwd :每行第二个root替换成test

sed -n ’s/root/test/gp‘ /etc/passwd:所有的root替换成test

sed -n '4,6s/^/#/p' test.txt :注释第4到6行

sed -n '4s/^/#/p;6s/^/#/p' test.txt :注释第4和第6行

sed 's/[a-z]/\u&/' test.txt:转换首字母小写为大写

sed 's/[a-z]/\u&/g' test.txt:所有的小写变为大写

u&:转换首字母为大写的特殊符号。

ed 's/[A-Z]/\l&/' test1.txt :转换首字母大写为小写

sed 's/[A-Z]/\l&/g' test1.txt :所有的大写变为小写

l& :转换首字母为小写的特殊符号。

整行替换

sed '/a/c shuai' test.txt :把a开头的行 替换成 shuai

y单字符替换

sed '/abc/123/' test.txt :将文件内字符abc分别替换成123,

位置替换

使用sed对字符串和字符的位置进行互换

echo wenzeshao | sed -r 's/(wen)(ze)(shao)/\3\1\2/'

对单个字符的位置进行互换

echo oahs | sed -r 's/(.)(.)(.)(.)/\4\3\2\1/'

sed主要作用是对文本的内容进行增删改查

最好用的是:改和增功能

这篇关于正则表达式,linux文本三剑客的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1088053

相关文章

linux-基础知识3

打包和压缩 zip 安装zip软件包 yum -y install zip unzip 压缩打包命令: zip -q -r -d -u 压缩包文件名 目录和文件名列表 -q:不显示命令执行过程-r:递归处理,打包各级子目录和文件-u:把文件增加/替换到压缩包中-d:从压缩包中删除指定的文件 解压:unzip 压缩包名 打包文件 把压缩包从服务器下载到本地 把压缩包上传到服务器(zip

Linux 网络编程 --- 应用层

一、自定义协议和序列化反序列化 代码: 序列化反序列化实现网络版本计算器 二、HTTP协议 1、谈两个简单的预备知识 https://www.baidu.com/ --- 域名 --- 域名解析 --- IP地址 http的端口号为80端口,https的端口号为443 url为统一资源定位符。CSDNhttps://mp.csdn.net/mp_blog/creation/editor

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal

Linux_kernel驱动开发11

一、改回nfs方式挂载根文件系统         在产品将要上线之前,需要制作不同类型格式的根文件系统         在产品研发阶段,我们还是需要使用nfs的方式挂载根文件系统         优点:可以直接在上位机中修改文件系统内容,延长EMMC的寿命         【1】重启上位机nfs服务         sudo service nfs-kernel-server resta

【Linux 从基础到进阶】Ansible自动化运维工具使用

Ansible自动化运维工具使用 Ansible 是一款开源的自动化运维工具,采用无代理架构(agentless),基于 SSH 连接进行管理,具有简单易用、灵活强大、可扩展性高等特点。它广泛用于服务器管理、应用部署、配置管理等任务。本文将介绍 Ansible 的安装、基本使用方法及一些实际运维场景中的应用,旨在帮助运维人员快速上手并熟练运用 Ansible。 1. Ansible的核心概念

Linux服务器Java启动脚本

Linux服务器Java启动脚本 1、初版2、优化版本3、常用脚本仓库 本文章介绍了如何在Linux服务器上执行Java并启动jar包, 通常我们会使用nohup直接启动,但是还是需要手动停止然后再次启动, 那如何更优雅的在服务器上启动jar包呢,让我们一起探讨一下吧。 1、初版 第一个版本是常用的做法,直接使用nohup后台启动jar包, 并将日志输出到当前文件夹n

[Linux]:进程(下)

✨✨ 欢迎大家来到贝蒂大讲堂✨✨ 🎈🎈养成好习惯,先赞后看哦~🎈🎈 所属专栏:Linux学习 贝蒂的主页:Betty’s blog 1. 进程终止 1.1 进程退出的场景 进程退出只有以下三种情况: 代码运行完毕,结果正确。代码运行完毕,结果不正确。代码异常终止(进程崩溃)。 1.2 进程退出码 在编程中,我们通常认为main函数是代码的入口,但实际上它只是用户级

【Linux】应用层http协议

一、HTTP协议 1.1 简要介绍一下HTTP        我们在网络的应用层中可以自己定义协议,但是,已经有大佬定义了一些现成的,非常好用的应用层协议,供我们直接使用,HTTP(超文本传输协议)就是其中之一。        在互联网世界中,HTTP(超文本传输协议)是一个至关重要的协议,他定义了客户端(如浏览器)与服务器之间如何进行通信,以交换或者传输超文本(比如HTML文档)。

如何编写Linux PCIe设备驱动器 之二

如何编写Linux PCIe设备驱动器 之二 功能(capability)集功能(capability)APIs通过pci_bus_read_config完成功能存取功能APIs参数pos常量值PCI功能结构 PCI功能IDMSI功能电源功率管理功能 功能(capability)集 功能(capability)APIs int pcie_capability_read_wo