学习笔记0411----正则三剑客之sed、awk

2024-06-15 23:58
文章标签 学习 笔记 awk 正则 三剑客 sed 0411

本文主要是介绍学习笔记0411----正则三剑客之sed、awk，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

正则三剑客之sed、awk

  • 预习内容
    • 1.sed 替换指定字符
      • 1.1 sed 选项参数
      • 1.2 sed 删除字符
      • 1.3 sed 替换字符
    • 2.awk 工具
      • 2.1 awk常见的一些符号作用
      • 2.2 awk 条件操作符
      • 2.3 awk内置变量
      • 2.4 awk的数学运算
  • 课后总结
    • 1.awk语法结构
    • 2.打印某行到某行之间的内容
    • 3.sed转换大小写
      • 3.1. 把每个单词的第一个小写字母变大写：
      • 3.2 把每个单词的最后一个变为大写字母
      • 3.3 把所有小写变大写：
      • 3.4. 大写变小写：
    • 4. sed在某一行最后添加一个数字
    • 5.打印1到100行含某个字符串的行
    • 6.awk 中使用外部shell变量
    • 7. awk 合并一个文件
    • 8.把一个文件多行连接成一行
    • 9.awk中gsub函数的使用
    • 10.awk 截取指定多个域为一行
    • 11.过滤两个或多个关键词
    • 12. awk用print打印单引号

预习内容

9.4/9.5 sed
9.6/9.7 awk
以下内容为扩展部分，先挑着能看懂的练习练习。
打印某行到某行之间的内容http://ask.apelearn.com/question/559
sed转换大小写 http://ask.apelearn.com/question/7758
sed在某一行最后添加一个数字http://ask.apelearn.com/question/288
删除某行到最后一行 http://ask.apelearn.com/question/213
打印1到100行含某个字符串的行 http://ask.apelearn.com/question/1048
awk 中使用外部shell变量http://ask.apelearn.com/question/199
awk 合并一个文件 http://ask.apelearn.com/question/493
把一个文件多行连接成一行 http://ask.apelearn.com/question/266
awk中gsub函数的使用 http://ask.apelearn.com/question/200
awk 截取指定多个域为一行 http://ask.apelearn.com/question/224
过滤两个或多个关键词 http://ask.apelearn.com/question/198
用awk生成以下结构文件 http://ask.apelearn.com/question/5494
awk用print打印单引号 http://ask.apelearn.com/question/1738
合并两个文件 http://ask.apelearn.com/question/945
awk的BEGIN和END http://blog.51cto.com/151wqooo/1309851
awk的参考教程 http://www.cnblogs.com/emanlee/p/3327576.html

1.sed 替换指定字符

1.1 sed 选项参数

sed命令的选项(option)：
-n ：只打印模式匹配的行
-e ：直接在命令行模式上进行sed动作编辑，此为默认选项
-f ：将sed的动作写在一个文件内，用–f filename 执行filename内的sed动作
-r ：支持扩展表达式
-i ：直接修改文件内容

## 打印出含有root的行 ##
[root@linux-01 ceshi]# sed -n '/root/'p passwd
#Root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin## 打印出包含r.t的行（点代表匹配一个字符） ##
[root@linux-01 ceshi]# sed -n '/r.t/'p passwd
operator:x:11:0:operator:/root:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin## 打印出包含r*t的行（*代表匹配n个字符，0个或者多个） ##
[root@linux-01 ceshi]# sed -n '/r*t/'p passwd
#Root:x:0:0:root:/root:/bin/bash
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
operator:x:11:0:operator:/root:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin## 打印出第二行 ##
[root@linux-01 ceshi]# sed -n '2'p  passwd
#bin:x:1:1:bin:/bin:/sbin/nologin## 打印出第25行到末尾 ##
[root@linux-01 ceshi]# sed -n '25,$'p  passwd
r-o
r5o
r=o
r.o
o111o
oo
user1:x:1003:100::/home/user1:/bin/bash## 打印出包含root的行，把user1的行也打印出来 ##
[root@linux-01 ceshi]# sed -e '/root/'p  -e '/user/'p -n  passwd
#Root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
user1:x:1003:100::/home/user1:/bin/bash

1.2 sed 删除字符

## 删除1到25行的内容，-i直接修改源文件 ##
[root@linux-01 ceshi]# sed -i  '1,25'd  passwd
[root@linux-01 ceshi]# cat passwd
r5o
r=o
r.o
o111o
oo
user1:x:1003:100::/home/user1:/bin/bash
[root@linux-01 ceshi]#

1.3 sed 替换字符

## 把1到10行中出现的root替换为测试 ##
[root@linux-01 ceshi]# sed '1,10s/root/ceshi/g' passwd
#Root:x:0:0:ceshi:/ceshi:/bin/bash
#bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/ceshi:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
xihaji:x:1000:1000::/home/xihaji:/bin/bash
xihaji2:x:1001:1001::/home/xihaji2:/bin/bash
readonly:x:1002:1002::/home/readonly:/bin/bash
roooooor
o1o
r?o
r-o
r5o
r=o
r.o
o111o
oo
user1:x:1003:100::/home/user1:/bin/bash## 把1到10行中的ro+（+代表1个或者多个）字符替换为xihaji ##
[root@linux-01 ceshi]# sed -r '1,10s/ro+/xihaji/g' passwd |head
#Root:x:0:0:xihajit:/xihajit:/bin/bash
#bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/xihajit:/sbin/nologin
[root@linux-01 ceshi]#

在这里插入图片描述
在这里插入图片描述

2.awk 工具

awk 需要搞清楚它的语法结构 ， awk -F ‘分隔符’ BEGIN{} { (条件) {print在这里}} END{}

2.1 awk常见的一些符号作用

符号作用
-F指定分隔符，后面需要紧跟单引号，单引号里为分隔符，如果不加-F选项，则以空格或者tab为分隔符。
$0代表整行
$1$1代表第1个字段，$2为第2个字段，以此类推
print{}print的动作要用{}括起来，否则会报错，print还可以打印自定义的内容，但是自定义的内容要用双引号引起来
~匹配字符或者字符串，’$1 ~ /oo/'表示第1个字段包含oo字符
==等于，在和数字比较时候，若把比较的数字用双引号引起来，那么awk不会认为是数字，而会认为是字符，不加双引号会认为是数字
>大于
>=大于等于
<小于
<=小于等于
!=不等于
&&并且
||或者
awk以冒号为分隔符打印出多列数据

在这里插入图片描述

awk以分号为分隔符打印出指定格式

在这里插入图片描述

awk匹配多次条件，打印机输出

在这里插入图片描述

2.2 awk 条件操作符

## 把/etc/passwd中uid大于500的行列出来。##
[root@linux-01 ~]# awk -F ':' '$3 > 500' /etc/passwd
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
xihaji:x:1000:1000::/home/xihaji:/bin/bash
xihaji2:x:1001:1001::/home/xihaji2:/bin/bash
readonly:x:1002:1002::/home/readonly:/bin/bash
user1:x:1003:100::/home/user1:/bin/bash
[root@linux-01 ~]# ## 如果使用双引号把500括起来，awk会认为是一个字符 ##
[root@linux-01 ~]# awk -F ':' '$3 > "500"' /etc/passwd
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
[root@linux-01 ~]# ## 使用‘~’匹配，‘||’ 两个条件操作  ##
[root@linux-01 ceshi]# cat passwd | awk -F ':' '$3 >'1000' ||$7 ~/bash/ '
root:x:0:0:root:/root:/bin/bash
xihaji:x:1000:1000::/home/xihaji:/bin/bash
xihaji2:x:1001:1001::/home/xihaji2:/bin/bash
readonly:x:1002:1002::/home/readonly:/bin/bash
user1:x:1003:100::/home/user1:/bin/bash
[root@linux-01 ceshi]#

2.3 awk内置变量

变量作用
OFS与-F有类似的功能，也是用来定义分隔符的，但是它是在输出的时候定义
NF表示用分隔符分割后一共有多少段
NR表示行号
## OFS的用法示例 ##
[root@linux-01 ~]# head -n5 /etc/passwd |awk -F ':' '{OFS="#"}{print $1,$3,$4}'
root#0#0
bin#1#1
daemon#2#2
adm#3#4
lp#4#7
[root@linux-01 ~]# ## 变量NF的用法如下 ##
[root@linux-01 ~]# head -n3 /etc/passwd  | awk -F ':' '{print NF}'
7
7
7
[root@linux-01 ~]# ## $NF 代表的是最后一段的值 ##
[root@linux-01 ~]# head -n3 /etc/passwd  | awk -F ':' '{print $NF}'
/bin/bash
/sbin/nologin
/sbin/nologin
[root@linux-01 ~]# ## 变量NR的使用方法，用做判断 ##
[root@linux-01 ~]# head -n10 /etc/passwd  | awk 'NR<5'
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
[root@linux-01 ~]# ## if判断 ##
[root@linux-01 ceshi]#  awk -F ':' '{OFS=":"} {if($3>1000) {print $1,$2,$3,$4}} ' passwd
xihaji2:x:1001:1001
readonly:x:1002:1002
user1:x:1003:100
[root@linux-01 ceshi]#

2.4 awk的数学运算

## awk更改段值 ##
[root@linux-01 ~]# head -n10 /etc/passwd  | awk -F ':' '$1="root"'
root x 0 0 root /root /bin/bash
root x 1 1 bin /bin /sbin/nologin
root x 2 2 daemon /sbin /sbin/nologin
root x 3 4 adm /var/adm /sbin/nologin
root x 4 7 lp /var/spool/lpd /sbin/nologin
root x 5 0 sync /sbin /bin/sync
root x 6 0 shutdown /sbin /sbin/shutdown
root x 7 0 halt /sbin /sbin/halt
root x 8 12 mail /var/spool/mail /sbin/nologin
root x 11 0 operator /root /sbin/nologin## awk对各段的值进行运算 ##
[root@linux-01 ceshi]#  awk -F ':' '{OFS=":"} {if($3>1000) {print $0}} ' passwd
xihaji2:x:1001:1001::/home/xihaji2:/bin/bash
readonly:x:1002:1002::/home/readonly:/bin/bash
user1:x:1003:100::/home/user1:/bin/bash
[root@linux-01 ceshi]#  awk -F ':' '{OFS=":"} {if($3>1000) {print $1,$2,$3,$4}} ' passwd
xihaji2:x:1001:1001
readonly:x:1002:1002
user1:x:1003:100## 计算某段总和 ##
[root@linux-01 ceshi]#  awk -F ':' '{(tot=tot+$3)};END {print tot}' passwd
5613
[root@linux-01 ceshi]#

课后总结

1.awk语法结构

awk -F ‘:’ ‘BEGIN{语句} {if(条件){语句1;语句2;语句3} } END{语句}’ filename

2.打印某行到某行之间的内容

sed -n ‘/tss/,/sas/p’ /etc/passwd
在这里插入图片描述

3.sed转换大小写

3.1. 把每个单词的第一个小写字母变大写：

sed ‘s/\b[a-z]/\u&/g’ filename
在这里插入图片描述

3.2 把每个单词的最后一个变为大写字母

sed ‘s/[a-z]/\u&/g’ filename

在这里插入图片描述

3.3 把所有小写变大写：

sed ‘s/[a-z]/\u&/g’ filename
在这里插入图片描述

3.4. 大写变小写：

sed ‘s/[A-Z]/\l&/g’ filename

在这里插入图片描述

4. sed在某一行最后添加一个数字

sed -r ‘s/(^a.)/\1 12/’ test
sed -r 's/^a./& 12/’ test

在这里插入图片描述

5.打印1到100行含某个字符串的行

sed -n ‘1,100{/abc/p}’ 1.txt
在这里插入图片描述

6.awk 中使用外部shell变量

a=2; echo “a?️c:d”|awk -F “:” -v get_a=$a ‘{print $get_a}’
在这里插入图片描述

7. awk 合并一个文件

awk ‘NR==FNR {a[$1]=$2} NR>FNR {print $0,a[$1]}’ 1.txt 2.txt

说明：
awk ‘{print NR,FNR}’ 1.txt 2.txt //首先理解NR和FNR的不同（awk支持同时操作多个文件内容）
当NR==FNR其实就是第一个文件的内容
当NR>FNR，其实就是第二个文件的内容

扩展 paste 1.txt 2.txt

8.把一个文件多行连接成一行

方法一：
a=cat file;echo $a
在这里插入图片描述
方法二：
awk ‘{printf("%s ",$0)}’ file在这里插入图片描述

方法三：
cat file |xargs
在这里插入图片描述

9.awk中gsub函数的使用

awk ‘gsub(/www/,“abc”)’ /etc/passwd // passwd文件中把所有www替换为abc

在这里插入图片描述

awk -F ‘:’ ‘gsub(/www/,“abc”,$1) {print $0}’ /etc/passwd // 替换$1中的www为abc
在这里插入图片描述

10.awk 截取指定多个域为一行

用awk指定分隔符把文本分为若干段。如何把相同段的内容弄到一行？
以/etc/passwd为例，该文件以":"作为分隔符，分为了7段。

for i in `seq 1 7`
do
awk -F ':' -v a=$i '{printf $a " "}' /etc/passwd
echo 
done

11.过滤两个或多个关键词

grep -E ‘123|abc’ filename // 找出文件（filename）中包含123或者包含abc的行
egrep ‘123|abc’ filename //用egrep同样可以实现
awk ‘/123|abc/’ filename // awk 的实现方式

12. awk用print打印单引号

awk ‘BEGIN{print "a’"’"‘s"}’
awk ‘BEGIN{print "a’’‘s"}’
awk ‘BEGIN{print “a"s”}’

注意：使用print打印单引号的时候，需要注意使用双引号引起来，在使用单引号引起。
在这里插入图片描述

这篇关于学习笔记0411----正则三剑客之sed、awk的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1064954。

相关文章

HarmonyOS学习(七)——UI（五）常用布局总结

HarmonyOS学习(七)——UI（五）常用布局总结

自适应布局 1.1、线性布局（LinearLayout） 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列，Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距，达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式，且在各类尺寸屏幕上表现一致，其中交叉轴为垂直时，取值为Vert
阅读更多...
Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya（不是本人，claude AI）在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容： 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用
阅读更多...
【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画（下）

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画（下）

【课程链接】 AntV G6：深入图形与图形分组、自定义节点、节点动画（下）_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中，应该怎样去计算和绘制图形，如何给一个图形制作不间断的动画，以及在鼠标事件之后产生动画。（有点难，需要好好理解） <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06
阅读更多...
学习hash总结

学习hash总结

2014/1/29/   最近刚开始学hash，名字很陌生，但是hash的思想却很熟悉，以前早就做过此类的题，但是不知道这就是hash思想而已，说白了hash就是一个映射，往往灵活利用数组的下标来实现算法，hash的作用：1、判重；2、统计次数；
阅读更多...
零基础学习Redis(10) -- zset类型命令使用

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合，内部除了存储元素外，还会存储一个score，存储在zset中的元素会按照score的大小升序排列，不同元素的score可以重复，score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]
阅读更多...
【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程（Gaussian Process，简称GP）是一种概率模型，用于描述一组随机变量的联合概率分布，其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数（或核函数） 1.3 核函数1.4 高斯过程回归（Gauss
阅读更多...
【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络（1）sklearn

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络（1）sklearn

系列文章目录 监督学习：参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归（SAheart.csv） 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学
阅读更多...
系统架构师考试学习笔记第三篇——架构设计高级知识（20）通信系统架构设计理论与实践

系统架构师考试学习笔记第三篇——架构设计高级知识（20）通信系统架构设计理论与实践

本章知识考点：         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识
阅读更多...
线性代数|机器学习-P36在图中找聚类

线性代数|机器学习-P36在图中找聚类

文章目录 1. 常见图结构2. 谱聚类 感觉后面几节课的内容跨越太大，需要补充太多的知识点，教授讲得内容跨越较大，一般一节课的内容是书本上的一章节内容，所以看视频比较吃力，需要先预习课本内容后才能够很好的理解教授讲解的知识点。 1. 常见图结构 假设我们有如下图结构： Adjacency Matrix:行和列表示的是节点的位置，A[i,j]表示的第 i 个节点和第 j 个
阅读更多...
Node.js学习记录（二）

Node.js学习记录（二）

目录 一、express 1、初识express 2、安装express 3、创建并启动web服务器 4、监听 GET&POST 请求、响应内容给客户端 5、获取URL中携带的查询参数 6、获取URL中动态参数 7、静态资源托管 二、工具nodemon 三、express路由 1、express中路由 2、路由的匹配 3、路由模块化 4、路由模块添加前缀 四、中间件
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2