转自http://www.360doc.com/content/13/0220/18/8547696_266798051.shtml
有一些网友看了前两天的《Linux下应该知道的技巧》希望我能教教他们用awk和sed,所以,出现了这篇文章。我估计这些80后的年轻朋友可能对awk/sed这类上古神器有点陌生了,所以需要我这个老家伙来炒炒冷饭。况且,AWK是贝尔实验室1977年搞出来的文本出现神器,今年是蛇年,是AWK的本命年,而且年纪和我相仿,所以非常有必要为他写篇文章。
之所以叫AWK是因为其取了三位创始人 Alfred Aho,Peter
Weinberger, 和 Brian Kernighan 的Family Name的首字符。要学AWK,就得提一提AWK的一本相当经典的书《The
AWK Programming Language》,它在豆瓣上的评分是9.4分!在亚马逊上居然卖1022.30元。
我在这里的教程并不想面面俱到,本文和我之前的Go语言简介一样,全是示例,基本无废话。
我只想达到两个目的:
1)你可以在乘坐公交地铁上下班,或是在坐马桶拉大便时读完(保证是一泡大便的工夫)。
2)我只想让这篇博文像一个火辣的脱衣舞女挑起你的兴趣,然后还要你自己去下工夫去撸。
废话少说,我们开始脱吧(注:这里只是topless)。
起步上台
我从netstat命令中提取了如下信息作为用例:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
$ cat
.txt Proto tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp |
下面是最简单最常用的awk示例,其输出第1列和第4例,
- 其中单引号中的被大括号括着的就是awk的语句,注意,其只能被单引号包含。
- 其中的$1..$n表示第几例。注:$0表示整个行。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
$ awk
.txt Proto tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp |
我们再来看看awk的格式化输出,和C语言的printf没什么两样:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
$ awk
.txt Proto tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp tcp |
脱掉外套
过滤记录
我们再来看看如何过滤记录(下面过滤条件为:第三列的值为0 && 第6列的值为LISTEN)
1
2
3
4
5
|
$ awk
.txt tcp tcp tcp tcp |
其中的“==”为比较运算符。其他比较运算符:!=, >, <, >=, <=
我们来看看各种过滤记录的方式:
1
2
3
4
5
|
$ awk
.txt Proto tcp tcp tcp |
如果我们需要表头的话,我们可以引入内建变量NR:
1
2
3
4
5
6
|
$ awk
.txt Proto tcp tcp tcp tcp |
再加上格式化输出:
1
2
3
4
5
6
|
$ awk
.txt Local-Address 0.0.0.0:3306 0.0.0.0:80 127.0.0.1:9000 :::22 |
内建变量
说到了内建变量,我们可以来看看awk的一些内建变量:
$0 | 当前记录(这个变量中存放着整个行的内容) |
$1~$n | 当前记录的第n个字段,字段间由FS分隔 |
FS | 输入字段分隔符 默认是空格或Tab |
NF | 当前记录中的字段个数,就是有多少列 |
NR | 已经读出的记录数,就是行号,从1开始,如果有多个文件话,这个值也是不断累加中。 |
FNR | 当前记录数,与NR不同的是,这个值会是各个文件自己的行号 |
RS | 输入的记录分隔符, 默认为换行符 |
OFS | 输出字段分隔符, 默认也是空格 |
ORS | 输出的记录分隔符,默认为换行符 |
FILENAME | 当前输入文件的名字 |
怎么使用呢,比如:我们如果要输出行号:
1
2
3
4
5
6
7
|
$ awk
.txt 01 07 08 10 14 17 |
指定分隔符
1
2
3
4
5
6
7
8
9
|
$ awk
root /root bin /bin daemon /sbin adm /var/adm lp /var/spool/lpd sync
/sbin shutdown
/sbin halt /sbin |
上面的命令也等价于:(-F的意思就是指定分隔符)
1
|
$ awk
'{print
|
注:如果你要指定多个分隔符,你可以这样来:
1
|
awk
'[;:]' |
再来看一个以\t作为分隔符输出的例子(下面使用了/etc/passwd文件,这个文件是以:分隔的):
1
2
3
4
5
6
7
|
$ awk
'{print
"\t"
root /root bin /bin daemon /sbin adm /var/adm lp /var/spool/lpd sync
/sbin |
脱掉衬衫
字符串匹配
我们再来看几个字符串匹配的示例:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
$ awk
"\t"
.txt 1 6 9 13 18 $ awk
"\t"
.txt 1 5 6 9 11 13 15 18 |
上面的第一个示例匹配FIN状态, 第二个示例匹配WAIT字样的状态。其实 ~ 表示模式开始。/ /中是模式。这就是一个正则表达式的匹配。
其实awk可以像grep一样的去匹配第一行,就像这样:
1
2
3
4
5
|
$ awk
.txt tcp tcp tcp tcp |
我们可以使用 “/FIN|TIME/” 来匹配 FIN 或者 TIME :
1
2
3
4
5
6
7
8
9
|
$ awk
"\t"
.txt 1 5 6 9 11 13 15 18 |
再来看看模式取反的例子:
1
2
3
4
5
6
7
8
9
10
11
12
13
|
$ awk
"\t"
.txt 1 2 3 4 7 8 10 12 14 16 17 19 |
或是:
1
|
awk
.txt |
折分文件
awk拆分文件很简单,使用重定向就好了。下面这个例子,是按第6例分隔文件,相当的简单(其中的NR!=1表示不处理表头)。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
|
$ awk
.txt $ ls ESTABLISHED netstat .txt $ cat
tcp tcp tcp tcp tcp tcp $ cat
tcp $ cat
tcp tcp tcp $ cat
tcp $ cat
tcp tcp tcp tcp $ cat
tcp tcp tcp |
你也可以把指定的列输出到文件:
1
|
awk
.txt |
再复杂一点:(注意其中的if-else-if语句,可见awk其实是个脚本解释器)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
|
$ awk
if ($6 /TIME |ESTABLISHED/) "1.txt" ; else
($6 /LISTEN/ ) "2.txt" ; else
"3.txt"
netstat .txt $ ls
1.txt $ cat
tcp tcp tcp tcp tcp tcp tcp tcp tcp $ cat
tcp tcp tcp tcp $ cat
tcp tcp tcp tcp tcp |
统计
下面的命令计算所有的C文件,CPP文件和H文件的文件大小总和。
1
2
|
$ ls
awk
2511401 |
我们再来看一个统计各个connection状态的用法:(我们可以看到一些编程的影子了,大家都是程序员我就不解释了。注意其中的数组的用法)
1
2
3
4
5
6
7
|
$ awk
.txt TIME_WAIT, FIN_WAIT1, ESTABLISHED, FIN_WAIT2, LAST_ACK, LISTEN, |
再来看看统计每个用户的进程的占了多少内存(注:sum的RSS那一列)
1
2
3
4
5
6
|
$ ps
awk
dbus, mysql, www, root, hchen, |
脱掉内衣
awk脚本
在上面我们可以看到一个END关键字。END的意思是“处理完所有的行的标识”,即然说到了END就有必要介绍一下BEGIN,这两个关键字意味着执行前和执行后的意思,语法如下:
- BEGIN{ 这里面放的是执行前的语句 }
- END {这里面放的是处理完所有的行后要执行的语句 }
- {这里面放的是处理每一行时要执行的语句}
为了说清楚这个事,我们来看看下面的示例:
假设有这么一个文件(学生成绩表):
1
2
3
4
5
6
|
$ cat
Marry Jack Tom Mike Bob |
我们的awk脚本如下(我没有写有命令行上是因为命令行上不易读,另外也在介绍另一种用法):
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
|
$ cat
. awk #!/bin/awk #运行前 BEGIN math english computer printf
printf
} #运行中 { math+=$3 english+=$4 computer+=$5 printf
, } #运行后 END printf
printf
, printf
, /NR , /NR , /NR } |
我们来看一下执行结果:(也可以这样运行 ./cal.awk score.txt)
1
2
3
4
5
6
7
8
9
10
11
|
$ awk
cal . awk
NAME --------------------------------------------- Marry Jack Tom Mike Bob --------------------------------------------- TOTAL: AVERAGE: |
环境变量
即然说到了脚本,我们来看看怎么和环境变量交互:(使用-v参数和ENVIRON,使用ENVIRON的环境变量需要export)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
$ $ $ export
$ echo
5 $ awk
v
'{print
"\t"
Marry Jack Tom Mike Bob |
几个花活
最后,我们再来看几个小例子:
1
2
3
4
5
6
7
8
|
#从file文件中找出长度大于80的行 awk
#按连接数查看客户端IP netstat
awk
cut
sort
uniq
sort
#打印99乘法表 seq
sed
awk
v
''
|
自己撸吧
关于其中的一些知识点可以参看gawk的手册:
- 内建变量,参看:http://www.gnu.org/software/gawk/manual/gawk.html#Built_002din-Variables
- 流控方面,参看:http://www.gnu.org/software/gawk/manual/gawk.html#Statements
- 内建函数,参看:http://www.gnu.org/software/gawk/manual/gawk.html#Built_002din
- 正则表达式,参看:http://www.gnu.org/software/gawk/manual/gawk.html#Regexp
(全文完)