本文将介绍LinuxShell编程awk命令的详细情况,特别是关于shellawk命令详解的相关信息。我们将通过案例分析、数据研究等多种方式,帮助您更全面地了解这个主题,同时也将涉及一些关于awk命令
本文将介绍Linux Shell编程 awk命令的详细情况,特别是关于shell awk命令详解的相关信息。我们将通过案例分析、数据研究等多种方式,帮助您更全面地了解这个主题,同时也将涉及一些关于awk命令、awk命令、awk编程语言详细介绍和实例、linux awk命令、Linux Bash Shell编程(三):重定向、多命令顺序、通配符、特殊符号的知识。
本文目录一览:- Linux Shell编程 awk命令(shell awk命令详解)
- awk命令
- awk命令、awk编程语言详细介绍和实例
- linux awk命令
- Linux Bash Shell编程(三):重定向、多命令顺序、通配符、特殊符号
Linux Shell编程 awk命令(shell awk命令详解)
概述
awk是一种编程语言,用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件,或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能,是linux/unix下的一个强大编程工具。它在命令行中使用,但更多是作为脚本来使用。awk有很多内建的功能,比如数组、函数等,这是它和C语言的相同之处,灵活性是awk最大的优势。
命令的基本格式如下:
[root@localhost ~]# awk ''条件1 {执行语句 1} 条件 2 {执行语句 2} …'' 文件名
在awk编程中,因为命令语句非常长,所以在输入格式时需要注意以下内容:
- 多个条件{动作}可以用空格分隔,也可以用回车分隔。
- 在一个动作中,如果需要执行多条命令,则需要用分隔,或用回车分隔。
- 在awk中,变量的赋值与调用都不需要加入"$"符号。
条件(Pattern):
一般使用关系表达式作为条件。这些关系表达式非常多 。
条件类型 | 条 件 | 说 明 |
---|---|---|
awk保留字 | BEGIN | 在 awk 程序一开始,尚未读取任何数据之前执行。BEGIN 后的动作只在程序开始时执行一次 |
awk保留字 | END | 在 awk 程序处理完所有数据,即将结束时执行?END 后的动作只在程序结束时执行一次 |
关系运算符 | > | 大于 |
< | 小于 | |
>= | 大于等于 | |
<= | 小于等于 | |
== | 等于。用于判断两个值是否相等。如果是给变童赋值,则使用"=” | |
!= | 不等于 | |
A~B | 判断字符串 A 中是否包含能匹配 B 表达式的子字符串 | |
A!~B | 判断字符串 A 中是否不包含能匹配 B 表达式的子字符串 | |
正则表达式 | /正则/ | 如果在“//”中可以写入字符,则也可以支持正则表达式 |
awk常见的内置变量
awk 内置变量 |
说明 |
$0 | 当前记录(作为单个变量) |
$1~$n | 当前记录的第n个字段,字段间由FS分隔 |
FS | 输入字段分隔符, 默认为空白字符 |
OFS | 输出字段分隔符, 默认为空白字符 |
RS | 输入记录分隔符(输入换行符), 指定输入时的换行符 |
ORS | 输出记录分隔符(输出换行符),输出时用指定符号代替换行符 |
NF | 当前行的字段的个数(即当前行被分割成了几列),字段数量 |
NR | 当前处理的文本行的行号 |
FNR | 各文件分别计数的行号 |
FILENAME | 当前文件名 |
ARGC | 命令行参数的个数 |
ARGV | 数组,保存的是命令行所给定的各参数 |
awk命令示例
awk命令基本示例
列出 student.txt 文件的第二个字段和第六个字段,"$2"和"$6"分别代表第二个字段和第六个字段。
[root@localhost ~]# awk ''{printf $2 "\t" $6 "\n"}'' student.txt
#输出第二列和第六列的内容
Name Average
Liming 87.66
Sc 85.66
Gao 91.66
对于 awk 命令来说,只要分隔开,不管是空格还是制表符,都可以识别。 命令如下:
[root@localhost ~]#df -h | awk ''{print $1 "\t" $3}''
文件系统 已用
/dev/sda3 1.8G
tmpfs 0
/dev/sda1 26M
/dev/sr0 3.5G
在这两个例子中,如果使用 printf 动作,就必须在最后加入"\n",因为 printf 只能识别标准输出格式;如果我们不使用"\n",它就不会换行。而 print 动作则会在每次输出后自动换行,所以不用在最后加入"\n"。
awk使用条件的示例
BEGIN 是 awk 的保留字,是一种特殊的条件类型。BEGIN 的执行时机是"在 awk 程序一开始,尚未读取任何数据之前"。一旦 BEGIN 后的动作执行一次,当 awk 开始从文件中读入数据时,BEGIN 的条件就不再成立,所以 BEGIN 定义的动作只能被执行一次。例如:
[root@localhost ~]# awk ''BEGIN{printf "This is a transcript\n"}
{printf $2 "\t" $6 "\n"}'' student.txt
This is a transcript
Name Average
Liming 87.66
Sc 85.66
Gao 91.66
awk命令只要检测不到完整的单引号就不会执行,所以这条命令的换行不用加入"\",就是一行命令。首先使用BEGIN条件在读入文件数据前打印"这是一张成绩单"(只会执行一次),再打印文件的第二个字段和第六个字段。
END 是在 awk 程序处理完所有数据,即将结束时执行的。END 后的动作只在程序结束时执行一次。例如:
[root@localhost ~]# awk ''END{printf "The End \n"}
{printf $2 "\t" $6 "\n"}'' student.txt
Name Average
Liming 87.66
Sc 85.66
Gao 91.66
The End
查看平均成绩大于等于 87 分的学员,就可以这样输入命令:
[root@localhost ~]# cat student.txt | grep -v Name |awk''$6 >= 87 {printf $2''\n"}''
Liming
Gao
使用cat输出文件内容,用grep取反包含"Name"的行
判断第六个字段(平均成绩)大于等于87分的行,如果判断式成立,则打印第2列学员名
查看Sc用户的平均成绩
[root@localhost ~]# awk''$2 -/Sc/ {printf $6 "\n"}'' student.txt
85.66
如果第二个字段中包含"Sc"字符,则打印第六个字段
在 awk 中,只有使用"//"包含的字符串,awk 命令才会査找。也就是说,字符串必须用"//"包含,awk 命令才能正确识别。
査看系统分区的使用情况而不想査看光盘和临时分区的使用情况时,可以只查询包含"sda数字"的行,并打印第一个字段和第五个字段
[root@localhost ~]# df -h | awk ''/sda[0-9]/ {printf $1 ''\t\ $5 "\n"}''
/dev/sda3 10%
/dev/sda1 15%
awk使用内置变量的示例
在 awk 中允许定义变量,允许使用运算符,允许使用流程控制语句和定义函数。这样就使得 awk 编程成了一门完整的程序语言,当然难度也比普通的命令要大得多。
创建文件
[root@localhost ~]# cat student.txt
ID Name PHP Linux MySQL Average
1 Liming 82 95 86 87.66
2 Sc 74 96 87 85.66
3 Gao 99 83 93 91.66
在 awk 中定义变量与调用变量的值。假设统计 PHP 成绩的总分:
[root@localhost ~]# awk''NR==2{php1 =$3}
NR==3{php2=$3}
NR==4{php3= $3;totle=php1+php2+php3;print "totle php is" totle}'' student.txt
totle php is 255
说明:
- "NR==2{php1=$3}"(条件是NR==2,动作是php=$3) 是指如果输入数据是第二行(第一行是标题行),就把第二行的第三个字段的值赋予变量"php1"。
- "NR==3{php2=$3}"是指如果输入数据是第三行,就把第三行的第三个字段的值赋予变量"php2"。NR==4{php3=$3;totle=php1+php2+php3;print"totle php is"totle}"("NR==4"是条件,后面{}中的都是动作)是指如果输入数是第四行,就把第四行的第三个字段的值赋予变量"php3";然后定义变量 totle 的值是"php1+php2+php3";最后输出"totle php is"关键字,后面加变量 totle 的值。
查看Linux 成绩大于 90 分的用户,命令如下:
[root@localhost ~]# awk'' NR>=2 {test=$4}
test>90 {printf $2" \n"}'' student.txt
Liming
Sc
先判断行号,如果大于2,就把第四个字段的值赋予变量test
再判断成绩,如果test的值大于90分,就打印好男人
awk命令
awk命令
1)概念:一个强大的文本分析工具,awk把文件逐行地读入,以空白字符为默认分隔符将每行进行切片,然后对这些切片进行分析和处理。
2)说明:
1)awk会针对文件(或数据流)中的每行文本执行程序脚本。
2)每行文本中,数据切片是通过分隔符进行划分的,分隔符默认为:任意的空白字符(空格或制表符)。
3)awk在读取一行文本时,会用分隔符将每行数据进行切片,并自动给一行中的每个数据切片分配一个变量:
$0 代表整个文本行
$1 代表文本行中的第1个数据切片
$2 代表文本行中的第2个数据切片
$n 代表文本行中的第n个数据切片
$NF 代表文本行中最后的那个数据切片
3)格式:
awk [参数] ''awk程序脚本'' filename
4)参数:
-F 分隔符
# awk -F '':'' 指定分隔符为冒号
5)函数:
print:打印数据
1)参数可以是变量、数值、字符串
2)字符串必须用双引号包起来,参数用逗号分隔。
6)举例:
awk ''{print $2$3$4$5}'' dumpFile1
# 大括号{} 用于根据特定的模式(pattern)对一系列的指令(action)进行分组。
grep getXxx catalina.out.2000-05-16 | grep delay | awk -F ''\\|\\|'' ''{print $3 "--" $9}''
7)常用:
# 求最大值
.. | awk ''BEGIN {max = 0} {if ($1 > max) max=$1} END {print "Max=", max}''
# 求最小值
.. | awk ''BEGIN {min = 1000000} {if ($1 < min) min=$1} END {print "Min=", min}''
# 求平均值 注:NR表示awk开始执行程序后所读取数据的行数
.. | awk ''{sum+=$1} END {print "Avg=", sum/NR}''
awk命令、awk编程语言详细介绍和实例
一,什么是awk
awk是linux下的一个命令,他对其他命令的输出,对文件的处理都十分强大,其实他更像一门编程语言,他可以自定义变量,有条件语句,有循环,有数组,有正则,有函数等。他读取输出,或者文件的方式是一行,一行的读,根据你给出的条件进行查找,并在找出来的行中进行操作,感觉他的设计思想,真的很简单,但是结合实际情况,具体操作起来就没有那么简单了。他有三种形势,awk,gawk,nawk,平时所说的awk其实就是gawk。
二,awk中的记录,域,分割符
当我们读取输出时,或者读取文件时,读取一行就是一个记录。记录分割符是默认是回车符,保存在RS,ORS中。
我们从记录中分割出我们要单词,或者是词组等,我们称他为域,域分割符,默认的是空格和TAB銉,保存在内建变
量ORS中。举个例子:
aaaa:bbbb:ccccccc
1111:2343:5t43343
上面有二行,这二行就是二个记录,每行后面的回车呢,就是记录分割符,里面冒号呢,就是域分割符,分割出来的,aaaa,1111这类东西就是域了。
awk -F: ''{print $1}'' testfile
三,awk的内建变量和运算符
1,变量
2,运算符
四,awk的正则
五,awk的函数
1,字符串函数
2,数学函数
六,实例
学习awk的时候,做了一个例子,学东西,不要光看,光看是记不住东西的。光看的话,也许你知道怎么回事,真正实际操作,不是这儿有问题,就是那儿有问题。所以一定要动手亲自操作一下。
1,测试文件test
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/bin/false
daemon:x:2:2:daemon:/sbin:/bin/false
mail:x:8:12:mail:/var/spool/mail:/bin/false
ftp:x:14:11:ftp:/home/ftp:/bin/false
&nobody:$:99:99:nobody:/:/bin/false
zhangy:x:1000:100:,,,:/home/zhangy:/bin/bash
http:x:33:33::/srv/http:/bin/false
dbus:x:81:81:System message bus:/:/bin/false
hal:x:82:82:HAL daemon:/:/bin/false
mysql:x:89:89::/var/lib/mysql:/bin/false
aaa:x:1001:1001::/home/aaa:/bin/bash
ba:x:1002:1002::/home/zhangy:/bin/bash
test:x:1003:1003::/home/test:/bin/bash
@zhangying:*:1004:1004::/home/test:/bin/bash
policykit:x:102:1005:Po
例1:
cat test | awk -F: ''{\
if ($1 == "root"){\
print $1;\
}else if($1 == "bin"){\
print $2;\
}else{\
print $3;\
} \
}''