linux的awk命令

A. linux三剑客awk命令篇二：命令操作符

Linux三剑客awk命令篇二：命令操作符

关于awk的原理等基本知识请参考上篇：

Linux三剑客awk命令篇一：原理及基本命令

补充

1、语法格式：

(1) Awk完整语法

awk 'BEGIN{commands} pattern{commands}END{commands} ' file

BEGIN{commands}：处理数据前执行的命令。

END{commands}：处理完数据后执行的命令。

这两个命令可以省略。见(2)

(2) Awk基本语法

awk -F '分割符' '/模式/{动作} ' file

这里的 '/模式/{动作} ' 类似于sed的命令格式。

模式：

(1) 正则表达式(注意格式： /正则表达式/ )

(2) 条件表达式(例如：> <等等)

总结：

这里的模式通俗来讲是 用来找谁， 而动作表示是 干啥。

2、 awk的命令操作符

(1) 正则表达式与bash一致

(2) + - * / % ++ --

(3) && || ！

(4) > < >= <= != == ~ !~

~：表示匹配后面的模式，用于字段，见 案例1 。

其余的都比较常见就不举例了。

3、案例

案例1：

~使用案例

awk -F : '$3 ~ /<...>/{print $1,$3}' /etc/passwd

解释：

模式：<...>

< >表示定界符，只匹配3个字符。

$3 ~：表示$3这个字段必须符合后面模式(<...>)的要求。

见如下输出结果，$3都是3个字符。

案例2：

% || ==使用案例

seq 100 | awk '$1 % 7 == 0 || $1 ~ /^99/{print $1}'

输出结果的要求：

整除7或者以99开头

案例3：

++使用

awk 'BEGIN{num=0}{num++}END{print num}' /etc/passwd

简单解释：

BEGIN{num=0}：定义一个变量num

{num++}：这里没有模式，只有动作。

即每匹配到文件/etc/passwd的一行就执行num++

END{print num}：文件遍历结束，打印num的值，即文件的行数。

这里我们使用wc -l验证也是没问题的。

cat /etc/passwd | wc -l

上面3个案例简单的使用了awk的命令操作符。

虽然只是用到了几个简单的，但是其他同理，大家可以执行操作。

下一篇：

Linux三剑客awk命令篇二之内部变量

欢迎大家给予宝贵的意见或者建议。

欢迎大家补充或者共享一些其他的方法。

感谢支持。

B. Linux入门系列——awk命令详解

awk是一个强大的文本分析工具，与grep、sed相比，awk在对数据分析并生成报告时，显得有很大的优势。

awk有三个不同的版本：awk、nawk和gawk，在没有做特殊说时的时候默认的就是gawk，gawk是awk的GNU版本。

其中command是真正的awk命令，-F表示域的分隔符，是个可选项。Filename是等待处理的文件

将所有的awk命令写入到一个文件，并使用该文件有X权限，然后awk命令解释器作为脚本的首行，也就是说可以把脚本最开始的 #!/bin/bash 换成 #!/bin/awk

最后直接执行这个脚本文件就行了。

-f 指定要加载的awk脚本，是一个文件。Filename是等待处理的文件

awk的工作流程是这样的：读入一行后(最后面带有” ”的)，就按-F指定的分隔符来将该行划分成N个区域，$0表示所有的区域，$1表示第一个域，$2表示第二个域，依此类推，$n表示第n个域。

总结：awk先执行BEGIN内的命令，然后再读入文件中的行，接着就是按照指定的分隔符将该行分成N个区域，然后再来执行模式所对应的动作action。然后，再来读入第二行。。再重复执行action，直到所有的行都处理完成。最后再执行END中的命令。

注意：' // '之间是支持正则表达式的，如果此处只有pattern,而没有action，那么awk默认会把匹配到的行打印出来。

awk中的print还可以使用C语言中的printf来替代。在输出格式比较复杂的时候使用printf函数会比print函数要更直观一些，如下：

还可以使用-v key=value来自定义变量。如下：

awk中的条件语句是从C中借鉴过来的

语法：if (condition) {then-body} else {else-body}

例如使用awk来统计某个目录下的普通文件的大小，不包括子目录的，并过滤掉目录。

循环语句也和C中的一样，支持while、do/while、for、continue、break等关键字。

break和continue常用于循环中；

在awk中，数组的下标可以是数字或字母。一般awk中的数组的作用是从记录中收集信息，用于计算总和、统计单词等。

在awk中要删除一个元素的时候使用 delete array[index]

更多请参见awk官方文档[http://www.gnu.org/software/gawk/manual/gawk.html]

C. Linux awk 命令详解(二) if 分支 数组

一、awk if分支结构
二、awk数组 for循环

一、awk if分支结构

案例1
awk过滤中的if分支结构
1）单分支
统计/etc/passwd文件中UID小于或等于1000的用户个数：

统计/etc/passwd文件中UID大于1000的用户个数：

统计/etc/passwd文件中登录Shell是“/bin/bash”的用户个数：

2）双分支
分别统计/etc/passwd文件中UID小于或等于1000、UID大于1000的用户个数：

分别统计/etc/passwd文件中登录Shell是“/bin/bash”、 登录Shell不是“/bin/bash”的用户个数：

二、awk数组

注意，awk数组的下标除了可以使用数字，也可以使用字符串，字符串需要使用双引号：

案例3：awk扩展应用
1）awk统计Web访问排名
在分析Web日志文件时，每条访问记录的第一列就是客户机的IP地址，其中会有很多重复的IP地址。因此只用awk提取出这一列是不够的，还需要统计重复记录的数量并且进行排序。
通过awk提取信息时，利用IP地址作为数组下标，每遇到一个重复值就将此数组元素递增1，最终就获得了这个IP地址出现的次数。
针对文本排序输出可以采用sort命令，相关的常见选项为-r、-n、-k。其中-n表示按数字顺序升序排列，而-r表示反序，-k可以指定按第几个字段来排序

实现此案例需要按照如下步骤进行。
步骤一：统计Web访问量排名
分步测试、验证效果如下所述。
1）提取IP地址及访问量

2）对第1）步的结果根据访问量排名

案例4：编写监控脚本
本案例要求编写脚本，实现计算机各个性能数据监控的功能，具体监控项目要求如下：
CPU负载
网卡流量
内存剩余容量
磁盘剩余容量
计算机账户数量
当前登录账户数量
计算机当前开启的进程数量
本机已安装的软件包数量

步骤
实现此案例需要按照如下步骤进行。
步骤一：准备工作
1）查看性能数据的命令

步骤二：编写参考脚本
1）脚本内容如下：

D. linux awk命令怎么用

awk命令是Alfred Aho, Peter Weinberger, Brian Kernighan三位作者联合开发的，用于Linux/Unix中处理数据和产生报告。awk命令功能十分强大，可根据需要抓取、截取指定的列或行。
首先在/mnt目录下创建示例文本文件f1，其内容如下：
1 hello hello
2 data data
3 xyz abc
4 123 789
5 ftp
6 Apache
7 apache
然后，使用awk对f1文件内容进行处理，举例如下。
①awk -F " " '{print $2,$3}' f1：截取显示文档的第二列和第三列，-F指定分隔符为空格，$表示显示第几列。其中print表示要做输出信息的动作，$2和$3表示要输出的列号，awk要求将print已经输出列等内容放在“'{}'”之间。
②awk -F " " '($1>3){print $2,$3}' f1：选取第一列的值大于3的行，显示其第二列和第三列，在“()”中指定筛选条件。
③awk 'NR==4 || NR==3' f1：显示第三行和第四行，NR表示行号。
④awk '/data/ {print $2}' f1：抓取包含指定字符的行，再对列进行截取。此例中，awk先按照“data”字符串对文件f1中的行筛选，找出包含“data”的行以后，再按照默认的空格作为分隔符对行的内容做切割，仅打印出第二列的内容。
⑤awk '$2 ~ /data/ ' f1：抓取第二列包含指定字符的行。其中“~”表示是否匹配指定的“data”，如果第二列的内容包含“data”就打印出整行内容。
⑥awk '$2 !~ /data/ ' f1：抓取第二列不包含指定字符的行。其中“!~”表示是否不匹配指定的“data”，如果第二列的内容不包含“data”就打印出整行内容。

E. linux里awk是做什么的,请详细说明

awk语言的最基本功能是在文件或字符串中基于指定规则来分解抽取信息，也可以基于指定的规则来输出数据。完整的awk脚本通常用来格式化文本文件中的信息。
你比如：
echo "11|22|33" | awk -F "|" '{print $2}'

F. linux awk命令--如何引入外部变量

用shell命令删除目录下文件，但是排除某些特殊文件，第一时间无脑从谷歌获取。

丢到脚本执行发现，并没有删除，原来rm后面命令返回结果有问题，必须事当前目录才行，脚本脱离当前目录就懵逼。那想办法改吧。

既然【 ls *.txt | grep -v test.txt 】返回的的是文件名称，那拼上目录就完事了。
使用awk拼接目录和文件：

由于【ls -l 】返回的第一行【total 272】需过滤：

过滤第一行统计信息：

awk内置了一些变量可以拼接，还有常量也可以拼接，此处不表，重点提及awk作用域外的变量引用，有一下三种方式：

格式如：awk ‘{action}’ 变量名=变量值 ，这样传入变量，可以在action中获得值。 注意：变量名与值放到’{action}’后面。
这种变量在：BEGIN的action不能获得。

格式如：awk –v 变量名=变量值 [–v 变量2=值2 …] 'BEGIN{action}’ 注意：用-v 传入变量可以在3中类型的action 中都可以获得到，但顺序在 action前面。

只需要调用：awk内置变量 ENVIRON,就可以直接获得环境变量。它是一个字典数组。环境变量名 就是它的键值。