你可能不理解所谓的报告天生器中的\"大众报告\"大众是什么,你可以把\"大众报告\"大众理解为\"大众报表\"大众或者\"大众表格\"大众,也便是说,我们可以利用awk命令,将一些文本整理成我们想要的样子,比如把一些文本整理成\公众表\公众的样子,然后再展示出来,刚才观点中提到的\"大众文本格式化的能力\公众,也便是这个意思,实在这样说可能还是不太随意马虎理解,不用焦急,当你看到后面的\"大众示例\"大众时,自然会明白awk所善于的\"大众文本格式化\"大众能力是什么。

分享一下awk的3个例子,也通过这三个awk例子来帮助大家理解awk的一些命令语法。

awk根本

awk基本语法如下,看不懂没紧要,我们会逐步举例。

php执行linuxawk详解linux中awk敕令的用法三个经典例子演示 Java

awk [options] 'program' file1 , file2 , ```

对付上述语法中的program来说,又可以细分成pattern和action,也便是说,awk的基本语法如下

awk [options] 'Pattern{Action}' file

从字面上理解 ,action指的便是动作,awk善于文本格式化,并且将格式化往后的文本输出,以是awk最常用的动作便是print和printf,由于awk要把格式化完成后的文本输出啊,以是,这两个动作最常用。

awk是逐行处理的,逐行处理的意思便是说,当awk处理一个文本时,会一行一行进行处理,处理完当前行,再处理下一行,awk默认以\公众换行符\公众为标记,识别每一行,也便是说,awk跟我们人类一样,每次碰着\"大众回车换行\"大众,就认为是当前行的结束,新的一行的开始,awk会按照用户指定的分割符去分割当前行,如果没有指定分割符,默认利用空格作为分隔符。

ps:grep 、sed、awk被称为linux中的\公众三剑客\"大众。

grep 更适宜纯挚的查找或匹配文本

sed 更适宜编辑匹配到的文本

awk 更适宜格式化文本,对文本进行较繁芜格式处理

一、类似数据库中的left join查询

根本信息

[root@nwppdb opt]# cat a.txt 111 aaa222 bbb333 cccc444 ddd[root@nwppdb opt]# cat b.txt 111 123 4562 abc cbd444 rts 786

需求:输出结果是:

111,aaa,123,456444,ddd,rts,786

实现方法1:

[root@nwppdb opt]# awk 'NR==FNR{a[$1]=$2;}NR!=FNR && a[$1]{print $1\公众,\公众a[$1]\公众,\"大众$2\"大众,\"大众$3}' a.txt b.txt111,aaa,123,456444,ddd,rts,786

阐明:当NR和FNR相同时,这就解释在对第一个文件进行操作,a[$1]=$2表示,建立一个数组,以第一个字段为下标,第二个字段为值。
当NR!=FNR时,解释在对第二个文件进行操作,把稳:这个时候的$1和前面的$1不是同一个东西了,前面的$1表示的是a.txt的第一个字段,而后面的$1表示的是b.txt的第一个字段。
a[$1]表示以b.txt中第一个字段的为下标的值,如果a[$1]有值的话,解释也存在于a.txt文件中,这样就把数据print出来就行了。

实现方法2,

[root@nwppdb opt]# awk -v OFS=\"大众,\公众 'NR==FNR{a[$1]=$2;} NR!=FNR && $1 in a { print $1,a[$1],$2,$3}' a.txt b.txt111,aaa,123,456444,ddd,rts,786

阐明:-v OFS=\"大众,\"大众这个是设置输出时的列分割符,$1 in a这个是b.txt文件中的第一列的值是不是在数组a的key中,这个对做程序的来说很好理解,各种措辞当中都有这样的用法,或者函数。
例如,php中有in_array函数。
比较一下,方法1和方法2中的print,方法1我加了双引号,方法2我却没有加,但是输出的效果却是一样的。

二、去除重复的值

根本信息:

[root@nwppdb opt]# cat c.txt a bc de fb db af e1 22 1

需求:如果有a,b和b,a这样的情形,就删除b,a,即去除重复值,当然数字也一样;

实现方法1:

[root@nwppdb opt]# awk '{for(i=1;i<=NF;i++)a[i]=$i;asort(a);for(i=1;i<=length(a);i++)printf a[i]\"大众\t\"大众;printf \"大众\n\"大众}' c.txt|sort|uniq12abbdcdef

阐明:for(i=1;i<=NF;i++)a[i]=$i;将每一列中的二个字段放到数组中,asort(a),这个数组进行排序,后面的代码是将数组数据输出来,通sort命令对输入的数据进行排序,相同数据会排在一起,通过uniq来进行去除相同的列。
这种方法比较有通用性,不只适宜二列,三列,四列都行。
不过效率差了点。

实现方法2:

[root@nwppdb opt]# awk '{a[$0]=$0;if (!($2 OFS $1 in a)) print a[$0] }' c.txta bc de fb d1 2[root@nwppdb opt]# awk '{a[$0];if (!($2 OFS $1 in a)) print }' c.txta bc de fb d1 2

阐明:方法2的二种写法,出来的结果是一样的,a[$0];没有赋值也没有报错,为什么呢?awk在碰着这样没有定义的变量时,会给它一个初值。
if (!($2 OFS $1 in a))表示返转字段不在数组a中,这里所说的在,表示key是不是存在,不是值。
print 不写默认是一行。

实现方法3:

[root@nwppdb opt]# awk '!a[$1_$2]++&&!a[$2_$1]++' c.txta bc de fb d1 2[root@nwppdb opt]# awk '{if(!a[$1_$2]++&&!a[$2_$1]++)print $0;}' c.txta bc de fb d1 2

阐明:!a[$1_$2]++&&!a[$2_$1]++即是if(!a[$1_$2]++&&!a[$2_$1]++),对付首次涌现的记录,a[$2_$1]的值是未定义的,由于后面的 ++ 是数学打算,以是a[$2_$1]会被赋值成数字0,也是由于 ++ 操作符,会先取值,再打算,从左到右 ++ 运算符的优先级大于!
运算符的,以是对付第一行记录实际上是if(! 0) print $0 ! 是取反,0 是假,! 0 便是真,那么就会实行后面的 print $0对付后面涌现的重复记录,a[$0] 经由 ++ 的打算已经变为 1、2、3 。


而 ! 1 ! 2 ! 3 ... 都为假,不会打印。

三、awk的局部变量

下面用例子来解释一下,awk怪异的局部变量

基本信息:

[root@nwppdb opt]# cat d.txt 1 22 3a b3 24 13 r

需求:把都是数字的行,最大的那个数字加起来,第一行是2,第二行是3,每四行是3,第五行是4,总和是12

实现方法:

[root@nwppdb opt]# cat add.sh function max(one,two){ if(one > two){ sum = sum + one;}else{ sum = sum + two;}}{if($1~\"大众[0-9]\公众 && $2~\公众[0-9]\公众) max($1,$2);} END{print \公众sum=\"大众sum}

在max方法里面,变量sum是会影响表面的,这里的sum是全局的。

[root@nwppdb opt]# awk -f add.sh d.txtsum=12

篇幅有限,以是拿3个比较经典的awk例子来做演示,大家可以多看几遍,深入节制的话对awk用法基本就七七八八了~

后面会分享更多linux命令的一些用法,感兴趣的朋友可以关注下!