LinuxShell自动化运维教学设计-awk文本处理工具教学设计

LinuxShell自动化运维初九年级数学教案教学设计课程名称:LinuxShell自动化运维__________授课年级:___________________________授课学期:___________________________教师姓名:___________________________二零xx年零三月零一日课程名称第八章awk文本处理工具计划学时四学时内容分析本章主要介绍awk简介,awk工作流程,awk工作原理,awk语法格式,awk内置变量,awk模式,awk流程控制,awk地函数教学目地与教学要求要求学生熟悉awk及其工作原理,熟悉awk语法格式,熟悉awk内部变量,熟悉awk模式讲解,熟悉awk流程控制,熟悉awk脚本编程实战教学重点awk工作流程,awk工作原理,awk语法格式,awk内置变量,awk模式,awk流程控制,awk地函数教学难点awk工作流程,awk工作原理,awk内置变量,awk模式,awk流程控制,awk地函数教学方式课堂讲解及ppt演示教学过程第一课时（awk简介,awk工作流程,awk工作原理,awk内置变量）回顾内容,引出本课时主题回顾内容,引出本课时主题。上面两节学了流编辑器sed地有关内容,本节开始awk文本处理工具地有关内容讲解。awk用于Linux/UNIX下处理文本与数据。数据可以来自标准输入,一个或多个文件,或其它命令地输出。它支持用户自定义函数与动态正则表达式等,是Linux/UNIX下一个强大地文本分析,编程工具,相对于grep地查找,sed地编辑,awk尤为擅长数据分析及生成报告。awk一般在命令行使用,但更多是作为脚本来使用。awk有很多内建地功能,如数组,函数等。本节着重讲解awk简介,awk工作流程awk工作原理,awk内置变量,从而引出本节地内容。明确学目地能够理解awk简介能够熟悉awk工作流程能够理解awk工作原理能够熟悉awk基本语法格式能够理解awk语法选项实例能够熟悉awk内置变量知识讲解awk简介awk被称为文本处理三剑客之一,三个字母分别代表其创建者姓氏地第一个字母。因为它地创建者是三个,分别是AlfredAho,PeterWeinberger,BrianKernighan。awk拥有自己地语言——awk程序设计语言,三位创建者已将它正式定义为"样式扫描与处理语言"。awk是一种报表生成器,对文件内容行各种"排版"操作。它允许您创建简短地程序,这些程序地功能包括读入输入文件,数据排序,处理数据,对输入执行计算以及生成报表等。通过manawk可以获取有关功能说明。awk是一种过程式编程语言或脚本语言解释器,支持条件判断,数组,循环等功能。awk工作流程awk地处理文本与数据地流程方式如下:它逐行扫描文件,从第一行到最后一行,寻找匹配地特定模式地行,并在这些行上行妳想要地操作。如果没有指定处理动作,则把匹配地行显示到标准输出(屏幕);如果没有指定模式,则所有被操作所指定地行都被处理。awk有两个特殊地模式:BEGIN与END,它们分别放置在没有读取任何数据之前及在所有地数据读取完成以后执行。awk工作地整体流程如图所示。从图可以看出,在读取文件内容前,BEGIN后面地指令将被执行;然后读取文件内容并判断是否与特定地模式匹配,如果匹配,则执行正常模式后面地指令;最后执行END模式命令,并输出文档处理后地结果。awk工作原理awk格式为:awk'BEGIN{mands}pattern{mands}END{mands}'BEGIN语句块在awk开始从输入流读取之前被执行,这是一个可选地语句块,如变量初始化,打印输出表格地表头等情况。END语句块在awk在处理完所有地文本之后(如打印所有行后)被执行。对所有行地数据行分析,之后打印出分析结果这类操作,都可以在END语句块完成。它也是一个可选语句块。pattern语句块地通用命令是最重要地部分,它也是可选地。如果没有提供pattern语句块,则默认执行{print},即打印读取地每一行,awk读取地每一行都会执行该语句块。其步骤如下:第一步:执行BEGIN{mands}语句块地语句;第二步:从文件或标准输入(stdin)读取一行,然后执行pattern{mands}语句块,它逐行扫描文件,从第一行至最后一行;第三步:当读至输入流末尾时,执行END{mands}语句块。awk基本语法格式awk地基本语法格式如下:awk'pattern'filename或:awk'{action}'filename或:awk'pattern{action}'filenameawk命令选项如表下所示:命令选项描述-F指定作为输入行地分隔符,默认分隔符为空格或tab键。-v定义变量var=value。''引用代码块。-f-fscriptfileor-filescriptfile,从脚本文件读取awk命令。BEGIN初始化代码块。在对每一行行处理之前,初始化代码,主要是引用全局变量,设置FS分隔符。//匹配代码块。可以是字符串或正则表达式。{}命令代码块。包含一条或多条命令,多条命令使用分号分隔。END结尾代码块,在对每一行行处理之后再执行地代码块,主要是行最终计算或输出结尾摘要信息。awk语法选项实例awk语法选项在工作场景使用颇多。使用方法也有很多,下面通过几个简单地案例来展示一下awk地常用方法。具体参见例八-一~八-八。当在指定/etc/passwd作为输出文件时,awk就会依次读/etc/passwd地每一行执行print命令。awk用法如图所示awk读入有\n换行符分割地一条记录,然后将记录按指定地分隔符划分域,$零则表示所有域,$一表示第一个域,$n表示第n域。默认分隔符是"空格键"或"tab"键。因此,例八-四$一表示登录用户,$三表示登录用户ID,以此类推。[root@tianyun~]#awk-F:'{print$一,$三}'/etc/passwd其步骤解释为:(一)awk使用一行作为输入,并将这一行赋给变量$零,每一行也可称为一个记录,以换行符结束。(二)然后,行被":"(默认为空格或制表符)分解成字段(或域),每个字段放在已编号地变量,从$一开始,最多可达一零零个字段。(三)其,awk使用空格来分隔字段,变量FS来确定字段分隔符。初始时,FS默认为空格。(四)awk打印字段时,将使用print打印,并以空格隔开,注意$一与$三之间有一个逗号,称为输出字段分隔符OFS,OFS默认为空格。awk输出之后,将从文件获取另一行,并将其放在$零,覆盖原来地内容;再将新地字符串分隔成字段并行处理,这一过程将持续到所有行处理完毕。通常情况下,对于每个代码输入而言,awk都会执行一次。然而,在某些编写代码地情况下,可能需要在awk开始处理输入文件地文本之前执行初始化代码。在这种情况下,awk允许用户定义一个BEGIN模块。因为awk在开始处理输入文件之前会执行BEGIN模块,因此,它是初始化FS(字段分隔符)变量,初始化在程序以后会引用地全局变量。awk还提供了另一个特殊模块,叫作END模块。awk在处理输入文件地所有行之后执行这个模块。通常,END模块用于执行最终计算或打印结尾地摘要信息。awk内置变量awk优于grep与sed地主要原因是支持对记录与字段地处理。通常情况下,awk将文本文件地一行当作一个记录,而将一行某些记录当作一个字段。为了操作这些不同地字段,用$一,$二,$三...这样地方式按照一定地顺序表示行(记录)地不同字段。特殊地,awk用$零表示整个行(记录)。系统默认是用空格作为不同地字段之间地分隔符,awk在命令行使用-F地形式来改变这个分隔符。事实上,awk是使用一个内置地变量RS来记录这个分隔符地。awk还有很多这样地内置变量,如记录分隔符变量RS,当前工作地记录数NR等。awk提供了有很多内置变量,了解这些内置变量是很重要地。awk内置变量如表所示。这些内置地变量在使用awk工具时可以被修改或者引用,比如说,可以使用NR这个内置变量改变模式匹配指定工作范围,也可以通过修改记录地分隔符RS让一个特殊字符作为记录地分隔符,而不是换行符。例如,显示/etc/passwd文本文件第七行到第十五行以字符":"分隔地第一字段,第三字段与第七字段,代码表示如下。[root@tianyun~]#awk-F:'NR>=七,NR<=一五{print$一$三$七}'/etc/passwd变量描述FILENAMEawk浏览地文件名。FNR与NR类似,不过多文件记录不递增,每个文件都从一开始。FS设置输入字段分隔符,同-F选项。NF浏览记录地字段个数。例如:awk'{printNF}'file表示显示每行有多少字段$NF最后一个字段地值。例如:awk'{print$NF}'file表示将每行第NF个字段地值打印出来NR已读地记录数,理解为行号,多文件行号递增。例如:awk'NR==五{print}file'表示显示第五行OFS输出数据时,每个字段间以OFS制定地字符作为分隔符。例如:awk'{print$三,$五,$四}'OFS="\n"fileORS输出数据时,每行记录间以OFS制定地字符作为分隔符。例如:awk'{print$三,$五,$四}'ORS="\n"file\$n当前记录地第n个字段,字段间由FS分隔。\$零完整地输入记录。ARGC命令行参数地数目。ARGIND命令行当前文件地位置（从零开始算）。ARGV包含命令行参数地数组。CONVFMT数字转换格式（默认值为%.六g）ENVIRON环境变量关联数组。ERRNO最后一个系统错误地描述。FIELDWIDTHS字段宽度列表（用空格键分隔）。IGNORECASE如果为真,则行忽略大小写地匹配。OFMT数字地输出格式（默认值是%.六g）。RLENGTH由match函数所匹配地字符串地长度。RS记录分隔符（默认是一个换行符）。RSTART由match函数所匹配地字符串地第一个位置。SUBSEP数组下标分隔符（默认值是/零三四）。FIELDWIDTHS以空格分隔地字段宽度,如果指定此变量,awk将会用指定地宽度替换变量FS指定地分隔符,具体参见例八-九。FS作为指定分隔符,同-F选项。FS作为输入分隔符,OFS作为输出分隔符。$零指地是整行记录。NR指当前文件地总行号递增。FNR指当前文件地行数不递增。NF指浏览记录地字段个数,以冒号作为分隔符,记录字段地个数。$NF指最后一个字段地值。RS记录分隔符(默认是一个换行符),以空格作为分隔符。ORS输出数据时,默认输出一条记录地分隔符。以空格作为分隔符,将文件每一行合并为一行。第二课时（sed支持正则表达式,sed案例实战）内容回顾回顾上节内容,引出本课时主题。上节已经介绍了awk简介,awk工作流程,awk工作原理,awk语法格式,awk内置变量,下面将介绍,awk模式,awk流程控制,awk地函数,从而引出本节内容。明确学目地能够理解awk模式能够熟悉if条件语句能够熟悉while循环能够熟悉for循环能够理解break命令,continue命令,exit命令能够熟悉数组能够理解awk内建函数能够熟悉awk自定义函数知识讲解awk模式awk允许使用多种运算,如+,-,*,/,%等,同时,awk也有++,--,+=,-=,=+,=-类似地运算功能,这些运算功能使编写awk程序更加便捷。另外,awk还提供了部分内置地运算函数(如log,spr,sin,cos等)以及一些用于对字符串行运算操作地函数(如length,substr等)。这些函数地引用增强了awk地运算功能。awk支持多种关系判断,如常用地==(等于),!=(不等于),>(大于),>=(大于等于),<=(小于等于)等;同时,awk用作样式匹配时,还提供了~(匹配于)与!~(不匹配于)判断;awk还允许使用!(非),&&(与),||(或)与括号()等逻辑运算符行多重判断,这增强了awk地功能。表为常见地运算符与描述。运算符描述=等于,精确比较。例如:awk'$三=="四八"{print$零}'file只打印第三个字段等于"四八"地记录！=不等于,精确比较。例如:awk'$一!="abc"file'表示提取第一个字段不是abc地行~匹配,与==相比不是精确比较。例如:awk'{if($四~/abc/)print$零}'file表示如果第四个字段包含abc,就打印整行！~不匹配,不精确比较。例如:awk'$零!~/abc/'file表示打印整条不包含abc地记录&&与。例如:awk'{if($一=="a"&&$二=="b")print$零}'file表示第一,第二个字段值是a与b,打印整行||或。例如:awk'{if($一=="a"||$一=="b")print$零}'temp表示如果第一,第二个字段值是a或b,打印整行>大于。例如:awk'$一>五零零{print$二}'file表示如果字段一地值大于五零零,则打印字段二>=大于等于。例如:awk'$一>=四零零{print$二}'file表示如果字段一地值大于等于四零零,则打印字段二<小于。例如:awk'$一<二零零{print$二}'file表示如果字段一地值小于二零零,则打印字段二<=小于等于。例如:awk'$一<=一零零{print$二}'file表示如果字段一地值小于等于一零零,则打印字段二+加。例如:awk'{print$三+一零}'file表示字段三数值加一零-减。例如:awk'{print$三-一零}'file表示字段三数值减一零*乘。例如:awk'{print$三*一零}'file表示字段三数值乘一零/除。例如:awk'{print$三/一零}'file表示字段三数值除一零下表为awk正则匹配元字符与描述。元字符解释^行首定位符。例如:/^root/表示匹配所有以root开头地行$行尾定位符。例如:/root$/表示匹配所有以root结尾地行.匹配任意单个字符。例如:/r..t表示字段三数值减一零*匹配零个或多个前导字符（包括回车）。例如:/a*ool/表示匹配零个或多个a之后紧跟着ool地行,比如ool.aaaaool等+匹配一个或多个前导字符。例如:/a+b/表示匹配一个或多个a加b地行,比如ab,aab等?匹配零个或一个前导字符。例如:/a?b/表示匹配b或ab地行[]匹配指定字符组内地任意一个字符。例如:/^[abc]表示以字母a或b或c开头地行[^]匹配不在指定字符组内任意一个字符。例如:/^[^abc]表示匹配不以字母a或b或c开头地行()子表达式组合。例如:/(root)+/表示一个或多个rool组合,当有一些字符需要组合时,使用括号括起来|或者地意思。例如:/(root)|B/表示匹配root或B地行\转义字符。例如:/a\/\//表示匹配a//~,!~匹配,不匹配地条件语句。例如:$一~/root/表示匹配第一个字段包含字符root地所有记录x{m}x{m,}x{m,n}x重复m次,x重复至少m次,x重复至少m次但不超过n次,需要指定参数-posix或者—re-interval没有该参数不能使用该模式。例如:/(root){三}/,/(root){三}/,/(root){五,六}/。需要注意一点地是,root加括号与不加括号地区别,x可以表示字符串也可以是一个字符,所以/root\{五\}/表示匹配roo再加上五个t,及roottttt,/\(root\)\{二,\}/则表示匹配rootrootrootroot等。if条件语句awk提供了完整地流程控制语句,下面详细说明。if…else语句其语法格式为。if(条件表达式)语句一else语句二或:if(条件表达式)语句一;else语句二格式地"语句一"可以是多个语句,如果为了方便awk判断,可以将多个语句用{}括起来。awk分支结构允许嵌套,其格式为。if(条件表达式一){if(条件表达式二)语句一else语句二}语句三else{if(条件表达式三)语句四else语句五}语句六这种嵌套方式在实际操作过程比较复杂地分支结构,读者了解即可,while循环while循环语法结构为:while条件表达式{语句}awk除while循环结构外,还有"do...while"循环结构。它在代码块结尾处对条件求值,而不像标准while循环那样在开始处求值,其语法结构为: do 语句 while(条件表达式)与一般地while循环不同,由于在代码块之后对条件求值,"do...while"循环结构永远都至少执行一次。换句话说,当第一次遇到普通while循环时,如果条件为假,将永远不执行该循环。其语法结构示例如下。 [root@tianyun~]#vimb.txt 一一一二二二 三三三四四四五五五 六六六七七七八八八九九九for循环for循环数组遍历地方式格式为:for(变量in数组){语句}固定循环地方式格式为:for(变量;条件;表达式){语句}for语句首先执行初始化语句,然后再检查条件。如果条件为真,则执行语句,然后执行递增或者递减操作。只要条件为真,循环就会一直执行。每次循环结束都会行条件检查,若条件为假则结束循环。break命令,continue命令,exit命令在Linuxawk地while语句,do...while与f语句可以使用break命令,continue命令控制流程走向。break断当前正在执行地循环并跳到循环外执行下一条语句,continue从当前位置跳到循环开始处执行,exit用于退出语句循环。continue语句用于在循环体内部结束本次循环,从而直接入下一次循环迭代。exit用于结束脚本程序地执行。数组awk处理文本数组是必不可少地,由于数组索引(下标)可以是数字与字符串,索引(下标)一般称作key,并且与对应数组元素地值关联。因此,awk地数组称为关联数组(AssociativeArrays)。另外,数组元素地key与值都放在awk内部程序地某一张表,通常使用一定散列算法来存放,所以数组元素并不是按照一定顺序来放地。同理,也不是按照一定地顺序打印出来地,但可以使用管道来对所需地数据再次操作来达到效果。awk地数组不必提前声明,也不必声明大小,因为它在运行时可以自动地增加或减少。数组元素用零或空字符串来初始化,这根据上下文而定。一般而言,awk地数组用来从记录收集信息,可以用于计算总与,统计单词以及跟踪模板被匹配地次数等。下图为awk数组结构。如上图可以发现,awk数组就与酒店一样,数组地名称就像是酒店名称,数组元素名称就像酒店房间号码,每个数组元素里面地内容就像是酒店房间里面地,下图是数组图。数组使用地语法格式为。定义数组:数组名[下标]=元素值array_name[index]=value其索引下标可以是数字,也可以是字符。使用数组:数组名[下标]输出数组元素地值:print数组名[下标]遍历数组循环结构:for(变量名in数组名){print数组名[变量名]}awk地函数定义,调用用户本身地函数是每个高级语言都具有地功能,awk也不例外。原始地awk并不提供函数功能,只有在nawk或较新地awk版本才可以增加函数。函数地使用包含两部分:函数地定义与函数调用。其,函数定义又包括函数名,函数参数,函数体。awk分为内建函数与自定义函数,下面分别行讲解。awk内建函数下表一为字符串函数及其作用。下表二为算术函数及其作用。内建函数作用gsub(x,y,z)在字串z使用字串y替换与正则表达式x相匹配地所有字串,z默认为$零。相当于sed地s///gsub(x,y,z)在字串z使用字串y替换与正则表达式x相匹配地第一个字串,z默认为$零。相当于sed地s///length(string)返回string参数指定地字符串地长度（字符形式）。如果未给出string参数,则返回整个记录地长度（$零记录变量）。getline从输入读取下一行内容。index(string一,string二)在由string一参数指定地字符串（其有出现string二指定地参数）,返回位置,从一开始编号。如果string二参数不在string一参数出现,则返回零。substr(string,M,[N])返回具有N参数指定地字符数量字串。字串从string参数指定地字符串取得,其字符以M参数指定地位置开始。M参数指定为将string参数地第一个字符作为编号一。如果未指定N参数,则字串地长度将是M参数指定地位置到string参数地末尾地长度。match(string,Ere)在string参数指定地字符串（Ere参数指定地扩展正则表达式出现在其）返回位置（字符形式）,从一开始编号,或如果Ere参数不出现,则返回零（零）RSTART特殊变量设置为返回值,RLENGTH特殊变量设置为匹配地字符串地长度,或如果未找到任何匹配,则设