编译原理 词法分析器.doc

一、实验目的和要求：设计并实现一个PL/0语言(或其它语言,如C语言)的词法分析程序，加深对词法分析原理的理解。二、实验原理：词法分析是从左向右扫描每行源程序的符号，拼成单词，换成统一的机内表示形式TOKEN字，送给语法分析程序。TOKEN字是一个二元式：（单词种别码，自身值）。PL/0语言单词的种别码参见教材（或自行设定），单词自身值按如下规则给出：1 标识符的自身值是它在符号表的入口地址。2 常数的自身值是常数本身（或它的二进制数值）。3 关键字和界限符的自身值为本身。三、 实验步骤与要求1、设计的词法分析器符合软件工程的要求。 2、 编制程序,此程序应具有如下功能: 1） 输入:字符串(待进行词法分析的源程序),输出:由(种别码,自身值)所组成的二元组序列。2） 功能:a. 滤空格b. 识别保留字c. 识别标识符d. 拼数e. 拼复合单词: 例如：=、 =、 :=3） 检查如下错误：a. 程序语言的字符集以外的非法字符b. 单词拼错,如9A88,而对于将begin拼写成begon的错误,只须把begon当成标识符即可3、 请指导教师检查程序和运行结果，评定成绩。4、 撰写并上交实验报告。 四、试验设计和算法分析：实验原理： 程序流程：置初值调用扫描子程序输出串结束输出单词二元组是否结束词法分析主程序示意图待分析的简单语言的词法(1) 关键字：begin if then while do end所有关键字都是小写。（2）运算符和界符： ： = + - * / = = ; ( ) #(3)：其他单词是标识符（ID）和整型常数（NUM），通过以下正规式定义：ID=letter(letter | digit)*NUM=digit digit*(4)空格由空白、制表符和换行符组成。空格一般用来分隔ID、NUM、运算符、界符和关键字，词法分析阶段通常被忽略。、设计的词法分析器符合软件工程的要求。 2、 编制程序,此程序应具有如下功能: 4） 输入:字符串(待进行词法分析的源程序),输出:由(种别码,自身值)所组成的二元组序列。5） 功能:f. 滤空格g. 识别保留字h. 识别标识符i. 拼数j. 拼复合单词: 例如：=、 =、 :=6） 检查如下错误：c. 程序语言的字符集以外的非法字符d. 单词拼错,如9A88,而对于将begin拼写成begon的错误,只须把begon当成标识符即可词法分析程序的算法思想算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。三、代码：#include stdio.h #include string.h #include conio.h #include ctype.h char prog80=0, token8; /*存放构成单词符号的字符串*/char ch;int syn, /*存放单词字符的种别码*/ n, sum, /*存放整数型单词*/ m,p; /*p是缓冲区prog的指针，m是token的指针*/char *rwtab6=begin,if,then,while,do,end;void scaner()m=0;sum=0;for(n=0;n8;n+)tokenn=0;ch=progp+;while(ch= )ch=progp+;if(isalpha(ch) /ch为字母字符while(isalpha(ch)|isdigit(ch) /ch 为字母字符或者数字字符tokenm+=ch;ch=progp+;tokenm+=0;ch=progp-;syn=10;for(n=0;n6;n+)if(strcmp(token,rwtabn)=0) /字符串的比较syn=n+1;break;elseif(isdigit(ch) /ch是数字字符while(isdigit(ch) /ch是数字字符sum=sum*10+ch-0;ch=progp+;ch=progp-;syn=11;elseswitch(ch) /匹配表示符case)syn=21;tokenm+=ch;else if(ch=)syn=22;tokenm+=ch;else syn=20; ch=progp-;break;case:m=0;tokenm+=ch;ch=progp+;if(ch=)syn=24;tokenm+=ch;elsesyn=23;ch=progp-;break; case:m=0;tokenm+=ch;ch=progp+; if(ch=) syn=18; tokenm+=ch; else syn=17; ch=progp-; break; case10:syn=12;token0=n;break; case11:syn=12;token0=n;break; case+:syn=13;token0=ch;break; case-:syn=14;token0=ch;break; case*:syn=15;token0=ch;break; case/:syn=16;token0=ch;break; case=:syn=25;token0=ch;break; case;:syn=26;token0=ch;break; case(:syn=27;token0=ch;break; case):syn=28;token0=ch;break; case#:syn=0 ;token0=ch;break; default:syn=-1;main() printf(nn对应信息:n 1.1-6为关键字n 2.10-11为字符或常量n 3.12-28为表示符n); p=0; printf(nplease input string:n); do ch=getchar(); progp+=ch; while(ch!=#); p=0; do scaner(); switch(syn) case 11: printf(%d,%d)n,syn,sum);break; case -1: printf(n ERROR;n);break; default: printf(%d,%s)n,syn,token); while(syn!=0); getch();四、实验结果及总结：输出：对应信息:1.1-6为关键字2.10-11为字符或常量3.12-28为表示符please input string:int i = 0; if(i=3) i+; end#(10,int)(10,i)(25,=)(11,0)(26,;)(2,if)(27,()(10,i)(25,=)(25,=)(11,3