词法分析程序的实现代码以及分析

1、实验一词法分析程序的实现一、实验目的掌握程序设计语言的词法分析程序的手工实现方法二、实验内容构造miniC语言的词法分析程序，程序要求能对输入的字符串流进行词法分析，并输出相应的单词。miniC语言的单词包括整数、标识符、分隔符、运算符和关键字，编制相应的词法分析程序。三、实验参考1根据以下的正规式，画出状态转换图；标识符ID=letter(letter|digit)*letter=a|.|z|A|.|Zdigit=0|.|9十进制整数0|(1|2|3|4|5|6|7|8|9)(0|1|2|3|4|5|6|7|8|9)*运算符+-*/<<=!=>>=分隔符()；,关键字

2、ifelsereturnintvoidwhilemain2. 单词的分类可将所有标识符归为一类；将整数归为一类(或者每种进制的整数各为一类)；运算符、关键字和分隔符则可采取一词一类。3. 建立符号表可事先建立一关键字表，以备在识别关键字时进行查询。变量名表及常数表则在词法分析过程中建立。4. 程序的输出形式所输出的每一单词，均按形如(TOKEN，VALUE)的二元式编码。对于变量标识符和常数，TOKEN字段为相应的类别码，VALUE字段则是该标识符、常数在其对应符号表中登记项的序号。或者采用三元式(TYPE,TOKEN,VALUE),如下表：单词符号种别编码助记符内码值while1whileM

3、l2ifeTSe3elseswitch4switchcase5case标识符6idid在符号表中的位置常数7numnum在符号表中的位置+8+9卡10*<=11relopLE<11relopLT11relopEQ12=I135根据状态图，设计词法分析函数intscan()，完成以下功能：1) 从键盘或文件读入源程序数据，逐个分析出单词并输出其二/三元式2) 建立符号表，打印符号表中的值以供查看分析是否正确。在编程之前需要从简到复杂，考虑好用到的数据结构：A:先写出各类单词的识别功能，即能对给定的单词识别出是不是标识符,关键字等。B：之后把所有识别功能连接起来，能识别给出的字符串是哪

4、个，打印提示(按二元式或三元式)C：从文件里读取字符串功能。识别出文件里所有单词类型，暂不考虑出错情况。D：设计符号表的数据结构，把识别到的标识符加入到符号表中。6给出一个测试程序，调用函数scan()，输出单词种别和属性。比如测试程序如下：voidmain()inta,b;b=a*2;四、实验报告要求1)词法的正规式描述2)画出状态转换图3) 单词种别码定义说明(参见课本50页)4) 词法分析程序使用的数据结构和主要算法说明。5) 测试程序及其词法分析结果的显示。#include<stdio.h>#include<string.h>#include<iostre

5、am.h>charprog80,token8;charch;intsyn,p,m=0,n,row,sum=0;char*rwtab6="begin","if","then","while","do","end"voidscaner()/*else共分为三大块，分别是标示符、数字、符号，对应下面的ifif和else*/for(n=0;n<8;n+)tokenn=NULL;ch=progp+;while(ch='')ch=progp;p+;if(ch&

6、gt;='a'&&ch<='z')|(ch>='A'&&ch<='Z')/可能是标示符或者变量名m=0;while(ch>='0'&&ch<='9')|(ch>='a'&&ch<='z')|(ch>='A'&&ch<='Z')tokenm+=ch;ch=progp+;tokenm+='0'

7、p-;syn=10;for(n=0;n<6;n+)/将识别出来的字符和已定义的标示符作比较if(strcmp(token,rwtabn)=0)syn=n+1;break;elseif(ch>='0'&&ch<='9')/数字sum=0;while(ch>='0'&&ch<='9')sum=sum*10+ch-'0'ch=progp+;p-;syn=11;if(sum>32767)syn=-1;elseswitch(ch)/其他字符case'

8、<':m=0;tokenm+=ch;ch=progp+;if(ch='>')syn=21;tokenm+=ch;elseif(ch='=')syn=22;tokenm+=ch;elsesyn=23;p-;break;case'>':m=0;tokenm+=ch;ch=progp+;if(ch='=')syn=24;tokenm+=ch;elsesyn=20;p-;break;case':':m=0;tokenm+=ch;ch=progp+;if(ch='=')syn=18;

9、tokenm+=ch;elsesyn=17;p-;break;case'*':syn=13;token0=ch;break;case'/':syn=14;token0=ch;break;case'+':syn=15;token0=ch;break;case'-':syn=16;token0=ch;break;case'=':syn=25;token0=ch;break;case'':syn=26;token0=ch;break;case'(':syn=27;token0=ch;bre

10、ak;case')':syn=28;token0=ch;break;case'#':syn=0;token0=ch;break;case'n':syn=-2;break;default:syn=-1;break;intmain()p=0;row=1;cout<<"Pleaseinputstring:"<<endl;docin.get(ch);progp+=ch;while(ch!='#');p=0;doscaner();switch(syn)case11:cout<<"("<<syn<<","<<sum<<")"<<endl;break;case-1:cout<<"Errorinrow"<<row<<"!"<<