词法分析设计实验报告(附代码)

1、实验一词法分析设计实验学时：4实验类型：综合实验要求：必修一、实验目的通过本实验的编程实践，使学生了解词法分析的任务，掌握词法分析程序设 计的原理和构造方法，使学生对编译的基本概念、原理和方法有完整的和清楚的 理解，并能正确地、熟练地运用。二、实验内容用VC+/VB/JAVA语言实现对C语言子集的源程序进行词法分析。通过输 入源程序从左到右对字符串进行扫描和分解，依次输出各个单词的内部编码及单 词符号自身值；若遇到错误则显示“Error ”，然后跳过错误部分继续显示时进行标识符登记符号表的管理。以下是实现词法分析设计的主要工作：(1)从源程序文件中读入字符。(2)统计行数和列数用于错误单词的定

2、位。(3)删除空格类字符，包括回车、制表符空格。(4)按拼写单词，并用(内码，属性)二元式表示。(属性值一一token的机内 表示)(5)如果发现错误则报告出错(6)根据需要是否填写标识符表供以后各阶段使用 。单词的基本分类：关键字：由程序语言定义的具有固定意义的标识符。也称为保留字例如if、for、while、printf ；单词种别码为 1。标识符：用以表示各种名字，如变量名、数组名、函数名；常数： 任何数值常数。如 125, 1,0.5,3.1416 ;运算符：+、-、*、/;关系运算符：、=、=、=、 "分界符：；、，、(、)、；三、实验要求1、编程时注意编程风格：空行的使用

3、、注释的使用、缩进的使用等。2、将标识符填写的相应符号表须提供给编译程序的以后各阶段使用。3、根据测试数据进行测试。测试实例应包括以下三个部分 ：全部合法的输入。各种组合的非法输入。由记号组成的句子。4、词法分析程序设计要求输出形式：例：输入VC+语言的实例程序：If i=0 thenn+;a< = 3b %);输出形式为：单词二元序列类型位置（行，列）（单词种别，单词属性）for(1,for )关键字(1,1)i(6,i )标识符(1, 2)=(4,=)关系运算符(1, 3)0(5, 0 )常数(1 , 4)then(1 , then)关键字(1, 5)n(6,n )标识符(1 , 6

4、)+ErrorError(1, 7)；(2,;)分界符(1, 8)a(6,a )标识符(2, 1)< =(4,<二)关系运算符(2, 23bErrorError(2, 4)%ErrorError(2, 4)(2,)分界符(2, 5)；(2,;)分界符(2, 6)实验报告正文：功能描述：该程序具有词法分析功能，即面对一段程序源代码，通过该程序，能检查出源代码是否由词法错误。三、词法分析实验设计思想及算法：首先构造六个表，key="auto","break","case","catch","cha

5、r","class","const","continue"," default","delete","do","double","else","enum","float","for","if","int","lo ng","new","private","pr

6、otected","public","register","return","short","st atic","struct","switch","this","void","while","then" 关键字表,单词种别 码1;Delimiter="","(",")","","

7、;",",",".","",""分界符表单词种别码 2Operator="+","-","*","/"算术运算符表单词种别码3R_operators="<","<=","=",">",">=",关键字表，单词种别码 1;string Number100; 常数表单词种别码5;string Identifi

8、er100; 标示符表单词种别码6;构造关键字判断函数Iskey(),字母判断函数Isletter(),数字判断函数Isnumber();构造标示符判别函数InsertId(),若输入的标示符在标示符数组Identifier 中, 返回其下标，若不在，将该标示符插到数组末尾。构造标示符判别函数InsertNumber()，若输入的数字在数字数组Number口中, 返回其下标，若不在，将该数字插到数组末尾。具体分析函数analyse。具体实现输入源代码的识别anaiyse()构造思路，程序设计图：(knpclnteO生成关键字表和分碗奏当前的首字符是什么?造人标识将表形成(Lpuinteij形成

9、(c,pointer)薇成值pointer)摘出单洞眄担，属性)词法分析了程序的简化框图综合以上分析，画出整个程序的运行分析程序图，如下:11回退打开源文件初始化文件指针M识别指针内容将字符加 入字符数 组 Word口是指向下一字符跳过该字符是字母惑数字. 吗/否输出word将word与关键 字表key进行匹输出word为 普通标示符为关键字识别指针内容.是数字吗）输出word 为常数将字符 加入字 符数组 Word口将字符加入字符数 组 Word口将字符 加入字 符数组 Word口输出word为界符指向下一字符输出Word 内容为不 可识别/整个程序的运行分析程序图软件的测试方法和测试结果:

10、 首先，将要分析的源代码写入一个文本，存于磁盘中，然后运行程序，输入源代码文件存放的路径，若输入路径正确，程序将自动分析源代码，若输入路径不正确，程序将显示，路径错误，请重新输入的提示。下面为具体的运行实例：源代码为：If i=0 thenn+;a< = 3b %)Source运算符thenthen>Errorcont inue关系运算符Error Error关键字 标识符E*l*nr人源方性名（包括蹬 路建稽的请输大滤输出满足要求实验总结（设计的特点、不足、收获与体会）：通过此次实验，让我了解到如何设计、编制并调试词法分析程序，熟悉了构造词法分析程序的手工方式的相关原理，加深了对

11、编译原理词法分析的理解，本次使用C+语言直接编写此法分析程序，也让我重新熟悉了 C+语言的相关内容，加深了对C+语言的用途的理解。本程序的数据输入采取直接从文件中读取，而不是由键盘输入，因此在测试过程中，输入得到大大简化，但是本程序的关键 字表只初始化了一部分关键字，还可继续扩充（只需扩大数组，向其中补充要添 加的关键字），而且程序的测试数据存在不足，程序可能存在未发现的漏洞，以 上两点有待改善。附录该程序的源代码:#include <iostream>#include<string>using namespace std;/数据定义#define MAX 33char

12、 ch =''static int line=1,row=0;int NumberCount=0,IdCount=0;stringkey="auto","break","case","catch","cha r","class","const","continue","default","de lete","do","double", &qu

13、ot;else","enum","float","for","if","int","long" ,"new","private","protected","public","reg ister","return","short","static", "struct","switc

14、h","this","void","while","then"/关键字表单词种别硝stringDelimiter="","(",")","","",",",".","",""/分界符表单词种别52string Operator="+","-","*","/&q

15、uot;/算术运算符表单词种别53stringR_operators="<","<=","=",">",">="/关系运算符表单词种别54string Number100;而数表单词种另1J码 string Identfier100;晰示符表单词种别码6/数据分析int Iskey(string c)关键字判断int i;for(i=0;i<MAX;i+) if(pare(c)=0) return 1;return 0;/判断是否为字母int IsL

16、etter(char c) if(c<='z')&&(c>='a')|(c<=Z)&&(c>='A') if(ch<='Z')&&(ch>='A')ch=ch+32;冰专换成小写return 1;else return 0;int IsNumber(char c)/ 判断是否为数字if(c>='0'&&c<='9') return 1;else return 0;/将arr

17、中的标示符插入符号蓑且返回符 号表的指针int InsertId(string s)for(int i=0;i<IdCount;i+)if(Identifieri=s) return i;break;else if(IdCount=i+1) IdentifierIdCount=s; return IdCount;IdCount+;/将arr中的常实数插入常数M且返回常 数表的指针int InsertNumber(string s)for(int i=0;i<NumberCount;i+)if(Numberi=s) return i;break;else if(NumberCount

18、=i+1) NumberNumberCount=s; return NumberCount;NumberCount+;void analyse(FILE *fpin)/arr相当于课本中般rToken string arr=""while(ch=fgetc(fpin)!=EOF)判断是否读取到文件末尾或者读取出错arr=""；if(ch=' '|ch='t'|ch='n')删除空格类字符，包括回车、制表符空格if(ch='n') line+; row=0;else if(IsLetter(c

19、h)while(IsLetter(ch)|IsNumber(ch) arr=arr+ch;ch=fgetc(fpin);fseek(fpin,-1L,SEEK_CUR)伊指针回移一个位置if (Iskey(arr)row+; 识别出一个字符，列增加一cout<<arr<<"tt( 1,"<<arr<<")"<<"tt 关键字，<<"tt("<<line<<","<<row<<"

20、)"<<endl;elserow+; /识另 U 出一个字符，列增加一InsertId(arr);cout<<arr<<"tt( 6,"<<arr<<")"<<"tt标识符"<<"tt("<<line<<","<<row<<")"<<endl；)/处理常数else if(IsNumber(ch)(while(IsNumber

21、(ch)/11ch='.'&&IsNum ber(fgetc(fpin)(arr=arr+ch;ch=fgetc(fpin);)if(IsLetter(ch)(while(IsLetter(ch)|IsNumber(ch)(arr=arr+ch;ch=fgetc(fpin);)fseek(fpin,-1L,SEEK_CUR);row+;cout<<arr<<"ttError"<<"ttError"<<"tt("<<line<<&qu

22、ot;,"<<row<<")"<<endl;)elseInsertNumber(arr);row+; 识另 U出一个字符，列增加一cout<<arr<<"tt( 5,"<<arr<<")"<<"tt 常数"<<"tt("<<line<<","<<row<<")"<<en dl;/处

23、理算符 elserow+;arr=ch;switch(ch)case'+':ch=fgetc(fpin);if(ch='('|IsNumber(ch)|IsLetter(ch) )fseek(fpin,-1L,SEEK_CUR);cout<<"+"<<"tt( 3,+ )”<<"tt 算术 运算符"<<"tt("<<line<<","<<row<<")"<

24、;<en dl; elsecout<<arr+ch<<"ttError"<<"ttError" <<"tt("<<line<<","<<row<<")"<<endl ;break;case'-' :ch=fgetc(fpin);if(ch='('|IsNumber(ch)|IsLetter(ch)fseek(fpin,-1L,SEEK_CUR);cou

25、t<<"- <<"tt( 3,- )"<<"tt 算术运算符 "<<"tt("<<line<<","<<row<<")"<<en dl;elsecout<<arr+ch<<"ttError"<<"ttEr ror"<<"tt("<<line<<&qu

26、ot;,"<<row<<")"<< endl;break;case'*' :cout<<"-"<<"tt( 3,*)"<<"tt 算术运算符"<<"tt("<<line<<","<<row<<")"<<en dl;case'=' :ch=fgetc(fpin);if(ch=

27、'=')cout<<"="<<"tt( 4,= )"<<"tt 关系 运算符"<<"tt("<<line<<","<<row<<")"<<endl;elsefseek(fpin,-1L,SEEK_CUR);cout<<"="<<"tt( 4,=)"<<"tt 关系运算符

28、 "<<"t("<<line<<","<<row<<")"<<endl;break;case'/' :cout<<ch<<"tt( 3,"<<ch<<")"<<"tt算术运算符"<<"tt("<<line<<","<<row<&

29、lt;")"<<en dl;break;case'(':case')':case'':case'':case'':case'.':case',':case'':case'' :cout<<ch<<"tt( 2,"<<ch<<")"<<"tt分界符"<<"tt("<&

30、lt;line<<","<<row<<")"<<en dl;break;case'>' :ch=fgetc(fpin);if(ch='=')cout<<">="<<"tt( 4,>=)"<<"tt关系运算符"<<"tt("<<line<<","<<row<<")"<<en dl;elsecout<<">"<<"tt( 4,> )"<<"tt 关系运算符"<<"tt("<<line<<","<<row<<")"<<en dl;fseek(fpin,-1L,SEEK_CUR);break;case'<' :ch=fgetc(fpin);if(ch='=&#