基于LEX的词法分析器实验报告

1、 编译原理课程实验报告实验名称： 基于LEX的词法分析器 学生姓名： 赵 宁 学生学号： 2013020109 指导 教 师 毛 静 一、实验目标自动构造C-语言的的词法分析器，要求能够掌握编译原理的基本理论,，理解编译程序的基本结构，掌握编译各阶段的基本理论和技术，掌握编译程序设计的基本理论和步骤.，增强编写和调试高级语言源程序的能力，掌握词法分析的基本概念和实现方法，熟悉C-语言的各种Token。二、实验原理及方法Lex输入文件由3个部分组成：定义集（definition），规则集（rule）和辅助程序集（auxiliary routine）或用户程序集（user routine）。这三个

2、部分由位于新一行第一列的双百分号分开，因此，Lex输入文件的格式如下definitions%rules%auxiliary routines而且第一部分用“%”和“%”括起来。第一和第三个部分为C语言的代码和函数定义，第二个部分为一些规则。定义正则表达式如下 ID = letter letter*NUM = digit digit*Letter = a|z|A|ZDigit = 0|9Keyword = else|if|int|return|void|whileSpecial symbol = +|-|*|/|<|<=|>|>=|=|!=|=|;|，|（|）|/*|*/

3、White space = “ ”Enter = n在lex中的构造letter A-Za-zdigit 0-9id (letter|_)(letter|digit|_)*error_id (digit)+(letter)+ num digit+whitespace t+enter n+构造DFA图三、实验内容l Win7下lex 与 yacc的安装配置；l 利用Parser Genarator的词法分析器构造四、实验步骤1) Win7下lex 与 yacc的安装配置1、lex的安装首先，下载下载flex和bison.其次，安装完毕后，将c:gnuwin32lib里面的libfl.a和liby

4、.a复制到C:MinGWlib里面。再者，设置环境变量。最后，测试安装是否成功。2、使用lex生成此法分析器：新建文本文件，更改名称为a.lex，敲入下面代码-词法分析器的源代码%int wordCount = 0;int numcount = 0;%chars A-Za-z_'."numbers (0-9)+delim " "ntwhitespace delim+words chars+%while ECHO; printf("%sn",yytext);words wordCount+; /* increase the word co

5、unt by one*/ whitespace /* do nothing*/ (0-9)+ numcount+; /* one may want to add some processing here*/ %void main()printf("ok1n");yylex(); /* start the analysis*/printf("ok2n");printf(" No of words: %dn number: %dn", wordCount, numcount);return 0;int yywrap()return 1;2

6、、新建文本文件，更名为b.c，敲入下面代码 -此为输入源代码asd asdf 23 qa1b2!#while 3、打开菜单，运行，输入cmd。输入：cd 文件夹路径输入：flex a.lex 回车后生成一个 lex.yy.c文件输入：gcc -o a lex.yy.c -lfl 回车后生成一个a.exe文件，现在我们已得到了一个简易的词法分析器，下面就是运用次词法分析器，分析下b.c文件输入：a.exe <b.c> a.txt 回车后生成一个a.txt文件2) 利用Parser Genarator的词法分析器构造l 在Lex中的规则定义构造定义识别保留字规则"int&qu

7、ot;|"else"|"return"|"void"|"if"|"while" Upper(yytext,yyleng);printf("%d 行 ",lineno);printf("%s reserved wordn",yytext);/保留字定义识别数字规则num printf("%d 行 ",lineno);printf("%s NUMn",yytext);/数字定义识别专用符号规则","|

8、""|"("|")"|""|""|"*"|"/"|"+"|"-"|">"|"<"|">="|"<="|"="|"!="|"="|"/*"|"*/" printf("%d 行 ",lineno);p

9、rintf("%s special symboln",yytext);/特殊符号定义识别标识符规则id printf("%d 行 ",lineno); printf("%s IDn",yytext);/标识符定义识别错误的字符串规则当开头为数字的后面为字母的字符串时，是错误的标识符。error_id printf("error:%sn",yytext);/以数字开头的字符自动报错定义忽略空格规则whitespace /* skip whitespace */忽略空格定义忽略回车规则enter lineno+;/遇到

10、回车自动加行号忽略l 辅助程序集中包括主函数main （）和辅助函数toupper（）。l 程序代码实现Lex代码/定义集，包括头文件和变量定义%#include <ctype.h>#include <stdio.h>#include <string.h>#include <stdlib.h>int lineno=1;/定义行号%/定义正则表达式letter A-Za-z /字母digit 0-9 /数字id (letter|_)(letter|digit|_)* /开头为字母的标识符error_id (digit)+(letter)+ /开头为

11、数字的错误标识符num digit+ /数字集合whitespace t+ /空格enter n+ /回车/定义识别规则%/识别保留字"int"|"else"|"return"|"void"|"if"|"while" Upper(yytext,yyleng);printf("%d 行 ",lineno); /打印行号printf("%s reserved wordn",yytext);/输出保留字/识别数字num printf(&quo

12、t;%d 行 ",lineno); /打印行号printf("%s NUMn",yytext);/输出数字/识别专用符号","|""|"("|")"|""|""|"*"|"/"|"+"|"-"|">"|"<"|">="|"<="|"="|&quo

13、t;!="|"="|"/*"|"*/" printf("%d 行 ",lineno); /打印行号printf("%s special symboln",yytext);/输出特殊符号/识别标识符id printf("%d 行 ",lineno);/打印行号 printf("%s IDn",yytext);/打印标识符/识别错误的标识符error_id printf("%d 行 ",lineno);printf("e

14、rror: %sn",yytext);/以数字开头的字符自动报错/识别空格whitespace /* skip whitespace */忽略空格/识别回车enter lineno+;/遇到回车自动加行号忽略%/转换大小写Upper(char *s,int l)int i;for(i=0;i<l;i+)si=toupper(si);/将保留字变为大写/主函数main(void) /定义输入文件名变量 char infilename400; printf("输入文件名:"); scanf("%s",&infilename); yyin = fopen(infilename,"r");/读取文件 printf("开始词法分析： n"); return yylex();5、 测试过程及结果(1) Win7下lex 与 yacc的安装配置测试安装是否成功，测试结果如图所示