编译原理比较复杂的词法分析器 含代码

1、实验报告二词法分析一、总体设计思想1）实验目的：设计编制并调试一个词法分析程序，加深对构造词法分析器的原理和技术的理解与应用。2）实验具体要求：针对计算机高级程序语言C语言子语言，运用恰当的词法分析技术线路，设计和实现C语言子语言的词法分析器。Ø 编程语言：C语言/JAVA语言Ø 平台选择：Linux/WindowsØ 技术线路( 任选其一)n 正规式NFADFAmin DFA程序设计n 正规文法NFADFAmin DFA程序设计Ø 词法分析器程序输出形式，参见输出形式设计Ø 具有出错处理功能C语言子语言词法描述涉及的单词类如下：（1）关键字m

2、ain if else while do for int void char（2）运算符和界符=*<<=>>=!= =;()：# 注：#为结束标志符，详见程序框架（3）标识符正规式：ID=letter(letter|digit)*（4）整型常数正规式：NUM= digit(digit)*3） 词法分析器构造原理： 词法分析器就是根据语言的此法规则构造出识别其单词的有限自动机，它是一个数学模型，先给出识别各类单词的状态转换图，再将各类单词的状态转换图的初始状态合并成一个唯一的初状态；然后化简并调整冲突的状态编号；最后再将有限自动机变成一个可行的词法分析器。二、种别码表设计

3、及其在计算机中存放表示 1）单词种别码设计：单 词 种 别 码 对 照 表单词符号种别码单词符号种别码main116if2：17else3=18while419do5<20for6! =21int7<=22char8>23void9>=24标识符10= =25整型常数11;2612(2713)2814#0* 152）输出形式设计：词法分析器的输入是源程序字符串，输出是对应的单词串。每个单词按照二元组（种别码，单词符号本身）格式输出。例如：假设源程序为main( ) x=9;y=4; if (x>0) x=2*x+1/3; #则词法分析器对应输出的结果是：(1,ma

4、in) (27,( ) (28,) ) (12, ) (10,x) (18,=) (11,9) (26,;) (10,y) (18,=)(11,4) (26,;) (2,if) (27,( ) (10,x) (23,>) (11,0) (10,x) (18,=) (11,2) (15,*) (10,x) (13,) (11,1) (16,) (11,3) (26,;) (19,) (0,#)三、词法分析程序详细设计1）算法构造思想：依据建立的识别单词的DFA，设计算法，其框架如下。其中， syn存放单词的种别码； token存放符合C语言子语言词法规则的单词； sum存放整型常量的单词。

5、 Prog存放所有输入的字符。 isSignal判断是否带正负号（0不带，1负号，2正号）。 isDecimal判断是否是小数。 isExp判断是否是指数。2）主要模块算法的框图描述：四、 主要代码#include<stdio.h> #include<string.h> #include<math.h> char prog80; /存放所有输入字符 char token32; /token存放符合C语言子语言词法规则的单词； char ch; /单个字符 int syn,p,m,n; / syn存放单词的种别码 double sum; /sum存放

6、整型常量的单词。 int count; int isSignal; /是否带正负号(0不带，1负号，2正号） int isDecimal; /是否是小数 double decimal; /小数 int isExp; /是否是指数 int index; /指数幂 int isNegative; /是否带负号 double temp; int temp2; int repeat; void scanner(); char *rwtab9="main", "if", "else", "while", "do&q

7、uot;, "for" , "int" , "char" , "void" void main() p=0; count=0; isDecimal=0; index=0; repeat=0; printf("nplease input a range of data, with the end of #:n"); do ch=getchar(); progp+=ch; while(ch!='#'); /输入以号键结束 p=0; do scanner(); /扫描，单词 switc

8、h(syn) case 11: if(isDecimal=0) /加了1个强制类型转换 printf("(%d,%d) ",syn,(int)sum); break; else if(isExp=1) printf("(%d,%e) ",syn,sum); isExp=0; isDecimal=0; break; else if(isDecimal=1) printf("(%d,%f) ",syn,sum); isDecimal=0; break; case -1: printf("输入错误：")printf(&q

9、uot; n "); break; default: printf("(%d,%s) ",syn,token); while(syn!=0); getchar(); void scanner() sum=0; decimal=0; m=0; for(n=0;n<8;n+) tokenn=NULL; ch=progp+; /从prog中读出一个字符到ch中 while(ch=' ') /跳过空字符（无效输入） ch=progp+; if(ch>='a')&&(ch<='z')|(ch&

10、gt;='A')&&(ch<='Z') /ch是字母字符 while(ch>='a')&&(ch<='z')|(ch>='A')&&(ch<='Z')|(ch>='0')&&(ch<='9') tokenm+=ch; /ch=>token ch=progp+; /读下一个字符 tokenm+='0' p-; /回退一格 syn=10; /如果

11、是"main", "if", "else", "while", "do", "for" , "int" , "char" , "void"标识符中的一个 for(n=0;n<9;n+) if(strcmp(token,rwtabn)=0) syn=n+1; break; else if(ch>='0')&&(ch<='9') IsNum: if(isS

12、ignal=1) /tokenm+='-' while(ch>='0')&&(ch<='9') sum=sum*10+ch-'0' /ch中数字本身是当做字符存放的 ch=progp+; if(ch='.') isDecimal=1; ch=progp+; count=0; /之前忘了清零,123.123+123.123#两个浮点数就无法识别 while(ch>='0')&&(ch<='9') /pow(x,y)计算x的y次幂

13、temp=(ch-'0')*pow(0.1,+count); decimal=decimal+temp; /AddToDec(); ch=progp+; sum=sum+decimal; if(ch='e'|ch='E') isExp=1; ch=progp+; if(ch='-') isNegative=1; ch=progp+; while(ch>='0')&&(ch<='9') /指数 index=index*10+ch-'0' ch=progp+;

14、 /10的幂 /123e3代表123*10(3) /sum=sum*pow(10,index);是错误的 if(isNegative) sum=sum*pow(0.1,index); else sum=sum*pow(10,index); if(isSignal=1) sum=-sum; isSignal=0; p-; syn=11; else switch(ch) case '<': m=0; tokenm+=ch; ch=progp+; if(ch='=') syn=22; tokenm+=ch; else syn=20; p-; break; cas

15、e '>': m=0; tokenm+=ch; ch=progp+; if(ch='=') syn=24; tokenm+=ch; else syn=23; p-; break; case ':': syn=17; tokenm+=ch; break; case '+': temp2=progp; tokenm+=ch; if(temp2>='0')&&(temp2<='9')&&(repeat=1) isSignal=2; /isSignal正数

16、ch=progp+; repeat=0; goto IsNum; if(temp2='+')|(temp2='-')&&(repeat=0) /如果重复出现符号，才将后边的+，-视为正负号 repeat=1; /ch=progp+; syn=13; break; case '-': temp2=progp; tokenm+=ch; if(temp2>='0')&&(temp2<='9')&&(repeat=1) isSignal=1; ch=progp+;

17、 /读“-”下一个字符 repeat=0; goto IsNum; /转到数字的识别 if(temp2='+')|(temp2='-')&&(repeat=0) /如果重复出现符号，才将后边的+，-视为正负号 repeat=1; /预言会重复 /ch=progp+; /读下一个字符 syn=14; break; case '*': temp2=progp; tokenm+=ch; syn=15; break; case '/': syn=16; tokenm+=ch; break; case '=': syn=18; tokenm+=ch; break; case '': syn=26; tokenm+=ch; break; case '(': temp2=progp; tokenm+=ch; syn=27; break; case '': temp2=progp; tokenm+=ch; syn=12; break; case '': temp2=progp; tokenm+=ch; syn=19; break; case ')': syn=28; tokenm+=ch;