北邮编译原理词法分析器实验

1、词法分析程序设计一问题描述1.可以识别出用c语言编写的源程序中的每个单词符号，并以记号的形式输出每个单词符号。2.可以并识别读取源程序中的注释。3.可以统计源程序中的语句行数、单词个数和字符数，其中标点和空格不计为单词，并输出统计结果。4.检察源程序中存在的错误，并可以报告错误所在行列的位置。5.发现原程序中存在的错误，进行适当修复，使词法分析可以继续进行，通过一次词法分析处理，可以检查并报告源程序中存在的所有错误。二算法思想编写一个词法分析程序，它从左到右逐个字符的对源程序进行扫描，产生一个个的单词形成记号流文件输出。其中，具体子问题有：（1）源程序文件读入缓冲区中（注意要删除空格和无用符号

2、）（2）确定读入的为关键字还是运算符还是变量名，对于普通标识符和常量，分别建立标识符表和常量表当遇到一个标识符或常量时，查找标识符表或常量表，若存在，则返回位置，否则进入符号表或常量表中并返回表的入口地址。（3）对于各类运算符、标点符号、以及注释符号等，准确识别出来并打印输出结果（4）对于源文件中出现的数字常量，不但能按要求加入常量表中，还进行了字符型到float型数值的转换，便于后续程序操作处理。（4）尽量精简整合各种情况，使算法复杂度降低，精简易读。三、实验程序设计说明1.主要函数说明void readchar();/读字符过程，每调用一次，从输入缓冲区读一个字符，并把它放入变量c中，且向

3、前扫描指针pointer指向下一个字符void ignorespace();/每次调用时，检查c中的字符是否为空字符，若是，则反复调用该过程，直到c进入一个非空字符为止void link();/把c中的字符与token中的字符串连接起来bool alphabet();/布尔函数，判断c中的字符是否为字母，若是则返回true，否则返回falsebool digit();/布尔函数，判断c中的字符是否为数字，若是则返回true，否则返回falseint searchforkeywords();/查关键字表，若此函数的返回值为0，则表示token中的字符串是标识符，否则为关键字int searchf

4、ortoken();/查符号表，若此函数的返回值为0，则表示token中的字符串是新出现的，否则为已出现过的标识符int searchfornum(); /查常数表，若此函数的返回值为0，则表示token中的数字是新出现的，否则为已出现的常数void inserttokenlist();/将标识符插入符号表void insertnumlist();/将数字插入常数表void fillbuffer(int a);/ 填充buff的半区函数2程序源代码#include#include#include#includeint pointer=0;/int i=0,j=0,c=0,appear,d=0,

5、num_location;/int row_num=0,letter_num=0,word_num=0;int z=1;char c= ;/char token30;/char buff4095;/char token_list20030;/char number20010;/char next_charac,charac,file_name20;char keywords3210=auto,break,case,char,const,continue,default,do,double,else,enum,extern,float,for,goto,if,int,long,register,

6、return,short,signed,sizeo,fstatic,struct,switch,typedef,union,unsigned,void,volatile,while;double num;file *file_pointer;void fillbuffer(int a)/ / i=0; while(!feof(file_pointer) & i=97 & c=65 & c=48 & c=57) return true; else return false; ;int searchforkeywords()/ for(int x=0;x32;x+) if(strcmp(token

7、,keywordsx)=0) return 0;/ return 1;int searchfortoken()/ int i=0; while(i=c-1) if(strcmp(token,token_listi)=0) appear=i; return 0; / i+; word_num+; return 1;int searchfornum()/ int i=0; while(i=d-1) if(strcmp(token,numberi)=0) num_location=i; return 0; / i+; word_num+; return 1;void inserttokenlist(

8、)/ strcpy(token_listc+,token);void insertnumlist()/ strcpy(numberd+,token);main() printf(输入源文件的路径:n); scanf(%s,file_name); file_pointer=fopen(file_name,r); if(file_pointer=null) printf(无法查找到文件，发生错误！n);/ charac=fgetc(file_pointer); fillbuffer(0);/ while(c!=0) readchar();/ ignorespace();/ switch(c) /

9、case 65: case 66: case 67: case 68: case 69: case 70: case 71: case 72: case 73: case 74: case 75: case 76: case 77: case 78: case 79: case 80: case 81: case 82: case 83: case 84: case 85: case 86: case 87: case 88: case 89: case 90: case 97: case 98: case 99: case 100: case 101: case 102: case 103:

10、 case 104: case 105: case 106: case 107: case 108: case 109: case 110: case 111: case 112: case 113: case 114: case 115: case 116: case 117: case 118: case 119: case 120: case 121: case 122: case _:/ while(alphabet()|digit()|c=_)/ link();/ readchar();/ / tokenj=0;/ j=0;/ pointer-;/ if(searchforkeywo

11、rds()=1)/ if(searchfortoken()=1)/ inserttokenlist();/ printf(n,c-1); else printf(n,appear); / else printf(n,token);/ break; case 48: case 49: case 50: case 51: case 52: case 53: case 54: case 55: case 56: case 57: num=(c-48); link(); readchar(); while(digit() link(); num=num*10+(c-48);/ readchar();

12、if(c=.) link(); readchar(); while(digit() link(); num=num+(c-48)*pow(0.1,z+);/ readchar(); tokenj=0;/ j=0;/ pointer-; if(searchfornum()=1)/ insertnumlist();/ printf(n,num,d-1); else printf(n,num,num_location); / break; case +: readchar(); if(c=) printf(n); else if(c=+) printf(n); else pointer-; prin

13、tf(n); break; case -: readchar(); if(c=-) printf(); else if(c=) printf(n); else pointer-; printf(n); break; case *: printf(n);break; case /: readchar(); if(c=*) readchar(); next_charac=buffpointer; while(c!=* & next_charac!=/) readchar(); next_charac=buffpointer; readchar(); printf(n); else if(c=/)

14、readchar(); while(c!=n) readchar(); printf(n); else pointer-; printf(n); break; case %: printf(n);break; case (: printf(n);break; case ): printf(n);break; case : printf(n);break; case : printf(n);break; case : printf(n);break; case : printf(n);break; case : printf(n);break; case ;: printf(n);break;

15、case ,: printf(n);break; case .: printf(n);break; case ?: printf(n);break; case : printf(n);break; case #: printf(n);break; case : readchar(); if(c=) printf(=, 大于等于 n); else pointer-; printf(, 大于 n); break; case : readchar(); if(c=) printf( n); else pointer-; printf( n); break; case =: readchar(); if(c=) printf(n); else pointer-; printf(n); break; case &: readchar(); if(c=&) printf(n); else pointer-; printf(n); break; case |: readchar()