2023年词法分析器实验报告

词法分析器实验报告

词法分析器设计

一、实验目的：

对C语言的一个子集设计并实现一个简朴的词法分析器,掌握运用状

态转换图设计词法分析器的基本方法。运用该词法分析器完毕对源程

序字符串的词法分析。输出形式是源程序的单词符号二元式的代码，

并保存到文献中。

二、实验内容：

1.设计原理

词法分析的任务：从左至右逐个字符地对源程序进行扫描,产生一个个单词

符号。

理论基础:有限自动机、正规文法、正规式

词法分析器(LexicalAna1yzer)又称扫描器(Scanner)：执行词法

分析的程序

2.词法分析器的功能和输出形式

功能:输入源程序、输出单词符号

程序语言的单词符号一般分为以下五种：关键字、标记符、常数、运算符,

界符

3.输出的单词符号的表达形式：

单词种别用整数编码，关键字一字一种,标记符统归为一种，常数一种，各种

符号各一种。

4.词法分析器的结构

单词符号

5.状态转换图实现

三、程序设计

1.总体模块设计

/*用来存储目的文献名*/

stringfile_name；

/*提取文本文献中的信息。*/

stringGetText();

/*获得一个单词符号,从位置i开始查找。并且有一个引用参数j,用来返回

这个单词最后一个字符在str的位置。*/

stringGetWord(stringstr,inti,int&j);

/*这个函数用来除去字符串中连续的空格和换行

intDeleteNull(stringstr,inti);

/*判断i当前所指的字符是否为一个分界符,是的话返回真，反之假*/

boolIsBoundary(stringstr,inti);

/*判断i当前所指的字符是否为一个运算符,是的话返回真,反之假*/

boo1Is0peration(stringstr,inti);

/*此函数将一个pair数组输出到一个文献中*/

void0utFile(vector<pair<int,string>>v);

/*此函数接受一个字符串数组，对它进行词法分析,返回一个pair型数组*/

vector<pair<int,string>>analyst(vector<string>ve

c)；

/*此函数判断传递的参数是否为关键字,是的话,返回真，反之返回假*/

boo1IsKey(stringstr)；

2.各模块设计

(1).一方面根据上面单词符号表及ID和NUM的正规定义式，构造出状态

转换图；

(2).定义相关的变量和数据结构。关键字作为特殊标记符解决，把它们预

先安排在一张表格中(称为关键字表)，当扫描程序辨认出标记符时,查关键字表。

如能查到匹配的单词，则该单词为关键字，否则为一般标记符。关键字表为一个

字符串数组,其描述如下：

charKEY_W0RDS[7]={z/main","int","char","if","els

e〃，"for","while"};

用以存放单词符号二元式的数据结构可如下定义：

classWord_Analyzer

{

public:

echarContent[MAXLENGTH];

intva1;

voidprint()：

(3).按照编译程序一遍扫描的规定，把词法分析器Scaner作为一个独立

的子程序来设计,通过对Scaner的反复调用辨认出所有的单词符号；

(4).当Scaner辨认出一个单词符号时，则将该单词符号的二元式写入到输

出文献中。若Scaner无法辨认出一个单词符号时，则调用错误解决程序Prin

tError,显示当前扫描到的字符及其所在行、列位置，并跳过该字符重新开始辨

认单词符号。

四、程序代码

#include<iostream>

#include<vector>

#inelude<string>

#incIude<fstream>

0

usingnamespacestd;

0//用来存储目的文献名*/

stringfile_name;

0/*提取文本文献中的信息。*/

stringGetText();

/*获得一个单词符号，从位置i开始查找。

//并且有一个引用参数j,用来返回这个单词最后一个字符在str的

位置。*/

ostringGetWord(stringstr,inti,int&j);

0

/*这个函数用来除去字符串中连续的空格和换行

//第一个参数为目的字符串，第二个参数为开始位置

//返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/

intDeleteNull(stringstr,inti);

/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/

oboo1IsBoundary(stringstr,inti);

0

0/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假夫/

oboolIsOperation(stringstr,inti);

0

/*此函数将一个pair数组输出到一个文献中大/

voidOutFile(vector<pair<int,string>>v);

o/*次函数将参数str,digit添加到temp中*/

ovoidadd(stringstr,intdigit,vector<pair<intzstr

ing>>temp);

/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数

组大/

ovector<pair<int,string>>analyst(vector<string>

vec);

0

。/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假大/

boo1IsKey(stringstr);

0

intmain()

(

°cout<<”********■jV**********夫*

*******************、口”；

oocou-t«u★*编译原理课程设计一一词法编译器ve

r1.0*********\n“；

0cout<<"*************************************

***********★★★★****★\n

cout<<endl;

stringcom1=

stringcom2="\n”;

stringfiIeline=GetText();

intbegin=0,end=0;

vector<string>array;

do

begin=DeleteNu1I(fileline,begin);

stringnowString;

onowString=GetWord(fileline,begin,end);

if(end==-l)

break;

oif(nowSpare(coml)&&nowS

pare(com2))

array.push_back(nowString);

begin=end+l;

}whiIe(true);

ovector<pair<int,string>>mid_resuIt;

omid_result=analyst(array);

OutFiIe(mid_result);

coutv(“*★******************************

****************★★**\n”；

cou*程序已完毕词法分析，分析结果已经存储在文献”<<f

i1e_name<<”中！！！*\n"；

QQ口t<<”********************************

*★*★★★***********★大***\n”♦

ocout<<“感谢使用，谢谢再见！"VVendl;

system(npausen);

return0;

o}

/*提取文本文献中的信息*/

stringGetText()

stringfiIe_namel;

cout<〈”请输入源文献名(涉及途径和后缀名)：”；

cin»file_namel;

ifstreaminfile(file_name1.c_str(),io

s::in);

if(!infile)

0(

cerr<<”无法才丁开文南R!M<<file_namel.c_str

()«n!!!"<<endl;

oexit(-1);

o}

cout<<endl;

ocharf[1000];

infile.getIine(f,1000,EOF);

infiIe.close();

oprintf(f);

ocout<<endI;

oreturnf;

0}

。/*获得一个单词符号，从位置i开始查找。

0//并且有一个引用参数j,用来返回这个单词最后一个字符在原字符串的位

置。*/

ostringGetWord(stringstr,inti,int&j)

o(

ostringno_use(**(){},;\n+=*/-<>\");

oj=str.find_first_of(no_usezi);

if(j==-l)

returnnn;

if(i!=j)

j--；

oreturnstr.substr(i,j-i+1);

o)

/*这个函数用来除去字符串中连续的空格和换行

//第一个参数为目的字符串，第二个参数为开始位置

//返回值为连续的空格和换行后的第一个有效字符在字符串的位置★/

intDeleteNull(stringstr,inti)

{

ofor(;;i++)

if(str[i]!=1&&str[i]!=1\n1)

returni;

o}

0

o/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/

oboolIsBoundary(stringstr,inti)

0(

intt;

ochararr[7]={1,11;1,1{',1}1,

ofor(t=0;t<7;t++)

if(str[i]==arr[t])

oreturntrue;

returnfalse;

0}

/大判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/

boo1IsOperation(stringstr,inti)

o(

intt;

ochararr[8]={T+T=,1&1};

for(t=0;t<8;t++)

oif(strLi]==arr[t])

returntrue;

oreturnfalse;

}

/*此函数将一个个字符串数组输出到一个文献中*/

ovoidOutFile(vector<pair<int,string>>v)

o(

coutVV”请输入目的文献名(涉及途径和后缀名)：“；

cin>>filename;

ofstreamoutfile(file_name,c—str(),i

os::out);

if(!outfile)

(

ocerr<<”无法才丁开文南夫！n<<file_name.c—str()<

<n!!!"<<endI;

oexit(-1);

)

cout<<endl;

ointi;

ofor(i=0;i<v.size();i++)

00{

ooutfiIe<<n<H<<v[i].first«H,\n<<v[i].sec

ond<<T,\Tf>n<<endI;

o©cout<<"<"<<v[i].first<<M,\MM<<v[i].second

VVendI;

)

0outfiie<<”\口\n*******************丈**

***********\n”；

ooutfile.close();

return;

o}

/夫此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假火/

obooIIsKey(stringstr)

(

stringp[7]={nmain"，"int,ncharn,"ifn,neI

seH,"for",Mwhilen};

0ovector<string>ppp(p,p+7);

0ointu;

0for(u=0;u<ppp.size();u++)

00if(!pare(pppLu]))

oreturntrue;

0returnfaIse;

)

/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数

组*/

ovector<pair<int,string>>analyst(vector<string>

vec)

(

ovector<pair<int,string>>temp;

ointi;

for(i=0;i<vec.size();i++)

0(

oif(vec[i].size()==1)

(

oif(vec[i]==n>n&&vec[i+1]==H=H)

0{

ooostringjk=vec[i];

oojk.append(vec[++i],0,1);

oopair<intzstring>pp(37,jk);

oootemp.push_back(pp);

oocontinue;

o)

if(vec[i]=="<"&&vec[i+l]==

00t

ooostringjk=vec[i];

ooojk.append(vec[++i],0,1);

oopair<intzstring>pp(38,jk);

oootemp.push_back(pp);

oocontinue;

}

oooif(vec[i]=="=M&&vec[i+l]==H=")

°(

oostringjk=vec[i];

jk,append(vec[++i],0,1);

pair<int,string>pp(39,j

oootemp.push_back(pp);

oocontinue;

o}

ooif(vec[i]==n!n&&vec[i+l]=="=")

ostringjk=vec[i];

ooojk.append(vec[++i]z0,1);

oopair<int,string〉pp(40,jk);

oootemp.push_back(pp);

continue;

00)

ooif(vec[i]==H&&&vec[i+1]=="&")

(

oostringjk=vec[i];

oojk.append(vec[++i],0,1);

oopair<int,string>pp(42,jk);

oootemp・push—back(pp);

oocontinue;

)

ooif(vec[i]==nIH&&vec[i+1]==*'IH)

000

oostringjk=vec[i];

ojk.append(vec[++i],0,1);

oopair<int,string>pp(43,jk);

ootemp.push_back(pp);

oocontinue;

)

oif(IsBoundary(vec[i],0))

0{

H

0oif(vec[i]==z")

0{

ooopair<intzstring>pp1(32rvec[i]);

otemp.push_back(ppi);

0)

oif(vec[i]==n;")

000(

ooopair<int,string>pp2(34,vec[i])；

oooternp.push_back(pp2);

)

ooif(vec[i1==H{”)

001

0opair<intzstring>pp3(30,vec[i]);

0temp.push_back(pp3);

00)

ooif(vec[i]=="}")

00{0

0oopair<int,string>pp4(31,vec[i]);

otemp.push_back(pp4);

000)

ooif(vec[i]=="()

0000(

ooopair<int,string>pp5(26,vec[i]);

otemp.push_back(pp5);

o)

ooif(vec[i]==")n)

{00

opair<int,string>pp6(27,vec[i]);

oootemp.push_back(pp6);

o)

oif(vec[i]=="：”)

0{000

opair<int,string>pp7(33,vec[i]);

otemp.push_back(pp7);

o)

o)

eIseif(IsOperation(vecLi],0))

(

ooif(vec[i]=="+")

00{000

oopair<int,string>pp8(22,vec[i]);

ootemp.push_back(pp8);

0o}

if(vec[i]=="-")

ooopair<int,string>pp9(23,vec[i]);

00temp.push_back(pp9);

0o)

oif(vec[i]=="*")

0000{

oooopair<int,string>pp10(24,vec[i]);

0ootemp.push_back(pplO);

o}

oooif(vec[i]=="/")

000{0

oooopair<int,string>ppll(25,vec[i]);

0ootemp.push_back(ppl1);

0000}

if(vec[i]=="=")

000{0

0oopair<int,string>pp12(21zvec[i]);

oootemp.push_back(pp12);

)

if(vec[i]==">")

00{00

0opair<int,string>ppi3(35zvec[i]);

000temp,push_back(ppi3);

o)

0oif(vec[i]=="<")

000(

0pair<int,string>ppi4(36,vec[i]);

0ootemp.push_back(ppl4);

)

n

000if(vec[i]==&”)

0000{0

pair<int,string>pp26(41zvec[i]);

ootemp.push_back(pp26);

o)

)

11

0oelseif(vec[i][0]<=9&avec[i][0]>=*09

0

pair<int,string>pp24(10,vec[i]);

temp,push_back(pp24);

)

eIse

(

pair<int,string>pp25(10,vec[i]);

temp,push_back(pp25);

)

)

eIseif(vec[i][0]<='9*&&vec[i][0]>=0,)

(

pair<intrstring>pp23(3,vec[i]);

temp.push_back(pp23);

)

eIseif(IsKey(vec[i]))

(

if(vec[i]==nmainn)

pair<intfstring>ppl5(1,vec[i]);

temp.push_back(ppl5);

o)

oif(vec[i]==nintn)

0