【编译原理】实验：词法分析器的实现与分析（本校实验平台的题）

2023-11-24 11:30
文章标签 分析 编译 实现 平台 原理 实验 分析器 词法 本校

本文主要是介绍【编译原理】实验：词法分析器的实现与分析（本校实验平台的题），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

实验题目：实现词法分析器

注：本题解参考文章在最后列出（部分代码引用的是那里面的）；实现语言为：C++

注：本文只提供一个思路，作为学习过程中的一个参考，实现词法分析器有很多方法，本文只是其中一种，若想用本文代码提交作业请多改，不然查重率过不了。
【问题描述】

【文法定义】:

＜标识符＞::=＜字母＞｛＜字母＞｜＜数字＞｝ //标识符和关键字都不区分大小写，比如if和IF均为关键字，不允许出现与关键字相同的标识符
＜字母＞::=＿｜a｜．．．｜z｜A｜．．．｜Z
＜数字＞::=０｜１｜．．．｜９
＜整数＞::=［＋｜－］＜无符号整数＞
＜无符号整数＞::=＜数字＞｛＜数字＞｝
＜字符＞::=‘＜加法运算符＞’｜’＜乘法运算符＞’｜’＜字母＞’｜’＜数字＞’
＜加法运算符＞::=+｜-
＜乘法运算符＞::=*｜/
＜字符串＞::="｛十进制编码为32,33,35-126的ASCII字符｝" //字符串中要求至少有一个字符

ASCII码

【问题描述】
请根据给定的文法设计并实现词法分析程序，从源程序中识别出单词，记录其单词类别和单词值，输入输出及处理要求如下：
（1）数据结构和与语法分析程序的接口请自行定义；类别码需按下表格式统一定义；
（2）为了方便进行自动评测，输入的被编译源文件统一命名为testfile.txt（注意不要写错文件名）；输出的结果文件统一命名为output.txt（注意不要写错文件名），结果文件中每行按如下方式组织：
单词类别码 单词的字符/字符串形式(中间仅用一个空格间隔)

单词的类别码请统一按如下形式定义：
类别码

【输入形式】testfile.txt中的符合文法要求的测试程序。
【输出形式】要求将词法分析结果输出至output.txt中。

【样例输入】

const int const1 = 1, const2 = -100;
const char const3 = ‘_’;
int change1;
char change3;
int gets1(int var1,int var2){
change1 = var1 + var2;
return (change1);
}
void main(){
printf(“Hello World”);
printf(gets1(10, 20));
}

【样例输出】

CONSTTK const
INTTK int
IDENFR const1
ASSIGN =
INTCON 1
COMMA ,
IDENFR const2
ASSIGN =
MINU -
INTCON 100
SEMICN ;
CONSTTK const
CHARTK char
IDENFR const3
ASSIGN =
CHARCON _
SEMICN ;
INTTK int
IDENFR change1
SEMICN ;
CHARTK char
IDENFR change3
SEMICN ;
INTTK int
IDENFR gets1
LPARENT (
INTTK int
IDENFR var1
COMMA ,
INTTK int
IDENFR var2
RPARENT )
LBRACE {
IDENFR change1
ASSIGN =
IDENFR var1
PLUS +
IDENFR var2
SEMICN ;
RETURNTK return
LPARENT (
IDENFR change1
RPARENT )
SEMICN ;
RBRACE }
VOIDTK void
MAINTK main
LPARENT (
RPARENT )
LBRACE {
PRINTFTK printf
LPARENT (
STRCON Hello World
RPARENT )
SEMICN ;
PRINTFTK printf
LPARENT (
IDENFR gets1
LPARENT (
INTCON 10
COMMA ,
INTCON 20
RPARENT )
RPARENT )
SEMICN ;
RBRACE }

以下是代码思路：
把读入的文件内容全存在ScanBuffer[1000]这个字符串数组里面，里面完整存，空格回车这些都存了。然后用char变量 ch 一个个的读出来，随后判断读出来的是什么类型，再进行分析归类，然后输出到文件里面。

1.代码部分注释很多，不清楚的地方可以仔细看一下注释；
2.有不懂的地方建议自行搜索相关知识点；
3.代码里有些地方是为了测试输出写的，都已经注释掉了；
4.代码里有没用到的变量比如show_strToken变量，是为了debug时候查看全局变量strToken而设置的（全局变量string类型在debug时候没法看到里面的值）；
5.代码能够直接在实验平台上运行通过。

#include <iostream>
#include <fstream>
#include<string>
using namespace std;
#define NOT_Found 404 //自己定义的数字404，因为用到它的地方那个数字不可能是404//全局变量
char ch;//用来存字符
string strToken = "";//当前字符串
string ScanBuffer[1000];//我开了1000来存，里面存放文件里面所有内容，文件以EOF结尾，叫缓存区
int row = 0;
int col = 0; //缓存区的行与列
int endrow;string Reserved_words[]={"const","int","char","void","main","if","else","do","while","for","scanf","printf","return"};//保留字，进来字符串的时候验证一下
string Category_code[] ={"CONSTTK","INTTK","CHARTK","VOIDTK","MAINTK","IFTK","ELSETK","DOTK","WHILETK","FORTK","SCANFTK","PRINTFTK","RETURNTK"};//保留字对应的类别码,要与上面一一对应，这样可以对应下标//声明全局函数
void Input();//子程序过程，将源代码输入进扫描缓冲区
void GetChar();//子过程程序，将下一输入字符读到ch中，搜索指示器前移一字符位置
void GetDel();//子程序过程，检查ch中的字符是否为分隔符(空格、回车之类的)。若是，则调用GetChar直至ch中进入一个非分隔符（delimiters->分隔符）
void Concat();//子程序过程，，将ch中的字符连接到strToken之后
bool IsLetter();//布尔函数过程，判断ch中的字符是否为字母
bool IsDigit();//布尔函数构成，判断ch中的字符是否为数字
int Reserve();//整型函数过程，对strToken中的字符串查找保留字表，若它是一个保留字则返回它的index下标，否则返回NOT_Found（404不是保留字的编码）
void Retract();//子程序过程，将搜索指示器回调一个字符位置，将ch置为空白字符
int GetNumFromStr(string s);//将数字字符串返回原来int型数字，存起来输出用（本文法中的数字只有int型的呢）
int Str_Length(string str);//返回字符串长度，用来判断在字符串内的‘a’、‘2’为char类型
void Lexical_analysis();//词法分析函数实现//函数实现
void Input(){  //空格回车都在里面了int i=0;char c;//输入流中的当前字符fstream in;in.open("testfile5.txt",ios::in);while(in.peek()!=EOF){c=in.get();ScanBuffer[i].push_back(c);if(c=='\n') i++;}endrow=--i;//测试,看能不能完整输入：
/*		cout <<"endrow =="<<endrow<<endl; //7行代码，endrow=7；int l = 100;for(int k=0;k<l;k++){cout<<ScanBuffer[k]<<endl;}
*/
}
void GetChar(){ch=ScanBuffer[row][col];col++;
}
void GetDel(){while(ch=='\n'){row++;col=0;GetChar();}while(ch==' '||ch=='\t')GetChar();
}
void Concat(){strToken.push_back(ch);
}
bool IsLetter(){ //注意本文法中的字母，还包括了下划线if((ch>='a'&&ch<='z')||(ch>='A'&&ch<='Z')||(ch=='_'))return true;return false;
}
bool IsDigit(){if(ch >='0'&&ch<='9')return true;return false;
}int Reserve(){ //找保留字表，int i;for(i=0;i<13;i++)if(Reserved_words[i]==strToken)return i;return NOT_Found; //循环之后发现不是保留字
}void Retract(){//回退一个col--;ch='\0';
}
int GetNumFromStr(string s){int ans = 0;for(int i=0;i<s.size();i++) ans = ans * 10+ s[i]-'0';return ans;
}
/*
bool IsAllDigit(){int l = strToken.length();bool flag=true;for(int k =0;k<l;k++){if(strToken[k]>='0'&&strToken[k]<='9'){}//flag 保持trueelse{flag = false;break;}}return flag;
}
*/
int Str_Length(string str){return str.length();
}void Lexical_analysis()
{ofstream out("output.txt");//输出到文件,之后把cout全变成out就行了。while(row!=endrow+1){ //别超行读ScanBufferstring Category_code_num;//要输出的类别码int store_number;//用IsAllDigit()看一下，纯数字输入的话把用数字存在这里面然后输出。//	strToken="";
//因为debug不能查看string全局变量，所以需要一个局部变量show_strToken转接一下string show_strToken=strToken;GetChar();GetDel();//得到一个ch合法输入（没有空格、回车的ch）if(IsLetter()){  //字母或下划线开头的进这里while(IsLetter()||IsDigit()){Concat();GetChar();}
//此处show_strToken=strToken;Retract();//上面循环里取多了还回去int isfind; //接收保留字表的下标isfind=Reserve();if(isfind != NOT_Found){ //在表里面找到保留字啦！Category_code_num = Category_code[isfind];out<<Category_code_num<<" "<<strToken<<endl;strToken="";//输出之后就清零！！}else{ //不是保留字，那就是标识符咯（字符串有自己的判定语句，在下面）out<<"IDENFR "<<strToken<<endl;strToken="";//用完之后就清零！！}}else if(IsDigit()){ //数字开头的进这里while(IsDigit()){Concat();GetChar();}
//此处show_strToken=strToken;Retract();//上面循环里取多了还回去//把数字存起来，存进变量：store_numberstore_number = GetNumFromStr(strToken);strToken="";//用完之后就清零！！out<<"INTCON "<<store_number<<endl;}//其他符号的进下面else if(ch=='+')out<<"PLUS "<<ch<<endl;else if(ch=='-')out<<"MINU "<<ch<<endl;else if(ch=='*')out<<"MULT "<<ch<<endl;else if(ch=='/')out<<"DIV "<<ch<<endl;else if(ch=='<'){ //判断一下是<还是<=,要是下一个字符不是=，拿了的给人还回去，用Retract()函数GetChar();if(ch=='=')out<<"LEQ "<<"<="<<endl;else{Retract();//把人家还回去out<<"LSS "<<"<"<<endl;}}else if(ch=='>'){GetChar();if(ch=='=')out<<"GEQ >="<<endl;else{Retract();out<<"GRE >"<<endl;}}else if(ch=='='){//同上，看一下是不是俩等号‘==’GetChar();if(ch=='='){out<<"EQL =="<<endl;}else{Retract();//还回去out<<"ASSIGN ="<<endl;}}else if(ch=='!'){//由于都是合法输入（测试样例里面）,！只在字符串里面出现，所以此处出现的得是！=GetChar();if(ch == '='){out<<"NEQ !="<<endl;}else{Retract();//还回去并且无操作}}else if(ch==';')out<<"SEMICN ;"<<endl;else if(ch==',')out<<"COMMA ,"<<endl;else if(ch=='(')out<<"LPARENT ("<<endl;else if(ch==')')out<<"RPARENT )"<<endl;else if(ch=='[')out<<"LBRACK ["<<endl;else if(ch==']')out<<"RBRACK ]"<<endl;else if(ch=='{')out<<"LBRACE {"<<endl;else if(ch=='}')out<<"RBRACE }"<<endl;else if(int(ch)==34||int(ch)==39){//判断字符串 ps：根据对本题的输入输出案例分析，双引号单引号只用来识别字符串用，不输出，不属于字符类别也不属于字符串类别//用ASCII码来比较,中文的双引号是-95，英文的双引号是34,单引号是39，已测试过，可行。GetChar();while(int(ch)!=34&&int(ch)!=39){Concat();GetChar();
//此处show_strToken=strToken;}//出循环的时候，ch等于回引号,不需要还回去；字符串收集结束。int length = Str_Length(strToken);if(length ==1){ //说明是单引号里面的字符型out<<"CHARCON "<<strToken<<endl;}else{out<<"STRCON "<<strToken<<endl;}strToken="";//输出之后就清零！！}}//while end}//function endint main()
{Input();Lexical_analysis();return 0;
}

测试样例输出与标准答案比对：
用word2010的审阅–比较功能：
word比对
结果：
成功

主要的参考文档：【编译原理】实验一 词法分析器设计与实现

由以上文法定义可以看出，比实际文法要简单，只有整数型变量，且-100分开判定，并不是整数-100而是负号和整数100，所以此词法分析器只做学习使用。

在实验平台上运行时选择正确的编译器很重要，本人因为选了C编译器编译不过一度自闭，直到求助的某位美女告诉我可能是我选错编译器了，才破了案。

over。

这篇关于【编译原理】实验：词法分析器的实现与分析（本校实验平台的题）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/421857。

相关文章

Vue项目的甘特图组件之dhtmlx-gantt使用教程和实现效果展示(推荐)

Vue项目的甘特图组件之dhtmlx-gantt使用教程和实现效果展示(推荐)

《Vue项目的甘特图组件之dhtmlx-gantt使用教程和实现效果展示(推荐)》文章介绍了如何使用dhtmlx-gantt组件来实现公司的甘特图需求,并提供了一个简单的Vue组件示例,文章还分享了一... 目录一、首先 npm 安装插件二、创建一个vue组件三、业务页面内 引用自定义组件：四、dhtmlx
阅读更多...
Vue ElementUI中Upload组件批量上传的实现代码

Vue ElementUI中Upload组件批量上传的实现代码

《VueElementUI中Upload组件批量上传的实现代码》ElementUI中Upload组件批量上传通过获取upload组件的DOM、文件、上传地址和数据,封装uploadFiles方法,使... ElementUI中Upload组件如何批量上传首先就是upload组件 <el-upl
阅读更多...
Docker部署Jenkins持续集成(CI)工具的实现

Docker部署Jenkins持续集成(CI)工具的实现

《Docker部署Jenkins持续集成(CI)工具的实现》Jenkins是一个流行的开源自动化工具,广泛应用于持续集成（CI）和持续交付（CD）的环境中,本文介绍了使用Docker部署Jenkins... 目录前言一、准备工作二、设置变量和目录结构三、配置 docker 权限和网络四、启动 Jenkins
阅读更多...
Python3脚本实现Excel与TXT的智能转换

Python3脚本实现Excel与TXT的智能转换

《Python3脚本实现Excel与TXT的智能转换》在数据处理的日常工作中,我们经常需要将Excel中的结构化数据转换为其他格式,本文将使用Python3实现Excel与TXT的智能转换,需要的可以... 目录场景应用：为什么需要这种转换技术解析：代码实现详解核心代码展示改进点说明实战演练：从Excel到
阅读更多...
如何使用CSS3实现波浪式图片墙

如何使用CSS3实现波浪式图片墙

《如何使用CSS3实现波浪式图片墙》：本文主要介绍了如何使用CSS3的transform属性和动画技巧实现波浪式图片墙，通过设置图片的垂直偏移量，并使用动画使其周期性地改变位置，可以创建出动态且具有波浪效果的图片墙，同时，还强调了响应式设计的重要性，以确保图片墙在不同设备上都能良好显示，详细内容请阅读本文，希望能对你有所帮助...
阅读更多...
C# string转unicode字符的实现

C# string转unicode字符的实现

《C#string转unicode字符的实现》本文主要介绍了C#string转unicode字符的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随... 目录1. 获取字符串中每个字符的 Unicode 值示例代码：输出：2. 将 Unicode 值格式化
阅读更多...
python安装whl包并解决依赖关系的实现

python安装whl包并解决依赖关系的实现

《python安装whl包并解决依赖关系的实现》本文主要介绍了python安装whl包并解决依赖关系的实现,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 目录一、什么是whl文件？二、我们为什么需要使用whl文件来安装python库？三、我们应该去哪儿下
阅读更多...
Python脚本实现图片文件批量命名

Python脚本实现图片文件批量命名

《Python脚本实现图片文件批量命名》这篇文章主要为大家详细介绍了一个用python第三方库pillow写的批量处理图片命名的脚本,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录前言源码批量处理图片尺寸脚本源码GUI界面源码打包成.exe可执行文件前言本文介绍一个用python第三方库pi
阅读更多...
Java中将异步调用转为同步的五种实现方法

Java中将异步调用转为同步的五种实现方法

《Java中将异步调用转为同步的五种实现方法》本文介绍了将异步调用转为同步阻塞模式的五种方法：wait/notify、ReentrantLock+Condition、Future、CountDownL... 目录异步与同步的核心区别方法一：使用wait/notify + synchronized代码示例关键
阅读更多...
Nginx实现动态封禁IP的步骤指南

Nginx实现动态封禁IP的步骤指南

《Nginx实现动态封禁IP的步骤指南》在日常的生产环境中,网站可能会遭遇恶意请求、DDoS攻击或其他有害的访问行为,为了应对这些情况,动态封禁IP是一项十分重要的安全策略,本篇博客将介绍如何通过NG... 目录1、简述2、实现方式3、使用 fail2ban 动态封禁3.1 安装 fail2ban3.2 配
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2