【编译原理】实验:词法分析器的实现与分析(本校实验平台的题)

2023-11-24 11:30

本文主要是介绍【编译原理】实验:词法分析器的实现与分析(本校实验平台的题),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

实验题目:实现词法分析器

注:本题解参考文章在最后列出(部分代码引用的是那里面的);实现语言为:C++

注:本文只提供一个思路,作为学习过程中的一个参考,实现词法分析器有很多方法,本文只是其中一种,若想用本文代码提交作业请多改,不然查重率过不了。
【问题描述】

【文法定义】:

<标识符>::=<字母>{<字母>|<数字>} //标识符和关键字都不区分大小写,比如if和IF均为关键字,不允许出现与关键字相同的标识符
<字母>::=_|a|...|z|A|...|Z
<数字>::=0|1|...|9
<整数>::=[+|-]<无符号整数>
<无符号整数>::=<数字>{<数字>}
<字符>::=‘<加法运算符>’|’<乘法运算符>’|’<字母>’|’<数字>’
<加法运算符>::=+|-
<乘法运算符>::=*|/
<字符串>::="{十进制编码为32,33,35-126的ASCII字符}" //字符串中要求至少有一个字符

ASCII码

【问题描述】
请根据给定的文法设计并实现词法分析程序,从源程序中识别出单词,记录其单词类别和单词值,输入输出及处理要求如下:
(1)数据结构和与语法分析程序的接口请自行定义;类别码需按下表格式统一定义;
(2)为了方便进行自动评测,输入的被编译源文件统一命名为testfile.txt(注意不要写错文件名);输出的结果文件统一命名为output.txt(注意不要写错文件名),结果文件中每行按如下方式组织:
单词类别码 单词的字符/字符串形式(中间仅用一个空格间隔)

单词的类别码请统一按如下形式定义:
类别码

【输入形式】testfile.txt中的符合文法要求的测试程序。
【输出形式】要求将词法分析结果输出至output.txt中。

【样例输入】

const int const1 = 1, const2 = -100;
const char const3 = ‘_’;
int change1;
char change3;
int gets1(int var1,int var2){
change1 = var1 + var2;
return (change1);
}
void main(){
printf(“Hello World”);
printf(gets1(10, 20));
}

【样例输出】

CONSTTK const
INTTK int
IDENFR const1
ASSIGN =
INTCON 1
COMMA ,
IDENFR const2
ASSIGN =
MINU -
INTCON 100
SEMICN ;
CONSTTK const
CHARTK char
IDENFR const3
ASSIGN =
CHARCON _
SEMICN ;
INTTK int
IDENFR change1
SEMICN ;
CHARTK char
IDENFR change3
SEMICN ;
INTTK int
IDENFR gets1
LPARENT (
INTTK int
IDENFR var1
COMMA ,
INTTK int
IDENFR var2
RPARENT )
LBRACE {
IDENFR change1
ASSIGN =
IDENFR var1
PLUS +
IDENFR var2
SEMICN ;
RETURNTK return
LPARENT (
IDENFR change1
RPARENT )
SEMICN ;
RBRACE }
VOIDTK void
MAINTK main
LPARENT (
RPARENT )
LBRACE {
PRINTFTK printf
LPARENT (
STRCON Hello World
RPARENT )
SEMICN ;
PRINTFTK printf
LPARENT (
IDENFR gets1
LPARENT (
INTCON 10
COMMA ,
INTCON 20
RPARENT )
RPARENT )
SEMICN ;
RBRACE }

以下是代码思路:
把读入的文件内容全存在ScanBuffer[1000]这个字符串数组里面,里面完整存,空格回车这些都存了。然后用char变量 ch 一个个的读出来,随后判断读出来的是什么类型,再进行分析归类,然后输出到文件里面。

1.代码部分注释很多,不清楚的地方可以仔细看一下注释;
2.有不懂的地方建议自行搜索相关知识点;
3.代码里有些地方是为了测试输出写的,都已经注释掉了;
4.代码里有没用到的变量比如show_strToken变量,是为了debug时候查看全局变量strToken而设置的(全局变量string类型在debug时候没法看到里面的值);
5.代码能够直接在实验平台上运行通过。

#include <iostream>
#include <fstream>
#include<string>
using namespace std;
#define NOT_Found 404 //自己定义的数字404,因为用到它的地方那个数字不可能是404//全局变量
char ch;//用来存字符
string strToken = "";//当前字符串
string ScanBuffer[1000];//我开了1000来存,里面存放文件里面所有内容,文件以EOF结尾,叫缓存区
int row = 0;
int col = 0; //缓存区的行与列
int endrow;string Reserved_words[]={"const","int","char","void","main","if","else","do","while","for","scanf","printf","return"};//保留字,进来字符串的时候验证一下
string Category_code[] ={"CONSTTK","INTTK","CHARTK","VOIDTK","MAINTK","IFTK","ELSETK","DOTK","WHILETK","FORTK","SCANFTK","PRINTFTK","RETURNTK"};//保留字对应的类别码,要与上面一一对应,这样可以对应下标//声明全局函数
void Input();//子程序过程,将源代码输入进扫描缓冲区
void GetChar();//子过程程序,将下一输入字符读到ch中,搜索指示器前移一字符位置
void GetDel();//子程序过程,检查ch中的字符是否为分隔符(空格、回车之类的)。若是,则调用GetChar直至ch中进入一个非分隔符(delimiters->分隔符)
void Concat();//子程序过程,,将ch中的字符连接到strToken之后
bool IsLetter();//布尔函数过程,判断ch中的字符是否为字母
bool IsDigit();//布尔函数构成,判断ch中的字符是否为数字
int Reserve();//整型函数过程,对strToken中的字符串查找保留字表,若它是一个保留字则返回它的index下标,否则返回NOT_Found(404不是保留字的编码)
void Retract();//子程序过程,将搜索指示器回调一个字符位置,将ch置为空白字符
int GetNumFromStr(string s);//将数字字符串返回原来int型数字,存起来输出用(本文法中的数字只有int型的呢)
int Str_Length(string str);//返回字符串长度,用来判断在字符串内的‘a’、‘2’为char类型
void Lexical_analysis();//词法分析函数实现//函数实现
void Input(){  //空格回车都在里面了int i=0;char c;//输入流中的当前字符fstream in;in.open("testfile5.txt",ios::in);while(in.peek()!=EOF){c=in.get();ScanBuffer[i].push_back(c);if(c=='\n') i++;}endrow=--i;//测试,看能不能完整输入:
/*		cout <<"endrow =="<<endrow<<endl; //7行代码,endrow=7;int l = 100;for(int k=0;k<l;k++){cout<<ScanBuffer[k]<<endl;}
*/
}
void GetChar(){ch=ScanBuffer[row][col];col++;
}
void GetDel(){while(ch=='\n'){row++;col=0;GetChar();}while(ch==' '||ch=='\t')GetChar();
}
void Concat(){strToken.push_back(ch);
}
bool IsLetter(){ //注意本文法中的字母,还包括了下划线if((ch>='a'&&ch<='z')||(ch>='A'&&ch<='Z')||(ch=='_'))return true;return false;
}
bool IsDigit(){if(ch >='0'&&ch<='9')return true;return false;
}int Reserve(){ //找保留字表,int i;for(i=0;i<13;i++)if(Reserved_words[i]==strToken)return i;return NOT_Found; //循环之后发现不是保留字
}void Retract(){//回退一个col--;ch='\0';
}
int GetNumFromStr(string s){int ans = 0;for(int i=0;i<s.size();i++) ans = ans * 10+ s[i]-'0';return ans;
}
/*
bool IsAllDigit(){int l = strToken.length();bool flag=true;for(int k =0;k<l;k++){if(strToken[k]>='0'&&strToken[k]<='9'){}//flag 保持trueelse{flag = false;break;}}return flag;
}
*/
int Str_Length(string str){return str.length();
}void Lexical_analysis()
{ofstream out("output.txt");//输出到文件,之后把cout全变成out就行了。while(row!=endrow+1){ //别超行读ScanBufferstring Category_code_num;//要输出的类别码int store_number;//用IsAllDigit()看一下,纯数字输入的话把用数字存在这里面然后输出。//	strToken="";
//因为debug不能查看string全局变量,所以需要一个局部变量show_strToken转接一下string show_strToken=strToken;GetChar();GetDel();//得到一个ch合法输入(没有空格、回车的ch)if(IsLetter()){  //字母或下划线开头的进这里while(IsLetter()||IsDigit()){Concat();GetChar();}
//此处show_strToken=strToken;Retract();//上面循环里取多了还回去int isfind; //接收保留字表的下标isfind=Reserve();if(isfind != NOT_Found){ //在表里面找到保留字啦!Category_code_num = Category_code[isfind];out<<Category_code_num<<" "<<strToken<<endl;strToken="";//输出之后就清零!!}else{ //不是保留字,那就是标识符咯(字符串有自己的判定语句,在下面)out<<"IDENFR "<<strToken<<endl;strToken="";//用完之后就清零!!}}else if(IsDigit()){ //数字开头的进这里while(IsDigit()){Concat();GetChar();}
//此处show_strToken=strToken;Retract();//上面循环里取多了还回去//把数字存起来,存进变量:store_numberstore_number = GetNumFromStr(strToken);strToken="";//用完之后就清零!!out<<"INTCON "<<store_number<<endl;}//其他符号的进下面else if(ch=='+')out<<"PLUS "<<ch<<endl;else if(ch=='-')out<<"MINU "<<ch<<endl;else if(ch=='*')out<<"MULT "<<ch<<endl;else if(ch=='/')out<<"DIV "<<ch<<endl;else if(ch=='<'){ //判断一下是<还是<=,要是下一个字符不是=,拿了的给人还回去,用Retract()函数GetChar();if(ch=='=')out<<"LEQ "<<"<="<<endl;else{Retract();//把人家还回去out<<"LSS "<<"<"<<endl;}}else if(ch=='>'){GetChar();if(ch=='=')out<<"GEQ >="<<endl;else{Retract();out<<"GRE >"<<endl;}}else if(ch=='='){//同上,看一下是不是俩等号‘==’GetChar();if(ch=='='){out<<"EQL =="<<endl;}else{Retract();//还回去out<<"ASSIGN ="<<endl;}}else if(ch=='!'){//由于都是合法输入(测试样例里面),!只在字符串里面出现,所以此处出现的得是!=GetChar();if(ch == '='){out<<"NEQ !="<<endl;}else{Retract();//还回去并且无操作}}else if(ch==';')out<<"SEMICN ;"<<endl;else if(ch==',')out<<"COMMA ,"<<endl;else if(ch=='(')out<<"LPARENT ("<<endl;else if(ch==')')out<<"RPARENT )"<<endl;else if(ch=='[')out<<"LBRACK ["<<endl;else if(ch==']')out<<"RBRACK ]"<<endl;else if(ch=='{')out<<"LBRACE {"<<endl;else if(ch=='}')out<<"RBRACE }"<<endl;else if(int(ch)==34||int(ch)==39){//判断字符串 ps:根据对本题的输入输出案例分析,双引号单引号只用来识别字符串用,不输出,不属于字符类别也不属于字符串类别//用ASCII码来比较,中文的双引号是-95,英文的双引号是34,单引号是39,已测试过,可行。GetChar();while(int(ch)!=34&&int(ch)!=39){Concat();GetChar();
//此处show_strToken=strToken;}//出循环的时候,ch等于回引号,不需要还回去;字符串收集结束。int length = Str_Length(strToken);if(length ==1){ //说明是单引号里面的字符型out<<"CHARCON "<<strToken<<endl;}else{out<<"STRCON "<<strToken<<endl;}strToken="";//输出之后就清零!!}}//while end}//function endint main()
{Input();Lexical_analysis();return 0;
}

测试样例输出与标准答案比对:
用word2010的审阅–比较功能:
word比对
结果:
成功

主要的参考文档:【编译原理】实验一 词法分析器设计与实现

由以上文法定义可以看出,比实际文法要简单,只有整数型变量,且-100分开判定,并不是整数-100而是负号和整数100,所以此词法分析器只做学习使用。

在实验平台上运行时选择正确的编译器很重要,本人因为选了C编译器编译不过一度自闭,直到求助的某位美女告诉我可能是我选错编译器了,才破了案。

over。

这篇关于【编译原理】实验:词法分析器的实现与分析(本校实验平台的题)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/421857

相关文章

Linux下删除乱码文件和目录的实现方式

《Linux下删除乱码文件和目录的实现方式》:本文主要介绍Linux下删除乱码文件和目录的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux下删除乱码文件和目录方法1方法2总结Linux下删除乱码文件和目录方法1使用ls -i命令找到文件或目录

MySQL中的LENGTH()函数用法详解与实例分析

《MySQL中的LENGTH()函数用法详解与实例分析》MySQLLENGTH()函数用于计算字符串的字节长度,区别于CHAR_LENGTH()的字符长度,适用于多字节字符集(如UTF-8)的数据验证... 目录1. LENGTH()函数的基本语法2. LENGTH()函数的返回值2.1 示例1:计算字符串

SpringBoot+EasyExcel实现自定义复杂样式导入导出

《SpringBoot+EasyExcel实现自定义复杂样式导入导出》这篇文章主要为大家详细介绍了SpringBoot如何结果EasyExcel实现自定义复杂样式导入导出功能,文中的示例代码讲解详细,... 目录安装处理自定义导出复杂场景1、列不固定,动态列2、动态下拉3、自定义锁定行/列,添加密码4、合并

mybatis执行insert返回id实现详解

《mybatis执行insert返回id实现详解》MyBatis插入操作默认返回受影响行数,需通过useGeneratedKeys+keyProperty或selectKey获取主键ID,确保主键为自... 目录 两种方式获取自增 ID:1. ​​useGeneratedKeys+keyProperty(推

Spring Boot集成Druid实现数据源管理与监控的详细步骤

《SpringBoot集成Druid实现数据源管理与监控的详细步骤》本文介绍如何在SpringBoot项目中集成Druid数据库连接池,包括环境搭建、Maven依赖配置、SpringBoot配置文件... 目录1. 引言1.1 环境准备1.2 Druid介绍2. 配置Druid连接池3. 查看Druid监控

Linux在线解压jar包的实现方式

《Linux在线解压jar包的实现方式》:本文主要介绍Linux在线解压jar包的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux在线解压jar包解压 jar包的步骤总结Linux在线解压jar包在 Centos 中解压 jar 包可以使用 u

Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

《Androidkotlin中Channel和Flow的区别和选择使用场景分析》Kotlin协程中,Flow是冷数据流,按需触发,适合响应式数据处理;Channel是热数据流,持续发送,支持... 目录一、基本概念界定FlowChannel二、核心特性对比数据生产触发条件生产与消费的关系背压处理机制生命周期

java使用protobuf-maven-plugin的插件编译proto文件详解

《java使用protobuf-maven-plugin的插件编译proto文件详解》:本文主要介绍java使用protobuf-maven-plugin的插件编译proto文件,具有很好的参考价... 目录protobuf文件作为数据传输和存储的协议主要介绍在Java使用maven编译proto文件的插件

c++ 类成员变量默认初始值的实现

《c++类成员变量默认初始值的实现》本文主要介绍了c++类成员变量默认初始值,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录C++类成员变量初始化c++类的变量的初始化在C++中,如果使用类成员变量时未给定其初始值,那么它将被

Qt使用QSqlDatabase连接MySQL实现增删改查功能

《Qt使用QSqlDatabase连接MySQL实现增删改查功能》这篇文章主要为大家详细介绍了Qt如何使用QSqlDatabase连接MySQL实现增删改查功能,文中的示例代码讲解详细,感兴趣的小伙伴... 目录一、创建数据表二、连接mysql数据库三、封装成一个完整的轻量级 ORM 风格类3.1 表结构