试用GO开发python编译器：实现词法解析

2024-04-30 21:48
文章标签 python 实现 go 开发 解析 编译器 试用 词法

本文主要是介绍试用GO开发python编译器：实现词法解析，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

编译器由于涉及到编译原理，了解计算机科学的同学就能感触到，编译原理是较为抽象，无论从原理还是从实践上都是比较难把握的对象。在接触理论性较强，难度较大的问题时，最好的办法是从最简单的情况入手，先从感性上获得认知，为后面的理性认知打下基础，因此我们先从编译原理算法的基础入手，首先掌握词法解析。

上一节我们体会了“字节码”，现在问题在于”巧妇难为无米之炊“，我们总得有东西让我们产生字节码，这需要我们有能力将给定的代码进行解析后产生对应的字节码，而将代码转换为字节码的过程需要一系列非常复杂的操作，本节我们先从这些复杂操作的第一步，也就是词法解析开始。

词法解析简单来说就是对编程语言中的对象进行分类，例如在代码中，”1“，”234“，”3.14“等这类字符串我们将他们归类为NUMBER,用数值1来表示，类似”def", “map”, “string”,“with”,这类字符串我们将他们归类为KEYWORD，用数值2来表示，类似”+“，”-“，”*“,"/" ,"(",")"，我们归类为OPERATOR，用数值3表示，类似"x",“y”,"my_str"等这类字符串归类为IDENTIFIER,用数值4表示，以此类推。如果我们把代码中对应的元素进相应归类后，一段看起来很复杂的代码其实就是一系列归类符号的组合，例如语句"x + (y - 1) "就可以转换成IDENTIFIER OPERATOR IDENTIFIER OPERATOR IDENTIFIER OPERAOTR NUMBR，由此词法解析其实是对源代码进行分析时所做的第一步抽象。

在词法解析中例如上面用来进行归类的标签，例如OPERATOR, IDENTIFIER,等我们统称为token，在python内核系列文章里面，我们下载了python编译器代码，里面有一个文件夹叫Grammar,在里面有一个文件叫token,打开之后能看到如下内容：

请添加图片描述
文件里面描述的就是对不同符号的归类，从上面可以看出左括号被归类为LPAR，所有的操作符号都有对应的归类，当读取一段Python代码后，将代码中不同符号根据上面的对应关系完成归类的过程就是词法解析。

接下来我们开始词法解析的实现，首先定义具体的数据结构,在上节基础上新建一个文件夹名为Token,在里面添加一个"token.go”文件，添加如下代码：

package token type TokenType string type Token struct {Type TokenType  //类型Literal  string  //对应字符串
}//例如数值”1“对应的实例为Token {"NUMBER", "1"}

根据python语法的token文件，我们先进行一系列常量定义：

const (ILLEGAL = "ILLEGAL"EOF = "EOF"INDENT = "INDENT"  //变量类型对应的归类NUMBER = "NUMBER"  //数值类型对应的归类EQUAL = "=" //赋值操作符PLUS = "+" //加号操作符LPAR = "("RPAR = ")"LBRACE = "{"RBRACE = "}"COMMA = ","DEF = "def"  //关键字
)

上面我们堆一系列符号进行了归类，当然还有很多符号没有进行相应归类，后面我们用到的时候再处理，要不然会搞得过于复杂。接下来我们的目标是读取一段代码字符串，将字符串分割成不同的单元，然后将这些单元对应到给定分类。在相同目录下新建一个文件夹叫lexer，里面添加一个文件名为lexer_test.go,相应内容如下：

package lexer import("testing""token"
)func TestNextToken(t *testing.T) {input := `=+(){},`tests := []struct {expectedType  token.TokenType expectedLiteral string } {{token.EQUAL, "="},{token.PLUS, "+"},{token.LPAR, "("},{token.RPAR, ")"},{token.LBRACE, "{"},{token.RBRACE, "}"},{token.COMMA, ","},{token.EOF, ""},}l := New(input)for i, tt := range tests {tok := l.NextToken()if tok.Type != tt.expectedType {t.Fatalf("test[%d] - tokenType wrong. expected=%q, got=%q",i, tt.expectedType, tok.Type)if tok.Literal != tt.expectedLiteral {t.Fatalf("tests[%d] - literal wrong. expected=%q, got=%q",i, tt.expectedLiteral, tok.Literal)}}}
}

上面的测试用例还不能运行，我们需要先实现函数New，它返回一个对象能够提供接口NextToken,首先我们先进入Token文件夹设置一下其包信息：

go mod init token

然后进入到lexer文件夹，同样初始化一下包信息：

go mod init lexer

为了能成功引用token包，我们要打开lexer文件夹下的go.mod添加如下信息：

replace token => ../token

然后运行命令：

go mod tidy

完成上面操作后,lexer包就能使用token包导出的接口了。下面我们完成一个基本功能的词法解析器，在lexer文件夹下面新建一个文件为lexer.go，输入内容如下：

package lexer type Lexer struct {input string  //要解析的源代码字符串position int  //当前读取的字符位置readPosition int //下一个要读取的字符位置，也就是position + 1ch  byte  //读取的字符
}func New(input string) *Lexer { //生成一个词法解析器l := &Lexer{input: input}return l
}

我们看上面代码，为何需position和readPosition两个变量呢，其中position指向当前读取的字符所在位置，readPosition指向下一个要读取的字符位置，在解析过程中，我们在读取到当前字符时，还需要看下一个字符的内容才能决定要执行的操作，因此我们还需要readPosition来指向下一个字符，下面实现相关的函数：

package lexer 
import "token"type Lexer struct {input string  //要解析的源代码字符串position int  //当前读取的字符位置readPosition int //下一个要读取的字符位置，也就是position + 1ch  byte  //读取的字符
}func New(input string) *Lexer { //生成一个词法解析器l := &Lexer{input: input}l.readChar() //先读取第一个字符return l
}func (l *Lexer) readChar() { //读取当前字符if l.readPosition >= len(l.input) {l.ch = 0} else {l.ch = l.input[l.readPosition]}l.position = l.readPosition l.readPosition += 1
}func (l *Lexer) NextToken() token.Token{//读取一个字符，判断是否属于特定分类var tok token.Tokenswitch l.ch {case '=':tok = newToken(token.EQUAL, l.ch)case '(':tok = newToken(token.LPAR, l.ch)case ')':tok = newToken(token.RPAR, l.ch)case ',':tok = newToken(token.COMMA, l.ch)case '+':tok = newToken(token.PLUS, l.ch)case '{':tok = newToken(token.LBRACE, l.ch)case '}':tok = newToken(token.RBRACE, l.ch)case 0:  //读取到末尾tok.Literal = ""tok.Type = token.EOF }l.readChar()return tok 
}func newToken(tokenType token.TokenType, ch byte) token.Token {return token.Token{Type: tokenType, Literal: string(ch)}
}

上面代码逻辑比较简单，每次从输入的字符串中读取一个字符，看看读到的字符是否属于特定分类，现在可以跑起测试用例,在命令行窗口进入lexer目录然后运行go test,没问题的话可以看到测试用例通过。

下面重点来了，我们要解析一段python代码，其内容如下：

def  add(x, y):assert x > 0 and y > 0return x + y

上面是python代码定义的一个函数，在上面代码字符串中add, x, y, 属于一个类别，也就是变量名，我们用IDENTIFIER表示，(,)分别属于LPRA和RPRA。def, return, assert and属于同一个类别，也就是关键字，我们在lexer_test.go中添加对应测试用例

func TestNextToken2(t *testing.T) {input := `def add(x, y):z = x + yreturn z`tests := []struct {expectedType token.TokenType expectedLiteral string } {{token.DEF, "def"},{token.IDENTIFIER, "add"},{token.LPAR, "("},{token.IDENTIFIER, "x"},{token.COMMA, ","},{token.IDENTIFIER, "y"},{token.RPAR, ")"},{token.COLON, ":"},{token.IDENTIFIER, "z"},{token.EQUAL, "="},{token.IDENTIFIER, "x"},{token.PLUS, "+"},{token.IDENTIFIER, "z"},{token.RETURN, "return"},{token.IDENTIFIER, "z"}}l := New(input)for i, tt := range tests {tok := l.NextToken()if tok.Type != tt.expectedType {t.Fatalf("test[%d] - tokenType wrong. expected=%q, got=%q",i, tt.expectedType, tok.Type)if tok.Literal != tt.expectedLiteral {t.Fatalf("tests[%d] - literal wrong. expected=%q, got=%q",i, tt.expectedLiteral, tok.Literal)}}}
}

这里我们有个问题需要解决，那就是识别变量名，变量名的规则是以字母开头，后面跟着数字或者是下划线，因此解析逻辑就是，当我们读取到字符时，我们就进入到变量名的识别流程，也就是读取到字符后，如果接下来读取的还是字符，数字或者是下划线，我们就不断的往下走，直到遇到不是字符，数字或下划线的符号为止，由此我们在lexer.go中实现如下代码：

func (l *Lexer) NextToken() token.Token{var tok token.Tokenswitch l.ch {....default:if isLetter(l.ch) {tok.Literal = l.readIdentifier()return tok} else {tok = newToken(token.ILLEGAL, l.ch)}}l.readChar()return tok 
}//如果读取到字符，数字或者下划线那么就继续读取下一个字符
func (l *Lexer) readIdentifier() string {position := l.position for isLetter(l.ch) {l.readChar()}//获取到变量名字符串return l.input[position : l.position]
}func isLetter(ch byte) bool {return 'a' <= ch && ch <= 'z' || 'A' <= ch && ch <= 'Z' || ch == '_'
}

现在我们有一个问题，那就是满足变量名的条件中有一个字符串，他们不能简单看做是变量，这些字符串就是关键字，例如def, return, assert and,这些字符串有特定的功能，虽然他们的组成规则满足变量名的要求，但是我们要专门把他们抽取出来，于是我们回到token.go进行相应处理：

const (ILLEGAL = "ILLEGAL"EOF = "EOF"IDENTIFIER = "IDENTIFIER"  //变量类型对应的归类NUMBER = "NUMBER"  //数值类型对应的归类EQUAL = "=" //赋值操作符PLUS = "+" //加号操作符LPAR = "("RPAR = ")"LBRACE = "{"RBRACE = "}"COMMA = ","COLON = ":"LESS = "<"GREATER = ">"DEF = "def"  //关键字INT = "int"RETURN = "return"ASSERT = "assert"AND = "and"
)var keywords = map[string]TokenType {"def" : DEF,"int" : INT,"return" : RETURN,"assert" : ASSERT,"and" : AND,
}//将关键字从变量名中区别开来
func LookupIdent(ident string) TokenType {if tok, ok := keywords[ident]; ok {return tok }return IDENTIFIER
}

由此我们获得到变量名后，就得再做一次处理，看看所得变量名是不是关键字，由此回到lexer.go:

default:if isLetter(l.ch) {tok.Literal = l.readIdentifier()//看看变量名是否属于关键字tok.Type = token.LookupIdent(tok.Literal)return tok} else {tok = newToken(token.ILLEGAL, l.ch)}

现在我们还有一个问题没有处理到，那就是空格，回车，换行等特殊符号，对Python而言空格有特定作用，但我们这里先忽略它，于是在读取字符时，遇到空格，回车，换行的字符时要忽略他们，所以在lexer.go中要做如下处理：

func (l *Lexer) NextToken() token.Token{//读取一个字符，判断是否属于特定分类var tok token.Token//忽略空格，回车，换行等特定字符l.skipSpecialChar()....
}func (l *Lexer) skipSpecialChar() {//不读取回车换行，空格等这些特定字符for l.ch == ' ' || l.ch == '\t' || l.ch =='\n' || l.ch == '\r' {l.readChar()}
}

现在我们还有一种特定字符串需要处理，那就是数字，数字的规则就是，它由“0”到“9”这几个字符组成，我们暂时忽略调浮点数，只处理整数，于是一旦我们读取的字符串以数字开头时，我们就进入数字识别流程，接下来的字符必须跟着数字，一旦读取到非数字字符时，我们就判断当前读取到的字符合在一起是否形成有效数字，由此我们继续修改lexer.go:

func (l *Lexer) NextToken() token.Token{var tok token.Token//忽略空格，回车，换行等特定字符l.skipSpecialChar()switch l.ch {...default:if isLetter(l.ch) {tok.Literal = l.readIdentifier()//看看变量名是否属于关键字tok.Type = token.LookupIdent(tok.Literal)return tok} else if isDigit(l.ch) {tok.Type = token.NUMBERtok.Literal = l.readNumber()return tok} else {tok = newToken(token.ILLEGAL, l.ch)}}	
}	unc (l *Lexer) readNumber() string {position := l.position for isDigit(l.ch) {l.readChar()}return l.input[position : l.position]
}func isDigit(ch byte) bool {return '0' <= ch && '9' >= ch
}

完成以上代码后，我们当前所有测试都能通过，这也意味着着我们当前的工作已经能够对Python代码做初步的解析了。眼尖的同学可能会意识到一个问题，那就是在读取数字时，如果我们遇到非法的数字字符串例如“123abc"，此时词法解析器会将其读作123和abc，这个问题在以后章节中我们再做处理。

完整代码请点击这里
https://github.com/wycl16514/go_python_lexer_1.git

这篇关于试用GO开发python编译器：实现词法解析的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/950006。

相关文章

使用Python绘制蛇年春节祝福艺术图

使用Python绘制蛇年春节祝福艺术图

《使用Python绘制蛇年春节祝福艺术图》：本文主要介绍如何使用Python的Matplotlib库绘制一幅富有创意的“蛇年有福”艺术图,这幅图结合了数字,蛇形,花朵等装饰,需要的可以参考下... 目录1. 绘图的基本概念2. 准备工作3. 实现代码解析3.1 设置绘图画布3.2 绘制数字“2025”3.3
阅读更多...
python使用watchdog实现文件资源监控

python使用watchdog实现文件资源监控

《python使用watchdog实现文件资源监控》watchdog支持跨平台文件资源监控,可以检测指定文件夹下文件及文件夹变动,下面我们来看看Python如何使用watchdog实现文件资源监控吧... python文件监控库watchdogs简介随着Python在各种应用领域中的广泛使用，其生态环境也
阅读更多...
el-select下拉选择缓存的实现

el-select下拉选择缓存的实现

《el-select下拉选择缓存的实现》本文主要介绍了在使用el-select实现下拉选择缓存时遇到的问题及解决方案,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录项目场景：问题描述解决方案：项目场景：从左侧列表中选取字段填入右侧下拉多选框，用户可以对右侧
阅读更多...
Python中构建终端应用界面利器Blessed模块的使用

Python中构建终端应用界面利器Blessed模块的使用

《Python中构建终端应用界面利器Blessed模块的使用》Blessed库作为一个轻量级且功能强大的解决方案,开始在开发者中赢得口碑,今天,我们就一起来探索一下它是如何让终端UI开发变得轻松而高... 目录一、安装与配置：简单、快速、无障碍二、基本功能：从彩色文本到动态交互1. 显示基本内容2. 创建链
阅读更多...
基于Qt开发一个简单的OFD阅读器

基于Qt开发一个简单的OFD阅读器

《基于Qt开发一个简单的OFD阅读器》这篇文章主要为大家详细介绍了如何使用Qt框架开发一个功能强大且性能优异的OFD阅读器,文中的示例代码讲解详细,有需要的小伙伴可以参考一下... 目录摘要引言一、OFD文件格式解析二、文档结构解析三、页面渲染四、用户交互五、性能优化六、示例代码七、未来发展方向八、结论摘要
阅读更多...
Java调用Python代码的几种方法小结

Java调用Python代码的几种方法小结

《Java调用Python代码的几种方法小结》Python语言有丰富的系统管理、数据处理、统计类软件包,因此从java应用中调用Python代码的需求很常见、实用,本文介绍几种方法从java调用Pyt... 目录引言Java core使用ProcessBuilder使用Java脚本引擎总结引言python
阅读更多...
python 字典d[k]中key不存在的解决方案

python 字典d[k]中key不存在的解决方案

《python字典d[k]中key不存在的解决方案》本文主要介绍了在Python中处理字典键不存在时获取默认值的两种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录defaultdict：处理找不到的键的一个选择特殊方法__missing__有时候为了方便起见，
阅读更多...
使用Python绘制可爱的招财猫

使用Python绘制可爱的招财猫

《使用Python绘制可爱的招财猫》招财猫,也被称为“幸运猫”,是一种象征财富和好运的吉祥物,经常出现在亚洲文化的商店、餐厅和家庭中,今天,我将带你用Python和matplotlib库从零开始绘制一... 目录1. 为什么选择用 python 绘制？2. 绘图的基本概念3. 实现代码解析3.1 设置绘图画
阅读更多...
Python pyinstaller实现图形化打包工具

Python pyinstaller实现图形化打包工具

《Pythonpyinstaller实现图形化打包工具》：本文主要介绍一个使用PythonPYQT5制作的关于pyinstaller打包工具,代替传统的cmd黑窗口模式打包页面,实现更快捷方便的... 目录1.简介2.运行效果3.相关源码1.简介一个使用python PYQT5制作的关于pyinstall
阅读更多...
使用Python实现大文件切片上传及断点续传的方法

使用Python实现大文件切片上传及断点续传的方法

《使用Python实现大文件切片上传及断点续传的方法》本文介绍了使用Python实现大文件切片上传及断点续传的方法,包括功能模块划分（获取上传文件接口状态、临时文件夹状态信息、切片上传、切片合并）、整... 目录概要整体架构流程技术细节获取上传文件状态接口获取临时文件夹状态信息接口切片上传功能文件合并功能小
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2