ANTLR使用监听器遍历语法分析树

本文主要是介绍ANTLR使用监听器遍历语法分析树，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

在ANTLR生成语法分析树之后我们可以对其节点进行遍历，在过程中完成相应的逻辑操作。ANTLR提供了两种遍历分析树的方法–监听器和访问器，默认会生成监听器的接口和代码。利用监听器实现一个语法分析器将Java中的short数组转化为字符串，例如

short[] dataArr={1, 2, 3};
String dataStr="\u0001\u0002\u0003";	//将short值看作Unicode字符

语法描述文件

如下所示，新建一个语法文件ArrayInit.g4

/** 语法文件以grammar开头，本语法名为ArrayInit，且语法名和文件名必须一致 */
grammar ArrayInit;/** 定义一条名为init的规则，匹配花括号中以逗号分隔的value */
init  : '{' value (',' value)* '}' ; /** 定义一个 value 可以是嵌套的结构，也可以是一个简单的整数INT */
value : init| INT		//使用‘|’来分割多个备选分支;// 语法规则以小写字母开头, 词法规则以大写字母开头
INT :   [0-9]+ ;             // 定义词法符号INT，由一个或多个数字组成
WS  :   [ \t\r\n]+ -> skip ; // 定义空白词法符号并跳过

生成与测试

运行ANTLR工具，生成相关的语法分析器和词法分析器

> antlr4 ArrayInit.g4

其中

• ArrayInitParser.java是语法分析器类，每条语法规则都在该类中对应一个方法
• ArrayInitLexer.java是词法分析器类，用于识别输入中的词法
• ArrayInit.tokens，每个词法符号类型对应一个数字，将映射关系保存到该文件
• ArraylnitListener.java,：ArraylnitListener接口中定义了语法树遍历时监听器的回调方法
• ArraylnitBaseListener.java是该接口的默认实现类，其中的每个方法都为空，我们可以覆盖需要的回调方法，在其中完成逻辑操作。

如下所示为tokens文件中定义的符号类型，可以看到‘{’、‘，’、‘}’分别对应1、2、3，整形INT和空白WS对应4、5

T__0=1
T__1=2
T__2=3
INT=4
WS=5
‘{’=1
‘,’=2
‘}’=3

编译上述所有Java文件，

javac *.java

测试，使用grun命令运行TestBig对语法ArrayInit进行测试，起始语法规则为init，并且输出词法符号

> grun ArrayInit init -tokens
{99, 100, 101}
^Z
[@0,0:0='{',<1>,1:0]	
[@1,1:2='99',<4>,1:1]	# 第1个词法符号（从0开始），位置从1到2，内容是‘99’，类型为4（对应INT），位于输入文本的第1行第1个字符（从0开始计）
[@2,3:3=',',<2>,1:3]
[@3,5:7='100',<4>,1:5]
[@4,8:8=',',<2>,1:8]
[@5,10:12='101',<4>,1:10]
[@6,13:13='}',<3>,1:13]
[@7,16:15='<EOF>',<-1>,2:0]

以lisp风格输出语法分析树，父节点和子节点在一行显示

>grun ArrayInit init -tree
{99,{100,101},102}
^Z
(init { (value 99) , (value (init { (value 100) , (value 101) })) , (value 102) })

以GUI形式输出语法树，

grun ArrayInit init -gui
{99,{100,101},102}
^Z

可以看到它由语法规则init和value对应的节点构成

使用监听器遍历树

经过上面的操作可以将输入字符串转化为语法分析树，在树的叶子节点可以得到具体数字，接下来通过对语法分析树遍历将数字转化为字符串。可以重写ArrayInitBaseListener类中的相关方法，在遍历到语法分析树相应节点时，重写监听器方法将数字转化为字符串。

翻译的过程就是字符映射的过程，例如下面将{映射为“，数字映射为16进制字符串，}映射为”

如下所示ShortToUnicodeString 类继承了ArrayInitBaseListener 并重写了对应的enter、exit方法，在其中完成字符映射

public class ShortToUnicodeString extends ArrayInitBaseListener {/** 将 { 映射为 " */@Overridepublic void enterInit(ArrayInitParser.InitContext ctx) {System.out.print('"');}/** 将 } 映射为 " */@Overridepublic void exitInit(ArrayInitParser.InitContext ctx) {System.out.print('"');}/** 将整形数字映射为16进制字符串 */@Overridepublic void enterValue(ArrayInitParser.ValueContext ctx) {// Assumes no nested array initializersint value = Integer.valueOf(ctx.INT().getText());System.out.printf("\\u%04x", value);}
}

接着实现主函数文件Translate.java用于从标准输入读入输入数据，构建语法分析树，进行遍历并处罚监听器的回调函数完成转换

//引入ANTLR运行依赖库
import org.antlr.v4.runtime.*;
import org.antlr.v4.runtime.tree.*;public class Test {public static void main(String[] args) throws Exception {ANTLRInputStream input = new ANTLRInputStream(System.in);	// 通过CharStream从标准输入读入数据ArrayInitLexer lexer = new ArrayInitLexer(input);			//词法分析器对输入进行处理CommonTokenStream tokens = new CommonTokenStream(lexer);	//将词法分析器产生的词法符号放到缓冲区ArrayInitParser parser = new ArrayInitParser(tokens);		//将词法符号送入语法分析器ParseTree tree = parser.init(); 					//从init规则开始进行语法分析ParseTreeWalker walker = new ParseTreeWalker();		//创建分析树的遍历器walker.walk(new ShortToUnicodeString(), tree);		//遍历语法分析树，触发监听器的回调函数完成转换System.out.println();}
}

接下来对Translate及相关Java程序进行编译然后运行，输出如下，可以看到完成了从short数组到字符串的转换

D:\Code\antlr\demo\chapter3>javac *.javaD:\Code\antlr\demo\chapter3>java Translate
{99,100,101}
^Z
"\u0063\u0064\u0065"

例子：使用监听器抽取Java方法

实现一个语法文件解析器，从Java类文件中，抽取方法并生成对应的接口定义

public class Demo {void f(int x, String y) { }int[ ] g(/*no args*/) { return null; }List<Map<String, Integer>>[] h() { return null; }
}interface IDemo {void f(int x, String y);int[ ] g(/*no args*/);List<Map<String, Integer>>[] h();
}

首先Java的语法文件部分定义如下

classDeclaration:   'class' Identifier typeParameters? ('extends' type)?('implements' typeList)?classBody;methodDeclaration:   type Identifier formalParameters ('[' ']')* methodDeclarationRest|   'void' Identifier formalParameters methodDeclarationRest;

通过使用监听器对生成的语法树进行遍历时，我们可以监听其中类定义和方法定义，例如当enterClassDeclaration()触发时，代表遍历到了类节点，此时打印相关的类信息，同理输出方法信息，完成遍历后就生成了对应的接口方法

public class ExtractInterfaceListener extends JavaBaseListener {JavaParser parser;public ExtractInterfaceListener(JavaParser parser) {this.parser = parser;}/** 监听对类定义的匹配 */@Overridepublic void enterClassDeclaration(JavaParser.ClassDeclarationContext ctx){System.out.println("interface I"+ctx.Identifier()+" {");}@Overridepublic void exitClassDeclaration(JavaParser.ClassDeclarationContext ctx) {System.out.println("}");}/** 监听对方法定义的匹配 */@Overridepublic void enterMethodDeclaration(JavaParser.MethodDeclarationContext ctx){TokenStream tokens = parser.getTokenStream();	//获取词法分析器，进而获取相关信息String type = "void";if ( ctx.type()!=null ) {type = tokens.getText(ctx.type());}String args = tokens.getText(ctx.formalParameters());	//获取方法参数列表System.out.println("\t"+type+" "+ctx.Identifier()+args+";");}
}

这篇关于ANTLR使用监听器遍历语法分析树的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---