Antlr4学习笔记

AST

1. 树状结构：AST是一个树形结构，由多个节点组成，每个节点代表源代码中的一个语法元素

2. 抽象性：抽象出了代码的结构和语法，去除了空白字符和不影响语法结构的细节

3. 层次化：节点之间存在层次关系，父节点表示较高级的语法结构，子节点表示较低级的语法结构，如表达式中的操作符和操作数

4. 语法表达：节点的类型和属性反映了源代码的语法结构，例如，变量声明节点会包含变量名和数据类型等属性

5. 用途广泛：在编译器、解释器和代码分析工具中广泛用于分析和转换源代码，以便进行语法分析、优化、静态分析和代码生成等任务

ANTLR

1. 语法描述: 编写自定义的语法描述文件，通常使用ANTLR的语法规则来定义编程语言、数据格式、配置文件等各种领域特定语言（DSL）的语法。ANTLR支持上下文无关语法（CFG）规则，但也可以处理上下文相关语法

2. 多语言支持: 生成的ANTLR解析器可以用多种编程语言实现，包括Java、C#、Python和JavaScript等。这意味着你可以使用你熟悉的编程语言来构建解析器

3. 生成AST: 能够轻松生成抽象语法树（AST），使得在编译器、解释器和代码分析中更容易操作和理解源代码

4. 词法分析和语法分析: 包括对词法分析和语法分析的支持，从源代码中提取标记（tokens）和解析语法变得非常容易

5. 监听器和访问者模式: ANTLR 4生成的解析器允许使用监听器和访问者模式来处理语法树中的节点，在树遍历期间执行特定的操作非常方便

6. 错误处理: ANTLR 4提供了强大的错误处理机制，可以生成有用的错误消息，并允许在遇到错误时执行特定的操作。

7. 强大的工具集成: ANTLR 4可以与各种开发工具和IDE集成，帮助开发和调试语法分析器

LL(*)

1. 无固定向前看符号数限制：传统的LL(k)语法分析器在每一步都需要预测接下来的k个符号，而LL(*)不受此限制。LL(*)语法分析器根据需要使用不同数量的向前看符号来解决不同的语法冲突

2. 上下文敏感性：语法分析器可以更好地处理上下文敏感的语法，因为它可以灵活地调整向前看符号的数量，以更好地理解当前的语法上下文

3. 自动构建分析表：语法分析器通常会自动构建分析表，以便根据输入文本的实际需求来选择向前看符号，而不需要手工指定向前看符号的数量

4. 递归下降分析器：通常与递归下降语法分析器结合使用，因为递归下降语法分析器易于实现和理解，并且与LL(*)相互兼容

5. 语法冲突解决：语法分析器通过回溯和基于输入文本的反馈来解决语法冲突，这使得它能够动态地选择正确的产生式规则

是语法分析和语言处理中的一个概念，指的是在给定的语法规则下，一个输入字符串可以有多种不同的解释或分析方式

意味着语法规则无法唯一确定输入字符串的语法结构，即存在多个可能的分析树或解析路径

java的二义性如两个不同接口名，方法A一致，实现类调用A时就有歧义

再比如sql中select user from user group by user,里面的user表达也有歧义

1. Parser根据编程语言的语法规则，将词法单元组合成更高级的结构，如语句、表达式等
2. 如果遇到语法错误，Parser通常会生成错误消息，或者尝试恢复到一个合法的语法状态
3. 解析器将生成的抽象语法树传递给后续的语义分析和代码生成阶段

访问者模式，主动遍历，推荐

1. 可以显示定义遍历语法树的顺序
2. 不需要与antlr遍历类ParseTreeWalker一起使用，直接对tree操作
3. 动作代码与文法产生式解耦，利于文法产生式的重用
4. visitor方法可以直接返回值，返回值的类型必须一致，不需要使用map这种节点间传值方式，效率高

1. 不需要显示定义遍历语法树的顺序，实现简单
2. 缺点，不能显示控制遍历语法树的顺序
3. 动作代码与文法产生式解耦，利于文法产生式的重用
4. 没有返回值，需要使用map、栈等结构在节点间传值

a=3+2-1.1\nb=a*-2.2\n

8.58

<dependencies><dependency><groupId>org.antlr</groupId><artifactId>antlr4-runtime</artifactId><version>4.13.1</version></dependency>
</dependencies><build><plugins><plugin><groupId>org.antlr</groupId><artifactId>antlr4-maven-plugin</artifactId><version>4.13.1</version><executions><execution><goals><goal>antlr4</goal></goals><phase>none</phase></execution></executions><configuration><outputDirectory>src/main/java</outputDirectory><!--<listener>true</listener>--><visitor>true</visitor><!--<treatWarningsAsErrors>true</treatWarningsAsErrors>--></configuration></plugin></plugins></build>

grammar Expr;
/* 起始规则，语法分析的起点 */
prog: stat+;
stat: expr NEWLINE # printExpr| ID '=' expr NEWLINE # assign| NEWLINE # blank;
expr: expr op=('*'|'/') expr # MulDiv| expr op=('+'|'-') expr # AddSub| NUMBER # number| '-' NUMBER # negative| ID #id| '(' expr ')' #parens;
NUMBER : DECIMAL|INT; //数字
fragment DECIMAL : INT '.' INT; //匹配小数
ID:  [a-zA-Z]+;     // 匹配标识符
fragment INT: [0-9]+;        // 匹配整数
NEWLINE: 'r'? '\n'; // 告诉语法分析器一个新行的开始(即语句终止标志)
WS:  [\t]+ -> skip; // 丢弃空白字符
MUL:  '*';
DIV:  '/';
ADD:  '+';
SUB:  '-';

import java.math.BigDecimal;
import java.util.HashMap;
import java.util.Map;public class ExprCalVisitor extends ExprBaseVisitor<BigDecimal>{Map<String, BigDecimal> memory = new HashMap<String, BigDecimal>();@Overridepublic BigDecimal visitId(ExprParser.IdContext ctx) {String id = ctx.ID().getText();if (memory.containsKey(id))return memory.get(id);return BigDecimal.ZERO;}/*** expr newline* @param ctx the parse tree* @return*/@Overridepublic BigDecimal visitPrintExpr(ExprParser.PrintExprContext ctx) {BigDecimal value = visit(ctx.expr());System.out.println(value);return BigDecimal.ZERO;}/* ID '=' expr NEWLINE */@Overridepublic BigDecimal visitAssign(ExprParser.AssignContext ctx) {String id = ctx.ID().getText();BigDecimal value = visit(ctx.expr());memory.put(id, value);return value;}/* expr op=('*'|'/') expr */@Overridepublic BigDecimal visitMulDiv(ExprParser.MulDivContext ctx) {BigDecimal left = visit(ctx.expr(0));BigDecimal right = visit(ctx.expr(1));if (ctx.op.getType() == ExprLexer.MUL)return left.multiply( right);return left .divide(right,4,BigDecimal.ROUND_HALF_UP);}/* expr op=('+'|'-') expr */@Overridepublic BigDecimal visitAddSub(ExprParser.AddSubContext ctx) {BigDecimal left = visit(ctx.expr(0));BigDecimal right = visit(ctx.expr(1));if(ctx.op.getType()==ExprLexer.ADD){return left.add(right);}return left.subtract(right);}@Overridepublic BigDecimal visitNumber(ExprParser.NumberContext ctx) {String text = ctx.getText();return new BigDecimal(text);}@Overridepublic BigDecimal visitParens(ExprParser.ParensContext ctx) {return visit(ctx.expr());}@Overridepublic BigDecimal visitNegative(ExprParser.NegativeContext ctx) {return new BigDecimal(ctx.getText());}
}

import org.antlr.v4.runtime.CharStreams;
import org.antlr.v4.runtime.CodePointCharStream;
import org.antlr.v4.runtime.CommonTokenStream;import java.math.BigDecimal;
import java.util.Arrays;
import java.util.List;public class ExprDemo {public static void main(String[] args) {List<String> testSet = Arrays.asList("a=1+2\nb=a*3\n","res=1+2\n","res=(1+0.01)*2.3*100/(15-5)\n","a=-1*3-4\nb=-2*a\n");ExprCalVisitor visitor = new ExprCalVisitor();for (int i = 0; i < testSet.size(); i++) {// 构建字符流CodePointCharStream charStream = CharStreams.fromString(testSet.get(i));// 从字符流分析词法， 解析为tokenExprLexer lexer = new ExprLexer(charStream);// 从token进行分析ExprParser parser = new ExprParser(new CommonTokenStream(lexer));// 使用监听器，遍历语法树，根据语法定义，prog为语法树的根节点ExprParser.ProgContext prog = parser.prog();// 使用visitor，生成自定义的对象BigDecimal res = visitor.visit(prog);System.out.println(res);}}}

grammar serial;file : (row '\n')*;       // 以一个'\n'作为终止符的序列
row : field (',' field)*; // 以一个','作为分隔符的序列
field : INT;              // 假设字段都是整数INT:[0-9]+;

expr: expr op=('*'|'/') expr //分支1| expr op=('+'|'-') expr //分支2| NUMBER # number //分支3

expr: expr op=('*'|'/') expr # MulDiv| expr op=('+'|'-') expr # AddSub| '(' expr ')' #parens

grammar recursion;
import Expr;
expr : expr '=' expr| fomula| NUMBER| fomula (OP fomula)*;
fomula:ID* '(' expr ')' ;ID:[a-zA-Z]+;
NUMBER:INT|DECIMAL;
OP:'*'|'+'|'-'|'/';

./mvnw -Dcheckstyle.skip=true -Drat.skip=true -Dmaven.javadoc.skip=true -Djacoco.skip=true -DskipITs -DskipTests install -T1C