2312llvm,用匹配器构建clang工具

2023-12-26 21:44
文章标签 工具 构建 匹配 clang 2312llvm

本文主要是介绍2312llvm,用匹配器构建clang工具，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

原文

用LibTooling和LibASTMatchers构建工具

这里展示如何基于Clang的LibTooling构建有用的源到源翻译工具.基础

步骤0:取Clang

因为Clang是LLVM项目的一部分,因此你需要先下载LLVM的源码.Clang和LLVM都在同一个git仓库中,在不同的目录下.更多见入门指南.

cd ~/clang-llvm
git clone https://github.com/llvm/llvm-project.git

接着,要取CMake构建系统和Ninja构建工具.

cd ~/clang-llvm
git clone https://github.com/martine/ninja.git
cd ninja
git checkout release
./bootstrap.py
sudo cp ninja /usr/bin/
cd ~/clang-llvm
git clone git://cmake.org/stage/cmake.git
cd cmake
git checkout next
./bootstrap
make
sudo make install

好.现在构建Clang!

cd ~/clang-llvm
mkdir build && cd build
cmake -G Ninja ../llvm -DLLVM_ENABLE_PROJECTS="clang;clang-tools-extra" -DLLVM_BUILD_TESTS=ON  
# 允许测试,默认关闭.
ninja
ninja check       # Test LLVM only.
ninja clang-test  # Test Clang only.
ninja install

好,可以了.所有测试都应通过.
最后,想设置Clang为它自己的编译器.

cd ~/clang-llvm/build
cmake ../llvm

第二个命令打开配置Clang的GUI.你需要设置CMAKE_CXX_COMPILER项.按"t"打开高级模式.向下滚动到CMAKE_CXX_COMPILER,并设置它为/usr/bin/clang++,或安装位置.
按"c"配置,然后按"g"生成CMake的文件.
最后,最后一次运行ninja,你就完成了.

步骤1:创建ClangTool

创建最简单的ClangTool:语法检查器.虽然已有clang-check了.

首先,为工具创建新目录,并告诉CMake它存在.因为这不会是核心clang工具,它将在clang-tools-extra仓库中.

cd ~/clang-llvm
mkdir clang-tools-extra/loop-convert
echo 'add_subdirectory(loop-convert)' >> clang-tools-extra/CMakeLists.txt
vim clang-tools-extra/loop-convert/CMakeLists.txt

CMakeLists.txt应包含以下内容:

set(LLVM_LINK_COMPONENTS support)
add_clang_executable(loop-convertLoopConvert.cpp)
target_link_libraries(loop-convertPRIVATEclangASTclangASTMatchersclangBasicclangFrontendclangSerializationclangTooling)

完成后,Ninja可编译此工具.编译!在clang-tools-extra/loop-convert/LoopConvert.cpp中放置以下内容.
不同部件见LibTooling文档.

//声明`clang::SyntaxOnlyAction`.
#include "clang/Frontend/FrontendActions.h"
#include "clang/Tooling/CommonOptionsParser.h"
#include "clang/Tooling/Tooling.h"
//声明`llvm::cl::extrahelp`.
#include "llvm/Support/CommandLine.h"
using namespace clang::tooling;
using namespace llvm;
//对所有命令行选项,自定义分类,这样只显示他们.
static llvm::cl::OptionCategory MyToolCategory("my-tool options");//`CommonOptionsParser`用与编译数据库和输入文件相关的常见命令行选项的`说明`声明`HelpMessage`.
//在所有工具中都有此帮助消息.static cl::extrahelp CommonHelp(CommonOptionsParser::HelpMessage);
//之后可添加此`特定工具`的帮助消息.
static cl::extrahelp MoreHelp("\nMore help text...\n");
int main(int argc, const char **argv) {auto ExpectedParser = CommonOptionsParser::create(argc, argv, MyToolCategory);if (!ExpectedParser) {//对不支持的选项,优雅失败.llvm::errs() << ExpectedParser.takeError();return 1;}CommonOptionsParser& OptionsParser = ExpectedParser.get();ClangTool Tool(OptionsParser.getCompilations(), OptionsParser.getSourcePathList());return Tool.run(newFrontendActionFactory<clang::SyntaxOnlyAction>().get());
}

就这样!可通过从build目录运行ninja来编译新工具.

cd ~/clang-llvm/build
ninja

现在应可在源文件上运行在~/clang-llvm/build/bin中的语法检查器.试试!

echo "int main() { return 0; }" > test.cpp
bin/loop-convert test.cpp --

注意指定源文件后的两个破折号.在破折号之后传递编译器附加选项,而不是从编译数据库中加载它们,现在不需要选项.

Intermezzo:学习AST匹配器基础

Clang最近推出了,提供简单,强大且简洁方式来描述AST中的指定模式的ASTMatcher库.

按宏和模板提供支持的DSL实现匹配器(见ASTMatchers.h,这里),它提供了函数式语言常见的代数数据类型的感觉.

如,假设只想检查二元符号.有个叫binaryOperator的匹配器可完成:

binaryOperator(hasOperatorName("+"), hasLHS(integerLiteral(equals(0))))

它会与左侧正好是0字面的加式匹配.不会与其他形式的0(如"\0"或NULL)匹配,但它与到0的扩展宏匹配.

匹配器也不会匹配调用"+"重载符号,因为有个单独的operatorCallExpr匹配器来处理重载符号.

有个AST匹配器来匹配AST的所有不同节点,缩小匹配器以仅匹配指定条件的AST节点,及从一个AST节点取到另一个AST节点的遍历匹配器.

AST匹配器的完整列表

所有名词匹配器都描述了AST中的可绑定实体,以便找到匹配项时可引用它们.为此,只需在这些匹配器上调用bind方法,如:

variable(hasType(isInteger())).bind("intvar")

第2步:使用AST匹配器

好的,使用匹配器.先定义一个抓按零定义初化的新变量的所有语句的匹配器.从匹配所有for循环开始:

forStmt()

接着,要在循环的第一部分,指定声明单个变量,以便可扩展匹配器到

forStmt(hasLoopInit(declStmt(hasSingleDecl(varDecl()))))

最后,可添加把变量初化为零的条件.

forStmt(hasLoopInit(declStmt(hasSingleDecl(varDecl(hasInitializer(integerLiteral(equals(0))))))))

很容易阅读和理解匹配器定义(“匹配,init部分声明了一个按0字面初化的变量的循环”),但很难确定每个部分都是必要的.

注意,此匹配器不会匹配,初化为"\0",0.0,NULL或除0整数之外的零的变量的循环.
最后一步是给匹配器取个名字,并绑定ForStmt,因为想用它干活:

StatementMatcher LoopMatcher =forStmt(hasLoopInit(declStmt(hasSingleDecl(varDecl(hasInitializer(integerLiteral(equals(0)))))))).bind("forLoop");

定义了匹配器后,要添加更多助手来运行它们.匹配器与MatchCallback配对,并用MatchFinder对象注册,然后从ClangTool运行.
添加以下内容到LoopConvert.cpp:

#include "clang/ASTMatchers/ASTMatchers.h"
#include "clang/ASTMatchers/ASTMatchFinder.h"
using namespace clang;
using namespace clang::ast_matchers;
StatementMatcher LoopMatcher =forStmt(hasLoopInit(declStmt(hasSingleDecl(varDecl(hasInitializer(integerLiteral(equals(0)))))))).bind("forLoop");
class LoopPrinter : public MatchFinder::MatchCallback {
public :virtual void run(const MatchFinder::MatchResult &Result) {if (const ForStmt *FS = Result.Nodes.getNodeAs<clang::ForStmt>("forLoop"))FS->dump();}
};

并将main()更改为:

int main(int argc, const char **argv) {auto ExpectedParser = CommonOptionsParser::create(argc, argv, MyToolCategory);if (!ExpectedParser) {//对不支持的选项,优雅失败.llvm::errs() << ExpectedParser.takeError();return 1;}CommonOptionsParser& OptionsParser = ExpectedParser.get();ClangTool Tool(OptionsParser.getCompilations(), OptionsParser.getSourcePathList());LoopPrinter Printer;MatchFinder Finder;Finder.addMatcher(LoopMatcher, &Printer);return Tool.run(newFrontendActionFactory(&Finder).get());
}

现在,应该可重新编译,并运行代码以发现for循环.创建包含几个示例的新文件,并测试新手工作品:

cd ~/clang-llvm/llvm/llvm_build/
ninja loop-convert
vim ~/test-files/simple-loops.cc
bin/loop-convert ~/test-files/simple-loops.cc

步骤3.5:更复杂的匹配器

简单匹配器可发现for循环,但仍需要过滤掉更多循环.可用一些巧妙选择的匹配器来完成很大一部分剩余工作,但先要决定想要允许的属性.

如何表征可转换为基于区间语法的数组上的循环?大小为N的数组,基于区间的循环:
1,从0索引开始
2,连续迭代
3,在N-1索引处结束

已检查了
(1),因此还要添加的只是检查循环条件,以确保循环的索引变量与N比较,并再次检查确保增量步骤只是递增相同变量.
(2)的匹配器很简单:要求在init部分,声明相同变量的前增量或后增量.

可惜,不能写此匹配器.匹配器不包含比较两个任意AST节点,并确定是否相等的逻辑,因此最好就是匹配比允许更多,并额外与回调比较.
就可开始构建该子匹配器.可要求增量步骤是一元增量,如下:

hasIncrement(unaryOperator(hasOperatorName("++")))

指定递增内容,引入了Clang的AST的另一个怪癖:因为它们是引用变量声明的表达式,按DeclRefExpr(“声明引用式”)表示变量用法.

要找到引用指定声明的unaryOperator,可简单地给它添加第二个条件:

hasIncrement(unaryOperator(hasOperatorName("++"),hasUnaryOperand(declRefExpr())))

此外,可按仅在递增变量为整数时才限制匹配匹配器:

hasIncrement(unaryOperator(hasOperatorName("++"),hasUnaryOperand(declRefExpr(to(varDecl(hasType(isInteger())))))))

最后一步是,把标识附加到此变量,以便可在回调中提取它:

hasIncrement(unaryOperator(hasOperatorName("++"),hasUnaryOperand(declRefExpr(to(varDecl(hasType(isInteger())).bind("incrementVariable"))))))

可添加这段代码到LoopMatcher定义中,并确保配备了新匹配器的程序,只打印出按零初化声明的单个变量的循环,并有由某个变量的一元增量组成的增量步骤.

现在,只需要添加一个匹配器,来检查for循环的条件变量部分是否与数组大小比较.只有一个问题:如果不查看循环主体,则不知道正在迭代的数组!

再次限制为,在匹配器中得到近似想要结果,在回调中填写细节.因此,从如下开始:

hasCondition(binaryOperator(hasOperatorName("<")))

确保左侧是引用变量,且右侧有整数类型.

hasCondition(binaryOperator(hasOperatorName("<"),hasLHS(declRefExpr(to(varDecl(hasType(isInteger()))))),hasRHS(expr(hasType(isInteger())))))

为什么?因为它不管用.在test-files/simple.cpp中提供的三个循环中,没有一个有匹配条件.快速查看第一个由上一个循环转换迭代生成的for循环的AST转储,展示了答案:

(ForStmt 0x173b240(DeclStmt 0x173afc80x173af50 "int i =(IntegerLiteral 0x173afa8 'int' 0)")<<>>(BinaryOperator 0x173b060 '_Bool' '<'(ImplicitCastExpr 0x173b030 'int'(DeclRefExpr 0x173afe0 'int' lvalue Var 0x173af50 'i' 'int'))(ImplicitCastExpr 0x173b048 'int'(DeclRefExpr 0x173b008 'const int' lvalue Var 0x170fa80 'N' 'const int')))(UnaryOperator 0x173b0b0 'int' lvalue prefix '++'(DeclRefExpr 0x173b088 'int' lvalue Var 0x173af50 'i' 'int'))(CompoundStatement ...

已知道声明和增量都匹配,否则就不会转储该循环.原因在小于符号的第一个操作数(即LHS)的隐式转换,即引用i的式中,有个L值到R值的转换.

好的是,匹配器库,以ignoringParenImpCast提供了此问题方法,告诉匹配器,在继续匹配前,忽略隐式转换和括号.

调整条件符号,恢复期望匹配.

hasCondition(binaryOperator(hasOperatorName("<"),hasLHS(ignoringParenImpCasts(declRefExpr(to(varDecl(hasType(isInteger())))))),hasRHS(expr(hasType(isInteger())))))

在把绑定添加到想抓的式中,并把标识串提取到变量中后,完成了数组第2步.

步骤4:提取匹配的节点

目前,匹配器回调,还不是很有趣:它只是转储循环的AST.有时,需要更改输入源码.接着,使用上一步中绑定的节点.

MatchFinder::run()回调带MatchFinder::MatchResult&参数.感兴趣的是它的Context和Nodes成员.

即,Clang使用ASTContext类,来表示AST的环境信息,但最重要的是多个操作需要ASTContext*参数.
更直接有用的是匹配节点的集合,及如何提取它们.
因为绑定了三个(由ConditionVarName,InitVarName和IncrementVarName标识)变量,因此可用getNodeAs()成员函数取匹配节点.
在LoopConvert.cpp中添加

#include "clang/AST/ASTContext.h"

更改LoopMatcher为:

StatementMatcher LoopMatcher =forStmt(hasLoopInit(declStmt(hasSingleDecl(varDecl(hasInitializer(integerLiteral(equals(0)))).bind("initVarName")))),hasIncrement(unaryOperator(hasOperatorName("++"),hasUnaryOperand(declRefExpr(to(varDecl(hasType(isInteger())).bind("incVarName")))))),hasCondition(binaryOperator(hasOperatorName("<"),hasLHS(ignoringParenImpCasts(declRefExpr(to(varDecl(hasType(isInteger())).bind("condVarName"))))),hasRHS(expr(hasType(isInteger())))))).bind("forLoop");

并将LoopPrinter::run更改为

void LoopPrinter::run(const MatchFinder::MatchResult &Result) {ASTContext *Context = Result.Context;const ForStmt *FS = Result.Nodes.getNodeAs<ForStmt>("forLoop");//不想转换头文件!if (!FS || !Context->getSourceManager().isWrittenInMainFile(FS->getForLoc()))return;const VarDecl *IncVar = Result.Nodes.getNodeAs<VarDecl>("incVarName");const VarDecl *CondVar = Result.Nodes.getNodeAs<VarDecl>("condVarName");const VarDecl *InitVar = Result.Nodes.getNodeAs<VarDecl>("initVarName");if (!areSameVariable(IncVar, CondVar) || !areSameVariable(IncVar, InitVar))return;llvm::outs() << "发现可能基于数组的循环.\n";
}

Clang用每个表示变量声明的变量关联VarDecl.因为每个声明的"规范"形式按地址都是唯一的,因此只需要确保(VarDecl的基类)ValueDecl不是NULL并比较规范声明.

static bool areSameVariable(const ValueDecl *First, const ValueDecl *Second) {return First && Second &&First->getCanonicalDecl() == Second->getCanonicalDecl();
}

如果执行到达LoopPrinter::run()的末尾,知道循环壳如下

for (int i= 0; i < expr(); ++i) { ... }

现在,只打印一条说明发现了个循环的消息.

顺便,尽管Clang已通过提供规范式方法,完成了艰苦工作,测试两个式是否相同,并不是那么简单:

static bool areSameExpr(ASTContext *Context, const Expr *First, const Expr *Second) {if (!First || !Second)return false;llvm::FoldingSetNodeID FirstID, SecondID;First->Profile(FirstID, *Context, true);Second->Profile(SecondID, *Context, true);return FirstID == SecondID;
}

此代码依赖两个llvm::FoldingSetNodeID间的比较.如Stmt::Profile()文档所示,Profile()成员函数,根据AST中的节点属性及其子节点的属性构建节点描述.
然后,FoldingSetNodeID按比较式的哈希来用.稍后需要areSameExpr.在添加其他循环到test-files/simple.cpp上,运行新代码前,请试找出哪些是可转换的循环.

这篇关于2312llvm,用匹配器构建clang工具的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/540873。

相关文章

嵌入式QT开发：构建高效智能的嵌入式系统

嵌入式QT开发：构建高效智能的嵌入式系统

摘要： 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发，详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程，包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发，涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用，以及嵌入式 QT 与硬件设备的交互，包括输入输出设
阅读更多...
【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。 🏆《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi
阅读更多...
高效录音转文字：2024年四大工具精选！

高效录音转文字：2024年四大工具精选！

在快节奏的工作生活中，能够快速将录音转换成文字是一项非常实用的能力。特别是在需要记录会议纪要、讲座内容或者是采访素材的时候，一款优秀的在线录音转文字工具能派上大用场。以下推荐几个好用的录音转文字工具！ 365在线转文字 直达链接：https://www.pdf365.cn/ 365在线转文字是一款提供在线录音转文字服务的工具，它以其高效、便捷的特点受到用户的青睐。用户无需下载安装任何软件，只
阅读更多...
Retrieval-based-Voice-Conversion-WebUI模型构建指南

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI（简称 RVC）模型是一个基于 VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）的简单易用的语音转换框架。 具有以下特点 简单易用：RVC 模型通过简单易用的网页界面，使得用户无需深入了
阅读更多...
hdu 3065 AC自动机 匹配串编号以及出现次数

hdu 3065 AC自动机 匹配串编号以及出现次数

题意： 仍旧是天朝语题。 Input 第一行，一个整数N（1<=N<=1000），表示病毒特征码的个数。 接下来N行，每行表示一个病毒特征码，特征码字符串长度在1—50之间，并且只包含“英文大写字符”。任意两个病毒特征码，不会完全相同。 在这之后一行，表示“万恶之源”网站源码，源码字符串长度在2000000之内。字符串中字符都是ASCII码可见字符（不包括回车）。
阅读更多...
【Linux 从基础到进阶】Ansible自动化运维工具使用

【Linux 从基础到进阶】Ansible自动化运维工具使用

Ansible自动化运维工具使用 Ansible 是一款开源的自动化运维工具，采用无代理架构（agentless），基于 SSH 连接进行管理，具有简单易用、灵活强大、可扩展性高等特点。它广泛用于服务器管理、应用部署、配置管理等任务。本文将介绍 Ansible 的安装、基本使用方法及一些实际运维场景中的应用，旨在帮助运维人员快速上手并熟练运用 Ansible。 1. Ansible的核心概念
阅读更多...
二分最大匹配总结

二分最大匹配总结

HDU 2444  黑白染色 ，二分图判定 const int maxn = 208 ;vector<int> g[maxn] ;int n ;bool vis[maxn] ;int match[maxn] ;;int color[maxn] ;int setcolor(int u , int c){color[u] = c ;for(vector<int>::iter
阅读更多...
maven 编译构建可以执行的jar包

maven 编译构建可以执行的jar包

💝💝💝欢迎莅临我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐：「stormsha的主页」👈，「stormsha的知识库」👈持续学习，不断总结，共同进步，为了踏实，做好当下事儿~ 专栏导航 Python系列: Python面试题合集，剑指大厂Git系列: Git操作技巧GO
阅读更多...
POJ 3057 最大二分匹配+bfs + 二分

POJ 3057 最大二分匹配+bfs + 二分

SampleInput35 5XXDXXX...XD...XX...DXXXXX5 12XXXXXXXXXXXXX..........DX.XXXXXXXXXXX..........XXXXXXXXXXXXX5 5XDXXXX.X.DXX.XXD.X.XXXXDXSampleOutput321impossible
阅读更多...
嵌入式Openharmony系统构建与启动详解

嵌入式Openharmony系统构建与启动详解

大家好，今天主要给大家分享一下，如何构建Openharmony子系统以及系统的启动过程分解。 第一：OpenHarmony系统构建      首先熟悉一下，构建系统是一种自动化处理工具的集合，通过将源代码文件进行一系列处理，最终生成和用户可以使用的目标文件。这里的目标文件包括静态链接库文件、动态链接库文件、可执行文件、脚本文件、配置文件等。      我们在编写hellowor
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2