TVM LLVM 加速AI

2024-05-15 00:08
文章标签 ai 加速 llvm tvm

本文主要是介绍TVM LLVM 加速AI,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

下面为记录人工智能推理加速过程,基于TVM

总体脉络:

    1. TVM 安装
    2. TVM 测试及使用
    3. Auto TVM 使用
    4. 编译导出 so/dll
    5.在C++中调用生成的so/dll

零、什么是TVM

TVM是apache基金会开放的人工智能模型编译框架,由华人 陈天琦博士 初始开发。陈博士本科毕业于上海交大ACM班,有极深的计算机理论基础,有名的xgboost就是出自他手。

通常我们使用人工智能模型进行前向推理的方式是这样:

1. 训练模型

这一步骤对于广大炼丹师来说非常熟悉了,可以使用tensorflow或pytorch之类工具进行模型训练,得到模型文件(网络结构和参数)。

2. 使用推理引擎部署模型

推理一般我们可以使用上面提到的人工智能框架的前向推理功能进行处理。稍讲究一点的可以使用专用的人工智能推理框架,比如onnxruntime (ORT), NCNN (腾讯出品)等。 这种方式可以理解为解释方式(类比于python语言的解释运行方式)。在这一方式下,我们需要先加载模型,用通过的推理引擎创建网络结构并加载好网络参数,再将需要推理的数据输入模型,得到最后的推理结果。

另一种方式就是所谓的 JIT 方式, 类似java或其它带JIT的语言(如php 8.0) ,比如你可以直接在java中创建代码并调用tvm进行推理。 这种情况下TVM引擎没有完全发挥优化能力。

第三种方式,最复杂但是最高效的方式: TVM编译。 将推理引擎和模型编译优化成native code方式。你可以想象成自己写的一套函数,函数中已经硬编码了网络模型的参数,可以从整体上对整个模型加参数进行编译优化,得到最好性能的推理功能函数(算子和模型已经融为一体)

第三四方式: 在IOT设备上,可以使用裸金属方式,即不需要操作系统支持的程序下,生成推理库,只依赖c运行库,无需操作系统介入,适合IOT设备。

我们将一步一步引导 大家测试第二三种方式的使用,终极目标是在auto  TVM基础上实现第三种方式。

Auto TVM 使用模板创建搜索空间来帮助我们进一步优化算法,以达到性能调优的目的。即auto-tunning。

auto-tuning分两个步骤:第一步定义搜索空间;第二步是运行搜索算法来探索这个空间。在本教程中,你可以了解如何在TVM中执行这两个步骤。下面通过矩阵乘法展示auto-tuning的完整工作流程。

本文可能会涉及autoTVM实作手法。
一、TVM 安装

请参考 官方文档: https://tvm.apache.org/docs/install/index.html

在ubuntu 18.04下安装:

1. 安装基础环境

    sudo apt-get update
    sudo apt-get install -y python3 python3-dev python3-setuptools gcc libtinfo-dev zlib1g-dev build-essential cmake libedit-dev libxml2-dev

2. 下载源码

git clone --recursive https://github.com/apache/tvm tvm

3. 进入tvm目录

    mkdir build
    cp cmake/config.cmake build

3.下载llvm 预编译包:

https://releases.llvm.org/download.html

从下面下载自己需要的包,解压后放到某个目录,我放到了/opt下

我的路径是:

/opt/clang+llvm-10.0.0-x86_64-linux-gnu-ubuntu-18.04/
注意上面的路径依使用的llvm版本有不同而不同。

4. 修改刚才复制的 config.cmake 文件

修改这行: set(USE_LLVM /path/to/your/llvm/bin/llvm-config)

我的值 是 set(USE_LLVM /opt/clang+llvm-10.0.0-x86_64-linux-gnu-ubuntu-18.04/bin/llvm-config)

注意上面的路径,依自己的clang的解压目录而变化 (clang和llvm在本文中的意思相同,不作区别)

5. 编译

    cd build
    cmake ..
    make -j4

6. 安装 tvm库

mkdir /opt/tvm

将build目录下的 libtvm打头的so文件复制到/opt/tvm 下

当前的两个文件是:

libtvm_runtime.so  libtvm.so

至少编译完成,下面安装python下的tvm

 
二、安装python版本TVM

切换到刚才下载的tvm源码的目录,即那个tvm目录。在此目录下还有先前创建的build目录的。

确保你的python命令运行后提示是 python3 版本。

cd python; python setup.py install --user; cd ..

安装完成后,运行python

输入 import tvm 并回车

如果没有报错,刚表明安装tvm成功。

 
三、TVM测试

    git clone https://github.com/google/googletest
    cd googletest
    mkdir build
    cd build
    cmake ..
    make
    sudo make install

切换到刚才的tvm源码目录(下面有我们创建的build)

运行测试脚本:

./tests/scripts/task_cpp_unittest.sh

make cpptest
四、Auto TVM 自动调优

https://blog.csdn.net/hw5226349/article/details/92019491

 
五、C++端部署及导出so

https://zhuanlan.zhihu.com/p/60981432

六、后记

关于 四、五节的内容,为了内容完整,引用了几个网上的文章,后面会完善。

https://blog.csdn.net/znsoft/article/details/115024906

这篇关于TVM LLVM 加速AI的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/990243

相关文章

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Spring AI ectorStore的使用流程

《SpringAIectorStore的使用流程》SpringAI中的VectorStore是一种用于存储和检索高维向量数据的数据库或存储解决方案,它在AI应用中发挥着至关重要的作用,本文给大家介... 目录一、VectorStore的基本概念二、VectorStore的核心接口三、VectorStore的

Spring AI集成DeepSeek三步搞定Java智能应用的详细过程

《SpringAI集成DeepSeek三步搞定Java智能应用的详细过程》本文介绍了如何使用SpringAI集成DeepSeek,一个国内顶尖的多模态大模型,SpringAI提供了一套统一的接口,简... 目录DeepSeek 介绍Spring AI 是什么?Spring AI 的主要功能包括1、环境准备2

Spring AI集成DeepSeek实现流式输出的操作方法

《SpringAI集成DeepSeek实现流式输出的操作方法》本文介绍了如何在SpringBoot中使用Sse(Server-SentEvents)技术实现流式输出,后端使用SpringMVC中的S... 目录一、后端代码二、前端代码三、运行项目小天有话说题外话参考资料前面一篇文章我们实现了《Spring

Spring AI与DeepSeek实战一之快速打造智能对话应用

《SpringAI与DeepSeek实战一之快速打造智能对话应用》本文详细介绍了如何通过SpringAI框架集成DeepSeek大模型,实现普通对话和流式对话功能,步骤包括申请API-KEY、项目搭... 目录一、概述二、申请DeepSeek的API-KEY三、项目搭建3.1. 开发环境要求3.2. mav

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo

Python使用国内镜像加速pip安装的方法讲解

《Python使用国内镜像加速pip安装的方法讲解》在Python开发中,pip是一个非常重要的工具,用于安装和管理Python的第三方库,然而,在国内使用pip安装依赖时,往往会因为网络问题而导致速... 目录一、pip 工具简介1. 什么是 pip?2. 什么是 -i 参数?二、国内镜像源的选择三、如何

Spring AI集成DeepSeek的详细步骤

《SpringAI集成DeepSeek的详细步骤》DeepSeek作为一款卓越的国产AI模型,越来越多的公司考虑在自己的应用中集成,对于Java应用来说,我们可以借助SpringAI集成DeepSe... 目录DeepSeek 介绍Spring AI 是什么?1、环境准备2、构建项目2.1、pom依赖2.2

Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

《DeepseekR1模型本地化部署+API接口调用详细教程(释放AI生产力)》本文介绍了本地部署DeepSeekR1模型和通过API调用将其集成到VSCode中的过程,作者详细步骤展示了如何下载和... 目录前言一、deepseek R1模型与chatGPT o1系列模型对比二、本地部署步骤1.安装oll

Spring AI Alibaba接入大模型时的依赖问题小结

《SpringAIAlibaba接入大模型时的依赖问题小结》文章介绍了如何在pom.xml文件中配置SpringAIAlibaba依赖,并提供了一个示例pom.xml文件,同时,建议将Maven仓... 目录(一)pom.XML文件:(二)application.yml配置文件(一)pom.xml文件:首