关于TVM模型的Relay IR的Node遍历

2024-03-12 06:12
文章标签 遍历 模型 node ir relay tvm

本文主要是介绍关于TVM模型的Relay IR的Node遍历，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

TVM Relay Node类型与遍历方法

  • 目的
  • 二、步骤
    • 1.遍历方法
    • 2.关于节点类型
  • 总结

目的

关于TVM模型的Relay IR的Node遍历

二、步骤

1.遍历方法

代码如下（示例）：

import tvm
from tvm import relay
from tvm.contrib.debugger import debug_executor
import numpy as np
import onnx
from tvm.contrib import graph_executor# 定义fvisit函数
def print_node_type(node):print(type(node))def compile_and_run_each_layer(path, input_shape, target):onnx_model = onnx.load(path)mod, params = relay.frontend.from_onnx(onnx_model, shape={'input': input_shape})# 编译模型with tvm.transform.PassContext(opt_level=3):lib = relay.build(mod, target, params=params)# 获取每个操作, node类型包括：tvm.relay.expr.Var，tvm.ir.op.Op，tvm.relay.expr.Constant，tvm.relay.expr.Call，tvm.relay.function.Function等node for node in relay.analysis.post_order_visit(mod['main'], print_node_type)

打印Resnet50的Node类型如下：

<class 'tvm.relay.expr.Var'>
<class 'tvm.ir.op.Op'>
<class 'tvm.ir.op.Op'>
<class 'tvm.ir.op.Op'>
<class 'tvm.ir.op.Op'>
<class 'tvm.ir.op.Op'>
<class 'tvm.ir.op.Op'>
<class 'tvm.ir.op.Op'>
<class 'tvm.ir.op.Op'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.function.Function'>

2.关于节点类型

在 TVM 框架中，relay 模块定义了用于构建和表示深度学习计算图的类和函数。下面是一些类的概述和它们在 Relay IR （中间表示）中的作用：

  1. tvm.relay.expr.Var: 这个类代表了计算图中的一个变量，通常用来表示输入数据或者模型参数。每一个 Var 实例都有一个唯一的名称和数据类型。例如，创建一个新的变量：
x = relay.var('x', relay.TensorType((1,), 'float32'))
  1. tvm.ir.op.Op: 这是所有 Relay算子的基类，它描述了一个操作的属性和行为。操作（Op）是构建神经网络层的基础，例如卷积、激活函数、池化等。举例来说，获取一个操作符的信息：
add_op_info = relay.op.get("add")
  1. tvm.relay.expr.Constant: 表示计算图中的常数值。一个 Constant 包含一个实际的张量值，通常用于表示模型中的权重和偏差。创建一个常量：
one = relay.const(1, 'float32')
  1. tvm.relay.expr.Call: 代表对一个函数或者操作的调用。在 Relay 中，模型中的每一个层（例如，卷积层、全连接层等）通常由一个 Call 节点表示。例如，创建一个对 add 函数的调用：
y = relay.add(x, one)
  1. tvm.relay.function.Function: 这个类表示一个 Relay 函数，它有参数列表和函数体。一般用于定义模型的前向传播，将输入变量映射到输出。创建一个简单的函数：
 `fn = relay.Function([x], y)`

在 Relay IR 中，这些类和实例是用于构建和表示深度学习模型的不同部分。通过这些构建块，可以表示复杂的计算图，进而进行优化和编译，以在不同的硬件上高效运行。

总结

TVM入门

这篇关于关于TVM模型的Relay IR的Node遍历的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/800368。

相关文章

0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

《0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeekR1模型的操作流程》DeepSeekR1模型凭借其强大的自然语言处理能力,在未来具有广阔的应用前景,有望在多个领域发... 目录0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型，3步搞定一个应
阅读更多...
Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

《DeepseekR1模型本地化部署+API接口调用详细教程(释放AI生产力)》本文介绍了本地部署DeepSeekR1模型和通过API调用将其集成到VSCode中的过程,作者详细步骤展示了如何下载和... 目录前言一、deepseek R1模型与chatGPT o1系列模型对比二、本地部署步骤1.安装oll
阅读更多...
Spring AI Alibaba接入大模型时的依赖问题小结

Spring AI Alibaba接入大模型时的依赖问题小结

《SpringAIAlibaba接入大模型时的依赖问题小结》文章介绍了如何在pom.xml文件中配置SpringAIAlibaba依赖,并提供了一个示例pom.xml文件,同时,建议将Maven仓... 目录（一）pom.XML文件：（二）application.yml配置文件（一）pom.xml文件：首
阅读更多...
如何在本地部署 DeepSeek Janus Pro 文生图大模型

如何在本地部署 DeepSeek Janus Pro 文生图大模型

《如何在本地部署DeepSeekJanusPro文生图大模型》DeepSeekJanusPro模型在本地成功部署,支持图片理解和文生图功能,通过Gradio界面进行交互,展示了其强大的多模态处... 目录什么是 Janus Pro1. 安装 conda2. 创建 python 虚拟环境3. 克隆 janus
阅读更多...
本地私有化部署DeepSeek模型的详细教程

本地私有化部署DeepSeek模型的详细教程

《本地私有化部署DeepSeek模型的详细教程》DeepSeek模型是一种强大的语言模型,本地私有化部署可以让用户在自己的环境中安全、高效地使用该模型,避免数据传输到外部带来的安全风险,同时也能根据自... 目录一、引言二、环境准备（一）硬件要求（二）软件要求（三）创建虚拟环境三、安装依赖库四、获取 Dee
阅读更多...
DeepSeek模型本地部署的详细教程

DeepSeek模型本地部署的详细教程

《DeepSeek模型本地部署的详细教程》DeepSeek作为一款开源且性能强大的大语言模型,提供了灵活的本地部署方案,让用户能够在本地环境中高效运行模型,同时保护数据隐私,在本地成功部署DeepSe... 目录一、环境准备（一）硬件需求（二）软件依赖二、安装Ollama三、下载并部署DeepSeek模型选
阅读更多...
C++中使用vector存储并遍历数据的基本步骤

C++中使用vector存储并遍历数据的基本步骤

《C++中使用vector存储并遍历数据的基本步骤》C++标准模板库（STL）提供了多种容器类型,包括顺序容器、关联容器、无序关联容器和容器适配器,每种容器都有其特定的用途和特性,：本文主要介绍C... 目录（1）容器及简要描述‌php顺序容器‌‌关联容器‌‌无序关联容器‌（基于哈希表）：‌容器适配器‌：（
阅读更多...
Golang的CSP模型简介(最新推荐)

Golang的CSP模型简介(最新推荐)

《Golang的CSP模型简介(最新推荐)》Golang采用了CSP（CommunicatingSequentialProcesses,通信顺序进程）并发模型,通过goroutine和channe... 目录前言一、介绍1. 什么是 CSP 模型2. Goroutine3. Channel4. Channe
阅读更多...
Node.js 中 http 模块的深度剖析与实战应用小结

Node.js 中 http 模块的深度剖析与实战应用小结

《Node.js中http模块的深度剖析与实战应用小结》本文详细介绍了Node.js中的http模块,从创建HTTP服务器、处理请求与响应,到获取请求参数,每个环节都通过代码示例进行解析,旨在帮... 目录Node.js 中 http 模块的深度剖析与实战应用一、引言二、创建 HTTP 服务器：基石搭建（一
阅读更多...
Python基于火山引擎豆包大模型搭建QQ机器人详细教程(2024年最新)

Python基于火山引擎豆包大模型搭建QQ机器人详细教程(2024年最新)

《Python基于火山引擎豆包大模型搭建QQ机器人详细教程(2024年最新)》：本文主要介绍Python基于火山引擎豆包大模型搭建QQ机器人详细的相关资料,包括开通模型、配置APIKEY鉴权和SD... 目录豆包大模型概述开通模型付费安装 SDK 环境配置 API KEY 鉴权Ark 模型接口Prompt
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2