TVM Object类型系统

2024-04-10 23:44
文章标签 类型 系统 object tvm

本文主要是介绍TVM Object类型系统，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

在TVM Object类型系统中最重要的是三个类：Object、ObjectPtr、ObjectRef

为什么需要这三个类？

设计目的：为了能够在不更改python前端的情况下扩展c++中的语言对象，且能够对任何语言对象序列化。

  • Object：编译器中所有的语言对象（命名一般以Node结尾）都是Object的子类，Object的子类保存了一般保存了数据成员变量
  • ObjectPtr：Object的子定义智能指针，用于进行内存管理
  • ObjectRef：Object的引用，ObjectRef的子类一般包含操作Object类的函数

代码实现

class TVM_DLL Object {protected:uint32_t type_index_{0};RefCounterType ref_counter_{0};FDeleter deleter_ = nullptr;inline void IncRef(); // 增加引用计数inline void DecRef(); // 减少引用计数private:inline int use_count() const; // 返回引用计数
};template <typename T>
class ObjectPtr {public:// 默认构造函数ObjectPtr() {}ObjectPtr(std::nullptr_t) {}// 拷贝构造，会调用构造函数从而增加引用数ObjectPtr(const ObjectPtr<T>& other) : ObjectPtr(other.data_) {}template <typename U>ObjectPtr(const ObjectPtr<U>& other) : ObjectPtr(other.data_) {static_assert(std::is_base_of<T, U>::value,"can only assign of child class ObjectPtr to parent");}// 移动构造函数，不调用构造函数，引用数不变ObjectPtr(ObjectPtr<T>&& other) : data_(other.data_) { other.data_ = nullptr; }template <typename Y>ObjectPtr(ObjectPtr<Y>&& other) : data_(other.data_) {static_assert(std::is_base_of<T, Y>::value, "can only assign of child class ObjectPtr to parent");other.data_ = nullptr;}// 析构函数~ObjectPtr() {if (data_ != nullptr) {data_->DecRef();data_ = nullptr;}// 使用计数int use_count() const { return data_ != nullptr ? data_->use_count() : 0; }// 访问成员变量T* get() const { return static_cast<T*>(data_); }T* operator->() const { return get(); }T& operator*() const { return *get(); }private:Object* data_{nullptr};// 构造函数，explicit意味着参数不能进行隐式转换explicit ObjectPtr(Object* data) : data_(data) {if (data != nullptr) {data_->IncRef();}}
};class ObjectRef {public:const Object* get() const { return data_.get(); }const Object* operator->() const { return get(); }using ContainerType = Object;protected:ObjectPtr<Object> data_;
};

ObjectPtr类中有Object*类型的data_成员变量，可以通过->操作符和get()函数返回Object*指针。
ObjectRef类中有ObjectPtr<Object>类型的data_成员变量，也可以通过->操作符和get()函数返回Object*指针（调用了data_成员变量的get()函数）。

我们以StringObj、String类为例来展示功能：

class StringObj : public Object {public:const char* data;uint64_t size;static constexpr const uint32_t _type_index = TypeIndex::kRuntimeString;static constexpr const char* _type_key = "runtime.String";TVM_DECLARE_FINAL_OBJECT_INFO(StringObj, Object);private:class FromStd; // 内部类，用于从std::string初始化data和size
};class StringObj::FromStd : public StringObj {public:explicit FromStd(std::string other) : data_container{other} {}private:std::string data_container;
};class String : public ObjectRef {public:String() : String(std::string()) {}String(std::string other);String(const char* other): String(std::string(other)) {}String(std::nullptr_t): ObjectRef(nullptr) {}const char* c_str() const { return get()->data; }const char* data() const { return get()->data; }// 类型转换运算符重载operator std::string() const { return std::string{get()->data, size()}; }size_t size() const {const auto* ptr = get();return ptr->size;}size_t length() const { return size(); }bool empty() const { return size() == 0; }char at(size_t pos) const {...}TVM_DEFINE_NOTNULLABLE_OBJECT_REF_METHODS(String, ObjectRef, StringObj);
};

StringObj类中定义了字符串的首字符的指针和字符串的长度，定义了类型键和类型索引，并使用了TVM_DECLARE_FINAL_OBJECT_INFO宏，定义如下：

#define TVM_DECLARE_FINAL_OBJECT_INFO(TypeName, ParentType) \static const constexpr bool _type_final = true;           \static const constexpr int _type_child_slots = 0;         \TVM_DECLARE_BASE_OBJECT_INFO(TypeName, ParentType)#define TVM_DECLARE_BASE_OBJECT_INFO(TypeName, ParentType)                                     \static_assert(!ParentType::_type_final, "ParentObj marked as final");                        \static uint32_t RuntimeTypeIndex() {                                                         \static_assert(TypeName::_type_child_slots == 0 || ParentType::_type_child_slots == 0 ||    \TypeName::_type_child_slots < ParentType::_type_child_slots,             \"Need to set _type_child_slots when parent specifies it.");                  \if (TypeName::_type_index != ::tvm::runtime::TypeIndex::kDynamic) {                        \return TypeName::_type_index;                                                            \}                                                                                          \return _GetOrAllocRuntimeTypeIndex();                                                      \}                                                                                            \static uint32_t _GetOrAllocRuntimeTypeIndex() {                                              \static uint32_t tindex = Object::GetOrAllocRuntimeTypeIndex(                               \TypeName::_type_key, TypeName::_type_index, ParentType::_GetOrAllocRuntimeTypeIndex(), \TypeName::_type_child_slots, TypeName::_type_child_slots_can_overflow);                \return tindex;                                                                             \}

TVM_DECLARE_BASE_OBJECT_INFO宏定义了两个静态变量以及两个静态函数，RuntimeTypeIndex()用于获取运行时类型索引，在StringObj构造时type_index_成员变量的值通过该函数得到。

tvm::runtime::String类中定义了对StringObj进行操作的函数，如size()，并使用了TVM_DEFINE_NOTNULLABLE_OBJECT_REF_METHODS宏，定义如下：

#define TVM_DEFINE_NOTNULLABLE_OBJECT_REF_METHODS(TypeName, ParentType, ObjectName)            \explicit TypeName(::tvm::runtime::ObjectPtr<::tvm::runtime::Object> n) : ParentType(n) {}    \TVM_DEFINE_DEFAULT_COPY_MOVE_AND_ASSIGN(TypeName);                                           \const ObjectName* operator->() const { return static_cast<const ObjectName*>(data_.get()); } \const ObjectName* get() const { return operator->(); }                                       \static constexpr bool _type_is_nullable = false;                                             \using ContainerType = ObjectName;

TVM_DEFINE_NOTNULLABLE_OBJECT_REF_METHODS宏定义了一个构造函数，重载了->运算符和get()函数（返回值类型不再是Object*而是StringObj*），标记该类型是不可为空的，定义了容器类型。

构造过程

构造函数String(std::string other);的实现如下：

inline String::String(std::string other) {auto ptr = make_object<StringObj::FromStd>(std::move(other));ptr->size = ptr->data_container.size();ptr->data = ptr->data_container.data();data_ = std::move(ptr);
}

可以看到在构造tvm::runtime::String时，首先使用分配器由std::string参数创建一个ObjectPtr<StringObj::FromStd>类型的对象。分配器创建完成后将StringObj::FromStd的data_container的size和data直接赋值给StringObj的size和data，然后将ptr移动到tvm::runtime::String的data_。


// include/tvm/runtime/memory.h
template <typename T, typename... Args>
inline ObjectPtr<T> make_object(Args&&... args) {return SimpleObjAllocator().make_object<T>(std::forward<Args>(args)...);
}template <typename Derived>
class ObjAllocatorBase {public:template <typename T, typename... Args>inline ObjectPtr<T> make_object(Args&&... args) {using Handler = typename Derived::template Handler<T>;static_assert(std::is_base_of<Object, T>::value, "make can only be used to create Object");T* ptr = Handler::New(static_cast<Derived*>(this), std::forward<Args>(args)...);ptr->type_index_ = T::RuntimeTypeIndex();ptr->deleter_ = Handler::Deleter();return ObjectPtr<T>(ptr);}
}

使用分配器创建时把std::string移动到了data_container中，这时调用了StringObj的构造函数，然后设置了StringObj的type_index_和deleter_，最后构造（通过ObjectPtr(Object* data)）并返回了ObjectPtr，在构造时增加了Object的引用数。

总结

构造ObjectRef的过程中对Object进行了构造，主要使用Object保存数据，ObjectPtr用于内存管理，ObjectRef表示引用并对数据进行操作。

这篇关于TVM Object类型系统的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/892486。

相关文章

不懂推荐算法也能设计推荐系统

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例，告诉我们不懂推荐算法的产品，也能从产品侧出发， 设计出一款不错的推荐系统。 相信很多新手产品，看到算法二字，多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法（注：传统是指科班出身的产品都会接触过）。但对于推荐算法，多数产品对着网上搜到的资源，都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后，更是加大了理解的难度。 但，不了解推荐算法，就无法做推荐系
阅读更多...
基于人工智能的图像分类系统

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务，目标是自动识别图像中的对象类别。通过卷积神经网络（CNN）等深度学习技术，我们可以构建高效的图像分类系统，广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统，包括环境
阅读更多...
水位雨量在线监测系统概述及应用介绍

水位雨量在线监测系统概述及应用介绍

在当今社会，随着科技的飞速发展，各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中，水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术，其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成，形成了一个完整的闭环系统。 数据采集单元：这是系统的“眼睛”，
阅读更多...
嵌入式QT开发：构建高效智能的嵌入式系统

嵌入式QT开发：构建高效智能的嵌入式系统

摘要： 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发，详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程，包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发，涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用，以及嵌入式 QT 与硬件设备的交互，包括输入输出设
阅读更多...
JAVA智听未来一站式有声阅读平台听书系统小程序源码

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来，一站式有声阅读平台听书系统 🌟&nbsp;开篇：遇见未来，从“智听”开始 在这个快节奏的时代，你是否渴望在忙碌的间隙，找到一片属于自己的宁静角落？是否梦想着能随时随地，沉浸在知识的海洋，或是故事的奇幻世界里？今天，就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统，它正悄悄改变着我们的阅读方式，让未来触手可及！ 📚&nbsp;第一站：海量资源，应有尽有 走进“智听
阅读更多...
零基础学习Redis(10) -- zset类型命令使用

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合，内部除了存储元素外，还会存储一个score，存储在zset中的元素会按照score的大小升序排列，不同元素的score可以重复，score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]
阅读更多...
【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善，其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性， 将与教育相关的数据要素在区块链上进行存证确权，在确保数据可信的前提下，促进教育的公平、透明、开放，为教育教学质量提升赋能，实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护，支撑教育资源共享、教学质量评估、
阅读更多...
软考系统规划与管理师考试证书含金量高吗？

软考系统规划与管理师考试证书含金量高吗？

2024年软考系统规划与管理师考试报名时间节点： 报名时间：2024年上半年软考将于3月中旬陆续开始报名 考试时间：上半年5月25日到28日，下半年11月9日到12日 分数线：所有科目成绩均须达到45分以上（包括45分）方可通过考试 成绩查询：可在“中国计算机技术职业资格网”上查询软考成绩 出成绩时间：预计在11月左右 证书领取时间：一般在考试成绩公布后3~4个月，各地领取时间有所不同
阅读更多...
系统架构师考试学习笔记第三篇——架构设计高级知识（20）通信系统架构设计理论与实践

系统架构师考试学习笔记第三篇——架构设计高级知识（20）通信系统架构设计理论与实践

本章知识考点：         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识
阅读更多...
计算机毕业设计 大学志愿填报系统 Java+SpringBoot+Vue 前后端分离 文档报告 代码讲解 安装调试

计算机毕业设计 大学志愿填报系统 Java+SpringBoot+Vue 前后端分离 文档报告 代码讲解 安装调试

🍊作者：计算机编程-吉哥 🍊简介：专业从事JavaWeb程序开发，微信小程序开发，定制化项目、 源码、代码讲解、文档撰写、ppt制作。做自己喜欢的事，生活就是快乐的。 🍊心愿：点赞 👍 收藏 ⭐评论 📝 🍅 文末获取源码联系 👇🏻 精彩专栏推荐订阅 👇🏻 不然下次找不到哟~Java毕业设计项目~热门选题推荐《1000套》 目录 1.技术选型 2.开发工具 3.功能
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2