int8量化和tvm实现

2024-08-24 17:58
文章标签 实现 量化 int8 tvm

本文主要是介绍int8量化和tvm实现,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

量化主要有两种方案

  • 直接训练量化模型如Deepcompression,Binary-Net,Tenary-Net,Dorefa-Net
  • 对训练好的float模型(以float32为例)直接进行量化(以int8为例),这边博客主要讲这个
    参考NIVIDIA 量化官方文档

int8量化原理

将已有的float32型的数据改成A = scale_A * QA + bias_A,B类似,NVIDIA实验证明可以去掉bias,即A = scale_A * QA
也即是QA(量化后的A) = A / scale_A
在这里插入图片描述
有了对应公式A = scale_A * QA,则可以将float32的数据映射到int8,但是由于float32的数据动态范围比int8要大很多,如果数据分布不均匀,极限情况比如如果float32的原始数据都在127的周围,最后量化后都是127了,精度损失严重,而int8其他的数值完全没有用到,没有完全利用int8的数值范围,所以直接最大最小映射不是一个最优方案。
在这里插入图片描述
那能不能找到一个threshold,丢掉一部分float32数值,然后能够更加均匀地映射,从而充分地利用到int8的数值范围
在这里插入图片描述

在Softmax原理讲解中提到
交叉熵= 熵 + KL散度(相对熵)
1)信息熵:编码方案完美时,最短平均编码长度的是多少。
2)交叉熵:用次优编码方式时平均编码长度是多少,即需要多少个bits来表示
平均编码长度 = 最短平均编码长度 + 一个增量
3)相对熵:编码方案不一定完美时,平均编码长度相对于最小值的增加值。(即上面那个增量)
int8编码时所需编码长度 = float32编码时所需编码长度 + int8多需要的编码长度
因此相对熵就是int8float32(次优编码)比float32(最优编码)多出来的编码长度越小越好,所以需要找到一个合适的threshold,使得两者之间的相对熵最小即KL散度
这个KL距离代表了损失的信息
在这里插入图片描述

如何寻找一个合适的threshold呢,需要一个校准集合 Calibration Dataset,在校准数据集上运行FP32推理。收集激活的直方图,并生成一组具有不同阈值的8位表示法,并选择具有最少kl散度的表示;kl-散度是在参考分布(即FP32激活)和量化分布之间(即8位量化激活)之间。
在这里插入图片描述

TVM实现int8量化

# 从前端load模型,mxnet、onnx等
sym, _ = relay.frontend.from_mxnet(sym, {'data': data_shape})
# 随机生成test的模型参数,如果有已训练好的模型参数可以忽略
sym, params = tvm.relay.testing.create_workload(sym)
# 模型量化
with relay.quantize.qconfig(skip_k_conv=0, round_for_shift=True):sym = relay.quantize.quantize(sym, params)
# 模型优化(经过试验,tvm系统默认有一些常用的resnet的卷积优化,注意这个优化是和卷积配置包括输入输出kernel的数量绑定的)
# 如果使用系统已有的卷积优化配置则速度可保证,如果使用一些新奇的卷积结构需要使用auto tuning优化,不然很慢
参考 https://docs.tvm.ai/tutorials/autotvm/tune_relay_cuda.html#auto-tuning-a-convolutional-network-for-nvidia-gpu
# load最优的优化算子,然后编译模型
with autotvm.apply_history_best(log_file):print("Compile...")with relay.build_config(opt_level=3):graph, lib, params = relay.build_module.build(net, target=target, params=params)# 加载参数并运行ctx = tvm.context(str(target), 0)module = runtime.create(graph, lib, ctx)data_tvm = tvm.nd.array((np.random.uniform(size=input_shape)).astype(dtype))module.set_input('data', data_tvm)module.set_input(**params)# module.set_input(**{k:tvm.nd.array(v, ctx) for k, v in params.items()})module.run()# 测试forward时间e = module.module.time_evaluator("run", ctx, number=2000, repeat=3)t = module(data_tvm).resultst = np.array(t) * 1000print('{} (batch={}): {} ms'.format(name, batch, t.mean()))

tvm的一些代码链接tvm-cuda-int8-benchmark


这篇关于int8量化和tvm实现的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1103193

相关文章

Spring Security自定义身份认证的实现方法

《SpringSecurity自定义身份认证的实现方法》:本文主要介绍SpringSecurity自定义身份认证的实现方法,下面对SpringSecurity的这三种自定义身份认证进行详细讲解,... 目录1.内存身份认证(1)创建配置类(2)验证内存身份认证2.JDBC身份认证(1)数据准备 (2)配置依

利用python实现对excel文件进行加密

《利用python实现对excel文件进行加密》由于文件内容的私密性,需要对Excel文件进行加密,保护文件以免给第三方看到,本文将以Python语言为例,和大家讲讲如何对Excel文件进行加密,感兴... 目录前言方法一:使用pywin32库(仅限Windows)方法二:使用msoffcrypto-too

C#使用StackExchange.Redis实现分布式锁的两种方式介绍

《C#使用StackExchange.Redis实现分布式锁的两种方式介绍》分布式锁在集群的架构中发挥着重要的作用,:本文主要介绍C#使用StackExchange.Redis实现分布式锁的... 目录自定义分布式锁获取锁释放锁自动续期StackExchange.Redis分布式锁获取锁释放锁自动续期分布式

springboot使用Scheduling实现动态增删启停定时任务教程

《springboot使用Scheduling实现动态增删启停定时任务教程》:本文主要介绍springboot使用Scheduling实现动态增删启停定时任务教程,具有很好的参考价值,希望对大家有... 目录1、配置定时任务需要的线程池2、创建ScheduledFuture的包装类3、注册定时任务,增加、删

SpringBoot整合mybatisPlus实现批量插入并获取ID详解

《SpringBoot整合mybatisPlus实现批量插入并获取ID详解》这篇文章主要为大家详细介绍了SpringBoot如何整合mybatisPlus实现批量插入并获取ID,文中的示例代码讲解详细... 目录【1】saveBATch(一万条数据总耗时:2478ms)【2】集合方式foreach(一万条数

使用Python实现矢量路径的压缩、解压与可视化

《使用Python实现矢量路径的压缩、解压与可视化》在图形设计和Web开发中,矢量路径数据的高效存储与传输至关重要,本文将通过一个Python示例,展示如何将复杂的矢量路径命令序列压缩为JSON格式,... 目录引言核心功能概述1. 路径命令解析2. 路径数据压缩3. 路径数据解压4. 可视化代码实现详解1

PyQt6/PySide6中QTableView类的实现

《PyQt6/PySide6中QTableView类的实现》本文主要介绍了PyQt6/PySide6中QTableView类的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学... 目录1. 基本概念2. 创建 QTableView 实例3. QTableView 的常用属性和方法

PyQt6/PySide6中QTreeView类的实现

《PyQt6/PySide6中QTreeView类的实现》QTreeView是PyQt6或PySide6库中用于显示分层数据的控件,本文主要介绍了PyQt6/PySide6中QTreeView类的实现... 目录1. 基本概念2. 创建 QTreeView 实例3. QTreeView 的常用属性和方法属性

Android使用ImageView.ScaleType实现图片的缩放与裁剪功能

《Android使用ImageView.ScaleType实现图片的缩放与裁剪功能》ImageView是最常用的控件之一,它用于展示各种类型的图片,为了能够根据需求调整图片的显示效果,Android提... 目录什么是 ImageView.ScaleType?FIT_XYFIT_STARTFIT_CENTE

pandas中位数填充空值的实现示例

《pandas中位数填充空值的实现示例》中位数填充是一种简单而有效的方法,用于填充数据集中缺失的值,本文就来介绍一下pandas中位数填充空值的实现,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是中位数填充?为什么选择中位数填充?示例数据结果分析完整代码总结在数据分析和机器学习过程中,处理缺失数