TensorRT模型优化模型部署（七）--Quantization量化（PTQ and QAT)（二）

2024-01-13 10:12
文章标签 部署 优化 模型 量化 tensorrt quantization ptq qat

本文主要是介绍TensorRT模型优化模型部署（七）--Quantization量化（PTQ and QAT)（二），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

系列文章目录

第一章 TensorRT优化部署（一）–TensorRT和ONNX基础
第二章 TensorRT优化部署（二）–剖析ONNX架构
第三章 TensorRT优化部署（三）–ONNX注册算子
第四章 TensorRT模型优化部署（四）–Roofline model
第五章 TensorRT模型优化部署（五）–模型优化部署重点注意
第六章 TensorRT模型优化部署（六）–Quantization量化基础（一）
第七章 TensorRT模型优化模型部署（七）–Quantization量化（PTQ and QAT)（二）

文章目录

  • 系列文章目录
  • 前言
  • 一、(PTQ and quantization-analysis)
    • 1.1 PTQ 优缺点
    • 1.2 量化中的sensitive analysis
    • 1.2 Polygraphy
    • 1.3 FP16/INT8对计算资源的利用
  • 二、Quantization(QAT and kernel-fusion)
    • 1.Q/DQ是什么
    • 2.量化流程
  • 总结

前言

理解PTQ和QAT的区别，以及PTQ的优缺点和layer-wise sensitive analysis

一、(PTQ and quantization-analysis)

根据量化的时机，一般我们会把量化分为
• PTQ(Post-Training Quantization)，训练后量化
• QAT(Quantization-Aware Training)，训练时量化

在这里插入图片描述

PTQ一般是指对于训练好的模型，通过calibration算法等来获取dynamic range来进行量化。
但量化普遍上会产生精度下降。所以QAT为了弥补精度下降，在学习过程中通过Fine-tuning权
重来适应这种误差，实现精度下降的最小化。所以一般来讲，QAT的精度会高于PTQ。但并不
绝对。

1.1 PTQ 优缺点

PTQ(Post-training quantization)也被称作隐式量化(implicit quantization)。我们并不显式的
对算子添加量化节点(Q/DQ)，calibration之后TensorRT根据情况进行量化。

优点
• 方便使用，不需要训练。可以在部署设备上直接跑
缺点

  1. 精度下降
    • 量化过程会导致精度下降。但PTQ没有类似于QAT这种fine-tuning的过程。所以权重不会更
    新来吸收这种误差    。
  2. 量化不可控
    • TensorRT会权衡量化后所产生的新添的计算或者访存， 是否用INT8还是FP16。
    • TensorRT中的kernel autotuning会选择核函数来做FP16/INT8的计算。来查看是否在CUDA
    core上跑还是在Tensor core上跑
    • 有可能FP16是在Tensor core上，但转为INT8之后就在CUDA core上了
  3. 层融合问题
    • 量化后有可能出现之前可以融合的层，不能融合了
    • 量化会添加reformatter这种更改tensor的格式的算子，如果本来融合的两个算子间添加了这
    个就不能被融合了
    • 比如有些算子支持int8，但某些不支持。之前可以融合的，但因为精度不同不能融合了

如果INT8量化后速度反而会比FP16/FP32要慢，我们可以从以上的2和3去分析并排查原因

1.2 量化中的sensitive analysis

从精度分析的角度去弥补PTQ的精度下降，我们可以进行layer-wise的量化分析。这种方法被称
作layer-wise sensitive analysis。每层对模型的重要度比例是不一样的，普遍来讲，模型框架中会有一些层的量化对精度的影响比较大。我们管它们叫做敏感层(sensitive layer)。对于这些敏感层的量化我们需要非常小心。尽量用FP16。敏感层一般靠近模型的输入输出

在这里插入图片描述

在这里插入图片描述

1.2 Polygraphy

Polygraphy 是英伟达推出的一款工具，用于可视化和分析深度学习模型的性能和效果。可以分析并查找模型精度下降并且影响比较大的地方

• onnxruntime与TensorRT engine的layer-wise的精度分析
• 输出每一层layer的权重histogram
• 截取影响整个网络中对精度影响最大的子网，并使用onnx-surgeon单独拿出来

在这里插入图片描述
（跑一下Onnx模型再跑一下trt模型，两个模型对比，看激活值差别大概有多大，如果有一个层某个层精度下降比较大就会报错，然后把它取出来。）

具体查看官方文档：https://github.com/NVIDIA/TensorRT/tree/main/tools/Polygraphy#examples

1.3 FP16/INT8对计算资源的利用

在做量化后，我们无法指定将量化后的conv或者gemm放在Tensor core还是在CUDA core上计算。这些是TensorRT在帮我们选择核函数的时候自动完成的。查看是否在用Tensor core可以通过下面三个办法

• 使用dlprof
• 使用nsight system
• 使用trtexec

DLProf
DLProf (Deep learning Profiler)工具可以把模型在GPU上的执行情况以TensorBoard的形式打印出来，分析TensorCore的使用情况。DLProf不支持Jetson系列的Profile。对于Jetson，我们可以使用Nsight system或者trtexec。具体查看官方文档：https://developer.nvidia.com/blog/profiling-and-optimizing-deep-neural-networks-with-dlprof-and-pyprof/

Nsight System/trtexec
如果是利用Nsight system的话，我们可以查看到哪一个kernel的时间占用率最高，之后从kernel的名字取推测这个kernel是否在用Tensor Core。
eg:

• h884 = HMMA = FP16 TensorCore
• i8816 = IMMA = INT8 TensorCore
• hcudnn = FP16 normal CUDA kernel (without TensorCore)
• icudnn = INT8 normal CUDA kernel (without TensorCore)
• scudnn = FP32 normal CUDA kernel (without TensorCore)

HMMA: Half-precision matrix multiply and accumulate
Nsight System/trtexec IMMA: Int-precision matrix multiply and accumulate

二、Quantization(QAT and kernel-fusion)

QAT(Quantization Aware Training)也被称作显式量化。我们明确的在模型中添加Q/DQ节点
(量化/反量化)，来控制某一个算子的精度。并且通过fine-tuning来更新模型权重，让权重学习
并适应量化带来的精度误差。QAT的核心就是通过添加fake quantization，也就是Q/DQ节点，来模拟量化过程

1.Q/DQ是什么

Q/DQ node也被称作fake quantization node，是用来模拟fp32->int8的量化的scale和
shift(zero-point)，以及int8->fp32的反量化的scale和shift(zero-point)。QAT通过Q和DQ
node里面存储的信息对fp32或者int8进行线性变换。
在这里插入图片描述

TensorRT对包含Q/DQ节点的onnx模型使用很多图优化，从而提高计算效率。主要分为
• Q/DQ fusion
通过层融合，将Q/DQ中的线性计算与conv或者linear这种线性计算融合在一起，实现int8计算
• Q/DQ Propagation
将Q节点尽量往前挪，将DQ节点尽量往后挪，让网络中int8计算的部分变得更长
在这里插入图片描述
在这里插入图片描述
QAT的学习过程
• 主要是训练weight来学习误差
Q/DQ中的scale和zero-point也是可以训练的。通过训练来学习最好的scale来表示dynamic range
• 没有PTQ中那样人为的指定calibration过程
不是因为没有calibration这个过程来做histogram的统计，而是因为QAT会利用fine-tuning的数
据集在训练的过程中同时进行calibration，这个过程是我们看不见的。这就是为什么我们在
pytorch创建QAT模型的时候需要选定calibration algorithm。

pytorch支持对已经训练好的模型自动添加Q/DQ节点。详细可以参考https://github.com/NVIDIA/TensorRT/tree/main/tools/pytorch-quantization

2.量化流程

  1. 先进行PTQ
    从多种calibration策略中选取最佳的算法，查看是否精度满足，如果不行再下一步。
  2. 进行partial-quantization
    通过layer-wise的sensitve analysis分析每一层的精度损失，尝试fp16 + int8的组合；fp16用在敏感层(网络入口和出口)，int8用在计算密集处(网络的中间)，查看是否精度满足，如果不行再下一步。(注意，这里同时也需要查看计算效率是否得到满足)
  3. 进行QAT来通过学习权重来适应误差
    选取PTQ实验中得到的最佳的calibration算法，通过fine-tuning来训练权重(大概是原本训练的10%个epoch)，查看是否精度满足，如果不行查看模型设计是否有问题。(注意，这里同时也需要查看层融合是否被适用，以及Tensor core是否被用)

总结

下节介绍channel-level pruning的算法，以及如何使用L1-Norm来让权重稀疏

这篇关于TensorRT模型优化模型部署（七）--Quantization量化（PTQ and QAT)（二）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/601113。

相关文章

Vue3 的 shallowRef 和 shallowReactive：优化性能

Vue3 的 shallowRef 和 shallowReactive：优化性能

大家对 Vue3 的 ref 和 reactive 都很熟悉，那么对 shallowRef 和 shallowReactive 是否了解呢？ 在编程和数据结构中，“shallow”（浅层）通常指对数据结构的最外层进行操作，而不递归地处理其内部或嵌套的数据。这种处理方式关注的是数据结构的第一层属性或元素，而忽略更深层次的嵌套内容。 1. 浅层与深层的对比 1.1 浅层（Shallow） 定义
阅读更多...
闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言，在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况，这使得“存储焦虑”不再是个别现象，而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得，我们似乎正处在互联网信息飞速增长的阶段，对于存储的需求也将会不断扩大。对于苹果用户而言，这一问题愈发严峻，毕竟512GB和1TB版本的iPhone可不是人人都消费得起的，因此成熟的外置存储方案开
阅读更多...
大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
HDFS—存储优化（纠删码）

HDFS—存储优化（纠删码）

纠删码原理 HDFS 默认情况下，一个文件有3个副本，这样提高了数据的可靠性，但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码，采用计算的方式，可以节省约50％左右的存储空间。 此种方式节约了空间，但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件，都会执行此策略。 默认只开启对 RS-6-3-1024k
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...
Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人，AI大神Andrej Karpathy，曾是OpenAI联合创始人之一，特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ，宣布将长期致力于AI原生教育。 近日，Andrej Karpathy接受了No Priors（投资博客）的采访，与硅谷知名投资人 Sara Guo 和 Elad G
阅读更多...
阿里开源语音识别SenseVoiceWindows环境部署

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推
阅读更多...
Retrieval-based-Voice-Conversion-WebUI模型构建指南

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI（简称 RVC）模型是一个基于 VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）的简单易用的语音转换框架。 具有以下特点 简单易用：RVC 模型通过简单易用的网页界面，使得用户无需深入了
阅读更多...
MySQL高性能优化规范

MySQL高性能优化规范

前言：      笔者最近上班途中突然想丰富下自己的数据库优化技能。于是在查阅了多篇文章后，总结出了这篇！ 数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字（如果表名中包含关键字查询时，需要将其用单引号括起来） 数据库对象的命名要能做到见名识意，并且最后不要超过32个字符 临时库表必须以tmp_为前缀并以日期为后缀，备份
阅读更多...
透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

引言 随着时间的发展，大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用，随着人们期望的不断增加，目标也发生了巨大的变化。在短短的几个月的时间里，人们对大模型的认识已经从对其zero-shot能力感到惊讶，转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构（例如Transformer）对海量的、多种多样的数据分布进行建模得到，它包含了大量的先验
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2