yolov5的ptq量化流程

本文主要是介绍yolov5的ptq量化流程，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

本次试验是基于yolov5n的模型进行ptq、qat的量化以及敏感层分析的试验。
Post-Training-Quantization（PTQ）是目前常用的模型量化方法之一。以INT8量化为例，PTQ处理流程如下：

1. 首先在数据集上以FP32精度进行模型训练，得到训练好的baseline模型；

2. 使用小部分数据对FP32 baseline模型进行calibration（校准），这一步主要是得到网络各层weights以及activation的数据分布特性（比如统计最大最小值）；

3. 根据2.中的数据分布特性，计算出网络各层、量化参数；

4. 使用3.中的量化参数对FP32 baseline进行量化得到INT8模型，并将其部署至推理框架进行推理；

PTQ方式会使用小部分数据集来估计网络各层weights和activation的数据分布，找到合适的Scale，从而一定程度上降低模型精度的损失。

然而，PTQ方式虽然在大模型上效果较好（例如ResNet101），但是在小模型上经常会有较大的精度损失（例如MobileNet），同时不同层对于精度的影响也比较大。

接下来本文结合代码，来讲解如何使用torch_quant来对yolov5n进行ptq量化。
本次内容的代码主要是下图1中的这四个文件，下篇文章会放整体代码的下载链接。
图1：

ptq流程主要分以

这篇关于yolov5的ptq量化流程的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---