讲座笔记：模型量化-更小更快更强 Dance with Bit ———哈佛大学.董鑫PHD

本文主要是介绍讲座笔记：模型量化-更小更快更强 Dance with Bit ———哈佛大学.董鑫PHD，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Dance with Bit

record in 2019/11/21

Quantization

定长和变长
精度：两个数字之间最小差别能有多小 32位单精度： 1.2*12^-38
量化：
浮点数->定点数：

压缩网络的方法 Quantization

1. 矩阵的分解
   X= TP X是大矩阵100100 ，一共10000个， T是1002 P是2100 ， 一共400 个参数
   只是内存优化，矩阵计算时优化较小（现在少用了）
2. 剪枝
   结构化剪枝（直接去掉某个channel）
   加速比不成正比
3. Auto ML
   搜索出小网络
   

量化：

不光压缩，还加速计算，还硬件友好

可能遇到的问题：

1. 前向时，连续值变离散了，（每个值可选择的种类变少了）
   量化之后的每个值范围quantization_range被限制。实际上参数的分布还是很广的
   使用均匀量化还是非均匀量化（非均匀自由度更高，准确率更高，但是非均匀在硬件上不够好实现）
   
2. 反向时，激活值变成里离散变量，求导变麻烦
   由于阶梯函数导数大部分时候为0，导数无法传递，因而我们只能定义梯度为1，但是这种情况下阶梯函数的这两个变量在反向传播时就被无视了。
   可以训练了，但是loss会不稳定。

如何解决这些问题：

主要的三种操作
首先改变参数的分布
然后Projection，分配新参数（这个步骤较多论文）
然后对新分配的参数进行后处理，比如统一 x 0.15调整

网络表达的范围被限制，（比如本来-6 ~ 6 现在 -1~1）

量化和剪枝的关系
剪枝是把那一支置零，量化是减少比特。

这篇关于讲座笔记：模型量化-更小更快更强 Dance with Bit ———哈佛大学.董鑫PHD的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---