本文主要是介绍讲座笔记：模型量化-更小更快更强 Dance with Bit ———哈佛大学.董鑫PHD，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
Dance with Bit
record in 2019/11/21
Quantization
定长和变长
精度：两个数字之间最小差别能有多小 32位单精度： 1.2*12^-38
量化：
浮点数->定点数：
压缩网络的方法 Quantization
- 矩阵的分解
X= TP X是大矩阵100100 ，一共10000个， T是1002 P是2100 ， 一共400 个参数
只是内存优化，矩阵计算时优化较小（现在少用了） - 剪枝
结构化剪枝（直接去掉某个channel）
加速比不成正比 - Auto ML
搜索出小网络
量化：
不光压缩，还加速计算，还硬件友好
可能遇到的问题：
- 前向时，连续值变离散了，（每个值可选择的种类变少了）
量化之后的每个值范围quantization_range被限制。实际上参数的分布还是很广的
使用均匀量化还是非均匀量化（非均匀自由度更高，准确率更高，但是非均匀在硬件上不够好实现）
- 反向时，激活值变成里离散变量，求导变麻烦
由于阶梯函数导数大部分时候为0，导数无法传递，因而我们只能定义梯度为1，但是这种情况下阶梯函数的这两个变量在反向传播时就被无视了。
可以训练了，但是loss会不稳定。
如何解决这些问题：
主要的三种操作
首先改变参数的分布
然后Projection，分配新参数（这个步骤较多论文）
然后对新分配的参数进行后处理，比如统一 x 0.15调整
网络表达的范围被限制，（比如本来-6 ~ 6 现在 -1~1）
量化和剪枝的关系
剪枝是把那一支置零，量化是减少比特。
这篇关于讲座笔记：模型量化-更小更快更强 Dance with Bit ———哈佛大学.董鑫PHD的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
