董鑫专题

讲座笔记:模型量化-更小更快更强 Dance with Bit ———哈佛大学.董鑫PHD

Dance with Bit record in 2019/11/21 Quantization 定长和变长 精度:两个数字之间最小差别能有多小 32位单精度: 1.2*12^-38 量化: 浮点数->定点数: 压缩网络的方法 Quantization 矩阵的分解 X= TP X是大矩阵100100 ,一共10000个, T是1002 P是2100 , 一共400 个参数 只是内存优化