quantizing专题

quantizing deep convolutional networks for efficient inference

标题: 量化深层卷积网络用于有效推理 摘要 本文综述了一种量化卷积神经网络的方法,用于整数权重和激活的推理。 采用每个通道权重量化和每层激活量化到8位精度方法, 会对网络模型测试精度下降2%左右. 优点是适用于各种CNN架构。通过将权重量化为8位,模型大小可以减少4倍. 即使不支持8位算法,也可以通过简单的训练后权重量化来实现。我们对CPU和DSP上网络量化产生的延迟进行基准测试,并观察到量

量化理解(Google量化白皮书《Quantizing deep convolutional networks for efficient inference: A whitepaper》)

可以说这篇博客是对Google量化白皮书的完整解读,篇幅较长,可以收藏慢慢阅读。笔者在翻译的基础上,又补充了帮助理解的内容,但量化的技术点很多,并不限于此篇,且文中有个别点笔者不能完全吃透,故写得不是很详细,望看此文的你可以帮忙指出文中错误且与我一起交流讨论。 一、什么是量化?为什么要量化? 在深度神经网络模型应用中,量化是削减模型大小的一种常用方法。实际上就是把高位宽表示的权值和激活