彻底理解系列之：FP32、FP16、TF32、BF16、混合精度     随着大模型的涌现，训练和推理速度成为关键。为提升速度，需减小数据长度以降低存储和带宽消耗。为此，我专注学习并整理了各种精度细节，确保深入理解而非浅尝辄止。 1 从FP32说起 计算机处理数字类型包括整数类型和浮点类型，IEEE 754号标准定义了浮点类型数据的存储结构。

BF16和FP16 参考链接： Understanding the advantages of BF16 vs. FP16 in mixed precision trainingMegatron-LM & Megatron-CoreBFloat16: The secret to high performance on Cloud TPUs BF16相比FP16的优点： BF16和FP16都

大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。   本文主要介绍了FP16、INT8、INT4精度模型加载占用显存大小的分析，希望对学

目录 1. 小数的二进制转换2. 浮点数的二进制转换3. 浮点数的存储3.1 以fp32为例3.2 规约形式与非规约形式 4. 各种类型的浮点数5. BF16和FP16的区别Ref 1. 小数的二进制转换 十进制小数转换成二进制小数采用「乘2取整，顺序排列」法。具体做法是：用 2 2 2 乘十进制小数，可以得到积，将积的整数部分取出，再用 2 2 2 乘余下的小数部分，又得到