bp16专题

V100显卡无法支持dolly系列模型BP16运算及BP16与FP16模型转换解决方式

项目场景: 在模型训练过程中,可能会出现由BP16类型的模型需要转换到FP16类型的模型的需求,我研究了半天才试验出来,分享一个在实际过程中方便更改并能跑通的处理过程如下。 问题描述 V100无法支持BP16运算。 BP16类型的模型转换到FP16l类型的模型解决办法 原因分析: 在使用V100显卡进行模型训练:模型数据在加载及实际运算过程中会由自身配置的参数设定进行加载和运算,