float32专题

transformers 不同精度float16、bfloat16、float32加载模型对比

参考: https://github.com/chunhuizhang/pytorch_distribute_tutorials/blob/main/tutorials/amp_autocast_mixed_precision_training.ipynb from transformers import AutoModelForCausalLM, AutoTokenizerdevice =

ValueError:Tensor(“dense_1/Softmax:0“, shape=(?, 3), dtype=float32) is not an element of this graph

今天在写接口的时候再次出现了一个经典的老问题,如下所示: ValueError: Tensor Tensor("dense_1/Softmax:0", shape=(?, 3), dtype=float32) is not an element of this graph. 这里主要是想记录一下具体的解决方案,防止之后再次遇到的时候还需要去查资料,这里提供两种措施,如下: 1、每次预测完成之