kldivloss专题

25_PyTorch的十九个损失函数(L1Loss、MSELoss、CrossEntropyLoss 、CTCLoss、NLLLoss、PoissonNLLLoss 、KLDivLoss等)

1.20.PyTorch的十九个损失函数 1.20.1.L1Loss(L1范数损失) 1.20.2.MSELoss(均方误差损失) 1.20.3.CrossEntropyLoss (交叉熵损失) 1.20.4.CTCLoss(连接时序分类损失) 1.20.5.NLLLoss(负对数似然损失) 1.20.6.PoissonNLLLoss (目标泊松分布的负对数似然损失) 1.20.7.KLDivLo

pytorch 笔记:KLDivLoss

1 介绍 对于具有相同形状的张量 ypred​ 和 ytrue(ypred​ 是输入,ytrue​ 是目标),定义逐点KL散度为: 为了在计算时避免下溢问题,此KLDivLoss期望输入在对数空间中。如果log_target=True,则目标也在对数空间。 2 参数 reduction reduction= “mean”不返回真正的KL散度值,reduction= “batchm