本文主要是介绍【Loss聚集地 | 整理中Ing】，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
【知识点】
focal loss
focal loss与交叉熵函数比较：二者都是试图解决样本不平衡带来的模型训练问题，balanced cross entropy从样本分布角度对损失函数添加权重因子，focal loss从样本分类难易程度出发，使loss聚焦于难分样本。|| 为什么有效？相信很多人会在这里有一个疑问，样本难易分类角度怎么能够解决样本非平衡的问题，直觉上来讲样本非平衡造成的问题就是样本数少的类别分类难度较高。因此从样本难易分类角度出发，使得loss聚焦于难分样本，解决了样本少的类别分类准确率不高的问题，当然难分样本不限于样本少的类别，也就是focal loss不仅仅解决了样本非平衡的问题，同样有助于模型的整体性能提高。 要想使模型训练过程中聚焦难分类样本，仅仅使得Loss倾向于难分类样本还不够，因为训练过程中模型参数更新取决于Loss的梯度。 如果Loss中难分类样本权重较高，但是难分类样本的Loss的梯度为0，难分类样本不会影响模型学习过程。|| 难分类样本与易分类样本其实是一个动态概念，也就是说Pt会随着训练过程而变化。原先易分类样本即Pt大的样本，可能随着训练过程变化为难训练样本即Pt小的样本。||
上面讲到，由于Loss梯度中，难训练样本起主导作用，即参数的变化主要是朝着优化难训练样本的方向改变。当参数变化后，可能会使原先易训练的样本Pt发生变化，即可能变为难训练样本。当这种情况发生时，可能会造成模型收敛速度慢，正如苏剑林在他的文章中提到的那样。 || 为了防止难易样本的频繁变化，应当选取小的学习率。防止学习率过大，造成w变化较大从而引起Pt的巨大变化，造成难易样本的改变。|| focal loss论文详解 || 简述★
focal loss解读：
【Q&A】
1、训练loss稳定下降，val_loss有较大波动且较高
2、训练中断，接着之前的pth训练的效果比较差
这篇关于【Loss聚集地 | 整理中Ing】的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
