本文主要是介绍斯坦福CS231n assignment1：softmax损失函数求导，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
斯坦福CS231n assignment1：softmax损失函数求导
在前文斯坦福CS231n assignment1：SVM图像分类原理及实现中我们讲解了利用SVM模型进行图像分类的方法，本文我们讲解图像分类的另一种实现，利用softmax进行图像分类。
softmax和svm模型网络结构很相似，区别在于softmax会对svm的输出分量进行归一化处理，使得每一个输出分量变成一个概率值，所有输出分量的概率之和为1。
同时损失函数也发生了变化，svm的损失函数折叶损失（hinge loss）是针对样本的标记类别之外的其他类别进行损失计算的，也就是说标记类别不计入损失，其他类别计算损失并累加作为某个样本的损失。而softmax的损失函数交叉熵损失（cross-entropy loss）只跟某个样本的标记类别相关，根据该标记类别的概率计算损失值，而不考虑标记类别之外的其他类别。
svm得出的每个输出节点的得分，比如[98, 33, 15]是无标定的，也就是只是一个相对的大小，难以进行直观的解释。而softmax可以解释为实例被划分为某个类别的可能性，或者概率。
下面是softmax的损失函数：
也可以等价成：
加入正则化损失项后，批处理过程中N个样本的平均损失变成：
这篇关于斯坦福CS231n assignment1：softmax损失函数求导的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
