softmax_axis_表示在那边切，当为1是，out_num_就表示batchsize，sum_multiplier表示通道数，scale相关的一般表示临时变量的存储，dim=C*W*H，spatial_dim=W*H，inner_num_如果fc层就为1，conv层就为H*W。 本文所举得例子是在mnist的基础上解说的，batchsize为128，类别为10。 首先看softmax求导

一直对softmax的反向传播的caffe代码看不懂，最近在朱神的数学理论支撑下给我详解了它的数学公式，才豁然开朗 SoftmaxWithLoss的由来 SoftmaxWithLoss也被称为交叉熵loss。 回忆一下交叉熵的公式， H(p,q)=−∑jpjlogqj H ( p , q ) = − ∑ j p j log ⁡ q j H(p, q) = -\sum_j p_j\lo