本文主要是介绍softmax解释,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
以下是Softmax函数的定义:
这个函数与hard max(即大家通常用的max函数)有相似之处,在其中某个x显著大于其他x时,返回值接近这个x,即max
下图为softmax(x, 0)和hardmax(x,0)的图形:
差别就在于softmax是连续可导的,消除了拐点,这个特性在机器学习的梯度下降法等地方非常必要。这也是“soft”的由来
进一步延伸,题主所问的softmax激活函数,实质是soft arg max函数,它的特性也是很soft的,例如:
hard arg max([1,0])=[1,0],而 soft arg max([1,0])=[exp(1),exp(0)]/(exp(1)+exp(0)) = [0.73, 0.27],可解释为各类的概率
sigmoid函数只能分两类,而softmax能分多类,softmax是sigmoid的扩展
这篇关于softmax解释的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!