本文主要是介绍CS224N连载系列_word2vec作业的解析（2），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
所有的语言模型的发展都离不开最基础的模型，统计语言模型是最重要的一环，word2vec也是如此，统计语言模型是用来计算一个句子的概率的概率模型，通常是基于一个语料库来构建，那什么叫一个句子的概率呢？
1、softmax
softmax 函数通常处理机器学习分类问题的输出层的激活函数，它的输入是一个实数向量，输出向量的长度是与输入向量相同，但所有的取值范围是（0，1），且所有元素的和为1，输出向量的各个元素值表示某个分类的可能性。
softmax函数的数学表达式：
由于输入x是实数向量，e的x次方的计算结果可能非常大甚至溢出，不利于计算的稳定性。所以通常将x减去一个常数c再输入到softmax。下面证明了x的常数加减是不会影响softmax结果的（softmax的常数不变性）：
2、神经网络基础
sigmoid
为什么要在隐藏层使用激活函数呢？
非线性的激活函
这篇关于CS224N连载系列_word2vec作业的解析（2）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
