本文主要是介绍【跟马少平老师学AI】-【神经网络是怎么实现的】(七-2)word2vec模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
一句话归纳:
1)CBOW模型:
- 2c个向量是相加,而不是拼接。
2)CBOW模型中的哈夫曼树:
- 从root开始,向左为1,向右为0。
- 叶子结点对应词有中的一个词。
- 每个词对应唯一的编码。
- 词编码不等长。
3)CBOW模型输出为到达哈夫曼树每一个非叶子结点时向右走的概率。
- 计算每个叶子结点的概率,以图为例W2的概率为
- 取对数取反,作损失函数
这篇关于【跟马少平老师学AI】-【神经网络是怎么实现的】(七-2)word2vec模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!