文章目录 CS224N: 作业2 word2vec (49 Points)1. Math: 理解 word2vec计算 J n a i v e − s o f t m a x ( v c , o , U ) J_{naive-softmax}(v_c, o, U) Jnaive−softmax​(vc​,o,U) 关于 v c v_c vc​ 的偏导数计算 J n a i v e −

生成词向量的方法 以前大致有两种方法： ①是Matrix Factorization Method，主要代表是SVD Based的LSA等方法，核心是对共现矩阵（co-occurence）进行SVD（奇异值）分解，得到词向量。 ②是Iteration Based Method（Shallow window-based），主要代表是上节课讲到的Skip-Gram和CBOW。核心是概率，通过设置