trm专题

Trm理论 2(Word2Vec)

神经网络模型(NNLM)和Word2Vec NNLM模型是上次说过的模型,其目的是为了预测下一个词。 softmax(w2tanh(w1x + b1)+b2) 会得到一个副产品词向量 而Word2Vue就是专门求词向量的模型 softmax(w2*(w1*x + b1)+b2) Word2Vec softmax(w2*(w1*x + b1)+b2),Word2vec比NNLM少了一个激活函数