自然语言处理(三 RNNLM优化)

本文主要是介绍自然语言处理(三 RNNLM优化)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

RNN LM性能改进

主要改进trick：输入数据预处理，改进模型结构，改变输入数据格式，正则化

数据预处理

（1）随机选取句子中的部分词语进行表示（使用drop rate选取句子中的词语）；
（2）bigram 内插、平滑等

模型结构改进

（1）SRNN->LSTM->GRU->minimal RNN
（2）LSTM前添加CNN，选取不同长度的filter函数能够抓取一些短语信息；
（3）NCE机制，能够加快Softmax层计算
（4）快速LM训练：HS, Negative Sampling,NCE
（5）若是训练word2vec，可以推荐facebook的fasttext工具。

改变模型输入数据

word level LM -> subword level LM -> character level LM

正则化

避免模型过拟合，可以采用drop out等正则化方法

这篇关于自然语言处理(三 RNNLM优化)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---