RNN LM性能改进 数据预处理模型结构改进改变模型输入数据正则化 RNN LM性能改进 主要改进trick：输入数据预处理，改进模型结构，改变输入数据格式，正则化 数据预处理 （1）随机选取句子中的部分词语进行表示（使用drop rate选取句子中的词语）； （2）bigram 内插、平滑等 模型结构改进 （1）SRNN->LSTM->GRU->minimal

一、语料库 使用泰戈尔飞鸟集，作为一本英文诗集，用于续写The meaning of life比较好。 飞鸟集语料库如下 1Stray birds of summer come to my window to sing and fly away.And yellow leaves of autumn, which have no songs, flutter andfall t