curious专题

【论文速读】LM的文本生成方法,Top-p,温度,《The Curious Case of Neural Text Degeneration》

论文链接:https://arxiv.org/abs/1904.09751 https://ar5iv.labs.arxiv.org/html/1904.09751 这篇文章,描述的是语言模型的文本生成的核采样的方法,就是现在熟知的top-p 大概看看,还有几个地方比较有趣,值得记录一下。 摘要 尽管神经语言建模取得了相当大的进步,但从语言模型生成文本(例如生成故事)的最佳解码策略是什么仍然