本文主要是介绍论文笔记:Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
论文学习:Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
这篇论文算是 Seq2Seq(Sequenc to Sequence) 的经典论文了。文中提出了一种新的RNN模型结构用于机器翻译等工作,此外,作为LSTM单元的变种和简化版本 GRU 单元也是在文章中首次提出的。很值得一读。
Abstract
摘要部分就是老规矩了,简要介绍文中所建立的新模型。这种名为 RNN Encoder-Decoder 的模型的通过最大化给定序列的条件下目标序列的概率,即最大化这个条件概率,来同时训练编码器和解码器。不过文中也提到,将这个模型作为一种新的特征来与对数线性模型共同使用,具体来说就是计算短语对出现的概率,然后应用到现有的对数线性机器翻译模型中,可以很好的提高模型的翻译性能。这里的对数线性模型之后会介绍到。
1.Introduction
这一部分总体上介绍了深度网络在自然语言处理方向的一些应用,以及稍微详细的介绍了 RNN Encoder-Decoder在机器翻译系统中的使用,这里要注意一点,也就是文中提到了对比其他的模型,本文模型可以学习一个短语的连续表示空间,更好地捕捉到短语的语言规律(linguistic regularity)
2.RNN Encoder-Decoder
这一部分重点介绍
这篇关于论文笔记:Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!