NLP-2015：Luong NMT模型【Attention类型：Global Attention、Local Attention（实践中很少用）】

本文主要是介绍NLP-2015：Luong NMT模型【Attention类型：Global Attention、Local Attention（实践中很少用）】，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

《原始论文：Effective Approaches to Attention-based Neural Machine Translation》

在实际应用中，全局注意力机制比局部注意力机制有着更广泛的应用，因为局部注意力机制需要预测一个位置向量 $p_t$，而这个位置向量的预测并不是非常准确的，会影响对齐向量的准确率。同时，在处理不是很长的源端句子时，相比于全局注意力并没有减少很多计算量。

一、全局注意力机制【Global Attention】

Global Attention原理：使用源语言全部信息做注意力机制；

二、局部注意力机制【Local Attention】

全局注意力机制有一个缺点，就是它必须关注每个目标单词的来源句子的所有单词，这一点代价高昂，并且可能使得翻译更长的序列（如段落或文档）变得非常困难。为了解决这个不足，该论文提出了一个局部注意力机制，该机制选择性地只关注每个目标词源位置的一小部分。

局部注意力是一种介于软注意力机制和硬注意力机制之间的注意力方式，其结构如下图所示：

---

---

---

参考资料：
Effective Approaches to Attention-based Neural Machine Translation 中英文对照翻译
【论文笔记】Effective Approaches to Attention-based Neural Machine Translation
博客：Effective Approaches to Attention-based Neural Machine Translation
博客：Effective Approaches to Attention-based Neural Machine Translation(Global和Local attention)
《Effective Approaches to Attention-based Neural Machine Translation》—— 基于注意力机制的有效神经机器翻译方法
【NLP论文笔记】Effective Approaches to Attention-based Neural Machine Translation

这篇关于NLP-2015：Luong NMT模型【Attention类型：Global Attention、Local Attention（实践中很少用）】的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---