介绍 在Bahadanu注意力机制中，本质上是序列到序列学习的注意力机制实现，在编码器-解码器结构中，解码器的每一步解码过程都依赖着整个上下文变量，通过Bahdanau注意力，使得解码器在每一步解码时，对于整个上下文变量的不同部分产生不同程度的对齐，如在文本翻译时，将“I am studying”的“studying”与“我正在学习”的“学习”进行对齐，即注意力在解码时将绝大多数注意力放在“st

10.4.1 模型 Bahdanau 等人提出了一个没有严格单向对齐限制的可微注意力模型。在预测词元时，如果不是所有输入词元都相关，模型将仅对齐（或参与）输入序列中与当前预测相关的部分。这是通过将上下文变量视为注意力集中的输出来实现的。 新的基于注意力的模型与 9.7 节中的模型相同，只不过 9.7 节中的上下文变量 c \boldsymbol{c} c 在任何解码时间步 t ′ \bol

本地笔记地址：D:\work_file\（4）DeepLearning_Learning\03_个人笔记\3.循环神经网络\第10章：动手学深度学习~注意力机制 a a a a a a a a a a a