本文主要是介绍论文阅读:Agreement-Based Joint Training for Bidirectional Attention-Based Neural Machine Translation,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
双向注意力模型,尽可能使注意力在两个方向上保持一致
模型的中心思想就是对于相同的training data,使source-to-target和target-to-source两个模型在alignment matrices上保持一致。这样能够去掉一些注意力噪声,使注意力更加集中、准确。
这篇文章胜在idea,很巧妙地想到了让正反向的注意力一致来改进attention。
这篇关于论文阅读:Agreement-Based Joint Training for Bidirectional Attention-Based Neural Machine Translation的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!