论文笔记：A Gated Self-attention Memory Network for Answer Selection

本文主要是介绍论文笔记：A Gated Self-attention Memory Network for Answer Selection，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

---

作者：陈宇飞

单位：燕山大学

---

论文地址：https://www.aclweb.org/anthology/D19-1610/
论文代码：https://github.com/laituan245/StackExchangeQA

---

一、研究问题

  答案选择（AS）是一个重要的研究问题，在许多的领域都有应用，以往的深度学习方法主要采用比较-聚合的结构，本文将采用一种新的方法结构来完成答案选择任务。

二、解决思路

  本文首先分析了以往的一些模型，比如(Bian等人的Dynamic-Clip Attention model)，分析这些模型中都存在前几层只是单纯的把问题和候选答案分别编码成了向量表示的序列，但是这些序列都是相互独立的，完全忽略了该序列与另一个序列之间的信息联系的问题，这也是本文为解决这个问题所提出的模型的设计思路和创新点，本文提出使用记忆网络（memory network）和自注意力两个架构，同时结合来自大规模在线语料库的简单迁移学习技术来完成答案选择任务。

三、模型设计

3.1 The gated self-attention mechanism

  与传统的注意力机制求输入向量序列$X=[x_1..x_n]$与上下文信息$c$之间的相关性得分 α \alpha

这篇关于论文笔记：A Gated Self-attention Memory Network for Answer Selection的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---