论文浅尝 - ICLR2020 | Abductive Commonsense Reasoning

论文笔记整理：毕祯，浙江大学硕士，研究方向：知识图谱、自然语言处理。

  链接：https://arxiv.org/pdf/1908.05739.pdf

动机

尽管长期以来人们一直认为归因是人们在自然语言界线之间进行解释和阅读的核心，但很少有研究支持归因自然语言推理和产生。这篇文章提出了第一个研究基于语言的归纳推理可行性的研究，引入了一个数据集ART，该数据集包含超过20k的常识性叙述上下文和200k的解释。并且基于此数据集将两个新任务概念化：（i）归因法NLI：问答的任务，用于选择更可能的解释；（ii）归因法NLG：用于自然地解释给定观测值的条件生成任务语言。在Abductive NLI上，模型最佳可达到68.9％的准确度，低于91.4％的人工性能。在Abductive NLG上，当前最好的语言生成器同样不尽人意，因为它们缺乏对人类来说微不足道的推理能力。尽管它们在涉及NLI的相关任务但定义更窄的任务上表现出色，文章的分析为深入的预训练语言模型无法执行的推理类型提供了新的见解。

任务定义

归纳（归因）自然语言推理：将αNLI公式化为由一对观察结果和一对假设选择组成的多项选择问题。ART中的每个实例定义如下：

• O1$：在时间 t1的观测现象；

• O2：在时间 t2>t1 处的观测现象；

• h+：一个合理的假设，解释了两个观测值O1和O2。

• h-：观测值和的不可信（不合理）的假设。

给定观察结果和一对假设，αNLI的任务是选择最合理的解释（假设）。

归纳（归因）自然语言生成：αNLG是在给出两个观测值 O1 和 O2 的情况下生成有效假设 h^+ 的任务，形式上该任务需要最大化 P(h+ |  O1, O2 )。

图 1 归因推理的例子

常识归因推理模型架构