本文主要是介绍[论文笔记]ESIM,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
引言
这是经典论文Enhanced LSTM for Natural Language Inference的笔记。
本篇论文文是建立在自然语言推理(Natural Language Inference,NLI)任务上的。提出了简单的通过基于LSTM的序列推理模型效果到达了当时的SOTA水平。同时基于该模型,在局部推理建模层和推理组合层使用了递归结构(树形LSTM)使得模型效果进一步提升。
NLI任务的目的是判断一个自然语言假设(hypothesis)h能否从一个前提(premise)p推理而来,如下面的例子所示:
p: Several air lines polled saw costs grow more than expected, even after adjusting for inflation.
h: Some of the companies in the poll reported cost increases.p: 一些航空公司的调查显示,即使考虑到通货膨胀因素,成本的增长也超过了预期。
h: 一些参与调查的公司报告了成本增加。
这里假设h可以被认为是从前p提中推导而来。
模型结构
模型整体结构如上图所示,左边就是ESIM模型,右边是语法树模型。
我们看左边的ESIM,从下往上看,分别是
- 输入编码层(Input Ecoding)
- 对前提和假设进行编码
- 把语句中的单词转换为词
这篇关于[论文笔记]ESIM的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!