本文主要是介绍论文阅读 seq2seq模型的coverage机制,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Get To The Point: Summarization with Pointer-Generator Networks
Abigail See, Peter J. Liu, Christopher D. Manning
Standford University & Google Brain, 2017
这是ACL2017上的一篇文章,提出了coverage机制,目的是为了解决seq2seq模型生成句子中经常有重复片段的现象。
之前Statistical Machine Translation就已经存在该机制了,NMT中也有人应用了。但是这篇率先用于生成式任务。
BTW这篇文章的结构图相当好看,似乎就是用ppt做的,code也开源了:
https://github.com/abisee/pointer-generator
先看看seq2seq的结构:
再看看加coverage机制的结构图:
图中的 pgen p g e n 机制就是pointer softmax,详细可以见另一篇介绍copy机制的文章:seq2seq模型中的copy机制
整体结构和pointer generator network是一样的,需要改动的是attention的部分:
这篇关于论文阅读 seq2seq模型的coverage机制的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!