BERT for Coreference Resolution Baselines and Analysis论文阅读

2024-01-16 21:40
文章标签 阅读 论文 resolution bert analysis baselines coreference

本文主要是介绍BERT for Coreference Resolution Baselines and Analysis论文阅读，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

EMNLP| 2019 BERT for Coreference Resolution: Baselines and Analysis

1.问题

基于前面提出的端到端的共指消解模型，如何在基准数据集上表现更好的效能

2.解决方法

使用Bert来进行改进，在OntoNotes ( + 3.9 F1 )和GAP ( + 11.5 F1 )基准上取得了显著提升

3.摘要

优点：论文采用的Bert-large模型与ELMo和Bert-base相比，在区分相关但不同的实体方面特别好

缺点：在文档级上下文、会话和提及释义的建模方面仍有进步的空间

4.前言

  • Bert的优势：

    • Bert在多个nlp任务[QA\NLI\NER(命名实体识别)] 上取得了显著提升
    • Bert具有更好的双向推理能力
    • Bert可以进行段落级别的训练，可以更好的建模较长的序列

  • 有两种改进c2f-coref模型[基于ELMo]的方法：独立变量和重叠变量

    • 独立变量：使用互不重叠的片段，每个片段作为Bert的独立实例

    • 重叠变量：将文档分割成重叠的片段，为模型提供超过512个token的上下文

  • Bert-large在使用更长的上下文窗口(384)时更有优势，但在更长的上下文窗口(512)表现更差

  • Bert-large比ELMo在区分相关但截然不同的实体或概念方面具有显著的优势，但两者都面对共同的问题：

    • 区分相关但不同的实体，困难在于区分它们需要世界知识的案例
    • 代词的建模仍然困难，尤其是在会话中

  • 重叠变量企图将上下文窗口扩展到512个token之外的失败说明使用更大的上下文窗口进行预训练可能无法转化为有效的远程特征用于下游任务。同时较大的模型也加剧了跨度表示的记忆密集性

5.解决方法

  • 采用高阶共指模型（c2f-coref）

  • 在c2f-coref中用Bert transformer 替换整个LSTM-based encoder(以ELMo和GloVe嵌入作为输入)

  • 数据集：GAP和OntoNotes

  • 对两种变体（变量）进行实验：

    • 独立变量：使用互不重叠的片段，每个片段作为BERT的独立实例。这种变体的编码能力有限，特别是对于位于其片段的开头或结尾的token
    • 重叠变量：将文档分割的重叠片段分别进行编码，然后将重叠部分的表示放在一起得到最终的表示

6.实验

  • 在段落级别的GAP数据集和文档级别的英文OntoNotes 5.0数据集上评估基于Bert的模型

  • 扩展c2f-coref和Bert的原始Tensorflow实现

  • 参数设置：

    • epoch：20
    • dropout：0.3
    • learning rates：1e-5
    • Bert参数和task参数的linear decay：2e-4
    • 在所有参数使用相同的学习率的情况下，产生了2 - 3 %的影响
    • 训练模型的片段长度：128[bert-base表现最好]、256、384[bert-large表现最好]、512
    • 批处理大小：大小为1的文档

  • Baselines：将c2f - coref + BERT系统与两个主要的基线进行了比较

    • 原始的基于ELMo的c2f - coref系统( Lee et al . , 2018)

    • 2018的前身，e2e-coref (Lee et al., 2017）

      【c2f - coref除了比e2e - coref具有更高的计算效率外，还利用注意力对跨度表示进行迭代精化以进行高阶推理】

  • Paragraph Level: GAP

    外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

  • Document Level: OntoNotes

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

虽然基于特征的方法具有更高的记忆效率，但微调后的模型似乎能产生更好的结果。

7.分析

  • 优势：Bert-base模型和ELMo之间没有存在显著的质量差异，Bert-large表现更好

  • 劣势：

    • 模型在较长文档上表现较差

      外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

    • 模型都无法有效的表示较大的片段，并且在使用最大片段长度450和512时表现更差

      外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

    • 使用重叠片段提供额外上下文并没有改善结果

    • large模型可以更好的编码更长的上下文，但是加剧了广度表示的记忆密集型

      ——》未来预训练方法的研究应考虑使用稀疏表示来编码文档级别的上下文

    • 会话上下文中的代词建模对所有模型来说仍然是困难的

    • 模型仍然无法解决需要提及释义的案例

8.相关工作

  • 评分跨度或提及对可能是共指消解中最主要的范式之一
    上下文

    • 会话上下文中的代词建模对所有模型来说仍然是困难的

    • 模型仍然无法解决需要提及释义的案例

8.相关工作

  • 评分跨度或提及对可能是共指消解中最主要的范式之一
  • 最近（2019），共指消解和其他NLP任务的进展都是由无监督的语境化表征推动的。其中，BERT显著地使用了对段落级序列(结合双向掩蔽语言的建模目标)的预训练来更有效地建模长程依赖关系。SpanBERT专注于预训练跨度表示，以独立的变体实现OntoNotes上当前最先进的结果

这篇关于BERT for Coreference Resolution Baselines and Analysis论文阅读的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/613979。

相关文章

JAVA智听未来一站式有声阅读平台听书系统小程序源码

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来，一站式有声阅读平台听书系统 🌟 开篇：遇见未来，从“智听”开始 在这个快节奏的时代，你是否渴望在忙碌的间隙，找到一片属于自己的宁静角落？是否梦想着能随时随地，沉浸在知识的海洋，或是故事的奇幻世界里？今天，就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统，它正悄悄改变着我们的阅读方式，让未来触手可及！ 📚 第一站：海量资源，应有尽有 走进“智听
阅读更多...
AI hospital 论文Idea

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境，人类医生（即医学学习者）可以在其中与患者代理进行医学
阅读更多...
论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染：一项综述 文章目录 大规模语言模型的基准数据污染：一项综述摘要1 引言 摘要 大规模语言模型（LLMs），如GPT-4、Claude-3和Gemini的快
阅读更多...
论文阅读笔记: Segment Anything

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear
阅读更多...
论文翻译：ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

论文翻译：ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS https://openreview.net/forum?id=KS8mIvetg2 验证测试集污染在黑盒语言模型中 文章目录 验证测试集污染在黑盒语言模型中摘要1 引言 摘要 大型语言模型是在大量互联网数据上训练的，这引发了人们的担忧和猜测，即它们可能已
阅读更多...
OmniGlue论文详解（特征匹配）

OmniGlue论文详解（特征匹配）

OmniGlue论文详解（特征匹配） 摘要1. 引言2. 相关工作2.1. 广义局部特征匹配2.2. 稀疏可学习匹配2.3. 半稠密可学习匹配2.4. 与其他图像表示匹配 3. OmniGlue3.1. 模型概述3.2. OmniGlue 细节3.2.1. 特征提取3.2.2. 利用DINOv2构建图形。3.2.3. 信息传播与新的指导3.2.4. 匹配层和损失函数3.2.5. 与Super
阅读更多...
软件架构模式：5 分钟阅读

软件架构模式：5 分钟阅读

原文： https://orkhanscience.medium.com/software-architecture-patterns-5-mins-read-e9e3c8eb47d2 软件架构模式：5 分钟阅读 当有人潜入软件工程世界时，有一天他需要学习软件架构模式的基础知识。当我刚接触编码时，我不知道从哪里获得简要介绍现有架构模式的资源，这样它就不会太详细和混乱，而是非常抽象和易
阅读更多...
BERT 论文逐段精读【论文精读】

BERT 论文逐段精读【论文精读】

BERT: 近 3 年 NLP 最火 CV: 大数据集上的训练好的 NN 模型，提升 CV 任务的性能 —— ImageNet 的 CNN 模型 NLP: BERT 简化了 NLP 任务的训练，提升了 NLP 任务的性能 BERT 如何站在巨人的肩膀上的？使用了哪些 NLP 已有的技术和思想？哪些是 BERT 的创新？ 1标题 + 作者 BERT: Pre-trainin
阅读更多...
[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale

[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale

引言 今天带来第一篇量化论文LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale笔记。 为了简单，下文中以翻译的口吻记录，比如替换"作者"为"我们"。 大语言模型已被广泛采用，但推理时需要大量的GPU内存。我们开发了一种Int8矩阵乘法的过程，用于Transformer中的前馈和注意力投影层，这可以将推理所需
阅读更多...
8. 自然语言处理中的深度学习：从词向量到BERT

8. 自然语言处理中的深度学习：从词向量到BERT

引言 深度学习在自然语言处理（NLP）领域的应用极大地推动了语言理解和生成技术的发展。通过从词向量到预训练模型（如BERT）的演进，NLP技术在机器翻译、情感分析、问答系统等任务中取得了显著成果。本篇博文将探讨深度学习在NLP中的核心技术，包括词向量、序列模型（如RNN、LSTM），以及BERT等预训练模型的崛起及其实际应用。 1. 词向量的生成与应用 词向量（Word Embedding）
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2