多语言生成式语言模型用于零样本跨语言事件论证提取(ACL2023)

2024-01-12 20:44

本文主要是介绍多语言生成式语言模型用于零样本跨语言事件论证提取(ACL2023),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1、写作动机:

经过预训练的生成式语言模型更好地捕捉实体之间的结构和依赖关系,因为模板提供了额外的声明性信息。先前工作中模板的设计是依赖于语言的,这使得很难将其扩展到零样本跨语言转移设置。

2、主要贡献:

作者提出了一项研究,利用多语言预训练生成模型进行零样本跨语言事件论证提取,并提出了X-GEAR模型。

3、零样本跨语言事件论元抽取:

4、X-GEAR方法:

图如上所示。

所用模型:对 mBART-50/mT5进行微调,并且添加复制机制来更好地适应输入语言的变化。

4.1语言无关模板:

标记([None],<Agent>,</Agent>,<Victim>等)被编码为预训练模型从未见过的特殊标记,因此它们的表示需要从头开始学习。由于这些特殊标记与任何语言都不相关且没有经过预训练,因此它们被视为与语言无关。

4.2目标输出字符串:

4.3输入格式:

输入段落+提示

提示=触发器+语言无关模板

PS:提示中没有明确包含事件类型,因为模板隐含地包含了这个信息。

4.4训练:

初始目标函数:

添加复制机制:通过添加复制机制来增强多语言预训练生成模型,以帮助X-GEAR更好地适应跨语言情景。该方法将由多语言预训练生成模型Pgen计算的词汇分布和由复制分布Pcopy加权求和,其中wcopy ∈ [0,1]是通过将时间步i处的解码器隐藏状态传递给线性层来计算的复制概率。至于Pcopy,它是指由最后一个解码器层计算的(在时间步i处)的交叉注意力加权的输入标记上的概率。

5、实验:

数据集:ACE2005(英文、中文、阿拉伯文),ERE(英文、西班牙文)

比较模型:OneIE:一个基于分类的单语事件抽取模型。

                  CL-GCN:一个基于分类的跨语言事件论元角色标注模型。

                  GATE:基于分类的零样本跨语言事件论元角色标注的最新模型。

                  TANL:用于单语事件论元抽取的生成式模型。

                  X-GEAR:本文的模型,考虑三种不同的预训练生成语言模型:mBART-50-large、mT5-base和mT5-large。

实验结果:

消融实验:

这篇关于多语言生成式语言模型用于零样本跨语言事件论证提取(ACL2023)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/599113

相关文章

详解C#如何提取PDF文档中的图片

《详解C#如何提取PDF文档中的图片》提取图片可以将这些图像资源进行单独保存,方便后续在不同的项目中使用,下面我们就来看看如何使用C#通过代码从PDF文档中提取图片吧... 当 PDF 文件中包含有价值的图片,如艺术画作、设计素材、报告图表等,提取图片可以将这些图像资源进行单独保存,方便后续在不同的项目中使

C#如何动态创建Label,及动态label事件

《C#如何动态创建Label,及动态label事件》:本文主要介绍C#如何动态创建Label,及动态label事件,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录C#如何动态创建Label,及动态label事件第一点:switch中的生成我们的label事件接着,

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

C语言中的数据类型强制转换

《C语言中的数据类型强制转换》:本文主要介绍C语言中的数据类型强制转换方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录C语言数据类型强制转换自动转换强制转换类型总结C语言数据类型强制转换强制类型转换:是通过类型转换运算来实现的,主要的数据类型转换分为自动转换

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具?核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件

C语言实现两个变量值交换的三种方式

《C语言实现两个变量值交换的三种方式》两个变量值的交换是编程中最常见的问题之一,以下将介绍三种变量的交换方式,其中第一种方式是最常用也是最实用的,后两种方式一般只在特殊限制下使用,需要的朋友可以参考下... 目录1.使用临时变量(推荐)2.相加和相减的方式(值较大时可能丢失数据)3.按位异或运算1.使用临时

使用C语言实现交换整数的奇数位和偶数位

《使用C语言实现交换整数的奇数位和偶数位》在C语言中,要交换一个整数的二进制位中的奇数位和偶数位,重点需要理解位操作,当我们谈论二进制位的奇数位和偶数位时,我们是指从右到左数的位置,本文给大家介绍了使... 目录一、问题描述二、解决思路三、函数实现四、宏实现五、总结一、问题描述使用C语言代码实现:将一个整

Python实现常用文本内容提取

《Python实现常用文本内容提取》在日常工作和学习中,我们经常需要从PDF、Word文档中提取文本,本文将介绍如何使用Python编写一个文本内容提取工具,有需要的小伙伴可以参考下... 目录一、引言二、文本内容提取的原理三、文本内容提取的设计四、文本内容提取的实现五、完整代码示例一、引言在日常工作和学

C++字符串提取和分割的多种方法

《C++字符串提取和分割的多种方法》在C++编程中,字符串处理是一个常见的任务,尤其是在需要从字符串中提取特定数据时,本文将详细探讨如何使用C++标准库中的工具来提取和分割字符串,并分析不同方法的适用... 目录1. 字符串提取的基本方法1.1 使用 std::istringstream 和 >> 操作符示