多语言生成式语言模型用于零样本跨语言事件论证提取(ACL2023)

2024-01-12 20:44

本文主要是介绍多语言生成式语言模型用于零样本跨语言事件论证提取(ACL2023),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1、写作动机:

经过预训练的生成式语言模型更好地捕捉实体之间的结构和依赖关系,因为模板提供了额外的声明性信息。先前工作中模板的设计是依赖于语言的,这使得很难将其扩展到零样本跨语言转移设置。

2、主要贡献:

作者提出了一项研究,利用多语言预训练生成模型进行零样本跨语言事件论证提取,并提出了X-GEAR模型。

3、零样本跨语言事件论元抽取:

4、X-GEAR方法:

图如上所示。

所用模型:对 mBART-50/mT5进行微调,并且添加复制机制来更好地适应输入语言的变化。

4.1语言无关模板:

标记([None],<Agent>,</Agent>,<Victim>等)被编码为预训练模型从未见过的特殊标记,因此它们的表示需要从头开始学习。由于这些特殊标记与任何语言都不相关且没有经过预训练,因此它们被视为与语言无关。

4.2目标输出字符串:

4.3输入格式:

输入段落+提示

提示=触发器+语言无关模板

PS:提示中没有明确包含事件类型,因为模板隐含地包含了这个信息。

4.4训练:

初始目标函数:

添加复制机制:通过添加复制机制来增强多语言预训练生成模型,以帮助X-GEAR更好地适应跨语言情景。该方法将由多语言预训练生成模型Pgen计算的词汇分布和由复制分布Pcopy加权求和,其中wcopy ∈ [0,1]是通过将时间步i处的解码器隐藏状态传递给线性层来计算的复制概率。至于Pcopy,它是指由最后一个解码器层计算的(在时间步i处)的交叉注意力加权的输入标记上的概率。

5、实验:

数据集:ACE2005(英文、中文、阿拉伯文),ERE(英文、西班牙文)

比较模型:OneIE:一个基于分类的单语事件抽取模型。

                  CL-GCN:一个基于分类的跨语言事件论元角色标注模型。

                  GATE:基于分类的零样本跨语言事件论元角色标注的最新模型。

                  TANL:用于单语事件论元抽取的生成式模型。

                  X-GEAR:本文的模型,考虑三种不同的预训练生成语言模型:mBART-50-large、mT5-base和mT5-large。

实验结果:

消融实验:

这篇关于多语言生成式语言模型用于零样本跨语言事件论证提取(ACL2023)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/599113

相关文章

C语言中位操作的实际应用举例

《C语言中位操作的实际应用举例》:本文主要介绍C语言中位操作的实际应用,总结了位操作的使用场景,并指出了需要注意的问题,如可读性、平台依赖性和溢出风险,文中通过代码介绍的非常详细,需要的朋友可以参... 目录1. 嵌入式系统与硬件寄存器操作2. 网络协议解析3. 图像处理与颜色编码4. 高效处理布尔标志集合

Go语言开发实现查询IP信息的MCP服务器

《Go语言开发实现查询IP信息的MCP服务器》随着MCP的快速普及和广泛应用,MCP服务器也层出不穷,本文将详细介绍如何在Go语言中使用go-mcp库来开发一个查询IP信息的MCP... 目录前言mcp-ip-geo 服务器目录结构说明查询 IP 信息功能实现工具实现工具管理查询单个 IP 信息工具的实现服

C 语言中enum枚举的定义和使用小结

《C语言中enum枚举的定义和使用小结》在C语言里,enum(枚举)是一种用户自定义的数据类型,它能够让你创建一组具名的整数常量,下面我会从定义、使用、特性等方面详细介绍enum,感兴趣的朋友一起看... 目录1、引言2、基本定义3、定义枚举变量4、自定义枚举常量的值5、枚举与switch语句结合使用6、枚

使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)

《使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)》PPT是一种高效的信息展示工具,广泛应用于教育、商务和设计等多个领域,PPT文档中常常包含丰富的图片内容,这些图片不仅提升了... 目录一、引言二、环境与工具三、python 提取PPT背景图片3.1 提取幻灯片背景图片3.2 提取

Python实现word文档内容智能提取以及合成

《Python实现word文档内容智能提取以及合成》这篇文章主要为大家详细介绍了如何使用Python实现从10个左右的docx文档中抽取内容,再调整语言风格后生成新的文档,感兴趣的小伙伴可以了解一下... 目录核心思路技术路径实现步骤阶段一:准备工作阶段二:内容提取 (python 脚本)阶段三:语言风格调

一文详解如何在Python中从字符串中提取部分内容

《一文详解如何在Python中从字符串中提取部分内容》:本文主要介绍如何在Python中从字符串中提取部分内容的相关资料,包括使用正则表达式、Pyparsing库、AST(抽象语法树)、字符串操作... 目录前言解决方案方法一:使用正则表达式方法二:使用 Pyparsing方法三:使用 AST方法四:使用字

Go 语言中的select语句详解及工作原理

《Go语言中的select语句详解及工作原理》在Go语言中,select语句是用于处理多个通道(channel)操作的一种控制结构,它类似于switch语句,本文给大家介绍Go语言中的select语... 目录Go 语言中的 select 是做什么的基本功能语法工作原理示例示例 1:监听多个通道示例 2:带

C语言函数递归实际应用举例详解

《C语言函数递归实际应用举例详解》程序调用自身的编程技巧称为递归,递归做为一种算法在程序设计语言中广泛应用,:本文主要介绍C语言函数递归实际应用举例的相关资料,文中通过代码介绍的非常详细,需要的朋... 目录前言一、递归的概念与思想二、递归的限制条件 三、递归的实际应用举例(一)求 n 的阶乘(二)顺序打印

Spring Security基于数据库的ABAC属性权限模型实战开发教程

《SpringSecurity基于数据库的ABAC属性权限模型实战开发教程》:本文主要介绍SpringSecurity基于数据库的ABAC属性权限模型实战开发教程,本文给大家介绍的非常详细,对大... 目录1. 前言2. 权限决策依据RBACABAC综合对比3. 数据库表结构说明4. 实战开始5. MyBA

详解C#如何提取PDF文档中的图片

《详解C#如何提取PDF文档中的图片》提取图片可以将这些图像资源进行单独保存,方便后续在不同的项目中使用,下面我们就来看看如何使用C#通过代码从PDF文档中提取图片吧... 当 PDF 文件中包含有价值的图片,如艺术画作、设计素材、报告图表等,提取图片可以将这些图像资源进行单独保存,方便后续在不同的项目中使