[论文解读]Genre Separation Network with Adversarial Training for Cross-genre Relation Extraction

本文主要是介绍[论文解读]Genre Separation Network with Adversarial Training for Cross-genre Relation Extraction,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在这里插入图片描述

  • 论文地址:https://www.aclweb.org/anthology/D18-1125.pdf
  • 发表会议:EMNLP2019

本论文的主要任务是跨领域的关系抽取,具体来说,利用某个领域的数据训练好的关系抽取模型,很难去直接抽取另一个领域中的关系,比如我们拿某个领域训练好的模型,把另一个领域的数据直接输入整个模型,很难抽取出来正确的实体关系。这主要是因为源领域和目标领域特征表达的不同,在源领域的某个特征,在目标领域可能表达相反的意思。而为了在领域迁移时可以直接利用模型,而不用再训练一次,本论文提出了一种新的跨领域关系抽取模型。

  • 主要思想
    跨领域迁移问题的核心问题是,源领域和目标领域的特征表示不同,所以无法直接把源领域学习的模型应用到目标领域。而解决这个问题的核心思想就是,抽取出源领域和目标领域的共有特征,然后利用这些共有特征完成目标领域的任务。那既然训练时也要用到目标领域的数据,为何不单独为目标领域训练一个模型?答案是任务本身就是我们只知道源领域的标签值,如何用标注好的源领域的数据和未标注的目标领域的数据,去预测出目标领域的标签值。既然不知道目标领域的标签值,那么也就无法单独为目标领域训练一个模型了。
    跨领域特征分布图
    依据上述核心思想,在如何找到源域和目标域的共有特征问题上,目前主要流行如上图所示的三种跨领域共有特征抽取方法,第一种是Feature engineering,代表论文为Cross-Domain Sentiment Classification via Spectral Feature Alignment。这种方法主要是通过构建新的特征表示方式,从而让源域学习到的特征也包含了目标域的特征,即学习到了一部分共有特征,从而在目标域上预测的时候不会产生矛盾,但是这种通过手工构造特征的方法显然不能捕捉到所有的公共特征,如图所示,有很多公共特征被分到了独有特征里。第二种是Feature projection,这种方法比较流行,主要是把源域的特征和目标域的特征都抽取到一个共有特征空间内,但是这样显然会把独有的特征包含进来,从而在目标领域的预测中产生误差。第三种是作者提出的领域分离网络,数据不再像Feature Projection那样feed进一个共有的编码器网络,而是根据领域的不同feed进两个编码器网络,相当于源领域和目标领域的独有特征,这两个网络不共享参数,然后所有数据还会feed进一个共有的编码网络,相当于共有特征。其实此网络几年前就已经提出,只不过作者应用在了关系抽取任务上,具体看论文:domain separation network。
  • 网络结构
    在这里插入图片描述
  • 一些细节
  1. 损失函数为四部分损失的相加: L = L r e l a t i o n + α L d i f f + β L r e c + γ L a d v _{L} = _{Lrelation}+ \alpha _{Ldiff}+ \beta _{Lrec}+\gamma _{Ladv} L=Lrelation+αLdiff+βLrec+γLadv,其中 L r e l a t i o n _{Lrelation} Lrelation是在共有特征空间上对源域数据集的关系分类损失,在测试阶段,也是用目标领域的数据集在这个共有特征空间上进行预测。为什么这么做呢?为什么不把学习到的独有特征考虑进去进行关系分类呢?独有特征不应该更能描述任务之间的差异性从而更好地进行关系分类吗?首先,训练的时候只能在共有特征上进行训练,因为训练时是用源域的数据集进行关系分类,所以肯定不能把target private cnn encoder的输出加进来,那样target encoder学习到的就会混杂一些源域的特征,同时如果把source private cnn encoder的输出加进来,那么shared encoder就会学习到一些源域的特征,这也不是我们希望的。测试时和训练时保持一致,所以也要在共有特征上进行测试。
  2. 为何要把private encoder的输出和shared encoder的输出加起来再输入下一层?我的理解是,能表示原始输入的是shared encoder的输出和private encoder的输出,所以把这两个加起来就能表示源输入的所有特征,然后加起来后重构的向量要和原来的每个位置的向量相似才行,这就保证了private encoder学到的必须是一些私有特征,即文中所说有意义(meanful)的,也就同时避免全0为题。
    现在看来, L a d v _{Ladv} Ladv使shared encoder学习共有特征, L r e c _{Lrec} Lrec使private encoder学习私有特征,而 L d i f f _{Ldiff} Ldiff使私有特征和共有特征尽可能不相似,即保证了私有特征和共有特征不相交。
    L r e l a t i o n _{Lrelation} Lrelation,保证了共有特征在源域上具有关系抽取的能力,从而也就使共有特征在目标域也具有关系抽取的能力。
  • 参考
    Genre Separation Network with Adversarial Training for Cross-genre Relation Extraction

这篇关于[论文解读]Genre Separation Network with Adversarial Training for Cross-genre Relation Extraction的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1136711

相关文章

java之Objects.nonNull用法代码解读

《java之Objects.nonNull用法代码解读》:本文主要介绍java之Objects.nonNull用法代码,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录Java之Objects.nonwww.chinasem.cnNull用法代码Objects.nonN

SpringCloud负载均衡spring-cloud-starter-loadbalancer解读

《SpringCloud负载均衡spring-cloud-starter-loadbalancer解读》:本文主要介绍SpringCloud负载均衡spring-cloud-starter-loa... 目录简述主要特点使用负载均衡算法1. 轮询负载均衡策略(Round Robin)2. 随机负载均衡策略(

解读spring.factories文件配置详情

《解读spring.factories文件配置详情》:本文主要介绍解读spring.factories文件配置详情,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录使用场景作用内部原理机制SPI机制Spring Factories 实现原理用法及配置spring.f

Spring MVC使用视图解析的问题解读

《SpringMVC使用视图解析的问题解读》:本文主要介绍SpringMVC使用视图解析的问题解读,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Spring MVC使用视图解析1. 会使用视图解析的情况2. 不会使用视图解析的情况总结Spring MVC使用视图

Linux中的进程间通信之匿名管道解读

《Linux中的进程间通信之匿名管道解读》:本文主要介绍Linux中的进程间通信之匿名管道解读,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、基本概念二、管道1、温故知新2、实现方式3、匿名管道(一)管道中的四种情况(二)管道的特性总结一、基本概念我们知道多

Linux系统之authconfig命令的使用解读

《Linux系统之authconfig命令的使用解读》authconfig是一个用于配置Linux系统身份验证和账户管理设置的命令行工具,主要用于RedHat系列的Linux发行版,它提供了一系列选项... 目录linux authconfig命令的使用基本语法常用选项示例总结Linux authconfi

解读docker运行时-itd参数是什么意思

《解读docker运行时-itd参数是什么意思》在Docker中,-itd参数组合用于在后台运行一个交互式容器,同时保持标准输入和分配伪终端,这种方式适合需要在后台运行容器并保持交互能力的场景... 目录docker运行时-itd参数是什么意思1. -i(或 --interactive)2. -t(或 --

解读为什么@Autowired在属性上被警告,在setter方法上不被警告问题

《解读为什么@Autowired在属性上被警告,在setter方法上不被警告问题》在Spring开发中,@Autowired注解常用于实现依赖注入,它可以应用于类的属性、构造器或setter方法上,然... 目录1. 为什么 @Autowired 在属性上被警告?1.1 隐式依赖注入1.2 IDE 的警告:

Rust中的注释使用解读

《Rust中的注释使用解读》本文介绍了Rust中的行注释、块注释和文档注释的使用方法,通过示例展示了如何在实际代码中应用这些注释,以提高代码的可读性和可维护性... 目录Rust 中的注释使用指南1. 行注释示例:行注释2. 块注释示例:块注释3. 文档注释示例:文档注释4. 综合示例总结Rust 中的注释

解读Pandas和Polars的区别及说明

《解读Pandas和Polars的区别及说明》Pandas和Polars是Python中用于数据处理的两个库,Pandas适用于中小规模数据的快速原型开发和复杂数据操作,而Polars则专注于高效数据... 目录Pandas vs Polars 对比表使用场景对比Pandas 的使用场景Polars 的使用