论文阅读之Enhancing Transformer with Sememe Knowledge(2020)

2023-10-30 14:50

本文主要是介绍论文阅读之Enhancing Transformer with Sememe Knowledge(2020),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 论文阅读
    • Transformmer-SE
    • Transformer-SP
  • 实验结果
  • 总结
  • 参考

论文阅读

文章建议结合两种简单的方法将义原知识整合:
1)基于语言学假设,我们将聚合义原嵌入添加到每个词嵌入中以增强其语义表示;
2)我们使用义原预测作为辅助任务,帮助模型更深入地理解单词语义。

文章验证了我们的方法在与词级和句子级语义密切相关的几个中文 NLP 任务上的有效性。在预训练和微调的一般设置之后,实验表明使用半增强型 Transformer 在所有任务上都有一致的改进。

文章还发现,义原增强模型可以用较少的微调数据实现相同的性能,这是可取的,因为数据注释过程总是耗时且昂贵。



在这里插入图片描述
模型的基本架构图如上。
思路简单,使用义原embedding的均值来增强词向量的embedding(二者相加),然后经过原始的transformer对句子进行编码,然后进行多任务的学习:对下一个词的的义原的预测、对下一个词的预测、下游任务的学习。

Transformmer-SE

看看公式:
在这里插入图片描述
Xs就是义原的embedding,w就是词的embedding,左边的结果就是通过义原增强后的embedding了。

Transformer-SE就是这么简单,在embeding做点手脚即可。

Transformer-SP

义原预测任务旨在预测下一个词的义原,可以表述为多标签分类任务。受多任务学习 (Caruana, 1997; Collobert et al, 2011) 的启发,文章在 Transformer-SP 的语言建模任务之外添加了义原预测任务。

这项任务挑战了模型整合义原知识的能力,并且可以被视为语言建模的补充任务,因为预测下一个单词的义原与理解语义密切相关,而且它通常比直接建模下一句话。

就是说Transformer-SP在训练方式上做了手脚,或者就是说修改了损失函数,让损失考虑到义原的预测,从而使得模型训练获得义原信息从而模型对其他任务的效果。

我们先看一下变量的定义:
在这里插入图片描述
(w1,…,wT)表示输入的单词
然后经过embedding层向量化后就表示为H0 = (w1,…,wT)
其中T表示单词的个数,D表示的应该就是d_model(也就是相当于embedding_size)
h1L 表示第1个单词的向量表示
h2L 表示第1、2个单词的向量表示…以此类推

公式如下:
在这里插入图片描述
在这里插入图片描述
其中的hL 表示的是句子经过transform后的embedding表示。
p(w, s)表示的是下一个词w的义原s的概率。
那么义原预测的损失函数定义如下:
在这里插入图片描述

在这里插入图片描述
其中S是所有义原的集合。
g(wt,s)表示0,1二值函数,用于表示这个义原是否是下一个词的义原。
因为词的义原并不是唯一的,因此这就是多标签分类的损失函数了。

那么Transformer-SP的损失函数就可以定义如下了:
在这里插入图片描述
LSL表示下游任务的损失函数
LLM表示预测下一个词的损失函数
LPRE表示预训练的损失函数
L就表示优化了的下游任务的损失函数,也就是Transformer-SP的改进之处了。

那么transformer-SP就是说,在下游任务损失函数的基础上,加入了LPRE这么一个预训练的损失函数,就是使用预测下一个词和预测下一个词的义原这个任务来帮助词向量的训练,使得词向量融入义原知识,也就是论文标题说的义原知识增强的第二种方式了。

这篇文章代码写的挺正常的,可读性还是蛮强的,我们可以看看代码:
这是模型设置的两种损失函数
在这里插入图片描述
在这里插入图片描述
这个就是一个多标签的分类损失函数。
在这里插入图片描述
这就是交叉熵损失函数,分类常用的损失函数。

那么看一下模型损失函数调用的那块的代码:
在这里插入图片描述
loss_lm就是预测下一个词的损失函数,经典分类问题
loss_sp就是预测下一个词的义原的损失函数,多标签分类问题

实验结果

在这里插入图片描述
Transformer-SEP就是词进行义原增强,也用改进了的损失函数,即综合了SE和SP两种方法。

从实验结果看得出来,义原确实能够提示效果。

总结

读了这篇文章,大概知道义原的用法了。SE就是直接词向量加入义原embedding,SP是通过损失函数来进行义原融入词向量,SEP则是结合前两者。因此使用义原的精髓应该就是能够考虑义原embedding的训练吧。

参考

Enhancing Transformer with Sememe Knowledge
https://github.com/yuhui-zh15/SememeTransformer

这篇关于论文阅读之Enhancing Transformer with Sememe Knowledge(2020)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/308670

相关文章

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟 开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚 第一站:海量资源,应有尽有 走进“智听

usaco 1.3 Mixing Milk (结构体排序 qsort) and hdu 2020(sort)

到了这题学会了结构体排序 于是回去修改了 1.2 milking cows 的算法~ 结构体排序核心: 1.结构体定义 struct Milk{int price;int milks;}milk[5000]; 2.自定义的比较函数,若返回值为正,qsort 函数判定a>b ;为负,a<b;为0,a==b; int milkcmp(const void *va,c

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

论文翻译:arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染:一项综述 文章目录 大规模语言模型的基准数据污染:一项综述摘要1 引言 摘要 大规模语言模型(LLMs),如GPT-4、Claude-3和Gemini的快

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear

论文翻译:ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS https://openreview.net/forum?id=KS8mIvetg2 验证测试集污染在黑盒语言模型中 文章目录 验证测试集污染在黑盒语言模型中摘要1 引言 摘要 大型语言模型是在大量互联网数据上训练的,这引发了人们的担忧和猜测,即它们可能已

OmniGlue论文详解(特征匹配)

OmniGlue论文详解(特征匹配) 摘要1. 引言2. 相关工作2.1. 广义局部特征匹配2.2. 稀疏可学习匹配2.3. 半稠密可学习匹配2.4. 与其他图像表示匹配 3. OmniGlue3.1. 模型概述3.2. OmniGlue 细节3.2.1. 特征提取3.2.2. 利用DINOv2构建图形。3.2.3. 信息传播与新的指导3.2.4. 匹配层和损失函数3.2.5. 与Super

软件架构模式:5 分钟阅读

原文: https://orkhanscience.medium.com/software-architecture-patterns-5-mins-read-e9e3c8eb47d2 软件架构模式:5 分钟阅读 当有人潜入软件工程世界时,有一天他需要学习软件架构模式的基础知识。当我刚接触编码时,我不知道从哪里获得简要介绍现有架构模式的资源,这样它就不会太详细和混乱,而是非常抽象和易

BERT 论文逐段精读【论文精读】

BERT: 近 3 年 NLP 最火 CV: 大数据集上的训练好的 NN 模型,提升 CV 任务的性能 —— ImageNet 的 CNN 模型 NLP: BERT 简化了 NLP 任务的训练,提升了 NLP 任务的性能 BERT 如何站在巨人的肩膀上的?使用了哪些 NLP 已有的技术和思想?哪些是 BERT 的创新? 1标题 + 作者 BERT: Pre-trainin

[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale

引言 今天带来第一篇量化论文LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale笔记。 为了简单,下文中以翻译的口吻记录,比如替换"作者"为"我们"。 大语言模型已被广泛采用,但推理时需要大量的GPU内存。我们开发了一种Int8矩阵乘法的过程,用于Transformer中的前馈和注意力投影层,这可以将推理所需