WDK李宏毅学习笔记第十二周01_ELMO，BERT，GPT

2024-02-18 07:32
文章标签 学习 笔记 01 第十二 gpt bert 李宏毅 elmo wdk

本文主要是介绍WDK李宏毅学习笔记第十二周01_ELMO，BERT，GPT，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

ELMO，BERT，GPT

文章目录

  • ELMO，BERT，GPT
  • 摘要
  • 1、Contextualized Word Embedding
  • 2、Embeddings from Language Model(ELMO)
  • 3、Bidirectional Encoder Representations from Transformers(BERT)
    • 3.1 How to use BERT-Case 1
    • 3.2 How to use BERT-Case 2
    • 3.3 How to use BERT-Case 3
    • 3.4 How to use BERT-Case 4
  • 4、Generative Pre-Training(GPT)
  • 方法
  • 结论与展望

摘要

在实际生活中，一个word往往有多个意思，光靠一个vector是没法完全代表一个word的，所有说，前面word embedding的方法都是不够好的，本章讲的就是解决一词多意问题的方法—ELMO，BERT，GPT，它们的目的是用多个vector表示同一个word的多个意思，以此解决对应问题。

1、Contextualized Word Embedding

Contextualized Word Embedding是根据语义对word进行编码，同样的word可以对应不同的word，以解决一次多用的问题。
在这里插入图片描述

2、Embeddings from Language Model(ELMO)

ELMO是一个RNN-base的model，它是train一个正向的RNN和一个反向的RNN，再将其得到的结果接起来，就可以得到词汇的Embedding，该Embedding不仅考虑了前文意思，也考虑了后文意思。同样的word，要是前后文意思不同，得到的Embedding也不同，从而实现一词多译。
在这里插入图片描述
当我们的RNN是Deep的时候，对于同一个词汇，每一层都会输出一个Embedding，这样该如何选择？
在这里插入图片描述
ELMO的做法是全都要，如下图右上角所示，将每一层的的两个Embedding都加权求和，得到代表能够每一层的Embedding，权重的值是learning到的。在这里插入图片描述

3、Bidirectional Encoder Representations from Transformers(BERT)

BERT做的事情是输入word，然后输出word对应的Embedding。
在这里插入图片描述
训练BERT的方法有俩个。

  1. Masked LM。它就是随机的将句子中间的词用[Mask]替代，然后让machine去找合适的词填好。这样如果是多个词填在一起没有违和感时，那么它们就会有非常接近的Embedding。
    在这里插入图片描述
  2. Next Sentence Prediction。它做的事情是，给machine两个句子，在句子开头，输入标志符[CLS]，句子间用标志符[SEP]表示两个句子的分隔符，[CLS]标志符得到的Embedding会送给一个二分类model，该model判断这两个句子该不该连在一块。
    在这里插入图片描述

3.1 How to use BERT-Case 1

它是进行语义识别的，如下图所示，像BERT输入一些句子，和分类标志符[CLS]，将分类标志符的对应位置的Embedding丢给Linear Classifier，Linear Classifier再输出语义是好还是不好。
在这里插入图片描述

3.2 How to use BERT-Case 2

向BERT输入word和分类标志符[CLS]，将每个word对应的输出丢给分类器，分类器输出每个word对应的类别，可以用来解决词性分类的问题。
在这里插入图片描述

3.3 How to use BERT-Case 3

Natural Language Inference（给machine一个前提和假设，machine判断根据前期假设是否成立，它的做法是输入多个句子和分类标志符[CLS]，句子间用标志符[SEP]隔开，分类器输出假设是否成立。
在这里插入图片描述

3.4 How to use BERT-Case 4

Extraction-based Question Answering(给machine读文章，希望问它问题可以正确的回答），它的做法是给machine输入问题和文章，再learned两个vector，一个vector和文章word的embedding做点积，将得到的值做Softmax，得到最大值位置，作为答案的起始点，另一个word也是同样的做法，它输出的最大值位置作为文章结束点。
在这里插入图片描述

4、Generative Pre-Training(GPT)

GPT就是如下图所示的model，它其实就是Transformer 的 Decoder ，它做的事情是自动填词。GPT是最复杂的，但是它也是很有效，相比其他model，它可以用很少的training data就可以做到相同的事情。
在这里插入图片描述

方法

  1. ELMO的做法是training一个正向的RNN和反向的RNN，两者组合作为word的Embedding，这样word Embedding不仅考虑了前文语境思，也考虑了后文语境，且不同语境得到的word也都是不同的。
  2. BERT是Transformer的Encoder，它常用的训练方法有两个，一个是将句子中的某些word用标志符[mask]代替，让machine去猜被代替的词是什么，如此就可以找到每个word的Embedding。另一个是输入分类标志符和句子间的分隔标志符，然后输入句子是否是可以连在一块的，让machine知道句子间的联系及含义。
  3. GPT是Transformer的Dncoder，它是将每一个word分为3个vector，每一层的输出作为下一次的输入，将联系一层一层传递下去，然后training出所有word的vectors。

结论与展望

ELMO在处理一词多意的问题上是很有效的，还可以适当增加Deep来提高准确率，相比这三个model，ELMO所占内存也是最小的。BERT则是更适合用在处理文本分类的问题上，且在文本分类问题的比赛中常年霸榜。GPT是这三个model最复杂占用内存最大的，但是在这3个model中，它可以用更少的训练数据完成同样的效果，所以当训练数据不充足时，使用该model将会更准确。

这篇关于WDK李宏毅学习笔记第十二周01_ELMO，BERT，GPT的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/720470。

相关文章

51单片机学习记录———定时器

51单片机学习记录———定时器

文章目录 前言一、定时器介绍二、STC89C52定时器资源三、定时器框图四、定时器模式五、定时器相关寄存器六、定时器练习 前言 一个学习嵌入式的小白~ 有问题评论区或私信指出~ 提示：以下是本篇文章正文内容，下面案例可供参考 一、定时器介绍 定时器介绍：51单片机的定时器属于单片机的内部资源，其电路的连接和运转均在单片机内部完成。 定时器作用： 1.用于计数系统，可
阅读更多...
问题：第一次世界大战的起止时间是 #其他#学习方法#微信

问题：第一次世界大战的起止时间是 #其他#学习方法#微信

问题：第一次世界大战的起止时间是 A.1913 ~1918 年 B.1913 ~1918 年 C.1914 ~1918 年 D.1914 ~1919 年 参考答案如图所示
阅读更多...
[word] word设置上标快捷键 #学习方法#其他#媒体

[word] word设置上标快捷键 #学习方法#其他#媒体

word设置上标快捷键 办公中，少不了使用word，这个是大家必备的软件，今天给大家分享word设置上标快捷键，希望在办公中能帮到您！ 1、添加上标 在录入一些公式，或者是化学产品时，需要添加上标内容，按下快捷键Ctrl+shift++就能将需要的内容设置为上标符号。 word设置上标快捷键的方法就是以上内容了，需要的小伙伴都可以试一试呢！
阅读更多...
Tolua使用笔记（上）

Tolua使用笔记（上）

目录   1.准备工作 2.运行例子 01.HelloWorld：在C#中，创建和销毁Lua虚拟机 和 简单调用。 02.ScriptsFromFile：在C#中，对一个lua文件的执行调用 03.CallLuaFunction：在C#中，对lua函数的操作 04.AccessingLuaVariables：在C#中，对lua变量的操作 05.LuaCoroutine：在Lua中，
阅读更多...
AssetBundle学习笔记

AssetBundle学习笔记

AssetBundle是unity自定义的资源格式，通过调用引擎的资源打包接口对资源进行打包成.assetbundle格式的资源包。本文介绍了AssetBundle的生成，使用，加载，卸载以及Unity资源更新的一个基本步骤。 目录 1.定义： 2.AssetBundle的生成： 1）设置AssetBundle包的属性——通过编辑器界面 补充：分组策略 2）调用引擎接口API
阅读更多...
Javascript高级程序设计(第四版)--学习记录之变量、内存

Javascript高级程序设计(第四版)--学习记录之变量、内存

原始值与引用值 原始值：简单的数据即基础数据类型，按值访问。 引用值：由多个值构成的对象即复杂数据类型，按引用访问。 动态属性 对于引用值而言，可以随时添加、修改和删除其属性和方法。 let person = new Object();person.name = 'Jason';person.age = 42;console.log(person.name,person.age);//'J
阅读更多...
大学湖北中医药大学法医学试题及答案，分享几个实用搜题和学习工具 #微信#学习方法#职场发展

大学湖北中医药大学法医学试题及答案，分享几个实用搜题和学习工具 #微信#学习方法#职场发展

今天分享拥有拍照搜题、文字搜题、语音搜题、多重搜题等搜题模式，可以快速查找问题解析，加深对题目答案的理解。 1.快练题 这是一个网站 找题的网站海量题库,在线搜题,快速刷题~为您提供百万优质题库,直接搜索题库名称,支持多种刷题模式:顺序练习、语音听题、本地搜题、顺序阅读、模拟考试、组卷考试、赶快下载吧! 2.彩虹搜题 这是个老公众号了 支持手写输入，截图搜题，详细步骤，解题必备
阅读更多...
《offer来了》第二章学习笔记

《offer来了》第二章学习笔记

1.集合 Java四种集合：List、Queue、Set和Map 1.1.List：可重复 有序的Collection ArrayList： 基于数组实现，增删慢，查询快，线程不安全 Vector： 基于数组实现，增删慢，查询快，线程安全 LinkedList： 基于双向链实现，增删快，查询慢，线程不安全 1.2.Queue：队列 ArrayBlockingQueue：
阅读更多...
C++入门01

C++入门01

1、.h和.cpp 源文件 (.cpp)源文件是C++程序的实际实现代码文件，其中包含了具体的函数和类的定义、实现以及其他相关的代码。主要特点如下：实现代码: 源文件中包含了函数、类的具体实现代码，用于实现程序的功能。编译单元: 源文件通常是一个编译单元，即单独编译的基本单位。每个源文件都会经过编译器的处理，生成对应的目标文件。包含头文件: 源文件可以通过#include指令引入头文件，以使
阅读更多...
硬件基础知识——自学习梳理

硬件基础知识——自学习梳理

计算机存储分为闪存和永久性存储。 硬盘（永久存储）主要分为机械磁盘和固态硬盘。 机械磁盘主要靠磁颗粒的正负极方向来存储0或1，且机械磁盘没有使用寿命。 固态硬盘就有使用寿命了，大概支持30w次的读写操作。 闪存使用的是电容进行存储，断电数据就没了。 器件之间传输bit数据在总线上是一个一个传输的，因为通过电压传输（电流不稳定），但是电压属于电势能，所以可以叠加互相干扰，这也就是硬盘，U盘
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2