本文主要是介绍GPT是什么?直观解释Transformer | 深度学习第5章 【3Blue1Brown 官方双语】,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
【官方双语】GPT是什么?直观解释Transformer | 深度学习第5章
0:00 - 预测,采样,重复:预训练/生成式/Transformer模型
3:03 - Transformer 的内部结构
6:36 - 本期总述
7:20 - 深度学习的大框架
12:27 - GPT的第一层:词嵌入为向量(embedding)
18:25 - 嵌入空间不仅代表词,还能包含上下文信息
20:22 - GPT的最后一层:向量解码为词(Unembedding)
22:22 - 带温度的 Softmax 函数
26:03 - 下期预告:深入注意力机制
1.0. GPT的解释
预测后续内容
- 视频重要内容
1.1 Token的解释
词的含义不同(以model举例)
注意力模块的工作:
后续是接多层感知器(MLP)或者叫做前馈神经网络:
深度学习系列课程
1.2 权重
八个类别:
1.3 词嵌入
几何角度理解:
举个例子:
- 点积
几何角度:
1.4 上下文长度
1.5 输出
- 涉及两个步骤
1.6 解嵌入矩阵
1.7 Softmax
下一章:Attention
这篇关于GPT是什么?直观解释Transformer | 深度学习第5章 【3Blue1Brown 官方双语】的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!