【大规模语言模型:从理论到实践】Transformer中PositionalEncoder详解

本文主要是介绍【大规模语言模型:从理论到实践】Transformer中PositionalEncoder详解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

书籍链接:大规模语言模型:从理论到实践

第15页位置表示层代码详解
PositionalEncoder

1. 构造函数 __init__()

def __init__(self, d_model, max_seq_len=80):super().__init__()self.d_model = d_model  # 嵌入的维度(embedding dimension)
  • d_model: 表示输入词向量的维度。
  • max_seq_len: 表示句子的最大长度(最大序列长度)。
  • self.d_model: 保存词嵌入的维度。
创建 PE 矩阵
pe = torch.zeros(max_seq_len, d_model)
for pos in range(max_seq_len):for i in range(0, d_model, 2):pe[pos, i] = math.sin(pos / (10000 ** ((2 * i)/d_model)))pe[pos, i + 1] = math.cos(pos / (10000 ** ((2 * (i + 1))/d_model)))

这里,我们为所有可能的位置 pos 和维度 i 生成了位置编码矩阵 pe。编码规则是使用正弦和余弦函数来生成位置编码:

  • 对于每个位置 pos,在每个嵌入维度 i 上:

    • 奇数维度使用正弦函数 sin(pos / 10000^(2i/d_model))
    • 偶数维度使用余弦函数 cos(pos / 10000^(2i/d_model))

    这样做的好处是,正弦和余弦函数生成了一个平滑的周期性变化,使得位置编码具有一定的连续性和距离信息。

pe = pe.unsqueeze(0)
self.register_buffer('pe', pe)
  • pe.unsqueeze(0):将 pe 的第一个维度扩展为 1,这是为了便于后续将其与输入批次结合在一起。
  • register_buffer:将 pe 作为一个不可训练的参数(Tensor),并注册为模型的一部分,以确保其在模型的 .cuda().to(device) 等操作时也能够转移到对应设备上。

2. 前向传播 forward()

def forward(self, x):x = x * math.sqrt(self.d_model)  # 对输入乘以嵌入维度的平方根,使得它们的值更大一些
  • 这里的 x 是输入的词嵌入(word embeddings),即一个形状为 [batch_size, seq_len, d_model] 的张量。
  • x = x * math.sqrt(self.d_model):这一行操作是为了放大嵌入值,使得单词嵌入值的范围更加合适。
seq_len = x.size(1)  # 获取序列长度(句子长度)
x = x + Variable(self.pe[:, :seq_len], requires_grad=False).cuda()
  • seq_len = x.size(1):获取当前输入序列的长度。
  • self.pe[:, :seq_len]:根据当前序列长度,从 pe 中提取对应的位置信息(只取前 seq_len 个位置的编码)。
  • x + Variable(self.pe[:, :seq_len], requires_grad=False).cuda():将位置信息 pe 添加到输入词嵌入中。requires_grad=False 表示不对位置编码进行梯度更新。

3. 详细分析x + Variable(self.pe[:, :seq_len], requires_grad=False).cuda()

这行代码在位置编码器中的作用是将预计算好的位置编码矩阵 pe 加到输入的词嵌入矩阵 x 上。这是为了在词嵌入的基础上加入位置信息,使模型能够同时使用词汇语义和位置信息。我们分解这句话的各个部分:

x = x + Variable(self.pe[:, :seq_len], requires_grad=False).cuda()
1. self.pe[:, :seq_len]
  • self.pe 是我们在初始化时生成的位置编码矩阵,其形状为 [1, max_seq_len, d_model]

    • 这里的 1 是 batch 维度,用来保持与输入张量 x 形状的一致性。
    • max_seq_len 是句子可能的最大长度,表示可以编码的最大序列长度。
    • d_model 是词嵌入的维度。
  • self.pe[:, :seq_len] 表示从 pe 矩阵中取出前 seq_len 个位置的编码。这个操作的作用是根据输入句子的实际长度(seq_len)来选择对应长度的位置信息。例如,如果 seq_len 是 50,则取出 pe 中前 50 行的编码。

2. Variable(self.pe[:, :seq_len], requires_grad=False)
  • Variable 是用于包裹张量,使其在反向传播中能够区分哪些需要计算梯度,哪些不需要。
    • requires_grad=False 表示位置编码 pe 不参与梯度计算,位置编码是一个固定值,不会像模型权重那样进行训练或更新。

注意: 在较新的版本的 PyTorch 中,Variable 已经被整合到了 Tensor 中,不再需要显式使用 Variable。直接使用张量即可,它们本身已经具有 requires_grad 属性。

3. .cuda()
  • .cuda() 将张量移动到 GPU 上进行计算,确保模型的所有张量在同一个设备上。如果你使用的是 CPU,这一部分会报错或需要改成 .to(device),以便适应不同设备。
4. x + self.pe[:, :seq_len]
  • x 是输入的词嵌入矩阵,形状为 [batch_size, seq_len, d_model]
  • self.pe[:, :seq_len] 是位置编码矩阵,形状为 [1, seq_len, d_model],即与 x 的第二、第三维度一致。
  • 加法操作x + self.pe[:, :seq_len] 表示将对应位置的词嵌入和位置编码逐元素相加。这个加法是一个广播操作,即 self.pe 的第一个维度为 1,自动扩展到与 xbatch_size 相同大小,然后再进行相加操作。
5. self.pe[:, :seq_len]self.pe[:, :seq_len, :]相互替换

两者在功能上是等价的,但后者更明确地表达了正在获取 pe 矩阵的所有维度。这种做法在某些情况下可以提高代码的可读性,特别是当你的张量具有多个维度时。

这篇关于【大规模语言模型:从理论到实践】Transformer中PositionalEncoder详解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1141097

相关文章

springboot security快速使用示例详解

《springbootsecurity快速使用示例详解》:本文主要介绍springbootsecurity快速使用示例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝... 目录创www.chinasem.cn建spring boot项目生成脚手架配置依赖接口示例代码项目结构启用s

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

一文详解SpringBoot响应压缩功能的配置与优化

《一文详解SpringBoot响应压缩功能的配置与优化》SpringBoot的响应压缩功能基于智能协商机制,需同时满足很多条件,本文主要为大家详细介绍了SpringBoot响应压缩功能的配置与优化,需... 目录一、核心工作机制1.1 自动协商触发条件1.2 压缩处理流程二、配置方案详解2.1 基础YAML

Python实现无痛修改第三方库源码的方法详解

《Python实现无痛修改第三方库源码的方法详解》很多时候,我们下载的第三方库是不会有需求不满足的情况,但也有极少的情况,第三方库没有兼顾到需求,本文将介绍几个修改源码的操作,大家可以根据需求进行选择... 目录需求不符合模拟示例 1. 修改源文件2. 继承修改3. 猴子补丁4. 追踪局部变量需求不符合很

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

java中反射(Reflection)机制举例详解

《java中反射(Reflection)机制举例详解》Java中的反射机制是指Java程序在运行期间可以获取到一个对象的全部信息,:本文主要介绍java中反射(Reflection)机制的相关资料... 目录一、什么是反射?二、反射的用途三、获取Class对象四、Class类型的对象使用场景1五、Class

golang 日志log与logrus示例详解

《golang日志log与logrus示例详解》log是Go语言标准库中一个简单的日志库,本文给大家介绍golang日志log与logrus示例详解,感兴趣的朋友一起看看吧... 目录一、Go 标准库 log 详解1. 功能特点2. 常用函数3. 示例代码4. 优势和局限二、第三方库 logrus 详解1.

一文详解如何从零构建Spring Boot Starter并实现整合

《一文详解如何从零构建SpringBootStarter并实现整合》SpringBoot是一个开源的Java基础框架,用于创建独立、生产级的基于Spring框架的应用程序,:本文主要介绍如何从... 目录一、Spring Boot Starter的核心价值二、Starter项目创建全流程2.1 项目初始化(

Spring Boot3虚拟线程的使用步骤详解

《SpringBoot3虚拟线程的使用步骤详解》虚拟线程是Java19中引入的一个新特性,旨在通过简化线程管理来提升应用程序的并发性能,:本文主要介绍SpringBoot3虚拟线程的使用步骤,... 目录问题根源分析解决方案验证验证实验实验1:未启用keep-alive实验2:启用keep-alive扩展建

tomcat多实例部署的项目实践

《tomcat多实例部署的项目实践》Tomcat多实例是指在一台设备上运行多个Tomcat服务,这些Tomcat相互独立,本文主要介绍了tomcat多实例部署的项目实践,具有一定的参考价值,感兴趣的可... 目录1.创建项目目录,测试文China编程件2js.创建实例的安装目录3.准备实例的配置文件4.编辑实例的