【大规模语言模型:从理论到实践】Transformer中PositionalEncoder详解

本文主要是介绍【大规模语言模型:从理论到实践】Transformer中PositionalEncoder详解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

书籍链接:大规模语言模型:从理论到实践

第15页位置表示层代码详解
PositionalEncoder

1. 构造函数 __init__()

def __init__(self, d_model, max_seq_len=80):super().__init__()self.d_model = d_model  # 嵌入的维度(embedding dimension)
  • d_model: 表示输入词向量的维度。
  • max_seq_len: 表示句子的最大长度(最大序列长度)。
  • self.d_model: 保存词嵌入的维度。
创建 PE 矩阵
pe = torch.zeros(max_seq_len, d_model)
for pos in range(max_seq_len):for i in range(0, d_model, 2):pe[pos, i] = math.sin(pos / (10000 ** ((2 * i)/d_model)))pe[pos, i + 1] = math.cos(pos / (10000 ** ((2 * (i + 1))/d_model)))

这里,我们为所有可能的位置 pos 和维度 i 生成了位置编码矩阵 pe。编码规则是使用正弦和余弦函数来生成位置编码:

  • 对于每个位置 pos,在每个嵌入维度 i 上:

    • 奇数维度使用正弦函数 sin(pos / 10000^(2i/d_model))
    • 偶数维度使用余弦函数 cos(pos / 10000^(2i/d_model))

    这样做的好处是,正弦和余弦函数生成了一个平滑的周期性变化,使得位置编码具有一定的连续性和距离信息。

pe = pe.unsqueeze(0)
self.register_buffer('pe', pe)
  • pe.unsqueeze(0):将 pe 的第一个维度扩展为 1,这是为了便于后续将其与输入批次结合在一起。
  • register_buffer:将 pe 作为一个不可训练的参数(Tensor),并注册为模型的一部分,以确保其在模型的 .cuda().to(device) 等操作时也能够转移到对应设备上。

2. 前向传播 forward()

def forward(self, x):x = x * math.sqrt(self.d_model)  # 对输入乘以嵌入维度的平方根,使得它们的值更大一些
  • 这里的 x 是输入的词嵌入(word embeddings),即一个形状为 [batch_size, seq_len, d_model] 的张量。
  • x = x * math.sqrt(self.d_model):这一行操作是为了放大嵌入值,使得单词嵌入值的范围更加合适。
seq_len = x.size(1)  # 获取序列长度(句子长度)
x = x + Variable(self.pe[:, :seq_len], requires_grad=False).cuda()
  • seq_len = x.size(1):获取当前输入序列的长度。
  • self.pe[:, :seq_len]:根据当前序列长度,从 pe 中提取对应的位置信息(只取前 seq_len 个位置的编码)。
  • x + Variable(self.pe[:, :seq_len], requires_grad=False).cuda():将位置信息 pe 添加到输入词嵌入中。requires_grad=False 表示不对位置编码进行梯度更新。

3. 详细分析x + Variable(self.pe[:, :seq_len], requires_grad=False).cuda()

这行代码在位置编码器中的作用是将预计算好的位置编码矩阵 pe 加到输入的词嵌入矩阵 x 上。这是为了在词嵌入的基础上加入位置信息,使模型能够同时使用词汇语义和位置信息。我们分解这句话的各个部分:

x = x + Variable(self.pe[:, :seq_len], requires_grad=False).cuda()
1. self.pe[:, :seq_len]
  • self.pe 是我们在初始化时生成的位置编码矩阵,其形状为 [1, max_seq_len, d_model]

    • 这里的 1 是 batch 维度,用来保持与输入张量 x 形状的一致性。
    • max_seq_len 是句子可能的最大长度,表示可以编码的最大序列长度。
    • d_model 是词嵌入的维度。
  • self.pe[:, :seq_len] 表示从 pe 矩阵中取出前 seq_len 个位置的编码。这个操作的作用是根据输入句子的实际长度(seq_len)来选择对应长度的位置信息。例如,如果 seq_len 是 50,则取出 pe 中前 50 行的编码。

2. Variable(self.pe[:, :seq_len], requires_grad=False)
  • Variable 是用于包裹张量,使其在反向传播中能够区分哪些需要计算梯度,哪些不需要。
    • requires_grad=False 表示位置编码 pe 不参与梯度计算,位置编码是一个固定值,不会像模型权重那样进行训练或更新。

注意: 在较新的版本的 PyTorch 中,Variable 已经被整合到了 Tensor 中,不再需要显式使用 Variable。直接使用张量即可,它们本身已经具有 requires_grad 属性。

3. .cuda()
  • .cuda() 将张量移动到 GPU 上进行计算,确保模型的所有张量在同一个设备上。如果你使用的是 CPU,这一部分会报错或需要改成 .to(device),以便适应不同设备。
4. x + self.pe[:, :seq_len]
  • x 是输入的词嵌入矩阵,形状为 [batch_size, seq_len, d_model]
  • self.pe[:, :seq_len] 是位置编码矩阵,形状为 [1, seq_len, d_model],即与 x 的第二、第三维度一致。
  • 加法操作x + self.pe[:, :seq_len] 表示将对应位置的词嵌入和位置编码逐元素相加。这个加法是一个广播操作,即 self.pe 的第一个维度为 1,自动扩展到与 xbatch_size 相同大小,然后再进行相加操作。
5. self.pe[:, :seq_len]self.pe[:, :seq_len, :]相互替换

两者在功能上是等价的,但后者更明确地表达了正在获取 pe 矩阵的所有维度。这种做法在某些情况下可以提高代码的可读性,特别是当你的张量具有多个维度时。

这篇关于【大规模语言模型:从理论到实践】Transformer中PositionalEncoder详解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1141097

相关文章

HTML5中的Microdata与历史记录管理详解

《HTML5中的Microdata与历史记录管理详解》Microdata作为HTML5新增的一个特性,它允许开发者在HTML文档中添加更多的语义信息,以便于搜索引擎和浏览器更好地理解页面内容,本文将探... 目录html5中的Mijscrodata与历史记录管理背景简介html5中的Microdata使用M

html5的响应式布局的方法示例详解

《html5的响应式布局的方法示例详解》:本文主要介绍了HTML5中使用媒体查询和Flexbox进行响应式布局的方法,简要介绍了CSSGrid布局的基础知识和如何实现自动换行的网格布局,详细内容请阅读本文,希望能对你有所帮助... 一 使用媒体查询响应式布局        使用的参数@media这是常用的

HTML5表格语法格式详解

《HTML5表格语法格式详解》在HTML语法中,表格主要通过table、tr和td3个标签构成,本文通过实例代码讲解HTML5表格语法格式,感兴趣的朋友一起看看吧... 目录一、表格1.表格语法格式2.表格属性 3.例子二、不规则表格1.跨行2.跨列3.例子一、表格在html语法中,表格主要通过< tab

Linux之计划任务和调度命令at/cron详解

《Linux之计划任务和调度命令at/cron详解》:本文主要介绍Linux之计划任务和调度命令at/cron的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux计划任务和调度命令at/cron一、计划任务二、命令{at}介绍三、命令语法及功能 :at

Java使用SLF4J记录不同级别日志的示例详解

《Java使用SLF4J记录不同级别日志的示例详解》SLF4J是一个简单的日志门面,它允许在运行时选择不同的日志实现,这篇文章主要为大家详细介绍了如何使用SLF4J记录不同级别日志,感兴趣的可以了解下... 目录一、SLF4J简介二、添加依赖三、配置Logback四、记录不同级别的日志五、总结一、SLF4J

Java使用ANTLR4对Lua脚本语法校验详解

《Java使用ANTLR4对Lua脚本语法校验详解》ANTLR是一个强大的解析器生成器,用于读取、处理、执行或翻译结构化文本或二进制文件,下面就跟随小编一起看看Java如何使用ANTLR4对Lua脚本... 目录什么是ANTLR?第一个例子ANTLR4 的工作流程Lua脚本语法校验准备一个Lua Gramm

Java Optional的使用技巧与最佳实践

《JavaOptional的使用技巧与最佳实践》在Java中,Optional是用于优雅处理null的容器类,其核心目标是显式提醒开发者处理空值场景,避免NullPointerExce... 目录一、Optional 的核心用途二、使用技巧与最佳实践三、常见误区与反模式四、替代方案与扩展五、总结在 Java

一文详解如何在Python中从字符串中提取部分内容

《一文详解如何在Python中从字符串中提取部分内容》:本文主要介绍如何在Python中从字符串中提取部分内容的相关资料,包括使用正则表达式、Pyparsing库、AST(抽象语法树)、字符串操作... 目录前言解决方案方法一:使用正则表达式方法二:使用 Pyparsing方法三:使用 AST方法四:使用字

Python列表去重的4种核心方法与实战指南详解

《Python列表去重的4种核心方法与实战指南详解》在Python开发中,处理列表数据时经常需要去除重复元素,本文将详细介绍4种最实用的列表去重方法,有需要的小伙伴可以根据自己的需要进行选择... 目录方法1:集合(set)去重法(最快速)方法2:顺序遍历法(保持顺序)方法3:副本删除法(原地修改)方法4:

Spring Boot循环依赖原理、解决方案与最佳实践(全解析)

《SpringBoot循环依赖原理、解决方案与最佳实践(全解析)》循环依赖指两个或多个Bean相互直接或间接引用,形成闭环依赖关系,:本文主要介绍SpringBoot循环依赖原理、解决方案与最... 目录一、循环依赖的本质与危害1.1 什么是循环依赖?1.2 核心危害二、Spring的三级缓存机制2.1 三