大模型面试常考知识点1

2024-05-11 18:44
文章标签 知识点 面试 模型 常考

本文主要是介绍大模型面试常考知识点1，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

1. 写出Multi-Head Attention

import torch
import torch.nn as nn
import torch.nn.functional as F
import mathclass MHA(nn.Module):def __init__(self, d_model, nums_head):super(MHA, self).__init__()     # !!self.d_model = d_modelself.nums_head = nums_headself.wq = nn.Linear(d_model, d_model)self.wk = nn.Linear(d_model, d_model)self.wv = nn.Linear(d_model, d_model)self.dk = d_model/nums_headself.wo = nn.Linear(d_model,d_model)def split_head(self, x, batch_size):  # x(batch_size, seq_len, d_model) -> x(batch_size, seq_len, nums_head, d_k) -> x(batch_size, nums_head, seq_len, dk)return x.view(batch_size, self.nums_head, -1, self.dk).transpose(1,2)def forward(self, q, k, v, mask=None):batch_size = q.size(0)q = self.wq(q)k = self.wk(k)v = self.wv(v)q = self.split_head(q, batch_size)k = self.split_head(k, batch_size)v = self.split_head(v, batch_size)scores = torch.matmul(q, k.transpose(-2,-1))/math.sqrt(self.dk)if mask is not None:scores = scores.mask_fill(mask, float('-inf'))    # mask_fillweights = F.softmax(scores, dim=-1)attention = torch.matmul(weights, v)concat = attention.transpose(1,2).contiguous().view(batch_size, -1, self.d_model)     # contiguousoutput = self.wo(concat)return output

2. Pre-Norm vs Post-Norm

在这里插入图片描述

  • Pre-Norm优势：
    在这里插入图片描述

  • 为什么层数较深时，Pre-Norm不如Post-Norm：
    在这里插入图片描述

3. Layer Norm

任何norm的意义都是为了让使用norm的网络的输入的数据分布变得更好，也就是转换为标准正态分布，数值进入敏感度区间，以减缓梯度消失，从而更容易训练。
在这里插入图片描述
这里结合PyTorch的nn.LayerNorm算子来看比较明白：

nn.LayerNorm(normalized_shape, eps=1e-05, elementwise_affine=True, device=None, dtype=None)
  • normalized_shape：归一化的维度，int（最后一维）list（list里面的维度），还是以（2,2,4）为例，如果输入是int，则必须是4，如果是list，则可以是[4], [2,4], [2,2,4]，即最后一维，倒数两维，和所有维度
  • eps：加在分母方差上的偏置项，防止分母为0
  • elementwise_affine：是否使用可学习的参数 γ \gamma γ和 β \beta β ，前者开始为1，后者为0，设置该变量为True，则二者均可学习随着训练过程而变化

RMS Norm

与layerNorm相比，RMS Norm的主要区别在于去掉了减去均值的部分
在RMS Norm的论文中指出：RMS Norm 比Layer Norm更快（可以在各个模型上减少约 7%∼ 64% 的计算时间），效果也基本一致。

Batch Norm

在这里插入图片描述

  • Batch Norm：把每个Batch中，每句话的相同位置的字向量看成一组做归一化。
  • Layer Norm：在每一个句子中进行归一化。
  • Instance Norm：每一个字的字向量的看成一组做归一化。
  • Group Norm：把每句话的每几个字的字向量看成一组做归一化。计算成本较高

4. SwiGLU

  • Sigmoid

在这里插入图片描述

从ReLU到Swish

  • ReLU
    在这里插入图片描述

  • Leaky ReLU，ELU
    在这里插入图片描述

  • Swish
    在这里插入图片描述

  • GELU vs Swish
    在这里插入图片描述

GELU （高斯误差线性单元）与 Swish 激活函数（x · σ(βx)）的函数形式和性质非常相像，一个是固定系数 1.702，另一个是可变系数 β（可以是可训练的参数，也可以是通过搜索来确定的常数），两者的实际应用表现也相差不大。
【GPT2, BERT, ALBERT, RoBERTA常用GELU】

SwiGLU

  • GLU
    在这里插入图片描述理解GLU激活函数的关键在于它的门控机制。门控机制使得GLU能够选择性地过滤输入向量的某些部分，并根据输入的上下文来调整输出。门控部分的作用是将输入进行二分类，决定哪些部分应该被保留，哪些部分应该被抑制。

  • SwiGLU
    在这里插入图片描述

5. AdamW

  • Adam

优点：惯性保持 + 自适应
在这里插入图片描述

g t \ g_t  gt​为梯度
在这里插入图片描述自适应：经常被更新的权重，更新的幅度小一些；不经常被更新的权重，更新的幅度大一些

  • AdamW
    Adam的基础上，权重更新时，加入L2正则化项。
    之前各类框架对 Adam 的实现中，在损失函数中加入了 L2 正则化项，也就是把权重衰减放到了梯度里，由梯度间接缩小θ。但是这种方法并没有起到有效的正则化作用。AdamW 直接将权重衰减项放到权重计算中，可以对大的权重进行惩罚，起到了有效的正则化作用。
    （下图中x表示权重）
    在这里插入图片描述

6. 位置编码

原因：为 Attention 添加位置信息
没有位置编码的Attention并不能捕捉序列的顺序。（交换单词位置后 Attention map 的对应位置数值也会进行交换，然而并不会产生数值变化）

Transformer位置编码

用sin和cos交替来表示位置，并把位置编码加在embeding上。

RoPE

参考文献
Transformer中sinusoidal位置编码对相对位置关系的表示还是比较间接的，那有没有办法更直接的表示相对位置关系呢？旋转位置编码（Rotary Position Embedding，RoPE）是一种用绝对位置编码来表征相对位置编码的方法，并被用在了很多大语言模型的设计中。

假设通过下述运算来给 q, k 添加绝对位置信息：
f ( q , m ) \ f(q,m)  f(q,m) 表示给向量 q q q在位置 m m m添加位置信息， f ( k , n ) \ f(k,n)  f(k,n) 表示给向量 k k k在位置 n n n添加位置信息。
同时，我们希望经过 Attention 的内积运算后，内积结果带有相对位置信息：
在这里插入图片描述RoPE这一研究就是为上面这个等式找到了一组解答，也就是：

f ( q , m ) = q e i m θ \ f(q,m) = qe^{imθ}  f(q,m)=qeimθ

根据复数乘法的⼏何意义，该变换实际上对应着向量的旋转，所以我们称之为“旋转式位置编码”，
它还可以写成矩阵形式（二维）：
在这里插入图片描述根据刚才的结论，结合内积的线性叠加性，可以将结论推广到高维的情形。可以理解为，每两个维度一组，进行了上述的“旋转”操作，然后再拼接在一起：
在这里插入图片描述由于矩阵的稀疏性，会造成计算上的浪费，所以在计算时采用逐位相乘再相加的方式进行：
在这里插入图片描述

ALibi

在这里插入图片描述注意看上表的位置编码那一列，baichuan 7B无论第一代还是第二代，位置编码均用的RoPE，而baichuan 13B则无论是第一代还是第二代，均用的ALiBi

在这里插入图片描述

在这里插入图片描述
怎么理解呢，就是在query和key做矩阵点乘的基础上，加上一个常数负值，比如距离当前位置前1位为-1， 前两位为-2，这些常数要乘上 权重 m

在这里插入图片描述

7. LoRA

lora之前的PEFT方法是adapter/prefix/promp/P-tuning，但是Adapter会引入很强的推理延迟（只能串行），prefix/prompt/P-tuning很难练，而且要占用context length，变相的降低模型能力——所以，根本不改原来的model，这就引出了lora：Low-Rank Adaptation

在这里插入图片描述
在这里插入图片描述

初始化

为什么用随机高斯分布初始化 A ，用 0 矩阵初始化 B ？
需要深入探讨这两个矩阵在权重更新过程中的角色和相互作用

  • 矩阵𝐴：这个矩阵可以被看作是一个特征提取器，它将输入特征映射到一个低维空间（通过矩阵乘法）。在 LORA 的设置中，𝐴通常被视为首先应用于输入的一种转换，将数据从原始的高维空间压缩到一个低维空间。
  • 矩阵𝐵：这个矩阵作为一个特征转换器，它将𝐴输出的低维表示映射回原始的高维空间。可以看作是从𝐴创建的低维空间中恢复信息到原始空间的过程。

为什么𝐴不能为零而 𝐵采用高斯初始化？
如果𝐴初始化为零，那么无论𝐵初始化为什么值，Δ𝑊始终为零矩阵。这意味着在训练的开始阶段，没有任何更新被应用于原始权重 𝑊，导致模型在这一阶段无法学习或适应任何新的特征或模式。

优点：

  • 在面对不同的下游任务时，仅需训练参数量很少的低秩矩阵，而预训练权重可以在这些任务之间共享；
  • 省去了预训练权重的梯度和相关的 optimizer states，大大增加了训练效率并降低了硬件要求；
  • 训练好的低秩矩阵可以合并(merge)到预训练权重中，多分支结构变为单分支，从而达到没有推理延时的效果；
  • 与之前的一些参数高效的微调方法(如 Adapter, Prefix-Tuning 等)互不影响，并且可以相互结合

局限性：

  • 基于低秩的微调可能并不always work，比如finetune与pretrain的gap过大的时候，比如中英差异。当然，这一点在LLM时代可能并不突出，我们认为LLM在预训练阶段已经get了所有基本的知识，finetune只是格式微调，因此可能不会有上述gap过大的情况。
  • 用lora也需要设置r和target module等，这部分超参的设置需要考虑

参考文献

大模型面试八股

这篇关于大模型面试常考知识点1的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/980353。

相关文章

大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
字节面试 | 如何测试RocketMQ、RocketMQ？

字节面试 | 如何测试RocketMQ、RocketMQ？

字节面试：RocketMQ是怎么测试的呢？ 答： 首先保证消息的消费正确、设计逆向用例，在验证消息内容为空等情况时的消费正确性； 推送大批量MQ，通过Admin控制台查看MQ消费的情况，是否出现消费假死、TPS是否正常等等问题。（上述都是临场发挥，但是RocketMQ真正的测试点，还真的需要探讨） 01 先了解RocketMQ 作为测试也是要简单了解RocketMQ。简单来说，就是一个分
阅读更多...
基本知识点

基本知识点

1、c++的输入加上ios::sync_with_stdio(false);  等价于 c的输入，读取速度会加快（但是在字符串的题里面和容易出现问题） 2、lower_bound()和upper_bound() iterator lower_bound( const key_type &key ): 返回一个迭代器，指向键值>= key的第一个元素。 iterator upper_bou
阅读更多...
Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人，AI大神Andrej Karpathy，曾是OpenAI联合创始人之一，特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ，宣布将长期致力于AI原生教育。 近日，Andrej Karpathy接受了No Priors（投资博客）的采访，与硅谷知名投资人 Sara Guo 和 Elad G
阅读更多...
Retrieval-based-Voice-Conversion-WebUI模型构建指南

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI（简称 RVC）模型是一个基于 VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）的简单易用的语音转换框架。 具有以下特点 简单易用：RVC 模型通过简单易用的网页界面，使得用户无需深入了
阅读更多...
透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

引言 随着时间的发展，大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用，随着人们期望的不断增加，目标也发生了巨大的变化。在短短的几个月的时间里，人们对大模型的认识已经从对其zero-shot能力感到惊讶，转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构（例如Transformer）对海量的、多种多样的数据分布进行建模得到，它包含了大量的先验
阅读更多...
图神经网络模型介绍（1）

图神经网络模型介绍（1）

我们将图神经网络分为基于谱域的模型和基于空域的模型，并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络：谱图卷积网络、切比雪夫网络和图卷积网络。 （1）谱图卷积网络 卷积定理：函数卷积的傅里叶变换是函数傅里叶变换的乘积，即F{f*g}
阅读更多...
秋招最新大模型算法面试，熬夜都要肝完它

秋招最新大模型算法面试，熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候，不知道面试完会不会复盘、总结，做笔记的习惯，这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助，都附有完整答案，熬夜也要看完，祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN，还有完整版的大模型 AI 学习资料，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
阅读更多...
【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入（Embedding）方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节：嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”，它将文本中的单词或短语转换成计算机能够理解的数学形式，即向量。 正如翻译机将一种语言
阅读更多...
AI Toolkit + H100 GPU，一小时内微调最新热门文生图模型 FLUX

AI Toolkit + H100 GPU，一小时内微调最新热门文生图模型 FLUX

上个月，FLUX 席卷了互联网，这并非没有原因。他们声称优于 DALLE 3、Ideogram 和 Stable Diffusion 3 等模型，而这一点已被证明是有依据的。随着越来越多的流行图像生成工具（如 Stable Diffusion Web UI Forge 和 ComyUI）开始支持这些模型，FLUX 在 Stable Diffusion 领域的扩展将会持续下去。 自 FLU
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2