LLM主流架构和模型

2024-06-23 07:20
文章标签 llm 架构 主流 模型

本文主要是介绍LLM主流架构和模型，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

本文参考自https://github.com/HqWu-HITCS/Awesome-Chinese-LLM?tab=readme-ov-file和Huggingface中的ModelCard（https://huggingface.co/）

LLM主要类别架构

LLM本身基于transformer架构。自2017年，attention is all you need诞生起，transformer模型为不同领域的模型提供了灵感和启发。基于原始的Transformer框架，衍生出了一系列模型，一些模型仅仅使用encoder或decoder，有些模型同时使encoder+decoder。

LLM分类一般分为三种：自编码模型（encoder）、自回归模型（decoder）和编解码器模型（encoder-decoder）。

自编码器模型（AutoEncoder model，AE）

BERT

BERT base model (uncased)

使用掩码语言建模 (masked language modeling-MLM) 目标对英语进行预训练的模型。该模型不区分大小写：它不会区分english和English。

模型描述

BERT 是一个以自监督方式在大量英语数据上进行预训练的 Transformer 模型。这意味着它只在原始文本上进行预训练，没有任何人工标记（这就是它可以使用大量公开数据的原因），并有一个自动流程从这些文本中生成输入和标签。更准确地说，它进行了两个预训练目标：

掩码语言建模 (MLM)：取一个句子，模型随机掩码输入中的 15% 的单词，然后通过模型运行整个掩码句子，并预测被掩码的单词。这与通常一个接一个地看到单词的传统循环神经网络 (RNN) 或内部掩码未来标记的 GPT 等自回归模型不同。它允许模型学习句子的双向表示。

下一句预测 (NSP)：模型在预训练期间将两个掩码句子连接起来作为输入。有时它们对应于原文中彼此相邻的句子，有时则不是。然后，模型必须预测这两个句子是否彼此相连。

通过这种方式，模型可以学习英语的内部表征，然后可以使用该表征提取对下游任务有用的特征：例如，如果您有一个带标签的句子数据集，则可以使用 BERT 模型生成的特征作为输入来训练标准分类器。

请注意，此模型主要针对使用整个句子（可能被屏蔽）进行决策的任务进行微调，例如序列分类、标记分类或问答。对于文本生成等任务，您应该考虑 GPT2 之类的模型。

模型变体

在这里插入图片描述

如何使用

以下是如何在 PyTorch 中使用该模型获取给定文本的特征：

from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained("bert-base-uncased")
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)
训练数据

BERT 模型在 BookCorpus 上进行了预训练，BookCorpus 是一个包含 11,038 本未出版的书籍和英文维基百科（不包括列表、表格和标题）的数据集。

训练过程
Preprocessing

使用 WordPiece 将文本小写化并标记化，词汇量为 30,000。模型的输入形式如下：

[CLS] Sentence A [SEP] Sentence B [SEP]

句子 A 和句子 B 对应于原始语料库中的两个连续句子的概率为 0.5，在其他情况下，则是语料库中的另一个随机句子。请注意，这里所指的句子是一段连续的文本，通常比单个句子长。唯一的限制是，包含两个“句子”的结果的总长度小于 512 个标记。

每个句子的掩蔽过程的细节如下：

  • 15% 的 token 被屏蔽。
  • 在 80% 的情况下，屏蔽的 token 被 [MASK] 替换。
  • 在 10% 的情况下，屏蔽的 token 被替换为与它们所替换的 token 不同的随机 token。
  • 在剩余的 10% 的情况下，屏蔽的 token 保持原样。
Pretraining

该模型在 4 个云 TPU（共 16 个 TPU 芯片）上进行训练，训练步骤为 100 万步，批处理大小为 256。90% 的步骤的序列长度限制为 128 个标记，其余 10% 的步骤的序列长度限制为 512 个标记。使用的优化器是 Adam，学习率为 1e-4， β 1 = 0.9 \beta_1=0.9 β1​=0.9 和 β 2 = 0.999 \beta_2=0.999 β2​=0.999，权重衰减为 0.01，学习率预热 10,000 步，之后学习率线性衰减。

Evaluation results

在下游任务上进行微调后，该模型可实现以下结果：

Glue test results：

TaskMNLI-m/mmQQPQNLISST-2CoLASTS-BMRPCRTEAverage
Score84.6/83.471.290.593.552.185.888.966.479.6

自回归模型（Autoregressive model，AR）

GPT

GPT-2

在此处测试整个生成功能：https://transformer.huggingface.co/doc/gpt2-large

使用因果语言建模 (CLM) 目标对英语进行预训练的模型。

模型描述

GPT-2 是一个以自监督方式在大量英语数据上进行预训练的 transformers 模型。这意味着它只在原始文本上进行预训练，没有任何人以任何方式标记它们（这就是它可以使用大量公开数据的原因），并自动从这些文本中生成输入和标签。更准确地说，它被训练来猜测句子中的下一个单词。

更准确地说，输入是一定长度的连续文本序列，目标是相同的序列，向右移动一个标记（单词或单词片段）。该模型在内部使用掩码机制来确保对标记 i 的预测仅使用从 1 到 i 的输入，而不使用未来的标记。

这样，该模型学习了英语的内部表示，然后可用于提取对下游任务有用的特征。然而，该模型最擅长的是它预训练的目的，即根据提示生成文本。

这是 GPT-2 的最小版本，具有 124M 个参数。

如何使用

以下是如何在 PyTorch 中使用该模型获取给定文本的特征：

from transformers import GPT2Tokenizer, GPT2Model
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
model = GPT2Model.from_pretrained('gpt2')
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)
训练数据

OpenAI 团队希望在尽可能大的语料库上训练这个模型。为了构建它，他们从 Reddit 上获得至少 3 个 karma 的出站链接中抓取了所有网页。请注意，所有维基百科页面都已从此数据集中删除，因此该模型未在维基百科的任何部分上进行训练。生成的数据集（称为 WebText）重达 40GB 文本，但尚未公开发布。您可以在此处找到 WebText 中存在的前 1,000 个域的列表。

训练过程
Preprocessing

使用字节级版本的字节对编码 (BPE)（用于 Unicode 字符）和 50,257 个词汇量对文本进行标记。输入是 1024 个连续标记的序列。

较大的模型在 256 个云 TPU v3 核心上进行训练。训练持续时间未披露，训练的具体细节也未披露。

Evaluation results

该模型无需任何微调（零样本）即可实现以下结果：

DatasetLAMBADA (PPL)LAMBADA (ACC)CBT-CN (ACC)CBT-NE (ACC)WikiText2 (PPL)PTB (PPL)enwiki8 (BPB)text8 (BPC)WikiText103 (PPL)1BW (PPL)
Metric35.1345.9987.6583.429.4165.851.160.1737.5075.20

序列到序列模型（Sequence to Sequence Model）

T5

模型描述

Text-To-Text Transfer Transformer (T5) 的开发人员写道：

借助 T5，我们建议将所有 NLP 任务重新定义为统一的文本到文本格式，其中输入和输出始终是文本字符串，而 BERT 样式的模型只能输出类标签或输入的跨度。我们的文本到文本框架允许我们在任意 NLP 任务上使用相同的模型、损失函数和超参数。

T5-Base 是具有 2.2 亿个参数的检查点。

直接利用和下游利用

开发人员在一篇博客文章中写道，该模型：

我们的文本到文本框架允许我们在任何 NLP 任务上使用相同的模型、损失函数和超参数，包括机器翻译、文档摘要、问答和分类任务（例如情绪分析）。我们甚至可以将 T5 应用于回归任务，通过训练它来预测数字的字符串表示而不是数字本身。

有关更多详细信息，请参阅博客文章和研究论文。

训练数据

该模型在 Colossal Clean Crawled Corpus (C4) 上进行了预训练，该语料库是在与 T5 相同的研究论文背景下开发和发布的。

该模型在无监督 (1.) 和监督任务 (2.) 的多任务混合上进行了预训练。因此，以下数据集用于 (1.) 和 (2.)：

  1. 用于无监督去噪目标的数据集：
  • C4
  • Wiki-DPR
  1. 用于监督文本到文本语言建模目标的数据集
  • 句子可接受性判断
    CoLA Warstadt et al., 2018
  • 情感分析
    SST-2 Socher et al., 2013
  • 释义/句子相似性
    MRPC Dolan and Brockett, 2005
    STS-B Ceret al., 2017
    QQP Iyer et al., 2017
  • 自然语言推理
    MNLI Williams et al., 2017
    QNLI Rajpurkar et al.,2016
    RTE Dagan et al., 2005
    CB De Marneff et al., 2019
  • 句子完成
    COPA Roemmele et al., 2011
  • 词义消歧
    WIC Pilehvar and Camacho-Collados, 2018
  • 问答
    MultiRC Khashabi et al., 2018
    ReCoRD Zhang et al., 2018
    BoolQ Clark et al., 2019
训练过程

模型开发人员在摘要中写道：

在本文中，我们通过引入一个统一的框架来探索 NLP 迁移学习技术的前景，该框架将每个语言问题转换为文本到文本格式。我们的系统研究比较了数十种语言理解任务的预训练目标、架构、未标记数据集、迁移方法和其他因素。

引入的框架 T5 框架涉及一个将本文研究的方法结合在一起的训练程序。有关更多详细信息，请参阅研究论文。

Evaluation
测试数据、因素和指标

开发人员根据 24 项任务评估该模型，请参阅研究论文了解详细信息（https://jmlr.org/papers/volume21/20-074/20-074.pdf）。

结果

有关 T5-Base 的完整结果，请参阅研究论文表 14（https://jmlr.org/papers/volume21/20-074/20-074.pdf）。

这篇关于LLM主流架构和模型的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1086502。

相关文章

一份LLM资源清单围观技术大佬的日常；手把手教你在美国搭建「百万卡」AI数据中心；为啥大模型做不好简单的数学计算？ | ShowMeAI日报

一份LLM资源清单围观技术大佬的日常；手把手教你在美国搭建「百万卡」AI数据中心；为啥大模型做不好简单的数学计算？ | ShowMeAI日报

👀日报&周刊合集 | 🎡ShowMeAI官网 | 🧡 点赞关注评论拜托啦！ 1. 为啥大模型做不好简单的数学计算？从大模型高考数学成绩不及格说起 司南评测体系 OpenCompass 选取 7 个大模型 (6 个开源模型+ GPT-4o)，组织参与了 2024 年高考「新课标I卷」的语文、数学、英语考试，然后由经验丰富的判卷老师评判得分。 结果如上图所
阅读更多...
大语言模型（LLMs）能够进行推理和规划吗？

大语言模型（LLMs）能够进行推理和规划吗？

大语言模型（LLMs），基本上是经过强化训练的 n-gram 模型，它们在网络规模的语言语料库（实际上，可以说是我们文明的知识库）上进行了训练，展现出了一种超乎预期的语言行为，引发了我们的广泛关注。从训练和操作的角度来看，LLMs 可以被认为是一种巨大的、非真实的记忆库，相当于为我们所有人提供了一个外部的系统 1（见图 1）。然而，它们表面上的多功能性让许多研究者好奇，这些模型是否也能在通常需要系
阅读更多...
通信系统网络架构_2.广域网网络架构

通信系统网络架构_2.广域网网络架构

1.概述          通俗来讲，广域网是将分布于相比局域网络更广区域的计算机设备联接起来的网络。广域网由通信子网于资源子网组成。通信子网可以利用公用分组交换网、卫星通信网和无线分组交换网构建，将分布在不同地区的局域网或计算机系统互连起来，实现资源子网的共享。 2.网络组成          广域网属于多级网络，通常由骨干网、分布网、接入网组成。在网络规模较小时，可仅由骨干网和接入网组成
阅读更多...
人工和AI大语言模型成本对比 ai语音模型

人工和AI大语言模型成本对比 ai语音模型

这里既有AI，又有生活大道理，无数渺小的思考填满了一生。 上一专题搭建了一套GMM-HMM系统，来识别连续0123456789的英文语音。 但若不是仅针对数字，而是所有普通词汇，可能达到十几万个词，解码过程将非常复杂，识别结果组合太多，识别结果不会理想。因此只有声学模型是完全不够的，需要引入语言模型来约束识别结果。让“今天天气很好”的概率高于“今天天汽很好”的概率，得到声学模型概率高，又符合表达
阅读更多...
智能客服到个人助理，国内AI大模型如何改变我们的生活？

智能客服到个人助理，国内AI大模型如何改变我们的生活？

引言 随着人工智能（AI）技术的高速发展，AI大模型越来越多地出现在我们的日常生活和工作中。国内的AI大模型在过去几年里取得了显著的进展，不少独创的技术点和实际应用令人瞩目。 那么，国内的AI大模型有哪些独创的技术点？它们在实际应用中又有哪些出色表现呢？此外，普通人又该如何利用这些大模型提升工作和生活的质量和效率呢？本文将为你一一解析。 一、国内AI大模型的独创技术点 多模态学习 多
阅读更多...
OpenCompass：大模型测评工具

OpenCompass：大模型测评工具

大模型相关目录 大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容 从0起步，扬帆起航。 大模型应用向开发路径：AI代理工作流大模型应用开发实用开源项目汇总大模型问答项目问答性能评估方法大模型数据侧总结大模型token等基本概念及参数和内存的关系大模型应用开发-华为大模型生态规划从零开始的LLaMA-Factor
阅读更多...
模型压缩综述

模型压缩综述

https://www.cnblogs.com/shixiangwan/p/9015010.html
阅读更多...
AI赋能天气：微软研究院发布首个大规模大气基础模型Aurora

AI赋能天气：微软研究院发布首个大规模大气基础模型Aurora

编者按：气候变化日益加剧，高温、洪水、干旱，频率和强度不断增加的全球极端天气给整个人类社会都带来了难以估计的影响。这给现有的天气预测模型提出了更高的要求——这些模型要更准确地预测极端天气变化，为政府、企业和公众提供更可靠的信息，以便做出及时的准备和响应。为了应对这一挑战，微软研究院开发了首个大规模大气基础模型 Aurora，其超高的预测准确率、效率及计算速度，实现了目前最先进天气预测系统性能的显著
阅读更多...
PyTorch模型_trace实战：深入理解与应用

PyTorch模型_trace实战：深入理解与应用

pytorch使用trace模型 1、使用trace生成torchscript模型2、使用trace的模型预测 1、使用trace生成torchscript模型 def save_trace(model, input, save_path):traced_script_model = torch.jit.trace(model, input)<
阅读更多...
响应式架构

响应式架构

介绍 响应式架构（Reactive Architecture）是一种面向服务和事件的系统设计方法，旨在提高系统的可扩展性、弹性和容错能力。它适用于构建分布式系统，特别是在云环境和微服务架构中。响应式架构的核心理念是通过事件驱动和数据流来实现各个组件之间的解耦，从而提高整个系统的响应能力和可靠性。 响应式架构的主要特点包括： 响应性：系统能够快速响应外部事件和内部变化，确保在各种负载和故障情
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2