本文主要是介绍大模型LLM架构--Decoder-Only、Encoder-Only、Encoder-Decoder，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
目录
1 LLM演变进化树
2 每种架构的优缺点
2.1 Decoder-Only 架构
2.2 Encoder-Only
2.3 Encoder-Decoder
参考文献：
1 LLM演变进化树
- 基于 Transformer 模型以非灰色显示：
- decoder-only 模型在右边的浅蓝色分支，
- encoder-only 模型在粉色分支，
- encoder-decoder 模型在绿色分支。
模型在时间线上的位置表示它们的发布日期。开源模型由实心方块表示，而闭源模型由空心方块表示。右下角的堆积条形图显示了各公司和机构的模型数量。
2 每种架构的优缺点
2.1 Decoder-Only 架构
仅包含解码器部分，通常用于序列生成任务，如文本生成等。这类结构的模型适用于需要生成序列的任务，可以从输入的编码中生成相应的序列。这类结构的代表也就是我们平时非常熟悉的GPT模型的结构，所有该家族的网络结构都是基于Decoder-Only的形式来逐步演化。
2.2 Encoder-Only
仅包含编码器部分，主要适用于不需要生成序列的任务，只需要对输入进行编码和处理的单向任务场景，如文本分类、情感分析等，这种架构主要用于处理输入数据，专注于理解和编码信息，而不是生成新的文本。这类代表是BERT相关的模型，例如BERT，RoBERT，ALBERT等
2.3 Encoder-Decoder
既包含编码器也包含解码器，先理解输入的信息（Encoder部分），然后基于这个理解生成新的、相关的内容（Decoder部分），通常用于序列到序列（Seq2Seq）任务，如机器翻译、对话生成等，这类代表是以Google训出来T5为代表相关大模型。
参考文献：
生动说明BERT，Transformer，预训练模型的含义和关系 - 掘金
大语言模型的三种主要架构 Decoder-Only、Encoder-Only、Encoder-Decoder_大语言模型和encoder和decoder-CSDN博客
原创 | 大模型扫盲系列——初识大模型-腾讯云开发者社区-腾讯云
这篇关于大模型LLM架构--Decoder-Only、Encoder-Only、Encoder-Decoder的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
