让天下没有难学的大模型！我整理一份大模型技术知识图谱！

本文主要是介绍让天下没有难学的大模型！我整理一份大模型技术知识图谱！，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

最近陆续有一些同学反馈，感觉大模型知识点太多了，找不到头绪。

今天我整理一份大模型技术以及应用的知识图谱，让大家轻松学习大模型，喜欢点赞、收藏、关注。

另外，技术交流可以文末加入我们。

大模型的预训练技术（Pre-traning）是大模型性能的根基，这部分技术门槛和成本门槛都很高，我们需要了解以下几个核心技术：

Transformer 人工神经网络架构
MOE 多专家架构
Supervised Fine-tuning、Reinforcement Learning from Human Feedback（RLHF 基于人类反馈的强化学习）
数据工程
分布式预训练并行技术（数据并行、流水线并行、张量并行、序列并行、多维混合并行、自动并行、MOE 并行等）、
分布式预训练并行框架（PyTorch、Megatron、DeepSpeed、Ray）
分布式预训练网络通信（点对点通信、集体通信、AllReduce、AllGather、梯度分桶、计算与通信重叠、跳过梯度同步
分布式预训练流程（前向传递、损失计算、梯度计算、梯度通信、后向传递、优化器更新模型参数、保存模型
分布式预训练策略（Batch Size、epoch、损失精度、梯度方法
预训练评估技术。

大模型微调技术是增强通用大模型能力，降低幻觉的核心技术，也是构建企业私有大模型两大技术手段之一（RAG、微调），因此需要好好掌握，包含以下几个核心技术：

大模型检索增强生成技术是增强通用大模型能力，也是降低幻觉的大模型微调技术、同样是构建企业私有大模型两大技术手段之一（RAG、微调），因此需要好好掌握，包含以下几个核心技术：

大模型推理是在线完成用户 Prompt 请求的技术架构，主要由推理效果和推理速度构成，也是必须要掌握的关键技术之一、主要包含以下几个核心技术：

大模型压缩是平衡推理效果和推理成本的主要实施技术，特别是预算有限的中心型公司，大模型的压缩技术就显得更加重要，包含技术如下：

LLM 训练量化技术（LLM-QAT、QLoRA）、
LLM 推理量化技术（GPTQ、LLM.int8()、SmoothQuant、AWQ、AutoAWQ、SpQR、ZeroQuant）、
LLM 结构化剪枝技术（LLM-Pruner）、
LLM 非结构化剪枝技术（SpareGPT、LoRAPrune、Wanda）、
LLM 知识蒸馏技术（Standard KD、学生模型、老师模型、EA-based-KD（In-Context Learning 上下文学习、Chain-of-Thought 思维链、Instruction Following 指令跟随））、
低秩分解技术（ZeroQuant-FP + 量化、LoRAPrune + 剪枝）。

基于大模型的应用开发是每个 IT 同学都需要掌握的基本技能，这也是构建 AGI 时代新的应用形态 Agent 和产业应用升级的基本条件。主要包含以下几个核心技术：

大模型的基础设施技术是大模型应用运行的基座，非常重要。主要包含以下几个核心技术：