本文主要是介绍让天下没有难学的大模型！我整理一份大模型技术知识图谱！，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
最近陆续有一些同学反馈，感觉大模型知识点太多了，找不到头绪。
今天我整理一份大模型技术以及应用的知识图谱，让大家轻松学习大模型，喜欢点赞、收藏、关注。
另外，技术交流可以文末加入我们。
大模型的预训练技术
大模型的预训练技术（Pre-traning）是大模型性能的根基，这部分技术门槛和成本门槛都很高，我们需要了解以下几个核心技术：
- Transformer 人工神经网络架构
- MOE 多专家架构
- Supervised Fine-tuning、Reinforcement Learning from Human Feedback（RLHF 基于人类反馈的强化学习）
- 数据工程
- 分布式预训练并行技术（数据并行、流水线并行、张量并行、序列并行、多维混合并行、自动并行、MOE 并行等）、
- 分布式预训练并行框架（PyTorch、Megatron、DeepSpeed、Ray）
- 分布式预训练网络通信（点对点通信、集体通信、AllReduce、AllGather、梯度分桶、计算与通信重叠、跳过梯度同步
- 分布式预训练流程（前向传递、损失计算、梯度计算、梯度通信、后向传递、优化器更新模型参数、保存模型
- 分布式预训练策略（Batch Size、epoch、损失精度、梯度方法
- 预训练评估技术。
大模型的微调技术
大模型微调技术是增强通用大模型能力，降低幻觉的核心技术，也是构建企业私有大模型两大技术手段之一（RAG、微调），因此需要好好掌握，包含以下几个核心技术：
- 微调方法（LoRA、QLoRA、Prompt Tuning、Prefix Tuning、P-tuning V2 等）
- 高效微调框架（Hugging Face PEFT）
- 数据工程（数据获取、数据清洗、数据结构化、数据存储、数据查询）
- 微调评估技术。
大模型的检索增强技术
大模型检索增强生成技术是增强通用大模型能力，也是降低幻觉的大模型微调技术、同样是构建企业私有大模型两大技术手段之一（RAG、微调），因此需要好好掌握，包含以下几个核心技术：
- RAG 整体架构
- Embedding Model
- 向量数据库
- 数据工程（数据获取、数据清洗、数据结构化、数据存储、数据查询）
- RAG 开发框架（LlamaIndex）
- RAG 增强评估技术
- RAG 增强框架（C-RAG）
大模型的推理技术
大模型推理是在线完成用户 Prompt 请求的技术架构，主要由推理效果和推理速度构成，也是必须要掌握的关键技术之一、主要包含以下几个核心技术：
- 推理优化加速服务化框架（vLLM、TensorRT-LLM、Triton）
- 推理优化技术（PageAttenion、FlashAttention）
大模型的压缩技术
大模型压缩是平衡推理效果和推理成本的主要实施技术，特别是预算有限的中心型公司，大模型的压缩技术就显得更加重要，包含技术如下：
- LLM 训练量化技术（LLM-QAT、QLoRA）、
- LLM 推理量化技术（GPTQ、LLM.int8()、SmoothQuant、AWQ、AutoAWQ、SpQR、ZeroQuant）、
- LLM 结构化剪枝技术（LLM-Pruner）、
- LLM 非结构化剪枝技术（SpareGPT、LoRAPrune、Wanda）、
- LLM 知识蒸馏技术（Standard KD、学生模型、老师模型、EA-based-KD（In-Context Learning 上下文学习、Chain-of-Thought 思维链、Instruction Following 指令跟随））、
- 低秩分解技术（ZeroQuant-FP + 量化、LoRAPrune + 剪枝）。
大模型的应用技术
基于大模型的应用开发是每个 IT 同学都需要掌握的基本技能，这也是构建 AGI 时代新的应用形态 Agent 和产业应用升级的基本条件。主要包含以下几个核心技术：
- 开发框架（LangChain、LlamaIndex、Semantic Kernel）
- 开发架构模式（面向过程架构设计、面向目标架构设计）
- Agent 开发模式（Planing、Action、Observation）
- 向量数据库（Pinecone、Milvus、PgVector、Faiss、Redis、Elasticsearch 等）
- 应用部署硬件（GPU 选型、GPU / CPU 资源评估）
- LLMOps（评估、测试、调试、监控、问题定位等）
大模型的基础设施技术
大模型的基础设施技术是大模型应用运行的基座，非常重要。主要包含以下几个核心技术：
- 大模型加速卡（AI 芯片技术、英伟达 GPU 技术、谷歌 TPU 技术）、
- AI 编译技术、AI 编译优化技术、AI 编译框架（ MLIR、XLA、TVM）、
- LLMOps（Docker、Kubernetes、可观测平台）
- 基础环境安装（英伟达 A800、英伟达 A100、英伟达 H800、昇腾 910/910B 安装）、
- 常用工具
-
Linux 常见命令大全
-
Conda 常用命令大全
-
Poetry 常用命令大全
-
Docker 常用命令大全
-
Docker Dockerfile 指令大全
-
Kubernetes 常用命令大全
-
集群环境 GPU 管理和监控工具 DCGM 常用命令大全
-
本文来自我的《大模型实战宝典》，喜欢欢迎订阅
实践合集：《大模型实战宝典》（2024版）正式发布！
技术交流
前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~
我们建了大模型技术交流群， 想要进交流群、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2040。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。
方式①、微信搜索公众号：机器学习社区，后台回复：技术交流
方式②、添加微信号：mlc2040，备注：技术交流+CSDN
用通俗易懂的方式讲解系列
- 用通俗易懂的方式讲解：不用再找了，这是大模型最全的面试题库
- 用通俗易懂的方式讲解：这是我见过的最适合大模型小白的 PyTorch 中文课程
- 用通俗易懂的方式讲解：一文讲透最热的大模型开发框架 LangChain
- 用通俗易懂的方式讲解：基于 LangChain + ChatGLM搭建知识本地库
- 用通俗易懂的方式讲解：基于大模型的知识问答系统全面总结
- 用通俗易懂的方式讲解：ChatGLM3 基础模型多轮对话微调
- 用通俗易懂的方式讲解：最火的大模型训练框架 DeepSpeed 详解来了
- 用通俗易懂的方式讲解：这应该是最全的大模型训练与微调关键技术梳理
- 用通俗易懂的方式讲解：Stable Diffusion 微调及推理优化实践指南
- 用通俗易懂的方式讲解：大模型训练过程概述
- 用通俗易懂的方式讲解：专补大模型短板的RAG
- 用通俗易懂的方式讲解：大模型LLM Agent在 Text2SQL 应用上的实践
- 用通俗易懂的方式讲解：大模型 LLM RAG在 Text2SQL 上的应用实践
- 用通俗易懂的方式讲解：大模型微调方法总结
- 用通俗易懂的方式讲解：涨知识了，这篇大模型 LangChain 框架与使用示例太棒了
- 用通俗易懂的方式讲解：掌握大模型这些优化技术，优雅地进行大模型的训练和推理！
- 用通俗易懂的方式讲解：九大最热门的开源大模型 Agent 框架来了
这篇关于让天下没有难学的大模型！我整理一份大模型技术知识图谱！的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
