【Roadmap to Learn LLM】Intro to Large Language Models

2024-03-22 01:28
文章标签 llm learn models language large intro roadmap

本文主要是介绍【Roadmap to Learn LLM】Intro to Large Language Models，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

by Andrej Karpathy

文章目录

    • 什么是LLM
    • 模型训练
    • 微调阶段
    • llm的发展方向
    • LLM安全
    • 参考资料

什么是LLM

Large Language Model(LLM)就是两个文件，一个是模型参数文件，一个是用于运行模型的代码文件
image.png

模型训练

一个压缩的过程，将所有训练数据压缩到神经网络的权重/参数中。但这个压缩过程又和.zip的压缩不同，.zip的压缩过程可以理解为无损的，而这里神经网络学习到的模型参数相对于原始的训练数据是一个有损压缩过程。因为神经网络模型学习到的只是训练数据的总体形式，单词/语言的分布。
image.png

神经网络在做什么
预测一个给定单词序列的下一个单词
image.png

神经网络是如何工作的
模型参数散布在整个模型中，我们只能通过最后的预测结果来反过来对模型参数进行优化，但并不知道权重参数在神经网络内部的具体相互协调过程。
下面是llm的基本结构Transformer的示意图：
image.png

微调阶段

将预训练过程中互联网上海量的文本替换为一个更小的质量更高的与任务相关的数据集继续进行预测序列下一个单词的训练
image.png

微调数据集的构建
使用manual processed data，或者使用human-machine collaboration构建得到的高质量对话数据集

对比预训练阶段和微调阶段
经过微调阶段，llm从预训练阶段的base-model变成了助手模型chat-model
image.png

第三个阶段的训练
利用从使用者/人工标注者获得的comparison labels对模型微调，即Reinforcement learning from human(RLFH)

llm的发展方向

scaling law
llm的性能可以通过模型参数量和训练数据量进行预测，并且这个规律到现在也没有被打破。这意味着我们可以使用N（模型参数量）和D（训练数据量）来拟合模型性能值。并且这也指明了llm的发展方向仍是larger models
image.png

llm使用tools来获得能力
内置的python解释器、浏览器、计算器

多模态
多模态（视觉、语音）将是llm的重要发展方向

大模型能否思考
引用《思考，快与慢》中对于人脑的思考，llm当前仅具有掌管记忆的System 1，是否有可能让llm进行思考，开启System 2

思维链CoT算作是system 2吗？
image.png

Self-improvement
仅仅使用RLFH，llm是不可能超越人类的，我们怎么样才能寻找到一个足够好的reward函数使得llm能够像alphago一样通过rl进行自我改进提升性能

custom LLMs
通过指令微调、rag等技术，每天都有大量的针对不同需求设计出来的定制llm

LLM OS
将LLM视作一种很新的操作系统的kernel process
image.png

LLM安全

jailbreaks
越狱攻击
举个例子，通过角色扮演，让llm回答有毒问题；同样的内容通过不同的编码方式（base64）实现越狱；可转移后缀型攻击
image.png
image.png

image.png

prompt injection
在人类看不到但llm能够检测到的地方注入prompt进行攻击
image.png

data poisoning
使用有毒的训练文本对llm进行攻击
image.png

参考资料

  1. Youtube视频地址：Intro to Large Language Models

这篇关于【Roadmap to Learn LLM】Intro to Large Language Models的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/834257。

相关文章

论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染：一项综述 文章目录 大规模语言模型的基准数据污染：一项综述摘要1 引言 摘要 大规模语言模型（LLMs），如GPT-4、Claude-3和Gemini的快
阅读更多...
论文翻译：ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

论文翻译：ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS https://openreview.net/forum?id=KS8mIvetg2 验证测试集污染在黑盒语言模型中 文章目录 验证测试集污染在黑盒语言模型中摘要1 引言 摘要 大型语言模型是在大量互联网数据上训练的，这引发了人们的担忧和猜测，即它们可能已
阅读更多...
[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale

[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale

引言 今天带来第一篇量化论文LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale笔记。 为了简单，下文中以翻译的口吻记录，比如替换"作者"为"我们"。 大语言模型已被广泛采用，但推理时需要大量的GPU内存。我们开发了一种Int8矩阵乘法的过程，用于Transformer中的前馈和注意力投影层，这可以将推理所需
阅读更多...
UML- 统一建模语言（Unified Modeling Language）创建项目的序列图及类图

UML- 统一建模语言（Unified Modeling Language）创建项目的序列图及类图

陈科肇 ============= 1.主要模型 在UML系统开发中有三个主要的模型： 功能模型：从用户的角度展示系统的功能，包括用例图。 对象模型：采用对象、属性、操作、关联等概念展示系统的结构和基础，包括类图、对象图、包图。 动态模型：展现系统的内部行为。 包括序列图、活动图、状态图。 因为要创建个人空间项目并不是一个很大的项目，我这里只须关注两种图的创建就可以了，而在开始创建UML图
阅读更多...
LLM系列 | 38：解读阿里开源语音多模态模型Qwen2-Audio

LLM系列 | 38：解读阿里开源语音多模态模型Qwen2-Audio

引言 模型概述 模型架构 训练方法 性能评估 实战演示 总结 引言 金山挂月窥禅径，沙鸟听经恋法门。 小伙伴们好，我是微信公众号《小窗幽记机器学习》的小编：卖铁观音的小男孩，今天这篇小作文主要是介绍阿里巴巴的语音多模态大模型Qwen2-Audio。近日，阿里巴巴Qwen团队发布了最新的大规模音频-语言模型Qwen2-Audio及其技术报告。该模型在音频理解和多模态交互
阅读更多...
速通GPT-3：Language Models are Few-Shot Learners全文解读

速通GPT-3：Language Models are Few-Shot Learners全文解读

文章目录 论文实验总览1. 任务设置与测试策略2. 任务类别3. 关键实验结果4. 数据污染与实验局限性5. 总结与贡献 Abstract1. 概括2. 具体分析3. 摘要全文翻译4. 为什么不需要梯度更新或微调⭐ Introduction1. 概括2. 具体分析3. 进一步分析 Approach1. 概括2. 具体分析3. 进一步分析 Results1. 概括2. 具体分析2.1 语言模型
阅读更多...
Learn ComputeShader 09 Night version lenses

Learn ComputeShader 09 Night version lenses

这次将要制作一个类似夜视仪的效果 第一步就是要降低图像的分辨率， 这只需要将id.xy除上一个数字然后再乘上这个数字 可以根据下图理解，很明显通过这个操作在多个像素显示了相同的颜色，并且很多像素颜色被丢失了，自然就会有降低分辨率的效果 效果： 但是这样图像太锐利了，我们加入噪声去解决这个问题 [numthreads(8, 8, 1)]void CSMain(uint3 id
阅读更多...
高精度打表-Factoring Large Numbers

高精度打表-Factoring Large Numbers

求斐波那契数，不打表的话会超时，打表的话普通的高精度开不出来那么大的数组，不如一个int存8位，特殊处理一下，具体看代码 #include<stdio.h>#include<string.h>#define MAX_SIZE 5005#define LEN 150#define to 100000000/*一个int存8位*/int num[MAX_SIZE][LEN];void
阅读更多...
LLM应用实战: 产业治理多标签分类

LLM应用实战: 产业治理多标签分类

数据介绍 标签体系 产业治理方面的标签体系共计200+个，每个标签共有4个层级，且第3、4层级有标签含义的概括信息。 原始数据 企业官网介绍数据，包括基本介绍、主要产品等 企业专利数据，包括专利名称和专利摘要信息，且专利的数据量大。 LLM选型 经调研，采用Qwen2-72B-Instruct-GPTQ-Int4量化版本，占用显存更少，且效果与非量化相当，
阅读更多...
LLM大模型教程：langchain 教程

LLM大模型教程：langchain 教程

软件安装 pip install pymupdfpip install langchainpip install langchain-cliconda install -c pytorch -c nvidia faiss-gpu=1.7.4 mkl=2021 blas=1.0=mkl 由于langchain不支持qwen模型，我们需要自定义模型 from typing import A
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2