仅用61行代码，你也能从零训练大模型

2023-10-10 04:12
文章标签 代码 训练 模型 仅用 61

本文主要是介绍仅用61行代码，你也能从零训练大模型，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

本文并非基于微调训练模型，而是从头开始训练出一个全新的大语言模型的硬核教程。看完本篇，你将了解训练出一个大模型的环境准备、数据准备，生成分词，模型训练、测试模型等环节分别需要做什么。AI 小白友好~文中代码可以直接实操运行。

通过这篇文章，你可以预训练一个全新大语言模型。注意是全新的模型，不是微调。

全新训练的好处是训练的数据、训练的参数都是可修改的，通过调试运行我们可以更好的理解大模型训练过程。我们可以用特定类型数据的训练，来完成特定类型数据的输出。

技术交流

技术要学会分享、交流，不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。

相关资料、数据、技术交流提升，均可加我们的交流群获取，群友已超过2000人，添加时最好的备注方式为：来源+兴趣方向，方便找到志同道合的朋友。

方式①、添加微信号：mlc2060，备注：来自CSDN + 技术交流
方式②、微信搜索公众号：机器学习社区，后台回复：加群

关于大模型已经有很多文章，微调模型的文章比较多，全新预训练全新模型的文章很少。个人觉得有的也讲的很复杂，代码也很难跑通。本文不会讲的很复杂，代码也很容易运行。仅用61行代码，就能训练出一个全新大语言模型。

图片

本文以代码为主，运行代码需要 Python 环境。

01 准备训练环境

我的训练环境基于腾讯云的 GPU 机器。

地址：https://cloud.tencent.com/product/gpu

  • GPU类型：GN7.2XLARGE32 T4 显卡：1颗 显存：16GB；
  • python 3.11；
  • requirements.txt: 
tokenizers==0.13.3
torch==2.0.1
transformers==4.30.

‍

02 准备训练数据

首先我们要为训练准备数据，比如我就想基于《三国演义》训练一个模型。三国演义下载地址：

https://raw.githubusercontent.com/xinzhanguo/hellollm/main/text/sanguoyanyi.txt

图片

03 训练分词器

分词（tokenization）是把输入文本切分成有意义的子单元（tokens）。通过以下代码，根据我们的数据生成一个新的分词器：

from tokenizers import Tokenizer
from tokenizers.models import BPE
from tokenizers.trainers import BpeTrainer
from tokenizers.normalizers import NFKC, Sequence
from tokenizers.pre_tokenizers import ByteLevel
from tokenizers.decoders import ByteLevel as ByteLevelDecoder
from transformers import GPT2TokenizerFast# 构建分词器 GPT2 基于 BPE 算法实现
tokenizer = Tokenizer(BPE(unk_token="<unk>"))
tokenizer.normalizer = Sequence([NFKC()])
tokenizer.pre_tokenizer = ByteLevel()
tokenizer.decoder = ByteLevelDecoder()special_tokens = ["<s>","<pad>","</s>","<unk>","<mask>"]
trainer = BpeTrainer(vocab_size=50000, show_progress=True, inital_alphabet=ByteLevel.alphabet(), special_tokens=special_tokens)
# 创建 text 文件夹，并把 sanguoyanyi.txt 下载，放到目录里
files = ["text/sanguoyanyi.txt"]
# 开始训练了
tokenizer.train(files, trainer)
# 把训练的分词通过GPT2保存起来，以方便后续使用
newtokenizer = GPT2TokenizerFast(tokenizer_object=tokenizer)
newtokenizer.save_pretrained("./sanguo")

运行时显示如下图：

图片

成功运行代码后，我们在 sanguo 目录生成如下文件：

merges.txt
special_tokens_map.json
tokenizer.json
tokenizer_config.json
vocab.json

现在我们已经成功训练了一个大语言模型的分词器。

04 训练模型

利用下面代码进行模型训练：

from transformers import GPT2Config, GPT2LMHeadModel, GPT2Tokenizer
# 加载分词器
tokenizer = GPT2Tokenizer.from_pretrained("./sanguo")
tokenizer.add_special_tokens({"eos_token": "</s>","bos_token": "<s>","unk_token": "<unk>","pad_token": "<pad>","mask_token": "<mask>"
})
# 配置GPT2模型参数
config = GPT2Config(vocab_size=tokenizer.vocab_size,bos_token_id=tokenizer.bos_token_id,eos_token_id=tokenizer.eos_token_id
)
# 创建模型
model = GPT2LMHeadModel(config)
# 训练数据我们用按行分割
from transformers import LineByLineTextDataset
dataset = LineByLineTextDataset(tokenizer=tokenizer,file_path="./text/sanguoyanyi.txt",block_size=32,# 如果训练时你的显存不够# 可以适当调小 block_size
)
from transformers import DataCollatorForLanguageModeling
data_collator = DataCollatorForLanguageModeling(tokenizer=tokenizer, mlm=False, mlm_probability=0.15
)from transformers import Trainer, TrainingArguments
# 配置训练参数
training_args = TrainingArguments(output_dir="./output",overwrite_output_dir=True,num_train_epochs=20,per_gpu_train_batch_size=16,save_steps=2000,save_total_limit=2,
)
trainer = Trainer(model=model,args=training_args,data_collator=data_collator,train_dataset=dataset,
)
trainer.train()
# 保存模型
model.save_pretrained('./sanguo')

运行比较耗时，显示训练数据如下图：

图片

成功运行代码，我们发现 sanguo 目录下面多了三个文件：

config.json
generation_config.json
pytorch_model.bin

现在我们就成功生成训练出基于《三国演义》的一个大语言模型。

05 测试模型

我们用文本生成，对模型进行测试代码如下：

from transformers import pipeline, set_seed
generator = pipeline('text-generation', model='./sanguo')
set_seed(42)
txt = generator("吕布", max_length=10)
print(txt)

运行显示模型输出了三国相关的文本：“吕布十二回 张翼德 张翼德时曹操 武侯计计计”

图片

再测试一条：

txt = generator("接着奏乐", max_length=10)
print(txt)

“接着奏乐\u3000却说曹操引军因二人”

图片

这内容不忍直视，如果想优化，我们也可以基于全新的模型进行微调训练；我们也可以适当地调整下训练参数，以达到较好的效果。

06 完整代码

以下是完整代码，代码地址：

https://github.com/xinzhanguo/hellollm/blob/main/sanguo.py

linux 中运行方法：

# 创建环境
python3 -m venv ~/.env
# 加载环境
source ~/.env/bin/activate
# 下载代码
git clone git@github.com:xinzhanguo/hellollm.git
cd hellollm
# 安装依赖
pip install -r requirements.txt
# 运行代码
python sanguo.py

以上我们就完成一个全新的模型训练。代码去除注释空行总共61行。

本文代码模型是基于 GPT2 的，当然你也可以基于 LLama 或者 Bert 等模型去实现全新的大语言模型。

代码虽然不是很多，但是如果初次尝试运行的话你也许会遇到很多问题，比如环境搭建。为了避免其他烦恼，我建议用 docker 方式运行代码:

# 下载代码
git clone git@github.com:xinzhanguo/hellollm.git
cd hellollm
# 编译镜像
docker build -t hellollm:beta .
# 可以选择以GPU方式运行
# docker run -it --gpus all hellollm:beta sh
docker run -it hellollm:beta sh
python sanguo.py

更多代码可以参考：Hello LLM!

https://github.com/xinzhanguo/hellollm

以上就是本篇文章的全部内容，欢迎转发分享。

这篇关于仅用61行代码，你也能从零训练大模型的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/177870。

相关文章

大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人，AI大神Andrej Karpathy，曾是OpenAI联合创始人之一，特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ，宣布将长期致力于AI原生教育。 近日，Andrej Karpathy接受了No Priors（投资博客）的采访，与硅谷知名投资人 Sara Guo 和 Elad G
阅读更多...
活用c4d官方开发文档查询代码

活用c4d官方开发文档查询代码

当你问AI助手比如豆包，如何用python禁止掉xpresso标签时候，它会提示到 这时候要用到两个东西。https://developers.maxon.net/论坛搜索和开发文档 比如这里我就在官方找到正确的id描述 然后我就把参数标签换过来
阅读更多...
Retrieval-based-Voice-Conversion-WebUI模型构建指南

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI（简称 RVC）模型是一个基于 VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）的简单易用的语音转换框架。 具有以下特点 简单易用：RVC 模型通过简单易用的网页界面，使得用户无需深入了
阅读更多...
poj 1258 Agri-Net（最小生成树模板代码）

poj 1258 Agri-Net（最小生成树模板代码）

感觉用这题来当模板更适合。 题意就是给你邻接矩阵求最小生成树啦。~ prim代码：效率很高。172k...0ms。 #include<stdio.h>#include<algorithm>using namespace std;const int MaxN = 101;const int INF = 0x3f3f3f3f;int g[MaxN][MaxN];int n
阅读更多...
透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

引言 随着时间的发展，大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用，随着人们期望的不断增加，目标也发生了巨大的变化。在短短的几个月的时间里，人们对大模型的认识已经从对其zero-shot能力感到惊讶，转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构（例如Transformer）对海量的、多种多样的数据分布进行建模得到，它包含了大量的先验
阅读更多...
图神经网络模型介绍（1）

图神经网络模型介绍（1）

我们将图神经网络分为基于谱域的模型和基于空域的模型，并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络：谱图卷积网络、切比雪夫网络和图卷积网络。 （1）谱图卷积网络 卷积定理：函数卷积的傅里叶变换是函数傅里叶变换的乘积，即F{f*g}
阅读更多...
秋招最新大模型算法面试，熬夜都要肝完它

秋招最新大模型算法面试，熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候，不知道面试完会不会复盘、总结，做笔记的习惯，这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助，都附有完整答案，熬夜也要看完，祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN，还有完整版的大模型 AI 学习资料，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
阅读更多...
【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入（Embedding）方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节：嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”，它将文本中的单词或短语转换成计算机能够理解的数学形式，即向量。 正如翻译机将一种语言
阅读更多...
AI Toolkit + H100 GPU，一小时内微调最新热门文生图模型 FLUX

AI Toolkit + H100 GPU，一小时内微调最新热门文生图模型 FLUX

上个月，FLUX 席卷了互联网，这并非没有原因。他们声称优于 DALLE 3、Ideogram 和 Stable Diffusion 3 等模型，而这一点已被证明是有依据的。随着越来越多的流行图像生成工具（如 Stable Diffusion Web UI Forge 和 ComyUI）开始支持这些模型，FLUX 在 Stable Diffusion 领域的扩展将会持续下去。 自 FLU
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2