本文主要是介绍ubuntu从零部署baichuan2大模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
目录
一、百川2(Baichuan 2)模型介绍
二、资源需求
三、安装部署
本文从实战过程中整理一份从零开始的搭建开源大模型的部署文档,供大家学习交流。
部署大模型版本为baichuan2-13B chat,如果需要量化可下载量化版本 。
一、百川2(Baichuan 2)模型介绍
首先先简单介绍一下百川推出的两款开源模型:Baichuan2-13B 和 Baichuan2-7B
Baichuan 2 是百川智能推出的新一代开源大语言模型,采用 2.6 万亿 Tokens 的高质量语料训练。并且在多个权威的中文、英文和多语言的通用领域 benchmark 上取得同尺寸最佳效果。这次发布包含有 7B、13B 的 Base 和 Chat 版本,而且提供了 Chat 版本的 4bits 量化。
以上两个模型都是在Hugging Face、GitHub和Model Scope平台上发布的,你可以在这些平台上找到更多的信息和下载模型。
所有版本对学术研究完全开放。同时,开发者通过邮件申请并获得官方商用许可后,即可免费商用
Baichuan2-13B
- 模型规模:Baichuan2-13B模型包含130亿参数。
- 特点:
- Baichuan-13B在 Baichuan-7B 的基础上进一步扩大参数量到 130 亿,具有更大的参数规模,它可以捕捉到更多的信息和细节。
- Baichuan2-13B在多项经典的NLP任务中取得了世界领先的效果,尤其是在零样本任务中表现突出,具有更强的泛化能力和适应性,它可以在不经过特定任务训练的情况下,直接处理新的语言任务。
- 为了满足用户不同的部署需求,百川还提供了Chat版本的4bits量化模型。
Baichuan2-7B
- 模型规模:Baichuan2-7B模型包含70亿参数。
- 特点:
- 虽然比13B小,但仍然是一个大型模型,拥有70亿参数。
- 与13B模型类似,7B模型也提供了Base和Chat两个版本。
- 在中文 C-EVAL 的评测中,baichuan-7B 的综合评分达到了 42.8 分,超过了 ChatGLM-6B 的 38.9 分,甚至比某些参数规模更大的模型还要出色。
二、资源需求
模型文件类型
7B模型,又分为基座,对齐,对齐的4bits量化模型3个子类型。
13B模型,又分为基座,对齐,对齐的4bits量化模型3个子类型。
一共6种类型,可根据自身情况选择。
推理的GPU资源要求
这篇关于ubuntu从零部署baichuan2大模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!