Llama2通过llama.cpp模型量化 WindowsLinux本地部署

2023-11-11 15:04
文章标签 部署 模型 量化 本地 llama cpp llama2 windowslinux

本文主要是介绍Llama2通过llama.cpp模型量化 WindowsLinux本地部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Llama2通过llama.cpp模型量化 Windows&Linux本地部署

什么是LLaMA 1 and 2

LLaMA，它是一组基础语言模型，参数范围从7B到65B。在数万亿的tokens上训练的模型，并表明可以专门使用公开可用的数据集来训练最先进的模型，而无需求助于专有和不可访问的数据集。特别是，LLaMA-13B在大多数基准测试中都优于GPT-3（175B），并且LLaMA65B与最好的型号Chinchilla-70B和PaLM-540B具有竞争力。

Meta 出品的 Llama 续作 Llama2，一系列模型（7b、13b、70b）均开源可商用。Llama2 在各个榜单上精度全面超过 Llama1，同时也超过此前所有开源模型。

但是对于本机部署大模型，LLaMA要求相对于还是偏高，因此本次使用开源方案llama.cpp进行模型量化，在Windows平台进行CPU量化版本测试，Linux平台进行GPU量化版本测试。

注：以下所有下载步骤均需要科学上网，否则会很折磨。

实验设备详情（供参考）

Windows平台

为笔记本平台，拯救者Y9000P

  • CPU: 13th Intel i9-13900HX × \times × 1
  • GPU: NVIDIA GeForce RTX4060 (8GB) × \times × 1
  • 内存: 32GB

运行情况：CPU流畅运行llama2-13B-chat 8Bit量化版本，卡顿运行16Bit量化版本。GPU版本加速超级快，相当于文心一言或者Chatgpt的生成速度。

运行情况：
在这里插入图片描述
在这里插入图片描述

Linux平台

实验室服务器

  • COU: 9th Intel® Core™ i9-9940X CPU @ 3.30GHz × \times × 14
  • GPU: NVIDIA GeForce RTX2080Ti (11GB) × \times × 4
  • 内存: 64GB

运行情况：13B和7B都运行十分流程，但70B的不知道为啥突然下载不了了，没法测试。

模型部署详细步骤

下载并配置llama库

  • 下载llama

    git clone https://github.com/facebookresearch/llama.git

  • 配置环境

    创建虚拟环境，防止之前其他环境安装的包导致的冲突

    conda create -n llama python=3.10

    进入虚拟环境

    conda activate llama

    进入工程目录

    cd llama

    安装环境依赖

    pip install -e .

  • 申请模型下载链接

    进入该链接：Mete website申请下载模型，内容如实填写，为了尽快通过，可以填写美国机构和学校，应该会快一些，当时没敢试国内的，怕被拒（被OpenAI搞怕了）

    之后会来如下邮件，复制马赛克部分的网址：
    在这里插入图片描述

  • 下载模型

    • Windows平台

      sh download.sh

    • Linux平台

      bash download.sh

    之后跟着流程将之前复制的链接粘贴进入即可，然后选择需要下载的模型，关于模型的区别可以自行Bing，chat版本的这里更加推荐，参数量方面7B的一般大部分设备都可以跑，我使用13B版本的也可以正常运行，根据个人所需进行选择。

    • 注：Windows平台在下载的时候，可能会面临wget: command not found错误，跟下述链接进行即可

      关于在Windows10环境下运行.sh文件报错 wget: command not found的解决办法

下载并配置llama.cpp库

  • 下载llama.cpp

    git clone https://github.com/ggerganov/llama.cpp.git

    cd llama.cpp

  • 编译 Build

    • Linux平台

      直接进入工程目录make即可：

      make

      我在autodl服务器和实验室服务器实测都没有问题

    • Windows平台

      Windows平台需要安装cmake和gcc，这个我本机此前有安装好，如果有没有安装的请自行百度安装

      编译：

      mkdir build

      cd build

      cmake ..

      cmake --build . --config Release

  • CUDA加速版编译，添加一部分指令即可

    • Linux平台

      make LLAMA_CUBLAS=1

    • Windows平台

      mkdir build
cd build
cmake .. -DLLAMA_CUBLAS=ON
cmake --build . --config Release

模型量化

  • 准备数据

    将llama中下载好的数据 (llama-2-7B-chat) 拷贝到llama.cpp中的./models中，同时将llama主目录中的tokenizer_checklist.chk和tokenizer.model也复制到./models中。

    参考以下：

    G:.
│  .editorconfig
│  ggml-vocab-aquila.gguf
│  ggml-vocab-baichuan.gguf
│  ggml-vocab-falcon.gguf
│  ggml-vocab-gpt-neox.gguf
│  ggml-vocab-llama.gguf
│  ggml-vocab-mpt.gguf
│  ggml-vocab-refact.gguf
│  ggml-vocab-starcoder.gguf
│  tokenizer.model
│  tokenizer_checklist.chk
│
└─13Bchecklist.chkconsolidated.00.pthconsolidated.01.pthparams.json

  • 进行量化

    进入虚拟环境，安装依赖

    cd llama.cpp

    conda activate llama

    安装依赖

    pip install -r requirements.txt

    进行16Bit转换

    python convert.py models/13B/

    这一步如果报错。修改./models/(模型存放文件夹)/params.json
    将最后"vocab_size":中的值改为32000即可

    • Linux 4 or 8 bit量化

      ./quantize ./models/7B/ggml-model-f16.gguf ./models/7B/ggml-model-q4_0.gguf q4_0

      路径根据自己的路径进行调整，如果进行8bit量化，将命令中的q4_0改为q8_0:

      ./quantize ./models/7B/ggml-model-f16.gguf ./models/7B/ggml-model-q8_0.gguf q8_0

      8bit肯定比4bit好，但根据设备情况量力而行

    • Windows 4 or 8 bit量化

      .\build\bin\Release\quantize.exe .\models\13B\ggml-model-f16.gguf .\models\13B\7B\ggml-model-q4_0.gguf q4_0

      更改bit也参考上述

加载并启动模型

CPU版本

  • Windows平台

    .\build\bin\Release\main.exe -m .\models\13B\ggml-model-q4_0.gguf  -n 256 -t 18 --repeat_penalty 1.0 --color -i -r "User:" -f .\prompts\chat-with-bob.txt

  • Linux平台

    ./main -m ./models/13B/ggml-model-q8_0.gguf  -n 256 -t 18 --repeat_penalty 1.0 --color -i -r "User:" -f .\prompts\chat-with-bob.txt

GPU加速

只需在命令中加上加上-ngl 1

其中可以对数量进行修改，最大为35，我在4060上实测20达到最佳

  • Windows平台

    .\build\bin\Release\main.exe -m .\models\13B\ggml-model-q4_0.gguf  -n 256 -t 18 --repeat_penalty 1.0 --color -i -r "User:" -f .\prompts\chat-with-bob.txt -ngl 20

  • Linux平台

    ./main -m ./models/13B/ggml-model-q8_0.gguf  -n 256 -t 18 --repeat_penalty 1.0 --color -i -r "User:" -f ./prompts/chat-with-bob.txt -ngl 20

在提示符 > 之后输入你的prompt，cmd/ctrl+c中断输出，多行信息以\作为行尾。如需查看帮助和参数说明，请执行./main -h命令。下面介绍一些常用的参数：

-c 控制上下文的长度，值越大越能参考更长的对话历史（默认：512）
-ins 启动类ChatGPT对话交流的instruction运行模式
-f 指定prompt模板，alpaca模型请加载prompts/alpaca.txt
-n 控制回复生成的最大长度（默认：128）
-b 控制batch size（默认：8），可适当增加
-t 控制线程数量（默认：4），可适当增加
--repeat_penalty 控制生成回复中对重复文本的惩罚力度
--temp 温度系数，值越低回复的随机性越小，反之越大
--top_p, top_k 控制解码采样的相关参数

具体信息参考：https://github.com/ggerganov/llama.cpp/tree/master/examples/main

这篇关于Llama2通过llama.cpp模型量化 WindowsLinux本地部署的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/390905。

相关文章

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言，在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况，这使得“存储焦虑”不再是个别现象，而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得，我们似乎正处在互联网信息飞速增长的阶段，对于存储的需求也将会不断扩大。对于苹果用户而言，这一问题愈发严峻，毕竟512GB和1TB版本的iPhone可不是人人都消费得起的，因此成熟的外置存储方案开
阅读更多...
大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人，AI大神Andrej Karpathy，曾是OpenAI联合创始人之一，特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ，宣布将长期致力于AI原生教育。 近日，Andrej Karpathy接受了No Priors（投资博客）的采访，与硅谷知名投资人 Sara Guo 和 Elad G
阅读更多...
阿里开源语音识别SenseVoiceWindows环境部署

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推
阅读更多...
Retrieval-based-Voice-Conversion-WebUI模型构建指南

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI（简称 RVC）模型是一个基于 VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）的简单易用的语音转换框架。 具有以下特点 简单易用：RVC 模型通过简单易用的网页界面，使得用户无需深入了
阅读更多...
透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

引言 随着时间的发展，大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用，随着人们期望的不断增加，目标也发生了巨大的变化。在短短的几个月的时间里，人们对大模型的认识已经从对其zero-shot能力感到惊讶，转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构（例如Transformer）对海量的、多种多样的数据分布进行建模得到，它包含了大量的先验
阅读更多...
图神经网络模型介绍（1）

图神经网络模型介绍（1）

我们将图神经网络分为基于谱域的模型和基于空域的模型，并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络：谱图卷积网络、切比雪夫网络和图卷积网络。 （1）谱图卷积网络 卷积定理：函数卷积的傅里叶变换是函数傅里叶变换的乘积，即F{f*g}
阅读更多...
秋招最新大模型算法面试，熬夜都要肝完它

秋招最新大模型算法面试，熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候，不知道面试完会不会复盘、总结，做笔记的习惯，这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助，都附有完整答案，熬夜也要看完，祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN，还有完整版的大模型 AI 学习资料，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
阅读更多...
【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入（Embedding）方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节：嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”，它将文本中的单词或短语转换成计算机能够理解的数学形式，即向量。 正如翻译机将一种语言
阅读更多...
AI Toolkit + H100 GPU，一小时内微调最新热门文生图模型 FLUX

AI Toolkit + H100 GPU，一小时内微调最新热门文生图模型 FLUX

上个月，FLUX 席卷了互联网，这并非没有原因。他们声称优于 DALLE 3、Ideogram 和 Stable Diffusion 3 等模型，而这一点已被证明是有依据的。随着越来越多的流行图像生成工具（如 Stable Diffusion Web UI Forge 和 ComyUI）开始支持这些模型，FLUX 在 Stable Diffusion 领域的扩展将会持续下去。 自 FLU
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2