【AI之路】使用RWKV-Runner启动大模型,彻底实现大模型自由

2024-02-14 15:52

本文主要是介绍【AI之路】使用RWKV-Runner启动大模型,彻底实现大模型自由,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 前言
  • 一、RWKV-Runner是什么?
    • RWKV-Runner是一个大语言模型的启动平台
    • RWKV-Runner官方功能介绍
  • 二、使用步骤
    • 1. 下载文件
  • 总结


前言

提示:这里可以添加本文要记录的大概内容:

ChatGPT的横空出世,打开了AI的大门,但是国内访问ChatGPT障碍颇多,那么有没有适合我们国人的大模型呢?答案是肯定的。

在国人的聪明和勤劳下,这些都不是事儿。

今天我们就介绍一款国人开发的AI平台,关键是可以部署在本地,还可以远程访问。最关键的是免费!!!

对于文章、小说的宝宝们简直是福音!


一、RWKV-Runner是什么?

RWKV-Runner是一个大语言模型的启动平台

它会全自动为你处理一切,你只需要一个仅仅几MB的可执行程序。作者充分考虑了使用者的想法,以傻瓜式的方式即可启动该平台。

Gitee 地址:https://gitee.com/josc146/RWKV-Runner
GitHub地址:https://github.com/josStorer/RWKV-Runner

RWKV-Runner官方功能介绍

RWKV模型管理,一键启动
前后端分离,如果你不想使用客户端,也允许单独部署前端服务,或后端推理服务,或具有WebUI的后端推理服务。 简明服务部署示例 | 服务器部署示例
与OpenAI API兼容,一切ChatGPT客户端,都是RWKV客户端。启动模型后,打开 http://127.0.0.1:8000/docs 查看API文档
全自动依赖安装,你只需要一个轻巧的可执行程序
预设多级显存配置,几乎在各种电脑上工作良好。通过配置页面切换Strategy到WebGPU,还可以在AMD,Intel等显卡上运行
自带用户友好的聊天,续写,作曲交互页面。支持聊天预设,附件上传,MIDI硬件输入及音轨编辑。 预览 | MIDI硬件输入
内置WebUI选项,一键启动Web服务,共享硬件资源
易于理解和操作的参数配置,及各类操作引导提示
内置模型转换工具
内置下载管理和远程模型检视
内置一键LoRA微调 (仅限Windows)
也可用作 OpenAI ChatGPT 和 GPT Playground 客户端 (在设置内填写API URL和API Key)
多语言本地化
主题切换
自动更新

二、使用步骤

1. 下载文件

下载懒人包:
https://pan.baidu.com/s/1zdzZ_a0uM3gDqi6pXIZVAA?pwd=1111

将下载后的文件放到:D:\ProgramData\RWKV。这里放到D盘目录是因为运行文件后会自动生成很多文件,而且模型一般比较大,放在C盘容易造成空间问题。

运行后RWKV-Runner_windows_x64.exe后,目录内容生成如下:
在这里插入图片描述
运行后界面如下:
在这里插入图片描述
看到这个界面,是不是很兴奋,别着急。不信你点击“运行”试试。

在这里插入图片描述
哦,原来是没有Python运行环境(虽然本地允许有运行环境,但没有配置前,那都不算数。为方便,也为与其它环境隔离,我们单独建立Python运行环境,这里的版本是3.10),点下载安装Python。

在这里插入图片描述
安装Python,还是不行,纳尼?还去依赖库,是啊,哪个Python不是一堆积木拼出来的。继续点安装。
在这里插入图片描述
会弹出一个cmd命令窗口,可以看到正在下载各种库,这个不用管,让系统自动下载就好,安装完第三方库,窗口会自动关闭。
在这里插入图片描述
再次点击运行,又提示模型文件不存在!对头,这里虽然选择了默认的模型:GPU-2G-1B5-World,但模型文件我们并没有下载。

这里我们切换到“模型”页面,国内下载记着勾选“使用Hugging Face镜像源”,这样下载会快一些。
在这里插入图片描述

注:如果觉得这个下载也慢,也可以借用笔者的终极大法,参见之前文章进行下载。
【AI之路】使用huggingface_hub通过huggingface镜像站hf-mirror.com下载大模型(附代码,实现大模型自由)
在这里插入图片描述
下载完大模型,再次点击运行,又报错。因为笔者这里没有使用英伟达的GPU,所以自然没有NVIDIA驱动,也没有CUDA可以进行加速,那就不能玩了吗?其实还是可以的。按如下修改即可。
在这里插入图片描述
进入配置页面,选择刚才下载的模型,将Strategy切换为CPU即可,如下图:
在这里插入图片描述
切换后,还需要对模型进行转化才可以使用。默认精度int8,选择fp16,之后转换为GGML格式。在models目录就会看到除了刚才下载的模型,又多了一个带fp16的bin文件。
在这里插入图片描述
再次返回主界面,进入聊天,即可开启对话模式。如下:

在这里插入图片描述
在下面的对话框输入消息,并点击右侧的向上箭头发送给大模型,就可以看到大模型已经开始运行,并反馈结果了。

另外,这里我们可以调节右侧的参数,调整大模型的生成效果。这个UI作者也是非常用心的。把鼠标放在参数上就会显示参数的功用。
参数“最大响应Token”最重要,决定了一次对话生成内容的长度。可根据自己需要修改。GPU的话,可以放到最大,CPU放到最大就看你的CPU性能了。


总结

通过以上安装测试,终于完成RWKV大模型的加载,这样我们就可以随心所欲的生成需要的内容了。再也不用操心token不够用的问题了。不过大模型还是需要调教的,在电脑性能、大模型产能和效果之间取一个平衡才是最好。

另外,细心的小伙伴已经发现,这个大模型启动平台还有个web访问地址:http://127.0.0.1:8000/#/。我们直接打开地址可以看到如客户端 一般模样的UI。甚至还可以通过其它平台,使用这个界面调用。如果加上ddns还可以实现远程的访问。此为后话,有需要的小伙伴可以自行研究。

这篇关于【AI之路】使用RWKV-Runner启动大模型,彻底实现大模型自由的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/708943

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件

从去中心化到智能化:Web3如何与AI共同塑造数字生态

在数字时代的演进中,Web3和人工智能(AI)正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术,正相互交织,共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界,并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展,它基于去中心化的区块链技术,旨在创建一个开放、透明且用户主导的数字生态。不同于传统

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人,是不是经常需要制作各种PPT来分享我的生活和想法。但是,你们知道,有时候灵感来了,时间却不够用了!😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手!🌟 什么是Kimi? 一款月之暗面科技有限公司开发的AI办公工具,帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师,Kimi都能够为你的办公文