【AI基础】第六步:纯天然保姆喂饭级-安装并运行qwen2-7b

2024-06-15 04:04

本文主要是介绍【AI基础】第六步:纯天然保姆喂饭级-安装并运行qwen2-7b,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

整体步骤类似于 【AI基础】第五步:纯天然保姆喂饭级-安装并运行chatglm3-6b-CSDN博客。

此系列文章列表:

【AI基础】概览

【AI基础】第一步:安装python开发环境-windows篇_下载安装ai环境python

【AI基础】第一步:安装python开发环境-conda篇_minicode怎么换虚拟环境

【AI基础】第二步:安装AI运行环境

【AI基础】第三步:纯天然保姆喂饭级-安装并运行chatglm2-6b

【AI基础】第四步:保姆喂饭级-langchain+chatglm2-6b

【AI基础】第五步:纯天然保姆喂饭级-安装并运行chatglm3-6b

【AI基础】第六步:纯天然保姆喂饭级-安装并运行qwen2-7b

一、安装miniconda

参考 【AI基础】第一步:安装python开发环境-conda篇_minicode怎么换虚拟环境-CSDN博客

二、安装CUDA、cuDNN和pyTorch

参考 【AI基础】第二步:安装AI运行环境-CSDN博客

> pip install protobuf transformers==4.40.0 cpm_kernels torch>=2.3.0 sentencepiece accelerate

三、安装部署qwen2-7b

3.1 创建环境

> conda create --name qwen2 python=3.11
> conda activate qwen2
> git clone https://github.com/QwenLM/Qwen2
> cd qwen2

3.2 安装依赖

安装gradio模块,会在后续web示例中用到:

> pip install gradio -i https://pypi.tuna.tsinghua.edu.cn/simple/
  • -i https://pypi.tuna.tsinghua.edu.cn/simple/,使用清华源,避免从官方下载造成速度慢。

3.3 下载大模型文件

3.3.1 HuggingFace下载

下载地址:https://huggingface.co/Qwen/Qwen2-7B

3.3.2 国内下载

综合镜像站:

  • 魔搭modelscope:​​​​​​​Qwen2-7B 模型库-魔搭社区
  • AI快站:​​​​​​​Qwen2-7B - AI快站 - HuggingFace模型免费加速下载 
  • HuggingFace镜像站:​​​​​​​Qwen/Qwen2-7B - HuggingFace镜像站

3.3.3 下载完成

下载到本地的默认下载地址,文件结构如图(图中文件,一个都不能少):

 

3.4 运行代码

examples文件夹下有多个示例,这里运行web示例。

先指定大模型所在路径为 DEFAULT_CKPT_PATH='c:\\ai\\llms\\qwen2-7b',并且移除仅CPU运行参数(如上图),最后运行命令:

> python .\examples\demo\web_demo.py

运行完成后,打开浏览器访问 http://127.0.0.1:8000:

运行成功。 

这篇关于【AI基础】第六步:纯天然保姆喂饭级-安装并运行qwen2-7b的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1062376

相关文章

Linux系统中卸载与安装JDK的详细教程

《Linux系统中卸载与安装JDK的详细教程》本文详细介绍了如何在Linux系统中通过Xshell和Xftp工具连接与传输文件,然后进行JDK的安装与卸载,安装步骤包括连接Linux、传输JDK安装包... 目录1、卸载1.1 linux删除自带的JDK1.2 Linux上卸载自己安装的JDK2、安装2.1

Linux卸载自带jdk并安装新jdk版本的图文教程

《Linux卸载自带jdk并安装新jdk版本的图文教程》在Linux系统中,有时需要卸载预装的OpenJDK并安装特定版本的JDK,例如JDK1.8,所以本文给大家详细介绍了Linux卸载自带jdk并... 目录Ⅰ、卸载自带jdkⅡ、安装新版jdkⅠ、卸载自带jdk1、输入命令查看旧jdkrpm -qa

MySQL Workbench 安装教程(保姆级)

《MySQLWorkbench安装教程(保姆级)》MySQLWorkbench是一款强大的数据库设计和管理工具,本文主要介绍了MySQLWorkbench安装教程,文中通过图文介绍的非常详细,对大... 目录前言:详细步骤:一、检查安装的数据库版本二、在官网下载对应的mysql Workbench版本,要是

C#基础之委托详解(Delegate)

《C#基础之委托详解(Delegate)》:本文主要介绍C#基础之委托(Delegate),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 委托定义2. 委托实例化3. 多播委托(Multicast Delegates)4. 委托的用途事件处理回调函数LINQ

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Linux安装MySQL的教程

《Linux安装MySQL的教程》:本文主要介绍Linux安装MySQL的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux安装mysql1.Mysql官网2.我的存放路径3.解压mysql文件到当前目录4.重命名一下5.创建mysql用户组和用户并修

pip无法安装osgeo失败的问题解决

《pip无法安装osgeo失败的问题解决》本文主要介绍了pip无法安装osgeo失败的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 进入官方提供的扩展包下载网站寻找版本适配的whl文件注意:要选择cp(python版本)和你py

Java终止正在运行的线程的三种方法

《Java终止正在运行的线程的三种方法》停止一个线程意味着在任务处理完任务之前停掉正在做的操作,也就是放弃当前的操作,停止一个线程可以用Thread.stop()方法,但最好不要用它,本文给大家介绍了... 目录前言1. 停止不了的线程2. 判断线程是否停止状态3. 能停止的线程–异常法4. 在沉睡中停止5

Android App安装列表获取方法(实践方案)

《AndroidApp安装列表获取方法(实践方案)》文章介绍了Android11及以上版本获取应用列表的方案调整,包括权限配置、白名单配置和action配置三种方式,并提供了相应的Java和Kotl... 目录前言实现方案         方案概述一、 androidManifest 三种配置方式

Spring AI ectorStore的使用流程

《SpringAIectorStore的使用流程》SpringAI中的VectorStore是一种用于存储和检索高维向量数据的数据库或存储解决方案,它在AI应用中发挥着至关重要的作用,本文给大家介... 目录一、VectorStore的基本概念二、VectorStore的核心接口三、VectorStore的