【AI】使用阿里云免费服务器搭建Langchain-Chatchat本地知识库

本文主要是介绍【AI】使用阿里云免费服务器搭建Langchain-Chatchat本地知识库,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

书接上文,由于家境贫寒的原因,导致我本地的GPU资源无法满足搭建Langchain-Chatchat本地知识库的需求,具体可以看一下这篇文章,于是我只能另辟蹊径,考虑一下能不能白嫖一下云服务器资源,于是去找网上找,您还别说,还真有,具体的领取方法可以查看我的这篇文章:【AI】阿里云免费GPU服务资源领取方法。

1.准备工作

1.1进入云服务器

服务器资源准备好之后就可以去做我们的开发任务了,首先在阿里云人工智能PAI控制台打开我们的实例。
在这里插入图片描述
打开之后如下图所示:
在这里插入图片描述

1.2查看服务器磁盘情况,创建本地工作目录

这一步可以省略,只是为了保险起见,我们查看一下磁盘容量及挂载情况,因为模型通常比较大,会比较浪费磁盘资源,我们先查看一下最大的磁盘资源挂载哪个目录下面,可以在那个目录下面操作我们的数据。

在主界面的Terminal页面,输入lsblk查看磁盘挂载情况:
在这里插入图片描述
可以看到我们当前的目录/mnt/workspace是建立在100G的磁盘之上的,可以放心使用。

1.3拉取源码,并安装依赖

拉取源码可以直接使用Git工具,这个镜像中已经安装完成,不需要我们再进行安装了。
我们在工作目录下创建一个文件夹,用于我们的项目,然后再将代码拉去到这个文件夹下面。

mkdir chatchat
cd chatchat
git clone https://github.com/chatchat-space/Langchain-Chatchat.git
# 进入项目内部
cd # 进入目录
cd Langchain-Chatchat
# 安装全部依赖
pip install -r requirements.txt 

1.4下载模型文件

由于我们在服务器上,下载速度不需要担心,我们可以使用git来拉取模型文件。

git lfs install
git clone https://huggingface.co/THUDM/chatglm3-6b
git clone https://huggingface.co/BAAI/bge-large-zh

这里的模型文件位于huggingface,如果不具备魔法上网的能力话,是没有办法拉取下来的,所以我们换成国内镜像魔搭社区

git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
git clone https://www.modelscope.cn/AI-ModelScope/bge-large-zh.git

2.运行模型

2.1 初始化知识库和配置文件

python copy_config_example.py
python init_database.py --recreate-vs

2.2 一键启动

python startup.py -a

等待模型启动
在这里插入图片描述
点击url就可以跳转到我们本地的浏览器,展示知识库对话界面:
在这里插入图片描述

3.本地知识库

3.1 测试sample知识库

模型启动后自动创建了一个测试的知识库,我们可以用来测试一下知识库对话:
左侧侧边栏选择:
在这里插入图片描述
知识库这边默认就是sample知识库
在这里插入图片描述
然后可以在右边的对话框中输入测试的问题了:

在这里插入图片描述

3.2 创建个人知识库

在知识库管理中选择新建知识库:
在这里插入图片描述
填入知识库的名字即可创建完成。
然后上传知识库文档,注意如果上传txt文档时,要注意文档编码是否是utf-8,否则容易出错
在这里插入图片描述
选中下图中的文档,然后点击添加至向量库,然后构建向量,点击依据源文件重建向量库完成知识库创建
在这里插入图片描述
然后就可以进行本地知识库问答了。
测试中使用了ChatGLM3-6B模型和embedding模型bge-large-zh,由于显存问题,又出现了out of memory的问题,看来16g的显存也不足以满足模型运行需求。测试使用int8量化模型:
修改配置文件:
在这里插入图片描述
然后重新运行python startup.py -a,可以正常使用了。问答效果如下:

在这里插入图片描述

这篇关于【AI】使用阿里云免费服务器搭建Langchain-Chatchat本地知识库的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/535671

相关文章

使用Python实现矢量路径的压缩、解压与可视化

《使用Python实现矢量路径的压缩、解压与可视化》在图形设计和Web开发中,矢量路径数据的高效存储与传输至关重要,本文将通过一个Python示例,展示如何将复杂的矢量路径命令序列压缩为JSON格式,... 目录引言核心功能概述1. 路径命令解析2. 路径数据压缩3. 路径数据解压4. 可视化代码实现详解1

Pandas透视表(Pivot Table)的具体使用

《Pandas透视表(PivotTable)的具体使用》透视表用于在数据分析和处理过程中进行数据重塑和汇总,本文就来介绍一下Pandas透视表(PivotTable)的具体使用,感兴趣的可以了解一下... 目录前言什么是透视表?使用步骤1. 引入必要的库2. 读取数据3. 创建透视表4. 查看透视表总结前言

Python 交互式可视化的利器Bokeh的使用

《Python交互式可视化的利器Bokeh的使用》Bokeh是一个专注于Web端交互式数据可视化的Python库,本文主要介绍了Python交互式可视化的利器Bokeh的使用,具有一定的参考价值,感... 目录1. Bokeh 简介1.1 为什么选择 Bokeh1.2 安装与环境配置2. Bokeh 基础2

Android使用ImageView.ScaleType实现图片的缩放与裁剪功能

《Android使用ImageView.ScaleType实现图片的缩放与裁剪功能》ImageView是最常用的控件之一,它用于展示各种类型的图片,为了能够根据需求调整图片的显示效果,Android提... 目录什么是 ImageView.ScaleType?FIT_XYFIT_STARTFIT_CENTE

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

Pandas使用AdaBoost进行分类的实现

《Pandas使用AdaBoost进行分类的实现》Pandas和AdaBoost分类算法,可以高效地进行数据预处理和分类任务,本文主要介绍了Pandas使用AdaBoost进行分类的实现,具有一定的参... 目录什么是 AdaBoost?使用 AdaBoost 的步骤安装必要的库步骤一:数据准备步骤二:模型

使用Pandas进行均值填充的实现

《使用Pandas进行均值填充的实现》缺失数据(NaN值)是一个常见的问题,我们可以通过多种方法来处理缺失数据,其中一种常用的方法是均值填充,本文主要介绍了使用Pandas进行均值填充的实现,感兴趣的... 目录什么是均值填充?为什么选择均值填充?均值填充的步骤实际代码示例总结在数据分析和处理过程中,缺失数

如何使用 Python 读取 Excel 数据

《如何使用Python读取Excel数据》:本文主要介绍使用Python读取Excel数据的详细教程,通过pandas和openpyxl,你可以轻松读取Excel文件,并进行各种数据处理操... 目录使用 python 读取 Excel 数据的详细教程1. 安装必要的依赖2. 读取 Excel 文件3. 读

Go语言开发实现查询IP信息的MCP服务器

《Go语言开发实现查询IP信息的MCP服务器》随着MCP的快速普及和广泛应用,MCP服务器也层出不穷,本文将详细介绍如何在Go语言中使用go-mcp库来开发一个查询IP信息的MCP... 目录前言mcp-ip-geo 服务器目录结构说明查询 IP 信息功能实现工具实现工具管理查询单个 IP 信息工具的实现服

解决Maven项目idea找不到本地仓库jar包问题以及使用mvn install:install-file

《解决Maven项目idea找不到本地仓库jar包问题以及使用mvninstall:install-file》:本文主要介绍解决Maven项目idea找不到本地仓库jar包问题以及使用mvnin... 目录Maven项目idea找不到本地仓库jar包以及使用mvn install:install-file基