备忘: 踩坑linux环境部署轻量化的Langchain-Chatchat集成通义千问

本文主要是介绍备忘: 踩坑linux环境部署轻量化的Langchain-Chatchat集成通义千问,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

看了许多材料,为了利用大模型构建以对话方式驱动的本地应用程序需要使用LangChain-chatchat,其基本介绍参考Langchain-Chatchat项目

通过查询资料,查到win上安装流程使用免费的通义千问 api 最轻量化部署Langchain-Chatchat,原以为在信创Linux系统上非常简单,但实践下来一堆坑,记录备忘吧…

需要解决几个问题
1 什么是轻量化部署
我理解是就是仅利用远程大模型,而不是调用本地大模型,根据这个思路,并检查requirement_x系列文件的实际依赖,如果需要轻量化部署需要安装
pip install -r requirements_lite.txt (全量安装则需要安装 pip install -r requirements.txt)
pip install -r requirements_api.txt
pip install -r requirements_webui.txt

1* 因为安装的过程中涉及多个较大安装包,可能会把空间不够,例如报错“No space left on device”,这是临时文件夹太小了,可以尝试自定义临时文件夹
pip install -b $HOME/AI/tmp -r requirements_lite.txt

2 关于linux适配,把requirement_x系列文件中,把python-magic-bin; sys_platform == 'win32’这行去掉,因为这仅仅是适配Win系统的选项


unstructured[all-docs] # ==0.11.8
# python-magic-bin; sys_platform == 'win32'   这行去掉
SQLAlchemy==2.0.25

3 执行python 中文报错的问题
如果按python startup.py -a --lite 执行,回报一个中文乱码的错 “… /xe3 …” 代码中中文不是用ascII编码,单个python文件很简单,每个文件头部加上 #coding=utf8就行,但是这里涉及到一连串文件,因此改为 python3 startup.py -a --lite python3会自动按uft8解释执行

4 关于sqlite3的依赖问题,
在启动时,因涉及SQLAlchemy==2.0.25,要用到sqlite3数据库,虽然大部分linux操作系统都安装了sqlite3,但python3不一定能调用,主要是缺少相关的so文件,需要安装sqlite3开发库ibsqlite3-dev。用root用户安装
sudo apt-get install libsqlite3-dev
安装成功后
找到 $HOME/python/python3.10.6/setup.py文件
然后核对该文件,以下sqlite include path是否包含了sqlite3ext.h sqlite3.h 头文件,我在下面加黑的目录里找到
sqlite_inc_paths = [ ‘/usr/include’,
‘/usr/include/sqlite’,
‘/usr/include/sqlite3’,
‘/usr/local/include’,
‘/usr/local/include/sqlite’,
‘/usr/local/include/sqlite3’,
]

然后按下列步骤重新编译
cd $HOME/python/python3.10.6/
make clean
./configure
make && make install

如果发现权限不够

sudo make clean
./configure
sudo make && sudo make install

编译成功后,在当前目录下用 find . -name _sqlite3.cpython-310-x86_64-linux-gnu.so 可以找到这个so
然后把这个so复制到python lib目录/usr/local/lib/python3.10/lib-dynload/的目录下

5 最新的langchain-chatchat已经继承了qwen 文言一心等模型配置
配置相应的 api-key即可

启动python3 startup.py -a --lite

启动日志
在这里插入图片描述
自动出现界面,0.0.0.0:8501 然后可以测试对话

在这里插入图片描述

这篇关于备忘: 踩坑linux环境部署轻量化的Langchain-Chatchat集成通义千问的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/802097

相关文章

Linux命令之firewalld的用法

《Linux命令之firewalld的用法》:本文主要介绍Linux命令之firewalld的用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux命令之firewalld1、程序包2、启动firewalld3、配置文件4、firewalld规则定义的九大

Spring Boot 集成 Quartz并使用Cron 表达式实现定时任务

《SpringBoot集成Quartz并使用Cron表达式实现定时任务》本篇文章介绍了如何在SpringBoot中集成Quartz进行定时任务调度,并通过Cron表达式控制任务... 目录前言1. 添加 Quartz 依赖2. 创建 Quartz 任务3. 配置 Quartz 任务调度4. 启动 Sprin

Linux之计划任务和调度命令at/cron详解

《Linux之计划任务和调度命令at/cron详解》:本文主要介绍Linux之计划任务和调度命令at/cron的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux计划任务和调度命令at/cron一、计划任务二、命令{at}介绍三、命令语法及功能 :at

Linux下如何使用C++获取硬件信息

《Linux下如何使用C++获取硬件信息》这篇文章主要为大家详细介绍了如何使用C++实现获取CPU,主板,磁盘,BIOS信息等硬件信息,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录方法获取CPU信息:读取"/proc/cpuinfo"文件获取磁盘信息:读取"/proc/diskstats"文

Linux内核参数配置与验证详细指南

《Linux内核参数配置与验证详细指南》在Linux系统运维和性能优化中,内核参数(sysctl)的配置至关重要,本文主要来聊聊如何配置与验证这些Linux内核参数,希望对大家有一定的帮助... 目录1. 引言2. 内核参数的作用3. 如何设置内核参数3.1 临时设置(重启失效)3.2 永久设置(重启仍生效

SpringBoot集成Milvus实现数据增删改查功能

《SpringBoot集成Milvus实现数据增删改查功能》milvus支持的语言比较多,支持python,Java,Go,node等开发语言,本文主要介绍如何使用Java语言,采用springboo... 目录1、Milvus基本概念2、添加maven依赖3、配置yml文件4、创建MilvusClient

Python如何自动生成环境依赖包requirements

《Python如何自动生成环境依赖包requirements》:本文主要介绍Python如何自动生成环境依赖包requirements问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录生成当前 python 环境 安装的所有依赖包1、命令2、常见问题只生成当前 项目 的所有依赖包1、

kali linux 无法登录root的问题及解决方法

《kalilinux无法登录root的问题及解决方法》:本文主要介绍kalilinux无法登录root的问题及解决方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,... 目录kali linux 无法登录root1、问题描述1.1、本地登录root1.2、ssh远程登录root2、

Linux ls命令操作详解

《Linuxls命令操作详解》通过ls命令,我们可以查看指定目录下的文件和子目录,并结合不同的选项获取详细的文件信息,如权限、大小、修改时间等,:本文主要介绍Linuxls命令详解,需要的朋友可... 目录1. 命令简介2. 命令的基本语法和用法2.1 语法格式2.2 使用示例2.2.1 列出当前目录下的文

Redis在windows环境下如何启动

《Redis在windows环境下如何启动》:本文主要介绍Redis在windows环境下如何启动的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Redis在Windows环境下启动1.在redis的安装目录下2.输入·redis-server.exe