备忘: 踩坑linux环境部署轻量化的Langchain-Chatchat集成通义千问

本文主要是介绍备忘: 踩坑linux环境部署轻量化的Langchain-Chatchat集成通义千问,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

看了许多材料,为了利用大模型构建以对话方式驱动的本地应用程序需要使用LangChain-chatchat,其基本介绍参考Langchain-Chatchat项目

通过查询资料,查到win上安装流程使用免费的通义千问 api 最轻量化部署Langchain-Chatchat,原以为在信创Linux系统上非常简单,但实践下来一堆坑,记录备忘吧…

需要解决几个问题
1 什么是轻量化部署
我理解是就是仅利用远程大模型,而不是调用本地大模型,根据这个思路,并检查requirement_x系列文件的实际依赖,如果需要轻量化部署需要安装
pip install -r requirements_lite.txt (全量安装则需要安装 pip install -r requirements.txt)
pip install -r requirements_api.txt
pip install -r requirements_webui.txt

1* 因为安装的过程中涉及多个较大安装包,可能会把空间不够,例如报错“No space left on device”,这是临时文件夹太小了,可以尝试自定义临时文件夹
pip install -b $HOME/AI/tmp -r requirements_lite.txt

2 关于linux适配,把requirement_x系列文件中,把python-magic-bin; sys_platform == 'win32’这行去掉,因为这仅仅是适配Win系统的选项


unstructured[all-docs] # ==0.11.8
# python-magic-bin; sys_platform == 'win32'   这行去掉
SQLAlchemy==2.0.25

3 执行python 中文报错的问题
如果按python startup.py -a --lite 执行,回报一个中文乱码的错 “… /xe3 …” 代码中中文不是用ascII编码,单个python文件很简单,每个文件头部加上 #coding=utf8就行,但是这里涉及到一连串文件,因此改为 python3 startup.py -a --lite python3会自动按uft8解释执行

4 关于sqlite3的依赖问题,
在启动时,因涉及SQLAlchemy==2.0.25,要用到sqlite3数据库,虽然大部分linux操作系统都安装了sqlite3,但python3不一定能调用,主要是缺少相关的so文件,需要安装sqlite3开发库ibsqlite3-dev。用root用户安装
sudo apt-get install libsqlite3-dev
安装成功后
找到 $HOME/python/python3.10.6/setup.py文件
然后核对该文件,以下sqlite include path是否包含了sqlite3ext.h sqlite3.h 头文件,我在下面加黑的目录里找到
sqlite_inc_paths = [ ‘/usr/include’,
‘/usr/include/sqlite’,
‘/usr/include/sqlite3’,
‘/usr/local/include’,
‘/usr/local/include/sqlite’,
‘/usr/local/include/sqlite3’,
]

然后按下列步骤重新编译
cd $HOME/python/python3.10.6/
make clean
./configure
make && make install

如果发现权限不够

sudo make clean
./configure
sudo make && sudo make install

编译成功后,在当前目录下用 find . -name _sqlite3.cpython-310-x86_64-linux-gnu.so 可以找到这个so
然后把这个so复制到python lib目录/usr/local/lib/python3.10/lib-dynload/的目录下

5 最新的langchain-chatchat已经继承了qwen 文言一心等模型配置
配置相应的 api-key即可

启动python3 startup.py -a --lite

启动日志
在这里插入图片描述
自动出现界面,0.0.0.0:8501 然后可以测试对话

在这里插入图片描述

这篇关于备忘: 踩坑linux环境部署轻量化的Langchain-Chatchat集成通义千问的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/802097

相关文章

Linux换行符的使用方法详解

《Linux换行符的使用方法详解》本文介绍了Linux中常用的换行符LF及其在文件中的表示,展示了如何使用sed命令替换换行符,并列举了与换行符处理相关的Linux命令,通过代码讲解的非常详细,需要的... 目录简介检测文件中的换行符使用 cat -A 查看换行符使用 od -c 检查字符换行符格式转换将

Linux系统配置NAT网络模式的详细步骤(附图文)

《Linux系统配置NAT网络模式的详细步骤(附图文)》本文详细指导如何在VMware环境下配置NAT网络模式,包括设置主机和虚拟机的IP地址、网关,以及针对Linux和Windows系统的具体步骤,... 目录一、配置NAT网络模式二、设置虚拟机交换机网关2.1 打开虚拟机2.2 管理员授权2.3 设置子

Linux系统中卸载与安装JDK的详细教程

《Linux系统中卸载与安装JDK的详细教程》本文详细介绍了如何在Linux系统中通过Xshell和Xftp工具连接与传输文件,然后进行JDK的安装与卸载,安装步骤包括连接Linux、传输JDK安装包... 目录1、卸载1.1 linux删除自带的JDK1.2 Linux上卸载自己安装的JDK2、安装2.1

Linux卸载自带jdk并安装新jdk版本的图文教程

《Linux卸载自带jdk并安装新jdk版本的图文教程》在Linux系统中,有时需要卸载预装的OpenJDK并安装特定版本的JDK,例如JDK1.8,所以本文给大家详细介绍了Linux卸载自带jdk并... 目录Ⅰ、卸载自带jdkⅡ、安装新版jdkⅠ、卸载自带jdk1、输入命令查看旧jdkrpm -qa

Linux samba共享慢的原因及解决方案

《Linuxsamba共享慢的原因及解决方案》:本文主要介绍Linuxsamba共享慢的原因及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux samba共享慢原因及解决问题表现原因解决办法总结Linandroidux samba共享慢原因及解决

springboot简单集成Security配置的教程

《springboot简单集成Security配置的教程》:本文主要介绍springboot简单集成Security配置的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录集成Security安全框架引入依赖编写配置类WebSecurityConfig(自定义资源权限规则

tomcat多实例部署的项目实践

《tomcat多实例部署的项目实践》Tomcat多实例是指在一台设备上运行多个Tomcat服务,这些Tomcat相互独立,本文主要介绍了tomcat多实例部署的项目实践,具有一定的参考价值,感兴趣的可... 目录1.创建项目目录,测试文China编程件2js.创建实例的安装目录3.准备实例的配置文件4.编辑实例的

SpringBoot配置Ollama实现本地部署DeepSeek

《SpringBoot配置Ollama实现本地部署DeepSeek》本文主要介绍了在本地环境中使用Ollama配置DeepSeek模型,并在IntelliJIDEA中创建一个Sprin... 目录前言详细步骤一、本地配置DeepSeek二、SpringBoot项目调用本地DeepSeek前言随着人工智能技

新特性抢先看! Ubuntu 25.04 Beta 发布:Linux 6.14 内核

《新特性抢先看!Ubuntu25.04Beta发布:Linux6.14内核》Canonical公司近日发布了Ubuntu25.04Beta版,这一版本被赋予了一个活泼的代号——“Plu... Canonical 昨日(3 月 27 日)放出了 Beta 版 Ubuntu 25.04 系统镜像,代号“Pluc

通过Docker Compose部署MySQL的详细教程

《通过DockerCompose部署MySQL的详细教程》DockerCompose作为Docker官方的容器编排工具,为MySQL数据库部署带来了显著优势,下面小编就来为大家详细介绍一... 目录一、docker Compose 部署 mysql 的优势二、环境准备与基础配置2.1 项目目录结构2.2 基