【langchain】实战笔记-Langchain-Chatchat win10本地部署FAQ（持续更新）

2024-01-27 18:44
文章标签 实战 部署 笔记 更新 langchain win10 本地 持续 chatchat faq

本文主要是介绍【langchain】实战笔记-Langchain-Chatchat win10本地部署FAQ（持续更新），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

      在发布了《 Langchain-Chatchat-win10本地安装部署成功笔记（CPU）》后，有不少同学给我私信，说根据我的文档安装成功，也有不少人在安装过程报错了，我的文章是基于V0.2.6版本写的，大部分都是因为升级版本引起的。当前最新版本是V0.2.10，经过验证V0.2.9按照原来的文章或官网的安装部署文档说明进行私有化安装部署都会出现一些问题,建议用V0.2.10版本。

本文专注记录安装部署新版本出现的问题和解决方法。

版本更新记录

V0.2.10

重要提示

Langchain-Chatchat v0.2.10 版本中修改了configs中配置项，建议所有用户按照 Wiki 的开发部署中的相关描述重新完成项目中的配置文件生成。开发部署过程遇到问题请先到 Github Wiki / issues 中搜索。

本次更新中依赖 Python 包与其版本发生了大量更新，请使用pip install -r requirements.txt进行更新。

此版本为 v0.2.x系列最后一个版本，具备全新 Agent 功能的 v0.3.0即将上线，敬请期待。

新增功能

  • 优化 PDF 文件的 OCR，过滤无意义的小图片 by @liunux4odoo #2525
  • 支持 Gemini 在线模型 by @yhfgyyf #2630
  • 支持 GLM4 在线模型 by @zRzRzRzRzRzRzR
  • elasticsearch更新https连接 by @xldistance #2390
  • 增强对PPT、DOC知识库文件的OCR识别 by @596192804 #2013
  • 更新 Agent 对话功能 by @zRzRzRzRzRzRzR
  • 每次创建对象时从连接池获取连接，避免每次执行方法时都新建连接 by @Lijia0 #2480
  • 实现 ChatOpenAI 判断token有没有超过模型的context上下文长度 by @glide-the
  • 更新运行数据库报错和项目里程碑 by @zRzRzRzRzRzRzR #2659
  • 更新配置文件/文档/依赖 by @imClumsyPanda @zRzRzRzRzRzRzR
  • 添加日文版 readme by @eltociear #2787

问题修复

  • ApiRequest.agent_chat 返回 dict 而非 str by @liunux4odoo #2520
  • 修复milvus_kwargs问题 by @hzg0601 #2540
  • 纠正 make_text_splitter 中 chunk_* parameters 参数的使用 by @liunux4odoo #2564
  • 过滤 sse_starlette 返回的 ping 包，避免 JSON Decoder error : ping -... by @liunux4odoo #2585
  • langchain 更新后，PGVector 向量库连接错误 by @HALIndex #2591
  • 删除重复的引入和纠正拼写错误 by @tiandiweizun #2599
  • Minimax's model worker 错误 by @xyhshen
  • ES库无法向量检索.添加mappings创建向量索引 by @MSZheng20 #2688
  • KBService 中几处拼写错误 by @hzg0601 #2640
  • pytorch 自动检测设备 by @chatgpt-1, @Drincann, @zRzRzRzRzRzRzR #2514 #2570

V0.2.9

重要提示

Langchain-Chatchat v0.2.9 版本中修改了configs中配置项，建议所有用户按照 Wiki 的开发部署中的相关描述重新完成项目中的配置文件生成。开发部署过程遇到问题请先到 Github Wiki / issues 中搜索。

此外，v0.2.9 版本中知识库相关信息的数据库表发生了变化，如果继续使用之前版本的配置，可使用  python init_database.py --create-tables 仅更新数据库表，不重建知识库。

本次更新中依赖 Python 包与其版本发生了大量更新，请使用pip install -r requirements.txt进行更新。

新增功能

  • 文件对话和知识库对话 API 接口实现全异步操作，防止阻塞 by @liunux4odoo in #2256
  • 更新默认模型下载链接 by @YQisme in #2259
  • OCR 支持 GPU 加速（需要手动安装 rapidocr_paddle[gpu])；知识库支持 MHTML 和 Evernote 文件。 by @liunux4odoo in #2265
  • 使用Reranker模型对召回语句进行重排 by @hzg0601 in #2435
  • 知识库管理界面支持查看、编辑、删除向量库文档 by @liunux4odoo in #2471

问题修复

  • 修改 duckduckgo 依赖错误 by @zRzRzRzRzRzRzR @hzg0601 in #2251 and #2252
  • 修复Azure 不设置Max token的bug by @zRzRzRzRzRzRzR in #2254
  • fix: prompt template name error in file_chat by @liunux4odoo in #2366
  • 优化EventSource回包 by @lookou in #1200
  • fix: 文档错误 by @jaluik in #2384
  • 更新 self.dims_length 赋值错误 by @xldistance in #2380
  • 修复knowledge_base_chat_iterator 传参错误 by @xldistance in #2386
  • fixed 迭代器参数传递错误，知识库问答报错TypeError: unhashable type: 'list' by @Astlvk in #2383
  • fix:使用在线embedding模型时 报错 There is no current event loop in thread 'Any… by @Funkeke in #2393
  • fix Yi-34b model config error(close #2491) by @liunux4odoo in #2492
  • remove /chat/fastchat API endpoint by @liunux4odoo in #2506

V0.2.8

重要提示

Langchain-Chatchat v0.2.8 版本中修改了configs中配置项，建议所有用户按照 Wiki 的开发部署中的相关描述重新完成项目中的配置文件生成。开发部署过程遇到问题请先到 Github Wiki / issues 中搜索。

此外，v0.2.8 版本中知识库相关信息的数据库表发生了变化，且默认 embedding 模型修改为bge-large-zh，如保持默认设置，请按需重建知识库。如果继续使用之前版本的配置，可使用  python init_database.py --create-tables 仅更新数据库表，不重建知识库。

本次更新中依赖 Python 包与其版本发生了大量更新，请使用pip install -r requirements.txt进行更新。

新增功能

  • 添加文件对话模式 by @liunux4odoo in #2071
  • 知识库支持 .jsonl, .epub, .xlsx, .xlsd, .ipynb, .odt, .py, .srt, .toml, .doc, .ppt 文件 by @liunux4odoo in #2079
  • 支持昆仑万维天工大模型 by @nathubs in #2166
  • 完善对 ChatGLM3-6B 的支持 by @zRzRzRzRzRzRzR in #2021 and #2058
  • 增加聊天记录在数据库中的存储 by @qiankunli in #2046
  • 完善 WebUI 模型列表中对在线模型和本地模型的支持 by @liunux4odoo in #2060
  • 支持软连接的知识库 by @zRzRzRzRzRzRzR in #2167
  • 给 ApiModelWorker 添加 logger 成员变量，API请求出错时输出有意义的错误信息。 by @liunux4odoo in #2169
  • 提供文档 summary_chunk ，支持单文件总结业务实现使用 MapReduceDocumentsChain 生成摘要 by @glide-the in #2175
  • 单个知识库根据 doc_ids 摘要 by @glide-the in #2176
  • 添加自定义命令用于管理多会话 by @liunux4odoo in #2229
  • 优化知识库文档加载 by @liunux4odoo in #2091
  • 统一在线模型异常报文、增加详细日志 by @glide-the in #2130
  • 更新 ChatGLM3-6B agent的文档，提示词 by @zRzRzRzRzRzRzR in #2041
  • 更新 requirements by @liunux4odoo @hzg0601 @zRzRzRzRzRzRzR @imClumsyPanda in #2033 , #2170 , #2213 and #2246
  • 更新 README.md by @VignetteApril @weartist in #2034 and #2049
  • 更新 config 模版 by @hzg0601 @zRzRzRzRzRzRzR @imClumsyPanda in #2110 and #2171
  • 数据库和向量库中文档 metadata["source"] 改为相对路径，便于向量库迁移 by @liunux4odoo in #2153

问题修复

  • 修复：知识库json文件的中文被转为 unicode 码，导致无法匹配 by @liunux4odoo in #2128
  • 将 MiniMax 和 千帆 在线 Embedding 改为 10 个文本一批，防止接口数量限制 by @liunux4odoo in #2161
  • 修复 startup.py by @hzg0601 in #2162 and #2173
  • bug 修复和提示词修改 by @zRzRzRzRzRzRzR in #2230
  • 一些细节更新 by @zRzRzRzRzRzRzR in #2235
  • 修复: MiniMax 和千帆在线 embedding 模型分批请求的 bug by @alanlaye617 in #2208
  • 修复: chat 接口默认使用 memory 获取 10 条历史消息，导致最终拼接的 prompt 出错 by @liunux4odoo in #2247

模型文件共享

可能有些同学没有对应的模型文件，共享一下我用到的几个模型，可持续更新，要是访问不了，可私信。

链接：https://pan.baidu.com/s/1phG6lDVoOzhyuROqyZInBA?pwd=dyqv 
提取码：dyqv

快速安装命令

假设已安装torch，以下命令是基于V0.2.10版本进行安装部署的。

#1、拉取代码
git clone https://github.com/chatchat-space/Langchain-Chatchat.git
#2、到langchain源码根目录
cd Langchain-Chatchat
#3、安装依赖
pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/#4、自动生产配置文件，configs目录下，复制所有example配置文件，去掉example
python copy_config_example.py#5、修改model_config.py文件
# 选用的 Embedding 名称，内置模型
#EMBEDDING_MODEL = "bge-large-zh-v1.5"
EMBEDDING_MODEL = "bge-large-zh"
# Embedding 模型运行设备。设为 "auto" 会自动检测(会有警告)，也可手动设定为 "cuda","mps","cpu","xpu" 其中之一。
EMBEDDING_DEVICE = "cpu"#内置模型地址
#"bge-large-zh": "BAAI/bge-large-zh",
"bge-large-zh": "E:\\llm_models\\bge-large-zh",#LLM_MODELS = ["chatglm3-6b", "zhipu-api", "openai-api"] 
#默认启动模型，根据实际情况修改
LLM_MODELS = ["chatglm2-6b-int4", "openai-api"] 
LLM_DEVICE = "cpu""openai-api": {"model_name": "gpt-4","api_base_url": "https://api.openai.com/v1",#修改open -api key，如果不启动open api就不用修改添加api_key"api_key": "sk-xxxxxxxxxx","openai_proxy": "",},"llm_model": {"chatglm2-6b": "THUDM/chatglm2-6b","chatglm2-6b-32k": "THUDM/chatglm2-6b-32k","chatglm3-6b": "THUDM/chatglm3-6b","chatglm3-6b-32k": "THUDM/chatglm3-6b-32k",#添加一条chatglm2-6b-int4，如果用其他版本的，对应修改"chatglm2-6b-int4": "E:\\llm_models\\chatglm2-6b-int4",#6、重新初始化数据库
python init_database.py --recreate-vs
#注意，不要用python3 init_database.py --recreate-vs#7、启动
python startup.py -a

FAQ集：

问题1： No moule named 'langchain'

\L029\Langchain-Chatchat>python startup.py -a
Traceback (most recent call last):File "D:\opt\L029\Langchain-Chatchat\startup.py", line 21, in <module>from configs import (File "D:\opt\L029\Langchain-Chatchat\configs\__init__.py", line 1, in <module>from .basic_config import *File "D:\opt\L029\Langchain-Chatchat\configs\basic_config.py", line 3, in <module>import langchain
ModuleNotFoundError: No module named 'langchain'

Q1：

pip3 install langchain

问题2： No module named 'fastapi'/ 'fastapi'/'httpx'等

>python startup.py -a
C:\Users\xxxxx\.conda\envs\l3\lib\site-packages\langchain\chat_models\__init__.py:31: LangChainDeprecationWarning: Importing chat models from langchain is deprecated. Importing from langchain will no longer be supported as of langchain==0.2.0. Please import from langchain-community instead:`from langchain_community.chat_models import ChatOpenAI`.To install langchain-community run `pip install -U langchain-community`.warnings.warn(
C:\Users\xxxxx\.conda\envs\l3\lib\site-packages\langchain\llms\__init__.py:548: LangChainDeprecationWarning: Importing LLMs from langchain is deprecated. Importing from langchain will no longer be supported as of langchain==0.2.0. Please import from langchain-community instead:`from langchain_community.llms import OpenAI`.To install langchain-community run `pip install -U langchain-community`.warnings.warn(
C:\Users\xxxxx\.conda\envs\l3\lib\site-packages\langchain\llms\__init__.py:548: LangChainDeprecationWarning: Importing LLMs from langchain is deprecated. Importing from langchain will no longer be supported as of langchain==0.2.0. Please import from langchain-community instead:`from langchain_community.llms import AzureOpenAI`.To install langchain-community run `pip install -U langchain-community`.warnings.warn(
C:\Users\xxxxx\.conda\envs\l3\lib\site-packages\langchain\llms\__init__.py:548: LangChainDeprecationWarning: Importing LLMs from langchain is deprecated. Importing from langchain will no longer be supported as of langchain==0.2.0. Please import from langchain-community instead:`from langchain_community.llms import Anthropic`.To install langchain-community run `pip install -U langchain-community`.warnings.warn(
Traceback (most recent call last):File "D:\opt\L029\Langchain-Chatchat\startup.py", line 35, in <module>from server.utils import (fschat_controller_address, fschat_model_worker_address,File "D:\opt\L029\Langchain-Chatchat\server\utils.py", line 14, in <module>import httpx
ModuleNotFoundError: No module named 'httpx'

Q2：

这种情况下，很可能安装了其他东西，重装一下requirments.txt的依赖

我的环境问题主要是重新安装了一下torch的GPU版本，然后就启动不了了，重新安装依赖后就正常

pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/

待解决问题

待解决问题1：

2024-01-26 14:14:43,285 - utils.py[line:295] - INFO: RapidOCRLoader used for D:\opt\L029\Langchain-Chatchat\knowledge_base\samples\content\llm/img/大模型应用技术原理-幕布图片-580318-260070.jpg
None is not a local folder and is not a valid model identifier listed on 'https://huggingface.co/models'
If this is a private repository, make sure to pass a token having permission to this repo either by logging in with `huggingface-cli login` or by passing `token=<your_token>`None is not a local folder and is not a valid model identifier listed on 'https://huggingface.co/models'
If this is a private repository, make sure to pass a token having permission to this repo either by logging in with `huggingface-cli login` or by passing `token=<your_token>`None is not a local folder and is not a valid model identifier listed on 'https://huggingface.co/models'
If this is a private repository, make sure to pass a token having permission to this repo either by logging in with `huggingface-cli login` or by passing `token=<your_token>`

这个问题在初始化数据库发生的，待研究。

待解决问题2：

Batches: 100%|████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:34<00:00, 34.01s/it]
('samples', 'test_files/langchain-ChatGLM_closed.jsonl', '从文件 samples/test_files/langchain-ChatGLM_closed.jsonl 加载文档时出错：jq package not found, please install it with `pip install jq`')

虽然有方案说用conda install jq，事实上没有作用，从issue里看，需要修改源码。

这篇关于【langchain】实战笔记-Langchain-Chatchat win10本地部署FAQ（持续更新）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/651149。

相关文章

网页解析 lxml 库--实战

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库，完全使用 Python 语言编写，它对 XPath表达式提供了良好的支 持，因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块，该模块专门用来解析 HTML/XML 文档，下面来介绍一下 lxml 库
阅读更多...
闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言，在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况，这使得“存储焦虑”不再是个别现象，而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得，我们似乎正处在互联网信息飞速增长的阶段，对于存储的需求也将会不断扩大。对于苹果用户而言，这一问题愈发严峻，毕竟512GB和1TB版本的iPhone可不是人人都消费得起的，因此成熟的外置存储方案开
阅读更多...
性能分析之MySQL索引实战案例

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题，本文将一起从代码层去分析为什么没有建立索引？ 开源ERP项目地址：https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置
阅读更多...
poj3468(线段树成段更新模板题)

poj3468(线段树成段更新模板题)

题意：包括两个操作：1、将[a.b]上的数字加上v；2、查询区间[a,b]上的和 下面的介绍是下解题思路： 首先介绍  lazy－tag思想：用一个变量记录每一个线段树节点的变化值，当这部分线段的一致性被破坏我们就将这个变化值传递给子区间，大大增加了线段树的效率。 比如现在需要对[a,b]区间值进行加c操作，那么就从根节点[1,n]开始调用update函数进行操作，如果刚好执行到一个子节点，
阅读更多...
hdu1394(线段树点更新的应用)

hdu1394(线段树点更新的应用)

题意：求一个序列经过一定的操作得到的序列的最小逆序数 这题会用到逆序数的一个性质，在0到n-1这些数字组成的乱序排列，将第一个数字A移到最后一位，得到的逆序数为res-a+(n-a-1) 知道上面的知识点后，可以用暴力来解 代码如下： #include<iostream>#include<algorithm>#include<cstring>#include<stack>#in
阅读更多...
hdu1689(线段树成段更新)

hdu1689(线段树成段更新)

两种操作：1、set区间[a,b]上数字为v；2、查询[ 1 , n ]上的sum 代码如下： #include<iostream>#include<algorithm>#include<cstring>#include<stack>#include<queue>#include<set>#include<map>#include<stdio.h>#include<stdl
阅读更多...
阿里开源语音识别SenseVoiceWindows环境部署

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推
阅读更多...
C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

哈喽，你好啊，我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记，这是第6篇； 接下来实现实时显示当前选中红球数量，蓝球数量； 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时，在对应的位置显示实时已选择的红球、蓝球的数量； 02 标签名称 分别设置Label标签名称为：lblRedCount、lblBlueCount
阅读更多...
hdu 1754 I Hate It（线段树，单点更新，区间最值）

hdu 1754 I Hate It（线段树，单点更新，区间最值）

题意是求一个线段中的最大数。 线段树的模板题，试用了一下交大的模板。效率有点略低。 代码： #include <stdio.h>#include <string.h>#define TREE_SIZE (1 << (20))//const int TREE_SIZE = 200000 + 10;int max(int a, int b){return a > b ? a :
阅读更多...
AI行业应用(不定期更新)

AI行业应用(不定期更新)

ChatPDF 可以让你上传一个 PDF 文件，然后针对这个 PDF 进行小结和提问。你可以把各种各样你要研究的分析报告交给它，快速获取到想要知道的信息。https://www.chatpdf.com/
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2