【书生大模型实战营】进阶岛 第6关 MindSearch 快速部署

2024-09-03 06:36
文章标签 实战 进阶 部署 快速 模型 书生 mindsearch

本文主要是介绍【书生大模型实战营】进阶岛 第6关 MindSearch 快速部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 【书生大模型实战营】进阶岛 第6关 MindSearch 快速部署
  • MindSearch 部署到Github Codespace 和 Hugging Face Space
  • 创建开发机 & 环境配置
  • MindSearch下载及环境配置
  • 获取硅基流动API Key
  • 作业 - 基础任务
  • 在Github codespaces 启动 MindSearch
  • 通过 Github Codespace 完成HuggingFace Space部署
  • 把刚才准备的文件都copy进来

【书生大模型实战营】进阶岛 第6关 MindSearch 快速部署

MindSearch 部署到Github Codespace 和 Hugging Face Space

和原有的CPU版本相比区别是把internstudio换成了github codespace。

随着硅基流动提供了免费的 InternLM2.5-7B-Chat 服务（免费的 InternLM2.5-7B-Chat 真的很香），MindSearch 的部署与使用也就迎来了纯 CPU 版本，进一步降低了部署门槛。那就让我们来一起看看如何使用硅基流动的 API 来部署 MindSearch 吧。

创建开发机 & 环境配置

由于HuggingFace被墙，我们通过github-codespace 的 vscode Linux 环境提交到 hugging face。打开codespace主页，选择blank template，浏览器会自动在新的页面打开一个web版的vscode。
在这里插入图片描述

MindSearch下载及环境配置

#MindSearch下载
mkdir -p /workspaces/mindsearch
cd /workspaces/mindsearch
git clone https://github.com/InternLM/MindSearch.git
cd MindSearch && git checkout b832275 && cd …

#创建环境
conda create -n mindsearch python=3.10 -y
#激活环境
conda activate mindsearch
#安装依赖
pip install -r /workspaces/mindsearch/MindSearch/requirements.txt

获取硅基流动API Key

首先打开 https://account.siliconflow.cn/login 来注册硅基流动的账号。完成注册后，打开 https://cloud.siliconflow.cn/account/ak 来准备 API Key。首先创建新 API 密钥，然后点击密钥进行复制，以备后续使用。
在这里插入图片描述

作业 - 基础任务

将 MindSearch 部署到 HuggingFace，并提供截图。(记录复现过程并截图)

在Github codespaces 启动 MindSearch

启动后端
硅基流动 API 的相关配置已经集成在了 MindSearch 中，所以我们可以直接执行下面的代码来启动 MindSearch 的后端。

export SILICON_API_KEY=第二步中复制的密钥

cd /workspaces/mindsearch/MindSearch
python -m mindsearch.app --lang cn --model_format internlm_silicon --search_engine DuckDuckGoSearch
在这里插入图片描述

启动前端
在后端启动完成后，我们打开新终端运行如下命令来启动 MindSearch 的前端。

cd /workspaces/mindsearch/MindSearch
python frontend/mindsearch_gradio.py
在这里插入图片描述

通过InternLM 启动web浏览器访问
上述同样步骤在InternLM开发机（10%A100即可）部署启动后 把 8002 端口和 7882 端口都映射到本地：

ssh -CNg -L 8002:127.0.0.1:8002 -L 7882:127.0.0.1:7882 root@ssh.intern-ai.org.cn -p 42678
然后在本地浏览器中打开 localhost:7882 即可体验啦。
在这里插入图片描述
效果

如果遇到了 timeout 的问题，可以按照 文档 换用 Bing 的搜索接口。

通过 Github Codespace 完成HuggingFace Space部署

我们首先打开 https://huggingface.co/spaces ，并点击 Create new Space。然后进入 Settings，配置硅基流动的 API Key。选择 New secrets，name 一栏输入 SILICON_API_KEY，value 一栏输入你的 API Key 的内容。

在这里插入图片描述

先新建一个目录，准备提交到 HuggingFace Space 的全部文件。

#创建新目录
mkdir -p /root/mindsearch/mindsearch_deploy
#准备复制文件
cd /root/mindsearch
cp -r /root/mindsearch/MindSearch/mindsearch /root/mindsearch/mindsearch_deploy
cp /root/mindsearch/MindSearch/requirements.txt /root/mindsearch/mindsearch_deploy
#创建 app.py 作为程序入口
touch /root/mindsearch/mindsearch_deploy/app.py
其中，app.py 的内容如下：
import json
import os

import gradio as gr
import requests
from lagent.schema import AgentStatusCode

os.system(“python -m mindsearch.app --lang cn --model_format internlm_silicon &”)

PLANNER_HISTORY = []
SEARCHER_HISTORY = []

def rst_mem(history_planner: list, history_searcher: list):
‘’’
Reset the chatbot memory.
‘’’
history_planner = []
history_searcher = []
if PLANNER_HISTORY:
PLANNER_HISTORY.clear()
return history_planner, history_searcher

def format_response(gr_history, agent_return):
if agent_return[‘state’] in [
AgentStatusCode.STREAM_ING, AgentStatusCode.ANSWER_ING
]:
gr_history[-1][1] = agent_return[‘response’]
elif agent_return[‘state’] == AgentStatusCode.PLUGIN_START:
thought = gr_history[-1][1].split(‘')[0] if agent_return['response'].startswith('’):
gr_history[-1][1] = thought + ‘\n’ + agent_return[‘response’]
elif agent_return[‘state’] == AgentStatusCode.PLUGIN_END:
thought = gr_history[-1][1].split('')[0] if isinstance(agent_return['response'], dict): gr_history[-1][ 1] = thought + '\n' + f'json\n{json.dumps(agent_return[“response”], ensure_ascii=False, indent=4)}\n' # noqa: E501 elif agent_return['state'] == AgentStatusCode.PLUGIN_RETURN: assert agent_return['inner_steps'][-1]['role'] == 'environment' item = agent_return['inner_steps'][-1] gr_history.append([ None, f"json\n{json.dumps(item[‘content’], ensure_ascii=False, indent=4)}\n```"
])
gr_history.append([None, ‘’])
return

def predict(history_planner, history_searcher):

def streaming(raw_response):for chunk in raw_response.iter_lines(chunk_size=8192,decode_unicode=False,delimiter=b'\n'):if chunk:decoded = chunk.decode('utf-8')if decoded == '\r':continueif decoded[:6] == 'data: ':decoded = decoded[6:]elif decoded.startswith(': ping - '):continueresponse = json.loads(decoded)yield (response['response'], response['current_node'])global PLANNER_HISTORY
PLANNER_HISTORY.append(dict(role='user', content=history_planner[-1][0]))
new_search_turn = Trueurl = 'http://localhost:8002/solve'
headers = {'Content-Type': 'application/json'}
data = {'inputs': PLANNER_HISTORY}
raw_response = requests.post(url,headers=headers,data=json.dumps(data),timeout=20,stream=True)for resp in streaming(raw_response):agent_return, node_name = respif node_name:if node_name in ['root', 'response']:continueagent_return = agent_return['nodes'][node_name]['detail']if new_search_turn:history_searcher.append([agent_return['content'], ''])new_search_turn = Falseformat_response(history_searcher, agent_return)if agent_return['state'] == AgentStatusCode.END:new_search_turn = Trueyield history_planner, history_searcherelse:new_search_turn = Trueformat_response(history_planner, agent_return)if agent_return['state'] == AgentStatusCode.END:PLANNER_HISTORY = agent_return['inner_steps']yield history_planner, history_searcher
return history_planner, history_searcher

with gr.Blocks() as demo:
gr.HTML(“”“

MindSearch Gradio Demo

”“”)
gr.HTML(“”“

MindSearch is an open-source AI Search Engine Framework with Perplexity.ai Pro performance. You can deploy your own Perplexity.ai-style search engine using either closed-source LLMs (GPT, Claude) or open-source LLMs (InternLM2.5-7b-chat).

”“”)
gr.HTML(“”"

🔗 GitHub
📄 Arxiv
📚 Hugging Face Papers
🤗 Hugging Face Demo

“”")
with gr.Row():
with gr.Column(scale=10):
with gr.Row():
with gr.Column():
planner = gr.Chatbot(label=‘planner’,
height=700,
show_label=True,
show_copy_button=True,
bubble_full_width=False,
render_markdown=True)
with gr.Column():
searcher = gr.Chatbot(label=‘searcher’,
height=700,
show_label=True,
show_copy_button=True,
bubble_full_width=False,
render_markdown=True)
with gr.Row():
user_input = gr.Textbox(show_label=False,
placeholder=‘帮我搜索一下 InternLM 开源体系’,
lines=5,
container=False)
with gr.Row():
with gr.Column(scale=2):
submitBtn = gr.Button(‘Submit’)
with gr.Column(scale=1, min_width=20):
emptyBtn = gr.Button(‘Clear History’) 
def user(query, history):return '', history + [[query, '']]submitBtn.click(user, [user_input, planner], [user_input, planner],queue=False).then(predict, [planner, searcher],[planner, searcher])
emptyBtn.click(rst_mem, [planner, searcher], [planner, searcher],queue=False)

demo.queue()
demo.launch(server_name=‘0.0.0.0’,
server_port=7860,
inbrowser=True,
share=True)

在最后，将 /root/mindsearch/mindsearch_deploy 目录下的文件（使用 git）提交到 HuggingFace Space 即可完成部署了。

部署到 HuggingFace Space
接下来创建一个有写权限的token。
在这里插入图片描述
从huggingface把空的代码仓库clone到codespace。在Codespaces shell 命令行窗口中执行：

cd /workspaces/codespaces-blank
git clone https://zhangdeqiang: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@huggingface.co/spaces/zed5337/MyMindSearch
codespace就是本地仓库，huggingface space是远程仓库，接下来使用方法就和常规的git一样了。

cd /workspaces/codespaces-blank/MyMindSearch

把刚才准备的文件都copy进来

cp -r /workspaces/mindsearch/mindsearch_deploy/* .

把上述代码提交到huggingface space。

在这里插入图片描述
后续一样就不在多做赘述。

这篇关于【书生大模型实战营】进阶岛 第6关 MindSearch 快速部署的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1132302。

相关文章

python管理工具之conda安装部署及使用详解

python管理工具之conda安装部署及使用详解

《python管理工具之conda安装部署及使用详解》这篇文章详细介绍了如何安装和使用conda来管理Python环境,它涵盖了从安装部署、镜像源配置到具体的conda使用方法,包括创建、激活、安装包... 目录pytpshheraerUhon管理工具：conda部署+使用一、安装部署1、 下载2、 安装3
阅读更多...
Python进阶之Excel基本操作介绍

Python进阶之Excel基本操作介绍

《Python进阶之Excel基本操作介绍》在现实中,很多工作都需要与数据打交道,Excel作为常用的数据处理工具,一直备受人们的青睐,本文主要为大家介绍了一些Python中Excel的基本操作,希望... 目录概述写入使用 xlwt使用 XlsxWriter读取修改概述在现实中，很多工作都需要与数据打交
阅读更多...
Golang操作DuckDB实战案例分享

Golang操作DuckDB实战案例分享

《Golang操作DuckDB实战案例分享》DuckDB是一个嵌入式SQL数据库引擎,它与众所周知的SQLite非常相似,但它是为olap风格的工作负载设计的,DuckDB支持各种数据类型和SQL特性... 目录DuckDB的主要优点环境准备初始化表和数据查询单行或多行错误处理和事务完整代码最后总结Duck
阅读更多...
Golang的CSP模型简介(最新推荐)

Golang的CSP模型简介(最新推荐)

《Golang的CSP模型简介(最新推荐)》Golang采用了CSP（CommunicatingSequentialProcesses,通信顺序进程）并发模型,通过goroutine和channe... 目录前言一、介绍1. 什么是 CSP 模型2. Goroutine3. Channel4. Channe
阅读更多...
k8s部署MongDB全过程

k8s部署MongDB全过程

《k8s部署MongDB全过程》文章介绍了如何在Kubernetes集群中部署MongoDB,包括环境准备、创建Secret、创建服务和Deployment,并通过Robo3T工具测试连接... 目录一、环境准备1.1 环境说明1.2 创建 namespace1.3 创建mongdb账号/密码二、创建Sec
阅读更多...
Java中的Opencv简介与开发环境部署方法

Java中的Opencv简介与开发环境部署方法

《Java中的Opencv简介与开发环境部署方法》OpenCV是一个开源的计算机视觉和图像处理库,提供了丰富的图像处理算法和工具,它支持多种图像处理和计算机视觉算法,可以用于物体识别与跟踪、图像分割与... 目录1.Opencv简介Opencv的应用2.Java使用OpenCV进行图像操作opencv安装j
阅读更多...
Python中的随机森林算法与实战

Python中的随机森林算法与实战

《Python中的随机森林算法与实战》本文详细介绍了随机森林算法,包括其原理、实现步骤、分类和回归案例,并讨论了其优点和缺点,通过面向对象编程实现了一个简单的随机森林模型,并应用于鸢尾花分类和波士顿房... 目录1、随机森林算法概述2、随机森林的原理3、实现步骤4、分类案例：使用随机森林预测鸢尾花品种4.1
阅读更多...
将Python应用部署到生产环境的小技巧分享

将Python应用部署到生产环境的小技巧分享

《将Python应用部署到生产环境的小技巧分享》文章主要讲述了在将Python应用程序部署到生产环境之前,需要进行的准备工作和最佳实践,包括心态调整、代码审查、测试覆盖率提升、配置文件优化、日志记录完... 目录部署前夜：从开发到生产的心理准备与检查清单环境搭建：打造稳固的应用运行平台自动化流水线：让部署像
阅读更多...
Python项目打包部署到服务器的实现

Python项目打包部署到服务器的实现

《Python项目打包部署到服务器的实现》本文主要介绍了PyCharm和Ubuntu服务器部署Python项目,包括打包、上传、安装和设置自启动服务的步骤,具有一定的参考价值,感兴趣的可以了解一下... 目录一、准备工作二、项目打包三、部署到服务器四、设置服务自启动一、准备工作开发环境：本文以PyChar
阅读更多...
shell脚本快速检查192.168.1网段ip是否在用的方法

shell脚本快速检查192.168.1网段ip是否在用的方法

《shell脚本快速检查192.168.1网段ip是否在用的方法》该Shell脚本通过并发ping命令检查192.168.1网段中哪些IP地址正在使用,脚本定义了网络段、超时时间和并行扫描数量,并使用... 目录脚本：检查 192.168.1 网段 IP 是否在用脚本说明使用方法示例输出优化建议总结检查 1
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2