《书生大模型实战营第3期》进阶岛第6关： MindSearch CPU-only 版部署

本文主要是介绍《书生大模型实战营第3期》进阶岛第6关： MindSearch CPU-only 版部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章大纲

MindSearch 简介
MindSearch CPU-only 版部署
- 1. 创建开发机 & 环境配置
- 2. 获取硅基流动 API Key
- 3. 启动 MindSearch
- - 3.1 启动后端
  - 3.2 启动前端
- 4. 部署到 HuggingFace Space
任务
参考文献
- 本人学习系列笔记
- - 第二期
  - 第三期
- 课程资源
- 论文
- 其他参考

MindSearch 简介

MindSearch是一个开源的人工智能搜索引擎框架，其性能与Perplexy.AI Pro相当。部署你自己的困惑.ai风格的搜索引擎！

MindSearch is an open-sourced AI search engine framework, with comparable performance with Perplexity.ai Pro. Deploy your own Perplexity.ai style search engine!

官网：

https://mindsearch.netlify.app/

论文：

https://arxiv.org/pdf/2407.20183

代码：

https://github.com/InternLM/MindSearch

在这里插入图片描述

这张图描述的是MindSearch框架的工作原理和工作流程，它由两个主要部分组成：WebPlanner和WebSearcher。

WebPlanner：作为高层规划器，WebPlanner负责组织推理步骤和协调多个WebSearcher的活动。

它通过创建和扩展一个动态图（InitGraph和Add node and edge）来模拟问题的解决过程。

图中展示了如何将用户查询分解为多个子问题（Node1, Node2, … Node-N），并逐步构建图谱以解决问题。

WebSearcher：负责执行细粒度的网络搜索，根据WebPlanner的指示，搜索相关信息，并将有价值的信息摘要反馈给WebPlanner。

图中展示了三个WebSearcher实例，它们分别搜索有关《原神》（Genshin Impact）的不同方面，如背景（Background）、角色和关系（Roles and Relationships）以及游戏特色（Horners）。

搜索和信息整合：WebPlanner首先根据用户查询“中国制作的视频游戏”重写搜索请求，并通过网络搜索API获取相关页面的内容。

图中提到了页面1和页面6，分别提供了关于《原神》的背景信息和其他中国视频游戏的概述。

多节点和多边的添加：WebPlanner根据搜索结果向图中添加多个节点和边，以构建问题的推理拓扑结构。

并行执行：WebSearcher以并行方式工作，分别搜索和整合有关《原神》的不同信息，然后将这些信息汇总到WebPlanner。

最终响应：在收集和整合了所有相关信息后，WebPlanner生成最终的响应，回答用户的原始问题。

这是一个框架图，展示了MindSearch如何通过WebPlanner和WebSearcher的协同工作来处理复杂的查询和信息整合任务。

MindSearch CPU-only 版部署

随着硅基流动提供了免费的 InternLM2.5-7B-Chat 服务（免费的 InternLM2.5-7B-Chat 真的很香），MindSearch 的部署与使用也就迎来了纯 CPU 版本，进一步降低了部署门槛。那就让我们来一起看看如何使用硅基流动的 API 来部署 MindSearch 吧。

接下来，我们以 InternStudio 算力平台为例，来部署 CPU-only 的 MindSearch 。

1. 创建开发机 & 环境配置

由于是 CPU-only，所以我们选择 10% A100 开发机即可，镜像方面选择 cuda-12.2。

然后我们新建一个目录用于存放 MindSearch 的相关代码，并把 MindSearch 仓库 clone 下来。

mkdir -p /root/mindsearch
cd /root/mindsearch
git clone https://github.com/InternLM/MindSearch.git
cd MindSearch && git checkout b832275 && cd ..

接下来，我们创建一个 conda 环境来安装相关依赖。

# 创建环境
conda create -n mindsearch python=3.10 -y
# 激活环境
conda activate mindsearch
# 安装依赖
pip install -r /root/mindsearch/MindSearch/requirements.txt

2. 获取硅基流动 API Key

因为要使用硅基流动的 API Key，所以接下来便是注册并获取 API Key 了。

首先，我们打开 https://account.siliconflow.cn/login 来注册硅基流动的账号（如果注册过，则直接登录即可）。

在完成注册后，打开 https://cloud.siliconflow.cn/account/ak 来准备 API Key。首先创建新 API 密钥，然后点击密钥进行复制，以备后续使用。

在这里插入图片描述

3. 启动 MindSearch

3.1 启动后端

由于硅基流动 API 的相关配置已经集成在了 MindSearch 中，所以我们可以直接执行下面的代码来启动 MindSearch 的后端。

export SILICON_API_KEY=第二步中复制的密钥
conda activate mindsearch
cd /root/mindsearch/MindSearch
python -m mindsearch.app --lang cn --model_format internlm_silicon --search_engine DuckDuckGoSearch

在这里插入图片描述

3.2 启动前端

在后端启动完成后，我们打开新终端运行如下命令来启动 MindSearch 的前端。

conda activate mindsearch
cd /root/mindsearch/MindSearch
python frontend/mindsearch_gradio.py

最后，我们把 8002 端口和 7882 端口都映射到本地。可以在本地的 powershell 中执行如下代码：

ssh -CNg -L 8002:127.0.0.1:8002 -L 7882:127.0.0.1:7882 root@ssh.intern-ai.org.cn -p <你的 SSH 端口号>

然后，我们在本地浏览器中打开 localhost:7882 即可体验啦。

在这里插入图片描述

如果遇到了 timeout 的问题，可以按照文档换用 Bing 的搜索接口。

4. 部署到 HuggingFace Space

最后，我们来将 MindSearch 部署到 HuggingFace Space。

我们首先打开 https://huggingface.co/spaces ，并点击 Create new Space，如下图所示。

在这里插入图片描述

在输入 Space name 并选择 License 后，选择配置如下所示。

在这里插入图片描述

然后，我们进入 Settings，配置硅基流动的 API Key。如下图所示。

在这里插入图片描述

选择 New secrets，name 一栏输入 SILICON_API_KEY，value 一栏输入你的 API Key 的内容。

在这里插入图片描述

最后，我们先新建一个目录，准备提交到 HuggingFace Space 的全部文件。

# 创建新目录
mkdir -p /root/mindsearch/mindsearch_deploy
# 准备复制文件
cd /root/mindsearch
cp -r /root/mindsearch/MindSearch/mindsearch /root/mindsearch/mindsearch_deploy
cp /root/mindsearch/MindSearch/requirements.txt /root/mindsearch/mindsearch_deploy
# 创建 app.py 作为程序入口
touch /root/mindsearch/mindsearch_deploy/app.py

其中，app.py 的内容如下：

import json
import osimport gradio as gr
import requests
from lagent.schema import AgentStatusCodeos.system("python -m mindsearch.app --lang cn --model_format internlm_silicon &")PLANNER_HISTORY = []
SEARCHER_HISTORY = []def rst_mem(history_planner: list, history_searcher: list):'''Reset the chatbot memory.'''history_planner = []history_searcher = []if PLANNER_HISTORY:PLANNER_HISTORY.clear()return history_planner, history_searcherdef format_response(gr_history, agent_return):if agent_return['state'] in [AgentStatusCode.STREAM_ING, AgentStatusCode.ANSWER_ING]:gr_history[-1][1] = agent_return['response']elif agent_return['state'] == AgentStatusCode.PLUGIN_START:thought = gr_history[-1][1].split('```')[0]if agent_return['response'].startswith('```'):gr_history[-1][1] = thought + '\n' + agent_return['response']elif agent_return['state'] == AgentStatusCode.PLUGIN_END:thought = gr_history[-1][1].split('```')[0]if isinstance(agent_return['response'], dict):gr_history[-1][1] = thought + '\n' + f'```json\n{json.dumps(agent_return["response"], ensure_ascii=False, indent=4)}\n```'  # noqa: E501elif agent_return['state'] == AgentStatusCode.PLUGIN_RETURN:assert agent_return['inner_steps'][-1]['role'] == 'environment'item = agent_return['inner_steps'][-1]gr_history.append([None,f"```json\n{json.dumps(item['content'], ensure_ascii=False, indent=4)}\n```"])gr_history.append([None, ''])returndef predict(history_planner, history_searcher):def streaming(raw_response):for chunk in raw_response.iter_lines(chunk_size=8192,decode_unicode=False,delimiter=b'\n'):if chunk:decoded = chunk.decode('utf-8')if decoded == '\r':continueif decoded[:6] == 'data: ':decoded = decoded[6:]elif decoded.startswith(': ping - '):continueresponse = json.loads(decoded)yield (response['response'], response['current_node'])global PLANNER_HISTORYPLANNER_HISTORY.append(dict(role='user', content=history_planner[-1][0]))new_search_turn = Trueurl = 'http://localhost:8002/solve'headers = {'Content-Type': 'application/json'}data = {'inputs': PLANNER_HISTORY}raw_response = requests.post(url,headers=headers,data=json.dumps(data),timeout=20,stream=True)for resp in streaming(raw_response):agent_return, node_name = respif node_name:if node_name in ['root', 'response']:continueagent_return = agent_return['nodes'][node_name]['detail']if new_search_turn:history_searcher.append([agent_return['content'], ''])new_search_turn = Falseformat_response(history_searcher, agent_return)if agent_return['state'] == AgentStatusCode.END:new_search_turn = Trueyield history_planner, history_searcherelse:new_search_turn = Trueformat_response(history_planner, agent_return)if agent_return['state'] == AgentStatusCode.END:PLANNER_HISTORY = agent_return['inner_steps']yield history_planner, history_searcherreturn history_planner, history_searcherwith gr.Blocks() as demo:gr.HTML("""<h1 align="center">MindSearch Gradio Demo</h1>""")gr.HTML("""<p style="text-align: center; font-family: Arial, sans-serif;">MindSearch is an open-source AI Search Engine Framework with Perplexity.ai Pro performance. You can deploy your own Perplexity.ai-style search engine using either closed-source LLMs (GPT, Claude) or open-source LLMs (InternLM2.5-7b-chat).</p>""")gr.HTML("""<div style="text-align: center; font-size: 16px;"><a href="https://github.com/InternLM/MindSearch" style="margin-right: 15px; text-decoration: none; color: #4A90E2;">🔗 GitHub</a><a href="https://arxiv.org/abs/2407.20183" style="margin-right: 15px; text-decoration: none; color: #4A90E2;">📄 Arxiv</a><a href="https://huggingface.co/papers/2407.20183" style="margin-right: 15px; text-decoration: none; color: #4A90E2;">📚 Hugging Face Papers</a><a href="https://huggingface.co/spaces/internlm/MindSearch" style="text-decoration: none; color: #4A90E2;">🤗 Hugging Face Demo</a></div>""")with gr.Row():with gr.Column(scale=10):with gr.Row():with gr.Column():planner = gr.Chatbot(label='planner',height=700,show_label=True,show_copy_button=True,bubble_full_width=False,render_markdown=True)with gr.Column():searcher = gr.Chatbot(label='searcher',height=700,show_label=True,show_copy_button=True,bubble_full_width=False,render_markdown=True)with gr.Row():user_input = gr.Textbox(show_label=False,placeholder='帮我搜索一下 InternLM 开源体系',lines=5,container=False)with gr.Row():with gr.Column(scale=2):submitBtn = gr.Button('Submit')with gr.Column(scale=1, min_width=20):emptyBtn = gr.Button('Clear History')def user(query, history):return '', history + [[query, '']]submitBtn.click(user, [user_input, planner], [user_input, planner],queue=False).then(predict, [planner, searcher],[planner, searcher])emptyBtn.click(rst_mem, [planner, searcher], [planner, searcher],queue=False)demo.queue()
demo.launch(server_name='0.0.0.0',server_port=7860,inbrowser=True,share=True)

在最后，将 /root/mindsearch/mindsearch_deploy 目录下的文件（使用 git）提交到 HuggingFace Space 即可完成部署了。

任务

https://github.com/InternLM/Tutorial/blob/camp3/docs/L2/MindSearch/task.md

记录复现过程并截图

基础任务（完成此任务即完成闯关）
按照教程，将 MindSearch 部署到 HuggingFace，并提供截图。

在这里插入图片描述

后端主要是这几个接口
在这里插入图片描述

如何根据三岁小孩的性格特点，给他制定对应的教育规划？

在这里插入图片描述

为了回答这个问题，我们需要首先了解三岁小孩的性格特点，然后根据这些特点制定相应的教育规划。我们将这个问题拆分为两个子问题：

了解三岁小孩的性格特点。
根据性格特点制定教育规划。

接下来，我将使用 WebSearchGraph 类来构建搜索图并逐步解答这个问题。

from ilagent.agents.python_web import WebSearchGraph
graph = WebSearchGraph()
graph.add_root_node(node_content="如何根据三岁小孩的性格特点，给他制定对应的教育规划？", node_name="root")# 添加第一个子问题节点：了解三岁小孩的性格特点
graph.add_node(node_name="性格特点",node_content="三岁小孩的性格特点有哪些？")
graph.add_edge(start_node="root", end_node="性格特点")# 添加第二个子问题节点：根据性格特点制定教育规划
graph.add_node(node_name="教育规划",node_content="如何为具有特定性格特质的三歲孩童制定合适的教育计划？")
graph.add_edge(start_node="root", end_node="教育规划")# 获取节点信息以确认设置是否正确
graph.node("性格特点"), graph.node("教育规划")

{"name": "BingBrowser.search","parameters": {"query": ["三岁小孩的性格特点","三岁儿童的心理发展特征","三岁孩子的行为特征和情感表达","如何理解三岁小孩的行为和性格"]}
}

参考文献

大模型实战营地址

https://openxlab.org.cn/models/InternLM/subject

本人学习系列笔记

第二期

《书生·浦语大模型实战营》第1课学习笔记：书生·浦语大模型全链路开源体系
《书生·浦语大模型实战营》第2课学习笔记：轻松玩转书生·浦语大模型趣味 Demo
《书生·浦语大模型实战营》第3课学习笔记：搭建你的 RAG 智能助理(茴香豆)
《书生·浦语大模型实战营》第4课学习笔记：XTuner 微调 LLM:1.8B、多模态、Agent
《书生·浦语大模型实战营》第5课学习笔记：LMDeploy 量化部署 LLM 实践
《书生·浦语大模型实战营》第6课学习笔记：Lagent & AgentLego 智能体应用搭建
《书生·浦语大模型实战营》第7课学习笔记：OpenCompass 大模型评测实战

第三期

入门岛

《书生大模型实战营第3期》入门岛学习笔记与作业：Linux 基础知识
《书生大模型实战营第3期》入门岛学习笔记与作业：Git 基础知识
《书生大模型实战营第3期》入门岛学习笔记与作业：Python 基础知识

基础岛

《书生大模型实战营第3期》基础岛第1关：书生大模型全链路开源体系
《书生大模型实战营第3期》基础岛第2关：8G 显存玩转书生大模型 Demo
《书生大模型实战营第3期》基础岛第3关：浦语提示词工程实践
《书生大模型实战营第3期》基础岛第4关：InternLM + LlamaIndex RAG 实践
《书生大模型实战营第3期》基础岛第5关：XTuner 微调个人小助手认知
《书生大模型实战营第3期》基础岛第6关：OpenCompass 评测 InternLM-1.8B 实践

课程资源

第三期学院闯关手册

https://aicarrier.feishu.cn/wiki/XBO6wpQcSibO1okrChhcBkQjnsf

第三期作业提交

https://aicarrier.feishu.cn/share/base/form/shrcnZ4bQ4YmhEtMtnKxZUcf1vd

第二期学员手册

https://aicarrier.feishu.cn/wiki/KamPwGy0SiArQbklScZcSpVNnTb

算力平台

https://studio.intern-ai.org.cn/console/dashboard
https://studio.intern-ai.org.cn/

课程文档

https://github.com/InternLM/Tutorial/tree/camp3
https://github.com/InternLM/Tutorial/tree/camp2

课程视频

https://www.bilibili.com/video/BV15m421j78d

代码仓库

https://github.com/InternLM/Tutorial
https://github.com/InternLM/Tutorial/tree/camp2

优秀项目展示与学习

https://aicarrier.feishu.cn/wiki/DoKWwqslwiyjjKkHhqJcvXAZnwd?table=tblyxy5MZV7gJ7yS&view=vew0rj0WuN

论文

其他参考

原始视频

https://www.bilibili.com/video/BV18142187g5/?vd_source=d7bc15cac5976d766ca368e2f081b28b

原始文档

https://github.com/InternLM/Tutorial/blob/camp3/docs/L0/Linux/readme.md

本人博客：

基于大语言模型的本地知识库问答系统构建方案

这篇关于《书生大模型实战营第3期》进阶岛第6关： MindSearch CPU-only 版部署的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

《书生大模型实战营第3期》进阶岛第6关： MindSearch CPU-only 版部署

文章大纲

MindSearch 简介

MindSearch CPU-only 版部署

1. 创建开发机 & 环境配置

2. 获取硅基流动 API Key

3. 启动 MindSearch

3.1 启动后端

3.2 启动前端

4. 部署到 HuggingFace Space

任务

参考文献

本人学习系列笔记

第二期

第三期

课程资源

论文

其他参考

相关文章

Java的IO模型、Netty原理解析

tomcat多实例部署的项目实践

SpringBoot配置Ollama实现本地部署DeepSeek

基于Flask框架添加多个AI模型的API并进行交互

通过Docker Compose部署MySQL的详细教程

CentOS 7部署主域名服务器 DNS的方法

Python实战之屏幕录制功能的实现

最新Spring Security实战教程之Spring Security安全框架指南

最新Spring Security实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)

OpenManus本地部署实战亲测有效完全免费(最新推荐)

《书生大模型实战营第3期》进阶岛 第6关： MindSearch CPU-only 版部署

文章大纲

MindSearch 简介

MindSearch CPU-only 版部署

1. 创建开发机 & 环境配置

2. 获取硅基流动 API Key

3. 启动 MindSearch

3.1 启动后端

3.2 启动前端

4. 部署到 HuggingFace Space

任务

参考文献

本人学习系列笔记

第二期

第三期

课程资源

论文

其他参考

相关文章

《书生大模型实战营第3期》进阶岛第6关： MindSearch CPU-only 版部署