《书生大模型实战营第3期》进阶岛第6关： MindSearch CPU-only 版部署

本文主要是介绍《书生大模型实战营第3期》进阶岛第6关： MindSearch CPU-only 版部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章大纲

MindSearch 简介
MindSearch CPU-only 版部署
- 1. 创建开发机 & 环境配置
- 2. 获取硅基流动 API Key
- 3. 启动 MindSearch
- - 3.1 启动后端
  - 3.2 启动前端
- 4. 部署到 HuggingFace Space
任务
参考文献
- 本人学习系列笔记
- - 第二期
  - 第三期
- 课程资源
- 论文
- 其他参考

MindSearch 简介

MindSearch是一个开源的人工智能搜索引擎框架，其性能与Perplexy.AI Pro相当。部署你自己的困惑.ai风格的搜索引擎！

MindSearch is an open-sourced AI search engine framework, with comparable performance with Perplexity.ai Pro. Deploy your own Perplexity.ai style search engine!

官网：

https://mindsearch.netlify.app/

论文：

https://arxiv.org/pdf/2407.20183

代码：

https://github.com/InternLM/MindSearch

在这里插入图片描述

这张图描述的是MindSearch框架的工作原理和工作流程，它由两个主要部分组成：WebPlanner和WebSearcher。

WebPlanner：作为高层规划器，WebPlanner负责组织推理步骤和协调多个WebSearcher的活动。

它通过创建和扩展一个动态图（InitGraph和Add node and edge）来模拟问题的解决过程。

图中展示了如何将用户查询分解为多个子问题（Node1, Node2, … Node-N），并逐步构建图谱以解决问题。

WebSearcher：负责执行细粒度的网络搜索，根据WebPlanner的指示，搜索相关信息，并将有价值的信息摘要反馈给WebPlanner。

图中展示了三个WebSearcher实例，它们分别搜索有关《原神》（Genshin Impact）的不同方面，如背景（Background）、角色和关系（Roles and Relationships）以及游戏特色（Horners）。

搜索和信息整合：WebPlanner首先根据用户查询“中国制作的视频游戏”重写搜索请求，并通过网络搜索API获取相关页面的内容。

图中提到了页面1和页面6，分别提供了关于《原神》的背景信息和其他中国视频游戏的概述。

多节点和多边的添加：WebPlanner根据搜索结果向图中添加多个节点和边，以构建问题的推理拓扑结构。

并行执行：WebSearcher以并行方式工作，分别搜索和整合有关《原神》的不同信息，然后将这些信息汇总到WebPlanner。

最终响应：在收集和整合了所有相关信息后，WebPlanner生成最终的响应，回答用户的原始问题。

这是一个框架图，展示了MindSearch如何通过WebPlanner和WebSearcher的协同工作来处理复杂的查询和信息整合任务。

MindSearch CPU-only 版部署

随着硅基流动提供了免费的 InternLM2.5-7B-Chat 服务（免费的 InternLM2.5-7B-Chat 真的很香），MindSearch 的部署与使用也就迎来了纯 CPU 版本，进一步降低了部署门槛。那就让我们来一起看看如何使用硅基流动的 API 来部署 MindSearch 吧。

接下来，我们以 InternStudio 算力平台为例，来部署 CPU-only 的 MindSearch 。

1. 创建开发机 & 环境配置

由于是 CPU-only，所以我们选择 10% A100 开发机即可，镜像方面选择 cuda-12.2。

然后我们新建一个目录用于存放 MindSearch 的相关代码，并把 MindSearch 仓库 clone 下来。

mkdir -p /root/mindsearch
cd /root/mindsearch
git clone https://github.com/InternLM/MindSearch.git
cd MindSearch && git checkout b832275 && cd ..

接下来，我们创建一个 conda 环境来安装相关依赖。

# 创建环境
conda create -n mindsearch python=3.10 -y
# 激活环境
conda activate mindsearch
# 安装依赖
pip install -r /root/mindsearch/MindSearch/requirements.txt

2. 获取硅基流动 API Key

因为要使用硅基流动的 API Key，所以接下来便是注册并获取 API Key 了。

首先，我们打开 https://account.siliconflow.cn/login 来注册硅基流动的账号（如果注册过，则直接登录即可）。

在完成注册后，打开 https://cloud.siliconflow.cn/account/ak 来准备 API Key。首先创建新 API 密钥，然后点击密钥进行复制，以备后续使用。

在这里插入图片描述

3. 启动 MindSearch

3.1 启动后端

由于硅基流动 API 的相关配置已经集成在了 MindSearch 中，所以我们可以直接执行下面的代码来启动 MindSearch 的后端。

export SILICON_API_KEY=第二步中复制的密钥
conda activate mindsearch
cd /root/mindsearch/MindSearch
python -m mindsearch.app --lang cn --model_format internlm_silicon --search_engine DuckDuckGoSearch

在这里插入图片描述

3.2 启动前端

在后端启动完成后，我们打开新终端运行如下命令来启动 MindSearch 的前端。

conda activate mindsearch
cd /root/mindsearch/MindSearch
python frontend/mindsearch_gradio.py

最后，我们把 8002 端口和 7882 端口都映射到本地。可以在本地的 powershell 中执行如下代码：

ssh -CNg -L 8002:127.0.0.1:8002 -L 7882:127.0.0.1:7882 root@ssh.intern-ai.org.cn -p <你的 SSH 端口号>

然后，我们在本地浏览器中打开 localhost:7882 即可体验啦。

在这里插入图片描述

如果遇到了 timeout 的问题，可以按照文档换用 Bing 的搜索接口。

4. 部署到 HuggingFace Space

最后，我们来将 MindSearch 部署到 HuggingFace Space。

我们首先打开 https://huggingface.co/spaces ，并点击 Create new Space，如下图所示。

在这里插入图片描述

在输入 Space name 并选择 License 后，选择配置如下所示。

在这里插入图片描述

然后，我们进入 Settings，配置硅基流动的 API Key。如下图所示。

在这里插入图片描述

选择 New secrets，name 一栏输入 SILICON_API_KEY，value 一栏输入你的 API Key 的内容。

在这里插入图片描述

最后，我们先新建一个目录，准备提交到 HuggingFace Space 的全部文件。

# 创建新目录
mkdir -p /root/mindsearch/mindsearch_deploy
# 准备复制文件
cd /root/mindsearch
cp -r /root/mindsearch/MindSearch/mindsearch /root/mindsearch/mindsearch_deploy
cp /root/mindsearch/MindSearch/requirements.txt /root/mindsearch/mindsearch_deploy
# 创建 app.py 作为程序入口
touch /root/mindsearch/mindsearch_deploy/app.py

其中，app.py 的内容如下：

import json
import osimport gradio as gr
import requests
from lagent.schema import AgentStatusCodeos.system("python -m mindsearch.app --lang cn --model_format internlm_silicon &")PLANNER_HISTORY = []
SEARCHER_HISTORY = []def rst_mem(history_planner: list, history_searcher: list):'''Reset the chatbot memory.'''history_planner = []history_searcher = []if PLANNER_HISTORY:PLANNER_HISTORY.clear()return history_planner, history_searcherdef format_response(gr_history, agent_return):if agent_return['state'] in [AgentStatusCode.STREAM_ING, AgentStatusCode.ANSWER_ING]:gr_history[-1][1] = agent_return['response']elif agent_return['state'] == AgentStatusCode.PLUGIN_START:thought = gr_history[-1][1].split('```')[0]if agent_return['response'].startswith('```'):gr_history[-1][1] = thought + '\n' + agent_return['response']elif agent_return['state'] == AgentStatusCode.PLUGIN_END:thought = gr_history[-1][1].split('```')[0]if isinstance(agent_return['response'], dict):gr_history[-1][1] = thought + '\n' + f'```json\n{json.dumps(agent_return["response"], ensure_ascii=False, indent=4)}\n```'  # noqa: E501elif agent_return['state'] == AgentStatusCode.PLUGIN_RETURN:assert agent_return['inner_steps'][-1]['role'] == 'environment'item = agent_return['inner_steps'][-1]gr_history.append([None,f"```json\n{json.dumps(item['content'], ensure_ascii=False, indent=4)}\n```"])gr_history.append([None, ''])returndef predict(history_planner, history_searcher):def streaming(raw_response):for chunk in raw_response.iter_lines(chunk_size=8192,decode_unicode=False,delimiter=b'\n'):if chunk:decoded = chunk.decode('utf-8')if decoded == '\r':continueif decoded[:6] == 'data: ':decoded = decoded[6:]elif decoded.startswith(': ping - '):continueresponse = json.loads(decoded)yield (response['response'], response['current_node'])global PLANNER_HISTORYPLANNER_HISTORY.append(dict(role='user', content=history_planner[-1][0]))new_search_turn = Trueurl = 'http://localhost:8002/solve'headers = {'Content-Type': 'application/json'}data = {'inputs': PLANNER_HISTORY}raw_response = requests.post(url,headers=headers,data=json.dumps(data),timeout=20,stream=True)for resp in streaming(raw_response):agent_return, node_name = respif node_name:if node_name in ['root', 'response']:continueagent_return = agent_return['nodes'][node_name]['detail']if new_search_turn:history_searcher.append([agent_return['content'], ''])new_search_turn = Falseformat_response(history_searcher, agent_return)if agent_return['state'] == AgentStatusCode.END:new_search_turn = Trueyield history_planner, history_searcherelse:new_search_turn = Trueformat_response(history_planner, agent_return)if agent_return['state'] == AgentStatusCode.END:PLANNER_HISTORY = agent_return['inner_steps']yield history_planner, history_searcherreturn history_planner, history_searcherwith gr.Blocks() as demo:gr.HTML("""<h1 align="center">MindSearch Gradio Demo</h1>""")gr.HTML("""<p style="text-align: center; font-family: Arial, sans-serif;">MindSearch is an open-source AI Search Engine Framework with Perplexity.ai Pro performance. You can deploy your own Perplexity.ai-style search engine using either closed-source LLMs (GPT, Claude) or open-source LLMs (InternLM2.5-7b-chat).</p>""")gr.HTML("""<div style="text-align: center; font-size: 16px;"><a href="https://github.com/InternLM/MindSearch" style="margin-right: 15px; text-decoration: none; color: #4A90E2;">🔗 GitHub</a><a href="https://arxiv.org/abs/2407.20183" style="margin-right: 15px; text-decoration: none; color: #4A90E2;">📄 Arxiv</a><a href="https://huggingface.co/papers/2407.20183" style="margin-right: 15px; text-decoration: none; color: #4A90E2;">📚 Hugging Face Papers</a><a href="https://huggingface.co/spaces/internlm/MindSearch" style="text-decoration: none; color: #4A90E2;">🤗 Hugging Face Demo</a></div>""")with gr.Row():with gr.Column(scale=10):with gr.Row():with gr.Column():planner = gr.Chatbot(label='planner',height=700,show_label=True,show_copy_button=True,bubble_full_width=False,render_markdown=True)with gr.Column():searcher = gr.Chatbot(label='searcher',height=700,show_label=True,show_copy_button=True,bubble_full_width=False,render_markdown=True)with gr.Row():user_input = gr.Textbox(show_label=False,placeholder='帮我搜索一下 InternLM 开源体系',lines=5,container=False)with gr.Row():with gr.Column(scale=2):submitBtn = gr.Button('Submit')with gr.Column(scale=1, min_width=20):emptyBtn = gr.Button('Clear History')def user(query, history):return '', history + [[query, '']]submitBtn.click(user, [user_input, planner], [user_input, planner],queue=False).then(predict, [planner, searcher],[planner, searcher])emptyBtn.click(rst_mem, [planner, searcher], [planner, searcher],queue=False)demo.queue()
demo.launch(server_name='0.0.0.0',server_port=7860,inbrowser=True,share=True)

在最后，将 /root/mindsearch/mindsearch_deploy 目录下的文件（使用 git）提交到 HuggingFace Space 即可完成部署了。

任务

https://github.com/InternLM/Tutorial/blob/camp3/docs/L2/MindSearch/task.md

记录复现过程并截图

基础任务（完成此任务即完成闯关）
按照教程，将 MindSearch 部署到 HuggingFace，并提供截图。

在这里插入图片描述

后端主要是这几个接口
在这里插入图片描述

如何根据三岁小孩的性格特点，给他制定对应的教育规划？

在这里插入图片描述

为了回答这个问题，我们需要首先了解三岁小孩的性格特点，然后根据这些特点制定相应的教育规划。我们将这个问题拆分为两个子问题：

了解三岁小孩的性格特点。
根据性格特点制定教育规划。

接下来，我将使用 WebSearchGraph 类来构建搜索图并逐步解答这个问题。

from ilagent.agents.python_web import WebSearchGraph
graph = WebSearchGraph()
graph.add_root_node(node_content="如何根据三岁小孩的性格特点，给他制定对应的教育规划？", node_name="root")# 添加第一个子问题节点：了解三岁小孩的性格特点
graph.add_node(node_name="性格特点",node_content="三岁小孩的性格特点有哪些？")
graph.add_edge(start_node="root", end_node="性格特点")# 添加第二个子问题节点：根据性格特点制定教育规划
graph.add_node(node_name="教育规划",node_content="如何为具有特定性格特质的三歲孩童制定合适的教育计划？")
graph.add_edge(start_node="root", end_node="教育规划")# 获取节点信息以确认设置是否正确
graph.node("性格特点"), graph.node("教育规划")

{"name": "BingBrowser.search","parameters": {"query": ["三岁小孩的性格特点","三岁儿童的心理发展特征","三岁孩子的行为特征和情感表达","如何理解三岁小孩的行为和性格"]}
}

参考文献

大模型实战营地址

https://openxlab.org.cn/models/InternLM/subject

本人学习系列笔记

第二期

《书生·浦语大模型实战营》第1课学习笔记：书生·浦语大模型全链路开源体系
《书生·浦语大模型实战营》第2课学习笔记：轻松玩转书生·浦语大模型趣味 Demo
《书生·浦语大模型实战营》第3课学习笔记：搭建你的 RAG 智能助理(茴香豆)
《书生·浦语大模型实战营》第4课学习笔记：XTuner 微调 LLM:1.8B、多模态、Agent
《书生·浦语大模型实战营》第5课学习笔记：LMDeploy 量化部署 LLM 实践
《书生·浦语大模型实战营》第6课学习笔记：Lagent & AgentLego 智能体应用搭建
《书生·浦语大模型实战营》第7课学习笔记：OpenCompass 大模型评测实战

第三期

入门岛

《书生大模型实战营第3期》入门岛学习笔记与作业：Linux 基础知识
《书生大模型实战营第3期》入门岛学习笔记与作业：Git 基础知识
《书生大模型实战营第3期》入门岛学习笔记与作业：Python 基础知识

基础岛

《书生大模型实战营第3期》基础岛第1关：书生大模型全链路开源体系
《书生大模型实战营第3期》基础岛第2关：8G 显存玩转书生大模型 Demo
《书生大模型实战营第3期》基础岛第3关：浦语提示词工程实践
《书生大模型实战营第3期》基础岛第4关：InternLM + LlamaIndex RAG 实践
《书生大模型实战营第3期》基础岛第5关：XTuner 微调个人小助手认知
《书生大模型实战营第3期》基础岛第6关：OpenCompass 评测 InternLM-1.8B 实践

课程资源

第三期学院闯关手册

https://aicarrier.feishu.cn/wiki/XBO6wpQcSibO1okrChhcBkQjnsf

第三期作业提交

https://aicarrier.feishu.cn/share/base/form/shrcnZ4bQ4YmhEtMtnKxZUcf1vd

第二期学员手册

https://aicarrier.feishu.cn/wiki/KamPwGy0SiArQbklScZcSpVNnTb

算力平台

https://studio.intern-ai.org.cn/console/dashboard
https://studio.intern-ai.org.cn/

课程文档

https://github.com/InternLM/Tutorial/tree/camp3
https://github.com/InternLM/Tutorial/tree/camp2

课程视频

https://www.bilibili.com/video/BV15m421j78d

代码仓库

https://github.com/InternLM/Tutorial
https://github.com/InternLM/Tutorial/tree/camp2

优秀项目展示与学习

https://aicarrier.feishu.cn/wiki/DoKWwqslwiyjjKkHhqJcvXAZnwd?table=tblyxy5MZV7gJ7yS&view=vew0rj0WuN

论文

其他参考

原始视频

https://www.bilibili.com/video/BV18142187g5/?vd_source=d7bc15cac5976d766ca368e2f081b28b

原始文档

https://github.com/InternLM/Tutorial/blob/camp3/docs/L0/Linux/readme.md

本人博客：

基于大语言模型的本地知识库问答系统构建方案

这篇关于《书生大模型实战营第3期》进阶岛第6关： MindSearch CPU-only 版部署的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

《书生大模型实战营第3期》进阶岛第6关： MindSearch CPU-only 版部署

文章大纲

MindSearch 简介

MindSearch CPU-only 版部署

1. 创建开发机 & 环境配置

2. 获取硅基流动 API Key

3. 启动 MindSearch

3.1 启动后端

3.2 启动前端

4. 部署到 HuggingFace Space

任务

参考文献

本人学习系列笔记

第二期

第三期

课程资源

论文

其他参考

相关文章

在Ubuntu上部署SpringBoot应用的操作步骤

Golang使用minio替代文件系统的实战教程

Node.js 中 http 模块的深度剖析与实战应用小结

Jenkins中自动化部署Spring Boot项目的全过程

Python基于火山引擎豆包大模型搭建QQ机器人详细教程(2024年最新)

使用Python检查CPU型号并弹出警告信息

若依部署Nginx和Tomcat全过程

Nginx、Tomcat等项目部署问题以及解决流程

网页解析 lxml 库--实战

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

《书生大模型实战营第3期》进阶岛 第6关： MindSearch CPU-only 版部署

文章大纲

MindSearch 简介

MindSearch CPU-only 版部署

1. 创建开发机 & 环境配置

2. 获取硅基流动 API Key

3. 启动 MindSearch

3.1 启动后端

3.2 启动前端

4. 部署到 HuggingFace Space

任务

参考文献

本人学习系列笔记

第二期

第三期

课程资源

论文

其他参考

相关文章

《书生大模型实战营第3期》进阶岛第6关： MindSearch CPU-only 版部署