【书生大模型实战营】进阶岛 第6关 MindSearch 快速部署

2024-09-03 06:36

本文主要是介绍【书生大模型实战营】进阶岛 第6关 MindSearch 快速部署,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 【书生大模型实战营】进阶岛 第6关 MindSearch 快速部署
  • MindSearch 部署到Github Codespace 和 Hugging Face Space
  • 创建开发机 & 环境配置
  • MindSearch下载及环境配置
  • 获取硅基流动API Key
  • 作业 - 基础任务
  • 在Github codespaces 启动 MindSearch
  • 通过 Github Codespace 完成HuggingFace Space部署
  • 把刚才准备的文件都copy进来

【书生大模型实战营】进阶岛 第6关 MindSearch 快速部署

MindSearch 部署到Github Codespace 和 Hugging Face Space

和原有的CPU版本相比区别是把internstudio换成了github codespace。

随着硅基流动提供了免费的 InternLM2.5-7B-Chat 服务(免费的 InternLM2.5-7B-Chat 真的很香),MindSearch 的部署与使用也就迎来了纯 CPU 版本,进一步降低了部署门槛。那就让我们来一起看看如何使用硅基流动的 API 来部署 MindSearch 吧。

创建开发机 & 环境配置

由于HuggingFace被墙,我们通过github-codespace 的 vscode Linux 环境提交到 hugging face。打开codespace主页,选择blank template,浏览器会自动在新的页面打开一个web版的vscode。
在这里插入图片描述

MindSearch下载及环境配置

#MindSearch下载
mkdir -p /workspaces/mindsearch
cd /workspaces/mindsearch
git clone https://github.com/InternLM/MindSearch.git
cd MindSearch && git checkout b832275 && cd …

#创建环境
conda create -n mindsearch python=3.10 -y
#激活环境
conda activate mindsearch
#安装依赖
pip install -r /workspaces/mindsearch/MindSearch/requirements.txt

获取硅基流动API Key

首先打开 https://account.siliconflow.cn/login 来注册硅基流动的账号。完成注册后,打开 https://cloud.siliconflow.cn/account/ak 来准备 API Key。首先创建新 API 密钥,然后点击密钥进行复制,以备后续使用。
在这里插入图片描述

作业 - 基础任务

将 MindSearch 部署到 HuggingFace,并提供截图。(记录复现过程并截图)

在Github codespaces 启动 MindSearch

启动后端
硅基流动 API 的相关配置已经集成在了 MindSearch 中,所以我们可以直接执行下面的代码来启动 MindSearch 的后端。

export SILICON_API_KEY=第二步中复制的密钥

cd /workspaces/mindsearch/MindSearch
python -m mindsearch.app --lang cn --model_format internlm_silicon --search_engine DuckDuckGoSearch
在这里插入图片描述

启动前端
在后端启动完成后,我们打开新终端运行如下命令来启动 MindSearch 的前端。

cd /workspaces/mindsearch/MindSearch
python frontend/mindsearch_gradio.py
在这里插入图片描述

通过InternLM 启动web浏览器访问
上述同样步骤在InternLM开发机(10%A100即可)部署启动后 把 8002 端口和 7882 端口都映射到本地:

ssh -CNg -L 8002:127.0.0.1:8002 -L 7882:127.0.0.1:7882 root@ssh.intern-ai.org.cn -p 42678
然后在本地浏览器中打开 localhost:7882 即可体验啦。
在这里插入图片描述
效果

如果遇到了 timeout 的问题,可以按照 文档 换用 Bing 的搜索接口。

通过 Github Codespace 完成HuggingFace Space部署

我们首先打开 https://huggingface.co/spaces ,并点击 Create new Space。然后进入 Settings,配置硅基流动的 API Key。选择 New secrets,name 一栏输入 SILICON_API_KEY,value 一栏输入你的 API Key 的内容。

在这里插入图片描述

先新建一个目录,准备提交到 HuggingFace Space 的全部文件。

#创建新目录
mkdir -p /root/mindsearch/mindsearch_deploy
#准备复制文件
cd /root/mindsearch
cp -r /root/mindsearch/MindSearch/mindsearch /root/mindsearch/mindsearch_deploy
cp /root/mindsearch/MindSearch/requirements.txt /root/mindsearch/mindsearch_deploy
#创建 app.py 作为程序入口
touch /root/mindsearch/mindsearch_deploy/app.py
其中,app.py 的内容如下:
import json
import os

import gradio as gr
import requests
from lagent.schema import AgentStatusCode

os.system(“python -m mindsearch.app --lang cn --model_format internlm_silicon &”)

PLANNER_HISTORY = []
SEARCHER_HISTORY = []

def rst_mem(history_planner: list, history_searcher: list):
‘’’
Reset the chatbot memory.
‘’’
history_planner = []
history_searcher = []
if PLANNER_HISTORY:
PLANNER_HISTORY.clear()
return history_planner, history_searcher

def format_response(gr_history, agent_return):
if agent_return[‘state’] in [
AgentStatusCode.STREAM_ING, AgentStatusCode.ANSWER_ING
]:
gr_history[-1][1] = agent_return[‘response’]
elif agent_return[‘state’] == AgentStatusCode.PLUGIN_START:
thought = gr_history[-1][1].split(‘')[0] if agent_return['response'].startswith('’):
gr_history[-1][1] = thought + ‘\n’ + agent_return[‘response’]
elif agent_return[‘state’] == AgentStatusCode.PLUGIN_END:
thought = gr_history[-1][1].split('')[0] if isinstance(agent_return['response'], dict): gr_history[-1][ 1] = thought + '\n' + f'json\n{json.dumps(agent_return[“response”], ensure_ascii=False, indent=4)}\n' # noqa: E501 elif agent_return['state'] == AgentStatusCode.PLUGIN_RETURN: assert agent_return['inner_steps'][-1]['role'] == 'environment' item = agent_return['inner_steps'][-1] gr_history.append([ None, f"json\n{json.dumps(item[‘content’], ensure_ascii=False, indent=4)}\n```"
])
gr_history.append([None, ‘’])
return

def predict(history_planner, history_searcher):

def streaming(raw_response):for chunk in raw_response.iter_lines(chunk_size=8192,decode_unicode=False,delimiter=b'\n'):if chunk:decoded = chunk.decode('utf-8')if decoded == '\r':continueif decoded[:6] == 'data: ':decoded = decoded[6:]elif decoded.startswith(': ping - '):continueresponse = json.loads(decoded)yield (response['response'], response['current_node'])global PLANNER_HISTORY
PLANNER_HISTORY.append(dict(role='user', content=history_planner[-1][0]))
new_search_turn = Trueurl = 'http://localhost:8002/solve'
headers = {'Content-Type': 'application/json'}
data = {'inputs': PLANNER_HISTORY}
raw_response = requests.post(url,headers=headers,data=json.dumps(data),timeout=20,stream=True)for resp in streaming(raw_response):agent_return, node_name = respif node_name:if node_name in ['root', 'response']:continueagent_return = agent_return['nodes'][node_name]['detail']if new_search_turn:history_searcher.append([agent_return['content'], ''])new_search_turn = Falseformat_response(history_searcher, agent_return)if agent_return['state'] == AgentStatusCode.END:new_search_turn = Trueyield history_planner, history_searcherelse:new_search_turn = Trueformat_response(history_planner, agent_return)if agent_return['state'] == AgentStatusCode.END:PLANNER_HISTORY = agent_return['inner_steps']yield history_planner, history_searcher
return history_planner, history_searcher

with gr.Blocks() as demo:
gr.HTML(“”“

MindSearch Gradio Demo

”“”)
gr.HTML(“”“

MindSearch is an open-source AI Search Engine Framework with Perplexity.ai Pro performance. You can deploy your own Perplexity.ai-style search engine using either closed-source LLMs (GPT, Claude) or open-source LLMs (InternLM2.5-7b-chat).

”“”)
gr.HTML(“”"

🔗 GitHub
📄 Arxiv
📚 Hugging Face Papers
🤗 Hugging Face Demo

“”")
with gr.Row():
with gr.Column(scale=10):
with gr.Row():
with gr.Column():
planner = gr.Chatbot(label=‘planner’,
height=700,
show_label=True,
show_copy_button=True,
bubble_full_width=False,
render_markdown=True)
with gr.Column():
searcher = gr.Chatbot(label=‘searcher’,
height=700,
show_label=True,
show_copy_button=True,
bubble_full_width=False,
render_markdown=True)
with gr.Row():
user_input = gr.Textbox(show_label=False,
placeholder=‘帮我搜索一下 InternLM 开源体系’,
lines=5,
container=False)
with gr.Row():
with gr.Column(scale=2):
submitBtn = gr.Button(‘Submit’)
with gr.Column(scale=1, min_width=20):
emptyBtn = gr.Button(‘Clear History’)
def user(query, history):return '', history + [[query, '']]submitBtn.click(user, [user_input, planner], [user_input, planner],queue=False).then(predict, [planner, searcher],[planner, searcher])
emptyBtn.click(rst_mem, [planner, searcher], [planner, searcher],queue=False)

demo.queue()
demo.launch(server_name=‘0.0.0.0’,
server_port=7860,
inbrowser=True,
share=True)

在最后,将 /root/mindsearch/mindsearch_deploy 目录下的文件(使用 git)提交到 HuggingFace Space 即可完成部署了。

部署到 HuggingFace Space
接下来创建一个有写权限的token。
在这里插入图片描述
从huggingface把空的代码仓库clone到codespace。在Codespaces shell 命令行窗口中执行:

cd /workspaces/codespaces-blank
git clone https://zhangdeqiang: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@huggingface.co/spaces/zed5337/MyMindSearch
codespace就是本地仓库,huggingface space是远程仓库,接下来使用方法就和常规的git一样了。

cd /workspaces/codespaces-blank/MyMindSearch

把刚才准备的文件都copy进来

cp -r /workspaces/mindsearch/mindsearch_deploy/* .

把上述代码提交到huggingface space。

在这里插入图片描述
后续一样就不在多做赘述。

这篇关于【书生大模型实战营】进阶岛 第6关 MindSearch 快速部署的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1132302

相关文章

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库,完全使用 Python 语言编写,它对 XPath表达式提供了良好的支 持,因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块,该模块专门用来解析 HTML/XML 文档,下面来介绍一下 lxml 库

闲置电脑也能活出第二春?鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言,在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况,这使得“存储焦虑”不再是个别现象,而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得,我们似乎正处在互联网信息飞速增长的阶段,对于存储的需求也将会不断扩大。对于苹果用户而言,这一问题愈发严峻,毕竟512GB和1TB版本的iPhone可不是人人都消费得起的,因此成熟的外置存储方案开

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

Java进阶13讲__第12讲_1/2

多线程、线程池 1.  线程概念 1.1  什么是线程 1.2  线程的好处 2.   创建线程的三种方式 注意事项 2.1  继承Thread类 2.1.1 认识  2.1.2  编码实现  package cn.hdc.oop10.Thread;import org.slf4j.Logger;import org.slf4j.LoggerFactory

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

电脑桌面文件删除了怎么找回来?别急,快速恢复攻略在此

在日常使用电脑的过程中,我们经常会遇到这样的情况:一不小心,桌面上的某个重要文件被删除了。这时,大多数人可能会感到惊慌失措,不知所措。 其实,不必过于担心,因为有很多方法可以帮助我们找回被删除的桌面文件。下面,就让我们一起来了解一下这些恢复桌面文件的方法吧。 一、使用撤销操作 如果我们刚刚删除了桌面上的文件,并且还没有进行其他操作,那么可以尝试使用撤销操作来恢复文件。在键盘上同时按下“C

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

C#实战|大乐透选号器[6]:实现实时显示已选择的红蓝球数量

哈喽,你好啊,我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记,这是第6篇; 接下来实现实时显示当前选中红球数量,蓝球数量; 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时,在对应的位置显示实时已选择的红球、蓝球的数量; 02 标签名称 分别设置Label标签名称为:lblRedCount、lblBlueCount