书生专题

书生大模型实战营（第3期）进阶岛第3关--LMDeploy 量化部署进阶实践

1 配置LMDeploy环境 1.1 InternStudio开发机创建与环境搭建点选开发机，自拟一个开发机名称，选择Cuda12.2-conda镜像。我们要运行参数量为7B的InternLM2.5，由InternLM2.5的码仓查询InternLM2.5-7b-chat的config.json文件可知，该模型的权重被存储为bfloat16格式。对于一个7B（70亿）参数的模型，

【书生大模型实战营】进阶岛第6关 MindSearch 快速部署

文章目录【书生大模型实战营】进阶岛第6关 MindSearch 快速部署MindSearch 部署到Github Codespace 和 Hugging Face Space创建开发机 & 环境配置MindSearch下载及环境配置获取硅基流动API Key作业 - 基础任务在Github codespaces 启动 MindSearch通过 Github Codespace 完成Hug

【书生大模型实战营】进阶岛第2关 Lagent 自定义你的 Agent 智能体

文章目录【书生大模型实战营】进阶岛第2关 Lagent 自定义你的 Agent 智能体学习任务Lagent 介绍环境配置Lagent Web Demo 使用基于 Lagent 自定义智能体【书生大模型实战营】进阶岛第2关 Lagent 自定义你的 Agent 智能体学习任务使用 Lagent 自定义一个智能体，并使用 Lagent Web Demo 成功部署与调用

书生大模型实战营闯关记录----第十一关：LMDeploy 量化部署进阶实践 KV cache量化部署,W4A16 模型量化和部署

文章目录 1 配置LMDeploy环境1.1 环境搭建1.2 InternStudio环境获取模型1.3 LMDeploy验证启动模型文件 2 LMDeploy与InternLM2.5 2.1 LMDeploy API部署InternLM2.52.1.1 启动API服务器 2.1.2 以命令行形式连接API服务器 2.1.3 以Gradio**网页形式连接API服务器** 2.2 LMDe

【书生大模型实战营】进阶岛第1关探索 InternLM 模型能力边界

文章目录【书生大模型实战营】进阶岛第1关探索 InternLM 模型能力边界学习任务Bad Case 1：Bad Case 2：Bad Case 3：Bad Case 4：Bad Case 5：Good Case 1：Good Case 2：Good Case 3：Good Case 4：Good Case 5：【书生大模型实战营】进阶岛第1关探索 InternLM

书生浦语实训营-InternVL 多模态模型部署微调实践

1.什么是InternVL InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。 2.InternVL模型介绍对于InternVL这个模型来说，它的vision模块就是一个微调过的ViT，llm模块是一个InternLM的模型。对于视觉模块来说，它的特殊之处在

书生大模型实战营基础（5）——XTuner 微调个人小助手认知任务

目录 1 、微调前置基础 2、准备工作 2.1环境配置结果 2.2模型准备目录结构：在目录结构中可以看出，internlm2-chat-1_8b 是一个符号链接 3、快速开始 3.1 微调前的模型对话获取开发机端口和密码： 3.2 指令跟随微调 3.2.1 准备数据文件目录结构 3.2.2 准备配置文件 3.2.2.1 列出支持的配置文件 3.2.2.2

书生大模型实战营基础（3）——LangGPT结构化提示词编写实践

目录 0、基础知识 1、准备 1.1环境配置 1.2创建项目路径 2、模型部署 2.1获取模型 2.2部署模型为OpenAI server 3.提示工程(Prompt Engineering) 3.1 什么是Prompt 3.2 什么是提示工程 3.3 提示设计框架 4、任务 4.1利用LangGPT优化提示词 0、基础知识 Prompt：为模型提供的输

【书生3.6】MindSearch 快速部署

MindSearch 快速部署 1 环境准备2 获取apikey3 启动MindSearch3.1 启动后端3.2 启动前端3.3 测试使用 4 部署到HuggingFace Space4.1 创建space4.2 配置secret4.3 创建写权限的token4.4 创建本地仓库4.5 提交-推送 5 测试验证 codespace主页：一个线上服务器。硅基流动：类似百川、通义这

【书生大模型实战营（暑假场）】进阶任务五茴香豆：企业级知识库问答工具

进阶任务五茴香豆：企业级知识库问答工具任务文档视频茴香豆 1 茴香豆基本介绍茴香豆是由书生·浦语团队开发的一款开源、专门针对国内企业级使用场景设计并优化的知识问答工具。在基础 RAG 课程中我们了解到，RAG 可以有效的帮助提高 LLM 知识检索的相关性、实时性，同时避免 LLM 训练带来的巨大成本。在实际的生产和生活环境需求，对 RAG 系统的开发、部署和调优的挑战更大，如需要解

【书生大模型实战营（暑假场）】进阶任务三 LMDeploy 量化部署实践闯关任务

进阶任务三 LMDeploy 量化部署实践闯关任务任务文档视频 1 大模型部署基本知识 1.1 LMDeploy部署模型定义在软件工程中，部署通常指的是将开发完毕的软件投入使用的过程。在人工智能领域，模型部署是实现深度学习算法落地应用的关键步骤。简单来说，模型部署就是将训练好的深度学习模型在特定环境中运行的过程。场景服务器端：CPU部署，单GPU/TPU/NPU部署，多卡/

书生大模型实战营（第3期）进阶岛第1关探索 InternLM 模型能力边界

在 CompassArena 中选择双模型对话，与InternLM2.5及另外任意其他模型对话，收集 5 个 InternLM2.5 输出结果不如其他模型的对话案例，以及 InternLM2.5 的 5 个 Good Case。声明：由于模型每次的输出都会有不同，或许下一次问，它们的回答刚好相反，我只是把当时问的问题以及它们的输出给记录下来。 Bad Case 1：模型服务来

【书生大模型实战营】茴香豆：企业级知识问答工具实践

茴香豆：企业级知识问答工具实践【书生大模型实战营】茴香豆：企业级知识问答工具实践任务茴香豆本地标准版搭建一般使用联网远程大模型闯关任务【书生大模型实战营】茴香豆：企业级知识问答工具实践茴香豆Demo：地址任务在 InternStudio 中利用 Internlm2-7b 搭建标准版茴香豆知识助手，并使用 Gradio 界面完成 2 轮问答（问题不可与教程重复，作

书生.浦江大模型实战训练营——（十四）MindSearch 快速部署

最近在学习书生.浦江大模型实战训练营，所有课程都免费，以关卡的形式学习，也比较有意思，提供免费的算力实战，真的很不错（无广）！欢迎大家一起学习，打开LLM探索大门：邀请连接，PS，邀请有算力哈哈。文章目录一、创建开发机 & 环境配置二、获取硅基流动 API Key三、启动 MindSearch四、部署到 HuggingFace Space 一、创建开发机 & 环境配置

【书生大模型实战】L2-茴香豆：企业级知识问答工具实践闯关任务

一、关卡任务基础任务（完成此任务即完成闯关）在 InternStudio 中利用 Internlm2-7b 搭建标准版茴香豆知识助手，并使用 Gradio 界面完成 2 轮问答（问题不可与教程重复，作业截图需包括 gradio 界面问题和茴香豆回答）。知识库可根据根据自己工作、学习或感兴趣的内容调整，如金融、医疗、法律、音乐、动漫等（优秀学员必做）。如果问答效果不理想，尝试调整正反例

XTuner微调个人小助手认知 #书生浦语大模型实战营#

1.任务：本次的任务是使用 XTuner 微调 InternLM2-Chat-1.8B 实现自己的小助手认知，从而让模型能够个性化的回复，让模型知道他是我们的小助手，在实战营帮我们完成XTuner微调个人小助手认知的任务。并截图打卡。任务打卡：微调前，模型的回复比较通用。微调后，模型可以有个性化的回复啦。 2.流程：详细的流程可以参考链接：Tutorial/docs/

书生.浦江大模型实战训练营——（十一）LMDeploy 量化部署进阶实践

最近在学习书生.浦江大模型实战训练营，所有课程都免费，以关卡的形式学习，也比较有意思，提供免费的算力实战，真的很不错（无广）！欢迎大家一起学习，打开LLM探索大门：邀请连接，PS，邀请有算力哈哈。文章目录一、环境配置二、LMDeploy和InternLM2.52.1 LMDeploy API部署InternLM2.52.2 LMDeploy Lite 三. LMDeploy之

【书生大模型实战营第三期 | 进阶岛第5关-茴香豆：企业级知识库问答工具】

学习心得：茴香豆：企业级知识库问答工具摘要《茴香豆：企业级知识库问答工具》课程详细介绍了由书生·浦语团队开发的开源知识问答工具——茴香豆。该系统针对国内企业级使用场景进行了专门的设计和优化，具备三阶段Pipeline架构，支持多种硬件配置，并能与微信和飞书等平台集成。课程通过Web版和本地版的搭建教程，向用户展示了如何快速部署企业级RAG知识问答系统，并提供了丰富的功能，如网络搜索、远

书生浦语大模型实战营：LMDeploy量化部署

1.任务：使用结合W4A16量化与kv cache量化的internlm2_5-1_8b-chat模型封装本地API并与大模型进行一次对话。 2.背景： 1.计算模型需要的权重大小： 1B代表10个亿参数，假如是16位浮点数（f16），也就是2个Byte，则模型的权重大小为：1 * 10^9 * 2 = 2GB；假如是20B，则权重大小为40GB。 2.背景存在问题：实际上不止40GB

书生大模型实战营第三期基础岛第二课——8G 显存玩转书生大模型 Demo

8G 显存玩转书生大模型 Demo 基础任务进阶作业一：进阶作业二：基础任务使用 Cli Demo 完成 InternLM2-Chat-1.8B 模型的部署，并生成 300 字小故事，记录复现过程并截图。创建conda环境 # 创建环境conda create -n demo python=3.10 -y# 激活环境conda activate demo#

InternLM 2.5 书生·浦语开源大模型本地部署体验

老牛同学之前偶尔刷到过InternLM大模型相关的介绍文章，因为在老牛同学心中，Qwen2千问才是国内开源模型中最适合自己的大模型，原因是自己在本地部署和应用Qwen2都非常满意，所以没有在意InternLM大模型，也就没有动力去了解它。今天老牛同学又刷到InternLM大模型发布1.8B新开源版本的文章，同时还知道了书生·浦语是它的中文名。因老牛同学在上海生活了十几年了，当看到浦字时有点敏感

LangGPT结构化提示词编写实践 #书生大模型实战营#

1.闯关任务：背景问题：近期相关研究发现，LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，例如认为13.8<13.11。任务要求：利用LangGPT优化提示词，使LLM输出正确结果。完成一次并提交截图即可。任务解答：最终完成的截图如下所示： 2.实践流程：实践流程步骤可以参考文档：T

书生大模型实战营第三期基础岛第一课——书生大模型全链路开源体系

书生大模型全链路开源体系简介官网：github：InternLM2.5 系列模型在本仓库正式发布，具有如下特性：更新模型说明：性能智能体微调&训练评测标准客观评测长文评估（大海捞针）数据污染评估智能体评估主观评估视频课程学习笔记三个开源工具模型预训练工具internEvo模型微调工具XTuner模型评测工具OpenCompass模型部署工具LMDeploy智能体Lagent开源搜索工具

《书生大模型实战营第3期》进阶岛第6关： MindSearch CPU-only 版部署

文章大纲 MindSearch 简介MindSearch CPU-only 版部署1. 创建开发机 & 环境配置2. 获取硅基流动 API Key3. 启动 MindSearch3.1 启动后端3.2 启动前端 4. 部署到 HuggingFace Space 任务参考文献本人学习系列笔记第二期第三期课程资源论文其他参考 MindSearch 简介 MindSearch是

第三期书生大模型实战营进阶岛第3关LMDeploy 量化部署进阶实践

环境准备 conda create -n lmdeploy python=3.10 -yconda activate lmdeployconda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -ypip install timm==1.

第三期书生大模型实战营第5关 XTuner 微调个人小助手认知任务

环境准备这里就不写了，前面写带太多了安装 XTuner mkdir -p /root/puyu/5cd /root/puyu/5git clone -b v0.1.21 https://github.com/InternLM/XTuner /root/puyu/5/XTuner 模型准备软件安装好后，我们就可以准备要微调的模型了 mkdir -p Shanghai_AI_La