【InternLM实战营第二期笔记】02:大模型全链路开源体系与趣味demo

本文主要是介绍【InternLM实战营第二期笔记】02:大模型全链路开源体系与趣味demo,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 00 环境设置
  • 01 部署一个 chat 小模型
  • 02 Lagent 运行 InternLM2-chat-7B
  • 03 浦语·灵笔2

第二节课程视频与文档:
https://www.bilibili.com/video/BV1AH4y1H78d/
https://github.com/InternLM/Tutorial/blob/camp2/helloworld/hello_world.md

视频和文档内容基本重合,因此这次笔记也同时记录和推进
在这里插入图片描述

课程分成这四个部分;社区也随训练营产生了多个兴趣小组:
在这里插入图片描述
估计是完成训练营后可以加入其中继续学习和研究。

00 环境设置

在这里插入图片描述
完成作业一官方会发放算力点,兑换成开发机的使用配置*时间。
第一次配置开发机需要十分钟左右,后续再开会快很多。
第一个项目需要的算力比较少,因此选择了资源最小的配置+4小时时长,但真正跑起来发现可能时间非常紧张,仅安装环境差不多需要一个小时时间,IO 效率太离谱了……但免费的教学资源也不好多说啥。
忍忍吧。

PS. 教程中的等效配置理论上会快一些,注意要把-c pytorch -c nvidia去掉。开发机的网络环境访问不了这些源。
我低估了“配置环境较长,需耐心等待”的离谱程度

01 部署一个 chat 小模型

安装完环境,剩下的流程就非常简单了。跑过本地模型的人都比较熟悉,教程提供了相应脚本,下载权重,运行脚本加载、推理即可。
在这里插入图片描述
下载八戒微调版本:
在这里插入图片描述
可见网速是非常快的,但推理速度比较慢。
运行体验:

python /root/Tutorial/helloworld/bajie_download.py
streamlit run /root/Tutorial/helloworld/bajie_chat.py --server.address 127.0.0.1 --server.port 6006

我也是 windows 用户,不过由于上方命令是直接在 IDE 的 terminal 中运行的,VS Code 自动提供了端口转发。

streamlit 提供了在线对话 UI,趁后台在慢悠悠加载模型,去瞅一眼 bajie_chat.py 的代码:
在这里插入图片描述

  • 生成设置
  • 交互处理
  • 加载模型
  • ……

模型加载好了:
在这里插入图片描述

换了几条 Query 都能接上,自我认知倒是入心入脑了。

02 Lagent 运行 InternLM2-chat-7B

按照教程下载项目文件并安装,五分钟左右安装完 Lagent 的教学版本并加载模型。
同样,WebIDE 是你的好帮手,直接运行点击弹出的提示跳转到页面即可:
在这里插入图片描述
在这里插入图片描述

03 浦语·灵笔2

在这里插入图片描述
网页怎么没有正常渲染出来呢……

换到 VQA 模型,好像有同样的问题:
在这里插入图片描述
不知道问题出在哪……这个作业的花费时间有点超出我预计,第二节容我先这样吧.

这篇关于【InternLM实战营第二期笔记】02:大模型全链路开源体系与趣味demo的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1006243

相关文章

基于Canvas的Html5多时区动态时钟实战代码

《基于Canvas的Html5多时区动态时钟实战代码》:本文主要介绍了如何使用Canvas在HTML5上实现一个多时区动态时钟的web展示,通过Canvas的API,可以绘制出6个不同城市的时钟,并且这些时钟可以动态转动,每个时钟上都会标注出对应的24小时制时间,详细内容请阅读本文,希望能对你有所帮助...

无需邀请码!Manus复刻开源版OpenManus下载安装与体验

《无需邀请码!Manus复刻开源版OpenManus下载安装与体验》Manus的完美复刻开源版OpenManus安装与体验,无需邀请码,手把手教你如何在本地安装与配置Manus的开源版OpenManu... Manus是什么?Manus 是 Monica 团队推出的全球首款通用型 AI Agent。Man

Spring AI与DeepSeek实战一之快速打造智能对话应用

《SpringAI与DeepSeek实战一之快速打造智能对话应用》本文详细介绍了如何通过SpringAI框架集成DeepSeek大模型,实现普通对话和流式对话功能,步骤包括申请API-KEY、项目搭... 目录一、概述二、申请DeepSeek的API-KEY三、项目搭建3.1. 开发环境要求3.2. mav

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo

SpringBoot快速接入OpenAI大模型的方法(JDK8)

《SpringBoot快速接入OpenAI大模型的方法(JDK8)》本文介绍了如何使用AI4J快速接入OpenAI大模型,并展示了如何实现流式与非流式的输出,以及对函数调用的使用,AI4J支持JDK8... 目录使用AI4J快速接入OpenAI大模型介绍AI4J-github快速使用创建SpringBoot

Python与DeepSeek的深度融合实战

《Python与DeepSeek的深度融合实战》Python作为最受欢迎的编程语言之一,以其简洁易读的语法、丰富的库和广泛的应用场景,成为了无数开发者的首选,而DeepSeek,作为人工智能领域的新星... 目录一、python与DeepSeek的结合优势二、模型训练1. 数据准备2. 模型架构与参数设置3

SpringBoot项目注入 traceId 追踪整个请求的日志链路(过程详解)

《SpringBoot项目注入traceId追踪整个请求的日志链路(过程详解)》本文介绍了如何在单体SpringBoot项目中通过手动实现过滤器或拦截器来注入traceId,以追踪整个请求的日志链... SpringBoot项目注入 traceId 来追踪整个请求的日志链路,有了 traceId, 我们在排

Java实战之利用POI生成Excel图表

《Java实战之利用POI生成Excel图表》ApachePOI是Java生态中处理Office文档的核心工具,这篇文章主要为大家详细介绍了如何在Excel中创建折线图,柱状图,饼图等常见图表,需要的... 目录一、环境配置与依赖管理二、数据源准备与工作表构建三、图表生成核心步骤1. 折线图(Line Ch

Java使用Tesseract-OCR实战教程

《Java使用Tesseract-OCR实战教程》本文介绍了如何在Java中使用Tesseract-OCR进行文本提取,包括Tesseract-OCR的安装、中文训练库的配置、依赖库的引入以及具体的代... 目录Java使用Tesseract-OCRTesseract-OCR安装配置中文训练库引入依赖代码实

使用 sql-research-assistant进行 SQL 数据库研究的实战指南(代码实现演示)

《使用sql-research-assistant进行SQL数据库研究的实战指南(代码实现演示)》本文介绍了sql-research-assistant工具,该工具基于LangChain框架,集... 目录技术背景介绍核心原理解析代码实现演示安装和配置项目集成LangSmith 配置(可选)启动服务应用场景