《书生·浦语大模型实战营》第1课 学习笔记：书生·浦语大模型全链路开源体系

2024-05-26 22:12
文章标签 实战 学习 笔记 模型 开源 体系 链路 书生 浦语

本文主要是介绍《书生·浦语大模型实战营》第1课 学习笔记：书生·浦语大模型全链路开源体系，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章大纲

  • 1. 简介与背景
    • 智能聊天机器人与大语言模型
    • 目前的开源智能聊天机器人与云上运行模式
  • 2. InternLM2 大模型 简介
  • 3. 视频笔记：书生·浦语大模型全链路开源体系
    • 内容要点
    • 从模型到应用典型流程
    • 全链路开源体系
  • 4. 论文笔记:InternLM2 Technical Report
    • 简介
    • 软硬件基础设施 Infrastructure
    • 预训练方法 Pre-train
    • 对齐 Alignment
    • 评价与分析 Evaluation and analysis
    • 数据收集与整理
  • 其他学习内容
    • RAG综述
    • LLM 带给世界的改变！
  • 参考文献
    • 本人学习系列笔记
    • 课程资源
    • 论文
    • 其他参考

1. 简介与背景

一直比较关注LLM 相关内容的业界进展，所以特定来参加这个训练营《书生·浦语大模型实战营》，动手学习LLM，看看大模型生态链中具体的最佳实践(Best Practice)，很早的时候GPT3.5 时代，我只是注意到了他的发布，之前的聊天机器人还是这么个架构

智能聊天机器人与大语言模型

在这里插入图片描述
在这里插入图片描述
ChatGPT在效果强大的GPT 3.5大规模语言模型（LLM，Large Language Model）基础上，引入“人工标注数据+强化学习”（RLHF，Reinforcement Learning from Human Feedback ，这里的人工反馈其实就是人工标注数据）来不断Fine-tune预训练语言模型，主要目的是让LLM模型学会理解人类的命令指令的含义（比如给我写一段小作文生成类问题、知识回答类问题、头脑风暴类问题等不同类型的命令），以及让LLM学会判断对于给定的prompt输入指令（用户的问题），什么样的答案是优质的（富含信息、内容丰富、对用户有帮助、无害、不包含歧视信息等多种标准）。

ChatGPT 使用来自人类反馈的强化学习进行训练，这种方法通过人类干预来增强机器学习以获得更好的效果。在训练过程中，人类训练者扮演着用户和人工智能助手的角色，并通过近端策略优化算法进行微调。

目前的开源智能聊天机器人与云上运行模式

在人工智能飞速发展的时代，大模型已经成为引领创新和突破的大力推动者。但开发和应用大模型可不是一件容易的事情，需要我们掌握一堆技巧和方法。所以，这次实战营的目标就是让大家能够高效地学习，玩转大模型的微调、部署和评测全套工具。

2. InternLM2 大模型 简介

官网：https://internlm.intern-ai.org.cn/
GitHub: https://github.com/InternLM
InternLM2 技术报告【英文版】：https://arxiv.org/pdf/2403.17297.pdf

3. 视频笔记：书生·浦语大模型全链路开源体系

内容要点

  1. 大模型成为发展通用人工智能的重要途径
  2. 从2023年七月InternLM全面开源到，2024年1月17日开源InternLM2，半年版本一更新

书生浦语 2.0 (InternLM2) 的主要亮点

  • 超长上下文200k
  • 综合性能全面提升
  • 优秀的对话和创作体验
  • 工具调用能力整体升级
  • 突出的数理能力和实用的数据分析能力

从模型到应用典型流程

在这里插入图片描述

全链路开源体系

在这里插入图片描述
从实际商业项目的调研来看

  • XTuner微调是刚需，特别是LoRA这种低成本微调，能和RAG连续覆盖场景和成本，在一定范围内，预计避免随着数据规模增加出现成本激增的情况
  • LMDeploy部署是刚需，从过去二十多年的商业项目经验来看，客户对于部署这类非直接需求的费用比较敏感
  • OpenCompass评测是刚需，实际商业项目不需要全方位评测，更多的可能是针对商业项目的需求编写评测集，保障微调达到预期效果
  • Lagent和AgentLego是刚需，实际商业项目中需要针对存量数据进行定制开发

在这里插入图片描述
在这里插入图片描述

4. 论文笔记:InternLM2 Technical Report

论文地址

  • https://arxiv.org/pdf/2403.17297.pdf

官方翻译

  • https://mp.weixin.qq.com/s/IUUj_CWUJPdrhLq1XAR-KA

中文翻译参考

  • https://hub.baai.ac.cn/view/36639

简介

软硬件基础设施 Infrastructure

预训练方法 Pre-train

对齐 Alignment

评价与分析 Evaluation and analysis

数据收集与整理

典型网页内容获取工具：https://trafilatura.readthedocs.io/en/latest/

在这里插入图片描述

在这里插入图片描述

网上的c++ 代码确实太多了，所以你应该多利用AI帮忙写c++代码
在这里插入图片描述

其他学习内容

RAG综述

https://arxiv.org/pdf/2402.19473.pdf

Retrieval-Augmented Generation for AI-Generated Content A Survey

在这里插入图片描述

LLM 带给世界的改变！

以下观点来源于 《动手学自然语言处理》书籍首发直播

  1. 通过NLP 任务统一了大部分AI 任务
  2. 定义问题，解决问题的周期加快
  3. 未来能与AI 协作的能力是最重要的能力！

参考文献

本人学习系列笔记

  • 《书生·浦语大模型实战营》第1课 学习笔记：书生·浦语大模型全链路开源体系

课程资源

学员手册

  • https://aicarrier.feishu.cn/wiki/KamPwGy0SiArQbklScZcSpVNnTb

算力平台

  • https://studio.intern-ai.org.cn/

课程文档

  • https://github.com/InternLM/Tutorial/tree/camp2

课程视频

  • https://www.bilibili.com/video/BV1Vx421X72D/

代码仓库

  • https://github.com/InternLM/Tutorial/tree/camp2

论文

RAG综述
https://arxiv.org/pdf/2402.19473.pdf
Retrieval-Augmented Generation for AI-Generated Content A Survey

其他参考

胡老师博客：

  • 第一课
  • https://blog.csdn.net/hu_zhenghui/article/details/138811450

这篇关于《书生·浦语大模型实战营》第1课 学习笔记：书生·浦语大模型全链路开源体系的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1005733。

相关文章

网页解析 lxml 库--实战

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库，完全使用 Python 语言编写，它对 XPath表达式提供了良好的支 持，因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块，该模块专门用来解析 HTML/XML 文档，下面来介绍一下 lxml 库
阅读更多...
HarmonyOS学习(七)——UI（五）常用布局总结

HarmonyOS学习(七)——UI（五）常用布局总结

自适应布局 1.1、线性布局（LinearLayout） 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列，Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距，达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式，且在各类尺寸屏幕上表现一致，其中交叉轴为垂直时，取值为Vert
阅读更多...
Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya（不是本人，claude AI）在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容： 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用
阅读更多...
大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画（下）

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画（下）

【课程链接】 AntV G6：深入图形与图形分组、自定义节点、节点动画（下）_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中，应该怎样去计算和绘制图形，如何给一个图形制作不间断的动画，以及在鼠标事件之后产生动画。（有点难，需要好好理解） <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06
阅读更多...
学习hash总结

学习hash总结

2014/1/29/   最近刚开始学hash，名字很陌生，但是hash的思想却很熟悉，以前早就做过此类的题，但是不知道这就是hash思想而已，说白了hash就是一个映射，往往灵活利用数组的下标来实现算法，hash的作用：1、判重；2、统计次数；
阅读更多...
性能分析之MySQL索引实战案例

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题，本文将一起从代码层去分析为什么没有建立索引？ 开源ERP项目地址：https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置
阅读更多...
Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人，AI大神Andrej Karpathy，曾是OpenAI联合创始人之一，特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ，宣布将长期致力于AI原生教育。 近日，Andrej Karpathy接受了No Priors（投资博客）的采访，与硅谷知名投资人 Sara Guo 和 Elad G
阅读更多...
阿里开源语音识别SenseVoiceWindows环境部署

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推
阅读更多...
C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

哈喽，你好啊，我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记，这是第6篇； 接下来实现实时显示当前选中红球数量，蓝球数量； 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时，在对应的位置显示实时已选择的红球、蓝球的数量； 02 标签名称 分别设置Label标签名称为：lblRedCount、lblBlueCount
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2