浦语大模型笔记

2024-05-13 22:52
文章标签 笔记 模型 浦语

本文主要是介绍浦语大模型笔记，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

书生·浦语大模型全链路开源体系

  • 浦语大模型全链路开源体系
    • 大模型成为发展通用人工智能的重要途径
    • 书生·浦语 2.0（InternLM2）核心理念
    • 书生·浦语 2.0（InternLM2）的主要亮点
      • 主要亮点 1：超长上下文支持
      • 主要亮点 2：性能全方位提升
      • 主要亮点 3：优秀的对话和创作体验
      • 主要亮点 4：工具调用能力升级
      • 主要亮点 5：数理能力突出
      • 从模型到应用典型流程
    • 书生·浦语全链条开源开放体系
      • 全链条开源开放体系｜数据
      • 全链条开源开放体系｜开放高质量语料数据
      • 全链条开源开放体系｜预训练
      • 全链条开源开放体系｜微调
      • 全链条开源开放体系｜评测
      • 全链条开源开放体系｜部署
      • 全链条开源开放体系｜智能体

浦语大模型全链路开源体系

大模型成为发展通用人工智能的重要途径

  • 专用模型：针对特定任务，一个模型解决一个问题
  • 通用大模型：一个模型应对多种任务、多种模态
    在这里插入图片描述在这里插入图片描述
  • 大模型发展时间线
    在这里插入图片描述
  • LLaMA 模型家族
    在这里插入图片描述
  • 书生·浦语大模型开源历程
    在这里插入图片描述

书生·浦语 2.0（InternLM2）核心理念

  • 面向不同的使用需求 ，每个规格包含三个模型版本

7B:为轻量级的研究和应用提供了一个轻便但性能不俗的模型
20B:模型的综合性能更为强劲，可有效支持更加复杂的实用场景

  • InternLM2-Base

高质量和具有很强可塑性的模型基座是模型进行深度领域适配的高质量起笈

  • InternLM2

在 Base 基础上，在多个能力方向进行了强化 ，在评测中成绩优异，同时保持了很好的通用语言能力，是我们推荐的在大部分应用中考虑选用的优秀基座

  • InternLM2-Chat

在 Base 基础上，经过 SFT 和 RLHF，面向对话交互进行了优化，具有很好的指令遭循、共情聊天和调用工具等的能力

  • 回归语言建模的本质
  • 致力于通过更高质量的语料以及更高的信息密度，实现模型基座语言建模能力的质的提升
    在这里插入图片描述

书生·浦语 2.0（InternLM2）的主要亮点

在这里插入图片描述

主要亮点 1：超长上下文支持

模型在 20 万字长输入中几乎完美地实现长文“大海捞针”
在这里插入图片描述

主要亮点 2：性能全方位提升

在各能力维度全面进步，在推理、数学、代码等方面的能力提升尤为显著，综合性能达到同量级开源模型的领先水平，在重点能力评测上 InternLM2-Chat-20B 甚至可以达到比肩 ChatGPT （GPT-3.5）的水平
在这里插入图片描述

主要亮点 3：优秀的对话和创作体验

  • 贴心又可靠的 Al 助手
  • 充满人文关怀的对话
  • 富有想象力的创作

AlpacaEval2 英文主观对话榜单(斯坦福大学发布)IntemLM2-Chat-20B胜率(21.75%)超越了 GPT-3.5(14.13%),GeminiPro(16.85%)和Claude-2 (17.19%)
指令遵循能力评测集 IFEval(谷歌发布): InternLM2-Chat-208 的指令遵循率超越了 GPT-4(79.5%vs 79.3%)
在这里插入图片描述
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/dd2c160c38cc486fbf98eeba2c043bff.png x=x300)
在这里插入图片描述

主要亮点 4：工具调用能力升级

工具调用能够极大地拓展大语言模型的能力边界 ，使得大语言模型能够通过搜索、计算、代码解释器等获取最新的知识并处理更加复杂的问题。InternLM2进一步升级了模型的工具调用能力，能够更稳定地进行工具筛选和多步骤规划，完成复杂任务

主要亮点 5：数理能力突出

  • 强大的内生计算能力

在预训练阶段，模型吸收了丰富的数学相关的语料，在微调阶段模型全面学习了覆盖不同学段各类知识点的题目，使得模型内生的计算能力得到了大大增强
在这里插入图片描述

  • 代码解释器:更上一层楼

借助代码解释器，模型能够编写代码进行更复杂的计算，或者对推理的结果进行形式化验证，从而可以解决计算要求更高或者演算过程更加复杂的问题
在这里插入图片描述

  • 数据分析和可视化

基于在计算及工具调用方面强大的基础能力，InternLM2在语言模型中具备了数据分析和可视化实用能力，进一步贴近用户使用场景
在这里插入图片描述

从模型到应用典型流程

在这里插入图片描述

书生·浦语全链条开源开放体系

在这里插入图片描述

全链条开源开放体系｜数据

在这里插入图片描述

全链条开源开放体系｜开放高质量语料数据

在这里插入图片描述

全链条开源开放体系｜预训练

在这里插入图片描述

全链条开源开放体系｜微调

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

全链条开源开放体系｜评测

在这里插入图片描述

  • OpenCompass 2.0 司南大模型评测体系开源历程
    ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/8bf1289ac62d4b4eb3977bfc3f5d209b.png #pic_center)
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • CompassRank：中立全面的性能榜单
    在这里插入图片描述

  • CompassKit：大模型评测全栈工具链
    在这里插入图片描述

  • CompassHub：高质量评测基准社区
    在这里插入图片描述

  • OpenCompass 2.0 能力维度全面升级
    在这里插入图片描述

  • 夯实基础：自研高质量大模型评测基准
    在这里插入图片描述

  • 洞见未来：年度榜单与能力分析

  • 洞见未来：OpenCompass 年度榜单(主观评测-对战胜率)

  • 洞见未来：OpenCompass 年度榜单(综合性客观评测)

  • 群策群力：携手行业领先共建繁荣生态

全链条开源开放体系｜部署

在这里插入图片描述
在这里插入图片描述

全链条开源开放体系｜智能体

在这里插入图片描述

在这里插入图片描述

这篇关于浦语大模型笔记的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/987044。

相关文章

大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人，AI大神Andrej Karpathy，曾是OpenAI联合创始人之一，特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ，宣布将长期致力于AI原生教育。 近日，Andrej Karpathy接受了No Priors（投资博客）的采访，与硅谷知名投资人 Sara Guo 和 Elad G
阅读更多...
Retrieval-based-Voice-Conversion-WebUI模型构建指南

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI（简称 RVC）模型是一个基于 VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）的简单易用的语音转换框架。 具有以下特点 简单易用：RVC 模型通过简单易用的网页界面，使得用户无需深入了
阅读更多...
透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

引言 随着时间的发展，大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用，随着人们期望的不断增加，目标也发生了巨大的变化。在短短的几个月的时间里，人们对大模型的认识已经从对其zero-shot能力感到惊讶，转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构（例如Transformer）对海量的、多种多样的数据分布进行建模得到，它包含了大量的先验
阅读更多...
图神经网络模型介绍（1）

图神经网络模型介绍（1）

我们将图神经网络分为基于谱域的模型和基于空域的模型，并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络：谱图卷积网络、切比雪夫网络和图卷积网络。 （1）谱图卷积网络 卷积定理：函数卷积的傅里叶变换是函数傅里叶变换的乘积，即F{f*g}
阅读更多...
秋招最新大模型算法面试，熬夜都要肝完它

秋招最新大模型算法面试，熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候，不知道面试完会不会复盘、总结，做笔记的习惯，这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助，都附有完整答案，熬夜也要看完，祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN，还有完整版的大模型 AI 学习资料，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
阅读更多...
【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入（Embedding）方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节：嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”，它将文本中的单词或短语转换成计算机能够理解的数学形式，即向量。 正如翻译机将一种语言
阅读更多...
【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络（1）sklearn

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络（1）sklearn

系列文章目录 监督学习：参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归（SAheart.csv） 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学
阅读更多...
系统架构师考试学习笔记第三篇——架构设计高级知识（20）通信系统架构设计理论与实践

系统架构师考试学习笔记第三篇——架构设计高级知识（20）通信系统架构设计理论与实践

本章知识考点：         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识
阅读更多...
AI Toolkit + H100 GPU，一小时内微调最新热门文生图模型 FLUX

AI Toolkit + H100 GPU，一小时内微调最新热门文生图模型 FLUX

上个月，FLUX 席卷了互联网，这并非没有原因。他们声称优于 DALLE 3、Ideogram 和 Stable Diffusion 3 等模型，而这一点已被证明是有依据的。随着越来越多的流行图像生成工具（如 Stable Diffusion Web UI Forge 和 ComyUI）开始支持这些模型，FLUX 在 Stable Diffusion 领域的扩展将会持续下去。 自 FLU
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2