Magic推出100M个token的上下文

2024-09-05 15:12

本文主要是介绍Magic推出100M个token的上下文,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

目前,AI模型有两种学习方式:一种是通过训练,另一种是在推理过程中通过上下文学习。迄今为止,训练一直占据主导地位,因为模型处理的上下文通常比较短。然而,超长上下文可能会改变这一局面。

与依赖模糊记忆不同,Magic的长期记忆(LTM)模型在推理时可处理多达1亿个token的上下文,基于这些上下文进行推理。这种模型的商业应用十分广泛,但Magic专注于软件开发领域。

可以想象,如果模型在推理时能参考所有的代码、文档和库,甚至包括那些不在公共互联网上的资源,代码生成的效果将会显著提升。

评估上下文窗口

目前,关于长上下文的评估并不理想。广为人知的“干草堆中的针”评估方法,随机将一个事实(“针”)放在长上下文窗口(“干草堆”)的中间,要求模型提取该事实。

Needle In A Haystack

然而,如果一本关于鲸鱼的小说中出现“Arun和Max在Blue Bottle喝咖啡”这样的描述,它会显得格外突兀。模型能够识别出这种“不寻常”的信息,从而忽略干草堆中其他相关内容,减少存储负担。此外,模型只需关注上下文中一个小的、语义上显著的部分,这让像RAG这样的方法看起来很成功。

Mamba的第4.1.2节和H3的附录E.1中的归纳头基准使这一任务更加简单,它们使用特殊的token标记“针”的开始位置,大大降低了评估的存储和检索难度。这就像考前已经知道考试的题目一样。

这些细微的缺陷削弱了当前长上下文评估方法的有效性,使得传统的循环神经网络(RNN)和状态空间模型(SSM)即便受到O(1)大小的状态向量限制,依然能取得好成绩。

为了消除这些隐含和显式的语义提示,Magic设计了HashHop评估方法。

Hash是随机生成的,无法压缩,这意味着模型必须在任何上下文大小下存储并检索最大量的信息内容。

具体来说,Magic给训练有Hash的模型提示Hash对:

jJWlupoT → KmsFrnRa
vRLWdcwV → sVLdzfJu
YOJVrdjK → WKPUyWON
OepweRIW → JeIrWpvs
JeqPlFgA → YirRppTA

接着,模型需要完成一个随机选定的Hash对:

完成 YOJVrdjK → WKPUyWON

这评估了单步归纳头的出现情况,但实际应用通常需要多跳。因此,Magic要求模型完成一串Hash链条:

Hash 1 → Hash 2
Hash 2 → Hash 3
Hash 3 → Hash 4
Hash 4 → Hash 5
Hash 5 → Hash 6

为了确保顺序和位置的不可变性,Magic将Hash对打乱后提示模型:

Hash 72 → Hash 81
Hash 4 → Hash 5
Hash 1 → Hash 2
...

然后,要求模型完成:

完成 Hash 1 → Hash 2 Hash 3 Hash 4 Hash 5 Hash 6

通过逐步写出所有中间的Hash值,这类似于“思维链”的推理方式,允许模型将推理过程延展至更长的时间。

Magic还提出了一个更具挑战性的变体,模型需要跳过步骤,直接完成:

完成 Hash 1 → Hash 6

这要求模型架构能够一次性跨越整个上下文的多个点进行推理。

在对代码和语言模型进行评估时,Magic发现在Hash上训练小模型,并在这些简单任务上测量性能,是其架构研究的一个有效工具。

Magic的超长上下文进展

Magic最近训练了首个能处理1亿token上下文的模型:LTM-2-mini。1亿token相当于约1000万行代码或约750本小说。

每解码一个token,LTM-2-mini的序列维度算法在1亿token上下文窗口下比Llama 3.1 405B1的注意力机制便宜大约1000倍。

两者在内存需求上的差距更大——运行1亿token上下文的Llama 3.1 405B需要每个用户638个H100显卡来存储KV缓存,而LTM只需一块H100的很小一部分内存即可处理同样的上下文。

通过“思维链”训练的LTM架构在以下测试中取得了优异的表现,尽管在没有“思维链”的情况下,进行三次跳跃的表现有所下降,但两次跳跃时依然表现强劲,表明该模型能够构建比单一归纳头更复杂的逻辑回路。

此外,Magic还训练了一个原型模型,通过超长上下文机制进行文本到差异数据的训练。虽然该模型在代码生成方面还不如当今的前沿模型,但偶尔能产生合理的输出。

与Google Cloud合作打造NVIDIA超级计算机

Magic与Google Cloud和NVIDIA合作,正在构建两台新超级计算机:Magic-G4和Magic-G5,后者将搭载NVIDIA GB200 NVL72系统,可扩展至成千上万块Blackwell GPU。

Magic的联合创始人兼CEO Eric Steinberger表示,这一合作将大幅提升模型的推理和训练效率,帮助Magic快速扩展AI基础设施。Google Cloud和NVIDIA的强大硬件与软件生态,将助力Magic推动AI的下一次突破。

这篇关于Magic推出100M个token的上下文的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1139316

相关文章

微软正式推出 Spartan 斯巴达浏览器

作为用于替代 IE 浏览器的下一代继任者,微软的 Project Spartan 斯巴达浏览器可算是吊足了玩家们的胃口!如今,在最新的 Windows 10 Build 10049 版本起,它终于正式登场了。 斯巴达浏览器搭载了全新的渲染引擎、新的用户界面并集成了 Cortana 语音助手。功能上新增了稍后阅读列表、阅读视图、F12开发者工具、支持网页注释 (手写涂鸦),可以保存到 O

【Python知识宝库】上下文管理器与with语句:资源管理的优雅方式

🎬 鸽芷咕:个人主页  🔥 个人专栏: 《C++干货基地》《粉丝福利》 ⛺️生活的理想,就是为了理想的生活! 文章目录 前言一、什么是上下文管理器?二、上下文管理器的实现三、使用内置上下文管理器四、使用`contextlib`模块五、总结 前言 在Python编程中,资源管理是一个重要的主题,尤其是在处理文件、网络连接和数据库

Science Robotics 首尔国立大学研究团队推出BBEX外骨骼,实现多维力量支持!

重复性举起物体可能会对脊柱和背部肌肉造成损伤,由此引发的腰椎损伤是工业环境等工作场所中一个普遍且令人关注的问题。为了减轻这类伤害,有研究人员已经研发出在举起任务中为工人提供辅助的背部支撑装置。然而,现有的这类装置通常无法在非对称性的举重过程中提供多维度的力量支持。此外,针对整个人体脊柱的设备安全性验证也一直是一个缺失的环节。 据探索前沿科技边界,传递前沿科技成果的X-robot投稿,来自首尔国立

71-java 导致线程上下文切换的原因

Java中导致线程上下文切换的原因通常包括: 线程时间片用完:当前线程的时间片用完,操作系统将其暂停,并切换到另一个线程。 线程被优先级更高的线程抢占:操作系统根据线程优先级决定运行哪个线程。 线程进入等待状态:如线程执行了sleep(),wait(),join()等操作,使线程进入等待状态或阻塞状态,释放CPU。 线程占用CPU时间过长:如果线程执行了大量的I/O操作,而不是CPU计算

Claude Enterprise推出计划

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/ 今天推出的Claude Enterprise计划,专为企业打造安全的

Caused by: android.view.WindowManager$BadTokenException: Unable to add window -- token android.os.B

一个bug日志 FATAL EXCEPTION: main03-25 14:24:07.724: E/AndroidRuntime(4135): java.lang.RuntimeException: Unable to start activity ComponentInfo{com.syyx.jingubang.ky/com.anguotech.android.activity.Init

YOLOv8改进实战 | 注意力篇 | 引入CVPR2024 PKINet 上下文锚点注意力CAAttention

YOLOv8专栏导航:点击此处跳转 前言 YOLOv8 是由 YOLOv5 的发布者 Ultralytics 发布的最新版本的 YOLO。它可用于对象检测、分割、分类任务以及大型数据集的学习,并且可以在包括 CPU 和 GPU 在内的各种硬件上执行。 YOLOv8 是一种尖端的、最先进的 (SOTA) 模型,它建立在以前成功的 YOLO 版本的基础上,并引入了新的功能和改进,以

Spring容器上下文

目录 一 什么是spring容器上下文 二 spring容器上下文可以做什么 三 如何使用 1.实现ApplicationContextAware接口 2.代码测试 一 什么是spring容器上下文 你可以把它理解成就是spring容器,它主要用于管理Bean对象,包括bean的生命周期,bean的注入等等。 二 spring容器上下文可以做什么 我们刚刚上面

【NodeJS】Unexpected token (109:0) 返回错误码500

刚开始报错是这样的: Unexpected token call 是什么我没看懂,但我发现 span.label.lable-success 后面的 #[i+1] 写错了,应该是 #{i+1} 改成完这个错误后又是一个错误提示: What? Unexpected token (109:0) 返回错误码500是什么鬼 我先将自己这段源码的 - if ... - else 检查下

解决OAuth Token,点击退出登录报404问题

首先,认证服务器发送请求 http://auth.test.com:8085/logout?redirect_uri=http://admin.test.com:8080’ 退出后报404无法跳转到网站首页,这个时候增加一个参数redirect_uri指定退出成功后跳转的路径,因为是自定义的,所以需在认证服务器做一些处理 找到源码默认实现接口DefaultLogoutPageGeneratingF