清华大学与智谱AI重磅开源 GLM-4:掀起自然语言处理新革命

本文主要是介绍清华大学与智谱AI重磅开源 GLM-4:掀起自然语言处理新革命,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在强大的预训练基础上,GLM-4-9B 的中英文综合性能相比 ChatGLM3-6B 提升了 40%。尤其是中文对齐能力 AlignBench、指令遵从能力 IFeval,以及工程代码处理能力 Natural Code Bench 方面都实现了显著提升。

自 2023 年 3 月 14 日开源 ChatGLM-6B 以来,GLM 系列模型受到了广泛的关注和认可。特别是在 ChatGLM3-6B 开源之后,开发者对智谱 AI 推出的第四代模型充满了期待。而这一期待,随着 GLM-4-9B 的发布,终于得到了满足。

GLM-4-9B 的诞生

为了赋予小模型(10B 以下)更加强大的能力,GLM 技术团队经过近半年的探索,推出了这一全新的第四代 GLM 系列开源模型:GLM-4-9B。

创新预训练技术

在预训练过程中,我们引入大语言模型进行数据筛选,最终获得了 10T 高质量多语言数据。这一数据量是 ChatGLM3-6B 模型的 3 倍以上。此外,我们采用了 FP8 技术进行高效的预训练,相较于第三代模型,训练效率提高了 3.5 倍。考虑到用户的显存需求,GLM-4-9B 的参数规模从 6B 提升到了 9B。最终,我们将预训练计算量增加了 5 倍,从而在有限的显存条件下最大化性能。

卓越性能展示

综合以上的技术升级,GLM-4-9B 具备了更强大的推理性能、更加优异的上下文处理能力、多语言支持、多模态处理以及全工具 All Tools 调用等优势。

GLM-4-9B 系列包括多个版本:

  • 基础版本:GLM-4-9B(8K)
  • 对话版本:GLM-4-9B-Chat(128K)
  • 超长上下文版本:GLM-4-9B-Chat-1M(1M)
  • 多模态版本:GLM-4V-9B-Chat(8K)

GLM-4-9B 的强大能力

基础能力

在强大的预训练基础上,GLM-4-9B 的中英文综合性能相比 ChatGLM3-6B 提升了 40%。尤其是中文对齐能力 AlignBench、指令遵从能力 IFeval,以及工程代码处理能力 Natural Code Bench 方面都实现了显著提升。即使对比训练量更多的 Llama 3 8B 模型,GLM-4-9B 也丝毫不逊色,在英文表现上略有领先,而在中文学科领域,GLM-4-9B 更是提升了高达 50% [性能评测图表]。

长文本处理能力

图片

图片

GLM-4-9B 模型的上下文长度从 128K 扩展到了 1M tokens,意味着能同时处理多达 200 万字的输入,相当于两本《红楼梦》或 125 篇学术论文的长度。GLM-4-9B-Chat-1M 模型在“大海捞针”实验中,成功展示了其出色的无损处理长文本输入的能力 [长文本实验图示]。

以下是两个展示长文本处理能力的 demo 视频案例:

  1. GLM-4-9B-Chat 模型: 输入 5 个 PDF 文件,总长度约为 128K,给出写一篇关于中国大模型发展的详细调研报告的 prompt。模型能够快速生成高质量的调研报告(视频未加速)。
  2. GLM-4-9B-Chat-1M 模型: 输入《三体》全集约 90 万字,要求模型给该小说写续集大纲的 prompt。模型合理规划并给出续写框架(视频加速 10 倍)。

多语言支持

GLM-4-9B 支持多达 26 种语言,包括汉语、英语、俄语等。我们将 tokenizer 的词表大小从 65K 扩展到 150K,编码效率提高了 30%。在多语言理解和生成任务中,GLM-4-9B-Chat 显著超越 Llama-3-8B-Instruct [多语言性能比较图]。

Function Call 能力

GLM-4-9B 的函数调用能力相较上一代提升了 40%,在 Berkeley Function-Calling Leaderboard 上,其 Function Call 能力与 GPT-4 不相上下 [函数调用性能对比图表]。

All Tools 全工具调用

“All Tools”能力即模型可以理解和使用各种外部工具(如代码执行、联网浏览、画图等)来辅助完成任务。在 1 月 16 日的 Zhipu DevDay 上,GLM-4 模型全线升级了 All Tools 能力,可以智能调用网页浏览器、代码解释器、CogView 等工具,完成复杂请求 [All Tools 任务图示]。

多模态处理

GLM-4V-9B 作为 GLM-4 基座的开源多模态模型,能够处理高分辨率输入,将视觉和文本数据直接混合进行训练,展现了显著的多模态处理效果,与 GPT-4V 性能相当。在识别和处理复杂多模态任务时,表现非常出色 [多模态应用实例图]。

图片

图片

未来展望

GLM-4-9B 展现了其在多种任务中的强大性能,是自然语言处理领域的一大突破。无论是学术研究还是工业应用,GLM-4-9B 都将成为您的不二选择。

我们诚挚邀请您加入 GLM-4 的使用者行列,共同探索这款卓越模型带来的可能性:

  • GitHub 仓库
  • Hugging Face 模型页面
  • 魔搭社区  

这篇关于清华大学与智谱AI重磅开源 GLM-4:掀起自然语言处理新革命的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1057684

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

无人叉车3d激光slam多房间建图定位异常处理方案-墙体画线地图切分方案

墙体画线地图切分方案 针对问题:墙体两侧特征混淆误匹配,导致建图和定位偏差,表现为过门跳变、外月台走歪等 ·解决思路:预期的根治方案IGICP需要较长时间完成上线,先使用切分地图的工程化方案,即墙体两侧切分为不同地图,在某一侧只使用该侧地图进行定位 方案思路 切分原理:切分地图基于关键帧位置,而非点云。 理论基础:光照是直线的,一帧点云必定只能照射到墙的一侧,无法同时照到两侧实践考虑:关

从去中心化到智能化:Web3如何与AI共同塑造数字生态

在数字时代的演进中,Web3和人工智能(AI)正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术,正相互交织,共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界,并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展,它基于去中心化的区块链技术,旨在创建一个开放、透明且用户主导的数字生态。不同于传统

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人,是不是经常需要制作各种PPT来分享我的生活和想法。但是,你们知道,有时候灵感来了,时间却不够用了!😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手!🌟 什么是Kimi? 一款月之暗面科技有限公司开发的AI办公工具,帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师,Kimi都能够为你的办公文

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

读书摘录《控糖革命》

又到了每周推荐时间,这周末给大家推荐一本书《控糖革命》。身体是革命的本钱,只有保持健康的身体,才能保证持久的生产力,希望我的读者都可以身体健康,青春永驻。 推荐前,首先申明在《控糖革命》一书中,作者提出了一些颇具争议的观点,这些观点并没有经过系统的科学论证,但这并不妨碍我们从中获取一些有益的控糖建议。作者通过分享作者的个人经验和研究,为我们提供了一种全新的饮食理念,帮助我们更好地控制血糖峰值

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言