OpenAI发布具有1750亿个参数的GPT-3 AI语言模型

2024-04-16 17:08

本文主要是介绍OpenAI发布具有1750亿个参数的GPT-3 AI语言模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

论文地址:https://arxiv.org/abs/2005.14165
guthub:https://github.com/openai/gpt-3

OpenAI的一组研究人员最近发表了一篇论文,描述了GPT-3,这是一种具有1,750亿个参数的自然语言深度学习模型,比以前的版本GPT-2高100倍。该模型经过了将近0.5万亿个单词的预训练,并且在不进行微调的情况下,可以在多个NLP基准上达到最先进的性能。
在这里插入图片描述

在arXiv上发表的论文中,由30多位合著者组成的团队描述了该模型和几个实验。研究人员的目标是生产一种NLP系统,该系统可以很好地执行各种任务,而几乎不需要微调,并且以前的工作表明较大的模型可能是解决方案。为了检验该假设,研究小组将其先前模型GPT-2的大小从15亿个参数增加到1750亿个。为了进行培训,团队收集了几个数据集,包括Common Crawl数据集和英语Wikipedia。该模型是根据多个NLP基准进行评估的,匹配了“已关闭”问题解答任务的最新性能,并为LAMBADA创造了新记录 语言建模任务。
在这里插入图片描述
OpenAI去年成为GPT-2的头条新闻,由于“对技术的恶意应用的担忧”,他们决定不发布经过训练的模型的15亿参数版本。GPT-2是基于Transformer架构的许多大型NLP模型之一。这些模型 使用自我监督学习在大型文本语料库(例如内容Wikipedia)上进行了预训练。在这种情况下,不是使用包含输入与预期输出配对的数据集的模型,而是为模型提供了带有单词“ masked”的文本序列,并且必须学习根据周围的上下文预测被屏蔽的单词。在进行此预训练之后,然后使用带有标签的基准数据集对模型进行微调,以用于特定的NLP任务,例如问题解答。

但是,研究人员发现,即使不进行微调,预训练的模型也表现良好,特别是对于在大型数据集上进行预训练的大型模型。今年早些时候,OpenAI发表了一篇论文,假定Transformer模型的几个“ 缩放定律 ”。根据来自多个不同基于Transformer的模型的性能数据,OpenAI得出结论,模型性能(在这种情况下,是测试数据集的交叉熵损失)与模型参数的数量,数据集的大小具有幂律关系。 ,以及用于训练的计算量。增加这三个变量将因此提高性能。

为了进行预培训,团队收集了一个由Common Crawl,WebText,英语Wikipedia和两本书集组成的数据集。为了提高数据质量,研究人员过滤了“常见爬网”以消除冗余。由于Common Crawl是从互联网上抓取的,因此它可能包含用于基准评估的实际测试数据,这会“污染”培训。该小组确实试图消除这种污染。但是,他们承认:

不幸的是,过滤中的错误导致我们忽略了一些重叠,并且由于训练的成本,重新训练模型是不可行的。

该团队使用这些数据来训练该模型的八个版本,范围从1.25亿个参数到完整的1,750亿个参数。在许多类别的数十个NLP基准上对模型进行了评估,在许多情况下,其性能均接近或高于最新水平。为了根据新闻文章生成任务评估模型,团队使用了Amazon Mechanical Turk聘请人类法官来猜测一对文章中哪篇是真实的,哪些是由GPT-3生成的。人类仅在52%的时间内选择了真实的商品;从本质上讲,人类在选择真实商品方面并不比硬币翻转更好。该团队还讨论了该模型的一些弱点。例如,在文本合成中,“ GPT-3样本有时仍会在文档级别进行语义上的重复,在足够长的段落中开始失去连贯性,相互矛盾,并偶尔包含非语义的句子或段落。” 该模型还很难解决“常识物理”问题,例如“如果我将奶酪放进冰箱,它会融化吗?”

NLP研究社区的几位成员在Twitter上评论了该模型的大小。Alchemy API创始人艾略特·特纳(Elliot Turner)推测,训练最大模型的成本可能“接近1200万美元”。Mark Riedl教授对模型尺寸与性能之间的联系提出了解释:

一种假设是,GPT-3具有如此众多的参数(训练的令牌数量的一半),以至于它开始像存储网络一样工作。

与GPT-2一样,OpenAI尚未发布经过​​训练的模型或代码,尽管存在一个GitHub存储库,其中包含一些测试数据集以及该模型生成的文本样本的集合。

这篇关于OpenAI发布具有1750亿个参数的GPT-3 AI语言模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/909395

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

从去中心化到智能化:Web3如何与AI共同塑造数字生态

在数字时代的演进中,Web3和人工智能(AI)正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术,正相互交织,共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界,并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展,它基于去中心化的区块链技术,旨在创建一个开放、透明且用户主导的数字生态。不同于传统

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人,是不是经常需要制作各种PPT来分享我的生活和想法。但是,你们知道,有时候灵感来了,时间却不够用了!😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手!🌟 什么是Kimi? 一款月之暗面科技有限公司开发的AI办公工具,帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师,Kimi都能够为你的办公文

高效+灵活,万博智云全球发布AWS无代理跨云容灾方案!

摘要 近日,万博智云推出了基于AWS的无代理跨云容灾解决方案,并与拉丁美洲,中东,亚洲的合作伙伴面向全球开展了联合发布。这一方案以AWS应用环境为基础,将HyperBDR平台的高效、灵活和成本效益优势与无代理功能相结合,为全球企业带来实现了更便捷、经济的数据保护。 一、全球联合发布 9月2日,万博智云CEO Michael Wong在线上平台发布AWS无代理跨云容灾解决方案的阐述视频,介绍了

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

C++11第三弹:lambda表达式 | 新的类功能 | 模板的可变参数

🌈个人主页: 南桥几晴秋 🌈C++专栏: 南桥谈C++ 🌈C语言专栏: C语言学习系列 🌈Linux学习专栏: 南桥谈Linux 🌈数据结构学习专栏: 数据结构杂谈 🌈数据库学习专栏: 南桥谈MySQL 🌈Qt学习专栏: 南桥谈Qt 🌈菜鸡代码练习: 练习随想记录 🌈git学习: 南桥谈Git 🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈�

如何在页面调用utility bar并传递参数至lwc组件

1.在app的utility item中添加lwc组件: 2.调用utility bar api的方式有两种: 方法一,通过lwc调用: import {LightningElement,api ,wire } from 'lwc';import { publish, MessageContext } from 'lightning/messageService';import Ca

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了