出门问问把AIGC看得很透彻

2024-03-22 19:30
文章标签 aigc 透彻 问问 出门 看得

本文主要是介绍出门问问把AIGC看得很透彻,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

640?wx_fmt=jpeg&wxfrom=13&tp=wxpic

 (图片来源:Pixabay)

640?wx_fmt=jpeg&wxfrom=13&wx_lazy=1&wx_co=1&tp=wxpic

李志飞将AIGC看得很透,他可能是行业里“最不着急”的人。

640?wx_fmt=jpeg&wxfrom=13&wx_lazy=1&wx_co=1&tp=wxpic

 

@数科星球原创

作者丨苑晶

编辑丨大兔

 

“几乎每一个行业,从业者都是国外的2倍,利润又是同行的1/5,让中国的创业难度提升了10倍”。李志飞的这句话适用于广大行业,也可看成AIGC行业所面临的现状。

在2023年,AIGC行业开局即炸裂。“被离职”、泛互联网从业者及创业者扎根其中,保守估计已逾百万之众。热闹中裹挟着焦虑,熙熙攘攘的人群中到处可听见“chat、chat”。

第二季度,国内企业动作频出,百度、360、阿里、商汤相继发布自研大模型,创业圈也热情不减,王慧文、李开复、贾扬清、王小川相继下场宣布入局大模型,当大家的关注点都聚焦在5000万美元能买多少张卡,可以支持几次训练的时候,李志飞和出门问问却走出了另外一条路。自研大模型+AIGC产品矩阵,底层技术和应用落地并行是这家公司的特色,他可能是这个行业“最不着急”的人。

01

什么是大模型

在李志飞看来,大模型本质上是序列模型。

以GPT为代表的大模型起源于文本,⽂本是简单线性序列,从这个角度看,大模型本质上是一个序列模型。

他认为,序列本身是很通用的,语言是一种序列,天气温度、股票价格也是序列。任何一个序列都有所谓的Prefix(前缀)、中缀(Infix)和 Suffix(后缀),这些元素构成短语后就能形成具有递归能力的层次式表示,就像语言的语法树一样。大模型现在已经学会快速表达序列,这一能力是以前的AI在机器翻译、语音识别等序列任务里都不具备的。而且语言序列只是一种非常简单的序列,因为它是线性的。

这似乎并不难理解,在数科星球(ID:digital-planet)多方印证下,找到了序列模型的一些解释:(GPT、BERT等)之所以被称为序列模型,是因为它们是在序列数据上进行预训练的。在自然语言处理领域,大模型的输入通常是一句话或一篇文章,这些输入可以被看作是一个序列。因此,在训练这些模型时,它们通常会以序列方式处理输入,并使用一系列技术来建立记忆和理解上下文之间的关系,以提供更好的预测能力。

在数科星球(ID:digital-planet)的研究中发现,如今,序列模型在业界已被广泛采用。例如,Google的BERT模型可以通过在大量文本数据上进行预训练,理解单词和短语之间的关系,从而实现对复杂自然语言处理任务的卓越表现。同样,OpenAI的GPT-3模型是基于序列到序列的转换模型,以多种方式训练,使用Transformer架构来学习计算机生成的文本与真实的人类生成的文本之间的关系。

值得注意的是,大模型较之以往AI产品的好处是显而易见的。以往,问题在通过AI生成结果之前,需要定义语义模板,而这通常是指一种用于描述和表示语言语义信息的结构化模板。这些模板描述了一些常见的语言结构和句式,在生成文本时可以根据这些模板来指引生成过程。但缺点是,当问题发生变化,AI的程序也需变化,这让模型本身变得“不那么通用”。

“而大模型训练过程中并不会预设问题,只在最后Fine Tuning阶段给模型一些范例数据(而非按照格式去标注数据),然后就可以直接提问模型并得出答案。”这意味着,大模型产品不需要特意标注数据和重新训练系统,在通用性角度上,是一种极大的进步。

02

参数不是越多越好

随着ChatGPT在全球越来越火爆,大模型的基本原理已逐渐被世人熟知。在一个个大模型推向市场的同时,数科星球(ID:digital-planet)看到,大模型的参数量变成了人们关注的焦点。对此,人工智能科班出身的李志飞认为,大模型不只是”大“。

他提到,参数量超千亿的语言模型并非近年才发展起来,早在2007年,Google Translate的语言模型就已在2万亿文本token里进行学习,并达到3000亿参数。但那时的大模型都是基于文本里的n-grams构建,只是对互联网文本的表层建模,至多只能往前看六个词,主要用于在翻译过程中判断哪些句子更加符合目标语言习惯,并不具备泛化任务的能力。

所以大模型不只是「大」,更多是需要对互联网文本深度地建模。

在数科星球(ID:digital-planet)对话相关业内人士后,也得出了相似结论:即大模型并不是参数越多越好——大模型确实需要参数到达一定的量级才会出现“涌现“能力,增加参数量也的确可以提升模型表现,但也会带来以下一些潜在问题:

训练时间和计算资源:参数越多,训练模型所需的时间和计算资源就越多。这可能导致开发周期变长,并需要更强大的硬件设备才能支持。

过拟合:较多参数的大模型可能面临过拟合问题。当一个模型具有太多参数时,它可能过于复杂,以至于对训练数据捕捉过多细节,而无法很好地泛化到新的、未见过的数据。

优化挑战:参数较多的模型在寻找最优解时具有更大的搜索空间,从而使优化过程更为复杂和困难。

易用性和部署:大模型可能导致较大的存储和内存需求,这可能影响模型的易用性和部署。在资源受限的设备上(如移动设备),部署大模型可能存在挑战。

因此,在设计和选择模型时,应该根据任务需求和资源限制来平衡模型的大小和复杂度。在实际应用中,往往需要找到模型大小和性能之间的最佳平衡点。有时候,使用更小的模型加上合适的正则化方法、数据增强等技术,也能达到不错的效果。

03

关键在于把如何大模型用起来

4月20日,出门问问在2023AIGC战略发布会上内测自研大模型“序列猴子”,展示了其在知识储备、多步推理等方面的能力,李志飞本人甚至做了一场“人机交互”的live demo。

此外,出门问问还推出了四款AIGC产品形成产品矩阵,分别为AI写作平台“奇妙文”、AI绘画平台“言之画”、AI配音平台“魔音工坊”、数字人视频与直播平台“奇妙元”,涵盖了剧本生成、解说讲稿、文本工具、创意想法、视频制作和制图配图等多个使用场景。

自2012年成立,出门问问这家公司在语音识别、TTS和NLP等领域均有尝试。2020年6月,GPT-3出现之后其强大的通用能力让人李志飞非常震撼,一个单一的模型便可以完成多种特定任务,甚至能够完成从来没有接触过的任务。惊艳于GPT-3的表现,出门问问开始探索中国GPT-3之路,并于2021年发布大模型「UCLAI」,但由于其商业化落地过于艰难,出门问问便停止了对大模型的投入。

随后的一年多时间里,出门问问开始布局生成式AI,做出了一系列AIGC产品,如「魔音工坊」和「奇妙元」。同时在美国,以Jasper为代表的AIGC产品迎来爆发式发展,成为GPT落地应用的最佳场景之一。

2022年10月,出门问问重启大模型业务。历经6个月,出门问问在发布会中连发4款AIGC产品,涵盖剧本生成、解说讲稿、文本工具、创意想法、视频制作和制图配图等多个使用场景形成覆盖创作者全流程的生成式产品矩阵。

厚积薄发之下,大模型技术以及AIGC落地场景和产品应用的积累彻底打通了出门问问的“任督二脉”,让产品-数据和用户之间形成了飞轮效应。

客观地说,出门问问的模式可以成为大模型和AIGC企业的成长样板,在可预期的未来,AIGC产品之间也将在进一步提升语义语境理解、垂直模型和个性化之间展开。在数科星球(ID:digital-planet)看来这场技术革命才刚刚开始,远没到终局之时。

不过面对OpenAI引发的这场技术浪潮,相比于年初的满腔热血,李志飞理性了很多。

“跟ChatGPT差距是16个月 ”是李志飞对国内大模型技术水平的判断,他认为,目前国内各家大模型的平均水平大概处于谷歌FLAN阶段(FLAN开启了大模型的指令学习Instruction Tuning范式),

做大模型不能太着急,它是个长期主义的事情。

如今,在琳琅满目的AIGC类产品推向市场的同时,数科星球(ID:digital-planet)认为,创业企业在构建技术底座的同时,还应该明确落地场景和商业模式。毕竟目前,国内外差距展现出来的只是技术问题,而中国拥有全球难以企及的应用优势。技术和商业并行,两条腿走路或许是最适合国内大模型企业的发展路线,就像李志飞所说,发展大模型的关键在于把如何大模型用起来。

结尾:在对话多家AIGC企业后,数科星球(ID:digital-planet)觉得,李志飞和出门问问可能是行业中“最不着急”的人。他本人对AIGC的态度是长期看好,但并不焦虑。

现在,AIGC的子弹飞翔两个多月,并搅得行业“天下大乱”。在未来,数科星球(ID:digital-planet)希望看到更多更扎实、更能沉得住气的企业加入AIGC大潮。有理由相信,倘若再给行业多些时间,那么将会有更多的企业给大众带来更多惊喜。

这篇关于出门问问把AIGC看得很透彻的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/836051

相关文章

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

关于大模型和AIGC的36条笔记和真话

行业到底有多卷? 最新统计,中国已有130多个大模型问世,在网信办备案的算法模型也超过70多家。BAT等互联网巨头悉数下场发布AI大模型,仅2023年就有超60家创业公司拿到融资,产品更是布满了基础层、模型层和应用层。新一代生成式AI,可能要回头看看上一代AI趟过的坑,不要行业自嗨,避免上一个冬天的轮回。在这个领域的从业者,更要清晰地看到行业的内卷和客户的痛点,别被大佬的鸡汤迷了眼。 1、

知名AIGC人工智能专家培训讲师唐兴通谈AI大模型数字化转型数字新媒体营销与数字化销售

在过去的二十年里,中国企业在数字营销领域经历了一场惊心动魄的变革。从最初的懵懂无知到如今的游刃有余,这一路走来,既有模仿学习的艰辛,也有创新突破的喜悦。然而,站在人工智能时代的门槛上,我们不禁要问:下一个十年,中国企业将如何在数字营销的浪潮中乘风破浪? 一、从跟风到精通:中国数字营销的进化史 回顾过去,中国企业在数字营销领域的发展可谓是一部"跟风学习"的编年史。从最初的搜索引擎营销(SEM),

AIGC大模型智能抠图(清除背景):Sanster/IOPaint,python(2)

AIGC大模型智能抠图(清除背景):Sanster/IOPaint,python(2)   在文章(1)的基础上,尝试用大模型扣除图中的某些主要景物。 1、首先,安装插件: pip install rembg   2、第1步安装成功,启动webui,注意,这里要启用清除背景/抠图的插件 --enable-remove-bg : iopaint start --model=lama

AIGC是如何颠覆文旅行业的?

AI技术正在以前所未有的速度和规模,颠覆着各行各业的发展。在文旅行业,这种颠覆尤为显著。今天,我们深入探讨AIGC是如何颠覆文旅行业的。 传统的文旅内容创作方式,往往需要大量的人力、物力和财力投入。拍摄、录制、剪辑,每一个环节都需要专业的团队和设备。然而,有言的出现,彻底改变了这一现状。作为一站式AIGC(3D)视频创作平台,有言通过AIGC技术,实现了3D视频的一键生成,大大简化了创作流程,降

AIGC与数据分析融合,引领商业智能新变革(TOP企业实践)

AIGC与数据分析融合,引领商业智能新变革(TOP企业实践) 前言AIGC与数据分析融合 前言 在当今数字化时代,数据已成为企业发展的核心资产,而如何从海量数据中挖掘出有价值的信息,成为了企业面临的重要挑战。随着人工智能技术的飞速发展,AIGC(人工智能生成内容)与数据分析的融合为企业提供了新的解决方案。 阿里巴巴作为全球领先的科技公司,一直致力于探索和应用前沿技术,以提升企业

基于VAE和流模型的AIGC技术

哇哦,VAE(变分自编码器)和流模型在AI生成内容(AIGC)领域可真是大放异彩呢!🚀🌟 它们就像魔法师一样,能够创造出各种各样、高质量的数据,从图像到音频,再到文本,简直无所不能!🎨🎶📚 来,让我们用更轻松活泼的方式,探索一下VAE和流模型的奇妙世界吧! 🌈 VAE:数据表示的魔法师 🌈 设计哲学:VAE的目标是学习输入数据的有效表示,这样它就能像变魔术一样重构输入数据。和标

【AIGC】Transformer模型:Postion Embedding概述、应用场景和实现方式的详细介绍。

🏆🏆欢迎大家来到我们的天空🏆🏆 🏆🏆如果文章内容对您有所触动,别忘了点赞、关注,收藏! 🏆 作者简介:我们的天空 🏆《头衔》:大厂高级软件测试工程师,阿里云开发者社区专家博主,CSDN人工智能领域新星创作者。 🏆《博客》:人工智能,深度学习,机器学习,python,自然语言处理,AIGC等分享。 所属的专栏:TensorFlow项目开发实战,人工智能技术 🏆🏆主页:我们

我选称之为大模型界的神书!!大模型与AIGC在医疗领域的革命性成果!

《LLMs and Generative AI for Healthcare》这本书可能会探讨大型语言模型和生成式人工智能在医疗领域的应用。这本书可能会详细介绍LLMs和Generative AI的原理、技术和应用,并重点讨论它们在医疗领域的潜力和挑战。 这本大模型《LLMs and Generative AI for Healthcare》PDF已经上传CSDN,还有完整版的大模型 AI

开源网安引领AIGC+开发安全,智能防护铸就软件安全新高度

近日,国内网络安全领域知名媒体数说安全正式发布了《2024年中国网络安全市场100强》和《2024年中国网络安全十大创新方向》。开源网安凭借在市场表现力、资源支持力以及产品在AI方向的创新力上的优秀表现成功入选百强榜单,并被评为“AIGC+开发安全”典型厂商。 开源网安已对全线软件安全产品进行了“AI+”能力的扩展,近期开源网安代码审核平台CodeSec和“医保系统下基于AI大模型智能代码