本文主要是介绍字节扣子搭建大模型擂台:匿名PK效果,用户当裁判,跑分时代要结束了,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
字节跳动的扣子(coze.cn),给国产大模型们组了个大局——
在同一个“擂台”上,两个大模型为一组,直接以匿名的方式PK效果!
例如我们对两位参赛“选手”同时提问今年高考的题目:
阅读下面的材料,根据要求写作。(60分)
随着互联网的普及、人工智能的应用,越来越多的问题能很快得到答案。那么,我们的问题是否会越来越少?
以上材料引发了你怎样的联想和思考?请写一篇文章。
要求:选准角度,确定立意,明确文体,自拟标题;不要套作,不得抄袭;不得泄露个人信息;不少于800字。
点击问题的一瞬间,两位“选手”便立刻开始作答:
不难看出,两个大模型不论是在生成答案的速度,或是内容的侧重上均有所不同。
直到有一方作答完毕,这时候我们就可以开始投票了,一共有四个选项可选:
-
A表现更好
-
两个都好
-
两个都差
-
B表现更好
在这个case中,因为生成速度相似,我们姑且以个人文字审美为标准,先将票投给大模型A。
投票结束后,两位“选手”的庐山真面目也就揭晓了,分别是通义千问(A)和智谱(B)。
这便是字节跳动的AI应用开发平台扣子上新的玩法——模型广场。
这种打擂台的模型,与此前国外极具权威性的大模型擂台Chatbot Arena类似。
它同样是通过用户的参与,匿名两个模型,根据生成内容的表现来打分。
而且这种模式还得到了AI大神Karpathy的高度认可:
是我唯二信任的测试基准之一。
不过有一说一,扣子能让自家“院子”里的大模型们玩这种模式,也是实属罕见。
那么模型广场具体又该如何操作?是否能够hold住脑洞大开的问题?
我们这就来实测一波。
匿名PK,够直接,够刺激
我们现在打开扣子的官网(coze.cn),点击左侧的导航栏**“探索”列表中“模型广场”**,便可开始体验了。
整体来看,对战的模式一共分为三大类:
-
随机Bot对战
-
指定Bot对战
-
纯模型对战
刚才我们所展示的PK案例,就是点击**“随机开始”按钮而来,也就是随机Bot对战**。
具体而言,扣子会从已经上架的Bot中随机挑选一个,然后选择匿名的两个大模型进行PK。
这个模式考验的便是大模型们在任意业务场景下的文本生成、技能和知识调用等能力。
例如我们再来体验一番,这一次的场景就变成了数学老师,我们选择的问题:
某班30人中有15人参加数学建模竞赛,有8人参加数学竞赛,有6人参加英语竞赛,有3人三科竞赛都参加,请问三科竞赛都不参加的至少有多少人?
我们按照生成结果的简洁性,这次把票投给模型B,可以看到这次参赛的“选手”分别是通义千问(A)和MiniMax(B)。
而指定Bot对战,则是需要我们先在模型广场下方的众多Bot中挑选一个要测试的场景,然后扣子再从系统中选择匿名的两个大模型来PK。
这个模式在业务场景方面就会更加聚焦和细分。
例如我们在茫茫Bot中,一眼就相中了**“弱智吧十年练习生”**:
这一次我们自己来提问:
被门夹过的核桃,还能补脑吗?
从答案中不难看出,两位“选手”都没有get到这句话里隐藏的“你脑袋被门夹了”的梗,因此——两个都差。
最后一个模式便是纯模型对战——
忽略编排等各种Bot配置的影响,直接评估大模型的文本生成能力。
我们依旧“弱智吧Style”:
高考满分才750,怎么才能考985?
两个大模型都精准get到了985是什么意思,因此依旧是——两个都好。
值得一提的是,无论在哪种模式之下,“选手”如果在回答问题过程中暴露了自己的身份,那么用户所投出的票将被视为无效。
以上便是扣子给国产大模型们打擂台匿名PK的三种模式了。
而纵观扣子此次的新发布,除了大模型本身之外,另外一个关键要素便是Bot。
并且若是亲身体验一番下来,在扣子中创建Bot这件事,最为直接的感受就是够简单、够丰富。
小朋友都能搭建的Bot
其实模型广场是一个名叫**“扣子AI工坊”**(Coze AI Factory)活动的内容之一,是由扣子和英特尔联合推出的主题 Bot征集活动。
聚焦的是图文创作、实用工具、互动创意三个赛道。
但如果来到扣子的**“Bot商店”**,就不难发现,这里的Bot们并非是一尘不变的那种;相反,倒是非常紧跟热点,非常fashion。
例如正值刚刚高考完,Bot商店首页的“头条位置”留给的就是一个名叫**“高考专业指南”**的Bot,可以说是相当的应景。
除此之外,像**“国内高校百科”和“测测你的本命粽子”**等Bot,也是紧跟热点和节假日。
而且Bot的数量之多,简直是刷不到底:
但比起数量来说,更重要的还是在扣子中创建复杂的Bot,仅需鼠标“点点点”,就连小朋友都能完成。
第一大步,点击创建Bot,简单填写基本信息:
第二大步,选择自己想要用的大模型:
目前可选的大模型包括豆包、通义千问、智谱、MiniMax、月之暗面和百川。
第三大步,给Bot添加**“技能点”**,同样是“点点点”的操作,就能在扣子已经拥有的海量插件、工作流等内容里pick自己想要的那一个。
最后,一键“发布”,就可以上线想要拥有的Bot。
操作之简单,也就不难理解为何扣子上Bot的数量会如此惊人了。
字节的扣子在下一步什么棋?
我们再回到这次扣子新发布的模型广场,也正如我们在文章最开始提到的,这种把擂台玩法嵌入到自家大模型应用开发平台的,目前在业界算是少见。
那么,字节为什么要这么做?
首先从效果层面来看,从刚才我们创建Bot的过程中不难发现,它所依赖的能力最根本的就是来自扣子生态中所集成的大模型们。
而也正如业界已达成的共识那样——没有一个大模型能够“一统天下”,每个大模型都有自己的擅长之处。
加之每个Bot也都是在细分场景里各有侧重,因此合适的Bot遇到合适大模型,势必将产生1+1>2的效果。
其次从操作层面来看,模型广场的出现着实是为Bot开发者节省了挨个模型比对、试错的成本。
这无疑是给本就操作简易的扣子在操作上锦上添花。
最后是在可信度层面上,扣子所pick的类似Chatbot Arena的擂台模式,已然成为业界对大模型性能认可度的标杆。
毕竟除了前文提到的Karpathy之外,Jeff Dean和李开复也对这种模式给予过高度的认可。
一言蔽之,字节要做的,就是把AI应用开发门槛打下去,把生态壮大起来,让AI应用能“多快好省”地用起来。
扣子地址:coze.cn
如何学习AI大模型?
作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
一、全套AGI大模型学习路线
AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!
二、640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、AI大模型商业化落地方案
作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。
这篇关于字节扣子搭建大模型擂台:匿名PK效果,用户当裁判,跑分时代要结束了的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!