企业用大模型如何更具「效价比」?百度智能云发布5款大模型新品

2024-03-22 06:12

本文主要是介绍企业用大模型如何更具「效价比」?百度智能云发布5款大模型新品,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

服务8万企业用户,累计帮助用户精调1.3万个大模型,帮助用户开发出16万个大模型应用,自2023年12月以来百度智能云千帆大模型平台API日调用量环比增长97%...从一年前国内大模型平台的“开路先锋”到如今的大模型“超级工厂”,百度智能云千帆大模型平台在国内大模型市场牢牢占据着领先身位,但奔跑的脚步却并未停歇。

3月21日,百度智能云在北京首钢园召开千帆产品发布会,百度智能云在大会期间宣布:

1、携手北京市石景山区,共建全国首个百度智能云千帆大模型产业创新基地,助推区域产业腾飞;

2、满足企业“效价比”核心诉求,千帆ModelBuilder大模型服务全面升级,3个轻量级大模型、2个垂直场景大模型全新发布;

3、大幅降低AI原生应用开发门槛,千帆AppBuilder组件能力全面升级。

百度智能云千帆大模型产业(北京)创新基地启动建设

活动中,石景山区政府党组成员、副区长曹世辉,中关村石景山园管委会副主任崔明明,百度副总裁谢广军,百度副总裁石清华共同启动全国首个百度智能云干帆大模型产业(北京)创新基地。

创新基地致力于推动大模型技术与产业创新深度融合,双方将围绕提升算力供给、优化模型算法、推动数据开放、打造示范场景、深化人才引育等方面深耕厚植,政企合力打造人工智能产业新高地。曹世辉副区长表示,石景山区将与百度携手共进,聚焦人工智能和大模型技术研发和创新应用,构建完善AI 产业生态,为区域数字化转型和产业智能化升级提供支撑,为新质生产力的培育和发展注入澎湃动能。

百度副总裁谢广军

2023年,大模型在全球范围呈现出爆发式增长,国内更是打起了“百模大战”,无数科技大厂与科研院所聚焦大模型“本体”,疯狂“内卷”。

百度副总裁谢广军表示,大模型技术在过去一年飞速发展,随着逐步落地千行百业,2024年将成为国内大模型产业应用爆发的元年。针对企业最关心的大模型落地场景、使用成本、应用开发、应用效果四大挑战,百度智能云千帆在大模型、AI原生应用开发两个方面给出了最新“解题思路”。

百度智能云千帆大模型平台发布“3+2”新模型套餐:

提高企业应用大模型的“效价比”

大模型效果是“技术派”的不懈追求,而经济效益则是“市场派”的终极目标。谢广军在与诸多行业客户的交流中发现,除了极少的大客户对大模型有极致的效果追求,更多的企业和机构往往要综合考量大模型的使用效果、性能以及成本,即“效价比”。本次,千帆平台的模型矩阵针对企业的“效价比”核心诉求进行了一系列升级。

百度智能云千帆大模型平台模型矩阵

文心大模型ERNIE 3.5是目前百度智能云千帆大模型平台上最受欢迎的基础大模型之一。针对用户的常见通用的对话场景,ERNIE 3.5 在指令遵循、上下文学习和逻辑推理能力三方面分别进行了能力增强。升级后的ERNIE 3.5在企业应用场景如文案创作、信息抽取和工具调用三大场景中,应用表现分别大幅提升24%、27%和22%。

其次,相比超大规模参数的大模型,轻量级大模型的参数量更小,更便于客户针对特定使用场景进行模型精调,更容易达成使用效果预期,同时节约更多成本开销。本次大会,百度智能云发布了包括ERNIE Speed、ERNIE Lite、ERNIE Tiny在内,参数量由大到小的三款轻量级大模型,帮助客户实现“减量不减效”,节约不必要投资。

具体来讲,ERNIE Speed作为三款轻量级大模型中的“大个子”,推理场景下拥有最高128k的上下文长度,在处理知识问答等任务时,能够更好的处理上下文的依赖关系,生成更加连贯和准确的预测或回答。同时,针对特定场景可以将ERNIE Speed作为基座模型进行精调,模型效果可以追平甚至超过旗舰级大参数规模大模型,效价比大幅提升。

相比ERNIE Speed,ERNIE Lite的参数量则更小,也更加适合搭载在低算力的AI加速卡上处理推理任务,在兼顾模型效果与推理性能的同时,大幅降低客户落地应用成本。作为ERNIE-Bot-turbo模型的升级版,ERNIE Lite在情感分析、多任务学习、自然推理等场景下的应用效果提升了20%。推理调用成本大幅下降了53%!

三款轻量级模型中参数量最小的ERNIE Tiny则为客户提供了极致低成本、低延迟的最佳选择。在检索、推荐、意图识别等高并发、低延时等应用场景中,ERNIE Tiny的优异性能呈现了不俗表现。在某对话推荐业务场景中,精调后的ERNIE Tiny在搜索引擎推荐词激发环节,相比ERNIE 3.5,对话轮次增长了3.5%,成本下降了32%。

此外,企业在落地应用中,对大模型在人物扮演、外部工具调用均有更高的效果要求。本次千帆大模型平台ModelBuilder还基于对企业场景的深入洞察,结合百度自身业务最佳实践沉淀,推出了ERNIE Character和ERNIE Functions两款垂直场景大模型,分别适配客户在角色扮演类应用场景(如游戏NPC、客服对话等)和工具调用场景(对话中使用外部工具、调用业务函数等)中的使用需求。

在企业实践中,某智能硬件厂商,基于ERNIE Character打造智能助理,应用该模型后在人设一致性、激发并提升用户聊天欲望等方面效果显著提升。某旅游出行类APP,使用ERNIE Functions打造智能客服助手,在执行订票、查询航班状态等多种function调用上准确性达到85%。

千帆AppBuilder全面升级:

大幅降低AI原生应用开发门槛

千帆AppBuilder作为产业级AI原生应用开发平台,是千帆的重要组成部分。AppBuilder底层由基于百度多年技术和实践经验沉淀的大模型组件、AI能力组件的基础组件和面向典型应用场景深入调优建设的一系列高级组件构成。基础组件与高级组件共同支撑Agent,一方面可以通过工作流编排实现更为复杂的业务逻辑,另一方面Agent也具备强大的自主任务规划能力,能够理解用户意图自动规划执行路径,实现多工具的自动编排和执行。这些能力通过零代码态、代码态两类开发方式提供服务,更好的匹配不同开发者的使用需求。

开发完成后,应用可多渠道分发与集成,AppBuilder支持将应用一键分发到微信客服、微信公众号、Web端/H5及百度灵境矩阵等主流渠道。基于百度灵境矩阵,应用可在百度搜索、百度信息流等主流场景分发与挂载。真正实现应用开发出来后,就直接触达用户,打通从AI原生应用创建到开发再到分发的全流程。

百度智能云千帆AppBuilder

升级后的AppBuilder开放的工具组件多达55个。包括基于百度多年技术积累和自有业务沉淀的大模型组件、AI能力组件,也包括搜索等百度特色的业务组件、和多场景的第三方API工具,另外还提供了 RAG(知识检索问答)、GBI(生成式数据分析)等根据典型应用场景深入调优的高级能力组件。

开发AI原生应用离不开云基础设施,本次发布的基础组件还包括了百度智能云全新推出的向量数据库VDB 1.0。向量数据库是企业不可或缺的知识库核心组件,它针对传统知识库问答系统遇到的性能瓶颈、维护挑战及规模限制等问题提供了有力解决方案。全新发布的百度向量数据库VDB 1.0,不仅集成了全面的运维控制和安全防护能力,还兼容了千帆、LangChain等主流生态系统,能够帮助企业轻松管理数以千万计的文档知识,最大支持百亿向量存储规模以及毫秒级的向量检索速度。同时,相比同类型开源产品,VDB 1.0性能最高提升10倍。

在组件之上,千帆AppBuilder推出的Agent(智能体)应用框架,具备精准的任务自主规划能力,对多种应用工具的自动编排准确率超过90%,这个数字还在不断提升。AppBuilder还支持开发者接入自定义工具,通过将自动编排与手动编排相结合,实现更复杂场景应用的需求定制。Agent框架内的代码解释器能力,也在本次升级中大幅提升了40%的性能、在复杂的数据分析场景的生成结果可接受度高达95%,轻松应对各类数据分析与信息处理的场景。

此外,AppBuilder的代码态开发工具也再添利器。AppBuilder SDK本次重磅发布了Agent API,支持开发者将Agent便捷集成到自己的业务系统中,同时AppBuilder SDK面向主流AI原生应用场景提供了丰富的应用样例,目前已在Github开源,支持各个组件自由调用的灵活编排,帮助开发者实现应用的二次开发和便捷集成。

大会现场,还演示了如何在零代码开发模式中,只用1分钟构建一个“英语作文小帮手”Agent(智能体)应用,只需在AppBuilder中输入应用名称或希望开发的应用功能,平台就可以自动生成应用,通过简单的调整角色指令、添加所需工具组件,就可以快速生成一个英语作文批改小助手。发布后就可直接使用,三步完成应用创建与分发。

1分钟创建英语作文批改小助手

在百度智能云看来,随着大模型技术的不断演进和突破,工程化实践与用户需求适配正在变得愈发重要。只有深入场景,发掘、响应客户的真实需求,才是释放创新技术红利的最佳路径。

这篇关于企业用大模型如何更具「效价比」?百度智能云发布5款大模型新品的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/834693

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

百度/小米/滴滴/京东,中台架构比较

小米中台建设实践 01 小米的三大中台建设:业务+数据+技术 业务中台--从业务说起 在中台建设中,需要规范化的服务接口、一致整合化的数据、容器化的技术组件以及弹性的基础设施。并结合业务情况,判定是否真的需要中台。 小米参考了业界优秀的案例包括移动中台、数据中台、业务中台、技术中台等,再结合其业务发展历程及业务现状,整理了中台架构的核心方法论,一是企业如何共享服务,二是如何为业务提供便利。

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

高效+灵活,万博智云全球发布AWS无代理跨云容灾方案!

摘要 近日,万博智云推出了基于AWS的无代理跨云容灾解决方案,并与拉丁美洲,中东,亚洲的合作伙伴面向全球开展了联合发布。这一方案以AWS应用环境为基础,将HyperBDR平台的高效、灵活和成本效益优势与无代理功能相结合,为全球企业带来实现了更便捷、经济的数据保护。 一、全球联合发布 9月2日,万博智云CEO Michael Wong在线上平台发布AWS无代理跨云容灾解决方案的阐述视频,介绍了

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

嵌入式QT开发:构建高效智能的嵌入式系统

摘要: 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发,详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程,包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发,涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用,以及嵌入式 QT 与硬件设备的交互,包括输入输出设

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现,因为rasa本身是带有remindschedule模块的。不过经过一番折腾后,忽然发现,chatbot上实现的定时,语音助手不一定会有响应。因为,我目前语音助手的代码设置了长时间无应答会结束对话,这样一来,chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢? 我最后选择的方法是用threading.Time

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

图神经网络模型介绍(1)

我们将图神经网络分为基于谱域的模型和基于空域的模型,并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络:谱图卷积网络、切比雪夫网络和图卷积网络。 (1)谱图卷积网络 卷积定理:函数卷积的傅里叶变换是函数傅里叶变换的乘积,即F{f*g}