百度沈抖：“云智一体”升级，打造大模型服务的“超级工厂”

⭐前言

10月17日，百度世界2023在北京首钢园召开。百度智能云在大会期间宣布：全面升级“云智一体”战略，面向客户落地大模型的五类需求提供全栈服务方案；面向AI原生应用开发，重磅发布“千帆AI原生应用开发工作台”，加速企业AI原生应用落地；发布国内首个AI原生应用商店，以及国内首个大模型全链路生态支持体系，赋能伙伴商业增长，共建、共享繁荣的大模型产业生态。
在本次大会上百度集团执行副总裁、百度智能云事业群总裁沈抖表示，人工智能与云计算的深度融合是企业快速落地AI原生应用的关键，这也是百度智能云始终倡导和践行的“云智一体”理念。

⭐面向客户落地大模型的五类需求

目前，百度集团所有应用和服务全部基于”云智一体“技术架构运行在百度智能云上。此外，面向客户落地大模型的五类需求，百度智能云基于千帆大模型平台打造的“大模型超级工厂”分别给出了如下五种最佳服务方案。

1. 针对只有算力需求的客户，千帆平台可以提供极致高效和性价比的异构算力服务。在客户最关心的大模型训练环节，通过分布式并行训练策略和微秒级互联能力，千帆平台可以高效实现算力的规模化扩展，万卡规模集群训练的加速比达到95%；通过事先防范、事中及时发现、定位、解决，最大限度避免集群因故障等原因产生的无效运转，提高有效训练时间占比，万卡集群有效训练时间占比超过96%，充分释放集群有效算力，大幅降低客户算力与时间成本。此外，千帆平台还兼容昆仑芯、昇腾、海光DCU、英伟达、英特尔等国内外主流AI芯片，支持客户以最小的切换成本完成算力适配。
   面壁智能携手知乎，基于百度智能云提供的AI算力集群，训练出“知海图AI”大模型和多模态大模型Luca，在千卡集群上的有效训练时间占比高达99%，在保障模型训练连续性的同时，可以实现模型训练效果的高效收敛。此外，知乎、好未来、地平线、网易有道等企业也正在基于百度智能云提供的AI算力服务，以更加稳定、高效和经济的方式实现大规模集群的训练和管理
2. 在模型层面，对于希望直接调用已有大模型的客户，千帆平台纳管了42个国内外主流大模型，企业客户可以快速调取包括文心大模型在内的各种大模型的API，获取大模型能力。对于第三方大模型，千帆平台还针对性地进行了中文增强、性能增强、上下文增强等优化。比如，原本更擅长英文对话的Llama2等国外大模型，在进行中文增强之后，中文表现也同样优秀。目前千帆平台已经服务了超过17000家客户，并且大模型调用量正在以每周环比20%的速度持续攀升。
3. 而对于希望基于现有大模型进行二次开发的客户，千帆平台为大模型的再训练、微调、评估和部署等环节提供全生命周期工具链、业界最多的41个高质量行业数据集，帮助客户针对自身业务场景快速优化模型效果。目前，包括中国邮政储蓄银行、度小满、金山办公、河北高速集团在内的诸多行业头部客户，都已经通过千帆平台提供的工具链服务开发出了贴合业务需求的专属大模型。
4. 在应用层面，一部分企业需要基于大模型服务去开发AI原生应用，千帆平台上提供的一些列能力组件与框架，可以帮助企业快速完成应用开发，灵活地响应用户与市场需求。
5. 而另一部分客户则希望直接、方便地选购成熟的AI原生应用产品，赋能业务发展。

⭐“千帆AI原生应用开发工作台”，加速企业AI原生应用落地

为了满足企业敏捷、高效地进行AI原生应用开发与运维的需求，降低AI原生应用开发门槛，百度智能云重磅发布“千帆AI原生应用开发工作台”，将开发大模型应用的常见模式、工具、流程，沉淀成一个工作台，帮助开发者聚焦在自身业务，而无需为开发过程牵扯多余精力。具体来讲，千帆AI原生应用开发工作台主要由应用组件和应用框架两层服务构成。
应用组件服务由AI和基础云两大类组件构成，是对底层服务能力的组件化封装，让每个组件完成一个特定的功能。“AI组件”中既包含诸如问答、思维链（CoT，Chain of Thought）等大语言模型组件，还包括文生图、语音识别等多模态组件，而“基础云组件”则包含向量数据库、对象存储等传统云服务能力。
这里不少组件的能力是百度在过去10年逐步沉淀下来的，使我们在大模型应用开发上更便捷。当然我们如果直接去用这些组件还是有一些门槛的，需要具备一定的基础。所以百度又把这些组件串联、组合起来、让它们可以比较完整地完成一个特定场景的任务，这就是应用框架。

⭐常用的AI原生应用框架

目前，千帆平台上提供的检索增强生成（RAG）、智能体（Agent）就是常用的AI原生应用框架。在每个框架下，我们可以使用百度智能云提供的丰富的样板间，进行敏捷、高效地AI原生应用开发。 我们先来看RAG这个应用框架。

⭐检索增强生成（RAG）

检索增强生成（RAG，Retrieval Augmented Generation）框架，可以更高效的利用企业专有领域内的知识，并在大模型的帮助下根据相关问题做出精确回答，是专业知识问答类AI原生应用的必备核心能力。
我们都知道，在实际业务中用户往往会问一些非常专业的或者针对性很强的问题，而答案不在互联网上，是在企业自己的文档数据里。这种情况下，通用大语言模型没法给出确切的回答。这就是RAG典型的应用场景，它可以让大模型去学习并理解这些特定的专业知识，给用户返回准确的答案。
大会现场，还进行了如何基于RAG框架，为三一重工快速开发知识问答应用的实操演示：只需在千帆AI原生应用工作台中选择预制的RAG框架，进行相应的参数配置等工作，就可以快速实现三一重工官网智能客服应用的开发与上线。

视频中首先介绍了演示的应用场景，然后用短短的几分钟便实现了三一重工官网智能客服的开发，最后在官网演示了效果。

我们先看一下演示的应用场景，这是三一重工的官方网页，可以看到三一重工生产了包括挖掘机在内的多种工程机械设备，当一个用户来到首页以后，希望咨询这些设备的性能参数、操作保养等问题的时候，就得找一个非常精通这些设备的工作人员，才能很好的服务这个用户。但是三一重工的文档涉及的内容非常多，比如这是一款挖掘机叫SY305H的操作保养手册，一个文档有48页，2万多字，里面包括了非常多的参数和细节，如果让一个员工去灵活掌握这些内容，并回答用户的这些问题，还是非常有难度的。而百度基于RAG的应用框架，在几分钟之内就能做一个大模型，让它快速掌握，并且回答用户的问题。
关于如何实现这个功能其实很简单，只需要三步。首先我们进入千帆平台的控制台，建一个知识库，输入一个名字，有了知识库以后，我们把SY305H操作保养手册的文档加载进来。

然后进入开发应用，点击插件编排，在配置里面我们需要关联一下刚才创建的知识库，现在关联好以后点击确定上线。

现在这个知识库存已经可以线上服务了，这里自动生成了代码，我们可以复制它，把它贴到三一重工官网首页脚本里，回到首页刷新一下，在右下角出现了三一产品的小助手，这时候就可以问它关于这款挖掘机的具体问题了。

我们可以看到，小助手的回答很简洁，应该用什么，不应该用什么，否则会带来什么样的问题。我们将文档中关于这方面的内容找出来对比一下小助手的回答，发现小助手不但简洁，而且逻辑性非常强，正是因为这个大模型这么强大的语言理解能力和生成能力，所以这时候我们随便再问它几个其他的问法，照样能把这些内容给整理出来。
一个2万字的文章，48页的内容，通过几分钟的时间就可以做成了一个线上小助手，这就是大模型带来的魅力。

⭐智能体（Agent）

智能体（Agent）作为当前业界流行的应用框架，可以对人类给定的任务进行自动拆解，自动规划并调用各种组件协同完成任务，同时根据任务完成效果得到反馈，改进自身能力。目前，Agent框架已经在工业、交通等领域得到了广泛应用。
中天钢铁基于千帆AI原生应用开发工作台提供的Agent框架打造了智能化的“企业调度中枢”，实现了任务指令的自动感知、分解与执行。比如，在发现钢铁产量不达标时，用户只需提问一次，大模型就可以自动调用平台纳管的各种资源和API，完成BI取数、第三方根因分析等工作，找到未达标原因并及时调整排产计划。

⭐总结

大模型时代来了，风起云涌，有人争着弄潮，有人忙着逐浪，而百度致力于造一艘坚实的大船，用更高效的智力基础设施、更好用的一站式大模型平台、更丰富的行业解决方案和百花齐放的AI原生应用。
通过演示的三一重工案例，以及了解千帆平台的接入流程，其实只需几步，就能快速开发一个应用，对企业来说，这就是降本增效；对技术人员来说，千帆大模型平台丰富的工具集，提供了快速开发的可能性，我们也能把时间精力放在更有创意的事情上。