ACM图灵大会开幕,王海峰解读文心大模型3.5最新进展

2024-03-19 15:40

本文主要是介绍ACM图灵大会开幕,王海峰解读文心大模型3.5最新进展,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

5b783cb7894455ac05c988e93497911f.gif

7月28日-30日,顶级学术会议ACM中国图灵大会在武汉举办,围绕“通用智能,人机共生”主题,图灵奖得主、中国科学院院士、企业代表等与会探讨尖端技术及人工智能发展,展望计算科学未来。百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰解读文心大模型的核心技术,阐述人工智能产业模式,为人工智能技术及产业发声。据了解,文心一言已成为百度员工工作中的 “超级助理”,Comate智能编码伙伴帮助80%百度工程师提升编程效率,改变了程序开发模式,吸引100多家合作伙伴。

b868ea8c90e1074924376eeb5c0e1adb.png

飞桨开发者数量已达到750万

当前,人工智能已经成为新一轮科技革命和产业变革的重要驱动力量,而深度学习是其关键核心技术,具有很强的通用性,呈现出标准化、自动化、模块化的工业大生产特征,推动人工智能进入工业大生产阶段。大模型具有效果好、泛化性强、研发流程标准化程度高等特点,成为人工智能发展的主流方向。

人工智能时代,IT技术栈发生根本性改变,从芯片、操作系统和应用三层架构,转变为芯片、框架、模型、应用四层架构。深度学习框架和大模型构成了产业智能化基座,支撑各行各业的应用智能化重构。

7b4f883df4716f098f4a9bac053c25e8.png

百度在“芯片-框架-模型-应用”人工智能四层技术栈全面布局,自研的深度学习平台飞桨支撑了文心大模型的高效训练和推理,截至目前飞桨平台开发者数量已达到750万。IDC报告显示,百度稳居中国深度学习平台市场综合份额第一。根据中国信通院发布的《深度学习平台报告(2022)》,飞桨是中国深度学习市场应用规模第一的深度学习框架和赋能平台。

e6c5349915d915c4fac082cf2dd86988.png

据IDC报告,文心大模型综合评分第一

算法模型第一,行业覆盖第一

据了解,文心一言是百度自主研制的知识增强大语言模型,首先从数万亿数据和数千亿知识中融合学习得到预训练大模型,在此基础上采用有监督精调、人类反馈的强化学习和提示等技术,并具备知识增强、检索增强和对话增强等技术优势。

王海峰解读了文心大模型3.5的核心技术创新,通过飞桨与文心协同优化,文心大模型3.5实现了基础模型升级、精调技术创新、知识点增强、逻辑推理增强等,模型效果提升50%,训练速度提升2倍,推理速度提升30倍。

在基础模型训练上,采用了飞桨最先进的自适应混合并行训练技术及混合精度计算策略,并采用多种策略优化数据源及数据分布,加快了模型迭代速度,显著提升了模型效果和安全性。同时,百度研发团队创新了多类型多阶段有监督精调、多层次多粒度奖励模型、多损失函数混合优化策略、双飞轮结合的模型优化等技术,进一步提升模型效果及场景适配能力。

在知识增强和检索增强基础上,文心大模型3.5提出了“知识点增强技术”,使得模型能够更好地利用精细的知识点来提升理解生成等方面的能力,进而提升对世界知识的掌握和运用。

在推理方面,通过大规模逻辑数据构建、逻辑知识建模、多粒度语义知识组合以及符号神经网络技术,提升文心大模型3.5在逻辑推理、数学计算及代码生成等任务上的表现。

文心大模型3.5还新增了插件机制,包括官方插件百度搜索和ChatFile,使得文心一言能够生成实时准确信息和长文本摘要,拓展了大模型能力边界。

根据IDC最新发布的《AI大模型技术能力评估报告,2023》,百度文心大模型3.5在14个参评模型中拿下12项指标的7个满分,得到“综合评分第一,算法模型第一,行业覆盖第一”三个绝对第一。

42bd01094756ca38342111d7283cc092.png

Comate帮助80%百度工程师提升编程效率

已吸引100多家伙伴

王海峰在演讲中展示了文心一言的问答对话、文案生成、行程规划等能力,以及在办公、会议、编码等场景的应用。

文心一言先是根据要求写了一篇赞美“茶”的文章,全文赞美“茶”却未出现“茶”字,接下来又规划了“武汉一日游”的行程安排,确保能游览黄鹤楼,能吃到地道的武昌鱼,还创作了以“图灵大会”为题的藏头诗。

工作中,文心一言化身“超级助理”,帮助总结工作沟通要点,实时记录会议内容,形成会议议题、摘要及总结等关键信息,可以通过各类插件完成指令任务,包括查询日程、创建会议、设置待办、申请休假等,也可以在工程师编码过程中自动推荐和生成代码。据悉,目前这些功能已通过智能工作平台“如流”应用于百度的工作流程中,Comate智能编码伙伴帮助80%百度工程师提升编程效率,吸引100多家合作伙伴。

对于大模型的产业模式,王海峰表示,在文心一言这类大模型产业落地的进程中,可以采用“集约化生产,平台化应用”的模式,即具有算法、算力和数据综合优势的企业将模型生产的复杂过程封装起来,通过低门槛、高效率的生产平台,为千行百业提供大模型服务,支撑产业智能化升级。

11e1a34fb3b71147262dbc267aed0ee8.png

c6b75d7f70c9a1727c5d868a0ec9176a.png

31aa143cc08f34f570cd63f561275437.png

7f16c4ca0fca3cce021e922343087d24.png

e9865da9fe883473594512426d0b647d.gif

关注【飞桨PaddlePaddle】公众号

获取更多技术内容~

这篇关于ACM图灵大会开幕,王海峰解读文心大模型3.5最新进展的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/826475

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

认识、理解、分类——acm之搜索

普通搜索方法有两种:1、广度优先搜索;2、深度优先搜索; 更多搜索方法: 3、双向广度优先搜索; 4、启发式搜索(包括A*算法等); 搜索通常会用到的知识点:状态压缩(位压缩,利用hash思想压缩)。

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

4B参数秒杀GPT-3.5:MiniCPM 3.0惊艳登场!

​ 面壁智能 在 AI 的世界里,总有那么几个时刻让人惊叹不已。面壁智能推出的 MiniCPM 3.0,这个仅有4B参数的"小钢炮",正在以惊人的实力挑战着 GPT-3.5 这个曾经的AI巨人。 MiniCPM 3.0 MiniCPM 3.0 MiniCPM 3.0 目前的主要功能有: 长上下文功能:原生支持 32k 上下文长度,性能完美。我们引入了

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

图神经网络模型介绍(1)

我们将图神经网络分为基于谱域的模型和基于空域的模型,并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络:谱图卷积网络、切比雪夫网络和图卷积网络。 (1)谱图卷积网络 卷积定理:函数卷积的傅里叶变换是函数傅里叶变换的乘积,即F{f*g}

秋招最新大模型算法面试,熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候,不知道面试完会不会复盘、总结,做笔记的习惯,这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助,都附有完整答案,熬夜也要看完,祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN,还有完整版的大模型 AI 学习资料,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言

MCU7.keil中build产生的hex文件解读

1.hex文件大致解读 闲来无事,查看了MCU6.用keil新建项目的hex文件 用FlexHex打开 给我的第一印象是:经过软件的解释之后,发现这些数据排列地十分整齐 :02000F0080FE71:03000000020003F8:0C000300787FE4F6D8FD75810702000F3D:00000001FF 把解释后的数据当作十六进制来观察 1.每一行数据