腾讯云AI超级底座新升级:训练效率提升幅度达到3倍

2023-11-23 14:30

本文主要是介绍腾讯云AI超级底座新升级:训练效率提升幅度达到3倍,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

大模型推动AI进入新纪元,对计算、存储、网络、数据检索及调度容错等方面提出了更高要求。在9月7日举行的2023腾讯全球数字生态大会“AI超级底座专场”上,腾讯云介绍异构计算全新产品矩阵“AI超级底座”及其新能力。

腾讯云副总裁王亚晨在开场致辞中表示,AI大模型就像是一场F1比赛,腾讯云专门设计了星脉高性能算力网络“赛道”,并自研了TiTa和TCCL网络协议作为“车载导航和道路控制系统”,共同让“HCC GPU服务器”这台马力强大的F1赛车发挥最大的算力性能,助力客户在AI大模型的竞争中遥遥领先。

图片

腾讯云全新异构计算产品矩阵“AI超级底座”亮相

随着AI应用走向全领域,模型参数发展到千亿、万亿级规模,对云计算的基础设施提出了全新的挑战。腾讯云异构计算产品总监宋丹丹表示,AI 超级底座可以从底层算力基础设施到上层应用对接提供整套完整服务,方便模型生产厂商和AI开发者快速开发、验证。

腾讯云AI超级底座具有海量算力、极致性能、灵活取用等优势,结合了腾讯云的海量多元算力、高性能网络和存储集群,并以云原生产品作为入口供开发者灵活调用。在软硬结合层,腾讯云还可以通过GPU虚拟化、容器等,以及高性能应用服务HAI给开发者提供简易的开发体验,并让底层的高性能算力无损直达开发者,真正实现“高性能易上手”。

图片

基础设施再进化,取之AI,赋能于AI

作为AIGC时代的重要核心,大模型需要庞大的算力来支撑。腾讯云高性能计算集群产品 HCC采用腾讯云星星海自研服务器,提供高性能、高带宽和低延迟的集群算力。目前,HCC已全面升级至2.0,性能、效率和稳定性实现全面提升,相比上代训练效率提升幅度达到3倍,将几十天的训练周期缩短至一周内。

此外,腾讯云还推出了性价比更高的冷存储产品、COS加速器,以及数据湖多级加速体系,可面向AIGC等多种业务场景提供多级缓存加速方案,进一步提升训练效率并降低资源成本。腾讯云存储产品总监崔剑指出,腾讯云通过提供近存储侧的一站式数据处理智能平台,为以AIGC为代表的业务提供内容处理、内容审核等服务,帮助用户挖掘数据价值,从而实现了“取之AI,助力AI”。

图片

腾讯云公网产品负责人俞圆圆指出,对于参数达到千亿、万亿级别的 AI 大模型来说,大带宽、低延时、广覆盖、少抖动的网络是实现高效训练的关键因素之一。腾讯云星脉高性能计算网络具备业界最高的3.2T 通信带宽,可为AI大模型的训练提供高速公路级别的网络通道。

图片

软硬件结合,提升极致性能

底层基础设施以外, AI大模型的落地也需要上层软件的支持。腾讯云异构计算AI研发专家工程师叶帆表示,随着集群规模的增加,无论训练还是推理对硬件性能的利用均呈现指数难度上升,需要精细的软硬件协同来提升性能。腾讯云的Taco-LLM开箱即用性能方案基于Continuous Batching、预测解码、模型量化等技术,提高吞吐的同时,也降低了客户端延迟,并全面兼容hugging face主流大语言模型,可保障复杂多变的公有云应用场景。

图片

针对GPU算力资源浪费的问题,腾讯云TencentOS高级产品架构师杜震表示,qGPU容器产品可以支持多个容器共享 GPU 卡,具备了各容器间算力、显存的精细隔离和灵活配置,将GPU的利用率提升至极致,最终帮助客户大幅节约GPU资源成本。同时,腾讯云还基于 RUE 内核全场景混部,统一调度分配 CPU、IO、网络、内存等资源,提升资源利用率,进一步降低运营成本。

图片

向量数据库加速企业AI化进程

在大模型时代,通过向量数据库将数据高效接入AI大模型,并深度挖掘数据价值,成为最重要的事。

腾讯云数据库产品副总经理罗云指出,腾讯云向量数据库同时具备的性能和规模优势,支持高达10亿级的向量检索规模,延迟则控制在毫秒级,比传统单机插件式数据库检索规模提升了10倍。同时,腾讯云向量数据库还具备百万级每秒查询(QPS)的峰值能力,经腾讯内部海量场景实践,数据接入 AI 的效率比传统方案提升10倍,运行稳定性高达99.99%。

图片

从底层到上层,腾讯云AI超级底座通过大模型高性能计算集群、计算网络以及向量数据库等大模型生态工具,助力AI大模型应用落地。

这篇关于腾讯云AI超级底座新升级:训练效率提升幅度达到3倍的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/418573

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

从去中心化到智能化:Web3如何与AI共同塑造数字生态

在数字时代的演进中,Web3和人工智能(AI)正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术,正相互交织,共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界,并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展,它基于去中心化的区块链技术,旨在创建一个开放、透明且用户主导的数字生态。不同于传统

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人,是不是经常需要制作各种PPT来分享我的生活和想法。但是,你们知道,有时候灵感来了,时间却不够用了!😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手!🌟 什么是Kimi? 一款月之暗面科技有限公司开发的AI办公工具,帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师,Kimi都能够为你的办公文

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

AI行业应用(不定期更新)

ChatPDF 可以让你上传一个 PDF 文件,然后针对这个 PDF 进行小结和提问。你可以把各种各样你要研究的分析报告交给它,快速获取到想要知道的信息。https://www.chatpdf.com/

【北交大信息所AI-Max2】使用方法

BJTU信息所集群AI_MAX2使用方法 使用的前提是预约到相应的算力卡,拥有登录权限的账号密码,一般为导师组共用一个。 有浏览器、ssh工具就可以。 1.新建集群Terminal 浏览器登陆10.126.62.75 (如果是1集群把75改成66) 交互式开发 执行器选Terminal 密码随便设一个(需记住) 工作空间:私有数据、全部文件 加速器选GeForce_RTX_2080_Ti

AI Toolkit + H100 GPU,一小时内微调最新热门文生图模型 FLUX

上个月,FLUX 席卷了互联网,这并非没有原因。他们声称优于 DALLE 3、Ideogram 和 Stable Diffusion 3 等模型,而这一点已被证明是有依据的。随着越来越多的流行图像生成工具(如 Stable Diffusion Web UI Forge 和 ComyUI)开始支持这些模型,FLUX 在 Stable Diffusion 领域的扩展将会持续下去。 自 FLU

AI基础 L9 Local Search II 局部搜索

Local Beam search 对于当前的所有k个状态,生成它们的所有可能后继状态。 检查生成的后继状态中是否有任何状态是解决方案。 如果所有后继状态都不是解决方案,则从所有后继状态中选择k个最佳状态。 当达到预设的迭代次数或满足某个终止条件时,算法停止。 — Choose k successors randomly, biased towards good ones — Close