英特尔AI芯片中国定制版发布!打的就是英伟达A100

2023-11-05 02:20

本文主要是介绍英特尔AI芯片中国定制版发布!打的就是英伟达A100,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

丰色 发自 凹非寺
量子位 | 公众号 QbitAI

AIGC时代,谁说炼大模型就一定得用GPU?

英特至强CPU,运行扩散模型Stable Diffusion只需5秒就能出图。

而在这两天,专门搭载在该CPU上使用的AI加速器更是新鲜出炉。

它叫Gaudi2,面向中国市场发布,用于加速AI训练及推理,有了它,大规模部署AI便多了一种新选择。

730e8719ee5e6483c6b11e432b6e8bf7.jpeg

性能上,它在MLPerf最新报告中的多种训练和推理基准测试中都直接超越了英伟达A100,并提供了约2倍的性价比。

至于H100,它虽然还不能敌过,但若拉上成本,则也能“扳回一局”。

9640385ec6501bdc6c72852af430cd52.png

这款主打超强性价比的AI加速器,究竟什么来头?

全新Gaudi2加速器,性能超A100

Gaudi2深度学习加速器暨Gaudi2夹层卡HL-225B,以第一代Gaudi高性能架构为基础,加速高性能大语言模型运行。

(ps. Gaudi1代处理器诞生于2019年,其背后公司来自以色列,当年年底被英特尔以20亿美元收购,如今成为英特尔“叫板”英伟达的重要底气。)

Gaudi2采用7nm制程工艺,具备24个可编程Tensor处理器核心(TPCs),支持面向AI的各类高级数据类型:FP8、BF16、FP16、TF32和FP32。

它配备21个100 Gbps(RoCEv2)以太网接口,可通过直接路由实现Gaudi处理器间通信(相比原版少了3个,但英特尔公司执行副总裁Sandra Rivera介绍,这对整体性能影响基本不大)。

同时,它还能做到2.4TB/秒的总内存带宽,先进的HBM控制器则针对随机访问和线性访问进行了优化,在各种访问模式下都可以提供这一保证。

此外,48MB片上SRAM和集成多媒体处理引擎亦是标配。

98d3395d3e06cf788c158ca33b4a380c.png

就在上个月公布的MLCommons® MLPerf®基准测试中,Gaudi2在1750亿参数的GPT-3模型训练上表现出色,使用384个加速器上耗时311分钟就完成了训练。

虽然相比之下,英伟达只需61分钟便可,但这样的成绩需要512个H100——由于Gaudi2的成本要远低于H100,所以要论性价比,Sandra Rivera表示,Gaudi2是更具诱惑力的选择。

与此同时,Gaudi2在基于8个和64个加速器助力的BERT、8个加速器助力的ResNet-50和Unet3D训练结果上,全部优于A100。

此外,Gaudi2也可为大规模的多模态和语言模型提供出色的推理性能。

在最近的Hugging Face评估中,其在大规模推理方面的表现,包括在运行Stable Diffusion、70亿以及1760亿参数BLOOMZ模型时,在行业内均保持领先。

能耗方面,训练计算机视觉模型时,Gaudi2的每瓦性能是A100的2倍,推理176B参数的BLOOMZ时,功耗则可降低40%。

def2307b3d03f71868f8e1c6d7b64532.png

——不仅性能和功耗强大,英特尔还提供了配套的成熟软件支持:SynapseAI。

它可以方便开发者轻松构建模型,或将当前基于GPU的模型业务和系统迁移到基于全新Gaudi2服务器。

同时,SynapseAI集成了对TensorFlow和PyTorch框架的支持,提供众多流行的计算机视觉和自然语言参考模型,可以满足深度学习开发者的多样化需求。

另外,说到Gaudi2服务器,现在,英特尔已与浪潮信息合作,打造并发售基于Gaudi2深度学习加速器的浪潮信息AI服务器NF5698G7。

该服务器集成了8颗Gaudi2加速卡HL-225B,还包含双路第四代英特尔至强可扩展处理器,进一步帮助大家高效部署大模型。

04556f075291d396bd2af9d98ad8aa82.png

最后,值得一提的是,在发布会后的交流环节中,当被问及英特尔是否有一个预期,能占领多少AI加速芯片的市场时,Sandra Rivera表示:

国内AI产品需求非常大,产品完全不够用。因此市场就在那里,在这种情况下我们不用特别设什么份额的目标,就把最好的产品带出来,满足市场需求,帮助大家创新,这就是我们想要做的事情。

而据量子位现场获悉,明年,能够进一步缩小差距甚至超越英伟达H100的Gaudi3就将问世。

与此同时,2025年之时,英特尔还将整合既有的GPU Max产品线和Gaudi系列,取两者之长,推出更加完整的下一代GPU产品。

而在这之中,英特尔将对大家最为关心的可持续软件生态做大笔投入。

(咳咳,好戏才刚刚开始~)

「AIGC+垂直领域社群」

招募中!

欢迎关注AIGC的伙伴们加入AIGC+垂直领域社群,一起学习、探索、创新AIGC!

请备注您想加入的垂直领域「教育」或「电商零售」,加入AIGC人才社群请备注「人才」&「姓名-公司-职位」。

39d9d90b57a212e1ce7c013dc37859de.png

点这里👇关注我,记得标星哦~

这篇关于英特尔AI芯片中国定制版发布!打的就是英伟达A100的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/346768

相关文章

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢?我尝试一种更为智能的方法:P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验,

微信公众号脚本-获取热搜自动新建草稿并发布文章

《微信公众号脚本-获取热搜自动新建草稿并发布文章》本来想写一个自动化发布微信公众号的小绿书的脚本,但是微信公众号官网没有小绿书的接口,那就写一个获取热搜微信普通文章的脚本吧,:本文主要介绍微信公众... 目录介绍思路前期准备环境要求获取接口token获取热搜获取热搜数据下载热搜图片给图片加上标题文字上传图片

SpringKafka消息发布之KafkaTemplate与事务支持功能

《SpringKafka消息发布之KafkaTemplate与事务支持功能》通过本文介绍的基本用法、序列化选项、事务支持、错误处理和性能优化技术,开发者可以构建高效可靠的Kafka消息发布系统,事务支... 目录引言一、KafkaTemplate基础二、消息序列化三、事务支持机制四、错误处理与重试五、性能优

新特性抢先看! Ubuntu 25.04 Beta 发布:Linux 6.14 内核

《新特性抢先看!Ubuntu25.04Beta发布:Linux6.14内核》Canonical公司近日发布了Ubuntu25.04Beta版,这一版本被赋予了一个活泼的代号——“Plu... Canonical 昨日(3 月 27 日)放出了 Beta 版 Ubuntu 25.04 系统镜像,代号“Pluc

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Spring AI ectorStore的使用流程

《SpringAIectorStore的使用流程》SpringAI中的VectorStore是一种用于存储和检索高维向量数据的数据库或存储解决方案,它在AI应用中发挥着至关重要的作用,本文给大家介... 目录一、VectorStore的基本概念二、VectorStore的核心接口三、VectorStore的

最新Spring Security实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)

《最新SpringSecurity实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)》本章节介绍了如何通过SpringSecurity实现从配置自定义登录页面、表单登录处理逻辑的配置,并简单模拟... 目录前言改造准备开始登录页改造自定义用户名密码登陆成功失败跳转问题自定义登出前后端分离适配方案结语前言

Nginx实现前端灰度发布

《Nginx实现前端灰度发布》灰度发布是一种重要的策略,它允许我们在不影响所有用户的情况下,逐步推出新功能或更新,通过灰度发布,我们可以测试新版本的稳定性和性能,下面就来介绍一下前端灰度发布的使用,感... 目录前言一、基于权重的流量分配二、基于 Cookie 的分流三、基于请求头的分流四、基于请求参数的分

Spring AI集成DeepSeek三步搞定Java智能应用的详细过程

《SpringAI集成DeepSeek三步搞定Java智能应用的详细过程》本文介绍了如何使用SpringAI集成DeepSeek,一个国内顶尖的多模态大模型,SpringAI提供了一套统一的接口,简... 目录DeepSeek 介绍Spring AI 是什么?Spring AI 的主要功能包括1、环境准备2

Spring AI集成DeepSeek实现流式输出的操作方法

《SpringAI集成DeepSeek实现流式输出的操作方法》本文介绍了如何在SpringBoot中使用Sse(Server-SentEvents)技术实现流式输出,后端使用SpringMVC中的S... 目录一、后端代码二、前端代码三、运行项目小天有话说题外话参考资料前面一篇文章我们实现了《Spring