本周AI热点回顾:英伟达A100训练速度可达V100的3.5倍;飞桨框架支持ONNX协议​保存模型

本文主要是介绍本周AI热点回顾:英伟达A100训练速度可达V100的3.5倍;飞桨框架支持ONNX协议​保存模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍点击左上方蓝字关注我们

01

不出所料,百度EasyDL市场份额还是第一

在 2020 年的中国机器学习平台市场,百度的 EasyDL 又拿了第一。 

近日,全球权威咨询机构 IDC(国际数据公司)发布了中国《深度学习框架和平台市场份额》报告。调研数据显示,截至 2020 年 12 月,百度的「零门槛 AI 开发平台」EasyDL 以 22.80% 的市场份额位列机器学习平台市场份额第一,并连续两年保持市场第一。

数据来源:IDC《深度学习框架和平台市场份额》2020.12。

报告指出,在机器学习平台方面,百度 EasyDL 的用户认知度最高,也是受访者使用频率最高的平台

据统计,自 2017 年推出以来,百度 EasyDL 已经累计服务了 70 多万的用户,覆盖 20 多个行业,得到了大量企业与个人开发者的广泛认可与应用。

其实,随着 AI 技术落地的不断深入,市场上已经涌现出多款致力于降低 AI 应用门槛的训练和服务平台。

从技术到硬件,从场景到应用,通过百度 AI to B 的重要承载者和输出者——百度智能云,为各行各业大规模输送百度的 AI 技术成果与平台能力,支持产业智能化升级。百度智能云拥有中国最领先的 AI 开放平台,日调用量突破 1 万亿,已开放超过 270 项 AI 能力,培养了超过 100 万人工智能领域的从业者,这个规模也在持续快速增长。

有了这样坚实的支撑,百度 EasyDL 连续两年保持市场第一也是意料之中。

信息来源:机器之心

02

AI远程监考软件Proctorio惹争议,UIUC宣布下学期停用该服务

出于对隐私、歧视、数据安全和可访问性的考虑,伊利诺伊大学香槟分校(UIUC)宣布将在 2021 夏季学期结束后停用远程监考软件 Proctorio。

在新冠肆虐的大背景下,「上网课」已经成为常态。那么考试的时候怎么办?在没有监考老师的情况下,学生会不会作弊?

越来越多高校选择使用远程监考软件 Proctorio 解决这一问题。该软件利用机器学习和先进的人脸检测技术,通过网络摄像头记录学生在考试期间的行为,监控学生的头部位置,以及标记「可疑行为」。

然而,这一软件的广泛使用引起了巨大争议。如去年 5 月澳大利亚国立大学数千学生发起请愿,要求停止使用 Proctorio 远程监控软件;美国大量师生出于隐私、歧视、数据安全和可访问性等因素抗议这一服务。

近日,伊利诺伊大学香槟分校(UIUC)发布公告,宣布将在 2021 夏季学期结束后停用 Proctorio 软件。

UIUC 公告地址:

https://emails.illinois.edu/newsletter/1970177238.html

信息来源:机器之心

03

Paddle2ONNX重磅升级:飞桨框架支持ONNX协议保存模型啦!

飞桨框架2.0集成了最新版的Paddle2ONNX工具,进一步提升了框架的开放性。

近期,飞桨进入了2.0时代,不仅API体系得到了全面升级,动态图模式变得更加完备,为广大开发者带来“动静统一的开发体验”,还集成了最新版的Paddle2ONNX工具,进一步提升了框架的开放性。除了原先的Paddle Inference和Paddle Lite等高性能部署方案外,用户还可以通过使用paddle.onnx.export接口,将模型保存为ONNX协议格式后进行部署,极大丰富了飞桨的软硬件部署生态!

飞桨作为国内最早开源的开源框架,在过去一年中技术生态迅猛发展,为开源社区贡献多个模型套件。其中,目标检测模型套件推出产业实践最优模型PP-YOLO,性能和精度都超过原生的YOLO-V4;在文字识别方向,PP-OCR在2020年一经开源,便吸引了大量开发者使用,多次登陆GitHub技术趋势榜;另外,在多个国际权威语义评测中获得冠军的预训练模型ERNIE,也升级至2.0。飞桨进步,永不止步。为了帮助开发同学解决部署环境难题,飞桨也在不断探索。

现在,飞桨与ONNX开源组织进行了合作,开源了Paddle2ONNX项目,并基于Paddle2ONNX与英特尔合作,打通了飞桨模型在OpenVINO上的部署推理。

本月,我们将发布Paddle2ONNX最新版本V0.5,带来更多重磅功能,覆盖更多飞桨官方模型,期望通过ONNX这个桥梁,进一步推动飞桨、开发者和软硬件厂商的合作!

Paddle2ONNX项目地址:

https://github.com/PaddlePaddle/Paddle2ONNX

信息来源:飞桨PaddlePaddle

04

英伟达A100深度学习性能实测:训练速度可达V100的3.5倍

英伟达最新发布的基于新架构的A100加速计算卡,其官网宣传:

自动混合精度和FP16,可以为A100带来2倍的性能提升;而且,在不更改代码的情况下,具有TF32的A100与英伟达Volta相比,性能能够高出20倍。

那么,A100与V100相比,究竟如何?最近Lambda网站真的把它俩的训练速度对比了一番。

硬件参数对比


相比V100,A100的单精度浮点计算能力,从15.7TFLOPS提升至19.5TFLOPS;而双精度浮点运算从7.8TFLOPS提升至9.7TFLOPS。

在英伟达的公开信息中,列出了A100与V100的参数对比:

结论

  • 在卷积神经网络训练中:

1块A100的训练速度是1块V100的2.2倍;

使用混合精度时,前者则是后者的1.6倍。

  • 在语言模型训练中:

1块A100的训练速度是1一块V100的3.4倍;

使用混合精度时,前者则是后者的2.6倍。

其中,分别用8块A100与8块V100,进行32位训练:前者速度能够达到后者的3.5倍;看来,针对不同模式下的深度学习训练,英伟达A100都有着相当不错的效率。

“前所未有的规模”以及“惊人的性能”,所言不虚。

信息来源:量子位

05‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

训练一个130亿参数的模型要用几个GPU?微软:一个就够‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

现在的模型动辄数百、数千亿参数,普通人训不动怎么办?

前不久,谷歌发布了参数量为 1.6 万亿的语言模型 Swith Transformer,将 GPT-3 创下的参数量记录(1750 亿)推至新高。这些大模型的出现让普通研究者越发绝望:没有「钞能力」、没有一大堆 GPU 就做不了 AI 研究了吗?

在此背景下,部分研究者开始思考:如何让这些大模型的训练变得更加接地气?也就是说,怎么用更少的卡训练更大的模型?

为了解决这个问题,来自微软、加州大学默塞德分校的研究者提出了一种名为「 ZeRO-Offload 」的异构深度学习训练技术,可以在单个 GPU 上训练拥有 130 亿参数的深度学习模型,让普通研究者也能着手大模型的训练。与 Pytorch 等流行框架相比,ZeRO-Offload 将可训练的模型规模提升了 10 倍,而且不需要数据科学家对模型做出任何改变,也不会牺牲计算效率。

论文链接:

https://arxiv.org/pdf/2101.06840.pdf

ZeRO-Offload 通过将数据和计算卸载(offload)至 CPU 来实现大规模模型训练。为了不降低计算效率,它被设计为最小化与 GPU 之间的数据往来,并在尽可能节省 GPU 内存的同时降低 CPU 的计算时间。因此,对于一个参数量为 100 亿的模型,ZeRO-Offload 可以在单个 NVIDIA V100 GPU 上实现 40 TFlops/GPU。相比之下,使用 PyTorch 训练一个参数量为 14 亿的模型仅能达到 30TFlops,这是在不耗尽内存的情况下所能训练的最大模型。ZeRO-Offload 还可以扩展至多 GPU 设置并实现线性加速,最多可在 128 个 GPU 上实现近似线性加速。

此外,ZeRO-Offload 还可以和模型并行一起使用,在一个 DGX-2 box AI 服务器上训练参数量超 700 亿的模型。与单独使用模型并行相比,这一参数量实现了 4.5 倍的规模提升。

信息来源:PaperWeekly

飞桨(PaddlePaddle)以百度多年的深度学习技术研究和业务应用为基础,是中国首个开源开放、技术领先、功能完备的产业级深度学习平台,包括飞桨开源平台和飞桨企业版。飞桨开源平台包含核心框架、基础模型库、端到端开发套件与工具组件,持续开源核心能力,为产业、学术、科研创新提供基础底座。飞桨企业版基于飞桨开源平台,针对企业级需求增强了相应特性,包含零门槛AI开发平台EasyDL和全功能AI开发平台BML。EasyDL主要面向中小企业,提供零门槛、预置丰富网络和模型、便捷高效的开发平台;BML是为大型企业提供的功能全面、可灵活定制和被深度集成的开发平台。

END

这篇关于本周AI热点回顾:英伟达A100训练速度可达V100的3.5倍;飞桨框架支持ONNX协议​保存模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/345813

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

从去中心化到智能化:Web3如何与AI共同塑造数字生态

在数字时代的演进中,Web3和人工智能(AI)正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术,正相互交织,共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界,并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展,它基于去中心化的区块链技术,旨在创建一个开放、透明且用户主导的数字生态。不同于传统

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人,是不是经常需要制作各种PPT来分享我的生活和想法。但是,你们知道,有时候灵感来了,时间却不够用了!😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手!🌟 什么是Kimi? 一款月之暗面科技有限公司开发的AI办公工具,帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师,Kimi都能够为你的办公文

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

4B参数秒杀GPT-3.5:MiniCPM 3.0惊艳登场!

​ 面壁智能 在 AI 的世界里,总有那么几个时刻让人惊叹不已。面壁智能推出的 MiniCPM 3.0,这个仅有4B参数的"小钢炮",正在以惊人的实力挑战着 GPT-3.5 这个曾经的AI巨人。 MiniCPM 3.0 MiniCPM 3.0 MiniCPM 3.0 目前的主要功能有: 长上下文功能:原生支持 32k 上下文长度,性能完美。我们引入了

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

图神经网络模型介绍(1)

我们将图神经网络分为基于谱域的模型和基于空域的模型,并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络:谱图卷积网络、切比雪夫网络和图卷积网络。 (1)谱图卷积网络 卷积定理:函数卷积的傅里叶变换是函数傅里叶变换的乘积,即F{f*g}