AI的“高度近视”有何破解之法?深度学习加速技术让“人工智障”戴上眼镜

本文主要是介绍AI的“高度近视”有何破解之法?深度学习加速技术让“人工智障”戴上眼镜,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

【导读】

「是什么黑科技,成全了AI又快又准又省的心愿?」

有什么比秃头更心酸的吗?

有,比如智能机器人将秃了的后脑勺识别成未戴口罩的脸,跟随一路提醒佩戴口罩。

如今AI应用已非常普遍,这过程中也收获了不少“人工智障”的笑话,上述只是其中一个,除了离谱的图像自动识别,还有答非所问的智能对话。

自迎来以深度学习为代表的第三次发展浪潮,人工智能技术已被广泛应用在目标检测、图像识别、自然语言处理(NLP)等场景,从语音识别、自动送餐机器人到生产线影像监控,AI的身影无处不在。

客户的业务需求与创新应用对AI推理和训练的效率和质量都提出了更为严格的要求,推动人工智能发展从三个方面——数据、算力、算法都需要进一步调优和高效。

两全其美之事已是世间难得,倘若想要在一件事上达到“三全”,着实有些困难且“贪心”。

但踏平“人工智障”,真的需要“贪心”一些。

数据精度、存储空间、处理速度,发展AI必须三者共同进步

数据、算力和算法之间存在一些原生矛盾。

通常来说,数据类型的宽度越大,能表达的动态范围和精度也就越高。

更大的动态范围和更高的精度意味着更多的存储空间,譬如FP32就需要FP16两倍的内存占用,并给内存带宽带来成倍的压力,对算力带来挑战。

同时算法层面,尽管深度学习是人工智能(AI)近几年重新走红的功臣,也是吞噬算力的巨大 “黑洞”。

这三者平衡起来依然也会存在困难,从数据类型的层面,要节省存储空间就需要做出一定的让步或牺牲,例如,Google为加速AI深度学习而引入的BFloat16(BF16)数据类型,用FP16的数据宽度实现了与FP32相当的动态范围,其代价是精度有所降低。

这只是解决了一方面,但如果实现“既准,又省,还快”三重快乐AI,三大要素必须共同发力:简化数据,强化算力,优化算法。

英特尔深度学习加速技术:准、省、快,低精度成就高效率!

算法上的革新是重中之重。

如同上述所说,大多数深度学习应用在其训练和推理工作负载中多采用 32 位浮点精度(FP32),尽管精度高但占用更大内存,进而影响计算效率。

当数据格式由 FP32 转为 8 位整数(INT8)或 16 位浮点数(BF16)时,内存可以移动更多的数据量,进而更大化地利用计算资源。

图说:不同数据格式对内存利用率的影响

这种精度的降低会对数据处理的准确率造成影响吗?

答案是:并不会,或者说影响微乎其微。

近年来已有众多研究和实践表明,以较低精度的数据格式进行深度学习训练和推理,并不会对结果的准确性带来太多影响,譬如BF16用于训练,INT8用于推理,能够将准确率的损失降至最低,甚至完全没有损失。

而低精度数据格式带来的优势,也不仅在于提升内存利用效率,在深度学习常见的乘法运算上,它也能减少处理器资源消耗并实现更高的操作速度(OPS)。

算法的升级助力了“准”和“省”的达标,但“快”的层面还略有些差强人意。

为了保证推理过程中的精度,在CPU的向量处理单元中进行矩阵运算的时候,先将8位值相乘再累加到32位,需要3条指令来完成,代价是3倍的指令数,这也导致峰值运算性能只提高了33%。

那么“提速”任务就交给了算力单元。

英特尔® 深度学习加速(英特尔®Deep Learning Boost,简称DL Boost)技术的精髓,就是把对低精度数据格式的操作指令融入到了 AVX-512 指令集中, AVX-512_VNNI (Vector Neural Network Instruction,矢量神经网络指令) 和 AVX-512_BF16(bfloat16),分别提供了对 INT8(主打推理)和 BF16(兼顾推理和训练)的支持。

英特尔® 深度学习加速技术带来训练和推理效率提升
 

至此,英特尔® DL Boost技术可以让人工智能达到三全,即:

  • 省:简化数据,提高内存容量和带宽的利用率,缓解内存压力;
  • 准:优化算法,模型量化使用较低的数值精度也能保证结果的准确性,特别是推理应用;
  • 快:强化算力,避免增加额外操作,保证性能与内存利用率同步提升。

推理与训练,硬件加速双管齐下

如同一条道路上,通过车辆的体型变小(简化后的数据),通过的车辆数量自然就上来了。

两种新的、针对 AI 应用的 AVX-512 指令集使道路(寄存器)上通过了更多的 车辆(数据量),新的指令集无疑能使计算效率获得大幅提升。

点击此处回顾英特尔AVX指令集的前世今生《这项15年前的「超前」技术设计,让CPU在AI推理时代大放光彩》

这两种不同指令集的优势也有所不同。

从代号Cascade Lake的英特尔第二代至强可扩展处理器开始,AVX-512指令集就增加了VNNI,用一条FMA指令就可以完成8位乘法再累加到32位的操作。

2020 年问世的第三代英特尔® 至强® 可扩展处理器已集成了英特尔® 深度学习加速技术这两种 AI 加速指令集,并被广泛运用于商业深度学习应用的训练和推理过程。

在指令集的支持下,简化数据的同时避免了额外的开销,让性能可以获得与内存利用率一致的提升。AVX-512_VNNI 使用INT8做推理,对比使用FP32,理论上可以获得4倍的性能,而将内存要求降至 ¼。

内存的减少和频率的提高加快了低数值精度运算的速度,最终加速 AI 和深度学习推理,适合图像分类、语音识别、语音翻译、对象检测等众多方面。

而AVX-512_BF16 的优势是既可以用于推理,也可以用于训练,能帮助训练性能提升达 1.93 倍。代号Cooper Lake的英特尔第三代至强可扩展处理器就集成了bfloat16加速功能,在与FP32相似的精度下,提升性能和内存利用率。

软硬协同设立“AI改造车间”,CPU多场景应用优势尽显

算力、算法、数据如今都有各自标准以及解决办法,当三者形成完整闭环时,如何让整个流程的效率更上一层?

依然还有可以继续进步的地方,那就是:AI 应用原生的数据格式并不统一的情况下,如何高效的把大量采用传统FP32数据格式的AI模型转换成BF16或INT8格式使用。

由英特尔推出的 OpenVINO™ 工具套件提供了模型量化功能,为上述问题提供了应对良方。

它能让基于不同 AI 框架,如 TensorFlow、MXNet、PyTorch 等构建的 FP32 数据格式 AI 模型,在损失很少精度的情况下转化为 INT8 和 BF16 数据格式。

除模型量化功能外,针对一系列 AI 应用场景,如视觉模拟、自动语音识别、自然语言处理及推荐系统等,OpenVINO™ 工具套件还提供了能提升它们开发和部署效率的组件,例如 OpenVINO™ Model Server 和 OpenVINO™ Model Zoo 等组件可对基于 TensorFlow、PyTorch、MxNet、Keras 等不同框架构建的训练模型实施更为高效的优化,并简化这些模型部署的流程及耗时。

AI应用场景颇多,那何种场景更能突显AVX-512_BF16等深度学习加速技术的优势?

例如在医疗影像此类重视准确性多过于实时性的场景中,汇医慧影在乳腺癌影像分析场景中引入了集成有英特尔® 深度学习加速技术的第二代英特尔® 至强® 可扩展处理器,配合 OpenVINO™ 工具套件,在对检测模型进行了 INT8 转换和优化后,推理速度较原始方案提升高达 8.24 倍,且精确度损失不到 0.17%。

企业启动构建AI应用,改弦更张并非性价比之选,可以充分评估既有的数据存储、处理和分析平台,如此一来,基于又准又快又省的CPU,或借助它构建和部署符合自身需求的AI应用。

更何况,CPU自身的AI能力也在不断进化中,即将发布的代号为Sapphire Rapids的英特尔第四代至强可扩展处理器,就加入了简称AMX的高级矩阵扩展(Advanced Matrix Extensions)技术。

AMX是新的x86扩展,具有自己的存储和操作,主要针对AI领域非常重要的平铺矩阵乘法,比前两种DL Boost的实现更为复杂,那效果呢?我们(带上显微镜)拭目以待吧~

点击链接:https://www.intel.cn/content/www/cn/zh/artificial-intelligence/deep-learning-boost.html,了解更多深度学习加速技术。

这篇关于AI的“高度近视”有何破解之法?深度学习加速技术让“人工智障”戴上眼镜的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/403794

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

从去中心化到智能化:Web3如何与AI共同塑造数字生态

在数字时代的演进中,Web3和人工智能(AI)正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术,正相互交织,共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界,并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展,它基于去中心化的区块链技术,旨在创建一个开放、透明且用户主导的数字生态。不同于传统

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人,是不是经常需要制作各种PPT来分享我的生活和想法。但是,你们知道,有时候灵感来了,时间却不够用了!😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手!🌟 什么是Kimi? 一款月之暗面科技有限公司开发的AI办公工具,帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师,Kimi都能够为你的办公文

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

【专题】2024飞行汽车技术全景报告合集PDF分享(附原数据表)

原文链接: https://tecdat.cn/?p=37628 6月16日,小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞,这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示,公司准备量产,并计划今年四季度开启预售小鹏汇天分体式飞行汽车,探索分体式飞行汽车城际通勤。阅读原文,获取专题报告合集全文,解锁文末271份飞行汽车相关行业研究报告。 据悉,业内人士对飞行汽车行业

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]