淘系资深技术专家接受InfoQ采访表示:端智能必将成为驱动业务创新的核心推动力...

本文主要是介绍淘系资深技术专家接受InfoQ采访表示:端智能必将成为驱动业务创新的核心推动力...,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

近几年,关注端智能方向的公司越来越多,一些头部公司在端智能上有了新的探索,并且取得了不错的效果,端智能逐渐成为驱动移动 App 业务创新的核⼼推动⼒之⼀。在推进端智能的过程中,会遇到哪些挑战?核心解决思路是什么?

近日,阿里巴巴淘系技术部资深技术专家吕承飞(花名:吕行)受 InfoQ 邀请,和大家聊一聊端智能在淘系的应用,以及双十一背后的那些技术挑战。并将于12 月 6-7 日的 QCon 全球软件开发大会(深圳站)“云端一体化移动开发”专题中进行《淘系端智能技术建设和业务创新》的分享,后续现场内容将通过淘系技术微信公众号整理发布。

吕承飞(花名:吕行)阿里巴巴资深无线开发专家,在移动开发,超级 App 架构,端侧 AI 等方面有深入思考和实践经验。2011 年毕业加入百度,经历百度输入法 0 到 1 研发过程。2013 年加入淘系,经历手机淘宝超级 App 技术演化完整过程,主导淘宝 iOS 架构升级、架构治理、稳定性和性能等相关工作。2017 年开始端侧智能方向探索,构建开源端侧推理引擎 MNN,端计算框架 Walle,AR 技术框架和美妆 AR 等创新应用。


以下是采访实录:

InfoQ:吕行老师您好,非常荣幸能够采访您。您从 2017 年开始探索端侧智能方向,这 3 年来,您认为端智能的发展有哪些变化?

吕行:宏观层面,端智能应用从探索尝试到逐步展开,在未来,必定会成为商业应用以及业务创新的核心技术推动力之一。具体来看,业界端智能的发展可以从以下三个角度来看:

  • 从技术角度看,解决的问题是逐步递进的。从最初模型运行基础问题,再到效率和规模应用问题,具体包括:算法模型如何在端侧运行?算法模型如何快速迭代部署?如何降低端 AI 技术门槛实现普及应用?

  • 从算法角度看,端侧算法不断成熟和完善。从最初的人脸检测,到人体姿态、手势、OCR 等逐步成熟。除视觉模型外,像搜索推荐深度模型、语音 ASR 模型和 NLP 模型在端侧运行也逐步变得可能,比如:我们今年基于 MNN 实现了移动端实时语音识别方案,并且在双 11 淘宝直播"一猜到底"活动中取得很好的业务效果。

  • 从应用角度看,整体应用范围不断拓展和深入。从最初单点场景比如淘宝拍立淘场景,到多 App 和多场景全面铺开,不完全统计,阿里基于 MNN 的端智能应用已经超过 30 个。

InfoQ:淘系端智能的发展主要经历了哪几个阶段?

吕行:淘系端侧 AI 应用流程如上所示,每个节点都存在诸多问题,过去 3 年我们一直在解决中,主要经历了以下 3 个阶段:

  1. 端侧推理引擎阶段:端智能首先要解决算法模型在端侧运行问题,否则一切无从谈起,推理引擎就是端智能应用皇冠上的明珠,这个阶段我们做了端侧推理引擎 MNN,实现模型在端侧高效运行。

  2. 算法模型服务阶段:端智能要在业务落地除了算法模型运行之外,前后还涉及模型转换、更新发布、版本管理、运维监控等工作,这个阶段我们做了端 AI 服务端解决算法模型发布更新问题。特别地,算法任务除模型外,还涉及前后处理代码,因此我们构建了基于 PythonVM 的算法任务运行时容器,让算法同学编写 Python 任务实现快速迭代。

  3. 端 AI 研发范式阶段:端智能规模化应用过程中需要体系化解决研发迭代全链路问题。一方面,端智能应用落地需要算法开发和移动开发通力协作,但是两者之间天然存在 GAP,完全依赖口头沟通,协作效率存在较大问题;另一方面,AI 应用场景具有长尾和碎片化特征,诸多场景因为缺少专业算法支持导致没有落地,而且由于缺少统一技术建设导致已被应用的方案难以沉淀和复用;因此,我们构建『端 AI 研发范式』,具体由 MNN 工作台、MNN 运行时、端 AI 服务端构成。其核心思想:一是解耦算法和移动开发,让算法开发独立迭代;二是降低 AI 门槛,让 AI 成为普通开发的有力武器解决业务问题。我将在本次 QCon 会议分享相关内容细节。

InfoQ:淘系技术在推进端智能落地过程中,遇到过哪些困难,您认为最大的挑战是什么?最终是如何解决的?

吕行:淘系丰富的业务场景历来是培育创新技术的沃土,端智能的整体技术和应用实践一直走在行业前列,我们有开源推理引擎 MNN 还有开放的 MNN 工作台等。目前淘系已经有 25+ 应用场景,65+ 算法模型在日常运行,每天推理运行次数超过百亿次,覆盖商品搜索推荐、用户触达、拍立淘、直播等核心场景,经历 3 次双 11 考验并取得巨大业务价值。整体应用可以大致分成如下几类:

  • 视觉类,主要在拍立淘、淘宝直播、拍摄工具、评价等场景应用。

  • 推荐类,主要在首页信息流、购后、详情等各种推荐场景。

  • 触达类,主要在 Push、消息、各业务弹框等场景应用。

  • 语音类,主要在淘宝直播、智能降噪等场景应用。

到目前为止,最大挑战还是推理引擎 MNN 的挑战,比如:

  • 移动端设备和系统碎片化;

  • 移动端算力和资源有限;

  • 视觉、语音等多样化的算法模型

  • ……

如何解决上述挑战,这里我就不细说了,我会在 QCon 深圳 2020 会议上重点分享其核心解决思路。

InfoQ:在刚刚过去的双 11 中,端智能在实际应用过程中有哪些突出表现?可以结合实际案例来展开聊聊吗?

吕行:端智能已经逐渐从尝试应用变成驱动业务创新的核心推动力之一,在双 11 的热点业务场景都能看到相关应用。今年大热的直播场景也有不少应用。依托于淘系自研的 MNN,淘宝直播间推出 “语音猜价格”挑战,观众在直播间也能实现语音交互,动动嘴就可以响应主播发出的猜产品价格的任务。端智能极大的提升了直播内容的交互可玩性和内容理解准确性。

基于端 AI 技术实现精准的用户感知能力,双 11 流量高峰阶段,充分发挥端侧的算力和数据优势,大幅提升主动触达用户的体验和效果,仅在 11 月 1 日当天,端侧 AI 决策运行了 277 亿次。

通过对用户行为的实时感知和意图识别做商品列表重排和智能刷新,在淘系信息流等场景大规模应用,DPV 和 GMV 都获得了较大提升。

InfoQ:可以简单聊聊 MNN 的下一步计划吗?

吕行:其实推理引擎 MNN 的本质是做这样一件事情,即实现 [不同种类模型] 在 [不同异构设备] 上 [最高效运行]。这里有三个关键点,我们持续在演进和探索。

  1. 支持不同种类模型,从支持 CV、Data 算法模型到支持 ASR、NLP 算法模型,最近 MNN 在控制流、动态图等方面都有了很多完善和升级,新支持 Transformer 等网络模型。

  2. 支持不同异构设备,从支持客户端 CPU ARMv7/64/v8.2 到 GPU OpenCL/Vulkan/Metal 等都不断在演进和完善,MNN 也开始支持服务端 Intel x86/NVIDIA GPU 推理,提供云 - 端一体的统一推理服务。针对每个异构设备都需要实现和优化所有 OP 导致开发成本过高问题,我们创新性提出几何计算架构方案,将 OP 数目收敛到约 20 个核心算子,做到低成本覆盖各个异构后端,MNN 应该是行业覆盖异构后端最多支持算子最全的推理引擎。

  3. 实现最高效运行,高性能一直是 MNN 核心优势之一,在行业也有广泛认同。具体优化思路包括离线的模型压缩、图融合等方式进行优化,在线的通过汇编、SIMD/ 并行化、矩阵算法、调度等方式进行优化。另外,MNN 与 PAI 合作实现训练、量化到 MNN 部署云端一体化方案,新增稀疏剪枝、Overflow-Aware 量化等压缩方案。

MNN 在上述三个方向会持续演进,但从整个端智能应用链路来看,MNN 只是解决算法模型在端侧高效运行的单点问题。目前,我们正从 MNN 单点技术往端智能技术体系化和产品化方向迈进,如前所述构建端 AI 研发范式,通过 MNN 工作台解决算法模型部署过程中的转换、优化、调试、发布等问题,甚至做到让算法开发独立迭代。MNN 工作台目前正在免费对外公测中,有兴趣同学可以访问我们官网 www.mnn.zone 下载体验。

InfoQ:您认为未来移动领域还有哪些值得关注的技术方向?

吕行:技术进展跟业务发展还是强相关的,随着直播业务快速发展,多媒体技术应该有比较多发展,我自己更多关注端智能相关的一些东西:

  • AR+ 端 AI+3D

我觉得这几个技术结合可以做出很多有意思的应用,其中 AR 提供了虚实结合的场景能力,端侧 AI 提供 AR 中的交互能⼒,3D 模型 /AR 素材提供内容供给,5G 网络提供了大资源包的网络传输能⼒。目前这几个技术都不算成熟,比如难以实现低成本且高质量 3D 建模。另外,手机也不是 AR 应用最适合的载体,可以期待一下后续消费级的 AR 眼镜。

  • 端云协同的智能

目前云端做训练,客户端做推理,端云结合还比较浅层。我们也在做端上训练的探索,以及构建一套分布式的端云协同智能系统,实现用户个性化理解,保护数据隐私,以及节省云端成本。

✿  拓展阅读

嘉宾|吕承飞(吕行)

编辑|橙子君

出品|InfoQ&阿里巴巴新零售淘系技术

这篇关于淘系资深技术专家接受InfoQ采访表示:端智能必将成为驱动业务创新的核心推动力...的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/232595

相关文章

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

嵌入式QT开发:构建高效智能的嵌入式系统

摘要: 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发,详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程,包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发,涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用,以及嵌入式 QT 与硬件设备的交互,包括输入输出设

【专题】2024飞行汽车技术全景报告合集PDF分享(附原数据表)

原文链接: https://tecdat.cn/?p=37628 6月16日,小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞,这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示,公司准备量产,并计划今年四季度开启预售小鹏汇天分体式飞行汽车,探索分体式飞行汽车城际通勤。阅读原文,获取专题报告合集全文,解锁文末271份飞行汽车相关行业研究报告。 据悉,业内人士对飞行汽车行业

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现,因为rasa本身是带有remindschedule模块的。不过经过一番折腾后,忽然发现,chatbot上实现的定时,语音助手不一定会有响应。因为,我目前语音助手的代码设置了长时间无应答会结束对话,这样一来,chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢? 我最后选择的方法是用threading.Time

业务中14个需要进行A/B测试的时刻[信息图]

在本指南中,我们将全面了解有关 A/B测试 的所有内容。 我们将介绍不同类型的A/B测试,如何有效地规划和启动测试,如何评估测试是否成功,您应该关注哪些指标,多年来我们发现的常见错误等等。 什么是A/B测试? A/B测试(有时称为“分割测试”)是一种实验类型,其中您创建两种或多种内容变体——如登录页面、电子邮件或广告——并将它们显示给不同的受众群体,以查看哪一种效果最好。 本质上,A/B测

金融业开源技术 术语

金融业开源技术  术语 1  范围 本文件界定了金融业开源技术的常用术语。 本文件适用于金融业中涉及开源技术的相关标准及规范性文件制定和信息沟通等活动。

Linux_kernel驱动开发11

一、改回nfs方式挂载根文件系统         在产品将要上线之前,需要制作不同类型格式的根文件系统         在产品研发阶段,我们还是需要使用nfs的方式挂载根文件系统         优点:可以直接在上位机中修改文件系统内容,延长EMMC的寿命         【1】重启上位机nfs服务         sudo service nfs-kernel-server resta

智能交通(二)——Spinger特刊推荐

特刊征稿 01  期刊名称: Autonomous Intelligent Systems  特刊名称: Understanding the Policy Shift  with the Digital Twins in Smart  Transportation and Mobility 截止时间: 开放提交:2024年1月20日 提交截止日

基于 YOLOv5 的积水检测系统:打造高效智能的智慧城市应用

在城市发展中,积水问题日益严重,特别是在大雨过后,积水往往会影响交通甚至威胁人们的安全。通过现代计算机视觉技术,我们能够智能化地检测和识别积水区域,减少潜在危险。本文将介绍如何使用 YOLOv5 和 PyQt5 搭建一个积水检测系统,结合深度学习和直观的图形界面,为用户提供高效的解决方案。 源码地址: PyQt5+YoloV5 实现积水检测系统 预览: 项目背景

业务协同平台--简介

一、使用场景         1.多个系统统一在业务协同平台定义协同策略,由业务协同平台代替人工完成一系列的单据录入         2.同时业务协同平台将执行任务推送给pda、pad等执行终端,通知各人员、设备进行作业执行         3.作业过程中,可设置完成时间预警、作业节点通知,时刻了解作业进程         4.做完再给你做过程分析,给出优化建议         就问你这一套下