聊一聊MNN在端智能生态中的应用

2023-10-21 15:40

本文主要是介绍聊一聊MNN在端智能生态中的应用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言


2019年5月,淘系技术开源了深度学习推理引擎MNN,加入到人工智能开源社区中来。自打开源起,MNN就一直是开源社区的性能标杆之一,是众多后来者的挑战的目标。这固然是来自行业的认可,却也拉开了推理引擎间的性能军备竞赛。这或多或少,背离了我们的初心 —— 人工智能只是工具,靠比拼工具在一时一地的优劣,不能帮助我们繁荣AI应用生态。

帮助MNN不断成长的,除了我们在性能上的不断压榨,还有众多场景的哺育。MNN支撑着阿里巴巴众多的人工智能应用,从电商购物到视频直播,从手机应用到智能汽车;同时,也有越来越多的企业选择MNN,通过人工智能来提升工作能效、优化用户体验。是这些应用,而不是PPT上的性能数据,在你我不经意之间,改变了我们的生活。

为了走出性能内卷怪圈,为了给生态引一泓清流,MNN会陆续为你介绍我们在人工智能应用上的探索。这里的「我们」,不只是阿里巴巴,也包括身为MNN用户的你。


优酷体育:宅家街舞AI私教?!


今年的疫情对许多行业都产生了深远的影响,这其中就包括运动健身。宅家胡吃海塞,不能去健身房挥汗如雨,沉积的脂肪都堆在了大腿和肚腩上。俗话说,三月不减肥,四月徒伤悲,五月不减肥,六月徒伤悲…就算宅家,也不能被封印在床头!生命!在于运动!

然后你看了看家里的跑步机。

是这样?

或者是这样?

除了器械,家庭健身需要专业的运动指导,更需要优质的内容,让运动本身不再乏味和无趣。优酷体育AI操房,作为中国首家家庭智能操房平台,连接了硬件产商、健身机构和运动达人,通过游戏互动,带你玩转运动 —— AI操房通过摄像头捕捉用户动作,通过算法实现动作量化分析,再结合上游戏化的方式,把反馈投屏到电视上,让用户的跳操不再枯燥乏味。

为了指导用户做出动作并打分,我们要先根据原始视频设定动作示意和打分标准。运营同学会在AI操房的后台,从原始视频中选出关键帧,根据视频骨骼点信息生成动作示意图和描述文件。

在进入操练前,动作描述文件会和视频一同下载下来。在视频播放的同时,摄像头会捕捉用户的动作。关键帧的前后一段时间都会作为对应动作的得分区间。我们会在得分区间内持续比较用户和视频的动作差异,给出miss、good、perfect等反馈,并打出分数。区间内的最高得分会保留为动作的最终得分,参与总得分的计算。

这样,就算宅在家里,也能练起街舞了。谁说下一届「这!就是街舞」的冠军,就不能是你呢?

整套方案基于平台化思维,分为前端用户流程和动作编辑后台,整套流程完全开放,可以提供给健身机构或者KOL,产出定制化的AI操房,创造更多的玩法。整套方案还可以无缝迁移到OTT,为OTT用户提供服务。

有意向与优酷体育进行合作的智能硬件产商、科技和AI算法平台、健身机构和健身内容创作者们,请发邮件至:zr162261@alibaba-inc.com ,与优酷体育共创AI健身操房,做大!做强!


陌陌:直播互动「心」姿势


陌陌在人脸识别、人脸关键点、表情识别、手势识别、身体关键点算法上,有长足的积累。在直播中,陌陌基于人脸识别、人脸关键点,加上渲染、磨皮、美白等技术,为主播实现美颜、眼妆、贴纸等一系列特效;在拍摄器里,陌陌基于人脸关键点,来识别表情和睁闭眼,实现了一系列的特效玩法,比如眨眼识别的眨眼星星特效、嘟嘴识别的吹蒲公英、吹泡泡等。

最初,陌陌并没有使用MNN推理引擎,由于客户端上人脸检测、人脸关键点等模型推理和特效渲染都需要占用大量CPU和内存,CPU和内存成为了更多模型和特效应用的瓶颈。在全面升级到MNN推理引擎之后,推理速度和内存占用上都有了明显的优化。这样,客户端上就可以放心添加更多功能模块了。

为了增加主播和粉丝的互动,让直播更加有趣,陌陌在直播中推出了送礼物比心的互动玩法 —— 当粉丝给主播送出礼物后,主播可以做出比心手势表示对粉丝的感谢,在客户端识别出手势后,会触发粉丝送礼物的特效。

技术小哥哥素颜出镜比心

功能上线后,使用过的主播都夸效果好,直播间的粉丝数有明显的提升,主播和粉丝之间的互动更多了,粉丝刷礼物也更积极。

后续,陌陌还会在直播间和拍摄器里设计出更多好玩的特效和互动,期待你的体验~


智能应用长征


人工智能可以优化原有流程的体验,也可以开创出全新的玩法,但目前,智能应用的开发流程还很长,整体门槛比较高。

要打造一款有用、有趣的人工智能应用,你需要对人工智能和业务场景都有必要的认知,才能将有效融合两者。同时,你需要为模型训练收集大量的数据,并对数据做出必要的清洗和标注。之后,在众多模型结构中找到适合业务的,经历漫长的训练、验证迭代,得到模型后还需要做必要的优化、压缩。

产出模型并不是端侧AI应用的终点,恰恰是起点。以视觉类应用为例,可能90%的工作量都在模型训练之后 —— 适配iOS、Android的相机输入,图片增强特征、裁切、转换,推理结果过滤、提炼,结合物料渲染上屏。工程链路很长,涉及到的移动端编程、图片处理、渲染绘制,还分别要求不同的专业技能。

  预告  

如何降低人工智能应用的门槛、提升人工智能的研发效率,想了解淘系的实践经验吗?

号外:MNN官网全新上线,下周,将有重磅消息推出,敬请期待哦~也可以点击“阅读原文”进入MNN官网(http://www.mnn.zone/),提前尝鲜。

也可以添加淘大橙微信(TaoTech001)随时获得最新资讯!!!

✿  拓展阅读


作者|陈以鎏(离青)

编辑|橙子君

出品|阿里巴巴新零售淘系技术

这篇关于聊一聊MNN在端智能生态中的应用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/255340

相关文章

Java逻辑运算符之&&、|| 与&、 |的区别及应用

《Java逻辑运算符之&&、||与&、|的区别及应用》:本文主要介绍Java逻辑运算符之&&、||与&、|的区别及应用的相关资料,分别是&&、||与&、|,并探讨了它们在不同应用场景中... 目录前言一、基本概念与运算符介绍二、短路与与非短路与:&& 与 & 的区别1. &&:短路与(AND)2. &:非短

使用Python实现表格字段智能去重

《使用Python实现表格字段智能去重》在数据分析和处理过程中,数据清洗是一个至关重要的步骤,其中字段去重是一个常见且关键的任务,下面我们看看如何使用Python进行表格字段智能去重吧... 目录一、引言二、数据重复问题的常见场景与影响三、python在数据清洗中的优势四、基于Python的表格字段智能去重

Spring AI集成DeepSeek三步搞定Java智能应用的详细过程

《SpringAI集成DeepSeek三步搞定Java智能应用的详细过程》本文介绍了如何使用SpringAI集成DeepSeek,一个国内顶尖的多模态大模型,SpringAI提供了一套统一的接口,简... 目录DeepSeek 介绍Spring AI 是什么?Spring AI 的主要功能包括1、环境准备2

Spring AI与DeepSeek实战一之快速打造智能对话应用

《SpringAI与DeepSeek实战一之快速打造智能对话应用》本文详细介绍了如何通过SpringAI框架集成DeepSeek大模型,实现普通对话和流式对话功能,步骤包括申请API-KEY、项目搭... 目录一、概述二、申请DeepSeek的API-KEY三、项目搭建3.1. 开发环境要求3.2. mav

Python3脚本实现Excel与TXT的智能转换

《Python3脚本实现Excel与TXT的智能转换》在数据处理的日常工作中,我们经常需要将Excel中的结构化数据转换为其他格式,本文将使用Python3实现Excel与TXT的智能转换,需要的可以... 目录场景应用:为什么需要这种转换技术解析:代码实现详解核心代码展示改进点说明实战演练:从Excel到

MobaXterm远程登录工具功能与应用小结

《MobaXterm远程登录工具功能与应用小结》MobaXterm是一款功能强大的远程终端软件,主要支持SSH登录,拥有多种远程协议,实现跨平台访问,它包括多会话管理、本地命令行执行、图形化界面集成和... 目录1. 远程终端软件概述1.1 远程终端软件的定义与用途1.2 远程终端软件的关键特性2. 支持的

5分钟获取deepseek api并搭建简易问答应用

《5分钟获取deepseekapi并搭建简易问答应用》本文主要介绍了5分钟获取deepseekapi并搭建简易问答应用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需... 目录1、获取api2、获取base_url和chat_model3、配置模型参数方法一:终端中临时将加

JavaScript中的isTrusted属性及其应用场景详解

《JavaScript中的isTrusted属性及其应用场景详解》在现代Web开发中,JavaScript是构建交互式应用的核心语言,随着前端技术的不断发展,开发者需要处理越来越多的复杂场景,例如事件... 目录引言一、问题背景二、isTrusted 属性的来源与作用1. isTrusted 的定义2. 为

Python调用另一个py文件并传递参数常见的方法及其应用场景

《Python调用另一个py文件并传递参数常见的方法及其应用场景》:本文主要介绍在Python中调用另一个py文件并传递参数的几种常见方法,包括使用import语句、exec函数、subproce... 目录前言1. 使用import语句1.1 基本用法1.2 导入特定函数1.3 处理文件路径2. 使用ex

将Python应用部署到生产环境的小技巧分享

《将Python应用部署到生产环境的小技巧分享》文章主要讲述了在将Python应用程序部署到生产环境之前,需要进行的准备工作和最佳实践,包括心态调整、代码审查、测试覆盖率提升、配置文件优化、日志记录完... 目录部署前夜:从开发到生产的心理准备与检查清单环境搭建:打造稳固的应用运行平台自动化流水线:让部署像