聊一聊MNN在端智能生态中的应用

本文主要是介绍聊一聊MNN在端智能生态中的应用，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言

2019年5月，淘系技术开源了深度学习推理引擎MNN，加入到人工智能开源社区中来。自打开源起，MNN就一直是开源社区的性能标杆之一，是众多后来者的挑战的目标。这固然是来自行业的认可，却也拉开了推理引擎间的性能军备竞赛。这或多或少，背离了我们的初心 —— 人工智能只是工具，靠比拼工具在一时一地的优劣，不能帮助我们繁荣AI应用生态。

帮助MNN不断成长的，除了我们在性能上的不断压榨，还有众多场景的哺育。MNN支撑着阿里巴巴众多的人工智能应用，从电商购物到视频直播，从手机应用到智能汽车；同时，也有越来越多的企业选择MNN，通过人工智能来提升工作能效、优化用户体验。是这些应用，而不是PPT上的性能数据，在你我不经意之间，改变了我们的生活。

为了走出性能内卷怪圈，为了给生态引一泓清流，MNN会陆续为你介绍我们在人工智能应用上的探索。这里的「我们」，不只是阿里巴巴，也包括身为MNN用户的你。

优酷体育：宅家街舞AI私教？！

今年的疫情对许多行业都产生了深远的影响，这其中就包括运动健身。宅家胡吃海塞，不能去健身房挥汗如雨，沉积的脂肪都堆在了大腿和肚腩上。俗话说，三月不减肥，四月徒伤悲，五月不减肥，六月徒伤悲…就算宅家，也不能被封印在床头！生命！在于运动！

然后你看了看家里的跑步机。

是这样？

或者是这样？

除了器械，家庭健身需要专业的运动指导，更需要优质的内容，让运动本身不再乏味和无趣。优酷体育AI操房，作为中国首家家庭智能操房平台，连接了硬件产商、健身机构和运动达人，通过游戏互动，带你玩转运动 —— AI操房通过摄像头捕捉用户动作，通过算法实现动作量化分析，再结合上游戏化的方式，把反馈投屏到电视上，让用户的跳操不再枯燥乏味。

为了指导用户做出动作并打分，我们要先根据原始视频设定动作示意和打分标准。运营同学会在AI操房的后台，从原始视频中选出关键帧，根据视频骨骼点信息生成动作示意图和描述文件。

在进入操练前，动作描述文件会和视频一同下载下来。在视频播放的同时，摄像头会捕捉用户的动作。关键帧的前后一段时间都会作为对应动作的得分区间。我们会在得分区间内持续比较用户和视频的动作差异，给出miss、good、perfect等反馈，并打出分数。区间内的最高得分会保留为动作的最终得分，参与总得分的计算。

这样，就算宅在家里，也能练起街舞了。谁说下一届「这！就是街舞」的冠军，就不能是你呢？

整套方案基于平台化思维，分为前端用户流程和动作编辑后台，整套流程完全开放，可以提供给健身机构或者KOL，产出定制化的AI操房，创造更多的玩法。整套方案还可以无缝迁移到OTT，为OTT用户提供服务。

有意向与优酷体育进行合作的智能硬件产商、科技和AI算法平台、健身机构和健身内容创作者们，请发邮件至：zr162261@alibaba-inc.com ，与优酷体育共创AI健身操房，做大！做强！

陌陌：直播互动「心」姿势

陌陌在人脸识别、人脸关键点、表情识别、手势识别、身体关键点算法上，有长足的积累。在直播中，陌陌基于人脸识别、人脸关键点，加上渲染、磨皮、美白等技术，为主播实现美颜、眼妆、贴纸等一系列特效；在拍摄器里，陌陌基于人脸关键点，来识别表情和睁闭眼，实现了一系列的特效玩法，比如眨眼识别的眨眼星星特效、嘟嘴识别的吹蒲公英、吹泡泡等。

最初，陌陌并没有使用MNN推理引擎，由于客户端上人脸检测、人脸关键点等模型推理和特效渲染都需要占用大量CPU和内存，CPU和内存成为了更多模型和特效应用的瓶颈。在全面升级到MNN推理引擎之后，推理速度和内存占用上都有了明显的优化。这样，客户端上就可以放心添加更多功能模块了。