Android NN API,谷歌意在收编各路诸侯?

2023-10-07 17:50

本文主要是介绍Android NN API,谷歌意在收编各路诸侯?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在过去的几年中,诸如智能手机和平板电脑之类的移动设备的计算能力得到了飞速增长,接近几年前主流台式机的水平。如果仅仅是运行普通的应用程序,那的确存在性能过剩。于是,芯片厂商将目光转向人工智能。

人工智能是当前的发展热点之一,其对计算能力的需求大力推进了GPU的发展,在这个过程中,NVIDIA无疑是最大的赢家,几乎垄断了桌面显卡市场。然而在移动端,依然是群雄逐鹿,高通、海思、联发科和三星等公司,均在手机芯片中集成了对 AI 的加速支持。NVIDIA曾经推出过手机芯片,但以失败告终。此外手机芯片领域还有一个大腕:苹果,由于其封闭的专有系统,不在本文讨论之列。

为了给芯片增加 AI 支持,各手机芯片厂商各显神通,比如高通,其芯片,除了 ARM 核的 CPU,还集成了 GPU 和 DSP。而海思半导体,除了 CPU、GPU 和 DSP 外,还增加了一个 NPU ( Neural Processing Unit),专门加速在人工智能算法中广泛使用的基于向量和矩阵的计算。如下图所示:

左图:高通Snapdragon 845,右图:海思麒麟970

同样,联发科和三星也有自己的架构。为了充分发挥这些专用的硬件加速,芯片厂商推出了 SDK 开发包。高通发布了专用的 Snapdragon Neural Processing Engine (SNPE) SDK ,该SDK支持常见的深度学习模型框架,例如Caffe / Caffe2、TensorFlow、PyTorch、Chainer、MxNet、CNTK 等。华为、联发科同样也分别推出了HiAI SDK、NeuroPilot SDK。理论上,这些 SDK 都支持主流的深度学习模型框架,但是第三方应用想要充分利用专用的硬件加速,必须使用厂商提供的 SDK,因为主流框架并未 build 出专门集成第三方 SDK 的版本,除非手机芯片厂商提供专用的编译版本。

就市场层面而言,百花齐放是好事,互相竞争,受益的是消费者,但对开发人员而言,则是一场灾难。为华为海思开发的 app 无法用在高通芯片的手机上,反之依然。为不同手机芯片厂商开发版本,不仅加大了开发工作量,也加大了后期维护工作量。对用户而言也是一个负担,一般用户哪里清楚芯片型号而选择正确的版本呢?

面对这种局面,Android 生态的盟主谷歌出手了,推出了 Android Neural Networks API,试图结束群雄各自为战的局面。

Android Neural Networks API

Android Neural Networks API (NNAPI) 是一个 Android C API,专为在 Android 设备上运行计算密集型运算从而实现机器学习而设计。NNAPI 旨在为更高层级的机器学习框架(如 TensorFlow Lite 和 Caffe2)提供一个基本功能层,用来建立和训练神经网络。搭载 Android 8.1(API 级别 27)或更高版本的所有 Android 设备上都提供该 API。

下图为 NNAPI 的简要系统架构。

Android NN API 的系统架构

Android NN API 的架构有点类似于 OpenGL,谷歌制定标准和定义接口,硬件厂商提供驱动,合力完成,这比各厂商各自为战更符合技术发展趋势。简单说,就是谷歌把控标准,芯片厂商则专注于提高硬件性能。

根据上面提供的信息,我们还可以推断如下结论:

  1. 因为 Android NNAPI 是一个 Android C API,所以应用一般不会直接使用 NNAPI,适配的任务落在机器学习框架上。这对于应用程序开发而言是一件好事,无需修改应用程序(或仅仅修改某个参数),即可享受 NNAPI 带来的硬件加速。

  2. 并不是所有 Android 设备都支持(需要 Android 8.1 及以上版本) NNAPI,应用程序开发者需要考虑不支持 NNAPI 的设备。

  3. 除了需要 Android 系统支持 NNAPI,芯片厂商需要提供 NN 驱动才行。虽然即使厂商不提供 NN 驱动,NNAPI也可以走 CPU 的路径,但这意味着并没有充分利用到 GPU 或 DSP。应用开发者需要做出选择,到底是选择 NNAPI 还是直接 GPU 加速。


是否谷歌就此一统江湖呢?也未必,因为从 Android NN API 的系统架构可以看出,架构落地还需要芯片厂商的通力支持,提供 NN 驱动。但从目前的状况来看,似乎芯片厂商对于 NN API的支持并不积极。起码我在华为手机上的测试,启用 NNAPI 并没有什么作用。但从长远来看,如果能够形成 OpenGL 这样的组织联盟,无论是对厂商,还是对开发者,都是有利的。

另外需要指出,虽然一般应用开发者不会直接使用 NNAPI,但通过 NDK,应用程序直接使用 NNAPI 也是可以的,具体可以参考官方文档:

https://developer.android.com/ndk/guides/neuralnetworks

github上也有一个 NNAPI 的完整例子:

https://github.com/android/ndk-samples/tree/master/nn-samples

有兴趣的同学可以研究一下。

这篇关于Android NN API,谷歌意在收编各路诸侯?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/159412

相关文章

Android实现在线预览office文档的示例详解

《Android实现在线预览office文档的示例详解》在移动端展示在线Office文档(如Word、Excel、PPT)是一项常见需求,这篇文章为大家重点介绍了两种方案的实现方法,希望对大家有一定的... 目录一、项目概述二、相关技术知识三、实现思路3.1 方案一:WebView + Office Onl

Android实现两台手机屏幕共享和远程控制功能

《Android实现两台手机屏幕共享和远程控制功能》在远程协助、在线教学、技术支持等多种场景下,实时获得另一部移动设备的屏幕画面,并对其进行操作,具有极高的应用价值,本项目旨在实现两台Android手... 目录一、项目概述二、相关知识2.1 MediaProjection API2.2 Socket 网络

Android实现悬浮按钮功能

《Android实现悬浮按钮功能》在很多场景中,我们希望在应用或系统任意界面上都能看到一个小的“悬浮按钮”(FloatingButton),用来快速启动工具、展示未读信息或快捷操作,所以本文给大家介绍... 目录一、项目概述二、相关技术知识三、实现思路四、整合代码4.1 Java 代码(MainActivi

Android Mainline基础简介

《AndroidMainline基础简介》AndroidMainline是通过模块化更新Android核心组件的框架,可能提高安全性,本文给大家介绍AndroidMainline基础简介,感兴趣的朋... 目录关键要点什么是 android Mainline?Android Mainline 的工作原理关键

如何解决idea的Module:‘:app‘platform‘android-32‘not found.问题

《如何解决idea的Module:‘:app‘platform‘android-32‘notfound.问题》:本文主要介绍如何解决idea的Module:‘:app‘platform‘andr... 目录idea的Module:‘:app‘pwww.chinasem.cnlatform‘android-32

springboot项目中常用的工具类和api详解

《springboot项目中常用的工具类和api详解》在SpringBoot项目中,开发者通常会依赖一些工具类和API来简化开发、提高效率,以下是一些常用的工具类及其典型应用场景,涵盖Spring原生... 目录1. Spring Framework 自带工具类(1) StringUtils(2) Coll

Android实现打开本地pdf文件的两种方式

《Android实现打开本地pdf文件的两种方式》在现代应用中,PDF格式因其跨平台、稳定性好、展示内容一致等特点,在Android平台上,如何高效地打开本地PDF文件,不仅关系到用户体验,也直接影响... 目录一、项目概述二、相关知识2.1 PDF文件基本概述2.2 android 文件访问与存储权限2.

Android Studio 配置国内镜像源的实现步骤

《AndroidStudio配置国内镜像源的实现步骤》本文主要介绍了AndroidStudio配置国内镜像源的实现步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录一、修改 hosts,解决 SDK 下载失败的问题二、修改 gradle 地址,解决 gradle

pytorch之torch.flatten()和torch.nn.Flatten()的用法

《pytorch之torch.flatten()和torch.nn.Flatten()的用法》:本文主要介绍pytorch之torch.flatten()和torch.nn.Flatten()的用... 目录torch.flatten()和torch.nn.Flatten()的用法下面举例说明总结torch

在Android平台上实现消息推送功能

《在Android平台上实现消息推送功能》随着移动互联网应用的飞速发展,消息推送已成为移动应用中不可或缺的功能,在Android平台上,实现消息推送涉及到服务端的消息发送、客户端的消息接收、通知渠道(... 目录一、项目概述二、相关知识介绍2.1 消息推送的基本原理2.2 Firebase Cloud Me