Android NN API,谷歌意在收编各路诸侯?

2023-10-07 17:50

本文主要是介绍Android NN API,谷歌意在收编各路诸侯?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在过去的几年中,诸如智能手机和平板电脑之类的移动设备的计算能力得到了飞速增长,接近几年前主流台式机的水平。如果仅仅是运行普通的应用程序,那的确存在性能过剩。于是,芯片厂商将目光转向人工智能。

人工智能是当前的发展热点之一,其对计算能力的需求大力推进了GPU的发展,在这个过程中,NVIDIA无疑是最大的赢家,几乎垄断了桌面显卡市场。然而在移动端,依然是群雄逐鹿,高通、海思、联发科和三星等公司,均在手机芯片中集成了对 AI 的加速支持。NVIDIA曾经推出过手机芯片,但以失败告终。此外手机芯片领域还有一个大腕:苹果,由于其封闭的专有系统,不在本文讨论之列。

为了给芯片增加 AI 支持,各手机芯片厂商各显神通,比如高通,其芯片,除了 ARM 核的 CPU,还集成了 GPU 和 DSP。而海思半导体,除了 CPU、GPU 和 DSP 外,还增加了一个 NPU ( Neural Processing Unit),专门加速在人工智能算法中广泛使用的基于向量和矩阵的计算。如下图所示:

左图:高通Snapdragon 845,右图:海思麒麟970

同样,联发科和三星也有自己的架构。为了充分发挥这些专用的硬件加速,芯片厂商推出了 SDK 开发包。高通发布了专用的 Snapdragon Neural Processing Engine (SNPE) SDK ,该SDK支持常见的深度学习模型框架,例如Caffe / Caffe2、TensorFlow、PyTorch、Chainer、MxNet、CNTK 等。华为、联发科同样也分别推出了HiAI SDK、NeuroPilot SDK。理论上,这些 SDK 都支持主流的深度学习模型框架,但是第三方应用想要充分利用专用的硬件加速,必须使用厂商提供的 SDK,因为主流框架并未 build 出专门集成第三方 SDK 的版本,除非手机芯片厂商提供专用的编译版本。

就市场层面而言,百花齐放是好事,互相竞争,受益的是消费者,但对开发人员而言,则是一场灾难。为华为海思开发的 app 无法用在高通芯片的手机上,反之依然。为不同手机芯片厂商开发版本,不仅加大了开发工作量,也加大了后期维护工作量。对用户而言也是一个负担,一般用户哪里清楚芯片型号而选择正确的版本呢?

面对这种局面,Android 生态的盟主谷歌出手了,推出了 Android Neural Networks API,试图结束群雄各自为战的局面。

Android Neural Networks API

Android Neural Networks API (NNAPI) 是一个 Android C API,专为在 Android 设备上运行计算密集型运算从而实现机器学习而设计。NNAPI 旨在为更高层级的机器学习框架(如 TensorFlow Lite 和 Caffe2)提供一个基本功能层,用来建立和训练神经网络。搭载 Android 8.1(API 级别 27)或更高版本的所有 Android 设备上都提供该 API。

下图为 NNAPI 的简要系统架构。

Android NN API 的系统架构

Android NN API 的架构有点类似于 OpenGL,谷歌制定标准和定义接口,硬件厂商提供驱动,合力完成,这比各厂商各自为战更符合技术发展趋势。简单说,就是谷歌把控标准,芯片厂商则专注于提高硬件性能。

根据上面提供的信息,我们还可以推断如下结论:

  1. 因为 Android NNAPI 是一个 Android C API,所以应用一般不会直接使用 NNAPI,适配的任务落在机器学习框架上。这对于应用程序开发而言是一件好事,无需修改应用程序(或仅仅修改某个参数),即可享受 NNAPI 带来的硬件加速。

  2. 并不是所有 Android 设备都支持(需要 Android 8.1 及以上版本) NNAPI,应用程序开发者需要考虑不支持 NNAPI 的设备。

  3. 除了需要 Android 系统支持 NNAPI,芯片厂商需要提供 NN 驱动才行。虽然即使厂商不提供 NN 驱动,NNAPI也可以走 CPU 的路径,但这意味着并没有充分利用到 GPU 或 DSP。应用开发者需要做出选择,到底是选择 NNAPI 还是直接 GPU 加速。


是否谷歌就此一统江湖呢?也未必,因为从 Android NN API 的系统架构可以看出,架构落地还需要芯片厂商的通力支持,提供 NN 驱动。但从目前的状况来看,似乎芯片厂商对于 NN API的支持并不积极。起码我在华为手机上的测试,启用 NNAPI 并没有什么作用。但从长远来看,如果能够形成 OpenGL 这样的组织联盟,无论是对厂商,还是对开发者,都是有利的。

另外需要指出,虽然一般应用开发者不会直接使用 NNAPI,但通过 NDK,应用程序直接使用 NNAPI 也是可以的,具体可以参考官方文档:

https://developer.android.com/ndk/guides/neuralnetworks

github上也有一个 NNAPI 的完整例子:

https://github.com/android/ndk-samples/tree/master/nn-samples

有兴趣的同学可以研究一下。

这篇关于Android NN API,谷歌意在收编各路诸侯?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/159412

相关文章

Android中Dialog的使用详解

《Android中Dialog的使用详解》Dialog(对话框)是Android中常用的UI组件,用于临时显示重要信息或获取用户输入,本文给大家介绍Android中Dialog的使用,感兴趣的朋友一起... 目录android中Dialog的使用详解1. 基本Dialog类型1.1 AlertDialog(

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Android Kotlin 高阶函数详解及其在协程中的应用小结

《AndroidKotlin高阶函数详解及其在协程中的应用小结》高阶函数是Kotlin中的一个重要特性,它能够将函数作为一等公民(First-ClassCitizen),使得代码更加简洁、灵活和可... 目录1. 引言2. 什么是高阶函数?3. 高阶函数的基础用法3.1 传递函数作为参数3.2 Lambda

Android自定义Scrollbar的两种实现方式

《Android自定义Scrollbar的两种实现方式》本文介绍两种实现自定义滚动条的方法,分别通过ItemDecoration方案和独立View方案实现滚动条定制化,文章通过代码示例讲解的非常详细,... 目录方案一:ItemDecoration实现(推荐用于RecyclerView)实现原理完整代码实现

Android App安装列表获取方法(实践方案)

《AndroidApp安装列表获取方法(实践方案)》文章介绍了Android11及以上版本获取应用列表的方案调整,包括权限配置、白名单配置和action配置三种方式,并提供了相应的Java和Kotl... 目录前言实现方案         方案概述一、 androidManifest 三种配置方式

Android WebView无法加载H5页面的常见问题和解决方法

《AndroidWebView无法加载H5页面的常见问题和解决方法》AndroidWebView是一种视图组件,使得Android应用能够显示网页内容,它基于Chromium,具备现代浏览器的许多功... 目录1. WebView 简介2. 常见问题3. 网络权限设置4. 启用 JavaScript5. D

Android如何获取当前CPU频率和占用率

《Android如何获取当前CPU频率和占用率》最近在优化App的性能,需要获取当前CPU视频频率和占用率,所以本文小编就来和大家总结一下如何在Android中获取当前CPU频率和占用率吧... 最近在优化 App 的性能,需要获取当前 CPU视频频率和占用率,通过查询资料,大致思路如下:目前没有标准的

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo

Android开发中gradle下载缓慢的问题级解决方法

《Android开发中gradle下载缓慢的问题级解决方法》本文介绍了解决Android开发中Gradle下载缓慢问题的几种方法,本文给大家介绍的非常详细,感兴趣的朋友跟随小编一起看看吧... 目录一、网络环境优化二、Gradle版本与配置优化三、其他优化措施针对android开发中Gradle下载缓慢的问

Java调用DeepSeek API的最佳实践及详细代码示例

《Java调用DeepSeekAPI的最佳实践及详细代码示例》:本文主要介绍如何使用Java调用DeepSeekAPI,包括获取API密钥、添加HTTP客户端依赖、创建HTTP请求、处理响应、... 目录1. 获取API密钥2. 添加HTTP客户端依赖3. 创建HTTP请求4. 处理响应5. 错误处理6.