AI Benchmark v4 Device选择:Google Pixel 4/XL简析

2024-04-01 03:58

本文主要是介绍AI Benchmark v4 Device选择:Google Pixel 4/XL简析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

田海立@CSDN 2020-10-07

AI Benchmark v4测试项更新以及榜单数据解读知道了AI Benchmark执行的时候可以选择NNAPI,也可以直接用TFLite里的Delegate。Google Pixel 4/XL里用的芯片是高通骁龙855+Google TPU Edge,设备如何选择,选择的是否合理,这里简要分析之。

 

把榜单soc数据拷贝下来,复制到Excel表格里,简单分析一下。这里只留取Snapdragon 855和Snapdragon 855 + Pixel Neural Core:

 

可以看到执行Device的选择:

  • Snapdragon 855用的是hg,也就是INT8是Hexagon Delegate;FP16是GPU Delegate,这里指定了执行Device及其实现方式(也可以通过NNAPI来让NN Runtime自主选择的)。
  • Google Pixel 4的soc Snapdragon 855 + Pixel Neural Core用的是nn,也就是无论INT8还是FP16选择的都是NNAPI,让NN Device的HIDL实现来决定具体由哪个Device来执行。

SOC Snapdragon 855 + Pixel Neural Core里的NN Device里除了Qualcomm 855里的Hex. 690 for INT8, Adreno 640 for FP16, 还有TPU Edge for INT8。HIDL实现里上报的能力(Capabilities)对于INT8类型,TPU Edge指标是大于Hex. 690的,所以NNAPI执行选择Device时,会自动选择TPU Edge for INT8, Adreno 640 for FP16

再来对比一下两者指标(Pixel 4 vs Snapdragon 855):

  1. INT8的NNAPI1.1数据竟然TPU Edge不敌Hex. 690,当然它们的实现路径不同,Hexagon直接是TFLite Delegate;TPU Edge通过NNAPI实现,这里如果模型中有算子支持有问题,性能就会大不同;
  2. FP16的NNAPI1.2数据Pixel 4 远低于vs Snapdragon 855,都是GPU执行的,也只是路径不同而已,855直接是TFLite Delegate;Pixel 4通过NNAPI实现。同一Device,NNAPI性能低这么多,应该是算子支持有问题。

如果Google不去关注这个榜单,不深究数据,我们无从知晓内部具体实现,就没法更改。但对于AI Benchmark来说,可以比较更客观一点的可以是:对于Pixel 4的FP16选择GPU Delegate。这样,INT8数据因为无从知道如何选择NN Device,通过NNAPI让NN Runtime来自主选择;对于FP16,就直接通过TFLite Delegate指定GPU设备。

 

这篇关于AI Benchmark v4 Device选择:Google Pixel 4/XL简析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/866150

相关文章

Java+AI驱动实现PDF文件数据提取与解析

《Java+AI驱动实现PDF文件数据提取与解析》本文将和大家分享一套基于AI的体检报告智能评估方案,详细介绍从PDF上传、内容提取到AI分析、数据存储的全流程自动化实现方法,感兴趣的可以了解下... 目录一、核心流程:从上传到评估的完整链路二、第一步:解析 PDF,提取体检报告内容1. 引入依赖2. 封装

Spring AI使用tool Calling和MCP的示例详解

《SpringAI使用toolCalling和MCP的示例详解》SpringAI1.0.0.M6引入ToolCalling与MCP协议,提升AI与工具交互的扩展性与标准化,支持信息检索、行动执行等... 目录深入探索 Spring AI聊天接口示例Function CallingMCPSTDIOSSE结束语

三频BE12000国补到手2549元! ROG 魔盒Pro WIFI7电竞AI路由器上架

《三频BE12000国补到手2549元!ROG魔盒ProWIFI7电竞AI路由器上架》近日,华硕带来了ROG魔盒ProWIFI7电竞AI路由器(ROGSTRIXGR7Pro),目前新... 华硕推出了ROG 魔盒Pro WIFI7电竞AI路由器(ROG STRIX GR7 Phttp://www.cppcn

Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

《Androidkotlin中Channel和Flow的区别和选择使用场景分析》Kotlin协程中,Flow是冷数据流,按需触发,适合响应式数据处理;Channel是热数据流,持续发送,支持... 目录一、基本概念界定FlowChannel二、核心特性对比数据生产触发条件生产与消费的关系背压处理机制生命周期

Spring AI 实现 STDIO和SSE MCP Server的过程详解

《SpringAI实现STDIO和SSEMCPServer的过程详解》STDIO方式是基于进程间通信,MCPClient和MCPServer运行在同一主机,主要用于本地集成、命令行工具等场景... 目录Spring AI 实现 STDIO和SSE MCP Server1.新建Spring Boot项目2.a

exfat和ntfs哪个好? U盘格式化选择NTFS与exFAT的详细区别对比

《exfat和ntfs哪个好?U盘格式化选择NTFS与exFAT的详细区别对比》exFAT和NTFS是两种常见的文件系统,它们各自具有独特的优势和适用场景,以下是关于exFAT和NTFS的详细对比... 无论你是刚入手了内置 SSD 还是便携式移动硬盘或 U 盘,都需要先将它格式化成电脑或设备能够识别的「文

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Spring AI ectorStore的使用流程

《SpringAIectorStore的使用流程》SpringAI中的VectorStore是一种用于存储和检索高维向量数据的数据库或存储解决方案,它在AI应用中发挥着至关重要的作用,本文给大家介... 目录一、VectorStore的基本概念二、VectorStore的核心接口三、VectorStore的

Spring AI集成DeepSeek三步搞定Java智能应用的详细过程

《SpringAI集成DeepSeek三步搞定Java智能应用的详细过程》本文介绍了如何使用SpringAI集成DeepSeek,一个国内顶尖的多模态大模型,SpringAI提供了一套统一的接口,简... 目录DeepSeek 介绍Spring AI 是什么?Spring AI 的主要功能包括1、环境准备2

Spring AI集成DeepSeek实现流式输出的操作方法

《SpringAI集成DeepSeek实现流式输出的操作方法》本文介绍了如何在SpringBoot中使用Sse(Server-SentEvents)技术实现流式输出,后端使用SpringMVC中的S... 目录一、后端代码二、前端代码三、运行项目小天有话说题外话参考资料前面一篇文章我们实现了《Spring