AI Benchmark v4 Device选择:Google Pixel 4/XL简析

2024-04-01 03:58

本文主要是介绍AI Benchmark v4 Device选择:Google Pixel 4/XL简析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

田海立@CSDN 2020-10-07

AI Benchmark v4测试项更新以及榜单数据解读知道了AI Benchmark执行的时候可以选择NNAPI,也可以直接用TFLite里的Delegate。Google Pixel 4/XL里用的芯片是高通骁龙855+Google TPU Edge,设备如何选择,选择的是否合理,这里简要分析之。

 

把榜单soc数据拷贝下来,复制到Excel表格里,简单分析一下。这里只留取Snapdragon 855和Snapdragon 855 + Pixel Neural Core:

 

可以看到执行Device的选择:

  • Snapdragon 855用的是hg,也就是INT8是Hexagon Delegate;FP16是GPU Delegate,这里指定了执行Device及其实现方式(也可以通过NNAPI来让NN Runtime自主选择的)。
  • Google Pixel 4的soc Snapdragon 855 + Pixel Neural Core用的是nn,也就是无论INT8还是FP16选择的都是NNAPI,让NN Device的HIDL实现来决定具体由哪个Device来执行。

SOC Snapdragon 855 + Pixel Neural Core里的NN Device里除了Qualcomm 855里的Hex. 690 for INT8, Adreno 640 for FP16, 还有TPU Edge for INT8。HIDL实现里上报的能力(Capabilities)对于INT8类型,TPU Edge指标是大于Hex. 690的,所以NNAPI执行选择Device时,会自动选择TPU Edge for INT8, Adreno 640 for FP16

再来对比一下两者指标(Pixel 4 vs Snapdragon 855):

  1. INT8的NNAPI1.1数据竟然TPU Edge不敌Hex. 690,当然它们的实现路径不同,Hexagon直接是TFLite Delegate;TPU Edge通过NNAPI实现,这里如果模型中有算子支持有问题,性能就会大不同;
  2. FP16的NNAPI1.2数据Pixel 4 远低于vs Snapdragon 855,都是GPU执行的,也只是路径不同而已,855直接是TFLite Delegate;Pixel 4通过NNAPI实现。同一Device,NNAPI性能低这么多,应该是算子支持有问题。

如果Google不去关注这个榜单,不深究数据,我们无从知晓内部具体实现,就没法更改。但对于AI Benchmark来说,可以比较更客观一点的可以是:对于Pixel 4的FP16选择GPU Delegate。这样,INT8数据因为无从知道如何选择NN Device,通过NNAPI让NN Runtime来自主选择;对于FP16,就直接通过TFLite Delegate指定GPU设备。

 

这篇关于AI Benchmark v4 Device选择:Google Pixel 4/XL简析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/866150

相关文章

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Spring AI ectorStore的使用流程

《SpringAIectorStore的使用流程》SpringAI中的VectorStore是一种用于存储和检索高维向量数据的数据库或存储解决方案,它在AI应用中发挥着至关重要的作用,本文给大家介... 目录一、VectorStore的基本概念二、VectorStore的核心接口三、VectorStore的

Spring AI集成DeepSeek三步搞定Java智能应用的详细过程

《SpringAI集成DeepSeek三步搞定Java智能应用的详细过程》本文介绍了如何使用SpringAI集成DeepSeek,一个国内顶尖的多模态大模型,SpringAI提供了一套统一的接口,简... 目录DeepSeek 介绍Spring AI 是什么?Spring AI 的主要功能包括1、环境准备2

Spring AI集成DeepSeek实现流式输出的操作方法

《SpringAI集成DeepSeek实现流式输出的操作方法》本文介绍了如何在SpringBoot中使用Sse(Server-SentEvents)技术实现流式输出,后端使用SpringMVC中的S... 目录一、后端代码二、前端代码三、运行项目小天有话说题外话参考资料前面一篇文章我们实现了《Spring

Spring AI与DeepSeek实战一之快速打造智能对话应用

《SpringAI与DeepSeek实战一之快速打造智能对话应用》本文详细介绍了如何通过SpringAI框架集成DeepSeek大模型,实现普通对话和流式对话功能,步骤包括申请API-KEY、项目搭... 目录一、概述二、申请DeepSeek的API-KEY三、项目搭建3.1. 开发环境要求3.2. mav

基于Python实现多语言朗读与单词选择测验

《基于Python实现多语言朗读与单词选择测验》在数字化教育日益普及的今天,开发一款能够支持多语言朗读和单词选择测验的程序,对于语言学习者来说无疑是一个巨大的福音,下面我们就来用Python实现一个这... 目录一、项目概述二、环境准备三、实现朗读功能四、实现单词选择测验五、创建图形用户界面六、运行程序七、

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo

前端知识点之Javascript选择输入框confirm用法

《前端知识点之Javascript选择输入框confirm用法》:本文主要介绍JavaScript中的confirm方法的基本用法、功能特点、注意事项及常见用途,文中通过代码介绍的非常详细,对大家... 目录1. 基本用法2. 功能特点①阻塞行为:confirm 对话框会阻塞脚本的执行,直到用户作出选择。②

Spring AI集成DeepSeek的详细步骤

《SpringAI集成DeepSeek的详细步骤》DeepSeek作为一款卓越的国产AI模型,越来越多的公司考虑在自己的应用中集成,对于Java应用来说,我们可以借助SpringAI集成DeepSe... 目录DeepSeek 介绍Spring AI 是什么?1、环境准备2、构建项目2.1、pom依赖2.2

Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

《DeepseekR1模型本地化部署+API接口调用详细教程(释放AI生产力)》本文介绍了本地部署DeepSeekR1模型和通过API调用将其集成到VSCode中的过程,作者详细步骤展示了如何下载和... 目录前言一、deepseek R1模型与chatGPT o1系列模型对比二、本地部署步骤1.安装oll