TensorFlow on Android(4): 输入数据预处理和Inference

2024-02-10 20:48

本文主要是介绍TensorFlow on Android(4): 输入数据预处理和Inference,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Graph,Op, Tensor

在开始输入数据之前,我们先简单讲一下TensorFlow中的一些概念

一个 TensorFlow 的计算任务, 叫做Graph, 一个Graph由很多节点(Op)组成, Op通过Tensor获取输入,Op完成计算以后再通过Tensor把输出传递到下一个节点。

Tensor一般来说是一个数组(1维或多维),我们用Feed操作将一个Tensor的数据输入到一个Op, 用Fetch操作将Op的输出提取到Tensor当中

那么回到我们的项目中来,为了进行物体的识别,我们要做就是相应的Op中输入图片数据, 然后从相应的Op提取识别结果

我们在这里可以找到我们使用的模型的大致架构
enter image description here
那么可以这样说, 我们向名为“image_tensor”的Op中输入图片数据, 然后从多个Op中获取识别结果,这样的Op有4个

  • “detection_boxes”, 输出识别物体的矩形框
  • “detection_scores”, 输出识别物体的Confidence, 用来衡量识别得准确性有多大
  • “detection_classes”, 识别物体的种类
  • “num_detections”, 识别物体的数量

明白了我们该怎么做以后, 我们开始写代码吧!

设计界面

首先我们需要设计一个界面, 有一个Button用来呼出相册, 以及一个ImageView来显示图片和识别结果, 大致是这样的
enter image description here

然后我们需要写一些代码来实现从相册从提取图片,并显示在ImageView上面
因为这些代码都很简单,而且很多现成代码可以参考,这里就不再详述了。

数据预处理

在将图片数据Feed到我们的模型之前,我们还需要对图片数据进行一些处理,将它转换为我们模型能够识别和处理的数据。我们用Bitmap作为最原始的输入数据,我们需要做下面的一些处理:

第一步是图片尺寸, 每一个图片的长宽都是不一样的,但是我们希望把所有的输入图片都处理成一样的尺寸,比如说300X300,所以我们需要写一些图片尺寸转换的代码,这样的代码如果自己不会写,在网上也可以找到很多现成的代码,下面也是从开源的代码里面参考来的转换函数:

public class Utils {
public static Matrix getImageTransformationMatrix(final int srcWidth,final int srcHeight,final int dstWidth,final int dstHeight,final int applyRotation,final boolean maintainAspectRatio) {final Matrix matrix = new Matrix();if (applyRotation != 0) {matrix.postTranslate(-srcWidth / 2.0f, -srcHeight / 2.0f);matrix.postRotate(applyRotation);}final boolean transpose = (Math.abs(applyRotation) + 90) % 180 == 0;final int inWidth = transpose ? srcHeight : srcWidth;final int inHeight = transpose ? srcWidth : srcHeight;if (inWidth != dstWidth || inHeight != dstHeight) {final float scaleFactorX = dstWidth / (float) inWidth;final float scaleFactorY = dstHeight / (float) inHeight;if (maintainAspectRatio) {final float scaleFactor = Math.max(scaleFactorX, scaleFactorY);matrix.postScale(scaleFactor, scaleFactor);} else {matrix.postScale(scaleFactorX, scaleFactorY);}}if (applyRotation != 0) {matrix.postTranslate(dstWidth / 2.0f, dstHeight / 2.0f);}return matrix;}
}

这个函数会返回进行图片尺寸转换所需要的Matrix对象,这很有用,我们在后面可视化识别结果的时候用的着。然后我们通过下面的代码来完成转换

Bitmap bitmapInput = Bitmap.createBitmap(300, 300, Bitmap.Config.ARGB_8888);
final Matrix originToInput = Utils.getImageTransformationMatrix(originImage.getWidth(), originImage.getHeight(), 300, 300,0, false);
final Canvas canvas = new Canvas(bitmapInput);
canvas.drawBitmap(originImage, originToInput, null);

第二步是将二维的位图数据转换为一维的数组, 我们的模型接受的输入是由图片的像素点RGB值组成的一维数组, 比如说有2个像素点(用(R,G,B)表示),(1,2,3),(4,5,6),那么正确的输入数组应该是[1, 2, 3, 4, 5, 6], 我们可以通过下面的代码来完成

int[] pixels = new int[300 * 300];
bitmapInput.getPixels(pixels, 0, bitmapInput.getWidth(), 0, 0, bitmapInput.getWidth(), bitmapInput.getHeight());
byte[] byteInput = new byte[pixels.length * 3];
for (int i = 0; i < pixels.length; ++i) {byteInput[i * 3 + 2] = (byte) (pixels[i] & 0xFF);byteInput[i * 3 + 1] = (byte) ((pixels[i] >> 8) & 0xFF);byteInput[i * 3 + 0] = (byte) ((pixels[i] >> 16) & 0xFF);}

我们先通过getPixels获取位图所有像素的一维数组,再通过位操作分别提取每个像素的RGB值,然后赋值到byteInput数组的相应位置中, byteInput数组就是处理好的,准备Inference的数据了

Inference

我们通过调用TensorFlowInferenceInterface的Feed方法来向模型中输入数据

inferenceInterface.feed("image_tensor", byteInput, 1, 300, 300, 3);

这个代码的意思是向名为“image_tensor”的Op输入相应的数据: 图片数据,值为 byteInput; batch_size, 我们输入的是一张图片的数据,所以值为1; 图片的高和宽,都是300;通道数,因为我们使用RGB,所以值为3

接下来我们分配一些数组(Tensor)来准备接受Inference的结果,我们只取物体位置, 分数,物体类型的数据, 在这里我们最多取前100个识别结果:

float[] boxes = new float[100 * 4];
float[] scores = new float[100];
float[] classes = new float[100];

因为一个矩形框(box)是由(top,left, botton,right)的4元组表示的,所以boxes数组的大小应该是 100X4。分配好数组以后, 我们就可以开始inference, 并从相应的Op里面提取识别结果, 代码如下:

inferenceInterface.run(new String[]{"detection_boxes", "detection_scores","detection_classes"}, false);
float[] boxes = new float[MAX_RESULTS * 4];
float[] scores = new float[MAX_RESULTS];
float[] classes = new float[MAX_RESULTS];
inferenceInterface.fetch("detection_boxes", boxes);
inferenceInterface.fetch("detection_scores", scores);
inferenceInterface.fetch("detection_classes", classes);

我们使用TensorFlowInferenceInterface的Run方法来启动从之前用Feed注册的输入节点(image_tensor)到由参数指定的输出节点(detection_boxes, detection_scores,detection_classes)的Inference, 对我们来说,就是从输入的图片数据,识别出物体的位置,类别,和分数。然后我们用 Fetch方法来提取相应的输出数据。

现在我们已经得到了识别结果,接下来准备把结果可视化吧!

这篇关于TensorFlow on Android(4): 输入数据预处理和Inference的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/698043

相关文章

Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

《Androidkotlin中Channel和Flow的区别和选择使用场景分析》Kotlin协程中,Flow是冷数据流,按需触发,适合响应式数据处理;Channel是热数据流,持续发送,支持... 目录一、基本概念界定FlowChannel二、核心特性对比数据生产触发条件生产与消费的关系背压处理机制生命周期

Android ClassLoader加载机制详解

《AndroidClassLoader加载机制详解》Android的ClassLoader负责加载.dex文件,基于双亲委派模型,支持热修复和插件化,需注意类冲突、内存泄漏和兼容性问题,本文给大家介... 目录一、ClassLoader概述1.1 类加载的基本概念1.2 android与Java Class

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

MySQL 删除数据详解(最新整理)

《MySQL删除数据详解(最新整理)》:本文主要介绍MySQL删除数据的相关知识,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、前言二、mysql 中的三种删除方式1.DELETE语句✅ 基本语法: 示例:2.TRUNCATE语句✅ 基本语

MyBatisPlus如何优化千万级数据的CRUD

《MyBatisPlus如何优化千万级数据的CRUD》最近负责的一个项目,数据库表量级破千万,每次执行CRUD都像走钢丝,稍有不慎就引起数据库报警,本文就结合这个项目的实战经验,聊聊MyBatisPl... 目录背景一、MyBATis Plus 简介二、千万级数据的挑战三、优化 CRUD 的关键策略1. 查

python实现对数据公钥加密与私钥解密

《python实现对数据公钥加密与私钥解密》这篇文章主要为大家详细介绍了如何使用python实现对数据公钥加密与私钥解密,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录公钥私钥的生成使用公钥加密使用私钥解密公钥私钥的生成这一部分,使用python生成公钥与私钥,然后保存在两个文

mysql中的数据目录用法及说明

《mysql中的数据目录用法及说明》:本文主要介绍mysql中的数据目录用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、版本3、数据目录4、总结1、背景安装mysql之后,在安装目录下会有一个data目录,我们创建的数据库、创建的表、插入的

Python中Tensorflow无法调用GPU问题的解决方法

《Python中Tensorflow无法调用GPU问题的解决方法》文章详解如何解决TensorFlow在Windows无法识别GPU的问题,需降级至2.10版本,安装匹配CUDA11.2和cuDNN... 当用以下代码查看GPU数量时,gpuspython返回的是一个空列表,说明tensorflow没有找到

Navicat数据表的数据添加,删除及使用sql完成数据的添加过程

《Navicat数据表的数据添加,删除及使用sql完成数据的添加过程》:本文主要介绍Navicat数据表的数据添加,删除及使用sql完成数据的添加过程,具有很好的参考价值,希望对大家有所帮助,如有... 目录Navicat数据表数据添加,删除及使用sql完成数据添加选中操作的表则出现如下界面,查看左下角从左