Tensorflow lite for 移动端安卓开发(三)——移动端测试自己的模型

2024-05-30 05:58

本文主要是介绍Tensorflow lite for 移动端安卓开发(三)——移动端测试自己的模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Tensorflow-lite官方给的应用是一个摄像头demo,主要由ImageClassifier类和Camera2BasicFragment类构成,ImageClassifier类为一个抽象类,由浮点类和数字量化类两类继承,主要实现读取,模型和预测的功能。Camera2BasicFragment类为碎片类,主要实现摄像头的预览功能。基于项目需要,为了能够在移动端测试model的性能,在原demo的基础上开发了一个测试demo,从移动端本地读取测试集进行预测,将预测结果以txt保存在本地,同时计算每类的精确率和召回率在终端显示,先给出demo效果图。
这里写图片描述
这里写图片描述
第一个图展示的是float模型跑出来的结果,第二个图展示的是量化模型的结果Quant量化模型跑出来的结果精度下降很多。
demo的github代码如下:https://github.com/GeekLee95/TFlite_android_test/tree/master
代码主要由以下四个类构成
这里写图片描述
ImageClassifer类 为抽象类
ImageClassifierFloatInception为浮点型子类,对应的浮点模型为assets资源下的7_float.tflite
ImageClaaifierQuantizedMobileNet为量化型子类,对应的数字量化模型为assets资源下的7.tflite
Mainactivity为主活动,主要涉及读取文件,图片格式转化和模型预测等方法。
output_labels.txt为模型的标签文件。

下面介绍主活动的主要方法。

1). public static void verifyStoragePermissions(Activity activity)
该函数实现动态申请权限,android 6.0以后为了提高系统安全,必须要在程序中动态申请权限
首先在清单文件中配置需要申请的权限,

<manifest xmlns:android="http://schemas.android.com/apk/res/android"package="com.example.liuli.openfiles"><uses-permission android:name="android.permission.MOUNT_UNMOUNT_FILESYSTEM"/><uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/><uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE"/>

然后再动态申请

public static void verifyStoragePermissions(Activity activity){try{int permission= ActivityCompat.checkSelfPermission(activity,"android.permission.WRITE_EXTERNAL_STORAGE");if(permission!= PackageManager.PERMISSION_DENIED){ActivityCompat.requestPermissions(activity,PERMISSIONS_STORGE,REQUEST_EXTERNAL_STORAGE);}} catch (Exception e){e.printStackTrace();}}

2). private List getImagePath()从本地存储中获取测试图片路径,可以选择内部存储(外置SD卡)和扩展存储卡(TF卡)路径。

private List<String> getImagePath(){List<String> dirpath = getExtSDCardPathList();Log.d("sd_path",dirpath.get(0));Log.d("tf_path",dirpath.get(1));tfpath = dirpath.get(1);List<String> imagePathList = new ArrayList<String>();String filepath = tfpath+ File.separator+"DCIM"+File.separator+"TEST";//String filepath = Environment.getExternalStoragePublicDirectory(Environment.DIRECTORY_PICTURES).toString();//Context context = getApplicationContext(); //获取当前上下文//String filepath = context.getExternalFilesDir("DCIM")+File.separator;//得到该路径文件夹下的所有文件Log.d("filepath",filepath);File fileAll = new File(filepath);boolean result = fileAll.exists();File[] files = fileAll.listFiles();for(int i = 0;i<files.length;i++){File file = files[i];if(checkIsImageFile(file.getPath())){imagePathList.add(file.getPath());}}return imagePathList;}

3). private Bitmap createImageThumbnail(String filePath,int newHeight,int newWidth) 将原始图片缩放成指定大小的bitmap格式,比如mobilenet模型的input_size: 224x224

private Bitmap createImageThumbnail(String filePath,int newHeight,int newWidth){Bitmap bm = BitmapFactory.decodeFile(filePath);float width = bm.getWidth();float height = bm.getHeight();Log.i("old_size:","宽度是"+width+",高度是"+height);Matrix matrix = new Matrix();//计算宽高缩放率float scaleWidth = ((float) newWidth)/width;float scaleHeight = ((float) newHeight)/height;//缩放图片动作matrix.postScale(scaleWidth,scaleHeight);Bitmap bitmap = Bitmap.createBitmap(bm,0,0,(int)width,(int)height,matrix,true);Log.i("new_size:","宽度是"+bitmap.getHeight()+",高度是"+bitmap.getWidth());return bitmap;}

4). private void classifyFrame(List Frames) 进行模型预测

    private void classifyFrame(List<String> Frames){int num = 0;int carlessnum = 0,carlessTP = 0,carlessFP = 0;int carnormalnum = 0,carnormalTP = 0,carnormalFP = 0;int carmorenum = 0,carmoreTP = 0,carmoreFP = 0;//显示待预测图片总数mShownum.setText(Integer.toString(Frames.size()));Log.d("mShownum",Integer.toString(Frames.size()));String resultfilepath = tfpath+ File.separator+"DCIM"+File.separator+"TESTRESULT"+File.separator;for(int i = 0;i<Frames.size();i++){String imagepath = Frames.get(i);Bitmap bitmap = createImageThumbnail(imagepath,classifier.getImageSizeX(),classifier.getImageSizeY());String result = classifier.classifyFrame(bitmap);Log.d("Predict_result"+Integer.toString(i),result);String imagename = imagepath.split("/")[imagepath.split("/").length-1];//将数据保存到本地String resultname = imagename.replace(".jpg",".txt");Log.d("resultname",resultname);writeTxtToFile(result,resultfilepath,resultname);String label = imagename.split("_")[0];Log.d("label"+Integer.toString(i),label);switch (label){case "0":carlessnum++;Log.d("carlessnum",Integer.toString(carlessnum));if(result == classifier.labelList.get(Integer.parseInt(label))){carlessTP++;Log.d("carlessTP",Integer.toString(carlessTP));}break;case "1":carnormalnum++;Log.d("carnormalnum",Integer.toString(carnormalnum));if(result == classifier.labelList.get(Integer.parseInt(label))){carnormalTP++;Log.d("carnormalTP",Integer.toString(carnormalTP));}break;case "2":carmorenum++;Log.d("carmorenum",Integer.toString(carmorenum));if(result == classifier.labelList.get(Integer.parseInt(label))){carmoreTP++;Log.d("carmoreTP",Integer.toString(carmoreTP));}break;}if(result != classifier.labelList.get(Integer.parseInt(label))){switch (result){case "类别1":carlessFP++;break;case "类别2":carnormalFP++;break;case "类别3":carmoreFP++;break;}}if(result == classifier.labelList.get(Integer.parseInt(label))){num++;} else{wrongFrames.add(imagepath+"predict:"+result);}Log.d("图片数:", Integer.toString(i+1));Log.d("正确数:", Integer.toString(num));}float result  = (float)num/(float)Frames.size();mShowResult.setText(Float.toString(result));// 计算每一类的精确率和召回率float carlessrec = (float)Math.round((float)carlessTP/(float)carlessnum*10000)/10000;float carlessacc = (float) Math.round((float)carlessTP/(float)(carlessTP+carlessFP)*10000)/10000;float carnormalrec = (float) Math.round((float)carnormalTP/(float)carnormalnum*10000)/10000;float carnormalacc = (float) Math.round((float)carnormalTP /(float)(carnormalTP+carnormalFP)*10000)/10000;float carmorerec = (float) Math.round((float) carmoreTP/(float)carmorenum*10000)/10000;float carmoreacc = (float) Math.round((float)carmoreTP/(float)(carmoreTP+carmoreFP)*10000)/10000;mShowcarlessacc.setText(Float.toString(carlessacc));mShowcarlessrec.setText(Float.toString(carlessrec));mShowcarlessnum.setText(Integer.toString(carlessnum));mShowcarnormacc.setText(Float.toString(carnormalacc));mShowcarnormrec.setText(Float.toString(carnormalrec));mShowcarnormnum.setText(Integer.toString(carnormalnum));mShowcarmoreacc.setText(Float.toString(carmoreacc));mShowcarmorerec.setText(Float.toString(carmorerec));mShowcarmorenum.setText(Integer.toString(carmorenum));}

后续将会对模型进行改进和完善。

这篇关于Tensorflow lite for 移动端安卓开发(三)——移动端测试自己的模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1015752

相关文章

Python中Tensorflow无法调用GPU问题的解决方法

《Python中Tensorflow无法调用GPU问题的解决方法》文章详解如何解决TensorFlow在Windows无法识别GPU的问题,需降级至2.10版本,安装匹配CUDA11.2和cuDNN... 当用以下代码查看GPU数量时,gpuspython返回的是一个空列表,说明tensorflow没有找到

SpringBoot开发中十大常见陷阱深度解析与避坑指南

《SpringBoot开发中十大常见陷阱深度解析与避坑指南》在SpringBoot的开发过程中,即使是经验丰富的开发者也难免会遇到各种棘手的问题,本文将针对SpringBoot开发中十大常见的“坑... 目录引言一、配置总出错?是不是同时用了.properties和.yml?二、换个位置配置就失效?搞清楚加

使用Python进行GRPC和Dubbo协议的高级测试

《使用Python进行GRPC和Dubbo协议的高级测试》GRPC(GoogleRemoteProcedureCall)是一种高性能、开源的远程过程调用(RPC)框架,Dubbo是一种高性能的分布式服... 目录01 GRPC测试安装gRPC编写.proto文件实现服务02 Dubbo测试1. 安装Dubb

Python的端到端测试框架SeleniumBase使用解读

《Python的端到端测试框架SeleniumBase使用解读》:本文主要介绍Python的端到端测试框架SeleniumBase使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全... 目录SeleniumBase详细介绍及用法指南什么是 SeleniumBase?SeleniumBase

Python中对FFmpeg封装开发库FFmpy详解

《Python中对FFmpeg封装开发库FFmpy详解》:本文主要介绍Python中对FFmpeg封装开发库FFmpy,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录一、FFmpy简介与安装1.1 FFmpy概述1.2 安装方法二、FFmpy核心类与方法2.1 FF

HTML5实现的移动端购物车自动结算功能示例代码

《HTML5实现的移动端购物车自动结算功能示例代码》本文介绍HTML5实现移动端购物车自动结算,通过WebStorage、事件监听、DOM操作等技术,确保实时更新与数据同步,优化性能及无障碍性,提升用... 目录1. 移动端购物车自动结算概述2. 数据存储与状态保存机制2.1 浏览器端的数据存储方式2.1.

基于Python开发Windows屏幕控制工具

《基于Python开发Windows屏幕控制工具》在数字化办公时代,屏幕管理已成为提升工作效率和保护眼睛健康的重要环节,本文将分享一个基于Python和PySide6开发的Windows屏幕控制工具,... 目录概述功能亮点界面展示实现步骤详解1. 环境准备2. 亮度控制模块3. 息屏功能实现4. 息屏时间

Python实例题之pygame开发打飞机游戏实例代码

《Python实例题之pygame开发打飞机游戏实例代码》对于python的学习者,能够写出一个飞机大战的程序代码,是不是感觉到非常的开心,:本文主要介绍Python实例题之pygame开发打飞机... 目录题目pygame-aircraft-game使用 Pygame 开发的打飞机游戏脚本代码解释初始化部

使用Python开发一个现代化屏幕取色器

《使用Python开发一个现代化屏幕取色器》在UI设计、网页开发等场景中,颜色拾取是高频需求,:本文主要介绍如何使用Python开发一个现代化屏幕取色器,有需要的小伙伴可以参考一下... 目录一、项目概述二、核心功能解析2.1 实时颜色追踪2.2 智能颜色显示三、效果展示四、实现步骤详解4.1 环境配置4.

Python使用smtplib库开发一个邮件自动发送工具

《Python使用smtplib库开发一个邮件自动发送工具》在现代软件开发中,自动化邮件发送是一个非常实用的功能,无论是系统通知、营销邮件、还是日常工作报告,Python的smtplib库都能帮助我们... 目录代码实现与知识点解析1. 导入必要的库2. 配置邮件服务器参数3. 创建邮件发送类4. 实现邮件