将分类网络应用在android中 part2，用自己的训练结果应用android

2024-02-04 03:48
文章标签 android 训练 应用 分类 part2 网络应用

本文主要是介绍将分类网络应用在android中 part2，用自己的训练结果应用android，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

准备工作

编译应用

代码解读

 

准备工作

1.保存checkpoint

可以参考之前的一篇利用tf slim进行分类网络训练的博客，博客地址，如果按照里面的操作步骤进行训练网络，我们会得到保存下来的checkpoint文件。

model.ckpt-5000.data-00000-of-00001 --> 保存了当前参数值
model.ckpt-5000.index --> 保存了当前参数名
model.ckpt-5000.meta --> 保存了当前graph结构图

这样训练的脚本就直接帮我们完成了checkpoint的保存。

但是如果是自己实现的网络结构和网络训练，那我们需要使用下面的代码来保存checkpoint，然后我们同样也会得到这三类文件。

saver = tf.train.Saver()
saver.save(sess, './data/train_logs_1/model.chkp')

2.根据meta生成freezed pb

下面就是要根据生成的checkpoint文件来生成freezed protobuf文件。什么是freezed呢？其实就是将参数的值和graph结合起来保存成pb文件，这样后续使用的时候就只需要直接输入input进行计算就好了，也不用还原网络结构。当然pb文件里面其实都是二进制的信息，也无法还原网络结构的，我们在运算的时候只能按照里面记录的运算方式进行计算。

import tensorflow as tfmeta_path = './data/train_logs_1/model.ckpt-5000.meta' # Your .meta file
output_node_names = ['MobilenetV2/Predictions/Reshape_1']    # Output nodeswith tf.Session() as sess:# Restore the graphsaver = tf.train.import_meta_graph(meta_path)# Load weightssaver.restore(sess, tf.train.latest_checkpoint('./data/train_logs_1'))# Freeze the graphfrozen_graph_def = tf.graph_util.convert_variables_to_constants(sess,sess.graph_def,output_node_names)# Save the frozen graphwith open('./data/train_logs_1/freeze_graph_5000.pb', 'wb') as f:f.write(frozen_graph_def.SerializeToString())

上面的代码可以保存一个freezed_graph.pb文件。在使用convert_variables_to_constants的时候需要一个output_node_names，如果不知道output的具体名字可以先用如下的代码查看

import tensorflow as tfmeta_path = './data/train_logs_1/model.ckpt-5000.meta' # Your .meta filewith tf.Session() as sess:# Restore the graphsaver = tf.train.import_meta_graph(meta_path)# Load weightssaver.restore(sess, tf.train.latest_checkpoint('./data/train_logs_1'))graph = tf.get_default_graph()with open('./data/train_logs_1/operations_5000.txt', 'wb') as f:for op in graph.get_operations():f.writelines(str(op.name) + ',' + str(op.values()) + '\n')

这里会将graph里面包含的所有操作打印出来，因为内容比较多，所以存入文件方便查看，可以从operations_5000.txt中看到在loss之前最后一个输出就是MobilenetV2/Predictions/Reshape_1，所以我们在convert_variables_to_constants中填入的output_node_names为['MobilenetV2/Predictions/Reshape_1']，其实可以填入好多个output，但是我们的分类网络只需要一个。

MobilenetV2/Predictions/Reshape_1,(<tf.Tensor 'MobilenetV2/Predictions/Reshape_1:0' shape=(32, 243) dtype=float32>,)
softmax_cross_entropy_loss/Rank,(<tf.Tensor 'softmax_cross_entropy_loss/Rank:0' shape=() dtype=int32>,)

3.测试freezed pb

前面两个步骤后其实freezed pb文件就已经保存成功了，但是还需要测试一下我们保存的pb文件是否可靠，是否可以通过load这个pb文件就进行预测。

首先我们需要load pb文件

def load_graph(model_file):graph = tf.Graph()graph_def = tf.GraphDef()with open(model_file, "rb") as f:graph_def.ParseFromString(f.read())with graph.as_default():tf.import_graph_def(graph_def)return graph

接着取出input和output的tensor

  input_operation = graph.get_operation_by_name(input_name)output_operation = graph.get_operation_by_name(output_name)

最后sess run就可以得到结果了

  with tf.Session(graph=graph) as sess:results = sess.run(output_operation.outputs[0], {input_operation.outputs[0]: t})results = np.squeeze(results)print(results.shape)top_k = results.argsort()[-5:][::-1]labels = load_labels(label_file)

虽然测试pb文件代码很简单，但是我们可能会遇到两个坑。

第一个可能运行后会报错。因为我们打印出来的results的shape是[32, 243]，243是我们分类的类别数，但是为何有32个243的数组呢？

(1, 224, 224, 3)
2018-09-04 18:19:58.424800: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1120] Creating TensorFlow device (/device:GPU:0) -> (device: 0, name: GeForce GTX 1080 Ti, pci bus id: 0000:03:00.0, compute capability: 6.1)
(32, 243)
Traceback (most recent call last):File "test_freeze_meta.py", line 80, in <module>print(labels[i], results[i])
TypeError: only integer scalar arrays can be converted to a scalar index

从我们前面打印出来的output的size可以看出MobilenetV2/Predictions/Reshape_1的shape是(32, 243)，是因为32是我们之前training的batch size，而我们保存meta的时候将这个size保存下来了。所以导致我们predict的时候出来的结果也是(32, 243)，但是我们其实只预测了一张图片。

如果遇到了这个问题，可以将training时的batch size改成1，基于前面的checkpoint再进行一次训练生成新的meta文件，然后重复上面的步骤进行操作即可。比如我这边会用下面的命令接着进行training

python train_image_classifier.py \--train_dir=./data/train_logs_1 \--dataset_dir=./data/mydata \--dataset_name=mydata \--dataset_split_name=train \--model_name=mobilenet_v2 \--train_image_size=224 \--batch_size=1

会生成model.ckpt-5001.data-00000-of-00001，model.ckpt-5001.index和model.ckpt-5001.meta文件，然后重新生成operations_5001.txt，可以发现里面shape已经变过来了

MobilenetV2/Predictions/Reshape_1,(<tf.Tensor 'MobilenetV2/Predictions/Reshape_1:0' shape=(1, 243) dtype=float32>,)
softmax_cross_entropy_loss/Rank,(<tf.Tensor 'softmax_cross_entropy_loss/Rank:0' shape=() dtype=int32>,)

后面进行预测就不会有报错。但是其实并没有结束，因为我们还可能遇到第二个坑。

预测的结果特别不准确，而且多跑几次会发现每次结果都不一样。这是因为batch normalization和dropout的随机性导致的

    with slim.arg_scope([slim.batch_norm, slim.dropout],is_training=is_training):

代码中在搭建网络的时候很清楚的对这两种操作区分了是否是training状态。所以我们现在的做法是搭建网络的时候传入这个参数为false，然后进行一次training生成checkpoint 5002。

    network_fn = nets_factory.get_network_fn(FLAGS.model_name,num_classes=(dataset.num_classes - FLAGS.labels_offset),weight_decay=FLAGS.weight_decay,is_training=False)

如果对5002 checkpoint进行评估会发现结果是非常不准确的，没关系，我们只需要用到他的meta文件。

然后在用第二步中的操作生成freezed pb文件

meta_path = './data/train_logs_1/model.ckpt-5002.meta' # Your .meta file#这里restore的checkpoint需要是准确率比较高的checkpoint，比如ckpt-5001
#如果让latest_checkpoint取到的是5001呢，很简单，修改train_logs_1目录下的checkpoint文件
#修改model_checkpoint_path: "model.ckpt-5001"，这样就会自动取5001为checkpoint来恢复数据了
saver.restore(sess, tf.train.latest_checkpoint('./data/train_logs_1'))

然后再进行预测，一切都正常了。比如预测file_name = "./backup/mydata/km335_back/km335_back.jpg"文件，结果是

(243,)
('150:km335_back', 0.99930513)
('151:km335_front', 0.00019936822)
('191:km711_front', 0.00018467742)
('193:km712_front', 0.00015364563)
('220:kmmerge123_back', 4.9729293e-05)

并不是每个人都会遇到这两个问题，如果是自己搭建网络，自己保存checkpoint我想是可以避免的，但是tf-slim是用slim.learning.train接口进行训练和保存checkpoint，所以保存形式不太可控。

代码实现：freeze_meta.py   test_freeze_meta.py

 

编译应用

如果按照上一篇博文(链接)进行了实操，那这一步就会非常容易了。

首先将上一步编译出来的pb文件，和我们分类的label文件拷贝放入tensorflow/examples/android/assets

然后修改ClassifierActivity.java中的代码如下

  private static final String INPUT_NAME = "MobilenetV2/input";private static final String OUTPUT_NAME = "MobilenetV2/Predictions/Reshape_1";  private static final String MODEL_FILE = "file:///android_asset/freeze_graph_5002.pb";private static final String LABEL_FILE = "file:///android_asset/labels.txt";

接着用bazel进行编译

bazel build //tensorflow/examples/android:tensorflow_coin

生成的apk放在了bazel-bin/tensorflow/examples/android目录下，安装启动即可。

但是我们可能会遇到另外一个坑，安装apk后启动会crash，从adb log看到的错误是

09-05 14:07:58.741 16317 16441 E AndroidRuntime: java.lang.IllegalArgumentException: Cannot assign a device for operation 'MobilenetV2/input': Operation was explicitly assigned to /device:GPU:0 but available devices are [ /job:localhost/replica:0/task:0/device:CPU:0 ]. Make sure the device specification refers to a valid device.
09-05 14:07:58.741 16317 16441 E AndroidRuntime: 	 [[Node: MobilenetV2/input = Identity[T=DT_FLOAT, _device="/device:GPU:0"](fifo_queue_Dequeue)]]

这是因为我们训练的时候用的是GPU，保存的pb中指定了用GPU进行load，而手机中只有CPU，所以所发生错误。

改动方法是训练的时候添加一个flag --clone_on_cpu=True，就可以将我们的meta保存device指定CPU。

 

代码解读

android代码中关于分类网络的主要是两个文件，一个是ClassifierActivity.java，另一个是TensorFlowImageClassifier.java

1.ClassifierActivity.java

这个文件主要负责camera的preview，将preview中的图片传递给TensorFlowImageClassifier进行分类网络的预测，最后显示预测结果。

# 创建classifier实例
classifier =TensorFlowImageClassifier.create(getAssets(),MODEL_FILE,LABEL_FILE,INPUT_SIZE,IMAGE_MEAN,IMAGE_STD,INPUT_NAME,OUTPUT_NAME);# 调用recognizeImage进行图像识别
final List<Classifier.Recognition> results = classifier.recognizeImage(croppedBitmap);# 显示预测结果
resultsView.setResults(results);

2.TensorFlowImageClassifier.java

主要负责调用TensorFlowInferenceInterface类的接口进行预测。

# 实例化TensorFlowInferenceInterface，同时会将model载入
c.inferenceInterface = new TensorFlowInferenceInterface(assetManager, modelFilename);# 传入input的image数据
inferenceInterface.feed(inputName, floatValues, 1, inputSize, inputSize, 3);# 进行计算
inferenceInterface.run(outputNames, logStats);#取出计算结果
inferenceInterface.fetch(outputName, outputs);

 

以上就是全部内容，如果在操作过程中遇到了任何问题可以给我留言，谢谢阅读。

这篇关于将分类网络应用在android中 part2，用自己的训练结果应用android的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/676276。

相关文章

中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
基于人工智能的图像分类系统

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务，目标是自动识别图像中的对象类别。通过卷积神经网络（CNN）等深度学习技术，我们可以构建高效的图像分类系统，广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统，包括环境
阅读更多...
水位雨量在线监测系统概述及应用介绍

水位雨量在线监测系统概述及应用介绍

在当今社会，随着科技的飞速发展，各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中，水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术，其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成，形成了一个完整的闭环系统。 数据采集单元：这是系统的“眼睛”，
阅读更多...
认识、理解、分类——acm之搜索

认识、理解、分类——acm之搜索

普通搜索方法有两种：1、广度优先搜索；2、深度优先搜索； 更多搜索方法： 3、双向广度优先搜索； 4、启发式搜索（包括A*算法等）； 搜索通常会用到的知识点：状态压缩（位压缩，利用hash思想压缩）。
阅读更多...
csu 1446 Problem J Modified LCS （扩展欧几里得算法的简单应用）

csu 1446 Problem J Modified LCS （扩展欧几里得算法的简单应用）

这是一道扩展欧几里得算法的简单应用题，这题是在湖南多校训练赛中队友ac的一道题，在比赛之后请教了队友，然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意：把题意转变下就变成了：求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点：求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个
阅读更多...
hdu1394(线段树点更新的应用)

hdu1394(线段树点更新的应用)

题意：求一个序列经过一定的操作得到的序列的最小逆序数 这题会用到逆序数的一个性质，在0到n-1这些数字组成的乱序排列，将第一个数字A移到最后一位，得到的逆序数为res-a+(n-a-1) 知道上面的知识点后，可以用暴力来解 代码如下： #include<iostream>#include<algorithm>#include<cstring>#include<stack>#in
阅读更多...
zoj3820(树的直径的应用)

zoj3820(树的直径的应用)

题意：在一颗树上找两个点，使得所有点到选择与其更近的一个点的距离的最大值最小。 思路：如果是选择一个点的话，那么点就是直径的中点。现在考虑两个点的情况，先求树的直径，再把直径最中间的边去掉，再求剩下的两个子树中直径的中点。 代码如下： #include <stdio.h>#include <string.h>#include <algorithm>#include <map>#
阅读更多...
Android实现任意版本设置默认的锁屏壁纸和桌面壁纸（两张壁纸可不一致）

Android实现任意版本设置默认的锁屏壁纸和桌面壁纸（两张壁纸可不一致）

客户有些需求需要设置默认壁纸和锁屏壁纸  在默认情况下 这两个壁纸是相同的  如果需要默认的锁屏壁纸和桌面壁纸不一样 需要额外修改 Android13实现 替换默认桌面壁纸： 将图片文件替换frameworks/base/core/res/res/drawable-nodpi/default_wallpaper.*  （注意不能是bmp格式） 替换默认锁屏壁纸： 将图片资源放入vendo
阅读更多...
Android平台播放RTSP流的几种方案探究（VLC VS ExoPlayer VS SmartPlayer）

Android平台播放RTSP流的几种方案探究（VLC VS ExoPlayer VS SmartPlayer）

技术背景 好多开发者需要遴选Android平台RTSP直播播放器的时候，不知道如何选的好，本文针对常用的方案，做个大概的说明： 1. 使用VLC for Android VLC Media Player（VLC多媒体播放器），最初命名为VideoLAN客户端，是VideoLAN品牌产品，是VideoLAN计划的多媒体播放器。它支持众多音频与视频解码器及文件格式，并支持DVD影音光盘，VCD影
阅读更多...
【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善，其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性， 将与教育相关的数据要素在区块链上进行存证确权，在确保数据可信的前提下，促进教育的公平、透明、开放，为教育教学质量提升赋能，实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护，支撑教育资源共享、教学质量评估、
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2