从Tensorflow模型文件中解析并显示网络结构图(CKPT模型篇)

2023-10-29 11:50

本文主要是介绍从Tensorflow模型文件中解析并显示网络结构图(CKPT模型篇),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

最近看到一个巨牛的人工智能教程,分享一下给大家。教程不仅是零基础,通俗易懂,而且非常风趣幽默,像看小说一样!觉得太牛了,所以分享给大家。平时碎片时间可以当小说看,【点这里可以去膜拜一下大神的“小说”】。

上一篇文章《从Tensorflow模型文件中解析并显示网络结构图(pb模型篇)》中介绍了如何从pb模型文件中提取网络结构图并实现可视化,本文介绍如何从CKPT模型文件中提取网络结构图并实现可视化。理论上,既然能从pb模型文件中提取网络结构图,CKPT模型文件自然也不是问题,但是其中会有一些问题。

1 解析CKPT网络结构

解析CKPT网络结构的第一步是读取CKPT模型中的图文件,得到图的Graph对象后即可得到完整的网络结构。读取图文件示例代码如下所示。

    saver = tf.train.import_meta_graph(ckpt_path+'.meta',clear_devices=True)graph = tf.get_default_graph()with tf.Session( graph=graph) as sess:sess.run(tf.global_variables_initializer()) saver.restore(sess,ckpt_path) 

调用graph.get_operations() 后即可得到当前图的所有计算节点,在利用Operation对象与Tensor对象之间的相互引用关系即可推断网络结构。但是需要注意的是,从meta文件中导入的图中获取计算节点存在如下问题。

  1. 包含反向梯度下降计算的所有节点
  2. 某些计算节点是按基础计算(加减乘除等)节点拆分成多个计算节点的,如BatchNorm,但其实是可以直接合并成一个节点的。

pb模型文件可以避免上面第一个问题,将CKPT模型转pb模型后,可以自动将反向梯度下降相关计算节点移除。对于第二点,pb模型文件会自动将基础计算组成一个计算节点,但是对于Tensor操作的函数如Slice等函数是无法合并的。因此,对于第2个问题,将CKPT模型转pb模型后,可以减少这类问题,但是无法避免。彻底避免的方法只能通过自己针对性地实现。经过以上分析,得出的结论是非常有必要将CKPT模型转pb模型。

2 自动将CKPT转pb,并提取网络图中节点

如果将CKPT自动转pb模型,那么就可以复用上一篇文章《从Tensorflow模型文件中解析并显示网络结构图(pb模型篇)》的代码。示例代码如下所示。

def read_graph_from_ckpt(ckpt_path,input_names,output_name ):   saver = tf.train.import_meta_graph(ckpt_path+'.meta',clear_devices=True)graph = tf.get_default_graph()with tf.Session( graph=graph) as sess:sess.run(tf.global_variables_initializer()) saver.restore(sess,ckpt_path) output_tf =graph.get_tensor_by_name(output_name) pb_graph = tf.graph_util.convert_variables_to_constants( sess, graph.as_graph_def(), [output_tf.op.name]) with tf.Graph().as_default() as g:tf.import_graph_def(pb_graph, name='')  with tf.Session(graph=g) as sess:OPS=get_ops_from_pb(g,input_names,output_name)return OPS

其中函数get_ops_from_pb在上一篇文章《从Tensorflow模型文件中解析并显示网络结构图(pb模型篇)》中已经实现。

3 测试

以《MobileNet V1官方预训练模型的使用》文中介绍的MobileNet V1网络结构为例,下载MobileNet_v1_1.0_192文件并压缩后,得到mobilenet_v1_1.0_192.ckpt.data-00000-of-00001mobilenet_v1_1.0_192.ckpt.indexmobilenet_v1_1.0_192.ckpt.meta文件。我们还需要知道mobilenet_v1_1.0_192.ckpt模型对应的输入和输出Tensor对象的名称,官方提供的压缩包文件中并没有告知。一种方法是运行官方代码,把输入Tensor的名称打印出来。但是运行官方代码本身就需要一定的时间和精力,在在上一篇文章《从Tensorflow模型文件中解析并显示网络结构图(pb模型篇)》的代码实现中已经实现了将原始网络结构对应的字符串写入到ori_network.txt文件中。因此,可以先随意填写输入名称和输出名称,待生成ori_network.txt文件后,从文件中可以直观看到原始网络结构。ori_network.txt文件部分内容如下所示。

ori_network.txt文件部分内容
通过该文件可知,输入Tensor的名称为:batch:0,输出Tensor名称为:MobilenetV1/Predictions/Reshape_1:0。有了这些信息后,调用函数read_graph_from_ckpt得到静态图的节点列表对象ops,调用函数gen_graph(ops,"save/path/graph.html")后,在目录save/path中得到graph.html文件,打开graph.html后,显示结果如下。

读取并显示CKPT模型的图结构

4 源码地址

https://github.com/huachao1001/CNNGraph

如果您觉得本文对您有帮助,欢迎关注我【Python学习实战】,每天学习一点点,每天进步一点点。
长按关注【Python学习实战】

这篇关于从Tensorflow模型文件中解析并显示网络结构图(CKPT模型篇)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/300467

相关文章

使用Jackson进行JSON生成与解析的新手指南

《使用Jackson进行JSON生成与解析的新手指南》这篇文章主要为大家详细介绍了如何使用Jackson进行JSON生成与解析处理,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 核心依赖2. 基础用法2.1 对象转 jsON(序列化)2.2 JSON 转对象(反序列化)3.

Linux系统配置NAT网络模式的详细步骤(附图文)

《Linux系统配置NAT网络模式的详细步骤(附图文)》本文详细指导如何在VMware环境下配置NAT网络模式,包括设置主机和虚拟机的IP地址、网关,以及针对Linux和Windows系统的具体步骤,... 目录一、配置NAT网络模式二、设置虚拟机交换机网关2.1 打开虚拟机2.2 管理员授权2.3 设置子

揭秘Python Socket网络编程的7种硬核用法

《揭秘PythonSocket网络编程的7种硬核用法》Socket不仅能做聊天室,还能干一大堆硬核操作,这篇文章就带大家看看Python网络编程的7种超实用玩法,感兴趣的小伙伴可以跟随小编一起... 目录1.端口扫描器:探测开放端口2.简易 HTTP 服务器:10 秒搭个网页3.局域网游戏:多人联机对战4.

Springboot @Autowired和@Resource的区别解析

《Springboot@Autowired和@Resource的区别解析》@Resource是JDK提供的注解,只是Spring在实现上提供了这个注解的功能支持,本文给大家介绍Springboot@... 目录【一】定义【1】@Autowired【2】@Resource【二】区别【1】包含的属性不同【2】@

SpringCloud动态配置注解@RefreshScope与@Component的深度解析

《SpringCloud动态配置注解@RefreshScope与@Component的深度解析》在现代微服务架构中,动态配置管理是一个关键需求,本文将为大家介绍SpringCloud中相关的注解@Re... 目录引言1. @RefreshScope 的作用与原理1.1 什么是 @RefreshScope1.

Java并发编程必备之Synchronized关键字深入解析

《Java并发编程必备之Synchronized关键字深入解析》本文我们深入探索了Java中的Synchronized关键字,包括其互斥性和可重入性的特性,文章详细介绍了Synchronized的三种... 目录一、前言二、Synchronized关键字2.1 Synchronized的特性1. 互斥2.

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

SpringBoot使用OkHttp完成高效网络请求详解

《SpringBoot使用OkHttp完成高效网络请求详解》OkHttp是一个高效的HTTP客户端,支持同步和异步请求,且具备自动处理cookie、缓存和连接池等高级功能,下面我们来看看SpringB... 目录一、OkHttp 简介二、在 Spring Boot 中集成 OkHttp三、封装 OkHttp