tensorboard tf.summary 知识点和使用说明

2024-05-24 07:32

本文主要是介绍tensorboard tf.summary 知识点和使用说明,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

调用tensorboard命令

john@john-wang:~/Vitis-AI_1.2/DenseNet3/trainrestore/trainrestore/build$ tensorboard --logdir=tb_logs

TensorBoard

TensorFlow回调函数:tf.keras.callbacks.TensorBoard
https://www.w3cschool.cn/tensorflow_python/tf_keras_callbacks_TensorBoard.html
tf.summary.FileWriter, tf.summary.scalar, writer.add_graph, writer.add_summary

tf.keras.callbacks.TensorBoard函数

类 TensorBoard
继承自:Callback
定义在:tensorflow/python/keras/callbacks.py。

此回调为TensorBoard编写日志,该日志允许您可视化训练和测试度量的动态图形,也可以可视化模型中不同层的激活直方图。

如果您已经使用pip安装了TensorFlow,那么您应该能够从命令行启动TensorBoard:
tensorboard --logdir=/full_path_to_your_logs

参数:
log_dir:保存TensorBoard要解析的日志文件的目录的路径。
histogram_freq:频率(在epoch中),计算模型层的激活和权重直方图。如果设置为0,则不会计算直方图。必须为直方图可视化指定验证数据(或拆分)。
write_graph:是否在TensorBoard中可视化图像。当write_graph设置为True时,日志文件可能会变得非常大。
write_grads:是否在TensorBoard中可视化渐变直方图。 histogram_freq必须大于0。
batch_size:用以直方图计算的传入神经元网络输入批的大小。
write_images:是否在TensorBoard中编写模型权重以显示为图像。
embeddings_freq:将保存所选嵌入层的频率(在epoch中)。如果设置为0,则不会计算嵌入。要在TensorBoard的嵌入选项卡中显示的数据必须作为embeddings_data传递。
embeddings_layer_names:要关注的层名称列表。如果为None或空列表,则将监测所有嵌入层。
embeddings_metadata:将层名称映射到文件名的字典,其中保存了此嵌入层的元数据。如果相同的元数据文件用于所有嵌入层,则可以传递字符串。
embeddings_data:要嵌入在embeddings_layer_names指定的层的数据。Numpy数组(如果模型有单个输入)或Numpy数组列表(如果模型有多个输入)。
update_freq:‘batch’或’epoch’或整数。使用’batch’时,在每个batch后将损失和指标写入TensorBoard。这同样适用’epoch’。如果使用整数,比方说1000,回调将会在每1000个样本后将指标和损失写入TensorBoard。请注意,过于频繁地写入TensorBoard会降低您的训练速度。
可能引发的异常:

基本操作

定一个writer(log位置),用来写summary结果:writer = tf.summary.FileWriter("./resource/logdir", sess.graph)
对要统计的变量使用summary操作:比如 tf.summary.scalar(“accuarcy”, accuracy)
对精确度的统计,第一个参数是名字,第二个参数是变量名
把所有summary操作merge起来: merged = tf.summary.merge_all()
执行过程中fetch merged获得想要的变量值: summary, _ = sess.run([merged, step], feed_dict={x: batch_xs, y_: batch_ys})
把第i次迭代的结果summary添加到train_writer: writer.add_summary(summary, i)
关闭写 writer.close()

启动tensorboard
windows:进入{path}/Anaconda/Scripts,执行 ./tensorboard.exe --logdir={path}/resource/logdir/
ubuntu:进入{path}/Anaconda/envs/tensorflow/bin,执行 ./tensorboard --logdir={path}/resource/logdir/
   根据提示,访问网页即可结果

【TensorFlow】TensorBoard的使用系列文章,向作者 duanlianvip表示感谢!
https://blog.csdn.net/duanlianvip/article/details/98498826
TensorBoard是一个可视化工具,它可以用来展示网络图、张量的指标变化、张量的分布情况等。特别是在训练网络的时候,我们可以设置不同的参数(比如:权重W、偏置B、卷积层数、全连接层数等),使用TensorBoader可以很直观的帮我们进行参数的选择。
本系列文章一共四篇,由浅入深,以常见的Mnist数据集为实验对象,从实现最简单TensorBoard开始,逐步增加参数、复杂度,最后实现使用TensorBoard工具可视化调参的功能。
TensorBoard的程序需要注意以下几点:
设置保存路径:tenboard_dir = ‘./tensorboard/test1/’
进入test1文件夹的上一层文件夹,在DOS窗口运行命令:tensorboard --logdir=./test1

第一个mnist_board_1.py程序如下

import os
import tensorflow as tf
LOGDIR = './mnist'
mnist = tf.contrib.learn.datasets.mnist.read_data_sets(train_dir=LOGDIR + 'data', one_hot=True)
## 定义基本卷积层
def conv_layer(input, size_in, size_out):w = tf.Variable(tf.truncated_normal([5, 5, size_in, size_out], stddev=0.1))b = tf.Variable(tf.constant(0.1, shape=[size_out]))conv = tf.nn.conv2d(input, w, strides=[1, 1, 1, 1], padding='SAME')act = tf.nn.relu(conv + b)return tf.nn.max_pool(act, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')## 定义基本连接层
def fc_layer(input, size_in, size_out):w = tf.Variable(tf.truncated_normal([size_in, size_out], stddev=0.1))b = tf.Variable(tf.constant(0.1, shape=[size_out]))act = tf.nn.relu(tf.matmul(input, w) + b)return actdef mnist_model(learning_rate, use_two_conv, use_two_fc, hparam):tf.reset_default_graph()sess = tf.Session()## 预定输入参数# setup placeholders, and reshape the datax = tf.placeholder(tf.float32, shape=[None, 784])x_image = tf.reshape(x, [-1, 28, 28, 1])y = tf.placeholder(tf.float32, shape=[None, 10])## 定义双卷积层if use_two_conv:conv1 = conv_layer(x_image, 1, 32)conv_out = conv_layer(conv1, 32, 64)else:conv1 = conv_layer(x_image, 1, 64)conv_out = tf.nn.max_pool(conv1, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')flattened = tf.reshape(conv_out, [-1, 7 * 7 * 64])## 定义双连接层if use_two_fc:fc1 = fc_layer(flattened, 7 * 7 * 64, 1024)embedding_input = fc1embedding_size = 1024logits = fc_layer(fc1, 1024, 10)else:embedding_input = flattenedembedding_size = 7 * 7 * 64logits = fc_layer(flattened, 7 * 7 * 64, 10)## 求最小lossxent = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=y))train_step = tf.train.AdamOptimizer(learning_rate).minimize(xent)## 求精确度 correct_prediction = tf.equal(tf.argmax(logits, 1), tf.argmax(y, 1))accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))emdedding = tf.Variable(tf.zeros([1024, embedding_size]))assignment = emdedding.assign(embedding_input)## 初始化全局变量sess.run(tf.global_variables_initializer())# 保存路径tenboard_dir = './tensorboard/test1/'# 指定一个文件用来保存图writer = tf.summary.FileWriter(tenboard_dir + hparam)# 把图add进去writer.add_graph(sess.graph)## 运行2000次,每次100for i in range(2001):batch = mnist.train.next_batch(100)sess.run(train_step, feed_dict={x: batch[0], y: batch[1]})## 定义参数
def make_hparam_string(learning_rate, use_two_fc, use_two_conv):conv_param = 'conv=2' if use_two_conv else 'conv=1'fc_param = 'fc=2' if use_two_fc else 'fc=1'return 'lr_%.0E,%s,%s' % (learning_rate, conv_param, fc_param)def main():# You can try adding some more learning ratesfor learning_rate in [1E-4]:# Include 'False' as a value to try different model architectures.for use_two_fc in [True]:for use_two_conv in [True]:# Construct a hyperparameter string for each one(example: 'lr_1E-3,fc=2,conv=2')hparam = make_hparam_string(learning_rate, use_two_fc, use_two_conv)print('Starting run for %s' % hparam)# Actually run with the new settingsmnist_model(learning_rate, use_two_fc, use_two_conv, hparam)if __name__ == '__main__':main()

改进:加上name值,方便在tensorboard里面查看

def conv_layer(input, size_in, size_out, name=‘conv’):
# 定义名字作用域
with tf.name_scope(name):
w = tf.Variable(tf.truncated_normal([5, 5, size_in, size_out], stddev=0.1), name=‘W’)
b = tf.Variable(tf.constant(0.1, shape=[size_out]), name=‘B’)
conv = tf.nn.conv2d(input, w, strides=[1, 1, 1, 1], padding=‘SAME’)
act = tf.nn.relu(conv + b)
# 分布情况:在训练过程中查看分布情况
tf.summary.histogram(‘weights’, w)
tf.summary.histogram(‘biases’, b)
tf.summary.histogram(‘activations’, act)

return tf.nn.max_pool(act, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding=‘SAME’)

def mnist_model(learning_rate, use_two_conv, use_two_fc, hparam):
tf.reset_default_graph()
sess = tf.Session()
# setup placeholders, and reshape the data
x = tf.placeholder(tf.float32, shape=[None, 784], name=‘x’)
x_image = tf.reshape(x, [-1, 28, 28, 1])
# 显示当前的输入:数据集中的图像
tf.summary.image(‘input’, x_image, 3)
y = tf.placeholder(tf.float32, shape=[None, 10], name=‘labels’)

conv1 = conv_layer(x_image, 1, 32, ‘conv1’)
conv_out = conv_layer(conv1, 32, 64, ‘conv2’)

flattened = tf.reshape(conv_out, [-1, 7 * 7 * 64])

with tf.name_scope(‘loss’):
xent = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=y), name=‘loss’)
# 指标变化:随着网络的迭代,loss值的变化
tf.summary.scalar(‘loss’, xent)

with tf.name_scope(‘train’):
train_step = tf.train.AdamOptimizer(learning_rate).minimize(xent)

with tf.name_scope(‘accuracy’):
correct_prediction = tf.equal(tf.argmax(logits, 1), tf.argmax(y, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
# 指标变化:随着迭代进行,精度的变化情况
tf.summary.scalar(‘accuracy’, accuracy)

把所有要显示的参数聚在一起

summ = tf.summary.merge_all()

saver = tf.train.Saver()

sess.run(tf.global_variables_initializer())
# 保存路径
tenboard_dir = ‘./tensorboard/test3/’

指定一个文件用来保存图

**writer = tf.summary.FileWriter(tenboard_dir + hparam)**
# 把图add进去
**writer.add_graph(sess.graph)**

for i in range(2001):
batch = mnist.train.next_batch(100)
# 每迭代5次对结果进行保存
if i % 5 == 0:
[train_accuracy, s] = sess.run([accuracy, summ], feed_dict={x: batch[0], y: batch[1]})
writer.add_summary(s, i)
sess.run(train_step, feed_dict={x: batch[0], y: batch[1]})

def main():
# You can try adding some more learning rates
for learning_rate in [1E-4]:

Actually run with the new settings

mnist_model(learning_rate, use_two_fc, use_two_conv, hparam)

if name == ‘main’:
main()

logdir = log_dir(“logreg”)
file_writer = tf.summary.FileWriter(logdir, tf.get_default_graph())
tensorboard --logdir=/full_path_to_your_logs

参数:

log_dir:保存TensorBoard要解析的日志文件的目录的路径。
histogram_freq:频率(在epoch中),计算模型层的激活和权重直方图。如果设置为0,则不会计算直方图。必须为直方图可视化指定验证数据(或拆分)。
write_graph:是否在TensorBoard中可视化图像。当write_graph设置为True时,日志文件可能会变得非常大。
write_grads:是否在TensorBoard中可视化渐变直方图。 histogram_freq必须大于0。
batch_size:用以直方图计算的传入神经元网络输入批的大小。
write_images:是否在TensorBoard中编写模型权重以显示为图像。
embeddings_freq:将保存所选嵌入层的频率(在epoch中)。如果设置为0,则不会计算嵌入。要在TensorBoard的嵌入选项卡中显示的数据必须作为embeddings_data传递。
embeddings_layer_names:要关注的层名称列表。如果为None或空列表,则将监测所有嵌入层。
embeddings_metadata:将层名称映射到文件名的字典,其中保存了此嵌入层的元数据。如果相同的元数据文件用于所有嵌入层,则可以传递字符串。
embeddings_data:要嵌入在embeddings_layer_names指定的层的数据。Numpy数组(如果模型有单个输入)或Numpy数组列表(如果模型有多个输入)。
update_freq:‘batch’或’epoch’或整数。使用’batch’时,在每个batch后将损失和指标写入TensorBoard。这同样适用’epoch’。如果使用整数,比方说1000,回调将会在每1000个样本后将指标和损失写入TensorBoard。请注意,过于频繁地写入TensorBoard会降低您的训练速度。

官方提供的使用例程summary

指定一个文件用来保存图

writer = tf.summary.FileWriter(tenboard_dir + hparam)
# 把图add进去
writer.add_graph(sess.graph)
for i in range(iter_num):batch = mnist.train.next_batch(100)# 每迭代5次对结果进行保存if i % 5 == 0:[train_accuracy, s] = sess.run([accuracy, summ], feed_dict={x: batch[0], y: batch[1]})writer.add_summary(s, i)

import_meta_graph官方提供的使用例程:

 Create a saver.
saver = tf.train.Saver(...variables...)Remember the training_op we want to run by adding it to a collection.
tf.add_to_collection('train_op', train_op)
sess = tf.Session()
for step in xrange(1000000):sess.run(train_op)if step % 1000 == 0:# Saves checkpoint, which by default also exports a meta_graph# named 'my-model-global_step.meta'.saver.save(sess, 'my-model', global_step=step)with tf.Session() as sess:new_saver = tf.train.import_meta_graph('my-save-dir/my-model-10000.meta')new_saver.restore(sess, 'my-save-dir/my-model-10000')# tf.get_collection() returns a list. In this example we only want the# first one.train_op = tf.get_collection('train_op')[0]for step in xrange(1000000):sess.run(train_op)

这篇关于tensorboard tf.summary 知识点和使用说明的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/997769

相关文章

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble) Zookeeper通过复制来实现

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

基本知识点

1、c++的输入加上ios::sync_with_stdio(false);  等价于 c的输入,读取速度会加快(但是在字符串的题里面和容易出现问题) 2、lower_bound()和upper_bound() iterator lower_bound( const key_type &key ): 返回一个迭代器,指向键值>= key的第一个元素。 iterator upper_bou

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据,将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

git使用的说明总结

Git使用说明 下载安装(下载地址) macOS: Git - Downloading macOS Windows: Git - Downloading Windows Linux/Unix: Git (git-scm.com) 创建新仓库 本地创建新仓库:创建新文件夹,进入文件夹目录,执行指令 git init ,用以创建新的git 克隆仓库 执行指令用以创建一个本地仓库的