本文主要是介绍tensorflow中线程和队列,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
队列(queue)本身也是图中的一个节点,是一种有状态的节点,主要包括入队节点(enqueue)和出队节点(dequeue),可以修改它的内容。enqueue操作返回计算图中的一个Operation节点,dequeue操作返回一个Tensor值。Tensor在创建时同样只是一个定义(或称为“声明”),需要放在Session中运行才能获得真正的数值。
FIFOQueue先入先出队列
import tensorflow as tf# 创建一个先入先出的队列,指定队列最多可以保存3个元素,并指定类型为整数
q = tf.FIFOQueue(3, 'int32')
# 初始化队列中的元素,将[0,10,20]3个元素排入此队列
init = q.enqueue_many(([0, 10, 20], ))
# 将队列中的第1个元素出队列,并存入变量x中
x = q.dequeue()
# 将得到的值加1
y = x + 1
# 将加1后的值重新加入队列
q_inc = q.enqueue([y])with tf.Session() as sess:# 队列初始化init.run()for _ in range(5):# 执行数据出队列/出队元素+1/重新加入队列的过程v, _ = sess.run([x, q_inc])print(v)
输出:
0
10
20
1
11分析:队列开始有[0,10,20]三个元素,执行5次数据出队列,出队元素+1,重新加入队列的过程中:
x=0, y=1, 队列:[10,20,1]
x=10, y=11, 队列:[20,1,11]
x=20, y=21, 队列:[1,11,21]
x=1, y=2, 队列:[11,21,2]
x=11, y=12, 队列:[21,2,12]
RandomShuffleQueue随机队列
在出队列时,是以随机的顺序产生元素的。例如,我们在训练一些图像样本时,使用CNN的网络结构,希望可以无序地读入训练样本,就要用RandomShuffleQueue,每次随机产生一个训练样本。
RandomShuffleQueue在Tensorflow使用异步计算时非常重要。因为Tensorflow的会话是支持多线程的,我们可以在主线程里执行训练操作,使用RandomShuffleQueue作为训练输入,开多个线程来准备训练样本,将样本压入队列后,主线程会从队列中每次取出mini-batch的样本进行训练
q=tf.RandomShuffleQueue(capacity=10,min_after_dequeue=2,dtypes="float")#队列最大长度为10,出队后最小长度为2
sess=tf.Session()
for i in range(0,10):#10次入队sess.run(q.enqueue(i))
for i in range(0,8):#8次出队print(sess.run(q.dequeue()))
输出:顺序不固定的八个数
7.0
8.0
5.0
6.0
9.0
4.0
3.0
0.0
队列管理器
当数据量很大时,入队操作从硬盘中读取数据,放入内存中,主线程需要等待入队操作完成,才能进行训练操作。会话中可以运行多个线程,我们使用线程管理器QueueRunner创建一系列的新线程进行入队操作,让主线程继续使用数据,即训练网络和读取数据是异步的,主线程在训练网络,另一个线程在将数据从硬盘读入内存。
import tensorflow as tf# 创建一个含有队列的图
q = tf.FIFOQueue(1000,"float") # 创建一个长度为1000的队列
counter = tf
这篇关于tensorflow中线程和队列的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!