Python 之队列(queue)的创建、数据进出及线程间使用

2024-05-02 13:08

本文主要是介绍Python 之队列(queue)的创建、数据进出及线程间使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

____tz_zs

队列(queue),是线程间最常用的交换数据的形式,用来在生产者和消费者线程之间的信息传递,是适用于多线程编程的先进先出的数据结构。

一、创建队列对象

1、FIFO 队列(first-in,first-out 先进先出)

class queue.Queue(maxsize=0)
maxsize:(可选参数,默认为 0)用于设定队列长度。maxsize 小于等于 0 则表示队列长度无限。 一旦队列长度达到其设定上限,插入会导致阻塞,直到队列中的数据被消费掉。

2、LIFO 队列(last-in,first-out 后进先出)

class queue.LifoQueue(maxsize=0)
maxsize:(可选参数,默认为 0)用于设定队列长度。maxsize 小于等于 0 则表示队列长度无限。 一旦队列长度达到其设定上限,插入会导致阻塞,直到队列中的数据被消费掉。

3、优先级队列

class queue.PriorityQueue(maxsize=0)

二、往队列中添加项目(Queue.put)

将一个 item 放入队列。

Queue.put(item, block=True, timeout=None)

参数:
tiem:将要放入队列中的对象。
block:可选,说明是否阻塞。
timeout:可选,指定等待时间。

  • 如果可选参数 block 为 true 并且 timeout 为None(即默认值),则在队列没有空闲空间时阻塞,永远等待下去,直到有空闲空间时放入数据。
  • 如果可选参数 block 为 true 并且 timeout 是正数,则在队列没有空闲空间时阻塞,它最多会阻塞 timeout 秒,如果超出了这个时间仍然没有空闲空间,则会抛出 queue.Full 异常。
  • 如果可选参数 block 为 true ,则在队列有空闲空间时立即将数据放入队列中,如果没有空闲空间则立刻抛出 queue.Full 异常(在这种情况下忽略参数 timeout)。

ps:
Queue.put_nowait(item) 等同于 put(item, False)

三、从队列中取出数据(Queue.get)

从队列中移除并返回一个 item。

Queue.get(block=True, timeout=None)

参数:
block:可选,说明是否阻塞。
timeout:可选,指定等待时间。

  • 如果可选参数 block 为 true 并且 timeout 为None(即默认值),则在队列中没有数据时阻塞,永远等待下去,直到队列中有数据可以获取。
  • 如果可选参数 block 为 true 并且 timeout 是正数,则在队列中没有数据时阻塞,它最多会阻塞 timeout 秒,如果超出了这个时间而队列中仍然没有数据,则会抛出 queue.Empty 异常。
  • 如果可选参数 block 为 true ,则在队列有数据时立即取出,如果没有数据则立刻抛出 queue.Empty 异常(在这种情况下忽略参数 timeout)。

ps:
Queue.get_nowait() 相当于 get(False) 。

四、Queue.join() 和 Queue.task_done() 的使用

  • 每当有 item 被 put 到队列时,未完成任务的计数(Queue 对象 的 unfinished_tasks 属性)就会加 1。
  • 每当调用 task_done()方法时,计数就会减 1。当未完成任务的数量降至 0 时,Queue.join()的阻塞消失。

例1:队列中存储了三个 item,在线程结束时队列随之消失。

# -*- coding:utf-8 -*-
"""
@author: tz_zs
"""import queueq = queue.Queue()
print("队列大小:%s" % q.qsize())  # 队列大小
print("未完成的任务数:%s" % q.unfinished_tasks)  # 未完成的任务数q.put(222)
q.put(333)
q.put(444)print("队列大小:%s" % q.qsize())  # 队列大小
print("未完成的任务数:%s" % q.unfinished_tasks)  # 未完成的任务数print("结束")"""
队列大小:0
未完成的任务数:0
队列大小:3
未完成的任务数:3
结束Process finished with exit code 0
"""

例2:队列中存入三个 item,未完成任务的计数为3,未处理完,所以进程阻塞在 Queue.join() 处。

# -*- coding:utf-8 -*-
"""
@author: tz_zs
"""import queueq = queue.Queue()
print("队列大小:%s" % q.qsize())  # 队列大小
print("未完成的任务数:%s" % q.unfinished_tasks)  # 未完成的任务数q.put(222)
q.put(333)
q.put(444)print("队列大小:%s" % q.qsize())  # 队列大小
print("未完成的任务数:%s" % q.unfinished_tasks)  # 未完成的任务数q.join()
print("结束")"""
队列大小:0
未完成的任务数:0
队列大小:3
未完成的任务数:3
"""

例3:队列中存入三个 item,未完成任务的计数为3。虽然已通过 Queue.get() 取出,但计数并没有减少,进程仍阻塞在 Queue.join() 处。

# -*- coding:utf-8 -*-
# -*- coding:utf-8 -*-
"""
@author: tz_zs
"""import queueq = queue.Queue()
print("队列大小:%s" % q.qsize())  # 队列大小
print("未完成的任务数:%s" % q.unfinished_tasks)  # 未完成的任务数q.put(222)
q.put(333)
q.put(444)
q.get()
q.get()
q.get()print("队列大小:%s" % q.qsize())  # 队列大小
print("未完成的任务数:%s" % q.unfinished_tasks)  # 未完成的任务数q.join()
print("结束")"""
队列大小:0
未完成的任务数:0
队列大小:0
未完成的任务数:3
"""

例4:队列中存入三个 item,未完成任务的计数为3。通过调用 Queue.task_done() 将计数减少到 0,线程未阻塞。

# -*- coding:utf-8 -*-
"""
@author: tz_zs
"""import queueq = queue.Queue()
print("队列大小:%s" % q.qsize())  # 队列大小
print("未完成的任务数:%s" % q.unfinished_tasks)  # 未完成的任务数q.put(222)
q.put(333)
q.put(444)
q.task_done()
q.task_done()
q.task_done()print("队列大小:%s" % q.qsize())  # 队列大小
print("未完成的任务数:%s" % q.unfinished_tasks)  # 未完成的任务数q.join()
print("结束")"""
队列大小:0
未完成的任务数:0
队列大小:3
未完成的任务数:0
结束Process finished with exit code 0
"""

五、队列大小的相关属性和方法

1、Queue.qsize()

返回队列的大致大小。注意,qsize() > 0 不保证后续的 get() 方法不被阻塞,qsize() < maxsize 也不保证 put() 方法不被阻塞。

2、Queue.empty()

如果队列为空,返回 True ,否则返回 False 。如果 empty() 返回 True ,不保证后续调用的 put() 不被阻塞。类似的,如果 empty() 返回 False ,也不保证后续调用的 get() 不被阻塞。

3、Queue.full()

如果队列是满的返回 True ,否则返回 False 。如果 full() 返回 True 不保证后续调用的 get() 不被阻塞。类似的,如果 full() 返回 False 也不保证后续调用的 put() 不被阻塞。

4、Queue.maxsize

属性,创建队列时传入参数,代表队列的最大容量,小于等于 0 代表无线。

5、Queue.queue

# -*- coding:utf-8 -*-
"""
@author: tz_zs
"""import queueq = queue.Queue()q.put(222)
q.put(333)
q.put(444)
dq = q.queue  # deque([222, 333, 444])
print(dq)
l = list(dq)  # <class 'list'>: [222, 333, 444]
print(l)
"""
deque([222, 333, 444])
[222, 333, 444]
"""

六、官网例子:如何等待排队的任务被完成的示例

def worker():while True:item = q.get()if item is None:breakdo_work(item)q.task_done()q = queue.Queue()
threads = []
for i in range(num_worker_threads):t = threading.Thread(target=worker)t.start()threads.append(t)for item in source():q.put(item)# block until all tasks are done
q.join()# stop workers
for i in range(num_worker_threads):q.put(None)
for t in threads:t.join()

这篇关于Python 之队列(queue)的创建、数据进出及线程间使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/954316

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别: 当你在一个模块(文件)中使用 global 声明变量时,这个变量只在该模块的全局命名空

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件