Python并发编程的三种方式:多线程(threading)、多进程(multiprocessing),以及基于协程的异步I/O(asyncio)

本文主要是介绍Python并发编程的三种方式:多线程(threading)、多进程(multiprocessing),以及基于协程的异步I/O(asyncio),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在Python中,多线程、多进程和基于协程的异步I/O是实现并发编程的三种主要方法。每种方法都有其特定的使用场景和优势。理解这些不同方法的基础原理和适用情境对于编写高效、可扩展的Python程序至关重要。

多线程(threading

  • 概念:多线程允许程序在同一时间执行多个任务。每个线程代表一个执行序列,这意味着程序可以在一个核心或多个核心上并行执行多个线程。
  • 适用场景:适用于I/O密集型任务,如文件读写、网络请求等,因为在等待I/O操作完成时,其他线程可以继续执行。
  • 限制:由于Python的全局解释器锁(GIL),在执行CPU密集型任务时,多线程可能不会带来性能上的提升,因为GIL限制了同一时间只有一个线程能执行Python字节码。因此,对于计算密集型任务,多线程在多核处理器上并不总是能有效利用多核的优势。
代码实现

使用threading模块创建并启动线程:

import threading
import timedef thread_function(name):print(f"Thread {name}: starting")time.sleep(2)print(f"Thread {name}: finishing")if __name__ == "__main__":print("Main    : before creating thread")x = threading.Thread(target=thread_function, args=(1,))print("Main    : before running thread")x.start()print("Main    : wait for the thread to finish")# x.join() # Uncomment this to wait for the thread to finishprint("Main    : all done")

多进程(multiprocessing

  • 概念:多进程通过创建多个进程来实现并发,每个进程在其自己的Python解释器中运行,并且拥有独立的内存空间。
  • 适用场景:适合CPU密集型任务。由于每个进程有自己的GIL和内存空间,多进程能够真正并行地在多核CPU上运行,从而充分利用多核处理器的计算能力。
  • 限制:创建进程的开销比创建线程大,进程间通信(IPC)比线程间通信更复杂、成本更高。因此,对于需要频繁通信的任务,多进程可能不如多线程高效。
代码实现

使用multiprocessing模块创建并启动进程:

from multiprocessing import Process
import os
import timedef process_function(name):print(f"Process {name}: starting")time.sleep(2)print(f"Process {name}: finishing")if __name__ == '__main__':print("Main    : before creating process")p = Process(target=process_function, args=(1,))print("Main    : before running process")p.start()print("Main    : wait for the process to finish")# p.join() # Uncomment this to wait for the process to finishprint("Main    : all done")

基于协程的异步I/O(asyncio

  • 概念asyncio是Python用于编写单线程并发代码的库,通过事件循环和协程实现。协程允许任务在等待I/O操作时挂起,让出控制权给事件循环,以执行其他任务。
  • 适用场景:特别适合I/O密集型应用,如大规模网络爬虫、网络服务器等。在这些应用中,程序经常需要等待外部操作,如网络响应或磁盘I/O,asyncio可以在这些I/O等待时间中执行其他任务,从而提高程序的整体效率。
  • 限制:编写异步代码的复杂性高于同步代码,因为你需要管理事件循环,并使用asyncawait关键字正确地编写协程。此外,异步编程模型不适用于CPU密集型任务,因为它们主要通过单线程执行。
代码实现

使用asyncio模块实现异步I/O:

import asyncioasync def async_function(name):print(f"Task {name}: starting")await asyncio.sleep(2)  # 模拟I/O操作print(f"Task {name}: finishing")async def main():print("Main    : before creating task")# 创建并启动任务task1 = asyncio.create_task(async_function(1))task2 = asyncio.create_task(async_function(2))print("Main    : wait for the tasks to finish")await task1await task2print("Main    : all done")# Python 3.7及以上
asyncio.run(main())

注意事项

  • 在多线程和多进程的示例中,join()方法被注释掉了。如果取消注释,主程序将等待线程或进程完成其任务后再继续执行。这对于理解并发执行与程序等待同步完成的区别很有帮助。
  • asyncio的示例中,asyncio.run(main())启动了事件循环,运行了主协程main(),在其中又并发运行了两个异步任务。这演示了异步编程中任务调度和并发执行的基本原理。
  • 这些代码示例旨在展示每种并发模型的基本结构和用法,实际应用中可能需要更复杂的错误处理和性能优化。

总结

选择哪种并发模型取决于你的具体需求:

  • 对于I/O密集型任务,使用多线程或asyncio
  • 对于需要大量计算并希望利用多核CPU的应用,使用多进程。
  • 当需要同时处理大量网络连接时,考虑使用asyncio

正确地结合使用这些模型,可以让你的Python程序在不同的场景下达到最优性能

这篇关于Python并发编程的三种方式:多线程(threading)、多进程(multiprocessing),以及基于协程的异步I/O(asyncio)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/848575

相关文章

Python Transformers库(NLP处理库)案例代码讲解

《PythonTransformers库(NLP处理库)案例代码讲解》本文介绍transformers库的全面讲解,包含基础知识、高级用法、案例代码及学习路径,内容经过组织,适合不同阶段的学习者,对... 目录一、基础知识1. Transformers 库简介2. 安装与环境配置3. 快速上手示例二、核心模

Spring Boot读取配置文件的五种方式小结

《SpringBoot读取配置文件的五种方式小结》SpringBoot提供了灵活多样的方式来读取配置文件,这篇文章为大家介绍了5种常见的读取方式,文中的示例代码简洁易懂,大家可以根据自己的需要进... 目录1. 配置文件位置与加载顺序2. 读取配置文件的方式汇总方式一:使用 @Value 注解读取配置方式二

Python正则表达式语法及re模块中的常用函数详解

《Python正则表达式语法及re模块中的常用函数详解》这篇文章主要给大家介绍了关于Python正则表达式语法及re模块中常用函数的相关资料,正则表达式是一种强大的字符串处理工具,可以用于匹配、切分、... 目录概念、作用和步骤语法re模块中的常用函数总结 概念、作用和步骤概念: 本身也是一个字符串,其中

Python使用getopt处理命令行参数示例解析(最佳实践)

《Python使用getopt处理命令行参数示例解析(最佳实践)》getopt模块是Python标准库中一个简单但强大的命令行参数处理工具,它特别适合那些需要快速实现基本命令行参数解析的场景,或者需要... 目录为什么需要处理命令行参数?getopt模块基础实际应用示例与其他参数处理方式的比较常见问http

JAVA保证HashMap线程安全的几种方式

《JAVA保证HashMap线程安全的几种方式》HashMap是线程不安全的,这意味着如果多个线程并发地访问和修改同一个HashMap实例,可能会导致数据不一致和其他线程安全问题,本文主要介绍了JAV... 目录1. 使用 Collections.synchronizedMap2. 使用 Concurren

python实现svg图片转换为png和gif

《python实现svg图片转换为png和gif》这篇文章主要为大家详细介绍了python如何实现将svg图片格式转换为png和gif,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录python实现svg图片转换为png和gifpython实现图片格式之间的相互转换延展:基于Py

Python中的getopt模块用法小结

《Python中的getopt模块用法小结》getopt.getopt()函数是Python中用于解析命令行参数的标准库函数,该函数可以从命令行中提取选项和参数,并对它们进行处理,本文详细介绍了Pyt... 目录getopt模块介绍getopt.getopt函数的介绍getopt模块的常用用法getopt模

Python利用ElementTree实现快速解析XML文件

《Python利用ElementTree实现快速解析XML文件》ElementTree是Python标准库的一部分,而且是Python标准库中用于解析和操作XML数据的模块,下面小编就来和大家详细讲讲... 目录一、XML文件解析到底有多重要二、ElementTree快速入门1. 加载XML的两种方式2.

Python如何精准判断某个进程是否在运行

《Python如何精准判断某个进程是否在运行》这篇文章主要为大家详细介绍了Python如何精准判断某个进程是否在运行,本文为大家整理了3种方法并进行了对比,有需要的小伙伴可以跟随小编一起学习一下... 目录一、为什么需要判断进程是否存在二、方法1:用psutil库(推荐)三、方法2:用os.system调用

使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)

《使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)》PPT是一种高效的信息展示工具,广泛应用于教育、商务和设计等多个领域,PPT文档中常常包含丰富的图片内容,这些图片不仅提升了... 目录一、引言二、环境与工具三、python 提取PPT背景图片3.1 提取幻灯片背景图片3.2 提取