Python并发编程的三种方式:多线程(threading)、多进程(multiprocessing),以及基于协程的异步I/O(asyncio)

本文主要是介绍Python并发编程的三种方式:多线程(threading)、多进程(multiprocessing),以及基于协程的异步I/O(asyncio),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在Python中,多线程、多进程和基于协程的异步I/O是实现并发编程的三种主要方法。每种方法都有其特定的使用场景和优势。理解这些不同方法的基础原理和适用情境对于编写高效、可扩展的Python程序至关重要。

多线程(threading

  • 概念:多线程允许程序在同一时间执行多个任务。每个线程代表一个执行序列,这意味着程序可以在一个核心或多个核心上并行执行多个线程。
  • 适用场景:适用于I/O密集型任务,如文件读写、网络请求等,因为在等待I/O操作完成时,其他线程可以继续执行。
  • 限制:由于Python的全局解释器锁(GIL),在执行CPU密集型任务时,多线程可能不会带来性能上的提升,因为GIL限制了同一时间只有一个线程能执行Python字节码。因此,对于计算密集型任务,多线程在多核处理器上并不总是能有效利用多核的优势。
代码实现

使用threading模块创建并启动线程:

import threading
import timedef thread_function(name):print(f"Thread {name}: starting")time.sleep(2)print(f"Thread {name}: finishing")if __name__ == "__main__":print("Main    : before creating thread")x = threading.Thread(target=thread_function, args=(1,))print("Main    : before running thread")x.start()print("Main    : wait for the thread to finish")# x.join() # Uncomment this to wait for the thread to finishprint("Main    : all done")

多进程(multiprocessing

  • 概念:多进程通过创建多个进程来实现并发,每个进程在其自己的Python解释器中运行,并且拥有独立的内存空间。
  • 适用场景:适合CPU密集型任务。由于每个进程有自己的GIL和内存空间,多进程能够真正并行地在多核CPU上运行,从而充分利用多核处理器的计算能力。
  • 限制:创建进程的开销比创建线程大,进程间通信(IPC)比线程间通信更复杂、成本更高。因此,对于需要频繁通信的任务,多进程可能不如多线程高效。
代码实现

使用multiprocessing模块创建并启动进程:

from multiprocessing import Process
import os
import timedef process_function(name):print(f"Process {name}: starting")time.sleep(2)print(f"Process {name}: finishing")if __name__ == '__main__':print("Main    : before creating process")p = Process(target=process_function, args=(1,))print("Main    : before running process")p.start()print("Main    : wait for the process to finish")# p.join() # Uncomment this to wait for the process to finishprint("Main    : all done")

基于协程的异步I/O(asyncio

  • 概念asyncio是Python用于编写单线程并发代码的库,通过事件循环和协程实现。协程允许任务在等待I/O操作时挂起,让出控制权给事件循环,以执行其他任务。
  • 适用场景:特别适合I/O密集型应用,如大规模网络爬虫、网络服务器等。在这些应用中,程序经常需要等待外部操作,如网络响应或磁盘I/O,asyncio可以在这些I/O等待时间中执行其他任务,从而提高程序的整体效率。
  • 限制:编写异步代码的复杂性高于同步代码,因为你需要管理事件循环,并使用asyncawait关键字正确地编写协程。此外,异步编程模型不适用于CPU密集型任务,因为它们主要通过单线程执行。
代码实现

使用asyncio模块实现异步I/O:

import asyncioasync def async_function(name):print(f"Task {name}: starting")await asyncio.sleep(2)  # 模拟I/O操作print(f"Task {name}: finishing")async def main():print("Main    : before creating task")# 创建并启动任务task1 = asyncio.create_task(async_function(1))task2 = asyncio.create_task(async_function(2))print("Main    : wait for the tasks to finish")await task1await task2print("Main    : all done")# Python 3.7及以上
asyncio.run(main())

注意事项

  • 在多线程和多进程的示例中,join()方法被注释掉了。如果取消注释,主程序将等待线程或进程完成其任务后再继续执行。这对于理解并发执行与程序等待同步完成的区别很有帮助。
  • asyncio的示例中,asyncio.run(main())启动了事件循环,运行了主协程main(),在其中又并发运行了两个异步任务。这演示了异步编程中任务调度和并发执行的基本原理。
  • 这些代码示例旨在展示每种并发模型的基本结构和用法,实际应用中可能需要更复杂的错误处理和性能优化。

总结

选择哪种并发模型取决于你的具体需求:

  • 对于I/O密集型任务,使用多线程或asyncio
  • 对于需要大量计算并希望利用多核CPU的应用,使用多进程。
  • 当需要同时处理大量网络连接时,考虑使用asyncio

正确地结合使用这些模型,可以让你的Python程序在不同的场景下达到最优性能

这篇关于Python并发编程的三种方式:多线程(threading)、多进程(multiprocessing),以及基于协程的异步I/O(asyncio)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/848575

相关文章

Python使用自带的base64库进行base64编码和解码

《Python使用自带的base64库进行base64编码和解码》在Python中,处理数据的编码和解码是数据传输和存储中非常普遍的需求,其中,Base64是一种常用的编码方案,本文我将详细介绍如何使... 目录引言使用python的base64库进行编码和解码编码函数解码函数Base64编码的应用场景注意

Java并发编程必备之Synchronized关键字深入解析

《Java并发编程必备之Synchronized关键字深入解析》本文我们深入探索了Java中的Synchronized关键字,包括其互斥性和可重入性的特性,文章详细介绍了Synchronized的三种... 目录一、前言二、Synchronized关键字2.1 Synchronized的特性1. 互斥2.

Python基于wxPython和FFmpeg开发一个视频标签工具

《Python基于wxPython和FFmpeg开发一个视频标签工具》在当今数字媒体时代,视频内容的管理和标记变得越来越重要,无论是研究人员需要对实验视频进行时间点标记,还是个人用户希望对家庭视频进行... 目录引言1. 应用概述2. 技术栈分析2.1 核心库和模块2.2 wxpython作为GUI选择的优

使用Sentinel自定义返回和实现区分来源方式

《使用Sentinel自定义返回和实现区分来源方式》:本文主要介绍使用Sentinel自定义返回和实现区分来源方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Sentinel自定义返回和实现区分来源1. 自定义错误返回2. 实现区分来源总结Sentinel自定

Springboot处理跨域的实现方式(附Demo)

《Springboot处理跨域的实现方式(附Demo)》:本文主要介绍Springboot处理跨域的实现方式(附Demo),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录Springboot处理跨域的方式1. 基本知识2. @CrossOrigin3. 全局跨域设置4.

springboot security使用jwt认证方式

《springbootsecurity使用jwt认证方式》:本文主要介绍springbootsecurity使用jwt认证方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录前言代码示例依赖定义mapper定义用户信息的实体beansecurity相关的类提供登录接口测试提供一

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景:内存吃得满满的类__slots__:你的内存管理小助手举个大概的例子:看看效果如何?1.

springboot security之前后端分离配置方式

《springbootsecurity之前后端分离配置方式》:本文主要介绍springbootsecurity之前后端分离配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的... 目录前言自定义配置认证失败自定义处理登录相关接口匿名访问前置文章总结前言spring boot secu

Python+PyQt5实现多屏幕协同播放功能

《Python+PyQt5实现多屏幕协同播放功能》在现代会议展示、数字广告、展览展示等场景中,多屏幕协同播放已成为刚需,下面我们就来看看如何利用Python和PyQt5开发一套功能强大的跨屏播控系统吧... 目录一、项目概述:突破传统播放限制二、核心技术解析2.1 多屏管理机制2.2 播放引擎设计2.3 专

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2