Python17 多进程multiprocessing

本文主要是介绍Python17 多进程multiprocessing，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1.多进程与多线程的区别

在Python中，多线程（multithreading）和多进程（multiprocessing）是两种并行执行任务的方式，它们有一些关键的区别：

进程和线程的基本区别：
- 进程：进程是操作系统分配资源和调度的基本单位，每个进程都有自己独立的内存空间和资源。多进程环境下，同一个程序可以运行在不同的内存地址空间中，进程之间不会相互干扰。
- 线程：线程是进程的一个执行实体，是CPU调度和执行的单位，同一进程下的多个线程共享该进程的内存空间和资源。这意味着线程间通信更简单，但也容易出现数据不一致的问题。
全局解释器锁（GIL）：
- Python（尤其是CPython）中有一个称为全局解释器锁（GIL）的机制，它影响了多线程的执行效率。GIL确保在任意时刻，只有一个线程在一个Python进程中执行，这意味着即使在多核CPU上，使用Python的多线程也无法实现真正的并行执行。
- 多进程不受GIL的影响，因为每个进程都有自己的Python解释器和内存空间，所以可以真正并行运行。
使用场景：
- 多线程适合于I/O密集型任务，如网络请求、文件I/O等，因为线程在等待I/O的过程中可以释放GIL，让其他线程运行。
- 多进程适合于CPU密集型任务，如大规模计算等，可以利用多核CPU的优势实现真正的并行计算。
资源消耗和开销：
- 多线程的资源消耗相对较少，创建和切换线程的开销小于进程。
- 多进程因为每个进程需要独立的内存空间和系统资源，所以资源消耗更大，进程的创建和切换也比线程要慢。

2.多进程模块multiprocessing

Python中的multiprocessing 模块是用来实现多进程并行计算的标准库之一。它提供一种简单且强大的方式来利用多核 CPU 执行并行任务，从而提高程序的性能和效率。

具体来说，multiprocessing 模块主要用于以下几个方面：

创建进程：通过 Process 类，可以创建新的进程来执行指定的任务。
进程间通信：提供了多种方式来实现进程间的通信，如队列（Queue）、管道（Pipe）、共享内存（Value 和 Array 等）等，这些机制可以让多个进程之间安全地共享数据。
进程池：通过 Pool 类，可以创建一个池子，其中包含多个工作进程，从而可以更方便地实现并行任务的执行。
同步机制：提供了多种同步原语，如锁（Lock）、信号量（Semaphore）、事件（Event）等，用于控制多个进程之间的并发访问。
执行并行任务：通过多进程的方式，可以并行执行计算密集型任务，从而提高程序的运行速度，特别是在多核 CPU 上。

3.多进程示例（并行计算不同函数）

# 这行代码是一个特殊注释，用于声明Python文件的编码格式
# -*- coding: utf-8 -*-  
import multiprocessing  # 用于创建多进程
import numpy as np
import matplotlib.pyplot as plt# 正弦函数
def compute_sin(queue, x):  #函数计算输入数组x的正弦值，结果存入队列queue，队列用于进程间的数据传递。y = np.sin(x)queue.put(('sin', y))print("Sin computed")# 余弦函数
def compute_cos(queue, x):y = np.cos(x)queue.put(('cos', y))print("Cos computed")# 正切函数
def compute_tan(queue, x):y = np.tan(x)y = np.clip(y, -10, 10)  # 限制tan函数的输出范围以避免数值爆炸queue.put(('tan', y))print("Tan computed")# 指数函数
def compute_exp(queue, x):y = np.exp(x)y = np.clip(y, 0, 10)  # 限制exp函数的输出范围以避免数值爆炸queue.put(('exp', y))print("Exp computed")if __name__ == '__main__':  # 仅当文件作为主程序运行时执行以下代码块# 创建一个管理器队列用于进程间通信manager = multiprocessing.Manager()queue = manager.Queue()# 创建输入数据x = np.linspace(-2 * np.pi, 2 * np.pi, 1000)  # 生成一个线性空间的数组x，范围是从-2π到2π，包含1000个元素# 创建四个进程，每个进程执行不同的计算任务processes = [multiprocessing.Process(target=compute_sin, args=(queue, x)),multiprocessing.Process(target=compute_cos, args=(queue, x)),multiprocessing.Process(target=compute_tan, args=(queue, x)),multiprocessing.Process(target=compute_exp, args=(queue, x))]# 启动所有进程for p in processes:p.start()# 等待所有进程完成for p in processes:p.join()# 从队列中获取所有结果，存入字典resultsresults = {}while not queue.empty():key, value = queue.get()results[key] = value# 使用matplotlib进行绘图plt.figure(figsize=(10, 6))if results:for key, value in results.items():plt.plot(x, value, label=key)plt.title('Various Mathematical Functions')plt.xlabel('x')plt.ylabel('f(x)')plt.ylim(-5, 5)  # 设置y轴的显示范围plt.legend()plt.show()else:print("No data to plot.")