本文主要是介绍Python17 多进程multiprocessing，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
1.多进程与多线程的区别
在Python中，多线程（multithreading）和多进程（multiprocessing）是两种并行执行任务的方式，它们有一些关键的区别：
-
进程和线程的基本区别：
-
进程：进程是操作系统分配资源和调度的基本单位，每个进程都有自己独立的内存空间和资源。多进程环境下，同一个程序可以运行在不同的内存地址空间中，进程之间不会相互干扰。
-
线程：线程是进程的一个执行实体，是CPU调度和执行的单位，同一进程下的多个线程共享该进程的内存空间和资源。这意味着线程间通信更简单，但也容易出现数据不一致的问题。
-
-
全局解释器锁（GIL）：
-
Python（尤其是CPython）中有一个称为全局解释器锁（GIL）的机制，它影响了多线程的执行效率。GIL确保在任意时刻，只有一个线程在一个Python进程中执行，这意味着即使在多核CPU上，使用Python的多线程也无法实现真正的并行执行。
-
多进程不受GIL的影响，因为每个进程都有自己的Python解释器和内存空间，所以可以真正并行运行。
-
-
使用场景：
-
多线程适合于I/O密集型任务，如网络请求、文件I/O等，因为线程在等待I/O的过程中可以释放GIL，让其他线程运行。
-
多进程适合于CPU密集型任务，如大规模计算等，可以利用多核CPU的优势实现真正的并行计算。
-
-
资源消耗和开销：
-
多线程的资源消耗相对较少，创建和切换线程的开销小于进程。
-
多进程因为每个进程需要独立的内存空间和系统资源，所以资源消耗更大，进程的创建和切换也比线程要慢。
-
2.多进程模块multiprocessing
Python中的multiprocessing 模块是用来实现多进程并行计算的标准库之一。它提供一种简单且强大的方式来利用多核 CPU 执行并行任务，从而提高程序的性能和效率。
具体来说，multiprocessing 模块主要用于以下几个方面：
-
创建进程：通过
Process类，可以创建新的进程来执行指定的任务。 -
进程间通信：提供了多种方式来实现进程间的通信，如队列（
Queue）、管道（Pipe）、共享内存（Value和Array等）等，这些机制可以让多个进程之间安全地共享数据。 -
进程池：通过
Pool类，可以创建一个池子，其中包含多个工作进程，从而可以更方便地实现并行任务的执行。 -
同步机制：提供了多种同步原语，如锁（
Lock）、信号量（Semaphore）、事件（Event）等，用于控制多个进程之间的并发访问。 -
执行并行任务：通过多进程的方式，可以并行执行计算密集型任务，从而提高程序的运行速度，特别是在多核 CPU 上。
3.多进程示例（并行计算不同函数）
# 这行代码是一个特殊注释，用于声明Python文件的编码格式
# -*- coding: utf-8 -*-
import multiprocessing # 用于创建多进程
import numpy as np
import matplotlib.pyplot as plt# 正弦函数
def compute_sin(queue, x): #函数计算输入数组x的正弦值，结果存入队列queue，队列用于进程间的数据传递。y = np.sin(x)queue.put(('sin', y))print("Sin computed")# 余弦函数
def compute_cos(queue, x):y = np.cos(x)queue.put(('cos', y))print("Cos computed")# 正切函数
def compute_tan(queue, x):y = np.tan(x)y = np.clip(y, -10, 10) # 限制tan函数的输出范围以避免数值爆炸queue.put(('tan', y))print("Tan computed")# 指数函数
def compute_exp(queue, x):y = np.exp(x)y = np.clip(y, 0, 10) # 限制exp函数的输出范围以避免数值爆炸queue.put(('exp', y))print("Exp computed")if __name__ == '__main__': # 仅当文件作为主程序运行时执行以下代码块# 创建一个管理器队列用于进程间通信manager = multiprocessing.Manager()queue = manager.Queue()# 创建输入数据x = np.linspace(-2 * np.pi, 2 * np.pi, 1000) # 生成一个线性空间的数组x，范围是从-2π到2π，包含1000个元素# 创建四个进程，每个进程执行不同的计算任务processes = [multiprocessing.Process(target=compute_sin, args=(queue, x)),multiprocessing.Process(target=compute_cos, args=(queue, x)),multiprocessing.Process(target=compute_tan, args=(queue, x)),multiprocessing.Process(target=compute_exp, args=(queue, x))]# 启动所有进程for p in processes:p.start()# 等待所有进程完成for p in processes:p.join()# 从队列中获取所有结果，存入字典resultsresults = {}while not queue.empty():key, value = queue.get()results[key] = value# 使用matplotlib进行绘图plt.figure(figsize=(10, 6))if results:for key, value in results.items():plt.plot(x, value, label=key)plt.title('Various Mathematical Functions')plt.xlabel('x')plt.ylabel('f(x)')plt.ylim(-5, 5) # 设置y轴的显示范围plt.legend()plt.show()else:print("No data to plot.")
以上内容总结自网络，如有帮助欢迎转发，我们下次再见！
这篇关于Python17 多进程multiprocessing的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
