Python concurrent.futures实现多进程多线程编程

本文主要是介绍Python concurrent.futures实现多进程多线程编程，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Python的concurrent.futures模块可以很方便的实现多进程、多线程运行，减少了多进程带来的的同步和共享数据问题。
Executor是一个抽象类，表示一个可执行的上下文。Future则代表一个将要执行的任务，并提供了一些方法来获取任务的状态和结果。ThreadPoolExecutor是Executor的一个具体实现类，它使用线程池来执行任务。

多线程

from concurrent.futures import ThreadPoolExecutor
import time# 任务函数
def task(name):print(f"任务{name}开始执行")time.sleep(2)print(f"任务{name}执行完毕")return True# 创建线程池
executor = ThreadPoolExecutor(max_workers=2)
# 提交任务
futures = []
for i in range(5):future = executor.submit(task, f"任务{i + 1}")futures.append(future)
# 等待所有任务完成
executor.shutdown()
# 打印任务结果
for future in futures:print(future.result())

首先创建线程池：ThreadPoolExecutor对象executor，
然后提交任务列表：submit到线程池返回future，加入任务列表。
设置等待所有任务完成：executor.shutdown()，
最后查看执行结果：future.result()。

多线程

这里改用了ProcessPoolExecutor线程池。

import os
import random
import time
from concurrent.futures import ProcessPoolExecutordef task(n):print('%s is runing' % os.getpid())time.sleep(random.randint(1, 3))return n ** 2if __name__ == '__main__':executor = ProcessPoolExecutor(max_workers=3)futures = []for i in range(11):future = executor.submit(task, i)futures.append(future)executor.shutdown(True)for future in futures:print(future.result())

add_done_callback设置回调函数

import os
from concurrent.futures import ProcessPoolExecutorimport requestsdef get_page(url):print('<进程%s> get %s' % (os.getpid(), url))respone = requests.get(url)if respone.status_code == 200:return {'url': url, 'text': respone.text}def parse_page(res):res = res.result()print('<进程%s> parse %s' % (os.getpid(), res['url']))parse_res = 'url:<%s> size:[%s]\n' % (res['url'], len(res['text']))with open('db.txt', 'a') as f:f.write(parse_res)if __name__ == '__main__':urls = ['https://www.baidu.com','https://www.python.org','https://www.openstack.org','https://help.github.com/','http://www.sina.com.cn/']p = ProcessPoolExecutor(3)for url in urls:p.submit(get_page, url).add_done_callback(parse_page)# parse_page拿到的是一个future对象obj，需要用obj.result()拿到结果