3行代码实现 Python 并行处理,速度提高6倍!

2024-06-17 16:08

本文主要是介绍3行代码实现 Python 并行处理,速度提高6倍!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

来源 | towardsdatascience.com

编译 | 数说君

出品 | 数说工作室

原标题:Here’s how you can get a 2–6x speed-up on your data pre-processing with Python

最近在 Towards Data Science 上看到一篇文章,如何用 Python 进行并行处理,觉得非常有帮助,因此介绍给大家,用我的风格对文章做了编译。


数据的预处理,是机器学习非常重要的一环。尽管 Python 提供了很多让人欲罢不能的库,但数据量一大,就不是那么回事了。

面对着海量的数据,再狂拽炫酷的计算都苍白无力,每一个简单的计算都要不断告诉自己:

Python,你算的累不累,

饿不饿?

渴不渴?

会不会让我等待太久,

是否可以快一点。

一方面是低效率,另一方面呢,却是电脑资源的闲置,给你们算笔账:

现在我们做机器学习的个人电脑,大部分都是双CPU核的,有的是4核甚至6核(intel i7)。而 Python 默认情况下是用单核进行做数据处理,这就意味着,Python 处理数据时,电脑有50%的处理能力被闲置了!

还好,Python 有一个隐藏 “皮肤”,可以对核资源的利用率进行加成!这个隐藏“皮肤” 就是 concurrent.futures 模块,能够帮助我们充分利用所有CPU内核。

下面就举个例子进行说明:

在图像处理领域,我们有时候要处理海量的图像数据,比如几百万张照片进行尺寸统一化调整,然后扔到神经网络中进行训练。这时候 concurrent.futures 模块可以帮我们缩短数倍的时间。

为了便于比较,这里拿1000张照片做例子,我们需要:把这1000张照片统一调整成 600x600 的尺寸:

(1)一般的方法

上面是最常见的数据处理方法:

① 准备好要处理的原始文件,比如几百万个txt、jpg等;

② 用for循环一个一个的处理,每一个循环里面运行一次预处理,这里的预处理就是 imread() 和 resize(),即读入每一张图片,重新调整一下大小。

1000张照片的话,大概要花费多久呢?我们来跑一下时间:

time python standard_res_conversion.py

在作者的 i7-8700k 6核CPU处理器上,一共大概7.9864秒。才1000张照片,花了将近8秒,你可以闭上眼感受一下,互联网有一个「八秒定律」,即指用户访问一个网站时,如果等待网页打开的时间超过8秒,会有超过70%的用户放弃等待。

(2)快的方法

concurrent.futures 模块能够利用并行处理来帮我们加速,什么是并行处理,举个例子:

假设我们要把1000个钉子钉入一块木头里,钉一次要1秒,那么1000次就要1000秒。 但假如我们让4个人同时来钉,分摊成4个人,最快只要250秒。这就是并行处理

这1000张照片,也可以分成多个进程来处理。用 concurrent.futures 库只要多3行代码:

代码中,首先把具体的处理过程打包成函数 load_and_resize(),然后用框出来的3行代码,即可实现多线程处理:

with concurrent.futures.ProcessPoolExecutor() as executor:

这句意味着你有多少CPU核心,就启动多少Python进程,这里作者的电脑是6个核,就同时启动6个项。

image_files = glob.glob(".*jpg")

读入原始数据。

executor.map(load_and_resize, image_file)

这个是实际的处理语句,第一个参数是处理函数,第二个参数是原始数据。这个语句意味着,用6个进程,来并行对 image_file 文件进行 load_and_resize 处理。

再跑一下时间:

time python fast_res_conversion.py

这次只需要1.14265秒,快了几乎6倍!

(3)例外情况

由于并行的处理是没有顺序的,因此如果你需要的结果是按照特定顺序排列的,那么这种方法不是很适用。

另外就是数据类型必须要是Python能够去pickle的,比如:

  • None, True, 及 False
  • 整数,浮点数,复数
  • 字符串,字节,字节数组
  • 仅包含可选对象的元组,列表,集合和词典
  • 在模块的顶层定义的函数(用 def 定义,而不是lambda)
  • 在模块顶层定义的内置函数
  • 在模块顶层定义的类
  • 类的实例,这些类的__dict__或调用__getstate __()的结果是可选择的

这篇关于3行代码实现 Python 并行处理,速度提高6倍!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1069914

相关文章

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别: 当你在一个模块(文件)中使用 global 声明变量时,这个变量只在该模块的全局命名空

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

活用c4d官方开发文档查询代码

当你问AI助手比如豆包,如何用python禁止掉xpresso标签时候,它会提示到 这时候要用到两个东西。https://developers.maxon.net/论坛搜索和开发文档 比如这里我就在官方找到正确的id描述 然后我就把参数标签换过来

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现,因为rasa本身是带有remindschedule模块的。不过经过一番折腾后,忽然发现,chatbot上实现的定时,语音助手不一定会有响应。因为,我目前语音助手的代码设置了长时间无应答会结束对话,这样一来,chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢? 我最后选择的方法是用threading.Time

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal

Android实现任意版本设置默认的锁屏壁纸和桌面壁纸(两张壁纸可不一致)

客户有些需求需要设置默认壁纸和锁屏壁纸  在默认情况下 这两个壁纸是相同的  如果需要默认的锁屏壁纸和桌面壁纸不一样 需要额外修改 Android13实现 替换默认桌面壁纸: 将图片文件替换frameworks/base/core/res/res/drawable-nodpi/default_wallpaper.*  (注意不能是bmp格式) 替换默认锁屏壁纸: 将图片资源放入vendo

C#实战|大乐透选号器[6]:实现实时显示已选择的红蓝球数量

哈喽,你好啊,我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记,这是第6篇; 接下来实现实时显示当前选中红球数量,蓝球数量; 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时,在对应的位置显示实时已选择的红球、蓝球的数量; 02 标签名称 分别设置Label标签名称为:lblRedCount、lblBlueCount

poj 1258 Agri-Net(最小生成树模板代码)

感觉用这题来当模板更适合。 题意就是给你邻接矩阵求最小生成树啦。~ prim代码:效率很高。172k...0ms。 #include<stdio.h>#include<algorithm>using namespace std;const int MaxN = 101;const int INF = 0x3f3f3f3f;int g[MaxN][MaxN];int n