用它做Python并行数据分析,隔壁程序猿都馋哭了

2023-12-29 06:32

本文主要是介绍用它做Python并行数据分析,隔壁程序猿都馋哭了,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

有时候你在做 Python 数据分析的时候,可能会出现这么个情况:用 Pandas 打开一个超大型数据集,想得到一些度量(metrics),然后就尴尬地卡住了。

大家都知道,如果你处理大数据,手里用的是 Pandas,有时要等上一小时才能得到一个 Series 的平均值,甚至都还没调用 apply 函数。这还只是几百万行啊,如果是几十亿行,那最好还是用 Spark 之类的高级工具吧。

更多Python视频、源码、资料加群683380553免费获取

那么就没有好办法了吗?有的,就有这么一个工具,能够加速 Python 数据分析,既不需要你使用配置更高的硬件设施,也不必切换编程语言。当然,如果你的数据集超级超级大,它的最终作用也会有限,但比普通的 Python 扩展工具好多了。特别是如果你不用做大量的重建索引,那么这个工具非常适合你。

用它做Python并行数据分析,隔壁程序猿都馋哭了

 

这个工具叫 Dask,数据科学家 Luciano Strika 专门试用了这个工具,并做了测试,发现 Dask 在做并行数据分析时,比常规 Pandas 快出许多倍。

什么是Dask?

Dask 是一个开源项目,能提供 NumPy Arrays,Pandas Dataframes 和常规列表的抽象,允许你使用多核处理并行运行它们。

下面这段直接摘自教程:

Dask 提供模仿了 NumPy,列表和 Pandas 的高级 Array,Bag 以及 DataFrame 集合,但能够在无法放入主内存的数据集上并行运行。对大型数据集来说,Dask 的高级集合是 NumPy 和 Pandas 的替代方案。

听起来真不错!于是我(作者Luciano Strika)决定亲自试试 Dask Dataframes,并对它们进行了几个基准测试。

阅读文档

我首先阅读了官方文档,看看建议我们使用 Dask 做哪些工作。以下是官方文档(docs.dask.org/en/latest)中的相关部分:

  • 操纵大型数据集,即使这些数据集无法放入内存
  • 使用许多核来加速长计算
  • 使用标准Pandas操作(如 groupby,join 和时间序列计算)对大型数据集进行分布式计算

然后在下面,它列出了一些如果使用 Dask Dataframes 会快速完成的事情:

  • 算术运算(乘以或添加到Series)
  • 常见聚合(平均值,最小值,最大值,求和等)
  • 调用 apply(只要它在索引中,也就是说,不是在 groupby('y')之后'y'不是索引)
  • 调用 value_counts(),drop_duplicates()或corr()
  • 使用 loc,isin 和行式选择进行过滤

用它做Python并行数据分析,隔壁程序猿都馋哭了

 

如何使用 Dask Dataframes

Dask Dataframes 与 Pandas Dataframes 具有相同的 API,只是聚合和 apply 函数延迟执行,并且需要通过调用 compute 方法来计算。要想生成 Dask Dataframe,可以像在 Pandas 中一样调用 read_csv 方法,或者,如果给出 Pandas Dataframe df,只需调用

dd = ddf.from_pandas(df, npartitions=N)

其中 ddf 是你导入 Dask Dataframes 的名称,而 npartitions 是一个参数,告诉 Dataframe 如何对其进行分区。

根据 StackOverflow 上的说法,建议将 Dataframe 划分为与计算机核数数量相同的分区,或者是该数量的几倍,因为每个分区将在不同的线程上运行。如果分区过多,它们之间的通信代价会高很多。

动手吧:做点基准测试

我写了一个 Jupyter notebook 试用这个框架,在 GitHub 上能看到,可以自己运行一下:github.com/StrikingLoo/

我运行的基准测试可以在 Github 上的 Jupyter notebook 中找到,主要有以下要点:

用它做Python并行数据分析,隔壁程序猿都馋哭了

 

这里df3是一个常规的 Pandas Dataframe,拥有 2500 万行,使用这段脚本生成,其中列是名称,姓氏和薪水,从列表中随机抽样。我用了一个有 50 行的数据集并连接了 500000 次,因为我对分析本身并不太感兴趣,但运行它时才会。

dfn 就是基于 df3 的 Dask Dataframe。

第一批结果:不太乐观

我首先尝试使用 3 个分区进行测试,因为我的电脑只有 4 个内核,不想过度使用它。这次使用 Dask 的结果非常差,而且还要等很久才能得到结果,不过我怀疑这可能是分区过少的原因:

用它做Python并行数据分析,隔壁程序猿都馋哭了

 

可以看到在我使用 Dask 时大多数操作变慢了很多。这给了我一些启示,可能必须使用更多分区才行。产生延迟计算所花的成本也可以忽略不计(在某些情况下不到半秒),所以如果重复使用它,成本不会随着时间推移而摊销。

我还用 apply 方法尝试了这个测试:

用它做Python并行数据分析,隔壁程序猿都馋哭了

 

并有非常相似的结果:

用它做Python并行数据分析,隔壁程序猿都馋哭了

 

因此,一般来说,大多数操作的速度都是初始操作的两倍,尽管过滤器的速度要快得多。我觉得或许应该在上面调用 compute,所以对这个结果持保留态度。

更多分区:加速惊人

得到前面这些不尽人意的结果之后,我决定我可能只是没有使用足够的分区。毕竟,整件事情的重点是并行运行,所以或许我只需进一步并行化?所以我尝试了 8 个分区的相同测试,得到了如下结果(省略了非并行数据帧的结果,因为它们基本相同):

用它做Python并行数据分析,隔壁程序猿都馋哭了

 

这就对了!大多数操作的运行速度比常规 Dataframe 快十倍,甚至 apply 的运行速度也更快了!我还运行了 value_count 测试,它只调用“薪水”Series 上的 value_count 方法。对于上下文,在我足足等 10 分钟后在常规 Dataframe 上运行此测试时,必须终止该过程。这次只用了 50 秒!

所以之前都没用对工具,它的速度可比常规 Dataframe 快多了。

最后再说一点

鉴于我是在一台相当旧的 4 核 PC 上运行了 2500 万行数据,所以是相当了不起的。所以我的建议是,下回你必须在本地或从单个 AWS 实例上理数据集时,一定要试试 Dask 这个框架。运行速度简直不要太快。

这篇关于用它做Python并行数据分析,隔壁程序猿都馋哭了的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/548630

相关文章

python处理带有时区的日期和时间数据

《python处理带有时区的日期和时间数据》这篇文章主要为大家详细介绍了如何在Python中使用pytz库处理时区信息,包括获取当前UTC时间,转换为特定时区等,有需要的小伙伴可以参考一下... 目录时区基本信息python datetime使用timezonepandas处理时区数据知识延展时区基本信息

Python位移操作和位运算的实现示例

《Python位移操作和位运算的实现示例》本文主要介绍了Python位移操作和位运算的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录1. 位移操作1.1 左移操作 (<<)1.2 右移操作 (>>)注意事项:2. 位运算2.1

使用Python和Pyecharts创建交互式地图

《使用Python和Pyecharts创建交互式地图》在数据可视化领域,创建交互式地图是一种强大的方式,可以使受众能够以引人入胜且信息丰富的方式探索地理数据,下面我们看看如何使用Python和Pyec... 目录简介Pyecharts 简介创建上海地图代码说明运行结果总结简介在数据可视化领域,创建交互式地

利用python实现对excel文件进行加密

《利用python实现对excel文件进行加密》由于文件内容的私密性,需要对Excel文件进行加密,保护文件以免给第三方看到,本文将以Python语言为例,和大家讲讲如何对Excel文件进行加密,感兴... 目录前言方法一:使用pywin32库(仅限Windows)方法二:使用msoffcrypto-too

使用Python实现矢量路径的压缩、解压与可视化

《使用Python实现矢量路径的压缩、解压与可视化》在图形设计和Web开发中,矢量路径数据的高效存储与传输至关重要,本文将通过一个Python示例,展示如何将复杂的矢量路径命令序列压缩为JSON格式,... 目录引言核心功能概述1. 路径命令解析2. 路径数据压缩3. 路径数据解压4. 可视化代码实现详解1

python获取网页表格的多种方法汇总

《python获取网页表格的多种方法汇总》我们在网页上看到很多的表格,如果要获取里面的数据或者转化成其他格式,就需要将表格获取下来并进行整理,在Python中,获取网页表格的方法有多种,下面就跟随小编... 目录1. 使用Pandas的read_html2. 使用BeautifulSoup和pandas3.

Python装饰器之类装饰器详解

《Python装饰器之类装饰器详解》本文将详细介绍Python中类装饰器的概念、使用方法以及应用场景,并通过一个综合详细的例子展示如何使用类装饰器,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录1. 引言2. 装饰器的基本概念2.1. 函数装饰器复习2.2 类装饰器的定义和使用3. 类装饰

Python 交互式可视化的利器Bokeh的使用

《Python交互式可视化的利器Bokeh的使用》Bokeh是一个专注于Web端交互式数据可视化的Python库,本文主要介绍了Python交互式可视化的利器Bokeh的使用,具有一定的参考价值,感... 目录1. Bokeh 简介1.1 为什么选择 Bokeh1.2 安装与环境配置2. Bokeh 基础2

如何使用 Python 读取 Excel 数据

《如何使用Python读取Excel数据》:本文主要介绍使用Python读取Excel数据的详细教程,通过pandas和openpyxl,你可以轻松读取Excel文件,并进行各种数据处理操... 目录使用 python 读取 Excel 数据的详细教程1. 安装必要的依赖2. 读取 Excel 文件3. 读

Python的time模块一些常用功能(各种与时间相关的函数)

《Python的time模块一些常用功能(各种与时间相关的函数)》Python的time模块提供了各种与时间相关的函数,包括获取当前时间、处理时间间隔、执行时间测量等,:本文主要介绍Python的... 目录1. 获取当前时间2. 时间格式化3. 延时执行4. 时间戳运算5. 计算代码执行时间6. 转换为指