【python】pyarrow.parquet+pandas:读取及使用parquet文件

2024-02-16 00:04

本文主要是介绍【python】pyarrow.parquet+pandas:读取及使用parquet文件,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 一、前言
    • 1. 所需的库
    • 2. 终端指令
  • 二、pyarrow.parquet
    • 1. 读取Parquet文件
    • 2. 写入Parquet文件
    • 3. 对数据进行操作
    • 4. 导出数据为csv
  • 三、实战
    • 1. 简单读取
    • 2. 数据操作(分割feature)
    • 3. 迭代方式来处理Parquet文件
    • 4. 读取同一文件夹下多个parquet文件

  Parquet是一种用于列式存储压缩数据的文件格式,广泛应用于大数据处理和分析中。Python提供了多个库来处理Parquet文件,例如pyarrow和fastparquet。
  本文将介绍如何使用pyarrow.parquet+pandas库操作Parquet文件。

一、前言

1. 所需的库

import pyarrow.parquet as pq
import pandas as pd

  pyarrow.parquet模块,可以读取和写入Parquet文件,以及进行一系列与Parquet格式相关的操作。例如,可以使用该模块读取Parquet文件中的数据,并转换为pandas DataFrame来进行进一步的分析和处理。同时,也可以使用这个模块将DataFrame的数据保存为Parquet格式。

2. 终端指令

conda create -n DL python==3.11
conda activate DL
conda install pyarrow

pip install pyarrow

二、pyarrow.parquet

  当使用pyarrow.parquet模块时,通常的操作包括读取和写入Parquet文件,以及对Parquet文件中的数据进行操作和转换。以下是一些常见的使用方法:

1. 读取Parquet文件

import pyarrow.parquet as pqparquet_file = pq.ParquetFile('file.parquet')
data = parquet_file.read().to_pandas()
  • 使用pq.ParquetFile打开Parquet文件;
  • 使用read().to_pandas()方法将文件中的数据读取为pandas DataFrame

2. 写入Parquet文件

import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pqdf = pd.DataFrame({'col1': [1, 2, 3], 'col2': ['a', 'b', 'c']})
table = pa.Table.from_pandas(df)pq.write_table(table, 'output.parquet')
  • 将pandas DataFrame转换为Arrow的Table格式;
  • 使用pq.write_table方法将Table写入为Parquet文件。
parquet_file = pq.ParquetFile('output.parquet')
data = parquet_file.read().to_pandas()
print(data)

在这里插入图片描述

3. 对数据进行操作

import pyarrow.parquet as pq# 读取Parquet文件
parquet_file = pq.ParquetFile('output.parquet')
data = parquet_file.read().to_pandas()# 对数据进行筛选和转换
filtered_data = data[data['col1'] > 1]  # 筛选出col1大于1的行
print(filtered_data)
transformed_data = filtered_data.assign(col3=filtered_data['col1'] * 2)  # 添加一个新列col3,值为col1的两倍# 打印处理后的数据
print(transformed_data)

在这里插入图片描述

4. 导出数据为csv

import pyarrow.parquet as pq
import pandas as pdparquet_file = pq.ParquetFile('output.parquet')
data = parquet_file.read().to_pandas()df = pd.DataFrame(data)
csv_path = './data.csv'
df.to_csv(csv_path)
print(f'数据已保存到 {csv_path}')

在这里插入图片描述

三、实战

1. 简单读取

import pyarrow.parquet as pq
import pandas as pdparquet_file = pq.ParquetFile('./train_parquet/part-00014-918feee1-1ad5-4b08-8876-4364cc996930-c000.snappy.parquet')
data = parquet_file.read().to_pandas()df = pd.DataFrame(data)
csv_path = './data2.csv'
df.to_csv(csv_path)
print(f'数据已保存到 {csv_path}')

关于PyCharm调试操作可参照:PyCharm基础调试功能详解

在这里插入图片描述
点击右侧蓝色的View as DataFrame
在这里插入图片描述

  如图所示,feature在同一个格内,导出为:
在这里插入图片描述
注意看,省略号...位置真的就是省略号字符,没有数字,即

[0.27058824 0.         0.05882353 ... 0.47843137 0.36862745 0.97647059]

2. 数据操作(分割feature)

import pyarrow.parquet as pq
import pandas as pdparquet_file = pq.ParquetFile('./train_parquet/part-00014-918feee1-1ad5-4b08-8876-4364cc996930-c000.snappy.parquet')
data = parquet_file.read().to_pandas()# 将feature列中的列表拆分成单独的特征值
split_features = data['feature'].apply(lambda x: pd.Series(x))# 将拆分后的特征添加到DataFrame中
data = pd.concat([data, split_features], axis=1)
print(data.head(2))
# 删除原始的feature列
data = data.drop('feature', axis=1)# 保存到csv文件
csv_path = './data1.csv'
data.to_csv(csv_path, index=False)print(f'数据已保存到 {csv_path}')
  • 调试打开:
    在这里插入图片描述
  • excel打开:
    在这里插入图片描述
  • 文件大小对比
    在这里插入图片描述

部分内容援引自博客:使用python打开parquet文件

3. 迭代方式来处理Parquet文件

  如果Parquet文件非常大,可能会占用大量的内存。在处理大型数据时,建议使用迭代的方式来处理Parquet文件,以减少内存的占用。以下是一种更加内存友好的方式来处理Parquet文件:

import pyarrow.parquet as pq
import pandas as pd
import timestart_time = time.time()  # 记录开始时间# 使用迭代器迭代读取Parquet文件中的数据
data_iterator = pq.ParquetFile('./train_parquet/part-00014-918feee1-1ad5-4b08-8876-4364cc996930-c000.snappy.parquet').iter_batches(batch_size=100)# 初始化空的DataFrame用于存储数据
data = pd.DataFrame()# 逐批读取数据并进行处理
for batch in data_iterator:# 将RecordBatch转换为Pandas DataFramedf_batch = batch.to_pandas()# 将feature列中的列表拆分成单独的特征值split_features = df_batch['feature'].apply(lambda x: pd.Series(x))# 将拆分后的特征添加到DataFrame中df_batch = pd.concat([df_batch, split_features], axis=1)# 将处理后的数据追加到DataFrame中data = data._append(df_batch, ignore_index=True)# 删除原始的feature列
data = data.drop('feature', axis=1)# 保存到csv文件
csv_path = './data3.csv'
data.to_csv(csv_path, index=False)end_time = time.time()  # 记录结束时间
print(f'数据已保存到 {csv_path}')
print(f'总运行时间: {end_time - start_time} 秒')

输出:

数据已保存到 ./data3.csv
总运行时间: 4.251184940338135

4. 读取同一文件夹下多个parquet文件

import os
import pyarrow.parquet as pq
import pandas as pd
import timestart_time = time.time()  # 记录开始时间folder_path = './train_parquet/'
parquet_files = [f for f in os.listdir(folder_path) if f.endswith('.parquet')]# 初始化空的DataFrame用于存储数据
data = pd.DataFrame()# 逐个读取Parquet文件中的数据并进行处理
for file in parquet_files:file_path = os.path.join(folder_path, file)data_iterator = pq.ParquetFile(file_path).iter_batches(batch_size=1024)for batch in data_iterator:# 将RecordBatch转换为Pandas DataFramedf_batch = batch.to_pandas()# 将feature列中的列表拆分成单独的特征值split_features = df_batch['feature'].apply(lambda x: pd.Series(x))# 将拆分后的特征添加到DataFrame中df_batch = pd.concat([df_batch, split_features], axis=1)# 将处理后的数据追加到DataFrame中data = data._append(df_batch, ignore_index=True)# 删除原始的feature列
data = data.drop('feature', axis=1)# 保存到csv文件
csv_path = './data.csv'
data.to_csv(csv_path, index=False)end_time = time.time()  # 记录结束时间
print(f'数据已保存到 {csv_path}')
print(f'总运行时间: {end_time - start_time} 秒')

这篇关于【python】pyarrow.parquet+pandas:读取及使用parquet文件的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/712934

相关文章

使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)

《使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)》PPT是一种高效的信息展示工具,广泛应用于教育、商务和设计等多个领域,PPT文档中常常包含丰富的图片内容,这些图片不仅提升了... 目录一、引言二、环境与工具三、python 提取PPT背景图片3.1 提取幻灯片背景图片3.2 提取

Python实现图片分割的多种方法总结

《Python实现图片分割的多种方法总结》图片分割是图像处理中的一个重要任务,它的目标是将图像划分为多个区域或者对象,本文为大家整理了一些常用的分割方法,大家可以根据需求自行选择... 目录1. 基于传统图像处理的分割方法(1) 使用固定阈值分割图片(2) 自适应阈值分割(3) 使用图像边缘检测分割(4)

一文带你搞懂Python中__init__.py到底是什么

《一文带你搞懂Python中__init__.py到底是什么》朋友们,今天我们来聊聊Python里一个低调却至关重要的文件——__init__.py,有些人可能听说过它是“包的标志”,也有人觉得它“没... 目录先搞懂 python 模块(module)Python 包(package)是啥?那么 __in

使用Python实现图像LBP特征提取的操作方法

《使用Python实现图像LBP特征提取的操作方法》LBP特征叫做局部二值模式,常用于纹理特征提取,并在纹理分类中具有较强的区分能力,本文给大家介绍了如何使用Python实现图像LBP特征提取的操作方... 目录一、LBP特征介绍二、LBP特征描述三、一些改进版本的LBP1.圆形LBP算子2.旋转不变的LB

Maven的使用和配置国内源的保姆级教程

《Maven的使用和配置国内源的保姆级教程》Maven是⼀个项目管理工具,基于POM(ProjectObjectModel,项目对象模型)的概念,Maven可以通过一小段描述信息来管理项目的构建,报告... 目录1. 什么是Maven?2.创建⼀个Maven项目3.Maven 核心功能4.使用Maven H

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认

SpringBoot使用GZIP压缩反回数据问题

《SpringBoot使用GZIP压缩反回数据问题》:本文主要介绍SpringBoot使用GZIP压缩反回数据问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot使用GZIP压缩反回数据1、初识gzip2、gzip是什么,可以干什么?3、Spr

Python实现特殊字符判断并去掉非字母和数字的特殊字符

《Python实现特殊字符判断并去掉非字母和数字的特殊字符》在Python中,可以通过多种方法来判断字符串中是否包含非字母、数字的特殊字符,并将这些特殊字符去掉,本文为大家整理了一些常用的,希望对大家... 目录1. 使用正则表达式判断字符串中是否包含特殊字符去掉字符串中的特殊字符2. 使用 str.isa

Spring Boot 集成 Quartz并使用Cron 表达式实现定时任务

《SpringBoot集成Quartz并使用Cron表达式实现定时任务》本篇文章介绍了如何在SpringBoot中集成Quartz进行定时任务调度,并通过Cron表达式控制任务... 目录前言1. 添加 Quartz 依赖2. 创建 Quartz 任务3. 配置 Quartz 任务调度4. 启动 Sprin

Linux下如何使用C++获取硬件信息

《Linux下如何使用C++获取硬件信息》这篇文章主要为大家详细介绍了如何使用C++实现获取CPU,主板,磁盘,BIOS信息等硬件信息,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录方法获取CPU信息:读取"/proc/cpuinfo"文件获取磁盘信息:读取"/proc/diskstats"文