【python】pyarrow.parquet+pandas:读取及使用parquet文件

2024-02-16 00:04

本文主要是介绍【python】pyarrow.parquet+pandas:读取及使用parquet文件,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 一、前言
    • 1. 所需的库
    • 2. 终端指令
  • 二、pyarrow.parquet
    • 1. 读取Parquet文件
    • 2. 写入Parquet文件
    • 3. 对数据进行操作
    • 4. 导出数据为csv
  • 三、实战
    • 1. 简单读取
    • 2. 数据操作(分割feature)
    • 3. 迭代方式来处理Parquet文件
    • 4. 读取同一文件夹下多个parquet文件

  Parquet是一种用于列式存储压缩数据的文件格式,广泛应用于大数据处理和分析中。Python提供了多个库来处理Parquet文件,例如pyarrow和fastparquet。
  本文将介绍如何使用pyarrow.parquet+pandas库操作Parquet文件。

一、前言

1. 所需的库

import pyarrow.parquet as pq
import pandas as pd

  pyarrow.parquet模块,可以读取和写入Parquet文件,以及进行一系列与Parquet格式相关的操作。例如,可以使用该模块读取Parquet文件中的数据,并转换为pandas DataFrame来进行进一步的分析和处理。同时,也可以使用这个模块将DataFrame的数据保存为Parquet格式。

2. 终端指令

conda create -n DL python==3.11
conda activate DL
conda install pyarrow

pip install pyarrow

二、pyarrow.parquet

  当使用pyarrow.parquet模块时,通常的操作包括读取和写入Parquet文件,以及对Parquet文件中的数据进行操作和转换。以下是一些常见的使用方法:

1. 读取Parquet文件

import pyarrow.parquet as pqparquet_file = pq.ParquetFile('file.parquet')
data = parquet_file.read().to_pandas()
  • 使用pq.ParquetFile打开Parquet文件;
  • 使用read().to_pandas()方法将文件中的数据读取为pandas DataFrame

2. 写入Parquet文件

import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pqdf = pd.DataFrame({'col1': [1, 2, 3], 'col2': ['a', 'b', 'c']})
table = pa.Table.from_pandas(df)pq.write_table(table, 'output.parquet')
  • 将pandas DataFrame转换为Arrow的Table格式;
  • 使用pq.write_table方法将Table写入为Parquet文件。
parquet_file = pq.ParquetFile('output.parquet')
data = parquet_file.read().to_pandas()
print(data)

在这里插入图片描述

3. 对数据进行操作

import pyarrow.parquet as pq# 读取Parquet文件
parquet_file = pq.ParquetFile('output.parquet')
data = parquet_file.read().to_pandas()# 对数据进行筛选和转换
filtered_data = data[data['col1'] > 1]  # 筛选出col1大于1的行
print(filtered_data)
transformed_data = filtered_data.assign(col3=filtered_data['col1'] * 2)  # 添加一个新列col3,值为col1的两倍# 打印处理后的数据
print(transformed_data)

在这里插入图片描述

4. 导出数据为csv

import pyarrow.parquet as pq
import pandas as pdparquet_file = pq.ParquetFile('output.parquet')
data = parquet_file.read().to_pandas()df = pd.DataFrame(data)
csv_path = './data.csv'
df.to_csv(csv_path)
print(f'数据已保存到 {csv_path}')

在这里插入图片描述

三、实战

1. 简单读取

import pyarrow.parquet as pq
import pandas as pdparquet_file = pq.ParquetFile('./train_parquet/part-00014-918feee1-1ad5-4b08-8876-4364cc996930-c000.snappy.parquet')
data = parquet_file.read().to_pandas()df = pd.DataFrame(data)
csv_path = './data2.csv'
df.to_csv(csv_path)
print(f'数据已保存到 {csv_path}')

关于PyCharm调试操作可参照:PyCharm基础调试功能详解

在这里插入图片描述
点击右侧蓝色的View as DataFrame
在这里插入图片描述

  如图所示,feature在同一个格内,导出为:
在这里插入图片描述
注意看,省略号...位置真的就是省略号字符,没有数字,即

[0.27058824 0.         0.05882353 ... 0.47843137 0.36862745 0.97647059]

2. 数据操作(分割feature)

import pyarrow.parquet as pq
import pandas as pdparquet_file = pq.ParquetFile('./train_parquet/part-00014-918feee1-1ad5-4b08-8876-4364cc996930-c000.snappy.parquet')
data = parquet_file.read().to_pandas()# 将feature列中的列表拆分成单独的特征值
split_features = data['feature'].apply(lambda x: pd.Series(x))# 将拆分后的特征添加到DataFrame中
data = pd.concat([data, split_features], axis=1)
print(data.head(2))
# 删除原始的feature列
data = data.drop('feature', axis=1)# 保存到csv文件
csv_path = './data1.csv'
data.to_csv(csv_path, index=False)print(f'数据已保存到 {csv_path}')
  • 调试打开:
    在这里插入图片描述
  • excel打开:
    在这里插入图片描述
  • 文件大小对比
    在这里插入图片描述

部分内容援引自博客:使用python打开parquet文件

3. 迭代方式来处理Parquet文件

  如果Parquet文件非常大,可能会占用大量的内存。在处理大型数据时,建议使用迭代的方式来处理Parquet文件,以减少内存的占用。以下是一种更加内存友好的方式来处理Parquet文件:

import pyarrow.parquet as pq
import pandas as pd
import timestart_time = time.time()  # 记录开始时间# 使用迭代器迭代读取Parquet文件中的数据
data_iterator = pq.ParquetFile('./train_parquet/part-00014-918feee1-1ad5-4b08-8876-4364cc996930-c000.snappy.parquet').iter_batches(batch_size=100)# 初始化空的DataFrame用于存储数据
data = pd.DataFrame()# 逐批读取数据并进行处理
for batch in data_iterator:# 将RecordBatch转换为Pandas DataFramedf_batch = batch.to_pandas()# 将feature列中的列表拆分成单独的特征值split_features = df_batch['feature'].apply(lambda x: pd.Series(x))# 将拆分后的特征添加到DataFrame中df_batch = pd.concat([df_batch, split_features], axis=1)# 将处理后的数据追加到DataFrame中data = data._append(df_batch, ignore_index=True)# 删除原始的feature列
data = data.drop('feature', axis=1)# 保存到csv文件
csv_path = './data3.csv'
data.to_csv(csv_path, index=False)end_time = time.time()  # 记录结束时间
print(f'数据已保存到 {csv_path}')
print(f'总运行时间: {end_time - start_time} 秒')

输出:

数据已保存到 ./data3.csv
总运行时间: 4.251184940338135

4. 读取同一文件夹下多个parquet文件

import os
import pyarrow.parquet as pq
import pandas as pd
import timestart_time = time.time()  # 记录开始时间folder_path = './train_parquet/'
parquet_files = [f for f in os.listdir(folder_path) if f.endswith('.parquet')]# 初始化空的DataFrame用于存储数据
data = pd.DataFrame()# 逐个读取Parquet文件中的数据并进行处理
for file in parquet_files:file_path = os.path.join(folder_path, file)data_iterator = pq.ParquetFile(file_path).iter_batches(batch_size=1024)for batch in data_iterator:# 将RecordBatch转换为Pandas DataFramedf_batch = batch.to_pandas()# 将feature列中的列表拆分成单独的特征值split_features = df_batch['feature'].apply(lambda x: pd.Series(x))# 将拆分后的特征添加到DataFrame中df_batch = pd.concat([df_batch, split_features], axis=1)# 将处理后的数据追加到DataFrame中data = data._append(df_batch, ignore_index=True)# 删除原始的feature列
data = data.drop('feature', axis=1)# 保存到csv文件
csv_path = './data.csv'
data.to_csv(csv_path, index=False)end_time = time.time()  # 记录结束时间
print(f'数据已保存到 {csv_path}')
print(f'总运行时间: {end_time - start_time} 秒')

这篇关于【python】pyarrow.parquet+pandas:读取及使用parquet文件的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/712934

相关文章

Python调用Orator ORM进行数据库操作

《Python调用OratorORM进行数据库操作》OratorORM是一个功能丰富且灵活的PythonORM库,旨在简化数据库操作,它支持多种数据库并提供了简洁且直观的API,下面我们就... 目录Orator ORM 主要特点安装使用示例总结Orator ORM 是一个功能丰富且灵活的 python O

Java中String字符串使用避坑指南

《Java中String字符串使用避坑指南》Java中的String字符串是我们日常编程中用得最多的类之一,看似简单的String使用,却隐藏着不少“坑”,如果不注意,可能会导致性能问题、意外的错误容... 目录8个避坑点如下:1. 字符串的不可变性:每次修改都创建新对象2. 使用 == 比较字符串,陷阱满

Python使用国内镜像加速pip安装的方法讲解

《Python使用国内镜像加速pip安装的方法讲解》在Python开发中,pip是一个非常重要的工具,用于安装和管理Python的第三方库,然而,在国内使用pip安装依赖时,往往会因为网络问题而导致速... 目录一、pip 工具简介1. 什么是 pip?2. 什么是 -i 参数?二、国内镜像源的选择三、如何

使用C++实现链表元素的反转

《使用C++实现链表元素的反转》反转链表是链表操作中一个经典的问题,也是面试中常见的考题,本文将从思路到实现一步步地讲解如何实现链表的反转,帮助初学者理解这一操作,我们将使用C++代码演示具体实现,同... 目录问题定义思路分析代码实现带头节点的链表代码讲解其他实现方式时间和空间复杂度分析总结问题定义给定

Linux使用nload监控网络流量的方法

《Linux使用nload监控网络流量的方法》Linux中的nload命令是一个用于实时监控网络流量的工具,它提供了传入和传出流量的可视化表示,帮助用户一目了然地了解网络活动,本文给大家介绍了Linu... 目录简介安装示例用法基础用法指定网络接口限制显示特定流量类型指定刷新率设置流量速率的显示单位监控多个

JavaScript中的reduce方法执行过程、使用场景及进阶用法

《JavaScript中的reduce方法执行过程、使用场景及进阶用法》:本文主要介绍JavaScript中的reduce方法执行过程、使用场景及进阶用法的相关资料,reduce是JavaScri... 目录1. 什么是reduce2. reduce语法2.1 语法2.2 参数说明3. reduce执行过程

C#中读取XML文件的四种常用方法

《C#中读取XML文件的四种常用方法》Xml是Internet环境中跨平台的,依赖于内容的技术,是当前处理结构化文档信息的有力工具,下面我们就来看看C#中读取XML文件的方法都有哪些吧... 目录XML简介格式C#读取XML文件方法使用XmlDocument使用XmlTextReader/XmlTextWr

如何使用Java实现请求deepseek

《如何使用Java实现请求deepseek》这篇文章主要为大家详细介绍了如何使用Java实现请求deepseek功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1.deepseek的api创建2.Java实现请求deepseek2.1 pom文件2.2 json转化文件2.2

python使用fastapi实现多语言国际化的操作指南

《python使用fastapi实现多语言国际化的操作指南》本文介绍了使用Python和FastAPI实现多语言国际化的操作指南,包括多语言架构技术栈、翻译管理、前端本地化、语言切换机制以及常见陷阱和... 目录多语言国际化实现指南项目多语言架构技术栈目录结构翻译工作流1. 翻译数据存储2. 翻译生成脚本

C++ Primer 多维数组的使用

《C++Primer多维数组的使用》本文主要介绍了多维数组在C++语言中的定义、初始化、下标引用以及使用范围for语句处理多维数组的方法,具有一定的参考价值,感兴趣的可以了解一下... 目录多维数组多维数组的初始化多维数组的下标引用使用范围for语句处理多维数组指针和多维数组多维数组严格来说,C++语言没