Pandas之DataFrame操作

2024-08-26 17:32
文章标签 操作 pandas dataframe

本文主要是介绍Pandas之DataFrame操作,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Pandas是Python下一个开源数据分析的库,它提供的数据结构DataFrame极大的简化了数据分析过程中一些繁琐操作。 1. 基本使用:创建DataFrame. DataFrame是一张二维的表,大家可以把它想象成一张Excel表单或者Sql表。Excel 2007及其以后的版本的最大行数是1048576,最大列数是16384,超过这个规模的数据Excel就会弹出个框框“此文本包含多行文本,无法放置在一个工作表中”。Pandas处理上千万的数据是易如反掌的sh事情,同时随后我们也将看到它比SQL有更强的表达能力,可以做很多复杂的操作,要写的code也更少。 说了一大堆它的好处,要实际感触还得动手码代码。首要的任务就是创建一个DataFrame,它有几种创建方式:

  • 列表,序列(pandas.Series), numpy.ndarray的字典
  • 二维numpy.ndarray
  • 别的DataFrame
  • 结构化的记录(structured arrays)

其中,我最喜欢的是通过二维ndarray创建DataFrame,因为代码敲得最少:

1
2
3
4
5
6
7
8
import  pandas as pd
import  numpy as np
df = pd.DataFrame(np.random.randn( 3 , 4 ))
df
0 1 2 3
0 0.236175 - 0.394792 - 0.171866 0.304012
1 0.651926 0.989046 0.160389 0.482936
2 - 1.039824 0.401105 - 0.492714 - 1.220438

当然你还可以参考我的这篇文章从mysql数据库或者csv文件中载入数据到dataframe。
dataframe中index用来标识行,column标识列,shape表示维度。


1

2

3

4

5

6
# 获得行索引信息
df.index
# 获得列索引信息
df.columns
# 获得df的size
df.shape
# 获得df的行数
df.shape[0]
# 获得df的 列数
df.shape[1]
# 获得df中的值
df.values

通过describe方法,我们可以对df中的数据有个大概的了解:

1
2
3
4
5
6
7
8
9
10
df.describe()
0 1 2 3
count 3.000000 3.000000 3.000000 3.000000
mean - 0.050574 0.331786 - 0.168064 - 0.144496
std 0.881574 0.694518 0.326568 0.936077
min - 1.039824 - 0.394792 - 0.492714 - 1.220438
25 % - 0.401824 0.003156 - 0.332290 - 0.458213
50 % 0.236175 0.401105 - 0.171866 0.304012
75 % 0.444051 0.695076 - 0.005739 0.393474
max 0.651926 0.989046 0.160389 0.482936

2. 数据select, del, update。

按照列名select:

1
2
3
4
5
df[ 0 ]
0 0.236175
1 0.651926
2 - 1.039824

按照行数select:

1
df[: 3 ] #选取前3行

按照索引select:

1
2
3
4
5
6
df.loc[ 0 ]
0 0.236175
1 - 0.394792
2 - 0.171866
3 0.304012

按照行数和列数select:

1
2
3
4
5
df.iloc[ 3 ] #选取第3行
df.iloc[ 2 : 4 ] #选取第2到第3行
df.iloc[ 0 , 1 ] #选取第0行1列的元素
dat.iloc[: 2 , : 3 ] #选取第0行到第1行,第0列到第2列区域内的元素
df1.iloc[[1,3,5],[1,3]] #选取第1,3,5行,第1,3列区域内的元素

删除某列:

1
2
3
4
5
6
del df[0]
df
1 2 3
0 - 0.394792 - 0.171866 0.304012
1 0.989046 0.160389 0.482936
2 0.401105 - 0.492714 - 1.220438

删除某行:

1
2
3
4
5
df.drop(0)
1 2 3
1 0.989046 0.160389 0.482936
2 0.401105 - 0.492714 - 1.220438

3.运算。

基本运算:

1
2
3
4
5
6
df[ 4 ] = df[ 1 ] + df[ 2 ]
1 2 3 4
0 - 0.394792 - 0.171866 0.304012 - 0.566659
1 0.989046 0.160389 0.482936 1.149435
2 0.401105 - 0.492714 - 1.220438 - 0.091609

map运算,和python中的map有些类似:

1
2
3
4
df[ 4 ]. map ( int )
0 0
1 1
2 0

apply运算:

1
2
3
4
5
6
df. apply ( sum )
1 0.995359
2 - 0.504192
3 - 0.433489
4 0.491167

4. Group by 操作。
pandas中的group by 操作是我的最爱,不用把数据导入excel或者mysql就可以进行灵活的group by 操作,简化了分析过程。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
df[ 0 ] = [ 'A' , 'A' , 'B' ]
df
1 2 3 4 0
0 - 0.394792 - 0.171866 0.304012 - 0.566659 A
1 0.989046 0.160389 0.482936 1.149435 A
2 0.401105 - 0.492714 - 1.220438 - 0.091609 B
g = df.groupby([ 0 ])
g.size()
A 2
B 1
g. sum ()
1 2 3 4
0
A 0.594254 - 0.011478 0.786948 0.582776
B 0.401105 - 0.492714 - 1.220438 - 0.091609

5. 导出到csv文件
dataframe可以使用to_csv方法方便地导出到csv文件中,如果数据中含有中文,一般encoding指定为”utf-8″,否则导出时程序会因为不能识别相应的字符串而抛出异常,index指定为False表示不用导出dataframe的index数据。

1
2
df.to_csv(file_path, encoding='utf-8', index=False)
df.to_csv(file_path, index=False)

本文出自 杂七杂八,转载时请注明出处及相应链接。

本文永久链接: http://www.dcharm.com/?p=13


这篇关于Pandas之DataFrame操作的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1109219

相关文章

Python正则表达式匹配和替换的操作指南

《Python正则表达式匹配和替换的操作指南》正则表达式是处理文本的强大工具,Python通过re模块提供了完整的正则表达式功能,本文将通过代码示例详细介绍Python中的正则匹配和替换操作,需要的朋... 目录基础语法导入re模块基本元字符常用匹配方法1. re.match() - 从字符串开头匹配2.

Java实现在Word文档中添加文本水印和图片水印的操作指南

《Java实现在Word文档中添加文本水印和图片水印的操作指南》在当今数字时代,文档的自动化处理与安全防护变得尤为重要,无论是为了保护版权、推广品牌,还是为了在文档中加入特定的标识,为Word文档添加... 目录引言Spire.Doc for Java:高效Word文档处理的利器代码实战:使用Java为Wo

sysmain服务可以禁用吗? 电脑sysmain服务关闭后的影响与操作指南

《sysmain服务可以禁用吗?电脑sysmain服务关闭后的影响与操作指南》在Windows系统中,SysMain服务(原名Superfetch)作为一个旨在提升系统性能的关键组件,一直备受用户关... 在使用 Windows 系统时,有时候真有点像在「开盲盒」。全新安装系统后的「默认设置」,往往并不尽编

Python自动化处理PDF文档的操作完整指南

《Python自动化处理PDF文档的操作完整指南》在办公自动化中,PDF文档处理是一项常见需求,本文将介绍如何使用Python实现PDF文档的自动化处理,感兴趣的小伙伴可以跟随小编一起学习一下... 目录使用pymupdf读写PDF文件基本概念安装pymupdf提取文本内容提取图像添加水印使用pdfplum

Python从Word文档中提取图片并生成PPT的操作代码

《Python从Word文档中提取图片并生成PPT的操作代码》在日常办公场景中,我们经常需要从Word文档中提取图片,并将这些图片整理到PowerPoint幻灯片中,手动完成这一任务既耗时又容易出错,... 目录引言背景与需求解决方案概述代码解析代码核心逻辑说明总结引言在日常办公场景中,我们经常需要从 W

使用Python的requests库来发送HTTP请求的操作指南

《使用Python的requests库来发送HTTP请求的操作指南》使用Python的requests库发送HTTP请求是非常简单和直观的,requests库提供了丰富的API,可以发送各种类型的HT... 目录前言1. 安装 requests 库2. 发送 GET 请求3. 发送 POST 请求4. 发送

Python使用python-pptx自动化操作和生成PPT

《Python使用python-pptx自动化操作和生成PPT》这篇文章主要为大家详细介绍了如何使用python-pptx库实现PPT自动化,并提供实用的代码示例和应用场景,感兴趣的小伙伴可以跟随小编... 目录使用python-pptx操作PPT文档安装python-pptx基础概念创建新的PPT文档查看

MySQL 数据库表操作完全指南:创建、读取、更新与删除实战

《MySQL数据库表操作完全指南:创建、读取、更新与删除实战》本文系统讲解MySQL表的增删查改(CURD)操作,涵盖创建、更新、查询、删除及插入查询结果,也是贯穿各类项目开发全流程的基础数据交互原... 目录mysql系列前言一、Create(创建)并插入数据1.1 单行数据 + 全列插入1.2 多行数据

MySQL 临时表与复制表操作全流程案例

《MySQL临时表与复制表操作全流程案例》本文介绍MySQL临时表与复制表的区别与使用,涵盖生命周期、存储机制、操作限制、创建方法及常见问题,本文结合实例代码给大家介绍的非常详细,感兴趣的朋友跟随小... 目录一、mysql 临时表(一)核心特性拓展(二)操作全流程案例1. 复杂查询中的临时表应用2. 临时

MySQL 数据库表与查询操作实战案例

《MySQL数据库表与查询操作实战案例》本文将通过实际案例,详细介绍MySQL中数据库表的设计、数据插入以及常用的查询操作,帮助初学者快速上手,感兴趣的朋友跟随小编一起看看吧... 目录mysql 数据库表操作与查询实战案例项目一:产品相关数据库设计与创建一、数据库及表结构设计二、数据库与表的创建项目二:员