【python数据分析基础】—pandas透视表和交叉表

2024-05-08 12:12

本文主要是介绍【python数据分析基础】—pandas透视表和交叉表,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

  • 前言
  • 一、pivot_table 透视表
  • 二、crosstab 交叉表
  • 三、实际应用


前言

透视表是excel和其他数据分析软件中一种常见的数据汇总工具。它是根据一个或多个键对数据进行聚合,并根据行和列上的分组键将数据分配到各个矩形区域中。


一、pivot_table 透视表

pivot_table()默认显示指定索引列和所有数值列。

语法:

pivot_table(data: ‘DataFrame’, values=None, index=None, columns=None, aggfunc: ‘AggFuncType’ = ‘mean’, fill_value=None, margins: ‘bool’ = False, dropna: ‘bool’ = True, margins_name: ‘str’ = ‘All’, observed: ‘bool’ = False, sort: ‘bool’ = True)

参数解析:

  • data:dataframe数据框。
  • value:需要聚合的列的名称,可选。默认聚合所有数值列。
  • index:用于分组的列名或其他分组键,出现在结果透视表的行。
  • columns:用于分组的列名或其他分组键,出现在结果透视表的列。
  • aggfunc:聚合函数或函数列表,默认为"mean",可以是任何对groupby有效的函数。
  • fill_value:用于替换结果表中的缺失值。
  • margins:添加行/列小计和总计,默认为False。
  • dropna:不聚合所有值都为NA的列,默认为True。
  • margins_name:如果margins=True,设置添加行/列小计和总计的名称,默认为"All"。

举例:

以小费数据集为例,数据情况如下:

import pandas as pd
tips=pd.read_csv('F:\\pydata-book-2nd-edition\\examples\\tips.csv')
tips["tip_pct"]=tips["tip"]/tips["total_bill"] #添加一列小费比例tip_pct
tips.head(10)

在这里插入图片描述

tips.shape # (244, 8)
tips.columns

在这里插入图片描述

参数index:根据sex和smoker计算分组平均数。

#pivot_table的默认聚合类型:平均数
tips.pivot_table(index=['sex ','smoker'])

在这里插入图片描述

参数values和columns:只想聚合"tip_pct"和"size",根据"sex","day"分组,将"smoker"放到列上,"day"放到行上。

tips.pivot_table(['tip_pct','size'],index=['sex ','day'],columns='smoker')

在这里插入图片描述

参数margins:margins=True 添加分项小计,这将会添加标签为all的行和列,其值对应单个等级中所有数据的分组统计,all值为平均值。

tips.pivot_table(['tip_pct','size'],index=['sex ','day'],columns='smoker',margins=True)

在这里插入图片描述

参数aggfunc:要使用其他的聚合函数,将其传给aggfunc即可,用len或count可以得到有关分组大小的交叉表。

tips.pivot_table('tip_pct',index=['sex ','smoker'],columns='day',aggfunc=len,margins=True)

在这里插入图片描述

参数fill_value:fill_value可以填补空值(NA)

tips.pivot_table('size',index=['time','sex ','smoker'],columns='day',aggfunc='sum',fill_value=0)

在这里插入图片描述


二、crosstab 交叉表

交叉表作为一种特殊的透视表,用于计算分组频率的特殊透视表。

语法:

crosstab(index, columns, values=None, rownames=None, colnames=None, aggfunc=None, margins: ‘bool’ = False, margins_name: ‘str’ = ‘All’, dropna: ‘bool’ = True, normalize=False)

参数解析:

  • index:接收string、数组、Series或数组list,表示行索引键,无默认。
  • columns:接收string、数组、Series或数组list,表示列索引键,无默认。
  • values:接收array,表示聚合数据,置信为None。
  • rownames:表示行分组键名,无默认。
  • colnames:表示列分组键名,无默认。
  • aggfunc:接收function,表示聚合函数,默认为None。
  • margins:布尔值,默认为True。表示汇总(total)功能的开关,设置为True后,结果集中会出现名为"ALL"的行和列。
  • margins_name:设置总计行(列)的名称(默认名称是“All”)
  • dropna:布尔值,表示是否对值进行标准化,默认为False。
  • normalize:布尔值,表示是否对值进行标准化,默认为False。

举例:

import numpy as np
data = pd.DataFrame({"Sample":np.arange(10),"Gender":np.random.choice(("Female","Male"),10),"Handedness":np.random.choice(("Right-handed","Left-handed"),10)})
data

在这里插入图片描述

根据性别和用手习惯对这段数据进行统计汇总。

import pandas as pd
pd.crosstab(data["Gender"],data["Handedness"],margins=True)

在这里插入图片描述


三、实际应用

示例1:数据聚合与分组实际应用

数据集情况:

import pandas as pd
fec=pd.read_csv('F:\\pydata-book-2nd-edition\\datasets\\fec\\P00000001-ALL.csv')
fec.shape #(1001731, 16)
fec.columns

在这里插入图片描述

fec.iloc[123456]

在这里插入图片描述

  • 分析1: 获取全部的候选人的名单
uniques_cands=fec.cand_nm.unique()
uniques_cands
uniques_cands[2]

在这里插入图片描述

  • 分析2: 补充党派信息

第一步:利用字典说明党派关系。

parties={'Bachmann, Michelle':'Republican','Romney, Mitt':'Republican', 'Obama, Barack':'Democrat',"Roemer, Charles E. 'Buddy' III":'Republican','Pawlenty, Timothy':'Republican','Johnson, Gary Earl':'Republican','Paul, Ron':'Republican', 'Santorum, Rick':'Republican','Cain, Herman':'Republican', 'Gingrich, Newt':'Republican','McCotter, Thaddeus G':'Republican','Huntsman, Jon':'Republican','Perry, Rick':'Republican'}

第二步:通过映射以及series对象的map方法,你可以根据候选人姓名得到一组党派信息,将其添加一个新列。

fec['party']=fec.cand_nm.map(parties)
fec['party'].value_counts()

在这里插入图片描述

数据集中“contb_receipt_amt”既包括退款也包括赞助,因此限定数据集只有正的出资额。

(fec["contb_receipt_amt"]>0).value_counts()

在这里插入图片描述

fec=fec[fec["contb_receipt_amt"]>0]
  • 分析3: 根据职业和雇主统计赞助信息

第一步:根据职业计算出资总额。

fec["contbr_occupation"].value_counts()[:10]

在这里插入图片描述

第二步:对职业信息、雇主信息进行映射。

occ_mapping={'INFORMATION REQUESTED':'NOT PROVIDED','INFORMATION REQUESTED PER BEST EFFORTS':'NOT PROVIDED','INFORMATION REQUESTED(BEST EFFORTS)':'NOT PROVIDED','C.E.O':'CEO'}#如果没有映射消息则返回x
f=lambda x:occ_mapping.get(x,x)
fec["contbr_occupation"]=fec["contbr_occupation"].map(f)
emp_mapping={'INFORMATION REQUESTED':'NOT PROVIDED','INFORMATION REQUESTED PER BEST EFFORTS':'NOT PROVIDED','SELF':'SELF-EMPLOYED','SELF EMPLOYED':'SELF-EMPLOYED'}f=lambda x:emp_mapping.get(x,x)
fec["contbr_employer"]=fec["contbr_employer"].map(f)

第三步:根据党派和职业对数据进行聚合,过滤掉总出资额不足200万美元的数据,生成透视表。

by_occupation = pd.pivot_table(fec,values='contb_receipt_amt',index='contbr_occupation',columns='party',aggfunc="sum")

第四步:生成柱状图

over_2mm = by_occupation[by_occupation.sum(1)>2000000]
over_2mm
over_2mm.plot(kind='barh')

在这里插入图片描述

  • 分析4: 总出资额最高的职业和企业

求最大值方法

def get_top_amounts(group,key,n=5):totals=group.groupby(key)['contb_receipt_amt'].sum()return totals.sort_values(ascending=False)[n:] #根据key对totals进行降序排列

根据职业和雇主进行聚合

fec_mrbo=fec[fec['cand_nm'].isin(['Obama, Barack','Romney, Mitt'])]grouped=fec_mrbo.groupby('cand_nm')grouped.apply(get_top_amounts,'contbr_occupation',n=7)#get_top_amounts函数的参数值

在这里插入图片描述

grouped.apply(get_top_amounts,'contbr_employer',n=10)

在这里插入图片描述

  • 分析5: 对出资额分组

第一步:利用cut函数根据出资额大小将数据离散到多个面元中。

bins=np.array([0,10,100,1000,10000,100000,1000000,10000000,100000000])
labels=pd.cut(fec_mrbo.contb_receipt_amt,bins)
labels

在这里插入图片描述

第二步:根据候选人的姓名以及面元标签对数据进行分组。

grouped=fec_mrbo.groupby(['cand_nm',labels])
grouped.size().unstack(0)

在这里插入图片描述

可以看到obama在小额赞助的数量比romney多得多。

第三步:对出资额求和并在面元内规格化,以便图形化显示两位候选人各种赞助额度的比例:

bucket_sums=grouped.contb_receipt_amt.sum().unstack(0)
bucket_sums

在这里插入图片描述

数据按行求频率如下:

normed_sums=bucket_sums.div(bucket_sums.sum(axis=1),axis=0)
normed_sums

在这里插入图片描述

两位候选人收到的各种捐赠额度的总额比例:

normed_sums[:-2].plot(kind='barh',stacked=True) #排除了两具最大的面元。

在这里插入图片描述

  • 分析6: 根据州统计赞助信息

第一步:根据候选人和州对数据进行聚合。

grouped=fec_mrbo.groupby(['cand_nm','contbr_st'])
totals=grouped.contb_receipt_amt.sum().unstack(0).fillna(0)
totals=totals[totals.sum(1)>100000]
totals[:10]

在这里插入图片描述

第二步:对各行除以总赞助额,就会得到各候选人在各州的总赞助额比例。

percent=totals.div(totals.sum(1),axis=0)
percent[:10]

在这里插入图片描述

这篇关于【python数据分析基础】—pandas透视表和交叉表的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/970282

相关文章

Python实现特殊字符判断并去掉非字母和数字的特殊字符

《Python实现特殊字符判断并去掉非字母和数字的特殊字符》在Python中,可以通过多种方法来判断字符串中是否包含非字母、数字的特殊字符,并将这些特殊字符去掉,本文为大家整理了一些常用的,希望对大家... 目录1. 使用正则表达式判断字符串中是否包含特殊字符去掉字符串中的特殊字符2. 使用 str.isa

python中各种常见文件的读写操作与类型转换详细指南

《python中各种常见文件的读写操作与类型转换详细指南》这篇文章主要为大家详细介绍了python中各种常见文件(txt,xls,csv,sql,二进制文件)的读写操作与类型转换,感兴趣的小伙伴可以跟... 目录1.文件txt读写标准用法1.1写入文件1.2读取文件2. 二进制文件读取3. 大文件读取3.1

使用Python实现一个优雅的异步定时器

《使用Python实现一个优雅的异步定时器》在Python中实现定时器功能是一个常见需求,尤其是在需要周期性执行任务的场景下,本文给大家介绍了基于asyncio和threading模块,可扩展的异步定... 目录需求背景代码1. 单例事件循环的实现2. 事件循环的运行与关闭3. 定时器核心逻辑4. 启动与停

基于Python实现读取嵌套压缩包下文件的方法

《基于Python实现读取嵌套压缩包下文件的方法》工作中遇到的问题,需要用Python实现嵌套压缩包下文件读取,本文给大家介绍了详细的解决方法,并有相关的代码示例供大家参考,需要的朋友可以参考下... 目录思路完整代码代码优化思路打开外层zip压缩包并遍历文件:使用with zipfile.ZipFil

Python处理函数调用超时的四种方法

《Python处理函数调用超时的四种方法》在实际开发过程中,我们可能会遇到一些场景,需要对函数的执行时间进行限制,例如,当一个函数执行时间过长时,可能会导致程序卡顿、资源占用过高,因此,在某些情况下,... 目录前言func-timeout1. 安装 func-timeout2. 基本用法自定义进程subp

Python实现word文档内容智能提取以及合成

《Python实现word文档内容智能提取以及合成》这篇文章主要为大家详细介绍了如何使用Python实现从10个左右的docx文档中抽取内容,再调整语言风格后生成新的文档,感兴趣的小伙伴可以了解一下... 目录核心思路技术路径实现步骤阶段一:准备工作阶段二:内容提取 (python 脚本)阶段三:语言风格调

Python结合PyWebView库打造跨平台桌面应用

《Python结合PyWebView库打造跨平台桌面应用》随着Web技术的发展,将HTML/CSS/JavaScript与Python结合构建桌面应用成为可能,本文将系统讲解如何使用PyWebView... 目录一、技术原理与优势分析1.1 架构原理1.2 核心优势二、开发环境搭建2.1 安装依赖2.2 验

Android Mainline基础简介

《AndroidMainline基础简介》AndroidMainline是通过模块化更新Android核心组件的框架,可能提高安全性,本文给大家介绍AndroidMainline基础简介,感兴趣的朋... 目录关键要点什么是 android Mainline?Android Mainline 的工作原理关键

一文详解如何在Python中从字符串中提取部分内容

《一文详解如何在Python中从字符串中提取部分内容》:本文主要介绍如何在Python中从字符串中提取部分内容的相关资料,包括使用正则表达式、Pyparsing库、AST(抽象语法树)、字符串操作... 目录前言解决方案方法一:使用正则表达式方法二:使用 Pyparsing方法三:使用 AST方法四:使用字

Python列表去重的4种核心方法与实战指南详解

《Python列表去重的4种核心方法与实战指南详解》在Python开发中,处理列表数据时经常需要去除重复元素,本文将详细介绍4种最实用的列表去重方法,有需要的小伙伴可以根据自己的需要进行选择... 目录方法1:集合(set)去重法(最快速)方法2:顺序遍历法(保持顺序)方法3:副本删除法(原地修改)方法4: