###好好好### 【Python实战】Pandas：让你像写SQL一样做数据分析 ######

2024-05-07 15:18
文章标签 python sql 实战 pandas 数据分析 database ### 好好 ######

本文主要是介绍###好好好### 【Python实战】Pandas：让你像写SQL一样做数据分析 ######，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1. 引言

Pandas是一个开源的Python数据分析库。Pandas把结构化数据分为了三类：

  • Series，1维序列，可视作为没有column名的、只有一个column的DataFrame；
  • DataFrame，同Spark SQL中的DataFrame一样，其概念来自于R语言，为多column并schema化的2维结构化数据，可视作为Series的容器（container）；
  • Panel，为3维的结构化数据，可视作为DataFrame的容器；

DataFrame较为常见，因此本文主要讨论内容将为DataFrame。DataFrame的生成可通过读取纯文本、Json等数据来生成，亦可以通过Python对象来生成：

import pandas as pd
import numpy as npdf = pd.DataFrame({'total_bill': [16.99, 10.34, 23.68, 23.68, 24.59],'tip': [1.01, 1.66, 3.50, 3.31, 3.61],'sex': ['Female', 'Male', 'Male', 'Male', 'Female']})

对于DataFrame，我们可以看到其固有属性：

# data type of columns
df.dtypes
# indexes
df.index
# return pandas.Index
df.columns
# each row, return array[array]
df.values
# a tuple representing the dimensionality of df
df.shape
  • .index，为行索引
  • .columns，为列名称（label）
  • .dtype，为列数据类型

2. SQL操作

官方Doc给出了部分SQL的Pandas实现，在此基础上本文给出了一些扩充说明。以下内容基于Python 2.7 + Pandas 0.18.1的版本。

select

SQL中的select是根据列的名称来选取；Pandas则更为灵活，不但可根据列名称选取，还可以根据列所在的position选取。相关函数如下：

  • loc，基于列label，可选取特定行（根据行index）；
  • iloc，基于行/列的position；
print df.loc[1:3, ['total_bill', 'tip']]
print df.loc[1:3, 'tip': 'total_bill']
print df.iloc[1:3, [1, 2]]
print df.iloc[1:3, 1: 3]
  • at，根据指定行index及列label，快速定位DataFrame的元素；
  • iat，与at类似，不同的是根据position来定位的；
print df.at[3, 'tip']
print df.iat[3, 1]
  • ix，为loc与iloc的混合体，既支持label也支持position；
print df.ix[1:3, [1, 2]]
print df.ix[1:3, ['total_bill', 'tip']]

此外，有更为简洁的行/列选取方式：

print df[1: 3]
print df[['total_bill', 'tip']]
# print df[1:2, ['total_bill', 'tip']]  # TypeError: unhashable type

where

Pandas实现where filter，较为常用的办法为df[df[colunm] boolean expr]，比如：

print df[df['sex'] == 'Female']
print df[df['total_bill'] > 20]# or
print df.query('total_bill > 20')

在where子句中常常会搭配and, or, in, not关键词，Pandas中也有对应的实现：

# and
print df[(df['sex'] == 'Female') & (df['total_bill'] > 20)]
# or
print df[(df['sex'] == 'Female') | (df['total_bill'] > 20)]
# in
print df[df['total_bill'].isin([21.01, 23.68, 24.59])]
# not
print df[-(df['sex'] == 'Male')]
print df[-df['total_bill'].isin([21.01, 23.68, 24.59])]
# string function
print df = df[(-df['app'].isin(sys_app)) & (-df.app.str.contains('^微信\d+$'))]

对where条件筛选后只有一行的dataframe取其中某一列的值，其两种实现方式如下：

total = df.loc[df['tip'] == 1.66, 'total_bill'].values[0]
total = df.get_value(df.loc[df['tip'] == 1.66].index.values[0], 'total_bill')

distinct

drop_duplicates根据某列对dataframe进行去重：

df.drop_duplicates(subset=['sex'], keep='first', inplace=True)

包含参数：

  • subset，为选定的列做distinct，默认为所有列；
  • keep，值选项{'first', 'last', False}，保留重复元素中的第一个、最后一个，或全部删除；
  • inplace ，默认为False，返回一个新的dataframe；若为True，则返回去重后的原dataframe

group

group一般会配合合计函数（Aggregate functions）使用，比如：count、avg等。Pandas对合计函数的支持有限，有count和size函数实现SQL的count：

print df.groupby('sex').size()
print df.groupby('sex').count()
print df.groupby('sex')['tip'].count()

对于多合计函数，

select sex, max(tip), sum(total_bill) as total
from tips_tb
group by sex;

实现在agg()中指定dict：

print df.groupby('sex').agg({'tip': np.max, 'total_bill': np.sum})# count(distinct **)
print df.groupby('tip').agg({'sex': pd.Series.nunique})

as

SQL中使用as修改列的别名，Pandas也支持这种修改：

# first implementation
df.columns = ['total', 'pit', 'xes']
# second implementation
df.rename(columns={'total_bill': 'total', 'tip': 'pit', 'sex': 'xes'}, inplace=True)

其中，第一种方法的修改是有问题的，因为其是按照列position逐一替换的。因此，我推荐第二种方法。

join

Pandas中join的实现也有两种：

# 1.
df.join(df2, how='left'...)# 2. 
pd.merge(df1, df2, how='left', left_on='app', right_on='app')

第一种方法是按DataFrame的index进行join的，而第二种方法才是按on指定的列做join。Pandas满足left、right、inner、full outer四种join方式。

order

Pandas中支持多列order，并可以调整不同列的升序/降序，有更高的排序自由度：

print df.sort_values(['total_bill', 'tip'], ascending=[False, True])

top

对于全局的top：

print df.nlargest(3, columns=['total_bill'])

对于分组top，MySQL的实现（采用自join的方式）：

select a.sex, a.tip
from tips_tb a
where (select count(*)from tips_tb bwhere b.sex = a.sex and b.tip > a.tip
) < 2
order by a.sex, a.tip desc;

Pandas的等价实现，思路与上类似：

# 1.
df.assign(rn=df.sort_values(['total_bill'], ascending=False).groupby('sex').cumcount()+1)\.query('rn < 3')\.sort_values(['sex', 'rn'])# 2.
df.assign(rn=df.groupby('sex')['total_bill'].rank(method='first', ascending=False)) \.query('rn < 3') \.sort_values(['sex', 'rn'])

replace

replace函数提供对dataframe全局修改，亦可通过where条件进行过滤修改（搭配loc）：

# overall replace
df.replace(to_replace='Female', value='Sansa', inplace=True)# dict replace
df.replace({'sex': {'Female': 'Sansa', 'Male': 'Leone'}}, inplace=True)# replace on where condition 
df.loc[df.sex == 'Male', 'sex'] = 'Leone'

自定义

除了上述SQL操作外，Pandas提供对每列/每一元素做自定义操作，为此而设计以下三个函数：

  • map(func)，为Series的函数，DataFrame不能直接调用，需取列后再调用；
  • apply(func)，对DataFrame中的某一行/列进行func操作；
  • applymap(func)，为element-wise函数，对每一个元素做func操作
print df['tip'].map(lambda x: x - 1)
print df[['total_bill', 'tip']].apply(sum)
print df.applymap(lambda x: x.upper() if type(x) is str else x)

3. 实战

环比增长

现有两个月APP的UV数据，要得到月UV环比增长；该操作等价于两个Dataframe left join后按指定列做减操作：

def chain(current, last):df1 = pd.read_csv(current, names=['app', 'tag', 'uv'], sep='\t')df2 = pd.read_csv(last, names=['app', 'tag', 'uv'], sep='\t')df3 = pd.merge(df1, df2, how='left', on='app')df3['uv_y'] = df3['uv_y'].map(lambda x: 0.0 if pd.isnull(x) else x)df3['growth'] = df3['uv_x'] - df3['uv_y']return df3[['app', 'growth', 'uv_x', 'uv_y']].sort_values(by='growth', ascending=False)

差集

对于给定的列，一个Dataframe过滤另一个Dataframe该列的值；相当于集合的差集操作：

def difference(left, right, on):"""
    difference of two dataframes
    :param left: left dataframe
    :param right: right dataframe
    :param on: join key
    :return: difference dataframe
    """df = pd.merge(left, right, how='left', on=on)left_columns = left.columnscol_y = df.columns[left_columns.size]df = df[df[col_y].isnull()]df = df.ix[:, 0:left_columns.size]df.columns = left_columnsreturn df

这篇关于###好好好### 【Python实战】Pandas：让你像写SQL一样做数据分析 ######的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/967713。

相关文章

Python结合PyWebView库打造跨平台桌面应用

Python结合PyWebView库打造跨平台桌面应用

《Python结合PyWebView库打造跨平台桌面应用》随着Web技术的发展,将HTML/CSS/JavaScript与Python结合构建桌面应用成为可能,本文将系统讲解如何使用PyWebView... 目录一、技术原理与优势分析1.1 架构原理1.2 核心优势二、开发环境搭建2.1 安装依赖2.2 验
阅读更多...
一文详解如何在Python中从字符串中提取部分内容

一文详解如何在Python中从字符串中提取部分内容

《一文详解如何在Python中从字符串中提取部分内容》：本文主要介绍如何在Python中从字符串中提取部分内容的相关资料,包括使用正则表达式、Pyparsing库、AST（抽象语法树）、字符串操作... 目录前言解决方案方法一：使用正则表达式方法二：使用 Pyparsing方法三：使用 AST方法四：使用字
阅读更多...
数据库面试必备之MySQL中的乐观锁与悲观锁

数据库面试必备之MySQL中的乐观锁与悲观锁

《数据库面试必备之MySQL中的乐观锁与悲观锁》：本文主要介绍数据库面试必备之MySQL中乐观锁与悲观锁的相关资料,乐观锁适用于读多写少的场景,通过版本号检查避免冲突,而悲观锁适用于写多读少且对数... 目录一、引言二、乐观锁（一）原理（二）应用场景（三）示例代码三、悲观锁（一）原理（二）应用场景（三）示例
阅读更多...
Python列表去重的4种核心方法与实战指南详解

Python列表去重的4种核心方法与实战指南详解

《Python列表去重的4种核心方法与实战指南详解》在Python开发中,处理列表数据时经常需要去除重复元素,本文将详细介绍4种最实用的列表去重方法,有需要的小伙伴可以根据自己的需要进行选择... 目录方法1：集合(set)去重法（最快速）方法2：顺序遍历法（保持顺序）方法3：副本删除法（原地修改）方法4：
阅读更多...
Python运行中频繁出现Restart提示的解决办法

Python运行中频繁出现Restart提示的解决办法

《Python运行中频繁出现Restart提示的解决办法》在编程的世界里,遇到各种奇怪的问题是家常便饭,但是,当你的Python程序在运行过程中频繁出现“Restart”提示时,这可能不仅仅是令人头疼... 目录问题描述代码示例无限循环递归调用内存泄漏解决方案1. 检查代码逻辑无限循环递归调用内存泄漏2.
阅读更多...
Python中判断对象是否为空的方法

Python中判断对象是否为空的方法

《Python中判断对象是否为空的方法》在Python开发中,判断对象是否为“空”是高频操作,但看似简单的需求却暗藏玄机,从None到空容器,从零值到自定义对象的“假值”状态,不同场景下的“空”需要精... 目录一、python中的“空”值体系二、精准判定方法对比三、常见误区解析四、进阶处理技巧五、性能优化
阅读更多...
使用Python构建一个Hexo博客发布工具

使用Python构建一个Hexo博客发布工具

《使用Python构建一个Hexo博客发布工具》虽然Hexo的命令行工具非常强大,但对于日常的博客撰写和发布过程,我总觉得缺少一个直观的图形界面来简化操作,下面我们就来看看如何使用Python构建一个... 目录引言Hexo博客系统简介设计需求技术选择代码实现主框架界面设计核心功能实现1. 发布文章2. 加
阅读更多...
在Spring Boot中浅尝内存泄漏的实战记录

在Spring Boot中浅尝内存泄漏的实战记录

《在SpringBoot中浅尝内存泄漏的实战记录》本文给大家分享在SpringBoot中浅尝内存泄漏的实战记录,结合实例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录使用静态集合持有对象引用，阻止GC回收关键点：可执行代码：验证：1，运行程序（启动时添加JVM参数限制堆大小）：2，访问 htt
阅读更多...
python logging模块详解及其日志定时清理方式

python logging模块详解及其日志定时清理方式

《pythonlogging模块详解及其日志定时清理方式》：本文主要介绍pythonlogging模块详解及其日志定时清理方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录python logging模块及日志定时清理1.创建logger对象2.logging.basicCo
阅读更多...
Python如何自动生成环境依赖包requirements

Python如何自动生成环境依赖包requirements

《Python如何自动生成环境依赖包requirements》：本文主要介绍Python如何自动生成环境依赖包requirements问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录生成当前 python 环境 安装的所有依赖包1、命令2、常见问题只生成当前 项目 的所有依赖包1、
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2