【python数据分析11】——Pandas统计分析(分组聚合进行组内计算)

本文主要是介绍【python数据分析11】——Pandas统计分析(分组聚合进行组内计算),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

分组聚合进行组内计算

  • 前言
  • 1、groupby方法拆分数据
  • 2、agg方法聚合数据
  • 3、apply方法聚合数据
  • 4、transform方法聚合数据
  • 5 小案例
    • 5.1 按照时间对菜品订单详情表进行拆分
    • 5.2 使用agg方法计算
    • 5.3 使用apply方法统计单日菜品销售数目

前言

依据某个或者几个字段对数据集进行分组,并对各组应用一个函数,无论是聚合还是转换,都是数据分析的常用操作。pandas提供了一个灵活高效的groupby方法,配合agg或apply方法,能够实现分组聚合的操作。
原理图如下:
在这里插入图片描述

1、groupby方法拆分数据

groupby方法提供的是分组聚合步骤中的拆分功能,能够根据索引或者字段对数据进行分组。方法格式如下:

DataFrame.groupby(by=None,axis=0,level=None,as_index=True,sort=True,group_key=True,squeeze=False,**kwargs)

参数说明:

  • by: 接收list、string、mapping或 generator。用于确定进行分组的依据。如果传人的是一个函数,则对索引进行计算并分组;如果传入的是一个字典或者Series,则字典或者Series的值用来作为分组依据;如果传入一个NumPy数组,则数据的元素作为分组依据;如果传人的是字符串或者字符串列表,则使用这些字符串所代表的字段作为分组依据。无默认 。
  • axis:表示操作的轴向,默认对列进行操作。默认为0。
  • level:接收int或者索引名。代表标签所在级别。默认为None。
  • as_index:表示聚合后的聚合标签是否以DataFrame 索引形式输出。默认为 True。
  • sort:接收boolean。表示是否对分组依据、分组标签进行排序。默认为True。
  • group_keys:接收boolean。表示是否显示分组标签的名称。默认为 True。
  • squeeze:接收boolean。表示是否在允许的情况下对返回数据进行降维。默认为False。

以餐饮企业的菜品订单详情表为例,依据订单编号对数据进行分组。

import pandas as pd
import numpy as np
from sqlalchemy import create_engine
username = 'root'  # 替换为你的数据库用户名
password = '1234'  # 替换为你的数据库密码
host = 'localhost'          # 数据库地址
database = 'testdb'  # 数据库名称# 创建数据库连接
engine = create_engine(f'mysql+pymysql://{username}:{password}@{host}/{database}')
detail = pd.read_sql_table('meal_order_detail1',con = engine)
detailGroup = detail[['order_id','counts','amounts']].groupby(by = 'order_id')
print('分组后的订单详情表为:',detailGroup)

输出:
在这里插入图片描述
由输出可知,分组后的结果并不能直接看,而是被存在内存中,输出的是内存地址。实际上,分组后的数据对象Groupby类似于Series与DataFrame,是pandas提供的一种对象。常用的描述性统计方法如下表:

方法名称说明
count计算分组的数目,包括缺失值
head返回每组的前n个值
max返回每组最大值
mean返回每组的均值
median返回每组的中位数
cumcount对每个分组中的组员进行标记,0~n-1
size返回每组的大小
min返回每组最小值
std返回每组的标准差
sum返回每组的和

对餐饮企业的菜品订单表经过分组操作后的每一组的均值、标准差、中位数

print('订单详情表分组后前5组每组的均值为:\n', detailGroup.mean().head())
print('订单详情表分组后前5组每组的标准差为:\n', detailGroup.std().head())
print('订单详情表分组后前5组每组的大小为:','\n', detailGroup.size().head())

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2、agg方法聚合数据

agg、aggregate方法支持对每个分组应用某函数,包括python内置函数或自定义函数。同时这两个方法也能直接对DataFrame进行函数应用操作。
注意:agg函数能够对DataFrame对象进行操作师从pandas0.20版本开始的,在之前版本中,没有此功能。针对DataFrame的aggyuaggregate函数使用格式如下:
DataFrame.agg(func,axis=0,*args,**kwargs)
DataFrame.aggregate(func,axis=0,*args,**kwargs)
参数说明如下:

  • func:接收list、dict、function。表示应用于每行或者每列的函数。无默认
  • axis:接收0或1。代表操作的轴向。默认为0

agg、aggregate几乎完全相同,以T餐饮企业的菜品订单信息表为例,使用agg方法一次求出当前数据中所有菜品销量和售价的总和与均值,如下:

print('订单详情表的菜品销量与售价的和与均值为:\n',detail[['counts','amounts']].agg([np.sum,np.mean]))

输出:在这里插入图片描述
一个字段求和,另一个求均值

print('订单详情表的菜品销量总和与售价的均值为:\n',detail.agg({'counts':np.sum,'amounts':np.mean}))

输出:
在这里插入图片描述

求某个字段多个统计量

print('菜品订单详情表的菜品销量总和与售价的总和与均值为:\n',detail.agg({'counts':np.sum,'amounts':[np.mean,np.sum]}))

输出:
在这里插入图片描述
上述都是numpy库的统计函数,也可以传入自定义的函数。例如:

##自定义函数求两倍的和
def DoubleSum(data):s = data.sum()*2return s
print('菜品订单详情表的菜品销量两倍总和为:','\n',detail.agg({'counts':DoubleSum},axis = 0))

输出:
在这里插入图片描述
在自定义函数中,使用numpy库中的这些函数时,如果计算的时候是单个序列,则无法得出想要的结果,如果是多列数据同时计算,就不会出现这个问题。例如:

##自定义函数求两倍的和
def DoubleSum1(data):s = np.sum(data)*2return s
print('订单详情表的菜品销量两倍总和为:\n',detail.agg({'counts':DoubleSum1},axis = 0).head())print('订单详情表的菜品销量与售价的和的两倍为:\n',detail[['counts','amounts']].agg(DoubleSum1))

输出:
在这里插入图片描述
使用agg方法也能够实现对每一个字段的每一组使用相同的函数,如下:

print('订单详情表分组后前3组每组的均值为:\n', detailGroup.agg(np.mean).head(3))print('订单详情表分组后前3组每组的标准差为:\n', detailGroup.agg(np.std).head(3))

输出:
在这里插入图片描述
如果需要对不同的字段应用不同的函数,则与DataFrame中使用agg方法的操作相同。使用agg方法对分组后的菜品订单表求取每组菜品总数和售价均值。

print('订单详情分组前3组每组菜品总数和售价均值为:\n', detailGroup.agg({'counts':np.sum,'amounts':np.mean}).head(3))

在这里插入图片描述

3、apply方法聚合数据

apply方法类似于agg方法,能够将函数应用于每一列。不同之处在与,与agg方法相比,apply方法传入的函数只能够作用于整个DataFrame或者Series,而无法像agg一样能够对不同字段应用不同函数来获取不同结果。
apply方法的形式如下:
DataFrame.apply(func,axis=0,broadcast=False,raw=False,reduce=None,args(),**kwds)

参数说明:

  • func:接收functions,表示应用于每行或每列的函数,无默认
  • axis:接收0或1,代表操作的轴向。默认为0
  • broadcast:接收boolean,表示是否进行广播。默认为False
  • raw:接收boolean,表示是否直接将ndarray对象传递给函数。默认为False
  • reduce:接收boolean或者None,表示返回值的格式。默认None

apply方法的使用方式和agg方法相同,如下:

print('订单详情表的菜品销量与售价的均值为:\n',detail[['counts','amounts']].apply(np.mean))

在这里插入图片描述
使用apply方法对groupby对象进行聚合操作的方法和agg方法也相同,只是使用agg方法能够实现对不同的字段应用不同的函数,而apply不行。

4、transform方法聚合数据

transform方法能够对整个DataFrame的所有元素进行操作。transform方法只有一个参数“func”,表示对DataFrame操作的函数,如下:

print('订单详情表的菜品销量与售价的两倍为:\n',detail[['counts','amounts']].transform(lambda x:x*2).head(4))

输出:
在这里插入图片描述
同时,transform方法还能够对DataFrame分组后的对象groupby进行操作,可以实现组内离差标准化等操作。

print('订单详情表分组后实现组内离差标准化后前五行为:\n', detailGroup.transform(lambda x:(x.mean()-x.min())/(x.max()-x.min())).head())

输出:
在这里插入图片描述
输出中部分为NaN,这是由于销量中的许多订单的最大值和最小值是相同的,根据离差标准化公式,最大值和最小值相同的情况下分母是0,而分母为0的数在python中表示为NaN

5 小案例

5.1 按照时间对菜品订单详情表进行拆分

通过分组聚合的方式能够将每天的数据放在一个组内,从而可以方便地对每一个组的内容进行分析。

import pandas as pd
import numpy as np
from sqlalchemy import create_engine
engine = create_engine('mysql+pymysql://root:1234@127.0.0.1:\
3306/testdb?charset=utf8')
detail = pd.read_sql_table('meal_order_detail1',con = engine)
detail['place_order_time'] = pd.to_datetime(detail['place_order_time'])
detail['date'] = [i.date() for i in detail['place_order_time']]
detailGroup = detail[['date','counts','amounts']].groupby(by='date')
print('订单详情表前5组每组的数目为:\n',detailGroup.size().head())

在这里插入图片描述

5.2 使用agg方法计算

对已经拆分完成的订单详情表进行聚合,得出每组的销售均价和售价中位数等信息

dayMean = detailGroup.agg({'amounts':np.mean})
print('订单详情表前五组每日菜品均价为:\n',dayMean.head())dayMedian = detailGroup.agg({'amounts':np.median})
print('订单详情表前五组每日菜品售价中位数为:\n',dayMedian.head())

输出:
在这里插入图片描述

5.3 使用apply方法统计单日菜品销售数目

除了可以对售价进行计算外,还可以计算单日总共销售的菜品数目,如下

daySaleSum = detailGroup.apply(np.sum)['counts']
print('订单详情表前五组每日菜品售出数目为:\n',daySaleSum.head())

输出:
在这里插入图片描述

这篇关于【python数据分析11】——Pandas统计分析(分组聚合进行组内计算)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1092719

相关文章

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别: 当你在一个模块(文件)中使用 global 声明变量时,这个变量只在该模块的全局命名空

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

业务中14个需要进行A/B测试的时刻[信息图]

在本指南中,我们将全面了解有关 A/B测试 的所有内容。 我们将介绍不同类型的A/B测试,如何有效地规划和启动测试,如何评估测试是否成功,您应该关注哪些指标,多年来我们发现的常见错误等等。 什么是A/B测试? A/B测试(有时称为“分割测试”)是一种实验类型,其中您创建两种或多种内容变体——如登录页面、电子邮件或广告——并将它们显示给不同的受众群体,以查看哪一种效果最好。 本质上,A/B测

poj 1113 凸包+简单几何计算

题意: 给N个平面上的点,现在要在离点外L米处建城墙,使得城墙把所有点都包含进去且城墙的长度最短。 解析: 韬哥出的某次训练赛上A出的第一道计算几何,算是大水题吧。 用convexhull算法把凸包求出来,然后加加减减就A了。 计算见下图: 好久没玩画图了啊好开心。 代码: #include <iostream>#include <cstdio>#inclu

uva 1342 欧拉定理(计算几何模板)

题意: 给几个点,把这几个点用直线连起来,求这些直线把平面分成了几个。 解析: 欧拉定理: 顶点数 + 面数 - 边数= 2。 代码: #include <iostream>#include <cstdio>#include <cstdlib>#include <algorithm>#include <cstring>#include <cmath>#inc

uva 11178 计算集合模板题

题意: 求三角形行三个角三等分点射线交出的内三角形坐标。 代码: #include <iostream>#include <cstdio>#include <cstdlib>#include <algorithm>#include <cstring>#include <cmath>#include <stack>#include <vector>#include <

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学