用pandas轻松搞定数据探索性分析(pandas参数、pandas风格、pandas-profiling)

2023-12-24 17:08

本文主要是介绍用pandas轻松搞定数据探索性分析(pandas参数、pandas风格、pandas-profiling),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

对于每个从事和数据科学有关的人来说,大部分的时间都花在了前期的数据工作中,包括清洗、处理、探索性数据分析等。前期的工作不仅关乎数据的质量,也关乎最终模型预测效果的好坏。本文介绍一些比较冷门但效果不错的pandas方法来对数据进行初步探索,已经最后介绍一个非常方便实用的库pandas-profiling。

import pandas as pd
import numpy as np

展示全部特征列 

data = pd.read_csv('loans_2020.csv')
data.head()

首先我们看到,对于一些比较大型的数据集导入时,会像上图这样将特征缩略,不能很好地直观看到所有的特征,那么此时可以将pandas的设置更改一下:

pd.set_option('display.max_columns', None)
data.head()

其中None可以改为你想要展示的具体最大列数。

展示单元格的全部内容

data1 = pd.DataFrame({'name': ['O'*80, 'X'*80]})
data1

像上图中如果一个单元格内的内容太多可能会缩略掉,若想展示全部内容的话也可以通过pandas设置来改变:

pd.set_option('display.max_colwidth', None)
data1

改变单元格中的浮点数位数

data2 = pd.DataFrame(np.random.randn(8, 5))
data2

pandas的单元格内浮点数默认为六位,我们可以通过pandas的设置来改变浮点数的位数:

pd.set_option('display.precision', 3)
data2

重置pandas设置

比如我们想要将上面的浮点数设置还原成原来的六位,那我们可以通过reset_option:

pd.reset_option('display.precision')
data2


改变单元格中浮点数的格式

pd.set_option('display.float_format', '{:.2%}'.format)
data2

还可以通过format的方法对不同的列进行不同的改变格式,首先创建一个分组数据:

pd.reset_option('display.float_format')
data.groupby('grade')['installment'].agg(['mean', 'sum', 'count']).reset_index()

然后通过.style.format的方法:

data.groupby('grade')['installment'].agg(['mean', 'sum', 'count']).reset_index().style.format({'mean':'${0:,.2f}', 'sum':'${0:,.2f}'})

 

用色条显示出列中的最大值与最小值

然后我们再尝试加入新的一列:

group_data = data.groupby('grade')['installment'].agg(['mean', 'sum', 'count']).reset_index()
group_data['count_%'] = group_data['count']/data['installment'].count()
group_data

format_dict = {'mean':'${0:,.2f}', 'sum': '${0:,.0f}', 'count_%': '{:.2%}'}(group_data.style.format(format_dict).highlight_max(subset='count_%', color='red').highlight_min(subset='count_%' ,color='lightgreen'))

 

用渐变色块展示列中数值的大小

(group_data.style.format(format_dict).background_gradient(subset=['mean', 'sum'], cmap='BuGn'))

在dataframe中我们还可以使用柱状图来展示:

(group_data.style.format(format_dict).bar(color='lightblue', vmin=0, subset=['mean'], align='left').bar(color='lightgreen', vmin=0, subset=['sum'], align='left'))

 

一行代码展示数据探索性分析

利用pandas-profiling库我们可以非常便捷有效地对pandas数据进行初步探索性分析。

首先是安装方法:

# 注意是“-”而不是“_”
pip install pandas-profiling
# 清华源
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas-profiling
from pandas_profiling import ProfileReport
# 两种方法,ProfileReport(data)或者下面这种
data.profile_report()

经过片刻等待后,一份清晰完整的数据探索性分析报告就展示在我们面前了,包括每个特征的属性与分布,一些警告,特征之间的相关性,以及对缺失值的统计等。 

 


数据集与代码可关注公众号“数据科学与人工智能技术”并发送“探索性分析”获取。

 

这篇关于用pandas轻松搞定数据探索性分析(pandas参数、pandas风格、pandas-profiling)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/532481

相关文章

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢?我尝试一种更为智能的方法:P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验,

Go标准库常见错误分析和解决办法

《Go标准库常见错误分析和解决办法》Go语言的标准库为开发者提供了丰富且高效的工具,涵盖了从网络编程到文件操作等各个方面,然而,标准库虽好,使用不当却可能适得其反,正所谓工欲善其事,必先利其器,本文将... 目录1. 使用了错误的time.Duration2. time.After导致的内存泄漏3. jsO

Pandas使用SQLite3实战

《Pandas使用SQLite3实战》本文主要介绍了Pandas使用SQLite3实战,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学... 目录1 环境准备2 从 SQLite3VlfrWQzgt 读取数据到 DataFrame基础用法:读

macOS无效Launchpad图标轻松删除的4 种实用方法

《macOS无效Launchpad图标轻松删除的4种实用方法》mac中不在appstore上下载的应用经常在删除后它的图标还残留在launchpad中,并且长按图标也不会出现删除符号,下面解决这个问... 在 MACOS 上,Launchpad(也就是「启动台」)是一个便捷的 App 启动工具。但有时候,应

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

Spring事务中@Transactional注解不生效的原因分析与解决

《Spring事务中@Transactional注解不生效的原因分析与解决》在Spring框架中,@Transactional注解是管理数据库事务的核心方式,本文将深入分析事务自调用的底层原理,解释为... 目录1. 引言2. 事务自调用问题重现2.1 示例代码2.2 问题现象3. 为什么事务自调用会失效3

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

找不到Anaconda prompt终端的原因分析及解决方案

《找不到Anacondaprompt终端的原因分析及解决方案》因为anaconda还没有初始化,在安装anaconda的过程中,有一行是否要添加anaconda到菜单目录中,由于没有勾选,导致没有菜... 目录问题原因问http://www.chinasem.cn题解决安装了 Anaconda 却找不到 An