本文主要是介绍用python进行数据处理之异常值处理——24年美赛C题经验总结,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
文章目录
- 读写csv文件
- 数据探索
- 删去指定行数的数据
- 保留指定的列
- 用前几行的平均值代替异常值
- 删去异常值所在的行
- 合并文件
- 合并多列为一列
- 重命名列名
学习或工作中,经常要对表格类型的数据进行处理。对那些数据量不大的任务,学习数据库似乎是一个杀鸡用牛刀的做法,这时候不妨试试python吧。
笔者本人将自己参加24年美赛(美国大学生数学建模竞赛MCM/ICM)过程中使用python进行数据处理的经验记录在这,供有需要的朋友们查阅。
正文之前先说明一下,笔者当时美赛中选择的是C题,数据集名称为Wimbledon_featured_matches.csv,接下来通篇将以这个数据集为例
数据集可以在官网下载,链接附在下面
https://www.contest.comap.com/undergraduate/contests/mcm/contests/2024/problems/
或
https://www.comapmath.com/MCMICM/index.html
如果官网打不开,也可以点击下方的百度网盘分享获取资源
https://pan.baidu.com/s/1U0PHfMEJYpPYICrfAmXTqQ?pwd=3333
注:以下内容经过删改和编排,非比赛中实际应用的步骤
读写csv文件
美赛的数据文件都是csv格式,而不是xls格式的。使用read_csv命令可以读取csv文件,使用to_csv命令可以写入csv文件
数据探索
我们使用info方法探索数据
import pandas as pddf = pd.read_csv('Wimbledon_featured_matches.csv')
df.info()
输出结果如下
下面让我们解释一下输出结果,可以发现:
- 数据集Wimbledon_featured_matches.csv共有46列(0~45)数据
- 非空行数(Non-Null Count)从0到41列均为7284列,而42列到45列的非空行数均小于7284且互不相等,也就是说这些列有着不同程度的缺失值
- Dtype显示了每一列数据的数据类型,比如:int整数,float浮点数,object字符串,64表示数据占用64位内存空间;统计有3列float64类型的数据,33列int64类型的数据,以及10列object类型的数据
删去指定行数的数据
要删去从多少行到多少行的数据,可以使用drop命令
import pandas as pddf = pd.read_csv('Wimbledon_featured_matches.csv')
# 删除从2185行到2673行的数据
df = df.drop(df.index[2185:2673])df.to_csv('Wimbledon_featured_matches1.csv', index=False)
这里index = False 指的是导出的文件不含索引列
保留指定的列
如果我只想保留列名为’player1’和 'player2’的两列(对应于数据集中的第二列和第三列)
import pandas as pddf = pd.read_csv('Wimbledon_featured_matches.csv')
df_selected = df[['player1', 'player2']]df_selected.to_csv('Wimbledon_featured_matches2.csv', index=False)
用前几行的平均值代替异常值
import pandas as pddf = pd.read_csv('Wimbledon_featured_matches.csv')
mean_speed = df['speed_mph'].head(3).mean()
df['speed_mph'].fillna(mean_speed, inplace=True)# 保存更新后的DataFrame到CSV文件
df.to_csv('Wimbledon_featured_matches3.csv', index=False)
上述代码使用了以下函数:
- head:返回DataFrame的前几行数据,默认返回前5行
- mean:计算DataFrame中数值的平均值。
- fillna:将speed_mph列中的缺失值用平均值mean_speed进行填充。参数inplace:当设置为True时,表示在原DataFrame上直接进行缺失值填充操作,而不返回新的DataFrame对象。
删去异常值所在的行
使用dropna函数删去异常值所在的行,其中参数subset用于指定要进行异常值检查的列
import pandas as pddata = pd.read_csv('Wimbledon_featured_matches.csv')data = data.dropna(subset=['serve_width', 'serve_depth'])data.to_csv('Wimbledon_featured_matches4.csv', index=False)
合并文件
给定任务:要将两个行数一致的文件进行横向合并,即保证合并后的文件行数不变
使用concat函数进行合并
import pandas as pd# 将多个csv文件的名称列为列表,使用循环逐个读取
file_list = ['Wimbledon_featured_matches1.csv','W1.csv']
dfs = [pd.read_csv(file) for file in file_list]# axis=1表示按列合并
combined_df = pd.concat(dfs, axis=1)combined_df.to_csv('Wimbledon_featured_matches5.csv', index=False)
合并多列为一列
import pandas as pddata = pd.read_csv('Wimbledon_featured_matches.csv')# 合并指定的两列数据为新的一列
data['combined'] = data[['serve_width','serve_depth']].apply(lambda row: f"({row[0]}-{row[1]})", axis=1)data.to_csv('Wimbledon_featured_matches6.csv', index=False)
函数、参数解释:
- apply:类似于transform,用于定义一个函数,不同之处在于apply是执行聚合操作或对整个DataFrame进行操作
- f"({row[0]}-{row[1]})"定义了输出结果的格式,例如若原有两列的某一行为0和1,则新列输出为(0-1)
重命名列名
import pandas as pddf = pd.read_csv('your_file.csv')# 将serve_width列重命名为new_serve_width
df.rename(columns={'serve_width': 'new_serve_width'}, inplace=True)# 保存更新后的DataFrame到CSV文件
df.to_csv('your_updated_file.csv', index=False)
其中inplace=True表示在原始DataFrame上进行操作,不会将修改结果返回为新的一列
这篇关于用python进行数据处理之异常值处理——24年美赛C题经验总结的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!