用python进行数据处理之异常值处理——24年美赛C题经验总结

2024-03-18 12:36

本文主要是介绍用python进行数据处理之异常值处理——24年美赛C题经验总结,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 读写csv文件
  • 数据探索
  • 删去指定行数的数据
  • 保留指定的列
  • 用前几行的平均值代替异常值
  • 删去异常值所在的行
  • 合并文件
  • 合并多列为一列
  • 重命名列名

学习或工作中,经常要对表格类型的数据进行处理。对那些数据量不大的任务,学习数据库似乎是一个杀鸡用牛刀的做法,这时候不妨试试python吧。

笔者本人将自己参加24年美赛(美国大学生数学建模竞赛MCM/ICM)过程中使用python进行数据处理的经验记录在这,供有需要的朋友们查阅。

正文之前先说明一下,笔者当时美赛中选择的是C题,数据集名称为Wimbledon_featured_matches.csv,接下来通篇将以这个数据集为例
数据集可以在官网下载,链接附在下面
https://www.contest.comap.com/undergraduate/contests/mcm/contests/2024/problems/

https://www.comapmath.com/MCMICM/index.html
如果官网打不开,也可以点击下方的百度网盘分享获取资源
https://pan.baidu.com/s/1U0PHfMEJYpPYICrfAmXTqQ?pwd=3333

注:以下内容经过删改和编排,非比赛中实际应用的步骤

读写csv文件

美赛的数据文件都是csv格式,而不是xls格式的。使用read_csv命令可以读取csv文件,使用to_csv命令可以写入csv文件

数据探索

我们使用info方法探索数据

import pandas as pddf = pd.read_csv('Wimbledon_featured_matches.csv')
df.info()

输出结果如下
在这里插入图片描述
在这里插入图片描述
下面让我们解释一下输出结果,可以发现:

  • 数据集Wimbledon_featured_matches.csv共有46列(0~45)数据
  • 非空行数(Non-Null Count)从0到41列均为7284列,而42列到45列的非空行数均小于7284且互不相等,也就是说这些列有着不同程度的缺失值
  • Dtype显示了每一列数据的数据类型,比如:int整数,float浮点数,object字符串,64表示数据占用64位内存空间;统计有3列float64类型的数据,33列int64类型的数据,以及10列object类型的数据

删去指定行数的数据

要删去从多少行到多少行的数据,可以使用drop命令

import pandas as pddf = pd.read_csv('Wimbledon_featured_matches.csv')
# 删除从2185行到2673行的数据
df = df.drop(df.index[2185:2673])df.to_csv('Wimbledon_featured_matches1.csv', index=False)

这里index = False 指的是导出的文件不含索引列

保留指定的列

如果我只想保留列名为’player1’和 'player2’的两列(对应于数据集中的第二列和第三列)

import pandas as pddf = pd.read_csv('Wimbledon_featured_matches.csv')
df_selected = df[['player1', 'player2']]df_selected.to_csv('Wimbledon_featured_matches2.csv', index=False)

用前几行的平均值代替异常值

import pandas as pddf = pd.read_csv('Wimbledon_featured_matches.csv')
mean_speed = df['speed_mph'].head(3).mean()
df['speed_mph'].fillna(mean_speed, inplace=True)# 保存更新后的DataFrame到CSV文件
df.to_csv('Wimbledon_featured_matches3.csv', index=False)

上述代码使用了以下函数:

  • head:返回DataFrame的前几行数据,默认返回前5行
  • mean:计算DataFrame中数值的平均值。
  • fillna:将speed_mph列中的缺失值用平均值mean_speed进行填充。参数inplace:当设置为True时,表示在原DataFrame上直接进行缺失值填充操作,而不返回新的DataFrame对象。

删去异常值所在的行

使用dropna函数删去异常值所在的行,其中参数subset用于指定要进行异常值检查的列

import pandas as pddata = pd.read_csv('Wimbledon_featured_matches.csv')data = data.dropna(subset=['serve_width', 'serve_depth'])data.to_csv('Wimbledon_featured_matches4.csv', index=False)

合并文件

给定任务:要将两个行数一致的文件进行横向合并,即保证合并后的文件行数不变
使用concat函数进行合并

import pandas as pd# 将多个csv文件的名称列为列表,使用循环逐个读取
file_list = ['Wimbledon_featured_matches1.csv','W1.csv']
dfs = [pd.read_csv(file) for file in file_list]# axis=1表示按列合并
combined_df = pd.concat(dfs, axis=1)combined_df.to_csv('Wimbledon_featured_matches5.csv', index=False)

合并多列为一列

import pandas as pddata = pd.read_csv('Wimbledon_featured_matches.csv')# 合并指定的两列数据为新的一列
data['combined'] = data[['serve_width','serve_depth']].apply(lambda row: f"({row[0]}-{row[1]})", axis=1)data.to_csv('Wimbledon_featured_matches6.csv', index=False)

函数、参数解释:

  • apply:类似于transform,用于定义一个函数,不同之处在于apply是执行聚合操作或对整个DataFrame进行操作
  • f"({row[0]}-{row[1]})"定义了输出结果的格式,例如若原有两列的某一行为0和1,则新列输出为(0-1)

重命名列名

import pandas as pddf = pd.read_csv('your_file.csv')# 将serve_width列重命名为new_serve_width
df.rename(columns={'serve_width': 'new_serve_width'}, inplace=True)# 保存更新后的DataFrame到CSV文件
df.to_csv('your_updated_file.csv', index=False)

其中inplace=True表示在原始DataFrame上进行操作,不会将修改结果返回为新的一列

这篇关于用python进行数据处理之异常值处理——24年美赛C题经验总结的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/822342

相关文章

讯飞webapi语音识别接口调用示例代码(python)

《讯飞webapi语音识别接口调用示例代码(python)》:本文主要介绍如何使用Python3调用讯飞WebAPI语音识别接口,重点解决了在处理语音识别结果时判断是否为最后一帧的问题,通过运行代... 目录前言一、环境二、引入库三、代码实例四、运行结果五、总结前言基于python3 讯飞webAPI语音

基于Python开发PDF转PNG的可视化工具

《基于Python开发PDF转PNG的可视化工具》在数字文档处理领域,PDF到图像格式的转换是常见需求,本文介绍如何利用Python的PyMuPDF库和Tkinter框架开发一个带图形界面的PDF转P... 目录一、引言二、功能特性三、技术架构1. 技术栈组成2. 系统架构javascript设计3.效果图

Nginx如何进行流量按比例转发

《Nginx如何进行流量按比例转发》Nginx可以借助split_clients指令或通过weight参数以及Lua脚本实现流量按比例转发,下面小编就为大家介绍一下两种方式具体的操作步骤吧... 目录方式一:借助split_clients指令1. 配置split_clients2. 配置后端服务器组3. 配

Python如何在Word中生成多种不同类型的图表

《Python如何在Word中生成多种不同类型的图表》Word文档中插入图表不仅能直观呈现数据,还能提升文档的可读性和专业性,本文将介绍如何使用Python在Word文档中创建和自定义各种图表,需要的... 目录在Word中创建柱形图在Word中创建条形图在Word中创建折线图在Word中创建饼图在Word

Java捕获ThreadPoolExecutor内部线程异常的四种方法

《Java捕获ThreadPoolExecutor内部线程异常的四种方法》这篇文章主要为大家详细介绍了Java捕获ThreadPoolExecutor内部线程异常的四种方法,文中的示例代码讲解详细,感... 目录方案 1方案 2方案 3方案 4结论方案 1使用 execute + try-catch 记录

Python Excel实现自动添加编号

《PythonExcel实现自动添加编号》这篇文章主要为大家详细介绍了如何使用Python在Excel中实现自动添加编号效果,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1、背景介绍2、库的安装3、核心代码4、完整代码1、背景介绍简单的说,就是在Excel中有一列h=会有重复

Python FastAPI入门安装使用

《PythonFastAPI入门安装使用》FastAPI是一个现代、快速的PythonWeb框架,用于构建API,它基于Python3.6+的类型提示特性,使得代码更加简洁且易于绶护,这篇文章主要介... 目录第一节:FastAPI入门一、FastAPI框架介绍什么是ASGI服务(WSGI)二、FastAP

Python中Windows和macOS文件路径格式不一致的解决方法

《Python中Windows和macOS文件路径格式不一致的解决方法》在Python中,Windows和macOS的文件路径字符串格式不一致主要体现在路径分隔符上,这种差异可能导致跨平台代码在处理文... 目录方法 1:使用 os.path 模块方法 2:使用 pathlib 模块(推荐)方法 3:统一使

一文教你解决Python不支持中文路径的问题

《一文教你解决Python不支持中文路径的问题》Python是一种广泛使用的高级编程语言,然而在处理包含中文字符的文件路径时,Python有时会表现出一些不友好的行为,下面小编就来为大家介绍一下具体的... 目录问题背景解决方案1. 设置正确的文件编码2. 使用pathlib模块3. 转换路径为Unicod

Python结合Flask框架构建一个简易的远程控制系统

《Python结合Flask框架构建一个简易的远程控制系统》这篇文章主要为大家详细介绍了如何使用Python与Flask框架构建一个简易的远程控制系统,能够远程执行操作命令(如关机、重启、锁屏等),还... 目录1.概述2.功能使用系统命令执行实时屏幕监控3. BUG修复过程1. Authorization