Python实现数据清洗的18种方法

2025-01-19 04:50

本文主要是介绍Python实现数据清洗的18种方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

《Python实现数据清洗的18种方法》本文主要介绍了Python实现数据清洗的18种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学...

数据清洗可能是你们遇到的第一个大挑战,但别担心,python的魔力在于能用简洁的代码解决复杂问题。今天,我们就来学习如何用一行代码完成数据清洗的十八个小绝招。准备好,让我们一起化繁为简,成为数据清洗的高手!

1. 去除字符串两边空格

data = "   Hello World!   "  
cleaned_data = data.strip()  # 神奇的一行,左右空格拜拜  

  • 解读:strip()方法去掉字符串首尾的空白字符,简单高效。

2. 转换数据类型

num_str = "123"  
num_int = int(num_str)  # 字符串转整数,就是ihEsBzeS这么直接  
  • 注意:转换时要确保数据格式正确,否则会报错。

3. 大小写转换

text = "Python is Awesome"  
lower_text = text.lower()  # 全部变小写,便于统一处理  
upper_text = text.upper()  # 或者全部大写,随你心情  

4. 移除列表中的重复元素

my_list = [1, 2, 2, 3, 4, 4]  
unique_list = list(set(my_list))  # 集合特性,去重无压力  
  • 小贴士:这招虽好,但改变了原列表顺序哦。

5. 快速统计元素出现次数

from collections import Counter  
data = ['apple', 'banana', 'apple', 'orange']  
counts = dict(Counter(data))  # 想要知道谁最受欢迎?  
  • 解读:Counter是统计神器,轻松获取频率。

6. 字符串分割成列表

sentence = "Hello world"  
words = sentence.split(" ")  # 分割符默认为空格,一句话变单词列表  

7. 列表合并

list1 = [1, 2, 3]  
list2 = [4, 5, 6]  
merged_list = list1 + list2  # 合并列表,就这么简单  

8. 数据填充

my_list = [1, 2]  
filled_list = my_list * 3  # 重复三次,快速填充列表  

9. 提取日期时间

from datetime import datetime  
date_str = "2023-04-01"  
date_obj = datetime.strptime(date_str, "%Y-%m-%d")  # 日期字符串变对象  
  • 关键点:%Y-%m-%d是日期格式,按需调整。

10. 字符串替换

old_string = "Python is fun."  
new_string = old_string.replace("fun", "awesome")  # 改头换面,一言既出  

11. 快速排序

numbers = [5, 2, 9, 1, 5]  
sorted_numbers = sorted(numbers)  # 自然排序,升序默认  
  • 进阶:reverse=True可降序排列。

12. 提取数字

mixed_str = "The year is 2023"  
nums = ''.join(filter(str.isdigit, mixed_str))  # 只留下数字,其余走开  
  • 解密filter函数配合isdigit,只保留数字字符。

13. 空值处理(假设是列表)

data_list = [None, 1, 2, None, 3]  
filtered_list = [x for x in data_list if x is not None]  # 拒绝空值,干净利落  
  • 语法糖:列表推导式,简洁优雅。

14. 字典键值对互换

my_dict = {"key1": "value1", "key2": "value2"}  
swapped_dict = {v: k for k, v in my_dict.items()}  # 翻转乾坤,键变值,值变键  

15. 平均值计算

numbers = [10, 20, 30, 40]  
average = sum(numbers) / len(numbers)  # 平均数,一步到位  

16. 字符串分组

s = "abcdef"  
grouped = [s[i:i+2] for i in range(0, len(s), 2)]  # 每两个一组,分割有道  
  • 应用:适用于任何需要分组的场景。

17. 数据标准化

import numpy as np  
data = np.array([1, 2, 3])  
normalized_data = (data - data.mean()) / data.std()  # 数学之美,标准分布  
  • 背景:数据分析必备,让数据符合标准正态分布。

18. 数据过滤(基于条件)

data = [1, 2, 3, 4, 5]  
even_numbers = [x for x in data if x % 2 == 0]  # 只留偶数,排除异己  
  • 技巧:列表推导结合条件判断,高效筛选。

进阶实践与技巧

既然你已经掌握了基础的十八种方法,接下来让我们深入一些,探讨如何将这些技巧结合起来,解决更复杂的数据清洗问题,并分享一些实战中的小技巧。

1. 复杂字符串处理:正则表达式

正则表达式是数据清洗中不可或缺的工具,虽然严格来说可能超过一行,但它能高效地处理模式匹配和替换。

import re  
text = "Email: example@email.com Phone: 123-456-7890"  
emails = re.findall(r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b', text)  
phones = re.findall(r'\b\d{3}-\d{3}-\d{4}\b', text)  

这段代码分别提取了文本中的电子邮件和电话号码,展示了正则表达式的强大。

2. Pandas库的魔法

对于数据分析和清洗,Pandas是不二之选。虽然Pandas的命令通常不止一行,但其高效性和简洁性值得学习。

iChina编程mport pandas as pd  
df = pd.read_csv('data.cihEsBzeSsv')  
# 删除含有缺失值的行  
df_clean = df.dropna()  
# 替换特定值  
df['column_name'] = df['column_name'].replace('old_value', 'new_value')  
  • 注意:Pandas虽然强大,但对于初学者可能需要更多时间来熟悉。

3. 错误处理和日志记录

在处理大量数据时,错误几乎是不可避免的。学会用try-except结构捕获异常,并使用logging记录日志,可以大大提升调试效率。

import logging  
logging.basicConfig(level=logging.INFO)  
try:  
    result = some_function_that_might_fail()  
    logging.info(f"成功执行!结果:{re编程sult}")  
except Exception as e:  
    logging.error(f"执行失败:{e}")  

这样,即使出现问题,也能迅速定位。

4. 批量操作与函数封装

将常用的数据清洗步骤封装成函数,可以大大提高代码的复用性和可读性。python

def clean_phone(phone):  
    """移除电话号码中的非数字字符"""  
    return ''.join(c for c in phone if c.isdigit())  
  
phone_numbers = ['123-456-7890', '(555) 555-5555']  
cleaned_numbers = [clean_phone(phone) for phone in phone_numbers]  

通过定义clean_phone函数,我们可以轻松地清理一批电话号码。

实战建议:

  • 分步进行:不要试图一次性完成所有清洗任务,分步骤处理,逐步优化

  • 测试数据:在实际数据上测试你的清洗逻辑前,先用小样本或模拟数据验证代码的正确性。

  • 文档和注释:即使是简单的数据清洗脚本,良好的注释也能为未来的自己或其他开发者提供巨大帮助。

到此这篇关于Python实现数据清洗的18种方法的文章就介绍到这了,更多相关Python 数据清洗内容请搜索China编程(www.chinasem.cn)以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程China编程(www.chinasem.cn)!

这篇关于Python实现数据清洗的18种方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1153125

相关文章

Springboot处理跨域的实现方式(附Demo)

《Springboot处理跨域的实现方式(附Demo)》:本文主要介绍Springboot处理跨域的实现方式(附Demo),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录Springboot处理跨域的方式1. 基本知识2. @CrossOrigin3. 全局跨域设置4.

Spring Boot 3.4.3 基于 Spring WebFlux 实现 SSE 功能(代码示例)

《SpringBoot3.4.3基于SpringWebFlux实现SSE功能(代码示例)》SpringBoot3.4.3结合SpringWebFlux实现SSE功能,为实时数据推送提供... 目录1. SSE 简介1.1 什么是 SSE?1.2 SSE 的优点1.3 适用场景2. Spring WebFlu

基于SpringBoot实现文件秒传功能

《基于SpringBoot实现文件秒传功能》在开发Web应用时,文件上传是一个常见需求,然而,当用户需要上传大文件或相同文件多次时,会造成带宽浪费和服务器存储冗余,此时可以使用文件秒传技术通过识别重复... 目录前言文件秒传原理代码实现1. 创建项目基础结构2. 创建上传存储代码3. 创建Result类4.

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

SpringBoot日志配置SLF4J和Logback的方法实现

《SpringBoot日志配置SLF4J和Logback的方法实现》日志记录是不可或缺的一部分,本文主要介绍了SpringBoot日志配置SLF4J和Logback的方法实现,文中通过示例代码介绍的非... 目录一、前言二、案例一:初识日志三、案例二:使用Lombok输出日志四、案例三:配置Logback一

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景:内存吃得满满的类__slots__:你的内存管理小助手举个大概的例子:看看效果如何?1.

Python+PyQt5实现多屏幕协同播放功能

《Python+PyQt5实现多屏幕协同播放功能》在现代会议展示、数字广告、展览展示等场景中,多屏幕协同播放已成为刚需,下面我们就来看看如何利用Python和PyQt5开发一套功能强大的跨屏播控系统吧... 目录一、项目概述:突破传统播放限制二、核心技术解析2.1 多屏管理机制2.2 播放引擎设计2.3 专

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

Python实现无痛修改第三方库源码的方法详解

《Python实现无痛修改第三方库源码的方法详解》很多时候,我们下载的第三方库是不会有需求不满足的情况,但也有极少的情况,第三方库没有兼顾到需求,本文将介绍几个修改源码的操作,大家可以根据需求进行选择... 目录需求不符合模拟示例 1. 修改源文件2. 继承修改3. 猴子补丁4. 追踪局部变量需求不符合很

idea中创建新类时自动添加注释的实现

《idea中创建新类时自动添加注释的实现》在每次使用idea创建一个新类时,过了一段时间发现看不懂这个类是用来干嘛的,为了解决这个问题,我们可以设置在创建一个新类时自动添加注释,帮助我们理解这个类的用... 目录前言:详细操作:步骤一:点击上方的 文件(File),点击&nbmyHIgsp;设置(Setti