【数据分析面试】34.填充NaN值 (Python:groupby/sort_value/ffill)

2024-04-29 18:44

本文主要是介绍【数据分析面试】34.填充NaN值 (Python:groupby/sort_value/ffill),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在这里插入图片描述

题目:填充NaN值 (Python)

给定一个包含三列的DataFrame:client_id、ranking、value

编写一个函数,将value列中的NaN值用相同client_id的前一个非NaN值填充,按升序排列。

如果不存在前一个client_id,则返回前一个值。

输入:

print(clients_df)
client_idrankingvalue
100111000
10012NaN
100131200
100211500
100221250
10023NaN
100311100
10032NaN

输出:

client_idrankingvalue
100111000
100211500
100311100
100121000
100221250
100321100
100131200
100231250

答案

解题思路

该问题的关键在于确定每个NaN值应该被填充的值。我们需要按照client_idranking升序排列DataFrame,并逐行处理NaN值。

答案代码

import pandas as pddef fill_nan(df):df.sort_values(by=['client_id', 'ranking'], inplace=True)  # 按client_id和ranking升序排列df['value'] = df.groupby('client_id')['value'].ffill()  # 使用前一个非NaN值填充NaNreturn df# 示例DataFrame
clients_df = pd.DataFrame({'client_id': [1001, 1001, 1001, 1002, 1002, 1002, 1003, 1003],'ranking': [1, 2, 3, 1, 2, 3, 1, 2],'value': [1000, None, 1200, 1500, 1250, None, 1100, None]
})print(fill_nan(clients_df))

groupby/sort_value/ffill

groupby()

官方文档:
pandas.DataFrame.groupby — pandas 2.2.2 documentation

语法说明:

DataFrame.groupby(by=None, axis=0, level=None, as_index=True,dropna=True)
  • by: 指定用于分组的列名或列名列表。
  • axis: 指定分组的轴向,默认为 0 表示按行分组。
  • level: 如果轴是多层索引的,则指定要在该级别上分组。
  • as_index: 指定是否将分组键作为索引,默认为 True。
  • dropna: 指定是否将 NaN 值排除在分组之外,默认为 True。

参数axis : 在2.1.0之后的版本被移除。对于 axis=1,使用 frame.T.groupby(...)

sort_values()

官方文档:pandas.DataFrame.sort_values — pandas 2.2.2 documentation

语法说明:

DataFrame.sort_values(by, axis=0, ascending=True, inplace=False)
  • by: 指定用于排序的列名或列名列表。
  • axis: 指定排序的轴向,默认为 0 表示按行排序。
  • ascending: 指定是否按升序排序,默认为 True。
  • inplace: 指定是否在原地排序,默认为 False。

ffill()

官方文档 :pandas.DataFrame.ffill — pandas 2.2.2 documentation

语法说明:

DataFrame.ffill(axis=None, inplace=False, limit=None)
  • axis: 指定填充方向,默认为 None 表示沿着列的方向填充。
  • inplace: 指定是否在原地填充,默认为 False。
  • limit: 指定填充的最大连续 NaN 值的数量,默认为 None 表示不限制。

ffill 是 “forward fill”,向前填充缺失值,与之相对应的是bfill ,全称是 “backward fill”,意思是向后填充缺失值,即使用后一个非 NaN 值来填充缺失值。

更多详细答案可关注公众号查阅。
在这里插入图片描述

这篇关于【数据分析面试】34.填充NaN值 (Python:groupby/sort_value/ffill)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/946863

相关文章

Python实现特殊字符判断并去掉非字母和数字的特殊字符

《Python实现特殊字符判断并去掉非字母和数字的特殊字符》在Python中,可以通过多种方法来判断字符串中是否包含非字母、数字的特殊字符,并将这些特殊字符去掉,本文为大家整理了一些常用的,希望对大家... 目录1. 使用正则表达式判断字符串中是否包含特殊字符去掉字符串中的特殊字符2. 使用 str.isa

python中各种常见文件的读写操作与类型转换详细指南

《python中各种常见文件的读写操作与类型转换详细指南》这篇文章主要为大家详细介绍了python中各种常见文件(txt,xls,csv,sql,二进制文件)的读写操作与类型转换,感兴趣的小伙伴可以跟... 目录1.文件txt读写标准用法1.1写入文件1.2读取文件2. 二进制文件读取3. 大文件读取3.1

使用Python实现一个优雅的异步定时器

《使用Python实现一个优雅的异步定时器》在Python中实现定时器功能是一个常见需求,尤其是在需要周期性执行任务的场景下,本文给大家介绍了基于asyncio和threading模块,可扩展的异步定... 目录需求背景代码1. 单例事件循环的实现2. 事件循环的运行与关闭3. 定时器核心逻辑4. 启动与停

基于Python实现读取嵌套压缩包下文件的方法

《基于Python实现读取嵌套压缩包下文件的方法》工作中遇到的问题,需要用Python实现嵌套压缩包下文件读取,本文给大家介绍了详细的解决方法,并有相关的代码示例供大家参考,需要的朋友可以参考下... 目录思路完整代码代码优化思路打开外层zip压缩包并遍历文件:使用with zipfile.ZipFil

Python处理函数调用超时的四种方法

《Python处理函数调用超时的四种方法》在实际开发过程中,我们可能会遇到一些场景,需要对函数的执行时间进行限制,例如,当一个函数执行时间过长时,可能会导致程序卡顿、资源占用过高,因此,在某些情况下,... 目录前言func-timeout1. 安装 func-timeout2. 基本用法自定义进程subp

Python实现word文档内容智能提取以及合成

《Python实现word文档内容智能提取以及合成》这篇文章主要为大家详细介绍了如何使用Python实现从10个左右的docx文档中抽取内容,再调整语言风格后生成新的文档,感兴趣的小伙伴可以了解一下... 目录核心思路技术路径实现步骤阶段一:准备工作阶段二:内容提取 (python 脚本)阶段三:语言风格调

Python结合PyWebView库打造跨平台桌面应用

《Python结合PyWebView库打造跨平台桌面应用》随着Web技术的发展,将HTML/CSS/JavaScript与Python结合构建桌面应用成为可能,本文将系统讲解如何使用PyWebView... 目录一、技术原理与优势分析1.1 架构原理1.2 核心优势二、开发环境搭建2.1 安装依赖2.2 验

一文详解如何在Python中从字符串中提取部分内容

《一文详解如何在Python中从字符串中提取部分内容》:本文主要介绍如何在Python中从字符串中提取部分内容的相关资料,包括使用正则表达式、Pyparsing库、AST(抽象语法树)、字符串操作... 目录前言解决方案方法一:使用正则表达式方法二:使用 Pyparsing方法三:使用 AST方法四:使用字

数据库面试必备之MySQL中的乐观锁与悲观锁

《数据库面试必备之MySQL中的乐观锁与悲观锁》:本文主要介绍数据库面试必备之MySQL中乐观锁与悲观锁的相关资料,乐观锁适用于读多写少的场景,通过版本号检查避免冲突,而悲观锁适用于写多读少且对数... 目录一、引言二、乐观锁(一)原理(二)应用场景(三)示例代码三、悲观锁(一)原理(二)应用场景(三)示例

Python列表去重的4种核心方法与实战指南详解

《Python列表去重的4种核心方法与实战指南详解》在Python开发中,处理列表数据时经常需要去除重复元素,本文将详细介绍4种最实用的列表去重方法,有需要的小伙伴可以根据自己的需要进行选择... 目录方法1:集合(set)去重法(最快速)方法2:顺序遍历法(保持顺序)方法3:副本删除法(原地修改)方法4: