pandas apply传递参数进阶 不好用,不是我想的那回事

2024-03-24 08:44

本文主要是介绍pandas apply传递参数进阶 不好用,不是我想的那回事,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

代码对比

原代码

 总表 = pd.DataFrame(columns = ['部门名称','接口个数','表名','链接'])# 遍历每个部门,获取相关的API详情for department_title in departments_info['部门名称'].to_list():部门表 = departments_info[departments_info['部门名称'] == department_title ].copy()print(department_title)  # 打印部门名称# 获取每个部门的API详情api_details = get_api_details(department_title)# print(f"部门API详情{api_details}")if not api_details.empty:# 如果找到了API详情,则进行合并部门表 = 部门表.merge(api_details, on='部门名称', how='left')else:print(f"没有找到部门 {department_title} 的API详情。")总表 = pd.concat( [总表,部门表],axis=0)
# 总表.to_csv('test.csv',index=False)
# 添加表信息的总表 = pd.DataFrame( columns = ['部门名称','接口个数','表名','链接','字段序号','字段英文描述','字段中文描述'])
# 然后对每个API的链接进行遍历,抓取每个API的字段信息for url in 总表['链接'].to_list():单个url表 = 总表[总表['链接'] == url ].copy()# 确保URL是有效的if isinstance(url, str) and url.startswith("http"):# 获取信息项内容information_items = get_information_items(url)if not information_items.empty:# 如果找到了信息项,进行合并单个url表 = 单个url表.merge(information_items, on=['链接'], how='left')添加表信息的总表 = pd.concat([添加表信息的总表,单个url表],axis=0)# 清理和退出浏览器驱动
driver.quit()
writer = pd.ExcelWriter('20240324.xlsx')
添加表信息的总表.to_excel(writer,index=False)
writer.save()

升级后代码

# 定义一个函数,它接受DataFrame中的一行作为输入
# 这个函数的目的是,基于该行中某个特定的列(在这个例子中是'部门名称'),
# 来获取相关的API详情,并将这些详情作为新的列值返回
def enrich_department_info(row):# 调用get_api_details函数,传入'部门名称'列的值,# 以获取该部门的API详细信息。这假设get_api_details函数返回一个字典,# 其中包含关于API的各种信息,如接口个数、表名和链接api_details = get_api_details(row['部门名称'])# 从api_details字典中提取'接口个数'、'表名'和'链接'的值,# 并将这些值封装成一个pandas Series对象返回。# 如果字典中没有这些键,则相应的值将被设置为None。return pd.Series({'接口个数': api_details.get('接口个数', None),'表名': api_details.get('表名', None),'链接': api_details.get('链接', None),})# 调用.apply()方法,并传入enrich_department_info函数作为参数,
# 指定axis=1使其按行应用该函数。
# 这将对departments_info DataFrame的每一行调用enrich_department_info函数,
# 并将返回的Series对象中的值分别填充到'接口个数'、'表名'和'链接'这三个新列中。
# 结果是,departments_info DataFrame将被扩展,包含了这三个新列,
# 其中填充了根据每行中'部门名称'列的值获取的API详细信息。
departments_info[['接口个数', '表名', '链接']] = departments_info.apply(enrich_department_info, axis=1)def fetch_information_items(url):# 此函数根据给定的URL获取信息项内容if pd.notna(url) and url.startswith("http"):information_items = get_information_items(url)return information_itemsreturn pd.DataFrame()  # 返回一个空的DataFrame,如果没有找到信息# 使用merge而不是concat来组合信息,以减少不必要的数据复制
departments_info['信息项内容'] = departments_info['链接'].apply(fetch_information_items)

这篇关于pandas apply传递参数进阶 不好用,不是我想的那回事的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/841058

相关文章

Linux内核参数配置与验证详细指南

《Linux内核参数配置与验证详细指南》在Linux系统运维和性能优化中,内核参数(sysctl)的配置至关重要,本文主要来聊聊如何配置与验证这些Linux内核参数,希望对大家有一定的帮助... 目录1. 引言2. 内核参数的作用3. 如何设置内核参数3.1 临时设置(重启失效)3.2 永久设置(重启仍生效

SpringMVC获取请求参数的方法

《SpringMVC获取请求参数的方法》:本文主要介绍SpringMVC获取请求参数的方法,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下... 目录1、通过ServletAPI获取2、通过控制器方法的形参获取请求参数3、@RequestParam4、@

关于pandas的read_csv方法使用解读

《关于pandas的read_csv方法使用解读》:本文主要介绍关于pandas的read_csv方法使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录pandas的read_csv方法解读read_csv中的参数基本参数通用解析参数空值处理相关参数时间处理相关

Spring Boot项目部署命令java -jar的各种参数及作用详解

《SpringBoot项目部署命令java-jar的各种参数及作用详解》:本文主要介绍SpringBoot项目部署命令java-jar的各种参数及作用的相关资料,包括设置内存大小、垃圾回收... 目录前言一、基础命令结构二、常见的 Java 命令参数1. 设置内存大小2. 配置垃圾回收器3. 配置线程栈大小

SpringBoot利用@Validated注解优雅实现参数校验

《SpringBoot利用@Validated注解优雅实现参数校验》在开发Web应用时,用户输入的合法性校验是保障系统稳定性的基础,​SpringBoot的@Validated注解提供了一种更优雅的解... 目录​一、为什么需要参数校验二、Validated 的核心用法​1. 基础校验2. php分组校验3

Kotlin 作用域函数apply、let、run、with、also使用指南

《Kotlin作用域函数apply、let、run、with、also使用指南》在Kotlin开发中,作用域函数(ScopeFunctions)是一组能让代码更简洁、更函数式的高阶函数,本文将... 目录一、引言:为什么需要作用域函数?二、作用域函China编程数详解1. apply:对象配置的 “流式构建器”最

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战:从入门到进阶优化1. MyBatis

Pandas使用SQLite3实战

《Pandas使用SQLite3实战》本文主要介绍了Pandas使用SQLite3实战,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学... 目录1 环境准备2 从 SQLite3VlfrWQzgt 读取数据到 DataFrame基础用法:读

Python下载Pandas包的步骤

《Python下载Pandas包的步骤》:本文主要介绍Python下载Pandas包的步骤,在python中安装pandas库,我采取的方法是用PIP的方法在Python目标位置进行安装,本文给大... 目录安装步骤1、首先找到我们安装python的目录2、使用命令行到Python安装目录下3、我们回到Py

一文带你了解SpringBoot中启动参数的各种用法

《一文带你了解SpringBoot中启动参数的各种用法》在使用SpringBoot开发应用时,我们通常需要根据不同的环境或特定需求调整启动参数,那么,SpringBoot提供了哪些方式来配置这些启动参... 目录一、启动参数的常见传递方式二、通过命令行参数传递启动参数三、使用 application.pro