系统重温Pandas笔记：Task Special：第一次综合练习

2023-12-03 18:50
文章标签 系统 综合 笔记 练习 pandas 第一次 task 重温 special

本文主要是介绍系统重温Pandas笔记：Task Special：第一次综合练习，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

    • 【任务一】企业收入的多样性
    • 【任务二】组队学习信息表的变换
    • 【任务三】漂亮国投票情况
    • 远昊大佬的参考答案
      • 第一题
      • 第二题
      • 第三题

【任务一】企业收入的多样性

【题目描述】一个企业的产业收入多样性可以仿照信息熵的概念来定义收入熵指标：
在这里插入图片描述
【数据下载】链接：https://pan.baidu.com/s/1leZZctxMUSW55kZY5WwgIw 53 密码：u6fd
解：
首先import所需要的包：

import numpy as np
import pandas as pd

然后读取两张表的数据：

df1 = pd.read_csv('company.csv')
df2 = pd.read_csv('company_data.csv')

对数据做一下清洗，去除含有NAN的行：

df1 = df1.dropna(axis = 0)
df1

在这里插入图片描述

df2 = df2.dropna(axis = 0)
df2

在这里插入图片描述
将df1中证券代码格式里的#号和补零去掉：

df1['证券代码'] = df1['证券代码'].apply(lambda x: int(str(x[1:])))
df1

在这里插入图片描述
将df2中的日期只显示年份：

df2['日期'] = df2['日期'].apply(lambda x: int(str(x[0:4])))
df2

在这里插入图片描述
将df1和df2连接， 并去除掉NAN行：

df3 = df1.merge(df2, on=['证券代码','日期'], how='left')
df3 = df3.dropna(axis = 0)
df3

在这里插入图片描述
计算收入熵指标：

def myfunc(x):p = x/x.sum()res_I = -((p*np.log(p)).sum())return res_I
res = df3.groupby(['证券代码','日期'])['收入额'].apply(myfunc)
res

在这里插入图片描述
将res里的结果变成列：

df4 = res.reset_index()
df4['SHZB_I'] = df4['收入额']
df4 = df4.drop('收入额', 1)
df4

在这里插入图片描述
最后将得到的收入熵指标汇总到df1中：

df5 = df1.merge(df4, on=['证券代码','日期'], how='left')
df5

在这里插入图片描述

【任务二】组队学习信息表的变换

【题目描述】请把组队学习的队伍信息表变换为如下形态，其中“是否队长”一列取1表示队长，否则为0
在这里插入图片描述
【数据下载】链接：https://pan.baidu.com/s/1ses24cTwUCbMx3rvYXaz-Q 34 密码：iz57
解：
首先import所需要的包：

import numpy as np
import pandas as pd
import xlrd

然后读取表的数据：

df1 = pd.read_excel('组队.xlsx')

去掉“所在群”这一列

df1 = df1.drop('所在群', 1)

先处理得到所有队长的表：

df2 = df1[['队伍名称','队长编号','队长_群昵称']]
df2['是否队长'] = 1
df2

在这里插入图片描述
然后修改列名，得到和题目要求匹配的队长表：

df3 = df2.rename(columns = {'队长编号':'编号','队长_群昵称':'昵称'})
df3

在这里插入图片描述
筛选队员相关信息的列，并分别重命名编号和昵称，为后续变形做准备：

df4 = df1.drop(['队长编号','队长_群昵称'], 1)
df4 = df4.rename(columns = {'队员1 编号':'编号_队员1','队员2 编号':'编号_队员2','队员3 编号':'编号_队员3','队员4 编号':'编号_队员4','队员5 编号':'编号_队员5','队员6 编号':'编号_队员6','队员7 编号':'编号_队员7','队员8 编号':'编号_队员8','队员9 编号':'编号_队员9','队员10编号':'编号_队员10'})
df4 = df4.rename(columns = {'队员_群昵称':'昵称_队员1','队员_群昵称.1':'昵称_队员2','队员_群昵称.2':'昵称_队员3','队员_群昵称.3':'昵称_队员4','队员_群昵称.4':'昵称_队员5','队员_群昵称.5':'昵称_队员6','队员_群昵称.6':'昵称_队员7','队员_群昵称.7':'昵称_队员8','队员_群昵称.8':'昵称_队员9','队员_群昵称.9':'昵称_队员10',})

表太大了，先不截图。
然后对得到的表进行wide_to_long操作：

df5 = pd.wide_to_long(df4,stubnames=['编号','昵称'],i = ['队伍名称'],j='队员',sep='_',suffix='.+')
df5

在这里插入图片描述
去掉含有NAN的行，并添加“是否队长”列，重设index，删去“队员”列：

df5 = df5.dropna(axis = 0)
df5['是否队长'] = 0
df6 = df5.reset_index()
df6 = df6.drop(['队员'], 1)
df6

在这里插入图片描述
将队长和队员的信息拼接：

df7 = pd.concat([df3, df6])
df7

在这里插入图片描述
按照题目中的表格样式进行最后的格式调整：

df7 = df7[['是否队长','队伍名称','昵称','编号']]
df7['编号'] = df7['编号'].apply(lambda x: int(x))
df7.sort_values('队伍名称').reset_index().drop(['index'], 1)

在这里插入图片描述

【任务三】漂亮国投票情况

【题目描述】两张数据表中分别给出了漂亮国各县（county）的人口数以及大选的投票情况，请解决以下问题：

  • 有多少县满足总投票数超过县人口数的一半
  • 把州（state）作为行索引，把投票候选人作为列名，列名的顺序按照候选人在全美的总票数由高到低排序，行列对应的元素为该候选人在该州获得的总票数
    在这里插入图片描述
  • 每一个州下设若干县，定义BD在该县的得票率减去CP在该县的得票率为该县的BT指标，若某个州所有县BT指标的中位数大于0，则称该州为BD State，请找出所有的BD State
    【数据下载】链接：https://pan.baidu.com/s/182rr3CpstVux2CFdFd_Pcg 32 提取码：q674
    解：
    1、有多少县满足总投票数超过县人口数的一半
    导入需要的包：
import numpy as np
import pandas as pd

读取数据：

df1=pd.read_csv('president_county_candidate.csv')
df2=pd.read_csv('county_population.csv')

计算县的选票总数：

sum1 = df1.groupby(['state','county'])['total_votes'].sum()
sum1

在这里插入图片描述
将结果转成dataframe，并连接两表，删去NAN值：

df3 = sum1.reset_index()
df3['US County'] = '.'+df3['county']+', '+df3['state']
df3

在这里插入图片描述

df4 = df2.merge(df3, on=['US County'], how='left')
df4 = df4.dropna(axis = 0)
df4

在这里插入图片描述
统计满足总投票数超过县人口数的一半的个数：

condition = df4['total_votes'] > (df4['Population']/2)
df4.groupby(condition).count()

在这里插入图片描述
所以是1434个

2.把州（state）作为行索引，把投票候选人作为列名，列名的顺序按照候选人在全美的总票数由高到低排序，行列对应的元素为该候选人在该州获得的总票数
解：
先按照题目要求变形：

df5 = df1.pivot_table(index='state', columns='candidate', values='total_votes',aggfunc = 'sum')  
df5.head()

在这里插入图片描述
把NaN值用0替换掉

df5 = df5.fillna(0)
df5.head()

在这里插入图片描述
类似第一问，先统计每个州候选人得票总数并排序：

sum2 = df1.groupby(['candidate'])['total_votes'].sum().sort_values(ascending = False)
sum2

在这里插入图片描述
得到列名顺序：

sum2.index

在这里插入图片描述

df6 = df5.reindex(columns=sum2.index)
df6

在这里插入图片描述
3.每一个州下设若干县，定义BD在该县的得票率减去CP在该县的得票率为该县的BT指标，若某个州所有县BT指标的中位数大于0，则称该州为BD State，请找出所有的BD State
解：
因为比较的都是同一个县比，所以比较得票率和比较得票数在最终结果上一样（被除数相同）：
还是和前面一样，先计算他们各自的总票数：

df1['US County'] = '.'+df1['county']+', '+df1['state']
df7 = df1.pivot_table(index='US County', columns='candidate', values='total_votes',aggfunc = 'sum')[['Joe Biden','Donald Trump']]  
df7

在这里插入图片描述
然后得到每个县的BT代替值：

df7['BT'] = df7['Joe Biden']-df7['Donald Trump'] 
df7

在这里插入图片描述
去掉多级索引：

df7 = df7.reset_index(['US County'])
df7

在这里插入图片描述
然后将US County拆回去：

df8 = pd.DataFrame((x.split(', ') for x in df7['US County']),columns = ['county','state'])
df8

在这里插入图片描述
重新拼起来：

df9 = pd.concat([df7,df8],1)
df9

在这里插入图片描述
计算各州BT代替值的中位数：

df10 = df9.groupby(['state'])['BT'].median()
df10

在这里插入图片描述
与0作比较：

df10>0

在这里插入图片描述
从结果中可以得出，结果为True的state是Biden State
即：California, Connecticut, Delaware, District of Columbia, Hawaii, Massachusetts, New Jersey, Rhode Island, Vermont 这9个state。

远昊大佬的参考答案

今天给原题加数据链接的时候，看到远昊大佬更新了参考答案，比我的高级太多太多太多太多。在下方展示出来，以供学习：

第一题

df2['证券代码'] = df2['证券代码'].apply(lambda x:'#%06d'%x)
df2 = df2[df2['证券代码'].isin(df1['证券代码'])]
df2['日期'] = df2['日期'].apply(lambda x: int(x[:4]))
res = df2.groupby(['证券代码', '日期'])['收入额'].apply(lambda x: -((x/x.sum()*np.log(x/x.sum()))).sum()).reset_index()
res = df1.merge(res, how='left', on=['证券代码', '日期']).rename(columns={'收入额': '收入熵'})

第二题

df = pd.read_excel('组队信息汇总表（Pandas）.xlsx')
temp = df.iloc[:,1::2].set_index('队伍名称').T.reset_index(drop=True)
temp['是否队长'] = np.r_[[1], np.zeros(temp.shape[0]-1)].astype('int')
melted = temp.melt(id_vars = '是否队长', value_vars = temp.columns[:-1], var_name = '队伍名称', value_name = '昵称').dropna().reset_index(drop=True)
number = pd.concat([df.iloc[:, 2*(i+1): 2*(i+2)].T.reset_index(drop=True).T for i in range(11)]).rename({0:'编号', 1:'昵称'}, axis=1).dropna().reset_index(drop=True)
res = melted.merge(number, how='left', on='昵称')

第三题

第一问：

df = pd.read_csv('president_county_candidate.csv')
df_pop = pd.read_csv('county_population.csv')
temp = df_pop['US County'].copy()
df_pop['state'] = temp.apply(lambda x:x.split(', ')[1])
df_pop['county'] = temp.apply(lambda x:x.split(', ')[0][1:])
df_pop = df_pop.drop(['US County'],axis=1)
df = df.merge(df_pop, on=['state','county'],how='left')
df['pop_rate'] = df['total_votes']/df['Population']
res = df.groupby(['state','county'])['pop_rate'].agg(lambda x:x.sum())
(res>0.5).sum()

第二问：

res = df.pivot_table(index='state',columns='candidate',values='total_votes',aggfunc='sum').reindex(df.groupby('candidate')['total_votes'].sum().sort_values(ascending=False).index,axis=1)

第三问：

def select(x):def inner_select(inner_x):Total = inner_x.total_votes.sum()Biden = inner_x.query('candidate=="Joe Biden"').total_votes.sum()Trump = inner_x.query('candidate=="Donald Trump"').total_votes.sum()return (Biden-Trump)/Totalres = x.groupby('county')[['candidate','total_votes']].apply(inner_select)return res.median() > 0
df.groupby('state').filter(select).state.unique()

这篇关于系统重温Pandas笔记：Task Special：第一次综合练习的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/450497。

相关文章

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整
阅读更多...
Linux系统中卸载与安装JDK的详细教程

Linux系统中卸载与安装JDK的详细教程

《Linux系统中卸载与安装JDK的详细教程》本文详细介绍了如何在Linux系统中通过Xshell和Xftp工具连接与传输文件,然后进行JDK的安装与卸载,安装步骤包括连接Linux、传输JDK安装包... 目录1、卸载1.1 linux删除自带的JDK1.2 Linux上卸载自己安装的JDK2、安装2.1
阅读更多...
Pandas使用SQLite3实战

Pandas使用SQLite3实战

《Pandas使用SQLite3实战》本文主要介绍了Pandas使用SQLite3实战,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学... 目录1 环境准备2 从 SQLite3VlfrWQzgt 读取数据到 DataFrame基础用法：读
阅读更多...
Python下载Pandas包的步骤

Python下载Pandas包的步骤

《Python下载Pandas包的步骤》：本文主要介绍Python下载Pandas包的步骤,在python中安装pandas库,我采取的方法是用PIP的方法在Python目标位置进行安装,本文给大... 目录安装步骤1、首先找到我们安装python的目录2、使用命令行到Python安装目录下3、我们回到Py
阅读更多...
Linux系统之主机网络配置方式

Linux系统之主机网络配置方式

《Linux系统之主机网络配置方式》：本文主要介绍Linux系统之主机网络配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、查看主机的网络参数1、查看主机名2、查看IP地址3、查看网关4、查看DNS二、配置网卡1、修改网卡配置文件2、nmcli工具【通用
阅读更多...
Linux系统之dns域名解析全过程

Linux系统之dns域名解析全过程

《Linux系统之dns域名解析全过程》：本文主要介绍Linux系统之dns域名解析全过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、dns域名解析介绍1、DNS核心概念1.1 区域 zone1.2 记录 record二、DNS服务的配置1、正向解析的配置
阅读更多...
Linux系统中配置静态IP地址的详细步骤

Linux系统中配置静态IP地址的详细步骤

《Linux系统中配置静态IP地址的详细步骤》本文详细介绍了在Linux系统中配置静态IP地址的五个步骤,包括打开终端、编辑网络配置文件、配置IP地址、保存并重启网络服务,这对于系统管理员和新手都极具... 目录步骤一：打开终端步骤二：编辑网络配置文件步骤三：配置静态IP地址步骤四：保存并关闭文件步骤五：重
阅读更多...
Windows系统下如何查找JDK的安装路径

Windows系统下如何查找JDK的安装路径

《Windows系统下如何查找JDK的安装路径》：本文主要介绍Windows系统下如何查找JDK的安装路径,文中介绍了三种方法,分别是通过命令行检查、使用verbose选项查找jre目录、以及查看... 目录一、确认是否安装了JDK二、查找路径三、另外一种方式如果很久之前安装了JDK，或者在别人的电脑上，想
阅读更多...
Linux系统之authconfig命令的使用解读

Linux系统之authconfig命令的使用解读

《Linux系统之authconfig命令的使用解读》authconfig是一个用于配置Linux系统身份验证和账户管理设置的命令行工具,主要用于RedHat系列的Linux发行版,它提供了一系列选项... 目录linux authconfig命令的使用基本语法常用选项示例总结Linux authconfi
阅读更多...
Nginx配置系统服务&设置环境变量方式

Nginx配置系统服务&设置环境变量方式

《Nginx配置系统服务&设置环境变量方式》本文介绍了如何将Nginx配置为系统服务并设置环境变量,以便更方便地对Nginx进行操作,通过配置系统服务,可以使用系统命令来启动、停止或重新加载Nginx... 目录1.Nginx操作问题2.配置系统服android务3.设置环境变量总结1.Nginx操作问题
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2