Pandas(数据表)深入应用经验小结(查询、分组、上下行间计算等)

本文主要是介绍Pandas(数据表)深入应用经验小结(查询、分组、上下行间计算等),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Pandas是Python中一个功能强大的分析结构化数据的工具集,它的使用基础是Numpy(提供高性能的矩阵运算),用于数据挖掘和数据分析,同时也提供数据清洗功能,使数据分析流程变得简单高效。

DataFrame是Pandas中的一个表格型的数据结构,包含有一组有序的列,每列可以是不同的值类型(数值、字符串、布尔型等),DataFrame即有行索引也有列索引,可以被看做是由Series组成的字典。

Series是一种类似于一维数组的对象,是由一组数据(各种NumPy数据类型)以及一组与之相关的数据标签(即索引)组成。仅由一组数据也可产生简单的Series对象。

本人在实际应用中,越发感觉到此工具的强大和方便,现分享个人的经验,欢迎反馈。

1. 案例一:读写到数据表

1.1. 从Mongo DB读取数据到Pandas DataFrame

import pymongo
import xgboost as xgb
import numpy as np
from datetime import datetime 
import pandas as pddef get_data():client = pymongo.MongoClient('mongodb://localhost:27017')db = client["oildepot"]collection = db["OilCanHistory"]#创建一个空的Dataframedf = pd.DataFrame(columns=('OilCanID','OilCode',...))CanStatus = {'出油':-1,'静止':0,'进油':1}    #永不超时,游标连接不会主动关闭,需要手动关闭with collection.find({'OilStockCode':'K1060030002','MearsureTime':{'$gt':'2019/7/1'}},{'OilCanID':1,'OilCode':1,..},no_cursor_timeout = True).batch_size(10) as cursor: #只要程序退出了with的缩进,游标自动就会关闭。如果程序中途报错,游标也会关闭for rowdat in cursor:OilCanID = rowdat['OilCanID']    #油罐代码OilCode = rowdat['OilCode']      #油罐代码...OilCanStatus = rowdat['OilCanStatus']        #油罐状态   OilCanStatus = OilCanStatus[0:2]OilCanStatus = CanStatus.get(OilCanStatus)   #转换字符串为数值...                  MearsureTime = MearsureTime[:MearsureTime.index(".")]#将计算结果逐行插入df,注意变量要用[]括起来,同时ignore_index=True,否则会报错,ValueError: If using all scalar values, you must pass an indexdf = df.append(pd.DataFrame({'OilCanID':[OilCanID],'OilCode':[OilCode],...}),ignore_index=True)cursor.close()  #手动关闭游标        return df

额外注:Mongo读数据使用游标,存在大量数据超时问题,需要设置不允许超时,但需要手动关闭游标。

1.2. 从Excel读取数据到Pandas DataFrame

  def get_DataFromExcel():df = pd.read_excel('e:/Candata1.xlsx')return df

1.3. 写Pandas DataFrame数据到Excel

df1.to_excel('e:/CandINCata.xlsx')

2. 案例二:与表中上一行数据做差处理

2.1. 取上行数据构建到同一行中

基于不自己再造轮子的原则,也就不使用遍历表的方法自行编码实现“与表中上一行数据做差处理”,而是使用Pandas工具组合完成此项功能。解决方案是按条件分组数据,提取分组后各个组数据子表分布处理:
在这里插入图片描述
(1)计算数据列下移一行合并到表中,注意合并后表假设为A,则A首行将会出现“NaN”,需要剔除;
(2)删除A表中的首行,同理下一个表B的首行也要删除;
(3)合并所有子表为新表;
在这里插入图片描述
(4)表内两列间做差处理(见下一小节)。

'''
Created on 2020年8月7日
@author: xiaoyw
'''
import pymongo
import numpy as np
from datetime import datetime 
import pandas as pddef add_prevdata(df):#分组,准备按分组拆分数据表   df=df.groupby('OilCanID').apply(lambda x:x.sort_values('MearsureTime',ascending=True)).reset_index(drop=True)df_group_id = df['OilCanID']  #返回是Series,取出分组标签数据df_group_id = df_group_id.drop_duplicates(keep='first')  #去掉分组数据重复数据count= df_group_id.shape[0]print("Begin")df_new = pd.DataFrame()   #创建空数据表,用扩展增存增加上一条记录值(移位)for i in range(count):df_tmp = df.loc[df['OilCanID']==df_group_id.iat[i]]  #按油罐提取数据子表#df_tmp['precvolume'] = df_tmp['LiquidVolume'].shift(1)  #下移一行df_shift = pd.DataFrame(columns=('precvolume','INCVol','preTime','INCPeriod'))df_shift.loc[:,'precvolume']= df_tmp['LiquidVolume'].shift(1)  #下移一行df_shift.loc[:,'preTime']= df_tmp['MearsureTime'].shift(1)  #下移一行df_tmp = pd.concat([df_tmp,df_shift],axis=1)        df_tmp=df_tmp.reset_index(drop=True)                    #重建索引,为了删除首行,因为首行没有上一条记录值,表示为NaNdf_tmp = df_tmp.drop(index=[0])                         #删除首行,因为首行没有上一条记录值,表示为NaNprint(df_tmp)df_new = df_new.append(df_tmp)print("进度为:{0:.2f}%".format(i/count*100))return df_newdf0 = get_DataFromExcel()
df1 = add_prevdata(df0)
#df1.to_excel('e:/CandINCata.xlsx')
print("End")

注:为什么不直接用“列”模式直接计算呢?
因为数据需要分组的原因,跨组数据存在不连续的情况,不知如何处理,欢迎专家赐教。

2.2. 表内同一行数据数学运算——差

def get_INCdata(df):df.loc[:,'INCVol'] = df['LiquidVolume'] - df['precvolume']df.loc[:,'INCPeriod'] =  pd.to_datetime(df['MearsureTime']) -  pd.to_datetime(df['preTime'])df.loc[:,'MearsureTime'] =  pd.to_datetime(df['MearsureTime']).dt.datereturn df

注意数据类型,例如时间数据可能变成Object,而不能直接处理,需要转换。

3. 问题篇

3.1. 数据表更新值的问题

Python报警如下:
SettingWithCopyWarning:
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
对应报警代码和改造后代码如下所示:

        #df_tmp['precvolume'] = df_tmp['LiquidVolume'].shift(1)  #下移一行df_shift = pd.DataFrame(columns=('precvolume','INCVol','preTime','INCPeriod'))df_shift.loc[:,'precvolume']= df_tmp['LiquidVolume'].shift(1)  #下移一行df_shift.loc[:,'preTime']= df_tmp['MearsureTime'].shift(1)  #下移一行df_tmp = pd.concat([df_tmp,df_shift],axis=1)        

解释:被注释掉的代码,容易出现表中数据不被更新的问题,原理见官方解释。

3.2. 数据类型问题

df0 = get_DataFromExcel()print(df0.dtypes)
df0['MearsureTime'] = df0['MearsureTime'].astype('datetime64')
字段名称类型
OilCanIDint64
OilCodeint64
MearsureTimeobject
OilTemperaturefloat64
OilCanStatusint64

dataframe中的 object 类型来自于 Numpy, 他描述了每一个元素 在 ndarray 中的类型 (也就是Object类型)。
在这里插入图片描述

3.3. DataFrame与Series

(1)从DataFrame取出单列返回的是Series:

df_group = df['OilCanID']  #返回是Series

(2)创建无数据表时,如果是单列则是Series:

df_shift = pd.DataFrame(columns=('precvolume'))

这样的代码将报错,提示单列创建的是Series。可以使用如下方法创建空的Series。

ds = pd.Series('Name')
print(ds)

输出结果为:0 Name

欢迎大家反馈指点。

参考:
《Indexing and selecting data》 pandas.pydata.org UserGuide
《基于Pandas实现皮尔逊相关与余弦相似度在工业大数据分析中的应用实践》 CSDN博客 ,肖永威 2020年8月
《机器学习与深度学习开发环境Python3.6(win10-64)全新自主安装过程》 CSDN博客 ,肖永威 2020年7月

这篇关于Pandas(数据表)深入应用经验小结(查询、分组、上下行间计算等)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/526237

相关文章

Kotlin Map映射转换问题小结

《KotlinMap映射转换问题小结》文章介绍了Kotlin集合转换的多种方法,包括map(一对一转换)、mapIndexed(带索引)、mapNotNull(过滤null)、mapKeys/map... 目录Kotlin 集合转换:map、mapIndexed、mapNotNull、mapKeys、map

MyBatis-Plus通用中等、大量数据分批查询和处理方法

《MyBatis-Plus通用中等、大量数据分批查询和处理方法》文章介绍MyBatis-Plus分页查询处理,通过函数式接口与Lambda表达式实现通用逻辑,方法抽象但功能强大,建议扩展分批处理及流式... 目录函数式接口获取分页数据接口数据处理接口通用逻辑工具类使用方法简单查询自定义查询方法总结函数式接口

MySql基本查询之表的增删查改+聚合函数案例详解

《MySql基本查询之表的增删查改+聚合函数案例详解》本文详解SQL的CURD操作INSERT用于数据插入(单行/多行及冲突处理),SELECT实现数据检索(列选择、条件过滤、排序分页),UPDATE... 目录一、Create1.1 单行数据 + 全列插入1.2 多行数据 + 指定列插入1.3 插入否则更

Redis中Stream详解及应用小结

《Redis中Stream详解及应用小结》RedisStreams是Redis5.0引入的新功能,提供了一种类似于传统消息队列的机制,但具有更高的灵活性和可扩展性,本文给大家介绍Redis中Strea... 目录1. Redis Stream 概述2. Redis Stream 的基本操作2.1. XADD

SpringSecurity整合redission序列化问题小结(最新整理)

《SpringSecurity整合redission序列化问题小结(最新整理)》文章详解SpringSecurity整合Redisson时的序列化问题,指出需排除官方Jackson依赖,通过自定义反序... 目录1. 前言2. Redission配置2.1 RedissonProperties2.2 Red

JSONArray在Java中的应用操作实例

《JSONArray在Java中的应用操作实例》JSONArray是org.json库用于处理JSON数组的类,可将Java对象(Map/List)转换为JSON格式,提供增删改查等操作,适用于前后端... 目录1. jsONArray定义与功能1.1 JSONArray概念阐释1.1.1 什么是JSONA

nginx -t、nginx -s stop 和 nginx -s reload 命令的详细解析(结合应用场景)

《nginx-t、nginx-sstop和nginx-sreload命令的详细解析(结合应用场景)》本文解析Nginx的-t、-sstop、-sreload命令,分别用于配置语法检... 以下是关于 nginx -t、nginx -s stop 和 nginx -s reload 命令的详细解析,结合实际应

MySQL 多列 IN 查询之语法、性能与实战技巧(最新整理)

《MySQL多列IN查询之语法、性能与实战技巧(最新整理)》本文详解MySQL多列IN查询,对比传统OR写法,强调其简洁高效,适合批量匹配复合键,通过联合索引、分批次优化提升性能,兼容多种数据库... 目录一、基础语法:多列 IN 的两种写法1. 直接值列表2. 子查询二、对比传统 OR 的写法三、性能分析

深入理解Go语言中二维切片的使用

《深入理解Go语言中二维切片的使用》本文深入讲解了Go语言中二维切片的概念与应用,用于表示矩阵、表格等二维数据结构,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习吧... 目录引言二维切片的基本概念定义创建二维切片二维切片的操作访问元素修改元素遍历二维切片二维切片的动态调整追加行动态

C++中NULL与nullptr的区别小结

《C++中NULL与nullptr的区别小结》本文介绍了C++编程中NULL与nullptr的区别,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编... 目录C++98空值——NULLC++11空值——nullptr区别对比示例 C++98空值——NUL