Task2 Data Whale活动：EDA

Task2 Data Whale活动：EDA

• 分析变量间的相互关系，变量与预测值间可能存在的关系，绘制图表。
• 天池赛题地址
  (https://tianchi.aliyun.com/competition/entrance/231784/introduction?spm=5176.12281957.1004.1.38b02448ausjSX)

赛题数据集变量描述

操作中的小问题：

*导入warnings包，利用过滤器来实现忽略警告语句。

import warnings

filterwarnings(‘ignore’)

*missingno ，pandas_profiling 在conda包里没有，要pip install。

初步处理nan和缺失值

# nan个数可视化
missing = Train_data.isnull().sum() # 如果很小一般选择填充
missing = missing[missing > 0]      # 如果使用lgb等树模型可以直接空缺，让树自己去优化
missing.sort_values(inplace=True)   # 如果nan存在的过多、可以考虑删掉
missing.plot.bar()

# 缺省值可视化
msno.matrix(Train_data.sample(250))

msno.bar(Train_data.sample(1000))

可视化有四列有缺省，notRepairedDamage缺省的最多

检测异常值，除了notRepairedDamage 为object类型其他都为数字

Train_data['notRepairedDamage'].value_counts()

0.0    111361
-       24324
1.0     14315
Name: notRepairedDamage, dtype: int64

‘ - ’也为空缺值，因为后面模型对nan有直接的处理，所以先不做处理，替换成nan

Train_data['notRepairedDamage'].replace('-', np.nan, inplace=True)

Train_data['notRepairedDamage'].value_counts()

0.0    111361
1.0     14315
Name: notRepairedDamage, dtype: int64

以下两个类别特征严重倾斜，一般不会对预测有什么帮助，删掉

Train_data["seller"].value_counts()

0    149999
1         1
Name: seller, dtype: int64

Train_data["offerType"].value_counts()

0    150000
Name: offerType, dtype: int64

del Train_data["seller"]
del Train_data["offerType"]
del Test_data["seller"]
del Test_data["offerType"]

可以选择先用pandas_profiling生成数据报告，分析html文件。后面再自己做更细致的分析

用pandas_profiling生成数据报告。大概半小时后，打开生成的html文件分析数据报告

import pandas_profiling

pfr = pandas_profiling.ProfileReport(Train_data)
pfr.to_file("./example.html")