Kaggle泰坦尼克生存预测之随机森林学习

本文主要是介绍Kaggle泰坦尼克生存预测之随机森林学习，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

这篇文章讲述的是Kaggle上一个赛题的解决方案——Titanic幸存预测.问题背景是我们大家都熟悉的【Jack and Rose】的故事，豪华游艇与冰山相撞，大家惊慌而逃，可是救生艇的数量有限，无法人人都有。赛题官方提供训练数据和测试数据两份数据，训练数据主要是一些乘客的个人信息以及存活状况，测试数据也是乘客的个人信息但是没有存活状况的显示。所以本文的主要目的就是，根据训练数据生成合适的模型并预测测试数据中乘客的生存状况。

阅读路线：

预览数据
数据初分析
弥补缺失值
建立模型并预测
随机森林算法的理解

预览数据

先看看我们的数据长什么样子，赛题官方给我们提供了两份数据train.csv,test.csv为了方便我们先把所需要的R库给加载了,其中一些R库大家平常没有用到的话，要记得下载。

library(readr) # File read / write
library(ggplot2) # Data visualization
library(ggthemes) # Data visualization
library(scales) # Data visualization
library(plyr)# Data manipulation
library(stringr) # String manipulation
library(InformationValue) # IV / WOE calculation
library(MLmetrics) # Mache learning metrics.e.g. Recall, Precision,Accuracy, AUC
library(rpart) # Decision tree utils
library(randomForest) # Random Forest
library(dplyr) # Data manipulation
library(e1071) # SVM
library(Amelia) # Missing value utils
library(party) # Conditional inference trees
library(gbm) # AdaBoost
library(class) # KNN.

读取数据

#通过getwd()函数查看当下工作路劲，把文件放到当下工作路径中
train <-read_csv("train.csv")
test <-read_csv("test.csv")
data<- bind_rows(train, test)  #组合
train.row<- 1:nrow(train)
test.row<- (1 + nrow(train)):(nrow(train) + nrow(test))

注意：

这里是把训练数据和测试数据合并了，原因是之后的操作过程中要对数据的格式做转换，还会对分类变量增加新的level(比如：分类变量性别，我们的操作就是，原有的基础之上，增加一个字段为男的列和一个字段为女的列)为了避免重复操作和出错，所以就干脆一起操作了。
bind_rows()用法：
When row-binding, columns are matched by name, and any missing columns with be filled with NA,简单的来说就是按照列来组合两份数据，少列的自动填充为NA值(大家查资料的时候，能用谷歌就用谷歌吧，并在英文状态下搜索)

观察数据

> str(data)     
Classes ‘tbl_df’, ‘tbl’ and 'data.frame':	1309 obs. of  12 variables:$ PassengerId: int  1 2 3 4 5 6 7 8 9 10 ...$ Survived   : int  0 1 1 1 0 0 0 0 1 1 ...$ Pclass     : int  3 1 3 1 3 3 1 3 3 2 ...$ Name       : chr  "Braund, Mr. Owen Harris" "Cumings, Mrs. John Bradley (Florence Briggs Thayer)" "Heikkinen, Miss. Laina" "Futrelle, Mrs. Jacques Heath (Lily May Peel)" ...$ Sex        : chr  "male" "female" "female" "female" ...$ Age        : num  22 38 26 35 35 NA 54 2 27 14 ...$ SibSp      : int  1 1 0 1 0 0 0 3 0 1 ...$ Parch      : int  0 0 0 0 0 0 0 1 2 0 ...$ Ticket     : chr  "A/5 21171" "PC 17599" "STON/O2. 3101282" "113803" ...$ Fare       : num  7.25 71.28 7.92 53.1 8.05 ...$ Cabin      : chr  NA "C85" NA "C123" ...$ Embarked   : chr  "S" "C" "S" "S" ...
> > str(test)
Classes ‘tbl_df’, ‘tbl’ and 'data.frame':	418 obs. of  11 variables:$ PassengerId: int  892 893 894 895 896 897 898 899 900 901 ...> str(train)
Classes ‘tbl_df’, ‘tbl’ and 'data.frame':	891 obs. of  12 variables:$ PassengerId: int  1 2 3 4 5 6 7 8 9 10 ...

由结果可见，数据集包含12个变量，1309条数据，其中891条为训练数据，418条为测试数据。

PassengerId 整型变量，标识乘客的ID，递增变量，对预测无帮助
Survived 整型变量，标识该乘客是否幸存。0表示遇难，1表示幸存。将其转换为factor变量比较方便处理
Pclass 整型变量，标识乘客的社会-经济状态，1代表Upper，2代表Middle，3代表Lower
Name 字符型变量，除包含姓和名以外，还包含Mr.
Mrs. Dr.这样的具有西方文化特点的信息
Sex 字符型变量，标识乘客性别，适合转换为factor类型变量
Age 整型变量，标识乘客年龄，有缺失值
SibSp 整型变量，代表兄弟姐妹及配偶的个数。其中Sib代表Sibling也即兄弟姐妹，Sp代表Spouse也即配偶
Parch 整型变量，代表父母或子女的个数。其中Par代表Parent也即父母，Ch代表Child也即子女
Ticket 字符型变量，代表乘客的船票号 Fare 数值型，代表乘客的船票价
Cabin 字符型，代表乘客所在的舱位，有缺失值
Embarked 字符型，代表乘客登船口岸，适合转换为factor型变量

数据初分析

我们这一步的主要目的看看除了PassengerId 整型变量以外，其他10个变量和乘客的幸存率之间是什么关系。让我们先看一下训练集中的乘客幸存率是如何的。

> table(train$Survived)0   1 
549 342 
> prop.table((table(train$Survived))) #prop.table()是计算表中值的百分比，这里就是我们的得到的列联表0         1 
0.6161616 0.3838384

这里大家不要忘了数值1代表幸存，数值0代表的是遇难。所以从上面我们就能轻松看到乘客幸存率约为38%（342/891），也就是说约62%(549/891)的乘客丧命。那赛题官方给我们的测试集(test.csv)中人员的生存情况又是如何的呢？其实，这就需要我们建立数学模型来预测了，但是在之前，我们要找到数据集中的哪些变量对幸存这个事件是有影响的呢？来吧，我们接着往下看。
注意：table()函数对应统计学中列联表，用于记录频数(学习链接)

乘客社会等级与幸存率的影响

记得小时候看古装片，比如说一个太尉带着一帮人出去游玩，遭到了埋伏，这时就有贴身侍卫说保护太尉、带太尉先走，我来掩护。那么外国的权贵们会不会也受到同等的待遇呢？

data$Survived <- factor(data$Survived) #变成因子型变量
ggplot(data = data[1:nrow(train),], mapping = aes(x = Pclass, y = ..count.., fill=Survived)) + geom_bar(stat = "count", position='dodge') + xlab('Pclass') + ylab('Count') + ggtitle('How Pclass impact survivor') + scale_fill_manual(values=c("#FF0000", "#00FF00")) +geom_text(stat = "count", aes(label = ..count..), position=position_dodge(width=1), , vjust=-0.5) + theme(plot.title = element_text(hjust = 0.5), legend.position="bottom")

由图我们能够清晰的看出，Pclass=1的乘客大部分幸存，Pclass=2的乘客接近一半幸存，而Pclass=3的乘客只有不到25%幸存，所以可以认为乘客社会等级越高，幸存率是越高的。

其实当我们要用模型方法(逻辑回归、随机森林、决策树等)构建数学模型时，经常会剔除掉一些变量，比如有100个变量，可能会取其中的几十个。那你可能要问筛选的原则是什么呢？其实最主要和最直接的衡量标准是就是变量的预测能力，可以简单理解成这个变量能够预测一个结果发生的可信度。而衡量变量的预测能力的主要的指标是IV(Information Value)信息价值，但是在计算IV之前，要先计算出WOE，因为IV的计算是以WOE为基础的(WOE的全程为Weight Of Evidence,即是证据权重)，暂时先知道这些名词的意思吧，写主智商着急，不会证明啊。

> WOETable(X=factor(data$Pclass[1:nrow(train)]), Y=data$Survived[1:nrow(train)])CAT GOODS BADS TOTAL     PCT_G     PCT_B        WOE         IV
1   1   136   80   216 0.3976608 0.1457195  1.0039160 0.25292792
2   2    87   97   184 0.2543860 0.1766849  0.3644848 0.02832087
3   3   119  372   491 0.3479532 0.6775956 -0.6664827 0.21970095
> IV(X=factor(data$Pclass[1:nrow(train)]), Y=data$Survived[1:nrow(train)])
[1] 0.5009497
attr(,"howgood")
[1] "Highly Predictive"

从结果可以看出，Pclass的IV为0.5，且“Highly Predictive”。由此可以暂时将Pclass作为预测模型的特征变量之一。