数学建模~~~预测方法--决策树模型

2024-08-26 08:28
文章标签 方法 模型 建模 决策树 数学 预测

本文主要是介绍数学建模~~~预测方法--决策树模型，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

0.直击重点

1.决策树概念

2.节点特征的选择算法

3.基尼系数的计算

4.决策树的分类

5.模型的搭建

6.模型的改进和评价

ROC曲线

参数调优

 GridSearch网格搜索

使用搜索结果重新建模

0.直击重点

这个文章，我们从三个维度进行说明介绍：

第一维度：介绍基本的概念，以及这个决策树的分类和相关的这个算法和基尼系数的计算方法，通过给定这个用户的数据预测这个用户是否会离职；

第二维度：增加数据量，通过语言评价（低，高，中）转换为真实的数据0,1,2，来评估这个用户离职的概率，通过分类准确率函数评估这个预测成功的样本数量和score函数预测这个准确率

第三维度：我们通过调优参数对于这个模型进行了改进，介绍了这个命中率和误判率的概念和基于这两者绘制的ROC曲线和AUC数值，有两个方法：

一个就是把这个参数全部传递进去，使用best_search属性去确定这个最优解；

另一个就是进行循环，格式化输出所有的AUC数值，进行比较得出来这个最优的解；

两个结果的方法可以进行验证，证明我们的模型的准确性~~~

1.决策树概念

决策树里面学习的这个根节点，内部节点和这个叶节点类似于我们的数据结构里面学习的这个二叉树的结构，两个都是树形结构，都有这个根节点，叶子结点以及这个内部节点的定义，从某种意义上面而言，这两个是可进行类比学习的；

2.节点特征的选择算法

节点特征的不同选择，这个节点的子节点的内容肯定就是不一样的，这个时候，如何进行这个节点的选择就很重要，针对于这个节点的额选择，有下面的几个算法，我们以第三个为例进行介绍；

ID3算法，C4.5算法，CART算法（利用基尼系数作为指标的算法）；

3.基尼系数的计算

4.决策树的分类

我们下面的介绍以分类决策树为主：

  1. 导入对应的模块；
  2. 选择对应的数据，并以二维数组进行传入；
  3. max_depth就是这个决策树的深度，层数而已，具体的设置我们介绍优化的时候会进行说明；
  4. random_state就是保证这个过程的随机状态，没有其他的意义，这个1可以是其他的任何数字；
  5. fit函数的两个参数就是x,y变量进行模型的训练；
  6. predict函数的参数就是对应的自变量和因变量，并对于这个结果进行预测；
import pandas as pd
df = pd.read_csv("/Users/sample/员工离职数据样本.csv")# 导入sklearn.tree模块中的分类决策树模型DecisionTreeClassifier
from sklearn.tree import DecisionTreeClassifier# 以二维结构读取"工资(k)","满意度"这两列，作为自变量x
x = df[["工资(k)","满意度"]]
# 以二维结构读取"离职"列，作为因变量y
y = df[["离职"]]# TODO 使用DecisionTreeClassifier()初始化模型
# 并设置参数max_depth=2,random_state=1，赋值给model
model = DecisionTreeClassifier(max_depth=2,random_state=1)
# TODO 使用fit()函数训练模型
model.fit(x, y)# TODO 使用predict()函数，传入参数[[9,6]]进行预测，并赋值给y_pre
y_pre = model.predict([[9, 6]])
# TODO 输出y_pre
print(y_pre)

5.模型的搭建

  1. 和上面的这个相比较，我们的这个板块的这个信息量会更大，需要涉及到一些这个数值转换的函数的使用和这个分类准确率的函数的说明；
  2. 首先就是这个replace函数，进行这个数值转换；
  3. x,y分别代表这个模型里面的自变量和因变量；
  4. 接着就是划分测试集和训练集，构建模型初始化并且进行训练；
  5. 实际上这个输出的结果是一个10*2的矩阵，每一行的两个数据，一个表示不离职，一个表示离职，我们使用索引筛选出来第二列的离职的概率的数据；0表示的就是第一列数据，1表示的就是第二列数据
import pandas as pd 
df = pd.read_csv("/Users/e_information/员工信息表.csv")# 使用replace()将"工资"列的低"，"中"，"高"替换为0，1，2
df["工资"] = df["工资"].replace({'低': 0, '中': 1, '高': 2})
# 使用drop()函数删除"离职"列，剩余的数据作为自变量x
x = df.drop(columns="离职")
# 将"离职"列，作为因变量y
y = df["离职"]# 导入sklearn.model_selection模块中的train_test_split函数
from sklearn.model_selection import train_test_split
# 使用train_test_split()函数划分训练集和测试集
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.2,random_state=123)# 导入sklearn.tree模块中的分类决策树模型DecisionTreeClassifier
from sklearn.tree import DecisionTreeClassifier
# 使用DecisionTreeClassifier()初始化模型
# 并设置参数max_depth=3,random_state=123，赋值给model
model = DecisionTreeClassifier(max_depth=3,random_state=123)
# 使用fit()函数训练模型
model.fit(x_train, y_train)# 将x_test传入使用predict_proba()函数预测，将结果赋值给y_pred_proba
y_pred_proba = model.predict_proba(x_test)
# TODO 输出y_pred_proba的第2列数据
print(y_pred_proba[:,1])

6.模型的改进和评价

我们的这个分类决策树进行预测的结果不一定完全吻合实际，这个时候就需要计算对应的命中率（我们成功预测）和误判率（我们的预测错误）的大小

ROC曲线

这个曲线是是命中率为y坐标，误判率为x坐标进行这个绘制的图像；

这个就是在原来的基础上面，进行这个命中率和误判率和阈值(阈值的作用：预测离职概率大于等于阈值，才能被判定为离职)的计算;

最后几行进行这个函数图像的绘制，使用plot函数作图；

import pandas as pd 
df = pd.read_csv("/Users/e_information/员工信息表.csv")# 使用replace()将"工资"列的低"，"中"，"高"替换为0，1，2
df["工资"] = df["工资"].replace({'低': 0, '中': 1, '高': 2})
# 使用drop()函数删除"离职"列，剩余的数据作为自变量x
x = df.drop(columns="离职")# 以二维结构读取"离职"列，作为因变量y
y = df[["离职"]]# 导入sklearn.model_selection模块中的train_test_split函数
from sklearn.model_selection import train_test_split
# 使用train_test_split()函数划分训练集和测试集
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.2,random_state=123)# 导入sklearn.tree模块中的分类决策树模型DecisionTreeClassifier
from sklearn.tree import DecisionTreeClassifier
# 使用DecisionTreeClassifier()初始化模型
# 并设置参数max_depth=3,random_state=123，赋值给model
model = DecisionTreeClassifier(max_depth=3,random_state=123)
# 使用fit()函数训练模型
model.fit(x_train, y_train)# 将x_test传入使用predict_proba()函数预测，将结果赋值给y_pred_proba
y_pred_proba = model.predict_proba(x_test)# 导入sklearn.metrics模块中的roc_curve函数
from sklearn.metrics import roc_curve# 将y_test和预测的离职概率传入roc_curve()，将结果依次赋值给fpr, tpr, thres
fpr, tpr, thres = roc_curve(y_test, y_pred_proba[:,1])# 输出fpr, tpr, thres
print(fpr)
print(tpr)
print(thres)# 导入matplotlib.pyplot，并使用"plt"作为该模块的简写
import matplotlib.pyplot as plt# 使用plt.plot()函数，传入fpr为x轴的值，tpr为y轴的值，绘制折线图
plt.plot(fpr, tpr)# 设置标题为ROC
plt.title('ROC')# 设置x轴名称FPR
plt.xlabel('FPR')# 设置y轴名称TPR
plt.ylabel('TPR')# 使用plt.show()函数显示图像
plt.show()

下面这个就是去调用库里面的函数计算AUC数值衡量模型的优劣；

# 导入sklearn.metrics模块中的roc_auc_score函数
from sklearn.metrics import roc_auc_score# 将y_test和预测的离职概率传入roc_auc_score()，将结果赋值给auc_score
auc_score = roc_auc_score(y_test, y_pred_proba[:,1])# 输出auc_score
print(auc_score)

参数调优

就是我们使用这个默认的参数值，都可以获得想上面的这个一样比较好的预测效果（上面的这个预测结果的AUC值是0。9左右，是很好的模型），但是我们可以改变这个默认的参数，进一步去验证我们的模型的优劣性在，这个就是参数调优；

下面我们使用的是K折交叉验证进行调优；

代码的说明：

  1. cv=5表示进行五次交叉验证，model就是我们建立的模型，第二个和第三个参数就是我们的训练集，这个顺序不重要（第二个参数和第三个参数的顺序可以换）
  2. 我们打印的是每一次交叉验证的结果；
  3. 最后使用mean函数求得这几个验证结果的平均值；
import pandas as pd 
df = pd.read_csv("/Users/e_information/员工信息表.csv")# 使用replace()将"工资"列的低"，"中"，"高"替换为0，1，2
df["工资"] = df["工资"].replace({'低': 0, '中': 1, '高': 2})
# 使用drop()函数删除"离职"列，剩余的数据作为自变量x
x = df.drop(columns="离职")# 以二维结构读取"离职"列，作为因变量y
y = df[["离职"]]# 导入sklearn.model_selection模块中的train_test_split函数
from sklearn.model_selection import train_test_split
# 使用train_test_split()函数划分训练集和测试集
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.2,random_state=123)# 导入sklearn.tree模块中的分类决策树模型DecisionTreeClassifier
from sklearn.tree import DecisionTreeClassifier
# 使用DecisionTreeClassifier()初始化模型
# 并设置参数max_depth=3,random_state=123，赋值给model
model = DecisionTreeClassifier(max_depth=3,random_state=123)# 导入sklearn.model_selection模块中的交叉验证的函数cross_val_score
from sklearn.model_selection import cross_val_score# 使用cross_val_score()函数进行交叉验证，将结果赋值给auc_score
auc_score = cross_val_score(model, x_train, y_train, scoring = 'roc_auc',cv=5)# 输出auc_score及其平均值
print(auc_score)
print(auc_score.mean())

 GridSearch网格搜索

K折交叉验证，一方面能帮助我们更精确的评估模型；

另一方面，它经常和GridSearch网格搜索配合使用，来对模型进行参数调优。

接下来，我们一起来学习GridSearch网格搜索。

代码说明：

  1. 1,3,5,7,9就是我们选定的，可以进行这个选择的数值，从这几个里面去选最优值（深度）；
  2. fit就是进行这个数据集合的训练；
  3. best_params_属性就是获得这个训练结果的最优值；
import pandas as pd 
df = pd.read_csv("/Users/e_information/员工信息表.csv")# 使用replace()将"工资"列的低"，"中"，"高"替换为0，1，2
df["工资"] = df["工资"].replace({'低': 0, '中': 1, '高': 2})
# 使用drop()函数删除"离职"列，剩余的数据作为自变量x
x = df.drop(columns="离职")# 以二维结构读取"离职"列，作为因变量y
y = df[["离职"]]# 导入sklearn.model_selection模块中的train_test_split函数
from sklearn.model_selection import train_test_split
# 使用train_test_split()函数划分训练集和测试集
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.2,random_state=123)# 导入sklearn.tree模块中的分类决策树模型DecisionTreeClassifier
from sklearn.tree import DecisionTreeClassifier
# 使用DecisionTreeClassifier()初始化模型
model = DecisionTreeClassifier()# 导入sklearn.model_selection模块中的GridSearchCV
from sklearn.model_selection import GridSearchCV# 指定待调优参数max_depth的候选值范围，赋值给parameters
parameters = {'max_depth': [1 ,3, 5, 7, 9]}# 使用GridSearchCV()函数进行参数调优，将结果赋值给grid_search
grid_search = GridSearchCV(model, parameters, scoring='roc_auc', cv=5)# 传入训练集进行训练
grid_search.fit(x_train, y_train)# 获取参数的最优值，并赋值给best_params
best_params = grid_search.best_params_# 输出参数的最优值
print(best_params)

使用搜索结果重新建模

我们上面的遍历已经搜索出来这个最好的深度depth就是7，但是我们之前使用的是3，因此我们调整这个参数重新建模，我们只需要把上面这个过程的depth进行修改即可；

另外，我们可以使用循环依次计算不同深度的AUC数值，选择出来最好的也是可以的；下面这个代码就是分别带入这个树的深度1,3,5,7,9得到这个最优的AUC对应的这个depth=7,和我们上面搜索的结果是一样的，验证了模型的准确性；

import pandas as pd 
df = pd.read_csv("/Users/e_information/员工信息表.csv")# 使用replace()将"工资"列的低"，"中"，"高"替换为0，1，2
df["工资"] = df["工资"].replace({'低': 0, '中': 1, '高': 2})
# 使用drop()函数删除"离职"列，剩余的数据作为自变量x
x = df.drop(columns="离职")# 以二维结构读取"离职"列，作为因变量y
y = df[["离职"]]# 导入sklearn.model_selection模块中的train_test_split函数
from sklearn.model_selection import train_test_split
# 使用train_test_split()函数划分训练集和测试集
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.2,random_state=123)# 导入sklearn.tree模块中的分类决策树模型DecisionTreeClassifier
from sklearn.tree import DecisionTreeClassifier
# for循环遍历列表[1,3,5,7,9]
for i in [1,3,5,7,9]:# 使用DecisionTreeClassifier()初始化模型# 并设置参数max_depth=i,random_state=123，赋值给modelmodel = DecisionTreeClassifier(max_depth=i,random_state=123)# 使用fit()函数训练模型model.fit(x_train, y_train)# 将x_test传入使用predict_proba()函数预测，将结果赋值给y_pred_probay_pred_proba = model.predict_proba(x_test)# 导入sklearn.metrics模块中的roc_auc_score函数from sklearn.metrics import roc_auc_score# 将y_test和预测的离职概率传入roc_curve()，将结果赋值给auc_scoreauc_score = roc_auc_score(y_test, y_pred_proba[:,1])# 格式化输出"max_depth={i}时，AUC值为{auc_score.round(4)}"print(f"max_depth={i}时，AUC值为{auc_score.round(4)}")

这篇关于数学建模~~~预测方法--决策树模型的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1108051。

相关文章

macOS无效Launchpad图标轻松删除的4 种实用方法

macOS无效Launchpad图标轻松删除的4 种实用方法

《macOS无效Launchpad图标轻松删除的4种实用方法》mac中不在appstore上下载的应用经常在删除后它的图标还残留在launchpad中，并且长按图标也不会出现删除符号，下面解决这个问... 在 MACOS 上，Launchpad（也就是「启动台」）是一个便捷的 App 启动工具。但有时候，应
阅读更多...
SpringBoot日志配置SLF4J和Logback的方法实现

SpringBoot日志配置SLF4J和Logback的方法实现

《SpringBoot日志配置SLF4J和Logback的方法实现》日志记录是不可或缺的一部分,本文主要介绍了SpringBoot日志配置SLF4J和Logback的方法实现,文中通过示例代码介绍的非... 目录一、前言二、案例一：初识日志三、案例二：使用Lombok输出日志四、案例三：配置Logback一
阅读更多...
Python实现无痛修改第三方库源码的方法详解

Python实现无痛修改第三方库源码的方法详解

《Python实现无痛修改第三方库源码的方法详解》很多时候,我们下载的第三方库是不会有需求不满足的情况,但也有极少的情况,第三方库没有兼顾到需求,本文将介绍几个修改源码的操作,大家可以根据需求进行选择... 目录需求不符合模拟示例 1. 修改源文件2. 继承修改3. 猴子补丁4. 追踪局部变量需求不符合很
阅读更多...
Java的IO模型、Netty原理解析

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容：标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO（blocking I/O）NI
阅读更多...
mysql出现ERROR 2003 (HY000): Can‘t connect to MySQL server on ‘localhost‘ (10061)的解决方法

mysql出现ERROR 2003 (HY000): Can‘t connect to MySQL server on ‘localhost‘ (10061)的解决方法

《mysql出现ERROR2003(HY000):Can‘tconnecttoMySQLserveron‘localhost‘(10061)的解决方法》本文主要介绍了mysql出现... 目录前言：第一步：第二步：第三步：总结：前言：当你想通过命令窗口想打开mysql时候发现提http://www.cpp
阅读更多...
Mysql删除几亿条数据表中的部分数据的方法实现

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T
阅读更多...
MySQL INSERT语句实现当记录不存在时插入的几种方法

MySQL INSERT语句实现当记录不存在时插入的几种方法

《MySQLINSERT语句实现当记录不存在时插入的几种方法》MySQL的INSERT语句是用于向数据库表中插入新记录的关键命令,下面：本文主要介绍MySQLINSERT语句实现当记录不存在时... 目录使用 INSERT IGNORE使用 ON DUPLICATE KEY UPDATE使用 REPLACE
阅读更多...
基于Flask框架添加多个AI模型的API并进行交互

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》：本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应
阅读更多...
CentOS 7部署主域名服务器 DNS的方法

CentOS 7部署主域名服务器 DNS的方法

《CentOS7部署主域名服务器DNS的方法》文章详细介绍了在CentOS7上部署主域名服务器DNS的步骤,包括安装BIND服务、配置DNS服务、添加域名区域、创建区域文件、配置反向解析、检查配置... 目录1. 安装 BIND 服务和工具2.  配置 BIND 服务3 . 添加你的域名区域配置4.创建区域
阅读更多...
mss32.dll文件丢失怎么办? 电脑提示mss32.dll丢失的多种修复方法

mss32.dll文件丢失怎么办? 电脑提示mss32.dll丢失的多种修复方法

《mss32.dll文件丢失怎么办?电脑提示mss32.dll丢失的多种修复方法》最近，很多电脑用户可能遇到了mss32.dll文件丢失的问题，导致一些应用程序无法正常启动,那么，如何修复这个问题呢... 在电脑常年累月的使用过程中，偶尔会遇到一些问题令人头疼。像是某个程序尝试运行时，系统突然弹出一个错误提
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2