《机器学习(周志华)》Chapter2 模型评估与选择

2024-05-05 12:32

本文主要是介绍《机器学习(周志华)》Chapter2 模型评估与选择,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

    这一章几乎把整个机器学习的工作流程都介绍了一遍,能让读者了解到如何一步步的搭建一个机器学习项目。下面先把整个流程大致的梳理一遍:

一、评估方法:

我们在拿到数据之后首先要处理的就是将数据划分为训练集和测试集,西瓜书提供了三种方法,分别是:留出法、交叉验证法和自助法。

1、留出法:将数据集划分为两个互斥的集合,将70%划分为训练集,30%划分为测试集。如果我们希望评估的是整个训练集的模型性能,而留出法将整体数据集划分为训练集合测试集,若训练集包含绝大多数样本,则训练出的模型可能更接近整体数据的模型,而测试集符合的样本比较少,评估的结果可能就不稳定准确;若测试集多包涵一些样本,则训练集合整体样本差别就更大,训练出的模型与整体训练处的模型相差较大,从而降低了评估结果的保真性。

2、交叉验证法:将数据集划分成k个大小相同的互斥子集,将k-1个子集的并集作为训练集,剩余的一个子集作为测试集,最后求k组训练测试集的均值。

3、自助法:如果我们希望评估的是整体数据集,用留出法或交叉验证法,都会导致训练集变小,为解决这个问题就引入了自助法。若有m个样本的数据集,从数据集中采样一个样本放入另外一个集合,再将该样本放回原数据集,重复m次,就采用到了另外一个大小也为m的集合,将这个集合作为训练集,原数据集除开新集合剩余的数据作为训练集,称为自助法。自助法在小数据集和集成学习上有很大的好处,但是改变了原数据集的分布,会引入估计偏差,所以在数据量足够时,留出法和交叉验证法还是常用一些。


二、调参与最终模型


三、性能度量

模型训练完之后最终要应用到现实任务上,这就需要知道训练好的模型的泛化能力如何,这就是性能度量。

1、错误率与精度

错误率:


精度:

或者:


2、查准率、查全率与F1:



不同重视程度下的F1:


其β>0,度量了查全率对查准率的相对重要性。β=1为标准的F1;β>1查全率影响更大;β<1查准率影响更大。

对多个查准率、查全率求平均称为宏查准率、宏查全率、宏F1:


对TP、FP、TN、FN求平均值,再计算称为微查准率、微查全率和微F1:



3、ROC与AUC

TPR真正例率、FPR假正例率



绘图过程:给定m+个正例和m-个反例,根据学习器预测结果对样例排序,若将分类阀值设为最大,即所有样本均为反例,则TP和FP均为零,即得坐标(0,0),若分类阀值设为最小,即所有样本均为正例,则FN和TN均为零,即得坐标(1,1)。将分例阀值从最大值依次减小为每个样本大小,即依次将每个样本划分为正例,设前一个坐标为(x,y),若当前样本预测为真正例,因为TP+FN始终等于m+,所以增加一个真正例即纵坐标增加1/m+,则对应坐标为(x, y+1/m+),同理若为假正例,对应坐标为(x+1/m-, y),然后用线段将相邻点依次相连就形成了ROC曲线


AUC为ROC曲线下的面积,AUC越大性能越好。


排序损失定义为:


正例的预测值小于反例,记一个罚分,正例等于反例记0.5个罚分。



4、代价敏感错误率与代价曲线

解决不同类型的错误造成不同的后果,衍生出了代价敏感错误率。


代价敏感错误率为:


cost01大于cost10,0类判别为1类所造成的损失更大;

正例概率代价为:


其中p是样例为正例的概率;归一化代价:




四、比较检验

先使用某种实验评估方法测得学习器的某个性能度量结果,然后对结果进行比较。但是这个比较不是简单的比较过程,第一、我们希望比较的是泛化性能,泛化性能与测试集性能未必相等;第二、测试集的性能与选择有关;第三、很多机器学习算法本身有一定的随机性。

1、假设验证

简单的介绍一下假设验证,以抛硬币为例,如果我们想通过硬币来进行赌博,但我们不知道硬币是否是正常的,也就是说不知道对方有没有在硬币上做手脚让自己获胜的概率大一些,但是对方又不答应将硬币给我们检查,该如何判断硬币是否正常呢?我们可以假设硬币没有问题,然后进行试抛,如果抛一次是正面,概率为0.5,不足以证明硬币有无问题,抛两次都是正面,概率为0.25,也不足以说明;但是如果抛10次,全部都为正面,概率为0.5的10次方,我们就有一定的把我说这个硬币是有问题的。

首先根据测试错误率估推出泛化错误率的分布。泛化错误率为ε的学习器被测得测试错误率为ε的概率:


进行假设验证,1-α为置信度


若测试错误率小于临界错误率,则得出结论:在α显著度下,假设成立,即能以1-α的置信度认为,学习器的泛化错误率不大于ε0


2、t检验

如果有多个测试错误率,则可以用t检验,平均测试错误率和方差为:



对假设和显著度α可以计算最大错误率,即临界值。在临界范围内假设成立,否则假设不成立。

交叉t检验:


5X2交叉验证:



3、McNemar检验


4、Friedman检验与Nemenyi后续检验

若在同一组数据集上对多个算法进行比较,则可使用该检验


五、偏差与方差:

学习算法的期望预测为:


方差:


噪声:


偏差:





《机器学习(周志华)》Chapter2 模型评估与选择 课后习题答案


参考网址:

假设检验
https://www.zhihu.com/question/23149768/answer/282842210
t检验
https://www.zhihu.com/question/30753175?sort=created

置信区间
https://www.zhihu.com/question/26419030/answer/274472266
95%置信区间
https://www.zhihu.com/question/23149768/answer/282842210
正态分布和t分布:
https://wenku.baidu.com/view/638df78c84868762caaed5fc.html

这篇关于《机器学习(周志华)》Chapter2 模型评估与选择的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/961722

相关文章

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Java进阶学习之如何开启远程调式

《Java进阶学习之如何开启远程调式》Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,:本文主要介绍Java进阶学习之如何开启远程调式的相关资料,需要的朋友... 目录概述Java远程调试的开启与底层原理开启Java远程调试底层原理JVM参数总结&nbsMbKKXJx

基于Python实现多语言朗读与单词选择测验

《基于Python实现多语言朗读与单词选择测验》在数字化教育日益普及的今天,开发一款能够支持多语言朗读和单词选择测验的程序,对于语言学习者来说无疑是一个巨大的福音,下面我们就来用Python实现一个这... 目录一、项目概述二、环境准备三、实现朗读功能四、实现单词选择测验五、创建图形用户界面六、运行程序七、

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo

SpringBoot快速接入OpenAI大模型的方法(JDK8)

《SpringBoot快速接入OpenAI大模型的方法(JDK8)》本文介绍了如何使用AI4J快速接入OpenAI大模型,并展示了如何实现流式与非流式的输出,以及对函数调用的使用,AI4J支持JDK8... 目录使用AI4J快速接入OpenAI大模型介绍AI4J-github快速使用创建SpringBoot

前端知识点之Javascript选择输入框confirm用法

《前端知识点之Javascript选择输入框confirm用法》:本文主要介绍JavaScript中的confirm方法的基本用法、功能特点、注意事项及常见用途,文中通过代码介绍的非常详细,对大家... 目录1. 基本用法2. 功能特点①阻塞行为:confirm 对话框会阻塞脚本的执行,直到用户作出选择。②

0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

《0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeekR1模型的操作流程》DeepSeekR1模型凭借其强大的自然语言处理能力,在未来具有广阔的应用前景,有望在多个领域发... 目录0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型,3步搞定一个应

Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

《DeepseekR1模型本地化部署+API接口调用详细教程(释放AI生产力)》本文介绍了本地部署DeepSeekR1模型和通过API调用将其集成到VSCode中的过程,作者详细步骤展示了如何下载和... 目录前言一、deepseek R1模型与chatGPT o1系列模型对比二、本地部署步骤1.安装oll

Java深度学习库DJL实现Python的NumPy方式

《Java深度学习库DJL实现Python的NumPy方式》本文介绍了DJL库的背景和基本功能,包括NDArray的创建、数学运算、数据获取和设置等,同时,还展示了如何使用NDArray进行数据预处理... 目录1 NDArray 的背景介绍1.1 架构2 JavaDJL使用2.1 安装DJL2.2 基本操