吃瓜教程——第二章(读书笔记)

2024-01-15 08:18

本文主要是介绍吃瓜教程——第二章(读书笔记),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

《机器学习》——第二章 模型评估与选择

  • 一、经验误差和过拟合
    • 1.1 经验误差和泛化误差
    • 1.2 过拟合和欠拟合
  • 二、评估方法
    • 2.1 留出法
    • 2.2 交叉验证法
    • 2.3 自助法
    • 2.4 调参与最终模型
  • 三、性能度量
    • 3.1 错误率与精度
    • 3.2查准率、查全率与 F 1 F1 F1
    • 3.3 ROC与AUC
    • 3.4 代价敏感错误率与代价曲线
  • 四、比较检验
  • 五、总结

一、经验误差和过拟合

1.1 经验误差和泛化误差

错误率公式 错误率 = 错误样本 样本总数 \text{错误率}=\frac{\text{错误样本}}{\text{样本总数}} 错误率=样本总数错误样本
精度公式 精度 = 1 − 错误率 \text{精度}=1-\text{错误率} 精度=1错误率
经验误差(训练误差):学习器在训练集上的误差
泛化误差:学习器在新样本集上的误差


1.2 过拟合和欠拟合

过拟合:学习器把训练集的样本学得太好了,可能把训练样本自身的一些特点当做了潜在样本都会具有一般的性质,导致泛化能力下降
欠拟合:对训练样本的一般性质尚未学好
周志华老师在书中举出了这样的一个例子
在这里插入图片描述


二、评估方法

由于泛化误差难以测试出,因此采用测试误差作为近似误差即
泛化误差 ≈ 测试误差 \text{泛化误差}\approx \text{测试误差} 泛化误差测试误差

2.1 留出法

直接将数据集D划分为两个互斥的集合,其中一个是训练集S,一个是测试集T,S和T满足下列关系
{ D = S ∪ T ∅ = S ∩ T \left\{ \begin{array}{c} D=S\cup T\\ \varnothing =S\cap T\\\end{array} \right. {D=ST=ST
Tip:由于数据样本容量的大小不同,对最终模型学习的结果产生一定的影响,而因为学习算法需要对数据集D进行学习,而这种方法需要对数据集D进行划分,因此通用的解法是将大概2/3~4/5的数据作为训练集,剩下来的作为测试集

2.2 交叉验证法

交叉验证法:对数据集D划分为K个大小相似的互斥子集,采用分层采样的方法,即 D = D 1 ∪ D 2 ∪ ⋯ ∪ D k ( D i ≠ D j ) D=D_1\cup D_2\cup \cdots \cup D_k\left( D_i\ne D_j \right) D=D1D2Dk(Di=Dj)
交叉验证法的流程图如下所示,
在这里插入图片描述


2.3 自助法

一句话概括就是,通过自助的方法对数据集中的数据进行等概率的放回型采用,所以样本在m次采样中始终不被采样到的概率为
lim ⁡ ( 1 − 1 m

这篇关于吃瓜教程——第二章(读书笔记)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/608243

相关文章

如何为Yarn配置国内源的详细教程

《如何为Yarn配置国内源的详细教程》在使用Yarn进行项目开发时,由于网络原因,直接使用官方源可能会导致下载速度慢或连接失败,配置国内源可以显著提高包的下载速度和稳定性,本文将详细介绍如何为Yarn... 目录一、查询当前使用的镜像源二、设置国内源1. 设置为淘宝镜像源2. 设置为其他国内源三、还原为官方

Maven的使用和配置国内源的保姆级教程

《Maven的使用和配置国内源的保姆级教程》Maven是⼀个项目管理工具,基于POM(ProjectObjectModel,项目对象模型)的概念,Maven可以通过一小段描述信息来管理项目的构建,报告... 目录1. 什么是Maven?2.创建⼀个Maven项目3.Maven 核心功能4.使用Maven H

IDEA自动生成注释模板的配置教程

《IDEA自动生成注释模板的配置教程》本文介绍了如何在IntelliJIDEA中配置类和方法的注释模板,包括自动生成项目名称、包名、日期和时间等内容,以及如何定制参数和返回值的注释格式,需要的朋友可以... 目录项目场景配置方法类注释模板定义类开头的注释步骤类注释效果方法注释模板定义方法开头的注释步骤方法注

Python虚拟环境终极(含PyCharm的使用教程)

《Python虚拟环境终极(含PyCharm的使用教程)》:本文主要介绍Python虚拟环境终极(含PyCharm的使用教程),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录一、为什么需要虚拟环境?二、虚拟环境创建方式对比三、命令行创建虚拟环境(venv)3.1 基础命令3

使用Node.js制作图片上传服务的详细教程

《使用Node.js制作图片上传服务的详细教程》在现代Web应用开发中,图片上传是一项常见且重要的功能,借助Node.js强大的生态系统,我们可以轻松搭建高效的图片上传服务,本文将深入探讨如何使用No... 目录准备工作搭建 Express 服务器配置 multer 进行图片上传处理图片上传请求完整代码示例

python连接本地SQL server详细图文教程

《python连接本地SQLserver详细图文教程》在数据分析领域,经常需要从数据库中获取数据进行分析和处理,下面:本文主要介绍python连接本地SQLserver的相关资料,文中通过代码... 目录一.设置本地账号1.新建用户2.开启双重验证3,开启TCP/IP本地服务二js.python连接实例1.

Python 安装和配置flask, flask_cors的图文教程

《Python安装和配置flask,flask_cors的图文教程》:本文主要介绍Python安装和配置flask,flask_cors的图文教程,本文通过图文并茂的形式给大家介绍的非常详细,... 目录一.python安装:二,配置环境变量,三:检查Python安装和环境变量,四:安装flask和flas

Spring Security基于数据库的ABAC属性权限模型实战开发教程

《SpringSecurity基于数据库的ABAC属性权限模型实战开发教程》:本文主要介绍SpringSecurity基于数据库的ABAC属性权限模型实战开发教程,本文给大家介绍的非常详细,对大... 目录1. 前言2. 权限决策依据RBACABAC综合对比3. 数据库表结构说明4. 实战开始5. MyBA

Ubuntu中远程连接Mysql数据库的详细图文教程

《Ubuntu中远程连接Mysql数据库的详细图文教程》Ubuntu是一个以桌面应用为主的Linux发行版操作系统,这篇文章主要为大家详细介绍了Ubuntu中远程连接Mysql数据库的详细图文教程,有... 目录1、版本2、检查有没有mysql2.1 查询是否安装了Mysql包2.2 查看Mysql版本2.

Elasticsearch 在 Java 中的使用教程

《Elasticsearch在Java中的使用教程》Elasticsearch是一个分布式搜索和分析引擎,基于ApacheLucene构建,能够实现实时数据的存储、搜索、和分析,它广泛应用于全文... 目录1. Elasticsearch 简介2. 环境准备2.1 安装 Elasticsearch2.2 J