【结构化机器学习项目】Lesson 1--机器学习策略1

2023-12-24 23:48

本文主要是介绍【结构化机器学习项目】Lesson 1--机器学习策略1,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

课程来源:吴恩达 深度学习课程 《结构化机器学习项目》
笔记整理:王小草
时间:2018年6月1日


为什么我们需要使用机器学习策略?因为机器学习策略可以帮助我们在正确的方向上优化模型。

本文主要分成4部分,
第一部分介绍一下什么是正交化;
第二部分介绍监督模型的评价指标;
第三部分介绍训练集/开发集/测试集的划分;
第四部分比较模型与人的表现。

这些都是一些机器学习模型训练过程中的细节注意点,能帮助你有效地进行模型的训练与优化,从而事半功倍。

1.orthogonalization(正交化)

牛逼的机器学习大神们需要具备的基本特点是,他们清晰地知道,为了实现某个效果,需要去调整什么东东。这个步骤称之为正交化(orthogonalization)。

一个表现好的有监督系统需要在以下4个维度上确保:
(1)至少要在training set上表现优秀
否则应采取措施:增加训练集/更换更好的算法

(2)也要在dev set上表现优秀
否则应采取措施:增大训练集/正则化

(3)也要在test set上表现优秀
否则应采取措施:改变开发集或成本函数

(4)在真实世界的数据上表现优秀

  • 表现优秀不优秀需要事先确定一个评估模型的指标。
  • 不建议采用early stoping来防止过拟合,这样会影响训练集的拟合

2.evaluation metric(评估指标)

2.1 single number evaluation metric(单一数字评估指标)

为了评估模型的表现,需要确定一个评估指标,来快速地告诉你,当前模型到底还是比你上一个模型更好了还是更差了。

2.1.1 常用指标

在分类模型中,常用的指标如下:
(1)recall
真实正例有多少比例被模型也预测为正例了。

(2)precision
预测的正例中有多少比例是真实的正例。

(3)F1 score
recall与precision是需要权衡,在recall上表现好,可能在precision上表现就差了,为了可以统一评估这两个指标,可以使用F1 score.
计算公式如下:

F1_score = 2 / (1/precision + 1/recall)
2.1.2 如何评估

使用训练集训练好模型之后,用模型预测dev set的样本,并计算以上指标在sev set上的表现来评估模型。

这篇关于【结构化机器学习项目】Lesson 1--机器学习策略1的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/533552

相关文章

一文教你如何将maven项目转成web项目

《一文教你如何将maven项目转成web项目》在软件开发过程中,有时我们需要将一个普通的Maven项目转换为Web项目,以便能够部署到Web容器中运行,本文将详细介绍如何通过简单的步骤完成这一转换过程... 目录准备工作步骤一:修改​​pom.XML​​1.1 添加​​packaging​​标签1.2 添加

tomcat多实例部署的项目实践

《tomcat多实例部署的项目实践》Tomcat多实例是指在一台设备上运行多个Tomcat服务,这些Tomcat相互独立,本文主要介绍了tomcat多实例部署的项目实践,具有一定的参考价值,感兴趣的可... 目录1.创建项目目录,测试文China编程件2js.创建实例的安装目录3.准备实例的配置文件4.编辑实例的

springboot集成Deepseek4j的项目实践

《springboot集成Deepseek4j的项目实践》本文主要介绍了springboot集成Deepseek4j的项目实践,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价... 目录Deepseek4j快速开始Maven 依js赖基础配置基础使用示例1. 流式返回示例2. 进阶

SpringBoot项目启动报错"找不到或无法加载主类"的解决方法

《SpringBoot项目启动报错找不到或无法加载主类的解决方法》在使用IntelliJIDEA开发基于SpringBoot框架的Java程序时,可能会出现找不到或无法加载主类com.example.... 目录一、问题描述二、排查过程三、解决方案一、问题描述在使用 IntelliJ IDEA 开发基于

SpringBoot项目使用MDC给日志增加唯一标识的实现步骤

《SpringBoot项目使用MDC给日志增加唯一标识的实现步骤》本文介绍了如何在SpringBoot项目中使用MDC(MappedDiagnosticContext)为日志增加唯一标识,以便于日... 目录【Java】SpringBoot项目使用MDC给日志增加唯一标识,方便日志追踪1.日志效果2.实现步

Ubuntu中Nginx虚拟主机设置的项目实践

《Ubuntu中Nginx虚拟主机设置的项目实践》通过配置虚拟主机,可以在同一台服务器上运行多个独立的网站,本文主要介绍了Ubuntu中Nginx虚拟主机设置的项目实践,具有一定的参考价值,感兴趣的可... 目录简介安装 Nginx创建虚拟主机1. 创建网站目录2. 创建默认索引文件3. 配置 Nginx4

Java进阶学习之如何开启远程调式

《Java进阶学习之如何开启远程调式》Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,:本文主要介绍Java进阶学习之如何开启远程调式的相关资料,需要的朋友... 目录概述Java远程调试的开启与底层原理开启Java远程调试底层原理JVM参数总结&nbsMbKKXJx

SpringBoot项目启动错误:找不到或无法加载主类的几种解决方法

《SpringBoot项目启动错误:找不到或无法加载主类的几种解决方法》本文主要介绍了SpringBoot项目启动错误:找不到或无法加载主类的几种解决方法,具有一定的参考价值,感兴趣的可以了解一下... 目录方法1:更改IDE配置方法2:在Eclipse中清理项目方法3:使用Maven命令行在开发Sprin

Nginx实现高并发的项目实践

《Nginx实现高并发的项目实践》本文主要介绍了Nginx实现高并发的项目实践,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录使用最新稳定版本的Nginx合理配置工作进程(workers)配置工作进程连接数(worker_co

Vue项目的甘特图组件之dhtmlx-gantt使用教程和实现效果展示(推荐)

《Vue项目的甘特图组件之dhtmlx-gantt使用教程和实现效果展示(推荐)》文章介绍了如何使用dhtmlx-gantt组件来实现公司的甘特图需求,并提供了一个简单的Vue组件示例,文章还分享了一... 目录一、首先 npm 安装插件二、创建一个vue组件三、业务页面内 引用自定义组件:四、dhtmlx