吴恩达2022机器学习专项课程C2W3:实验Lab_01模型评估与选择

本文主要是介绍吴恩达2022机器学习专项课程C2W3:实验Lab_01模型评估与选择,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

这里写目录标题

  • 导入模块与实验环境配置
  • 回归
    • 1.构建并可视化数据集
    • 2.分割数据集
    • 3.重新绘制数据集
    • 3.特征缩放
    • 4.评估模型:计算训练集的误差
    • 5.评估模型:计算交叉验证集的误差
  • 添加多项式
    • 1.构建多项式特征集
    • 2.缩放特征
    • 3.使用标准化的计训练集和交叉验证集,计算它们的均方误差
    • 4.整合代码
    • 5.选择模型
    • 6.使用测试集检测泛化
  • 神经网络
    • 1.特征缩放
    • 2.构建和训练模型
  • 分类
    • 1.加载数据集
    • 2.划分数据集
    • 3.评估分类的误差
    • 4.构建和训练模型
  • 总结

导入模块与实验环境配置

首先,您将导入此实验室中所需的软件包。我们还包含了一些命令,以通过减少冗长和抑制非关键警告使后续输出更易读。
在这里插入图片描述

回归

1.构建并可视化数据集

为回归问题开发一个模型,首先构建数据集并可视化。
在这里插入图片描述
可视化数据集。在这里插入图片描述

2.分割数据集

将数据集分为训练集,交叉验证集,测试集。Scikit-learn提供了train_test_split函数,可以将数据集划分为训练集、交叉验证集和测试集。数据划分比例:60%数据用于训练集。20%数据用于交叉验证集。20%数据用于测试集。
在这里插入图片描述

3.重新绘制数据集

看看哪些点被用作训练、交叉验证或测试数据
在这里插入图片描述

3.特征缩放

(1)概述:特征缩放有助于加快模型收敛速度,特别是在输入特征具有不同数值范围时。在后续实验中,加入多项式项会使得输入特征范围更加广泛,例如 x 从 1600 到 3600,x^2从2.56百万到12.96百万。
(2)代码解释:StandardScaler()是一个特征缩放的类,这个类对象scaler_linear调用fit_transform方法计算 x_train训练集的均值和标准差,然后对数据进行标准化处理,返回标准化后的训练数据 X_train_scaled。在这里插入图片描述
能够看到x的范围缩小了,范围在-1.5和2之间。
在这里插入图片描述

初始化线性回归模型并使用标准化后的训练数据来训练模型。在这里插入图片描述

4.评估模型:计算训练集的误差

两种方式计算误差:使用 scikit-learn 提供的 mean_squared_error 函数和手动实现的 for 循环。过程就是先通过标准化后的训练集计算预测值,然后将预测值,真实值传入mean_squared_error,标准化后的训练集误差为406。
在这里插入图片描述

5.评估模型:计算交叉验证集的误差

(1)概述:使用 z-score 标准化时要使用训练集的均值和标准差对交叉验证集进行标准化,不能使用交叉验证集自身的均值和标准差,这样预测不会出错。在对交叉验证集进行标准化时,应使用 StandardScalertransform() 方法,而不是 fit_transform() 方法。 fit_transform() 计算的是交叉验证集的均值和标准差,使用transform() 用计算好的均值和标准差对验证集数据进行标准化。

(2)代码解释:使用训练集的实例对象scaler_linear调用 transform() ,这样就是使用训练集的均值和标准差计算验证集的标准化。然后使用训练好的线性回归模型对标准化后的交叉验证集 X_cv_scaled 进行预测,结果存储在 yhat 中。交叉验证集的误差为551。在这里插入图片描述

添加多项式

使用直线模型可能不合适,因为 y 在 x 增加时趋于平缓。建议尝试添加多项式特征以改善模型性能,虽然代码大部分不变,但会增加一些预处理步骤。在这里插入图片描述

1.构建多项式特征集

首先实例化 PolynomialFeatures类,对象poly,将训练集的平方值添加为新特征。然后用poly.fit_transform对训练集进行转换,生成包含原始特征和其平方的新训练集。最后,预览新训练集的前5个元素,展示每个样本的原始特征和平方特征。左侧是原始特征x的值,有右侧是x平方特征。
在这里插入图片描述

2.缩放特征

在这里插入图片描述

3.使用标准化的计训练集和交叉验证集,计算它们的均方误差

初始化回归模型,用标准化后的训练集训练模型,计算并打印训练集的均方误差(MSE),使用训练集的实例化对象poly,对交叉验证集添加多项式特征,因此不用fit_transform,直接transform。然后用scaler_poly标准化处理数据,同样用训练集的scaler_poly标准化对象。训练集的误差为49,交叉验证集的误差为87。在这里插入图片描述

4.整合代码

你会注意到,当你添加二阶多项式时,训练集和交叉验证集的均方误差(MSE)显著改善。你可能希望引入更多的多项式项,看看哪一个能提供最佳性能。如课堂上所示,你可以这样创建10个不同的模型:在这里插入图片描述
您可以创建一个循环,该循环包含之前代码单元格中的所有步骤。以下是一个实现方式,它会添加直至次数为10的多项式特征。我们将在最后进行绘图,以便于比较每个模型的结果。

代码解释:实例化多项式类对象poly和标准化类对象scaler_poly,在给训练集标准化处理时,方法都是fit_transform。然后同样的过程处理交叉验证集,就只用同样的对象调用transform。这样做的目的就是训练集和交叉验证集使用同一套标准化数据,防止预测出错。
在这里插入图片描述
代码输出:X轴表示多项式的阶数,从1到10。Y轴表示均方误差(MSE)。红色线条表示训练集的均方误差,蓝色线条表示交叉验证集的均方误差。低阶多项式(1到2):

均方误差大幅下降,模型性能显著改善。
中阶多项式(3到5):

训练集和交叉验证集的误差趋于平稳,模型在这一区间可能达到最佳性能。
高阶多项式(6到10):

训练集误差继续保持较低水平,但交叉验证集误差开始增加,表明模型开始过拟合训练数据,对新数据的泛化能力变差。
在这里插入图片描述

5.选择模型

np.argmin(cv_mses) 返回列表 cv_mses 中最小值的索引,这个索引对应于交叉验证均方误差(CV MSE)最小的模型。
+1 是因为多项式阶数从1开始,而列表索引从0开始,所以需要加1来得到实际的多项式阶数。
在这里插入图片描述

6.使用测试集检测泛化

您可以通过计算测试集的均方误差(MSE)来公布模型的泛化误差。像往常一样,您应该以与训练集和交叉验证集相同的方式对测试数据进行转换。
在这里插入图片描述

神经网络

模型选择的过程也适用于选择不同架构的神经网络。由于神经网络可以学习非线性关系,因此不用添加多项式,因此还是使用原来的x_train,x_cv,x_test,degree设置为1表示保留原始特征,因此前后转换的内容一致,这里是为了方便以后自行查看多项式而保留的代码。
在这里插入图片描述

1.特征缩放

请注意,在交叉验证集和测试集中,使用的是从训练集中计算的均值和标准差,只需使用 transform(),而不是 fit_transform()。
在这里插入图片描述

2.构建和训练模型

构建模型的代码
在这里插入图片描述
遍历构建的3个模型,对每个模型如下操作:编译并使用特征缩放后的训练集训练模型,然后使用模型计算训练集的预测值和交叉验证集的预测值,在调用mean_squared_error计算两个集的均方误差,最后打印每个模型训练集的均方误差。
在这里插入图片描述
在这里插入图片描述
我们可以通过训练集和交叉验证集的均方误差大小,来选择模型,然后通过测试集检测模型的泛化能力,实验中的意思是它选择了模型3,然后问你是否同意这个选择,结果自然是模型3不够好,误差太大,泛化能力太弱。
在这里插入图片描述

分类

分类任务中进行模型评估和选择。过程将类似,主要区别在于误差的计算。

1.加载数据集

训练样本200个,特征2个。加载一个用于二元分类任务的数据集。
在这里插入图片描述
可视化数据集
在这里插入图片描述

2.划分数据集

和之前的方式一致,使用train_test_split将数据集划分训练集,交叉验证集,测试集。
在这里插入图片描述

3.评估分类的误差

(1)概述:在之前关于回归模型的部分,您使用均方误差来衡量模型的表现。在分类任务中,您可以通过计算模型错误分类的数据比例来得到类似的度量。例如,如果您的模型在5个样本中做出了2个错误预测,那么您将报告 40% 或 0.4 的误差。
(2)代码解释:代码举了一个简单的例子,用5个数和阈值,假设了预测值,例如[0.2, 0.6, 0.7, 0.3, 0.8]的预测值为[0,1,1,0,1],然后又列出了真实值[1,1,1,1,1],对比这两个数组,如果不一致,则错误累加1,最终用累加的错误/预测数量,即为错误分类比例。比例越高,表示模型分类误差越大。
在这里插入图片描述

4.构建和训练模型

(1)概述:这里正式开始构建模型,为了减少误差(上周的改良softmax代码的内容),模型的输出层使用 linear 激活函数(而不是 sigmoid),然后在声明模型的损失函数时设置 from_logits=True。由于这是一个二元分类问题,将使用 binary crossentropy loss。训练后,您将使用 sigmoid函数将模型输出转换为概率。然后,您可以设置一个阈值,并从训练集和交叉验证集中获得错误分类示例的比例。
(2)代码解释:步骤基本上都是一致的,只是预测的步骤多了一个tf.math.sigmoid,意思是把模型输出转换成概率,因为输出层使用linear,因此我们要转换输出值。
在这里插入图片描述
在这里插入图片描述
从上面的输出中,您可以选择表现最好的模型。如果交叉验证集上的错误相同,那么可以选择训练集错误较低的模型。这里选择模型2并计算它的测试集误差。
在这里插入图片描述

总结

本篇实验只是描述了回归问题,分类问题,以及神经网络如何使用训练集,交叉验证集,测试集,然后通过交叉验证集误差选择模型,通过测试集误差评估模型,下一篇会详细描述当发现模型的这种误差时,应该如何解决。

这篇关于吴恩达2022机器学习专项课程C2W3:实验Lab_01模型评估与选择的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1054513

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

如何选择适合孤独症兄妹的学校?

在探索适合孤独症儿童教育的道路上,每一位家长都面临着前所未有的挑战与抉择。当这份责任落在拥有孤独症兄妹的家庭肩上时,选择一所能够同时满足两个孩子特殊需求的学校,更显得尤为关键。本文将探讨如何为这样的家庭做出明智的选择,并介绍星贝育园自闭症儿童寄宿制学校作为一个值得考虑的选项。 理解孤独症儿童的独特性 孤独症,这一复杂的神经发育障碍,影响着儿童的社交互动、沟通能力以及行为模式。对于拥有孤独症兄

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

C#实战|大乐透选号器[6]:实现实时显示已选择的红蓝球数量

哈喽,你好啊,我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记,这是第6篇; 接下来实现实时显示当前选中红球数量,蓝球数量; 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时,在对应的位置显示实时已选择的红球、蓝球的数量; 02 标签名称 分别设置Label标签名称为:lblRedCount、lblBlueCount

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了