吴恩达机器学习课后作业-05偏差与方差

2024-08-25 05:36
文章标签 学习 机器 05 作业 课后 吴恩达 方差 偏差

本文主要是介绍吴恩达机器学习课后作业-05偏差与方差，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

偏差与方差

  • 题目
  • 欠拟合
  • 改进欠拟合
    • 影响偏差和方差因素
    • 训练集拟合情况
    • 训练集和测试集代价函数
    • 选择最优lamda
  • 整体代码

在这里插入图片描述

训练集:训练模型

·验证集︰模型选择，模型的最终优化

·测试集:利用训练好的模型测试其泛化能力


#训练集
x_train,y_train = data['X'],data[ 'y']#验证集
x_val,y_val = data['Xval'],data[ 'yval']
x_val.shape,y_val.shape#测试集
x_test,y_test = data['Xtest'],data[ 'ytest']
x_test.shape,y_test.shape

题目

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

def reg_cost(theta,x,y,lamda):cost=np.sum(np.power(x@theta-y.flatten(),2))reg=theta[1:]@theta[1:]*lamdareturn (cost+reg)/(2*len(x))def reg_gradient(theta,x,y,lamda):grad=(x@theta-y.flatten())@xreg=lamda*thetareg[0]=0return (grad+reg)/(len(x))def train_mode(x,y,lamda):theta=np.ones(x.shape[1])res=minimize(fun=reg_cost,x0=theta,args=(x,y,lamda),method='TNC',jac=reg_gradient)return res.x

欠拟合

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述


"""
训练样本从1开始递增进行训练
比较训练集和验证集上的损失函数的变化情况
"""
def plot_learning_curve(x_train,y_train,x_val,y_val,lamda):x= range(1,len(x_train)+1)training_cost =[]cv_cost =[]for i in x:res = train_mode(x_train[:i,:],y_train[:i,:],lamda)training_cost_i = reg_cost(res,x_train[:i,:],y_train[:i,:],lamda)cv_cost_i = reg_cost(res,x_val,y_val,lamda)training_cost.append(training_cost_i)cv_cost.append(cv_cost_i)plt.plot(x,training_cost,label = 'training cost')plt.plot(x,cv_cost,label = 'cv cost')plt.legend()plt.xlabel("number of training examples")plt.ylabel("error")plt.show()

改进欠拟合

影响偏差和方差因素

在这里插入图片描述
在这里插入图片描述


"""
任务:构造多项式特征，进行多项式回归
"""def poly_feature(x, power):for i in range(2, power + 1):x= np.insert(x, x.shape[1], np.power(x[:, 1], i), axis = 1)return x
"""
归一化
"""
def get_means_stds(x):means = np.mean(x, axis=0)stds = np.std(x, axis=0)return means, stds
def feature_normalize(x,means,stds):x [:,1:]=(x[:,1:] - means[1:,])/stds[1:]return xpower=6
x_train_poly=poly_feature(x_train,power)
x_val_poly=poly_feature(x_val,power)
x_test_poly=poly_feature(x_test,power)
train_means,train_stds=get_means_stds(x_train_poly)
x_train_norm=feature_normalize(x_train_poly,train_means,train_stds)
x_val_norm=feature_normalize(x_val_poly,train_means,train_stds)
x_test_norm=feature_normalize(x_test_poly,train_means,train_stds)
theta_fit=train_mode(x_train_norm,y_train,lamda =0)

训练集拟合情况

"""
训练集
绘制数据集和拟合函数
"""
def plot_poly_fit():plot_data()x = np.linspace(-60,60,100)xx= x.reshape(100,1)xx= np.insert(xx,0,1,axis=1)xx= poly_feature(xx,power)xx= feature_normalize(xx,train_means,train_stds)plt.plot(x,xx@theta_fit,'r--')

在这里插入图片描述

训练集和测试集代价函数

plot_learning_curve(x_train_norm,y_train, x_val_norm, y_val, lamda=0)
此时lamda=0没有加入正则化

在这里插入图片描述
可以看出是高方差，过拟合了，此时lamda=0没有加入正则化
加入正则化如下

plot_learning_curve(x_train_norm,y_train, x_val_norm, y_val, lamda=1)

在这里插入图片描述
此时训练集误差增大，验证集误差减小了
但是lamda不能过大了，如下

plot_learning_curve(x_train_norm,y_train, x_val_norm, y_val, lamda=100)

在这里插入图片描述

选择最优lamda

lamdas=[0,0.001,0.003,0.01,0.03,0.1,0.3,1,2,3,10]
training_cost =[]
cv_cost =[]
for lamda in lamdas:res = train_mode(x_train_norm,y_train,lamda)tc = reg_cost(res,x_train_norm,y_train,lamda=0)cv = reg_cost(res,x_val_norm,y_val,lamda=0)training_cost.append(tc)cv_cost.append(cv)
plt.plot(lamdas,training_cost,label="training cost")
plt.plot(lamdas,cv_cost,label="cv cos")
plt.legend()
plt.show()

在这里插入图片描述

l=lamdas[np.argmin(cv_cost)]#寻找最优lamda
print(l)
res = train_mode(x_train_norm,y_train,lamda =l)
test_cost = reg_cost(res,x_test_norm,y_test,lamda = 0)
print(test_cost)

整体代码

import numpy as np
import matplotlib.pyplot as plt
import scipy.io as sio
from scipy.optimize import minimizedef plot_data():fig,ax = plt.subplots()ax.scatter(x_train[:,1],y_train)ax.set(xlabel = "change in water level(x)",ylabel = 'water flowing out og the dam(y)')def reg_cost(theta,x,y,lamda):cost=np.sum(np.power(x@theta-y.flatten(),2))reg=theta[1:]@theta[1:]*lamdareturn (cost+reg)/(2*len(x))
def reg_gradient(theta,x,y,lamda):grad=(x@theta-y.flatten())@xreg=lamda*thetareg[0]=0return (grad+reg)/(len(x))def train_mode(x,y,lamda):theta=np.ones(x.shape[1])res=minimize(fun=reg_cost,x0=theta,args=(x,y,lamda),method='TNC',jac=reg_gradient)return res.x"""
训练样本从1开始递增进行训练
比较训练集和验证集上的损失函数的变化情况
"""
def plot_learning_curve(x_train,y_train,x_val,y_val,lamda):x= range(1,len(x_train)+1)training_cost =[]cv_cost =[]for i in x:res = train_mode(x_train[:i,:],y_train[:i,:],lamda)training_cost_i = reg_cost(res,x_train[:i,:],y_train[:i,:],lamda)cv_cost_i = reg_cost(res,x_val,y_val,lamda)training_cost.append(training_cost_i)cv_cost.append(cv_cost_i)plt.plot(x,training_cost,label = 'training cost')plt.plot(x,cv_cost,label = 'cv cost')plt.legend()plt.xlabel("number of training examples")plt.ylabel("error")plt.show()"""
任务:构造多项式特征，进行多项式回归
"""def poly_feature(x, power):for i in range(2, power + 1):x= np.insert(x, x.shape[1], np.power(x[:, 1], i), axis = 1)return x
"""
归一化
"""
def get_means_stds(x):means = np.mean(x, axis=0)stds = np.std(x, axis=0)return means, stds
def feature_normalize(x,means,stds):x [:,1:]=(x[:,1:] - means[1:,])/stds[1:]return x
"""
训练集
绘制数据集和拟合函数
"""
def plot_poly_fit():plot_data()x = np.linspace(-60,60,100)xx= x.reshape(100,1)xx= np.insert(xx,0,1,axis=1)xx= poly_feature(xx,power)xx= feature_normalize(xx,train_means,train_stds)plt.plot(x,xx@theta_fit,'r--')data=sio.loadmat("E:/学习/研究生阶段/python-learning/吴恩达机器学习课后作业/code/ex5-bias vs variance/ex5data1.mat")#训练集
x_train,y_train = data['X'],data[ 'y']#验证集
x_val,y_val = data['Xval'],data[ 'yval']
x_val.shape,y_val.shape#测试集
x_test,y_test = data['Xtest'],data[ 'ytest']
x_test.shape,y_test.shape
#
x_train = np.insert(x_train,0,1,axis=1)
x_val = np.insert(x_val,0,1,axis=1)
x_test = np.insert(x_test,0,1,axis=1)
# plot_data()
theta=np.ones(x_train.shape[1])
lamda=1
# print(reg_cost(theta,x_train,y_train,lamda))
#print(reg_gradient(theta,x_train,y_train,lamda))
# theta_final=train_mode(x_train,y_train,lamda=0)
# plot_data()
# plt.plot(x_train[:,1],x_train@theta_final,c='r')
# plt.show()#plot_learning_curve(x_train,y_train, x_val, y_val, lamda)
power=6
x_train_poly=poly_feature(x_train,power)
x_val_poly=poly_feature(x_val,power)
x_test_poly=poly_feature(x_test,power)
train_means,train_stds=get_means_stds(x_train_poly)
x_train_norm=feature_normalize(x_train_poly,train_means,train_stds)
x_val_norm=feature_normalize(x_val_poly,train_means,train_stds)
x_test_norm=feature_normalize(x_test_poly,train_means,train_stds)
theta_fit=train_mode(x_train_norm,y_train,lamda =0)
# plot_poly_fit()
#plot_learning_curve(x_train_norm,y_train, x_val_norm, y_val, lamda=100)
lamdas=[0,0.001,0.003,0.01,0.03,0.1,0.3,1,2,3,10]
training_cost =[]
cv_cost =[]
for lamda in lamdas:res = train_mode(x_train_norm,y_train,lamda)tc = reg_cost(res,x_train_norm,y_train,lamda=0)cv = reg_cost(res,x_val_norm,y_val,lamda=0)training_cost.append(tc)cv_cost.append(cv)
plt.plot(lamdas,training_cost,label="training cost")
plt.plot(lamdas,cv_cost,label="cv cos")
plt.legend()
plt.show()
l=lamdas[np.argmin(cv_cost)]#寻找最优lamda
print(l)
res = train_mode(x_train_norm,y_train,lamda =l)
test_cost = reg_cost(res,x_test_norm,y_test,lamda = 0)
print(test_cost)

这篇关于吴恩达机器学习课后作业-05偏差与方差的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1104689。

相关文章

HarmonyOS学习(七)——UI（五）常用布局总结

HarmonyOS学习(七)——UI（五）常用布局总结

自适应布局 1.1、线性布局（LinearLayout） 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列，Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距，达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式，且在各类尺寸屏幕上表现一致，其中交叉轴为垂直时，取值为Vert
阅读更多...
Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya（不是本人，claude AI）在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容： 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用
阅读更多...
作业提交过程之HDFSMapReduce

作业提交过程之HDFSMapReduce

作业提交全过程详解 （1）作业提交 第1步：Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。 第2步：Client向RM申请一个作业id。 第3步：RM给Client返回该job资源的提交路径和作业id。 第4步：Client提交jar包、切片信息和配置文件到指定的资源提交路径。 第5步：Client提交完资源后，向RM申请运行MrAp
阅读更多...
【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画（下）

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画（下）

【课程链接】 AntV G6：深入图形与图形分组、自定义节点、节点动画（下）_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中，应该怎样去计算和绘制图形，如何给一个图形制作不间断的动画，以及在鼠标事件之后产生动画。（有点难，需要好好理解） <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06
阅读更多...
学习hash总结

学习hash总结

2014/1/29/   最近刚开始学hash，名字很陌生，但是hash的思想却很熟悉，以前早就做过此类的题，但是不知道这就是hash思想而已，说白了hash就是一个映射，往往灵活利用数组的下标来实现算法，hash的作用：1、判重；2、统计次数；
阅读更多...
零基础学习Redis(10) -- zset类型命令使用

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合，内部除了存储元素外，还会存储一个score，存储在zset中的元素会按照score的大小升序排列，不同元素的score可以重复，score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]
阅读更多...
【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程（Gaussian Process，简称GP）是一种概率模型，用于描述一组随机变量的联合概率分布，其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数（或核函数） 1.3 核函数1.4 高斯过程回归（Gauss
阅读更多...
【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络（1）sklearn

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络（1）sklearn

系列文章目录 监督学习：参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归（SAheart.csv） 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学
阅读更多...
系统架构师考试学习笔记第三篇——架构设计高级知识（20）通信系统架构设计理论与实践

系统架构师考试学习笔记第三篇——架构设计高级知识（20）通信系统架构设计理论与实践

本章知识考点：         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识
阅读更多...
线性代数|机器学习-P36在图中找聚类

线性代数|机器学习-P36在图中找聚类

文章目录 1. 常见图结构2. 谱聚类 感觉后面几节课的内容跨越太大，需要补充太多的知识点，教授讲得内容跨越较大，一般一节课的内容是书本上的一章节内容，所以看视频比较吃力，需要先预习课本内容后才能够很好的理解教授讲解的知识点。 1. 常见图结构 假设我们有如下图结构： Adjacency Matrix:行和列表示的是节点的位置，A[i,j]表示的第 i 个节点和第 j 个
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2