CS231n作业笔记2.1:两层全连接神经网络的分层实现

2023-12-15 23:38

本文主要是介绍CS231n作业笔记2.1:两层全连接神经网络的分层实现,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

CS231n简介

详见 CS231n课程笔记1:Introduction。
本文都是作者自己的思考,正确性未经过验证,欢迎指教。

作业笔记

1. 神经网络的分层实现

实现全连接层+ReLU层的前向传播与后向传播。
参考资料:CS231n课程笔记4.2:神经网络结构,CS231n课程笔记4.1:反向传播BP, CS231n作业笔记1.6:神经网络的误差与梯度计算,CS231n作业笔记1.5:Softmax的误差以及梯度计算。

  1. 全连接前向传播:out = x.reshape([x.shape[0],-1]).dot(w)+b
  2. 全连接后向传播:
x, w, b = cachedx, dw, db = None, None, Nonedw = x.reshape([x.shape[0],-1]).T.dot(dout)db = np.sum(dout,axis = 0)dx = dout.dot(w.T).reshape(x.shape)
  1. ReLU的前向传播:out = x*(x>0)
  2. ReLU的后向传播:dx = dout * (x>0)

2. 两层全连接神经网络的打包实现

把上诉神经层串联起来,构造两层全连接神经网络。

2.1. 参数初始化

使用numpy.random.randn函数,用于服从标准分布的随机参数。注意:不要使用numpy.random.rand函数(用于生成[0,1)内的平均分布);也可以使用numpy.random.normal函数。

    self.params['W1'] = np.random.randn(input_dim,hidden_dim)*weight_scaleself.params['b1'] = np.zeros(hidden_dim)self.params['W2'] = np.random.randn(hidden_dim,num_classes)*weight_scaleself.params['b2'] = np.zeros(num_classes)

2.2. 计算loss以及gradient

此函数用于计算loss,以及各个参数的梯度。大致上就是把上诉两个神经层以及最后一层softmax按照一定的形式串联起来。
注意:对于全连接神经网络,bias部分不进行正则化。因为bias不与数据相乘,所以不具有控制数据各个维度对最后影响大小的作用。(然而如果归一化做的好,对bias做正则化,不会使得效果变差,原因可能是因为bias比weight的数目少太多,模型能够支持对于bias的变化以获得更好的准确率)[参考资料:Neural Networks Part 2: Setting up the Data and the Loss]

1.计算score

    scores = NoneW1,b1,W2,b2 = self.params['W1'],self.params['b1'],self.params['W2'],self.params['b2']fc1_out,fc1_cache = affine_forward(X,W1,b1)relu_out,relu_cache = relu_forward(fc1_out)fc2_out,fc2_cache = affine_forward(relu_out,W2,b2)scores = fc2_out

2.计算loss以及梯度

    loss, grads = 0, {}loss,dscores = softmax_loss(scores,y)loss += 0.5*self.reg*(np.sum(W1**2)+np.sum(W2**2))drelu_out,dW2,db2 = affine_backward(dscores,fc2_cache)dfc1_out = relu_backward(drelu_out,relu_cache)_,dW1,db1 = affine_backward(dfc1_out,fc1_cache)dW1 += self.reg*W1#db1 += self.reg*b1dW2 += self.reg*W2#db2 += self.reg*b2grads['W1'],grads['b1'],grads['W2'],grads['b2'] = dW1,db1,dW2,db2

这篇关于CS231n作业笔记2.1:两层全连接神经网络的分层实现的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/498318

相关文章

使用Python实现矢量路径的压缩、解压与可视化

《使用Python实现矢量路径的压缩、解压与可视化》在图形设计和Web开发中,矢量路径数据的高效存储与传输至关重要,本文将通过一个Python示例,展示如何将复杂的矢量路径命令序列压缩为JSON格式,... 目录引言核心功能概述1. 路径命令解析2. 路径数据压缩3. 路径数据解压4. 可视化代码实现详解1

PyQt6/PySide6中QTableView类的实现

《PyQt6/PySide6中QTableView类的实现》本文主要介绍了PyQt6/PySide6中QTableView类的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学... 目录1. 基本概念2. 创建 QTableView 实例3. QTableView 的常用属性和方法

PyQt6/PySide6中QTreeView类的实现

《PyQt6/PySide6中QTreeView类的实现》QTreeView是PyQt6或PySide6库中用于显示分层数据的控件,本文主要介绍了PyQt6/PySide6中QTreeView类的实现... 目录1. 基本概念2. 创建 QTreeView 实例3. QTreeView 的常用属性和方法属性

Android使用ImageView.ScaleType实现图片的缩放与裁剪功能

《Android使用ImageView.ScaleType实现图片的缩放与裁剪功能》ImageView是最常用的控件之一,它用于展示各种类型的图片,为了能够根据需求调整图片的显示效果,Android提... 目录什么是 ImageView.ScaleType?FIT_XYFIT_STARTFIT_CENTE

pandas中位数填充空值的实现示例

《pandas中位数填充空值的实现示例》中位数填充是一种简单而有效的方法,用于填充数据集中缺失的值,本文就来介绍一下pandas中位数填充空值的实现,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是中位数填充?为什么选择中位数填充?示例数据结果分析完整代码总结在数据分析和机器学习过程中,处理缺失数

Golang HashMap实现原理解析

《GolangHashMap实现原理解析》HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持高效的插入、查找和删除操作,:本文主要介绍GolangH... 目录HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持

Pandas使用AdaBoost进行分类的实现

《Pandas使用AdaBoost进行分类的实现》Pandas和AdaBoost分类算法,可以高效地进行数据预处理和分类任务,本文主要介绍了Pandas使用AdaBoost进行分类的实现,具有一定的参... 目录什么是 AdaBoost?使用 AdaBoost 的步骤安装必要的库步骤一:数据准备步骤二:模型

使用Pandas进行均值填充的实现

《使用Pandas进行均值填充的实现》缺失数据(NaN值)是一个常见的问题,我们可以通过多种方法来处理缺失数据,其中一种常用的方法是均值填充,本文主要介绍了使用Pandas进行均值填充的实现,感兴趣的... 目录什么是均值填充?为什么选择均值填充?均值填充的步骤实际代码示例总结在数据分析和处理过程中,缺失数

Java对象转换的实现方式汇总

《Java对象转换的实现方式汇总》:本文主要介绍Java对象转换的多种实现方式,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录Java对象转换的多种实现方式1. 手动映射(Manual Mapping)2. Builder模式3. 工具类辅助映

Go语言开发实现查询IP信息的MCP服务器

《Go语言开发实现查询IP信息的MCP服务器》随着MCP的快速普及和广泛应用,MCP服务器也层出不穷,本文将详细介绍如何在Go语言中使用go-mcp库来开发一个查询IP信息的MCP... 目录前言mcp-ip-geo 服务器目录结构说明查询 IP 信息功能实现工具实现工具管理查询单个 IP 信息工具的实现服