CS231n作业笔记2.1:两层全连接神经网络的分层实现

2023-12-15 23:38

本文主要是介绍CS231n作业笔记2.1:两层全连接神经网络的分层实现,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

CS231n简介

详见 CS231n课程笔记1:Introduction。
本文都是作者自己的思考,正确性未经过验证,欢迎指教。

作业笔记

1. 神经网络的分层实现

实现全连接层+ReLU层的前向传播与后向传播。
参考资料:CS231n课程笔记4.2:神经网络结构,CS231n课程笔记4.1:反向传播BP, CS231n作业笔记1.6:神经网络的误差与梯度计算,CS231n作业笔记1.5:Softmax的误差以及梯度计算。

  1. 全连接前向传播:out = x.reshape([x.shape[0],-1]).dot(w)+b
  2. 全连接后向传播:
x, w, b = cachedx, dw, db = None, None, Nonedw = x.reshape([x.shape[0],-1]).T.dot(dout)db = np.sum(dout,axis = 0)dx = dout.dot(w.T).reshape(x.shape)
  1. ReLU的前向传播:out = x*(x>0)
  2. ReLU的后向传播:dx = dout * (x>0)

2. 两层全连接神经网络的打包实现

把上诉神经层串联起来,构造两层全连接神经网络。

2.1. 参数初始化

使用numpy.random.randn函数,用于服从标准分布的随机参数。注意:不要使用numpy.random.rand函数(用于生成[0,1)内的平均分布);也可以使用numpy.random.normal函数。

    self.params['W1'] = np.random.randn(input_dim,hidden_dim)*weight_scaleself.params['b1'] = np.zeros(hidden_dim)self.params['W2'] = np.random.randn(hidden_dim,num_classes)*weight_scaleself.params['b2'] = np.zeros(num_classes)

2.2. 计算loss以及gradient

此函数用于计算loss,以及各个参数的梯度。大致上就是把上诉两个神经层以及最后一层softmax按照一定的形式串联起来。
注意:对于全连接神经网络,bias部分不进行正则化。因为bias不与数据相乘,所以不具有控制数据各个维度对最后影响大小的作用。(然而如果归一化做的好,对bias做正则化,不会使得效果变差,原因可能是因为bias比weight的数目少太多,模型能够支持对于bias的变化以获得更好的准确率)[参考资料:Neural Networks Part 2: Setting up the Data and the Loss]

1.计算score

    scores = NoneW1,b1,W2,b2 = self.params['W1'],self.params['b1'],self.params['W2'],self.params['b2']fc1_out,fc1_cache = affine_forward(X,W1,b1)relu_out,relu_cache = relu_forward(fc1_out)fc2_out,fc2_cache = affine_forward(relu_out,W2,b2)scores = fc2_out

2.计算loss以及梯度

    loss, grads = 0, {}loss,dscores = softmax_loss(scores,y)loss += 0.5*self.reg*(np.sum(W1**2)+np.sum(W2**2))drelu_out,dW2,db2 = affine_backward(dscores,fc2_cache)dfc1_out = relu_backward(drelu_out,relu_cache)_,dW1,db1 = affine_backward(dfc1_out,fc1_cache)dW1 += self.reg*W1#db1 += self.reg*b1dW2 += self.reg*W2#db2 += self.reg*b2grads['W1'],grads['b1'],grads['W2'],grads['b2'] = dW1,db1,dW2,db2

这篇关于CS231n作业笔记2.1:两层全连接神经网络的分层实现的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/498318

相关文章

python生成随机唯一id的几种实现方法

《python生成随机唯一id的几种实现方法》在Python中生成随机唯一ID有多种方法,根据不同的需求场景可以选择最适合的方案,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习... 目录方法 1:使用 UUID 模块(推荐)方法 2:使用 Secrets 模块(安全敏感场景)方法

Spring StateMachine实现状态机使用示例详解

《SpringStateMachine实现状态机使用示例详解》本文介绍SpringStateMachine实现状态机的步骤,包括依赖导入、枚举定义、状态转移规则配置、上下文管理及服务调用示例,重点解... 目录什么是状态机使用示例什么是状态机状态机是计算机科学中的​​核心建模工具​​,用于描述对象在其生命

Spring Boot 结合 WxJava 实现文章上传微信公众号草稿箱与群发

《SpringBoot结合WxJava实现文章上传微信公众号草稿箱与群发》本文将详细介绍如何使用SpringBoot框架结合WxJava开发工具包,实现文章上传到微信公众号草稿箱以及群发功能,... 目录一、项目环境准备1.1 开发环境1.2 微信公众号准备二、Spring Boot 项目搭建2.1 创建

IntelliJ IDEA2025创建SpringBoot项目的实现步骤

《IntelliJIDEA2025创建SpringBoot项目的实现步骤》本文主要介绍了IntelliJIDEA2025创建SpringBoot项目的实现步骤,文中通过示例代码介绍的非常详细,对大家... 目录一、创建 Spring Boot 项目1. 新建项目2. 基础配置3. 选择依赖4. 生成项目5.

C#连接SQL server数据库命令的基本步骤

《C#连接SQLserver数据库命令的基本步骤》文章讲解了连接SQLServer数据库的步骤,包括引入命名空间、构建连接字符串、使用SqlConnection和SqlCommand执行SQL操作,... 目录建议配合使用:如何下载和安装SQL server数据库-CSDN博客1. 引入必要的命名空间2.

Linux下删除乱码文件和目录的实现方式

《Linux下删除乱码文件和目录的实现方式》:本文主要介绍Linux下删除乱码文件和目录的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux下删除乱码文件和目录方法1方法2总结Linux下删除乱码文件和目录方法1使用ls -i命令找到文件或目录

SpringBoot+EasyExcel实现自定义复杂样式导入导出

《SpringBoot+EasyExcel实现自定义复杂样式导入导出》这篇文章主要为大家详细介绍了SpringBoot如何结果EasyExcel实现自定义复杂样式导入导出功能,文中的示例代码讲解详细,... 目录安装处理自定义导出复杂场景1、列不固定,动态列2、动态下拉3、自定义锁定行/列,添加密码4、合并

mybatis执行insert返回id实现详解

《mybatis执行insert返回id实现详解》MyBatis插入操作默认返回受影响行数,需通过useGeneratedKeys+keyProperty或selectKey获取主键ID,确保主键为自... 目录 两种方式获取自增 ID:1. ​​useGeneratedKeys+keyProperty(推

Spring Boot集成Druid实现数据源管理与监控的详细步骤

《SpringBoot集成Druid实现数据源管理与监控的详细步骤》本文介绍如何在SpringBoot项目中集成Druid数据库连接池,包括环境搭建、Maven依赖配置、SpringBoot配置文件... 目录1. 引言1.1 环境准备1.2 Druid介绍2. 配置Druid连接池3. 查看Druid监控

Linux在线解压jar包的实现方式

《Linux在线解压jar包的实现方式》:本文主要介绍Linux在线解压jar包的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux在线解压jar包解压 jar包的步骤总结Linux在线解压jar包在 Centos 中解压 jar 包可以使用 u