CS231n作业笔记2.5:dropout的实现与应用

2023-12-15 23:38

本文主要是介绍CS231n作业笔记2.5:dropout的实现与应用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

CS231n简介

详见 CS231n课程笔记1:Introduction。
本文都是作者自己的思考,正确性未经过验证,欢迎指教。

作业笔记

dropout中唯一需要注意的就是为了平衡train与test,通过除以期望值即可。

1. 前向传播

  if mode == 'train':mask = (np.random.rand(*x.shape)<p)out = x*mask / pelif mode == 'test':out = xmask = np.ones_like(x)

2. 后向传播

  if mode == 'train':dx = dout * mask / dropout_param['p']elif mode == 'test':dx = doutreturn dx

3. 应用:带dropout的多层神经网络

在每一层ReLU后接一层dropout即可。关于多层神经网络的实现,请参考CS231n作业笔记2.4:Batchnorm的实现与使用。

    cache = {}hidden_value = Nonehidden_value,cache['fc1'] = affine_forward(X,self.params['W1'],self.params['b1'])if self.use_batchnorm:hidden_value,cache['bn1'] = batchnorm_forward(hidden_value, self.params['gamma1'], self.params['beta1'], self.bn_params[0])hidden_value,cache['relu1'] = relu_forward(hidden_value)if self.use_dropout:hidden_value, cache['drop1'] = dropout_forward(hidden_value,self.dropout_param)for index in range(2,self.num_layers):hidden_value,cache['fc'+str(index)] = affine_forward(hidden_value,self.params['W'+str(index)],self.params['b'+str(index)])if self.use_batchnorm:hidden_value,cache['bn'+str(index)] = batchnorm_forward(hidden_value,  self.params['gamma'+str(index)], self.params['beta'+str(index)], self.bn_params[index-1])hidden_value,cache['relu'+str(index)] = relu_forward(hidden_value)if self.use_dropout:hidden_value, cache['drop'+str(index)] = dropout_forward(hidden_value,self.dropout_param)scores,cache['score'] = affine_forward(hidden_value,self.params['W'+str(self.num_layers)],self.params['b'+str(self.num_layers)])# If test mode return earlyif mode == 'test':return scoresloss, grads = 0.0, {}loss,dscores = softmax_loss(scores,y)for index in range(1,self.num_layers+1):loss += 0.5*self.reg*np.sum(self.params['W'+str(index)]**2)dhidden_value,grads['W'+str(self.num_layers)],grads['b'+str(self.num_layers)] = affine_backward(dscores,cache['score'])for index in range(self.num_layers-1,1,-1):if (self.use_dropout):dhidden_value = dropout_backward(dhidden_value, cache['drop'+str(index)])dhidden_value = relu_backward(dhidden_value,cache['relu'+str(index)])if self.use_batchnorm:dhidden_value, grads['gamma'+str(index)], grads['beta'+str(index)] = batchnorm_backward(dhidden_value, cache['bn'+str(index)])dhidden_value,grads['W'+str(index)],grads['b'+str(index)] = affine_backward(dhidden_value,cache['fc'+str(index)])if (self.use_dropout):dhidden_value = dropout_backward(dhidden_value, cache['drop1'])dhidden_value = relu_backward(dhidden_value,cache['relu1'])if self.use_batchnorm:dhidden_value, grads['gamma1'], grads['beta1'] = batchnorm_backward(dhidden_value, cache['bn1'])dhidden_value,grads['W1'],grads['b1'] = affine_backward(dhidden_value,cache['fc1'])for index in range(1,self.num_layers+1):grads['W'+str(index)] += self.reg * self.params['W'+str(index)] 

这篇关于CS231n作业笔记2.5:dropout的实现与应用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/498324

相关文章

Python实现终端清屏的几种方式详解

《Python实现终端清屏的几种方式详解》在使用Python进行终端交互式编程时,我们经常需要清空当前终端屏幕的内容,本文为大家整理了几种常见的实现方法,有需要的小伙伴可以参考下... 目录方法一:使用 `os` 模块调用系统命令方法二:使用 `subprocess` 模块执行命令方法三:打印多个换行符模拟

SpringBoot+EasyPOI轻松实现Excel和Word导出PDF

《SpringBoot+EasyPOI轻松实现Excel和Word导出PDF》在企业级开发中,将Excel和Word文档导出为PDF是常见需求,本文将结合​​EasyPOI和​​Aspose系列工具实... 目录一、环境准备与依赖配置1.1 方案选型1.2 依赖配置(商业库方案)二、Excel 导出 PDF

Python实现MQTT通信的示例代码

《Python实现MQTT通信的示例代码》本文主要介绍了Python实现MQTT通信的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录1. 安装paho-mqtt库‌2. 搭建MQTT代理服务器(Broker)‌‌3. pytho

使用zip4j实现Java中的ZIP文件加密压缩的操作方法

《使用zip4j实现Java中的ZIP文件加密压缩的操作方法》本文介绍如何通过Maven集成zip4j1.3.2库创建带密码保护的ZIP文件,涵盖依赖配置、代码示例及加密原理,确保数据安全性,感兴趣的... 目录1. zip4j库介绍和版本1.1 zip4j库概述1.2 zip4j的版本演变1.3 zip4

python生成随机唯一id的几种实现方法

《python生成随机唯一id的几种实现方法》在Python中生成随机唯一ID有多种方法,根据不同的需求场景可以选择最适合的方案,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习... 目录方法 1:使用 UUID 模块(推荐)方法 2:使用 Secrets 模块(安全敏感场景)方法

Redis中Stream详解及应用小结

《Redis中Stream详解及应用小结》RedisStreams是Redis5.0引入的新功能,提供了一种类似于传统消息队列的机制,但具有更高的灵活性和可扩展性,本文给大家介绍Redis中Strea... 目录1. Redis Stream 概述2. Redis Stream 的基本操作2.1. XADD

Spring StateMachine实现状态机使用示例详解

《SpringStateMachine实现状态机使用示例详解》本文介绍SpringStateMachine实现状态机的步骤,包括依赖导入、枚举定义、状态转移规则配置、上下文管理及服务调用示例,重点解... 目录什么是状态机使用示例什么是状态机状态机是计算机科学中的​​核心建模工具​​,用于描述对象在其生命

Spring Boot 结合 WxJava 实现文章上传微信公众号草稿箱与群发

《SpringBoot结合WxJava实现文章上传微信公众号草稿箱与群发》本文将详细介绍如何使用SpringBoot框架结合WxJava开发工具包,实现文章上传到微信公众号草稿箱以及群发功能,... 目录一、项目环境准备1.1 开发环境1.2 微信公众号准备二、Spring Boot 项目搭建2.1 创建

IntelliJ IDEA2025创建SpringBoot项目的实现步骤

《IntelliJIDEA2025创建SpringBoot项目的实现步骤》本文主要介绍了IntelliJIDEA2025创建SpringBoot项目的实现步骤,文中通过示例代码介绍的非常详细,对大家... 目录一、创建 Spring Boot 项目1. 新建项目2. 基础配置3. 选择依赖4. 生成项目5.

JSONArray在Java中的应用操作实例

《JSONArray在Java中的应用操作实例》JSONArray是org.json库用于处理JSON数组的类,可将Java对象(Map/List)转换为JSON格式,提供增删改查等操作,适用于前后端... 目录1. jsONArray定义与功能1.1 JSONArray概念阐释1.1.1 什么是JSONA