CNN感性认识(四)——深度学习的基本认识

2023-10-27 19:38

本文主要是介绍CNN感性认识(四)——深度学习的基本认识,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

参考资料:http://neuralnetworksanddeeplearning.com/chap6.html

一、介绍卷积神经网络(convolutional neural network)
① 感受野(local receiptive fields)
以MNITST为例,以前我们总是把神经网络的输入看成一条线,现在我们将它们看成一个28*28的方阵。
这里写图片描述
以前输入层到隐层是全连接的,现在只是某一部分输入神经元与某一部分隐层神经元连接,连接到隐层的小区域被称为感受野。
这里写图片描述
这里写图片描述
这里写图片描述
如果一个隐层神经元对应5*5的感受野,就可以得到24*24的隐层。
一般来说,感受野移动的步长是1,有时也可能取步长为2.
②共享权重和偏置
我们将令24*24的隐层神经元使用相同的偏置。
换句话说,对第j,k个隐层神经元,如前所述,感受野是5*5,输出是:
这里写图片描述
有时,我们称输入层到隐层的映射为特征映射(feature map)
将定义特征映射的权重称为共享权重(shared weight)
共享的权重和偏置用来定义核(kernal)或者滤波器(filter)
feature map不一定只有一个,1个map映射一种特征,多个map映射多种特征,产生多张隐层的方阵。
这里写图片描述
③池化层(pooling)
池化层是指,提取卷积层的输出,准备一个浓缩过的特征映射。
比如说,池化层中的每个单元浓缩2*2区域的神经元,池化的一种普遍方式是最大值池化(max-pooling),即一个pooling单元只输出2*2区域中最大的激励。
由于卷积层的输出是3层24*24,池化层就是3层12*12。
这里写图片描述
这里写图片描述
pooling层的好处是,在保留了主要信息的前提下,减少了后续层所需的参数的数目。
除了max-pooling以外,L2-pooling(取区域内所有激励的平方和开根号),ave-pooling也很常用。

在最后加上全连接层:
这里写图片描述

二、卷积神经网络的实际操作:
①使用ReLU,加上L2正则化,效果更佳;
②扩大训练数据:一个扩大训练数据的简单方法是,在每张图中替换掉一个像素,上下左右移动一个像素,可以减轻过拟合;
③插入一个额外的全连接层:配合dropout使用效果更佳;
使用这个策略,需要适当下降迭代次数(因为dropout减轻了过拟合,加快了训练速度),需要适当增加全连接层神经元的数量(因为dropout再训练时会省去一些神经元)。
④训练一个网络集合:让它们对结果投票。
⑤只对全连接层使用dropout,而不在其它层使用:因为共享权重意味着卷积滤波器必须从整张图学习,不容易过拟合,也就不需要dropout。
⑥为什么CNN的训练得以顺利进行?
使用卷积层减少了参数,使学习问题更简单;
使用更强大的正则化技术减轻过拟合;
使用ReLU而不是sigmoid激励,加速训练;
使用GPU并接受长时间的训练。
⑦网络究竟可以有多深?
resnet已经做到1000+层了。
三、其他CNN变体:
①递归神经网络(RNN,recurrent neural network)
②LSTM(long short-term memory units)
③波茨曼机(Boltzmann machines,deep belief nets,DBN)

这篇关于CNN感性认识(四)——深度学习的基本认识的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/287909

相关文章

用js控制视频播放进度基本示例代码

《用js控制视频播放进度基本示例代码》写前端的时候,很多的时候是需要支持要网页视频播放的功能,下面这篇文章主要给大家介绍了关于用js控制视频播放进度的相关资料,文中通过代码介绍的非常详细,需要的朋友可... 目录前言html部分:JavaScript部分:注意:总结前言在javascript中控制视频播放

SpringCloud动态配置注解@RefreshScope与@Component的深度解析

《SpringCloud动态配置注解@RefreshScope与@Component的深度解析》在现代微服务架构中,动态配置管理是一个关键需求,本文将为大家介绍SpringCloud中相关的注解@Re... 目录引言1. @RefreshScope 的作用与原理1.1 什么是 @RefreshScope1.

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

Redis中高并发读写性能的深度解析与优化

《Redis中高并发读写性能的深度解析与优化》Redis作为一款高性能的内存数据库,广泛应用于缓存、消息队列、实时统计等场景,本文将深入探讨Redis的读写并发能力,感兴趣的小伙伴可以了解下... 目录引言一、Redis 并发能力概述1.1 Redis 的读写性能1.2 影响 Redis 并发能力的因素二、

SpringBoot整合MybatisPlus的基本应用指南

《SpringBoot整合MybatisPlus的基本应用指南》MyBatis-Plus,简称MP,是一个MyBatis的增强工具,在MyBatis的基础上只做增强不做改变,下面小编就来和大家介绍一下... 目录一、MyBATisPlus简介二、SpringBoot整合MybatisPlus1、创建数据库和

最新Spring Security实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)

《最新SpringSecurity实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)》本章节介绍了如何通过SpringSecurity实现从配置自定义登录页面、表单登录处理逻辑的配置,并简单模拟... 目录前言改造准备开始登录页改造自定义用户名密码登陆成功失败跳转问题自定义登出前后端分离适配方案结语前言

Java进阶学习之如何开启远程调式

《Java进阶学习之如何开启远程调式》Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,:本文主要介绍Java进阶学习之如何开启远程调式的相关资料,需要的朋友... 目录概述Java远程调试的开启与底层原理开启Java远程调试底层原理JVM参数总结&nbsMbKKXJx

Redis 内存淘汰策略深度解析(最新推荐)

《Redis内存淘汰策略深度解析(最新推荐)》本文详细探讨了Redis的内存淘汰策略、实现原理、适用场景及最佳实践,介绍了八种内存淘汰策略,包括noeviction、LRU、LFU、TTL、Rand... 目录一、 内存淘汰策略概述二、内存淘汰策略详解2.1 ​noeviction(不淘汰)​2.2 ​LR

Python与DeepSeek的深度融合实战

《Python与DeepSeek的深度融合实战》Python作为最受欢迎的编程语言之一,以其简洁易读的语法、丰富的库和广泛的应用场景,成为了无数开发者的首选,而DeepSeek,作为人工智能领域的新星... 目录一、python与DeepSeek的结合优势二、模型训练1. 数据准备2. 模型架构与参数设置3

Python中多线程和多进程的基本用法详解

《Python中多线程和多进程的基本用法详解》这篇文章介绍了Python中多线程和多进程的相关知识,包括并发编程的优势,多线程和多进程的概念、适用场景、示例代码,线程池和进程池的使用,以及如何选择合适... 目录引言一、并发编程的主要优势二、python的多线程(Threading)1. 什么是多线程?2.