CNN中的权值共享理解

2024-06-02 05:48
文章标签 共享 理解 cnn 权值

本文主要是介绍CNN中的权值共享理解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

基本名词对应:

Feature Map : 特征图,特征映射
Weight:权值,权重

权值共享

CNN是权重共享,减少了参数的数量。这个有必要再对比研究一下。
一般神经网络层与层之间的连接是,每个神经元与上一层的全部神经元相连,这些连接线的权重独立于其他的神经元,所以假设上一层是m个神经元,当前层是n个神经元,那么共有 m × n m \times n m×n个连接,也就有 m × n m \times n m×n个权重。权重矩阵就是 m × n m \times n m×n形状。

一般用权重矩阵W表示,每一行是一个神经元与上一层所有神经元相连接的权重的值

而在CNN里的权重共享是如何具体操作的呢?

需要理清的概念是,每个层都是一个展平的结构。原始图像是二维的,用在输入层的输入向量是一整条的。

卷积层存的是什么?

不是我最初理解的存的是多个卷积核的展开值,而是卷积计算的结果。具体下面会说到。

再理清一下卷积计算,我们知道是拿卷积核与卷积核的感受野里的像素进行卷积计算,

卷积层里存的是什么数值?卷积后的结果?还是权重?但我们知道权重是单独建立的矩阵,是待学习调优的对象,卷积层的值要再往后传,存的必须是像素处理后相关的值。

问题还是存在:卷积层个数与卷积核个数的关系是什么?

每层有多个Feature Map,每个Feature Map通过一种卷积滤波器提取输入的一种特征。每个Feature Map有多个神经元。

比如给定一个输入是32x32像素的图片,Feature Map大小是28x28的神经元阵列,每个神经元对应的值如何计算得来呢?按照卷积计算,比如5x5的卷积核,需要25个参数,也就是权重,在28x28的特征映射 | Feature Map里每个神经元都用这25个参数去进行卷积计算,这样就是所谓的权值共享。

那这个卷积层有多少参数呢?我们看一个Feature Map里每个神经元用的都是一样的5x5的卷积核,按照stride的值往前移动,每一步卷积结果对应一个神经元的值。所以,虽然权值相同,但是每一步下感受野对应的像素值是不同的,得到的结果自然也不同。

参数数量如何计算?单个特征映射里,用的权重一样,卷积核有25个参数,加上每个神经元有一个偏置bias参数,所以共26个参数,也就是一个Feature Map里有26个参数。这个隐层有6个特征图,所以本隐层有26 * 6 = 156个训练参数。

该隐层与输入层有多少连接呢?也很简单,我们看到一个神经元与5x5的像素值相连,共25个连接,注意到bias也是作为一个输入值,所以一个神经元有26个连接。接着看特征樱花色层有多少神经元就可以了,28x28是一个特征映射的神经元阵列,共有6个特征映射,所以得出:26 * 6 * 28 * 28 = 122304个连接。

28x28是怎么得来的?实际上假定的是padding为0,stride为1,就是开始直接把5x5的卷积核放在图像的左上角,5x5的二维矩阵的左上角对应图像的左上角,往右移动,一次一个像素,32 - 5 + 1 = 28,向下移动也是一样。

END.

这篇关于CNN中的权值共享理解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1023146

相关文章

GO语言zap日志库理解和使用方法示例

《GO语言zap日志库理解和使用方法示例》Zap是一个高性能、结构化日志库,专为Go语言设计,它由Uber开源,并且在Go社区中非常受欢迎,:本文主要介绍GO语言zap日志库理解和使用方法的相关资... 目录1. zap日志库介绍2.安装zap库3.配置日志记录器3.1 Logger3.2 Sugared

深入理解Redis线程模型的原理及使用

《深入理解Redis线程模型的原理及使用》Redis的线程模型整体还是多线程的,只是后台执行指令的核心线程是单线程的,整个线程模型可以理解为还是以单线程为主,基于这种单线程为主的线程模型,不同客户端的... 目录1 Redis是单线程www.chinasem.cn还是多线程2 Redis如何保证指令原子性2.

深入理解MySQL流模式

《深入理解MySQL流模式》MySQL的Binlog流模式是一种实时读取二进制日志的技术,允许下游系统几乎无延迟地获取数据库变更事件,适用于需要极低延迟复制的场景,感兴趣的可以了解一下... 目录核心概念一句话总结1. 背景知识:什么是 Binlog?2. 传统方式 vs. 流模式传统文件方式 (非流式)流

深入理解Go之==的使用

《深入理解Go之==的使用》本文主要介绍了深入理解Go之==的使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录概述类型基本类型复合类型引用类型接口类型使用type定义的类型不可比较性谈谈map总结概述相信==判等操作,大

深入理解Mysql OnlineDDL的算法

《深入理解MysqlOnlineDDL的算法》本文主要介绍了讲解MysqlOnlineDDL的算法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小... 目录一、Online DDL 是什么?二、Online DDL 的三种主要算法2.1COPY(复制法)

Linux挂载linux/Windows共享目录实现方式

《Linux挂载linux/Windows共享目录实现方式》:本文主要介绍Linux挂载linux/Windows共享目录实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录文件共享协议linux环境作为服务端(NFS)在服务器端安装 NFS创建要共享的目录修改 NFS 配

k8s搭建nfs共享存储实践

《k8s搭建nfs共享存储实践》本文介绍NFS服务端搭建与客户端配置,涵盖安装工具、目录设置及服务启动,随后讲解K8S中NFS动态存储部署,包括创建命名空间、ServiceAccount、RBAC权限... 目录1. NFS搭建1.1 部署NFS服务端1.1.1 下载nfs-utils和rpcbind1.1

深入理解go中interface机制

《深入理解go中interface机制》本文主要介绍了深入理解go中interface机制,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录前言interface使用类型判断总结前言go的interface是一组method的集合,不

redis中session会话共享的三种方案

《redis中session会话共享的三种方案》本文探讨了分布式系统中Session共享的三种解决方案,包括粘性会话、Session复制以及基于Redis的集中存储,具有一定的参考价值,感兴趣的可以了... 目录三种解决方案粘性会话(Sticky Sessions)Session复制Redis统一存储Spr

使用Redis快速实现共享Session登录的详细步骤

《使用Redis快速实现共享Session登录的详细步骤》在Web开发中,Session通常用于存储用户的会话信息,允许用户在多个页面之间保持登录状态,Redis是一个开源的高性能键值数据库,广泛用于... 目录前言实现原理:步骤:使用Redis实现共享Session登录1. 引入Redis依赖2. 配置R